JP2009301563A - ポインティングシステム - Google Patents

Abstract

【課題】ユーザーの操作性のよいポインティングシステムを提供する。
【解決手段】ポインティングデバイスおよび端末装置から構成されるポインティングシステムにおいて、ポインティングデバイスが、中心に高輝度な光線を含む拡散光線を発光する光源体を備え、端末装置が、ポインティングデバイスからの拡散光線を集束させるレンズ体と、レンズ体に対向させて配置する受光体と、受光体の受光した光線のフォーカス状態からポインティングデバイスの向きを判断する判断手段と、ディスプレイ画面上にポインタを表示するポインタ表示手段と、判断手段によって判断されたポインティングデバイスの向きに応じてポインタ表示手段によって表示されたポインタを移動させる移動手段と、を備える。
【選択図】図１

Description

この発明は、ポインティングシステムに関し、さらに詳しくは、パーソナルコンピュータ（パソコン）のディスプレイ画面上での位置指定や座標データを指示するポインティングシステムに関する。

従来のポインティングデバイスとしては、たとえば、マウス、デジタイザー、ライトペン、トラック・ボール、タブレットなどが知られている。

マウスやトラック・ボールは、移動方向と移動量によって座標上の位置を指示するデバイスである。

デジタイザーやライトペンは、直接座標位置を指定するデバイスである。

また、机などの上で操作する必要がないポインティングデバイスとしての入力装置が開示されている。

特開平０７−４４３１５号公報

しかしながら、上記のごとき従来のポインティングデバイスは、入力の際の制約が多い問題点がある。

たとえば、マウスでは机などの上で操作する必要があり、タブレットやデジタイザーやライトペン等では入力面に対して接触する必要があるため、ユーザーの操作性が限定されてしまうという問題点があった。

また、トラック・ボール等は一般にノート型パソコン本体と一体に備えられているために本体から離れては操作することができないという問題点があった。

そこで、この発明は、上記に鑑みてなされたものであって、ユーザーの操作性のよいポインティングシステムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に記載の発明にかかるポインティングシステムは、ポインティングデバイスおよび端末装置から構成されるポインティングシステムにおいて、前記ポインティングデバイスが、中心に高輝度な光線を含む拡散光線を発光する光源体を備え、前記端末装置が、前記ポインティングデバイスからの拡散光線を集束させるレンズ体と、前記レンズ体に対向させて配置する受光体と、前記受光体の受光した光線のフォーカス状態から前記ポインティングデバイスの向きを判断する判断手段と、ディスプレイ画面上にポインタを表示するポインタ表示手段と、前記判断手段によって判断されたポインティングデバイスの向きに応じて前記ポインタ表示手段によって表示されたポインタを移動させる移動手段と、を備えたことを特徴とする。

この発明によれば、ポインティングデバイスの３次元空間上の移動を端末装置側で認識して、その移動に応じてポインタを移動表示させることができるようになるため、ユーザーは、空間的な制約がない状態でポインティングデバイスを操作することができ、ユーザーの操作性が向上するという効果を奏する。

この発明のポインティングシステムの概念図である。 この発明の実施の形態１のポインティングシステムの機能構成を示すブロック図である。 この発明の実施の形態１のポインティングシステムの処理の流れを説明するシーケンス図である。 この発明の実施の形態２のポインティングシステムの機能構成を示すブロック図である。 この発明の実施の形態２のポインティングシステムの処理の流れを説明するシーケンス図である。 ポインティングデバイスの初期位置決定説明の図である。 ポインティングデバイスの初期位置決定時の操作を説明する図である。 この発明の実施の形態３のポインティングシステムの機能構成を示すブロック図である。 実施の形態３の受光部とポインティングデバイスとの関係を説明する図である。 実施の形態３の発光受光動作を説明する図である。 実施の形態３のポインティングデバイスが表示画面の中央・正面向きの場合の説明図である。 実施の形態３のポインティングデバイスが表示部の中央・角度を持つ向きの場合の説明図である。 実施の形態３のポインティングデバイスが表示部の斜め中央向きの場合の説明図である。

以下に添付図面を参照して、この発明の好適な実施の形態にかかるポインティングシステムについて詳細に説明する。

なお、この実施の形態によりこの発明が限定されるものではない。
（本発明の概念の説明）
図１は、この発明のポインティングシステムの概念図である。

図１において、このポインティングシステムでは、ユーザーがポインティングデバイス１を手に持って手を振ったときの移動状態に応じて、パーソナルコンピュータ（パソコン）等のディスプレイ２の画面上に表示されるポインタ３を手の動きに合わせて上下左右に動かすシステムである。

また、ポインティングデバイス１とディスプレイ２との間の通信は、発光素子、受光素子からなるセンサによって可能である。

なお、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）等の近距離無線技術を用いてもよい。
（実施の形態１）
図２は、この発明の実施の形態１のポインティングシステムの機能構成を示すブロック図である。

このポインティングシステム１００は、パーソナルコンピュータ（パソコン）等の端末装置１１０と、ポインティングデバイス１２０とで構成する。

端末装置１１０は、ポインティングデバイス１２０からの光線を受光して電気的信号に変換する受光部１１１と、変換された電気的信号を認識してポインティングデバイス１２０の移動状態を判断する制御部１１２と、判断された移動状態に基づいてポインタの移動を制御する主機能部１１３と、ポインタを表示する表示部１１４とを有している。

また、ポインティングデバイス１２０は、ユーザーとのインターフェイスである押しボタン１２１と、加速度センサや角度センサ等によって少なくとも２方向（水平、垂直）の移動を検出する移動状態検出部１２２と、押しボタン１２１と移動状態検出部１２２との信号に応じて端末装置１１０側に送信する移動状態等の電気的信号を出力する制御部１２３と、移動状態等の電気的信号を光信号に変換して光線として出力する発光部１２４とを有している。

なお、加速度センサ、角度センサについては、周知技術を用いればよく、したがって、それらの詳細な説明については省略する。

なお、押しボタン１２１から制御部１２３に出力される信号をキー信号、移動状態検出部１２２から制御部１２３に出力される信号をセンサ信号と呼ぶ。

また、端末装置１１０の制御部１１２や主機能部１１３と、ポインティングデバイス１２０の制御部１２３とは、図示しないＣＰＵが図示しないＲＯＭやＲＡＭ等に記録されたプログラムを適宜読み出して実行することによって実現する。

つぎに、実施の形態１のポインティングシステムの処理の流れを説明する。
図３は、この発明の実施の形態１のポインティングシステムの処理の流れを説明するシーケンス図である。

まず、ポインティングデバイス１２０の制御部１２３は、ポーリングまたは割り込みによって、押しボタン１２１または移動状態検出部１２２からの信号待ち状態となる（ステップＳ１１０）。

そして、制御部１２３は、キー信号を認識すると（ステップＳ１１１）、キーコードを信号化し（ステップＳ１１３）、また、センサ信号を認識すると（ステップＳ１１２）、センサコードを信号化する（ステップＳ１１３）。

続いて、制御部１２３は、キーコードまたはセンサコードを発光部１２４に出力して、発光部１２４からキーコードまたはセンサコードを光線として発光出力させる。

すると、端末装置１１０では、ポーリングまたは割り込みによって制御部１１２が受光待ち状態のときに、受光部１１１がポインティングデバイス１２０からの光を受光すると、キーコードまたはセンサコードの信号を制御部１１２に送る（ステップＳ１２０）。

制御部１１２は、受けた信号がキーコードまたはセンサコードのいずれであるかを判断し（ステップＳ１２１）、キー信号（ステップＳ１２２）の場合は、キー信号に応じた所定動作を行う（ステップＳ１２３）。

一方、センサ信号（ステップＳ１２４）の場合には、制御部１１２はセンサ信号に基づいて移動状態を認識してポインタの移動指令を主機能部１１３に出力する。

主機能部１１３は、移動状態に応じて、カソードレイチューブコントローラ（ＣＲＴＣ）等のディスプレイコントローラを起動し（ステップＳ１２５）、表示部１１４上のポインタを移動表示させる（ステップＳ１２６）。

なお、ポインティングデバイス１２０の運動（変化角度）は、ポインティングデバイス１２０と表示部１１４との距離、表示部１１４のサイズ等を定数として、あらかじめ設定しておくことにより、忠実に表示部１１４上に再現できる。

ただし、感覚的には、実際のポインティングデバイス１２０の振れ角通りにポインタが動くと、微妙な調整がしずらいため、実際にはポインティングデバイス１２０の振れ角の数分の１の変化が表示部１１４上に再現するのが好ましい。

また、これらの処理は、制御部１１３がプログラムを実行することによって実現することが可能である。

したがって、上記実施の形態１によれば、ポインティングデバイス１２０の３次元空間上の移動を端末装置１１０側で認識して、その移動に応じてポインタを移動表示させることができるようになる。

このため、ユーザーは、空間的な制約がない状態でポインティングデバイス１２０を操作することができ、ユーザーの操作性が向上する。
（実施の形態２）
図４は、この発明の実施の形態２のポインティングシステムの機能構成を示すブロック図である。

このポインティングシステム２００は、パソコン等の端末装置２１０と、ポインティングデバイス２２０とで構成する。

端末装置２１０は、ポインティングデバイス２２０からの光線を複数の受光素子で感知してそれぞれの受光素子ごとに電気的信号に変換する受光部２１１と、変換された電気的信号を認識してポインティングデバイス２２０の移動状態を、受光した受光素子の配置に基づく座標によって判断する制御部２１２と、判断された移動状態に基づいてポインタの移動を制御する主機能部２１３と、ポインタを表示する表示部２１４とを有している。

また、ポインティングデバイス２２０は、ユーザーとのインターフェイスである押しボタン２２１と、押しボタン２２１の信号（キー信号）に応じて端末装置２１０側に光線を送出させる指令を出す制御部２２２と、光線として出力する発光部２２３とを有している。

なお、端末装置２１０の制御部２１２や主機能部２１３と、ポインティングデバイス２２０の制御部２２２とは、図示しないＣＰＵが図示しないＲＯＭやＲＡＭ等に記録されたプログラムを適宜読み出して実行することによって実現する。

つぎに、実施の形態２のポインティングシステムの処理の流れを説明する。

図５は、この発明の実施の形態２のポインティングシステムの処理の流れを説明するシーケンス図である。

まず、ポインティングデバイス２２０の制御部２２２は、ポーリングまたは割り込みによって、押しボタン２２１のキー入力待ち状態となる（ステップＳ２１０）。

そして、制御部２２２は、発光部２２３から連続発光や断続発光をさせる（ステップＳ２１１）。
すると、端末装置２１１では受光部２１１が連続発光や断続発光を受光することによって（ステップＳ２２０）、制御部２１２がそのときの信号によって、後述するように、初期位置を認識する（ステップＳ２２１）。

なお、制御部２１２は、受光した信号にキー信号が含まれている場合（ステップＳ２２２）は、キー信号に応じた所定動作を行う（ステップＳ２２３）。

一方、制御部２２２は、キー信号を認識すると（ステップＳ２１２）、キーコードを信号化し（ステップＳ２１３）、キーコードを発光部２２４に出力して、発光部２２４からキーコードを光線として発光出力させる。

すると、端末装置２１０では、ポーリングまたは割り込みによって制御部２１２が受光待ち状態のときに、受光部２１１の複数の受光素子のいずれかがポインティングデバイス２２０からの光線を受光すると、キーコードのキー信号を制御部２１２に送る（ステップＳ２２１）。

そして、制御部２１２は、受けた信号が初期位置の認識時の受光素子と異なること認識すると（ステップＳ２２４）、その変化を演算して（ステップＳ２２５）、移動状態を認識し、ポインタの移動指令を主機能部２１３に出力する。

主機能部２１３は、移動状態に応じて、カソードレイチューブコントローラ（ＣＲＴＣ）等のディスプレイコントローラを起動し（ステップＳ２２６）、表示部２１４上のポインタを移動表示させる（ステップＳ２２７）。

上述したように、ポインティングシステムでは、ポインティングデバイス２２０の初期位置を表示部２１４側に認識させておき、その初期位置に関するデータとの相違から移動状態を検出する必要がある。

以下、初期位置の認識について説明する。

図６は、ポインティングデバイスの初期位置決定説明の図である。

図７は、ポインティングデバイスの初期位置決定時の操作を説明する図である。

表示部２１４では、ユーザーがポインティングデバイス２２０を手に持って振ったときに受光する光線の強度を比較し、その中で一番強い所を判断して、その一番強い所の正面にポインティングデバイス２２０が存在するものとして、ここを初期位置として認識する。

たとえば、図６の（ａ）に示すように、表示部２１４に対してポインティングデバイス２２０が正面にある場合には、一番強度が強いのときは、ポインティングデバイス２２０が表示部２１４の真ん中に向いているときであり、表示部２１４側ではポインティングデバイス２２０をほぼ中央にあるものとして、ここを初期位置として認識する。

また、たとえば、図６の（ｂ）に示すように、表示部２１４に対してポインティングデバイス２２０が斜め右側にある場合には、一番強度が強いのときは、ポインティングデバイス２２０が表示部２１４の右側に向いているときであり、表示部２１４側ではポインティングデバイス２２０を左端にあるものとして、ここを初期位置として認識する。

また、初期位置の認識の際には、たとえば、図７に示すように、表示部２１４上に、「カーソルにリモコン（ポインティングデバイス２２０）を向けてエンターキー（押しボタン２２１）を押して下さい」等のメッセージを表示して、ユーザーの操作を誘導するのが好ましい。

したがって、上記実施の形態２によれば、ポインティングデバイス２２０の３次元空間上の移動を端末装置２１０側で認識して、その移動に応じてポインタを移動表示させることができるようになる。

このため、ユーザーは、空間的な制約がない状態でポインティングデバイス２２０を操作することができ、ユーザーの操作性が向上する。
（実施の形態３）
図８は、この発明の実施の形態３のポインティングシステムの機能構成を示すブロック図である。
このポインティングシステム３００は、パソコン等の端末装置３１０と、ポインティングデバイス３２０とで構成する。

端末装置３１０は、ポインティングデバイス３２０からの光線を受光して電気的信号に変換する受光部３１１と、変換された電気的信号を認識してポインティングデバイス３２０の移動状態を判断する制御部３１２と、判断された移動状態に基づいてポインタの移動を制御する主機能部３１３と、ポインタを表示する表示部３１４とを有している。

なお、端末装置３１０の制御部３１２や主機能部３１３は、図示しないＣＰＵが図示しないＲＯＭやＲＡＭ等に記録されたプログラムを適宜読み出して実行することによって実現する。

また、ポインティングデバイス３２０は、ユーザーとのインターフェイスである押しボタン３２１と、押しボタン３２１（キー信号）の信号に応じて端末装置３１０側に光線を送信する電気的信号を出力する制御部３２２と、電気的信号を光信号に変換して光線として出力する発光部３２３とを有している。

なお、ポインティングデバイス３２０の制御部３２２とは、図示しないＣＰＵが図示しないＲＯＭやＲＡＭ等に記録されたプログラムを適宜読み出して実行することによって実現する。

つぎに、この実施の形態３の受光部３１１とポインティングデバイス３２０との関係を説明する。

図９は、実施の形態３の受光部とポインティングデバイスとの関係を説明する図である。

（ａ）に配置状態、（ｂ）に受光部の構造を示す。

（ａ）において、受光部３１１は、光線を受光しているエリアを検知するエリアセンサであり、ポインティングデバイス３２０からの光線を受光する。

また、（ｂ）に示すように、受光部３１１は、筐体３１１ａに対向させて取り付けるエリアセンサ３１１ｂとレンズ３１１ｃとで構成される。

図１０は、実施の形態３の発光受光動作を説明する図である。

図１１は、実施の形態３のポインティングデバイスが表示画面の中央・正面向きの場合の説明図である。

図１２は、実施の形態３のポインティングデバイスが表示部の中央・角度を持つ向きの場合の説明図である。

また、図１３は、実施の形態３のポインティングデバイスが表示部の斜め中央向きの場合の説明図である。

なお、ポインティングデバイス３２０から発光される光線は、中心に高輝度な光線を含む拡散光線とし、レンズ３１１ｃによって集められて、エリアセンサ３１１ｂで受光されるものとする。

このとき、制御部３１２が、拡散光線のフォーカス状態の発光点を認識することによって発光点の位置を正確に割り出す。

さらに、制御部３１３は、デフォーカス状態の発光の広がりの状態から、ポインティングデバイス３２０の位置を認識する。

たとえば、図１１に示す(1)，(3)のように、発光点に対して同心円状にデフォーカスされている場合には、制御部３１２はポインティングデバイス３２０が表示部３１４の画面に対して中央・正面向きと判断する。

図１２に示す(1)，(3)のように、発光点に対して偏ってデフォーカスされているとともに、(2)に示すように発光点が中央にある場合には、制御部３１２はポインティングデバイス３２０が表示部３１４の画面に対して中央・角度を持つ向きと判断する。

また、図１３に示す(1)，(3)のように、発光点に対して偏ってデフォーカスされるとともに、(2)の発光点が中心からずれている場合には、制御部３１２はポインティングデバイス３２０が表示部３１４の画面に対して斜めから中央向きと判断する。

さらに図１３に示されるように、フォーカス位置での発光点の位置に対して、フォーカスが近距離側にずれてデフォーカスになったときの発光点の位置で上下左右どちらにシフトするか、フォーカスが遠距離側にずれてデフォーカスになったときの発光点の位置と上下左右どちらにシフトするかを検出することによって、ポインティングデバイスが表示画面に対して、上下左右どちらに傾いた位置から画面３１４をねらっているかを割り出すことができる。

したがって、上記実施の形態３によれば、フォーカス位置で発光点を検出することにより、発光点の位置を正確に割り出し、また、デフォーカス位置（若干ピントをずらせた位置を検出して、発光点の光の広がりの偏りを検出するようにしたため、ポインティングデバイスが表示画面に対してどの位置でどの方向を向いているかを、最高輝度点（発光点）の位置と広がりの偏りとからが割り出すことができる。

なお、ポインティングデバイスの発光部の光の広がり方の特性は、あらかじめ実験等を行って定数として用意すれば、さらに正確に割り出すことができる。

したがって、ユーザーが表示画面の正面で操作していて、そこからまっすぐ表示画面をねらっているとか、表示画面の端をねらっているとかの状態や、ユーザーが表示画面に角度を持った斜めの位置から操作していて、そこから、表示画面中央をねらっているとか、表示画面の端をねらっているとかの状態を、制御部で認識することが可能なる。

なお、上記実施の形態１〜３において、ポインティングデバイスの３次元空間上の移動状態の検出の際の座標系は、表示画面上の座標系と同一とする。

また、表示画面上に仮想的な３次元空間を表示している場合には、その仮想的な３次元空間の座標系を平行移動した３次元の座標系をポインティングデバイスの移動を検出する座標系としてもよい。

たとえば、画面上で奥行き方向にポインタを移動させる場合には、ユーザーはポインティングデバイスを前方に移動させ、画面上で手前方向にポインタを移動させる場合にはポインティングデバイスを後方に移動させる。

これによれば、たとえば、３次元シミュレーションゲームなどにおいて、画面上のキャラクター（ポインタ）動きがユーザーの体感によってリアルに表現することも可能になる。

１ ポインティングデバイス
２ ディスプレイ
３ ポインタ
１００ ポインティングシステム
１１０ 端末装置
１１１ 受光部
１１２ 制御部
１１３ 主機能部
１１３ 制御部
１１４ 表示部
１２０ ポインティングデバイス
１２１ 押しボタン
１２２ 移動状態検出部
１２３ 制御部
１２４ 発光部
２００ ポインティングシステム
２１０ 端末装置
２１１ 受光部
２１１ 端末装置
２１２ 制御部
２１３ 主機能部
２１４ 表示部
２１４ 表示部
２２０ ポインティングデバイス
２２１ 押しボタン
２２２ 制御部
２２３ 発光部
３００ ポインティングシステム
３１０ 端末装置
３１１ｂ エリアセンサ
３１１ｃ レンズ
３１１ 受光部
３１１ａ 筐体
３１２ 制御部
３１３ 主機能部
３１３ 制御部
３１４ 表示部
３２０ ポインティングデバイス
３２１ 押しボタン
３２２ 制御部
３２３ 発光部

Claims (1)

1. ポインティングデバイスおよび端末装置から構成されるポインティングシステムにおいて、
   前記ポインティングデバイスが、中心に高輝度な光線を含む拡散光線を発光する光源体を備え、
   前記端末装置が、
   前記ポインティングデバイスからの拡散光線を集束させるレンズ体と、
   前記レンズ体に対向させて配置する受光体と、
   前記受光体の受光した光線のフォーカス状態から前記ポインティングデバイスの向きを判断する判断手段と、
   ディスプレイ画面上にポインタを表示するポインタ表示手段と、
   前記判断手段によって判断されたポインティングデバイスの向きに応じて前記ポインタ表示手段によって表示されたポインタを移動させる移動手段と、
   を備えたことを特徴とするポインティングシステム。

Images