JP2015219875A - 情報処理方法、情報処理装置及び記録媒体 - Google Patents

Abstract

【課題】特別な操作機器を把持しない操作者がオブジェクト（対象）に対する選択、決定、拡大縮小等の操作を容易に行う方法を提供する。【解決手段】情報処理装置において、画面に表示された対象に関連して所定処理を実行するための情報処理方法は、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて画面上に表示するポインタの位置を逐次決定し（Ｓ１２）、ポインタの位置に基づいて、画面上に表示するガイドポインタが一定条件下で当該ポインタに追従するように、当該ガイドポインタの位置を逐次算定し（Ｓ１８）、ガイドポインタの位置に対して、ポインタの位置の軌跡が、所定条件を満たす場合に所定処理（Ｓ１６）を行う手順を含む。【選択図】図８

Description

本発明は、ＧＵＩ（Graphical User Interface）を提供する情報処理方法、情報処理装置等に関し、特に、３次元空間における指示物の位置及び動きに基づいて画面表示の更新等を行う技術に関する。

近年、コンピュータ技術の発展と情報端末の高機能化に伴い、リモコン等の機器を把持することなく、また、特殊な装置を装着することなく、操作者が手や指を動かしたり姿勢を変化させたりすることにより、指示等の情報を入力できる入力装置が開発されている。

これらの入力装置では、操作者の手や指の動きによって画面上に表示されたいずれかのオブジェクトに対して、選択や決定、拡大縮小といった指示を与えることができる。しかし、これらの入力装置では、リモコンやマウス等におけるスイッチのように確実に操作できる仕組みがなく、オブジェクトに対する操作者の意図的な動作を特定することが困難であった。

そこで、操作者の意図的な動作を特定する技術として、特許文献１では、画面上のオブジェクトを指示する操作者の空中の手の動きから、円軌道の動きを認識して、画面上のオブジェクトに対する操作を行う技術が開示されている。

また、特許文献２では、手を回転する等、オブジェクトを指示する操作者の動きが検出された場合に、手の動きに同期して、手の動きの検出状況を表す画像を画面上に出力する入力装置が開示されている。これにより、操作者は操作の進捗状況を確認しながら操作を行えるようになっている。

特開２００９−５９１０８号公報 特開２０１１−８１４６９号公報

特許文献１の技術では、所定の円軌道のパターンと一致するように手を動かすことにより、オブジェクトに対する操作を行う必要がある。しかし、空中での入力操作が不慣れな操作者等にとっては、所定のパターンと一致するように正確に空中で手を動かすことは必ずしも容易ではない。

また、特許文献２の技術では、手の動きの検出状況を確認しながら操作を行うことができるが、どのように手を動かせば操作が進行するのかについては確認することができず、うまく操作ができないような事態が十分に発生し得る。

そこで、本発明は、上記問題に鑑みてなされたものであり、特別な操作機器を把持しない操作者が手や指を動かしたり姿勢を変化させたりすることによって情報の入力を行う場合に、表示画面上のオブジェクトに対する選択、決定、拡大縮小等を指示する操作を容易に行えるようにするための情報処理方法及び情報処理装置を提供する。

本発明の一態様に係る情報処理方法は、情報処理装置において、画面に表示された対象に関連して所定処理を実行するための情報処理方法であって、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面上に表示するポインタの位置を逐次決定する取得ステップと、前記取得ステップにより決定されたポインタの位置に基づいて、前記画面上に表示するガイドポインタが一定条件下で当該ポインタに追従するように、当該ガイドポインタの位置を逐次算定する算定ステップと、前記算定ステップにおいて算定されたガイドポインタの位置に対して、前記取得ステップにおいて決定されたポインタの位置の軌跡が、所定条件を満たす場合に前記所定処理を行う制御ステップと、を含む情報処理方法である。また、本発明の一態様に係る情報処理装置は、画面に表示された対象に関連して所定処理を実行する情報処理装置であって、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面上に表示するポインタの位置を逐次決定する取得部と、前記取得部により決定されたポインタの位置に基づいて、前記画面上に表示するガイドポインタが一定条件下で当該ポインタに追従するように、当該ガイドポインタの位置を逐次算定する算定部と、前記算定部において算定されたガイドポインタの位置に対して、前記取得部において決定されたポインタの位置の軌跡が、所定条件を満たす場合に前記所定処理を行う制御部とを備える情報処理装置である。

本発明の一態様に係る情報処理方法又は情報処理装置によれば、操作者が特別な操作機器を用いずに表示画面上のオブジェクトに対する選択、決定、拡大縮小等の操作を容易に行えるようになる。

実施の形態に係る情報入力システムの外観図である。 実施の形態に係る情報入力システムのハードウェア構成を示す図である。 第１の実施の形態に係る情報入力システムの機能ブロック図である。 画面上でポインタにガイドポインタが追従する様子を示す図である。 ポインタがガイドポインタ上を所定方向に通過するという条件の例を示す図である。 ポインタがガイドポインタ上から所定方向に離れるという条件の例を示す図である。 ポインタがガイドポインタ上から所定方向に離れるという条件の別の例を示す図である。 ポインタがガイドポインタを所定方向に所定角度周回するという条件の例を示す図である。 ポインタがガイドポインタを所定方向に所定角度周回するという条件の別の例を示す図である。 ポインタがガイドポインタを所定方向に所定角度周回するという条件の更に別の例を示す図である。 ポインタとガイドポインタとの距離の変更に係る条件の例を示す図である。 ポインタとガイドポインタとの距離の変更に係る条件の別の例を示す図である。 ポインタとガイドポインタとの距離の変更に係る条件の更に別の例を示す図である。 第１の実施の形態に係る情報入力システムの動作を示すフローチャートである。 第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図９から遷移した第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図１１から遷移した第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図１３から遷移した第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図１４から遷移した第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 第２の実施の形態に係る情報入力システムの機能ブロック図である。 第２の実施の形態に係る情報入力システムの動作を示すフローチャートである。 第２の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図１８から遷移した第２の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図１９から遷移した第２の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。

（概要）
操作者が特別な操作機器を用いずに、オブジェクト（対象）に対する選択等の動作を容易に行えるようにすべく、本発明の一態様に係る情報処理方法は、情報処理装置において、画面に表示された対象に関連して所定処理を実行するための情報処理方法であって、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面上に表示するポインタの位置を逐次決定する取得ステップと、前記取得ステップにより決定されたポインタの位置に基づいて、前記画面上に表示するガイドポインタが一定条件下で当該ポインタに追従するように、当該ガイドポインタの位置を逐次算定する算定ステップと、前記算定ステップにおいて算定されたガイドポインタの位置に対して、前記取得ステップにおいて決定されたポインタの位置の軌跡が、所定条件を満たす場合に前記所定処理を行う制御ステップと、を含む情報処理方法である。ここで、所定処理は、光、電気信号等の出力等として現れる処理であり、表示装置等により表示された画面内容の変更や画面中のあるオブジェクトに関する処理（選択、決定、拡大縮小等）を含む。なお、一定条件は、例えばガイドポインタがポインタとある程度離れている等といった何らかの条件であり、ガイドポインタはポインタに常時追従している必要はない。

これにより、操作者が特別な操作機器を用いずに指示物（手、腕、ペン等）の位置を動かすことで、オブジェクトに対する選択や拡大縮小等の操作を容易に行えるようになる。即ち、操作者は、指示物における各部位の位置をどのように変化させれば所定処理が行われるのかを、各部位の位置を反映した画面上のポインタとこれに一定条件下で追従するガイドポインタとの位置を確認でき、適切に操作をすることができるようになる。

ここで、例えば、前記位置情報は、３次元位置を表す情報であり、前記情報処理方法は更に、前記指示物における１以上の各部位についての３次元位置を検出することにより前記位置情報を逐次生成する検出ステップを含み、前記取得ステップでは、前記検出ステップにおいて生成された前記位置情報を逐次取得し、当該位置情報に基づいて定めた１つの３次元位置に所定の投影変換を施して得られる２次元位置を前記画面に表示する前記ポインタの位置として逐次決定し、前記制御ステップでは、前記取得ステップにおいて逐次決定された前記ポインタの位置及び前記算定ステップにおいて逐次算定された前記ガイドポインタの位置に対応して、前記ポインタ及び前記ガイドポインタを前記画面に表示するように制御することとしてもよい。

これにより、３次元空間における指示物の位置に応じて、画面上のポインタの位置（２次元位置）が変化するようになり、操作者は画面を確認することで容易に任意のオブジェクトに指示を与えることができるようになる。

また、例えば、前記算定ステップでは、前記取得ステップにより前記ポインタの位置が決定される毎に当該ポインタの位置に基づいて前記ガイドポインタの位置を算定し、当該算定は一定条件下で、当該ガイドポインタの位置を、前回算定したガイドポインタの位置よりも当該ポインタの位置に近付けるように行われることとしてもよい。また、前記算定ステップにおける前記ポインタの位置に基づく前記ガイドポインタの位置の前記算定は、当該ガイドポインタの位置を、前回算定したガイドポインタの位置と当該ポインタの位置との間に定めるように行われることとしてもよい。

これらにより、操作者がポインタの位置を動かさなければガイドポインタが近付いて来るため、ガイドポインタへとポインタを移動させる手間が省かれ、操作者は操作を容易に行い得るようになる。

また、例えば、前記算定ステップでは、前記ポインタの位置に基づく前記ガイドポインタの位置の前記算定を、当該ポインタの位置と前回算定したガイドポインタの位置との距離が所定の距離より小さい場合には前回算定したガイドポインタの位置と同一となるように行うこととしてもよい。

これにより、操作者がガイドポインタに対してポインタの動き（位置の軌跡）で所定条件を満たす操作を行い易くなる。

また、例えば、前記算定ステップでは、前記ポインタの位置に基づく前記ガイドポインタの位置の前記算定を、当該ポインタの位置と前回算定したガイドポインタの位置との距離が所定の距離より小さく、かつ、当該ポインタの位置へ前記取得ステップにより前回決定されたポインタの位置から向かう方向に前回算定したガイドポインタの位置がある場合には当該方向から外れる位置となるように行うこととしてもよい。

これにより、操作者がポインタによりガイドポインタを通過する等の操作を意図せずに行ってしまうことを低減し得る。

また、例えば、前記算定ステップでは、前記ガイドポインタの位置の前記算定を、既に算定したガイドポインタの位置に対して前記取得ステップにおいて決定されたポインタの位置の軌跡が前記所定条件を満たす前に満たすと推定される所定の予備的条件を満たした場合には、前回算定したガイドポインタの位置と同一となるように行うこととしてもよい。

これにより、操作者が、ガイドポインタに対するポインタの移動により所定条件を満たす操作（ガイドポインタの通過、周回等）を開始した後にガイドポインタの位置が変動しなくなるため、所定条件を満たすための後続する操作を容易に行い得るようになる。

また、例えば、前記算定ステップでは、前記ガイドポインタの位置の前記算定を、前記画面に表示された１以上の対象の位置にも基づいて行うこととしてもよい。

これにより、ガイドポインタがオブジェクトに対応した位置に表示されるので、操作者は、操作を行いたいオブジェクトに対して適切に操作を行い得るようになる。

また、例えば、前記算定ステップでは、前記ポインタの位置及び前記１以上の対象の位置に基づく前記ガイドポインタの位置の前記算定を、当該ポインタの位置と最も近い１つの対象と当該ガイドポインタとが重なるように行うこととしてもよい。

これにより、操作者がポインタを近づけたオブジェクトに重ねてガイドポインタが表示されるため、操作者は、操作を行いたいオブジェクトに対して適切に操作を行い得るようになる。

また、例えば、前記１以上の対象それぞれは、操作が有効か否かという属性を有し、前記算定ステップでは、前記ポインタの位置及び前記１以上の対象の位置に基づく前記ガイドポインタの位置の前記算定を、当該ポインタの位置と最も近い１つの、操作が有効な対象と、当該ガイドポインタとが重なるように行うこととしてもよい。

これにより、操作が可能なオブジェクトに重ねてガイドポインタが表示されるため、操作者は、操作対象のオブジェクトに対する操作を容易に行い得るようになる。

また、例えば、前記制御ステップでは、前記ポインタの位置の軌跡が前記ガイドポインタを所定の方向に所定の角度周回した場合に、前記所定条件を満たすと判定して前記所定処理を行うこととしてもよい。

これにより、操作者は、一定条件下でポインタに追従し操作の基準となるガイドポインタの位置を画面上で随時確認しながら、ガイドポインタの位置に対して相対的にポインタを周回させることで所定処理の実行のための操作を容易に行い得るようになる。

また、例えば、前記制御ステップでは、前記ポインタの位置の軌跡が前記ガイドポインタ上を所定の方向に通過した場合に、前記所定条件を満たすと判定して前記所定処理を行うこととしてもよい。

これにより、操作者は、一定条件下でポインタに追従し操作の基準となるガイドポインタの位置を画面上で随時確認しながら、ガイドポインタを通過するようにポインタを移動させることで所定処理の実行のための操作を容易に行い得るようになる。

また、例えば、前記制御ステップでは、前記ポインタの位置の軌跡が前記ガイドポインタ上から所定の方向へと離れた場合に、前記所定条件を満たすと判定して前記所定処理を行うこととしてもよい。

これにより、操作者は、一定条件下でポインタに追従し操作の基準となるガイドポインタの位置を画面上で随時確認しながら、ガイドポインタから離れるようにポインタを移動させることで所定処理の実行のための操作を容易に行い得るようになる。

また、例えば、前記制御ステップでは、前記ポインタと前記ガイドポインタとの距離が所定の距離より小さくなった場合に、前記所定条件を満たすと判定して前記所定処理を行うこととしてもよい。また、前記制御ステップでは、前記ポインタと前記ガイドポインタとの距離が、所定の距離より小さくなってから所定時間内に当該所定の距離より大きくなった場合に、前記所定条件を満たすと判定して前記所定処理を行うこととしてもよい。また、前記制御ステップでは、前記ポインタと前記ガイドポインタとの距離が所定の距離より大きくなった場合に、前記所定条件を満たすと判定して前記所定処理を行うこととしてもよい。また、前記制御ステップでは、前記ポインタと前記ガイドポインタとの距離が、所定の距離より大きくなってから所定時間内に当該所定の距離より小さくなった場合に、前記所定条件を満たすと判定して前記所定処理を行うこととしてもよい。

これらにより、操作者は、一定条件下でポインタに追従し操作の基準となるガイドポインタの位置を画面上で随時確認しながら、ガイドポインタとポインタとの距離を変動させることで所定処理の実行のための操作を容易に行い得るようになる。

また、例えば、前記制御ステップでは、前記所定条件を、形状、大きさ又は色に反映して表現する図形を、前記画面に表示するように制御することとしてもよい。また、前記制御ステップでは、前記所定条件を満たす前記ポインタの位置の軌跡の例について表す図形を、前記画面に表示するように制御することとしてもよい。

これらにより、操作者は、画面上で図形により所定条件に関して随時確認しながらポインタを動かすことができるため、操作を容易に行い得るようになる。

また、例えば、前記制御ステップでは、前記画面に表示された複数の対象のうち前記ガイドポインタの位置と最も近い対象に関連して前記所定処理を行うこととしてもよい。

これにより、操作者は、ポインタを動かすことで、一定条件下でそのポインタに追従するガイドポインタを所望のオブジェクトに近づけて所定処理を実行させることができるようになる。

また、本発明の一態様に係る情報処理装置は、画面に表示された対象に関連して所定処理を実行する情報処理装置であって、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面上に表示するポインタの位置を逐次決定する取得部と、前記取得部により決定されたポインタの位置に基づいて、前記画面上に表示するガイドポインタが一定条件下で当該ポインタに追従するように、当該ガイドポインタの位置を逐次算定する算定部と、前記算定部において算定されたガイドポインタの位置に対して、前記取得部において決定されたポインタの位置の軌跡が、所定条件を満たす場合に前記所定処理を行う制御部とを備える情報処理装置である。ここで、所定処理は、光、電気信号等の出力等として現れる処理であり、表示装置等により表示された画面内容の変更や画面中のあるオブジェクト（対象）に関する処理（選択、決定、拡大縮小等）を含む。

これにより、操作者が特別な操作機器を用いずに指示物の位置を動かすことで、表示画面上のオブジェクトに対する選択、拡大縮小等の操作を容易に行えるようになる。即ち、操作者は、指示物における各部位の位置をどのように変化させれば所定処理が行われるのかを、各部位の位置を反映した画面上のポインタとこれに一定条件下で追従するガイドポインタとの位置を確認でき、適切に操作をすることができるようになる。

なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組み合わせが含まれる。

以下、実施の形態について、図面を参照しながら説明する。

ここで示す実施の形態は、いずれも本発明の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本発明を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。

本実施の形態では、カメラ等によって検出される３次元空間における指示物の位置を入力情報とするＧＵＩ（Graphical User Interface）を提供する情報入力システムについて説明する。従来、３次元空間における位置等を入力情報とする情報入力システムでは、リモコンやマウスを用いた入力と異なり、選択や決定、あるいは拡大縮小といった操作を直感的で直接的に行う方法が存在しない。

このような情報入力システムにおいて、操作者が確実に操作を行うようにするためには、更なる工夫が必要とされる。

ここで、操作者が特定のジェスチャをした場合に所定の操作が行われたと認識する手法が考えられる。例えば、手を一定時間、オブジェクトに対して静止させるという特定のジェスチャをした場合にそのオブジェクトが選択されたと認識する手法が考えられる。しかしながら、このような手法では、オブジェクトに対して指示物を静止させる必要があり、即時性に乏しく、快適な操作とはいえない。また、オブジェクトに対して手をぐるぐる回転させる、あるいは、手を左右に振る等の特定のジェスチャをした場合にそのオブジェクトが選択されたと認識することも考えられる。しかしながら、このような手法では、システムが想定する指示物の動きを確実に行うことが難しく、空中で行う操作に不慣れな操作者にとっては、快適に操作できるとは言い難い。

さらに、指示物で所望のオブジェクトを指示する操作とは別に、「選択！」或いは「決定！」と話す等によって選択操作を認識する方法も考えられる。しかしながら、音声認識を用いる手法では、マイク等の装備のためにコストがかかり、かつ、音声認識率に依存するために必ずしも的確な操作が実現されない。

そこで、本実施の形態では、特に、画面上に表示されたオブジェクトに対する選択、決定、拡大縮小等を直感的な操作で行うことを可能にした情報入力システムについて説明する。

この情報入力システムは、主に、指示物に係る検出位置に基づき位置が決定されるポインタの、これに追従し得るガイドポインタに対する動きが所定条件を満たすとオブジェクト（対象）に関連する所定処理（選択、決定、拡大縮小等）を実行するシステムである。この情報入力システムを構成する情報処理装置では、指示物の各部位の検出位置に基づいて画面上に表示するポインタの位置を決定し、ガイドポインタに対するポインタの位置の軌跡が所定条件を満たす場合に所定処理を実行する情報処理方法が用いられる。

（第１の実施の形態）
以下、第１の実施の形態に係る情報入力システム１０について、図１〜図１５に基づいて説明する。

図１は、情報入力システム１０の外観図である。ここには、ステレオカメラ１２及び表示装置１６が図示されている。操作者は、指示物１１（ここでは、操作者の指）を、ステレオカメラ１２の撮像範囲内で移動させることで、その指示物１１の３次元空間における位置に対応して表示される表示装置１６上のポインタを移動させることができる。これによって、操作者と表示装置１６に表示された画像との様々なインタラクションが実現される。

なお、指示物１１は、操作者の指に限られず、操作者の手、腕、又は、操作者が持っているペン等の物品であってもよい。

図２は、情報入力システム１０のハードウェア構成を示す図である。

この情報入力システム１０は、表示装置１６に表示された画像に対する操作者の指示を取得するシステムであって、ステレオカメラ１２、通信装置１４、表示装置１６、入力装置１８及び制御装置２０を備える。

ステレオカメラ１２は、少なくとも２台のカメラを有する撮像装置であり、３次元空間における指示物１１の位置を検出するためのセンサである。ステレオカメラ１２は、一定のフレームレートで、指示物１１を撮像し、得られた複数枚の画像を通信装置１４に無線送信する。なお、ここでは、このステレオカメラ１２は表示装置１６等とは独立した装置であることとしているが、表示装置１６と一体化していてもよい。

通信装置１４は、ステレオカメラ１２から送られてくる画像を取得し、制御装置２０に送る無線通信インターフェース等である。

表示装置１６は、操作者に提示するための画像を表示する画面を有する液晶ディスプレイ等である。なお、表示装置１６は、スクリーン等に画面を投影するプロジェクタであってもよい。

入力装置１８は、電源を投入するためのボタン、リモコン等の入力装置である。なお、本実施の形態では、あらゆる指示がステレオカメラ１２を通じて制御装置２０に与えられるので、この入力装置１８は、予備的な構成要素である。

制御装置２０は、操作者とのインタラクションを実現する情報処理を実行するコンピュータ（情報処理装置）であり、ＣＰＵ２２、ＲＯＭ２４、ＲＡＭ２６及び記録媒体２８を有する。ＣＰＵ２２は、プログラムを実行するプロセッサである。ＲＯＭ２４は、プログラム及びデータを予め保持している読み取り専用メモリである。ＲＡＭ２６は、ＣＰＵ２２がプログラムを実行する際に使用されるワーキング用の一時記憶用メモリである。記録媒体２８は、電源が投入されていないときでもデータを記憶できるハードディスク装置等の読み書き可能な記憶装置であり、プログラム及びデータを記憶している。なお、記録媒体２８は、例えば不揮発性メモリであってもよい。

なお、情報入力システム１０の必須のハードウェア構成としては、制御装置２０、より具体的には、プログラムを実行するコンピュータが備えられていればよい。本実施の形態に係る情報入力システムは、典型的には、ソフトウェアによって実現されるからである。よって、他の周辺機器は、任意の構成要素であり、必要に応じて、情報入力システムとして装備されればよい。また、ＲＯＭ２４及び記録媒体２８は、いずれも不揮発性の記憶装置であり、いずれか一方だけが装備されればよい。

図３は、本実施の形態における情報入力システム１０の機能ブロック図である。この機能ブロックにより、図２に示したハードウェア構成によって実現される情報入力システム１０の機能的な構成を示している。

この情報入力システム１０は、機能的には、表示部５２に表示された画像に対する操作者の操作を取得するためのシステムであって、検出部４２、情報処理部７０及び表示部５２を備える。ここで、情報処理部７０は、３次元位置を用いて画面表示の制御等を行う処理系であり、制御装置２０により実現され、取得部４４、算定部４６及び制御部６０を有する。なお、表示部５２は、図２の表示装置１６に相当し、上述したように、必ずしも情報入力システム１０に装備されている必要はない。

検出部４２は、３次元空間における指示物１１の少なくとも１つの部位の位置を検出（計測）する処理部であり、図２のステレオカメラ１２、通信装置１４及び制御装置２０によって実現される。位置の検出について、指示物１１が人の片手の５本の指及び手のひらであるとして予め定められている場合を例にして説明する。この場合、検出部４２は、ステレオカメラ１２で同時に撮像された２枚の画像のそれぞれから、予め設定された各指や手のひらの形状等の画像データに基づく画像マッチングによって、２枚の画像それぞれにおける各指や手のひらの位置を特定する。そして、その特定した位置と、ステレオカメラ１２における各カメラの位置及びカメラ間の距離等のデータに基づいて、各指及び手のひらの３次元空間における位置を算定することで、指示物１１（詳しくは指示物１１における少なくとも１以上の各部位）の３次元位置の検出を行う。この検出された各指等の３次元位置は、例えば、３次元空間において直交する３軸（Ｘ軸，Ｙ軸，Ｚ軸）を基準とした座標値Ｐ（ｘ，ｙ，ｚ）で表される。

取得部４４は、指示物１１について検出部４２により検出された３次元位置を取得して、その３次元位置に基づく情報を算定部４６及び制御部６０に伝達する機能を有する。即ち、取得部４４は、情報処理部７０における３次元位置の入力インターフェースとしての機能を担う。また、取得部４４は、指示物１１の各部位の３次元位置に基づいて、表示部５２における画面上に表示するポインタ（位置表示物）の位置を決定する機能を有する。ポインタの表示位置を決定するために、取得部４４は、指示物１１の各部位の３次元位置に基づいて、例えば平均をとる等により、１つの３次元位置を算出し、その１つの３次元位置に所定の投影変換を施して得られる２次元位置を算出して表示位置とする。なお、取得部４４は、指示物１１の各部位の平均値に所定の投影変換を施す代わりに、指示物１１の１つの部位の３次元位置に所定の投影変換を施して得られる２次元位置を画面上のポインタの表示位置とすることとしてもよい。また、所定の投影変換は、例えば表示部５２の画面に平行な、表示用の２次元座標平面への投影変換である。この投影変換は、例えば平行投影変換であり、また、例えば透視投影変換であってもよい。

算定部４６は、取得部４４により決定されたポインタの表示位置に基づいて、表示部５２の画面上に表示するガイドポインタの位置を算定する機能を有する。ガイドポインタは、上述のポインタとは異なる、操作者の操作を補助するための表示物であり、ポインタに追従するようにその表示位置が算定される。ポインタに追従するようにガイドポインタの位置を算定する方法はいかなる方法であってもよい。算定部４６は、例えば、一定条件下ではポインタの表示位置に徐々に近付くように、次の式１により１フレーム（例えば３０分の１秒）毎にガイドポインタの表示位置を算定する。

gpt1 = r * pt1 + (1.0 - r) * gpt0 （式１）

式１において、変数gpt1は、現在のガイドポインタの表示位置であり、変数pt1は、現在のポインタの表示位置であり、変数gpt0は、前フレームのガイドポインタ（前回算定したガイドポインタ）の表示位置である。また、定数rは、ガイドポインタがポインタに近づく割合であり、例えば０．１である。この式１により、ガイドポインタの位置は、前回算定したガイドポインタの位置と現在のポインタの表示位置との間に内分点として定められる。この式１により、ガイドポインタの位置は、前回算定したガイドポインタの位置よりも現在のポインタの位置に近付くことになる。図４は、画面上でポインタにガイドポインタが追従する様子を示す図である。同図では、画面左上に位置したポインタ１０３が操作者の操作に応じて各フレーム毎に、順にポインタ１０３ａ、ポインタ１０３ｂ、・・・、ポインタ１０３ｈと移動した例を示す。この場合において、画面左上に位置したガイドポインタ１０４は、そのポインタの移動に追従して各フレーム毎に、順にガイドポインタ１０４ａ、ガイドポインタ１０４ｂ、・・・、ガイドポインタ１０４ｈと移動している。即ち、ガイドポインタ１０４ａは、ポインタ１０３ａとガイドポインタ１０４との内分点であり、ガイドポインタ１０４ｂは、ポインタ１０３ｂとガイドポインタ１０４ａとの内分点であり、また、ガイドポインタ１０４ｈは、ポインタ１０３ｈとガイドポインタ１０４ｇとの内分点である。操作者が指示物１１の動きを止めるとポインタの表示位置が移動しなくなり、このとき、ガイドポインタは次第にポインタの位置へと近付くことになる。また、式１とは異なる特定の算定方法によって、ガイドポインタの位置を、前回算定したガイドポインタの位置よりも現在のポインタの位置に近づけるように算定してもよい。

なお、一定条件下で式１を適用するところ、その一定条件が成立しない場合として、ガイドポインタとポインタとの距離が所定の値より小さい場合には、ガイドポインタの表示位置を前フレームから変更しないこととしてもよい。つまり、この場合には、ガイドポインタの表示位置を、前回算定したガイドポインタの位置と同一となるように算定する。これにより、ガイドポインタとポインタとの距離が近い（例えば画面上で数センチ以下等）場合には、ガイドポインタの表示位置が変更されないようにすることができる。また、ポインタの位置と前回算定したガイドポインタの位置との距離が所定の距離より小さく、かつ、そのポインタの位置へ前回決定されたポインタの位置から向かう方向に前回算定したガイドポインタの位置がある場合にはその方向から外れる位置となるよう、ガイドポインタの位置を算定してもよい。これは意図しない誤操作を防止するために有効となる。なお、この前回決定されたポインタの位置から向かう方向については、例えばプラスマイナス５度等といったある程度の角度の幅をもたせてもよい。

制御部６０は、取得部４４により決定されたポインタの表示位置に基づいて、画面表示の更新や、画面に表示されているオブジェクト（対象）に関連する所定処理等の制御を行う機能を担う。画面表示の更新としては、制御部６０は、指示物１１の現在の３次元位置に応じて定めた画面上の位置にポインタを表示し、ポインタの位置に基づいて算定した位置にガイドポインタを表示し、操作の対象となるオブジェクトを画面上に表示するように制御する。このポインタ、ガイドポインタ及びオブジェクトは、ＧＵＩの構成要素であり、操作者とのインタラクションの対象となる表示要素である。また、制御部６０は、操作者の動作を認識して動作に対応した機能を実行する。即ち、制御部６０は、ガイドポインタに対するポインタの動き（位置の軌跡）が所定条件を満たすか否かにより、選択等の操作がなされたかを判定し、満たすと判定した場合にはガイドポインタに最も近い位置に表示されたオブジェクトに関連した所定処理を行う。この所定処理は例えばオブジェクトの表示態様の変更（拡大、縮小、回転、移動、変形、消去等）、オブジェクトに対応して予め定められた機能の実行（機能処理プログラムに対応付けられたアイコンがオブジェクトであればその機能処理プログラムの実行）等である。なお、所定処理は、制御装置２０の外部への光、電気信号等の出力を含む。

この制御部６０は、機能構成要素として、ポインタ表示制御部６２、ガイドポインタ表示制御部６４、補助表示制御部６６及び基準記憶部６８を有する。

ポインタ表示制御部６２は、取得部４４により決定された画面上のポインタの表示位置に基づいて、ポインタを表示するように制御する機能を有する。なお、ポインタは、画面上における特定の形状（例えば、円形状、十字形状等）、及び／又は、特定色（例えば、赤色）をした位置表示物である。

ガイドポインタ表示制御部６４は、算定部４６により算定されたガイドポインタの表示位置に基づいて、ガイドポインタを表示するように制御する機能を有する。なお、ガイドポインタは、ポインタと同じく画面上における特定の形状（例えば、円形状、十字形状）、及び／又は、特定色（例えば、赤色とは別の青色）をした位置表示物であり、一定の大きさを有する。

基準記憶部６８は、ＲＡＭ２６又は記録媒体２８における一領域により実現され、ガイドポインタに対するポインタの動きが、所定条件を満たすか否かの判定に用いられる基準としての閾値等を記憶する機能を有する。この基準は、所定条件を示すものであり、例えば、ガイドポインタ上をポインタが左から右に通過するという条件を規定するものや、ガイドポインタ上をポインタの位置の軌跡が通過する方向を示す角度範囲の閾値等である。制御部６０によりポインタの動きが所定条件を満たした場合に行う処理が複数ある場合においては、基準記憶部６８は、処理毎に、基準（閾値等）を対応付けて記憶することとしてもよい。なお、この基準は情報入力システム１０の製造者又は運用管理者、或いは、操作者等により設定される。この基準記憶部６８により記憶された基準に基づいて、制御部６０は、ガイドポインタに対するポインタの動き（位置の軌跡）が所定条件を満たすか否かを判定し、所定条件を満たす場合に上述した所定処理を行う。例えば、ガイドポインタ上を基準記憶部６８の基準により規定された方向にポインタが通過した場合に、所定条件が満たされたと判定して制御部６０は、予め定められた所定の機能を実行する。また、例えば、ガイドポインタの周りを、基準記憶部６８の基準により規定された方向に、規定された角度だけポインタが周回した場合に、制御部６０は、所定条件が満たされたと判定してもよい。また、例えば、ガイドポインタとポインタとの距離が、基準記憶部６８の基準により規定された距離より小さくなった場合に（更に、その後所定時間以内にその規定された距離より大きくなった場合としてもよい。）、所定条件が満たされたと判定してもよい。また、逆に、ガイドポインタとポインタとの距離が、基準記憶部６８の基準により規定された距離より大きくなった場合に（更に、その後所定時間以内にその規定された距離より小さくなった場合としてもよい。）、所定条件が満たされたと判定してもよい。

また、基準記憶部６８は、ガイドポインタの位置に対するポインタの位置の軌跡が所定条件を満たす前に満たすと推定される所定の予備的条件を規定する予備的基準を記憶してもよい。この予備的基準は、例えば、所定条件がガイドポインタ上をポインタが左から右に通過するという条件であった場合には、ポインタがガイドポインタに左から近づくといった予備的条件を規定するものである。制御部６０は、予備的基準により規定された予備的条件をポインタの位置の軌跡が満たすと認識した場合に、算定部４６に通知して算定部４６がガイドポインタの表示位置を変更しないように（ガイドポインタの表示位置を前回算定した位置と同じ位置となるように）してもよい。これにより、操作者は所定条件を満たすための指示物１１の操作を行い易くなり、操作性が向上し得る。

補助表示制御部６６は、基準記憶部６８に記憶されている所定条件に係る基準を図形の形状、大きさ又は色に反映して表現した図形である補助表示物を、表示部５２の画面に表示するよう制御する機能を有する。補助表示物は、例えば、基準記憶部６８に記憶されている所定条件に係る基準が、ガイドポインタ上をポインタが左から右に通過するという条件を規定するものであった場合に、左から右に通過するという所定条件を示唆する表示（例えば、右向きの矢印等）である。また、所定条件を示唆する補助表示物としては、例えば、所定条件を満たすポインタの位置の軌跡の例について表す図形（その軌跡を描く図形、その軌跡が通過すべき境界線を描く図形等）であってもよい。操作者は、選択等の操作を行いたい場合には、画面上でガイドポインタとポインタとの位置関係を目視により確認しながら、指示物１１を動かすことで画面上のガイドポインタに対するポインタの位置を所定条件を満たすように動かす必要がある。従って、補助表示物は、操作者がポインタ及びガイドポインタを目視しながら指示物１１を動かす際において、有効な補助となる。なお、補助表示物がガイドポインタにある程度近付いて表示されるようにすると、操作の補助としての有用性が向上し得る。

なお、選択等の対象となる１又は複数のオブジェクトを含む画像を表示部５２の画面に表示する機能は、広く知られた一般的な表示機能であるため、ここでは特に説明しない。

ここで、ガイドポインタに対してポインタの位置の軌跡が所定条件を満たす場合の例について図５Ａ〜図５Ｃ、図６Ａ〜図６Ｃ、図７Ａ〜図７Ｃを用いて、説明する。なお、画面上に表示するガイドポインタ及びポインタのそれぞれの大きさは、情報入力システム１０の製造者又は運用管理者、或いは、操作者等により設定されるところ、ここでは、それぞれの大きさの大小関係の異なる例を示して説明する。各図中の破線矢印はポインタの移動によるポインタの位置の軌跡を示している。

図５Ａは、ポインタが略同じ大きさのガイドポインタ上を所定方向に通過するという条件を示す図である。同図の例での所定方向は左から右である。この例は、元のポインタ２０３ａがガイドポインタ２０４ａ上を左から右へと通過してポインタ２０３ｂに移動した場合に制御部６０により所定条件が満たされたと判定されることを示す。図５Ｂは、ポインタが、それより大きいガイドポインタ上から所定方向に離れるという条件を示す図である。同図の例でも所定方向は左から右である。この例は、元のポインタ２０３ｃがガイドポインタ２０４ｃ上（内部）を右へと動いてポインタ２０３ｄとなった場合に制御部６０により所定条件が満たされたと判定されることを示す。図５Ｃは、ポインタが、それより小さいガイドポインタ上から所定方向に離れるという条件を示す図である。同図の例でも所定方向は左から右である。この例は、元のポインタ２０３ｅがガイドポインタ２０４ｅを包含しており、これが右へと動いてガイドポインタ２０４ｅから離れてポインタ２０３ｆとなった場合に制御部６０により所定条件が満たされたと判定されることを示す。

図６Ａは、ポインタが略同じ大きさのガイドポインタを所定方向に所定角度周回するという条件を示す図である。同図の例での所定方向は右回り（時計回り）であり、所定角度は２７０度である。この例は、元のポインタ３０３ａがガイドポインタ３０４ａの周囲を右回りに２７０度周回してポインタ３０３ｂに移動した場合に制御部６０により所定条件が満たされたと判定されることを示す。図６Ｂは、ポインタが、それより大きいガイドポインタを所定方向に所定角度周回するという条件を示す図である。同図の例でも所定方向は右回りであり、所定角度は２７０度である。この例は、元のポインタ３０３ｃがガイドポインタ３０４ｃの内部でその中心の周囲を右回りに２７０度周回してポインタ３０３ｄに移動した場合に制御部６０により所定条件が満たされたと判定されることを示す。図６Ｃは、ポインタが、それより小さいガイドポインタを所定方向に所定角度周回するという条件を示す図である。同図の例でも所定方向は右回りであり、所定角度は２７０度である。この例は、ガイドポインタ３０４ｅを包含している元のポインタ３０３ｅが、その中心でガイドポインタ３０４ｅの周囲を右回りに周回してポインタ３０３ｆへと移動し、更に右回りに周回を継続することにより移動開始から２７０度周回してポインタ３０３ｇとなった場合に制御部６０により所定条件が満たされたと判定されることを示す。このように、図６Ａ〜図６Ｃでは、ポインタがガイドポインタの周囲を周回する場合や、ポインタがガイドポインタの内部でガイドポインタの中心の周囲を周回する場合等のようにガイドポインタを所定の方向に所定の角度周回したことを所定条件としている。

図７Ａは、ポインタと、略同じ大きさのガイドポインタとの距離が所定の距離より小さくなってからその所定の距離より大きくなるという条件を示す図である。同図の例において所定の距離は破線の円の半径で示される。この例は、元のポインタ４０３ａがガイドポインタ４０４ａから一定距離に一旦近付いて所定時間（例えば１秒）内にまた離れてポインタ４０３ｂとなった場合に制御部６０により所定条件が満たされたと判定されることを示す。図７Ｂは、ポインタと、それより大きいガイドポインタとの距離が所定の距離より大きくなってからその所定の距離より小さくなるという条件を示す図である。同図の例では、ポインタとガイドポインタとの距離は、ポインタとガイドポインタの中心との距離であり、所定の距離はガイドポインタの半径である。この例は、元のポインタ４０３ｃがガイドポインタ４０４ｃの内部から一旦脱出して所定時間内にまた戻ってポインタ４０３ｄとなった場合に制御部６０により所定条件が満たされたと判定されることを示す。図７Ｃは、ポインタと、それより小さいガイドポインタとの距離が所定の距離より大きくなってからその所定の距離より小さくなるという条件を示す図である。同図の例では、ポインタとガイドポインタとの距離は、ポインタの中心とガイドポインタとの距離であり、所定の距離はポインタの半径である。この例は、ガイドポインタ４０４ｅを包含している元のポインタ４０３ｅが、ガイドポインタ４０４ｅを包含しない位置に一旦移動してポインタ４０３ｆとなって、移動開始から所定時間内に再び包含する位置に戻ってポインタ４０３ｇとなった場合に制御部６０により所定条件が満たされたと判定されることを示す。なお、所定条件を、ポインタとガイドポインタとの距離が所定の距離より小さくなったことと定めてもよいし、ポインタとガイドポインタとの距離が所定の距離より大きくなったことと定めてもよい。

このように、ガイドポインタとポインタとの位置関係に基づいて、所定処理の実行条件となる所定条件を予め設定しておくことにより、画面を見ながら指示物１１を操作する操作者が意図的に所定処理を実行させることができるようになる。

次に、以上のように構成された情報入力システム１０の動作について説明する。ここでは、画面に複数のオブジェクトが含まれている場合において操作者が指示物を動かすことにより任意のオブジェクトに対して選択等の所定の動作を行う状況を想定して説明を行う。

図８は、情報入力システム１０の動作を示すフローチャートである。このフローチャートに示す動作は、例えば１フレーム毎に繰り返し実行される。

まず、検出部４２は、３次元空間における指示物１１の少なくとも１つの部位の位置を検出する（処理ステップＳ１０）。ここでは、指示物１１が片手であり、検出部４２が５本の指の３次元位置を検出するように予め設定されているものとして説明する。検出部４２により検出された各指の各３次元位置は、取得部４４に伝達される。

検出部４２に検出された指示物１１の各部位の位置（各指の位置）が取得部４４に伝達されると、少なくとも１つの部位の位置に基づいてポインタを表示すべき画面上の位置を決定する（処理ステップＳ１２）。具体例としては、例えば人差し指の３次元位置を算出し、その位置に所定の投影変換を施して得られる２次元位置を算出してポインタの画面上の表示位置として決定する。なお、どの部位の位置に基づいてポインタの表示位置を決定するかについて、人差し指に限られることはない。例えば、人差し指と親指との３次元位置を算出して、その両位置の平均値に所定の投影変換を施して得られる２次元位置をポインタの画面上の表示位置として決定してもよい。

取得部４４により決定されたポインタの表示位置は、制御部６０及び算定部４６に伝達される。これで、後の処理ステップＳ２０において、ポインタ表示制御部６２によりポインタが表示装置１６（表示部５２）の画面上のその決定された表示位置に表示されることになる。

取得部４４によりポインタの表示位置が決定されると、制御部６０は、後に説明する処理ステップＳ１８において既にこれまでに算定されているガイドポインタの表示位置（初回は所定の初期値）に対するポインタの動きが、基準記憶部６８の基準で示される所定条件を満たしたか否かを判定する（処理ステップＳ１４）。そして、制御部６０は、所定条件を満たしたと判定した場合は、予め定められた機能を実行する（処理ステップＳ１６）。予め定められた機能とは、例えば、表示装置１６の画面上でガイドポインタの表示位置と最も近い位置に表示されていたオブジェクトに関連した所定処理を行う機能である。具体例としては、そのオブジェクトを選択状態にする機能（例えば少し拡大する等の強調表示をした表示態様へ変更すること等を含む機能）、そのオブジェクトの形状を拡大する機能、或いは、縮小する機能等が挙げられる。

次に、算定部４６は、取得部４４から得たポインタの表示位置に基づいて、ガイドポインタの表示位置を算定する（処理ステップＳ１８）。ガイドポインタの表示位置は、例えばポインタの表示位置と前回算定したガイドポインタの表示位置とが一定距離以内であれば、前回と同じ位置と算定する。また、例えばポインタの表示位置と前回算定したガイドポインタの表示位置とが一定距離以内でなければ、ポインタにガイドポインタが追従するように、上述した式１によってガイドポインタの表示位置を算定する。なお、上述したように、ガイドポインタに対するポインタの動きが予備的条件を満たしている場合において、ガイドポインタの表示位置は前回と同一となるように算定してもよい。そして、算定部４６により算定されたガイドポインタの表示位置は、制御部６０に伝達される。

そして、制御部６０は、表示装置１６の画面の表示内容を更新するよう制御を行う（処理ステップＳ２０）。具体的には、制御部６０のポインタ表示制御部６２は、処理ステップＳ１２において決定された画面上の位置にポインタを表示するための表示用画像を形成する。また、ガイドポインタ表示制御部６４は、処理ステップＳ１８において算定された画面上の位置にガイドポインタを表示するための表示用画像を形成する。また、補助表示制御部６６は、例えば、基準記憶部６８に記憶されている基準を、図形の形状、大きさ又は色に反映した図形（所定条件を示唆する補助表示物）として表示するための表示用画像を形成する。制御部６０は、各部により形成された表示用画像に基づいて、ポインタ、ガイドポインタ及び補助表示物が、表示装置１６の画面に表示されるように形成した画像信号を表示装置１６に出力する。なお、補助表示物を表示しないようにしてもよい。

この処理ステップＳ１０〜Ｓ２０までは、逐次繰り返される。これにより、検出部４２により逐次検出された指示物１１の各部の位置が取得部４４により逐次取得され、制御部６０に伝達され、表示装置１６の画面の表示内容が逐次更新されることになる。従って、表示装置１６の画面には、複数のオブジェクトに加えて、操作者により動かされる指示物１１の動きに応じて変化するポインタ、ガイドポインタ及び補助表示物が表示されることになる。

図９は、情報入力システム１０によって提供されるＧＵＩの一例を示す図である。この例では、複数のオブジェクト１０１が水平方向及び垂直方向に並べられて表示装置１６（表示部５２）における画面に表示されている。

そして、この例は、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより選択しようとする様子（選択前の状態）を示している。即ち、画面には、指示物１１の１つの部位（図９では人差し指）の位置１０２に基づいて、所定の投影変換を施して得られる２次元位置にポインタ１０３が表示されている。また、ポインタ１０３の表示位置に基づいて算定された位置にガイドポインタ１０４が表示されている。また、選択（所定処理）を実行するための条件である所定条件に係る基準を図形として表した補助表示物１０５が、ガイドポインタ１０４の周りに表示されている。なお、図９における補助表示物１０５は、ガイドポインタの周囲をポインタが右回り（時計回り）に２７０度以上動けば、所定条件が満たされると判定されることを示唆している。

この図９に示す状況から、操作者が指示物１１を動かして、オブジェクトの選択を行った様子を図１０に示す。

図１０は、図９の例の状況に後続したＧＵＩの一例を示す図である。この例は、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより選択した様子（選択直後の状態）を示している。操作者は、人差し指を動かしており、画面には、指示物１１の部位の位置１０２に基づいて、ポインタ１０３がガイドポインタ１０４の周りを右回りに２７０度周回している様子が示されている。例えばこのような操作が行われると、制御部６０はポインタ１０３の動きが所定条件を満たしていると判定し、操作者が所定の動作（本例では選択）を行ったと認識する。そして、図１０に示すように、ガイドポインタ１０４と重なって表示されていたオブジェクトの選択が実行される（そのオブジェクトが強調表示される）。

以下、上述したＧＵＩの一例とは別の一例について説明する。上述の例では、ポインタがガイドポインタを所定方向に所定角度周回することが所定条件である例を示したが、次に示す例では、ポインタがガイドポインタから一旦一定距離離れて再度近付くことが所定条件である。

図１１は、情報入力システム１０によって提供されるＧＵＩの別の一例を示す図である。この例でも、複数のオブジェクト１０１が水平方向及び垂直方向に並べられて表示装置（表示部５２）における画面に表示されている。そして、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより選択しようとする様子（選択前の状態）を示している。即ち、画面には、指示物１１の人差し指、中指、薬指及び小指の各位置１０２に基づいて、その平均位置に所定の投影変換を施して得られる２次元位置に表示されるポインタ１０３が表示されている。また、ポインタ１０３の表示位置に基づいて算定された位置にガイドポインタ１０４が表示されている。本例では、ポインタを十分に内包する程度の大きさのガイドポインタが表示されている。また、本例では補助表示物を表示していない。

この図１１に示す状況から、操作者が指示物１１を動かして、オブジェクトの選択を行った様子を図１２に示す。

図１２は、図１１の例の状況に後続したＧＵＩの一例を示す図である。この例は、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより選択した様子（選択直後の状態）を示している。即ち、操作者は、画面を見ながらポインタ１０３をガイドポインタ１０４の中から外部に遠ざけた後、直ぐにまた中に戻すような動きをしようと、人差し指、中指、薬指及び小指の位置を動かすことで選択のための操作をする。そして、このような操作が行われると、制御部６０は、操作者が所定の動作（本例では選択）を行ったと認識する。そして、図１２に示すように、ガイドポインタ１０４と重なって表示されていたオブジェクトの選択が実行される（そのオブジェクトが強調表示される）。

以下、上述したＧＵＩ例とは更に別の一例について説明する。この例では、ガイドポインタの上をポインタが所定方向（下向き）に通過することが所定処理を実行するための所定条件である。また、この例では、ポインタの進む方向にガイドポインタが存在する場合に、ガイドポインタの位置がその方向から外れるように変更される。

図１３は、情報入力システム１０によって提供されるＧＵＩの別の一例を示す図である。この例でも、複数のオブジェクト１０１が水平方向及び垂直方向に並べられて表示装置（表示部５２）における画面に表示されている。そして、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより選択しようとする様子（選択前の状態）を示している。即ち、画面には、指示物１１の人差し指の位置１０２に基づいて、所定の投影変換を施して得られる２次元位置にポインタ１０３が表示されている。また、ポインタ１０３の表示位置に基づいて算定された位置にガイドポインタ１０４が表示されている。また、所定条件に係る基準を図形として表した補助表示物１０５が、ガイドポインタ１０４の周りに表示されている。なお、図１３における補助表示物１０５は、ガイドポインタを示す表示の上をポインタが上から下に通過すれば、所定条件が満たされ所定処理（選択）が実行されることを示唆している。

この図１３に示す状況から、操作者が指示物１１を動かして、オブジェクトの選択を行った様子を図１４及び図１５に示す。

図１４は、図１３の例の状況に後続したＧＵＩの一例を示す図である。この図１３から図１４への遷移において、ポインタ１０３がガイドポインタ１０４に近づいて行き、所定の距離範囲内（破線の円で示された範囲内）に入った際に、ポインタの進む方向に（例えばその方向に一定の幅をもたせその方向からプラスマイナス１０度以内に）、ガイドポインタ１０４が存在するため、図１４では、ポインタの進む方向から外れるようにガイドポインタ１０４の位置が少し変更されている。

図１５は、図１４の例の状況に後続したＧＵＩの一例を示す図である。この図１５では、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより選択した様子（選択直後の状態）を示している。即ち、操作者は、ガイドポインタ１０４の位置が変更されたことを、画面を見ながら確認し、ポインタ１０３がガイドポインタ１０４を上から下に通過するように、人差し指の位置を動かすことで選択のための操作をする。そして、このような操作が行われると、制御部６０は、操作者が所定の動作（本例では選択）を行ったと認識する。そして、図１５に示すように、ガイドポインタ１０４と重なって表示されていたオブジェクトの選択が実行される（そのオブジェクトが強調表示される）。

このように、本実施の形態における情報入力システム１０によれば、操作者は、表示装置１６（表示部５２）の画面に表示された、操作の基準となるガイドポインタ１０４及び補助表示物１０５を確認しながら、指示物１１の各部位を移動させることにより、ポインタ１０３の位置を変更し、オブジェクトに対する選択、拡大縮小等の操作を容易に行えるようになる。なお、一定条件下でポインタ１０３にガイドポインタ１０４は追従し、例えばポインタ１０３が停止すると次第にガイドポインタ１０４は一定距離までは徐々に近付く。このような場合において所定条件を満たすようにポインタ１０３を動かす操作は比較的容易となり得る。

（第２の実施の形態）
以下、第２の実施の形態に係る情報入力システム１０ａについて、図１６〜図２０に基づいて説明する。情報入力システム１０ａのハードウェア構成は、図２に示すものと同一である。なお、第１の実施の形態と同じ構成及び処理については詳しい説明を省略する。

図１６は、情報入力システム１０ａの機能ブロック図である。

この情報入力システム１０ａは、機能的には、表示部５２に表示された画像に対する操作者の操作を取得するためのシステムであって、検出部４２、情報処理部７０ａ及び表示部５２を備える。ここで、情報処理部７０ａは、３次元位置を用いて画面表示の制御等を行う処理系であり、制御装置２０により実現され、取得部４４、算定部４６ａ及び制御部６０ａを有する。この情報処理部７０ａにおける算定部４６ａ及び制御部６０ａはそれぞれ第１の実施の形態で示した情報処理部７０の算定部４６及び制御部６０を一部変形したものであり、同じ点については詳しい説明を省略する。

算定部４６ａは、取得部４４により決定されたポインタの表示位置、及び、操作者の操作対象である画面上の各オブジェクトの表示位置に基づいて、表示部５２の画面上に表示するガイドポインタの位置を算定する機能を有する。算定部４６ａは、例えば、現在のポインタの表示位置に一番近いオブジェクトの上に、ガイドポインタを表示するようにガイドポインタの表示位置を算定する。

制御部６０ａは、機能構成要素として、ポインタ表示制御部６２、ガイドポインタ表示制御部６４、補助表示制御部６６、基準記憶部６８及びオブジェクト表示制御部８２を有する。

オブジェクト表示制御部８２は、操作者の操作等に基づいて、操作対象となるオブジェクトの表示位置を決定し、画面上に表示するように制御する機能を有する。例えば、画面上に複数のオブジェクトを水平方向及び垂直方向に並べるように各オブジェクトの表示位置が決定される。また、オブジェクト表示制御部８２は、各オブジェクトの表示位置を、算定部４６ａに伝達する機能も有する。

次に、以上のように構成された情報入力システム１０ａの動作について説明する。ここでは、画面に複数のオブジェクトが含まれている場合において操作者が指示物を動かすことにより任意のオブジェクトに対して拡大、縮小等の所定の動作を行う状況を想定して説明を行う。

図１７は、情報入力システム１０ａの動作を示すフローチャートである。

まず、検出部４２は、３次元空間における指示物１１の少なくとも１つの部位の位置を検出する（処理ステップＳ３０）。検出部４２により検出された各部位の３次元位置は、取得部４４に伝達される。

検出部４２に検出された指示物１１の各部位の位置（各指の位置）が取得部４４に伝達されると、取得部４４は、少なくとも１つの部位の位置に基づいてポインタを表示すべき画面上の位置を決定する（処理ステップＳ３２）。取得部４４により決定されたポインタの表示位置は、制御部６０ａ及び算定部４６ａに伝達される。

取得部４４によりポインタの表示位置が決定されると、制御部６０は、後に説明する処理ステップＳ３８において既にこれまでに算定されているガイドポインタの表示位置（初回は所定の初期値）に対するポインタの動きが、基準記憶部６８の基準で示される所定条件を満たしたか否かを判定する（処理ステップＳ３４）。制御部６０は、所定条件を満たしたと判定した場合は、予め定められた機能を実行する（処理ステップＳ３６）。予め定められた機能とは、例えば、表示装置１６の画面上でガイドポインタの表示位置に重なるように表示されていたオブジェクトに関連した所定処理を行う機能である。具体例としては、そのオブジェクトの形状を拡大する機能或いは縮小する機能、そのオブジェクトを選択状態にする機能等が挙げられる。制御部６０ａは、例えば、ある所定条件を満たしたと判定したときには拡大機能を実行し、また別の所定条件を満たしたと判定したときには縮小機能を実行することとしてもよい。

次に、算定部４６ａは、取得部４４から得たポインタの表示位置と、オブジェクト表示制御部８２により定められた各オブジェクトの表示位置とに基づいて、ガイドポインタの表示位置を算定する（処理ステップＳ３８）。具体例としては、現在のポインタの表示位置に一番近いオブジェクトの上に重なってガイドポインタが表示されるようにガイドポインタの表示位置を算定する。そして、算定部４６ａにより決定されたガイドポインタの表示位置は、制御部６０ａに伝達される。

そして、制御部６０ａは、表示装置１６の画面の表示内容を更新するよう制御を行う（処理ステップＳ４０）。具体的には、制御部６０ａのポインタ表示制御部６２は、処理ステップＳ３２において決定された画面上の位置にポインタを表示するための表示用画像を形成する。また、ガイドポインタ表示制御部６４は、処理ステップＳ３８において算定された画面上の位置にガイドポインタを表示するための表示用画像を形成する。また、補助表示制御部６６は、例えば、基準記憶部６８に記憶されている基準を、図形の形状、大きさ又は色に反映した図形（所定条件を示唆する補助表示物）として表示するための表示用画像を形成する。制御部６０ａは、各部により形成された表示用画像に基づいて、ポインタ、ガイドポインタ及び補助表示物が、表示装置１６の画面に表示されるように形成した画像信号を表示装置１６に出力する。なお、補助表示物を表示しないようにしてもよい。

この処理ステップＳ３０〜Ｓ４０までは、逐次繰り返される。これにより、検出部４２により逐次検出された指示物１１の各部の位置が取得部４４により逐次取得され、制御部６０ａに伝達され、表示装置１６の画面の表示内容が逐次更新されることになる。従って、表示装置１６の画面には、複数のオブジェクトに加えて、操作者により動かされる指示物１１の動きに応じて変化するポインタ、ガイドポインタ及び補助表示物が表示されることになる。

図１８は、情報入力システム１０ａによって提供されるＧＵＩの別の一例を示す図である。この例では、複数のオブジェクト５０１が水平方向及び垂直方向に並べられて表示装置（表示部５２）における画面に表示されている。そして、画面に表示されたオブジェクトの１つを、操作者が、指示物１１の動きにより拡大しようとする様子（拡大操作前の状態）を示している。即ち、画面には、指示物１１の人差し指の位置５０２に基づいて、所定の投影変換を施して得られる２次元位置に表示されるポインタ５０３が表示されている。また、ポインタ５０３の表示位置及び操作対象となる複数のオブジェクト５０１の表示位置に基づいて算定された位置にガイドポインタ５０４が表示されている。この例では、ポインタ５０３の現在の表示位置に一番近いオブジェクトの中心位置に、ガイドポインタの表示位置が算定されていることを示している。また、拡大のための所定条件に係る基準を図形として表した補助表示物５０５（所定条件を満たす場合にポインタの位置の軌跡が通過すべき境界線）が、ガイドポインタ２０４の周りに表示されている。

この図１８に示す状況から、操作者が指示物１１を動かして、オブジェクトの選択を行った様子を図１９及び図２０に示す。

図１９は、図１８の例の状況に後続したＧＵＩの一例を示す図である。この図では、ポインタ５０３が画面上を動いて行き、ポインタ５０３と一番近いオブジェクトが図１８の場合とは別のオブジェクトになったために、ガイドポインタ５０４の表示位置が変更された例を示している。

図２０は、図１９の例の状況に後続したＧＵＩの一例を示す図である。この図では、画面に表示されたオブジェクトの１つに対して、操作者が、指示物１１の動きにより拡大した様子（拡大操作直後の状態）を示している。即ち、操作者は、画面を見ながらポインタ５０３をガイドポインタ５０４に近づけて、直ぐに遠ざけるような動きをしようと、人差し指の位置を動かすことで拡大のための操作をする。そして、このような操作が行われると、制御部６０ａは、ガイドポインタ５０４に対するポインタ５０３の位置の軌跡が所定条件を満たしたと判定し、図２０に示すように、ガイドポインタ５０４の表示位置に表示されていたオブジェクトの拡大処理を実行する。なお、ここでは拡大、縮小の機能の実行について示したが、拡大、縮小以外の、選択、決定等といった各種機能を実行させる場合にも、上述した方法と同様の方法を用いることができる。

このように、情報入力システム１０ａによれば、ガイドポインタが拡大等の操作の対象となるオブジェクト上にのみ表示されるため、適切に拡大、縮小等の動作を行うことができ、対応する所定の機能を実行させることができる。よって、操作者が、特別な操作機器を用いずに、画面に表示されたオブジェクトに対するポインティング操作と、拡大、縮小、選択等の操作とを容易に行うことができるようになる。

また、上記ＧＵＩの一例では、画面上に存在する全てのオブジェクトの中から、ポインタ５０３に一番近いオブジェクトの中心位置にガイドポインタの位置を算定する例を示した。この他に、例えば、オブジェクトは拡大、選択等といった操作が有効か否かという属性を有することとし、現在において操作が有効であるという属性を有するオブジェクトのうち、ポインタ５０３に一番近いオブジェクトの中心位置にガイドポインタの位置を算定することとしてもよい。これによって、操作者は、拡大、選択等の操作が可能なオブジェクトのみを効果的に操作することが可能になる。また、ガイドポインタは、ポインタからオブジェクトが一定距離以下となった場合にのみ表示されることとしてもよい。また、算定されるガイドポインタの位置はオブジェクトの中心位置でなくてもよく、単にオブジェクトに重なる位置であってもよい。

（変形例等）
以上、情報処理装置及び情報処理方法の一実施態様としての情報入力システムについて、第１及び第２の実施の形態に基づいて説明したが、上述した各実施の形態は一例にすぎず、本発明はこれらの実施の形態に限定されるものではない。上述した各実施の形態に、本発明の趣旨を逸脱しない限り当業者が思いつく各種変形を施してもよい。その他、各実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本発明の範囲に含まれる。

第１の実施の形態では、制御部は、ガイドポインタに対するポインタの動きが所定条件を満たした場合にガイドポインタが表示されている位置に最も近い位置に表示されたオブジェクトに関連した所定処理を行うこととした。この他に、ガイドポインタが表示されている位置に表示されたオブジェクトに関連した所定処理を行うこととしてもよいし、ポインタが表示されている位置（又はこの位置に最も近い位置）に表示されたオブジェクトに関連した所定処理を行うこととしてもよい。

また、第１及び第２の実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェア（プログラム）を実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェア（プログラム）を読み出して実行することによって実現されてもよい。

上述の第１及び第２の実施の形態における情報入力システムを実現するソフトウェアは、例えば次のような制御プログラムである。

プロセッサを有する情報処理装置に、画面に表示された対象に関連して所定処理を実行するための情報処理を実行させるための制御プログラムであって、前記情報処理は、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面上に表示するポインタの位置を逐次決定する取得ステップと、前記取得ステップにより決定されたポインタの位置に基づいて、前記画面上に表示するガイドポインタが一定条件下で当該ポインタに追従するように、当該ガイドポインタの位置を逐次算定する算定ステップと、前記算定ステップにおいて算定されたガイドポインタの位置に対して、前記取得ステップにおいて決定されたポインタの位置の軌跡が、所定条件を満たす場合に前記所定処理を行う制御ステップと、を含む制御プログラムである。

また、上述の制御プログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布された制御プログラムを装置類にインストールして、装置類のプロセッサに実行させることで、装置類に各種処理（図８及び図１７に示す処理等）を行わせることが可能となる。

また、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等を含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作をすることにより、システムＬＳＩは、その機能を達成する。

また、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有してもよい。

また、本発明は、コンピュータプログラム又はデジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ等に記録したもので実現してもよい。さらに、これらの記録媒体に記録されているデジタル信号で実現してもよい。

また、本発明に係るコンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、プログラム又はデジタル信号を記録媒体に記録して移送することにより、又はプログラム又はデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

また、上記実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

本発明は、ＧＵＩを提供する情報入力システム等に利用できる。

１０、１０ａ 情報入力システム
１１ 指示物
１２ ステレオカメラ
１４ 通信装置
１６ 表示装置
１８ 入力装置
２０ 制御装置
２２ ＣＰＵ
２４ ＲＯＭ
２６ ＲＡＭ
２８ 記録媒体
４２ 検出部
４４ 取得部
４６、４６ａ 算定部
５２ 表示部
６０、６０ａ 制御部
６２ ポインタ表示制御部
６４ ガイドポインタ表示制御部
６６ 補助表示制御部
６８ 基準記憶部
７０、７０ａ 情報処理部
８２ オブジェクト表示制御部

Claims (22)

1. 情報処理装置において、画面に表示された対象に関連して所定処理を実行するための情報処理方法であって、
   指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面上に表示するポインタの位置を逐次決定する取得ステップと、
   前記取得ステップにより決定されたポインタの位置に基づいて、前記画面上に表示するガイドポインタが一定条件下で当該ポインタに追従するように、当該ガイドポインタの位置を逐次算定する算定ステップと、
   前記算定ステップにおいて算定されたガイドポインタの位置に対して、前記取得ステップにおいて決定されたポインタの位置の軌跡が、所定条件を満たす場合に前記所定処理を行う制御ステップと、を含む
   情報処理方法。
2. 前記位置情報は、３次元位置を表す情報であり、
   前記情報処理方法は更に、前記指示物における１以上の各部位についての３次元位置を検出することにより前記位置情報を逐次生成する検出ステップを含み、
   前記取得ステップでは、前記検出ステップにおいて生成された前記位置情報を逐次取得し、当該位置情報に基づいて定めた１つの３次元位置に所定の投影変換を施して得られる２次元位置を前記画面に表示する前記ポインタの位置として逐次決定し、
   前記制御ステップでは、前記取得ステップにおいて逐次決定された前記ポインタの位置及び前記算定ステップにおいて逐次算定された前記ガイドポインタの位置に対応して、前記ポインタ及び前記ガイドポインタを前記画面に表示するように制御する
   請求項１記載の情報処理方法。
3. 前記算定ステップでは、前記取得ステップにより前記ポインタの位置が決定される毎に当該ポインタの位置に基づいて前記ガイドポインタの位置を算定し、当該算定は一定条件下で、当該ガイドポインタの位置を、前回算定したガイドポインタの位置よりも当該ポインタの位置に近付けるように行われる
   請求項２記載の情報処理方法。
4. 前記算定ステップにおける前記ポインタの位置に基づく前記ガイドポインタの位置の前記算定は、当該ガイドポインタの位置を、前回算定したガイドポインタの位置と当該ポインタの位置との間に定めるように行われる
   請求項３記載の情報処理方法。
5. 前記算定ステップでは、前記ポインタの位置に基づく前記ガイドポインタの位置の前記算定を、当該ポインタの位置と前回算定したガイドポインタの位置との距離が所定の距離より小さい場合には前回算定したガイドポインタの位置と同一となるように行う
   請求項３記載の情報処理方法。
6. 前記算定ステップでは、前記ポインタの位置に基づく前記ガイドポインタの位置の前記算定を、当該ポインタの位置と前回算定したガイドポインタの位置との距離が所定の距離より小さく、かつ、当該ポインタの位置へ前記取得ステップにより前回決定されたポインタの位置から向かう方向に前回算定したガイドポインタの位置がある場合には当該方向から外れる位置となるように行う
   請求項３記載の情報処理方法。
7. 前記算定ステップでは、前記ガイドポインタの位置の前記算定を、既に算定したガイドポインタの位置に対して前記取得ステップにおいて決定されたポインタの位置の軌跡が前記所定条件を満たす前に満たすと推定される所定の予備的条件を満たした場合には、前回算定したガイドポインタの位置と同一となるように行う
   請求項３記載の情報処理方法。
8. 前記算定ステップでは、前記ガイドポインタの位置の前記算定を、前記画面に表示された１以上の対象の位置にも基づいて行う
   請求項２記載の情報処理方法。
9. 前記算定ステップでは、前記ポインタの位置及び前記１以上の対象の位置に基づく前記ガイドポインタの位置の前記算定を、当該ポインタの位置と最も近い１つの対象と当該ガイドポインタとが重なるように行う
   請求項８記載の情報処理方法。
10. 前記１以上の対象それぞれは、操作が有効か否かという属性を有し、
    前記算定ステップでは、前記ポインタの位置及び前記１以上の対象の位置に基づく前記ガイドポインタの位置の前記算定を、当該ポインタの位置と最も近い１つの、操作が有効な対象と、当該ガイドポインタとが重なるように行う
    請求項９記載の情報処理方法。
11. 前記制御ステップでは、前記ポインタの位置の軌跡が前記ガイドポインタを所定の方向に所定の角度周回した場合に、前記所定条件を満たすと判定して前記所定処理を行う
    請求項２記載の情報処理方法。
12. 前記制御ステップでは、前記ポインタの位置の軌跡が前記ガイドポインタ上を所定の方向に通過した場合に、前記所定条件を満たすと判定して前記所定処理を行う
    請求項２記載の情報処理方法。
13. 前記制御ステップでは、前記ポインタの位置の軌跡が前記ガイドポインタ上から所定の方向へと離れた場合に、前記所定条件を満たすと判定して前記所定処理を行う
    請求項２記載の情報処理方法。
14. 前記制御ステップでは、前記ポインタと前記ガイドポインタとの距離が所定の距離より小さくなった場合に、前記所定条件を満たすと判定して前記所定処理を行う
    請求項２記載の情報処理方法。
15. 前記制御ステップでは、前記ポインタと前記ガイドポインタとの距離が、所定の距離より小さくなってから所定時間内に当該所定の距離より大きくなった場合に、前記所定条件を満たすと判定して前記所定処理を行う
    請求項２記載の情報処理方法。
16. 前記制御ステップでは、前記ポインタと前記ガイドポインタとの距離が所定の距離より大きくなった場合に、前記所定条件を満たすと判定して前記所定処理を行う
    請求項２記載の情報処理方法。
17. 前記制御ステップでは、前記ポインタと前記ガイドポインタとの距離が、所定の距離より大きくなってから所定時間内に当該所定の距離より小さくなった場合に、前記所定条件を満たすと判定して前記所定処理を行う
    請求項２記載の情報処理方法。
18. 前記制御ステップでは、前記所定条件を、形状、大きさ又は色に反映して表現する図形を、前記画面に表示するように制御する
    請求項１〜１７のいずれか一項に記載の情報処理方法。
19. 前記制御ステップでは、前記所定条件を満たす前記ポインタの位置の軌跡の例について表す図形を、前記画面に表示するように制御する
    請求項１〜１７のいずれか一項に記載の情報処理方法。
20. 前記制御ステップでは、前記画面に表示された複数の対象のうち前記ガイドポインタの位置と最も近い対象に関連して前記所定処理を行う
    請求項１〜１７のいずれか一項に記載の情報処理方法。
21. 画面に表示された対象に関連して所定処理を実行する情報処理装置であって、
    指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面上に表示するポインタの位置を逐次決定する取得部と、
    前記取得部により決定されたポインタの位置に基づいて、前記画面上に表示するガイドポインタが一定条件下で当該ポインタに追従するように、当該ガイドポインタの位置を逐次算定する算定部と、
    前記算定部において算定されたガイドポインタの位置に対して、前記取得部において決定されたポインタの位置の軌跡が、所定条件を満たす場合に前記所定処理を行う制御部とを備える
    情報処理装置。
22. プロセッサを有する情報処理装置に、画面に表示された対象に関連して所定処理を実行するための情報処理を実行させるための制御プログラムを記録した記録媒体であって、
    前記情報処理は、
    指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面上に表示するポインタの位置を逐次決定する取得ステップと、
    前記取得ステップにより決定されたポインタの位置に基づいて、前記画面上に表示するガイドポインタが一定条件下で当該ポインタに追従するように、当該ガイドポインタの位置を逐次算定する算定ステップと、
    前記算定ステップにおいて算定されたガイドポインタの位置に対して、前記取得ステップにおいて決定されたポインタの位置の軌跡が、所定条件を満たす場合に前記所定処理を行う制御ステップと、を含む
    記録媒体。

Images