JP2015219609A - 情報処理方法、情報処理装置及び記録媒体 - Google Patents

Abstract

【課題】特別な操作機器を把持しない操作者がオブジェクト（対象）に対する細かな操作を容易に行う方法を提供する。
【解決手段】情報処理装置において、画面に表示された対象に関連して所定処理を実行するための情報処理方法は、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて画面に表示するポインタの位置を逐次決定（ステップＳ１２）し、ポインタが画面に表示された対象の領域内に侵入している場合において、当該侵入の度合いである侵入度を、当該対象の領域内外の境界とポインタの位置との位置関係から算定（ステップＳ１６）し、当該侵入度に応じて、当該対象の表示態様の変更（ステップＳ２２）と所定処理（ステップＳ２０）とを行う手順を含む。
【選択図】図６

Description

本発明は、ＧＵＩ（Graphical User Interface）を提供する情報処理方法、情報処理装置及び記録媒体に関し、特に、３次元空間における指示物の位置及び動きに基づいて画面表示の更新等を行う技術に関する。

近年、コンピュータ技術の発展と情報端末の高機能化に伴い、リモコン等の機器を把持することなく、また、特殊な装置を装着することなく、操作者が手や指を動かしたり姿勢を変化させたりすることにより、指示等の情報を入力できる入力装置が開発されている。

これらの入力装置では、操作者の手や指の動きによって画面上に表示されたポインタを移動させることで画面上に表示されたオブジェクトに対して、選択や決定といった指示を与えることができる。しかし、これらの入力装置では、リモコンやマウス、タッチパネルのように確実に操作できる仕組みがなく、選択や決定等の単純な操作とは異なる、例えば値の調整を行うといった細かな指示をオブジェクトに与えることが困難であった。

そこで、オブジェクトに対する細かな指示を可能にする技術として、特許文献１では、画面上に表示されたオブジェクトを制御する方法が開示されている。例えば、オブジェクトの値を調整したい場合に、オブジェクトの一部分であるハンドルを選択した上で、値を調整するという細かな操作を行う必要がある。しかし、この特許文献１に開示されているインタラクション方法の場合、ハンドルにポインタを近づけるだけで値を調整するモードに自動で遷移するため、煩雑な操作を行うことなく、オブジェクトに細かな指示を与えることができるようになっている。

国際公開第２０１１／１００２５４号

しかしながら、特許文献１の技術では、操作者がオブジェクトに対する操作とは関係なくポインタの位置を移動させている時に、ポインタがオブジェクトに近づいただけでオブジェクトの値を調整するモードに遷移し得る。これにより、意図とは異なる指示を行ってしまうような事態が十分に発生し得る。また、値を調整するモードからの離脱の操作を的確に行うことが難しいという問題もある。

そこで、本発明は、上記問題に鑑みてなされたものであり、特別な操作機器を把持しない操作者が手や指を動かす等により情報の入力を行う場合に、画面上に表示されたオブジェクトに対して、値の調整に係る細かな指示を容易に行えるようにする情報処理方法及び情報処理装置を提供する。

本発明の一態様に係る情報処理方法は、情報処理装置において、画面に表示された対象に関連して所定処理を実行するための情報処理方法であって、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面に表示するポインタの位置を逐次決定する取得ステップと、前記ポインタが前記画面に表示された対象の領域内に侵入している場合において、当該侵入の度合いである侵入度を、当該対象の領域内外の境界と前記取得ステップにおいて決定されたポインタの位置との位置関係から算定し、当該侵入度に応じて、当該対象の表示態様の変更と前記所定処理とを行う制御ステップとを含む情報処理方法である。また、本発明の一態様に係る情報処理装置は、画面に表示された対象に関連して所定処理を実行するための情報処理装置であって、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面に表示するポインタの位置を逐次決定する取得部と、前記ポインタが前記画面に表示された対象の領域内に侵入している場合において、当該侵入の度合いである侵入度を、当該対象の領域内外の境界と前記取得部において決定されたポインタの位置との位置関係から算定し、当該侵入度に応じて、当該対象の表示態様の変更と前記所定処理とを行う制御部とを備える情報処理装置である。

本発明の一態様に係る情報処理方法又は情報処理装置によれば、操作者が特別な操作機器を用いずに表示画面上のオブジェクトに対する細かな指示を容易に行えるようになる。

実施の形態に係る情報入力システムの外観図である。 実施の形態に係る情報入力システムのハードウェア構成を示す図である。 第１の実施の形態に係る情報入力システムの機能ブロック図である。 オブジェクトにポインタが侵入したときの侵入度の例を説明するための図である。 オブジェクトにポインタが侵入したときの侵入度の別の例を説明するための図である。 オブジェクトにポインタが侵入したときの侵入度の別の例を説明するための図である。 オブジェクトにポインタが侵入したときの侵入度の別の例を説明するための図である。 ポインタが侵入する前のオブジェクトの表示態様の例を示す図である。 ポインタが侵入したときのオブジェクトの位置変化の例を示す図である。 ポインタが侵入したときのオブジェクトの形状変化の例を示す図である。 ポインタが侵入したときのオブジェクトの形状変化の別の例を示す図である。 第１の実施の形態に係る情報入力システムの動作を示すフローチャートである。 第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図７から遷移した第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図９から遷移した第１の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 第２の実施の形態に係る情報入力システムの機能ブロック図である。 第２の実施の形態に係る情報入力システムの動作を示すフローチャートである。 第２の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図１３から遷移した第２の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図１３から遷移した第２の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 図１５から遷移した第２の実施の形態に係る情報入力システムの操作及び画面の例を示す図である。 変形例に係る情報入力システムの画面の例を示す図である。 別の変形例に係る情報入力システムの画面の例を示す図である。 また別の変形例に係る情報入力システムの画面の例を示す図である。

（概要）
操作者が特別な操作機器を用いずに、オブジェクト（対象）に対する細かな操作を容易に行えるようにすべく、本発明の一態様に係る情報処理方法は、情報処理装置において、画面に表示された対象に関連して所定処理を実行するための情報処理方法であって、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面に表示するポインタの位置を逐次決定する取得ステップと、前記ポインタが前記画面に表示された対象の領域内に侵入している場合において、当該侵入の度合いである侵入度を、当該対象の領域内外の境界と前記取得ステップにおいて決定されたポインタの位置との位置関係から算定し、当該侵入度に応じて、当該対象の表示態様の変更と前記所定処理とを行う制御ステップとを含む情報処理方法である。ここで、制御ステップでは、表示装置等の機器類の制御又は情報処理装置の各部の制御を行うことで、対象の表示態様の変更、所定処理等を実行する。なお、所定処理は、光、電気信号等の出力等として現れる処理であり、表示装置等により表示された画面内容の変更や画面中のあるオブジェクト（対象）に関する処理（選択、拡大縮小、移動、値の変更等）を含む。ある対象に関する値の変更は、例えばその対象と予め対応付けられている処理に与えるパラメータとしての値の指定や、その対象と予め対応付けられている別の対象の属性値（例えば位置、大きさ等の値）の指定を含む。

これにより、操作者が特別な操作機器を用いずに指示物（手、腕、ペン等）の位置を動かすことで、オブジェクトに対する細かな操作が容易に行えるようになる。即ち、操作者は、指示物の部位の位置をどのように変化させれば所定処理が行われるのかを、オブジェクトと指示物の部位の位置を反映したポインタとの位置関係、及び、オブジェクトの表示態様により、随時確認しながら適切に操作を行うことが可能となる。

ここで、例えば、前記制御ステップでは、前記侵入度に応じた程度に、前記対象の位置又は傾きを変更することとしてもよい。また、例えば、前記制御ステップでは、前記侵入度に応じた程度に、前記対象の形状を変更することとしてもよい。

これらにより、操作者は、操作に応じたオブジェクトの変化によるフィードバックが得られるので、操作を容易に調整することができるようになる。また、ポインタの侵入度が０となると操作対象オブジェクトが元の表示態様に戻るため、ポインタの位置をどこまで戻せば操作が終了するのかを画面上で確認でき、より確実に操作を行うことができるようになる。

また、例えば、前記位置情報は、３次元位置を表す情報であり、前記情報処理方法は更に、前記指示物における１以上の各部位についての３次元位置を検出することにより前記位置情報を逐次生成する検出ステップを含み、前記取得ステップでは、前記検出ステップにおいて生成された前記位置情報を逐次取得し、当該位置情報に基づいて定めた１つの３次元位置に所定の投影変換を施して得られる２次元位置を前記画面に表示する前記ポインタの位置として逐次決定し、前記制御ステップでは、前記取得ステップにおいて逐次決定された位置に対応して、前記ポインタを前記画面に表示するように制御することとしてもよい。

これにより、３次元空間における指示物の位置に応じて、画面上のポインタの位置（２次元位置）が変化するようになり、操作者は画面を確認することで容易に任意のオブジェクトに指示を与えることができるようになる。

また、例えば、前記制御ステップでは、前記対象の領域内外の境界の所定部分から前記ポインタの位置までの距離を、前記侵入度として算定することとしてもよい。また、例えば、前記制御ステップでは、前記ポインタの位置から前記対象の領域内外の境界までの最短距離を、前記侵入度として算定することとしてもよい。また、例えば、前記制御ステップでは、前記対象の領域内外の境界における所定の線分の一端点と前記ポインタとを結ぶ直線と、当該線分とのなす角を、前記侵入度として算定することとしてもよい。

これらにより、操作者は、オブジェクト（対象）における領域へのポインタの侵入の度合いを、画面を見て、ポインタとオブジェクトとの位置関係から感覚的に把握して、操作することができるようになる。

また、例えば、前記制御ステップでは、前記ポインタの位置の軌跡が前記画面に表示された対象に係る前記境界に対して侵入する方向が、所定方向であった場合にのみ、前記侵入度を算定することとしてもよい。

これにより、操作者は、所定処理を行わせるか否かを、オブジェクト（対象）へのポインタの侵入方向により区別して操作することができるようになる。このため、誤操作が軽減され得る。

また、例えば、前記制御ステップでは、前記ポインタが、前記対象の領域内に含まれる所定の判定領域に侵入していない場合には、前記侵入度をゼロと算定し、前記対象の領域内に含まれる所定の判定領域に侵入している場合には当該判定領域への侵入の度合いを、前記侵入度として算定することとしてもよい。

これにより、オブジェクトの任意の領域を所定の判定領域と定めることで、判定領域内にポインタが侵入した場合に限って所定処理の実行がなされるように設定し得る。この結果として、誤操作が軽減され得る。

また、例えば、前記制御ステップでは、前記判定領域の内外の境界を示す画像を前記画面に表示するように制御することとしてもよい。また、例えば、前記制御ステップでは、前記判定領域を示す画像を前記画面に表示するように制御することとしてもよい。

これらにより、操作者は、判定領域を確認して的確に操作することができるようになる。

また、例えば、前記制御ステップでは、前記対象の領域内外の境界を示す画像を前記画面に表示するように制御することとしてもよい。

これにより、操作者は、対象の領域の境界を確認して的確に操作することができるようになる。

また、本発明の一態様に係る情報処理装置は、画面に表示された対象に関連して所定処理を実行するための情報処理装置であって、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面に表示するポインタの位置を逐次決定する取得部と、前記ポインタが前記画面に表示された対象の領域内に侵入している場合において、当該侵入の度合いである侵入度を、当該対象の領域内外の境界と前記取得部において決定されたポインタの位置との位置関係から算定し、当該侵入度に応じて、当該対象の表示態様の変更と前記所定処理とを行う制御部とを備える情報処理装置である。ここで、制御部における制御は、表示装置等の機器類の制御や、情報処理装置の各部の制御を含む。また、所定処理は、光、電気信号等の出力等として現れる処理であり、表示装置等により表示された画面内容の変更や画面中のあるオブジェクト（対象）に関する処理（選択、拡大縮小、移動、値の変更等）を含む。

これにより、操作者が特別な操作機器を用いずに指示物の位置を動かすことで、オブジェクトに対して値や位置等を調整するといった細かな指示を容易に行えるようになる。

なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組み合わせが含まれる。

以下、実施の形態について、図面を参照しながら説明する。

ここで示す実施の形態は、いずれも本発明の一具体例を示すものである。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ（工程）及びステップの順序等は、一例であって本発明を限定するものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。

本実施の形態では、カメラ等によって検出される３次元空間における指示物の位置を入力情報とするＧＵＩ（Graphical User Interface）を提供する情報入力システムについて説明する。従来、３次元空間における位置等を入力情報とする情報入力システムでは、マウス及びタッチパネルを用いた入力と異なり、画面上に表示されたオブジェクトに対して、値や位置を変更するといった細かな操作を直感的で直接的な操作で行う方法が存在しない。

このような情報入力システムにおいて、操作者が確実に操作を行うようにするためには、更なる工夫が必要とされる。

ここで、操作者が特定のジェスチャをした場合に所定の操作が行われたと認識する手法が考えられる。例えば、オブジェクトに対して手をぐるぐる回転させる、あるいは、手を左右に振る等の特定のジェスチャをした場合にそのオブジェクトに関する値を変更することや、位置を変更するということが考えられる。しかしながら、このような手法では、システムが想定する指示物の動きを確実に行うことが難しく、空中で行う操作に不慣れな操作者にとっては、快適に操作できるとは言い難い。

さらに、指示物で所望のオブジェクトをポインタで指示する操作とは別に、「大きく！」或いは「小さく！」と話す等による値の大小変更の指示について認識する方法も考えられる。しかしながら、音声認識を用いる手法では、マイク等の装備のためにコストがかかり、かつ、音声認識率に依存するために必ずしも的確な操作が実現されない。

そこで、本実施の形態では、特に、画面上に表示されたオブジェクトに対する細かな指示を直感的な操作で行うことを可能にした情報入力システムについて説明する。

この情報入力システムは、主に、指示物の各部位の検出位置に基づいて画面上に表示するポインタの位置を決定し、操作対象オブジェクトに対するポインタの侵入度に応じて、操作対象オブジェクトに関連して所定処理を実行するシステムである。この操作対象オブジェクトは、画面上に表示されたオブジェクト（対象）のうち操作対象となる特定のオブジェクトである。この操作対象オブジェクトに対するポインタの動きに基づいて算定される侵入度に応じて、操作対象オブジェクトに対応付けられているオブジェクトへの値の指定等といった所定処理が実行される。即ち、この情報入力システムは、操作者にとって、操作対象オブジェクトへのポインタの侵入度に応じた値を入力して所定処理を実行させるといった、細かな指示入力を可能にするシステムである。この情報入力システムを構成する情報処理装置では、指示物の各部位の検出位置に基づいて画面上に表示するポインタの位置を決定し、オブジェクトに対するポインタの侵入度に応じてオブジェクトの表示態様の変更や所定処理を実行する情報処理方法が用いられる。

（第１の実施の形態）
以下、第１の実施の形態に係る情報入力システム１０について、図１〜図１０に基づいて説明する。

図１は、情報入力システム１０の外観図である。ここには、ステレオカメラ１２及び表示装置１６が図示されている。操作者は、指示物１１（ここでは、操作者の指）を、ステレオカメラ１２の撮像範囲内で移動させることで、その指示物１１の３次元空間における位置に対応して表示される表示装置１６上のポインタを移動させることができる。これによって、操作者と表示装置１６に表示された画像との様々なインタラクションが実現される。

なお、指示物１１は、操作者の指に限られず、操作者の手、腕、又は、操作者が持っているペン等の物品であってもよい。

図２は、情報入力システム１０のハードウェア構成を示す図である。

この情報入力システム１０は、表示装置１６に表示された画像に対する操作者の指示を取得するシステムであって、ステレオカメラ１２、通信装置１４、表示装置１６、入力装置１８及び制御装置２０を備える。

ステレオカメラ１２は、少なくとも２台のカメラを有する撮像装置であり、３次元空間における指示物１１の位置を検出するためのセンサである。ステレオカメラ１２は、一定のフレームレートで、指示物１１を撮像し、得られた複数枚の画像を通信装置１４に無線送信する。なお、ここでは、このステレオカメラ１２は表示装置１６等とは独立した装置であることとしているが、表示装置１６と一体化していてもよい。

通信装置１４は、ステレオカメラ１２から送られてくる画像を取得し、制御装置２０に送る無線通信インターフェース等である。

表示装置１６は、操作者に提示するための画像を表示する画面を有する液晶ディスプレイ等である。なお、表示装置１６は、スクリーン等に画面を投影するプロジェクタであってもよい。

入力装置１８は、電源を投入するためのボタン、リモコン等の入力装置である。なお、本実施の形態では、あらゆる指示がステレオカメラ１２を通じて制御装置２０に与えられるので、この入力装置１８は、予備的な構成要素である。

制御装置２０は、操作者とのインタラクションを実現する情報処理を実行するコンピュータ（情報処理装置）であり、ＣＰＵ２２、ＲＯＭ２４、ＲＡＭ２６及び記録媒体２８を有する。ＣＰＵ２２は、プログラムを実行するプロセッサである。ＲＯＭ２４は、プログラム及びデータを予め保持している読み取り専用メモリである。ＲＡＭ２６は、ＣＰＵ２２がプログラムを実行する際に使用されるワーキング用の一時記憶用メモリである。記録媒体２８は、電源が投入されていないときでもデータを記憶できるハードディスク装置等の読み書き可能な記憶装置であり、プログラム及びデータを記憶している。なお、記録媒体２８は、例えば不揮発性メモリであってもよい。

なお、情報入力システム１０の必須のハードウェア構成としては、制御装置２０、より具体的には、プログラムを実行するコンピュータが備えられていればよい。本実施の形態に係る情報入力システムは、典型的には、ソフトウェアによって実現されるからである。よって、他の周辺機器は、任意の構成要素であり、必要に応じて、情報入力システムとして装備されればよい。また、ＲＯＭ２４及び記録媒体２８は、いずれも不揮発性の記憶装置であり、いずれか一方だけが装備されればよい。

図３は、本実施の形態における情報入力システム１０の機能ブロック図である。この機能ブロックにより、図２に示したハードウェア構成によって実現される情報入力システム１０の機能的な構成を示している。

この情報入力システム１０は、機能的には、表示部５２に表示された画像に対する操作者の操作を取得するためのシステムであって、検出部４２、情報処理部７０及び表示部５２を備える。ここで、情報処理部７０は、３次元位置を用いて画面表示の制御等を行う処理系であり、制御装置２０により実現され、取得部４４及び制御部６０を有する。なお、表示部５２は、図２の表示装置１６に相当し、上述したように、必ずしも情報入力システム１０に装備されている必要はない。

検出部４２は、３次元空間における指示物１１の少なくとも１つの部位の位置を検出（計測）する処理部であり、図２のステレオカメラ１２、通信装置１４及び制御装置２０によって実現される。位置の検出について、指示物１１が人の片手の５本の指及び手のひらであるとして予め定められている場合を例にして説明する。この場合、検出部４２は、ステレオカメラ１２で同時に撮像された２枚の画像のそれぞれから、予め設定された各指や手のひらの形状等の画像データに基づく画像マッチングによって、２枚の画像それぞれにおける各指や手のひらの位置を特定する。そして、その特定した位置、ステレオカメラ１２における各カメラの位置及びカメラ間の距離等のデータに基づいて各指及び手のひらの３次元空間における位置を算定することで、指示物１１（詳しくは指示物１１における１以上の各部位）の３次元位置の検出を行う。この検出された各指等の３次元位置は、例えば、３次元空間において直交する３軸（Ｘ軸，Ｙ軸，Ｚ軸）を基準とした座標値Ｐ（ｘ，ｙ，ｚ）で表される。

取得部４４は、指示物１１について検出部４２により検出された３次元位置を取得して、その３次元位置に基づく情報を制御部６０に伝達する機能を有する。即ち、取得部４４は、情報処理部７０における３次元位置の入力インターフェースとしての機能を担う。また、取得部４４は、指示物１１の各部位の３次元位置に基づいて、表示部５２における画面上に表示するポインタ（位置表示物）の位置を決定する機能を有する。ポインタの表示位置を決定するために、取得部４４は、指示物１１の各部位の３次元位置に基づいて、例えば平均をとる等により、１つの３次元位置を算出し、その１つの３次元位置に所定の投影変換を施して得られる２次元位置を算出して表示位置とする。なお、取得部４４は、指示物１１の各部位の平均値に所定の投影変換を施す代わりに、指示物１１の１つの部位の３次元位置に所定の投影変換を施して得られる２次元位置を画面上のポインタの表示位置とすることとしてもよい。また、所定の投影変換は、例えば表示部５２の画面に平行な、表示用の２次元座標平面への投影変換である。この投影変換は、例えば平行投影変換であり、また、例えば透視投影変換であってもよい。

制御部６０は、取得部４４により決定されたポインタの表示位置に基づいて、画面表示の更新や、画面に表示されているオブジェクト（対象）に関連する所定処理等の制御を行う機能を担う。画面表示の更新としては、制御部６０は、指示物１１の現在の３次元位置に応じて定めた画面上の位置にポインタを表示し、また、操作の対象となるオブジェクトを画面上に表示するように制御する。このポインタ及びオブジェクトは、ＧＵＩの構成要素であり、操作者とのインタラクションの対象となる表示要素である。また、制御部６０は、操作者の動作を認識して動作に対応した機能を実行する。即ち、制御部６０は、ポインタの位置及び動きが所定条件を満たすか否かにより、オブジェクトに指示を与える操作がなされたか否かを判定し、操作がなされた場合にはポインタが指示するオブジェクトに関連した所定処理を行う。この所定処理は、例えば、ポインタが指示する操作対象オブジェクトと予め関連付けられた別のオブジェクトの表示態様の変更（拡大、縮小、回転、移動、変形、消去等）、オブジェクトに関連する値の変更（例えば、音楽プレーヤーにおける音量の変更等）或いはオブジェクトに対応して予め定められた機能の実行（機能処理プログラムに対応付けられたアイコンがオブジェクトであればその機能処理プログラムの実行）等である。なお、所定処理は、制御装置２０の外部への光、電気信号等の出力を含む。

この制御部６０は、機能構成要素として、ポインタ表示制御部６２、オブジェクト表示制御部６４、算定部６６、判定部６８を有する。

ポインタ表示制御部６２は、取得部４４により決定された画面上のポインタの表示位置に基づいて、ポインタを表示するよう制御する機能を有する。なお、ポインタは、画面上における特定の形状（例えば、円形状、十字形状等）、及び／又は、特定色（例えば、赤色）をした位置表示物である。

算定部６６は、操作者の操作対象となる操作対象オブジェクトに基づいて操作対象オブジェクトの領域である判定領域を算定し、ポインタの表示位置に基づいてその判定領域に対するポインタの侵入の度合いである侵入度を算定する機能を有する。算定部６６は、例えば、操作対象オブジェクトと同じ位置で同じ形状となるように判定領域を算定する。この場合、操作対象オブジェクトの形状が表す領域内外の境界が判定領域の内外の境界となる。なお、操作対象オブジェクト全体に含まれる部分的な領域を判定領域として算定することとしてもよい。この場合には操作対象オブジェクトの大きさより判定領域が小さくなる。操作対象オブジェクトの全体領域又は部分的領域である判定領域へのポインタの侵入の度合いである侵入度の算定について、具体的には、算定部６６は、判定領域の内外の境界における所定の一線分と、ポインタの表示位置との距離を侵入度として算定する。図４Ａは、この侵入度の算定方法を示す図である。同図に示す判定領域１１１の内外の境界上の一線分１１３とポインタ１１０との間の距離（同図中に矢線で示す長さ）が算定部６６により侵入度として算定される。侵入度の算定方法としては、他に例えば次に示すものを用いることとしてもよい。図４Ｂ〜図４Ｄは、それぞれ侵入度の別の算定方法を示す図である。算定部６６は、図４Ｂに示すように、判定領域１１１の内外の境界における所定の一点１１４と、ポインタ１１０との表示位置との距離（同図中に矢線で示す長さ）を侵入度として算定してもよい。また、算定部６６は、図４Ｃに示すように、ポインタ１１０の表示位置から判定領域１１１の内外の境界までの最短距離（同図中に矢線で示す長さ）を侵入度として算定してもよい。また、算定部６６は、図４Ｄに示すように、判定領域１１５の内外の境界における所定の一線分１１６の一端点１１７とポインタ１１０の表示位置とを結ぶ直線と、その一線分１１６とのなす角（同図中に矢線で示す角）を、侵入度として算定してもよい。

判定部６８は、算定部６６により算定された判定領域及び侵入度に基づいて、ポインタの位置及び動きが所定条件を満たすか否かを判定する機能を有する。所定条件は、例えば、図４Ａに示すような判定領域の内外の境界上の所定の一線分とポインタの表示位置との距離が侵入度として算定される場合において、侵入度が０を超えることである。また、所定条件は、侵入度が０より大きな所定値を超えることとしてもよい。この判定部６８による判定の結果に基づいて、制御部６０は、操作対象オブジェクト又はその操作対象オブジェクトと関連付けられた別のオブジェクトについての所定処理を実行することになる。

オブジェクト表示制御部６４は、算定部６６により算定された侵入度を、操作対象オブジェクトの表示態様（形状、大きさ、位置等）に反映させて、操作対象オブジェクトを表示部５２における画面に表示するよう制御する機能を有する。なお、オブジェクト表示制御部６４は、更に算定部６６により算定された判定領域を表示部５２における画面に表示するよう制御してもよい。図５Ａ〜図５Ｄは、侵入度に応じて操作対象オブジェクトの位置又は形状が変更される表示例を示す。図５Ａは、ポインタが侵入する前の状態の操作対象オブジェクトを示しており、図５Ｂ〜図５Ｄのそれぞれは、操作対象オブジェクトが表示されていた領域（判定領域）にポインタが侵入して、表示態様が変更された操作対象オブジェクトの例を示している。これらの例では、図４Ａに示される侵入度に応じて操作対象オブジェクトの表示態様が変更された例であり、侵入度が大きくなると変更の程度が大きくなる。即ち、図５Ａに対して、図５Ｂの例ではポインタの侵入に応じて操作対象オブジェクトの表示位置が変化しており、図５Ｃ及び図５Ｄの各例では操作対象オブジェクトの形状が変化している。このように、オブジェクト表示制御部６４が、侵入度に応じて、操作対象オブジェクトの表示態様を変更すると、操作者は、ポインタが操作対象オブジェクトにどの程度侵入しているかを、画面から即座に認識できるようになる。

制御部６０は、判定部６８により所定条件が満たされると判定された場合において、侵入度に応じて所定処理を実行する、即ち、ポインタが示すオブジェクトに対して、予め定められた所定の機能を実行する。所定の機能とは、例えば侵入度に応じて操作対象オブジェクトに関連付けられた別のオブジェクトの大きさを拡大させる等といった機能であり、具体例としては侵入度が大きくなれば拡大の度合いが大きくなるように拡大する等の機能である。侵入度に応じて所定処理を実行することには、例えば、所定処理を実行するためのプログラム（プログラムモジュール等）に対して、侵入度をパラメータ値として与えることが含まれる。従って、操作対象オブジェクトと予め対応付けられて、操作対象オブジェクトに対する操作に応じて実行されるプログラムは、ポインタが操作対象オブジェクトに関連して侵入する度合いに応じて、実行されるべき処理内容を変化させることができるようになる。これにより、操作者は操作対象オブジェクトに対するポインタの侵入の度合いを加減するように指示物を動かすことで、操作対象オブジェクトに予め関連付けられている所定処理の程度や処理内容等を調整することができるようになる。

なお、操作、選択等の対象となる１又は複数のオブジェクトを含む画像を表示部５２の画面に表示する機能は、広く知られた一般的な表示機能であるため、ここでは特に説明しない。

次に、以上のように構成された情報入力システム１０の動作について説明する。ここでは、画面に操作対象オブジェクトが表示されている場合において操作者が指示物を動かすことにより、画面上の操作対象オブジェクトに関連付けられている別のオブジェクトに対して所定の動作を行う状況を想定して説明を行う。

図６は、情報入力システム１０の動作を示すフローチャートである。

まず、検出部４２は、３次元空間における指示物１１の少なくとも１つの部位の位置を検出する（処理ステップＳ１０）。ここでは、指示物１１が片手であり、検出部４２が５本の指の３次元位置を検出するように予め設定されているものとして説明する。検出部４２により検出された各指の各３次元位置は、取得部４４に伝達される。

検出部４２に検出された指示物１１の各部位の位置（各指の位置）が取得部４４に伝達されると、少なくとも１つの部位の位置に基づいてポインタを表示すべき画面上の位置を決定する（処理ステップＳ１２）。具体例としては、例えば人差し指の３次元位置を算出し、その位置に所定の投影変換を施して得られる２次元位置を算出してポインタの画面上の表示位置として決定する。なお、どの部位の位置に基づいてポインタの表示位置を決定するかについて、人差し指に限られることはない。例えば、人差し指と親指との３次元位置を算出して、その両位置の平均値に所定の投影変換を施して得られる２次元位置をポインタの画面上の表示位置として決定してもよい。

取得部４４により決定されたポインタの表示位置は、制御部６０に伝達される。これで、後の処理ステップＳ２２において、ポインタ表示制御部６２によりポインタが表示装置１６（表示部５２）の画面上のその決定された表示位置に表示されることになる。

取得部４４によってポインタの表示位置が決定されると、算定部６６は、オブジェクトに対するポインタの侵入の度合いである侵入度を算定する基準としての判定領域を算定する（処理ステップＳ１４）。また、算定部６６は、算定した判定領域とポインタの表示位置との位置関係に基づいて、ポインタの侵入度を算定する（処理ステップＳ１６）。

算定部６６により侵入度が算定されると、判定部６８は、侵入度に基づいて、ポインタの位置及び動きが所定条件（ここでは所定条件は、侵入度が０より大きいこととする。）を満たすか否かを判定する（処理ステップＳ１８）。

制御部６０は、判定部６８により侵入度が所定条件を満たしたと判定された場合には、予め定められた所定の機能を実行する（処理ステップＳ２０）。予め定められた所定の機能とは、例えば、表示装置１６の画面上でポインタが操作した操作対象オブジェクトに関連する別のオブジェクトに対して、所定処理を行う機能である。具体例としては、そのオブジェクトの表示態様の変更（拡大、縮小、回転、移動、変形、消去等）、オブジェクトに関連する値の変更（例えば、音楽プレーヤーにおける音量の変更）等の機能が挙げられる。そのオブジェクトの表示態様の変更の度合い、或いは、オブジェクトに関連する値の変更の度合いは、例えば侵入度が大きくなる程、大きくなる。なお、予め定められた所定の機能は、ポインタが操作した操作対象オブジェクトに対して、侵入度に応じてオブジェクトに関連する値の変更（例えば、音楽プレーヤーにおける音量の変更）等を行う機能であってもよい。

そして、制御部６０は、表示装置１６の画面の表示内容を更新するよう制御を行う（処理ステップＳ２２）。具体的には、制御部６０のポインタ表示制御部６２は、処理ステップＳ１２において決定された画面上の位置にポインタを表示するための表示用画像を形成する。また、オブジェクト表示制御部６４は、算定部６６によって算定された侵入度に基づき、画面上に表示する操作対象オブジェクトの表示用画像を形成する（図５Ｂ〜図５Ｄ参照）。そして、制御部６０は、各部により形成された表示用画像に基づいて、オブジェクト、及び、ポインタが、表示装置１６の画面に表示されるように形成した画像信号を表示装置１６に出力する。

この処理ステップＳ１０〜Ｓ２２までは、逐次繰り返される。これにより、検出部４２により逐次検出された指示物１１の各部の位置が取得部４４により逐次取得されてポインタの表示位置が決定され、そのポインタの表示位置に応じて制御部６０により表示装置１６の画面の表示内容が逐次更新されることになる。従って、表示装置１６の画面には、操作者により動かされる指示物１１の動きに応じて位置の変化するポインタが表示され、また、ポインタの位置に応じて変化し得る操作対象オブジェクト等が表示されることになる。

図７は、情報入力システム１０によって提供されるＧＵＩの一例を示す図である。この例では、オブジェクト１０１と、オブジェクト１０１の拡大縮小を行うための操作対象オブジェクト１０４、１０５が、表示装置１６（表示部５２）における画面に表示されている。

そして、この例は、画面に表示されたオブジェクト１０１の大きさを、操作者が、指示物１１の動きにより変更しようとする様子（変更前の状態）を示している。即ち、画面には、指示物１１の各部位の位置（人差し指の位置１０２）に基づいて、その人差し指の位置１０２に所定の投影変換を施して得られる２次元位置に表示されるポインタ１０３が表示されている。また、オブジェクト１０１の大きさを変更するための操作対象オブジェクト１０４、１０５が表示されている。更に、操作対象オブジェクト１０４、１０５に対するポインタの侵入度を判定するための、判定領域１０６、１０７が表示されている。なお、操作対象オブジェクト１０４は、オブジェクト１０１を拡大する操作を受け付けるためのオブジェクトであり、操作対象オブジェクト１０５は、オブジェクト１０１を縮小する操作を受け付けるためのオブジェクトである。

この図７に示す状況から、操作者が指示物１１を動かして、オブジェクト１０１の大きさを変更する操作を行った様子を図８に示す。

図８は、図７の例の状況に後続したＧＵＩの一例を示す図である。この例は、画面に表示された操作対象オブジェクト１０４ａを、操作者が、指示物１１の動きにより操作し、図７のオブジェクト１０１を拡大したオブジェクト１０１ａが表示された様子（変更直後の状態）を示している。図８では、図７の状況から操作者が指示物１１の人差し指の位置１０２を動かしている。これにより、画面には、人差し指の位置１０２に基づいて、ポインタ１０３の位置が移動し、判定領域１０６の内部に侵入することで、操作対象オブジェクト１０４ａの形状が、図７の操作対象オブジェクト１０４と比べて、変更されている様子が示されている。例えばこのような操作が行われると、制御部６０は、操作者が所定の動作を行ったと認識し、ポインタ１０３の侵入度に応じて、つまり侵入度が大きいほど大きく、オブジェクト１０１ａを拡大するよう制御する。

以下、上述したＧＵＩの一例とは別の一例について説明する。

図９は、情報入力システム１０によって提供されるＧＵＩの別の一例を示す図である。この例でも、オブジェクト１０１と、オブジェクト１０１の拡大縮小を行うための操作対象オブジェクト１２４（スライダー）が、表示装置１６（表示部５２）における画面に表示されている。そして、この例は、画面に表示された操作対象オブジェクト１２４における現在値を示すオブジェクト１２５の位置を、指示物１１の動きにより変更しようとする様子（変更前の状態）を示している。即ち、画面には、指示物１１の各部位の位置（人差し指の位置１０２）に基づいて、その人差し指の位置１０２に所定の投影変換を施して得られる２次元位置に表示されるポインタ１０３が表示されている。また、オブジェクト１０１の現在の大きさを示すオブジェクト１２５、及びオブジェクト１２５の表示位置を変更するための操作対象オブジェクト１２４が表示されている。さらに、操作対象オブジェクト１２４に対するポインタの侵入度を判定するための判定領域１２６が表示されている。なお、図９の例では、オブジェクト１２５が、右に移動するほどオブジェクト１０１の大きさが大きくなるように、オブジェクト１２５の位置とオブジェクト１０１の大きさとが対応している。

この図９に示す状況から、操作者が指示物１１を動かして、オブジェクト１０１の大きさを変更する操作を行った様子を図１０に示す。

図１０は、図９の例の状況に後続したＧＵＩの一例を示す図である。この例は、画面に表示された操作対象オブジェクト１２４を、操作者が、指示物１１の動きにより操作し、図９のオブジェクト１０１を拡大したオブジェクト１０１ａが表示された様子（変更直後の状態）を示している。図１０では、図９の状況から操作者が指示物１１の人差し指の位置１０２を動かしている。これにより、画面には、人差し指の位置１０２に基づいて、ポインタ１０３の位置が移動し、判定領域１２６の内部に侵入することで、操作対象オブジェクト１２４ａの形状が、図９の操作対象オブジェクト１２４と比べて、変更されている様子が示されている。例えばこのような操作が行われると、制御部６０は、操作者が所定の動作を行ったと認識し、ポインタ１０３の侵入度に応じて、オブジェクト１２５の位置を変更する。その結果として、オブジェクト１０１ａの大きさが変更される。なお、図１０においてポインタ１０３の表示位置が判定領域１２６の上端から下方へと侵入すると、判定領域１２６におけるポインタの水平位置にも応じて、オブジェクト１２５の位置を定めることとしてもよい。

（第２の実施の形態）
以下、第２の実施の形態に係る情報入力システム１０ａについて、図１１〜図１６に基づいて説明する。情報入力システム１０ａのハードウェア構成は、図２に示すものと同一である。なお、第１の実施の形態と同じ構成及び処理については詳しい説明を省略する。

図１１は、情報入力システム１０ａの機能ブロック図である。

この情報入力システム１０ａは、機能的には、表示部５２に表示された画像に対する操作者の操作を取得するためのシステムであって、検出部４２、情報処理部７０ａ及び表示部５２を備える。ここで、情報処理部７０ａは、３次元位置を用いて画面表示の制御等を行う処理系であり、制御装置２０により実現され、取得部４４及び制御部６０ａを有する。この情報処理部７０ａにおける制御部６０ａは第１の実施の形態で示した情報処理部７０の制御部６０を一部変形したものであり、同じ点については詳しい説明を省略する。

制御部６０ａは、機能構成要素として、ポインタ表示制御部６２、オブジェクト表示制御部６４、補助表示制御部６５、算定部６６ａ、判定部６８ａ及び監視部６９を有する。

算定部６６ａは、操作者の操作対象となる操作対象オブジェクトに基づいて操作対象オブジェクトの領域である第１判定領域及び第２判定領域を算定し、各判定領域に対するポインタの侵入の度合いである侵入度を算定する機能を有する。算定部６６ａは、例えば、操作対象オブジェクトと同じ位置で同じ形状となるように第１判定領域を算定する。この場合、操作対象オブジェクトの形状が表す領域内外の境界が判定領域の内外の境界となる。そして、例えば、操作対象オブジェクトの内部に含まれる部分的な領域（操作対象オブジェクトより小さい領域）を第２判定領域として算定する。各判定領域へのポインタの侵入の度合いである侵入度の算定については、例えば、判定領域の内外の境界における所定の一線分と、ポインタの表示位置との距離を侵入度として算定する。侵入度の算定方法としては、他に例えば判定領域の内外の境界における所定の一点と、ポインタ１１０との表示位置との距離を侵入度として算定してもよい。また、ポインタの表示位置から判定領域の内外の境界までの最短距離を侵入度として算定してもよい。なお、算定部６６ａは、監視部６９により侵入度の算定が不要である旨の通知を受けた場合においては、侵入度の算定を省略し、侵入度を０（ゼロ）と定める。算定部６６ａによって、第１判定領域に対する侵入度と、第２判定領域に対する侵入度とが算定されることになる。

監視部６９は、算定部６６ａにより算定された第１判定領域及び第２判定領域と、取得部４４から伝達されるポインタの表示位置とに基づいて、各判定領域に対するポインタの侵入方向が、予め定められた方向であるか否かを判断する。予め定められた方向の例としては、判定領域に対してポインタが、横方向や下方からではなく、上方から侵入する、或いは、判定領域の内外の境界線における所定の一線分に対してポインタの軌跡が略垂直となるように境界外から内部へ侵入する等が挙げられる。ポインタの侵入方向が定められた方向でない場合、監視部６９は、侵入度の算定が不要であるので侵入度を０（ゼロ）とするように算定部６６ａに通知する。

判定部６８ａは、算定部６６ａにより算定された各判定領域及び侵入度に基づいて、ポインタの位置及び動きが所定条件を満たすか否かを判定する機能を有する。所定条件は、例えば、判定領域の内外の境界上の所定の一線分とポインタの表示位置との距離が侵入度として算定される場合において、侵入度が０を超えることである。また、所定条件は、侵入度が０より大きな所定値を超えることとしてもよい。この判定部６８による判定の結果に基づいて、制御部６０は、操作対象オブジェクト又はその操作対象オブジェクトと関連付けられた別のオブジェクトについての所定処理を実行することになる。即ち、制御部６０は、例えば、第１判定領域への侵入度が０より大きい場合に操作対象オブジェクトの表示態様の変更を行い、第２判定領域への侵入度が０より大きい場合に所定処理を行うよう制御する。この場合の所定処理は、例えば、操作対象オブジェクトと関連付けられた別のオブジェクトの表示態様の変更等である。

また、補助表示制御部６５は、算定部６６ａにより算定された第１判定領域及び第２判定領域を、図形の形状、大きさ、色等に反映した図形である補助表示物として、表示部５２の画面に表示するよう制御する機能を有する。補助表示制御部６５は、例えば、各判定領域の内外の境界自体又はその境界に囲まれた領域を、図形として画面に表示する。また、第１判定領域の内側に存在する第２判定領域へポインタが侵入するように、操作者を誘導するような図形を表示することとしてもよい。

次に、以上のように構成された情報入力システム１０ａの動作について説明する。ここでは、画面に操作対象オブジェクトが表示されている場合において操作者が指示物を動かすことにより、画面上の操作対象オブジェクトに関連付けられている別のオブジェクトに対して所定の動作を行う状況を想定して説明を行う。

図１２は、情報入力システム１０ａの動作を示すフローチャートである。

まず、検出部４２は、３次元空間における指示物１１の少なくとも１つの部位の位置を検出する（処理ステップＳ３０）。ここでは、指示物１１が片手であり、検出部４２が５本の指の３次元位置を検出するように予め設定されているものとして説明する。検出部４２により検出された各指の各３次元位置は、取得部４４に伝達される。

検出部４２に検出された指示物１１の各部位の位置（各指の位置）が取得部４４に伝達されると、少なくとも１つの部位の位置に基づいてポインタを表示すべき画面上の位置を決定する（処理ステップＳ３２）。具体例としては、例えば人差し指の３次元位置を得て、その位置に所定の投影変換を施して得られる２次元位置を算出してポインタの画面上の表示位置として決定する。取得部４４により決定されたポインタの表示位置は、制御部６０ａに伝達される。

取得部４４によってポインタの表示位置が決定されると、算定部６６ａは、オブジェクトに対するポインタの侵入度を判定するための、第１判定領域及び第２判定領域を算定する（処理ステップＳ３４）。

算定部６６ａは第１判定領域及び第２判定領域とポインタの表示位置との位置関係に基づいて侵入度を算定する。但し、監視部６９によりポインタの各判定領域への侵入方向が予め定められた方向ではない（侵入度の算定が不要である）と通知された場合には、侵入度を単に０であると定める（処理ステップＳ３６）。そして、算定部６６ａは、監視部６９から侵入度の算定が不要である旨の通知を受けない場合には、各判定領域とポインタの表示位置との位置関係に基づいて、ポインタの侵入度を算定する（処理ステップＳ３８）。

判定部６８ａは、各判定領域へのポインタの侵入度に基づいて、ポインタの位置及び動きが所定条件（例えば侵入度が０より大きいこと）を満たすか否かを判定する（処理ステップＳ４０）。

制御部６０ａは、侵入度が所定条件を満たしたと判定部６８ａにより判定されると、予め定められた所定の機能を実行する（処理ステップＳ４２）。

そして、制御部６０ａは、表示装置１６の画面の表示内容を更新するよう制御を行う（処理ステップＳ４４）。具体的には、制御部６０ａのポインタ表示制御部６２は、処理ステップＳ３２において決定された画面上の位置にポインタを表示するための表示用画像を形成する。また、オブジェクト表示制御部６４は、算定部６６ａによって算定された侵入度に基づき、画面上に表示するオブジェクトの表示用画像を形成する。更に、補助表示制御部６５は、算定部６６ａにより算定された第１判定領域及び第２判定領域を、図形の形状、大きさ、色等に反映した図形である補助表示物として、表示用画像を形成する。そして、制御部６０ａは、各部により形成された表示用画像に基づいて、オブジェクト、補助表示物、及び、ポインタが、表示装置１６の画面に表示されるように形成した画像信号を表示装置１６に出力する。

この処理ステップＳ３０〜Ｓ４４までは、逐次繰り返される。これにより、検出部４２により逐次検出された指示物１１の各部の位置が取得部４４により逐次取得されてポインタの表示位置が決定され、そのポインタの表示位置に応じて制御部６０ａにより表示装置１６の画面の表示内容が逐次更新されることになる。従って、表示装置１６の画面には、操作者により動かされる指示物１１の動きに応じて位置の変化するポインタが表示され、また、ポインタの位置に応じて変化し得る操作対象オブジェクト等が表示されることになる。

図１３は、情報入力システム１０ａによって提供されるＧＵＩの一例を示す図である。この例では、オブジェクト２０１と、オブジェクト２０１の拡大縮小を行うための操作対象オブジェクト２０４が、表示装置１６（表示部５２）における画面に表示されている。

そして、図１３の例は、画面に表示されたオブジェクト２０１の大きさを、操作者が、指示物１１の動きにより変更しようとする様子（変更前の状態）を示している。即ち、画面には、指示物１１の各部位の位置（人差し指の位置２０２）に基づいて、人差し指の位置２０２に所定の投影変換を施して得られる２次元位置に表示されるポインタ２０３が表示されている。また、オブジェクト２０１の大きさを変更するための操作対象オブジェクト２０４が表示されている。さらに、操作対象オブジェクト２０４に対するポインタの侵入度を判定するための、第１判定領域２０５及び第２判定領域２０６が表示されている。さらに、第２判定領域への侵入を誘導する補助表示物２０７が表示されている。なお、この例では、各判定領域に対して、上方からポインタが侵入した場合にのみ侵入度の算定が行われるように、設定されている。また、第２判定領域への侵入度が０を超えた場合に、侵入度に応じてオブジェクト２０１に対する拡大縮小操作が行われるように設定されている。

この図１３に示す状況から、操作者が指示物１１を動かして、オブジェクト２０１の大きさを変更する操作を行った様子を図１４以降に示す。

図１４は、図１３の例の状況に後続したＧＵＩの一例を示す図である。この例は、指示物１１の動きにより、第１判定領域２０５の内部にポインタ２０３を動かしたが、監視部６９により、侵入方向が所定の方向（上方からの侵入）ではなかったため、侵入度の算定は行われていない。このため、侵入度は０と定められているので、操作対象オブジェクト２０４の表示態様に変化はない。なお、このように監視部６９によってポインタの操作対象オブジェクトへの侵入方向を限定しているのは、操作者が予め定められた所定処理を実行させたいために意図的に操作対象オブジェクトを操作しているのか否かを区別するためである。

図１５は、図１３の例の状況に後続したＧＵＩの一例を示す図である。この例は、指示物１１の動きにより、所定の方向（上方）から第１判定領域２０５の内部にポインタを動かしているため、侵入度の算定が行われている。このため、侵入度に基づき、操作対象オブジェクト２０４の表示態様の変更（位置の変更）がなされている。

図１６は、図１５の例の状況に後続したＧＵＩの一例を示す図である。この例は、指示物１１の動きにより、更に第２判定領域２０６の内部にポインタを動かしており、補助表示物２０７が誘導する位置まで、操作対象オブジェクト２０４の位置が変更されている様子が示されている。例えば、このような操作が行われると、制御部６０ａは、操作者が所定の動作を行ったと認識し、ポインタ２０３の侵入度に応じて、図１５に示すオブジェクト２０１の大きさを変更して、オブジェクト２０１ａのように変化させる。即ち、操作前における操作対象オブジェクトの領域内に含まれた所定の判定領域（第２判定領域）に、ポインタが侵入した場合においてのみ、所定処理（操作対象オブジェクトと関連付けられたオブジェクトの大きさ変更）を行う。

（変形例等）
以上、情報処理装置及び情報処理方法の一実施態様としての情報入力システムについて、第１及び第２の実施の形態に基づいて説明したが、上述した各実施の形態は一例にすぎず、本発明はこれらの実施の形態に限定されるものではない。上述した各実施の形態に、本発明の趣旨を逸脱しない限り当業者が思いつく各種変形を施してもよい。その他、各実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本発明の範囲に含まれる。

第１及び第２の実施の形態で示した情報入力システムにより提供されるＧＵＩの変形例として、図１７に示す画面例が挙げられる。この例では、指示物の位置（人差し指の位置等）に基づき画面に表示されるポインタ３０３が、第１判定領域３０５或いは第２判定領域３０６に侵入すると、初期状態において垂直に直立する操作対象オブジェクト３０４が侵入度に応じて傾くように変移する。この操作対象オブジェクト３０４の傾きは、侵入度が大きいと大きく傾くことになる。この場合の侵入度は、図１７の矢線で示す角度に基づいて算定されており、この角度に応じて所定処理がなされることになる。また、別の変形例として、図１８に示す画面例が挙げられる。この例では、指示物の位置に基づき画面に表示されるポインタ４０３が、操作対象オブジェクト４０４内の一定の判定領域４０５（同図中に網掛けパターンで示した部分）へと、その内側から侵入すると、侵入度（矢線の距離）に応じて所定処理がなされる。この所定処理は例えば操作対象オブジェクト４０４のスクロール等である。

また情報入力システムにより提供されるＧＵＩの変形例として、図１９に示す画面例が挙げられる。図１９の例では、例えば画面全体の拡大縮小、スクロール等を行うための操作対象オブジェクト１２４ｂ（スライダー）が、表示装置１６（表示部５２）における画面に表示されている。この例は、画面に表示された操作対象オブジェクト１２４ｂにおける現在値を示すオブジェクト１２５ｂ（スライダーノブ）の位置を、指示物１１の動きにより変更した状態を示している。即ち、画面には、指示物１１の各部位の位置（人差し指の位置１０２）に基づいて、その人差し指の位置１０２に所定の投影変換を施して得られる２次元位置に表示されるポインタ１０３が表示されている。そして操作対象オブジェクト１０４ａ及び１０５のそれぞれに対するポインタの侵入度を判定するための判定領域１０６及び１０７が表示されている。本例では、指示物１１の人差し指の位置１０２に基づいて、ポインタ１０３の位置が移動し、判定領域１０６に侵入することで、操作対象オブジェクト１０４ａの形状が押し潰されている様子が示されている。この操作により、ポインタ１０３の侵入度に応じて、オブジェクト１２５ｂ（スライダーノブ）の位置を左から右へと動かす。侵入度が大きいほど右に動くことになる。そして、このスライダーノブの位置と予め対応付けておいた機能により、例えば画面の拡大縮小、スクロール等といった制御が実現されるようになる。

また、第１及び第２の実施の形態で示した情報入力システムにおいて、判定領域を表示する例を示したが、判定領域を表示しなくてもよい。

また、第１及び第２の実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェア（プログラム）を実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェア（プログラム）を読み出して実行することによって実現されてもよい。

上述の第１及び第２の実施の形態における情報入力システムを実現するソフトウェアは、例えば次のような制御プログラムである。

プロセッサを有する情報処理装置に、画面に表示された対象に関連して所定処理を実行するための情報処理を実行させるための制御プログラムであって、前記情報処理は、指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面に表示するポインタの位置を逐次決定する取得ステップと、前記ポインタが前記画面に表示された対象の領域内に侵入している場合において、当該侵入の度合いである侵入度を、当該対象の領域内外の境界と前記取得ステップにおいて決定されたポインタの位置との位置関係から算定し、当該侵入度に応じて、当該対象の表示態様の変更と前記所定処理とを行う制御ステップとを含む制御プログラム。

また、上述の制御プログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布された制御プログラムを装置類にインストールして、装置類のプロセッサに実行させることで、装置類に各種処理（図６及び図１２に示す処理等）を行わせることが可能となる。

また、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Large Scale Integration：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等を含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、ＲＯＭからＲＡＭにコンピュータプログラムをロードし、ロードしたコンピュータプログラムにしたがって演算等の動作をすることにより、システムＬＳＩは、その機能を達成する。

また、上記の各装置を構成する構成要素の一部又は全部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールには、上記の超多機能ＬＳＩが含まれてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有してもよい。

また、本発明は、コンピュータプログラム又はデジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ等に記録したもので実現してもよい。さらに、これらの記録媒体に記録されているデジタル信号で実現してもよい。

また、本発明に係るコンピュータプログラム又はデジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送してもよい。

また、本発明は、プログラム又はデジタル信号を記録媒体に記録して移送することにより、又はプログラム又はデジタル信号を、ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

また、上記実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

本発明は、ＧＵＩを提供する情報入力システム等に利用できる。

１０、１０ａ 情報入力システム
１１ 指示物
１２ ステレオカメラ
１４ 通信装置
１６ 表示装置
１８ 入力装置
２０ 制御装置
２２ ＣＰＵ
２４ ＲＯＭ
２６ ＲＡＭ
２８ 記録媒体
４２ 検出部
４４ 取得部
５２ 表示部
６０、６０ａ 制御部
６２ ポインタ表示制御部
６４ オブジェクト表示制御部
６５ 補助表示制御部
６６、６６ａ 算定部
６８、６８ａ 判定部
６９ 監視部
７０、７０ａ 情報処理部

Claims (14)

1. 情報処理装置において、画面に表示された対象に関連して所定処理を実行するための情報処理方法であって、
   指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面に表示するポインタの位置を逐次決定する取得ステップと、
   前記ポインタが前記画面に表示された対象の領域内に侵入している場合において、当該侵入の度合いである侵入度を、当該対象の領域内外の境界と前記取得ステップにおいて決定されたポインタの位置との位置関係から算定し、当該侵入度に応じて、当該対象の表示態様の変更と前記所定処理とを行う制御ステップとを含む
   情報処理方法。
2. 前記制御ステップでは、前記侵入度に応じた程度に、前記対象の位置又は傾きを変更する
   請求項１記載の情報処理方法。
3. 前記制御ステップでは、前記侵入度に応じた程度に、前記対象の形状を変更する
   請求項１記載の情報処理方法。
4. 前記位置情報は、３次元位置を表す情報であり、
   前記情報処理方法は更に、前記指示物における１以上の各部位についての３次元位置を検出することにより前記位置情報を逐次生成する検出ステップを含み、
   前記取得ステップでは、前記検出ステップにおいて生成された前記位置情報を逐次取得し、当該位置情報に基づいて定めた１つの３次元位置に所定の投影変換を施して得られる２次元位置を前記画面に表示する前記ポインタの位置として逐次決定し、
   前記制御ステップでは、前記取得ステップにおいて逐次決定された位置に対応して、前記ポインタを前記画面に表示するように制御する
   請求項１記載の情報処理方法。
5. 前記制御ステップでは、前記対象の領域内外の境界の所定部分から前記ポインタの位置までの距離を、前記侵入度として算定する
   請求項１記載の情報処理方法。
6. 前記制御ステップでは、前記ポインタの位置から前記対象の領域内外の境界までの最短距離を、前記侵入度として算定する
   請求項１記載の情報処理方法。
7. 前記制御ステップでは、前記対象の領域内外の境界における所定の線分の一端点と前記ポインタとを結ぶ直線と、当該線分とのなす角を、前記侵入度として算定する
   請求項１記載の情報処理方法。
8. 前記制御ステップでは、前記ポインタの位置の軌跡が前記画面に表示された対象に係る前記境界に対して侵入する方向が、所定方向であった場合にのみ、前記侵入度を算定する
   請求項１記載の情報処理方法。
9. 前記制御ステップでは、前記ポインタが、前記対象の領域内に含まれる所定の判定領域に侵入していない場合には、前記侵入度をゼロと算定し、前記対象の領域内に含まれる所定の判定領域に侵入している場合には当該判定領域への侵入の度合いを、前記侵入度として算定する
   請求項１記載の情報処理方法。
10. 前記制御ステップでは、前記判定領域の内外の境界を示す画像を前記画面に表示するように制御する
    請求項９記載の情報処理方法。
11. 前記制御ステップでは、前記判定領域を示す画像を前記画面に表示するように制御する
    請求項９記載の情報処理方法。
12. 前記制御ステップでは、前記対象の領域内外の境界を示す画像を前記画面に表示するように制御する
    請求項１記載の情報処理方法。
13. 画面に表示された対象に関連して所定処理を実行するための情報処理装置であって、
    指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面に表示するポインタの位置を逐次決定する取得部と、
    前記ポインタが前記画面に表示された対象の領域内に侵入している場合において、当該侵入の度合いである侵入度を、当該対象の領域内外の境界と前記取得部において決定されたポインタの位置との位置関係から算定し、当該侵入度に応じて、当該対象の表示態様の変更と前記所定処理とを行う制御部とを備える
    情報処理装置。
14. プロセッサを有する情報処理装置に、画面に表示された対象に関連して所定処理を実行するための情報処理を実行させるための制御プログラムを記録した記録媒体であって、
    前記情報処理は、
    指示物における１以上の各部位についての検出された位置を示す位置情報を逐次取得し、当該位置情報が示す１以上の位置に応じて前記画面に表示するポインタの位置を逐次決定する取得ステップと、
    前記ポインタが前記画面に表示された対象の領域内に侵入している場合において、当該侵入の度合いである侵入度を、当該対象の領域内外の境界と前記取得ステップにおいて決定されたポインタの位置との位置関係から算定し、当該侵入度に応じて、当該対象の表示態様の変更と前記所定処理とを行う制御ステップとを含む
    記録媒体。

Images