JP2019135665A - 要素選択装置、要素選択方法、および、プログラム - Google Patents

Abstract

【課題】非接触状態で表示上の要素を選択する場合に、操作性を向上させることができる、要素選択装置、要素選択方法、および、プログラムを提供することを課題とする。【解決手段】表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させ、検出部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させ、表示された前記像または前記表示体から排除されるように、前記要素または前記要素画像を移動させ、移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を決定することを特徴とする。【選択図】 図５

Description

本発明は、要素選択装置、要素選択方法、および、プログラムに関する。

従来、非接触状態で機器を操作する場合に、リモートコントローラを用いずに、手または指によって表示画面上の要素を選択する方法が開発されている。

例えば、特許文献１に記載の入力装置では、機器に接触することなく手または指の動作により情報入力を行うために、ディスプレイに対して指し示された入力者の手または指を撮像し、撮像された像に基づいて、ディスプレイに対して手または指が指し示す方向を算出し、算出された方向に対応するディスプレイ上の位置をカーソルによりディスプレイ上に表示し、手または指のクリック動作が検出された場合に、カーソルが位置する部分の情報を入力者が指示した情報として選択することが開示されている。

特開平５−３２４１８１号公報

しかしながら、従来の入力装置では、手や指が指し示す方向の演算やクリック動作の判定のために複雑な操作が必要であり、利用者が位置決めを行ってから、決定のためにクリック動作等の決定操作を行おうとする場合に、位置がずれるため誤操作が生じやすい等の種々の問題点を有していた。

本発明は、上記に鑑みてなされたもので、非接触状態で表示上の要素を選択する場合に、操作性を向上させることができる、要素選択装置、要素選択方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明の要素選択装置は、手または指の動きを認識する手段と、認識された手または指の動きに連動する第１の画像を表示させる手段と、選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像が第２の画像と接触した場合に相互作用させて、第２の画像が第１の画像から逃れるように移動制御する手段と、第１の画像と第２の画像の相互作用関係が所定の状態になった場合に、当該第２の画像に対応する選択可能な要素の選択を決定する手段と、を備えたことを特徴とする。

また、本発明の要素選択装置は、少なくとも表示部と検出部と制御部を備えた要素選択装置であって、前記制御部は、前記検出部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御手段と、前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させ、前記像表示制御手段により表示された前記像または前記表示体から排除されるように、当該要素または当該要素画像を移動させる要素表示制御手段と、前記要素表示制御手段により移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を判定する選択判定手段、を備えたことを特徴とする。

また、本発明の要素選択装置は、上記要素選択装置において、前記要素表示制御手段は、前記像または前記表示体から排除されるように移動させる制御を優先的に行うとともに、前記要素または前記要素画像を、所定の位置または方向に向かって移動させること、を特徴とする。

また、本発明の要素選択装置は、上記要素選択装置おいて、前記像表示制御手段は、前記検出部を介して撮像した人物の腕、手もしくは指の像、または、当該人物の腕、手もしくは指の動きに連動する表示体を、画面上に表示させること、を特徴とする。

また、本発明の要素選択装置は、上記要素選択装置において、前記要素表示制御手段は、前記像または前記表示体の、輪郭または中心線から排除されるように、前記要素または前記要素画像を移動させること、を特徴とする。

また、本発明の要素選択装置は、上記要素選択装置において、前記移動度は、移動した距離、または、元の位置を離れてからの経過時間であること、を特徴とする。

また、本発明の要素選択方法は、手または指の動きを認識するステップと、認識された手または指の動きに連動する第１の画像を表示させるステップと、選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像が第２の画像と接触した場合に相互作用させて、第２の画像が第１の画像から逃れるように移動制御するステップと、第１の画像と第２の画像の相互作用関係が所定の状態になった場合に、当該第２の画像に対応する選択可能な要素の選択を決定するステップと、を含むことを特徴とする。

また、本発明の要素選択方法は、少なくとも表示部と検出部と制御部を備えたコンピュータに実行される要素選択方法であって、前記制御部において実行される、前記検出部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を、表示させ、前記像表示制御ステップにて表示された前記像または前記表示体から排除されるように、当該要素または当該要素画像を移動させる要素表示制御ステップと、前記要素表示制御ステップにて移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を判定する選択判定ステップと、を含むことを特徴とする。

また、本発明のプログラムは、手または指の動きを認識するステップと、認識された手または指の動きに連動する第１の画像を表示させるステップと、選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像が第２の画像と接触した場合に相互作用させて、第２の画像が第１の画像から逃れるように移動制御するステップと、第１の画像と第２の画像の相互作用関係が所定の状態になった場合に、当該第２の画像に対応する選択可能な要素の選択を決定するステップと、をコンピュータに実行させることを特徴とする。

また、本発明のプログラムは、少なくとも表示部と検出部と制御部を備えたコンピュータに実行させるためのプログラムであって、前記制御部において実行される、前記検出部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を、表示させ、前記像表示制御ステップにて表示された前記像または前記表示体から排除されるように、当該要素または当該要素画像を移動させる要素表示制御ステップと、前記要素表示制御ステップにて移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を判定する選択判定ステップと、を実行させることを特徴とする。

また、本発明のコンピュータ読み取り可能な記録媒体は、上記のプログラムをコンピュータに読み取り可能に記録したことを特徴とする。

この発明によれば、非接触状態で表示上の要素を選択する場合に、操作性を向上させることができる、要素選択装置、要素選択方法、および、プログラム、ならびに、記録媒体を提供することができる。

図１は、本実施の形態が適用される要素選択装置１００の構成の一例を示すブロック図である。 図２は、本実施の形態における要素選択装置１００の表示情報処理の一例を示すフローチャートである。 図３は、要素表示制御部１０２ａの制御による表示された表示画面を含む表示装置１１４の外観の一例を示す図である。 図４は、図３の初期画面において、利用者の像が重畳表示されて表示画面の一例を示す図である。 図５は、表示位置変更部１０２ｂにより表示位置が移動されたポインタＰ２の一例を示す表示画面例である。 図６は、表示要素Ｅ１およびＥ２と、キャプテンフックの手を模した表示体とが表示された表示画面の一例を示す図である。 図７は、図６の表示画面からの遷移画面例を示す図である。

以下に、本発明の本実施の形態にかかる要素選択装置、要素選択方法、および、プログラム、並びに、記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

［本実施の形態の概要］
以下、本発明にかかる本実施の形態の概要について説明し、その後、本実施の形態の構成および処理等について詳細に説明する。なお、本概要の説明によって、以降で説明する本実施の形態の構成および処理が限定されるものではない。

現在、スマートテレビ等に関する開発が進んでいる。例えば、特許文献１に記載の入力装置では、リモートコントローラを用いずに、ディスプレイに対して指し示された入力者の手または指を撮像し、ディスプレイに対して手または指が指し示す方向から、対応するディスプレイ上の位置をカーソルによりディスプレイ上に表示し、手または指のクリック動作が検出された場合に、カーソルが位置する部分の情報を入力者が指示した情報として選択することが開示されている。

ここで、リモートコントローラを用いずに、従来（特許文献１等）のように画面上の要素を選択する場合には、マウスやタッチパッドを用いる方法とは次の点で決定的に性質が異なる。

すなわち、従来、画面上に実現したグラフィックユーザインタフェース（ＧＵＩ）を用いてマウスやタッチパッドで操作する場合には、（１）まず、利用者は、画面上の要素にカーソルを合わせる位置決めを行い、（２）つづいて、位置の確認後にクリック等の決定操作を行って、画面上の要素を選択している。

マウスやタッチパッド等で操作する場合には、動摩擦力や静止摩擦力がはたらくので、（１）の位置決めを行ってから（２）の決定操作を行うまでに、位置がずれて誤操作を行うことが少ない。

この（１）および（２）の操作手法を、そのままリモートコントローラレステレビ等に応用したとすると、特許文献１に記載のように、（１）利用者は、空中に浮かせた指や手で画面上のカーソルを動かす位置決め操作を行い、（２）所定のアクションで指や手を動かすことで決定操作を行わなければならない。

空中に浮かせた指や手は摩擦がはたらかないので、（１）の位置決め操作から（２）の決定操作までの間に浮遊して位置がずれるため誤操作を招きやすく、特に、（２）の決定操作のためのアクションを行おうとする場合に位置がずれる可能性が高いという問題点が考えられる。

そのため、本願の発明者は上記に鑑みて、鋭意検討を行った結果、本発明を完成させるに至った。本発明の実施の形態は、次の特徴を有する。

すなわち、本実施の形態は、表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させる。要素画像は、一例として、選択可能な要素を代表する、代表点であるポイント等として表示してもよい。

そして、本実施の形態は、検出部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させて、表示された前記像または前記表示体から前記要素または前記要素画像が排除されるように当該要素または当該要素画像を移動させる。

そして、本実施の形態は、前記要素または前記要素画像が所定の状態（例えば、所定の移動状態（所定の移動度，所定の移動位置など）になった場合に、当該要素の選択を決定する。ここで、本実施の形態は、移動状態に基づいて要素の選択を判定することに限られず、アクションに基づいて要素の選択を判定してもよい。一例として、本実施の形態は、開かれた手が閉じられた場合などのように所定のアクションがあった場合に、所定の状態になったと判定して、要素の選択を決定してもよい。

これにより、本実施の形態は、従来の（１）のマウスポインタやカーソル等による位置決めを行わずに、（１）と（２）と同様の要素の選択と決定を行うことができる。すなわち、利用者は、画面上に映し出した自己の像または表示体をつかって、画像上の要素または要素画像を、感覚的に、つかむ／把持する／ひっかける／押す／つまむ／当てる等の操作を行うことで、（１）と同様に要素を選択したことを確認することができる。そして、利用者は、確認後、感覚的に、つかんで引っ張る／把持したまま一定時間おく／ひっかけて引き下げる／押し上げる／つまんで引く／当てて飛ばす等の操作を行うことで状態（移動度や移動位置など）を制御し、（２）と同様に要素の選択を決定することができる。ここで、移動状態によらずアクションにより要素の選択を決定させる場合は、利用者は、確認後、感覚的に、つかんで握りつぶす／把持したまま握る／ひっかけてから加速度をつけて手を払う／押し上げて投げる／つまんでから二本の指をくっつける／当てて弾く等のアクション操作を行うことで状態を制御し、（２）と同様に要素の選択を決定することができる。

したがって、従来のように浮遊した手や指等の動きで操作することに伴う位置決めの不確実性を抑制することができ、大幅な操作性の向上に寄与する。

以上で、本発明の本実施の形態の概要の説明を終える。

［要素選択装置１００の構成］
まず、本実施の形態にかかるコンピュータの一例である要素選択装置１００の構成について説明する。図１は、本実施の形態が適用される要素選択装置１００の構成の一例を示すブロック図であり、該構成のうち本実施の形態に関係する部分のみを概念的に示している。

図１において要素選択装置１００は、概略的に、要素選択装置１００の全体を統括的に制御するＣＰＵ等の制御部１０２、通信回線等に接続されるルータ等の通信装置（図示せず）に接続される通信制御インターフェース部１０４、撮像装置１１２や表示装置１１４等に接続される入出力制御インターフェース部１０８、および、各種のデータベースやテーブルなどを格納する記憶部１０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。

記憶部１０６に格納される各種のデータベースやテーブル（要素ファイル１０６ａ等）は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。

これら記憶部１０６の各構成要素のうち、要素ファイル１０６ａは、表示画面の表示要素として表示可能なデータを記憶する要素データ記憶手段である。例えば、要素ファイル１０６ａは、アイコンや文字、記号、図形、立体オブジェクトなどのオブジェクトとなるデータを記憶してもよい。また、要素ファイル１０６ａは、クリック等の選択操作が行われた場合に、所定の動作（リンク先を表示、メニュー表示、電源オン／オフ、チャンネル切り替え、ミュート、録画予約等）が行われるようにプログラム等に関連付けられてもよい。なお、これら表示要素となるデータのデータ形式は、画像データや、文字データ等に限られず、任意のデータ形式であってもよい。また、後述する制御部１０２の処理により、移動（回転や拡大・縮小を含む。）された結果は、要素ファイル１０６ａに反映されてもよい。例えば、要素ファイル１０６ａのオブジェクトＡ（または、その要素画像）が、表示制御によって、所定の移動状態に移動された場合、要素ファイル１０６ａは、制御部１０２の制御により、オブジェクトＡの関連データを０（例えば機能オフモード）から１（例えば機能オンモード）に変更させて保存する。一例として、要素ファイル１０６ａは、ｈｔｍｌ言語等のウェブページを表示させるためのデータを記憶してもよく、このデータのうち、選択可能な要素とは、例えば、ウェブページにおけるリンク表示部分である。通常、ｈｔｍｌ言語のデータ上では、開始タグと終了タグの間にはさまれたテキスト部分や画像部分等であって、この部分は、表示画面上において選択可能（クリック可能）な領域として強調表示（例えば下線付与）される。本実施の形態の一例では、通常のＧＵＩにおいて選択可能な領域の代わりに、一つずつ要素画像（ポイント等）が割り当てられる。例えば、通常のＧＵＩにおいて選択可能な領域が、表示画面上の矩形で、左下座標（Ｘ１，Ｙ１）〜右上座標（Ｘ２，Ｙ２）の領域である場合に、後述する要素表示制御部１０２ａは、ポイントの初期位置を、当該矩形領域の中心点（（Ｘ１＋Ｘ２）／２，（Ｙ１＋Ｙ２）／２）に設定してもよく、当該矩形領域の右上の点（Ｘ２，Ｙ２）に設定してもよい。

また、図１において、入出力制御インターフェース部１０８は、撮像装置１１２や表示装置１１４の制御を行う。例えば、表示装置１１４は、液晶パネルや有機ＥＬパネル等の表示手段である。ここで、要素選択装置１００は、図示しないスピーカ等の音声出力手段を備えてもよく、入出力制御インターフェース部１０８は、当該音声出力手段の制御を行ってもよい。以下の実施の形態においては、表示装置１１４をモニタ（家庭用テレビ等を含む）として説明する場合があるが、本発明はこれに限定されるものではない。

また、撮像装置１１２は、カメラ等の撮像手段である。例えば、撮像装置１１２は、ＣＭＯＳセンサやＣＣＤセンサ等の検出手段であってもよい。なお、撮像装置１１２は、所定の周波数の光（赤外線）を検出する光検出手段であってもよい。撮像装置１１２として赤外線カメラを用いると、画像において人物の領域（発熱領域）が判定しやすくなり、人物の温度分布等によって例えば手の領域のみを判定することも可能になる。このほか、撮像装置１１２としては、超音波や電磁波式の距離測定器（奥行きの検出手段等）や、近接センサ等を用いることができ、例えば、奥行きの検出手段と撮像手段とを組み合わせて、所定の距離（奥行き）にいる物体の画像（例えば人物の像）のみを判定してもよい。また、撮像装置１１２としては、ｋｉｎｅｃｔ（商標）等の公知のセンサや領域判定技術や制御手段を用いてもよい。また、撮像装置１１２は、人物の生体情報（肌の色や、熱、赤外線等）を読み取ることに限られず、撮像手段の代わりに人物の動きを検出する位置検出手段として、利用者が手に持ったり腕等に装着したりした光源等の位置を検出してもよい。

撮像装置１１２に限られず、任意の検出手段によって、人物の動き、特に、人物の手の動きや、人物の指の動きを認識してもよい。その際、公知の非接触操作技術や、公知の画像認識技術を用いて手の動きを検出してもよい。例えば、かざした手の上下左右の動きやジェスチャーを認識してもよい。ジェスチャーは、物理空間における利用者の位置および動きから得ることができ、指を動かす、または静止姿勢というような、動的または静的な、任意の利用者の動きを含むことができる。一実施形態例によれば、撮像装置１１２のカメラのようなキャプチャー・デバイスが、ユーザー画像データを取り込むことができ、このユーザー画像データは、利用者のジェスチャー（１つまたは複数）を表すデータを含む。利用者の三次元物理空間において利用者によって行われたジェスチャーを認識および分析して、利用者のジェスチャーを解釈してシステムまたはアプリケーション空間の態様を制御するために、コンピューター環境を使用することができる。このコンピューター環境は、利用者のジェスチャー（１つまたは複数）を画面上のアバター等にマッピングすることによって、ユーザー・フィードバックを表示することができる（ＷＯ２０１１／０８４２４５参照）。一例として、手や指の動きを認識する公知の手段として、リープ・モーション・コントローラ（ＬＥＡＰ ＭＯＴＩＯＮ社製）や、遠隔操作可能な手段として、Ｋｉｎｅｃｔ ｆｏｒ Ｗｉｎｄｏｗｓ（登録商標）（マイクロソフト社製）とＷｉｎｄｏｗｓ（登録商標） ＯＳの組合せを用いてもよい。なお、マイクロソフト社製Ｘｂｏｘ ＯｎｅのＫｉｎｅｃｔセンサによれば、手や指のスケルトン情報を得ることができ、また、ＬｅａｐＭｏｔｉｏｎセンサを用いれば、指の一本一本の動きを追跡することができる。その際、各センサに内臓された制御手段を用いて、手や指の動きが解析されるか、接続されたコンピュータの制御手段を用いて、手や指の動きが解析されるが、これら制御手段は、本実施の形態の機能概念的な検出手段と考えてもよく、本実施の形態の機能概念的な制御手段（例えば選択判定部１０２ｄ）と考えてもよく、いずれか又は両方であってもよい。

ここで、検出手段と表示手段の位置関係や第１の画像（人物の手や指の像など）の表示との関係について説明する。説明のため、表示画面の平面の横軸と縦軸をＸ軸Ｙ軸とし、表示画面に対する奥行き方向をＺ軸と呼ぶことにする。通常、利用者は、表示画面に対して、Ｚ軸の方向に離れて位置している。検出手段は、表示画面側に設置して、人物の方向に向けられてもよく、人物の背後に設置して表示画面側に向けられてもよく、また、人物がかざす手の下側（地面側）に設置して人物の手の方向（天井側）に向けてられてもよい。上述のように、検出手段は、２次元の人物の像を読み取る撮像手段に限られず、３次元の人物を検出してもよい。すなわち、検出手段は、人物の３次元形状を読み取り、後述する像表示制御部１０２ｃは、検出手段により読み取られた３次元形状を、２次元画像に置き換えて第１の画像として表示装置１１４に表示してもよい。その際、像表示制御部１０２ｃは、ＸＹ平面の２次元画像に置き換えてもよいが、厳密に、このＸＹ平面で切り出さなくともよい。例えば、表示画面側からＺ軸方向に人物の指の像を見た場合には、二本の指（親指と人差し指など）がくっついているように見える場合でも、３次元的にはくっついていない場合がある。このように、Ｚ軸方向からの見え方（影のでき方）と、利用者にとっての指の感覚とは、ズレが生じている場合があるので、厳密に、像表示制御部１０２ｃは、ＸＹ平面に投影することに限られない。例えば、像表示制御部１０２ｃは、人物の手の三次元形状を、二本の指の離間方向に切断して２次元画像を取得してもよい。あるいは、像表示制御部１０２ｃは、ＸＹ平面に投影するものの、選択判定部１０２ｄは、検出手段により読み取られた三次元形状から、二本の指がくっついているか離れているかを判定して、利用者の感覚と一致するように制御してもよい。

また、図１において、制御部１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御部１０２は、機能概念的に、要素表示制御部１０２ａ、表示位置変更部１０２ｂ、像表示制御部１０２ｃ、および、選択判定部１０２ｄを備えて構成されている。

このうち、要素表示制御部１０２ａは、要素ファイル１０２ａに記憶された要素データに基づいて、要素が表示要素として表示装置１１４に表示されるように（あるいは、当該要素に対応付けた要素画像（以下、「ポイント」と呼ぶ場合がある。）が表示されるように）制御する要素表示制御手段である。すなわち、要素表示制御部１０２ａは、第２の画像（選択可能な要素または要素画像）を表示する。なお、要素表示制御部１０２ａは、当初、ポイントを非表示としておき、所定の場合（表示画面上で、像または表示体が表示要素上に重畳した場合等）に表示してもよい。ここで、要素表示制御部１０２ａは、図１に示すように、本実施形態において、表示位置変更部１０２ｂを備える。なお、要素データは、要素ファイル１０６ａを制御することにより読み込むことに限られず、ネットワーク３００を介して、外部システム２００の記憶部（要素データベース等）からダウンロードすることにより取り入れてもよく、また、図示しない受信装置を介して、放送電波等を受信することにより取得してもよい。なお、要素に対応付けたポイントの初期表示位置は任意の位置でよいが、要素との対応関係が分かるように表示した要素の中心（要素としての図形の中心）や要素の右上（要素としての文字列の右上隅）等に、赤点等をポイントとして表示させてもよい。

また、表示位置変更部１０２ｂは、像表示制御部１０２ｃにより表示される第１の画像（像または表示体）から排除されるように、第２の画像（選択可能な表示要素または要素画像）の表示位置を変更させる移動制御手段である。例えば、像表示制御部１０２ｃの制御により、第１の画像（像または表示体）が近づいてきて、第２の画像（表示要素やポイント等）と輪郭同士が接触すると、第１の画像が向きを変えて遠ざからない限り、表示位置変更部１０２ｂの制御により、第２の画像は第１の画像の輪郭に接しながらつられて移動する。本実施の形態の一例として表示位置変更部１０２ｂは、像表示制御部１０２ｃにより表示された表示画面上の像または表示体が、表示要素またはポイントの位置を排他的に移動させるように制御する。なお、表示位置変更部１０２ｂは、表示要素またはポイントが移動する方向や範囲等を限定してもよい。また、表示位置変更部１０２ｂは、像または表示体から表示要素またはポイントが排除されるように移動させる制御を優先的に行うとともに、表示要素またはポイントを、所定の位置または方向に向かって移動させてもよい。すなわち、表示位置変更部１０２ｂは、優先条件として、像または表示体から表示要素またはポイントを排除するように制御し、劣後条件として、表示要素またはポイントを、所定の位置または方向に向かって移動させてもよい。例えば、表示位置変更部１０２ｂは、表示要素（またはポイント）が像（または表示体）に接触していない場合、当該表示要素（またはポイント）を、移動前の元の表示位置に戻るように移動させてもよい。他の例として、表示要素（またはポイント）に重力がはたらいているような感覚を利用者に引き起こすように、表示位置変更部１０２ｂは、表示要素（またはポイント）が像（または表示体）に近接していない場合、画面下方向に移動させてもよい。ここで、以下の説明の便宜上、表示要素およびポイントを代表して表示要素またはポイントについて説明し、像および表示体を代表して像または表示体について説明する場合があるが、表示要素およびポイントの一方に限定されるものではなく、また、像および表示体の一方に限定されるものではない。例えば、表示要素と記載されている箇所をポイントと読み替えて適用してもよく、像と記載されている箇所を表示体と読み替えて適用してもよいものである。反対に、ポイントと記載されている箇所を表示要素と読み替えて適用してもよく、表示体と記載されている箇所を像と読み替えて適用してもよいものである。

ここで、表示要素が像から排他的に運動する態様としては種々の形態がある。例えば、表示位置変更部１０２ｂは、表示要素の代表点（中心点、重心等）が、像の輪郭から排除されるように移動させてもよい。また、表示位置変更部１０２ｂは、表示要素の輪郭が、像の輪郭から排除されるように移動させてもよい。また、表示要素変更部１０２ｂは、表示要素の輪郭が、像の代表線（中心線等）や像の代表点（重心、中心点等）から排除されるように移動させてもよい。表示要素と像が接触状態において排除運動を制御することに限られず、磁石のＳ極同士が反発するように非接触状態で、表示要素変更部１０２ｂは、表示要素が、像から遠ざかるように移動させてもよい。

また、表示要素が像から排他的に運動する例外として、表示要素が像を横断するように移動させてもよい。例えば、表示位置変更部１０２ｂは、表示要素の代表点が、像の輪郭の変曲点付近にない場合は、像を横断して通り抜けるように移動させてもよい。より具体的には、表示要素と元の位置との間には、張力がはたらいているかのような移動制御を行っている場合において、表示要素が指と指の間や指の股に入り込んでいない場合は、所定以上の張力となると、手の像を横断するように表示要素を移動させて、元の位置に戻してもよい。また、表示位置変更部１０２ｂは、表示要素の代表点が、像の輪郭線のローカルミニマムに陥った場合には、曲線の接点や変曲点に位置する場合を除いて、当該像（手の領域等）を横断可能に制御してもよい。

また、像表示制御部１０２ｃは、撮像装置１１２を介して撮像した人物の像（または、当該人物の動きに連動する表示体）を、第１の画像として、表示装置１１４の画面上に表示させる像表示制御手段である。ここで、像表示制御部１０２ｃは、利用者からみて画面が鏡であるかのように、鏡像を顔面上に表示してもよい。例えば、像表示制御部１０２ｃは、表示装置１１４の表示画面から人物に向けた撮像装置１１２を介して撮像した人物の像を、左右反転させて表示画面に表示させてもよい。なお、撮像装置１１２が人物の後ろから表示装置１１４の表示画面に向けて設置している場合は、像を左右反転させる必要はない。このように、像表示制御部１０２ｃが鏡のように像を表示させることによって、利用者（人物）は、鏡に映し出された自分の像の位置を変えるように、自己の像を操作しやすくなる。すなわち、利用者は、自己の影絵を動かすように、表示画面上の像（または人物の動きに連動する表示体）を制御することができ、操作性向上に寄与する。なお、像表示制御部１０２ｃは、人物の像の輪郭線のみを表示させてもよく、表示体の輪郭線のみを表示させてもよい。すなわち、人物の像の領域を塗りつぶさないので、輪郭の内側を透明にして、内側の表示要素をも表示させることができ、視認性に優れるという効果を奏する。このように、表示装置１１４に表示される像または表示体は、鏡に映るように表示されてもよい。

ここで、像表示制御部１０２ｃは、撮像装置１１２を介して撮像した人物の腕、手もしくは指の像を、表示装置１１２の表示画面に表示させてもよい。ここで、像表示制御部１０２ｃは、撮像した人物の像のうちの、腕や手や指等の領域を、赤外線領域や肌の色等により判別して、当該腕や手や指等の領域のみを切り出して表示させてもよい。このほか、像表示制御部１０２ｃは、腕や手や指等の領域を、公知の領域判定手法を用いて判定してもよい。

また、像表示制御部１０２ｃは、人物の腕、手もしくは指の動きに連動する表示体（工具等の絵やポリゴン等）を、画面上に表示させてもよい。ここで、像表示制御部１０２ｃは、上記のごとく判定した腕や手や指等の領域の位置に対応付けて、表示体を表示させてもよく、別の手法で腕や手や指の位置を検出して、当該位置に対応付けて表示体を表示させてもよい。後者の例として、像表示制御部１０２ｃは、腕に装着した光源の位置を、撮像装置１１４を介して検出して当該検出された位置に連動させて表示体を表示させてもよい。また、像表示制御部１０２ｃは、利用者が手に持った光源の位置を検出して、当該検出された位置に連動させて表示体を表示させてもよい。ここで、像表示制御部１０２ｃは、表示体の種類（表示体として表示するツールであって、はさみや千枚通しやステープラーやハンマー等の工具を模した絵やポリゴン等の種類）を、利用者により図示しない入力部や手の像をつかって選択させてもよい。これにより、利用者は、自己の像をつかって操作しにくい場合にも、操作しやすいツールを選択して、要素選択に用いることができる。

また、選択判定部１０２ｄは、要素表示制御部１０２ａの表示位置変更部１０２ｂにより移動された第２の画像（要素またはポイント）の状態（移動度または移動位置などの移動状態やアクション等）に基づいて、当該要素の選択を判定する選択判定手段である。例えば、選択判定部１０２ｄは、表示要素（またはポイント）が所定の位置に到達した場合や、所定の位置にとどまった場合に、当該表示要素の選択を判定してもよい。また、一例として、移動度は、移動した距離、または、元の位置を離れてからの経過時間であってもよい。例えば、選択判定部１０２ｄは、表示要素（またはポイント）が所定の距離移動した場合に、当該要素の選択を判定してもよい。また、選択判定部１０２ｄは、表示要素（またはポイント）が元の表示位置から移動して所定の時間経過した場合に、当該要素の選択を判定してもよい。より具体的には、表示位置変更部１０２ｂにより劣後条件として元の位置に戻るように表示要素（またはポイント）が移動制御される場合に、選択判定部１０２ｄは、表示要素（またはポイント）が元の表示位置から移動して所定の時間経過した場合に、当該要素の選択を判定してもよい。なお、ポイントが移動の対象である場合は、選択判定部１０２ｄは、当該ポイントに対応付けられた要素の選択を判定する。

他の例として、選択判定部１０２ｄは、第１の画像に接触して移動された第２の画像（要素またはポイント）について、第１の画像が所定のアクション（例えば、開いていた手を閉じることや、非接触状態だった２本の指を接触させるなど）を行った場合に、当該要素の選択を判定してもよい。例えば、選択判定部１０２ｄは、検出手段によって読み取られた人物の手の３次元形状の変化に基づいて、掌を開いているか閉じているかを判定してもよく、親指と人差し指の二本の指が離れているかくっついているかを判定してもよい。そして、選択判定部１０２ｄは、所定のアクションを判定した場合に、第１の画像と相互作用していた第２の画像に対応する選択可能な要素を、選択すると決定してもよい。ここで、選択の決定とは、例えば、マウス操作におけるクリックや、キーボード操作におけるＥＮＴＥＲキーの押下や、タッチパネル操作における対象のタッチ操作等に相当する。一例として、第２の画像に対応する選択可能な要素がリンク先であった場合、選択判定部１０２ｄは、要素の選択を決定すると、当該リンク先に表示が遷移するように制御する。このほか、選択判定部１０２ｄは、上述したＫｉｎｅｃｔセンサやＬｅａｐＭｏｔｉｏｎセンサから読み取られた人物の動きを認識するために用いられているような、公知のアクション認識手段や、公知のモーション認識機能等を用いて、利用者のアクションを判定してもよい。

また、図１において、通信制御インターフェース部１０４は、要素選択装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御や、要素選択装置１００と図示しない受信装置との間における通信制御を行う装置である。すなわち、通信制御インターフェース部１０４は、他の端末または局と、通信回線（有線、無線を問わない）を介してデータを通信する機能を有する。また、ここで、受信装置は、放送局等から電波等を受信する受信手段であり、例えばアンテナ等である。

すなわち、要素選択装置１００は、画像データに関する外部データベースや本発明にかかるプログラム等の外部プログラム等を提供する外部システム２００と、ネットワーク３００を介して通信可能に接続して構成されていてもよく、また、要素選択装置１００は、画像データ等を発信する放送局等と、受信装置を介して受信可能に接続して構成されていてもよい。また、この要素選択装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続されていてもよい。

ここで、図１において、ネットワーク３００は、要素選択装置１００と外部システム２００とを相互に接続する機能を有し、例えば、インターネット等である。

また、図１において、外部システム２００は、ネットワーク３００を介して、要素選択装置１００と相互に接続され、利用者に対して画像データに関する外部データベースやプログラム等の外部プログラム等を実行するウェブサイトを提供する機能を有する。

ここで、外部システム２００は、ＷＥＢサーバやＡＳＰサーバ等として構成していてもよく、そのハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部システム２００の各機能は、外部システム２００のハードウェア構成中のＣＰＵ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。

［表示情報処理］
次に、このように構成された本実施の形態における要素選択装置１００の表示情報処理の一例について、以下に図２を参照して詳細に説明する。図２は、本実施の形態における要素選択装置１００の表示情報処理の一例を示すフローチャートである。

なお、以下の処理を始めるにあたって、表示装置１１４には、要素表示制御部１０２ａの制御により、何らかの表示要素が表示されていることを前提とする。ここで、図３は、要素表示制御部１０２ａの制御による表示された表示画面を含む表示装置１１４の外観の一例を示す図である。図３に示すように、要素選択装置１００は、矩形で示す領域の表示画面を有する表示装置１１４を備えている。そして、図３に示すように、この例では、要素表示制御部１０２ａは、表示画面上に、リンク表示が選択可能な要素に対応付けて、リンク可能な文字列の左上に、黒丸のポイントを表示させている。すなわち、ポイントＰ１は、ＵＲＬ１のリンク（ｗｗｗ．ａａａ．ｂｂｂ．ｃｃｃ／）に対応付けられており、ポイントＰ２は、ＵＲＬ２のリンク（ｗｗｗ．ｄｄｄ．ｅｅｅ．ｆｆｆ／）に対応付けられており、ポイントＰ３は、ＵＲＬ３のリンク（ｗｗｗ．ｇｇｇ．ｈｈｈ．ｉｉｉ／）に対応付けられている。そして、一般的なウェブサイトと同様に、これらの要素を選択することによって、リンク先が表示されるようにプログラムされている。なお、ポイントを表示させず、表示要素（リンク文字列やアイコン等）自体を移動可能に制御してもよいが、本処理の説明においては、ポイントの位置制御を行う例について説明する。

図２に示すように、まず、像表示制御部１０２ｃは、撮像装置１１２を介して撮像した人物の像を、表示装置１１４の画面上に表示させる（ステップＳＡ−１）。ここで、像表示制御部１０２ｃは、利用者からみて鏡に自己の像が写るように、表示装置１１４の表示画面に像を表示させてもよい。ここで、図４は、図３の初期画面において、利用者の像が重畳表示されて表示画面の一例を示す図である。

図４に示すように、像表示制御部１０２ｃは、撮像装置１１２を介して撮像した人物の像から、腕、手もしくは指の像のみを、表示装置１１２の表示画面に表示させてもよい。例えば、像表示制御部１０２ｃは、撮像した人物の像のうちの、腕や手や指等の領域を、赤外線領域や肌の色等の公知の領域判定手法により判別して、当該腕や手や指等の領域のみを切り出して表示させてもよい。また、像表示制御部１０２ｃは、人物の像の輪郭線のみを表示させて、像の輪郭線の内側を透明化してもよい。これにより、人物の像の領域が塗りつぶされず、輪郭内側の表示要素が表示されるので、操作性の向上および視認性の向上に寄与する。

再び図２に戻り、表示位置変更部１０２ｂは、像表示制御部１０２ｃにより表示された像から排除されるように、選択可能な要素に対応付けられたポイントの表示位置を変更させる（ステップＳＡ−２）。図５は、表示位置変更部１０２ｂにより表示位置が移動されたポイントＰ２の一例を示す表示画面例である。図において、破線の丸は、ポイントＰ２の元の表示位置を表ており、破線の直線は、元の表示位置と移動された表示位置の間の距離ｄを表している。なお、破線は、表示画面に表示されなくともよい。

図５に示すように、ポイントが像から排他的に運動するように、表示位置変更部１０２ｂは、ポイントが、像の輪郭から排除されるように移動させてもよい。なお、図示の例は、ポイントの輪郭が像の輪郭から排除されるように移動制御される例であるが、これに限られず、表示要素変更部１０２ｂは、ポイントの輪郭が像の代表線（中心線等）から排除されるように移動制御してもよく、表示要素が非接触状態で像から遠ざかるように移動させてもよい。

なお、表示位置変更部１０２ｂは、像または表示体から表示要素またはポイントが排除されるように移動させる制御を優先的に行うとともに、表示要素またはポイントを、所定の位置または方向に向かって移動させてもよい。例えば、表示位置変更部１０２ｂは、ポイントが像に接触していない場合、当該ポイントを、移動前の元の表示位置に戻るように移動させてもよい。

再び図２に戻り、選択判定部１０２ｄは、要素表示制御部１０２ａの表示位置変更部１０２ｂにより移動されたポイントの移動度に基づいて、当該ポイントに対応する要素の選択を判定する（ステップＳＡ−３）。例えば、選択判定部１０２ｄは、ポイントＰ２が所定の位置に到達した場合や、元の位置からの移動距離ｄが所定閾値以上の場合や、元の位置から移動を開始してから一定の時間が経過した場合などのように、所定の移動度となった場合（所定の閾値以上の移動度となった場合等）に、当該ポイントＰ２に対応する要素の選択（ＵＲＬ２のリンク表示選択）を判定してもよい。

選択判定部１０２ｄにより所定の移動度ではないと判定された場合（ステップＳＡ−３，Ｎｏ）、要素選択装置１００は、ステップＳＡ−１に処理を戻し、上述した処理が繰り返されるよう制御する。すなわち、像表示制御部１０２ｃによる像の表示の更新（ステップＳＡ−１）と、それに続く表示位置変更部１０２ｂによる表示位置の移動制御（ステップＳＡ−２）とを行い、再び、選択判定部１０２ｄは、移動度の判定を行う（ステップＳＡ−３）。

選択判定部１０２ｄは、所定の移動度となったと判定した場合（ステップＳＡ−３，Ｙｅｓ）、当該ポイントに対応する要素の選択を決定し（ステップＳＡ−４）、要素選択装置１００の制御部１０２は、選択処理を実行する。例えば、図５の例で、選択判定部１０２ｄは、ポイントＰ２の元の位置と移動した表示位置との距離ｄが、所定の閾値以上である場合に、当該ポイントＰ２に対応づけられた要素（ＵＲＬ２のリンク）の選択を決定し、要素選択装置１００は、ＵＲＬ２のリンク表示を行ってもよい。

以上が本実施形態における要素選択装置１００の処理の一例である。なお、上記の例では、要素に対応するポイントが像により排他的に移動制御される例について説明したが、これに限られず、例えば、表示要素が表示体により排他的に移動制御されてもよいものである。図６は、表示要素Ｅ１およびＥ２と、キャプテンフックの手を模した表示体とが表示された表示画面の一例を示す図である。

図６に示すように、像表示制御部１０２ｃは、撮像装置１１２を介して検出した人物の腕の動きに連動するように、表示体を表示装置１１２の表示画面に表示させてもよい。そして、要素表示制御部１０２ａの表示位置変更部１０２ｂは、表示要素Ｅ１およびＥ２を、表示体の輪郭から排除されるように移動させてもよい。なお、この例では、表示位置変更部１０２ｂは、表示要素またはポイントが移動する方向や範囲等を限定している。すなわち、表示位置変更部１０２ｂは、表示要素Ｅ１は図の上方向に所定の範囲（溝表示部分）までしか移動できず、表示要素Ｅ２は図の下方向に所定の範囲（溝表示部分）までしか移動できないように制御している。図７は、図６の表示画面からの遷移画面例を示す図である。

図７に示すように、像表示制御部１０２ｃは、利用者が動かす腕の動きに連動させて表示体を移動させ、表示位置変更部１０２ｂは、それに応じて、表示要素Ｅ５が表示体の輪郭から排除されるように移動制御してもよい。そして、図７の例では、表示要素Ｅ２が下方向の所定の範囲いっぱいまで押し下げられた場合、選択判定部１０２ｄは、当該表示要素Ｅ２の選択を判定してもよい。この例では、表示要素Ｅ２の選択が判定されると、要素選択装置１００の制御部１０２は、テレビのチャンネルを＋方向に一つまわして（すなわち、チャンネル番号を一つインクリメントしたチャンネル番号の放送を）表示させる。例えば、チャンネル１が表示中の場合はチャンネル２を表示されることになる。

以上で、本実施の形態における、要素選択装置１００の処理の一例の説明を終える。

また、上述の例では、対応する表示要素が予め表示されることを前提に説明を行ったが、これに限られず、予め表示要素が表示されていなくとも、像の表示にともなって表示要素が表示されてもよい。例えば、テレビ画面では、像の表示に伴って、チャンネル選択画面を表示して、各チャンネル選択のための表示要素を出現させ、これを任意の地点まで手の像でドラッグすることによって、チャンネル選択を可能にしてもよい。

以上のように、本実施の形態によれば、従来のように、手を検出して、手の先端検出やＣ／Ｏ検出（映情学技報ＶＩＳ２００１−１０３，Ｖｏｌ．２５，Ｎｏ．８５， ｐｐ．４７−５２ （２００１））によって、手をポインティングデバイス（位置点入力手段）にするのではなく、手そのもので操作可能なように表示要素をポインタ化したインターフェースを提供する。先行技術では、手の指先をカーソルの座標位置にして、親指を曲げたときにクリックと対応付ける技術もあるが、そのような場合、座標位置の演算に時間がかかったり、親指を曲げるときに、指先の位置がずれたりするので、本実施の形態は、従来の問題点を解消することができる。また、本実施の形態においては、操作ポイントを１点としたが、１点ではなく２点にしてもよい。これにより、棒の向きや立体の向きを左右の手で変化させたり、マルチタッチ操作における拡大縮小等の操作が可能になる。

［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。

例えば、要素選択装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、要素選択装置１００は、クライアント端末（要素選択装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。

また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。

また、要素選択装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、要素選択装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、１００に対して任意の３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。プログラムが、一時的でないコンピュータ読み取り可能な記録媒体に記録されたプログラム製品として本発明を構成してもよい。

記憶部１０６に格納される各種のデータベース等（要素ファイル１０６ａ）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。

また、要素選択装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、要素選択装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

なお、以下に、本発明にかかるクレームの他の例を列挙する。

クレーム０
少なくとも表示部と撮像部と制御部を備えた要素選択装置であって、
前記制御部は、
前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させる要素表示制御手段と、
前記撮像部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御手段と、
を備え、
前記要素表示制御手段は、
前記像表示制御手段により表示された前記像または前記表示体から排除されるように、前記要素または前記要素画像を移動させる移動制御手段、
を備え、
前記制御部は、
前記移動制御手段により移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を決定する選択決定手段、
を更に備えたことを特徴とする要素選択装置。

クレーム１
表示手段と撮像手段と制御部とを少なくとも備えた要素選択装置において、
前記制御部は、
撮像手段により利用者を撮像して、少なくとも利用者の手または指の領域であるユーザ領域が判別できるように前記表示手段に表示する手領域表示制御手段と、
前記手領域表示制御手段により表示される前記ユーザ領域から排除されるように、選択可能な表示要素を移動させて表示する表示要素移動手段と、
前記表示要素移動手段により移動された前記表示要素の移動度に基づいて、当該表示要素の選択を判定する選択判定手段と、
を備えたことを特徴とする要素選択装置。

クレーム２（表示要素の移動態様：元に戻る）
クレーム１に記載の要素選択装置において、
前記表示要素移動手段は、
前記表示要素に元の位置に戻るような力がはたらいているかのように当該表示要素の移動を制御すること
を特徴とする要素選択装置。

クレーム３（表示要素の移動態様：重力）
クレーム１または２に記載の要素選択装置において、
前記表示要素移動手段は、
前記表示要素に画面の下方向に重力がはたらいているかのように当該表示要素の移動を制御すること
を特徴とする要素選択装置。

クレーム４（表示要素の移動態様：磁石）
クレーム１乃至３のいずれか一つに記載の表示選択装置において、
前記表示要素移動手段は、
前記ユーザ領域と前記表示要素の間に引力がはたらいているかのように当該表示要素の移動を制御すること
を特徴とする要素選択装置。

クレーム５（選択判定１：距離）
クレーム１乃至４のいずれか一つに記載の要素選択装置において、
前記移動度とは、前記表示要素が移動された距離であって、
前記選択判定手段は、
前記表示要素が所定閾値以上の距離を移動した場合に、当該表示要素の選択を判定すること
を特徴とする要素選択装置。

クレーム６（選択判定２：時間）
クレーム１乃至５のいずれか一つに記載の要素選択装置において、
前記移動度とは、前記表示要素の移動が継続された時間であって、
前記選択判定手段は、
前記表示要素が移動を開始してから所定閾値以上の時間経過した場合に、当該表示要素の選択を判定すること
を特徴とする要素選択装置。

クレーム７（排除：表示要素の代表点）
クレーム１乃至６のいずれか一つに記載の要素選択装置において、
前記表示要素移動手段は、
前記表示要素の代表点が前記ユーザ領域から排除されるように、当該表示要素を移動させて表示すること
を特徴とする要素選択装置。

クレーム８（表示要素の移動態様：張力）
クレーム２に記載の表示選択装置において、
前記表示要素移動手段は、
前記表示要素の代表点の元の位置と移動した位置との間に、前記移動度に応じた張力がはたらいているかのように当該表示要素の移動を制御し、
前記表示要素の前記代表点が、前記ユーザ領域の輪郭線のローカルミニマムに陥った場合には、曲線の接点に位置する場合を除いて、当該ユーザ領域を横断可能に制御すること
を特徴とする要素選択装置。

クレーム９
表示手段と撮像手段と制御部とを少なくとも備えた情報処理装置に実行させるためのプログラムであって、
前記制御部において、
撮像手段により利用者を撮像して、少なくとも利用者のユーザ領域が判別できるように前記表示手段に表示する手領域表示制御ステップと、
前記手領域表示制御ステップにて表示される前記ユーザ領域から排除されるように、選択可能な表示要素を移動させて表示する表示要素移動ステップと、
前記表示要素移動ステップにて移動された前記表示要素の移動度に基づいて、当該表示要素の選択を判定する選択判定ステップと、
を実行させることを特徴とするプログラム。

クレーム１０
表示部と撮像部と制御部とを少なくとも備えたコンピュータにおいて実行される要素選択方法であって、
前記制御部において実行される、
前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させる要素表示制御ステップと、
前記撮像部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、
前記像表示制御ステップにて表示された前記像または前記表示体から排除されるように、前記要素または前記要素画像を移動させる移動制御ステップと、
前記移動制御ステップにて移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を決定する選択決定ステップと、
を含むことを特徴とする要素選択方法。

クレーム１１
表示部と撮像部と制御部とを少なくとも備えたコンピュータに実行させるためのプログラムであって、
前記制御部において、
前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させる要素表示制御ステップと、
前記撮像部を介して撮像した人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、
前記像表示制御ステップにて表示された前記像または前記表示体から排除されるように、前記要素または前記要素画像を移動させる移動制御ステップと、
前記移動制御ステップにて移動された前記要素または前記要素画像の移動度または移動位置に基づいて、当該要素の選択を決定する選択決定ステップと、
を実行させるプログラム。

以上詳述に説明したように、本発明によれば、非接触状態で表示上の要素を選択する場合に、操作性を向上させることができる、要素選択装置、要素選択方法、および、プログラム、ならびに、記録媒体を提供することができる。

１００ 要素選択装置
１０２ 制御部
１０２ａ 要素表示制御部
１０２ｂ 表示位置変更部
１０２ｃ 像表示制御部
１０２ｄ 選択判定部
１０４ 通信制御インターフェース部
１０６ 記憶部
１０６ａ 要素ファイル
１０８ 入出力制御インターフェース部
１１２ 撮像装置
１１４ 表示装置
２００ 外部システム
３００ ネットワーク

Claims (11)

1. 手または指の動きを認識する手段と、
   認識された手または指の動きに連動する第１の画像を表示させる手段と、
   選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像から第２の画像が逃れるように移動制御する手段と、
   少なくとも認識された手または指が体の一部に接触することを条件として、当該第１の画像にかかる第２の画像に対応する要素の選択を決定する手段と、
   を備えた要素選択装置。
2. 請求項１に記載の要素選択装置において、
   手または指の接触動作は、
   開いた手を閉じる動作、または、指同士をくっつける動作であること
   を特徴とする要素選択装置。
3. 少なくとも表示部と検出部と制御部を備えた要素選択装置であって、
   前記制御部は、
   前記検出部を介して検出した、人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御手段と、
   前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を表示させ、前記像表示制御手段により表示された前記像または前記表示体から排他的に、当該要素または当該要素画像を移動させる要素表示制御手段と、
   前記検出部を介して検出した前記人物の像もしくは前記表示体と、前記要素表示制御手段により表示された前記要素もしくは前記要素画像との関係が所定の状態になった場合に、当該要素の選択を判定する選択判定手段と、
   を備えたことを特徴とする要素選択装置。
4. 請求項３に記載の要素選択装置において、
   前記要素表示制御手段は、
   前記像または前記表示体から排除されるように移動させる制御を優先的に行いつつ、前記要素または前記要素画像を、所定の位置または方向に向かって移動させること、
   を特徴とする要素選択装置。
5. 請求項３または４に記載の要素選択装置おいて、
   前記像表示制御手段は、
   前記検出部を介して撮像した人物の腕、手もしくは指の像、または、当該人物の腕、手もしくは指の動きに連動する表示体を、画面上に表示させること、
   を特徴とする要素選択装置。
6. 請求項３乃至５のいずれか一つに記載の要素選択装置において、
   前記要素表示制御手段は、
   前記像または前記表示体の、輪郭または中心線から排除されるように、前記要素または前記要素画像を移動させること、
   を特徴とする要素選択装置。
7. 請求項３乃至６のいずれか一つに記載の要素選択装置において、
   前記所定の状態になった場合とは、
   移動した距離、または、元の位置を離れてからの経過時間であること、
   を特徴とする要素選択装置。
8. 手または指の動きを認識するステップと、
   認識された手または指の動きに連動する第１の画像を表示させるステップと、
   選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像から第２の画像が逃れるように移動制御するステップと、
   少なくとも認識された手または指が体の一部に接触することを条件として、当該第１の画像にかかる第２の画像に対応する要素の選択を決定するステップと、
   を含む要素選択方法。
9. 少なくとも表示部と検出部と制御部を備えたコンピュータに実行される要素選択方法であって、
   前記制御部において実行される、
   前記検出部を介して検出した、人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、
   前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を、表示させ、前記像表示制御ステップにて表示された前記像または前記表示体から排他的に、当該要素または当該要素画像を移動させる要素表示制御ステップと、
   前記検出部を介して検出した前記人物の像もしくは前記表示体と、前記要素表示制御手段により表示された前記要素もしくは前記要素画像との関係が所定の状態になった場合に、当該要素の選択を判定する選択判定ステップと、
   を含むことを特徴とする要素選択方法。
10. 手または指の動きを認識するステップと、
    認識された手または指の動きに連動する第１の画像を表示させるステップと、
    選択可能な要素に対応する第２の画像を表示させ、移動してきた第１の画像から第２の画像が逃れるように移動制御するステップと、
    少なくとも認識された手または指が体の一部に接触することを条件として、当該第１の画像にかかる第２の画像に対応する要素の選択を決定するステップと、
    をコンピュータに実行させるためのプログラム。
11. 少なくとも表示部と検出部と制御部を備えたコンピュータに実行させるためのプログラムであって、
    前記制御部において実行される、
    前記検出部を介して検出した、人物の像、または、当該人物の動きに連動する表示体を、前記画面上に表示させる像表示制御ステップと、
    前記表示部の画面上に選択可能な要素、または、前記要素に対応付けた要素画像を、表示させ、前記像表示制御ステップにて表示された前記像または前記表示体から排他的に、当該要素または当該要素画像を移動させる要素表示制御ステップと、
    前記検出部を介して検出した前記人物の像もしくは前記表示体と、前記要素表示制御手段により表示された前記要素もしくは前記要素画像との関係が所定の状態になった場合に、当該要素の選択を判定する選択判定ステップと、
    を実行させるためのプログラム。

Images