JP2023184238A - 情報処理装置、情報処理方法、プログラム - Google Patents

Abstract

【課題】画像から対象物を選択する際において、ユーザの利便性を向上させる技術を提供する。
【解決手段】情報処理装置は、ユーザの手の位置および姿勢に基づき、複数の対象物を含む３次元空間に特定の表示アイテムを表示するように表示手段を制御する表示制御手段と、前記複数の対象物のうちのいずれかを前記特定の表示アイテムの位置に基づき制御可能な第１のモードに、動作モードを設定する設定手段と、前記３次元空間における特定の領域に前記特定の表示アイテムが含まれると判定する場合には、特定の操作部材に対する操作に応じて前記複数の対象物のうちのいずれかを選択可能な第２のモードに、前記動作モードを切り替える制御手段と、を有する。
【選択図】図１

Description

本発明は、情報処理装置、情報処理方法、プログラムに関する。

近年、仮想空間の情報をリアルタイムに現実空間に重ね合せて利用者に提示する複合現実の技術が研究されている。複合現実の技術において、描画処理装置は、現実空間が撮像された画像の全域または一部に、仮想物体（ＣＧ）を重畳することにより合成画像を生成して、その合成画像を表示する。

また、複合現実の技術において、複数のＣＧの中から、ユーザがＣＧを選択することが行われる。特許文献１では、ユーザが表示パネル上のＣＧなどの対象物（被写体）をタッチすることにより対象物を選択することができる技術が記載されている。また、特許文献１では、その後、表示パネル以外のタッチ部材にスライド操作を行うことにより、タッチした対象物から次の対象物に選択が移動するという技術が記載されている。しかし、特許文献１では、ユーザが表示パネル上で対象物をタッチする必要があるため、タッチ操作を受け付け、かつ、複数の対象物を含む画像を表示する表示パネルが必要になる。

一方で、タッチ操作を受け付ける表示パネルを用いない構成であっても対象物（ＣＧ）を選択可能にする技術として、レイと呼ばれる光線を表示して、手の動きに応じて移動するレイによって、対象物を選択する技術が存在する。

特開２０２０－２１１７４号公報

しかし、例えば、多数の対象物（ＣＧ）が互いに近接している場合には、ユーザの手の動きが安定しないために、それらの対象物のうちからいずれかをレイによって選択することは容易ではない。つまり、ユーザの利便性が低下してしまう場合があった。

そこで、本発明では、画像から対象物を選択する際において、ユーザの利便性を向上させる技術の提供を目的とする。

本発明の１つの態様は、
ユーザの手の位置および姿勢に基づき、複数の対象物を含む３次元空間に特定の表示アイテムを表示するように表示手段を制御する表示制御手段と、
前記複数の対象物のうちのいずれかを前記特定の表示アイテムの位置に基づき制御可能な第１のモードに、動作モードを設定する設定手段と、
前記３次元空間における特定の領域に前記特定の表示アイテムが含まれると判定する場合には、特定の操作部材に対する操作に応じて前記複数の対象物のうちのいずれかを選択可能な第２のモードに、前記動作モードを切り替える制御手段と、
を有することを特徴とする情報処理装置である。

本発明の１つの態様は、
ユーザの手の位置および姿勢に基づき、複数の対象物を含む３次元空間に特定の表示ア
イテムを表示するように表示手段を制御する表示制御ステップと、
前記複数の対象物のうちのいずれかを前記特定の表示アイテムの位置に基づき制御可能な第１のモードに、動作モードを設定する設定ステップと、
前記３次元空間における特定の領域に前記特定の表示アイテムが含まれると判定する場合には、特定の操作部材に対する操作に応じて前記複数の対象物のうちのいずれかを選択可能な第２のモードに、前記動作モードを切り替える制御ステップと、
を有することを特徴とする情報処理方法である。

本発明によれば、画像から対象物を選択する際において、ユーザの利便性を向上できる。

実施形態１に係る情報処理システムの構成図である。 実施形態１に係る表示装置と操作デバイスの関係を表す図である。 実施形態１に係る手とＣＧの位置関係を説明する図である。 実施形態１に係るデータリストを説明する図である。 実施形態１に係る合成画像の例を示す図である。 実施形態１に係るＣＧ制御処理のフローチャートである。 実施形態１に係るＯＴＰ選択モードの処理のフローチャートである。 実施形態１に係る合成画像の変化を表す図である。 実施形態１に係る表示装置と操作デバイスのハードウェア構成図である。

以下、添付図面を参照して、本発明を適用した好適な実施形態に従って詳細に説明する。

＜実施形態１＞
図１の構成図を参照して、実施形態１に係る情報処理システム１の構成を説明する。情報処理システム１は、複数のＣＧ（仮想物体；対象物）とともに、ユーザの手の位置および姿勢に基づきレイ（仮想的な光線）を撮像画像に合成する。また、情報処理システム１は、レイが示す位置（レイの終点位置）に基づき、撮像画像に合成したＣＧを移動させることもできる。

情報処理システム１は、表示装置１５０と操作デバイス１６０を有する。表示装置１５０は、頭部装着用の表示装置（ヘッドマウントディスプレイ；情報処理装置）である。操作デバイス１６０は、ユーザの操作を受け付けて、ユーザの操作に応じた情報を表示装置１５０に送信する。

（表示装置について）
表示装置１５０は、制御部１０１、画像記憶部１０２、レイ制御部１０３、ＣＧ制御部１０４、描画部１０５、通信部１０６、カメラ１０７、ディスプレイ１０８を有する。

制御部１０１は、表示装置１５０の各構成を制御する。制御部１０１は、表示装置１５０の動作モードを設定する設定部としても動作する。制御部１０１は、レイと複数のＣＧとの位置関係に基づき、動作モードを切り替える。表示装置１５０の動作モードは、レイをディスプレイ１０８に表示し、レイによりＣＧを制御可能な（選択可能な）動作モード（レイによって、ＣＧを選択したり、ＣＧを移動させたりする動作モード）である「レイ制御モード」を含む。また、表示装置１５０の動作モードは、操作デバイス１６０のＯＴＰ１１０に対する操作に応じてＣＧを選択可能な動作モードである「ＯＴＰ選択モード」
を含む。

画像記憶部１０２は、カメラ１０７が撮影により取得した画像（撮像画像）を格納する。

レイ制御部１０３は、レイの位置および姿勢などを制御する。レイ制御部１０３は、例えば、画像記憶部１０２に格納されている撮像画像から、ユーザの手の位置および姿勢を検出する。レイ制御部１０３は、検出した手の位置および姿勢に基づき、レイの開始位置および終了位置を決定（算出）する。

ＣＧ制御部１０４は、ＣＧ（ＣＧモデル；仮想物体）に関する情報を管理する。ＣＧ制御部１０４は、ＣＧの位置および、選択されたＣＧを示す選択枠の位置（選択されたＣＧの位置）を決定する。ＣＧ制御部１０４は、ＣＧの選択およびＣＧの移動を制御する。

描画部１０５は、撮影画像におけるＣＧ制御部１０４が決定した位置に、ＣＧおよび選択枠を描画（配置）する。また、描画部１０５は、レイの開始位置および終了位置（レイ制御部１０３が算出した開始位置および終了位置）により定まるレイを、撮像画像に描画（配置）する。これらにより、描画部１０５は、ＣＧやレイを撮像画像に合成した合成画像を生成する。描画部１０５が生成した合成画像がディスプレイ１０８に表示されるため、描画部１０５はディスプレイ１０８の表示を制御する表示制御部であると捉えることもできる。

通信部１０６は、ＯＴＰ１１０においてユーザがタッチした位置の情報（位置情報）を、操作デバイス１６０から取得する。通信部１０６は、例えば、無線通信のためのアンテナと、無線信号を処理するための構成（変復調回路または通信コントローラ）を有する。通信部１０６は、ＩＥＥＥ８０２．１５の規格（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））に従った近距離無線通信を実現する。この近距離無線通信は、例えば、変調された無線信号がアンテナから出力されること、およびアンテナが取得した無線信号が復調されることにより実現される。実施形態１では、Ｂｌｕｅｔｏｏｔｈを用いた通信には、低消費電力が実現可能なＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙのバージョン５．１が採用されている。

カメラ１０７は、表示装置１５０の筐体に固定された撮像部である。カメラ１０７は、カメラ１０７の前面を撮像することにより、３次元空間である現実空間を表す撮像画像（３次元画像）を取得する。カメラ１０７は、例えば、左目用のカメラと右目用のカメラの２台のカメラを有する。この場合には、左目用のカメラと右目用のカメラはそれぞれ、ユーザ（装着者）の両目に近い位置に配置される。

ディスプレイ１０８は、描画部１０５が生成した合成画像を表示する表示部である。ディスプレイ１０８は、ユーザの両目から見える位置であり、かつ、両目の近くに配置される。

図９Ａは、表示装置１５０を実現するためのハードウェアを示す図である。図１に示す表示装置１５０の各処理部は、ＣＰＵ９０１の制御により実現される。ＣＰＵ９０１は、ＲＯＭ９０３に格納されたプログラムを、ＲＡＭ９０２に展開して実行することにより、表示装置１５０の各処理部として動作する。ただし、いくつかの処理部（通信部１０６、カメラ１０７およびディスプレイ１０８など）は、ＣＰＵ９０１とは独立したハードウェアによって実現してもよい。

また、表示装置１５０は、カメラ１０７、ディスプレイ１０８、および情報処理装置の
３つの装置により実現されてもよい。この場合には、情報処理装置は、制御部１０１、画像記憶部１０２、レイ制御部１０３、ＣＧ制御部１０４、描画部１０５、通信部１０６を有する。そして、情報処理装置は、例えば、カメラ１０７の撮像を制御する撮像制御部と、ディスプレイ１０８の表示を制御する表示制御部をさらに有する。

（操作デバイスについて）
操作デバイス１６０は、ユーザの手に装着されるコントローラである。図１に示すように、操作デバイス１６０は、通信部１０９とＯＴＰ１１０を有する。

通信部１０９は、ＯＴＰ１１０が検出した位置情報（ＯＴＰ情報）を表示装置１５０に送信する。通信部１０９は、通信部１０６と同様の構成を有している。

ＯＴＰ１１０は、ユーザによるタッチ操作を受け付けることが可能なタッチ操作部材（オプティカル・トラックパッド）である。ＯＴＰ１１０は、ユーザのタッチした位置の情報（位置情報）を検出する。

図９Ｂは、操作デバイス１６０を実現するためのハードウェアを示す図である。図１に示す操作デバイス１６０の各処理部は、ＣＰＵ９０４の制御により実現される。ＣＰＵ９０４は、ＲＯＭ９０６に格納されたプログラムを、ＲＡＭ９０５に展開して実行することにより、操作デバイス１６０の各処理部の少なくとも一部として動作する。

図２Ａは、表示装置１５０と操作デバイス１６０とユーザの手との位置関係を示す図である。図２Ａに示すように、ユーザの頭部に表示装置１５０が装着されており、ユーザの手２０１に操作デバイス１６０が装着される。操作デバイス１６０の形状は、例えば、図２Ｂに示すようにリング状（指輪型）である。操作デバイス１６０の形状は、ユーザが操作デバイス１６０を保持しやすい（または、装着しやすい）形状であれば、任意の形状であってよい。操作デバイス１６０の表面には、ＯＴＰ１１０が配置されている。ユーザは、ＯＴＰ１１０を触れることにより、タッチ操作を行うことができる。

図３は、ユーザの手２０１とＣＧ３０１との位置関係を示している。また、図３では、ユーザの手２０１の中心位置を原点３０５として、ｘ軸方向３０２、ｙ軸方向３０３、ｚ軸方向３０４を定義している。本実施形態では、動作モードの切り替えを行うか否かを判定するために、ＣＧ３０１の中心点３０６と原点３０５との直線を結ぶ線における角度Θ（線とｘｙ平面との間の角度）および、仰角φ（線とｘｚ平面との間の角度）が算出される。角度Θおよび仰角φは、三角関数を用いて求めることができる。すなわち、ユーザの手の絶対位置のｘｙｚ座標、およびＣＧの絶対位置のｘｙｚ座標が分かれば、ユーザの手の絶対位置が原点であると考えることにより、ユーザの手（原点３０５）からの角度Θ、仰角φが算出可能である。

図４Ａおよび図４Ｂは、動作モードの切り替えを行うか否かを判定するためのデータリストである。図４Ａに示すデータリスト（ＣＧデータリスト）は、ＣＧ（ＣＧを表示するためのアプリケーションによって管理されるＣＧ）ごとに、ＣＧの絶対位置、およびユーザの手からの角度Θと仰角φとの組み合わせを示している。なお、ＣＧデータリスト（またはＣＧを表示するためのアプリケーション）は、各ＣＧの絶対位置の初期情報を予め格納している。

図４Ａは、ＣＧ１が座標（ｘ１，ｙ１，ｚ１）の絶対位置に配置されていることを示している。同様に、図４Ａは、ＣＧ２～ＣＧ９が座標（ｘ２，ｙ２，ｚ２）～（ｘ９，ｙ９，ｚ９）の絶対位置のそれぞれに配置されていることを示している。ここで、ユーザの手の絶対位置が座標（ｘ０，ｙ０，ｚ０）の位置であれば、ユーザの手の位置である原点に
対するＣＧ１の相対位置は、座標（ｘ１－ｘ０，ｙ１－ｙ０，ｚ１－ｚ０）と表現できる。

なお、図３を用いて説明したように、ＣＧ１の相対位置が把握できれば、ユーザの手の位置から見たＣＧ１の角度Θ（＝角度Θ１）および仰角φ（＝仰角φ１）が算出可能である。同様に、ＣＧ２～ＣＧ９についても、それぞれの角度Θ（＝角度Θ２～Θ９）および仰角φ（＝仰角φ２～φ９）が算出可能である。ＣＧ制御部１０４は、ユーザの手の位置または、各ＣＧが移動するたびに、ＣＧデータリストを更新する。

図４Ｂに示すデータリスト（レイデータリスト）は、レイの開始位置（絶対位置）、レイの終了位置（絶対位置）および、レイの伸びる角度Θと仰角φとの組み合わせの関係を示している。なお、レイの開始位置は、ユーザの手の絶対位置である。レイの角度ΘＬおよび仰角φＬは、レイの開始位置を原点するレイの終点位置の相対位置に基づき、図４Ａと同様に算出可能である。なお、レイの終点位置は、レイの手から伸びる先の位置であり、レイが示す位置である。レイ制御部１０３は、レイの開始位置または終了位置が移動するたびに、レイデータリストを更新する。

なお、ＣＧデータリスト（図４Ａに示すデータリスト）、およびレイデータリスト（図４Ｂに示すデータリスト）は、ＲＡＭ９０２に格納される。

図５は、ディスプレイ１０８が表示している合成画像（画面）の例を表している。ＣＧ５０１～ＣＧ５０９はそれぞれ、図４のＣＧ１～ＣＧ９に該当する。合成画像において、ユーザの手２０１からレイ５１０（光線）が伸びている。レイ５１０の位置およびレイ５１０が伸びる方向は、ユーザの手の位置および姿勢に応じて制御することができる。そして、ユーザは、レイ５１０により選択したＣＧを、ユーザの任意の位置に移動させることができる。図５において、ＣＧ５０１～ＣＧ５０９およびレイ５１０はＣＧにより表現された仮想物体であるが、これら以外の物体は、カメラ１０７により撮影された現実空間における物体である。

（ＣＧ制御処理について）
図６のフローチャートを参照して、ＣＧを制御するＣＧ制御処理を説明する。なお、図６のフローチャートの処理の開始時において、表示装置１５０と操作デバイス１６０とは、起動されている（電源がオン状態にされている）。そして、表示装置１５０と操作デバイス１６０は、互いに通信可能な状態にされている。図６のフローチャートの処理の開始時（表示装置１５０の初期起動時）には、制御部１０１は、表示装置１５０の動作モードを「レイ制御モード」に設定する。

ステップＳ６０１では、制御部１０１は、カメラ１０７を制御して、ユーザの手が写る撮像画像（ステレオカメラ画像）を取得して、撮像画像を画像記憶部１０２に格納する。

ステップＳ６０２では、制御部１０１は、レイ制御部１０３を制御して、撮像画像からユーザの手を検出して、ユーザの手の位置を取得する。具体的には、レイ制御部１０３は、撮像画像に画像認識の処理を行うことによって、ユーザの手を判定する。また、レイ制御部１０３は、ステレオ画像法（三角測量法）などの方法により、撮像画像に基づき、カメラ１０７からユーザの手までの距離を算出する。そして、レイ制御部１０３は、この距離に基づき、ユーザの手の絶対位置を得ることができる。なお、ユーザの手の位置は、距離センサなどの別のハードウェアが取得した距離の情報を用いて取得（検出）されてもよい。また、レイ制御部１０３は、ユーザの手の絶対位置の情報に基づき、ＣＧデータリスト（図４Ａのデータリスト）を更新する。

ステップＳ６０３では、制御部１０１は、レイ制御部１０３を制御して、レイの始点の絶対位置（始点位置）を決定する。実施形態１では、レイの始点位置は、ユーザの手の位置である。なお、レイの始点位置は、操作デバイス１６０の位置であってもよい。

ステップＳ６０４では、制御部１０１は、レイ制御部１０３を制御して、レイの終点の絶対位置（終点位置）を決定する。具体的には、レイ制御部１０３は、ステップＳ６０２で検出した手の情報に基づき、レイの終点位置を決定する。レイ制御部１０３は、例えば、撮像画像から得られる手の向き（またはユーザの中指などの向き）を、レイの方向として決定する。レイ制御部１０３は、レイの始点位置からレイの方向にレイの長さ分だけ離れた位置を、レイの終点位置として決定する。なお、ステップＳ６０８にて説明するが、レイの長さは、ユーザの手の動き（ジェスチャー）によって任意に変更可能であってもよい。レイの長さは、固定の長さであってもよい。

また、レイ制御部１０３は、レイの開始位置または／および終了位置を改めて算出した際には、ＲＡＭ９０２に格納されたレイデータリスト（図４Ｂのデータリスト）を更新する。

ステップＳ６０５では、制御部１０１は、ＣＧ制御部１０４を制御して、ＣＧが移動している状態であるか否かを判定する。ＣＧが移動している状態とは、「レイ制御モード」において、ユーザによりＣＧが選択された状態であり、かつ、ＣＧの選択が解除されていない状態である。ＣＧが移動している状態であると判定された場合には、ステップＳ６０６に進む。ＣＧが移動している状態でないと判定された場合には、ステップＳ６０７に進む。

ステップＳ６０６では、制御部１０１は、ＣＧ制御部１０４を制御して、ＣＧデータリストにおけるＣＧの絶対位置を更新する。具体的には、ＣＧ制御部１０４は、移動しているＣＧの絶対位置を、ステップＳ６０４で算出したレイの終点位置と同じ位置にするように、ＣＧデータリストにおけるＣＧの絶対位置を更新する。

ステップＳ６０７では、制御部１０１は、ＣＧ制御部１０４を制御して、ＣＧの密集領域（合成画像が表す３次元空間のうちのＣＧが密集する領域）内にレイが配置されている（密集領域にレイが含まれている）か否かを判定する。レイが密集領域内に配置されていると判定された場合には、「ＯＴＰ選択モード」の処理を実行するステップＳ６２０に進む。レイが密集領域内に配置されていないと判定された場合には、ステップＳ６０８に進む。

ここで、ＣＧ制御部１０４は、ＣＧデータリストおよびレイデータリストに基づき、レイが密集領域内に配置されているか否かを判定する。例えば、ＣＧ制御部１０４は、レイの向き（レイが伸びる方向）との差分が第１の閾値以下である（または第１の閾値よりも小さい）向きの範囲に含まれるＣＧの数に応じて、レイが密集領域内に配置されているか否かを判定する。

レイが密集領域内に配置されているか否かは、例えば、図４に示すレイの向き（角度ΘＬ、仰角φＬ）との差分が第１の閾値（例えば、角度θについては５°、仰角φについては２°）以下である向きの範囲に特定の数のＣＧが含まれているか否かで判定できる。ＣＧ制御部１０４は、例えば、レイの角度ΘＬが６０°であり、レイの仰角φＬが１０°であるとした場合に、角度Θが５５°～６５°であり、かつ、仰角φが８°～１２°である範囲内に、特定の数より多いＣＧが含まれているか否かを判定する。そして、ＣＧ制御部１０４は、この範囲内に特定の数より多いＣＧが含まれている場合に、レイが密集領域内に配置されていると判定する。これによれば、複数のＣＧが、３次元空間において互いに
離れている場合であっても、ディスプレイ１０８の画面上において互いに近接している場合には、その複数のＣＧがレイの伸びる方向の近くに存在すれば、レイが密集領域内に配置されていると判定できる。つまり、ディスプレイ１０８の画面において複数のＣＧが近接するために、レイによりＣＧを選択することが容易ではないとユーザが感じる場合には、動作モードが「ＯＴＰ選択モード」に切り替わる。

また、ＣＧ制御部１０４は、レイの終点位置と各ＣＧの位置に基づき、レイの終点位置から第２の閾値（例えば、３０ｃｍ）以内の範囲に、特定の数より多くのＣＧが含まれていると判定した場合に、レイが密集領域内に配置されていると判定してもよい。つまり、密集領域とは、ＣＧ同士の距離が閾値以内である複数のＣＧを含む領域であってもよい。

ステップＳ６０８では、制御部１０１は、ＣＧ制御部１０４を制御して、ユーザの手のジェスチャーに応じてＣＧを制御する。具体的には、ＣＧ制御部１０４は、撮像画像に基づきユーザの手の動きを監視して、ユーザの手のジェスチャーに応じてＣＧを制御する。なお、ここで用いる撮像画像は、１枚の静止画であってもよいが、現在の時刻の所定時間前の時刻から現在の時刻までの映像または時間的に連続した複数枚の静止画であってもよい。ＣＧ制御部１０４は、例えば、撮像画像を監視して、ＣＧを選択するようなジェスチャー（例えば、人差し指で空中を軽くタップするようなジェスチャー）をユーザが行ったと判定した場合に、レイの終点位置に配置されたＣＧを選択する。同様に、ＣＧ制御部１０４は、ＣＧを置くようなジェスチャー（例えば、全ての指を伸ばすジェスチャー）をユーザが行ったと判定した場合に、ＣＧの選択を解除する（ＣＧの移動を終了させる）。

また、ステップＳ６０８では、制御部１０１は、レイ制御部１０３を制御して、ユーザの手のジェスチャーに応じてレイを制御してもよい。つまり、レイ制御部１０３は、撮像画像に基づきユーザの手の動きを監視して、ユーザの手のジェスチャーに応じてレイを制御してもよい。例えば、レイ制御部１０３は、ユーザがレイを延ばすようなジェスチャー（例えば、人差し指と親指を接触した状態から、特定の速度以上で人差し指と親指を離すジェスチャー）をした場合に、レイの長さを大きくする。一方で、レイ制御部１０３は、レイを縮ませるようなジェスチャー（例えば、人指し指と親指が状態から、特定の速度以上で人指し指と親指を近づけるジェスチャー）をした場合には、レイの長さを小さくする。なお、レイ制御部１０３は、レイの長さを変化させた場合には、ステップＳ６０４と同様に、レイの終点位置を改めて決定して、図４Ｂのデータリストを更新してもよい。

ステップＳ６０９では、制御部１０１は、描画部１０５を制御して、撮像画像（３次元空間を表す画像）にＣＧを描画（配置）する。具体的には、描画部１０５は、ＣＧデータリスト（図４Ａのデータリスト）に示す配置に従って、ＣＧを描画する（ＣＧの描画を更新する）。

ステップＳ６１０では、制御部１０１は、描画部１０５を制御して、撮像画像にレイを描画（配置）する。具体的には、描画部１０５は、レイデータリスト（図４Ｂのデータリスト）が示す配置に従って、レイを描画する（レイの描画を更新する）。

ステップＳ６１１では、制御部１０１は、ＣＧおよびレイが描画された撮像画像を、合成画像としてディスプレイ１０８に表示する。

ステップＳ６１２では、制御部１０１は、「レイ制御モード」を終了するか否かを判定する。「レイ制御モード」を終了すると判定された場合には、本フローチャートの処理が終了する。「レイ制御モード」を終了しないと判定された場合には、ステップＳ６０１に進む。制御部１０１は、例えば、ユーザから「レイ制御モード」を終了する指示を受けた場合に、「レイ制御モード」を終了すると判定する。

（ＯＴＰ選択モードにおける処理）
図７は、「ＯＴＰ選択モード」の処理（ステップＳ６２０の処理）の詳細を示すフローチャートである。ステップＳ６２０が開始されると、制御部１０１は、表示装置１５０の動作モードを「ＯＴＰ選択モード」に切り替える。

ステップＳ７０１では、制御部１０１は、描画部１０５を制御して、合成画像においてレイが描画（表示）されている場合には、合成画像におけるレイを非表示にする（レイを表示しないようにする）。これにより、ＯＴＰ１１０に対するタッチ操作によるＣＧの選択をレイの表示が阻害することを防止することができる。

ステップＳ７０２では、制御部１０１は、ＣＧ制御部１０４を制御して、密集領域に含まれる複数のＣＧの中から、１つのＣＧを選択する。例えば、前回の「ＯＴＰ選択モード」においてユーザに選択されたＣＧの位置（移動前の位置）が記憶されていれば、ＣＧ制御部１０４は、そのＣＧの移動前の位置に隣接するＣＧ（次の位置にあるＣＧ）を選択する。これによれば、例えば、密集しているＣＧのうちの複数のＣＧをユーザが移動したい場合などに、１つのＣＧを移動させた後に、直ぐに隣接するＣＧを選択できるので、効率よく複数のＣＧの移動を実現することができる。また、ＣＧ制御部１０４は、「レイ制御モード」の終了時（「レイ制御モード」から「ＯＴＰ選択モード」への切り替え直前）におけるレイが示す位置（終点位置）に最も近いＣＧを選択してもよい。また、ステップＳ７０２では、制御部１０１は、描画部１０５を制御して、ＣＧ制御部１０４が選択したＣＧを示す選択枠を合成画像に描画する（図８Ｃ参照）。

ステップＳ７０３では、制御部１０１は、通信部１０６を制御して、ＯＴＰ１１０におけるタッチの位置情報（ＯＴＰ情報）を、通信部１０９を介して操作デバイス１６０から取得する。なお、通信部１０６がタッチの位置情報を操作デバイス１６０から取得することは、動作モードが「レイ制御モード」である場合にも行われてもよい。一方で、通信部１０６がタッチの位置情報を操作デバイス１６０から取得することは、動作モードが「レイ制御モード」である場合には行われずに、動作モードが「ＯＴＰ選択モード」である場合にのみ行われてもよい。これによれば、ユーザがレイによってＣＧの選択または移動をしたい場合に、タッチの位置情報に基づきＣＧの制御がされることを防ぐことができる。つまり、表示装置１５０におけるユーザの利便性が向上する。

ステップＳ７０４では、制御部１０１は、ＣＧ制御部１０４を制御して、選択しているＣＧを切り替えるか否かを判定する。選択しているＣＧを切り替えると判定された場合には、ステップＳ７０５に進む。選択しているＣＧを切り替えないと判定された場合には、ステップＳ７０６に進む。

ＣＧ制御部１０４は、例えば、ステップＳ７０３にて取得したユーザのタッチした位置情報を、時系列順に蓄積する。そして、ＣＧ制御部１０４は、蓄積した位置情報の時系列変化に基づき、ＯＴＰ１１０に接触したユーザの指がスライドしている（ユーザによりスライド操作がされている）と判定した場合には、選択しているＣＧを切り替えると判定する。

ステップＳ７０５では、制御部１０１は、ＣＧ制御部１０４を制御して、選択しているＣＧを切り替える。具体的には、ＣＧ制御部１０４は、ＯＴＰ１１０に接触したユーザの指がスライドしている方向（操作方向）を判定する。ＣＧ制御部１０４は、現在選択しているＣＧから操作方向に最も近いＣＧを、新たに選択する。また、ステップＳ７０５では、制御部１０１は、描画部１０５を制御して、選択したＣＧを示す選択枠を描画する（選択枠を移動させる）。

ステップＳ７０６では、制御部１０１は、「ＯＴＰ選択モード」を終了するか否かを判定する。「ＯＴＰ選択モード」を終了すると判定された場合には、制御部１０１が動作モードを「ＯＴＰ選択モード」から「レイ制御モード」に切り替えて、その後、ステップＳ６０１に進む。「ＯＴＰ選択モード」を終了しないと判定された場合には、ステップＳ７０３に進む。

制御部１０１は、例えば、ステップＳ７０４と同様にユーザのタッチした位置情報の蓄積情報に基づき、ユーザがタップしているか否かを判定する。制御部１０１は、ユーザがタップしていると判定した場合には、ＣＧの選択が確定されたと判定するとともに、「ＯＴＰ選択モード」を終了すると判定する。なお、制御部１０１は、ユーザにより「ＯＴＰ選択モード」のキャンセルの指示を受け付けた（いずれのＣＧも選択しないことを決定した）場合にも、「ＯＴＰ選択モード」を終了すると判定してもよい。

図８Ａ～図８Ｅは、表示装置１５０の動作モードが「レイ制御モード」から「ＯＴＰ選択モード」へ切り替わり、その後、「レイ制御モード」に戻る際の合成画像（ディスプレイ１０８の画面）の例を示している。図８Ａ～図８Ｅは、順に、時系列に従った合成画像の変化を表している。

図８Ａは、「レイ制御モード」において、ユーザの手からレイ８０１が出ている状態での合成画像を示す。

図８Ｂは、レイ８０１がＣＧの密集領域８０２に移動している最中の状態での合成画像を示す。なお、図８Ｂにおける点線枠は、密集領域８０２を表すために記載しており、実際には合成画像に表示されていなくてもよい。図８Ｃ～図８Ｅにおける点線枠も、図８Ｂにおける点枠線と同様である。

図８Ｃは、動作モードが「ＯＴＰ選択モード」に切り替わった時点における合成画像を示す。レイが密集領域８０２に移動すると、動作モードが「レイ制御モード」から「ＯＴＰ選択モード」に切り替わる。密集領域８０２に含まれる複数のＣＧのうち、選択されている１つのＣＧに選択枠８０３が表示されている。このとき、レイ８０１は非表示にされる。このため、ユーザの手は、図８Ｃに示す位置にある必要はなく、自由な位置において操作デバイス１６０のＯＴＰ１１０を操作していてもよい。

図８Ｄは、「ＯＴＰ選択モード」においてユーザがＯＴＰ１１０を操作して、選択枠８０３の位置（選択しているＣＧ）を右のＣＧに（図８Ｃにおける選択枠８０３が示すＣＧの１つ右のＣＧに）移動させた状態での合成画像を示す。

図８Ｅは、ユーザがＯＴＰ１１０を操作してＣＧを選択した後に、レイ８０１を用いてＣＧを移動させている状態である。なお、ユーザによるＣＧの選択が確定すると、「ＯＴＰ選択モード」から「レイ制御モード」に遷移する。

実施形態１によれば、表示装置１５０は、合成画像が表す３次元空間における密集領域にレイが配置された場合には、ＣＧの選択をＯＴＰに対する操作により行われるようにする。ＯＴＰを用いることによれば、手の動きに応じて動作するレイよりも、正確な指示が容易に可能になるため、ＣＧ（対象物）を正確かつ容易に選択することが可能になる。このため、レイが密集領域に配置されている場合において、ユーザの利便性が向上する。

一方で、密集領域にレイが配置されていない場合には、レイによるＣＧの移動および選択が可能である。これによれば、例えば、レイは合成画像（ディスプレイ１０８）の全て
の範囲を自由かつ迅速に動くことが可能であるため、ＯＴＰに対する操作によってＣＧを移動させる場合よりも、早い時間でＣＧを長い距離移動させることが可能になる。また、レイによってＣＧを選択することによれば、或るＣＧを選択した後に、そのＣＧから離れた位置にある他のＣＧを選択することが容易に実現できる。

＜変形例１＞
実施形態１では、情報処理システム１は、ユーザの手が写る撮像画像（ステレオ画像）から検出されたユーザの手の位置および姿勢に応じてレイを制御する。一方で、情報処理システム１は、手に保持（装着）された操作デバイス１６０の位置および姿勢を手の位置および姿勢として用いて、レイを制御してもよい。

この場合には、例えば、情報処理システム１は、操作デバイス１６０が写る撮像画像または／および操作デバイス１６０が有する慣性センサ（ＩＭＵ；加速度センサおよび角速度センサ）の測定値から、操作デバイス１６０の位置および姿勢を検出する。そして、情報処理システム１は、検出した位置および姿勢に基づき、図４Ａおよび図４Ｂに示すデータリストを更新することや、レイの開始位置、終了位置を判定することを行う。

＜変形例２＞
なお、密集領域にレイが配置されている場合だけではなく、ユーザが設定した領域にレイ（レイの終点位置）が配置されている場合に、動作モードが「ＯＴＰ選択モード」に切り替わってもよい。また、撮像画像のうちユーザから見てＣＧと背景とが識別しにくい領域（例えば色が類似する領域）にレイ（レイの終点位置）が配置されている場合にも、動作モードが「ＯＴＰ選択モード」に切り替わってもよい。

さらには、レイの代わりに、レイの終了位置に相当する位置のみに表示アイテムを表示するようなポインタ（表示アイテム）を用いてもよい。ＯＴＰの代わりに、ダイヤルまたは４方向キーなどの操作部材（ユーザと操作部材との接触を伴うユーザの操作により方向を指示可能な操作部材）を用いてもよい。

また、上記では、複数のＣＧ（仮想物体）から１つのＣＧを選択する例を説明した。しかし、上記の実施形態および変形例は、ＣＧではなく、現実空間に存在する複数の対象物（物体または人）から１つの対象物を選択する例にも適用可能である。

また、上記において、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」は、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」と読み替えてもよい。逆に、「ＡがＢよりも大きい（高い）場合にはステップＳ１に進み、ＡがＢ以下の場合にはステップＳ２に進む」は、「ＡがＢ以上の場合にはステップＳ１に進み、ＡがＢよりも小さい（低い）場合にはステップＳ２に進む」と読み替えてもよい。このため、矛盾が生じない限り、「Ａ以上」という表現は、「ＡまたはＡよりも大きい（高い；長い；多い）」と置き換えてもよいし、「Ａよりも大きい（高い；長い；多い）」と読み替えてよく、置き換えてもよい。一方で、「Ａ以下」という表現は、「ＡまたはＡよりも小さい（低い；短い；少ない）」と置き換えてもよいし、「Ａよりも小さい（低い；短い；少ない）」と置き換えても読み替えてもよい。そして、「Ａよりも大きい（高い；長い；多い）」は、「Ａ以上」と読み替えてもよく、「Ａよりも小さい（低い；短い；少ない）」は「Ａ以下」と読み替えてもよい。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

なお、上記の各実施形態（各変形例）の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上記の実施形態の開示は、以下の構成、方法、およびプログラムを含む。
［構成１］
ユーザの手の位置および姿勢に基づき、複数の対象物を含む３次元空間に特定の表示アイテムを表示するように表示手段を制御する表示制御手段と、
前記複数の対象物のうちのいずれかを前記特定の表示アイテムの位置に基づき制御可能な第１のモードに、動作モードを設定する設定手段と、
前記３次元空間における特定の領域に前記特定の表示アイテムが含まれると判定する場合には、特定の操作部材に対する操作に応じて前記複数の対象物のうちのいずれかを選択可能な第２のモードに、前記動作モードを切り替える制御手段と、
を有することを特徴とする情報処理装置。
［構成２］
前記制御手段は、前記特定の表示アイテムの向きとの差分が第１の閾値より小さい向きの範囲に特定の数より多くの対象物が存在する場合には、前記特定の領域に前記特定の表示アイテムが含まれると判定する、
ことを特徴とする構成１に記載の情報処理装置。
［構成３］
前記制御手段は、前記特定の表示アイテムが示す位置との距離が第２の閾値より短い範囲に特定の数より多くの対象物が存在する場合には、前記特定の領域に前記特定の表示アイテムが含まれると判定する、
ことを特徴とする構成１に記載の情報処理装置。
［構成４］
前記制御手段は、前記第２のモードにおいて、１）前回の前記第２のモードにおいて選択した対象物の位置に隣接していた対象物を選択し、２）前記特定の操作部材に対する操作に応じて選択する対象物を切り替える、
ことを特徴とする構成１から３のいずれか１項に記載の情報処理装置。
［構成５］
前記制御手段は、前記第２のモードにおいて、１）前記動作モードが前記第１のモードから前記第２のモードに切り替わる直前において前記特定の表示アイテムが示す位置に最も近い対象物を選択し、２）前記特定の操作部材に対する操作に応じて選択する対象物を切り替える、
ことを特徴とする構成１から３のいずれか１項に記載の情報処理装置。
［構成６］
前記第２のモードにおいて前記特定の操作部材に対する操作の情報を取得する取得手段
をさらに有し、
前記取得手段は、前記第１のモードにおいて前記特定の操作部材に対する操作の情報を取得しない、
ことを特徴とする構成１から５のいずれか１項に記載の情報処理装置。
［構成７］
前記制御手段は、前記第２のモードにおいて前記複数の対象物のうちいずれかを選択したことを確定すると、前記動作モードを前記第１のモードに切り替える、
ことを特徴とする構成１から６のいずれか１項に記載の情報処理装置。
［構成８］
前記制御手段は、前記第２のモードにおいて前記複数の対象物のうちいずれかを選択しないことを決定すると、前記動作モードを前記第１のモードに切り替える、
ことを特徴とする構成１から７のいずれか１項に記載の情報処理装置。
［構成９］
前記表示制御手段は、前記第２のモードでは、前記特定の表示アイテムを表示しないように制御する、
ことを特徴とする構成１から８のいずれか１項に記載の情報処理装置。
［構成１０］
前記特定の表示アイテムは、前記ユーザの手から伸びる仮想的な光線であり、前記手から光線が伸びる先の位置を示す、
ことを特徴とする構成１から９のいずれか１項に記載の情報処理装置。
［構成１１］
前記第１のモードは、前記ユーザの手が写る撮像画像から検出された前記手の動きに基づき前記特定の表示アイテムおよび前記複数の対象物を制御可能な動作モードである、
ことを特徴とする構成１から１０のいずれか１項に記載の情報処理装置。
［構成１２］
前記特定の操作部材を含む操作デバイスが、前記ユーザの手に装着されており、
前記ユーザの手の位置および姿勢は、前記操作デバイスの位置および姿勢である、
ことを特徴とする構成１から１１のいずれか１項に記載の情報処理装置。
［構成１３］
前記情報処理装置の起動時の動作モードは、前記第１のモードである、
ことを特徴とする構成１から１２のいずれか１項に記載の情報処理装置。
［方法］
ユーザの手の位置および姿勢に基づき、複数の対象物を含む３次元空間に特定の表示アイテムを表示するように表示手段を制御する表示制御ステップと、
前記複数の対象物のうちのいずれかを前記特定の表示アイテムの位置に基づき制御可能な第１のモードに、動作モードを設定する設定ステップと、
前記３次元空間における特定の領域に前記特定の表示アイテムが含まれると判定する場合には、特定の操作部材に対する操作に応じて前記複数の対象物のうちのいずれかを選択可能な第２のモードに、前記動作モードを切り替える制御ステップと、
を有することを特徴とする情報処理方法。
［プログラム］
コンピュータを、構成１から１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

１５０：表示装置（情報処理装置）、１０１：制御部（設定部）、
１０５：描画部（表示制御部）、１０８：ディスプレイ（表示部）

Claims (15)

1. ユーザの手の位置および姿勢に基づき、複数の対象物を含む３次元空間に特定の表示アイテムを表示するように表示手段を制御する表示制御手段と、
   前記複数の対象物のうちのいずれかを前記特定の表示アイテムの位置に基づき制御可能な第１のモードに、動作モードを設定する設定手段と、
   前記３次元空間における特定の領域に前記特定の表示アイテムが含まれると判定する場合には、特定の操作部材に対する操作に応じて前記複数の対象物のうちのいずれかを選択可能な第２のモードに、前記動作モードを切り替える制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記制御手段は、前記特定の表示アイテムの向きとの差分が第１の閾値より小さい向きの範囲に特定の数より多くの対象物が存在する場合には、前記特定の領域に前記特定の表示アイテムが含まれると判定する、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記制御手段は、前記特定の表示アイテムが示す位置との距離が第２の閾値より短い範囲に特定の数より多くの対象物が存在する場合には、前記特定の領域に前記特定の表示アイテムが含まれると判定する、
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記制御手段は、前記第２のモードにおいて、１）前回の前記第２のモードにおいて選択した対象物の位置に隣接していた対象物を選択し、２）前記特定の操作部材に対する操作に応じて選択する対象物を切り替える、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記制御手段は、前記第２のモードにおいて、１）前記動作モードが前記第１のモードから前記第２のモードに切り替わる直前において前記特定の表示アイテムが示す位置に最も近い対象物を選択し、２）前記特定の操作部材に対する操作に応じて選択する対象物を切り替える、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
6. 前記第２のモードにおいて前記特定の操作部材に対する操作の情報を取得する取得手段をさらに有し、
   前記取得手段は、前記第１のモードにおいて前記特定の操作部材に対する操作の情報を取得しない、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
7. 前記制御手段は、前記第２のモードにおいて前記複数の対象物のうちいずれかを選択したことを確定すると、前記動作モードを前記第１のモードに切り替える、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
8. 前記制御手段は、前記第２のモードにおいて前記複数の対象物のうちいずれかを選択しないことを決定すると、前記動作モードを前記第１のモードに切り替える、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
9. 前記表示制御手段は、前記第２のモードでは、前記特定の表示アイテムを表示しないように制御する、
   ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
10. 前記特定の表示アイテムは、前記ユーザの手から伸びる仮想的な光線であり、前記手から前記光線が伸びる先の位置を示す、
    ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
11. 前記第１のモードは、前記ユーザの手が写る撮像画像から検出された前記手の動きに基づき前記特定の表示アイテムおよび前記複数の対象物を制御可能な動作モードである、
    ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
12. 前記特定の操作部材を含む操作デバイスが、前記ユーザの手に装着されており、
    前記ユーザの手の位置および姿勢は、前記操作デバイスの位置および姿勢である、
    ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
13. 前記情報処理装置の起動時の動作モードは、前記第１のモードである、
    ことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
14. ユーザの手の位置および姿勢に基づき、複数の対象物を含む３次元空間に特定の表示アイテムを表示するように表示手段を制御する表示制御ステップと、
    前記複数の対象物のうちのいずれかを前記特定の表示アイテムの位置に基づき制御可能な第１のモードに、動作モードを設定する設定ステップと、
    前記３次元空間における特定の領域に前記特定の表示アイテムが含まれると判定する場合には、特定の操作部材に対する操作に応じて前記複数の対象物のうちのいずれかを選択可能な第２のモードに、前記動作モードを切り替える制御ステップと、
    を有することを特徴とする情報処理方法。
15. コンピュータを、請求項１から３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images