JP2018081694A - 拡張又は仮想現実環境におけるオブジェクトの選択 - Google Patents

Abstract

【課題】拡張又は仮想現実環境におけるオブジェクトの選択方法を提供する。【解決手段】複数の実際のオブジェクト及び／又は仮想のオブジェクト８、１０、１２、１４、１６、１８、２０を含む環境において、オブジェクトを選択する方法であって、環境は、ディスプレイデバイス４を介してユーザ２に対して表示され、方法は、複数のオブジェクト８、１０、１２、１４、１６、２０の各オブジェクトに対するジェスチャパスの割り当てを含み、ジェスチャパスは、オブジェクトを選択するためにユーザ２によって実行される一連のジェスチャを含む。【選択図】図６

Description

本発明は、一般に、人間とコンピュータとの対話（interaction:相互作用）に関連する。より具体的には、本発明は、実際（現実）のオブジェクト（real objects：リアルオブジェクト）及び／又は仮想のオブジェクト（virtual objects：バーチャルオブジェクト）を含む、拡張（augmented）現実環境又は仮想現実環境（virtual reality environment）におけるオブジェクトとユーザの対話に取り組む。それ故に、本発明は、環境におけるオブジェクトの選択方法及び対応する選択デバイスに関係する。本発明は、さらに、本発明の選択方法を実行するコンピュータプログラムに関係する。

このセクションで説明されるアプローチは、遂行することができるが、以前に着想され、又は遂行されたアプローチを必ずしも必要としない。したがって、本明細書で別途指示がない限り、本セクションで説明されるアプローチは、本出願の請求項に対する先行技術ではなく、本セクションに含めることによって先行技術であると認めるものでもない。

コンピュータ、スマートフォン及びタブレットなどのマルチメディアデバイスとの一般的なユーザとの対話は、キーボードイベント、マウスイベント及びピンチ、ズーム、タッチなどのスクリーンタッチイベントのようなユーザ入力に通常依存している。

非直接的なトリガとして一般に使用される、音声及びジェスチャコマンドなどの他の対話も普及してきており、関連するコンテキストの分析が、ユーザによって予測されるアクションと連動することが通常必要である。

このコンテキストは、ユーザによって現在使用される特定のアプリケーションに一般に関連し、それに限定される可能性があり得る。この場合、考慮されるコンテキストは、例えば、ユーザによって行われる最近のクエリ又は最後に開かれたメニュなどを含む。

このコンテキストは、部屋におけるユーザの物理的位置及び部屋に存在しているアイテムの物理的位置などの周辺のユーザ環境も含み、自身の裸眼を通して又はシースルーデバイス又はヘッドマウントディスプレイ（ＨＭＤ）を使用して、ユーザはそれらを知覚する。周辺のユーザ環境における実際のオブジェクトを含むコンテキストの例は、図１に示されている。

図１の例において、ヘッドマウントディスプレイ（a head-mounted display）４を装着したユーザ２は、部屋６に位置する多数の実際のオブジェクトと対話することができる。例えば、これらのオブジェクトは、カメラ８及び新聞１０などのテーブル７上に置かれたオブジェクトを含む。

その上、変更された現実（altered reality）又は仮想現実のアプリケーションなどのいくつかのケースでは、コンテキストは、ユーザの周囲にあるものから実際のオブジェクト及び／又は仮想のオブジェクトを含むことができる。そのようなコンテキストの例は、図２に示されている。

変更された現実によって、拡張現実（複合現実（mixed reality）とも呼ばれる）のケース場合、すなわち、シーンにおいて実際のオブジェクトにいくつかの仮想オブジェクトを加えたもの、及び、ユーザによって直接又はシースルーメガネをなどのデバイスを使用して見られる、実際のオブジェクトを、例えば、サイズ、色、プレゼンス、又は位置において変更したケースの両方を意味する。

図２の例において、ヘッドマウントディスプレイ４を装着したユーザ２は、実際のオブジェクト８、１０と対話できる。ユーザ２は、部屋６に位置する仮想のオブジェクトとも対話する。例えば、仮想のオブジェクトは、地球儀１２、ゲームパッド１４、イコライザ１６、キャラクタ１８及び歯車２０を含む。これらの仮想のオブジェクトは、ヘッドマウントディスプレイ４中のアプリケーションに関連することができる。例えば、仮想オブジェクトは、例えば、ゲームを起動するためのゲームパッド１４などのいくつかの関連するアプリケーションをトリガすることを起動することができる、利用可能なアプリケーションのアバタ又はエレメントのアバタとして提供することができる。

ユーザの周辺の環境における複数の実際の及び／又は仮想のオブジェクトの場合は、自身が対話を意図するオブジェクトを具体的に示す必要がユーザにはある。オブジェクトのこの選択は、誤ったオブジェクトの選択によるユーザの意図の誤解を避けるために非常に正確である必要がある。

共通のゲームのアプローチでは、対話のそのようなトリガをすることは、一回で少数のオブジェクトに限定される。オブジェクトの数は、プレーヤによって使用されるゲームパッドのボタンの数に通常関連付けられる。いくつかのゲーム、例えば、プレイステーション３及びプレイステーション４のコンソールでのヘビーレインムーブエディション（Heavy Rain Move Edition）は、プレイシーンにおいて特定の制御デバイス及びオブジェクトの精密にチューニングされたレイアウトを使用する。

米国特許出願公開第２０１３／０３２８９２５号資料は、複合現実（mixed reality）環境における仮想オブジェクト上のユーザのフォーカスを解釈するシステムを説明する。このシステムは、１つ以上の処理ユニットに接続されたシースルー（see-through）、ヘッドマウントディスプレイデバイスを含む。ヘッドマウントディスプレイユニットと共同する処理ユニットは、ホログラフオブジェクトとしても参照される、１つ以上の仮想オブジェクトをユーザに表示することができる。ユーザは、表示された仮想オブジェクトと対話することができる。推論、表現ジェスチャ及びヒューリスティックルールを使用して、仮想オブジェクトのうちどれにユーザがフォーカスし、対話しそうであるかをシステムは決定する。その時点で、システムは、他の仮想オブジェクト以上に選択された仮想オブジェクトを強調し、バラエティ豊かな方法で選択された仮想オブジェクトと対話することができる。

米国特許出願公開第２０１３／０３２８９２５号明細書

この資料では、ユーザが対話したいオブジェクトの選択は、仮想オブジェクトに関するユーザの頭又は目又は手の位置を判定することによって、又は仮想オブジェクトに関するユーザの手の動きを判定することによって行われる。

従来技術の解決策の１つの問題は、接近して側にあるグループ化されたオブジェクトの場合、正確にオブジェクトの選択を管理することができない点である。また、現存する解決策は、ユーザの視点から、実際の及び／又は仮想のオブジェクトの部分的又は全体的なオーバーラップを正確に取り扱うことができない。

図３は、多数の仮想オブジェクトを有する現実的な拡張されたシーンの例を示す。そのようなシーンは、現存のシステムを通して容易に管理できない。

図３のシーンに存在するオブジェクトは、図２のシーンに存在するそれらと同じであり、新聞１０のすごく近くあり、新聞を部分的に覆うカメラ８がある。

例えば、それらが非常に近くにあり、又は部分的又は全体的に隠蔽されているときに、テーブル７上にあるカメラ８又は新聞１０などの、図３のシーンにおいて特定のオブジェクトを、例えば、彼／彼女の手２２によって、ある対話をいかに容易にユーザ２がトリガすることができるか？

本発明は、この状況を改善する解決策を提案する。

それに応じて、複数の実際のオブジェクト及び／又は仮想のオブジェクトを含む環境においてオブジェクトを選択する方法であって、環境は、ディスプレイデバイスを介してユーザに表示され、方法は、複数のオブジェクトの各オブジェクトに対するジェスチャパスの割り当てを含み、ジェスチャパスは、オブジェクトを選択するためにユーザによって実行される一連のジェスチャを含む方法を本発明は提供する。

それ故に、ジェスチャパスの割当ては、環境の各オブジェクトを一意的に識別することによって、ユーザの視点から他のオブジェクトによって部分的に又は全体的に覆われた（covered）場合でも、任意のオブジェクトを選択することが可能となる。

ある実施形態によると、タグは、オブジェクト上又はオブジェクトの近くにスーパーインポーズされるように各オブジェクトのジェスチャパスを表示することを、この方法は含む。

例えば、ユーザの視点から見えるオブジェクトに対して、タグは、オブジェクト上にスーパーインポーズされた半透明の覆われたテクスチャを持つ。ユーザが自身の視点から見えないオブジェクトに対しては、可視にするために、タグはオブジェクトの近くに置かれる。代替案としては、隠蔽されたオブジェクトは、半透明のテクスチャで表示され、タグはそれ自身が半可視になるように、オブジェクト上にスーパーインポーズされる。

有利に、ジェスチャパスの各ジェスチャは、ジェスチャの向きに従った向きの矢印の形で表示される。

ある実施形態によると、方法は、
・ユーザによって実行されるジェスチャを検知することと、
・依然としてオブジェクトの選択を実行されるジェスチャパスの残りのジェスチャを表示することと、
を含む。

それ故に、ユーザは、各ジェスチャの後で、依然として各オブジェクトの選択を実行される残りのジェスチャ（remaining gestures）を知る。

第１の実施形態によると、方法は、
・遂行される残りのジェスチャの第１のジェスチャに対応しないユーザの検出されたジェスチャに対するオブジェクトを検出することと、
・検出されたオブジェクトを破棄することと、
を含む。

好ましくは、検出されたオブジェクトは、ユーザによって非選択可能になる検出されたオブジェクト上で十字形の形のタグをスーパーインポーズすることによって破棄される。

第２の実施形態によると、方法は、
・遂行される残りのジェスチャの第１のジェスチャに対応しないユーザの検出されたジェスチャに対して、オブジェクトを検出することと、
・検出されたオブジェクトの残りのジェスチャを変更することであって、環境の各オブジェクトの残りのジェスチャは、環境の任意の他のオブジェクトの残りのジェスチャとは異なる、変更することと、
を含む。

それ故に、この第２の実施形態によると、ユーザが選択したいターゲットのオブジェクトのジェスチャパスに対応していないジェスチャをユーザが誤って実行した場合、対応するジェスチャパスが動的に変更されるので、このオブジェクトを選択することが依然として（still）可能である。

有利に、そのオブジェクトに割当てられたジェスチャパスが完全に遂行されたときに、そのオブジェクトは選択される。

ある実施形態によると、ジェスチャは、手のジェスチャである。

手のジェスチャの向きは、容易に検出できるので、これは有利である。

有利には、ジェスチャパスの割当ては、ユーザの快適さを考慮する。

例えば、オブジェクトの選択を遂行するためのジェスチャを判定するときには、ユーザの物理的な手の限界も考慮される。

本発明は、また、複数の実際のオブジェクト及び／又は仮想のオブジェクトを含む環境におけるオブジェクトを選択する選択デバイスを提供し、この環境は、ディスプレイを通して、ユーザに表示され、この選択デバイスは、少なくとも１つのプロセッサを含み、選択デバイスは、複数のオブジェクトの各オブジェクトにジェスチャパスを割り当てるように構成されたアサインメントモジュールを含み、ジェスチャパスは、オブジェクトを選択するためのユーザによって実行される一連のジェスチャパスを含む。

ある実施形態によれば、アサインメントモジュールは、
・遂行される残りのジェスチャの第１のジェスチャに対応しないユーザの検出されたジェスチャに対してオブジェクトを検出することと、
・検出されたオブジェクトの残りのジェスチャを変更することであって、環境の各オブジェクトの残りのジェスチャは、環境の任意の他のオブジェクトの残りのジェスチャとは異なる、変更することと、
を行うように構成される。

ある実施形態によると、選択デバイスは、環境を分析し、環境の複数のオブジェクトを検出するように構成された環境分析モジュールを含む。

有利に、環境分析モジュールは、ユーザの視点から部分的に又は全体的に隠蔽されたオブジェクトを検出するように構成される。

ある実施形態によると、選択デバイスは、ユーザによって遂行されるジェスチャを分析するように構成されるジェスチャ分析モジュールを含む。

本発明による方法は、プログラム可能な装置上でソフトウェアとして実装することができる。それは、ハードウェアだけ、又はソフトウェアだけ、又はそれらの組合せで実装することができる。

本発明は、ソフトウェアとして実装することができるので、本発明は、任意の適切な搬送媒体上のプログラム可能な装置に対して提供するコンピュータ読取可能コードとして具体化することができる。搬送媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス又は半導体メモリデバイスのような記憶媒体を含むことができる。

本発明は、それ故に、コンピュータに本発明の選択方法の実行を可能とするコンピュータ実行可能命令を含むコンピュータ読取可能プログラムを提供する。

図７の概略図は、そのようなコンピュータプログラムに対する一般的なアルゴリズムの例を解説する。

本発明は、添付図面の図において、例として解説され、制限するためではなく、図面において、参照番号は、類似する要素を指す：

既に説明したように、実際のオブジェクトのみを含む環境の概略図である。 既に説明したように、実際のオブジェクトと仮想のオブジェクトとを含む拡張現実環境の概略図である。 既に説明したように、相互に近くにある多数のオブジェクトを含む拡張現実環境の例を示す。 図３の環境における本発明の実装例を示す。 図３の環境における本発明の第１の実施形態の実装例を示す。 図３の環境における本発明の第２の実施形態の実装例を示す。 本発明の実施形態による選択方法のステップを示すフローチャートである。 本発明の実施形態による、選択デバイスを説明する概略図である。

本発明の実施形態は、図３を参照して既に説明された拡張現実環境において実装される。

図４において、この環境も表現される。この環境において、ヘッドマウントディスプレイ４を装着したユーザ２は、実際のオブジェクト８、１０と対話することができる。ユーザ２は、仮想オブジェクト１２、１４、１６、１８、２０とも対話することができる。例えば、これらの仮想オブジェクトは、例えば、ゲームなどのヘッドマウントディスプレイ４におけるアプリケーションに関連することができる。シーンとも呼ばれる、図４において表現される環境は、ヘッドマウントディスプレイ４を装着したユーザ２の視界に対応する。

有利に、ユーザ２は、彼／彼女の手２２を動かすことによってオブジェクト８、１０、１２、１４、１６、１８、２０の中のオブジェクトとの対話に関与する。手２２は、矢印（arrows）２４によって表現される複数の動きに従って動かすことができる。

以下の説明では、ジェスチャは、２Ｄ（２次元）又は３Ｄ（３次元）空間における、体の部分、好ましくは手の最小限の動きを意味し、ジェスチャは、ユーザのコマンド検出を担当する分析システムによって検出可能である。例えば、ユーザが、静止位置から４ｃｍ右に、彼／彼女の右手を僅かに動かし、次にまた静止する。これは、ジェスチャ動き単位（a gesture movement unit）を表現する。

ジェスチャパス（gesture path）によって、上述の単位ジェスチャ（unit gestures）の組合せ、すなわち、時系列（a temporal sequence）を意味する。

２Ｄ空間において、ユーザの手の現在の位置の周りで典型的に定義される、手のデプス（depth）変更は典型的には無視され、ここでデプスは時間内の手の変化を推定する観察するデバイスまでの手からの距離である。そのような観察デバイスは、例えば、カメラなどの検出するデバイスを含む。

３Ｄ空間において、観察するデバイスに関して、手のデプスの位置の変化も考慮され、追加の単位ジェスチャ（unit gestures）を許し、それは例えば、ある「押す（press）」ジェスチャ（手のジェスチャの推定を担当する観察するデバイスに向かって手を僅かに動かす）又はある「リリース（release）」ジェスチャ（そのデバイスから手を僅かに遠ざける）である。

ジェスチャの開始と終了（個々のジェスチャパス）は、動き推定処理（move estimation process）において検出される動きの欠如であり得る。ジェスチャの終わりは、継続時間のしきい値（duration time threshold）（例えば、単位ジェスチャは、最長で３秒間の長さと設定できる）として定義することもでき、又はジェスチャパスは、累積したジェスチャの単位が、既知のジェスチャ（すなわち、システムが、コマンドとして認識しようとするジェスチャ）のいずれにも属さないと直ぐに終了するように設定することもできる。

また、「手の」ジェスチャは、例えば、リモコンのようなコントローラとして使用されるオブジェクトによって作られるジェスチャを含む。

有利には、表現される実施形態において、ユーザの手２２によって実行されるジェスチャは、２Ｄジェスチャであり、すなわち、ジェスチャは、ユーザの手２２に近い平面領域にある。

別の例によると、手の生理的な限界（hand physiological limitation）又はユーザの快適さの要求（user’s comfort requirement）に関してもまだ、ユーザ２の手２２の周辺の境界領域における３Ｄジェスチャも考慮される。実際に、手２２は、その初期ジェスチャ開始点近くに留まり、例えば、ユーザの位置から遠く離れることができない。

図４に示された実施形態によると、オブジェクトの選択に従事している間、シーンの各候補のオブジェクトは、例えば、半透明に覆われたテクスチャ（semi-transparent covering texture）を使用することによって、多かれ少なかれ部分的にトリガされるように一時的にレンダリングされる。タグ（tag）は、有利に、一連の矢印の形で表現され、ユーザ２が最終的に各オブジェクトの選択を達成する必要がある残りのジェスチャを表示する、動的な情報を含む。これらの残りのジェスチャは、そのオブジェクトを選択するために手２２を使用してユーザ２が達成する必要があるジェスチャパス（gesture path）を提供する。

意図する選択目的のため、各瞬間でのジェスチャパスを構成する、残りのジェスチャは、識別できるように形成され、すなわち、シーンからの的確ないずれのオブジェクトも、図４に示されるように、同時に表現される同じ残りのジェスチャパスを持たず、シーンのそれぞれのオブジェクトは、他のオブジェクトのジェスチャパスとは異なるジェスチャパスを有する。

ジェスチャパスと各オブジェクトとの関係によって、例えば、それらが全体的に又は部分的に他のオブジェクトによって隠れたなどにより、例えそれらがユーザ２に対して見えないとしても、環境のすべてのオブジェクトは選択することができる。覆い隠されたオブジェクトの選択のこの可能性を改善するために、それに関連するジェスチャパスを表示するのに役立つ半透明のテクスチャのオブジェクトの上書きのサイズを縮小することができる。

図５に表現された第１の実施形態によると、ユーザ２が手２２で、あるオブジェクトに対して遂行できる残りのジェスチャの第１のジェスチャに対応しないジェスチャを行うとき、次に、このオブジェクトは、選択から破棄され（discarded）、すなわち、ユーザ２は、最早このオブジェクトを選択できない。

例えば、ユーザ２は、オブジェクト１８及び２０のみのジェスチャパスの第１のジェスチャに対応する、矢印２６によって表現されるジェスチャに従って、手２２を一寸動かすことによって、すべての他のオブジェクト８、１０、１２、１６は、選択から破棄される。

例えば、非選択になるオブジェクト８、１０、１２、１４、１６上に十字形（cross）の形でタグが重ね合わせることによって、この破棄は、ユーザ２に示される。オブジェクトはそのサイズを縮小するとこによって破棄されたと見せることも可能である。

希望するオブジェクトの迅速な選択（quick selection）を達成するために、第１の実施形態は有利である。しかしながら、第１の実施形態は、エラートレラント（error-tolerant）ではない。実際に、ユーザ２は、例えば、ゲームパッド１４を選択することに興味を持つが、しかしながら、残念ながらゲームパッド１４に関連する残りのジェスチャパスの第１のジェスチャに対応しない誤ったジェスチャを行うことがあり得る。

有利に、第２の実施形態によると、ユーザ２によって誤ったジェスチャが行われた後であっても、オブジェクトを選択することが依然として可能である。

図６に表現された、この第２の実施形態によると、ユーザ２は、あるオブジェクトに関して遂行できる残りのジェスチャの第１のジェスチャに対応しないジェスチャを行うとき、このオブジェクトの残りのジェスチャは変更され、一方、それは、環境の他のオブジェクトの残りのジェスチャとは依然として異なる。第２の実施形態は、ユーザ２によって遂行された任意の誤ったジェスチャからの回復を許す。

それ故に、破棄する代わりに、第１の実施形態でのように、オブジェクト８、１０、１２、１４、１６は、依然として選択可能だが、それは新しいジェスチャパスによってである。

オブジェクト８、１０、１２、１４、１６のジェスチャパスのみが変更される点に留意することは重要である。ユーザ２のジェスチャがジェスチャパスの最初のジェスチャと一致する、オブジェクト１８、２０のジェスチャパスは変更されない。これは、選択プロセスがこれらのオブジェクトに対して同じままであり、第２の実施形態による回復オプションの起動にもかかわらず、追加の選択時間にユーザが直面することはないという点で有利である。

誤ったジェスチャの場合、図７を参照して後述されるように、すべてのジェスチャの検出を再実行する必要がなく、希望するオブジェクトを依然として選択することができる。それ故に、第２の実施形態は、オブジェクトの選択の実行時間に関して最小限のコストで、誤ったジェスチャを元の状態に戻す（fixing）ことを許す。

本発明の第２の実施形態のアプローチは、各現在のしかし廃棄される可能性があるオブジェクトの各ジェスチャパスの動的なリアルタイム更新をもたらす。

有利に、ジェスチャパスの変更は、例えば、新しい赤い色又は不連続な矢印を使用するなどして、ユーザ２に視覚的に伝えることができる。

ジェスチャパスの変更があったとき、物理的な手の限界及びユーザの快適さも考慮される。それ故に、ジェスチャパスが、手２２をその初期の位置よりも遠ざけたり、又はユーザ２にとって潜在的に快適ではない領域に導いたとき、次に、再計算されたジェスチャパスは、その初期の位置の近くにユーザの手２２を戻したパス、又はより快適な位置にすら導くパスを好み、一方、すべてのオブジェクトに対する特徴的なジェスチャパスは維持する。

また、有利に、２Ｄジェスチャのみが考慮されるとき、ユーザ２は、３Ｄジェスチャを行うと、ジェスチャパスが再計算される。代替方法としては、例えば、ユーザに自身が好むジェスチャ領域を定義されるために、ユーザのジェスチャが評価される２Ｄ平面の向きは、ユーザの第１の３Ｄジェスチャから先ず推定することができる。

図７のフローチャートは、本発明の好ましい実施形態によるオブジェクトの選択の方法のステップを示す。

第１のステップ３０の間、環境レイアウトが、好ましくは３Ｄスキャニング（3D scanning）を通して、推定される。この３Ｄスキャニングは、以下のステップの１つ又は組合せを含むことができる：
・デプスを検知すること、
・カラーステレオキャプチャ、
・イメージ特徴抽出、例えば、ユーザ２の場所（location）及び／又は方向（orientation）に特有の特徴を抽出するなどの、データベース特徴抽出により達成される可能性がある。既知のオブジェクトの事前学習データベースが、ユーザ環境のレイアウトの推定を助けるために、空間的／サイズの特徴、色特徴、デプス特徴などを通して説明されるオブジェクトにおいて使用することができる。例えば、椅子、ソファ、テーブルのデータベースがこの目的に使用することができる。

例えば、推定は、ユーザ２は、住居の特定の部屋にいると特定することができ、居間に例えば、ソファ、ＴＶ、コーヒーテーブルなどの関連するオブジェクトを認識することができる。

実際のオブジェクトの検出後、仮想オブジェクトが、例えば、同じ部屋の同じ場所に、又は他の部屋などの別の場所のいずれかのシーンに追加される。

ステップ３２で、環境の１つ以上のオブジェクトの部分的な又は全体的な隠蔽（occultation）が検出される。この隠蔽は、実際のオブジェクト及び／又は仮想オブジェクトの間で部分的に又は全体的に覆うことに一般的に起因する。

次に、検出された隠蔽は、ユーザに提示されるオブジェクトの外観を変更することによって、ステップ３４で処理される。例えば、ユーザの視点から見ると、完全に隠蔽されたオブジェクトは、例えば、半透明にオーバーレイすることによって、視覚的にアレンジされ、これらのオブジェクトのそれぞれに対して何らかの表示割当てを行う。例えば、２つの他のオブジェクトを完全に隠蔽しているオブジェクトは、３つに分かれてそのオリジナルの表示が見え、２つの他のオブジェクトは、元々隠蔽されたオブジェクトエリアの内部にいくらかの表示エリアが割当てられる。ユーザインタフェースにおけるレンダリングされたディスプレイでの半透明の及び／又は着色されたサブエリアは、そのような隠蔽処理の可能性がある出力である。

ステップ３６で、各オブジェクトに割当てられたジェスチャパスは、選択可能なオブジェクトと呼ばれ、ユーザによって選択できる。このジェスチャパスは、タグとしてヘッドマウントデバイス４上に表示される。

ステップ３８で、ユーザのジェスチャの開始（start）が検出される。次に、ジェスチャの遂行が推定される。

ステップ４０で、本発明の第２の実施形態によって、１つ以上のオブジェクトの１つ以上のジェスチャパスにこのジェスチャが一致しないと検出されたとき、このジェスチャパスは、更新される。

ステップ４２で、ユーザ２は、あるオブジェクトのジェスチャパスを完了したとき、そのオブジェクトが選択される。

この選択されたオブジェクトを使用してユーザができるアクションのリストが有利にユーザに表示される。

ある実施形態によると、オーディオフィードバックは、表示の代わりに、又は表示と組み合わせて、実装される。

ユーザは、次に希望するアクションを選ぶ。このアクションは、ズームのようなユーザインタフェースアクションであり得る。これは、また、選択されたオブジェクトを使用したコンテンツ再生又は任意の他のアクションでも良い。

ステップ４４で、希望するアクションが実行される。

図８は、本発明の実施形態による選択デバイス５０を図示する。

特に、ヘッドマウントディスプレイは、十分な処理能力と検出ハードウェア性能を有するときは、選択デバイス（selection device）５０は、例えば、ヘッドマウントディスプレイ４自体である。それは、また、ＰＣ、スマートフォン、セットトップボックス、ゲートウェイ又は１つ以上のプロセッサ、ネットワーク接続性及びシーン（３Ｄ）検出能力を有する任意の他のデバイスであり得る。

選択デバイス５０は、環境分析モジュール（environment analysis module）５２を含む。この環境分析モジュール５２は、有利には、３Ｄシーンスキャナを含む。

選択デバイス５０は、また、環境分析モジュール５２によって検知される各選択可能なオブジェクトにジェスチャパスをアサインするように構成されたアサインメントモジュール（assignment module）５４を含む。アサインメントモジュール５４は、必要なときに、本発明の第２の実施形態によって、ジェスチャパスを更新するように構成される。

実施形態によると、選択デバイス５０は、ユーザ２によって遂行されたジェスチャを分析するように構成されるジェスチャ分析モジュール（gesture analysis module）５６を含む。このジェスチャ分析モジュール５６は、好ましくは、平面（plan）（２Ｄジェスチャ）における、ユーザの手２２のジェスチャを検出するように構成される。

ユーザのジェスチャの３Ｄシーンスキャニング（3D scene scanning）及び識別／トラッキング（identification / tracking）は、例えば、ヘッドマウントディスプレイ４に組み込まれた及び／又はユーザ環境で空間的に限定されたカメラからのイメージセグメンテーションなどの視覚的な手がかり上で行われ、正確なユーザの手のトラッキング及びシーンレイアウト推定を許す。

代替案としては、ユーザのジェスチャの３Ｄシーンスキャニング及び識別／トラッキングは、タイムオブフライト選択（Time-Of-Flight selection）、又は赤外線において投射されたパターンからのデプス推定、又はステレオビジョンカメラ、又はそれらの組合せによる、純粋なデプスセンシングに基づいて、ＤＥＰＴＨカメラを使用した３Ｄ特徴抽出により実行される。

本発明の好ましい実施形態として何が現在考慮されるべきかを図示して、説明したように、様々な他の変更が可能であり、本発明の真の範囲から逸脱することなく均等物と置換可能であることが、当業者によって理解される。加えて、多くの変形が、本明細書で説明される中心となる発明の概念から逸脱することなく本発明の教示に対する特定の状況に適応することができる。その上、本発明の実施形態は、上述のすべての構成要件を含む必要はないかもしれない。その結果、本発明は、説明される特定の実施形態に限定されることを意図しておらず、添付請求項の範囲に入るすべての実施形態を本発明は含む。

「備える（comprise）」、「含む（include）」、「包含する（incorporate）」、「含む（contain）」、「である（is）」及び「持つ、有する（have）」などの表現は、この説明及び関連する請求項を解釈するときに、非排他的な態様で解釈されるべきであり、すなわち、必要であるとも明示的に定義されていない他のアイテム又はコンポーネントを考慮に入れるように解釈すべきではない。単数形への言及は、また複数形への言及と解釈されるべきであり、逆もまた同様である。

本説明で開示した様々なパラメータは変更することができ、開示され、及び／又は請求される様々な実施形態は、本発明の範囲から逸脱することなく組み合わせることができることを、当業者であれば、容易に理解する。

Claims (15)

1. 複数の実際のオブジェクト及び／又は仮想のオブジェクト（８、１０、１２、１４、１６、１８、２０）を含む環境においてオブジェクトを選択する方法であって、前記環境は、ディスプレイデバイス（４）を介してユーザ（２）に表示され、
   前記方法は、前記複数のオブジェクト（８、１０、１２、１４、１６、１８、２０）の各オブジェクトに対するジェスチャパスの割り当て（３６）を含み、前記ジェスチャパスは、前記オブジェクトを選択するために前記ユーザ（２）によって実行される一連のジェスチャを含む、方法。
2. 前記オブジェクト上又は前記オブジェクトの近くにスーパーインポーズされるタグとして各オブジェクトの前記ジェスチャパスが表示されること（３６）を含む、請求項１に記載の方法。
3. 前記ジェスチャパスの各ジェスチャは、前記ジェスチャの向きに従った向きの矢印の形式で表示される、請求項１又は２に記載の方法。
4. 前記ユーザ（２）によって実行されるジェスチャを検出すること（３８）と、
   依然として前記オブジェクトを選択するために実行される前記ジェスチャパスの残っているジェスチャを表示することと、
   を含む、請求項１乃至３のいずれか１項記載の方法。
5. 遂行される残りのジェスチャの第１のジェスチャに対応しないユーザ（２）の検出されたジェスチャに対するオブジェクトを検出することと、
   前記検出されたオブジェクトを破棄することと、
   を含む、請求項１乃至４のいずれか１項記載の方法。
6. 遂行される残りのジェスチャの第１のジェスチャに対応しない前記ユーザの検出されたジェスチャに対するオブジェクトを検出することと、
   前記検出されたオブジェクトの前記残りのジェスチャを変更することであって、前記環境の各オブジェクトの前記残りのジェスチャは、前記環境の任意の他のオブジェクトの前記残りのジェスチャとは異なる、変更することと、
   を含む、請求項１乃至４のいずれか１項記載の方法。
7. 前記オブジェクトに割り当てられた前記ジェスチャパスが、完全に遂行されたとき、前記オブジェクトが選択される（４２）、請求項１乃至６のいずれか１項記載の方法。
8. 前記ジェスチャが手のジェスチャである、請求項１乃至７のいずれか１項記載の方法。
9. 前記ジェスチャパスの前記割り当ては、前記ユーザの快適さを考慮する、請求項１乃至８のいずれか１項記載の方法。
10. 複数の実際のオブジェクト及び／又は仮想のオブジェクト（８、１０、１２、１４、１６、１８、２０）を含む環境においてオブジェクトを選択する選択デバイス（５０）であって、前記環境は、ディスプレイデバイス（４）を介してユーザ（２）に表示され、前記選択デバイス（５０）は、前記複数のオブジェクト（８、１０、１２、１４、１６、１８、２０）の各オブジェクトに対するジェスチャパスの割り当て（３６）を含み、前記ジェスチャパスは、前記オブジェクトを選択するために前記ユーザ（２）によって実行される一連のジェスチャを含む、選択デバイス。
11. アサインメントモジュール（５４）が、
    遂行される残りのジェスチャの第１のジェスチャに対応しない前記ユーザの検出されたジェスチャに対するオブジェクトを検出することと、
    前記検出されたオブジェクトの前記残りのジェスチャを変更することであって、前記環境の各オブジェクトの前記残りのジェスチャは、前記環境の任意の他のオブジェクトの前記残りのジェスチャとは異なる、変更することと、
    を実行するように構成される、請求項１０に記載の選択デバイス。
12. 前記環境を分析し、前記環境の前記複数のオブジェクトを検出するように構成される環境分析モジュール（５２）を含む、請求項１０又は１１に記載の選択デバイス。
13. 前記環境分析モジュール（５２）は、前記ユーザの視点から部分的に又は全体的に隠蔽されるオブジェクトを検出するように構成される、請求項１２に記載の選択デバイス。
14. 前記ユーザ（２）によって遂行されるジェスチャを分析するように構成されるジェスチャ分析モジュール（５６）を含む、請求項１０乃至１３のいずれか１項記載の選択デバイス。
15. コンピュータに請求項１乃至９のいずれか１項記載の前記方法を実行するようにするコンピュータ実行可能命令を含む、コンピュータ読取可能プログラム。