JP2022547775A - 仮想環境中のプロジェクションキャスティング - Google Patents

Abstract

本技術は、人工現実システムに関する。そのようなシステムは、物体インタラクションを特定するようにユーザが生成し得るプロジェクションを提供する。たとえば、ユーザは、ユーザの手の届く範囲の外側で物体とインタラクトすることを望むとき、ユーザは、プロジェクションを使用して選択する、移動する、または他の方法で離れている物体と相互作用することができる。本技術は物体間で識別するおよび一義化するための物体選択技法も含み、ユーザの近くにあるとともに離れている物体をユーザが選択することを可能にする。本技術のもっとさらなる態様は、物体と相互作用するために様々な両手を用いる（ツーハンデッド）ジェスチャを解釈するために技法を含む。本技術は、たとえば、異なる入力モダリティまたはユーザジェスチャの解釈を与えるために、グローバルモードとローカルモードを見分けるためのモデルをさらに含む。【選択図】図１１Ａ

Description

関連出願の相互参照
本出願は、「ＰＲＯＪＥＣＴＩＯＮ ＣＡＳＴＩＮＧ ＩＮ ＶＩＲＴＵＡＬ ＥＮＶＩＲＯＮＭＥＮＴＳ」という名称の弁護士整理番号１３４８７５－８００２．ＵＳ０２を有する２０１９年９月２５日に出願した米国特許出願第１６／５８３，０６９号、「ＧＬＯＢＡＬ ＡＮＤ ＬＯＣＡＬ ＭＯＤＥ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴ ＩＮＴＥＲＡＣＴＩＯＮＳ」という名称の弁護士整理番号１３４８７５－８００３－ＵＳ０１を有する２０１９年９月２０日に出願した米国特許出願第１６／５７８，２３６号、「ＴＨＲＥＥ－ＳＴＡＴＥ ＧＥＳＴＵＲＥ ＶＩＲＴＵＡＬ ＣＯＮＴＲＯＬＳ」という名称の弁護士整理番号１３４８７５－８００４－ＵＳ０１を有する２０１９年９月２０日に出願した米国特許出願第１６／５７８，２４０号、「ＰＲＯＧＲＥＳＳＩＶＥ ＤＩＳＰＬＡＹ ＯＦ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ」という名称の弁護士整理番号１３４８７５－８００５－ＵＳ０１を有する２０１９年９月２０日に出願した米国特許出願第１６／５７８，２５１号、および「ＶＩＲＴＵＡＬ ＩＮＴＥＲＡＣＴＩＯＮＳ ＡＴ Ａ ＤＩＳＴＡＮＣＥ」という名称の弁護士整理番号１３４８７５－８００６－ＵＳ０１の２０１９年９月２０日に出願した米国特許出願第１６／５７８，２６０号に関連しており、これらの全ては、全体として参照により本明細書に組み込まれる。

本開示は、人工現実環境中の物体インタラクションに向けられている。

人工現実環境において、ユーザが見たりインタラクトしたりする物体の部分または全部は、「仮想物体」であり、すなわち、環境中に現れるコンピューティングシステムによって生成される物体の表示である。人工現実環境中の仮想物体は、ヘッドマウントディスプレイ、モバイルデバイス、プロジェクションシステム、または別のコンピューティングシステムによってユーザに提示することができる。しばしば、ユーザは、コントローラおよび／またはジェスチャを使用して仮想物体とインタラクトすることができる。たとえば、仮想物体とのユーザ「インタラクション」は、選択すること、移動すること、回転すること、サイズ変更すること、コントロール部を作動させること、色もしくは肌を変更すること、現実物体間または仮想物体間のインタラクションを定めること、仮想物体に作用するように仮想力を設定すること、またはユーザが想像することができる物体への任意の他の作用もしくは変更を含むことができる。いくつかのシステムでは、ユーザは、人工現実環境を制御するコンピュータシステムから独立して存在する「現実物体」とインタラクトすることもできる。たとえば、ユーザは、現実物体を選択し、仮想オーバーレイを追加して、物体の色、または物体がユーザに提示されるいくつかの他のやり方を変更し、それに他の仮想物体に影響を及ぼさせるなどすることができる。本明細書中で使用されるとき、別段特定されない限り、「物体」は、現実物体または仮想物体であり得る。

本発明によれば、人工現実環境中の物体とインタラクトする方法であって、ユーザの手の部分を追跡し、ユーザの手の追跡された部分に基づいて制御点を設定することと、ユーザの身体上の点を追跡し、ユーザの身体上の追跡された点に基づいて原点を設定することと、制御点および原点を通過する線を中心としたプロジェクション向きを決定することと、プロジェクション向きに沿ってユーザから外向きに制御点から光線プロジェクションを投影することと、光線プロジェクションの１つまたは複数の位置に基づいて１つまたは複数の物体との関連でアクションを行うこととを含む、人工現実環境中の物体とインタラクトする方法が提供される。

好ましくは、ユーザの身体上の点は、ユーザの身体上の第１の点であり、方法は、１つまたは複数のオリジン遷移ファクタを識別することと、１つまたは複数のオリジン遷移ファクタに基づいて、原点がユーザの身体上の第２の追跡された点へ移動すべきことを決定すること、ユーザの身体上の第１の点からユーザの身体上の第２の点へ原点を移動させることとをさらに含む。

好都合には、原点を移動させることは、ユーザの身体上の第１の点をユーザの身体上の第２の点に接続する経路との関連で設定速度で原点を移動させることを含む。

好ましくは、ユーザの身体上の第１の点は、ユーザの目または肩であり、ユーザの身体上の第２の点は、ユーザの臀部であり、経路は、直線によってＡ）ユーザの目またはユーザの肩をＢ）ユーザの臀部に接続する。

好都合には、１つまたは複数のオリジン遷移ファクタは、追跡されたユーザ凝視方向を含む。

好ましくは、原点が移動すべきとの決定は、ユーザ凝視方向に関連した角度を決定することと、角度が閾値よりも上にあることを決定することと、それに応じて、ユーザの身体上の第２の点がユーザの身体上の第１の点よりも下にある高インタラクションモードを選択することとを含む。

好都合には、１つまたは複数のオリジン遷移ファクタは、制御点および原点を通過する線の特定の平面に対しての角度の測定値を含み、原点が移動すべきことを決定することは、角度が閾値よりも下にあることを決定することと、それに応じて、ユーザの身体上の第２の点がユーザの身体上の第１の点よりも上にある低インタラクションモードを選択することとを含む。

好ましくは、制御点との関連で追跡されたユーザの手の部分は、ユーザの指先である。

好都合には、制御点との関連で追跡されたユーザの手の部分は、ユーザの手首である。

好ましくは、ユーザの手の追跡された部分に基づいて制御点を設定することは、ユーザの手の部分から特定のオフセットにある位置で制御点を選択することを含む。

好都合には、原点との関連で追跡されたユーザの身体上の点は、ユーザの利き目である。

好ましくは、原点との関連で追跡されたユーザの身体上の点は、ユーザの肩である。

好都合には、原点との関連で追跡されたユーザの身体上の点は、ユーザの臀部である。

好ましくは、１つまたは複数の物体との関連でアクションを行うことは、１つまたは複数の物体が選択されることを含む。

本発明のさらなる態様によれば、コンピューティングシステムによって実行されるときに、コンピューティングシステムに、人工現実環境中の物体とインタラクトする動作を行わせる命令を記憶するコンピュータ可読記憶媒体であって、動作は、ユーザの手の部分の位置に基づいて制御点を設定することと、ユーザの身体上の点に基づいて原点を設定することと、制御点および原点を通過する線を中心としたプロジェクション向きを決定することと、プロジェクションの１つまたは複数の位置に基づいて１つまたは複数の物体との関連でアクションを行うこととを含む、命令を記憶するコンピュータ可読記憶媒体が提供される。

好ましくは、ユーザの身体上の点は、ユーザの身体上の第１の点であり、動作は、１つまたは複数のオリジン遷移ファクタを識別することと、１つまたは複数のオリジン遷移ファクタに基づいて、原点がユーザの身体上の第１の点およびユーザの身体上の第２の点を接続する経路に沿ってユーザの身体上の第２の点へ移動すべきことを決定することと、設定速度で経路に沿って原点を移動させることとをさらに含み、その場合には、適宜、１つまたは複数のオリジン遷移ファクタは、追跡されたユーザ凝視方向を含み、原点が移動すべきことを決定することは、ユーザ凝視方向に関連した角度を測定することと、決定された角度に基づいて、ユーザの身体上の第２の点がユーザの身体上の第１の点よりも上にあるインタラクションモードを選択することとを含む。

好都合には、手の部分は、ユーザの指先、ユーザの手のひら、ユーザの手首、またはユーザのこぶしのうちの１つであり、身体上の点は、ユーザの利き目、ユーザの肩、またはユーザの臀部のうちの１つである。

本発明のさらなる態様によれば、コンピューティングシステムであって、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されるときに、コンピューティングシステムに、ユーザの手の部分の位置に基づいて制御点を設定すること、ユーザの身体上の点に基づいて原点を設定することと、ならびに制御点および原点を通過する線を中心としたプロジェクションを投影することとを含む動作を行わせる命令を記憶するメモリとを備える、コンピューティングシステムが提供される。

好ましくは、ユーザの身体上の点は、ユーザの身体上の第１の点であり、動作は、１つまたは複数のオリジン遷移ファクタを識別することと、１つまたは複数のオリジン遷移ファクタに基づいて、原点がユーザの身体上の第１の点およびユーザの身体上の第２の点を接続する経路に沿ってユーザの身体上の第２の点へ移動すべきことを決定することと、設定速度で経路に沿って原点を移動させることとをさらに含む。

本技術のいくつかの実施態様が動作できるデバイスの概要を示すブロック図である。 本技術のいくつかの実施態様に使用することができる仮想現実ヘッドセットを示す配線図である。 本技術のいくつかの実施態様に使用することができる複合現実ヘッドセットを示す配線図である。 本技術のいくつかの実施態様が動作できる環境の概要を示すブロック図である。 いくつかの実施態様において本開示技術を用いるシステムに使用することができるコンポーネントを示すブロック図である。 原点および制御点を用いたプロジェクションを投影するための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 肩原点および手のひら制御点を用いた一例の光線プロジェクションを示す概念図である。 利き目原点および指先制御点を用いた一例の光線プロジェクションを示す概念図である。 臀部原点およびこぶし制御点を用いた一例の光線プロジェクションを示す概念図である。 肩原点および手首制御点を用いた一例の光線プロジェクションを示す概念図である。 プロジェクション原点を調整するための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 臀部と肩の間のプロジェクションオリジンを調整する一例を示す概念図である。 臀部と肩の間のプロジェクションオリジンを調整する一例を示す概念図である。 臀部と肩の間のプロジェクションオリジンを調整する一例を示す概念図である。 光線プロジェクションを用いた物体インタラクションのための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 一例の光線プロジェクションを示す概念図である。 円柱プロジェクションを用いた物体インタラクションのための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 一例の円柱プロジェクションを示す概念図である。 円錐プロジェクションを用いた物体インタラクションのための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 例の円錐プロジェクションを示す概念図である。 プロジェクションタイプのコンテキストに基づく選択のための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 切断ジェスチャを用いて物体を選択するための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 切断ジェスチャを使用して物体を選択する一例を示す概念図である。 切断・クリックジェスチャを使用して物体を作動させるための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 切断・クリックジェスチャを使用して物体を作動させる一例を示す概念図である。 投げ縄ジェスチャを使用して物体を選択するための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 投げ縄ジェスチャを使用して物体を選択する一例を示す概念図である。 投げ縄ジェスチャを使用して物体を選択する一例を示す概念図である。 フレームジェスチャを使用して物体を選択するための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 フレームジェスチャを使用して物体を選択する一例を示す概念図である。 フレームジェスチャを使用して物体を選択する一例を示す概念図である。 光線プロジェクションとインタラクトするターゲット物体と非ターゲット物体の間で一義化するための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 光線プロジェクションとインタラクトする選択された物体と選択されなかった物体の間の一例のフック一義化を示す概念図である。 光線プロジェクションとインタラクトする選択された物体と選択されなかった物体の間の一例のフック一義化を示す概念図である。 円錐または円柱プロジェクションを横切るターゲット物体と非ターゲット物体の間で「トロンボーン」ジェスチャに関して一義化するための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 円錐プロジェクションと交差する選択された物体と選択されなかった物体の間で一義化するための一例のトロンボーンジェスチャを示す概念図である。 円錐プロジェクションと交差する選択された物体と選択されなかった物体の間で一義化するための一例のトロンボーンジェスチャを示す概念図である。 円柱プロジェクションと交差する選択された物体と選択されなかった物体の間で一義化するための第２の例のトロンボーンジェスチャを示す概念図である。 円柱プロジェクションと交差する選択された物体と選択されなかった物体の間で一義化するための第２の例のトロンボーンジェスチャを示す概念図である。 利き手に結び付けられたメニューを使用した物体との両手を用いるインタラクションのための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 利き手に結び付けられたメニューを使用した物体との両手を用いるインタラクションの一例を示す概念図である。 利き手に結び付けられたメニューを使用した物体との両手を用いるインタラクションの一例を示す概念図である。 利き手に結び付けられたメニューを使用した物体との両手を用いるインタラクションの一例を示す概念図である。 グローバルモードインタラクションまたはローカルモードインタラクションのための入力モダリティを切り換えるための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 グローバルモードインタラクションまたはローカルモードインタラクションのための入力モダリティを切り換える一例を示す概念図である。 グローバルモードインタラクションまたはローカルモードインタラクションのための入力モダリティを切り換える一例を示す概念図である。 グローバルモードまたはローカルモードのどちらかにおけるインタラクションとしてジェスチャを解釈するための本技術のいくつかの実施態様に使用されるプロセスを示す流れ図である。 グローバルモードまたはローカルモードのどちらかにおけるインタラクションとしてジェスチャを解釈する一例を示す概念図である。 グローバルモードまたはローカルモードのどちらかにおけるインタラクションとしてジェスチャを解釈する一例を示す概念図である。

ここに導入された技法は、同様な参照番号が同一または機能的に類似の要素を指し示す添付図面と併せて、以下の詳細な説明を参照することによってより良く理解することができる。

人工現実環境中の物体とインタラクトするための実施形態が、本明細書に説明されている。人工現実環境において、ユーザは、インタラクションの原因および結果が空間的に分離されている間接的なインタラクションを行うことを望む場合がある。本技術は、物体インタラクションを行うためにユーザが作り出すことができるプロジェクションを提供する。たとえば、ユーザがすぐ手の届く範囲の外側で物体とインタラクトすることを所望するとき、離れている物体を選択する、離れている物体を移動させる、または離れている物体と他の方法でインタラクトするために、ユーザは、プロジェクションを使用することができる。本技術は、ターゲット物体を識別し、ターゲット物体間で一義化し、ユーザがユーザの近く物体とユーザから離れている物体の両方を選択することを可能にするための物体選択技法も含む。本技術もっとさらなる態様は、物体とインタラクトするときに、向上された機能性および制御についての様々な両手を用いる（ツーハンデッド）ジェスチャを解釈するための技法を含む。本技術は、たとえば、異なる入力モダリティまたはユーザジェスチャの解釈を提供するためにグローバルモードおよびローカルモードを区別するためのモデルをさらに含む。

プロジェクションは、ユーザがインタラクトすることを所望する物体を特定することができる２次元のインジケーション（たとえば、線または「光線」）または３次元内のエリア（たとえば、円柱、球、円錐、角錐等）である。たとえば、手インタラクションシステムは、プロジェクションに交差する１つまたは複数の物体をターゲット物体として識別することができる。ユーザのすぐ手が届く範囲の外側で物体と正しくインタラクトする解釈用の手ジェスチャおよび身体ジェスチャは、追跡用の手および身体のポジションおよび姿勢の不正確さにより難しいものであり得る。これらの難しさは、プロジェクションがユーザから外向きに延びるにつれてプロジェクションポジション上でわずかな手の移動が有する指数的な効果により悪化する。プロジェクションの安定性を向上させるために、手インタラクションシステムは、原点および制御点に基づいてプロジェクションポジションを制御することができる。手インタラクションシステムは、原点からプロジェクションの中心としての制御点を通って延びる線を設定することができる。様々な実施態様では、原点は、利き目、臀部、または肩などのユーザの身体の追跡された部分とすることができ、制御点は、指先、手のひら、手首、またはこぶしなどのユーザの手の部分とすることができる。いくつかの実施態様では、原点は、ユーザが凝視を向けている場所またはプロジェクション中心線の角度などの内容に基づいて変更することができる。

手インタラクションシステムは、様々なプロジェクションタイプを提供することができる。光線プロジェクションは、たとえば、ユーザの手から人工現実環境中に延びる単一の線とすることができる。光線プロジェクションは、とても正確であるが、特にある距離で低精度であるインタラクションを提供することができる。球プロジェクションは、その端部で球である光線プロジェクションとすることができ、円柱プロジェクションは、たとえば、ユーザの手から人工現実環境中に延びる円柱とすることができる。円錐または角錐プロジェクションは、たとえば、先端がユーザの手または目から延びることができ、プロジェクションは、プロジェクションが人工現実環境中に延びるにつれてカバレッジエリアが指数的に増大する円錐または角錐であり得る。光線プロジェクションよりも大きいエリアのそのカバレッジにより、円柱、球、円錐、および角錐などのプロジェクションは、ユーザがインタラクトするのを所望する物体を正しく指し示すために使用するのがより容易であり得るが、概してあまり正確でない。

いくつかのシチュエーションでは、プロジェクションは、ユーザがインタラクトすることを所望する物体よりも多くの物体と交差することができる。たとえば、ユーザは、物体のタイトクラスタのほんの一部を選択することを所望することができる。他のシチュエーションでは、プロジェクションは、ユーザがインタラクトすることを所望する物体に交差することができない可能性がある。たとえば、プロジェクションは、物体を通過しないように構成することができ、ユーザは、別の物体によって隠された物体を選択することを所望することができる。手インタラクションシステムは、選択された物体間で一義化するまたはプロジェクションのカバレッジを広げるための様々な両手を用いる（ツーハンデッド）技法を含むことができる。いくつかの実施態様では、手インタラクションシステムは、光線プロジェクション上の点で「フック」を特定することができる。ユーザの利き手とフックの間の光線プロジェクション上の距離は、ユーザの利き手とユーザの非利き手の間の距離または２本のユーザの指の間の距離など、別のジェスチャに基づくことができる。他の実施態様では、手インタラクションシステムは、別のジェスチャに基づいてプロジェクションの形状を制御することができる。たとえば、手インタラクションシステムは、ユーザの利き手とユーザの非利き手の間の距離または２本のユーザの指の間の距離など、別のジェスチャに基づいて、円柱、球、または円錐プロジェクションの底面の直径を変更することができる。

様々な実施態様では、手インタラクションシステムは、切断、切断・クリック、投げ縄、またはフレームジェスチャなどの追加の物体インタラクションジェスチャを検出することもできる。いくつかの実施態様では、これらのジェスチャは、ユーザの利き目における原点およびユーザの手の上の制御点で構成された光線プロジェクションを使用することもでき、したがって、それは、ユーザが環境に「吸い込まれている」かのようにユーザに思われる。切断ジェスチャは、ユーザが１つまたは複数の物体と交差するようにプロジェクションを移動させるところである。手インタラクションシステムは、プロジェクションと交差する各物体を選択することができる。切断・クリックジェスチャは、ユーザが、１つまたは複数のアクション可能なコントロール部（たとえば、ボタン）と交差するようにプロジェクションを移動させるところである。手インタラクションシステムは、プロジェクションと交差する各制御部を作動させることができる。投げ縄ジェスチャは、たとえば、（たとえば、機械学習モデルを使用して）ユーザの移動を先に観察されたジェスチャと比較することによって、またはユーザが閉じられた形状のジェスチャを作ったことを識別することによって、手インタラクションシステムが、投げ縄の移動を識別するところである。手インタラクションシステムは、点がユーザの目から延び、歪んだ円錐形状が投げ縄ジェスチャによって定められる、プロジェクション（たとえば、歪んだ円錐）を識別することができる。手インタラクションシステムは、歪んだ円錐と交差する物体を選択することができる。フレームジェスチャは、たとえば、ユーザが両手の親指および人差し指で矩形の縁部を定めていることを識別することによって、または矩形の対向したコーナを引き離すことによって、手インタラクションシステムが、フレーム入力を識別するところである。手インタラクションシステムは、点がユーザの目から延び、角錐壁が矩形によって定められる、プロジェクション（たとえば、角錐）を識別することができる。手インタラクションシステムは、角錐と交差する物体を選択することができる。

手インタラクションシステムは、ユーザが様々な動作モード、たとえば、グローバルモードまたはローカルモードで物体とインタラクトするように試みているか識別することもできる。グローバルモードは、たとえば、物体を選択する、仮想環境中の物体配置を制御する等、環境内で物体を操作するためのものであり得る。ローカルモードは、１つまたは複数の選択された物体のインタフェースとインタラクトする、たとえば、物体上のボタンを押す、物体に関連したメニューまたは他のコントロール部とインタラクトする等のためのものであり得る。様々な実施態様では、ユーザは、（たとえば、ジェスチャまたはボタン押下を用いて）グローバルモードとローカルモードを明示的に選択することができる、またはグローバル／ローカルモード選択は、（たとえば、ユーザの凝視に基づいて）暗示的であり得る。いくつかの実施態様では、入力モダリティは、動作モードが起動されることに基づいて自動的に変更することができる。たとえば、グローバルモードにおいて、入力は、光線、円柱、球、または円錐プロジェクションなどのプロジェクションキャスティングに切り換えることができる。ローカルモードにおいて、入力は、マップされた指の特に検出された移動が対応するコントロール部の作動を制御する場合に、選択された物体に関連したコントロール部をユーザの手の上の指へマップすること等によって他のモダリティに切り換えることができる。いくつかの実施態様では、物体に関して得ることができるアクションは、特に動作モードにおいて実行可能であるように分割されることができる。手インタラクションシステムは、現在起動されているモードについて定められたアクションのセットにおいてジェスチャをアクションに適合することができる。たとえば、グローバルモードにおけるとき、バーチャルチェス盤の右上コーナから下向きにドラッグするジェスチャは、チェス盤を回転させる意図として解釈することができる。しかしながら、同じジェスチャは、ローカルモードにおけるときに、ジェスチャの長さに対応する量だけ右上角隅から前方へルークを移動させるものとして解釈することができる。

本開示技術の実施形態は、人工現実システムを含むことができ、または人工現実システムと併せて実施することができる。人工現実またはエキストラリアリティ（ＸＲ）は、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッドリアリティ、またはそれらのいくつかの組合せおよび／もしくは派生物を含み得るユーザへの提示前にいくつかのやり方で調整された現実の形態である。人工現実コンテンツは、完全に生成されたコンテンツ、または取り込まれたコンテンツ（たとえば、現実世界の写真）と組み合わせて生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、音声、触覚フィードバック、またはそれらのいくつかの組合せを含むことができ、これらのいずれも、単一チャンネルまたは複数チャンネルで提示され得る（たとえば、３次元エフェクトを視聴者にもたらすステレオビデオ）。さらに、いくつかの実施形態では、人工現実は、たとえば、人工現実においてコンテンツを作り出すために使用されるかつ／または人工現実に（たとえば、そこで活動を行うのに）使用されるアプリケーション、製品、アクセサリ、またはそれらのいくつかの組合せに関連し得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、「ケーブ」環境、または他のプロジェクションシステム、あるいは１人または複数人の視聴者に人工現実コンテンツを提供することができる任意の他のハードウェアプラットフォームを含む様々なプラットフォーム上で実施され得る。

「仮想現実」または「ＶＲ」は、本明細書中で使用されるとき、ユーザの視覚入力がコンピューティングシステムによって制御される没入型体験を指す。「拡張現実」または「ＡＲ」は、現実世界の画像がコンピューティングシステムを通過した後にユーザが現実世界の画像を見るシステムを指す。たとえば、背後にカメラを備えたタブレットは、現実世界の画像を取り込み、次いでカメラとはタブレットの反対側にある画面上に画像を表示することができる。タブレットは、画像がシステムを通過するときに仮想物体を追加することなどによって画像を処理し、調整または「拡張」することができる。「複合現実」または「ＭＲ」は、ユーザの目に入る光がコンピューティングシステムによって部分的に生成され、現実世界における物体から反射された光を部分的に含むシステムを指す。たとえば、ＭＲヘッドセットは、パススルーディスプレイを備えた眼鏡として成形することができ、この眼鏡は、現実世界からの光が導波管を通過することを可能にし、これはＭＲヘッドセット中のプロジェクタから光を同時に放出し、ユーザが見ることができる現実物体と混合された仮想物体をＭＲヘッドセットが提示することを可能にする。「人工現実」、「エキストラリアリティ」、または「ＸＲ」は、本明細書中で使用されるとき、ＶＲ、ＡＲ、ＭＲ、またはそれらの任意の組合せもしくはハイブリッドのいずれかを指す。

人工現実環境中の物体を選択し、この物体とインタラクトするために既存のＸＲシステムがある。しかしながら、これらのＸＲシステムは、不正確、不精密であり、限られた機能性を提供する。既存のＸＲシステムは、しばしば、入力のために別個のコントローラデバイスを必要とし、しばしば人工現実環境中の物体との関連でユーザジェスチャを正しく解釈することができない。既存のＸＲシステムは、ユーザが動作させるのにイライラさせ、時間がかかる。本明細書に説明される手インタラクションシステムおよびプロセスは、従来のＸＲインタラクション技法に関連したこれらの問題を克服し、物体インタラクションに対するより良いコントロールを、しばしばいっそうの機能性を、ユーザに提供することが期待され、既存のＸＲシステムにおけるインタラクションよりも自然で直観的である。自然で直観的であるにもかかわらず、本明細書に説明されるＸＲシステムおよびプロセスは、伝統的な物体インタラクションの類似物である代わりに、コンピュータ化された人工現実システムに根ざしている。たとえば、既存の物体インタラクション技法は、複数の身体パーツまたはジェスチャに基づいてプロジェクションポジショニングを説明することができず、ましてユーザがサイズ変更し、そのようプロジェクションをカスタマイズすることを提供しない。さらに、既存のＸＲシステムは、有効な選択および一義化技法を提供せず、ユーザ意図モード（たとえば、グローバルおよびローカルモード）に基づいて入力モダリティを切り換えるまたはユーザ入力を解釈するオプションも提供しない。

いくつかの実施態様が、図を参照して以下により詳細に述べられる。図１は、本開示技術のいくつかの実施態様が動作できるデバイスの概要を示すブロック図である。デバイスは、人工現実環境中の物体とインタラクトするための手ジェスチャを解釈するコンピューティングシステム１００のハードウェアコンポーネントを備えることができる。様々な実施態様では、コンピューティングシステム１００は、処理を分散し入力データを共有するために有線または無線チャンネルによって通信する単一のコンピューティングデバイス１０３または複数のコンピューティングデバイス（たとえば、コンピューティングデバイス１０１、コンピューティングデバイス１０２、およびコンピューティングデバイス１０３）を備えることができる。いくつかの実施態様では、コンピューティングシステム１００は、外部処理またはセンサを必要とすることなく、コンピュータにより作り出されたまたは拡張された体験をユーザに提供することができるスタンドアロンヘッドセットを含むことができる。他の実施態様では、コンピューティングシステム１００は、ヘッドセットおよびコア処理コンポーネント（たとえば、コンソール、モバイルデバイス、またはサーバシステム）などの複数のコンピューティングデバイスを含むことができ、一部の処理動作はヘッドセット上で行われ、他のものは、コア処理コンポーネントにオフロードされる。例のヘッドセットは、図２Ａおよび図２Ｂとの関連で以下に説明される。いくつかの実施態様では、ポジションおよび環境データは、ヘッドセットデバイスに組み込まれたセンサによってのみ集めることができ、一方、他の実施態様では、非ヘッドセットコンピューティングデバイスの１つまたは複数は、環境またはポジションデータを追跡することができるセンサコンポーネントを含むことができる。

コンピューティングシステム１００は、１つまたは複数のプロセッサ１１０（たとえば、中央処理ユニット（ＣＰＵ）、グラフィカル処理ユニット（ＧＰＵ）、ホログラフィック処理ユニット（ＨＰＵ）等）を含むことができる。プロセッサ１１０は、単一の処理ユニットまたは１つのデバイス中のまたは複数のデバイスにわたって分散された（たとえば、コンピューティングデバイス１０１～１０３のうちの２つ以上にわたって分散された）複数の処理ユニットであり得る。

コンピューティングシステム１００は、プロセッサ１１０への入力を与え、プロセッサ１１０にアクションを通知する１つまたは複数の入力デバイス１２０を含むことができる。アクションは、ハードウェアコントローラによって取り次がれることが可能であり、ハードウェアコントローラは、入力デバイスから受信した信号を解釈し、通信プロトコルを使用してプロセッサ１１０へ情報を送る。各入力デバイス１２０は、たとえば、マウス、キーボード、タッチスクリーン、タッチパッド、ウェアラブル入力デバイス（たとえば、触覚グローブ、ブレスレット、指輪、イヤリング、ネックレス、腕時計等）、カメラ（または他の光ベースの入力デバイス、たとえば、赤外線センサ）、マイクロフォン、または他のユーザ入力デバイスを含むことができる。

プロセッサ１１０は、たとえば、内部または外部バス、たとえば、ＰＣＩバス、ＳＣＳＩバス、または無線接続を使用することで他のハードウェアデバイスに結合することができる。プロセッサ１１０は、デバイスのための、たとえば、ディスプレイ１３０のためのハードウェアコントローラと通信することができる。ディスプレイ１３０は、テキストおよびグラフィックを表示するために使用することができる。いくつかの実施態様では、ディスプレイ１３０は、たとえば入力デバイスがタッチスクリーンであるまたは目線方向モニタリングシステムを装備するときに、ディスプレイの一部として入力デバイスを含む。いくつかの実施態様では、ディスプレイは、入力デバイスとは別個である。ディスプレイデバイスの例は、ＬＣＤディスプレイ画面、ＬＥＤディスプレイ画面、投影、ホログラフィック、または拡張現実ディスプレイ（たとえば、ヘッドアップディスプレイデバイス、またはヘッドマウントデバイス）などである。他のＩ／Ｏデバイス１４０は、プロセッサ、たとえば、ネットワークチップもしくはカード、ビデオチップもしくはカード、オーディオチップもしくはカード、ＵＳＢ、ファームウェア、または他の外部デバイス、カメラ、プリンタ、スピーカ、ＣＤ－ＲＯＭドライブ、ＤＶＤドライブ、ディスクドライブ等に結合することもできる。

コンピューティングシステム１００は、他のローカルコンピューティングデバイスまたはネットワークノードと無線でまたは有線ベースで通信することができる通信デバイスを含むことができる。通信デバイスは、たとえば、ＴＣＰ／ＩＰプロトコルを使用してネットワークを通して別のデバイスまたはサーバと通信することができる。コンピューティングシステム１００は、複数のネットワークデバイスにわたって演算を分散するために通信デバイスを利用することができる。

プロセッサ１１０は、コンピューティングシステム１００のコンピューティングデバイスのうちの１つに収容できる、またはコンピューティングシステム１００の複数のコンピューティングデバイスもしくは他の外部デバイスにわたって分散することができるメモリ１５０にアクセスすることができる。メモリは、揮発性または不揮発性ストレージのための１つまたは複数のハードウェアデバイスを含み、リードオンリメモリと書込み可能メモリの両方を含むことができる。たとえば、メモリは、ランダムアクセスメモリ（ＲＡＭ）、様々なキャッシュ、ＣＰＵレジスタ、リードオンリメモリ（ＲＯＭ）、およびフラッシュメモリ、ハードドライブ、フロッピディスク、ＣＤ、ＤＶＤ、磁気ストレージデバイス、テープドライブなどの書込み可能不揮発性メモリうちの１つまたは複数を含むことができる。メモリは、根底にあるハードウェアから切り離された伝播信号ではなく、したがって、メモリは、非一時的である。メモリ１５０は、プログラムおよびソフトウェア、たとえば、オペレーティングシステム１６２、手インタラクションシステム１６４、および他のアプリケーションプログラム１６６を記憶するプログラムメモリ１６０を含むことができる。メモリ１５０は、プログラムメモリ１６０またはコンピューティングシステム１００の任意の要素に与えられ得る、たとえば、プロジェクション記述子、ジェスチャ識別子（たとえば、訓練済み機械学習モデル）、および／またはジェスチャ経路、ジェスチャとアクションの間のマッピング、アクションとユーザ意図モードの間のマッピング、構成データ、セッティング、ユーザオプション、またはプリファランス等を含むことができるデータメモリ１７０を含むこともできる。

いくつかの実施態様は、数多くの他のコンピューティングシステム環境または構成を用いて動作可能であり得る。本技術と共に使用するのに適し得るコンピューティングシステム、環境、および／または構成の例は、上記システムまたはデバイスなどのいずれかを含むＸＲヘッドセット、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドもしくはラップトップデバイス、携帯電話、ウェアラブルエレクトロニクス、ゲーミングコンソール、タブレットデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能家電、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、分散コンピューティング環境を含むが、これらに限定されない。

図２Ａは、いくつかの実施形態による仮想現実ヘッドマウントディスプレイ（ＨＭＤ）２００の配線図である。ＨＭＤ２００は、前部硬質本体２０５と、バンド２１０とを含む。前部硬質本体２０５は、電子ディスプレイ２４５の１つまたは複数の電子ディスプレイ要素、慣性運動ユニット（ＩＭＵ）２１５、１つまたは複数のポジションセンサ２２０、ロケータ２２５、および１つまたは複数のコンピュートユニット２３０を含む。ポジションセンサ２２０、ＩＭＵ２１５、およびコンピュートユニット２３０は、ＨＭＤ２００の内部にあってもよく、ユーザに見えない場合がある。様々な実施態様では、ＩＭＵ２１５、ポジションセンサ２２０、およびロケータ２２５は、３自由度（３ＤｏＦ）または６自由度（６ＤｏＦ）で現実世界中および仮想環境中のＨＭＤ２００の移動および位置を追跡することができる。たとえば、ロケータ２２５は、ＨＭＤ２００の周りの現実物体上に光点を作り出す赤外光ビームを放出することができる。ＨＭＤ２００と一体化された１つまたは複数のカメラ（図示せず）は、光点を検出することができる。ＨＭＤ２００内のコンピュートユニット２３０は、検出された光点を使用して、ＨＭＤ２００のポジションおよび移動を推測するとともに、ＨＭＤ２００を取り囲む現実物体の形状およびポジションを識別することができる。

電子ディスプレイ２４５は、前部硬質本体２０５と一体化されてもよく、コンピュートユニット２３０によって指令されるときにユーザへ画像光を与えることができる。様々な実施形態では、電子ディスプレイ２４５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（たとえば、ユーザの目ごとのディスプレイ）であってもよい。電子ディスプレイ２４５の例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、１つまたは複数の量子ドット発光ダイオード（ＱＯＬＥＤ）サブピクセルを含むディスプレイ、プロジェクタユニット（たとえば、マイクロＬＥＤ、ＬＡＳＥＲ等）、いくつかの他のディスプレイ、またはそれらのいくつかの組合せを含む。

いくつかの実施態様では、ＨＭＤ２００は、パーソナルコンピュータ（ＰＣ）（図示せず）および／あるいは１つまたは複数の外部センサ（図示せず）などのコア処理コンポーネントに結合することができる。外部センサは、ＨＭＤ２００の位置および移動を決定するために、ＩＭＵ２１５およびポジションセンサ２２０からの出力と組み合わせて、ＰＣが使用できる（たとえば、ＨＭＤ２００から放出された光によって）ＨＭＤ２００をモニタすることができる。

いくつかの実施態様では、ＨＭＤ２００は、ユーザが片手または両手で保持できるコントローラ（図示せず）などの１つまたは複数の他の外部デバイスと通信していることができる。コントローラは、それ自体のＩＭＵユニット、ポジションセンサを有することができ、かつ／またはさらなる光点を放出することができる。ＨＭＤ２００または外部センサは、これらのコントローラ光点を追跡することができる。ＨＭＤ２００またはコア処理コンポーネントにおけるコンピュートユニット２３０は、ＩＭＵおよびポジション出力と組み合わせてこの追跡を使用して、ユーザの手ポジションおよび運動をモニタすることができる。コントローラは、様々なボタンを含むこともでき、ユーザは、入力を与えるように作動させ、仮想物体とインタラクトすることができる。様々な実施態様では、ＨＭＤ２００は、目追跡ユニット、オーディオシステム、様々なネットワークコンポーネント等などの追加のサブシステムを含むこともできる。いくつかの実施態様では、コントローラの代わりにまたはコントローラに加えて、ＨＭＤ２００またはその外部に含まれる１つまたは複数のカメラは、ジェスチャならびに他の手および身体の運動を決定するために、ユーザの手のポジションおよび姿勢をモニタすることができる。

図２Ｂは、複合現実ＨＭＤ２５２およびコア処理コンポーネント２５４を含む複合現実ＨＭＤシステム２５０の配線図である。複合現実ＨＭＤ２５２およびコア処理コンポーネント２５４は、リンク２５６によって指し示されたような無線接続（たとえば、６０ＧＨｚリンク）を介して通信することができる。他の実施態様では、複合現実システム２５０は、外部コンピュートデバイスなしでヘッドセットのみを含む、または複合現実ＨＭＤ２５２とコア処理コンポーネント２５４の間に他の有線または無線接続を含む。複合現実ＨＭＤ２５２は、パススルーディスプレイ２５８、およびフレーム２６０を含む。フレーム２６０は、様々な電子コンポーネント（図示せず）、たとえば、光プロジェクタ（たとえば、ＬＡＳＥＲ、ＬＥＤ等）、カメラ、目追跡センサ、ＭＥＭＳコンポーネント、ネットワーキングコンポーネント等を格納することができる。

プロジェクタは、ユーザに媒体を表示するために、たとえば、光学要素を介してパススルーディスプレイ２５８に結合することができる。光学要素は、プロジェクタからユーザの目へ光を向けるために１つまたは複数の導波管組立体、反射器、レンズ、ミラー、コリメータ、格子等を含み得る。画像データは、コア処理コンポーネント２５４からリンク２５６を介してＨＭＤ２５２へ送信されることが可能である。ＨＭＤ２５２におけるコントローラは、画像データをプロジェクタからの光パルスに変換することができ、光パルスは、ユーザの目への出力光として光学要素を介して送信されることが可能である。出力光は、ディスプレイ２５８を通過する光と混合し、仮想物体が現実世界中に存在するかのように出現する仮想物体を出力光が提示することを可能にすることができる。

ＨＭＤ２００と同様に、ＨＭＤシステム２５０は、ＨＭＤシステム２５０が、たとえば、３ＤｏＦまたは６ＤｏＦでそれ自体を追跡し、ユーザの部分（たとえば、手、足、頭、または他の身体パーツ）を追跡し、ＨＭＤ２５２が移動するときに動かないように現れるように仮想物体をマップし、仮想物体をジェスチャおよび他の現実世界物体に反応させることを可能にする運動およびポジション追跡ユニット、カメラ、光源等を含むこともできる。

図３は、本開示技術のいくつかの実施態様が動作できる環境３００の概要を示すブロック図である。環境３００は、１つまたは複数のクライアントコンピューティングデバイス３０５Ａ～Ｄを含むことができ、その例は、コンピューティングシステム１００を含むことができる。いくつかの実施態様では、クライアントコンピューティングデバイス（たとえば、クライアントコンピューティングデバイス３０５Ｂ）のいくつかは、ＨＭＤ２００またはＨＭＤシステム２５０であり得る。クライアントコンピューティングデバイス３０５は、ネットワーク３３０を通してサーバコンピューティングデバイスなどの１つまたは複数の遠隔コンピュータへ至る論理接続を使用してネットワーク化した環境中で動作することができる。

いくつかの実施態様では、サーバ３１０は、クライアントリクエストを受信し、サーバ３２０Ａ～Ｃなどの他のサーバを通してそれらのリクエストの遂行をコーディネートするエッジサーバであり得る。サーバコンピューティングデバイス３１０および３２０は、コンピューティングシステム１００などのコンピューティングシステムを含むことができる。各サーバコンピューティングデバイス３１０および３２０が単一のサーバとして論理的に表示されるが、サーバコンピューティングデバイスは、同じ物理的位置または地理的に異なる物理的位置に位置する複数のコンピューティングデバイスを包含する分散コンピューティング環境でそれぞれあり得る。

クライアントコンピューティングデバイス３０５、ならびにサーバコンピューティングデバイス３１０および３２０は、他のサーバ／クライアントデバイスへのサーバまたはクライアントとしてそれぞれ機能することができる。サーバ３１０は、データベース３１５に接続することができる。サーバ３２０Ａ～Ｃは、対応するデータベース３２５Ａ～Ｃにそれぞれ接続することができる。上述したように、各サーバ３１０または３２０は、サーバのグループに対応することができ、これらのサーバの各々は、データベースを共有することができ、またはサーバ自体のデータベースを有することができる。データベース３１５および３２５は、単一のユニットとして論理的に表示されるが、データベース３１５および３２５は、複数のコンピューティングデバイスを包含する分散コンピューティング環境でそれぞれあってもよく、その対応するサーバ内に位置することができ、または同じまたは地理的に異なる物理的位置に位置することができる。

ネットワーク３３０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メッシュネットワーク、ハイブリッドネットワーク、または他の有線もしくは無線ネットワークであり得る。ネットワーク３３０は、インターネット、またはいくつかの他のパブリックもしくはプライベートネットワークであり得る。クライアントコンピューティングデバイス３０５は、有線または無線通信などによってネットワークインタフェースを通してネットワーク３３０に接続することができる。サーバ３１０とサーバ３２０の間の接続は、別個の接続として示されているが、これらの接続は、ネットワーク３３０または別個のパブリックもしくはプライベートネットワークを含む任意の種類のローカルネットワーク、広域ネットワーク、有線ネットワーク、または無線ネットワークであり得る。

図４は、いくつかの実施態様において本開示技術を用いるシステムに使用することができるコンポーネント４００を示すブロック図である。コンポーネント４００は、コンピューティングシステム１００の１つのデバイスに含まれてもよく、またはコンピューティングシステム１００の多数のデバイスにわたって分散されてもよい。コンポーネント４００は、ハードウェア４１０、メディエータ４２０および特殊コンポーネント４３０を含む。上述したように、本開示技術を実施するシステムは、処理ユニット４１２、ワーキングメモリ４１４、入出力デバイス４１６（たとえば、カメラ、ディスプレイ、ＩＭＵユニット、ネットワーク接続等）、およびストレージメモリ４１８を含む様々なハードウェアを使用することができる。様々な実施態様では、ストレージメモリ４１８は、ローカルデバイス、遠隔ストレージデバイスへのインタフェース、またはそれらの組合せのうちの１つまたは複数であり得る。たとえば、ストレージメモリ４１８は、システムバスを通してアクセス可能な１つもしくは複数のハードドライブもしくはフラッシュドライブであり得る、または１つもしくは複数の通信ネットワークを介してアクセス可能な（ストレージ３１５または３２５などにおける）クラウドストレージプロバイダもしくは他のネットワークストレージであり得る。様々な実施態様では、コンポーネント４００は、クライアントコンピューティングデバイス３０５などのクライアントコンピューティングデバイス内で、またはサーバコンピューティングデバイス３１０もしくは３２０などのサーバコンピューティングデバイス上で実施することができる。

メディエータ４２０は、ハードウェア４１０と特殊コンポーネント４３０の間のリソースを取り次ぐコンポーネントを含むことができる。たとえば、メディエータ４２０は、オペレーティングシステム、サービス、ドライバ、基本入出力システム（ＢＩＯＳ）、コントローラ回路、または他のハードウェアシステムもしくはソフトウェアシステムを含むことができる。

特殊コンポーネント４３０は、ジェスチャを認識し、ジェスチャを解釈して人工現実環境中の物体とインタラクトするための動作を行うように構成されたソフトウェアおよび／またはハードウェアを含むことができる。特殊コンポーネント４３０は、たとえば、プロジェクションキャスティングエンジン４３４、物体選択エンジン４３６、ツーハンデッドインタラクションエンジン４３８、グローバルおよびローカルモードエンジン４４０、ならびにコンポーネントおよびＡＰＩを含むことができ、これは、インタフェース４３２のように、ユーザインタフェースを与え、データを転送し、特殊コンポーネントを制御するために使用することができる。いくつかの実施態様では、コンポーネント４００は、複数のコンピューティングデバイスにわたって分散されたコンピューティングシステムにあることができ、もしくは特殊コンポーネント４３０のうちの１つもしくは複数を実行するサーバベースのアプリケーションへのインタフェースであることができる。

プロジェクションキャスティングエンジン４３４は、光線プロジェクションなどの様々なタイプのプロジェクション（図１２および図１との関連で以下により詳細に説明されるような）、（図１４および図１５との関連で以下により詳細に説明されるような）球または円柱プロジェクション、または（図１６および図１７との関連で以下により詳細に説明されるような）円錐プロジェクションを作り出すことができる。いくつかの実施態様では、プロジェクションキャスティングエンジン４３４は、（図１８との関連で以下により詳細に説明されるように）現在のコンテキストに基づいてプロジェクションタイプを選択することができる。

プロジェクションキャスティングエンジン４３４は、（図５～図９との関連で以下により詳細に説明されるように）制御点としての手のパーツなどの複数の追跡された身体パーツ、および原点としての目、肩、または臀部などのユーザの身体上の別の点に基づいてプロジェクションポジションを制御することもできる。たとえば、プロジェクションキャスティングエンジン４３４は、制御点におけるまたは制御点からオフセットされたプロジェクションのための始点を設定することができ、プロジェクションのために中心線として原点と制御点を接続する線を決定することができる。いくつかの実施態様では、プロジェクションキャスティングエンジン４３４は、（図１０および図１１との関連で以下により詳細に説明されるように）ユーザの凝視方向、プロジェクションの角度、またはターゲット物体のポジションなどのオリジン遷移ファクタに従ってプロジェクションのためのオリジンを移動させることができる。

物体選択エンジン４３６は、複数の物体を選択するインタラクションを識別することができる。いくつかの実施態様では、物体選択エンジン４３６は、（図１９および図２０との関連で以下により詳細に説明されるように）複数の物体と交差するようにユーザに現れる線をユーザが引く切断ジェスチャを識別することができる。いくつかの実施態様では、物体選択エンジン４３６は、（図２１および図２２との関連で以下により詳細に説明されるように）複数の物体と交差するようにユーザに現れる線をユーザが引く切断・クリックジェスチャを識別することができ、システムは、それらの物体を作動させる。いくつかの実施態様では、物体選択エンジン４３６は、（図２３および図２４との関連で以下により詳細に説明されるように）システムが選択する複数の物体の周りにユーザの眺めから形状を形成する投げ縄ジェスチャを識別することができる。いくつかの実施態様では、物体選択エンジン４３６は、（図２５および図２６との関連で以下により詳細に説明されるように）２つの矩形の対向したコーナを特定するユーザからのフレームジェスチャを識別することができ、次いで、システムは、ユーザの視点から矩形内にあるように現れる物体を選択することができる。

ツーハンデッドインタラクションエンジン４３８は、２つの手（または同じ手の異なるパーツ）によって行われるジェスチャ、または第２の手（または第１の手の異なるパーツ）が第１の手（または第１の手の第１のパーツ）によって行われるジェスチャの結果を修正するジェスチャを識別することができる。いくつかの実施態様では、ツーハンデッドインタラクションエンジン４３８は、光線プロジェクション上の点がフックとして識別されるフックジェスチャを識別することができる。フックは、光線が選択するまたは他の方法でインタラクトする物体を定めることができる。光線に沿ったフックのポジションは、２つのユーザの手の間の距離または同じ手の上の２つの指間の距離に基づいて特定することができる。フックジェスチャは、図２７～図２９との関連で以下により詳細に説明される。いくつかの実施態様では、ツーハンデッドインタラクションエンジン４３８は、円錐、円柱、または球プロジェクションの直径が２つのユーザの手の間の距離または同じ手の上の２つの指間の距離に基づいているトロンボーンジェスチャを識別することができる。トロンボーンジェスチャは、図３０～図３４との関連で以下により詳細に説明される。いくつかの実施態様では、ツーハンデッドインタラクションエンジン４３８は、両手を用いるインタラクションを助けることができ、ユーザは第１の手を用いたジェスチャを使用して物体を選択し、メニューは選択された物体とインタラクトするために第１の手との関連において提示され、ユーザはユーザの第２の手を用いて物体とインタラクトすることができる。選択の手に結び付けられたメニューは、図３５～図３８との関連で以下により詳細に説明される。

グローバルおよびローカルモードエンジン４４０は、たとえば、どのくらい長くユーザが一貫した凝視を物体の方へ向けさせていたかなど、明示的なユーザコマンドまたはコンテキストに基づいて、手インタラクションシステムがグローバルモードまたはローカルモードにあるか識別することができる。いくつかの実施態様では、グローバルおよびローカルモードエンジン４４０は、（図３９および図４０との関連で以下により詳細に説明されるように）グローバルおよびローカルモードのために入力モダリティを切り換えることができる。いくつかの実施態様では、グローバルおよびローカルモードエンジン４４０は、（図４１および図４２との関連で以下により詳細に説明されるように）手インタラクションシステムがグローバルモードまたはローカルモードにあるかに基づいて曖昧な入力を解釈することができる。

当業者は、上記の図１～図４に示されたおよび以下に述べられる各流れ図において、コンポーネントは、種々のやり方で変えられてもよいと理解されよう。たとえば、論理の順序は並べ替えられてもよく、サブステップは並列に行われてもよく、示された論理は省略されてもよく、他の論理が含まれてもよいなどである。いくつかの実施態様では、上記のコンポーネントのうちの１つまたは複数は後述のプロセスのうちの１つまたは複数を実行することができる。

原点および制御点を用いたプロジェクションキャスティング
人工現実環境中の物体を指し、選択するようにコントローラを使用すると、直線を定めることができるコントローラ上の単一の点を設定して追跡することが用意である。既存のコントローラベースの選択技法は、人々によるツールを使用するアプローチ法と人々自体の身体を使用するアプローチ法の間に本質的な差があるので、素手に直接転送可能でない。ユーザの手が入力方法であるときに、プロジェクション源として単一の点を追跡することがよりずっと難しい。さらに、硬質コントローラ表面とは異なり、ユーザの手は、多くのわずかな移動を行う傾向があり、これによりユーザの手に起因するプロジェクションはあちこちに跳ぶ可能性があり、プロジェクションがユーザからさらに広がるにつれてこれらの移動は増幅される。これらの自然の手は震え、重要な点の追跡は、プロジェクションキャスティングと干渉する可能性があり、物体選択の不正確さを引き起こす。

手の追跡に基づいてプロジェクションキャスティングの正確さを高めるために、プロジェクションポジションは、プロジェクションを固定するように一次制御点（たとえば、ユーザの手のパーツ）とユーザの素手の外側にある二次原点との両方を使用して定められ得る。これら２つのポジションの組合せに基づいたプロジェクションは、より安定して精密な投影体験という結果になる。様々な原点が使用されてもよく、ターゲット物体のサイズ、距離、垂直ポジション、および密度に応じて異なる典型的な入力速度、精度、および人間工学を与えることができる。様々な実施態様では、原点は、ユーザの利き目、ユーザの目間の点、ユーザの頭上の別の点、ユーザの臀部、ユーザの肩、または、たとえば、ユーザの臀部と肩の間のコンテキスト可変点を含むことができる。様々な原点の各々は、特別のジェスチャを行うときのユーザの指の先端、ユーザの手のひら、ユーザの手首、またはユーザのこぶしの中心などの様々な制御点と対をなすことができる。プロジェクションを投影するときに、プロジェクションは、制御点から始まり、原点と制御点の両方を通過する線を中心とするように向けられるユーザから外向きの投影であり得る。

図５は、原点および制御点を用いたプロジェクションを投影するための本技術のいくつかの実施態様に使用されるプロセス５００を示す流れ図である。ブロック５０２において、プロセス５００は、制御点として手の部分を追跡することができる。たとえば、制御点は、ユーザの指の先端、ユーザの手のひら、ユーザの手首、またはユーザのこぶしの中心であり得る。いくつかの実施態様では、制御点は、ユーザの指で「つまみ」を作るようにユーザが特別のジェスチャを行うことに応答して識別され得る。場合によって、制御点は、ユーザの追跡された部分からオフセットされてもよい。たとえば、制御点は、ユーザの手のひらまたは手首からのオフセットであり得る。このことは、指の先端を使用する例、すなわち、ジェスチャを作るときに制御点が移動するときの例で生じるジッタを無くすのに役立つ。代わりに、手首の６インチ前方にオフセットされた点は、指でそのようなジェスチャを作るときにあまり移動しない。いくつかの実施態様では、制御点は、ユーザの頭上または足の部分上の点などの他の身体パーツに基づいていることができる。

ブロック５０４において、プロセス５００は、原点として第２の身体パーツを追跡することができる。様々な実施態様では、原点は、ユーザの目、肩、臀部等のポジションに基づいていることができる。いくつかの実施態様では、使用される目、肩、または臀部は、ユーザの利き側上の１つであり得る。たとえば、ユーザの利き目は、ユーザが最も用いる傾向がある手、（たとえば、オンボーディング手順において）どちらの手または目が優勢であるのかユーザが述べたこと、過去の刺激との関連でユーザが自分をどのように配置したのかの観察、ユーザに与えられた視覚テスト等に基づいて決定することができる。いくつかの実施態様では、原点は、ユーザの凝視が向けられている場所、プロジェクションユーザの角度が作り出している場所、または機械学習モデルからの選択などの事情に応じて移動する場合がある。原点を調整することは、図１０および図１１との関連で以下により詳細に述べられる。

ブロック５０２および５０４において、原点および制御点は、たとえば、ＸＲヘッドセットを用いてまたは外部センサ内で統合されたカメラからの画像を解析することによって追跡することができる。たとえば、機械学習モデルが、そのようなカメラからの画像を解析し、ユーザの手または他の様々な身体パーツのモデルについての３Ｄポジションデータを生成するために使用され得る。いくつかの実施態様では、追加または代替の方法が、ヘッドセット内、ブレスレット内、グローブ内、または他のウェアラブルデバイスにおけるポジションまたはＩＭＵ追跡センサを使用することなどによって適用されてもよい。

ブロック５０６において、プロセス５００は、Ａ）ブロック５０２において決定された原点、およびＢ）ブロック５０４において決定された制御点を通過する線を中心とするプロジェクション向きを決定することができる。以下に述べられるように、プロジェクションは、光線、球、円柱、円錐、角錐等などの様々なタイプの１つであり得る。制御点で始まるまたは制御点からオフセットされたプロジェクションは、ユーザから外向きに広がることができる。

ブロック５０８において、プロセス５００は、プロジェクションの１つまたは複数の位置に基づいて現実物体または仮想物体との関連でアクションを行うことができる。たとえば、アクションは、物体の選択、物体の移動または回転、コントロール部とのインタラクション（たとえば、ボタンの押下げ、コントロール部の引きまたは押し）等などの任意のインタラクションを含むことができる。場合によって、アクションは、たとえば、ユーザが制御点および／または原点を移動させ、プロジェクションの対応する移動を引き起こすときに、プロジェクションの複数の位置に基づいていることができる。たとえば、ユーザが、制御点として追跡されるユーザの手のひらを対応する原点としてのユーザの肩と共に移動させるとき、ユーザの手のひらから外向きの光線プロジェクション投影は、それぞれが選択できる複数の物体と交差することができる。

図６は、肩原点６０２および手のひら制御点６０６を用いた光線プロジェクション６０６の一例６００を示す概念図である。図７は、利き目原点７０２および指先制御点７０４を用いた光線プロジェクション７０６の一例７００を示す概念図である。図８は、臀部原点８０２およびこぶし制御点８０４を用いた光線プロジェクション８０６の一例８００を示す概念図である。図９は、肩原点８０２および手首制御点８０４を用いた光線プロジェクション９０６の一例９００を示す概念図である。例６００、７００、８００、または９００ごとに、ユーザがユーザの追跡された原点（肩、目、または臀部）、および／または追跡された制御点（手首、手のひら、または指先）を移動させるときに、プロジェクション６０６、７０６、８０６、または９０６への対応する移動が生じる。

異なる原点は、異なるコンテキストにおいてより良く働くことができる。たとえば、より高い原点は、より低いターゲットにより容易にアクセスする余裕があり、一方、より低い原点は、より高いターゲットの方へより容易にアクセスすることが可能である。いくつかの実施態様では、手インタラクションシステムは、条件を識別し、それに応じて原点を移動させることができる。様々な実施態様では、原点は、異なる原点間でスナップすることができ、または原点間の経路上を所与の速度で移動することができる。

図１０は、プロジェクション原点を調整するための本技術のいくつかの実施態様に使用されるプロセス１０００を示す流れ図である。ブロック１００２において、プロセス１０００は、凝視方向および／または他のオリジン遷移ファクタを識別することができる。様々な実施態様では、オリジン遷移ファクタは、ユーザの凝視、現在のプロジェクションの水平角度、現在の原点に対してのターゲット物体の位置等のうちの１つまたは複数であり得る。たとえば、プロセス１０００は、現在のプロジェクションの中心線の角度を決定することができる。別の例として、プロセス１０００は、現在のプロジェクションが物体を選択すること、およびそれらの物体が閾値平面よりも上または下にあることを決定することができる。

ブロック１００４において、プロセス１０００は、原点がより高くまたはより低く設定されるべきであるか決定するために、ブロック１００２において決定されたオリジン遷移ファクタを閾値と比較することができる。たとえば、ユーザの凝視がユーザの身体から閾値角度よりも上にあるときに、高インタラクションモードが選択され得、ユーザの凝視がユーザの身体から閾値角度よりも下にあるときに、低インタラクションモードが選択され得る。別の例として、プロセス１０００は、現在のプロジェクションの中心線の角度が閾値角度よりも大きい（たとえば、上向きを指している）ことを決定することができ、高インタラクションモードを選択することができ、または現在のプロジェクションの中心線の角度が閾値角度よりも小さい（たとえば、下向きを指している）ことを決定することができ、低インタラクションモードを選択することができる。もっと別の例として、プロセス１０００は、現在のプロジェクションが閾値平面よりも上にある物体を選択することを決定することができ、高インタラクションモードを選択することができ、または現在のプロジェクションは閾値平面よりも下にある物体を選択することを決定することができ、低インタラクションモードを選択することができる。

ブロック１００６において、プロセス１０００は、原点がユーザの臀部などの低い位置の方へ移行される高インタラクションモードを選択することができる。いくつかの実施態様では、高インタラクションモードは、所定の平面よりも上の物体とのインタラクションをより容易にさせることができる。いくつかの実施態様では、移行は、低い位置への原点のスナップであり得る。いくつかの実施態様では、ユーザの肩および臀部などのユーザの身体上の２つの点（高い点および低い点）の間に特定された経路がある。ブロック１００６において、プロセス１０００は、原点が経路上の最も低い箇所にすでにあるのでない限り、経路の低い端の方へ設定ペースで原点を移動し始めることができる。

ブロック１００８において、プロセス１０００は、原点がユーザの目または肩などの高い位置の方へ移行される低インタラクションモードを選択することができる。いくつかの実施態様では、低インタラクションモードは、所定の平面よりも下にある物体とのインタラクションをより容易にさせることができる。いくつかの実施態様では、移行は、高い位置への原点のスナップであり得る。いくつかの実施態様では、ユーザの目および臀部などのユーザの身体上の２つの点（高い点および低い点）の間に特定された経路がある。ブロック１００８において、プロセス１０００は、原点が経路上の最も高い箇所にすでにあるのでない限り、経路の高い端の方へ設定ペースで原点を移動し始めることができる。

プロセス１０００は、新しいオリジン遷移ファクタが決定されるときに、繰り返し、ブロック１００２へ戻ることができる。

図１１Ａ、図１１Ｂ、および図１１Ｃは、原点１１０４が臀部と肩の間の経路１１０６上に沿って移動する、制御点１１０２によってやはり制御されている光線プロジェクションのために原点１００４を調整する一例を示す概念図である。例１１００において、原点１１０４の移動は、ユーザの視線１１０８に基づいている。オリジンが設定される経路１１０６に沿った点は、ユーザの視線と床に直交する平面１１１０とによって形成された角度と経路の比例の直線線形関係に基づいている。

図１１Ａにおいて、ユーザの視線１１０８は、平面１１１０と直交し、原点１１０４は、原点１１０４と制御点１１０２の間の光線が経路１１０６に直交するように設定される。図１１Ｂにおいて、ユーザの視線１１０８は、原点１１０４が経路１１０６上の最低点に設定されるように最大上向き角度を超えて上向きにのびている。図１１Ｃにおいて、ユーザの視線１１０８は、原点１１０４が経路１１０６上の最高点に設定されるように最小下向き角度よりも下にある下向きにのびている。例１１００において、これらの点の間の移行は、設定速度において生じ、経路１１０６に沿って滑らかに原点１１０４を移動させる。

プロジェクションタイプを用いたある距離における仮想物体インタラクション
物体とインタラクトするとき、特にそれらの物体がユーザのすぐ手が届く範囲の外側にあるときに、既存のＸＲシステムに関するいくつかの難しさがある。たとえば、多くの既存の手追跡システムは、不精密であり、ユーザの手の仮想モデルをジッタにさせる、またはユーザの手の実際のポジションに遅れをとる。さらに、ユーザの手は、震えおよび他のわずかな移動を呈示する傾向があり、これは、プロジェクションが大きい距離にわたって投影されるときに大きなプロジェクションポジション変化につながる。ハイゼンベルク効果として知られるもっと別の難しさは、ユーザがポインティングデバイスを用いて入力を行う（ジェスチャを行う、ボタンをクリックする等）ときにポインティングデバイス（手、マウス、スタイラス等）にしばしば生じる移動である。ある距離におけるインタラクションを含む多くの例では、これらの難しさは、適切なプロジェクションキャスティングタイプを使用することによって克服することができる。投影タイプの網羅的でないリストは、光線プロジェクション、球プロジェクション、円柱プロジェクション、円錐プロジェクション、および角錐プロジェクションを含む。

光線プロジェクションは、本開示の目的のために、制御点から延びる単一の線、または制御点からのオフセットである。光線プロジェクションは、ユーザのターゲット物体についてほとんど曖昧さがない。しかしながら、小さいターゲットサイズは、インタラクションを脆くさせる可能性があり、ユーザは、ユーザの手が届く範囲の外側にある個々の物体、特に小さいものを指すことが難しいと見出すことができる。

球プロジェクションは、本開示の目的のために、端部に結び付けられた球を有する光線プロジェクションである。いくつかの実施態様では、ユーザは、光線の長さおよび／または球の直径を制御することができる。他の実施態様では、球の直径および／または光線の長さは、一定であり得る。もっと他の実施態様では、光線の長さは、球が光線に沿ってユーザに最も近い物体と交差するように設定され得る。円柱プロジェクションは、球が光線の全長に沿って平行移動され、プロジェクション制御点から広がる円柱を形成することを除いて、球プロジェクションに類似する。球および円柱プロジェクションは、ユーザの手が届く範囲（たとえば、１～３フィート）のちょうど外側の物体とのインタラクションについて、光線プロジェクションと比較して、選択の正確さを改善する傾向がある。

円錐プロジェクションは、本開示の目的のために、円錐がユーザから離れると広がるように、プロジェクション制御点から広がるとともに直径がより大きくなる円錐プロジェクションである。いくつかの実施態様では、円錐プロジェクションがユーザから離れると広がるように直径が変化する程度は一定であり得る。他の実施態様では、ユーザは、図３０～図３４との関連で、以下に述べられるように、円錐の直径を制御することができる。角錐プロジェクションは、円錐プロジェクションに類似し得るが、円形の底辺に代わって矩形の底辺を使用することができる。

プロジェクションの少なくとも一部が、球、円柱、円錐、または角錐などの３次元であるときのいくつかの場合には、プロジェクションのターゲット物体は、プロジェクションが部分的に交差する物体、プロジェクションが完全に包含する物体、またはプロジェクションが少なくとも閾値量（たとえば、３０％、５０％、または８０％）だけ包含する物体であり得る。プロジェクションターゲットが複数の物体であり得るいくつかの実施態様では、二次選択技法が、ユーザがターゲットにすることを意図する物体をその間で区別するために使用することができる。たとえば、プロジェクションと交差する個々の物体は、ユーザの手の上の指へマップされてもよく、マップされた指の移動（たとえば、指を親指にタップする）により、対応するマップされた物体を追加させる、または対応するマップされた物体をターゲット物体のセットから除去させることができる。別の例として、ユーザの凝視などの別の入力モダリティは、どの交差された物体がターゲット物体になるのか区別することができる。

図１２は、光線プロジェクションを使用した物体インタラクションのための本技術のいくつかの実施態様に使用されるプロセス１２００を示す流れ図である。ブロック１２０２において、プロセス１２００は、１つまたは複数の身体パーツのうちの追跡されたポジションに基づいて光線プロジェクションのために制御点および投影方向を決定することができる。いくつかの実施態様では、図５から図１１との関連で上述したように、制御点は、手のひら、指先、こぶし、手首等であることができ、投影方向は、肩、目、または臀部などの制御点および原点を通過する線に沿っていることができる。他の実施態様では、制御点は、ユーザの目、頭、または胸部などの他の追跡された身体パーツに基づいていることができる。たとえば、制御点は、ユーザの瞳の中心の推定されたポジションであることができ、原点は、ユーザの網膜の中心の推定されたポジションであることができる。場合によって、方向に定めるために原点を使用することに代えて、システムは、制御点に対応する平面を定めることができ、その平面に直交する投影方向を決定することができる。たとえば、制御点が頭または胴上にある場合、システムは、頭または胴に対応する冠状面を識別することができ、その冠状面と直交するような投影方向を識別することができる。

ブロック１２０４において、プロセス１２００は、投影方向に沿って制御点から光線プロジェクション（すなわち直線）を生成することができる。場合によって、光線プロジェクションのグラフィカル表示（光線が物体に当たる線全体またはぴったり点）は、人工現実環境中で表示され得る一方、他の場合には、光線プロジェクションは、光線プロジェクションを表示することなくＸＲシステムによって追跡される。様々な実施態様では、光線プロジェクションは、光線プロジェクションが第１の（現実または仮想）物体と交差するまで制御点から広がることができ、または光線プロジェクションは、複数の物体を通って延びることができる。いくつかの実施態様では、光線プロジェクションの方向は、光線プロジェクションが交差するように近い物体に対して「スナップする」ように調整することができ、または光線プロジェクションは、そのような物体との交差を維持するために閾値量まで曲げられることができる。

ブロック１２０６において、プロセス１２００は、光線プロジェクションと１つまたは複数のターゲット物体の間の交差を決定することができる。いくつかの実施態様では、プロセス１２００は、ユーザが人差し指を親指にタップすることなどの特別のジェスチャを行うときに交差を決定することができる。いくつかの実施態様では、ターゲット物体は、第１の物体によって隠される他の物体を除く、光線プロジェクションが交差する第１の物体であり得る。他の実施態様では、光線は、複数の物体を通って延びることができ、ターゲット物体は、光線プロジェクションが交差する物体の全部であり得る。もっと他の実施態様では、光線が交差する物体は、ユーザの凝視または交差された物体へマップされる指を含むジェスチャなどの他の身体パーツのポジションまたはジェスチャに応じてターゲット物体として識別することができる。

ブロック１２０８において、プロセス１２００は、ブロック１２０６において決定された１つまたは複数のターゲット物体とのインタラクションを引き起こすことができる。たとえば、プロセス１２００は、ターゲット物体を選択し、ターゲット物体を移動もしくは回転させ、または他のインタラクションを行うことができる。

図１３は、光線プロジェクション１３０２の一例１３００を示す概念図である。例１３００では、ユーザの手１３０６は、プロジェクションの開始を指し示すユーザの親指と中指を接続することによるジェスチャを形成している。例１３００では、制御点１３０４は、ユーザの中指からのオフセットである。光線プロジェクション１３０２は、制御点１３０４からターゲット物体１３０８へ延びる。例１３００では、ユーザは、ユーザの人差し指を親指（図示せず）に閉じ、それを再び開き「クリック」ジェスチャを行い、ターゲット物体１３０８を選択させる。

図１４は、円柱プロジェクションを使用した物体インタラクションのための本技術のいくつかの実施態様に使用されるプロセス１４００を示す流れ図である。ブロック１４０２において、プロセス１４００は、１つまたは複数の身体パーツの追跡されたポジションに基づいて円柱プロジェクションについての制御点および投影方向を決定することができる。いくつかの実施態様では、図５から図１１との関連で上述したように、制御点は、手のひら、指先、こぶし、手首等であることができ、投影方向は、肩、目、または臀部などの制御点および原点を通過する線に沿っていることができる。他の実施態様では、制御点は、ユーザの目、頭、または胸部などの他の追跡された身体パーツに基づいていることができる。たとえば、制御点は、ユーザの瞳の中心の推定されたポジションであることができ、原点は、ユーザの網膜の中心の推定されたポジションであることができる。場合によって、方向に定めるために原点を使用することに代えて、システムは、制御点に対応する平面を定めることができ、その平面に直交するような投影方向を決定することができる。たとえば、制御点がまたは胴上にある場合、システムは、頭または胴に対応する冠状面を識別することができ、その冠状面と直交するような投影方向を識別することができる。

ブロック１４０４において、プロセス１４００は、投影方向に沿って制御点から円柱プロジェクションを生成することができる。いくつかの実施態様では、円柱の代わりに、プロジェクションは、光線プロジェクションの端部に球を含む球プロジェクションであってもよい。場合によって、円柱（または球）プロジェクションのグラフィカル表示は、人工現実環境中で表示され得る（たとえば、プロジェクション全体またはプロジェクションが物体と交差するところを示す）一方、他の場合には、円柱（または球）プロジェクションは、プロジェクションを表示することなくＸＲシステムによって追跡される。様々な実施態様では、円柱プロジェクションは、円柱プロジェクションが第１の（現実または仮想）物体と交差するまで制御点から広がることができ、または円柱プロジェクションは、複数の物体と少なくとも部分的に交差するように広がることができる。いくつかの実施態様では、球プロジェクションの光線は、球が第１の（現実または仮想）物体と交差するまで制御点から広がることができ、または球プロジェクションの光線は、一定の距離延びることができる。

ブロック１４０６において、プロセス１４００は、円柱（または球）プロジェクションと１つまたは複数のターゲット物体との間の交差を決定することができる。いくつかの実施態様では、プロセス１４００は、ユーザが人差し指を親指にタップすることなどの特別のジェスチャを行うときに交差を決定することができる。いくつかの実施態様では、ターゲット物体は、円柱（または球）プロジェクションが少なくとも部分的に交差するまたは全体的に包含する第１の物体であり得る。他の実施態様では、ターゲット物体は、円柱（または球）プロジェクションが少なくとも部分的に交差するまたは全体的に包含する物体の全部であり得る。もっと他の実施態様では、円柱（または球）が交差する物体は、ユーザの凝視または交差された物体へマップされる指を含むジェスチャなどの他の身体パーツのポジションまたはジェスチャに応じてターゲット物体として識別することができる。いくつかの実施態様では、図３０～図３４との関連で以下に述べられるように、円柱（または球）の直径は、他のジェスチャ、たとえば、ユーザの手の間の距離、またはユーザの人差し指と親指の先端の間の距離などによって制御することができる。

ブロック１４０８において、プロセス１４００は、ブロック１４０６において決定された１つまたは複数のターゲット物体とのインタラクションを引き起こすことができる。たとえば、プロセス１４００は、ターゲット物体を選択し、ターゲット物体を移動もしくは回転させ、または他のインタラクションを行うことができる。

図１５は、円柱プロジェクション１５０２の一例１５００を示す概念図である。例１５００では、ユーザの手１５０６は、プロジェクションの開始を指し示すユーザの親指と中指を接続することによるジェスチャを形成している。例１５００では、制御点１５０４は、ユーザの中指からのオフセットである。円柱プロジェクション１５０２は、制御点１５０４からターゲット物体１５０８へ延び、ターゲット物体１５０８Ａ、１５０８Ｂ、１５０８Ｃ、１５０８Ｄ、および１５０８Ｅの各々と少なくとも部分的に交差する。例１５００では、ユーザは、ユーザの手１５０６を時計回り（図示せず）回転させることによってジェスチャを行っており、ターゲット物体１５０８Ａ～Ｅを選択させる。

図１６は、円錐プロジェクションを使用した物体インタラクションのための本技術のいくつかの実施態様に使用されるプロセス１６００を示す流れ図である。ブロック１６０２において、プロセス１６００は、１つまたは複数の身体パーツの追跡されたポジションに基づいてプロジェクションのための制御点および投影方向を決定することができる。いくつかの実施態様では、図５から図１１との関連で上述したように、制御点は、手のひら、指先、こぶし、手首等であることができ、投影方向は、肩、目、または臀部などの制御点および原点を通過する線に沿っていることができる。他の実施態様では、制御点は、ユーザの目、頭、または胸部などの他の追跡された身体パーツに基づいていることができる。たとえば、制御点は、ユーザの瞳の中心の推定されたポジションであることができ、原点は、ユーザの網膜の中心の推定されたポジションであることができる。場合によって、方向を定めるために原点を使用する代わりに、システムは、制御点に対応する平面を定めることができ、その平面に直交するような投影方向を決定することができる。たとえば、制御点が頭または胴上にある場合、システムは、頭または胴に対応する冠状面を識別することができ、その冠状面と直交するような投影方向を識別することができる。

ブロック１６０４において、プロセス１６００は、制御点に円錐先端を有する円錐プロジェクションを生成することができ、円錐は投影方向に沿ってユーザから離れるように広がる。いくつかの実施態様では、円錐の代わりに、プロジェクションは、制御点に角錐先端を有する角錐プロジェクションであることができ、角錐は投影方向に沿って広がる。場合によって、円錐（または角錐）プロジェクションのグラフィカル表示（たとえば、円錐もしくは角錐全体の表示、またはプロジェクションが物体に交差することの表示）は、人工現実環境中で表示され得る一方、他の場合には、円錐（または角錐）プロジェクションは、プロジェクションを表示することなくＸＲシステムによって追跡される。様々な実施態様では、円錐（または角錐）プロジェクションは、円錐（または角錐）プロジェクションが第１の（現実または仮想）物体に交差するまで制御点から広がることができ、または円錐（または角錐）プロジェクションは、複数の物体に少なくとも部分的に交差するように広がることができる。

ブロック１６０６において、プロセス１６００は、円錐（または角錐）プロジェクションと１つまたは複数のターゲット物体との間の交差を決定することができる。いくつかの実施態様では、プロセス１６００は、ユーザが人差し指を親指にタップすることをなどの特別のジェスチャを行うときに交差を決定することができる。いくつかの実施態様では、ターゲット物体は、円錐（または角錐）プロジェクションが少なくとも部分的に交差するまたは全体的に包含する第１の物体であることができる。他の実施態様では、ターゲット物体は、円錐（または角錐）プロジェクションが少なくとも部分的に交差するまたは全体的に包含する物体の全部であり得る。もっと他の実施態様では、円錐（または角錐）が交差する物体は、ユーザの凝視、または交差された物体へマップされる指を含むジェスチャなど他の身体パーツのポジションまたはジェスチャに応じてターゲット物体として識別することができる。いくつかの実施態様では、図３０～図３４との関連で以下に述べられるように、円錐の直径は、ユーザの手の間の距離またはユーザの人差し指と親指の先端間の距離などの他のジェスチャによって制御され得る。

ブロック１６０８において、プロセス１６００は、ブロック１６０６において決定された１つまたは複数のターゲット物体とのインタラクションを引き起こすことができる。たとえば、プロセス１６００は、ターゲット物体を選択し、ターゲット物体を移動もしくは回転させ、または他のインタラクションを行うことができる。

図１７は、２つの円錐プロジェクション１７０２および１７５２の一例１７００を示す概念図である。ユーザの手１７０６および１７５６は、プロジェクションの開始を指し示す親指および中指を接続することによるジェスチャを形成している。例１７００では、制御点１７０４および１７５４は、ユーザの中指からのオフセットである。円錐プロジェクション１７０２は、制御点１７０４から広がり、円錐プロジェクション１７０２がターゲット物体１７０８と交差する、ターゲット物体１７０８Ａ、１７０８Ｂ、１７０８Ｃ、１７０８Ｄ、および１７０８Ｅの各々と少なくとも部分的に交差するまで直径が増加する。例１７００では、物体は、プロジェクションがそれらと交差するとすぐに選択され、したがって、ターゲット物体１７０８Ａ～Ｅは、円錐プロジェクション１７０２によって選択される。円錐プロジェクション１７５２は、制御点１７５４から広がり、やはり直径を増加させる。しかしながら、ターゲット物体１７５８は、ターゲット物体１７０８が手１７０６に対するよりも手１７５６に近く、したがって円錐プロジェクション１７５２だけがターゲット物体１７５８と交差する。プロジェクションがそれらと交差するとすぐに物体が例１７００において選択されるので、ターゲット物体１７５８は、円錐プロジェクション１７５２によって選択される。

いくつかの実施態様では、手インタラクションシステムは、現在のコンテキストに基づいて投影するあるタイプのプロジェクションを自動的に選択することができる。たとえば、明らかなターゲット物体が密接にグループ化されるとき（たとえば、別のタイプのプロジェクションが閾値数の物体よりも多く包含するとき、またはプロジェクションの中心から閾値距離内の物体が、互いから閾値距離内であるとき）、システムは、光線プロジェクションを使用することができる。別の例として、手インタラクションシステムは、光線プロジェクションが交差する最も近い物体が閾値距離よりも大きく離れているとき、球または円錐プロジェクションに切り換えることができる。図１８は、プロジェクションタイプのコンテキストに基づく選択のための本技術のいくつかの実施態様に使用されるプロセス１８００を示す流れ図である。

ブロック１８０２において、プロセス１８００は、ユーザ凝視のためにインタラクション平面を識別することができる。インタラクション平面は、ユーザが現在インタラクトしている物体の（または複数の物体間の中心についての）人工現実環境中の平面である。たとえば、インタラクション平面は、ユーザの追跡された凝視が向けられる平面に基づいて決定することができる。別の例として、ユーザが仮想物体を選択した場合、インタラクション平面は、その物体を中心とすることができる。ブロック１８０４において、プロセス１８００は、ユーザとブロック１８０２において識別されるインタラクション平面との間で人工現実環境の仮想空間内の距離を計算することができる。

ブロック１８０６において、プロセス１８００は、現在のターゲット物体の表面タイプを識別することができる。様々な実施態様では、表面タイプは、ターゲット物体の表面が平らであるか否か、ターゲット物体のサイズ、ターゲット物体がコントロール部を含むか、ターゲット物体がどんなタイプのコントロール部を含むか、ユーザまたは他のユーザがどんなタイプのインタラクションをターゲット物体との関連で前に行っていたか等に基づいて分類することができる。他の実施態様では、タイプは、たとえば、物体のクリエータによってターゲット物体に割り当てられたセッティングであり得る。いくつかの実施態様では、プロセス１８００は、ブロック１８０２の代わりに、ブロック１８０６で始まることができる。様々な実施態様では、プロセス１８００は、ブロック１８０６を含んでもよく、またはスキップしてもよい。

ブロック１８０８において、プロセス１８００は、ブロック１８０４において計算された距離および／またはブロック１８０６において識別された表面タイプに基づいてプロジェクションタイプを選択することができる。いくつかの実施態様では、この選択は、プロジェクションタイプへの距離範囲のマッピングに基づいていることができる。たとえば、インタラクション平面がユーザの３フィート以内にあるときに、光線プロジェクションが使用されてもよく、インタラクション平面がユーザの３フィートから７フィートにあるときに、円柱プロジェクションが使用されてもよく、インタラクション平面がユーザから７フィートよりも大きいときに、円錐プロジェクションが使用されてもよい。他の実施態様では、マッピングは、プロジェクションタイプへの表面タイプのものであり得る。たとえば、表面タイプが複数のボタンおよびコントロール部を有する平らな表面を指し示す場合、光線プロジェクションが使用されてもよく、さもなければ円柱プロジェクションが使用されてもよい。もっとさらなる実施態様では、マッピングは、プロジェクションタイプへの距離範囲および表面タイプのペアに関し得る。たとえば、インタラクション平面は、ユーザの３フィート内であり、表面タイプが複数のボタンおよびコントロール部を有する平らな表面を指し示すとき、光線プロジェクションが使用されてもよく、インタラクション平面がユーザの３フィート以内にあり、表面タイプが、コントロール部がないことを指し示すとき、円柱プロジェクションが使用されてもよく、インタラクション平面がユーザから３フィートから７フィートであり、表面タイプが、物体が７インチの閾値よりも大きいことを示すとき、円柱プロジェクションが使用されてもよいが、表面タイプが、物体が７インチの閾値よりも小さいことを示す場合、光線プロジェクションが使用されてもよく、インタラクション平面がユーザから７フィートよりもそれ以上である場合、表面タイプに関せず円錐プロジェクションが使用されてもよい。

複数物体選択
ユーザが人工現実環境中で動作するとき、ユーザは、さらなるインタラクションのために様々な物体を選択する、または物体に対して動作を行うためにＸＲシステムを特定することができる。いくつかの既存のＸＲシステムが、各物体に向けられた指ジェスチャを行うことなどによって物体を選択するための技法を有するが、これらの技法は、いくつかの欠点を有する。たとえば、ユーザが物体のグループを選択することを所望するとき、各物体を個々に選択することは、時間がかかり、イライラさせるものであり、余分の処理能力を必要とする。離れているまたは小さい物体を選択するとき、既存の技法は、低精度および正確さに悩まされ、ユーザがどの物体を選択することを意図するのかＸＲシステムが正しく解釈するのを難しくさせる。また、ユーザが、ＸＲシステムの観点から、互いを隠す物体を選択する意図があるとき、ＸＲシステムは、ユーザが選択する意図がある物体を一義化する仕方を知らない。さらに、既存のＸＲシステムの場合、物体が他の物体の密集場内にあるとき、物体グループ内のユーザの意図の集中改良は不可能である。

既存のシステムにおけるこれらの欠点を克服するための技術は、複数の物体を選択するための「切断」ジェスチャ、「投げ縄」ジェスチャ、および「フレーム」ジェスチャ、コントロール部を起動するために「切断・クリック」ジェスチャ、ならびに潜在的なターゲット物体間で一義化するための様々なツーハンデッドの「両手を用いる」ジェスチャを識別し、解釈するシステムおよびプロセスを含む。

図１９は、切断ジェスチャを用いて物体を選択するための本技術のいくつかの実施態様に使用されるプロセス１９００を示す流れ図である。ブロック１９０２において、プロセス１９００は、物体選択の開始に対応するアクションを識別することができる。いくつかの実施態様では、アクションは、ユーザの親指と人差し指または中指との間の「ピンチ」などの特別のジェスチャであることができる。いくつかの実施態様では、アクションは、ユーザの手が視野内にあること、現在の手の追跡ポジションの信頼値が閾値よりも上にあること、または手が静止状態にないことといったインジケーションのうちの１つまたは複数を手の追跡システムが与えることなどのゲーティング条件を識別することを含むこともできる。

ブロック１９０４において、プロセス１９００は、１つまたは複数の身体パーツの追跡されたポジションに基づいて制御点および投影方向を継続的に決定することができる。たとえば、身体パーツは、手のパーツ（たとえば、指先、手首、手のひら、こぶし等）、目、頭、胸部または胴、脚または足等であり得る。制御点は、身体パーツの１つにあり得る、または身体パーツからオフセットされ得る。いくつかの実施態様では、投影方向は、ユーザの目の一方と制御点を接続する線に沿っていることができる。たとえば、プロセス１９００は、物体と、制御点から外向きに延びるとともに制御点とユーザの利き目の両方に交差する線との間の交差を記録することができる。この例の効果は、それらが制御点を移動させることによって空間内の「描き」のようにユーザに現れる。他の実施態様では、図５から図１１との関連で上述したように、プロジェクションが使用されてもよい。これらの実施態様では、投影方向は、制御点、および肩、目、または臀部などの原点を通過する線に沿っていることができる。いくつかの実施態様では、描きは、ユーザの凝視によって行われてもよく、制御点は、ユーザの瞳の中心の推定されたポジションであることができ、原点は、ユーザの網膜の中心の推定されたポジションであることができる。

ブロック１９０６において、プロセス１９００は、投影方向に基づいて経路を表示することができる。経路は、制御点および投影方向によって指し示される位置の記録であり得る。いくつかの実施態様では、経路は、ユーザが制御点を移動させることによって人工現実環境中で経路を描いているかのようにユーザに現れることができる。他の実施態様では、経路は、プロジェクションの端部にユーザが経路を作り出しているかのようにユーザに現れることができる。いくつかの実施態様では、プロセス１９００は、経路を表示せず、ブロック１９０６をスキップする。

ブロック１９０８において、プロセス１９００が制御点および投影方向を継続的にモニタするときに、プロセス１９００は、ユーザの視点から、制御点が交差する任意の物体を記録することができる。いくつかの実施態様では、プロセス１９００は、投影プロジェクションが交差する任意の物体のインジケーションを記録することができる。

ブロック１９１０において、ユーザがジェスチャを解除すること、またはユーザの手の移動の速さが閾値を下回ることなどの１つまたは複数のトリガに応答して、プロセス１９００は、ブロック１９０８においてインジケーションが記録された物体を選択することができる。たとえば、プロセス１９００は、５つの指先全てをくっつけるジェスチャをユーザが形成したことを認識することによって、ブロック１９０２において開始することができた。ブロック１９０４、１９０６、および１９０８において、プロセス１９００は、ユーザの指先のちょうど正面の点を制御点として監視し、ユーザの利き目の追跡されたポジションに基づいて方向を決定し、ユーザの視点から制御点が交差される各物体を記録しておくことができた。プロセス１９００は、ユーザが５本の指のジェスチャを解除するまでこれを続けていることができた。この点においてプロセス１９００は、任意の記録された物体が選択されることを可能にする。

図２０は、切断ジェスチャを使用して物体を選択する一例２０００を示す概念図である。例２０００において、ユーザは、ジェスチャ２００２を作ることによって、ユーザの親指先、人差し指先、および中指先をくっつけ始めた。次いで、手インタラクションシステムは、制御点２００４（ジェスチャ２００２の正面でずれた点）および投影方向２００６を追跡し始めた。例２０００において、投影方向２００６は、ユーザの目（図示せず）および制御点２００４を接続する線を決定することによって形成される。したがって、ユーザの視点から、制御点２００４は、ドロー点２００８を隠す。まず、ユーザがジェスチャ２００２を形成したとき、ドロー点２００８は、点２０１０にあった。次いで、ユーザは、ユーザの手を移動させ、制御点２００４を移動させ、これによりドロー点２００８を点２０１０から経路２０１２に沿って進行させた。結果として、経路２０１２は、物体２０１４および２０１６と交差するが、物体２０１８と交差せず、手インタラクションシステムにより物体２０１４および２０１６のインジケーションを記録する。例２０００において、手インタラクションシステムは、ユーザが見るために人工現実環境中の経路２０１２を表示する。ユーザがジェスチャ２００２を解除すると、手インタラクションシステムは、記録されたインジケーションに基づいて物体２０１４および２０１６を選択する。本明細書の図に示されるように、物体は、その図中の他の物体と比較して、その物体のワイヤフレームが太線を有するときに「選択される」ものとして示される。

図２１は、切断・クリックジェスチャを使用して物体を作動させるための本技術のいくつかの実施態様に使用されるプロセス２１００を示す流れ図である。ブロック２１０２において、プロセス２１００は、物体選択の開始に対応するアクションを識別することができる。いくつかの実施態様では、アクションは、ユーザの親指と人差し指または中指との間の「ピンチ」などの特別のジェスチャであることができる。いくつかの実施態様では、アクションは、ユーザの手が視野内にあること、現在の手追跡ポジションの信頼値が閾値よりも上にあること、または手が静止状態にないことといった１つまたは複数のインジケーションを手追跡システムが与えることなどのゲーティング条件を識別することを含むこともできる。

ブロック２１０４において、プロセス２１００は、１つまたは複数の身体パーツの追跡されたポジションに基づいて制御点および投影方向を継続的に決定することができる。身体パーツは、たとえば、手のパーツ（たとえば、指先、手首、手のひら、こぶし等）、目のパーツ、頭、胸部または胴、脚または足等であり得る。制御点は、身体パーツの１つにあり得る、または身体パーツからオフセットされ得る。いくつかの実施態様では、投影方向は、ユーザの目の一方と制御点を接続する線に沿っていることができる。たとえば、プロセス２１００は、物体と制御点から外向きに延びるとともに制御点とユーザの利き目の両方に交差する線に沿って下る線との間の交差を記録することができる。この例の効果は、それらが制御点を移動させることによって空間内の「描き」のようにユーザに現れる。他の実施態様では、図５から図１１との関連で上述したようにプロジェクションが使用されてもよい。これらの実施態様では、投影方向は、制御点および肩、目、または臀部などの原点を通過する線に沿っていることができる。いくつかの実施態様では、描きは、ユーザの凝視によって行われてもよく、制御点は、ユーザの瞳の中心の推定されたポジションであることができ、原点は、ユーザの網膜の中心の推定されたポジションであることができる。

ブロック２１０６において、プロセス２１００は、投影方向に基づいて経路を表示することができる。経路は、制御点および投影方向によって指し示される位置の記録であり得る。いくつかの実施態様では、経路は、ユーザが制御点を移動させることによって人工現実環境中で経路を描いているかのようにユーザに現れることができる。他の実施態様では、経路は、プロジェクションの端部にユーザが経路を作り出しているかのようにユーザに現れることができる。いくつかの実施態様では、プロセス２１００は、経路を表示せず、ブロック２１０６をスキップする。

ブロック２１０８において、プロセス２１００が制御点および投影方向を継続的にモニタするときに、プロセス２１００は、投影方向に基づいているユーザの視点から制御点が交差する任意の物体を記録することができる。プロジェクションが使用されるいくつかの実施態様では、プロセス２１００は、プロジェクションが交差する任意の物体のインジケーションを記録することができる。いくつかの実施態様では、交差を記録することに代えてまたは加えて、プロセス２１００が（ボタンまたは他のコントロール部などの）アクション可能な物体との交差を識別しているときにはいつでも、プロセス２１００は、物体を作動させることができる。

ブロック２１１０において、ユーザがジェスチャを解除すること、またはユーザの手の移動の速さが閾値を下回ることなどの１つまたは複数のトリガに応答して、プロセス２１００は、ブロック２１０８においてインジケーションが記録された物体を作動させることができる。たとえば、プロセス２１００は、５つの指先全てをくっつけるジェスチャをユーザが形成したことを認識することによって、ブロック２１０２において開始することができた。ブロック２１０４、２１０６、および２１０８において、プロセス２１００は、制御点としてのユーザの指先のちょうど正面で点をモニタし、ユーザの利き目の追跡されたポジションに基づいて方向を決定し、ユーザの視点から制御点が交差するアクション可能な各物体を記録することができた。プロセス２１００は、ユーザが５本の指のジェスチャを解除するまでこれを継続していることができ、その時点で、プロセス２１００は、任意の記録された物体を作動させることができる。いくつかの実施態様では、プロセス１９００および２１００は、制御点を移動することでアクション可能な交差された物体が作動され、他の交差された物体が選択できる場合に一緒に行うことができる。いくつかの実施態様では、アクション可能な物体が作動され、アクション可能な物体およびアクション不可能な物体の両方が選択される。

図２２は、切断・クリックジェスチャを使用してボタン物体を作動させる一例２２００を示す概念図である。例２２００において、ユーザは、ジェスチャ２２０２を行い、ユーザの親指先と中指先をくっつけることによって始めた。次いで、手インタラクションシステムは、制御点２２０４（ジェスチャ２２０２の正面でずれた点）および投影方向２２０６を追跡し始めた。例２２００において、投影方向２２０６は、ユーザの目（図示せず）と制御点２２０４を接続する線を決定することによって形成される。したがって、ユーザの視点から、制御点２２０４は、ドロー点２２０８を隠す。まず、ユーザがジェスチャ２２０２を形成したとき、ドロー点２２０８は、点２２１０にあった。次いで、ユーザは、ユーザの手を移動させ、制御点２２０４を移動させ、これによりドロー点２２０８を点２２１０から経路２２１２に沿って進行させた。結果として、経路２２１２は、ボタン物体２２１４と交差し、手インタラクションシステムにボタン物体２２１４を作動させる。例２２００において、手インタラクションシステムは、人工現実環境中に経路２２１２を表示する。

図２３は、投げ縄ジェスチャを使用して物体を選択するための本技術のいくつかの実施態様に使用されるプロセス２３００を示す流れ図である。ブロック２３０２において、プロセス２３００は、物体選択の開始に対応するアクションを識別することができる。いくつかの実施態様では、アクションは、ユーザの親指と人差し指または中指との間の「ピンチ」などの特別のジェスチャであることができる。いくつかの実施態様では、アクションは、ユーザの手が視野内にあること、現在の手追跡ポジションの信頼値が閾値よりも上にあること、あるいは手が静止状態にないことといった１つまたは複数インジケーションを手追跡システムが与えることなどのゲーティング条件を識別することを含むこともできる。

ブロック２３０４において、プロセス２３００は、１つまたは複数の身体パーツの追跡されたポジションに基づいて制御点および投影方向を継続的に決定することができる。身体パーツは、たとえば、手のパーツ（たとえば、指先、手首、手のひら、こぶし等）、目のパーツ、頭、胸部または胴、脚または足等であり得る。制御点は、身体パーツの１つにあり得る、または身体パーツからオフセットされ得る。いくつかの実施態様では、投影方向は、ユーザの目の一方を制御点に接続する線に沿っていることができる。たとえば、プロセス２３００は、ユーザが制御点を移動させることに基づいて、ユーザの目先における歪んだ円錐の先端および歪んだ円錐の辺の形状が形成された歪んだ円錐内に物体が入るか決定することができる。本明細書中で使用されるとき、「歪んだ円錐」は、必ずしも円形または楕円形ではない底面を有する円錐である。いくつかの実施態様では、歪んだ円錐形状は、ユーザがユーザの凝視を移動させることによって作り出すことができ、この凝視は、ユーザの瞳の中心の推定されたポジションおよびユーザの瞳の中心の推定されたポジションから形成される線によって決定される。

ブロック２３０６において、プロセス２３００は、投影方向に基づいて経路を表示することができる。経路は、制御点および投影方向によって指し示される位置の記録であり得る。いくつかの実施態様では、経路は、ユーザが制御点を移動させることによって人工現実環境中で経路を描いているかのようにユーザに現れることができる。いくつかの実施態様では、プロセス２３００は、経路を表示せず、ブロック２３０６をスキップする。

ブロック２３０８において、プロセス２３００が制御点および投影方向を継続的にモニタするときに、プロセス２３００は、制御点のユーザ移動が投げ縄入力として意図されたことを決定することができる。いくつかの実施態様では、プロセス２３００は、経路のインジケーションを、投げ縄入力を識別するように訓練された機械学習モデルに与えることによってこの決定を行う。いくつかの実施態様では、プロセス２３００は、ユーザの眺めから経路を２Ｄ平面に平滑化し、経路がそれ自体交差することを決定することによってこの決定を行う。投げ縄入力は、投げ縄入力によって形成される形状の閉じられたアウトラインを定めることができる。投げ縄入力が閉じられた形状を作らない場合、プロセス２３００は、投げ縄入力に適合する直線または曲線を用いてアウトラインを閉じることができる。

ブロック２３１０において、投げ縄入力の識別、ユーザがジェスチャを解除すること、またはユーザの手の移動の速さが閾値を下回ることなどの１つまたは複数のトリガに応答して、プロセス２３００は、ユーザの目の一方で歪んだ円錐の先端、および投げ縄入力によって定められた閉じられた形状によって形成される歪んだ円錐形状が形成された歪んだ円錐を識別することができる。たとえば、歪んだ円錐は、ユーザの目から延び、閉じられた形状上の点を通過する可能な各線によって形成され得る。

ブロック２３１２において、プロセス２３００は、ブロック２３１０において識別された歪んだ円錐内に入る物体を選択することができる。いくつかの実施態様では、プロセス２３００は、歪んだ円錐に少なくとも部分的に交差する、または歪んだ円錐内に閾値量（たとえば、少なくとも３０％、５０％、または７５％）の物体の体積を有する物体を選択することもできる。たとえば、プロセス２３００は、５つの指先全てをくっつけるジェスチャをユーザが形成したことを認識することによって、ブロック２３０２において開始することができた。ブロック２３０４～２３１０において、プロセス２３００は、ユーザの指先のちょうど正面の点を制御点として監視し、ユーザの利き目の追跡されたポジションに基づいて方向を決定し、ユーザの視点から制御点によって定められた経路を追跡し、経路が投げ縄入力を形成したことを決定するために機械学習モデルを使用した。次いで、プロセス２３００は、ユーザの目先で始まり、投げ縄入力の閉じた部分上のあらゆる点を通ってやはり延びるように移動される線の経路によって定められた歪んだ円錐を識別することができた。次いで、プロセス２３００は、歪んだ円錐内に少なくとも部分的に入る任意の物体を選択させることができた。

いくつかの実施態様では、本明細書に説明される多数の選択プロセスは、単一のジェスチャに組み合わせることができる。たとえば、プロセス１９００および２３００は、組み合わせることができる。一例では、プロセス１９００は、ブロック１９０２において、入力が投げ縄ジェスチャであるかを決定するためにブロック２３０８から分析を継続的に行いつつ始めることができる。投げ縄ジェスチャが識別される場合、プロセス１９００は、プロセス２３００のブロック２３０８へ移行することができる。投げ縄ジェスチャが識別されない場合、プロセス１９００は、継続することができる。別の例では、ユーザによって描かれた投げ縄ジェスチャは、始めおよび／または終わりの「末端」で、閉じられた形状を有することができる。プロセス１９００および２３００のこの例の組合せは、ユーザの視点から（末端を含む）投げ縄ジェスチャの経路に交差する全ての物体を選択することができ、投げ縄ジェスチャの閉じられた形状部分によって形成された歪んだ円錐の内側に入る全ての物体を選択することができる。別の例では、プロセス２１００は、プロセス２３００によって選択されるいずれのアクション可能な物体も作動されることが可能であるようにプロセス２３００と組み合わされてもよい。

図２４Ａは、投げ縄ジェスチャを使用して物体を選択する一例２４００を示す概念図である。例２４００では、ユーザは、ジェスチャ２４０２を行い、ユーザの親指先、人差し指先、および中指先をくっつけることによって始めた。次いで、手インタラクションシステムは、制御点２４０４（ジェスチャ２４０２の正面でずれた点）、およびユーザの目（図示せず）および制御点２４０４を接続する線を決定することによって形成される投影方向を追跡し始めた。したがって、ユーザの視点から、制御点２４０４を移動させることが、人工現実環境中に経路を「描く」ために使用することが可能である。まず、ユーザがジェスチャ２４０２を形成したとき、ユーザは、点２４０６で描き始めた。次いで、ユーザは、ユーザの手を移動し、制御点２４０４を移動させ、経路２４０８を作り出した。経路２４０８が点２４１０において（ユーザの視点から）それ自体と交差するとき、手インタラクションシステムは、機械学習モデルに基づいて、ユーザが投げ縄選択を描いたことを決定した。次いで、手インタラクションシステムは、経路２４０８の閉じたセクションを歪んだ円錐（図示せず）に形成し、歪んだ円錐が物体２４１２、２４１４、および２４１６と少なくとも部分的に交差することを決定した。したがって、手インタラクションシステムは、交差された物体２４１２、２４１４、および２４１６を選択した。

図２４Ｂは、投げ縄ジェスチャを使用して物体を選択する一例２４５０を示す別の概念図である。例２４５０において、ユーザは、例２４００と同様にジェスチャに基づいて制御点を移動させることによって、閉じられた形状２４５２で経路を形成した。手インタラクションシステムは、ユーザの利き目２４５６先に円錐の先端を有し、歪んだ円錐の縁部が閉じられた形状２４５２と一致するように延びる歪んだ円錐２４５４を形成した。次いで、手インタラクションシステムは、形状２４５２を越える（すなわち、ユーザから閉じられた形状２４５２の反対側にある）、歪んだ円錐２４５４のその部分と交差する任意の物体を決定した。例２４５０において、これらは、物体２４５６および２４５８である。したがって、手インタラクションシステムは、交差された物体２４５６および２４５８を選択したが、交差していない物体２４６０および２４６２を選択しなかった。

図２５は、フレームジェスチャを使用して物体を選択するための本技術のいくつかの実施態様に使用されるプロセス２５００を示す流れ図である。ブロック２５０２において、プロセス２５００は、物体選択の開始に対応するアクションを識別することができる。いくつかの実施態様では、アクションは、各手のユーザの親指がその手の人差し指または中指に触れることで形成され、２つのピンチが親指／他の指の交差点で触れるツーハンデッド「ピンチ」ジェスチャであり得る。いくつかの実施態様では、アクションは、親指を床に直交して上に突き出させるとともに人差し指を床に平行にさせた第１の手と親指を床に直交して下に突き出させるとともに人差し指を床に平行にさせた第２の手とで形成され、矩形の２つの対向したコーナを定める、ツーハンデッド「Ｌ」ジェスチャであり得る。いくつかの実施態様では、ジェスチャは、三角形または楕円形などの別の形状を定める片手または両手のユーザの指であり得る。いくつかの実施態様では、ジェスチャは、片手で形成され得る。たとえば、ジェスチャは、開かれたときに、ユーザの親指および他の指の先端における点に対応する矩形の対向点を定めるピンチであり得る。別の例として、ジェスチャは、システムが制御点を追跡することを始めるピンチであり得る。制御点は、矩形の対向点を線の始点および終点として定める線を描くように移動され得る。いくつかの実施態様では、アクションは、ユーザの手が視野内にあること、現在の手追跡ポジションの信頼値が閾値よりも上にあること、あるいは手が静止状態にないことといった１つまたは複数のインジケーションを手追跡システムが与えることなどのゲーティング条件を識別することを含むこともできる。

ブロック２５０４において、プロセス２５００は、第１のユーザの手の第１の追跡された部分および第２のユーザの手の第２の追跡された部分によって定められた形状を継続的に決定することができる。形状は、矩形であってもよく、追跡された手の部分は、矩形の対向したコーナに対応するブロック２５０２において識別された点であり得る。ユーザが手を移動させるとき、プロセス２５００は、矩形についての新しいサイズおよびポジションを決定することができる。他の実施態様では、形状は、線、または所与の形状に従うようにこの線を接続するおよび／または線をスナップする曲線を、ユーザの手の部分に認めることによって定めることができる。たとえば、プロセス２５００は、矩形を認識するように構成することができ、ユーザは、それぞれの手でＬ形を作ることができる。プロセス２５００は、Ｌ形のパーツを作る各指に線を認め、それを交差するように延ばし、適正な角度を形成するようにこれらの４つの線をスナップし、矩形を作ることができる。別の例として、プロセス２５００は、楕円形を認識するように構成されてもよく、ユーザは、一方の手の親指と人差し指を用いた「Ｃ」形、および別の逆向きの他方の手の親指と人差し指を用いた「Ｃ」形を作ることができる。プロセス２５００は、曲線を各Ｃ形に認め、曲線を交差するように延ばし、これらの曲線を楕円形を形成するように滑らかにすることができる。上述したように、いくつかの実施態様では、形状は、単一の手を使用したジェスチャによって定めることができ、たとえば、矩形は、ユーザの人差し指および親指の点で定められる対向したコーナで形成され、または矩形の対向したコーナを線の始点および終点として定める（ブロック１９０２および１９０４によって追跡された経路と同様に）ユーザによって描かれた線に基づいて形成される。

ブロック２５０６において、プロセス２５００は、ブロック２５０４において決定された形状の（アウトラインなどの）表示を表示することができる。たとえば、ユーザがピンチジェスチャを使用して矩形の対向したコーナを引き離すようにジェスチャを作っている場合、矩形は、継続的に描かれ、矩形のアウトラインをユーザに示すことができる。いくつかの実施態様では、プロセス２５００は、形状表示を表示せず、ブロック２５０６をスキップする。

ブロック２５０８において、プロセス２５００は、ユーザの目の一方に角錐の先端が形成された角錐を識別することができ、角錐壁は、ブロック２５０４において決定された矩形に基づいて形成されている。たとえば、角錐は、ユーザの目から延びるとともに、矩形の一縁を通過する４つの三角形によって形成することができる。ブロック２５０４において決定された形状が矩形以外であるいくつかの実施態様では、形状が三角形である場合には四面体、または形状が（ブロック２３１０と同様に形成された）楕円形である場合には円錐などの他の３Ｄ形状が決定されてもよい。

ブロック２５１０において、ブロック２５０２におけるアクションの識別に継続的に従って、ブロック２５０２において識別されたジェスチャをユーザが解除すると、またはユーザの手の移動の速さが閾値を下回るときなどの１つまたは複数のトリガに応答して、プロセス２５００は、ブロック２５０８において識別された角錐（または他の形状）内に入る物体を選択することができる。いくつかの実施態様では、プロセス２５００は、角錐（または他の形状）に少なくとも部分的に交差する、または物体内に閾値量（たとえば、少なくとも２０％、５０％、または８５％）の物体の体積を有する物体を選択することもできる。たとえば、プロセス２５００は、２つの触れているピンチジェスチャをユーザが形成したことを認識することによってブロック２５０２において開始され得る。ブロック２５０４～２５１０において、プロセス２５００は、ユーザがユーザの２つのピンチジェスチャを引き離すときにユーザの２つのピンチジェスチャにおける対向したコーナが形成された矩形のサイズおよびポジションを継続的に決定することができた。次いで、プロセス２５００は、ユーザが見るようにこの矩形を描き、ユーザの利き目先に先端を有するとともに矩形によって定められた角錐形状を有する角錐を識別し、角錐内に少なくとも部分的に入る任意の物体を選択させることができた。

いくつかの実施態様では、本明細書に説明される多数の選択プロセスは、単一のジェスチャに組み合わせることができる。たとえば、プロセス２１００および２５００は、プロセス２５００によって選択された任意のアクション可能な物体がやはり駆動され得るように組み合わされてもよい。

図２６Ａは、フレームジェスチャを使用して物体を選択する一例２６００を示す概念図である。例２６００において、ユーザは、ジェスチャ２６０２Ａおよび２６０２Ｂを作り、親指先と人差し指先をくっつけ、点２６１２でそれらのジェスチャ触れ合わせることによって始めた。次いで、手インタラクションシステムは、ユーザの視点からジェスチャ２６０２Ａおよび２６０２Ｂの位置に基づいて矩形２６０４の対向したコーナを追跡し始めた。したがって、ユーザの視点から、ジェスチャ点２６０２Ａおよび２６０２Ｂを移動させることで、矩形２６０４を形成した。ユーザがユーザの手を離すように移動させたとき、矩形２６０４のコーナは離れるように移動し、矩形２６０４のサイズを増大させた。ユーザがこの矩形を形成したとき、手インタラクションシステムは、ユーザの利き目先に角錐先端および矩形２６０４の縁部を通って延びる辺が形成された角錐を決定した。例２６００において、手インタラクションシステムは、ユーザがジェスチャ２６０２Ａまたは２６０２Ｂの一方を解除するまで、角錐と少なくとも部分的に交差する物体を継続的に選択した（または選択解除した）。したがって、手インタラクションシステムは、交差された物体２６０６および２６０８を選択したが、２６１０を選択しなかった。

図２６Ｂは、フレームジェスチャを使用して物体を選択する一例２６５０を示す別の概念図である。例２６５０において、ユーザは、例２６００と同様に、２つのピンチジェスチャを形成し、２つのピンチジェスチャを引き離すことによって矩形２６５２を形成した。手インタラクションシステムは、ユーザの利き目２６５６先に角錐の先端を有し、角錐の縁部を形成する４つの三角形が矩形２６５２に一致するように延びる角錐２６５４を形成した。次いで、手インタラクションシステムは、矩形２６５２を共に越える（すなわち、ユーザから矩形２６５２の反対側にある）とともに、角錐２６５４内に完全に入る任意の物体を決定した。例２６５０において、これは、物体２６５８である。したがって、手インタラクションシステムは、包まれた物体２６５８を選択したが、包まれていない物体２６６０および２６６２を選択しなかった。

両手を用いるインタラクション
単一の手ジェスチャは、ＸＲシステムとインタラクトするときにユーザが表現できる仕方を制限する。手インタラクションシステムは、ユーザの両方の手の姿勢を追跡することができ、第２の手（たとえば、非利き手）が第１の手（たとえば、利き手）によって制御されたジェスチャにニュアンスを与えることを可能にする。これらの両手を用いる（すなわち、ツーハンデッド）インタラクションは、ユーザがユーザの日常体験およびスキルを人工現実環境中のインタラクションに伝達することを可能にする。たとえば、上述したプロジェクションキャスティング技法を用いてインタラクションを行うとき、プロジェクションは、物体が緊密にグループ化され、ユーザがそのサブセットを選択することを望むとき、または物体が散開され、ユーザがそれらの全部を選択することを望むとき、ユーザが意図するよりも多いまたは少ない物体と、複数の物体が互いを隠すように交差することができる。これらの場合には、第２の手によって（および／または同じ手の異なるパーツを用いて）行われる第２のジェスチャは、光線プロジェクションの長さ（たとえば、「フック」インタラクション）、または円錐プロジェクションの直径（たとえば、「トロンボーン」インタラクション）などのプロジェクションの態様を制御することができる。いくつかの実施態様では、ユーザは、１つまたは複数のターゲット物体とのより複雑なインタラクションを行うことを望むことができ、ユーザの第２の手を使用してコントロール部とインタラクトすることによってこれらのインタラクションの詳細を特定することができる。

図２７は、光線プロジェクションと交差する対象物と非対象物の間で一義化するための本技術のいくつかの実施態様に使用されるプロセス２７００を示す流れ図である。たとえば、これは、ユーザが、光線プロジェクションを使用するときに互いを隠す物体を一義化することを可能にすることができる。

ブロック２７０２において、プロセス２７００は、１つまたは複数の身体パーツの追跡されたポジションに基づいて制御点および投影方向を決定することができる。プロセス２７００は、ブロック１２０２と同様にこれを達成することができる。ブロック２７０４において、プロセス２７００は、投影方向に沿って制御点から光線プロジェクションを生成することができる。プロセス２７００は、ブロック１２０４と同様にこれを達成することができる。

ブロック２７０６において、プロセス２７００は、制御点を制御する第１の手（たとえば、利き手）と第２の手（たとえば、非利き手）との間の距離関係を継続的に決定することができる。いくつかの実施態様では、２つの手の間の距離の代わりに、距離関係は、一方の手の２本の指（たとえば、人差し指の先端と親指の先端）間の距離に基づいていることができる。他の実施態様では、距離関係は、一方の手とユーザの胴などの別の身体パーツとの間の距離に基づいていることができる。いくつかの実施態様では、光線プロジェクションは、ユーザの凝視に沿っていることができ、ユーザは、光線に沿ってユーザの目からより近くにまたはさらに遠くにユーザの手を移動させることによって距離を特定することができる。様々な実施態様では、距離は、任意の方向にあることができ、または（たとえば、光線に直交したまたは光線に沿った）特別の方向にあることができる。

様々な実施態様では、距離関係は、ユーザの両手間の実際の距離に線形にまたは指数的に比例することができる。いくつかの実施態様では、この関係は、ユーザがユーザの両手間の距離を変える速度に基づいていることができる。たとえば、プロセス２７００が決定する量は、より速い移動が遅い移動よりも量を増加させるように対数的に増加または減少させられることができる。これによりユーザが速い移動を使用してより大きい粒度で量を制御するとともに、より遅い移動を使用してより精密な調整を行うことを可能にする。いくつかの実施態様では、距離関係は、人工現実環境の決定されたサイズに従ってスケール変更することができる。たとえば、より小さい空間内で、移動はより精密になることができ、一方、より大きい空間内で、移動は、より大きい距離で物体とインタラクトするように光線をさらに延ばすことができる。

ブロック２７０８において、プロセス２７００は、ブロック２７０６において決定された距離関係に基づいて光線プロジェクションの長さまたは「フック」位置を継続的に設定することができる。いくつかの実施態様では、光線長さを設定する代わりに、プロセス２７００は、距離関係に基づいて光線に沿ってインタラクション点を設定することができる。光線の終わりであろうと、または光線に沿った点であろうと、このインタラクション点は、本明細書中で「フック」と呼ばれる。いくつかの実施態様では、プロセス２７００は、光線の視覚的表示を提供することができ、フックの（球などの）グラフィカル表示を含むことができる。

ブロック２７１０において、プロセス２７００は、フックとの交差に基づいて１つまたは複数の物体を識別することができる。いくつかの実施態様では、これは、フックが物体と交差するとすぐに行われ得る。他の実施態様では、プロセス２７００は、ジェスチャが作られるときにフックが交差する物体を選択するためのトリガとして、一方の手でクリックジェスチャを行うこと、ユーザの頭を縦に振ること、ユーザの足をタップすること等などのユーザによって行われる第３のジェスチャを識別することができる。ブロック２７１２において、プロセス２７００は、ブロック２７１０において識別された物体の選択を切り替える、または他の方法でその物体とインタラクトすることができる。

図２８および図２９は、光線プロジェクション２８０２とインタラクトする選択された物体と選択されなかった物体の間で一義化するためのフックを使用する一例２８００および２９００を示す概念図である。例２８００は、ユーザの利き手２８０６のユーザの親指と中指の間でピンチジェスチャ２８０４を行うことによってユーザが光線プロジェクション２８０２を作り出すことで始まる。ユーザは、光線２８０２が物体２８０８および２８１０と交差するように光線２８０２を配置することができる。次いで、ユーザは、ユーザの利き手２８０６と非利き手２８１８の間の距離２８１６に基づいて、光線２８０２の終わりにあるフック２８１４を用いて、光線の長さを制御することができる。フック２８１４が、ユーザがターゲットにすることを意図する物体２８１０と交差するとき、ユーザは、このときユーザの利き手２８０６のユーザの人差し指および親指を用いて第２のピンチジェスチャ（図示せず）を行うことができる。手インタラクションシステムがこのジェスチャを識別するとき、手インタラクションシステムは、その瞬間にフック２８１４が交差する物体２８１０を選択する。例２９００において、次いで、ユーザは、第１の親指／中指のピンチをまだ保持しつつユーザの利き手２８０６とユーザの非利き手２８１８との間の距離２８１６を長くすることによって、光線２８０２の長さを変更し、それに応じて、フック２８１４のポジションを変更し、フック２８１４を物体２８１２と交差させる。ユーザは、さらなる親指／人差し指のピンチを用いてジェスチャ２９０２を再び行うことによって、今や物体２８１２がフック２８１４と交差するので、物体２８１２を選択することもできる。

図３０は、円錐または円柱プロジェクションと交差するターゲット物体と非ターゲット物体の間の「トロンボーン」ジェスチャに関して一義化するための本技術のいくつかの実施態様に使用されるプロセス３０００を示す流れ図である。たとえば、これにより、ユーザは、円錐または円柱が交差するその物体を容易に制御するために、円錐または円柱プロジェクションの直径を拡大するまたは縮小することを可能にすることができる。

ブロック３００２において、プロセス３０００は１つまたは複数の身体パーツの追跡されたポジションに基づいて制御点および投影方向を決定することができる。プロセス３０００は、ブロック１４０２または１６０２と同様にこれを達成することができる。ブロック３００４において、プロセス３０００は、投影方向に沿って制御点から円錐または円柱プロジェクションを生成することができる。プロセス３０００は、ブロック１４０４または１６０４と同様にこれを達成することができる。

ブロック３００６において、プロセス３０００は、制御点を制御する第１の手（たとえば、利き手）と第２の手（たとえば、非利き手）との間の距離関係を継続的に決定することができる。いくつかの実施態様では、２つの手の間の距離の代わりに、距離関係は、一方の手の２本の指（たとえば、人差し指の先端と親指の先端）間の距離に基づいていることができる。他の実施態様では、距離関係は、一方の手とユーザの胴などの別の身体パーツとの間の距離に基づいていることができる。いくつかの実施態様では、円錐または円柱プロジェクションは、ユーザの凝視に沿っていることができ、ユーザは、円錐または円柱の中心に沿ってユーザの目からより近くにまたはさらに遠くにユーザの手を移動させることによって距離を特定することができる。様々な実施態様では、距離は、任意の方向にあることができ、または（たとえば、円錐または円柱の中心に直交したまたは円錐または円柱の中心に平行な）特別の方向にあることができる。

様々な実施態様では、距離関係は、ユーザの両手間の実際の距離に線形にまたは指数的に比例することができる。いくつかの実施態様では、この関係は、ユーザがユーザの両手間の距離を変える速度に基づいていることができる。たとえば、プロセス３０００が決定する量は、より速い移動が遅い移動よりも量を増加させるように対数的に増加または減少させられることができる。これによりユーザが速い移動を使用してより大きい粒度で量を制御するとともに、より遅い移動を使用してより精密な調整を行うことを可能にする。

ブロック３００８において、プロセス３０００は、ブロック３００６において決定された距離関係に基づいて円柱の直径または円錐の底面の直径を継続的に設定することができる。いくつかの実施態様では、プロセス３０００は、円錐または円柱の視覚的表示を提供し、ユーザが距離関係を変更するときに円錐または円柱がサイズを変更することを示すことができる。

ブロック３０１０において、プロセス３０００は、円錐または円柱による少なくとも部分的な交差または完全な包含に基づいて１つまたは複数の物体を識別することができる。いくつかの実施態様では、これは、円錐または円柱が物体と交差するとすぐに起こり得る。他の実施態様では、プロセス３０００は、円錐または円柱がその瞬間に交差する任意の物体を識別するためのトリガとして、一方の手でクリックジェスチャを行うこと、ユーザの頭を縦に振ること、ユーザの足をタップすること等などのユーザによって行われる第３のジェスチャを識別することができる。ブロック３０１２において、プロセス３０００は、ブロック３０１０において識別された物体の選択を切り替える、または他の方法でその物体とインタラクトすることができる。

プロセス２７００およびプロセス３０００を組み合わせる代替実施態様において、ユーザは、１つのジェスチャ（たとえば、利き手の親指と人差し指の先端間の距離）を用いて円柱または円錐の長さを制御することができ、別のジェスチャ（たとえば、ユーザの２つの手の間の距離）を用いて円柱または円錐の底面の直径を制御することができる。この代替例の修正として、円柱または円錐プロジェクションの代わりに、ユーザが１つのジェスチャ（たとえば、ユーザの２つの手の間の距離）に基づいて光線に沿った球の位置を制御する、および別のジェスチャ（たとえば、利き手の親指と人差し指の先端間の距離）を用いて球の直径を制御する、球プロジェクションが使用されてもよい。

図３１および図３２は、円錐プロジェクションと交差する選択された物体と選択されなかった物体の間で一義化するためのトロンボーンジェスチャの例３１００および３２００を示す概念図である。例３１００は、ユーザの利き手３１０６のユーザの親指と中指の間でピンチジェスチャ３１０４を行うことによってユーザが円錐プロジェクション３１０２を作り出すことで始まる。ユーザは、円錐３１０２が物体３１０８、３１１０、３１１２、および３１２０と交差するように円錐３１０２を配置することができる。次いで、ユーザは、ユーザの利き手３１０６と非利き手３１１８の間の距離３１１６に基づいて円錐３１０２の底面３１１４の直径を制御することができる。手インタラクションシステムは、物体３１０８、３１１０、３１１２、および３１２０が円錐３１０２と交差するので、物体３１０８、３１１０、３１１２、および３１２０を選択する。例３２００において、ユーザは、第１の親指／中指のピンチジェスチャをまだ保持しつつユーザの利き手３１０６と非利き手３１１８の間の距離３１１６を変更することによって円錐３１０２の底面３１１４の直径を変更し、円錐３１０２を物体３１１２および３１０８のみと交差させる。それに応じて、手インタラクションシステムは、物体３１２０および３１１０を選択解除することができるが、物体３１０８および３１１２を選択されたままにする。ユーザは、ユーザの意図したターゲット物体が選択され、その点でジェスチャ３１０４を解除するまで継続することができる。

図３３および図３４は、円柱プロジェクションと交差する選択された物体と選択されなかった物体の間で一義化するためのトロンボーンジェスチャの例３３００および３４００を示す概念図である。例３３００は、ユーザの利き手３３１０のユーザの親指と中指の間でピンチジェスチャ３３０４を行うことによってユーザが円柱プロジェクション３３０２を作り出すことで始まる。ユーザは、円柱３３０２が物体３３０８、３３０６、および３３３０と交差するように円柱３３０２を配置することができる。次いで、ユーザは、ユーザの利き手３３１０と非利き手３３１８の間の距離３３１６を変化させることによって円柱３３０２の底面３３１４の直径を制御することができる。手インタラクションシステムは、物体３３０８、３３０６、および３３３０が円柱３３０２と交差する物体であるとき、これらを選択するが、物体３３３２は円柱３３０２と交差しないので、物体３３３２を選択しない。例３４００において、次いで、ユーザは、第１の親指／中指のピンチをまだ保持しつつユーザの利き手３３１０と非利き手３３１８の間の距離３３１６を変化させることによって、円柱３３０２の底面３３１４の直径を変更する。この変更により、円柱３３０２を物体３３０６、３３０８、３３３０、および３３３２と交差させる。ユーザは、ユーザの意図したターゲット物体が選択され、その点でユーザがジェスチャ３３０４を解除するまで継続することができる。

上述したように、ジェスチャの組合せは、強力なインタラクション技法であるが、一部の状況では、あらゆるアクションに異なるジェスチャをマップすることは、ユーザを混乱させているまたはユーザが行うことができるアクションを制限していている可能性がある。しかしながら、離れている物体とインタラクトするとき、それらの物に結び付けられたメニューは、ユーザがインタラクトするのが難しい場合がある。ワールドロックされるメニューは、ユーザがメニューとインタラクトしつつそれ自体またはターゲット物体を移動させることを望む場合に制限であり得る。ユーザがワールドロックされたメニューをターゲット物体に適合することも難しい場合がある。これらの問題は、プロジェクションを用いて選択された物体に関する、物体の代わりにプロジェクションキャスティングの手に結び付けられるメニューを用いて克服され得る。これにより第２の手がメニューとインタラクトすることが可能になり、それにより物体と容易にインタラクトすることが可能である。図３５は、利き手に結び付けられたメニューを使用した物体との両手を用いるインタラクションのために本技術のいくつかの実施態様に使用されるプロセス３５００を示す流れ図である。

ブロック３５０２において、プロセス３５００は、利き手を使用して選択された１つまたは複数の物体の識別を受け取ることができる。いくつかの実施態様では、選択は、上記のプロジェクションまたはマルチ選択プロセスのうちの１つを使用して行われ得る。いくつかの実施態様では、選択は、プロジェクションまたは選択を開始するために使用されるジェスチャなどの特別のジェスチャに関連し得るとともに、プロセス３５００は、ユーザがそのジェスチャを保持している間だけ継続することができる。たとえば、ユーザは、物体を選択するために光線プロジェクションを投影することができ、プロセス３５００は、ユーザが（物体を選択していない）プロジェクションを移動させる、またはプロジェクションジェスチャを解除するまで、その選択された物体に対応するメニューの提供を継続することができる。

ブロック３５０４において、プロセス３５００は、プロセス３５００がブロック３５０２においてインジケーションを受け取った１つまたは複数の物体に関連した１つまたは複数のメニューを取得することができる。ブロック３５０６において、プロセス３５００は、利き手に関連している１つまたは複数のメニューを表示することができる。他の実施態様では、利き手に関連している１つまたは複数のメニューを常に表示する代わりに、プロセス３５００は、非利き手に関連している、または１つもしくは複数の物体の選択を行った手を用いる１つまたは複数のメニューを表示することができる。様々な実施態様では、１つまたは複数のメニューの各々は、（手首、親指の中心、指先、手の甲の中央、手の重心等のように）手の点からずれてもよく、そのような点において「皮膚」として重ねられてもよく、（たとえば、ブレスレット、指輪等として現れるように）手のパーツに巻き付けられてもよく、またはそれらの組合せであってもよい。いくつかの実施態様では、１つまたは複数のメニューは、特別の指の移動、または手の回転などのジェスチャに基づいて出現したり消えたりするようにトリガされ得る。

ブロック３５０８において、プロセス３５００は、表示された１つまたは複数のメニューとのインタラクションを受け取ることができる。いくつかの実施態様では、インタラクションは、メニューが関連付けられる同じ手で行われてもよく（たとえば、中指に現れる「指輪」メニューが、その同じ手の親指によってタップされてもよく）、またはそれが利きであってもなくても反対の手によるインタラクションであってもよい。１つまたは複数のメニューは、選択された物体との任意のタイプのインタラクションを行うためのコントロール部を有してもよく、メニューを有するインタラクションは、そのインタラクションをトリガすることができる。いくつかの実施態様では、メニュー選択は、手インタラクションシステムに特別のやり方でさらなるジェスチャを解釈させることができる。たとえば、メニュー選択が「移動する」である場合、利き手の移動により、それに応じて、手インタラクションシステムに、選択された１つまたは複数の物体を移動させることができる。別の例として、メニュー選択が「回転する」である場合、利き手の移動により、手インタラクションシステムに、選択された１つまたは複数の物体を比例的に回転させることができる。

図３６、図３７、および図３８は、利き手に結び付けられたメニューを使用した物体との両手を用いるインタラクションの例３６００、３７００、および３８００を示す概念図である。例３６００において、物体３６０２のインジケーションが、ユーザの利き手３６０６によって投影される光線プロジェクション３６０４を使用した物体３６０２の選択により受け取られる。例３７００において、物体３６０２の選択に応答して、メニュー３７０２は、利き手３６０２に関連して、利き手３６０２の重心からオフセットされて現れる。メニュー３７０２は、ユーザの非利き手３７１０によって作動され得る物体３６０２のためのコントロール部を含む。例３７００において、コントロール部は、選択された物体３６０２の９０度回転を行うコントロール部３７０４、利き手３６０６の回転に従って選択された物体３６０２の自由回転を可能にするコントロール部３７０６、および選択された物体３６０２をサイズ変更するコントロール部３７０８を含む。例３８００において、ユーザは、コントロール部３７０６の隣にユーザの非利き手３７１０を使用してピンチジェスチャ３８０２を行うことによってコントロール部３７０６を作動させている。コントロール部３７０６の作動により、手インタラクションシステムに、利き手３６０６の回転を選択物体３６０２の回転にマップさせる。

動作モード
人工現実環境内で物体を移動させること、および物体上のコントロール部を作動させることなど、ユーザが物体との関連で行うことができる様々なタイプのインタラクションがある。しかしながら、そのようなインタラクションを行うためのジェスチャは、曖昧であり、既存のＸＲシステムにジェスチャの区別を不正確にさせ得る。特に、精度は距離に関して劣化するので、異なる状況において同じ入力モダリティのこれらのシステムを使用し、インタラクションタイプの区別をそれができないことにより、既存のＸＲシステムのユーザは、インタラクションが退屈でストレスが多いと感じる。これらの問題点に対処するために、手インタラクションシステムは、（たとえば、グローバルインタラクションモードとローカルインタラクションモードの間で）動作モードを切り換えることができる。グローバルモードは、環境内で物体を操作（たとえば、仮想環境中の物体の選択、物体配置の制御、向き、サイズ等）するために、またはそのようなグローバルインタラクションに役立つ入力モダリティ（たとえば、光線、球、または円錐投影）へ切り換えるために使用することができる。ローカルモードは、物体のインタフェースとインタラクトする（たとえば、物体上のボタンを押す、または物体に関連したメニューとインタラクトする）ために、またはそのようなローカルインタラクションに役立つ入力モダリティ（たとえば、ユーザの指へのマッピングボタン）へ切り換えるために、使用することができる。したがって、曖昧な入力が、どちらのモードが手インタラクションシステムのために現在設定されているかに従って解釈され得る。様々な実施態様では、代替または追加の動作モードが、使用されてもよい。たとえば、３つ以上のモードが定められてもよく、モードは、異なる目的のために定められてもよく、モードは、異なるやり方等でトリガされてもよい。

様々な実施態様では、ユーザは、（たとえば、ジェスチャまたはボタン押下を用いて）動作モードを明示的に選択することができ、またはモード選択は、（たとえば、ユーザ凝視に基づいて）暗示的であってもよい。動作モードを切り換えることに対応する明示的または暗示的なトリガに応答して、次いで、手インタラクションシステムは、選択されたモードについて定められたアクションへのジェスチャのマッピングに従って入力ジェスチャを解釈することができる。たとえば、第１のモード（たとえば、グローバルモード）への切り替えを識別することに応答して、手インタラクションシステムは、第１の（たとえば、グローバル）モードについて定められた第１のセットのアクションにおける第１のアクションに第１のジェスチャをマップすることによって第１のジェスチャを解釈することができる。次いで、第２の動作モード（たとえば、ローカルモード）への切り換えを引き起こす第２のトリガに応答して、手インタラクションシステムは、第２の（たとえば、ローカル）モードについて定められた第２のセットのアクションにおける第２のアクションに第２のジェスチャをマップすることによって第２のジェスチャを解釈することができる。

いくつかの実施態様では、入力モダリティは、動作モードが起動されることに基づいて変更することができる。たとえば、グローバルモードにおいて、入力は、ジェスチャ方向を決定することに基づいて入力モダリティ（たとえば、光線、円柱、球、または円錐プロジェクションなどのプロジェクションキャスティング）に切り換えることができる。ローカルモードにおいて、入力は、選択された物体に関連したコントロール部をユーザの手の指にマップすることなどによって他のモダリティに切り換えることができ、マップされた指の特に検出された移動は、対応するコントロール部の作動を制御する。

図３９は、（たとえば、グローバルモードインタラクションまたはローカルモードインタラクションのための）入力モダリティを切り換えるための本技術のいくつかの実施態様に使用されるプロセス３９００を示す流れ図である。ブロック３９０２において、プロセス３９００は、作モード間で移行するためトリガを識別することができ、ブロック３９０４において、プロセス３９００は、（たとえば、トリガがグローバル入力モードに入ろうがまたはローカル入力モードに入ろうが）どのモードにトリガが対応するのか識別することができる。いくつかの実施態様では、トリガは、明示的なユーザアクションであり得る。例として、特別のジェスチャは、手インタラクションシステムに、モード間で切り替えさせ、またはジェスチャが保持されている間、第１の（たとえば、ローカル）モードへ切り換えさせ、ジェスチャが識別されていないとき、第２の（たとえば、グローバル）モードへ切り換えさせることができ、手インタラクションシステムは、入力の手が垂直に回転させられるときに第１のモードへ切り換えることができ、そうでないときに第２のモードへ切り換えることができ、手インタラクションシステムは、現実または仮想のボタン押下、または音声コマンド等に応答してモード間で切り替えることができる。いくつかの実施態様では、モードを切り換えるためのトリガは、暗示的であり得る。一例として、手インタラクションシステムは、ユーザの追跡された凝視が時間の閾値量（たとえば、１秒、２秒、または３秒）を上回る間、物体上に残るときにローカルモードに入ることができ、ユーザの凝視が別の時間の閾値量にわたってその物体から外れているときにグローバルモードに入ることができる。別の例において、手インタラクションシステムは、グローバルモードで開始し、最初にユーザが物体を選択するとローカルモードに入り、ユーザが物体をタップオフすると、または他の方法で定められた「バック」ジェスチャを行うとグローバルモードへ戻るように移行することができる。トリガがユーザの手を回転させることなどの関連ジェスチャであるいくつかの実施態様において、ユーザの手がモード間の境界上にあるときに、ヒステリシスが、モード間のジッタを防ぐために適用されてもよい。トリガが第１の（たとえば、グローバル）モードへ移行した場合、プロセス３９００は、ブロック３９０６へ継続することができ、トリガが第２の（たとえば、ローカル）モードへ移行すべきであった場合、プロセス３９００は、ブロック３９０８へ継続することができる。

ブロック３９０６において、プロセス３９００は、現在のモード（たとえば、グローバルモード）のために確立された入力モダリティへ切り換えることができる。いくつかの実施態様では、グローバルモードのための入力モダリティは、（たとえば、プロジェクションを投影する（たとえば、上述したように光線、球、円柱、または円錐）を投影する）ジェスチャ方向を決定することに基づいていることができる。他の実施態様では、入力モダリティは、（たとえば、物体を回転させ、物体をサイズ変更させ、または物体を移動させるために）物体が選択されているときに、グローバルインタラクションのためにコントロール部のセットを提示することができる。

ブロック３９０８において、プロセス３９００は、第２のモード（たとえば、ローカルモード）のために確立された入力モダリティへ切り換えることができる。様々な実施態様では、入力モダリティは、利用可能なインタラクションと特別の指の移動または他のジェスチャのマッピング、円錐投影から光線投影への切り換えなどの投影タイプ間の切り換え、または位置インタラクションを行うために構成されたコントロール部の表示であってもよい。いくつかの実施態様では、ローカルインタラクションは、グローバルモードにおいて選択される１つまたは複数の物体などの特別の選択された物体についてであってもよい。これは、必ずしもユーザのインタラクションをターゲット物体へ差し向けるまたは他の方法で向けることなく、ユーザが選択された物との関連でインタラクションを行うことを可能にする。場合によって、選択された物体は、たとえば、ユーザの凝視に基づいて、現在の（たとえば、ローカル）モードから出ることなく変更することができる。他の実施態様では、ローカルインタラクションは、どの物体をユーザが指し示すかに基づいていることができる。

いくつかの実施態様では、プロセス３９００は、手ごとに別個に行われてもよい。たとえば、ユーザの利き手は、物体を選択するためのプロジェクションを制御する第１の（たとえば、グローバル）モードにあってもよく、一方、ユーザの非利き手は、第２の（たとえば、ローカル）モードにあってもよく、コントロール部は、利き手が選択する物体どれともインタラクトするために非利き手の指へマップされる。

ブロック３９０６または３９０８を行った後、プロセス３９００は、代替のグローバルモードまたはローカルモードへ切り換えるための別のトリガを識別すると、ブロック３９０２へ戻ることができる。

図４０Ａおよび図４０Ｂは、グローバルモードインタラクションまたはローカルモードインタラクションのための入力モダリティを切り換える一例４０００を示す概念図である。例４０００において、ユーザは、ユーザの手４００２の回転向きに基づいてローカルとグローバルモードの間で移行する。例４０００において、ユーザは、矢印４００４によって指し示されるように、ユーザの手４００２を垂直に回すことによって手インタラクションシステムをローカルモードに入らせた（たとえば、ユーザの手の平を表す平面は、確立された床平面と直交することから３０度などの少なくとも度の閾値数である）。

ローカルモードに入ると、ローカルモードコントロール部４００８のセットが、先に選択された物体４００６と共に出現する。コントロール部４００８は、ボタン４０１０～４０１６を含む。この例において、コントロール部４０１０は指４０１８へマップされ、コントロール部４０１２は指４０２０へマップされ、コントロール部４０１４は指４０２２へマップされ、コントロール部４０１６は指４０２４へマップされる。ユーザが指４０１８を延ばしたので、対応するマップされたえコントロール部４０１０が起動される。

例４０００は、図４０Ｂに続いており、ユーザは、矢印４０５２によって示されるように、ユーザの手４００２を水平であるように回転させることによって、手インタラクションシステムをグローバルモードに移行させている（たとえば、ユーザの手の平を表す平面は、確立された床平面と平行であることから３０度などの少なくとも度の閾値数である）。それに応じて、手インタラクションシステムは、図４０Ａの手マップコントロール部から光線プロジェクション４０５４へ入力モダリティを切り換え、ユーザが光線プロジェクション４０５４を使用して物体４００６または他の物体とのグローバルインタラクションをさらに行うことを可能にする。

図４１は、現在の（たとえば、グローバルまたはローカル）モードにおける特別のインタラクションとしてジェスチャを解釈するための本技術のいくつかの実施態様に使用されるプロセス４１００を示す流れ図である。ブロック４１０２において、プロセス４１００は、２つのモード（たとえば、グローバルモードおよびローカルモード）から間で移行するためのトリガを識別することができ、ブロック４１０４において、プロセス４１００は、トリガがどのモードに対応するのか（たとえば、トリガがグローバルモードまたはローカルモードに入ることになるのか）識別することができる。ブロック４１０２および４１０４は、ブロック３９０２および３９０４と同様に行うことができる。トリガが第１の（たとえば、グローバル）モードのためであった場合、プロセス４１００は、ブロック４１０６へ続くことができ、トリガが第２の（たとえば、ローカル）モードのためであった場合、プロセス４１００は、ブロック４１０８へ続くことができる。

ブロック４１０６において、プロセス４１００は、手インタラクションシステムに、現在の（たとえば、グローバル）モードに従ってさらなるユーザ入力を解釈させることができる。ブロック４１０８における間、プロセス４１００は、手インタラクションシステムに第２の（たとえば、ローカル）モードに従ってさらなるユーザ入力を解釈させることができる。物体に関して得ることができるアクションは、（たとえば、グローバルモードまたはローカルモードのどちらかにおける）利用可能なモードの実行可能なものに分けることができる。手インタラクションシステムは、現在起動されているモードについて定められたアクションのセットにおけるアクションに入力ジェスチャを適合させることができる。たとえば、グローバルモードにあるとき、バーチャルチェス盤の右上コーナから下向きにドラッグするジェスチャは、チェス盤を回転させる意図として解釈することができる。しかしながら、ローカルモードにおいて、同じジェスチャは、ジェスチャの長さに対応する量だけ右上角隅から前方へルークを移動させることとして解釈することができる。別の例として、ターゲット物体が仮想ドロー系アプリケーションである場合、手インタラクションシステムは、アプリケーション内で線を引くものとしてローカルモードにおいてクリックアンドドラッグジェスチャを解釈することができ、一方、手インタラクションシステムは、描画面を表示する仮想パネルを回転させるコマンドとしてグローバルモードにおいて同じジェスチャを解釈することができる。いくつかの実施態様では、プロセス４１００は、手ごとに別個に行われてもよい。たとえば、３Ｄモデルの面上でコントロール部を作動させるために、ユーザの利き手が、３Ｄモデルの向きを制御する第１の（たとえば、グローバル）モードにあってもよく、一方、ユーザの非利きは、第２の（たとえば、ローカル）モードにあってもよい。

ブロック４１０６または４１０８を行った後、プロセス４１００は、交互モードへ切り換えるための別のトリガを識別すると、ブロック４１０２へ戻ることができる。

図４２Ａおよび図４２Ｂは、グローバルモードまたはローカルモードのどちらかにおけるインタラクションとしてジェスチャを解釈する一例４２００を示す概念図である。例４２００において、ユーザは、少なくとも２秒間ユーザの凝視が物体に止まることに基づいてローカルモードへ移行し、またはユーザの凝視が少なくとも１．５秒間その物体に残すとき、グローバルモードへ移行する。例４２００において、ユーザは、ユーザの凝視４２０２を物体４２０４に２秒間向けることによって、手インタラクションシステムに物体４２０４との関連でローカルモードに入らせた。

例４２００は、図４２Ｂに続いており、ユーザは、ユーザの手４２５２で光線プロジェクション４２５４を制御する。ユーザが（図４２Ａに示されるように）ユーザの凝視に基づいてローカルモードに入ったので、物体４２０４と交差する光線プロジェクション４２５４は、物体４２０４のコントロール部４２５６を作動させることによってローカルインタラクションを引き起こす。ユーザの凝視（図４２Ｂに図示せず）は、１．５秒よりも多くの間物体４２０４に残っておらず、したがって、手インタラクションシステムは、ローカルモードにおけるままであった。いくつかの実施態様では、プロセス３９００および４１００は、グローバルモードとローカルモードの切り換えが、入力モダリティを共に変更させ、他の方法で曖昧な入力を現在のグローバルモードまたはローカルモードに従って解釈させるように一緒に行うことができる。

本明細書における、「実施態様」（たとえば、「いくつかの実施態様」、「様々な実施態様」、「一実施態様」、「実施態様」等）の参照は、実施態様に関連して説明される特別の特徴、構造、または特性が本開示の少なくとも１つの実施態様に含まれることを意味する。本明細書中の様々な場所におけるこれらのフレーズの出現は、全てが必ずしも同じ実施態様に言及するものではなく、他の実施態様を相互に除外する別個または代替の実施態様でもない。また、いくつかの実施態様によって呈示されるが、他のものによって呈示されない場合がある様々な特徴が説明されている。同様に、いくつかの実施態様の要件であり得るが、他の実施態様の要件ではない場合がある様々な要件が説明されている。

本明細書中で使用されるとき、「指」は、手の５本の指のいずれかであってもよく、指先は、手の５本の指のいずれかの先端であってもよい。

本明細書中で使用されるとき、閾値よりも上にあることは、比較下の項目の値が特定の他の値よりも上にあること、比較下の項目が最大の値を有するある特定の個数の項目の中にあること、または比較下の項目が特定の上位パーセンテージ値の範囲内の値を有することを意味する。本明細書中で使用されるとき、閾値よりも下にあることは、比較下の項目の値が特定の他の値よりも下にあること、比較下の項目が最小の値を有するある特定の個数の項目の中にあること、または比較下の項目が特定の下位パーセンテージ値の範囲内の値を有することを意味する。本明細書中で使用されるとき、閾値内であることは、比較下の項目の値が２つの特定の他の値の間にあること、比較下の項目が中間の特定の個数の項目の中にあること、または比較下の項目が中間の特定のパーセンテージ範囲内の値を有することを意味する。相対的な用語、たとえば、高いまたは重要でないは、別段定義がないとき、値を割り当て、その値を確立された閾値とどのように比較するのか決定するものとして理解することができる。たとえば、「高速接続を選択する」というフレーズは、閾値よりも上にあるその接続速度に対応して割り当てられた値を有する接続を選択することを意味すると理解され得る。

本明細書中で使用されるとき、「または」という語は、１セットの項目の任意の可能な順列を指す。たとえば、フレーズ「Ａ、Ｂ、またはＣ」は、Ａ、Ｂ、Ｃ、またはそれらの任意の組合せのうちの少なくとも１つを指し、たとえばＡ；Ｂ；Ｃ；ＡおよびＢ；ＡおよびＣ；ＢおよびＣ；Ａ、Ｂ、およびＣ；またはＡおよびＡ；Ｂ、Ｂ、およびＣ；Ａ、Ａ、Ｂ、Ｃ、およびＣ；等などの多数の任意の項目のいずれかである。

主題が構造的特徴および／または方法論の作用に特定の言葉で説明されてきたが、添付の特許請求の範囲に定められた主題は、必ずしも上記の特定の特徴または作用に必ずしも限定されないことを理解されたい。特定の実施形態および実施態様は、例示のために本明細書に説明されているが、実施形態および実施態様の範囲から逸脱ことなく、様々な修正がなされ得る、上記の特定の特徴および作用は、次に続く特許請求の範囲を実施する例示的な形態として開示される。したがって、実施形態および実施態様は、添付の特許請求の範囲による場合を除き、限定されない。

上述されたいずれの特許、特許出願、および他の参考文献も、参照により本明細書に組み込まれる。態様は、もっとさらなる実施態様を提供するため、上記の様々な参考文献のシステム、機能、および概念を用いるために必要に応じて修正されてもよい。参照により組み込まれる文献における声明または主題が、本出願の声明または主題と矛盾する場合、本出願が優先されるものとする。

Claims (15)

1. 人工現実環境中の物体とインタラクトする方法であって、
   ユーザの手の部分を追跡し、前記ユーザの前記手の追跡された前記部分に基づいて制御点を設定することと、
   前記ユーザの身体上の点を追跡し、前記ユーザの前記身体上の追跡された前記点に基づいて原点を設定することと、
   前記制御点および前記原点を通過する線を中心としたプロジェクション向きを決定することと、
   前記プロジェクション向きに沿って前記ユーザから外向きに前記制御点から光線プロジェクションを投影することと、
   前記光線プロジェクションの１つまたは複数の位置に基づいて１つまたは複数の物体との関連でアクションを行うこととを含む、人工現実環境中の物体とインタラクトする方法。
2. 前記ユーザの前記身体上の前記点は、前記ユーザの前記身体上の第１の点であり、
   １つまたは複数のオリジン遷移ファクタを識別することと、
   前記１つまたは複数のオリジン遷移ファクタに基づいて、前記原点が前記ユーザの前記身体上の追跡された第２の点へ移動すべきことを決定することと、
   前記ユーザの前記身体上の前記第１の点から前記ユーザの前記身体上の前記第２の点へ前記原点を移動させることとをさらに含む、請求項１に記載の方法。
3. 前記原点を前記移動させることは、前記ユーザの前記身体上の前記第１の点を前記ユーザの前記身体上の前記第２の点に接続する経路との関連で設定速度で前記原点を移動させることを含む、請求項２に記載の方法。
4. 前記ユーザの前記身体上の前記第１の点は、前記ユーザの目または肩であり、
   前記ユーザの前記身体上の前記第２の点は、前記ユーザの臀部であり、
   前記経路は、直線によってＡ）前記ユーザの前記目または前記ユーザの前記肩をＢ）前記ユーザの前記臀部に接続する、
   請求項３に記載の方法。
5. 前記１つまたは複数のオリジン遷移ファクタは、追跡されたユーザ凝視方向を含む、請求項２に記載の方法。
6. 前記原点が移動すべきとの前記決定は、
   前記ユーザ凝視方向に関連した角度を決定することと、
   角度が閾値よりも上にあることを決定することと、
   それに応じて、前記ユーザの前記身体上の前記第２の点が前記ユーザの前記身体上の前記第１の点よりも下にある高インタラクションモードを選択することとを含む、請求項５に記載の方法。
7. 前記１つまたは複数のオリジン遷移ファクタは、前記制御点および前記原点を通過する前記線の特定の平面に対しての角度の測定値を含み、
   前記原点が移動すべきことを前記決定することは、
   前記角度が閾値よりも下にあることを決定することと、
   それに応じて、前記ユーザの前記身体上の前記第２の点が前記ユーザの前記身体上の前記第１の点よりも上にある低インタラクションモードを選択することとを含む、
   請求項２に記載の方法。
8. 前記制御点との関連で追跡された前記ユーザの前記手の前記部分は、前記ユーザの指先である、請求項１に記載の方法。
9. 前記制御点との関連で追跡された前記ユーザの前記手の前記部分は、前記ユーザの手首である、請求項１に記載の方法。
10. 前記ユーザの前記手の追跡された前記部分に基づいて前記制御点を設定することは、前記ユーザの前記手の前記部分から特定のオフセットにある位置で前記制御点を選択することを含む、請求項１に記載の方法。
11. ａ）前記原点との関連で追跡された前記ユーザの前記身体上の前記点は、前記ユーザの利き目である、または
    ｂ）前記原点との関連で追跡された前記ユーザの前記身体上の前記点は、前記ユーザの肩である、または
    ｃ）前記原点との関連で追跡された前記ユーザの前記身体上の前記点は、前記ユーザの臀部である、または
    ｄ）前記１つまたは複数の物体との関連で前記アクションを行うことは、前記１つまたは複数の物体が選択されることを含む
    のいずれか１つである、請求項１に記載の方法。
12. コンピューティングシステムによって実行されるときに、前記コンピューティングシステムに、人工現実環境中の物体とインタラクトする動作を行わせる命令を記憶するコンピュータ可読記憶媒体であって、前記動作は、
    ユーザの手の部分の位置に基づいて制御点を設定することと、
    前記ユーザの身体上の点に基づいて原点を設定することと、
    前記制御点および前記原点を通過する線を中心としたプロジェクション向きを決定することと、
    プロジェクションの１つまたは複数の位置に基づいて１つまたは複数の物体との関連でアクションを行うこととを含む、命令を記憶するコンピュータ可読記憶媒体。
13. ａ）前記ユーザの前記身体上の前記点は、前記ユーザの前記身体上の第１の点であり、前記動作は、
    １つまたは複数のオリジン遷移ファクタを識別することと、
    前記１つまたは複数のオリジン遷移ファクタに基づいて、前記原点が前記ユーザの前記身体上の前記第１の点および前記ユーザの前記身体上の第２の点を接続する経路に沿って前記ユーザの前記身体上の前記第２の点へ移動すべきことを決定することと、
    設定速度で前記経路に沿って前記原点を移動させることとをさらに含み、その場合には、適宜、
    前記１つまたは複数のオリジン遷移ファクタは、追跡されたユーザ凝視方向を含み、
    前記原点が移動すべきことを前記決定することは、
    前記ユーザ凝視方向に関連した角度を測定することと、
    決定された角度に基づいて、前記ユーザの前記身体上の前記第２の点が前記ユーザの前記身体上の前記第１の点よりも上にあるインタラクションモードを選択することとを含み、あるいは
    ｂ）前記手の前記部分は、前記ユーザの指先、前記ユーザの手のひら、前記ユーザの手首、または前記ユーザのこぶしのうちの１つであり、
    身体上の前記点は、前記ユーザの利き目、前記ユーザの肩、または前記ユーザの臀部のうちの１つである
    のいずれか１つである、請求項１２に記載のコンピュータ可読記憶媒体。
14. コンピューティングシステムであって、
    １つまたは複数のプロセッサと、
    前記１つまたは複数のプロセッサによって実行されるときに、前記コンピューティングシステムに、
    ユーザの手の部分の位置に基づいて制御点を設定すること、
    前記ユーザの身体上の点に基づいて原点を設定すること、ならびに
    前記制御点および前記原点を通過する線を中心としたプロジェクションを投影すること
    を含む動作を行わせる命令を記憶するメモリとを備える、コンピューティングシステム。
15. 前記ユーザの前記身体上の前記点は、前記ユーザの前記身体上の第１の点であり、前記動作は、
    １つまたは複数のオリジン遷移ファクタを識別することと、
    前記１つまたは複数のオリジン遷移ファクタに基づいて、前記原点が前記ユーザの前記身体上の前記第１の点および前記ユーザの前記身体上の第２の点を接続する経路に沿って前記ユーザの前記身体上の前記第２の点へ移動すべきことを決定することと、
    設定速度で前記経路に沿って前記原点を移動させることとをさらに含む、請求項１４に記載のコンピューティングシステム。

Images