JP2020515923A - 仮想現実の入力の実行 - Google Patents

仮想現実の入力の実行 Download PDF

Info

Publication number
JP2020515923A
JP2020515923A JP2019523053A JP2019523053A JP2020515923A JP 2020515923 A JP2020515923 A JP 2020515923A JP 2019523053 A JP2019523053 A JP 2019523053A JP 2019523053 A JP2019523053 A JP 2019523053A JP 2020515923 A JP2020515923 A JP 2020515923A
Authority
JP
Japan
Prior art keywords
virtual
computer
eir
virtual element
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019523053A
Other languages
English (en)
Other versions
JP6980012B2 (ja
Inventor
ファンミ・イン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2020515923A publication Critical patent/JP2020515923A/ja
Application granted granted Critical
Publication of JP6980012B2 publication Critical patent/JP6980012B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Developing Agents For Electrophotography (AREA)
  • Prostheses (AREA)

Abstract

仮想現実(VR)デバイスがVRアプリケーションのVRシナリオに仮想要素を提示する。仮想要素が有効に相互作用できる仮想要素の有効インタラクション領域(EIR)が決定される。VRアプリケーションの動作フォーカスの軌跡がVRデバイスによって感知された動きに基づいて決定される。動作フォーカスの軌跡とEIRとの間の相互作用が仮想ボタンの選択イベントをトリガするための1つまたは複数の条件を満たす場合に、仮想要素が選択される。

Description

優先権主張
本出願は、2016年10月26日に出願された、中国特許出願201610951000.9と、2017年10月24日に出願された米国特許出願15/792,628の優先権を主張するものであり、その全体が参照により組み込まれる。
本開示は、仮想現実の入力方法に関する。
仮想現実（VR）は、ヘッドセットなどのVRデバイスを使用して、ときには物理的な空間またはマルチ投影環境と組み合わせて、3次元（3D）の仮想環境にユーザの物理的な存在をシミュレートする現実味のある画像、音声、および他の感覚を生成するとともに、VRユーザが仮想環境と相互作用できるようにするコンピュータ技術である。ゲームなどの多くのアプリケーション、コンテンツの消費、および製品が、ユーザにより没入型の体験を提供するためにVR技術を使用して開発されている。
場合によっては、ユーザが、VRシナリオと相互作用するためにVRユーザインターフェース（UI）内の仮想要素（例えば、仮想キー）を選択する必要があるとき、ユーザは、VRデバイスに接続された外部デバイスを使用することによってVR UI内の仮想要素を選択できる。VRデバイスに接続された外部デバイスは、スマートフォン、ジョイスティック、あるいは他のハンドヘルド入力デバイスであってよい。VRアプリケーションを使用するとき、ユーザは、外部デバイスを使用して、VR UI内の動作フォーカス（例えば、カーソル）を制御でき、仮想要素に動作フォーカスを移動し、外部デバイス上のボタンまたはタッチスクリーンをクリックすることによってUI内の仮想要素を選択できる。
場合によっては、クリックアクションは、VR UI内の仮想要素を選択するために「hover timeout」イベントを使用してシミュレートされ得る。すなわち、仮想要素は、所定の期間（例えば、3秒間）、仮想要素上に動作フォーカスをホバリングすることによって選択され得る。動作フォーカスがその期間仮想要素上に留まっているとき、仮想要素が選択される。ユーザは要素を選択するために一定期間待つ必要があるので、この方法はリアルタイム応答を必要とするVRアプリケーションに適切でないことがある。
本開示は、仮想現実アプリケーションにおいて入力を実行するための、コンピュータ実施方法、コンピュータプログラム製品、およびコンピュータシステムを含む、方法およびシステムを説明する。
ある実施形態では、仮想現実(VR)デバイスは、VRアプリケーションのVRシナリオに仮想要素を提示する。仮想要素が有効に相互作用できる仮想要素の有効インタラクション領域(EIR)が決定される。VRアプリケーションの動作フォーカスの軌跡は、VRデバイスによって感知された動きに基づいて決定される。動作フォーカスの軌跡とEIRの間の相互作用が仮想ボタンの選択イベントをトリガするための1つまたは複数の条件を満たす場合に、仮想要素が選択される。
説明される主題の実施形態は、以前に説明された実施形態を含めて、コンピュータ実施方法、コンピュータ実施方法を実行するコンピュータ可読命令を記憶する非一時的なコンピュータ可読媒体、および、1つまたは複数のコンピュータに相互運用可能に結合された1つまたは複数のコンピュータメモリと、1つまたは複数のコンピュータによって実行されたとき、非一時的なコンピュータ可読媒体に記憶されたコンピュータ実施方法/コンピュータ可読命令を実行する、有形の、非一時的な、機械可読媒体とを有するコンピュータ実施システム、を使用して実装され得る。
本明細書の主題は、VRアプリケーションを使用するときのユーザ体験を向上するように仮想現実シナリオにおける仮想要素のリアルタイムの選択を実現するために、特定の実施形態において実装され得る。
本明細書に説明される主題の一つまたは複数の実施形態の詳細は、発明の詳細な説明、特許請求の範囲、および添付の図面に記載される。主題の他の特徴、態様、および利点は、発明の詳細な説明、特許請求の範囲、および添付の図面から当業者に明らかになるであろう。
本開示の実施形態による、VRシナリオに基づく入力方法の一例を示すフローチャートである。
本開示の実施形態による、仮想ボタンの有効インタラクション領域を通過することによって、仮想ボタンの選択イベントをトリガする軌跡の一例を示す概略図である。
本開示の実施形態による、仮想要素の選択イベントをトリガする一例を示す概略図である。
本開示の実施形態による、VRアプリケーションを使用してオンラインショッピングを実行するための仮想要素を選択する一例を示す概略図である。
本開示の実施形態による、オンラインショッピングのVRシナリオにおいて入力を実行するための仮想キーを選択する一例を示す概略図である。
本開示の実施形態による、仮想要素の選択イベントをトリガする別の例を示す概略図である。
本開示の実施形態による、仮想要素の選択イベントをトリガするさらに別の例を示す概略図である。
本開示の実施形態による、仮想要素の選択イベントをトリガするさらに別の例を示す概略図である。
本開示の実施形態による、説明されるアルゴリズム、方法、機能、プロセス、フロー、およびプロシージャに関連付けられたコンピュータ機能を提供するために使用されるコンピュータ実施システムの一例を示すブロック図である。
様々な図面における同じの参照番号および参照符号は、同じ要素を示す。
以下の詳細な説明は、仮想現実の入力方法を説明し、任意の当業者が1つまたは複数の特定の実施形態の文脈において開示された主題を作成および使用できるようにするために提示される。本開示の範囲から逸脱することなく、開示された実施形態の様々な修正、変更、および置換を行うことができ、それらは当業者には容易に明らかであり、本明細書に定義された一般原理は他の実施形態および用途に適用できる。いくつかの事例では、説明される主題の理解を得るのに不必要な詳細は、不必要な詳細により1つまたは複数の説明される実装形態を曖昧にしないように、およびそのような詳細が当業者の技術の範囲内である限り、省略され得る。本開示は、説明または図示された実施態様に限定されることを意図しないが、説明される原理および特徴と矛盾しない最も広い範囲を与えるように意図されている。
仮想現実（VR）は、ヘッドセットなどのVRデバイスを使用して、ときには物理的な空間またはマルチ投影環境と組み合わせて、3次元（3D）の仮想環境にユーザの物理的な存在をシミュレートする現実味のある画像、音声、および他の感覚を生成するとともに、VRユーザが仮想環境と相互作用できるようにするコンピュータ技術である。ゲームなどの多くのアプリケーション、コンテンツの消費、および製品が、ユーザにより没入型の体験を提供するためにVR技術を使用して開発されている。
場合によっては、ユーザが、VRシナリオと相互作用するためにVRユーザインターフェース（UI）内の仮想要素（例えば、仮想キー）を選択する必要があるとき、ユーザは、VRデバイスに接続された外部デバイスを使用することによってVR UI内の仮想要素を選択できる。VRデバイスに接続された外部デバイスは、スマートフォン、ジョイスティック、あるいは他のハンドヘルド入力デバイスであってよい。VRアプリケーションを使用するとき、ユーザは、外部デバイスを使用して、VR UI内の動作フォーカス（例えば、カーソル）を制御でき、仮想要素に動作フォーカスを移動し、外部デバイス上のボタンまたはタッチスクリーンをクリックすることによってUI内の仮想要素を選択できる。
場合によっては、クリックアクションは、VR UI内の仮想要素を選択するために「hover timeout」イベントを使用してシミュレートされ得る。すなわち、仮想要素は、所定の期間（例えば、3秒間）、仮想要素上に動作フォーカスをホバリングすることによって選択され得る。動作フォーカスがその期間仮想要素上に留まっているとき、仮想要素が選択される。ユーザは要素を選択するために一定期間待つ必要があるので、この方法はリアルタイム応答を必要とするVRアプリケーションに適切でないことがある。
本開示は、VRシナリオにおいて仮想要素を選択する方法を開示する。動作フォーカス（例えば、仮想カーソル）がVRシナリオにおいて追跡されて、動作フォーカスの軌跡が生成される。動作フォーカスの軌跡が仮想要素の位置する領域を通過したときに、仮想要素は、選択イベントをトリガするために選択される。そうして、ユーザがVRデバイスを装着して、没入型VR体験を楽しんでいるとき、仮想要素が位置する仮想環境の空間的な領域を通過するように動作フォーカスの軌跡を制御することによって、ユーザは仮想要素を選択できる。VRアプリケーション使用時のユーザ体験を向上させるために、仮想要素がリアルタイムに選択され得る。
図1は、本開示の実施形態による、VRシナリオに基づく例示的な入力方法100を示すフローチャートである。提示を明快にするために、以下の説明は、本明細書における他の形態の文脈において方法100を概略的に説明する。しかしながら、方法100は、必要に応じて、例えば、任意のシステム、環境、ソフトウェア、およびハードウェアによって、またはシステム、環境、ソフトウェア、およびハードウェアの組み合わせによって実行されることができることが理解されるであろう。いくつかの実施形態では、方法100の様々なステップが、並列に、組み合わせて、ループで、または任意の順序で実行され得る。
110では、VRアプリケーションのVRシナリオにおける仮想要素が提示される。方法100は、VRデバイスによって実行され得る。VRアプリケーションは、VR技術に基づいて開発されたソフトウェアまたはアプリケーションであり、3D没入型ユーザ体験をVRデバイスのユーザに提供できる。VRアプリケーションは、VRデバイスによって生成されたVRシナリオをユーザに提示できる。VRシナリオは、VRアプリケーションを実行または制御するために選択され得る1つまたは複数の仮想要素を含むことができる。例えば、仮想要素は、VRアプリケーションと相互作用するためにユーザによって使用されるべき（情報の入力またはサービスの開始など）VRシナリオ上に生成された、仮想ボタン、仮想キー、またはパターンであってよい。
サービスはVRアプリケーションによってサポートされるタスクまたは機能であり得る。例えば、サービスは、VRショッピング、VRゲーム、VRベースのビデオオンデマンド、またはVRライブキャストへの寄付の支払いなど、支払いサービスであってよい。いくつかの実施形態では、支払いサービスのための仮想要素は、支払いサービスを開始または実行するために選択され得る仮想支払いボタンであってよい。支払いサービスが開始された後、VRデバイスは、ユーザIDおよびパスワードなどの支払い情報をユーザが入力するための入力UIをVRシナリオに提示できる。仮想要素は、入力UI上に提示された仮想キーであってよい。方法100は、110に続いて120に進む。
120において、仮想要素の有効インタラクション領域（EIR）が決定される。ユーザが仮想要素を選択するために相互作用できる領域は、仮想要素のEIRと呼ばれ得る。いくつかの実施形態では、仮想要素のEIRは、VRシナリオにおいて示される仮想要素の領域の少なくとも一部に重なるエリアであってよい。例えば、仮想要素が長方形の仮想ボタンであるとき、長方形の少なくとも一部を覆うエリアが、EIRであってよい。
VRシナリオおよびそこに含まれる仮想要素は、VRモデリング動作によって（UNITY、3DSMAX、またはPHOTOSHOP(登録商標)などのモデリングツールを使用してなど）、生成されることができる。場合によっては、VRモデリングおよびVRシナリオテクスチャマッピングは、実生活のシナリオに基づくことができる。例えば、マテリアルのテクスチャマップおよび実生活のシナリオモデルは、最初に実生活のオブジェクトまたはシナリオを写真撮影することによって収集され得る。PHOTOSHOP(登録商標)または3DMAXなどのモデリングツールは、テクスチャ処理および実生活の3Dモデル生成のために使用され得る。3Dモデルは、UNITY3D(U3D)プラットフォームにインポートされ、サウンドエフェクト、グラフィカルインターフェース、プラグイン、およびライティング(lighting)を介して、多次元的にレンダリングされる。インタラクションコードが実行されて、3DモデルをVRシナリオモデルに変換できる。VRシナリオモデリングの後、VRデバイスはVRシナリオおよびそこに含まれる仮想要素をユーザに出力できる。方法100は、120に続いて130に進む。
130において、VRデバイスによって感知された動きに基づいてVRアプリケーションの動作フォーカスの軌跡が決定される。仮想要素が、選択イベントをトリガすることによって選択され得る。選択イベントは、EIRを通過するように動作フォーカスの軌跡を制御することによって、トリガされ得る。そうして、ユーザはVRシナリオにおいて仮想要素をリアルタイムに選択できる。いくつかの実施形態では、動作フォーカスまたは仮想フォーカスは、VRアプリケーションのVRシナリオにおいて表示され得る。例えば、動作フォーカスはVRシナリオ内のカーソルとして表示され得る。ユーザは、VRシナリオと相互作用するために、ヘッドポスチャ(head posture)またはハンドジェスチャを介してVRシナリオにおいて動作フォーカスの軌跡を制御できる。
VRアプリケーションは、VRデバイス上に設けられたセンサまたはVRデバイスに通信可能に結合されたセンサを使用して、ユーザの頭または手の動きを追跡できる。VRデバイスは、VRセンサによって感知されたユーザの手または頭の動きに対応するデータを収集および処理することができる。センサは、ジャイロスコープ、加速度計、重力センサ、または磁力計を含むことができる。
ユーザの頭または手の動きデータを収集した後、VRアプリケーションは、そのデータを使用して、手または頭の動きに対応するVRシナリオに表示された動作フォーカスの軌跡を制御することができる。例えば、VRデバイスは、収集した動きデータに基づいて、VRシナリオのXY基準フレームに対してユーザの頭または手のオフセットを計算し、計算したオフセットに基づいて動作フォーカスを移すことができる。
VRデバイスはまた、XY基準フレームにおいて動作フォーカスの座標を記録し、記録された座標に基づいて動作フォーカスの軌跡を生成できる。VRシナリオにおいて動作フォーカスの軌跡を生成した後、VRアプリケーションは、軌跡が仮想要素のEIRを通過したかどうかを検出できる。軌跡がEIRを通過する場合、VRデバイスは、選択イベントをトリガして、仮想要素を選択できる。軌跡がEIRの境界と少なくとも2回交差するとき、軌跡が仮想要素のEIRを通過するとする。方法100は、130に続いて140に進む。
140において、動作フォーカスの軌跡とEIRの間の相互作用が、仮想ボタンの選択イベントをトリガするための1つまたは条件を満たす場合、仮想要素が選択される。選択イベントをトリガするための様々な実施形態が、図2から図8についての説明において説明される。方法100は、140において終了する。
図2は、本願の実施形態による、仮想ボタンのEIRを通過することによって、仮想ボタンの選択イベントをトリガする軌跡の例200を示す概略図である。この例では、仮想ボタン210は、長方形の形とする。EIR220は、仮想ボタン210のエリアの内部の上側境界線240および下側境界線250を有する長方形のエリアである。動作フォーカスの軌跡230は、選択イベントをトリガできる上側境界線240および下側境界線250の両方と交差する。
いくつかの実施形態では、仮想ボタン210によって覆われたエリアの一部としてEIR220を選択することは、選択動作が意図せずにトリガされる可能性を減らすことができる。いくつかの実施形態では、動作フォーカスの軌跡が仮想ボタンの意図しない選択をさらに減らすように、EIR220の境界と2回より多く交差するときに、選択イベントがトリガされ得る。
図3は、本願の実施形態による、仮想要素の選択イベントをトリガする例300を示す概略図である。この例300では、仮想要素は、VRシナリオにおける、仮想キー「A」360a、「B」360b、「C」360c、および「D」360dである。EIRは、上側境界340の点線および下側境界350の点線の間の領域である。仮想キー「A」360aの選択を例として使用すると、動作フォーカスの軌跡330は、仮想キーを選択するために「V」型のヘッドポスチャ310またはハンドジェスチャ320の動きを使用することによって制御され得る。より具体的には、ユーザは、上側境界340の上方から開始し、上側境界340と下側境界350の両方を横切って下方に行き、上側境界340の上方に行くように、動作フォーカスの軌跡330を制御する。その結果、動作フォーカスの軌跡330は、EIRと4回交差する。
別の例として、VRデバイスのユーザは、仮想要素の選択方法を使用して、オンラインショッピングを実行できる。図4を参照すると、図4は、本開示の実施形態による、VRアプリケーションを使用してオンラインショッピングを実行するための仮想要素を選択する例400を示す概略図である。この例400では、VRデバイスはVRヘッドセットである。アイテムの購入または支払いのための仮想ボタン420が、オンラインショッピングのVRシナリオのユーザのビュー430に示される。VRヘッドセットを装着したユーザ410は、「V」型の頭の動きを行って、仮想ボタン420のエリアの内部の上側境界440と下側境界450の間のEIRを横切って動作フォーカスを移動させ、アイテムの購入または支払いの選択をトリガできる。
図5は、オンラインショッピングVRシナリオにおける入力を実行するために仮想キーを選択する例500を示す概略図である。同様に、仮想キーボードを介してパスワードまたは支払いを入力するために、VRヘッドセットを装着したユーザは、「V」型の頭の動きを行って、仮想キー520のEIRを横切って動作フォーカスを移動させ、仮想キー520の選択をトリガできる。
図6は、本開示の実施形態による、仮想要素の選択イベントをトリガする別の例600を示す概略図である。この例では、仮想要素は、再び、VRシナリオにおける仮想キー「A」660a、「B」660b、「C」660c、および「D」660dである。EIRは、上側境界640の点線および下側境界650の点線の間の領域である。仮想キー「A」660aの選択を再び例として使用すると、ユーザは、上側境界640の上方から開始し、上側境界640と下側境界650の両方を横切って下方に移動し、上側境界640の上方に移動し、再び下側境界650の下方に下移動するように、動作フォーカスの軌跡630を制御できる。仮想キー「A」660aの選択イベントは、動作フォーカスの軌跡630が上側境界640と下側境界650と5回交差するときトリガされ得る。
図7は、本開示の実施形態による、仮想要素の選択イベントをトリガするさらに別の例700を示す概略図である。この例では、仮想要素は、再び、VRシナリオにおける仮想キー「A」760a、「B」760b、「C」760c、および「D」760dである。仮想キー「A」760aの選択を再び例として使用すると、EIR740は、仮想キー「A」760aのエリアの内部の円である。ユーザは、動作フォーカスの軌跡を制御して、EIR740の内部で囲い730（例えば、円）を形成して、仮想キー「A」760aを選択する選択イベントをトリガする。
いくつかの実施形態では、囲い730によって覆われたエリアがEIRのエリアの所定の割合よりも大きい場合、選択イベントがトリガされ得る。囲い730のエリアと割合の算出は、バックグラウンドでVRデバイスによって実行され得る。いくつかの実施形態では、VRデバイスは、ヘッドポスチャ710またはハンドジェスチャ720を使用して、任意の形の囲いを形成するように動作フォーカスの軌跡を制御できる。囲いのエリアがEIRのエリアの所定の割合を越えている限り、選択イベントはトリガされ得る。
代替または追加で、動作フォーカスの軌跡が仮想要素のエリアの内部に囲いを形成するか、または囲いが仮想要素のエリアの所定の割合を超える場合、選択イベントはトリガされ得る。図8を参照すると、図8は、本開示の実施形態による、仮想要素の選択イベントをトリガするさらに別の例800を示す概略図である。この例800では、VRデバイスのユーザは、仮想ボタンのエリアの内部に囲い810を形成するように動作フォーカスを制御することによって、仮想要素820を選択するための選択イベントをトリガできる。いくつかの実施形態では、囲い810によって覆われたエリアが仮想要素820のエリアの所定の割合より大きい場合、選択イベントはトリガされ得る。
いくつかの実施形態では、仮想要素の意図的ではない選択の可能性をさらに下げるために、選択イベントが所定のタイムリミット以内に実行されるときに、仮想要素が選択され得る。言い換えると、動作フォーカスがEIRに入る時間から、選択イベントの完了までの時間が所定のタイムリミット以内であるときのみ、選択イベントはトリガされ得る。例えば、図3の説明で議論したように例300では、「V」型のヘッドポスチャ310またはハンドジェスチャ320は、仮想要素の選択イベントをトリガするために、所定の期間（例えば1秒間）以内に3回上側境界340および下側境界350を横切るように動作フォーカスを動かさなければならない。
VRアプリケーションは、選択イベントがトリガされるかどうかを判定するために、バックグラウンドでタイマを有効にできる。タイマは、動作フォーカスがEIRに入るときに開始し、動作フォーカスの軌跡が選択イベントの条件を満たす時に終了する。期間は、選択イベントをトリガするための所定のタイムリミット以下である場合、選択イベントはトリガされて、対応する仮想要素が選択され得る。そうでない場合、選択イベントはトリガされることができない。
図9は、本開示の実施形態による、説明されたアルゴリズム、方法、機能、プロセス、フロー、およびプロシージャに関連付けられたコンピュータ機能を提供するために使用されるコンピュータ実施システム900の例を示すブロック図である。
図示されたコンピュータ902は、コンピューティングデバイスの物理的インスタンスまたは仮想インスタンス、またはコンピューティングデバイスの物理インスタンスまたは仮想インスタンスの組み合わせを含むサーバ、デスクトップコンピュータ、ラップトップ/ノートブックコンピュータ、ワイヤレスデータポート、スマートフォン、携帯情報端末(PDA)、タブレットコンピューティングデバイス、これらのデバイス内の一つまたは複数のプロセッサ、別のコンピューティングデバイス、あるいはコンピューティングデバイスの組み合わせなどの、任意のコンピューティングデバイスを包含することを意図している。加えて、コンピュータ902は、キーパッド、キーボード、タッチスクリーン、別の入力デバイス、またはユーザ情報を受け入れることのできる入力デバイスの組み合わせなどの、入力デバイスと、デジタルデータ、視覚情報、聴覚情報、別のタイプの情報、あるいはいくつかのタイプの情報の組み合わせを含む、コンピュータ902の動作に関連付けられた情報をグラフィカルタイプユーザインターフェース(UI)(またはGUI)または他のUIに伝達する出力デバイスとを含むコンピュータことができる。
コンピュータ902は、クライアント、ネットワークコンポーネント、サーバ、データベース、または別の永続的機能、別の役割、または本開示に説明された主題を実行するための役割の組み合わせとして、コンピューティングシステムにおいて役割を機能できる。図示されたコンピュータ902は、ネットワーク930に通信可能に結合される。いくつかの実施形態では、コンピュータ902の一つまたは複数の構成要素が、クラウドコンピューティングベースの環境、ローカル環境、グローバル環境、別の環境、または環境の組み合わせを含む、環境の中で動作するように構成され得る。
高いレベルでは、コンピュータ902は、説明された主題に関連付けられたデータおよび情報を、受信、送信、処理、記憶、または管理するように動作可能な電子コンピューティングデバイスである。いくつかの実施形態によれば、コンピュータ902はまた、アプリケーションサーバ、電子メールサーバ、Webサーバ、キャッシュサーバ、データストリーミングサーバ、別のサーバ、またはサーバの組み合わせを含むサーバを含むことができ、あるいはサーバに通信可能に結合され得る。
コンピュータ902は、ネットワーク930を介して(例えば、別のコンピュータ902上で実行されているクライアントソフトウェアアプリケーションから)要求を受信することができ、ソフトウェアアプリケーションまたはソフトウェアアプリケーションの組み合わせを使用して受信した要求を処理することによって受信した要求に応答できる。加えて、要求はまた、内部ユーザ(例えば、コマンドコンソールから、または別の内部アクセス方法によって)、外部またはサードパーティ、あるいは他のエンティティ、個人、システム、またはコンピュータから、コンピュータ902に送られ得る。
コンピュータ902の各構成要素は、システムバス903を使用して通信できる。いくつかの実施形態では、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせを含むコンピュータ902の構成要素のいくつかまたはすべては、アプリケーションプログラミングインターフェース(API)912、サービスレイヤ913、またはAPI912とサービスレイヤ913の組み合わせを使用して、システムバス903を介して相互作用できる。API912は、ルーチン、データ構造、およびオブジェクトクラスのための仕様を含むことができる。API912は、コンピュータ言語に依存しないものでも依存するものでもよく、完全なインターフェース、単一の機能、またはAPIのセットさえも指すものであってよい。サービスレイヤ913は、コンピュータ902またはコンピュータ902に通信可能に結合される他の構成要素(図示されているかどうかにかかわらず)に、ソフトウェアサービスを提供する。コンピュータ902の機能は、このサービスレイヤを使用するすべてのサービス消費者にとってアクセス可能であり得る。サービスレイヤ913によって提供されるものなどのソフトウェアサービスは、規定のインターフェースを通じて、再使用可能な、定義された機能を提供する。例えば、インターフェースは、JAVA(登録商標)、C++、別のコンピューティング言語、または拡張マークアップ言語(XML)フォーマット、別のフォーマット、またはフォーマットの組み合わせでデータを提供するいくつかのコンピューティング言語の組み合わせで書かれたソフトウェアであり得る。コンピュータ902の統合された構成要素として示されているが、代替の実施形態では、API912またはサービスレイヤ913は、コンピュータ902の他の構成要素またはコンピュータ902に通信可能に結合される他の構成要素(図示されているかどうかにかかわらず)に対してスタンドアロン構成要素として示されてよい。さらに、API912またはサービスレイヤ913の一部または全部は、本開示の範囲から逸脱することなく、別のソフトウェアモジュール、企業アプリケーション、またはハードウェアモジュールの子モジュールまたはサブモジュールとして実装され得る。
コンピュータ902は、インターフェース904を含む。図9に単一のインターフェース904として示されているが、コンピュータ902の特定のニーズ、要望、または特定の実装に従って、2つ以上のインターフェース904が使用され得る。インターフェース904は、分散環境におけるネットワーク930に通信可能にリンクされている別のコンピューティングシステム(図示されているかどうかにかかわらず)と通信するためにコンピュータ902によって使用される。一般に、インターフェース904は、ネットワーク930と通信するように動作可能であり、ソフトウェア、ハードウェア、またはソフトウェアとハードウェアの組み合わせで符号化されたロジックを含む。より具体的には、インターフェース904は、ネットワーク930またはインターフェースのハードウェアが図示されたコンピュータ902の内外で物理的信号を通信するように動作可能であるように、通信に関連付けられた1つまたは複数の通信プロトコルをサポートするソフトウェアを含み得る。
コンピュータ902は、プロセッサ905を含む。図9に単一のプロセッサ905として示されているが、特定のニーズ、要望、またはコンピュータ902の特定の実装に従って、2つ以上のプロセッサが使用され得る。一般に、プロセッサ905は命令を実行し、データを操作するとともに、コンピュータ902の動作、および本開示に説明されているような任意のアルゴリズム、方法、機能、プロセス、フロー、およびプロシージャを実行する。
コンピュータ902はまた、コンピュータ902、ネットワーク930に通信可能にリンクされた別の構成要素(図示されているかどうかにかかわらず)、またはコンピュータ902と別の構成要素との組み合わせのために、データを保持できるデータベース906を含む。例えば、データベース906は、本開示に矛盾しないデータを記憶するインメモリの、従来の、または別のタイプのデータベースであってよい。いくつかの実装形態では、データベース906は、特定のニーズ、要望、またはコンピュータ902の特定の実装、および説明された機能に従って、2つ以上の異なるデータベースのタイプ(例えば、ハイブリッドインメモリデータベースおよび従来のデータベース)の組み合わせであり得る。図9に単一のデータベース906として示されているが、特定のニーズ、要望、またはコンピュータ902の特定の実装、および説明された機能に従って、類似するタイプまたは異なるタイプの2つ以上のデータベースが使用され得る。データベース906はコンピュータ902の統合された構成要素として示されているが、代替の実施形態では、データベース906はコンピュータ902の外部にあってよい。
コンピュータ902はまた、コンピュータ902、ネットワーク930に通信可能にリンクされた別の構成要素(図示されているかどうかにかかわらず)、またはコンピュータ902と別の構成要素との組み合わせのために、データを保持できるメモリ907を含む。メモリ907は、本開示に矛盾しない任意のデータを記憶できる。いくつかの実装形態では、メモリ907は、特定のニーズ、要望、またはコンピュータ902の特定の実装、および説明された機能に従って、2つ以上の異なるタイプのメモリの組合せ(例えば、半導体ストレージと磁気ストレージの組合せ)であり得る。図9に単一のメモリ907として示されているが、特定のニーズ、要望、またはコンピュータ902の特定の実装、および説明された機能に従って、2つ以上のメモリ907あるいは類似または異なるタイプが使用され得る。メモリ907はコンピュータ902の統合された構成要素として示されているが、代替の実装形態では、メモリ907はコンピュータ902の外部にあってよい。
アプリケーション908は、特に本開示で説明されている機能に関して、特定のニーズ、要望、またはコンピュータ902の特定の実装に従って、機能を提供するアルゴリズムソフトウェアエンジンである。例えば、アプリケーション908は、1つまたは複数の構成要素、モジュール、またはアプリケーションとして機能することができる。さらに、単一のアプリケーション908として図示されているが、アプリケーション908は、コンピュータ902上で複数のアプリケーション908として実装できる。加えて、コンピュータ902に統合されるように図示されているが、代替の実装において、アプリケーション908はコンピュータ902の外部にあってよい。
コンピュータ902はまた、電源914を含むことができる。電源914は、ユーザ交換可能にあるいはユーザが交換できないように構成され得る充電式または非充電式のバッテリを含むことができる。いくつかの実施形態では、電源914は、電力変換または管理回路(再充電、スタンバイ、または別の電力管理機能を含む)を含むことができる。いくつかの実装形態では、電源914は、例えばコンピュータ902に電力を供給するため、または充電式バッテリを充電するために、コンピュータ902を壁のコンセントまたは別の電力源に差し込むことを可能にするための電源プラグを含むことができる。
コンピュータ902を含むコンピュータシステムに付随して、またはコンピュータシステムの外部に、任意の数のコンピュータ902が存在することができ、各コンピュータ902はネットワーク930を介して通信する。さらに、「クライアント」、「ユーザ」という用語、または他の適切な用語は、本開示の範囲から逸脱することなく、必要に応じて交換可能に使用され得る。さらに、本開示は、多数のユーザが1つのコンピュータ902を使用できること、または1人のユーザが複数のコンピュータ902を使用できることを意図する。
主題の詳細な実施形態は、単独でまたは組み合わせて、1つまたは複数の特徴を含むことができる。
例えば、第1の実施形態では、コンピュータ実施方法は、VRデバイスによって、VRアプリケーションのVRシナリオに仮想要素を提示するステップと、仮想要素が有効に相互作用できる仮想要素の有効インタラクション領域（EIR）を決定するステップと、VRデバイスによって感知された動きに基づいて、VRアプリケーションの動作フォーカスの軌跡を決定するステップと、動作フォーカスの軌跡とEIRとの間の相互作用が仮想ボタンの選択イベントをトリガするための1つまたは複数の条件を満たす場合に、仮想要素を選択するステップとを含む。
前述のおよび他の説明された実装形態はそれぞれ、随意に以下の特徴のうちの1つまたは複数を含むことができる。
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、EIRが仮想要素のエリアの少なくとも一部と重なる。
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、VRデバイスによって感知された動きが、頭の動きまたは手の動きの少なくとも1つを含む。
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、仮想要素が、ユーザ入力を実行するために提示された仮想ボタンまたは仮想キーである。
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、動作フォーカスが、仮想シナリオに提示されたカーソルであるとともに、VRデバイスのユーザの視覚的なフォーカス、頭の位置、または手の位置に基づいて決定される。
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、相互作用の1つまたは複数の条件が、軌跡がEIRの1つまたは複数の境界と少なくとも2回交差することを含む。
第6の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、相互作用の1つまたは複数の条件が、動作フォーカスの軌跡がEIRに囲いを形成することを含む。
第7の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、囲いのエリアが、EIRのエリアの所定の割合より大きい。
第8の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、相互作用の1つまたは複数の条件が、相互作用が所定のタイムリミット以下の期間で実行されることを含む。
第2の実施形態では、動作を実行するためのコンピュータシステムによって実行可能な1つまたは複数の命令を記憶した非一時的コンピュータ可読記憶媒体であり、動作が、VRデバイスによって、VRアプリケーションのVRシナリオに仮想要素を提示するステップと、仮想要素が有効に相互作用できる仮想要素のEIRを決定するステップと、VRデバイスによって感知された動きに基づいて、VRアプリケーションの動作フォーカスの軌跡を決定するステップと、動作フォーカスの軌跡とEIRとの間の相互作用が仮想ボタンの選択イベントをトリガするための1つまたは複数の条件を満たす場合に、仮想要素を選択するステップとを含む。
前述のおよび他の説明された実装形態はそれぞれ、随意に以下の特徴のうちの1つまたは複数を含むことができる。
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、EIRが仮想要素のエリアの少なくとも一部と重なる。
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、VRデバイスによって感知された動きが、頭の動きまたは手の動きの少なくとも1つを含む。
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、仮想要素が、ユーザ入力を実行するために提示された仮想ボタンまたは仮想キーである。
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、動作フォーカスが、仮想シナリオに提示されたカーソルであるとともに、VRデバイスのユーザの視覚的なフォーカス、頭の位置、または手の位置に基づいて決定される。
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、相互作用の1つまたは複数の条件が、軌跡がEIRの1つまたは複数の境界と少なくとも2回交差することを含む。
第6の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、相互作用の1つまたは複数の条件が、動作フォーカスの軌跡がEIRに囲いを形成することを含む。
第7の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、囲いのエリアが、EIRのエリアの所定の割合より大きい。
第8の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、相互作用の1つまたは複数の条件が、相互作用が所定のタイムリミット以下の期間で実行されることを含む。
第3の実施形態では、1つまたは複数のコンピュータと、1つまたは複数のコンピュータに相互運用可能に結合されるとともに、1つまたは複数の命令を記憶した有形の、非一時的機械記憶媒体を有する1つまたは複数のコンピュータメモリデバイスとを具備するコンピュータ実施システムであって、1つまたは複数の命令が、1つまたは複数のコンピュータによって実行されるとき動作を実行し、動作は、VRデバイスによって、VRアプリケーションのVRシナリオに仮想要素を提示するステップと、仮想要素が有効に相互作用できる仮想要素のEIRを決定するステップと、VRデバイスによって感知された動きに基づいて、VRアプリケーションの動作フォーカスの軌跡を決定するステップと、動作フォーカスの軌跡とEIRとの間の相互作用が、仮想ボタンの選択イベントをトリガするための1つまたは複数の条件を満たす場合に仮想要素を選択するステップとを含む。
前述のおよび他の説明された実装形態はそれぞれ、随意に以下の特徴のうちの1つまたは複数を含むことができる。
第1の特徴は、後述の特徴のいずれかと組み合わせることができ、EIRが仮想要素のエリアの少なくとも一部と重なる。
第2の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、VRデバイスによって感知された動きが、頭の動きまたは手の動きの少なくとも1つを含む。
第3の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、仮想要素が、ユーザ入力を実行するために提示された仮想ボタンまたは仮想キーである。
第4の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、動作フォーカスが、仮想シナリオに提示されたカーソルであるとともに、VRデバイスのユーザの視覚的なフォーカス、頭の位置、または手の位置に基づいて決定される。
第5の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、相互作用の1つまたは複数の条件が、軌跡がEIRの1つまたは複数の境界と少なくとも2回交差することを含む。
第6の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、相互作用の1つまたは複数の条件が、動作フォーカスの軌跡がEIRに囲いを形成することを含む。
第7の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、囲いのエリアが、EIRのエリアの所定の割合より大きい。
第8の特徴は、前述または後述の特徴のいずれかと組み合わせることができ、相互作用の1つまたは複数の条件が、相互作用が所定のタイムリミット以下の期間で実行されることを含む。
本明細書に説明された主題の実施形態および機能的動作は、本明細書に開示された構造およびそれらの構造上の均等物を含む、デジタル電子回路、有形の具現化されたコンピュータソフトウェアまたはファームウェア、コンピュータハードウェア、またはそれらの1つまたは複数の組み合わせで実装され得る。説明された主題のソフトウェア実施形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行されるための、あるいはデータ処理装置の動作を制御するための、有形の非一時的コンピュータ可読なコンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実装され得る。代替または追加で、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理装置による実行のために受信装置に送信するための情報を符号化するように生成された、機械生成された電気信号、光信号、または電磁信号の中に/上に符号化され得る。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムまたはシリアルアクセスメモリデバイス、またはコンピュータ記憶媒体の組み合わせであってよい。1つまたは複数のコンピュータを構成することは、ソフトウェアが1つまたは複数のコンピュータによって実行されるときに特定の計算動作が実行されるように、1つまたは複数のコンピュータがハードウェア、ファームウェア、またはソフトウェア(またはハードウェア、ファームウェア、およびソフトウェアの組合せ)をインストールしていることを意味する。
「リアルタイム(real-time)」、「リアルタイム(real time)」、「リアルタイム(realtime)」、「リアル(ファスト)タイム(real (fast) time (RFT))」、「ほぼリアルタイム(near(ly) real-time (NRT))」、「準リアルタイム（quasi real-time）」という用語、または(当業者には理解されるような)同様の用語は、アクションおよび応答が実質的に同時に起こることを個人が知覚するように、アクションおよび応答が時間的に近いことを意味する。例えば、データへのアクセスに対する個人のアクションに続いてデータを表示するための応答(または表示の開始)にかかる時間差は、1ミリ秒(ms)未満、1秒(s)未満、または5秒未満であり得る。要求されたデータは瞬時に表示される（または表示を開始される）必要はないが、説明されたコンピューティングシステムの処理限界と、例えばデータを収集、正確に測定、分析、処理、保存、または送信するのに必要な時間とを考慮して、意図的な遅延なしに表示（または表示のために開始）される。
用語「データ処理装置」、「コンピュータ」、または「電子コンピュータデバイス」(または当業者によって理解されるような同等のもの)は、データ処理ハードウェアを指すとともに、例として、プログラム可能なプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含め、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。装置は、例えば、中央処理装置(CPU)、FPGA(フィールドプログラマブルゲートアレイ)、またはASIC(特定用途向け集積回路)などの特殊用途論理回路でもよく、またはさらに特殊用途論理回路を含んでもよい。いくつかの実装形態では、データ処理装置または専用論理回路(またはデータ処理装置または専用論理回路の組み合わせ)は、ハードウェアベースまたはソフトウェアベース(またはハードウェアベースとソフトウェアベースの両方の組み合わせ)とすることができる。装置は、コンピュータプログラムの実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、または実行環境の組み合わせを構成するコードを任意に含むことができる。本開示は、あるタイプのオペレーティングシステム、例えば、LINUX、UNIX(登録商標)、WINDOWS(登録商標)、MAC OS、ANDROID(登録商標)、IOS、別のオペレーティングシステム、またはオペレーティングシステムの組み合わせによってデータ処理装置を使用することを企図する。
プログラム、ソフトウェア、ソフトウェアアプリケーション、ユニット、モジュール、ソフトウェアモジュール、スクリプト、コード、または他の構成要素などと呼ばれるまたは説明され得るコンピュータプログラムは、プログラム言語の任意の形式で書くことができ、プログラム言語は、コンパイル言語またはインタプリタ言語、あるいは宣言型言語または手続き型言語を含み、コンピュータプログラムは、例えば、コンピューティング環境で使用するためのスタンドアロンプログラム、モジュール、コンポーネント、またはサブルーチンとしてなど、任意の形式で展開され得る。コンピュータプログラムは、必ずしもそうである必要はないが、ファイルシステム内のファイルに対応できる。プログラムは、他のプログラムまたはデータを保持するファイルの一部、例えば、マークアップ言語文書に記憶された1つまたは複数のスクリプトは、対象のプログラム専用の単一ファイル、または複数の協調ファイル、例えば、1つまたは複数のモジュール、サブプログラム、またはコードの一部を保持するファイルなどに記憶できる。コンピュータプログラムは、1つのサイトに配置されているかまたは複数のサイトにわたって分散され、通信ネットワークによって相互接続されている1つのコンピュータまたは複数のコンピュータ上で実行されるように展開され得る。
様々な図に示されたプログラムの部分は、様々なオブジェクト、方法、または他のプロセスを使用して説明された特徴および機能を実装する、ユニットまたはモジュールなどの個々の構成要素として示すことができ、プログラムは代わりに、必要に応じて、サブユニット、サブモジュール、サードパーティのサービス、コンポーネント、ライブラリ、およびその他の構成要素を含むことができる。対照的に、様々な構成要素の特徴および機能を組み合わせて、必要に応じて単一の構成要素にすることができる。コンピュータでの判定を行うために使用されるしきい値は、静的に、動的に、または静的かつ動的に決定できる。
説明された方法、プロセス、または論理フローは、本開示に矛盾しない機能の1つまたは複数の例を表しており、説明されたまたは図示された実装形態に開示内容を限定することを意図しておらず、説明された原理や特徴に矛盾しない最も広い範囲が与えられることを意図していると認められるべきである。説明された方法、プロセス、または論理フローは、入力データに基づき動作して出力データを生成することによって機能を実行するために1つまたは複数のコンピュータプログラムを実行する1つまたは複数のプログラム可能コンピュータによって実行され得る。方法、プロセス、または論理フローは、特殊用途論理回路、例えば、CPU、FPGA、またはASICによって実行することができ、特殊用途論理回路として装置が実装されてよい。
コンピュータプログラムを実行するためのコンピュータは、汎用または特殊用途のマイクロプロセッサ、その両方、または別のタイプのCPUに基づくことができる。一般に、CPUはメモリから命令およびデータを受信し、メモリに書き込む。コンピュータの必須要素は、命令を行うまたは実行するためのCPU、ならびに命令およびデータを記憶するための1つまたは複数のメモリデバイスである。一般に、コンピュータはまた、例えば磁気ディスク、光磁気ディスク、または光ディスクなど、データを記憶するための1つまたは複数の大容量記憶デバイスを含む、または1つまたは複数の大容量記憶デバイスに動作可能に結合され、1つまたは複数の大容量記憶デバイスからデータを受信するか、または1つまたは複数の大容量記憶デバイスにデータを転送するか、またはその両方を行う。しかしながら、コンピュータはそのようなデバイスを有する必要はない。さらに、コンピュータは、別のデバイス、例えば携帯電話、携帯情報端末(PDA)、モバイルオーディオまたはビデオプレーヤ、ゲームコンソール、全地球測位システム(GPS)受信機、またはポータブルメモリストレージデバイスに組み込まれ得る。
コンピュータプログラム命令およびデータを記憶するための非一時的コンピュータ可読媒体は、例として半導体メモリデバイス、磁気デバイス、光磁気ディスクおよび光メモリデバイスを含む、あらゆる形態の永久的/非永久的または揮発性/不揮発性メモリ、媒体、およびメモリデバイスを含むことができ、半導体メモリデバイスは、例えば、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、およびフラッシュメモリデバイスであり、磁気デバイスは、例えば、テープ、カートリッジ、カセット、内蔵/取り外し可能ディスクであり、光メモリデバイスは、例えば、デジタルビデオディスク(DVD)、CD ROM、DVD+/-R、DVD-RAM、DVD-ROM、HD-DVD、およびBLURAY、ならびに他の光メモリ技術である。メモリは、キャッシュ、クラス、フレームワーク、アプリケーション、モジュール、バックアップデータ、ジョブ、ウェブページ、ウェブページテンプレート、データ構造、データベーステーブル、動的情報を記憶するリポジトリ、または任意のパラメータ、変数、アルゴリズム、命令、規則、制約、または参照を含む他の適切な情報を含む様々なオブジェクトまたはデータを記憶できる。さらに、メモリは、ログ、ポリシー、セキュリティデータまたはアクセスデータ、あるいは報告ファイルなどの他の適切なデータを含むことができる。プロセッサおよびメモリは、特殊用途論理回路によって補完されるか、またはその中に組み込まれることができる。
ユーザとの相互作用を提供にするために、本明細書に記載の主題の実施形態は、ユーザに情報を表示するための、例えば、CRT(陰極線管)、LCD(液晶ディスプレイ)、LED(発光ダイオード)、またはプラズマモニタなどの表示デバイスと、ユーザがそれによってコンピュータに入力を提供できるマウス、トラックボール、またはトラックパッドなどのキーボードおよびポインティングデバイスとを具備するコンピュータ上に実装され得る。圧力感知のタブレットコンピュータ表面、静電容量式または電気式感知を使用したマルチタッチスクリーン、または別のタイプのタッチスクリーンなどのタッチスクリーンを使用してコンピュータに入力を提供してもよい。他の種類のデバイスがユーザと相互作用するために使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック(視覚的フィードバック、聴覚的フィードバック、触覚的フィードバック、またはいくつかのフィードバックタイプの組み合わせなど)であり得る。ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形式で受け取ることができる。さらに、コンピュータは、ユーザによって使用されるクライアントコンピューティングデバイスとドキュメントを送受信することによって(例えば、ウェブブラウザから受信した要求に応答してユーザのモバイルコンピューティングデバイス上のウェブブラウザにウェブページを送信することによって)、ユーザと相互作用できる。
「グラフィカルユーザインターフェース」または「GUI」という用語は、単数形または複数形で使用され、1つまたは複数のグラフィカルユーザインターフェースおよび特定のグラフィカルユーザインターフェースの各ディスプレイを記述する。従って、GUIは、限定ではないが、情報を処理するとともに情報結果を効率的にユーザに提示するウェブブラウザ、タッチスクリーン、またはコマンドラインインターフェース(CLI)を含む任意のグラフィカルユーザインターフェースを表すことができる。一般に、GUIは、インタラクティブフィールド、プルダウンリスト、およびボタンなど、ウェブブラウザのいくつかまたはすべてに関連付けられた複数のユーザインターフェース(UI)要素を含むことができる。これらのUI要素および他のUI要素は、ウェブブラウザの機能に関連するかまたはそれを表すことができる。
本明細書に記載の主題の実施形態は、例えばデータサーバとしてのバックエンド構成要素を含む、または例えばアプリケーションサーバなどのミドルウェア構成要素を含む、または例えばグラフィカルユーザインターフェースを有するクライアントコンピュータ、またはユーザがそれを介して本明細書に記載の主題の実施形態と相互作用できるウェブブラウザなどのフロントエンド構成要素を含む、またはそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の1つまたは複数の組み合わせを含むコンピューティングシステムで実装され得る。システムの構成要素は、例えば通信ネットワークなどの有線または無線デジタルデータ通信(またはデータ通信の組み合わせ)の任意の形態または媒体によって相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(LAN)、無線アクセスネットワーク(RAN)、メトロポリタンエリアネットワーク(MAN)、ワイドエリアネットワーク(WAN)、WIMAX(Worldwide Interoperability for Microwave Access)、例えば、802．11a/b/g/nまたは802．20(または802.11xと802.20の組み合わせ、または本開示に矛盾しない他のプロトコル)を使用する無線ローカルエリアネットワーク(WLAN)、インターネットの全部または一部、別の通信ネットワーク、または通信ネットワークの組み合わせを含む。通信ネットワークは、例えば、インターネットプロトコル(IP)パケット、フレームリレーフレーム、非同期転送モード(ATM)セル、音声、ビデオ、データ、またはネットワークノード間の他の情報と通信できる。
コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバは一般に互いに離れており、通常は通信ネットワークを介して相互作用する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによって生じる。
本明細書は多くの具体的な実施形態の詳細を含むが、これらはいかなる発明の範囲または特許請求され得るものの範囲に対する限定として解釈されるべきではなく、むしろ特定の発明の特定の実施形態に特有であり得る特徴の説明として解釈されるべきである。別々の実施形態の文脈で本明細書に説明されているいくつかの特徴は、組み合わせて、単一の実施形態で実装されてよい。対照的に、単一の実施形態の文脈で説明されている様々な特徴は、複数の実施形態で別々に、または任意のサブコンビネーションで実装されてよい。さらに、前述の特徴は特定の組み合わせで作用するものとして説明され、最初はそのように請求することさえされ得るが、場合によっては、請求する組み合わせからの1つまたは複数の特徴をその組み合わせから切り取ることができ、請求する組み合わせは、サブコンビネーションまたはサブコンビネーションの変形に向けられてよい。
主題の特定の実施形態が説明された。説明された実施形態の他の実施形態、変形、および置換は、添付の特許請求の範囲の範囲内であり、このことは、当業者には明らかであろう。動作は図面または特許請求の範囲に特定の順序で描かれているが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序またはシーケンシャルな順序に実行されること、または図示されたすべての動作（いくつかの動作は任意とされ得る）が実行されることを必要とすると理解されるべきではない。特定の状況では、マルチタスク処理または並列処理(またはマルチタスク処理と並列処理の組み合わせ)が有利であり、必要に応じて実行され得る。
さらに、前述の実装形態における様々なシステムモジュールおよび構成要素の分離または統合は、すべての実装形態においてそのような分離または統合を必要とすると理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して単一のソフトウェア製品に統合され得る、または複数のソフトウェア製品にパッケージ化され得ると理解すべきである。
従って、前述の例示的な実装形態は、本開示を定義または制限するものではない。本開示の精神および範囲から逸脱することなく、他の変更、置換、および変形もまた可能である。
さらに、特許請求の範囲に記載された実施形態は、少なくともコンピュータ実施方法、コンピュータ実施方法を実行するためのコンピュータ可読命令を記憶する非一時的コンピュータ可読媒体、およびコンピュータ実施方法または非一時的コンピュータ可読媒体に記憶された命令を実行するように構成されたハードウェアプロセッサと相互運用可能に結合されたコンピュータメモリを備えるコンピュータシステムに適用可能であると考えられる。
210 仮想ボタン
220 有効インタラクション領域
230 動作フォーカスの軌跡
330 動作フォーカスの軌跡
420 支払い/購入
430 ユーザビュー
500 ユーザビュー
904 インターフェース
905 プロセッサ
906 データベース
907 メモリ
908 アプリケーション
909 コンピュータ
913 サービスレイヤ
914 電源
930 ネットワーク

Claims (20)

  1. 仮想現実(VR)デバイスによって、VRアプリケーションのVRシナリオに仮想要素を提示するステップと、
    前記仮想要素が有効に相互作用できる前記仮想要素の有効インタラクション領域（EIR）を決定するステップと、
    前記VRデバイスによって感知された動きに基づいて、前記VRアプリケーションの動作フォーカスの軌跡を決定するステップと、
    前記動作フォーカスの軌跡と前記EIRとの間の相互作用が仮想ボタンの選択イベントをトリガするための1つまたは複数の条件を満たす場合に、前記仮想要素を選択するステップと
    を含む、コンピュータ実施方法。
  2. 前記EIRが前記仮想要素のエリアの少なくとも一部と重なる、請求項1に記載のコンピュータ実施方法。
  3. 前記VRデバイスによって感知された前記動きが、頭の動きまたは手の動きの少なくとも1つを含む、請求項1に記載のコンピュータ実施方法。
  4. 前記仮想要素が、ユーザ入力を実行するために提示された仮想ボタンまたは仮想キーである、請求項1に記載のコンピュータ実施方法。
  5. 前記動作フォーカスが、仮想シナリオに提示されたカーソルであるとともに、VRデバイスのユーザの視覚的なフォーカス、頭の位置、または手の位置に基づいて決定される、請求項1に記載のコンピュータ実施方法。
  6. 前記相互作用の前記1つまたは複数の条件が、前記軌跡が前記EIRの1つまたは複数の境界と少なくとも2回交差することを含む、請求項1に記載のコンピュータ実施方法。
  7. 前記相互作用の前記1つまたは複数の条件が、前記動作フォーカスの軌跡が前記EIRに囲いを形成することを含む、請求項1に記載のコンピュータ実施方法。
  8. 前記囲いのエリアが、前記EIRのエリアの所定の割合より大きい、請求項7に記載のコンピュータ実施方法。
  9. 前記相互作用の前記1つまたは複数の条件が、前記相互作用が所定のタイムリミット以下の期間で実行されることを含む、請求項1に記載のコンピュータ実施方法。
  10. 動作を実行するためのコンピュータシステムによって実行可能な1つまたは複数の命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記動作が、
    仮想現実(VR)デバイスによって、VRアプリケーションのVRシナリオに仮想要素を提示するステップと、
    前記仮想要素が有効に相互作用できる前記仮想要素の有効インタラクション領域（EIR）を決定するステップと、
    前記VRデバイスによって感知された動きに基づいて、前記VRアプリケーションの動作フォーカスの軌跡を決定するステップと、
    前記動作フォーカスの軌跡と前記EIRとの間の相互作用が仮想ボタンの選択イベントをトリガするための1つまたは複数の条件を満たす場合に、前記仮想要素を選択するステップと
    を含む、非一時的コンピュータ可読記憶媒体。
  11. 前記EIRが前記仮想要素のエリアの少なくとも一部と重なる、請求項10に記載の非一時的コンピュータ可読記憶媒体。
  12. 前記VRデバイスによって感知された前記動きが、頭の動きまたは手の動きの少なくとも1つを含む、請求項10に記載の非一時的コンピュータ可読記憶媒体。
  13. 前記仮想要素が、ユーザ入力を実行するために提示された仮想ボタンまたは仮想キーである、請求項10に記載の非一時的コンピュータ可読記憶媒体。
  14. 前記動作フォーカスが、仮想シナリオに提示されたカーソルであるとともに、VRデバイスのユーザの視覚的なフォーカス、頭の位置、または手の位置に基づいて決定される、請求項10に記載の非一時的コンピュータ可読記憶媒体。
  15. 前記相互作用の前記1つまたは複数の条件が、前記軌跡が前記EIRの1つまたは複数の境界と少なくとも2回交差することを含む、請求項10に記載の非一時的コンピュータ可読記憶媒体。
  16. 前記相互作用の前記1つまたは複数の条件が、前記動作フォーカスの軌跡が前記EIRに囲いを形成することを含む、請求項10に記載の非一時的コンピュータ可読記憶媒体。
  17. 前記囲いのエリアが、前記EIRのエリアの所定の割合より大きい、請求項16に記載の非一時的コンピュータ可読記憶媒体。
  18. 前記相互作用の前記1つまたは複数の条件が、前記相互作用が所定のタイムリミット以下の期間で実行されることを含む、請求項10に記載の非一時的コンピュータ可読記憶媒体。
  19. 1つまたは複数のコンピュータと、
    前記1つまたは複数のコンピュータに相互運用可能に結合されるとともに、1つまたは複数の命令を記憶した有形の、非一時的機械記憶媒体を有する1つまたは複数のコンピュータメモリデバイスとを具備するコンピュータ実施システムであって、前記1つまたは複数の命令が、前記1つまたは複数のコンピュータによって実行されるとき動作を実行し、前記動作は、
    仮想現実(VR)デバイスによって、VRアプリケーションのVRシナリオに仮想要素を提示するステップと、
    前記仮想要素が有効に相互作用できる前記仮想要素の有効インタラクション領域（EIR）を決定するステップと、
    前記VRデバイスによって感知された動きに基づいて、前記VRアプリケーションの動作フォーカスの軌跡を決定するステップと、
    前記動作フォーカスの軌跡と前記EIRとの間の相互作用が仮想ボタンの選択イベントをトリガするための1つまたは複数の条件を満たす場合に、前記仮想要素を選択するステップと
    を含む、コンピュータ実施システム。
  20. 前記仮想要素が、ユーザ入力を実行するために提示された仮想ボタンまたは仮想キーである、請求項19に記載のコンピュータ実施システム。
JP2019523053A 2016-10-26 2017-10-26 仮想現実の入力の実行 Active JP6980012B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201610951000.9 2016-10-26
CN201610951000.9A CN107024981B (zh) 2016-10-26 2016-10-26 基于虚拟现实的交互方法及装置
US15/792,628 2017-10-24
US15/792,628 US10509535B2 (en) 2016-10-26 2017-10-24 Performing virtual reality input
PCT/US2017/058520 WO2018081418A1 (en) 2016-10-26 2017-10-26 Performing virtual reality input

Publications (2)

Publication Number Publication Date
JP2020515923A true JP2020515923A (ja) 2020-05-28
JP6980012B2 JP6980012B2 (ja) 2021-12-15

Family

ID=59524133

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019523053A Active JP6980012B2 (ja) 2016-10-26 2017-10-26 仮想現実の入力の実行

Country Status (10)

Country Link
US (2) US10509535B2 (ja)
EP (1) EP3533046B1 (ja)
JP (1) JP6980012B2 (ja)
KR (1) KR102278822B1 (ja)
CN (2) CN107024981B (ja)
MY (1) MY195722A (ja)
PH (1) PH12019500945A1 (ja)
SG (1) SG11201903551RA (ja)
TW (1) TW201816554A (ja)
WO (1) WO2018081418A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107024981B (zh) 2016-10-26 2020-03-20 阿里巴巴集团控股有限公司 基于虚拟现实的交互方法及装置
CN107977083B (zh) * 2017-12-20 2021-07-23 北京小米移动软件有限公司 基于vr系统的操作执行方法及装置
CN108304127A (zh) * 2017-12-22 2018-07-20 阿里巴巴集团控股有限公司 一种信息输入的方法及装置
CN110196629A (zh) * 2018-02-27 2019-09-03 优酷网络技术（北京）有限公司 虚拟现实界面展示控制方法及装置
US10860113B2 (en) * 2018-05-30 2020-12-08 Atheer, Inc. Augmented reality head gesture recognition systems
CN109407935A (zh) * 2018-09-14 2019-03-01 歌尔科技有限公司 一种虚拟现实显示控制方法、装置和系统
CN109302602A (zh) * 2018-10-11 2019-02-01 广州土圭垚信息科技有限公司 一种基于视焦点预测的自适应vr无线传输方法
CN109613975A (zh) * 2018-11-13 2019-04-12 宁波视睿迪光电有限公司 虚拟现实的操作方法及装置
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
CN111028633A (zh) * 2019-12-16 2020-04-17 深圳供电局有限公司 基于虚拟现实的电网系统培训方法、装置和计算机设备
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
CN111522930A (zh) * 2020-04-22 2020-08-11 深圳创维－Rgb电子有限公司 一种场景减压数据处理方法、显示设备及存储介质
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
CN112068757B (zh) * 2020-08-03 2022-04-08 北京理工大学 一种用于虚拟现实的目标选择方法及系统
US11467403B2 (en) * 2020-08-20 2022-10-11 Htc Corporation Operating method and electronic system
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11119570B1 (en) 2020-10-29 2021-09-14 XRSpace CO., LTD. Method and system of modifying position of cursor
CN113763567A (zh) * 2020-11-17 2021-12-07 北京沃东天骏信息技术有限公司 一种基于虚拟现实技术的数据展示方法和装置
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
CN113490063B (zh) * 2021-08-26 2023-06-23 上海盛付通电子支付服务有限公司 一种用于直播互动的方法、设备、介质及程序产品
WO2023055346A1 (en) * 2021-09-28 2023-04-06 Hewlett-Packard Development Company, L.P. Key selection for an extended reality keyboard
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US20230135974A1 (en) * 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control
CN114397961A (zh) * 2021-12-28 2022-04-26 杭州灵伴科技有限公司 头戴式显示设备控制方法、头戴式显示设备组件和介质
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
CN115793848B (zh) * 2022-11-04 2023-11-24 浙江舜为科技有限公司 虚拟现实信息交互方法、虚拟现实设备和存储介质
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010015553A (ja) * 2008-06-03 2010-01-21 Shimane Pref Gov 画像認識装置および操作判定方法並びにプログラム
JP2013120487A (ja) * 2011-12-07 2013-06-17 Denso Corp 入力装置
JP2014186361A (ja) * 2013-03-21 2014-10-02 Sony Corp 情報処理装置、操作制御方法及びプログラム
WO2014181380A1 (ja) * 2013-05-09 2014-11-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置およびアプリケーション実行方法
WO2015030264A1 (ja) * 2013-08-30 2015-03-05 国立大学法人山梨大学 クリック動作検出装置，方法およびプログラム
JP2016081508A (ja) * 2014-10-14 2016-05-16 株式会社エヌ・ティ・ティ・データ 認証システム、及び入力装置
US20160249043A1 (en) * 2013-08-30 2016-08-25 Beijing Boe Optoelectronics Technology Co., Ltd. Three dimensional (3d) glasses, 3d display system and 3d display method

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612719A (en) * 1992-12-03 1997-03-18 Apple Computer, Inc. Gesture sensitive buttons for graphical user interfaces
US5737533A (en) * 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
US6154723A (en) 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing
US6195104B1 (en) 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6842175B1 (en) * 1999-04-22 2005-01-11 Fraunhofer Usa, Inc. Tools for interacting with virtual environments
US6480207B1 (en) * 1999-08-30 2002-11-12 International Business Machines Corporation Method, apparatus and computer program product for implementing graphical user interface (GUI) window control
US6938222B2 (en) * 2002-02-08 2005-08-30 Microsoft Corporation Ink gestures
US7050078B2 (en) * 2002-12-19 2006-05-23 Accenture Global Services Gmbh Arbitrary object tracking augmented reality applications
JP4111897B2 (ja) * 2003-09-16 2008-07-02 日立ソフトウエアエンジニアリング株式会社 ウインドウの制御方法
DE10343968A1 (de) * 2003-09-19 2005-05-04 Icido Ges Fuer Innovative Info Verfahren und Vorrichtung zur Steuerung eines Graphiksystems der virtuellen Realität mittels Interaktionen
US7561143B1 (en) * 2004-03-19 2009-07-14 The University of the Arts Using gaze actions to interact with a display
US20110061078A1 (en) * 2005-05-10 2011-03-10 Reagan Inventions, Llc System and method for controlling a plurality of electronic devices
WO2006137078A1 (en) * 2005-06-20 2006-12-28 Hewlett-Packard Development Company, L.P. Method, article, apparatus and computer system for inputting a graphical object
CN101228570B (zh) * 2005-07-22 2010-05-19 马特·帕尔拉科夫 可用拇指操作的触摸屏用户界面的系统和方法
US7523418B2 (en) * 2006-03-15 2009-04-21 International Business Machines Corporation Techniques for choosing a position on a display having a cursor
WO2008010432A1 (fr) * 2006-07-20 2008-01-24 Sharp Kabushiki Kaisha dispositif d'interface utilisateur, programme informatique et son support d'enregistrement
WO2008047552A1 (en) * 2006-09-28 2008-04-24 Kyocera Corporation Portable terminal and method for controlling the same
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
KR101436091B1 (ko) * 2007-08-28 2014-09-01 삼성전자 주식회사 포인터의 연속 궤적에 의한 버튼 선택 장치 및 방법
KR101569427B1 (ko) * 2008-10-02 2015-11-16 삼성전자주식회사 휴대 단말기의 터치 입력 장치 및 그의 운영 방법
US20100194694A1 (en) * 2009-01-30 2010-08-05 Nokia Corporation Method and Apparatus for Continuous Stroke Input
EP2539759A1 (en) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8458615B2 (en) * 2010-04-07 2013-06-04 Apple Inc. Device, method, and graphical user interface for managing folders
JP5581817B2 (ja) * 2010-06-03 2014-09-03 ソニー株式会社 制御システム、制御装置、ハンドヘルド装置、制御方法及びプログラム。
KR101701932B1 (ko) * 2010-07-22 2017-02-13 삼성전자 주식회사 입력 디바이스와 이의 제어 방법
JP2012103914A (ja) * 2010-11-10 2012-05-31 Sony Corp 表示装置、表示用プログラム、および表示方法
JP4908626B1 (ja) * 2010-12-28 2012-04-04 株式会社東芝 表示制御装置および表示制御方法
JP5697521B2 (ja) * 2011-04-07 2015-04-08 京セラ株式会社 文字入力装置、文字入力制御方法および文字入力プログラム
KR20130023954A (ko) * 2011-08-30 2013-03-08 삼성전자주식회사 휴대용 단말기에서 아이콘 편집 과정을 수행하기 위한 장치 및 방법
JP5527304B2 (ja) * 2011-10-17 2014-06-18 株式会社デンソー 入力装置
US10025381B2 (en) * 2012-01-04 2018-07-17 Tobii Ab System for gaze interaction
US9235324B2 (en) * 2012-05-04 2016-01-12 Google Inc. Touch interpretation for displayed elements
US20140002443A1 (en) 2012-06-29 2014-01-02 Blackboard Inc. Augmented reality interface
US20140059455A1 (en) * 2012-08-22 2014-02-27 Sap Ag System and method for efficiently selecting data entities represented in a graphical user interface
US8836768B1 (en) * 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
CN102855066B (zh) * 2012-09-26 2017-05-17 东莞宇龙通信科技有限公司 终端和终端操控方法
JP2014092940A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
US9286763B2 (en) * 2013-06-17 2016-03-15 Bally Gaming, Inc. Methods of administering a wagering game based on comparison of straights
US10025378B2 (en) 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
KR102173123B1 (ko) * 2013-11-22 2020-11-02 삼성전자주식회사 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
JP6255954B2 (ja) * 2013-12-03 2018-01-10 富士通株式会社 動作入力装置、動作入力プログラム及び動作入力方法
US9740296B2 (en) * 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US20150185825A1 (en) 2013-12-30 2015-07-02 Daqri, Llc Assigning a virtual user interface to a physical object
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
AU2015244158A1 (en) * 2014-04-08 2016-09-15 Eon Reality, Inc. Interactive virtual reality systems and methods
US9829979B2 (en) * 2014-04-28 2017-11-28 Ford Global Technologies, Llc Automotive touchscreen controls with simulated texture for haptic feedback
US9990774B2 (en) * 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US10152227B2 (en) * 2014-08-26 2018-12-11 International Business Machines Corporation Free form user-designed single-handed touchscreen keyboard
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
CN104360751B (zh) * 2014-12-05 2017-05-10 三星电子（中国）研发中心 一种实现智能控制的方法和设备
CN104506951B (zh) * 2014-12-08 2018-09-04 青岛海信电器股份有限公司 一种文字输入方法、装置及智能终端
EP3234732B1 (en) * 2014-12-19 2021-11-24 Hewlett-Packard Development Company, L.P. Interaction with 3d visualization
CN105094335B (zh) * 2015-08-04 2019-05-10 天津锋时互动科技有限公司 场景提取方法、物体定位方法及其系统
US20170068416A1 (en) * 2015-09-08 2017-03-09 Chian Chiu Li Systems And Methods for Gesture Input
CN105224084B (zh) 2015-09-30 2018-04-24 深圳多新哆技术有限责任公司 确定虚拟物件在虚拟空间中位置的方法及装置
CN105429860A (zh) * 2015-12-15 2016-03-23 浙江吉利控股集团有限公司 一种即时通讯的装置及方法
CN105955461A (zh) * 2016-04-25 2016-09-21 乐视控股（北京）有限公司 一种交互界面管理方法和系统
CN105955471A (zh) * 2016-04-26 2016-09-21 乐视控股（北京）有限公司 虚拟现实交互的方法及装置
CN107024981B (zh) 2016-10-26 2020-03-20 阿里巴巴集团控股有限公司 基于虚拟现实的交互方法及装置
JP2019083402A (ja) * 2017-10-30 2019-05-30 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010015553A (ja) * 2008-06-03 2010-01-21 Shimane Pref Gov 画像認識装置および操作判定方法並びにプログラム
JP2013120487A (ja) * 2011-12-07 2013-06-17 Denso Corp 入力装置
JP2014186361A (ja) * 2013-03-21 2014-10-02 Sony Corp 情報処理装置、操作制御方法及びプログラム
WO2014181380A1 (ja) * 2013-05-09 2014-11-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置およびアプリケーション実行方法
WO2015030264A1 (ja) * 2013-08-30 2015-03-05 国立大学法人山梨大学 クリック動作検出装置，方法およびプログラム
US20160249043A1 (en) * 2013-08-30 2016-08-25 Beijing Boe Optoelectronics Technology Co., Ltd. Three dimensional (3d) glasses, 3d display system and 3d display method
JP2016081508A (ja) * 2014-10-14 2016-05-16 株式会社エヌ・ティ・ティ・データ 認証システム、及び入力装置

Also Published As

Publication number Publication date
JP6980012B2 (ja) 2021-12-15
EP3533046A1 (en) 2019-09-04
US20200097156A1 (en) 2020-03-26
US10509535B2 (en) 2019-12-17
EP3533046A4 (en) 2019-10-16
TW201816554A (zh) 2018-05-01
CN107024981B (zh) 2020-03-20
US10908770B2 (en) 2021-02-02
MY195722A (en) 2023-02-07
CN111610858A (zh) 2020-09-01
PH12019500945A1 (en) 2019-12-02
CN107024981A (zh) 2017-08-08
US20180113599A1 (en) 2018-04-26
SG11201903551RA (en) 2019-05-30
KR20190068617A (ko) 2019-06-18
EP3533046B1 (en) 2021-12-08
CN111610858B (zh) 2023-09-19
WO2018081418A1 (en) 2018-05-03
KR102278822B1 (ko) 2021-07-20

Similar Documents

Publication Publication Date Title
JP6980012B2 (ja) 仮想現実の入力の実行
KR102220084B1 (ko) 가상 현실을 사용한 사용자 신원 인증
US11054912B2 (en) Three-dimensional graphical user interface for informational input in virtual reality environment
JP6773901B2 (ja) 仮想現実に基づくサービス制御およびユーザ識別認証
JP6896853B2 (ja) 仮想現実環境における情報入力のためのユーザインターフェース
KR20170058996A (ko) 복수의 장치 상에 분할된 애플리케이션 제시
US10846901B2 (en) Conversion of 2D diagrams to 3D rich immersive content
US10572231B1 (en) Component grouping for application development
KR20230050857A (ko) 가상 현실 환경에서의 정보 입력을 위한 3차원 그래피컬 사용자 인터페이스
US20220028168A1 (en) Mobile device based vr control

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190603

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200924

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20201228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211116

R150 Certificate of patent or registration of utility model

Ref document number: 6980012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150