JP2018517967A - 仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ - Google Patents
仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ Download PDFInfo
- Publication number
- JP2018517967A JP2018517967A JP2017555336A JP2017555336A JP2018517967A JP 2018517967 A JP2018517967 A JP 2018517967A JP 2017555336 A JP2017555336 A JP 2017555336A JP 2017555336 A JP2017555336 A JP 2017555336A JP 2018517967 A JP2018517967 A JP 2018517967A
- Authority
- JP
- Japan
- Prior art keywords
- input
- virtual
- virtual object
- touch
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 claims abstract description 51
- 238000000034 method Methods 0.000 claims description 67
- 230000008859 change Effects 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims 1
- 230000003993 interaction Effects 0.000 abstract description 49
- 230000015654 memory Effects 0.000 description 40
- 238000004891 communication Methods 0.000 description 27
- 210000003128 head Anatomy 0.000 description 21
- 230000009471 action Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012913 prioritisation Methods 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本出願は、2015年8月26日に出願された「仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ(DYNAMIC SWITCHING AND MERGING OF HEAD, GESTURE AND TOUCH INPUT IN VIRTUAL REALITY)」と題される米国非仮特許出願第14/836,311号の優先権を主張し、その継続出願であり、その開示全体をここに引用により援用する。
この文書は、一般的に、没入型仮想現実システムにおける入力の処理に関する。
仮想現実(VR)システムは、3次元(3D)の没入型環境を生成することができる。ユーザは、例えば、表示装置を見るときに通して見るディスプレイ、眼鏡またはゴーグルを含むヘルメットまたは他の頭部装着型装置、センサとフィットされる手袋、センサを含む外部ハンドヘルドデバイス、および他のそのような電子デバイスなどの様々な電子デバイスとの相互作用を通じてこの仮想3D没入環境を体験することができる。一旦仮想3D環境に没入すると、ユーザの3D環境との相互作用は、仮想3D環境と相互に作用し、それを個人的なものにし、制御するよう、目での注視、頭部での注視、物理的な移動および/または電子デバイスの操作など、様々な形態をとり得る。
1つの局面において、方法は、複数の入力モードに応答して各々が選択可能かつ操作可能である複数の仮想オブジェクトを含む没入型仮想体験を開始することと、複数の入力モードのうちの第1の入力モードを実施する第1の入力を受信することと、第1の入力に応答して複数の仮想オブジェクトのうちの第1の仮想オブジェクトを選択することと、複数の入力モードのうちの第2の入力モードを実施する第2の入力を受信することと、第2の入力モードの優先順位値と第1の入力モードの優先順位値とを比較することと、比較に基づいて、第2の入力に応答して、第1の仮想オブジェクトの選択を解放し、選択を複数の仮想オブジェクトのうちの第2の仮想オブジェクトにシフトするか、または第1の仮想オブジェクトの選択を維持することとを含んでもよい。
例えばHMD(頭部装着型ディスプレイ)デバイスを装着した、3D仮想環境に没入したユーザは、3D仮想環境を探索し、様々な異なるタイプの入力を介して3D仮想環境と相互に作用することができる。これらの入力は、例えば、手/腕のジェスチャ、頭部の動き、および/または頭部の方向による注視、目の方向による注視など、および/またはHMDの操作、および/またはHMDとは別個の電子デバイスの操作、例えば、電子デバイスのタッチセンシティブ面上に加えられるタッチ、電子デバイスの移動、電子デバイスによって放射される光線またはビームなどを含む物理的相互作用を含み得る。例えば、いくつかの実現例では、HMDは、例えば、スマートフォンまたは他のそのようなハンドヘルド電子デバイスのようなハンドヘルド電子デバイスと対にされてもよい。HMDと対にされるハンドヘルド電子デバイスのユーザ操作により、ユーザは、HMDによって生成される3D仮想没入体験と相互に作用してもよい。いくつかのシステムは、ユーザの目での注視を検出および追跡し、ならびに/またはユーザの頭部の方向による注視を検出して、検出された目のおよび/または頭部での注視を3D仮想没入体験における対応する相互作用に変換するように構成されてもよい。これらの複数の異なる入力モード、特に複数の同時入力に直面した際に、複数の入力を実行するための設定された優先順位のシーケンスまたは階層は、検出された入力および設定された優先順位のシーケンスまたは階層に基づいて仮想世界で取られるべきオブジェクトおよび/またはアクションの正確な選択を容易にすることができる。
例1:方法は、複数の入力モードに応答して各々が選択可能かつ操作可能である複数の仮想オブジェクトを含む没入型仮想体験を開始することと、複数の入力モードのうちの第1の入力モードを実施する第1の入力を受信することと、第1の入力に応答して複数の仮想オブジェクトのうちの第1の仮想オブジェクトを選択することと、複数の入力モードのうちの第2の入力モードを実施する第2の入力を受信することと、第2の入力モードの優先順位値と第1の入力モードの優先順位値とを比較することと、比較に基づいて、第2の入力に応答して、第1の仮想オブジェクトの選択を解放し、選択を複数の仮想オブジェクトのうちの第2の仮想オブジェクトにシフトするか、または第1の仮想オブジェクトの選択を維持することとを含む。
Claims (31)
- 複数の仮想オブジェクトを含む没入型仮想体験を開始することを備え、前記複数の仮想オブジェクトの各々は、複数の入力モードに応答して選択可能かつ操作可能であり、さらに、
前記複数の入力モードのうちの第1の入力モードを実施する第1の入力を受信することと、
前記第1の入力に応答して前記複数の仮想オブジェクトのうちの第1の仮想オブジェクトを選択することと、
前記複数の入力モードのうちの第2の入力モードを実施する第2の入力を受信することと、
前記第2の入力モードの優先順位値と前記第1の入力モードの優先順位値とを比較することと、
前記比較に基づいて、前記第2の入力に応答して、前記第1の仮想オブジェクトの選択を解放し、選択を前記複数の仮想オブジェクトのうちの第2の仮想オブジェクトにシフトするか、または前記第1の仮想オブジェクトの選択を維持することとを備える、方法。 - 前記第2の入力に応答して、前記第1の仮想オブジェクトの選択を解放し、選択を第2の仮想オブジェクトにシフトすることは、前記第2の入力の優先順位値が前記第1の入力の優先順位値よりも大きい場合に、前記第2の入力に応答して、前記第1の仮想オブジェクトの選択を解放し、選択を第2の仮想オブジェクトにシフトすることを含む、請求項1に記載の方法。
- 前記第2の入力の優先順位値が前記第1の入力の優先順位値よりも小さい場合に、前記第1の仮想オブジェクトの選択を維持することをさらに備える、請求項2に記載の方法。
- 前記複数の入力モードの各々は、関連付けられる優先順位値を有し、前記複数の入力モードの各々に関連付けられるそれぞれの優先順位値は、予め設定されるかまたはユーザプロファイルに従ってユーザによって設定される、請求項3に記載の方法。
- 前記複数の入力モードは、頭部での注視入力モード、目での注視入力モード、ポイント入力モード、リーチ入力モード、およびジェスチャ入力モードのうちの少なくとも2つを含む、請求項1に記載の方法。
- 前記複数の入力モードのうちの第3の入力モードを実施する第3の入力を受信することと、
前記第3の入力に応答して、前記選択された第1の仮想オブジェクトを操作することとをさらに備える、請求項1に記載の方法。 - 第1の入力を受信し、第1の仮想オブジェクトを選択することは、操作のために前記第1の仮想オブジェクトを選択するよう前記第1の仮想オブジェクトに向けられる注視入力を受信することを含む、請求項6に記載の方法。
- 第3の入力を受信することは、
ハンドヘルド電子デバイスのタッチセンシティブ面上でタッチ入力を受信することと、
前記タッチ入力に応答して、前記選択された第1の仮想オブジェクトを移動させることとを含む、請求項7に記載の方法。 - 前記ハンドヘルド電子デバイスの前記タッチセンシティブ面上の前記タッチ入力はタッチおよびドラッグ入力であり、前記選択されたオブジェクトの前記移動は、前記タッチセンシティブ面上の前記タッチおよびドラッグ入力の前記移動に対応する、請求項8に記載の方法。
- 前記第1の仮想オブジェクトを選択するよう前記第1の仮想オブジェクトに向けられる注視入力を受信することは、
前記第1の仮想オブジェクトを含む前記複数の仮想オブジェクトのファーフィールドディスプレイで注視入力を受信することを含み、
第3の入力を受信することは、
ジェスチャ入力を受信することと、
前記ファーフィールドディスプレイからニアフィールドディスプレイへの前記複数の仮想オブジェクトの動的切り替えのためのトリガとして前記ジェスチャ入力を認識することと、
前記複数の仮想オブジェクトのニアフィールド表示のために前記複数の仮想オブジェクトの外観をモーフィングすることと、
前記モーフィングされた複数の仮想オブジェクトを前記ニアフィールドディスプレイに表示することとを含む、請求項7に記載の方法。 - 前記複数の仮想オブジェクトのニアフィールド表示のために前記複数の仮想オブジェクトの外観をモーフィングすることは、前記複数の仮想オブジェクトが前記ファーフィールドディスプレイから前記ニアフィールドディスプレイに移動する際に、ユーザから前記複数の仮想オブジェクトへの仮想距離を減少させることと、前記複数の仮想オブジェクトのサイズを変更すること、前記複数の仮想オブジェクトに関連付けられる画像を変更すること、前記複数の仮想オブジェクトに関連付けられるテキストを変更すること、または前記複数の仮想オブジェクトに関連付けられるメニューアイテムを変更することのうちの少なくとも1つとを含む、請求項10に記載の方法。
- 第4の入力を受信することをさらに備え、前記第4の入力は、前記ニアフィールドディスプレイに表示される前記複数の仮想オブジェクトの仮想オブジェクトを選択し操作するためのリーチジェスチャを含む、請求項11に記載の方法。
- 第1の入力を受信し、第1の仮想オブジェクトを選択することは、操作のために前記第1の仮想オブジェクトを選択するよう前記第1の仮想オブジェクトに向けられるハンドヘルド電子デバイスによって生成されるビームを受信することを含む、請求項6に記載の方法。
- 第3の入力を受信することは、
ハンドヘルド電子デバイスのタッチセンシティブ面上でタッチ入力を受信することと、
前記タッチ入力を前記タッチセンシティブ面に沿ってドラッグすることと、
前記タッチおよびドラッグ入力に応答して、前記選択された第1の仮想オブジェクトを移動させることとを含み、前記選択された第1の仮想オブジェクトの移動は、前記ハンドヘルド電子装置の前記タッチセンシティブ面に沿った前記ドラッグ入力の移動に対応する、請求項13に記載の方法。 - 前記第3の入力は、
ハンドヘルド電子デバイスによって生成される前記ビームを前記ハンドヘルド電子デバイスと前記選択された第1の仮想オブジェクトとの間で接続するために、前記ハンドヘルド電子デバイスのタッチセンシティブ面上でタッチ入力を受信することと、
前記ハンドヘルド電子デバイスを移動させることと、
前記ハンドヘルド電子デバイスの前記移動に応答して、前記選択された第1の仮想オブジェクトを移動させることとを含み、前記選択された第1の仮想オブジェクトの移動は、前記ハンドヘルド電子デバイスの移動に対応し、前記第3の入力はさらに、
前記ハンドヘルド電子デバイスの前記タッチセンシティブ面から前記タッチ入力を解放することと、
前記選択された第1の仮想オブジェクトを前記タッチ入力の解放ポイントに再配置するよう、前記タッチ入力の解放に応答して、前記選択された第1の仮想オブジェクトを解放することとを含む、請求項13に記載の方法。 - 没入型仮想体験を開始することと、
複数の仮想オブジェクトのファーフィールドディスプレイを生成することと、
第1の入力を受信することと、
前記第1の入力に応答して前記複数の仮想オブジェクトを含むファーフィールドディスプレイを選択することと、
第2の入力を受信することと、
前記第2の入力に応答して前記複数の仮想オブジェクトのニアフィールド表示のために前記複数の仮想オブジェクトの外観をモーフィングすることと、
前記モーフィングされた複数の仮想オブジェクトを含む前記ニアフィールドディスプレイを生成することと、
第3の入力を受信することと、
前記第3の入力に応答して前記モーフィングされた複数の仮想オブジェクトのうちの1つを選択することとを備える、方法。 - 第1の入力を受信することは、ファーフィールド注視入力またはハンドヘルド電子デバイスによって生成されるファーフィールドビーム入力を受信することを含み、
第2の入力を受信することは、前記複数の仮想オブジェクトの前記ファーフィールドディスプレイから前記モーフィングされた複数の仮想オブジェクトの前記ニアフィールドディスプレイへの遷移のトリガとなる手または腕ジェスチャ入力を受信することを含み、
第3の入力を受信することは、モーフィングされた仮想オブジェクトの前記ニアフィールドディスプレイから仮想オブジェクトを選択するニアフィールド手ジェスチャまたはニアフィールドリーチジェスチャを受信することを含む、請求項16に記載の方法。 - 第4の入力を受信することと、
前記第4の入力に応答して、前記選択された仮想オブジェクトを操作することとをさらに備える、請求項17に記載の方法。 - 第4の入力を受信することは、前記ハンドヘルド電子デバイスのタッチセンシティブ面上のタッチおよびドラッグ入力、前記タッチセンシティブ面上のタッチおよび前記ハンドヘルド電子デバイスの移動、または前記選択された仮想オブジェクトの特徴に向けられる手のジェスチャのうちの少なくとも1つを受信することを含む、請求項18に記載の方法。
- 前記第4の入力に応答して前記選択された仮想オブジェクトを操作することは、前記タッチおよびドラッグ入力の軌跡に基づいて前記選択された仮想オブジェクトを移動させること、前記ハンドヘルド電子デバイスの移動に基づいて前記選択された仮想オブジェクトを移動させること、または前記手のジェスチャに基づいて前記選択された仮想オブジェクトをさらにモーフィングすることのうちの少なくとも1つを含む、請求項19に記載の方法。
- 第5の入力を受信することと、
前記第5の入力モードの優先順位値と前記第4の入力モードの優先順位値とを比較することと、
前記第5の入力の優先順位値が前記第4の入力の優先順位値より大きいとき、現在選択されている仮想オブジェクトの選択を解放し、選択を、前記第5の入力に関連付けられる新たな仮想オブジェクトにシフトすることと、
前記第5の入力の優先順位値が前記第4の入力の優先順位値より小さいとき、現在選択されている仮想オブジェクトの選択を維持することとをさらに備える、請求項18に記載の方法。 - 各入力は、複数の入力モードのうちの1つを介して受信され、前記複数の入力モードの各々は、関連付けられる優先順位値を有し、前記複数の入力モードの各々に関連付けられるそれぞれの優先順位値は、予め設定されるかまたはユーザプロファイルに従ってユーザによって設定される、請求項16に記載の方法。
- 前記複数の入力モードは、頭部での注視入力モード、目での注視入力モード、ポイント入力モード、リーチ入力モード、およびジェスチャ入力モードを含む、請求項22に記載の方法。
- ハンドヘルド電子デバイスと動作可能に結合される頭部装着型電子デバイスと、
前記頭部装着型電子デバイスおよび前記ハンドヘルド電子デバイスの動作を制御する制御システムとを備え、前記制御システムは、前記頭部装着型電子デバイスおよび前記ハンドヘルド電子デバイスを制御して、
複数の入力モードに応答して各々が選択可能かつ操作可能である複数の仮想オブジェクトを含む没入型仮想体験を開始し、
前記複数の入力モードのうちの第1の入力モードを実施する第1の入力を受信し、
前記第1の入力に応答して前記複数の仮想オブジェクトのうちの第1の仮想オブジェクトを選択し、
前記複数の入力モードのうちの第2の入力モードを実施する第2の入力を受信し、
前記第2の入力モードの優先順位値と前記第1の入力モードの優先順位値とを比較し、
前記比較に基づいて、前記第2の入力に応答して、前記第1の仮想オブジェクトの選択を解放し、選択を前記複数の仮想オブジェクトのうちの第2の仮想オブジェクトにシフトするか、または前記第1の仮想オブジェクトの選択を維持するよう構成される、装置。 - 前記複数の入力モードの各々は、関連付けられる優先順位値を有し、前記複数の入力モードの各々に関連付けられるそれぞれの優先順位値は、予め設定されるかまたはユーザプロファイルに従ってユーザによって設定され、前記制御システムはさらに、
前記第2の入力の優先順位値が前記第1の入力の優先順位値よりも大きい場合に、前記第1の仮想オブジェクトの選択を解放し、選択を前記第2の仮想オブジェクトにシフトし、
前記第2の入力の優先順位値が前記第1の入力の優先順位値よりも小さい場合に、前記第1の仮想オブジェクトの選択を維持するよう構成される、請求項24に記載の装置。 - 前記制御システムはさらに、
前記複数の入力モードのうちの第3の入力モードを実施する第3の入力を受信するよう構成され、前記第3の入力は、前記第1の仮想オブジェクトを含む前記複数の仮想オブジェクトのファーフィールドディスプレイに向けられる注視入力を含み、前記制御システムはさらに、
前記複数の入力モードのうちの第4の入力モードを実施する第4の入力を受信するよう構成され、前記第4の入力は、前記ファーフィールドディスプレイからニアフィールドディスプレイへの前記複数の仮想オブジェクトの動的切り替えのトリガとなるジェスチャを含み、前記制御システムはさらに、
前記複数の仮想オブジェクトのニアフィールド表示のために前記複数の仮想オブジェクトの外観をモーフィングし、
前記モーフィングされた複数の仮想オブジェクトを前記ニアフィールドディスプレイに表示するよう構成される、請求項24に記載の装置。 - 実行時にコンピューティングデバイスにプロセスを実行させる命令を格納するコンピュータ可読記憶媒体であって、前記命令は、
複数の入力モードに応答して各々が選択可能かつ操作可能である複数の仮想オブジェクトを含む没入型仮想体験を開始し、
前記複数の入力モードのうちの第1の入力モードを実施する第1の入力を受信し、
前記第1の入力に応答して前記複数の仮想オブジェクトのうちの第1の仮想オブジェクトを選択し、
前記複数の入力モードのうちの第2の入力モードを実施する第2の入力を受信し、
前記第2の入力モードの優先順位値と前記第1の入力モードの優先順位値とを比較し、
前記比較に基づいて、前記第2の入力に応答して、前記第1の仮想オブジェクトの選択を解放し、選択を前記複数の仮想オブジェクトのうちの第2の仮想オブジェクトにシフトするか、または前記第1の仮想オブジェクトの選択を維持するための命令を含む、コンピュータ可読記憶媒体。 - 前記複数の入力モードの各々は、関連付けられる優先順位値を有し、前記複数の入力モードの各々に関連付けられるそれぞれの優先順位値は、予め設定されるかまたはユーザプロファイルに従ってユーザによって設定される、請求項27に記載のコンピュータ可読記憶媒体。
- 前記第2の入力の優先順位値が前記第1の入力の優先順位値よりも大きい場合に、前記第1の仮想オブジェクトの選択を解放し、前記第2の仮想オブジェクトにシフトし、前記第2の入力の優先順位値が前記第1の入力の優先順位値よりも小さい場合に、前記第1の仮想オブジェクトの選択を維持する、請求項27に記載のコンピュータ可読記憶媒体。
- 前記命令はさらに、
前記複数の入力モードのうちの第3の入力モードを実施する第3の入力を受信するための命令を含み、前記第3の入力は、前記複数の仮想オブジェクトのファーフィールドディスプレイに向けられ、前記命令はさらに、
前記複数の入力モードのうちの第4の入力モードを実施する第4の入力を受信するための命令を含み、前記第4の入力は、前記ファーフィールドディスプレイからニアフィールドディスプレイへの前記複数の仮想オブジェクトの動的切り替えのトリガとなり、前記命令はさらに、
前記複数の仮想オブジェクトのニアフィールド表示のために前記複数の仮想オブジェクトの外観をモーフィングし、
前記モーフィングされた複数の仮想オブジェクトを前記ニアフィールドディスプレイに表示するための命令を含む、請求項26に記載のコンピュータ可読記憶媒体。 - 前記複数の仮想オブジェクトのニアフィールド表示のために前記複数の仮想オブジェクトのモーフィングされた外観は、前記複数の仮想オブジェクトが前記ファーフィールドディスプレイから前記ニアフィールドディスプレイに移動する際に、ユーザから前記複数の仮想オブジェクトへの仮想距離の減少と、前記複数の仮想オブジェクトのサイズの変更、前記複数の仮想オブジェクトに関連付けられる画像の変更、前記複数の仮想オブジェクトに関連付けられるテキストの変更、または前記複数の仮想オブジェクトに関連付けられるメニューアイテムの変更のうちの少なくとも1つとを含む、請求項30に記載のコンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/836,311 | 2015-08-26 | ||
US14/836,311 US10101803B2 (en) | 2015-08-26 | 2015-08-26 | Dynamic switching and merging of head, gesture and touch input in virtual reality |
PCT/US2016/039806 WO2017034667A1 (en) | 2015-08-26 | 2016-06-28 | Dynamic switching and merging of head, gesture and touch input in virtual reality |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019218129A Division JP7008681B2 (ja) | 2015-08-26 | 2019-12-02 | 仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018517967A true JP2018517967A (ja) | 2018-07-05 |
Family
ID=56409218
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017555336A Pending JP2018517967A (ja) | 2015-08-26 | 2016-06-28 | 仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ |
JP2019218129A Active JP7008681B2 (ja) | 2015-08-26 | 2019-12-02 | 仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019218129A Active JP7008681B2 (ja) | 2015-08-26 | 2019-12-02 | 仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ |
Country Status (6)
Country | Link |
---|---|
US (2) | US10101803B2 (ja) |
EP (1) | EP3341815B1 (ja) |
JP (2) | JP2018517967A (ja) |
KR (1) | KR102003493B1 (ja) |
CN (1) | CN107533374B (ja) |
WO (1) | WO2017034667A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020031795A1 (ja) * | 2018-08-07 | 2020-02-13 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2020187668A (ja) * | 2019-05-17 | 2020-11-19 | 株式会社電通グループ | 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム |
JP2022121592A (ja) * | 2017-04-19 | 2022-08-19 | マジック リープ, インコーポレイテッド | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
JP7496424B2 (ja) | 2020-01-24 | 2024-06-06 | マジック リープ, インコーポレイテッド | 単一コントローラを使用したコンテンツ移動および相互作用 |
Families Citing this family (109)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130339859A1 (en) | 2012-06-15 | 2013-12-19 | Muzik LLC | Interactive networked headphones |
WO2014185146A1 (ja) * | 2013-05-15 | 2014-11-20 | ソニー株式会社 | 表示制御装置、表示制御方法および記録媒体 |
WO2016182090A1 (ko) * | 2015-05-08 | 2016-11-17 | 엘지전자 주식회사 | 안경형 단말기 및 이의 제어방법 |
US10101803B2 (en) * | 2015-08-26 | 2018-10-16 | Google Llc | Dynamic switching and merging of head, gesture and touch input in virtual reality |
JP6174646B2 (ja) * | 2015-09-24 | 2017-08-02 | 株式会社コロプラ | 仮想空間内のオブジェクトを3軸操作するためのコンピュータ・プログラム |
JP6831840B2 (ja) * | 2015-10-20 | 2021-02-17 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 3次元空間内の仮想オブジェクトの選択 |
JP6597235B2 (ja) * | 2015-11-30 | 2019-10-30 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
US20170185261A1 (en) * | 2015-12-28 | 2017-06-29 | Htc Corporation | Virtual reality device, method for virtual reality |
US10133407B2 (en) * | 2015-12-28 | 2018-11-20 | Seiko Epson Corporation | Display apparatus, display system, method for controlling display apparatus, and program |
US10908694B2 (en) * | 2016-02-01 | 2021-02-02 | Microsoft Technology Licensing, Llc | Object motion tracking with remote device |
US10303323B2 (en) | 2016-05-18 | 2019-05-28 | Meta Company | System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface |
US9983697B1 (en) * | 2016-05-18 | 2018-05-29 | Meta Company | System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors |
US10255658B2 (en) * | 2016-08-09 | 2019-04-09 | Colopl, Inc. | Information processing method and program for executing the information processing method on computer |
WO2018039941A1 (zh) * | 2016-08-30 | 2018-03-08 | 北京小米移动软件有限公司 | Vr控制的方法、装置及电子设备 |
US10307669B2 (en) | 2016-10-11 | 2019-06-04 | Valve Corporation | Electronic controller with finger sensing and an adjustable hand retainer |
US10987573B2 (en) | 2016-10-11 | 2021-04-27 | Valve Corporation | Virtual reality hand gesture generation |
US10888773B2 (en) | 2016-10-11 | 2021-01-12 | Valve Corporation | Force sensing resistor (FSR) with polyimide substrate, systems, and methods thereof |
US11625898B2 (en) | 2016-10-11 | 2023-04-11 | Valve Corporation | Holding and releasing virtual objects |
US20180129274A1 (en) * | 2016-10-18 | 2018-05-10 | Colopl, Inc. | Information processing method and apparatus, and program for executing the information processing method on computer |
JP6653489B2 (ja) * | 2016-12-16 | 2020-02-26 | パナソニックIpマネジメント株式会社 | 入力装置、及び、入力方法 |
US10620910B2 (en) | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
US10936872B2 (en) | 2016-12-23 | 2021-03-02 | Realwear, Inc. | Hands-free contextually aware object interaction for wearable display |
US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
US10437070B2 (en) | 2016-12-23 | 2019-10-08 | Realwear, Inc. | Interchangeable optics for a head-mounted display |
US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
US10393312B2 (en) | 2016-12-23 | 2019-08-27 | Realwear, Inc. | Articulating components for a head-mounted display |
US10168789B1 (en) | 2017-05-31 | 2019-01-01 | Meta Company | Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations |
US10817128B2 (en) * | 2017-07-11 | 2020-10-27 | Logitech Europe S.A. | Input device for VR/AR applications |
EP3542252B1 (en) * | 2017-08-10 | 2023-08-02 | Google LLC | Context-sensitive hand interaction |
CN114995644A (zh) * | 2017-09-29 | 2022-09-02 | 苹果公司 | 基于注视的用户交互 |
US10930075B2 (en) * | 2017-10-16 | 2021-02-23 | Microsoft Technology Licensing, Llc | User interface discovery and interaction for three-dimensional virtual environments |
KR102138412B1 (ko) | 2017-10-20 | 2020-07-28 | 한국과학기술원 | 증강현실 및 가상현실 내 투영기하를 사용한 3d 윈도우 관리 기법 |
KR102029906B1 (ko) | 2017-11-10 | 2019-11-08 | 전자부품연구원 | 이동수단의 가상현실 콘텐츠 제공 장치 및 방법 |
US11282133B2 (en) | 2017-11-21 | 2022-03-22 | International Business Machines Corporation | Augmented reality product comparison |
US10565761B2 (en) * | 2017-12-07 | 2020-02-18 | Wayfair Llc | Augmented reality z-stack prioritization |
US20190253700A1 (en) * | 2018-02-15 | 2019-08-15 | Tobii Ab | Systems and methods for calibrating image sensors in wearable apparatuses |
US10467335B2 (en) | 2018-02-20 | 2019-11-05 | Dropbox, Inc. | Automated outline generation of captured meeting audio in a collaborative document context |
US11488602B2 (en) | 2018-02-20 | 2022-11-01 | Dropbox, Inc. | Meeting transcription using custom lexicons based on document history |
US11145096B2 (en) * | 2018-03-07 | 2021-10-12 | Samsung Electronics Co., Ltd. | System and method for augmented reality interaction |
WO2019172678A1 (en) * | 2018-03-07 | 2019-09-12 | Samsung Electronics Co., Ltd. | System and method for augmented reality interaction |
US10831265B2 (en) * | 2018-04-20 | 2020-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for gaze-informed target manipulation |
US11513590B2 (en) | 2018-04-20 | 2022-11-29 | Pcms Holdings, Inc. | Method and system for gaze-based control of mixed reality content |
WO2019217081A1 (en) | 2018-05-09 | 2019-11-14 | Apple Inc. | Selecting a text input field using eye gaze |
US20190361521A1 (en) * | 2018-05-22 | 2019-11-28 | Microsoft Technology Licensing, Llc | Accelerated gaze-supported manual cursor control |
JP7341166B2 (ja) | 2018-05-22 | 2023-09-08 | マジック リープ, インコーポレイテッド | ウェアラブルシステムのためのトランスモード入力融合 |
EP3807746B1 (en) * | 2018-06-20 | 2023-07-26 | Valve Corporation | Holding and releasing virtual objects |
WO2019246144A1 (en) * | 2018-06-20 | 2019-12-26 | Valve Corporation | Holding and releasing virtual objects |
US10665206B2 (en) | 2018-07-30 | 2020-05-26 | Honeywell International Inc. | Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance |
US10692299B2 (en) | 2018-07-31 | 2020-06-23 | Splunk Inc. | Precise manipulation of virtual object position in an extended reality environment |
US10909772B2 (en) | 2018-07-31 | 2021-02-02 | Splunk Inc. | Precise scaling of virtual objects in an extended reality environment |
CN109101110A (zh) * | 2018-08-10 | 2018-12-28 | 北京七鑫易维信息技术有限公司 | 一种操作指令执行方法、装置、用户终端及存储介质 |
CN111124236B (zh) | 2018-10-30 | 2023-04-28 | 斑马智行网络(香港)有限公司 | 一种数据处理方法、装置和机器可读介质 |
CN111309142A (zh) | 2018-12-11 | 2020-06-19 | 托比股份公司 | 用于切换显示设备的输入模态的方法和设备 |
US11320911B2 (en) * | 2019-01-11 | 2022-05-03 | Microsoft Technology Licensing, Llc | Hand motion and orientation-aware buttons and grabbable objects in mixed reality |
KR20200091988A (ko) | 2019-01-23 | 2020-08-03 | 삼성전자주식회사 | 장치를 제어하기 위한 방법 및 그 전자 장치 |
US11644940B1 (en) | 2019-01-31 | 2023-05-09 | Splunk Inc. | Data visualization in an extended reality environment |
US11853533B1 (en) * | 2019-01-31 | 2023-12-26 | Splunk Inc. | Data visualization workspace in an extended reality environment |
SG11202108359WA (en) * | 2019-02-04 | 2021-08-30 | Razer Asia Pacific Pte Ltd | Method and apparatus of using a computer touchpad or digitizer stylus pad as a mousepad |
US11297366B2 (en) | 2019-05-22 | 2022-04-05 | Google Llc | Methods, systems, and media for object grouping and manipulation in immersive environments |
US11689379B2 (en) * | 2019-06-24 | 2023-06-27 | Dropbox, Inc. | Generating customized meeting insights based on user interactions and meeting media |
US11151794B1 (en) * | 2019-06-28 | 2021-10-19 | Snap Inc. | Messaging system with augmented reality messages |
CN110308794A (zh) * | 2019-07-04 | 2019-10-08 | 郑州大学 | 具有两种显示模式的虚拟现实头盔及显示模式的控制方法 |
CN110502120A (zh) * | 2019-08-29 | 2019-11-26 | 广州创幻数码科技有限公司 | 动捕数据和预设动作数据结合的虚拟主播系统及实现方 |
US10991163B2 (en) | 2019-09-20 | 2021-04-27 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11189099B2 (en) * | 2019-09-20 | 2021-11-30 | Facebook Technologies, Llc | Global and local mode virtual object interactions |
US11176745B2 (en) * | 2019-09-20 | 2021-11-16 | Facebook Technologies, Llc | Projection casting in virtual environments |
US11086406B1 (en) | 2019-09-20 | 2021-08-10 | Facebook Technologies, Llc | Three-state gesture virtual controls |
US11170576B2 (en) | 2019-09-20 | 2021-11-09 | Facebook Technologies, Llc | Progressive display of virtual objects |
US11086476B2 (en) * | 2019-10-23 | 2021-08-10 | Facebook Technologies, Llc | 3D interactions with web content |
KR20210063928A (ko) * | 2019-11-25 | 2021-06-02 | 삼성전자주식회사 | 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
JP7433860B2 (ja) * | 2019-11-26 | 2024-02-20 | キヤノン株式会社 | 電子機器及び電子機器の制御方法 |
US11175730B2 (en) | 2019-12-06 | 2021-11-16 | Facebook Technologies, Llc | Posture-based virtual space configurations |
US11475639B2 (en) | 2020-01-03 | 2022-10-18 | Meta Platforms Technologies, Llc | Self presence in artificial reality |
EP3851939A1 (en) * | 2020-01-14 | 2021-07-21 | Apple Inc. | Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information |
US11257280B1 (en) | 2020-05-28 | 2022-02-22 | Facebook Technologies, Llc | Element-based switching of ray casting rules |
US11256336B2 (en) | 2020-06-29 | 2022-02-22 | Facebook Technologies, Llc | Integration of artificial reality interaction modes |
US11954268B2 (en) * | 2020-06-30 | 2024-04-09 | Snap Inc. | Augmented reality eyewear 3D painting |
US11481177B2 (en) | 2020-06-30 | 2022-10-25 | Snap Inc. | Eyewear including multi-user, shared interactive experiences |
CN111773658B (zh) * | 2020-07-03 | 2024-02-23 | 珠海金山数字网络科技有限公司 | 一种基于计算机视觉库的游戏交互方法及装置 |
CN111598273B (zh) * | 2020-07-20 | 2020-10-20 | 中国人民解放军国防科技大学 | 一种基于vr技术的环控生保系统维修性检测方法及装置 |
US11249314B1 (en) * | 2020-08-04 | 2022-02-15 | Htc Corporation | Method for switching input devices, head-mounted display and computer readable storage medium |
US11467403B2 (en) * | 2020-08-20 | 2022-10-11 | Htc Corporation | Operating method and electronic system |
US11176755B1 (en) | 2020-08-31 | 2021-11-16 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11227445B1 (en) | 2020-08-31 | 2022-01-18 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11178376B1 (en) | 2020-09-04 | 2021-11-16 | Facebook Technologies, Llc | Metering for display modes in artificial reality |
US20220148268A1 (en) * | 2020-11-10 | 2022-05-12 | Noderix Teknoloji Sanayi Ticaret Anonim Sirketi | Systems and methods for personalized and interactive extended reality experiences |
US11113893B1 (en) | 2020-11-17 | 2021-09-07 | Facebook Technologies, Llc | Artificial reality environment with glints displayed by an extra reality device |
EP4195005A1 (en) | 2020-12-17 | 2023-06-14 | Samsung Electronics Co., Ltd. | Electronic device and operation method of electronic device |
CN112631424A (zh) * | 2020-12-18 | 2021-04-09 | 上海影创信息科技有限公司 | 手势优先级控制方法和系统及其vr眼镜 |
US11409405B1 (en) | 2020-12-22 | 2022-08-09 | Facebook Technologies, Llc | Augment orchestration in an artificial reality environment |
US11461973B2 (en) | 2020-12-22 | 2022-10-04 | Meta Platforms Technologies, Llc | Virtual reality locomotion via hand gesture |
US11327630B1 (en) * | 2021-02-04 | 2022-05-10 | Huawei Technologies Co., Ltd. | Devices, methods, systems, and media for selecting virtual objects for extended reality interaction |
US11294475B1 (en) | 2021-02-08 | 2022-04-05 | Facebook Technologies, Llc | Artificial reality multi-modal input switching model |
US11278810B1 (en) | 2021-04-01 | 2022-03-22 | Sony Interactive Entertainment Inc. | Menu placement dictated by user ability and modes of feedback |
US11927756B2 (en) | 2021-04-01 | 2024-03-12 | Samsung Electronics Co., Ltd. | Method for providing augmented reality image and head mounted display device supporting the same |
KR20220136776A (ko) * | 2021-04-01 | 2022-10-11 | 삼성전자주식회사 | 증강 현실 이미지를 제공하는 방법 및 이를 지원하는 hmd 장치 |
JP2022163813A (ja) * | 2021-04-15 | 2022-10-27 | キヤノン株式会社 | 装着型の情報端末、その制御方法及びプログラム |
US11762952B2 (en) | 2021-06-28 | 2023-09-19 | Meta Platforms Technologies, Llc | Artificial reality application lifecycle |
US11295503B1 (en) | 2021-06-28 | 2022-04-05 | Facebook Technologies, Llc | Interactive avatars in artificial reality |
DE102021003490A1 (de) | 2021-07-06 | 2023-01-12 | Mercedes-Benz Group AG | Verfahren zur Darstellung von Informationen mit einer Blickfeldanzeigevorrichtung, Blickfeldanzeigevorrichtung und Fahrzeug |
US11798247B2 (en) | 2021-10-27 | 2023-10-24 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
US11748944B2 (en) | 2021-10-27 | 2023-09-05 | Meta Platforms Technologies, Llc | Virtual object structures and interrelationships |
RU210426U1 (ru) * | 2021-12-15 | 2022-04-15 | Общество с ограниченной ответственностью "ДАР" | Устройство для трансляции дополненной реальности |
US20230334808A1 (en) * | 2022-01-12 | 2023-10-19 | Apple Inc. | Methods for displaying, selecting and moving objects and containers in an environment |
US11620000B1 (en) * | 2022-03-31 | 2023-04-04 | Microsoft Technology Licensing, Llc | Controlled invocation of a precision input mode |
US11531448B1 (en) * | 2022-06-01 | 2022-12-20 | VR-EDU, Inc. | Hand control interfaces and methods in virtual reality environments |
JP2024048680A (ja) * | 2022-09-28 | 2024-04-09 | キヤノン株式会社 | 制御装置、制御方法、プログラム |
US11947862B1 (en) | 2022-12-30 | 2024-04-02 | Meta Platforms Technologies, Llc | Streaming native application content to artificial reality devices |
US11991222B1 (en) | 2023-05-02 | 2024-05-21 | Meta Platforms Technologies, Llc | Persistent call control user interface element in an artificial reality environment |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000200125A (ja) * | 1998-12-30 | 2000-07-18 | Fuji Xerox Co Ltd | インタフェ―ス |
JP2012108842A (ja) * | 2010-11-19 | 2012-06-07 | Konica Minolta Holdings Inc | 表示システム、表示処理装置、表示方法、および表示プログラム |
WO2013118373A1 (ja) * | 2012-02-10 | 2013-08-15 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2014093608A1 (en) * | 2012-12-13 | 2014-06-19 | Microsoft Corporation | Direct interaction system for mixed reality environments |
JP2015133088A (ja) * | 2014-01-16 | 2015-07-23 | カシオ計算機株式会社 | Guiシステム、表示処理装置、入力処理装置及びプログラム |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08241163A (ja) * | 1995-03-01 | 1996-09-17 | Canon Inc | 情報処理装置 |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6779060B1 (en) | 1998-08-05 | 2004-08-17 | British Telecommunications Public Limited Company | Multimodal user interface |
US6243093B1 (en) * | 1998-09-14 | 2001-06-05 | Microsoft Corporation | Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which visually groups matching objects |
US6611253B1 (en) | 2000-09-19 | 2003-08-26 | Harel Cohen | Virtual input environment |
US7095401B2 (en) | 2000-11-02 | 2006-08-22 | Siemens Corporate Research, Inc. | System and method for gesture interface |
US7667700B1 (en) | 2004-03-05 | 2010-02-23 | Hrl Laboratories, Llc | System and method for navigating operating in a virtual environment |
US9772689B2 (en) | 2008-03-04 | 2017-09-26 | Qualcomm Incorporated | Enhanced gesture-based image manipulation |
US20100241955A1 (en) * | 2009-03-23 | 2010-09-23 | Microsoft Corporation | Organization and manipulation of content items on a touch-sensitive display |
US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
US20130154913A1 (en) | 2010-12-16 | 2013-06-20 | Siemens Corporation | Systems and methods for a gaze and gesture interface |
US9104239B2 (en) * | 2011-03-09 | 2015-08-11 | Lg Electronics Inc. | Display device and method for controlling gesture functions using different depth ranges |
CN102226880A (zh) * | 2011-06-03 | 2011-10-26 | 北京新岸线网络技术有限公司 | 一种基于虚拟现实的体感操作方法及系统 |
US20130082928A1 (en) * | 2011-09-30 | 2013-04-04 | Seung Wook Kim | Keyboard-based multi-touch input system using a displayed representation of a users hand |
US8990682B1 (en) * | 2011-10-05 | 2015-03-24 | Google Inc. | Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display |
US9142182B2 (en) | 2011-10-07 | 2015-09-22 | Lg Electronics Inc. | Device and control method thereof |
US9152376B2 (en) | 2011-12-01 | 2015-10-06 | At&T Intellectual Property I, L.P. | System and method for continuous multimodal speech and gesture interaction |
WO2013144807A1 (en) * | 2012-03-26 | 2013-10-03 | Primesense Ltd. | Enhanced virtual touchpad and touchscreen |
US9552673B2 (en) | 2012-10-17 | 2017-01-24 | Microsoft Technology Licensing, Llc | Grasping virtual objects in augmented reality |
US9791921B2 (en) * | 2013-02-19 | 2017-10-17 | Microsoft Technology Licensing, Llc | Context-aware augmented reality object commands |
KR20140112910A (ko) | 2013-03-14 | 2014-09-24 | 삼성전자주식회사 | 입력 제어 방법 및 이를 지원하는 전자 장치 |
US20140282275A1 (en) * | 2013-03-15 | 2014-09-18 | Qualcomm Incorporated | Detection of a zooming gesture |
US9443354B2 (en) * | 2013-04-29 | 2016-09-13 | Microsoft Technology Licensing, Llc | Mixed reality interactions |
US10905943B2 (en) * | 2013-06-07 | 2021-02-02 | Sony Interactive Entertainment LLC | Systems and methods for reducing hops associated with a head mounted system |
US20140362110A1 (en) | 2013-06-08 | 2014-12-11 | Sony Computer Entertainment Inc. | Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user |
US20140368537A1 (en) * | 2013-06-18 | 2014-12-18 | Tom G. Salter | Shared and private holographic objects |
KR102039427B1 (ko) * | 2013-07-01 | 2019-11-27 | 엘지전자 주식회사 | 스마트 글라스 |
KR20150024247A (ko) * | 2013-08-26 | 2015-03-06 | 삼성전자주식회사 | 터치 스크린 디바이스에서 다수의 입력기구를 이용하는 애플리케이션을 실행하는 방법 및 터치 스크린 디바이스 |
US9244539B2 (en) | 2014-01-07 | 2016-01-26 | Microsoft Technology Licensing, Llc | Target positioning with gaze tracking |
US9552060B2 (en) | 2014-01-28 | 2017-01-24 | Microsoft Technology Licensing, Llc | Radial selection by vestibulo-ocular reflex fixation |
JP2015149634A (ja) * | 2014-02-07 | 2015-08-20 | ソニー株式会社 | 画像表示装置および方法 |
US10101803B2 (en) * | 2015-08-26 | 2018-10-16 | Google Llc | Dynamic switching and merging of head, gesture and touch input in virtual reality |
-
2015
- 2015-08-26 US US14/836,311 patent/US10101803B2/en active Active
-
2016
- 2016-06-28 JP JP2017555336A patent/JP2018517967A/ja active Pending
- 2016-06-28 WO PCT/US2016/039806 patent/WO2017034667A1/en unknown
- 2016-06-28 CN CN201680025102.6A patent/CN107533374B/zh active Active
- 2016-06-28 KR KR1020177031644A patent/KR102003493B1/ko active IP Right Grant
- 2016-06-28 EP EP16738324.9A patent/EP3341815B1/en active Active
-
2018
- 2018-09-13 US US16/130,040 patent/US10606344B2/en active Active
-
2019
- 2019-12-02 JP JP2019218129A patent/JP7008681B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000200125A (ja) * | 1998-12-30 | 2000-07-18 | Fuji Xerox Co Ltd | インタフェ―ス |
US6570555B1 (en) * | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
JP2012108842A (ja) * | 2010-11-19 | 2012-06-07 | Konica Minolta Holdings Inc | 表示システム、表示処理装置、表示方法、および表示プログラム |
WO2013118373A1 (ja) * | 2012-02-10 | 2013-08-15 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
WO2014093608A1 (en) * | 2012-12-13 | 2014-06-19 | Microsoft Corporation | Direct interaction system for mixed reality environments |
JP2015133088A (ja) * | 2014-01-16 | 2015-07-23 | カシオ計算機株式会社 | Guiシステム、表示処理装置、入力処理装置及びプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022121592A (ja) * | 2017-04-19 | 2022-08-19 | マジック リープ, インコーポレイテッド | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
JP7336005B2 (ja) | 2017-04-19 | 2023-08-30 | マジック リープ, インコーポレイテッド | ウェアラブルシステムのためのマルチモード実行およびテキスト編集 |
US11960636B2 (en) | 2017-04-19 | 2024-04-16 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
WO2020031795A1 (ja) * | 2018-08-07 | 2020-02-13 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2020187668A (ja) * | 2019-05-17 | 2020-11-19 | 株式会社電通グループ | 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム |
JP7291878B2 (ja) | 2019-05-17 | 2023-06-16 | 株式会社電通 | 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム |
JP7496424B2 (ja) | 2020-01-24 | 2024-06-06 | マジック リープ, インコーポレイテッド | 単一コントローラを使用したコンテンツ移動および相互作用 |
Also Published As
Publication number | Publication date |
---|---|
CN107533374A (zh) | 2018-01-02 |
US10101803B2 (en) | 2018-10-16 |
US10606344B2 (en) | 2020-03-31 |
KR102003493B1 (ko) | 2019-07-24 |
WO2017034667A1 (en) | 2017-03-02 |
JP7008681B2 (ja) | 2022-01-25 |
US20190011979A1 (en) | 2019-01-10 |
EP3341815A1 (en) | 2018-07-04 |
KR20170126508A (ko) | 2017-11-17 |
CN107533374B (zh) | 2020-12-01 |
JP2020061169A (ja) | 2020-04-16 |
EP3341815B1 (en) | 2022-04-13 |
US20170060230A1 (en) | 2017-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7008681B2 (ja) | 仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ | |
US10509487B2 (en) | Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment | |
JP6682623B2 (ja) | 拡張および/または仮想現実環境におけるテレポーテーション | |
CN108292146B (zh) | 虚拟现实中的激光指示器交互和缩放 | |
CN109906424B (zh) | 用于虚拟现实系统的输入控制器稳定技术 | |
US8643951B1 (en) | Graphical menu and interaction therewith through a viewing window | |
JP6535819B2 (ja) | 仮想現実環境におけるナビゲーション用制御システム | |
KR20170130582A (ko) | 가상현실에서 시선 인터렉션을 위한 호버 행동 | |
KR102251252B1 (ko) | 가상 현실에서의 위치 지구본 | |
US20230325003A1 (en) | Method of displaying selectable options | |
EP3850468B1 (en) | Snapping range for augmented reality objects | |
WO2022103741A1 (en) | Method and device for processing user input for multiple devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171219 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171219 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190225 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190806 |