CN107533374B - 虚拟现实中的头部、手势和触摸输入的动态切换和合并 - Google Patents

虚拟现实中的头部、手势和触摸输入的动态切换和合并 Download PDF

Info

Publication number
CN107533374B
CN107533374B CN201680025102.6A CN201680025102A CN107533374B CN 107533374 B CN107533374 B CN 107533374B CN 201680025102 A CN201680025102 A CN 201680025102A CN 107533374 B CN107533374 B CN 107533374B
Authority
CN
China
Prior art keywords
input
virtual
touch
virtual object
virtual objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680025102.6A
Other languages
English (en)
Other versions
CN107533374A (zh
Inventor
A.J.法柏格
M.C.克莱门特
C.麦肯齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107533374A publication Critical patent/CN107533374A/zh
Application granted granted Critical
Publication of CN107533374B publication Critical patent/CN107533374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

在用于虚拟现实中的头部、手势和触摸输入的动态切换和合并的系统中，响应于实现多个不同输入模式中的一个的第一输入，用户可以选择虚拟对象。一旦被选择，通过第一输入在第一对象上建立焦点的情况下，响应于实现另一个不同输入模式的第二输入，可以在虚拟世界中操纵第一对象。响应于第三输入，可以选择另一对象，并且如果例如第三输入的优先级值高于在第一对象上建立焦点的第一输入的优先级值，则可以响应于第三输入而将焦点从第一对象转移到第二对象。如果第三输入的优先级值小于在第一对象上建立焦点的第一输入的优先级值，则焦点可能保留在第一对象上。响应于某些触发输入，可以在远场显示和近场显示之间转移虚拟对象的显示，以适应与虚拟对象的特定交互模式和操纵。

Description

虚拟现实中的头部、手势和触摸输入的动态切换和合并
相关申请的交叉引用
本申请要求2015年8月26日提交的题为“DYNAMIC SWITCHING AND MERGING OFHEAD,GESTURE AND TOUCH INPUT IN VIRTUAL REALITY”(“虚拟现实中的头部、手势以及触摸输入的动态切换和合并”) 的美国非临时专利申请第14/836,311号的优先权，并且是其继续申请，其公开内容通过引用整体并入本文。
技术领域
本文通常涉及在沉浸式虚拟现实系统中的输入的处理。
背景技术
虚拟现实(VR)系统可以产生三维(3D)沉浸式环境。用户可以通过与各种电子设备(例如头盔或其他头戴式设备)的交互来体验该虚拟3D沉浸式环境，所述各种电子设备例如包括用户在观看显示设备时看穿的显示器、眼镜或护目镜的头盔或其他头戴式设备、安装有传感器的手套、包括传感器的外部手持设备和其他这样的电子设备。一旦沉浸在虚拟3D环境中，用户与3D环境的交互就可采取各种形式，例如眼睛注视、头部注视、电子设备的物理移动和/或操纵来与虚拟3D环境进行交互、个性化和控制虚拟3D环境。
发明内容
在一个方面，一种方法，可以包括：启动包括多个虚拟对象的沉浸式虚拟体验，所述多个虚拟对象中的每一个是响应于多个输入模式可选择和可操纵的；接收实现所述多个输入模式中的第一输入模式的第一输入；响应于所述第一输入，选择所述多个虚拟对象中的第一虚拟对象；接收实现所述多个输入模式中的第二输入模式的第二输入；比较所述第二输入模式的优先级值和所述第一输入模式的优先级值；以及基于该比较，响应于所述第二输入，释放对所述第一虚拟对象的选择并将选择转移到所述多个虚拟对象中的第二虚拟对象，或维持对所述第一虚拟对象的选择。
在另一方面，一种方法，可以包括：启动沉浸式虚拟体验；产生多个虚拟对象的远场显示；接收第一输入；响应于所述第一输入，选择包括所述多个虚拟对象的远场显示；接收第二输入；响应于所述第二输入，使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的近场显示；产生包括所变形的多个虚拟对象的所述近场显示；接收第三输入；以及响应于所述第三输入选择所变形的多个虚拟对象中的一个。
在附图和下面的描述中阐述了一个或多个实现方式的细节。从描述和附图以及权利要求书中，其他特征将是显而易见的。
附图说明
图1是根据本文宽泛描述的实施例的包括头戴显示器和手持电子设备的虚拟现实系统的示例实现。
图2A和2B是根据本文宽泛描述的实施例的示例头戴式显示器的透视图。
图3是根据本文宽泛描述的实施例的头戴式电子设备和手持电子设备的框图。
图4A-4G示出了根据本文宽泛描述的实施例的用于选择和滚动对象列表的注视和触摸输入。
图5A-5D示出了根据本文宽泛描述的实施例的使用图4A-4G所示的注视和触摸输入的滚动场景。
图6A-6G示出了根据本文宽泛描述的实施例的用于选择和滚动对象列表的点和触摸输入。
图7A-7C示出了根据本文宽泛描述的实施例的图6A-6G所示的点和触摸输入场景中的所选择的对象的释放。
图8A-8D示出了根据本文宽泛描述的实施例的用于选择和移动对象的点和触摸输入。
图9A-9E示出了根据本文宽泛描述的实施例的用于选择和滚动对象列表的触及(reach)和触摸输入。
图10A-10D示出了根据本文宽泛描述的实施例的用于选择和移动对象的释放和触摸输入。
图11是根据本文宽泛描述的实施例的在虚拟现实环境中的对象之间设置、释放和转移焦点的方法的流程图。
图12A-12F示出了根据本文宽泛描述的实施例的虚拟现实环境中的用户输入模式之间的动态切换。
图13是根据本文宽泛描述的实施例的在虚拟现实环境中的用户输入模式之间的动态切换的方法的流程图。
图14示出了可以用于实现本文所描述的技术的计算机设备和移动计算机设备的示例。
具体实施方式
穿戴例如头戴式显示器(HMD)设备沉浸在3D虚拟环境中的用户可以探索3D虚拟环境，并通过各种不同类型的输入与3D虚拟环境交互。这些输入例如可以包括：物理交互，包括例如手/手臂手势、头部移动和/或头部定向注视、眼睛定向注视等；和/或操纵HMD；和/或操纵与HMD分离的电子设备，例如，施加在电子设备的触摸敏感表面上的触摸、电子设备的移动、由电子设备发射的射线或光束等。例如，在一些实现方式中，HMD可以与手持电子设备(例如，智能电话或其他这样的手持电子设备)配对。与HMD配对的手持电子设备的用户操纵可以允许用户与由HMD产生的3D虚拟沉浸式体验进行交互。一些系统可以被配置为检测和跟踪用户的眼睛注视和/或检测用户头部的定向注视，将检测到的眼睛和/或头部注视转换成3D虚拟沉浸式体验中的相应交互。当面对这些多种不同的输入模式(具体地，多个同时输入)时，用于执行多个输入的设置的优先级序列或层次结构可以有助于基于检测到的输入和设置的优先级序列或层次结构，准确地选择对象和/或要在虚拟世界中采取的动作。
在图1所示的示例实现方式中，穿戴HMD 100的用户在他的手142中握住便携式手持电子设备102，例如智能电话，或者可以与HMD 100配对并与其通信的其他便携式手持电子设备，用于在由HMD 100产生的沉浸式虚拟体验中的互动。在图1所示的示例中，用户用右手握住手持电子设备102。然而，用户也可以用左手握住手持电子设备102，或者用他的左手和右手握住手持电子设备102，并仍然与由HMD 100产生的沉浸式虚拟体验交互。
如上所述的手持电子设备102可以经由例如有线连接或例如WiFi或蓝牙连接的无线连接，与HMD 100可操作地耦合或配对。手持电子设备102和 HMD 100的这种配对或可操作的耦合可以提供手持电子设备102与HMD 100 之间的通信、以及手持电子设备102与HMD100之间的数据交换，使得手持电子设备102可以用作与HMD 100通信的控制器，用于在由HMD 100产生的虚拟沉浸式体验中进行交互。也就是说，手持电子设备102的操纵，例如在手持电子设备102的触摸表面上接收的输入、或手持电子设备102的移动、或由用户指导的手持电子设备102发射的射线或光束可以被转换成由HMD 100产生的虚拟沉浸式体验中的相应的交互或移动。
各种不同类型的用户输入可以被转换为由HMD 100产生的虚拟沉浸式体验中的这种类型的交互。例如，手持电子设备102的触摸表面上的触摸输入可以对应于虚拟世界中的对象的选择，并且在手持电子设备102的触摸表面上的触摸和拖动、或者触摸然后手持电子设备102自身的移动可以对应于对象的选择和移动。在一些实施例中，由手持电子设备102发射的光束或射线可以指向虚拟世界中的特定对象以选择对象，光束的随后移动导致所选择的对象也移动。在一些实施例中，可以监视和跟踪用户眼睛注视，并且指向虚拟世界中的对象的用户注视可以对应于该对象的选择。在一些实施例中，随后在手持电子设备102的触摸表面上的拖动和/或手持电子设备102本身的移动和/或头部移动和/或手/手臂移动可以引起后续动作，例如，通过眼睛注视所选择的对象的移动。在一些实施例中，可以从头部移动、手/手臂手势、手持电子设备102的移动等检测用户输入，包括对象的初始选择。在启用这些多种输入模式的实现方式中，用于执行多个输入(例如同时接收时)的设置的优先级序列或层次结构可以有助于基于检测到的输入和设置的优先级序列或层次结构准确地选择对象和/或要在虚拟世界中采用的动作。
图2A和2B是例如图1中的用户穿戴的产生沉浸式虚拟体验的HMD 100 的示例HMD的透视图。HMD 100可以包括耦合(例如可旋转耦合)和/或可拆卸附接到框架120的壳体110。包括例如安装在耳机中的扬声器的音频输出设备130也可以耦合到框架120。在图2B中，壳体110的前表面110a从壳体110的基部110b旋转离开，使得容纳在壳体110中的一些组件可见。显示器140可以安装在壳体110的前表面110a上。透镜150可以安装在壳体110 中，当前表面110a处于抵靠壳体110的基部110b的关闭位置时位于用户的眼睛和显示器140之间透镜150的位置可以与用户眼睛的相应光轴对准，以提供相对宽的视野和相对较短的焦距。在一些实施例中，HMD 100可以包括：传感系统160，包括各种传感器；和控制系统170，包括处理器190和用于便于HMD 100的操作的各种控制系统设备。
在一些实施例中，HMD 100可以包括相机180，用于捕获HMD 100之外的真实世界环境的静态图像和运动图像。相机180捕获的图像可以在显示器140上以穿透模式显示给用户，允许用户暂时离开虚拟世界并返回到现实世界，而不用去除HMD 100或以其他方式改变HMD 100的配置以使壳体110 移动到用户的视线之外。
在一些实施例中，HMD 100可以包括用于检测和跟踪用户的眼睛注视的设备或注视跟踪设备165。注视跟踪设备165可以包括例如图像传感器165A 以捕获用户的眼睛的图像，并且在一些实施例中，是用户的眼睛的特定部分，例如瞳孔。在一些实施例中，注视跟踪设备165可以包括多个图像传感器 165A，其被定位成检测和跟踪用户的注视的移动。从图像传感器165A捕获的图像中，可以检测用户的注视方向。检测到的注视可以基本上定义从用户的眼睛到对象(例如由HMD 100产生的3D虚拟沉浸式体验中的对象)的视线。在一些实施例中，HMD 100可被配置为使得检测到的注视被处理为用户输入，以被转换成虚拟沉浸式体验中的对应交互。
在图3中示出在虚拟现实环境中用于动态切换和合并头部、手势和触摸输入的系统的框图。系统可以包括与第二用户电子设备302通信的第一用户电子设备300。第一用户电子设备300可以是例如如上关于图1、2A和2B所描述的HMD，产生沉浸式虚拟沉浸式体验，并且第二用户电子设备302可以是例如如上关于图1所述的智能电话，其与第一用户电子设备通信，以便于用户与由HMD产生的虚拟沉浸式体验的交互。
第一电子设备300可以包括传感系统360和控制系统370，其可以分别类似于图2A和2B所示的传感系统160和控制系统170。在图3所示的示例实施例中，传感系统360可以包括许多不同类型的传感器，包括例如光传感器、音频传感器、图像传感器、距离/接近传感器和/或其他传感器和/或传感器的不同组合。在一些实施例中，光传感器、图像传感器和音频传感器可以包括在诸如相机的一个组件中，例如图2A和2B所示的HMD 100的相机180 的相机。在一些实施例中，传感系统360可以包括定位成检测和跟踪用户的眼睛注视的图像传感器，例如与图2B所示的注视跟踪设备165类似的设备。控制系统370可以包括许多不同类型的设备，包括例如电源/暂停控制设备、音频和视频控制设备、光学控制设备、过渡控制设备和/或其他这样的设备和 /或设备的不同组合。在一些实施例中，取决于具体实现方式，传感系统360 和/或控制系统370可以包括更多或更少的设备。包括在传感系统360和/或控制系统370中的元件可以具有例如与图2A和2B所示的HMD 100不同的 HMD内的不同物理布置(例如，不同的物理位置)。
第一电子设备300还可以包括与传感系统360和控制系统370通信的处理器390、可由例如控制系统370的模块访问的存储器380、以及提供用于第一电子设备300与另一外部设备(例如与第一电子设备400配对的第二电子设备302)之间的通信的通信模块350。
第二电子设备302可以包括通信模块306，其提供第二电子设备302与另一个外部设备(例如与第二电子设备302配对的第一电子设备300)之间的通信。除了在第一电子设备300和第二电子设备302之间提供例如电子数据的交换之外，在一些实施例中，通信模块306还可被配置为如上所述发射射线或光束。第二电子设备302可以包括传感系统304，其包括：图像传感器和音频传感器，诸如被包括在例如相机和麦克风中；惯性测量单元；触摸传感器，诸如被包括在手持电子设备或智能电话的触摸敏感表面中；以及其它这样的传感器和/或传感器的不同组合。处理器309可以与第二电子设备302 的传感系统304和控制器305通信，控制器305可以访问存储器308并控制第二电子设备302的整体操作。
如上所述，各种类型的用户输入可以触发虚拟沉浸式体验中的相应动作。图4A至10D示出了各种不同的用户交互机制。图4A-4G和5A-5D中示出的注视和触摸(GT)交互概念、图6A-6G、7A-7C和8A-8D中示出的点和触摸 (PT)交互概念、以及图9A-9E和10A-10D中示出的触及和触摸(RT)交互概念都使用四种不同输入机制的组合，所述四种不同输入机制包括眼睛注视、头部注视、触摸(例如，手持电子设备102的触摸表面上的触摸和/或手持电子设备102的移动的跟踪)以及由手持电子设备102发射的射线或光束。鉴于这四种不同的输入机制，对于哪个动作保持系统的有效焦点消除歧义的系统可以有助于将输入精确转换为虚拟世界中期望的互动。
GT型交互可以包括基于射线的交互(包括眼睛注视方向或头部方向) 结合经由手持控制器输入的输入，以查看、选择和操纵虚拟世界中的对象。在下文中，术语“注视”将用于指与HMD 100的面向前的外平面基本上正交的眼睛定向注视和/或头部定向注视。
图4A-4G所示的示例实现方式示出了悬停、选择和滚动状态的GT交互，指向例如在虚拟世界中显示在图2A和图2B所示的HMD 100的显示器140 上的对象X、Y和Z的可滚动列表。在该示例实现方式中，为了便于说明和解释，未示出HMD 100的完整结构。然而，在该示例实现方式中，可以由例如注视追踪设备165检测和跟踪眼睛注视，该注视追踪设备165包括例如一个或多个图像传感器165A，如上面关于图2A和图2B所讨论的。在一些实施例中，可以由HMD 100的传感系统160(例如包括在HMD 100中的加速度计和/或陀螺仪)检测注视，特别是头部定向注视。
在从图4A至图4B时，用户将其注视转移朝向对象X、Y和Z的可滚动列表，其中用户的注视与包围对象X、Y和Z的可滚动列表的命中区域H相交，用户的注视停留在对象X上，如图4B所示。一旦用户的注视停留在对象X上，用户就可以通过例如与HMD 100配对的手持电子设备102(例如如上所述的智能电话102)的触摸敏感表面上的触摸输入来选择对象X，如图 4C所示。一旦在图4C中选择了对象X，即使用户的注视从对象X移开，焦点仍保留在对象X上。也就是说，一旦通过手持电子设备102的触摸敏感表面上的触摸选择了对象X，即使如图4D所示用户的注视可能略微转移，只要触摸被保持或维持在手持电子设备102的触摸敏感表面上，所选择的对象X 也保持被选择和启用。此时，在注视可滚动列表的命中区域H的情况下手持电子设备的触摸敏感表面上的拖动输入可导致列表滚动，如图4E所示。列表可以继续滚动，如图4F所示，即使用户的注视不再指向可滚动列表也是如此，直到用户释放手持电子设备102的触摸敏感表面上的触摸/拖动输入，如图4G 所示。
图5A-5D中示出了对于例如显示在图2A和图2B所示的HMD 100的显示器140上的可滚动列表中的可滚动和/或可操纵对象X、Y和Z的列表的滚动动作。在图5A-5D所示的示例实现方式中，多个可滚动和/或可操纵的对象可以维持统一的滚动标度，而与用户的视野无关和/或与用户相对于对象的取向或角度无关。也就是说，如图5A所示，对象可以在用户视野内的相对较远的位置，或者如图5B所示，对象可以在用户的视野内的相对靠近的位置。对象列表(例如，在虚拟世界中HMD 100的显示器140上显示的对象X、Y 和Z的列表)的移动可以维持统一的滚动标度，并且与在手持电子设备102 的触摸敏感表面上的拖动输入一致，而与用户视野内的对象的位置无关。类似地，对象可以与用户的光轴或视线对齐，如图5C所示，或者对象可以与用户的光轴或视线成一角度或偏移。例如，对象列表(例如，在虚拟世界中HMD 100的显示器140上显示的对象X、Y和Z的列表)的移动可以维持统一的滚动标度，并且与手持电子设备102的触摸敏感表面上的拖动输入一致，而与对象相对于用户的光轴或视线的对象的角度无关。
在图6A-6F、7A-7C和8A-8D中示出点和触摸(PT)类型的输入。图6A-6G 所示的PT输入可以包括使用PT型输入来选择对象或列表并滚动列表中的对象，图7A-7C所示的PT输入可以包括使用断开(snap)光束或射线来取消对象的选择，并且图8A-8D所示的PT型输入可以包括使用动态推挽(push-pull) 光束来选择和移动对象。这些PT型输入可以包括与手持电子设备102(例如上述智能电话102)或与HMD 100和/或虚拟现实系统的各种其他组件配对并与其通信的其他手持电子设备的基于射线的交互。
在从图6A至6B时，用户转移由手持电子设备102发射的射线的焦点，使得由手持电子设备发射的射线与围绕对象X、Y和Z的可滚动列表的命中区域H相交，其中射线停留并聚焦在对象X上，如图6B所示。一旦对象X 是由手持电子设备102发射的射线的焦点，用户然后就可以通过例如与HMD 100配对的手持电子设备102(例如如上所述的智能电话102)的触摸敏感表面上的触摸输入来选择对象X，如图6C所示。一旦在图6C中选择了对象X，即使由手持电子设备102发射的射线不再指向列表或对象X，焦点仍保留在对象X上。也就是说，一旦通过手持电子设备102的触摸敏感表面上的触摸选择了对象X，如图6C所示，即使由手持电子设备102发射的射线的方向可转移，如图6D所示，只要触摸被保持或维持在手持电子设备102的触摸敏感表面上，所选择的对象X就保持被选择和启用。此时，手持电子设备102 的触摸敏感表面上的拖动输入可以使列表滚动，如图6E所示。在一些实施例中，当列表响应于拖动输入滚动时，射线可视化可以改变外观或消失。列表可以继续滚动，如图6F所示，直到用户释放手持电子设备102的触摸敏感表面上的触摸/拖动输入，如图6G所示。
在图7A-7C中示出用于从所选择的对象X断开射线以释放或取消对象X 的选择的PT手势。在由手持电子设备102发射的射线聚焦在对象X上的情况下，如图7A所示，用户可以以使射线的焦点远离对象A并且在可滚动列表的命中区域D之外的方式，移动或重新定向手持电子设备102，如图7B所示，然后释放手持电子设备102的触摸敏感表面上的触摸，如图7C所示。以这种方式，如果用户建立焦点并触摸手持电子设备的触摸敏感表面以将焦点建立在对象X上，则使手持电子设备102充分远离对象X可释放焦点和/或取消选择，而不必释放触摸。
图8A-8D示出了允许对象(例如，显示在图2A和2B所示的HMD 100 的显示器140上的对象X、Y和Z)和/或虚拟现实系统的各种其它组件的动态推拉杆操纵的PT模式。如图8A所示，由手持电子设备102产生的射线或指针光束可以延伸到对象X或指向对象X。在指针光束聚焦在对象X上的情况下，按压或触摸手持电子设备102的触摸敏感表面可以在抓取对象X的同时建立固定长度的指针光束(附接到对象X)。随着手持电子设备102移动并且用户的触摸维持在手持电子设备102的触摸敏感表面上，指针光束抓取的对象X可以被移动，如同它附接到推拉杆的远端一样，如图8C所示。当用户的触摸从手持电子设备102的触摸敏感表面释放时，对象X可以被释放。
在图9A-9E和10A-10D中示出了触及(RT)类型的输入。这些RT型输入可以包括使用例如用户的一只或多只手和/或手持电子设备来选择和操纵对象的基于接近的交互。具体地，图9A-9E所示的RT型输入示出了选择对象或列表以及滚动列表中的对象，并且图10A-10D所示的RT型输入示出了选择对象并移动所选择的对象。
图9A-9E示出了RT交互，包括对象X、Y和Z的嵌套(nested)可滚动列表的悬停、选择和滚动。在从图9A至图9B中，当用户将他的手和/或手持电子设备102朝向可滚动对象X、Y和Z的列表移动时，最靠近于例如用户的手或者手持电子设备的端部的对象被突出(在本例中为对象X)，如图9B所示。在一些实施例中，由电子手持设备102发射的光束的长度可以在视觉上减小，以提供对象与手或手持电子设备102的潜在连接的附加视觉指示。用户的手例如抓握动作等的预设手势、或手持电子设备102的触摸敏感表面上的触摸可以随后选择最靠近的突出对象(在该示例中为对象X)，如图9C所示。然后，可滚动列表上的拉动动作可以触发列表滚动对象X、Y和Z，如图9D所示，直到对手持电子设备的触摸敏感表面的手握持和/或触摸被释放，如图9E所示。
图10A-10D示出了用于选择和移动可移动对象的RT型输入。从图10A 至图10B时，当用户将他的手和/或手持电子设备102朝向可滚动对象X、Y 和Z的列表移动时，最靠近于例如用户的手或者手持电子设备102的端部的对象被突出(在这种情况下是对象X)，如图10B所示。然后，用户的手的预设手势(例如握持动作等)或手持电子设备102的触摸敏感表面上的触摸可以选择突出的最靠近的对象(在该对象中的对象X)，并且一旦被握持，当用户移动他的手和/或手持电子设备102时，对象就可以被移动，如图10C所示。在一些实施例中，当在对象保持被选择的同时对象随着用户的手和/或手持电子设备102移动时，所选择的对象可以相对于用户的手或手持电子设备102 的端部保持在固定的平移偏移。在释放用户的握持和/或释放用户在手持电子设备102的触摸敏感表面上的触摸时，可以将对象重新定位在释放位置，如图10D所示。在一些实施例中，释放的对象可以与已建立的网格或附近的对象对准。
可以采用各种不同的方法来区分当将焦点建立在第一对象上、从第一对象释放焦点并将焦点转移到虚拟世界中的第二对象时，各种不同类型的输入的优先级如何。也就是说，如上所述，在一些实施例中，可以通过例如眼睛注视或头部注视来在要选择的特定对象上建立初始焦点，如图4A至5D所示的注视示例中。在一些实施例中，例如可以通过由手持电子设备102发射并指向要被选择用于焦点的对象的射线或光束的点，在要选择的特定对象上建立初始焦点，如图6A至8D所示的点示例。在一些实施例中，例如可以通过诸如用手持电子设备102和/或用户的手的触及动作，在要选择的特定对象上建立初始焦点，如图9A至10D所示的触及示例中。焦点不被释放并转移到不同的对象，直到采取特定的动作来释放和转移焦点。在一些实施例中，基于实现上述输入模式中的一个的动作，当确定焦点已经转移到另一个对象时，可以释放焦点。为了便于讨论和说明，用于在对象上建立焦点的四个示例输入模式(头部注视、眼睛注视、点和触及)将简称为四个不同的输入模式A、 B、C和D。
在区分多个输入以确定当前具有焦点的对象时，如果最近刚刚使用第一输入模式(例如，头部注视、眼睛注视，由手持电子设备102发射的射线、触摸手持电子设备的触摸敏感表面、触及/触摸手势等)来实现焦点，则第一输入模式可以优先于其他输入模式。这种在多个输入模式之间建立优先权的模式可以被称为新近度(recency)。例如，如果手持电子设备102用于建立焦点并选择对象，并且用户继续转移注视以查看呈现在显示器上的其他对象，则经由手持电子设备102的输入可以继续优先或领先用户的注视，因为手持电子设备102刚刚被使用。然而，如果此后手持电子设备102以某种方式脱离(放置、关闭、离开范围等)，则用户的注视(或另一输入模式)可以使焦点转移到另一个对象，就好像不再有最近使用手持电子设备102一样。
在一些实施例中，可以使用固定优先级方法来区分和建立各种不同类型的输入A、B、C和D之间的优先级。例如，在一些实施例中，输入模式A、 B、C和D中的每一个可以被分配优先级值。例如，四个输入模式A、B、C 和D可被分配优先级值，例如1、2、3或4，其中被分配优先级值4的输入模式是最高优先级输入模式，而被分配优先级值1的输入模式是最低优先级输入模式，并且没有两个输入模式被分配相同的优先级值。在一些实施例中，可以将不同输入模式A、B、C和D的这些优先级值建立为出厂设置。在一些实施例中，可以由用户例如对于配对的特定HMD 100和手持电子设备102，或者在针对特定用户的用户简档中设置不同输入模式A、B、C和D的这些优先级。在一些实施例中，这些优先级值可以由系统或由用户例如对于特定的虚拟环境等改变和/或重新设置。
如图11所示，基于在块1110处接收第一输入，可以在块1120处设置和保持焦点。如果在块1130处接收聚焦于第二对象上的第二输入，则在块1140 确定是否第二输入的优先级值大于在第一对象上建立焦点的第一输入的优先级值。如果第二输入的优先级值大于第一输入的优先级值，则确定通过实现与第二输入相关联的输入模式，用户意图将焦点转移到第二对象，并且焦点从第一对象释放并转移到第二对象。如果第二输入的优先级值小于第一输入的优先级值，则将焦点保持在第一对象上。当各自具有如上所述的相关优先级的多个输入模式(诸如模式A、B、C和D)对用户可用时，当确定在释放、转移和建立焦点中多个输入中的哪个输入优先时，可以应用该方法。
以这种方式，焦点可以从第一对象X释放并转移到第二对象Y，而不需要例如特定的释放动作，诸如如图4G和6G所示的在手持电子设备102的触摸表面上释放触摸/拖动、如图7C所示的释放保持的断开、如图8D所示的释放推拉杆、或者如图9E和10D所示的释放握持/触及。
对多个输入模式彼此排序优先级的一个技术效果是可以以一种方式向用户提供多种输入模式，该方式避免了需要从特定对象明确地释放焦点并仍然能够转移焦点。在某种意义上，它可以实现虚拟现实交互的“进一步的维度”，因为对象的选择的改变不仅可以通过明确地释放先前选择的对象来进行，而且还可以通过使用具有优先级高的输入模式将焦点改变到不同的对象来进行。这减少了必要的交互的数量(不需要主动释放)，同时它也增加了用户交互的维度。然而，这只是通过优先级排序实现的一个技术效果，还存在其他技术效果。一般来说，输入模式的优先级排序增强了交互的维度，从而增强了用户与虚拟现实交互的灵活性，使用户能够以前所未有的方式影响、选择和控制虚拟世界中的对象。由于这些虚拟现实对象对应于“物理实体”，所以虽然显示在虚拟现实中，但是其方法不仅涉及并指向数据的简单表示，而且实际上是与物理实体的控制和交互。
在一些实施例中，可以使用自适应优先级方法来区分并建立各种不同的输入模式A、B、C和D之间的优先级。例如，在一些实施例中，可以基于实际使用为输入模式A、B、C和D中的每一个确定优先级值，其中最频繁地实现用于在对象上建立焦点的输入模式被分配有最高优先级值，以及最不频繁地实现用于在对象上建立焦点的输入模式被分配有最低优先级值。在一些实施例中，分配给输入模式中的每一个的优先级值可以基于使用而改变。例如，在一些实施例中，可以基于在特定时段期间的使用或特定的虚拟体验或游戏等，自动地或手动地周期性地更新优先级值。图11所示的方法可以使用这些自适应优先级值来实现，用于以与上面关于固定优先级值所描述的方式相似的方式释放和转移焦点。
在一些实施例中，目标大小(例如聚焦对象的大小)可以确定不同输入模式A、B、C和D的优先级。例如，在一些实施例中，虚拟世界中的相对较小的目标对象可以为点输入(如图6B)或触及/触摸输入(如图9B)(而不是头部注视或眼睛注视输入)分配较高的优先级，以在目标对象上建立焦点。在一些实施例中，虚拟世界中相对较大的目标对象可以为注视输入(头部注视或眼睛注视，如图4B)分配为对点输入或触及/触摸输入分配的更高的优先级，以在目标对象上建立焦点。因此，在一些实施例中，特定虚拟沉浸环境的不同对象或对象组中的每一个可以基于对象(或对象组)的特性，诸如对象的大小，为不同的输入模式分配其自己的一组优先级。图11所示的方法可以使用这些自适应优先级值来实现，用于以与上面关于固定优先级值所描述的方式相似的方式释放和转移焦点。
在一些实施例中，距离(例如，虚拟世界中对象看起来距用户的距离) 可以确定不同输入模式A、B、C和D的优先级。例如，在一些实施例中，在虚拟世界中看起来相对靠近用户的对象可以为触及/触摸输入(如图9B)分配比为点输入或注视输入分配的更高的优先级，以在相对靠近的对象上建立焦点。在一些实施例中，在虚拟世界中看起来相对远离用户的对象可以为点输入(如图6B)或注视输入(如图4B中的头部注视或眼睛注视)分配比为触及/触摸输入分配的更高的优先级，以在相对远离的对象上建立焦点。因此，在一些实施例中，特定虚拟沉浸环境的不同对象或对象组中的每一个可以基于对象(或对象组)的特性，诸如对象与用户的感知距离，为不同的输入模式分配其自己的一组优先级。图11所示的方法可以使用这些自适应优先级值来实现，用于以与上面关于固定优先级值所描述的方式相似的方式释放和转移焦点。
在一些实施例中，可以通过例如如上所述的眼睛注视或头部注视来选择在虚拟世界中看起来相对远离用户的对象或一组对象。为了便于与在虚拟世界中与用户相距较远距离的对象的用户交互，用户可能希望将对象拉得更近，用于使用其他输入模式中的一个进行交互和/或操纵，所述其他输入模式中的一个例如用用户的手和/或手持电子设备102作出的、用户的手由HMD 100 跟踪并且检测到的手部移动被转换为的触及手势。在较长距离注视输入交互与较短距离的触摸或触及交互之间的动态切换并且可以通过各种不同的用户输入或动作或信号来触发。例如，在一些实施例中，在用注视输入在对象上建立焦点之后，可以通过手持电子设备102的触摸敏感表面上的触摸输入、通过在操作系统的六个自由度(6DOF)空间中的手持电子设备102的运动、通过与HMD 100的控制组件的交互等，将对象拉得更近，例如用于触及/触摸交互。
在一些实施例中，在用注视输入在对象上建立焦点之后，可以通过由 HMD 100识别的手势作为将对象拉到视觉触及和/或触摸范围内的命令，将对象拉得更近，例如用于触及/触摸交互和/或更细粒度和/或扩展可视化。在一些实施例中，由HMD 100识别的手势可以是例如由例如HMD 100的传感器 (例如相机180)检测、并且由HMD 100的处理器190和/或控制器170来处理的手和/或手臂手势。为了便于讨论和说明，下文中，包括触及朝向在虚拟世界中看起来相对远离用户的焦点的对象的手/手臂手势的用户手势将被讨论为触发，所述触发用于从用于建立焦点的较长距离眼睛注视输入与用于基于焦点的对象在虚拟世界中操纵和/或交互的较短距离的触及/触摸输入的该动态切换。然而，包括其他手势的其他触发也可以导致该类动态切换。
这种类型的动态切换的示例在图12A-12F中示出。在图12A中，向用户呈现用户界面。图12A所示的示例用户界面是在远场显示中呈现的对象20A 的列表20或组。也就是说，在该示例实现方式中，用户界面可以被呈现给用户，就像在与虚拟世界中距用户相对较远距离的墙上一样。在一些实施例中，对象的列表20的远场显示可以看起来像在虚拟世界中距用户8英尺或大于8 英尺的距离一样。在一些实施例中，对象列表20的远场显示可以看起来像在虚拟世界中例如距用户小于8英尺的距离。当用户的注视(头部注视或眼睛注视)与用户界面相交时，特别是与对象20A的列表20相交时，如图12B 所示，可以如上所述在对象20A的列表20上建立用户的焦点。一旦在对象 20A的列表20上建立焦点，则触发动作(例如，如图12C所示的用户手/手臂手势)可以从较长距离的注视输入模式(指向对象的远场显示)触发动态切换到较短距离的触及/触摸输入模式，在近场显示中将对象20A的列表20 拉得更靠近于用户，以便于触及和/或触摸输入，如图12D所示。然后，用户可以从对象20A的列表20中伸出并选择对象20A，如图12E所示，使得用户可以通过触及/触摸输入与对象20A交互和/或操纵对象20A，如图12F所示。在一些实施例中，对象的列表20的近场显示可以看起来像在虚拟世界中距用户例如大约1.5英尺或小于1.5英尺的距离。在一些实施例中，对象的列表20的近场显示可以看起来好像它们在虚拟世界中距用户大约大于1.5英尺的距离。
在一些实施例中，随着对象20A被响应于动态切换触发而拉得更靠近用户、并且对象20A从图12A-12C所示的远场显示转变至图12D至图12F所示的近场显示，对象20A中的一个或多个可以变形或改变形式，以包括附加特征、信息、粒度等，以便于用户选择、与对象的交互和操纵。在图12A-12F 所示的示例中，图12A-12C所示的列表20的示例对象20A可以是与例如电影标题和/或书籍标题和/或游戏标题的列表相关联的图像。当列表20被拉得更靠近用户用于触及和/或触摸交互时，列表20中的对象20A可以变形以便于用户选择和交互，如图12D-12F所示。在该示例中，对象包括电影标题和/ 或书籍标题和/或游戏标题，对象20可以变形为包括例如完整标题、与标题相关联的静态和/或运动图像、与标题相关联的类型、与标题相关联的长度(运行时间、页数等)以及可以便于用户选择和/或交互的其他特征。
在一些实施例中，随着对象20A被响应于动态切换触发而拉得更靠近用户、并且对象20A从图12A-12C所示的远场显示转变为图12D-12F所示的近场显示、并且图像20A如上所述变形，对象20A也可以从远场显示向近场显示动画化和视觉上移动。对象在远场显示和近场显示之间的移动和变形时的动画可以向用户提供对象20A的列表20中的进展改变的可视指示符并维持用户的参与度。
包括在图12A-12F所示的示例实现方式中的对象20A的列表20包括标题(电影标题、书籍标题、游戏标题等)仅仅是为了便于讨论和说明。然而，上述动态切换也可以应用于包括许多其他不同类型的对象的列表，所述对象例如虚拟游戏和设备、虚拟购物环境中的项目、以及从较长距离的注视输入模式到较短距离的触及/触摸输入模式的动态切换可以便于用户与虚拟世界中的对象的交互的许多其他示例。
此外，在图12A-12F所示的示例实现方式中，用户的手从对象20A的列表20中选择对象20A、以及与所选择的对象20A进行交互和操纵。然而，如上文参照图9A-10D所述，也可以用手持电子设备102来完成对所选择的对象20A的交互和操纵。
在图13中示出根据本文宽泛描述的实施例的动态切换的示例。一旦在块 1310参与沉浸式虚拟体验，如果在块1320使用第一输入模式接收第一输入，则在块1330在对象列表上建立焦点。在一些实施例中，使用第一输入模式的第一输入可以是例如在用户界面处的注视输入(头部注视和/或眼睛注视)，所述用户界面例如对象列表，其在虚拟世界中看起来相对远离用户。一旦在对象列表上建立焦点，如果接收到触发动态切换的输入，则可以使用不同于第一输入模式的第二输入模式来使对象列表变形以便于交互。在一些实施例中，触发动态切换的输入可以是例如如上所述由HMD的图像传感器捕获的手和/或手臂手势或其他输入动作。在一些实施例中，触发动态切换的输入动作可以使得输入模式从注视输入模式(其将焦点建立在对象列表上)切换为例如可以便于与对象列表中的单个对象交互的触及和/或触摸输入模式。
响应于动态切换触发，在块1350处可以使对象列表变形，以便于使用第二输入模式(例如，如上所述的触及和/或触摸输入模式)的用户交互。列表中的对象的变形可以包括例如视觉上使对象变形，使得它们看起来更靠近并且在虚拟世界中的用户的触及范围内、添加和/或改变图像和/或文本和/或与对象相关联的其他特征等，以便于使用触及和/或触摸输入模式与对象的用户交互。响应于使用第二输入模式接收第二输入，在块1360，可以从对象列表中选择对象，并使用第二输入模式操纵对象。例如，用户可以触摸列表中包括的对象中的一个(其在变形之后现在在虚拟世界中用户的触及范围内)来选择对象，然后可以使用触及或触摸输入来操纵该对象。
以这种方式，对象和对象列表可以在虚拟世界中被视觉地定位于与用户相距一定距离，这便于基于用户使用的输入模式来选择对象、与对象的交互和操纵。
因此，变形具有甚至进一步增强了用户交互的维度的技术效果，类似于、除了、并且可能甚至独立于优先级排序。
图14示出了可以与这里描述的技术一起使用的通用计算机设备1400和通用移动计算机设备1450的示例。计算设备1400旨在表示各种形式的数字计算机，例如膝上型计算机、桌面型计算机、平板电脑、工作站、个人数字助理、电视机、服务器、刀片服务器、大型机和其他合适的计算设备。计算设备1450旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。这里所示的组件、它们的连接和关系以及它们的功能仅仅是示例性的，并不意味着限制本文中描述和/或要求保护的发明的实现方式。
计算设备1400包括处理器1402、存储器1404、存储设备1406、连接到存储器1404和高速扩展端口1410的高速接口1408、以及连接到低速总线 1414和存储设备1406的低速接口1412。处理器1402可以是基于半导体的处理器。存储器1404可以是基于半导体的存储器。组件1402、1404、1406、 1408、1410和1412中的每一个使用各种总线互连，并且可以安装在公共主板上或以其他方式适当地安装。处理器1402可以处理用于在计算设备1400 内执行的指令，包括存储在存储器1404中或存储设备1406上的指令，以在诸如耦合到高速接口1408的显示器1416的外部输入/输出设备上显示GUI 的图形信息。在其他实现方式中，可以适当地使用多个处理器和/或多个总线以及多个存储器和多个类型的存储器。此外，可以连接多个计算设备1400，每个设备提供必要操作的一部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器1404在计算设备1400内存储信息。在一个实现方式中，存储器 1404是一个或多个易失性存储器单元。在另一实现方式中，存储器1404是一个或多个非易失性存储器单元。存储器1404还可以是另一形式的计算机可读介质，诸如磁盘或光盘。
存储设备1406能够为计算设备1400提供大容量存储。在一个实现方式中，存储设备1406可以是或包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪存或其它类似的固态存储设备，或包括存储区域网络中的设备或其他配置的设备阵列。计算机程序产品可以有形地体现在信息载体中。计算机程序产品还可以包含指令，当所述指令被执行时，执行一个或多个方法，例如上述的方法。信息载体是诸如存储器1404、存储设备1406 或处理器1402上的存储器的计算机或机器可读介质。
高速控制器1408管理计算设备1400的带宽密集型操作，而低速控制器 1412管理较低带宽密集型操作。功能的这种分配仅是示例性的。在一个实现方式中，高速控制器1408耦合到存储器1404、显示器1416(例如，通过图形处理器或加速器)以及可接受各种扩展卡(未示出)的高速扩展端口1410。在该实现方式中，低速控制器1412耦合到存储设备1406和低速扩展端口 1414。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网) 的低速扩展端口可以例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指示设备、扫描仪或诸如交换机或路由器的联网设备。
计算设备1400可以以多种不同的形式来实现，如图所示。例如，它可以被实现为标准服务器1420，或者在一组这样的服务器中多次实现。它也可以被实现为机架式服务器系统1424的一部分。此外，它可以在诸如膝上型计算机1422的个人计算机中实现。替代地，来自计算设备1400的组件可以与诸如设备1450的移动设备中的其他组件(未示出)组合。这些设备中的每一个可以包含计算设备1400、1450中的一个或多个，并且整个系统可以由彼此通信的多个计算设备1400、1450组成。
计算设备1450包括处理器1452、存储器1464、诸如显示器1454的输入 /输出设备、通信接口1466和收发器1468以及其他组件。设备1450还可以提供有诸如微驱动器或其他设备的存储设备，以提供额外的存储。组件1450、 1452、1464、1454、1466和1468中的每一个使用各种总线互连，并且若干组件可以安装在公共主板上或以其他方式适当地安装。
处理器1452可以执行计算设备1450内的指令，包括存储在存储器1464 中的指令。处理器可以被实现为包括单独的和多个模拟和数字处理器的芯片的芯片组。处理器可以例如提供用于设备1450的其他组件的协调，诸如用户界面的控制、由设备1450运行的应用以及由设备1450进行的无线通信。
处理器1452可以通过耦合到显示器1454的控制接口1458和显示接口 1456与用户通信。显示器1454可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其他适当的显示技术。显示接口 1456可以包括用于驱动显示器1454向用户呈现图形和其它信息的适当电路。控制接口1458可以从用户接收命令并将其转换用于提交给处理器1452。另外，可以提供与处理器1452通信的外部接口1462，以便设备1450能够与其他设备进行近场通信。外部接口1462可以提供例如在一些实现方式中的有线通信，或者在其他实现方式中的无线通信，并且还可以使用多个接口。
存储器1464在计算设备1450内存储信息。存储器1464可以被实现为一个或多个计算机可读介质或介质、一个或多个易失性存储器单元或一个或多个非易失性存储器单元中的一个或多个。扩展存储器1474还可以通过扩展接口1472提供并连接到设备1450，扩展接口1472可以包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器1474可以为设备1450提供额外的存储空间，或者还可以存储用于设备1450的应用或其他信息。具体来说，扩展存储器1474可以包括用于执行或补充上述处理的指令，并且还可以包括安全信息。因此，例如，扩展存储器1474可以被提供为用于设备1450的安全模块，并且可以用允许设备1450的安全使用的指令来编程。此外，可以经由SIMM卡以及附加信息来提供安全应用，例如以不可攻击的方式将识别信息放置在SIMM卡上。
存储器可以包括例如闪存和/或NVRAM存储器，如下所述。在一个实现方式中，计算机程序产品被有形地体现在信息载体中。计算机程序产品包含指令，当所述指令被执行时，执行一个或多个方法，例如上述的方法。信息载体是可以例如通过收发器1468或外部接口1462接收的计算机或机器可读介质，诸如存储器1464、扩展存储器1474或处理器1452上的存储器。
设备1450可以通过通信接口1466进行无线通信，通信接口1466可以在必要时包括数字信号处理电路。通信接口1466可以提供诸如GSM语音呼叫、 SMS、EMS或MMS消息收发、CDMA、TDMA、PDC、WCDMA、CDMA2000 或GPRS等的各种模式或协议的通信。这种通信可以例如通过射频收发器 1468发生。此外，可以发生短距离通信，例如使用蓝牙、WiFi或其他此类收发器(未示出)。此外，GPS(全球定位系统)接收器模块1470可以向设备 1450提供附加的导航和位置相关的无线数据，其可以由在设备1450上运行的应用适当地使用。
设备1450还可以使用音频编解码器1460可听地通信，音频编解码器 1460可以从用户接收口语信息并将其转换为可用的数字信息。音频编解码器 1460同样可以例如通过扬声器(例如在设备1450的手机中)为用户产生可听见的声音。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等等)，并且还可以包括在设备1450上操作的应用产生的声音。
计算设备1450可以以多种不同的形式来实现，如图所示。例如，它可以被实现为蜂窝电话1480。它也可以被实现为智能电话1482、个人数字助理或其他类似移动设备的一部分。
这里描述的系统和技术的各种实现方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实现方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现方式，所述可编程系统包括：可以是特殊或通用目的的至少一个可编程处理器，其被耦合以从存储系统接收数据和指令以及发送数据以及指令至存储系统；至少一个输入设备和至少一个输出设备。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程化和/或面向对象编程语言和/或汇编/机器语言实现。如本文所使用的，术语“机器可读介质”、“计算机可读介质”是指任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，其用于向可编程处理器提供机器指令和/或数据，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互，这里描述的系统和技术可以在如下计算机上实现，所述计算机具有：显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)，用于将信息显示给用户；以及用户可以向计算机提供输入的键盘和指点设备(例如，鼠标或轨迹球)。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
这里描述的系统和技术可以在这样的计算系统中实现，所述计算机系统包括后端组件(例如，作为数据服务器)，或包括中间件组件(例如，应用服务器)，或者包括前端终端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该图形用户界面或Web浏览器与这里描述的系统和技术的实现进行交互)，或者这种后端、中间件或前端组件的任何组合。系统的组件可以通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统可以包括客户机和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器的关系是由于各自计算机上运行的计算机程序和彼此之间的客户端-服务器关系而产生的。
已经描述了许多实施例。然而，应当理解，在不脱离本发明的精神和范围的情况下，可以进行各种修改。
另外，附图中描绘的逻辑流程不需要所示的特定次序或顺序来获得期望的结果。此外，可以从所描述的流程中提供其他步骤，或者可以从所描述的流程中消除步骤，并且可以将其他组件添加到所描述的系统中或从所描述的系统中移除。因此，其它实施例在所附权利要求的范围内。
本文描述的各种技术的实现方式可以在数字电子电路中、或在计算机硬件、固件、软件或它们的组合中实现。实现方式可以实现为例如在机器可读存储设备(计算机可读介质)中的计算机程序产品，即有形地体现在信息载体中的计算机程序，用于由数据处理装置处理或控制数据处理装置的操作，所述数据处理装置例如可编程处理器、计算机或多个计算机。因此，计算机可读存储介质可以被配置为存储当执行时使得处理器(例如，主机设备处的处理器、客户端设备处的处理器)执行处理的指令。
诸如上述计算机程序的计算机程序可以以任何形式的编程语言编写，包括编译或解释语言，并且可以以任何形式部署，包括作为单机程序或作为适用于计算环境的模块、组件、子例程或其他单元。可以将计算机程序部署为在一个站点上的一个计算机上或多个计算机上进行处理，或分布在多个站点之间并由通信网络互连。
方法步骤可由执行计算机程序的一个或多个可编程处理器执行，以通过对输入数据进行操作并产生输出来执行功能。方法步骤还可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))来执行，并且装置可以被实现专用逻辑电路。
适合于处理计算机程序的处理器例如包括通用和专用微处理器以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的元件可以包括用于执行指令的至少一个处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还可以包括用于存储数据的一个或多个大容量存储设备，或可操作地耦合以从一个或多个大容量存储设备接收数据或向其传输数据或两者，所述大容量存储设备例如磁、磁光盘或光盘。适合于体现计算机程序指令和数据的信息载体包括所有形式的非易失性存储器，例如包括：半导体存储器件，例如EPROM、EEPROM和闪存器件；磁盘，例如内部硬盘或可移动盘；磁光盘；以及CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入其中。
为了提供与用户的交互，实现方式可以在以下计算机上实现，所述计算机具有显示设备(例如，阴极射线管(CRT)、发光二极管(LED)或液晶显示器(LCD)监视器)，用于向用户显示信息；以及用户可以向计算机提供输入的键盘和指示设备，例如鼠标或轨迹球。也可以使用其他类型的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如视觉反馈、听觉反馈或触觉反馈；并且可以以包括声音、语音或触觉输入的任何形式接收来自用户的输入。
实现方式可以在这样的计算系统中实现，所述计算系统包括后端组件(例如，作为数据服务器)，或包括中间件组件(例如，应用服务器)，或包括前端组件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过该图形用户界面或Web浏览器与实现进行交互)，或者这种后端、中间件或前端组件的任何组合。组件可以通过任何形式或介质的数字数据通信(例如通信网络)互连。通信网络的示例包括局域网(LAN)和广域网(WAN)，例如因特网。
下面公开进一步的示例。
示例1.一种方法，包括：启动包括多个虚拟对象的沉浸式虚拟体验，所述多个虚拟对象中的每一个响应于多个输入模式是可选择和可操纵的；接收实现所述多个输入模式中的第一输入模式的第一输入；响应于所述第一输入，选择所述多个虚拟对象中的第一虚拟对象；接收实现所述多个输入模式中的第二输入模式的第二输入；比较所述第二输入模式的优先级值和所述第一输入模式的优先级值；以及基于该比较，响应于所述第二输入，释放对所述第一虚拟对象的选择并将选择转移到所述多个虚拟对象中的第二虚拟对象，或维持对所述第一虚拟对象的选择。
示例2.根据示例1所述的方法，其中响应于所述第二输入而释放对所述第一虚拟对象的选择并将选择转移到第二虚拟对象包括：当所述第二输入的优先级值大于所述第一输入的优先级值时，响应于所述第二输入，释放对所述第一虚拟对象的选择并将选择转移到所述第二虚拟对象。
示例3.根据示例1或2所述的方法，还包括当所述第二输入的优先级值小于所述第一输入的优先级值时，维持对所述第一虚拟对象的选择。
示例4.根据示例1、2或3所述的方法，所述多个输入模式中的每一个具有相关联的优先级值，与所述多个输入模式中的每一个相关联的相应优先级值被预设或由用户根据用户简档设置。
示例5.根据示例1至4中的一个所述的方法，其中所述多个输入模式包括头部注视输入模式、眼睛注视输入模式、点输入模式、触及输入模式和手势输入模式中的至少两个。
示例6.根据示例1至5中的一个所述的方法，还包括：接收实现所述多个输入模式中的第三输入模式的第三输入；以及响应于所述第三输入来操纵所选择的第一虚拟对象。
示例7.根据示例1至6中的一个所述的方法，其中，接收第一输入并选择第一虚拟对象包括：接收指向所述第一虚拟对象的注视输入，以选择所述第一虚拟对象用于操纵。
示例8.根据示例1至7中的一个所述的方法，其中接收第三输入包括：在手持电子设备的触摸敏感表面上接收触摸输入；以及响应于所述触摸输入移动所选择的第一虚拟对象。
示例9.根据示例1至8中的一个所述的方法，其中所述手持电子设备的所述触摸敏感表面上的所述触摸输入是触摸和拖动输入，并且其中所选择的对象的移动对应于所述触摸敏感表面上的所述触摸和拖动输入的移动。
示例10.根据示例1至9中的一个所述的方法，其中接收指向所述第一虚拟对象以选择所述第一虚拟对象的注视输入包括：在包括所述第一虚拟对象的所述多个虚拟对象的远场显示中接收注视输入；以及其中接收第三输入包括：接收手势输入；将所述手势输入识别为用于将所述多个虚拟对象从所述远场显示动态切换到近场显示的触发；使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的近场显示；以及在所述近场显示中显示变形的多个虚拟对象。
示例11.根据示例10所述的方法，其中使所述多个虚拟对象的外观变形以用于所述多个虚拟对象的近场显示包括：随着所述多个虚拟对象从远场显示移动到近场显示，减小从用户到所述多个虚拟对象的虚拟距离，以及以下中的至少一个：改变所述多个虚拟对象的大小、改变与所述多个虚拟对象相关联的图像、改变与所述多个虚拟对象相关联的文本、或者改变与所述多个虚拟对象相关联的菜单项。
示例12.根据示例1至11中的一个所述的方法，还包括：接收第四输入，所述第四输入包括触及手势，以选择和操纵在近场显示中显示的所述多个虚拟对象中的虚拟对象。
示例13.根据示例1至12中的一个所述的方法，其中接收第一输入并选择第一虚拟对象包括：接收由指向所述第一虚拟对象的手持电子设备产生的光束，以选择所述第一虚拟对象用于操纵。
示例14.根据示例1至13中的一个所述的方法，其中接收第三输入包括：在手持电子设备的触摸敏感表面上接收触摸输入；沿着触摸敏感表面拖动触摸输入；以及响应于触摸和拖动输入来移动所选择的第一虚拟对象，所选择的第一虚拟对象的移动与沿着手持电子设备的触摸敏感表面的拖动输入的移动相对应。
示例15.根据示例1至13中的一个所述的方法，所述第三输入包括：在手持电子设备的触摸敏感表面上接收触摸输入，以将由手持电子设备产生的光束连接在手持电子设备和所选择的第一虚拟对象之间；移动手持电子设备；响应于手持电子设备的移动来移动所选择的第一虚拟对象，所选择的第一虚拟对象的移动对应于手持电子设备的移动；从手持电子设备的触摸敏感表面释放触摸输入；以及响应于触摸输入的释放来释放所选择的第一虚拟对象，以将所选择的第一虚拟对象重新定位在触摸输入的释放点。
示例16.根据第十六示例的一种方法，包括：启动沉浸式虚拟体验；产生多个虚拟对象的远场显示；接收第一输入；响应于第一输入，选择包括所述多个虚拟对象的远场显示；接收第二输入；响应于所述第二输入，使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的近场显示；产生包括所变形的多个虚拟对象的近场显示；接收第三输入；以及响应于第三输入选择所变形的多个虚拟对象中的一个。
示例17.根据示例16所述的方法，其中接收第一输入包括：接收由手持电子设备产生的远场注视输入或远场光束输入，并且接收第二输入包括：接收触发从所述多个虚拟对象的远场显示到所变形的多个虚拟对象的近场显示的转变的手或手臂手势输入，并且接收第三输入包括：接收从所变形的虚拟对象的近场显示选择虚拟对象的近场手部手势或近场触及手势。
示例18.根据示例16或17所述的方法，还包括：接收第四输入；以及响应于第四输入来操纵所选择的虚拟对象。
示例19.根据示例16至18中的一个所述的方法，其中接收第四输入包括接收以下中的至少一个：所述手持电子设备的触摸敏感表面上的触摸和拖动输入、所述触摸敏感表面上的触摸和所述手持电子设备的移动、或者指向所选择的虚拟对象的特征的手部手势。
示例20.根据示例16至19中的一个所述的方法，其中响应于所述第四输入来操纵所选择的虚拟对象包括以下中的至少一个：基于所述触摸和拖动输入的轨迹来移动所选择的虚拟对象、基于手持电子设备的移动来移动所选择的虚拟对象、或者基于手部手势进一步变形所选择的虚拟对象。
示例21.根据示例16至18中的一个所述的方法，还包括：接收第五输入；将第五输入的优先级值与第四输入的优先级值进行比较；当第五输入的优先级值大于第四输入的优先级值时，释放对当前选择的虚拟对象的选择，并将选择转移到与第五输入相关联的新虚拟对象；以及当第五输入的优先级值小于第四输入的优先级值时，维持对当前选择的虚拟对象的选择。
示例22.根据示例16至21中的一个所述的方法，其中每个输入经由多个输入模式中的一个接收，所述多个输入模式中的每一个具有相关联的优先级值，与所述多个输入模式中的每一个相关联的相应优先级值被预设或者由用户根据用户简档设置。
示例23.根据示例16至22中的一个所述的方法，其中所述多个输入模式包括头部注视输入模式、眼睛注视输入模式、点输入模式、触及输入模式和手势输入模式。
示例24.根据第二十四示例的一种装置，包括：与手持电子设备可操作地耦合的头戴式电子设备；以及用于控制头戴式电子设备和手持电子设备的操作的控制系统，所述控制系统被配置为控制所述头戴式电子设备和所述手持电子设备以：启动包括多个虚拟对象的沉浸式虚拟体验，所述多个虚拟对象中的每一个响应于多个输入模式是可选择和可操纵的；接收实现所述多个输入模式中的第一输入模式的第一输入；响应于所述第一输入，选择所述多个虚拟对象中的第一虚拟对象；接收实现所述多个输入模式中的第二输入模式的第二输入；比较第二输入模式的优先级值和第一输入模式的优先级值；以及基于该比较，响应于第二输入，释放对第一虚拟对象的选择并将选择转移到所述多个虚拟对象中的第二虚拟对象，或维持对所述第一虚拟对象的选择。
示例25.根据示例24所述的装置，所述多个输入模式中的每一个具有相关联的优先级值，与所述多个输入模式中的每一个相关联的相应优先级值被预设或者由用户根据用户简档设置，控制系统还被配置为：当所述第二输入的优先级值大于所述第一输入的优先级值时，释放对所述第一虚拟对象的选择并将选择转移到所述第二虚拟对象；以及当第二输入的优先级值小于第一输入的优先级值时，维持对第一虚拟对象的选择。
示例26.根据示例24或25所述的装置，所述控制系统还被配置为：接收实现所述多个输入模式中的第三输入模式的第三输入，所述第三输入包括指向包括所述第一虚拟对象的所述多个虚拟对象的远场显示的注视输入；接收实现所述多个输入模式中的第四输入模式的第四输入，第四输入包括触发所述多个虚拟对象从远场显示到近场显示的动态切换的手势；使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的近场显示；以及在近场显示中显示所变形的多个虚拟对象。
示例27.根据第二十七示例的一种存储指令的计算机可读存储介质，所述指令在被执行时使计算设备执行处理，所述指令包括用于以下的指令：启动包括多个虚拟对象的沉浸式虚拟体验，所述多个虚拟对象中的每一个响应于多个输入模式是可选择和可操纵的；接收实现所述多个输入模式中的第一输入模式的第一输入；响应于所述第一输入，选择所述多个虚拟对象中的第一虚拟对象；接收实现所述多个输入模式中的第二输入模式的第二输入；比较第二输入模式的优先级值和第一输入模式的优先级值；以及基于该比较，响应于第二输入，释放对第一虚拟对象的选择并将选择转移到所述多个虚拟对象中的第二虚拟对象，或维持对所述第一虚拟对象的选择。
示例28.根据示例26或27所述的计算机可读存储介质，所述多个输入模式中的每一个具有相关联的优先级值，与所述多个输入模式中的每一个相关联的相应优先级值被预设或由用户根据用户简档设置。
示例29.根据示例26、27或28所述的计算机可读存储介质，当所述第二输入的优先级值大于所述第一输入的优先级值时，所述第一虚拟对象的选择被释放并转移到所述第二虚拟对象，并且当第二输入的优先级值小于第一输入的优先级值时，维持对第一虚拟对象的选择。
示例30.根据示例26、27、28或29所述的计算机可读存储介质，所述指令还包括用于以下的指令：接收实现所述多个输入模式中的第三输入模式的第三输入，所述第三输入指向所述多个虚拟对象的远场显示；接收实现所述多个输入模式中的第四输入模式的第四输入，第四输入触发所述多个虚拟对象从远场显示到近场显示的动态切换；使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的近场显示；以及在近场显示中显示所变形的多个虚拟对象。
示例31.根据示例26至30中的一个所述的计算机可读存储介质，其中，使所述多个虚拟对象的外观变形以用于所述多个虚拟对象的近场显示包括：随着所述多个虚拟对象从远场显示移动到近场显示，减小从用户到所述多个虚拟对象的虚拟距离，以及以下中的至少一个：改变所述多个虚拟对象的大小、改变与所述多个虚拟对象相关联的图像、改变与所述多个虚拟对象相关联的文本、或者改变与所述多个虚拟对象相关联的菜单项。
虽然如本文描述的已经示出了所述实现方式的某些特征，但是本领域技术人员现在将会想到许多修改、替换、改变和等同物。因此，应当理解，所附权利要求旨在覆盖落入实现范围内的所有这样的修改和改变。应当理解，它们仅以示例的方式呈现，而不是限制，并且可以进行形式和细节的各种改变。除了相互排斥的组合之外，本文描述的装置和/或方法的任何部分可以以任何组合来组合。本文描述的实现方式可以包括所描述的不同实现方式的功能、组件和/或特征的各种组合和/或子组合。

Claims (29)

1.一种用于虚拟现实的方法，包括：
启动包括多个虚拟对象的虚拟体验，所述多个虚拟对象中的每一个是响应于多个输入模式可选择和可操纵的；
接收实现所述多个输入模式中的第一输入模式的第一输入；
响应于所述第一输入，选择所述多个虚拟对象中的第一虚拟对象；
接收实现所述多个输入模式中的第二输入模式的第二输入；
比较所述第二输入模式的优先级值和所述第一输入模式的优先级值；以及
基于该比较，响应于所述第二输入，释放对所述第一虚拟对象的选择并将选择转移到所述多个虚拟对象中的第二虚拟对象，或维持对所述第一虚拟对象的选择。
2.根据权利要求1所述的方法，其中响应于所述第二输入而释放对所述第一虚拟对象的选择并将选择转移到第二虚拟对象包括：当所述第二输入模式的优先级值大于所述第一输入模式的优先级值时，响应于所述第二输入，释放所述第一虚拟对象的选择并将选择转移到所述第二虚拟对象。
3.根据权利要求2所述的方法，还包括当所述第二输入模式的优先级值小于所述第一输入模式的优先级值时，维持对所述第一虚拟对象的选择。
4.根据权利要求3所述的方法，所述多个输入模式中的每一个具有相关联的优先级值，与所述多个输入模式中的每一个相关联的相应优先级值被预设或由用户根据用户简档设置。
5.根据权利要求1所述的方法，其中所述多个输入模式包括头部注视输入模式、眼睛注视输入模式、点输入模式、触及输入模式和手势输入模式中的至少两个。
6.根据权利要求1所述的方法，还包括：
接收实现所述多个输入模式中的第三输入模式的第三输入；以及
响应于所述第三输入来操纵所选择的第一虚拟对象。
7.根据权利要求6所述的方法，其中，接收第一输入并选择第一虚拟对象包括：接收指向所述第一虚拟对象的注视输入，以选择所述第一虚拟对象用于操纵。
8.根据权利要求7所述的方法，其中接收第三输入包括：
在手持电子设备的触摸敏感表面上接收触摸输入；以及
响应于触摸输入移动所选择的第一虚拟对象。
9.根据权利要求8所述的方法，其中所述手持电子设备的所述触摸敏感表面上的所述触摸输入是触摸和拖动输入，并且其中所选择的对象的移动对应于所述触摸敏感表面上的所述触摸和拖动输入的移动。
10.根据权利要求7所述的方法，其中接收指向所述第一虚拟对象的注视输入以选择所述第一虚拟对象包括：
在包括第一虚拟对象的所述多个虚拟对象的远场显示中接收注视输入；并且
其中接收第三输入包括：
接收手势输入；
将所述手势输入识别为用于将所述多个虚拟对象从所述远场显示动态切换到近场显示的触发；
使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的所述近场显示；以及
在所述近场显示中显示变形的多个虚拟对象。
11.根据权利要求10所述的方法，其中使所述多个虚拟对象的外观变形以用于所述多个虚拟对象的近场显示包括：随着所述多个虚拟对象从所述远场显示移动到所述近场显示，减小从用户到所述多个虚拟对象的虚拟距离，以及以下中的至少一个：改变所述多个虚拟对象的大小、改变与所述多个虚拟对象相关联的图像、改变与所述多个虚拟对象相关联的文本、或者改变与所述多个虚拟对象相关联的菜单项。
12.根据权利要求11所述的方法，还包括：接收第四输入，所述第四输入包括触及手势，用以选择和操纵在所述近场显示中显示的所述多个虚拟对象中的虚拟对象。
13.根据权利要求6所述的方法，其中接收第一输入并选择第一虚拟对象包括：接收指向所述第一虚拟对象的由手持电子设备产生的光束，以选择所述第一虚拟对象用于操纵。
14.根据权利要求13所述的方法，其中接收第三输入包括：
在手持电子设备的触摸敏感表面上接收触摸输入；
沿着所述触摸敏感表面拖动所述触摸输入；以及
响应于触摸和拖动输入来移动所选择的第一虚拟对象，所选择的第一虚拟对象的移动与沿着所述手持电子设备的所述触摸敏感表面的所述拖动输入的移动相对应。
15.根据权利要求13所述的方法，所述第三输入包括：
在手持电子设备的触摸敏感表面上接收触摸输入，以将由所述手持电子设备产生的光束连接在所述手持电子设备和所选择的第一虚拟对象之间；
移动所述手持电子设备；
响应于所述手持电子设备的移动来移动所选择的第一虚拟对象，所选择的第一虚拟对象的移动对应于所述手持电子设备的移动；
从所述手持电子设备的所述触摸敏感表面释放所述触摸输入；以及
响应于所述触摸输入的释放来释放所选择的第一虚拟对象，以将所选择的第一虚拟对象重新定位在所述触摸输入的释放点。
16.一种用于虚拟现实的方法，包括：
启动虚拟体验；
产生多个虚拟对象的远场显示；
接收第一输入；
响应于所述第一输入，选择包括所述多个虚拟对象的所述远场显示；
接收第二输入；
响应于所述第二输入，使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的近场显示；
产生包括所变形的多个虚拟对象的所述近场显示；
接收第三输入；以及
响应于所述第三输入选择所变形的多个虚拟对象中的一个；
接收第四输入；以及
响应于所述第四输入来操纵所选择的虚拟对象；
接收第五输入；
将第五输入模式的优先级值与第四输入模式的优先级值进行比较；
当所述第五输入模式的优先级值大于所述第四输入模式的优先级值时，释放对当前选择的虚拟对象的选择，并将选择转移到与所述第五输入相关联的新虚拟对象；以及
当所述第五输入模式的优先级值小于所述第四输入模式的优先级值时，维持对当前选择的虚拟对象的选择。
17.根据权利要求16所述的方法，其中接收第一输入包括：接收由手持电子设备产生的远场注视输入或远场光束输入，并且
接收第二输入包括：接收触发从所述多个虚拟对象的所述远场显示到所变形的多个虚拟对象的所述近场显示的转变的手或手臂手势输入，并且
接收第三输入包括：接收从所变形的虚拟对象的所述近场显示选择虚拟对象的近场手部手势或近场触及手势。
18.根据权利要求17所述的方法，其中接收第四输入包括接收以下中的至少一个：所述手持电子设备的触摸敏感表面上的触摸和拖动输入、所述触摸敏感表面上的触摸和所述手持电子设备的移动、或者指向所选择的虚拟对象的特征的手部手势。
19.根据权利要求18所述的方法，其中响应于所述第四输入来操纵所选择的虚拟对象包括以下中的至少一个：基于所述触摸和拖动输入的轨迹来移动所选择的虚拟对象、基于所述手持电子设备的移动来移动所选择的虚拟对象、或者基于手部手势进一步变形所选择的虚拟对象。
20.根据权利要求16所述的方法，其中每个输入经由多个输入模式中的一个接收，所述多个输入模式中的每一个具有相关联的优先级值，与所述多个输入模式中的每一个相关联的相应优先级值被预设或者由用户根据用户简档设置。
21.根据权利要求20所述的方法，其中所述多个输入模式包括头部注视输入模式、眼睛注视输入模式、点输入模式、触及输入模式和手势输入模式。
22.一种用于虚拟现实的装置，包括：
与手持电子设备可操作地耦合的头戴式电子设备；以及
控制所述头戴式电子设备和所述手持电子设备的操作的控制系统，所述控制系统被配置为控制所述头戴式电子设备和所述手持电子设备以：
启动包括多个虚拟对象的虚拟体验，所述多个虚拟对象中的每一个是响应于多个输入模式可选择和可操纵的；
接收实现所述多个输入模式中的第一输入模式的第一输入；
响应于所述第一输入，选择所述多个虚拟对象中的第一虚拟对象；
接收实现所述多个输入模式中的第二输入模式的第二输入；
比较所述第二输入模式的优先级值和所述第一输入模式的优先级值；以及
基于该比较，响应于所述第二输入，释放对所述第一虚拟对象的选择和将选择转移到所述多个虚拟对象中的第二虚拟对象，或维持对所述第一虚拟对象的选择。
23.根据权利要求22所述的装置，所述多个输入模式中的每一个具有相关联的优先级值，与所述多个输入模式中的每一个相关联的相应优先级值被预设或者由用户根据用户简档设置，所述控制系统还被配置为：
当所述第二输入模式的优先级值大于所述第一输入模式的优先级值时，释放对所述第一虚拟对象的选择并将选择转移到所述第二虚拟对象；以及
当所述第二输入模式的优先级值小于所述第一输入模式的优先级值时，维持对所述第一虚拟对象的选择。
24.根据权利要求22所述的装置，所述控制系统还被配置为：
接收实现所述多个输入模式中的第三输入模式的第三输入，所述第三输入包括指向包括所述第一虚拟对象的所述多个虚拟对象的远场显示的注视输入；
接收实现所述多个输入模式中的第四输入模式的第四输入，第四输入包括触发所述多个虚拟对象从所述远场显示到近场显示的动态切换的手势；
使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的所述近场显示；以及
在所述近场显示中显示所变形的多个虚拟对象。
25.一种存储指令的计算机可读存储介质，所述指令在被执行时使计算设备执行处理，所述指令包括用于以下的指令：
启动包括多个虚拟对象的虚拟体验，所述多个虚拟对象中的每一个是响应于多个输入模式可选择和可操纵的；
接收实现所述多个输入模式中的第一输入模式的第一输入；
响应于所述第一输入，选择所述多个虚拟对象中的第一虚拟对象；
接收实现所述多个输入模式中的第二输入模式的第二输入；
比较所述第二输入模式的优先级值和所述第一输入模式的优先级值；以及
基于该比较，响应于所述第二输入，释放对所述第一虚拟对象的选择并将选择转移到所述多个虚拟对象中的第二虚拟对象，或维持对所述第一虚拟对象的选择。
26.根据权利要求25所述的计算机可读存储介质，所述多个输入模式中的每一个具有相关联的优先级值，与所述多个输入模式中的每一个相关联的相应优先级值被预设或由用户根据用户简档设置。
27.根据权利要求25所述的计算机可读存储介质，当所述第二输入模式的优先级值大于所述第一输入模式的优先级值时，对所述第一虚拟对象的选择被释放并转移到所述第二虚拟对象，并且当所述第二输入模式的优先级值小于所述第一输入模式的优先级值时，维持对所述第一虚拟对象的选择。
28.根据权利要求25所述的计算机可读存储介质，所述指令还包括用于以下的指令：
接收实现所述多个输入模式中的第三输入模式的第三输入，所述第三输入指向所述多个虚拟对象的远场显示；
接收实现所述多个输入模式中的第四输入模式的第四输入，第四输入触发所述多个虚拟对象从所述远场显示到近场显示的动态切换；
使所述多个虚拟对象的外观变形，以用于所述多个虚拟对象的所述近场显示；以及
在所述近场显示中显示所变形的多个虚拟对象。
29.根据权利要求28所述的计算机可读存储介质，其中，使所述多个虚拟对象的外观变形以用于所述多个虚拟对象的所述近场显示包括：随着所述多个虚拟对象从所述远场显示移动到所述近场显示，减小从用户到所述多个虚拟对象的虚拟距离，以及以下中的至少一个：改变所述多个虚拟对象的大小、改变与所述多个虚拟对象相关联的图像、改变与所述多个虚拟对象相关联的文本、或者改变与所述多个虚拟对象相关联的菜单项。
CN201680025102.6A 2015-08-26 2016-06-28 虚拟现实中的头部、手势和触摸输入的动态切换和合并 Active CN107533374B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/836,311 US10101803B2 (en) 2015-08-26 2015-08-26 Dynamic switching and merging of head, gesture and touch input in virtual reality
US14/836,311 2015-08-26
PCT/US2016/039806 WO2017034667A1 (en) 2015-08-26 2016-06-28 Dynamic switching and merging of head, gesture and touch input in virtual reality

Publications (2)

Publication Number Publication Date
CN107533374A CN107533374A (zh) 2018-01-02
CN107533374B true CN107533374B (zh) 2020-12-01

Family

ID=56409218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680025102.6A Active CN107533374B (zh) 2015-08-26 2016-06-28 虚拟现实中的头部、手势和触摸输入的动态切换和合并

Country Status (6)

Country Link
US (2) US10101803B2 (zh)
EP (1) EP3341815B1 (zh)
JP (2) JP2018517967A (zh)
KR (1) KR102003493B1 (zh)
CN (1) CN107533374B (zh)
WO (1) WO2017034667A1 (zh)

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
JP6308214B2 (ja) * 2013-05-15 2018-04-11 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US10514755B2 (en) * 2015-05-08 2019-12-24 Lg Electronics Inc. Glasses-type terminal and control method therefor
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
JP6174646B2 (ja) * 2015-09-24 2017-08-02 株式会社コロプラ 仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラム
KR102641655B1 (ko) * 2015-10-20 2024-02-27 매직 립, 인코포레이티드 3차원 공간에서 가상 객체들 선택
JP6597235B2 (ja) * 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10133407B2 (en) * 2015-12-28 2018-11-20 Seiko Epson Corporation Display apparatus, display system, method for controlling display apparatus, and program
US20170185261A1 (en) * 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
US9983697B1 (en) * 2016-05-18 2018-05-29 Meta Company System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
US10303323B2 (en) 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US10255658B2 (en) 2016-08-09 2019-04-09 Colopl, Inc. Information processing method and program for executing the information processing method on computer
RU2677566C1 (ru) * 2016-08-30 2019-01-17 Бейдзин Сяоми Мобайл Софтвэр Ко., Лтд. Способ, устройство и электронное оборудование для управления виртуальной реальностью
US10888773B2 (en) 2016-10-11 2021-01-12 Valve Corporation Force sensing resistor (FSR) with polyimide substrate, systems, and methods thereof
US11625898B2 (en) 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
US10307669B2 (en) 2016-10-11 2019-06-04 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US20180129274A1 (en) * 2016-10-18 2018-05-10 Colopl, Inc. Information processing method and apparatus, and program for executing the information processing method on computer
JP6653489B2 (ja) * 2016-12-16 2020-02-26 パナソニックＩｐマネジメント株式会社 入力装置、及び、入力方法
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
CA3059234A1 (en) 2017-04-19 2018-10-25 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US10168789B1 (en) 2017-05-31 2019-01-01 Meta Company Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
US10817128B2 (en) * 2017-07-11 2020-10-27 Logitech Europe S.A. Input device for VR/AR applications
US10782793B2 (en) * 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
CN111052042B (zh) 2017-09-29 2022-06-07 苹果公司 基于注视的用户交互
US10930075B2 (en) * 2017-10-16 2021-02-23 Microsoft Technology Licensing, Llc User interface discovery and interaction for three-dimensional virtual environments
KR102138412B1 (ko) * 2017-10-20 2020-07-28 한국과학기술원 증강현실 및 가상현실 내 투영기하를 사용한 3d 윈도우 관리 기법
KR102029906B1 (ko) 2017-11-10 2019-11-08 전자부품연구원 이동수단의 가상현실 콘텐츠 제공 장치 및 방법
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10565761B2 (en) * 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
US11488602B2 (en) 2018-02-20 2022-11-01 Dropbox, Inc. Meeting transcription using custom lexicons based on document history
US10467335B2 (en) 2018-02-20 2019-11-05 Dropbox, Inc. Automated outline generation of captured meeting audio in a collaborative document context
WO2019172678A1 (en) * 2018-03-07 2019-09-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US11145096B2 (en) * 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US10831265B2 (en) * 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
WO2019204161A1 (en) 2018-04-20 2019-10-24 Pcms Holdings, Inc. Method and system for gaze-based control of mixed reality content
CN112041788B (zh) 2018-05-09 2024-05-03 苹果公司 使用眼睛注视来选择文本输入字段
EP3797345A4 (en) 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
US20190361521A1 (en) * 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
EP3807746B1 (en) * 2018-06-20 2023-07-26 Valve Corporation Holding and releasing virtual objects
CN112512648A (zh) * 2018-06-20 2021-03-16 威尔乌集团 握住和释放虚拟对象
US10665206B2 (en) 2018-07-30 2020-05-26 Honeywell International Inc. Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
US10692299B2 (en) * 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
US10909772B2 (en) 2018-07-31 2021-02-02 Splunk Inc. Precise scaling of virtual objects in an extended reality environment
JP2021182174A (ja) * 2018-08-07 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
CN111124236B (zh) 2018-10-30 2023-04-28 斑马智行网络(香港)有限公司 一种数据处理方法、装置和机器可读介质
CN111309142A (zh) 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
US11320911B2 (en) * 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Hand motion and orientation-aware buttons and grabbable objects in mixed reality
KR20200091988A (ko) 2019-01-23 2020-08-03 삼성전자주식회사 장치를 제어하기 위한 방법 및 그 전자 장치
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
AU2019428009A1 (en) * 2019-02-04 2021-09-02 Razer (Asia-Pacific) Pte. Ltd. Method and apparatus of using a computer touchpad or digitizer stylus pad as a mousepad
JP7291878B2 (ja) * 2019-05-17 2023-06-16 株式会社電通 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム
US11297366B2 (en) 2019-05-22 2022-04-05 Google Llc Methods, systems, and media for object grouping and manipulation in immersive environments
US11689379B2 (en) * 2019-06-24 2023-06-27 Dropbox, Inc. Generating customized meeting insights based on user interactions and meeting media
US11151794B1 (en) * 2019-06-28 2021-10-19 Snap Inc. Messaging system with augmented reality messages
CN110308794A (zh) * 2019-07-04 2019-10-08 郑州大学 具有两种显示模式的虚拟现实头盔及显示模式的控制方法
CN110502120A (zh) * 2019-08-29 2019-11-26 广州创幻数码科技有限公司 动捕数据和预设动作数据结合的虚拟主播系统及实现方
US11189099B2 (en) * 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11176745B2 (en) * 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
KR20210063928A (ko) * 2019-11-25 2021-06-02 삼성전자주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
JP7433860B2 (ja) * 2019-11-26 2024-02-20 キヤノン株式会社 電子機器及び電子機器の制御方法
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
EP3851939A1 (en) * 2020-01-14 2021-07-21 Apple Inc. Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11481177B2 (en) 2020-06-30 2022-10-25 Snap Inc. Eyewear including multi-user, shared interactive experiences
US11954268B2 (en) * 2020-06-30 2024-04-09 Snap Inc. Augmented reality eyewear 3D painting
CN111773658B (zh) * 2020-07-03 2024-02-23 珠海金山数字网络科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN111598273B (zh) * 2020-07-20 2020-10-20 中国人民解放军国防科技大学 一种基于vr技术的环控生保系统维修性检测方法及装置
US11249314B1 (en) * 2020-08-04 2022-02-15 Htc Corporation Method for switching input devices, head-mounted display and computer readable storage medium
US11467403B2 (en) * 2020-08-20 2022-10-11 Htc Corporation Operating method and electronic system
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US20220148268A1 (en) * 2020-11-10 2022-05-12 Noderix Teknoloji Sanayi Ticaret Anonim Sirketi Systems and methods for personalized and interactive extended reality experiences
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
CN116438503A (zh) * 2020-12-17 2023-07-14 三星电子株式会社 电子装置和电子装置的操作方法
CN112631424A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 手势优先级控制方法和系统及其vr眼镜
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11327630B1 (en) * 2021-02-04 2022-05-10 Huawei Technologies Co., Ltd. Devices, methods, systems, and media for selecting virtual objects for extended reality interaction
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
KR20220136776A (ko) * 2021-04-01 2022-10-11 삼성전자주식회사 증강 현실 이미지를 제공하는 방법 및 이를 지원하는 hmd 장치
US11278810B1 (en) * 2021-04-01 2022-03-22 Sony Interactive Entertainment Inc. Menu placement dictated by user ability and modes of feedback
US11927756B2 (en) 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
JP2022163813A (ja) * 2021-04-15 2022-10-27 キヤノン株式会社 装着型の情報端末、その制御方法及びプログラム
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
DE102021003490A1 (de) 2021-07-06 2023-01-12 Mercedes-Benz Group AG Verfahren zur Darstellung von Informationen mit einer Blickfeldanzeigevorrichtung, Blickfeldanzeigevorrichtung und Fahrzeug
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
RU210426U1 (ru) * 2021-12-15 2022-04-15 Общество с ограниченной ответственностью "ДАР" Устройство для трансляции дополненной реальности
US20230334808A1 (en) * 2022-01-12 2023-10-19 Apple Inc. Methods for displaying, selecting and moving objects and containers in an environment
US11620000B1 (en) * 2022-03-31 2023-04-04 Microsoft Technology Licensing, Llc Controlled invocation of a precision input mode
US11531448B1 (en) * 2022-06-01 2022-12-20 VR-EDU, Inc. Hand control interfaces and methods in virtual reality environments
JP2024048680A (ja) * 2022-09-28 2024-04-09 キヤノン株式会社 制御装置、制御方法、プログラム
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102226880A (zh) * 2011-06-03 2011-10-26 北京新岸线网络技术有限公司 一种基于虚拟现实的体感操作方法及系统

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241163A (ja) * 1995-03-01 1996-09-17 Canon Inc 情報処理装置
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
WO2000008547A1 (en) 1998-08-05 2000-02-17 British Telecommunications Public Limited Company Multimodal user interface
US6243093B1 (en) * 1998-09-14 2001-06-05 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which visually groups matching objects
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6611253B1 (en) 2000-09-19 2003-08-26 Harel Cohen Virtual input environment
US7095401B2 (en) 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US7646394B1 (en) 2004-03-05 2010-01-12 Hrl Laboratories, Llc System and method for operating in a virtual environment
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20100241955A1 (en) * 2009-03-23 2010-09-23 Microsoft Corporation Organization and manipulation of content items on a touch-sensitive display
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP5472056B2 (ja) * 2010-11-19 2014-04-16 コニカミノルタ株式会社 表示システム、表示処理装置、表示方法、および表示プログラム
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US9104239B2 (en) * 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
US20130082928A1 (en) * 2011-09-30 2013-04-04 Seung Wook Kim Keyboard-based multi-touch input system using a displayed representation of a users hand
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9142182B2 (en) 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
CN104081307B (zh) 2012-02-10 2018-02-23 索尼公司 图像处理装置、图像处理方法和程序
AU2013239179B2 (en) * 2012-03-26 2015-08-20 Apple Inc. Enhanced virtual touchpad and touchscreen
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
KR20140112910A (ko) 2013-03-14 2014-09-24 삼성전자주식회사 입력 제어 방법 및 이를 지원하는 전자 장치
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US10905943B2 (en) 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US20140368537A1 (en) 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
KR102039427B1 (ko) 2013-07-01 2019-11-27 엘지전자 주식회사 스마트 글라스
KR20150024247A (ko) * 2013-08-26 2015-03-06 삼성전자주식회사 터치 스크린 디바이스에서 다수의 입력기구를 이용하는 애플리케이션을 실행하는 방법 및 터치 스크린 디바이스
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
JP2015133088A (ja) 2014-01-16 2015-07-23 カシオ計算機株式会社 Ｇｕｉシステム、表示処理装置、入力処理装置及びプログラム
US9552060B2 (en) 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
JP2015149634A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102226880A (zh) * 2011-06-03 2011-10-26 北京新岸线网络技术有限公司 一种基于虚拟现实的体感操作方法及系统

Also Published As

Publication number Publication date
US10101803B2 (en) 2018-10-16
US20190011979A1 (en) 2019-01-10
WO2017034667A1 (en) 2017-03-02
JP7008681B2 (ja) 2022-01-25
JP2018517967A (ja) 2018-07-05
CN107533374A (zh) 2018-01-02
EP3341815A1 (en) 2018-07-04
US20170060230A1 (en) 2017-03-02
JP2020061169A (ja) 2020-04-16
KR102003493B1 (ko) 2019-07-24
US10606344B2 (en) 2020-03-31
EP3341815B1 (en) 2022-04-13
KR20170126508A (ko) 2017-11-17

Similar Documents

Publication Publication Date Title
CN107533374B (zh) 虚拟现实中的头部、手势和触摸输入的动态切换和合并
US10509487B2 (en) Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN108292146B (zh) 虚拟现实中的激光指示器交互和缩放
CN109906424B (zh) 用于虚拟现实系统的输入控制器稳定技术
US10545584B2 (en) Virtual/augmented reality input device
EP3332311B1 (en) Hover behavior for gaze interactions in virtual reality
JP6682623B2 (ja) 拡張および／または仮想現実環境におけるテレポーテーション
CN108139805B (zh) 用于在虚拟现实环境中的导航的控制系统
US8643951B1 (en) Graphical menu and interaction therewith through a viewing window
US9035878B1 (en) Input system
KR102251252B1 (ko) 가상 현실에서의 위치 지구본
KR20160106629A (ko) 시선 추적을 갖는 타겟 위치결정
US20230325003A1 (en) Method of displaying selectable options
EP3850468B1 (en) Snapping range for augmented reality objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant