CN106662925B - 使用头戴式显示器设备的多用户注视投影 - Google Patents

使用头戴式显示器设备的多用户注视投影 Download PDF

Info

Publication number
CN106662925B
CN106662925B CN201580041403.3A CN201580041403A CN106662925B CN 106662925 B CN106662925 B CN 106662925B CN 201580041403 A CN201580041403 A CN 201580041403A CN 106662925 B CN106662925 B CN 106662925B
Authority
CN
China
Prior art keywords
user
hmd device
gaze
remote
ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580041403.3A
Other languages
English (en)
Other versions
CN106662925A (zh
Inventor
T·萨尔特
B·苏格登
L·梅赛
B·基恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106662925A publication Critical patent/CN106662925A/zh
Application granted granted Critical
Publication of CN106662925B publication Critical patent/CN106662925B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种在现实世界物理环境中操作的头戴式显示器(HMD)设备被配置有传感器封装，从而能够实现对设备用户注视的投影与混合或虚拟现实环境中的位置的相交点的确定。当所投影的注视光线被可视地呈现在其他HMD设备(其中所有设备操作地耦合)上时，那些设备的用户可以看到该用户正在看向环境中的什么。在多用户设置中，每一HMD设备用户可以看到彼此的投影注视光线，这可促进在共同共享和经历的混合或虚拟现实环境中的协作。注视投影可以与手指类似地来使用以指向对象或者以某一精度和准确性来指示表面上的一位置。

Description

使用头戴式显示器设备的多用户注视投影
背景
诸如头戴式显示器(HMD)系统和手持式移动设备(例如，智能电话、平板电脑，等等)之类的虚拟现实计算设备可被配置成向用户显示关于在用户的视野中和/或设备的相机的视野中的虚拟和/或混合现实环境。类似地，移动设备可以使用相机取景器窗口来显示这样的信息。
提供本背景来介绍以下概述和详细描述的简要上下文。本背景不旨在用作帮助确定所要求保护的主题的范围，也不旨在被看作将所要求保护的主题限于解决以上所提出的问题或缺点中的任一个或全部的实现。
概述
在现实世界物理环境中操作的HMD设备被配置有传感器封装，从而能够实现设备用户注视的投影与混合或虚拟现实环境中的位置的相交点的确定。当所投影的注视光线可视地被呈现在其他HMD设备(其中所有设备操作地耦合)上，那些设备的用户可以看到该用户正在查看环境中的什么。在多用户设置中，每一HMD设备用户可以看到彼此的投影注视光线，这可促进在共同共享或经历的混合或虚拟现实环境中的协作。注视投影可以与手指类似地来使用以指向对象或者以某一精度和准确性来指示表面上的一位置。
在一说明性示例中，每一HMD设备支持一应用，该应用被配置成呈现表示共同共享的混合或虚拟现实环境的其他用户的位置和取向的化身。注视光线源自化身面部中心，并且投影到环境中，并且在它撞击现实或虚拟表面时终止。标记和效果(诸如光照和动画化)可以被用于突出显示投影注视光线与环境之间的相交点。注视光线的外观也可以被控制，例如以使得它们能够根据颜色、形状、动画化或根据其他特征与用户唯一地相关联。还可支持用户控制，以使得例如用户能够打开和关闭注视光线可见性和/或控制注视光线生成和/或呈现的其他方面。
HMD设备状态和其他信息可以在能够在物理上彼此远离的HMD设备之间共享。例如，注视光线原点和截取点坐标可以从光线源头HMD设备传送到另一(非源头)HMD设备。非源头HMD设备可以将化身置于原点以表示源头用户，并且在原点与截取点之间可视地呈现注视光线以使得非源头用户能够看到源头用户正在看向哪里。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任一部分中所提及的任何或所有缺点的实现。应当理解，上述主题可被实现为计算机控制的装置、计算机进程、计算系统或诸如一个或多个计算机可读存储介质等制品。通过阅读下面的详细描述并审阅相关联的附图，这些及各种其他特征将变得显而易见。
附图简述
图1示出一个说明性的虚拟现实环境，在HMD设备的用户的视野内呈现了该虚拟现实环境的一部分；
图2示出HMD设备的用户位于其中的说明性现实世界物理环境；
图3示出了位于不同物理环境中的HMD设备的用户；
图4示出了来自HMD设备用户在虚拟世界中的化身的说明性可视注视投影；
图5示出了与虚拟世界中的对象相交点的说明性注视投影；
图6示出了对注视投影与虚拟世界的相交点进行突出显示的说明性效果；
图7示出了对注视投影与虚拟世界的相交点进行突出显示的说明性标记；
图8描绘了正被HMD设备捕捉的与现实世界环境相关联的深度数据；
图9示出由HMD设备所支持的说明性用户界面以及由HMD传感器封装提供的说明性数据；
图10示出了说明性表面重构流水线的框图；
图11、12和13是可以使用HMD设备执行的说明性方法的流程图；
图14是HMD设备的说明性示例的图形视图；
图15是HMD设备的说明性示例的功能框图；
图16和17是可用作HMD设备的组件的说明性封闭面罩的图形前视图；
图18示出了在被部分分解时的封闭面罩的视图；
图19示出了封闭面罩的幻影线前视图；
图20示出了封闭面罩的图形后视图；以及
图21示出了示例性计算系统。
各附图中相同的附图标记指示相同的元素。除非另外指明否则各元素不是按比例绘制的。
详细描述
用户通常可以通过在对应的现实世界物理环境内移动(例如，通过某种形式的运动(locomotion))来在由HMD设备所呈现的虚拟现实环境内进行探索、导航和移动。在说明性示例中，如图1所示，用户102可以使用HMD设备104来体验可视地以3维(3D)呈现并在一些实现中可以包括音频和/或触觉/触摸感觉的虚拟现实环境100。在这一特定非限制性示例中，在HMD设备104上执行的应用支持虚拟现实环境100，它包括具有布满岩石的地形的户外景色。例如，应用可以是勘测工具的一部分，其中地质学家可以探索表示现实或想象地点的虚拟景色。
当如在图2所示那样用户改变他的头部的位置或朝向和/或在物理现实世界环境200内移动时，他的虚拟现实环境100的视图可以改变。(由图1中的虚线区域110表示的)视野可被设定尺寸和形状，并且可以控制该设备的其它特性来使得HMD设备体验可视地沉浸式体验以为用户提供在虚拟世界的强烈存在感。尽管本文示出并描述虚拟现实环境，但本发明的注视投影也可被应用于其中支持现实世界和虚拟世界元素两者的混合现实环境和场景。
如图2所示，用户102、205和210各自装备有它们自己的HMD设备并且位于物理环境200中。在注视投影的典型实现中，两个或更多个用户将在共同共享和体验的虚拟现实环境中进行交互。状态信息215通常通过网络220在HMD设备之间共享，网络220诸如对等短程无线网络、局域网、或其他合适的网络基础结构。此类状态信息通常可传达例如HMD设备的工作状态和/或随着时间推移发生的状态改变。被追踪并且在HMD设备之间共享的特定状态参数可根据实现而变化，并且可包括和/或表示例如以下一者或多者：用户在物理环境中的位置、高于地面的头部高度、头部位置和取向(即姿态)、用户输入和其他事件、用户和/或设备ID、设备状态、设备消息、应用状态、应用消息、系统状态、系统消息、数据、差错、命令、请求等等。状态信息215还可包括注视原点和截取点坐标，如下文在伴随图4的文本中所描述的。
在一些实现中，状态参数可以从一个HMD设备传递并且被其他HMD设备用来使得能够按照使得用户能够实时地使用视觉和声音在虚拟世界中与彼此交互的方式来将化身动态呈现在虚拟现实环境中。例如，(全部或部分)在HMD设备上运行的虚拟现实应用可以向用户支持共同共享和体验的虚拟世界以提供各种群用户体验中的任一者。
也可在各设备之间支持包括例如语音、消息收发、数据和其他格式/类型的通信225。要强调的是，HMD设备用户不一定需要位于同一物理环境中。如图3所描绘的，用户可以位于多个不同的物理环境1、2…N中(说明性地被示为物理环境200、物理环境300和物理环境305)。可以利用网络310(诸如LAN或广域网(WAN))来例如支持在物理上分开的用户与HMD设备之间的连通性。
在给定虚拟现实应用中，常见的是，用在HMD设备中的每一者的显示器上呈现的虚拟现实环境中的化身来表示现实世界用户。在这一特定示例中，在被各个用户共同访问和共享的虚拟现实环境中呈现针对每一用户102、205和210的化身。化身的呈现通常根据用户在物理环境中的对应位置和移动来执行，用户在物理环境中的对应位置和移动被他们各自的HMD设备追踪，如下文更详细地描述的。由此，给定用户通常可以通过身体位置和移动和/或其他用户输入来控制虚拟现实环境中他自己的化身，而在他的HMD设备上同时看到动态呈现的化身以及共享环境的其他用户的投影注视光线。
图4示出了如将在观察者或正在共享公共环境100的想象中的第四用户的HMD设备显示器上呈现的虚拟现实环境100中分别表示相应用户102、205和210的化身402、405和410的说明性屏幕捕捉(即截屏)(注意，为了清楚起见，此观察者的视野未在图4中被描绘)。这一示例中的化身可以被呈现为半透明上半身人像，如所示出的，或者使用其他类型的图形表示来呈现，如使用任何合适形式对于特定应用可能需要的。在典型的实现中，化身可以用某种有区别的和/或唯一的特性来呈现以使得它们对应的用户能够被其他用户容易地标识。
注视光线425从化身410(表示图2中的用户205)的查看位置投影。查看位置通常起源于用户的眼睛和对应化身之间并且注视光线425指向前方。注视光线425被投射到虚拟现实环境100中并且以某种形式被可视地呈现给其他用户以示出从位于化身410(表示发出该注视光线的用户)的查看位置处的原点到光线与虚拟现实环境100的最近相交点的光线路径。此类可视地呈现的注视光线可以向其他用户102和205(即非源头用户)指示用户205正在看哪里。在一些实现中，光标(未示出)或其他合适的指示符可以被显示在源头用户210的HMD设备上注视光线与虚拟世界之间的相交点处。光标可以被用于向源头用户提供反馈以确认相交点。在一些情形中，光标也可被布置成对其他用户可见。
在这一示例中，注视光线425与对象430(例如，布满岩石场地中的特定岩石)相交。注视光线和/或光标的特定呈现形式可以根据给定实现的需要来利用不同颜色、形状、图案、动画化、特殊效果等并且可以不同于此处示出和描述的。源头用户可以被给予选项来通过用户输入来控制注视光线和/或光标的外观或行为，诸如打开或关闭其对其他用户的可见性、改变其颜色或动画化等。用户输入可以根据实现而变动，并且可包括例如感测到的姿势、语音命令或语言输入、对受到HMD设备支持的物理或虚拟控制的操纵等。在一些实现中，HMD设备和/或虚拟现实应用可以采用例如不同颜色、形状、图案、或其他设备和/或被可视地呈现的所投影注视光线的指示符来使得注视光线的被呈现外观对于特定用户而言是唯一的。蓝色着色的注视光线因而可以与一个用户相关联，而红色光线被用于另一用户。
所呈现的注视光线425因而向用户102和205(图2)指示化身410(并且因此用户210)在由图4捕捉的特定时刻正在看向对象430。本公开的可视注视光线所提供的能力和特征可以被预期以增强具有共同共享的虚拟世界的多用户设置中的用户之间的协作。可视光线注视可以向手指一样工作以指向感兴趣的对象并且通常提供精确且准确同时容易控制的指向能力。另外，可沿注视光线回到化身以标识谁在查看对象。相应地，例如，上述HMD设备之间共享的状态信息可包括注视光线的原点以及其与虚拟现实环境的相交点(即，截取点)。在一些实现中，接收到原点和截取点坐标的HMD设备可以将表示源头用户的化身置于原点，并且接着可视地呈现从原点(可位于例如化身面部两眼之间)到截取点的注视光线。
在一些情形中，注视光线425在与对其进行注视的对象430的相交点处的终止本身可能是足够的以示出化身410(以及用户210)正在看对象430。在其他情形中，对象430可以被突出显示或者以其他方式在虚拟现实环境中被显式地指示。例如，对象可以使用颜色、与周围相比具有对比度的光照等来呈现。因而，对其进行注视的对象530可以在光照浸润场景中变暗，如图5所示，或者在较暗的场景中被照亮。用于在虚拟环境中指示对其进行注视的对象的其他技术可包括图形，诸如图6中示出的同心圆620。动画化可以被应用，例如以使得同心圆连续向内折叠和/或向外扩展以提供对对象的附加突出显示和强调或者以指示某一特定对象状态。图7示出了用于突出显示对其进行注视的对象的标记720，诸如标志。动画化可以被应用以例如使得标志扑动以提供对对象的附加突出显示和强调或者以指示某一特定对象状态。图7还示出了化身410可如何从视线被遮挡，例如，在墙壁730或其他对象之后，但所投影的注视光线425仍然是可见的，从而允许用户看到化身410正在看哪里，即使化身本身不可见。
在一些实现中，注视光线可以从用户的查看位置投影，该查看位置通常通过追踪用户头部的位置和取向来确定(如下更详细地描述的)。在替换实现中，HMD设备还可被配置成根据用户眼睛沿用户注视方向的位置来投影注视光线。眼睛位置可以例如使用面向内的传感器来检测，面向内的传感器可以被纳入HMD设备104中。此类眼睛位置检测被称为注视追踪并且在下文更详细地描述。因而，用户可以采用头部和眼睛移动的组合来更改注视光线的轨迹以控制所投影的注视光线与虚拟现实环境之间的相交点。HMD设备104可以被配置成使得用户能够根据用户输入选择性地参与和不参与注视追踪。例如，可能存在其中根据头部姿态的注视光线追踪与依赖于注视追踪的投影相比提供更优化的用户体验的场景，并且反之亦然。
HMD设备104被配置成通过使用集成传感器封装805来感测用户在给定物理环境(例如，图2和3中示出的以及在相关文本中描述的环境200和/或300)中的位置来获得深度数据800，如图8所示。所述传感器封装，如下更加详细地描述，可以包括深度传感器或深度-感测相机系统。在替换实现中，可以使用合适的立体图像分析技术来导出深度数据。
如图9所示，传感器封装805可以支持包括深度感测910的各种功能。深度感测例如可以被用于进行头部追踪以确定用户头部在物理现实世界环境200内的3D(三维)位置和取向915(包括头部姿态)，以使得可以确定虚拟世界的查看位置。传感器封装还可以支持注视追踪920以查明用户注视的方向925，用户注视的方向925可以与头部位置和取向数据一起使用。HMD设备104可以被进一步配置为展示可以显示系统消息、提示等等的用户界面(UI)930，以及展示用户可以操纵的控件。例如，此类控件可以被配置成使得用户能够控制可视光线和/或光标向其他用户如何表现和/或如何行为，如上所述。所述控件在一些情况中可以是虚拟或物理的。UI 930还可以被配置为使用例如语音命令或自然语言与所感测的手势和语音一起操作。
图10示出用于获得现实世界环境200的表面重构数据的说明性表面重构数据流水线1000。需要强调的是所公开的技术是说明性的，并且根据特定实现的要求可以使用其它技术和方法。原始深度传感器数据1002被输入到传感器的3D(三维)姿势估计中(框1004)。传感器姿势跟踪可以例如使用在预期表面和当前传感器测量之间的ICP(迭代最近点)算法来实现。传感器的每个深度测量可以使用例如被编码为符号距离场(SDF)的表面被整合(框1006)到容积表示中。使用循环，SDF被光线投射(框1008)入所估计的系中以提供所述深度图与之对齐的密集表面预测。因而，当用户102环顾虚拟世界时，与现实世界环境200相关联的深度数据可以被收集并且被分析以确定用户头部的位置和取向。
图11、12和13是说明性方法的流程图。除非明确说明，否则流程图中所示并且在伴随的文本中描述的方法或步骤不限于特定的次序或顺序。此外，一些方法或其步骤可同时发生或被执行，并且取决于给定实现的要求，在这一实现中不是所有方法或步骤均需要被执行，并且一些方法或步骤可以是可选地被使用。
图11中的方法1100可以由存储在HMD设备中的指令来执行，HMD设备在现实世界环境中操作并且具有呈现虚拟现实环境的显示器。在步骤1105，使用来自HMD设备上的板载传感器封装的数据来动态地执行HMD设备用户的头部追踪。头部追踪可随着用户在现实世界环境内移动例如在逐帧或其他合适的基础上被执行。在步骤1110，响应于头部追踪来确定用户对混合或虚拟现实环境的当前视野。
在步骤1115，从远程HMD设备接收数据。例如，远程HMD设备可以被在共同共享的虚拟现实环境(例如，图1中示出的环境100)中与本地用户进行交互的远程用户使用。接收到的数据可包括远程用户所发出的注视光线的原点和截取点坐标。在步骤1120，本地HMD设备可以使用接收到的坐标在混合现实或虚拟现实环境的当前视野内可视地呈现注视光线。在步骤1125，光标也可以在环境中的截取点坐标处被呈现。在步骤1130，可以执行与截取点或邻接区域相重合的对象的突出显示。
在步骤1135，表示远程用户的化身可以被呈现在本地HMD设备上，其中化身的一部分(诸如脸部)将位于原点坐标处。在步骤1140，控制信号或用户输入可以被接收，控制信号或用户输入可以被用于控制可视地呈现的注视光线在本地HMD设备上的外观或各种特性。
图12中示出的方法1200可以由本地HMD设备来执行，本地HMD设备具有一个或多个处理器、用于使用可变视野来呈现混合现实或虚拟现实环境的显示器、传感器封装、以及存储计算机可读指令(诸如可以被用于实现该方法的软件代码)的一个或多个存储器设备。在步骤1205，HMD设备用户头部的追踪使用被纳入HMD设备的传感器封装(可包括深度传感器或相机系统)来执行。可利用各种合适的深度感测技术，包括图10中的流水线中示出的其中整合多个交叠表面的深度感测技术。
在步骤1210，头部追踪被用于动态地追踪用户在虚拟现实环境的查看位置的原点。传感器封装也可被用于例如使用面向内的传感器来动态地追踪用户注视方向。在步骤1215，所投影的注视光线在与混合现实或虚拟现实环境的相交点处的截取点被定位在当前视野内。在步骤1220，原点和截取点的坐标通过网络或其他通信链路与远程HMD设备共享。远程HMD设备被配置成使用共享坐标来向远程用户可视地呈现注视光线。注视光线向远程用户指示本地用户正在看共同共享的环境中的哪里。
在步骤1225，本地HMD设备可以响应于用户输入来操作以启用或禁用坐标共享。在步骤1230，当本地用户的注视方向的查看位置改变时，原点和截取点的新坐标可以被共享。
图13中示出的方法1300可以由能够由现实世界物理环境中的用户操作的HMD设备来执行。在步骤1305，获得描述物理环境的各部分的传感器数据。传感器数据可包括例如使用集成在HMD设备中的深度传感器的深度数据，或者可从外部传感器或源中获得。来自立体成像分析的深度也可被用来创建深度数据。在步骤1310，传感器数据被用于在物理环境内追踪HMD设备用户头部以确定混合现实或虚拟现实环境的查看位置。
在步骤1315，注视光线从查看位置处的原点向外投影。在一些实现中，注视检测也可被利用，以使得注视光线沿用户注视方向被投影。注视检测还可例如使用被纳入传感器封装805(图8)的面向内的传感器来实现。
在步骤1320，标识所投影的注视光线与混合现实或虚拟现实环境之间的相交点。在步骤1325，所投影的光线的原点和所标识的相交点被传送到远程服务或远程设备，以使得数据可以被其他HMD设备用来可视地呈现注视光线以指示用户在看向哪里。在步骤1330，HMD设备展示用户界面并且用户输入被接收。用户界面可以根据给定实现的需要来配置，并且可包括可以由用户操纵的物理或虚拟控件并且在一些情形中可支持语音和/或姿势。
现转至各说明性实现细节，根据本布置的虚拟现实或混合现实显示设备可以采用任何合适的形式，包括但不限于诸如HMD设备104和/或其它便携式/移动设备之类的近眼设备。图14示出了透视、混合现实显示系统1400的一个特定说明性示例，而图15显示了系统1400的功能框图。然而，要强调的是，尽管在一些实现中可以使用透视显示器，但在其它实现中使用例如基于相机的穿透或面向外的传感器的不透明(即非透视)显示器可以被使用。
显示系统1400包括形成透视显示子系统1404的一部分的一个或多个透镜1402，以便图像可以使用透镜1402(例如，使用到透镜1402上的投影、并入透镜1402中的一个或多个波导系统和/或以任何其他合适的方式)来显示。显示系统1400进一步包括被配置成获取正在被用户查看的背景场景和/或物理环境的图像的一个或多个面向外的图像传感器1406，并可包括被配置成检测声音(诸如来自用户的语音命令)的一个或多个话筒1408。面向外的图像传感器1406可包括一个或多个深度传感器和/或一个或多个二维图像传感器。在替换安排中，如上所述，代替合并透视显示子系统，虚拟现实或混合现实显示系统可以通过面向外的图像传感器的取景器模式来显示混合现实图像。
显示系统1400还可以进一步包括被配置成检测用户的每一眼睛的注视方向或焦点的方向或位置的注视检测子系统1410，如上文所描述的。注视检测子系统1410可以配置来以任何合适方式确定用户每只眼睛的注视方向。例如，在所示的说明性示例中，注视检测子系统1410包括被配置成导致光的闪烁从用户的每一眼球反射的一个或多个闪光源1412(诸如红外光源)，以及被配置成捕捉用户的每一眼球的图像的一个或多个图像传感器1414(诸如面向内的传感器)。根据使用(诸)图像传感器1414收集的图像数据所确定的用户眼球的闪烁和/或用户瞳孔的位置中变化可以用于确定注视方向。
此外，从用户眼睛投射的注视线与外部显示器交叉的位置可以用于确定用户注视的对象(例如，所显示的虚拟对象和/或真实的背景对象)。注视检测子系统1410可以具有任何合适数量和布置的光源以及图像传感器。在一些实现中，可以省略注视检测子系统1410。
显示系统1400还可以包括附加传感器。例如，显示系统1400可以包括全球定位系统(GPS)子系统1416，以允许确定显示系统1400的位置。这可以帮助标识可以位于用户的毗邻物理环境中的现实世界的对象(诸如建筑物等等)。
显示系统1400还可以包括一个或多个运动传感器1418(例如惯性、多轴陀螺仪或加速度传感器)，以在用户戴着作为增强现实HMD设备的部分的所述系统时检测用户头的移动和位置/朝向/姿势。运动数据可以潜在地与眼睛跟踪闪烁数据和面向外的图像数据一起被使用来用于注视检测以及用于图像稳定化，以帮助校正来自(诸)面向外图像传感器1406的图像中的模糊。运动数据的使用可以允许注视位置的变化被跟踪，即使不能解析来自(诸)面向外的图像传感器1406的图像数据。
另外，运动传感器1418，以及话筒1408和注视检测子系统1410，还可以被用作用户输入设备，以便用户可以通过眼睛、颈部和/或头部的姿势，以及在一些情况中通过语音命令，与显示系统1400进行交互。可以理解，在图14和15中示出并在附随的文本中描述的传感器出于示例的目的被包括，而不旨在以任何方式进行限制，因为任何其他合适的传感器和/或传感器的组合可被利用来满足增强现实HMD设备的特定实现的需求。例如，生物特征传感器(例如用于检测心脏和呼吸速率、血压、大脑活动、体温等)或环境传感器(例如用于检测温度、湿度、海拔、UV(紫外线)光等级等)可以在一些实现中被使用。
显示系统1400可以进一步包括通过通信子系统1426与传感器、注视检测子系统1410、显示子系统1404，和/或其他组件进行通信的具有逻辑子系统1422和数据存储子系统1424的控制器1420。通信子系统1426还可以促成显示系统与位于远程的资源(例如处理、存储、功率、数据和服务)结合操作。就是说，在一些实现中，HMD设备可以被作为一种系统的部分来操作，该系统可以在不同的组件和子系统间分布资源和能力。
存储子系统1424可以包括存储在其上的指令，这些指令能被逻辑子系统1422执行例如用以：接收并解释来自传感器的输入、标识用户的位置和移动、使用表面重构和其它技术来标识现实对象，以及基于到对象的距离来调暗/淡出显示以便允许所述对象被用户看到，以及其它任务。
显示系统1400被配置有一个或多个音频换能器1428(例如扬声器、耳机等)，使得音频可以被用作增强现实体验的部分。功率管理子系统1430可包括一个或多个电池1432和/或保护电路模块(PCM)以及相关联的充电器接口1434和/或用于对显示系统1400中的组件供电的远程电源接口。
可以理解，所描绘的显示设备104和1400是出于示例的目的来描述的，并由此不旨在是限制性的。还应理解，显示设备可包括除所示出的那些之外的附加的和/或替换的传感器、相机、话筒、输入设备、输出设备等，而不会背离本布置的范围。附加地，显示设备及其各传感器和子组件的物理配置可采取各种不同的形式，而不会背离本安排的范围。
图16-20示出可被用作HMD设备的组件的虚拟或混合现实显示系统1600的说明性替换实现。在该示例中，系统1600使用透视封闭面罩1602，该封闭面罩1602被配置成保护透视显示子系统所利用的内部光学器件组装件。面罩1602通常与HMD设备的其他组件(未示出)对接，其他组件为诸如头部安装/维持系统和其他子系统(包括传感器、电源管理、控制器等)，如结合图14和15说明性地描述的。包括卡扣、夹箍、螺钉和其他紧固件等的合适接口元件(未示出)也可被合并到面罩1602中。
该面罩分别包括透视前护罩1604和透视后护罩1606，透视前护罩1604和透视后护罩1606可使用透明材料来建模以促成对光学显示器和周围的现实世界环境的未经遮挡的视觉。可向前护罩和后护罩应用诸如染色、镜化、防反射、防雾和其他镀膜之类的处理，并且还可利用各种色彩和饰面。前护罩和后护罩被固定到如在图17中的部分剖视图中描绘的底座1705，在该部分剖视图中，护罩壳体1710被示为与面罩1602分解。
密封面罩1602可在HMD设备被佩戴并在操作中被使用时，以及在正常处理以用于清理等器件物理地保护敏感的内部组件，包括光学器件显示子部件1802(在图18中的分解视图中示出的)。面罩1602还可保护光学器件显示子部件1802远离各环境元件，并在HMD设备被掉落或撞击、被碰撞等情况下免遭损坏。光学器件显示子部件1802按使得各护罩在掉落或碰撞之际被偏转时不接触该子部件的方式被安装在封闭面罩内。
如图18和20所示，后护罩1606按人体工程学上正确的形式被配置成与用户的鼻子和鼻托2004(图20)对接，并且可包括其他舒适特征(例如，作为分立组件来成型和/或添加)。在一些情况下，封闭面罩1602还可将某一水平的光学屈光度曲率(即，眼睛处方)纳入成型的护罩中。
图21示意性地示出了在实现以上描述的配置、布置、方法和过程中的一者或多者时可使用的计算系统2100的非限制性实施例。HMD设备104可以是计算系统2100的一个非限制性示例。计算系统2100以简化形式被示出。可理解，可以使用实际上任何计算机架构，而不偏离本布置的范围。在不同的实施例中，计算系统2100可以采取显示设备、可穿戴计算设备、大型计算机、服务器计算机、台式计算机、膝上型计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)等等的形式。
计算系统2100包括逻辑子系统2102和存储子系统2104。计算系统2100可任选地包括显示子系统2106、输入子系统2108、通信子系统2110和/或在图21中未示出的其他组件。
逻辑子系统2102包括被配置成执行指令的一个或多个物理设备。例如，逻辑子系统2102可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、组件、数据结构或其它逻辑构造的一部分的指令。可以实现这样的指令为执行任务、实现数据类型、变换一个或多个组件的状态或以其它方式达到所需的结果。
逻辑子系统2102可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑子系统2102可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统2102的处理器可以是单核或多核的，而其上执行的程序可以被配置用于串行、并行或分布式处理。逻辑子系统2102可任选地包括分布在两个或更多设备之间的独立组件，这些独立组件可位于远程和/或被配置用于进行协调处理。逻辑子系统2102的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储子系统2104包括一个或多个物理设备，该一个或多个物理设备被配置成保持逻辑子系统2102可执行来实现本文中所述的方法和过程的数据和/或指令。在实现此类方法和过程时，存储子系统2104的状态可以被变换(例如，以保持不同的数据)。
存储器子系统2104可包括可移动介质和/或内置设备。存储子系统2104可包括光学存储器设备(例如，CD(压缩盘)、DVD(数字多功能盘)、HD-DVD(高清DVD)、蓝光盘等)、半导体存储器设备(例如，RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除ROM)等)和/或磁性存储设备(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM(磁致电阻RAM)等)等等。存储子系统2104可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址、和/或内容可寻址设备。
可领会，存储子系统2104包括一个或多个物理设备，并排除传播信号自身。然而，在一些实现中，本文描述的指令的各方面可经由通信介质通过纯信号(例如，电磁信号、光学信号等)来传播，而不是被存储在存储设备上。此外，与本布置有关的数据和/或其他形式的信息可以通过纯信号来传播。
在一些实施例中，逻辑子系统2102和存储子系统2104的各方面可以被一起集成到一个或多个硬件-逻辑组件中，通过所述组件来执行在此所述的功能性。这样的硬件逻辑组件可包括：例如，现场可编程门阵列(FPGA)、程序和应用专用集成电路(PASIC/ASIC)、程序和应用专用标准产品(PSSP/ASSP)、片上系统(SOC)系统以及复杂可编程逻辑设备(CPLD)。
在被包括时，显示子系统2106可用于呈现由存储子系统2104保存的数据的视觉表示。此视觉表示可采用图形用户界面(GUI)的形式。由于目前描述的方法和过程改变了由存储子系统保持的数据，并由此变换了存储子系统的状态，因此同样可以转变显示子系统2106的状态以视觉地表示底层数据的改变。显示子系统2106可包括利用几乎任何类型的技术的一个或多个显示设备。在一些情况下，可将此类显示设备与逻辑子系统2102和/或存储子系统2104一起组合在共享封装中，或者在其他情况下，此类显示设备可以是外围触摸显示设备。
在包括输入子系统2108时，输入子系统2108可包括一个或多个用户输入设备(诸如键盘、鼠标、触摸屏或游戏控制器)或与其对接。在一些实施例中，输入子系统可包括所选择的自然用户输入(NUI)组件或与其对接。这样的组件可以是集成的或外围的，且输入动作的转导和/或处理可以在板上或板外被处理。示例性NUI组件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动的电场感测组件。
在包括通信子系统2110时，通信子系统2110可以被配置成将计算系统2100与一个或多个其他计算设备通信耦合。通信子系统2110可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统2100使用诸如因特网这样的网络将消息发送至其他设备以及/或者从其他设备接收消息。
本发明的多用户注视投影的各种示例性实施例现在是出于说明的目的被呈现的，并不是作为所有实施例的穷尽性列表。一示例包括存储计算机可执行指令的一个或多个计算机可读存储器，所述计算机可执行指令在被位于物理环境中的本地头戴式显示器(HDM)设备中的一个或多个处理器执行时，执行以下动作：使用来自被纳入HMD设备的传感器封装的数据来动态执行在物理环境内对用户的头部追踪；响应于头部追踪，确定能够被本地HMD设备呈现的混合现实或虚拟现实环境的视野，所述视野至少部分地取决于用户头部在物理环境中的姿态是可变的；从远程HMD设备接收包括注视光线的原点和截取点坐标的数据，注视光线从远程HMD设备的查看位置处的原点被投影并且在所投影光线与混合现实或虚拟现实环境之间的相交点处的截取点处终止；以及使用接收到的数据在视野内在本地HMD设备上可视地呈现注视光线。
在另一示例中，该一个或多个计算机可读存储器进一步包括在截取点坐标处在视野内呈现光标。在另一示例中，该一个或多个计算机可读存储器进一步包括突出显示与截取点坐标相重合的对象或邻接区域，该突出显示包括以下之一：光照效果、动画化或标记。在另一示例中，对象是现实对象或虚拟对象之一。在另一示例中，该一个或多个计算机可读存储器进一步包括呈现化身以表示远程HMD设备的用户，化身的至少一部分与原点坐标相重合。在另一示例中，截取点坐标在所投影的注视光线与混合现实或虚拟现实环境中最接近本地HMD设备的表面之间的相交点处。在另一示例中，该一个或多个计算机可读存储器进一步包括通过网络操作地耦合本地HMD设备和远程HMD设备。在另一示例中，该一个或多个计算机可读存储器进一步包括从远程HMD设备接收状态数据，所述状态数据描述远程HMD设备的操作。在另一示例中，该一个或多个计算机可读存储器进一步包括基于用户输入来控制被可视地呈现在本地HMD设备上的注视光线的外观。在另一示例中，该一个或多个计算机可读存储器进一步包括可视地呈现多个注视光线，其中每一注视光线与多个远程HMD设备中相应的一个远程HMD设备的不同用户的化身相关联。在另一示例中，该一个或多个计算机可读存储器进一步包括可视地呈现多个注视光线，其中每一光线按照唯一地标识其相关联的用户的方式被呈现。
又一示例包括一种能够由物理环境中的本地用户操作的本地头戴式显示器(HMD)设备，包括：一个或多个处理器；显示器，所述显示器用于向用户呈现混合现实或虚拟现实环境，混合现实或虚拟现实环境的视野至少部分地取决于用户头部在物理环境中的姿态而可变；传感器封装；以及存储计算机可读指令的一个或多个存储器设备，所述计算机可读指令在被所述一个或多个处理器执行时执行一种方法，所述方法包括以下步骤：使用传感器封装来在物理环境内执行对用户的头部追踪，响应于头部追踪，动态地追踪混合现实或虚拟现实环境的本地用户的查看位置处的原点，在从查看位置处的原点投影的光线与混合现实或虚拟现实环境中在当前视野内的点之间的相交点处定位截取点，以及通过网络与远程HMD设备共享原点和截取点的坐标，远程HMD设备被配置成使用所述坐标来可视地呈现注视光线以向远程用户指示本地用户正在看向混合现实或虚拟现实环境中的哪里。
在另一示例中，该HMD设备进一步包括用户界面，并且响应于对UI的用户输入来操作HMD设备以启用或禁用共享。在另一示例中，该HMD设备进一步包括当查看位置改变时共享原点和截取点的新坐标。在另一示例中，该HMD设备进一步包括追踪本地用户的注视方向并且当注视方向改变时共享原点和截取点的新坐标。
另一示例包括一种由支持呈现混合现实或虚拟现实环境的头戴式显示器(HMD)设备执行的方法，包括：获得描述与HMD设备的用户邻接的现实世界物理环境的传感器数据；使用传感器数据来在物理环境中追踪用户头部以确定混合现实或虚拟现实环境的查看位置；在查看位置处的原点向外投影注视光线；标识所投影注视光线与混合现实或虚拟现实环境之间的相交点；以及将所投影注视光线的原点和所标识的相交点传送到远程服务或远程设备。
在另一示例中，传感器数据包括深度数据，并且进一步包括使用深度传感器来生成该传感器数据，并应用表面重构技术来重构所述物理环境几何形状。在另一示例中，该方法进一步包括使用通过立体成像的深度分析来生成深度数据。在另一示例中，该方法进一步包括展示用于接收用户输入的用户界面(UI)，该UI提供用户控件或者支持姿势识别或语音识别。在另一示例中，该方法进一步包括沿用户的注视方向来投影注视光线，并且使用位于HMD设备中的一个或多个面向内的传感器来确定注视方向。
尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。更确切而言，上述具体特征和动作是作为实现权利要求的示例形式公开的。

Claims (22)

1.一个或多个存储计算机可执行指令的计算机可读存储器，所述计算机可执行指令在被位于物理环境中的本地头戴式显示器(HDM)设备中的一个或多个处理器执行时，执行以下动作：
使用来自被纳入HMD设备的传感器封装的数据来动态执行在物理环境内对用户的头部追踪；
响应于所述头部追踪，确定能够被本地HMD设备呈现的混合现实或虚拟现实环境的视野，所述视野至少部分地取决于用户头部在物理环境中的姿态是可变的；
从远程HMD设备接收包括注视光线的原点和截取点坐标的数据，所述注视光线从远程HMD设备的查看位置处的原点被投影并且在所投影光线与混合现实或虚拟现实环境之间的相交点处的截取点处终止；以及
使用接收到的数据在所述视野内在本地HMD设备上可视地呈现所述注视光线，可视地呈现的注视光线使用户能够看到佩戴所述远程HMD设备的远程用户正在看向哪里。
2.如权利要求1所述的一个或多个计算机可读存储器，其特征在于，进一步包括在截取点坐标处在所述视野内呈现光标。
3.如权利要求1所述的一个或多个计算机可读存储器，其特征在于，进一步包括突出显示与截取点坐标相重合的对象或邻接区域，所述突出显示包括以下之一：光照效果、动画化或标记。
4.如权利要求3所述的一个或多个计算机可读存储器，其特征在于，所述对象是现实对象或虚拟对象之一。
5.如权利要求1所述的一个或多个计算机可读存储器，其特征在于，进一步包括呈现化身以表示远程HMD设备的用户，所述化身的至少一部分与原点坐标相重合。
6.如权利要求1所述的一个或多个计算机可读存储器，其特征在于，所述截取点坐标在所投影的注视光线与混合现实或虚拟现实环境中最接近本地HMD设备的表面之间的相交点处。
7.如权利要求1所述的一个或多个计算机可读存储器，其特征在于，进一步包括通过网络操作地耦合本地HMD设备和远程HMD设备。
8.如权利要求1所述的一个或多个计算机可读存储器，其特征在于，进一步包括从远程HMD设备接收状态数据，所述状态数据描述远程HMD设备的操作。
9.如权利要求1所述的一个或多个计算机可读存储器，其特征在于，进一步包括基于用户输入来控制被可视地呈现在本地HMD设备上的注视光线的外观。
10.如权利要求1所述的一个或多个计算机可读存储器，其特征在于，进一步包括可视地呈现多个注视光线，其中每一注视光线与多个远程HMD设备中相应的一个远程HMD设备的不同用户的化身相关联。
11.如权利要求10所述的一个或多个计算机可读存储器，其特征在于，进一步包括可视地呈现多个注视光线，其中每一光线按照唯一地标识其相关联的用户的方式被呈现。
12.一种能由物理环境中的本地用户操作的本地头戴式显示器(HMD)设备，包括：
一个或多个处理器；
显示器，所述显示器用于向用户呈现混合现实或虚拟现实环境，所述混合现实或虚拟现实环境的视野至少部分地取决于用户头部在物理环境中的姿态而可变；
传感器封装；以及
存储计算机可读指令的一个或多个存储器设备，所述计算机可读指令在被所述一个或多个处理器执行时执行一种方法，所述方法包括以下步骤：
使用传感器封装来在物理环境内执行对用户的头部追踪，
响应于所述头部追踪，动态地追踪混合现实或虚拟现实环境的本地用户的查看位置处的原点，
在从所述查看位置处的原点投影的光线与混合现实或虚拟现实环境中在当前视野内的点之间的相交点处定位截取点，
通过网络与远程HMD设备共享原点和截取点的坐标，所述远程HMD设备被配置成使用所述坐标来可视地呈现注视光线以向远程用户指示本地用户正在看向混合现实或虚拟现实环境中的哪里，
从远程HMD设备接收包括注视光线的原点和截取点坐标的数据，所述注视光线从远程HMD设备的查看位置处的原点被投影并且在所投影光线与混合现实或虚拟现实环境之间的相交点处的截取点处终止，以及
使用接收到的数据在所述视野内在本地HMD设备上可视地呈现所述注视光线，可视地呈现的注视光线使用户能够看到佩戴所述远程HMD设备的远程用户正在看向哪里。
13.如权利要求12所述的HMD设备，其特征在于，进一步包括用户界面，并且响应于对UI的用户输入来操作HMD设备以启用或禁用共享。
14.如权利要求12所述的HMD设备，其特征在于，进一步包括当所述查看位置改变时共享所述原点和截取点的新坐标。
15.如权利要求12所述的HMD设备，其特征在于，进一步包括追踪本地用户的注视方向并且当所述注视方向改变时共享原点和截取点的新坐标。
16.一种由支持混合现实或虚拟现实环境的呈现的头戴式显示器(HMD)设备执行的方法，包括：
获得描述与所述HMD设备的用户邻接的现实世界物理环境的传感器数据；
使用所述传感器数据来在物理环境中追踪用户头部以确定混合现实或虚拟现实环境的查看位置；
在所述查看位置处的原点向外投影注视光线；
标识所投影注视光线与混合现实或虚拟现实环境之间的相交点；
将所投影注视光线的原点和所标识的相交点传送到远程服务或远程设备；
从远程HMD设备接收包括注视光线的原点和截取点坐标的数据，所述注视光线从远程HMD设备的查看位置处的原点被投影并且在所投影光线与混合现实或虚拟现实环境之间的相交点处的截取点处终止；以及
使用接收到的数据在视野内在本地HMD设备上可视地呈现所述注视光线，可视地呈现的注视光线使用户能够看到佩戴所述远程HMD设备的远程用户正在看向哪里。
17.如权利要求16所述的方法，其特征在于，所述传感器数据包括深度数据，并且进一步包括使用深度传感器来生成所述传感器数据，并应用表面重构技术来重构物理环境几何形状。
18.如权利要求16所述的方法，其特征在于，进一步包括使用立体成像深度分析来生成深度数据。
19.如权利要求16所述的方法，其特征在于，进一步包括展示用于接收用户输入的用户界面(UI)，所述UI提供用户控件或者支持姿势识别或语音识别。
20.如权利要求16所述的方法，其特征在于，进一步包括沿用户的注视方向来投影所述注视光线，并且使用位于所述HMD设备中的一个或多个面向内的传感器来确定所述注视方向。
21.一种具有指令的计算机可读存储介质，所述指令在由机器执行时使所述机器执行如权利要求16-20中的任一项所述的方法。
22.一种包括用于执行如权利要求16-20中的任一项所述的方法的装置的计算机系统。
CN201580041403.3A 2014-07-25 2015-07-24 使用头戴式显示器设备的多用户注视投影 Active CN106662925B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462029351P 2014-07-25 2014-07-25
US62/029,351 2014-07-25
US14/723,065 2015-05-27
US14/723,065 US20160027218A1 (en) 2014-07-25 2015-05-27 Multi-user gaze projection using head mounted display devices
PCT/US2015/041861 WO2016014871A1 (en) 2014-07-25 2015-07-24 Multi-user gaze projection using head mounted display devices

Publications (2)

Publication Number Publication Date
CN106662925A CN106662925A (zh) 2017-05-10
CN106662925B true CN106662925B (zh) 2022-04-05

Family

ID=53783381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580041403.3A Active CN106662925B (zh) 2014-07-25 2015-07-24 使用头戴式显示器设备的多用户注视投影

Country Status (5)

Country Link
US (1) US20160027218A1 (zh)
EP (1) EP3172644B1 (zh)
KR (1) KR20170036704A (zh)
CN (1) CN106662925B (zh)
WO (1) WO2016014871A1 (zh)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
JP6693507B2 (ja) * 2015-03-30 2020-05-13 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP5876607B1 (ja) * 2015-06-12 2016-03-02 株式会社コロプラ フローティング・グラフィカルユーザインターフェース
JP6693060B2 (ja) * 2015-07-06 2020-05-13 セイコーエプソン株式会社 表示システム、表示装置、表示装置の制御方法、及び、プログラム
US10701318B2 (en) 2015-08-14 2020-06-30 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
DE102016104186A1 (de) * 2016-03-08 2017-09-14 Rheinmetall Defence Electronics Gmbh Simulator zum Training eines Teams einer Hubschrauberbesatzung
WO2017172528A1 (en) 2016-04-01 2017-10-05 Pcms Holdings, Inc. Apparatus and method for supporting interactive augmented reality functionalities
KR102548818B1 (ko) * 2016-04-21 2023-06-28 매직 립, 인코포레이티드 시야 주위의 시각적 아우라
SG11201810432YA (en) * 2016-04-27 2018-12-28 Immersion Device and method for sharing an immersion in a virtual environment
EP3465631B1 (en) 2016-06-07 2020-07-08 Koninklijke KPN N.V. Capturing and rendering information involving a virtual environment
FR3052565B1 (fr) * 2016-06-10 2019-06-28 Stereolabs Dispositif individuel d'immersion visuelle pour personne en mouvement
KR102362001B1 (ko) * 2016-06-16 2022-02-14 애플 인크. 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품
GB2551526A (en) 2016-06-21 2017-12-27 Nokia Technologies Oy Image encoding method and technical equipment for the same
US10657701B2 (en) * 2016-06-30 2020-05-19 Sony Interactive Entertainment Inc. Dynamic entering and leaving of virtual-reality environments navigated by different HMD users
US11341776B2 (en) 2016-07-15 2022-05-24 Htc Corporation Method, electronic apparatus and recording medium for automatically configuring sensors
KR102548199B1 (ko) 2016-08-03 2023-06-28 삼성전자주식회사 전자 장치 및 전자 장치의 시선 추적 방법
US10466474B2 (en) * 2016-08-04 2019-11-05 International Business Machines Corporation Facilitation of communication using shared visual cue
US10743004B1 (en) * 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
US10743003B1 (en) * 2016-09-01 2020-08-11 Amazon Technologies, Inc. Scalable video coding techniques
KR101896982B1 (ko) * 2016-10-13 2018-09-10 에이케이엔코리아 주식회사 사용자간 통신을 위한 가상의 사용자 인터페이스 객체의 처리 방법 및 이를 수행하는 시스템
US10452133B2 (en) 2016-12-12 2019-10-22 Microsoft Technology Licensing, Llc Interacting with an environment using a parent device and at least one companion device
WO2018112820A1 (en) 2016-12-22 2018-06-28 Motorola Solutions, Inc. Method and system for tracking an object of interest in a talkgroup
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
JP6244593B1 (ja) * 2017-01-30 2017-12-13 株式会社コロプラ 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
WO2018175335A1 (en) * 2017-03-24 2018-09-27 Pcms Holdings, Inc. Method and system for discovering and positioning content into augmented reality space
US11782669B2 (en) 2017-04-28 2023-10-10 Microsoft Technology Licensing, Llc Intuitive augmented reality collaboration on visual data
US10880086B2 (en) 2017-05-02 2020-12-29 PracticalVR Inc. Systems and methods for authenticating a user on an augmented, mixed and/or virtual reality platform to deploy experiences
EP3413167A1 (en) 2017-06-06 2018-12-12 Thomson Licensing Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item
US10841537B2 (en) * 2017-06-09 2020-11-17 Pcms Holdings, Inc. Spatially faithful telepresence supporting varying geometries and moving users
US10573061B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Saccadic redirection for virtual reality locomotion
US10573071B2 (en) 2017-07-07 2020-02-25 Nvidia Corporation Path planning for virtual reality locomotion
CN107463262A (zh) * 2017-08-14 2017-12-12 中国电子科技集团公司第二十八研究所 一种基于HoloLens的多人协同交互方法
CN109426419B (zh) * 2017-09-05 2022-06-03 菜鸟智能物流控股有限公司 界面显示方法及相关设备
EP3698201A4 (en) * 2017-10-17 2020-12-09 Magic Leap, Inc. MIXED REALITY SPACE AUDIO
US10803674B2 (en) 2017-11-03 2020-10-13 Samsung Electronics Co., Ltd. System and method for changing a virtual reality environment dynamically
GB2568241B (en) 2017-11-06 2022-01-05 Sony Interactive Entertainment Inc Content generation apparatus and method
KR101893038B1 (ko) * 2017-12-18 2018-08-29 유미란 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
DE102018201336A1 (de) * 2018-01-29 2019-08-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Virtual-Reality-Konferenzsystem
DE102018203865A1 (de) * 2018-03-14 2019-09-19 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen von Informationen durch ein Augmented-Reality-Gerät, Verfahren und Vorrichtung zum Bereitstellen von Informationen zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes, Verfahren und Vorrichtung zur Steuerung einer Anzeige eines Augmented-Reality-Gerätes, computerlesbares Speichermedium mit Instruktionen zur Durchführung der Verfahren
US11480787B2 (en) * 2018-03-26 2022-10-25 Sony Corporation Information processing apparatus and information processing method
WO2019212902A1 (en) * 2018-05-03 2019-11-07 Pcms Holdings, Inc. Systems and methods for physical proximity and/or gesture-based chaining of vr experiences
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
EP3584692A1 (en) * 2018-06-19 2019-12-25 InterDigital CE Patent Holdings Sharing virtual content in a mixed reality scene
US10712837B1 (en) * 2018-07-30 2020-07-14 David Douglas Using geo-registered tools to manipulate three-dimensional medical images
US10809760B1 (en) * 2018-10-29 2020-10-20 Facebook, Inc. Headset clock synchronization
CN112912937A (zh) * 2018-10-31 2021-06-04 米沃奇电动工具公司 空间感知工具系统
WO2020101197A1 (ko) * 2018-11-15 2020-05-22 유엔젤주식회사 증강현실 콘텐츠 공유 방법 및 시스템
US11132841B2 (en) * 2018-11-30 2021-09-28 Facebook Technologies, Llc Systems and methods for presenting digital assets within artificial environments via a loosely coupled relocalization service and asset management service
US11022794B2 (en) * 2018-12-27 2021-06-01 Facebook Technologies, Llc Visual indicators of user attention in AR/VR environment
US11397463B2 (en) 2019-01-12 2022-07-26 Microsoft Technology Licensing, Llc Discrete and continuous gestures for enabling hand rays
EP3914996A1 (en) 2019-04-18 2021-12-01 Apple Inc. Shared data and collaboration for head-mounted devices
EP3938019A4 (en) * 2019-04-19 2022-10-12 Hewlett-Packard Development Company, L.P. NOISE ADJUSTMENTS TO COGNITIVE LOAD-BASED CONTENT
KR102190388B1 (ko) * 2019-05-16 2020-12-11 주식회사 삼십구도씨 복수의 디바이스를 이용하여 증강 현실 객체가 포함된 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP7356827B2 (ja) 2019-06-26 2023-10-05 株式会社コロプラ プログラム、情報処理方法、及び情報処理装置
JP7308089B2 (ja) * 2019-07-18 2023-07-13 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
JP2021067899A (ja) * 2019-10-28 2021-04-30 株式会社日立製作所 頭部装着型表示装置および表示コンテンツ制御方法
US11256319B2 (en) 2019-11-22 2022-02-22 Facebook Technologies, Llc Hierarchical power management in artificial reality systems
US11487968B2 (en) * 2019-12-16 2022-11-01 Nvidia Corporation Neural network based facial analysis using facial landmarks and associated confidence values
US11262588B2 (en) * 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
US11510750B2 (en) * 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11257280B1 (en) * 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11995774B2 (en) * 2020-06-29 2024-05-28 Snap Inc. Augmented reality experiences using speech and text captions
KR20230027299A (ko) * 2020-06-29 2023-02-27 스냅 인코포레이티드 공유 시선 반응형 보기 기능을 가진 아이웨어
CN112115823A (zh) * 2020-09-07 2020-12-22 江苏瑞科科技有限公司 一种基于情感化身的混合现实协同系统
JP7453652B2 (ja) 2020-11-10 2024-03-21 日本電信電話株式会社 視線情報提示装置、視線情報提示方法、及び視線情報提示プログラム
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
KR20230112729A (ko) * 2020-12-07 2023-07-27 스냅 인코포레이티드 증강 현실 공간 오디오 경험
US11461067B2 (en) * 2020-12-17 2022-10-04 International Business Machines Corporation Shared information fields with head mounted displays
US20240127006A1 (en) * 2022-10-17 2024-04-18 Snap Inc. Sign language interpretation with collaborative agents
CN117492573B (zh) * 2024-01-03 2024-05-03 广东工业大学 基于眼动数据的自动冻屏方法、装置、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060092178A1 (en) * 2004-10-29 2006-05-04 Tanguay Donald O Jr Method and system for communicating through shared media
US20080030429A1 (en) * 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
WO2009128781A1 (en) * 2008-04-17 2009-10-22 Lundgren & Nordstrand Ab A method and a device for remote visualization
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US20130141419A1 (en) * 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
WO2013085193A1 (ko) * 2011-12-06 2013-06-13 경북대학교 산학협력단 사용자 인지 향상 장치 및 그 인지 향상 방법
JP5953963B2 (ja) * 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
EP2953099B1 (en) * 2013-02-01 2019-02-13 Sony Corporation Information processing device, terminal device, information processing method, and programme
US20150261293A1 (en) * 2014-03-12 2015-09-17 Weerapan Wilairat Remote device control via gaze detection

Also Published As

Publication number Publication date
EP3172644B1 (en) 2019-10-23
CN106662925A (zh) 2017-05-10
KR20170036704A (ko) 2017-04-03
WO2016014871A1 (en) 2016-01-28
EP3172644A1 (en) 2017-05-31
US20160027218A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
CN106662925B (zh) 使用头戴式显示器设备的多用户注视投影
US10955914B2 (en) Gaze-based object placement within a virtual reality environment
CN106575209B (zh) 具有现实世界对象的虚拟现实环境
CN106575154B (zh) 全息对象的智能透明度
KR102385756B1 (ko) 가상 현실 환경에서 몰입된 때의 안티 트립
US9645397B2 (en) Use of surface reconstruction data to identify real world floor
KR102308736B1 (ko) 삼차원 혼합 현실 뷰포트
US9904055B2 (en) Smart placement of virtual objects to stay in the field of view of a head mounted display
CN105900041B (zh) 利用视线跟踪进行的目标定位
KR20160148557A (ko) 월드 락 디스플레이의 품질 피드백 기법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant