CN108431738A - 基于波动的光标栓系 - Google Patents

基于波动的光标栓系 Download PDF

Info

Publication number
CN108431738A
CN108431738A CN201780004837.5A CN201780004837A CN108431738A CN 108431738 A CN108431738 A CN 108431738A CN 201780004837 A CN201780004837 A CN 201780004837A CN 108431738 A CN108431738 A CN 108431738A
Authority
CN
China
Prior art keywords
cursor
tethers
display
equipment
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780004837.5A
Other languages
English (en)
Other versions
CN108431738B (zh
Inventor
A·伯恩斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108431738A publication Critical patent/CN108431738A/zh
Application granted granted Critical
Publication of CN108431738B publication Critical patent/CN108431738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces

Abstract

公开了基于光标的深度波动来修改链接到该光标的系链。多个显示器示出了看起来在相同的真实世界位置的三维图像，而不管显示器的位置如何。一个人操作三维图像中的光标。跟踪从光标操作者的视点而言的光标深度的波动。响应于深度波动而改变其他显示器中系链的外观。系链可包括从光标朝向光标操作者的线段。系链不必在所有时间显示，以免遮挡三维图像的视图。当在某个时间内不存在任何深度波动时，不显示系链。响应于高深度波动，系链可被显示为开始于光标的长线段。

Description

基于波动的光标栓系
背景
增强现实(AR)涉及提供增强的现实世界环境，其中用计算机生成的虚拟数据来增强或修改对现实世界环境(或表示现实世界环境的数据)的感知。例如，可使用诸如相机或话筒等传感输入设备实时地捕捉表示现实世界环境的数据，并用包括虚拟图像和虚拟声音的计算机生成的虚拟数据来增强该数据。一些AR环境内的对象可包括现实对象(即，存在于特定现实世界环境中的对象)和虚拟对象(即，不存在于该特定现实世界环境中的对象)。
如果每个人具有其自己的显示器，则多个人可以共享相同的AR体验。作为一个示例，一群工程师可以在其自己的显示器中查看工程设计的相同虚拟图像。存在多个其他可能的应用。为了允许一个人指出AR体验中的某种特征，一个人可以控制显示在每个人自己的显示器中的光标。当一个人移动其光标时，其他人会难以在其自己的显示器中跟随光标移动。
概述
本文所描述的某些实施例涉及基于波动的光标栓系。当一个人移动显示在三维图像中的光标时，该光标在从不同视点示出该三维图像的其他显示器中的位置可能有显著变化。因此，其他人可能不能够容易地跟随光标的移动。
一个实施例包括一种装置，该装置包括近眼透视显示器以及被配置成与该近眼透视显示器通信的逻辑。该逻辑被配置成：在近眼透视显示器中显示三维图像以使得该三维图像看起来位于真实世界环境中。该逻辑被进一步配置成：从装置的位置的视点在三维图像中的一位置处显示光标。该光标从不同位置的该三维图像的另一视点而言具有深度位置。该逻辑被配置成：响应于从该另一视点而言的光标的深度位置变化而改变链接到光标的系链的外观。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。
附图简述
图1是描绘透视、混合现实显示设备系统的一个实施例的示例组件的框图。
图2A是被实现为提供对硬件和软件组件的支持的眼镜的透视、混合现实显示设备的实施例中的镜架的眼镜腿的侧视图。
图2B是透视、近眼混合现实设备的集成眼睛跟踪和显示光学系统的实施例的顶视图。
图3A是可以用于一个或多个实施例的透视、近眼混合现实显示设备的硬件和软件组件的一个实施例的框图。
图3B是描述处理单元的各个组件的框图。
图4A描绘了示例环境以解说光标使用。
图4B1和4B2描绘了图4A的近眼头戴式显示设备2A针对两个光标位置可以显示的内容的示例。
图4C1和4C2描绘了图4A的近眼头戴式显示设备2B针对两个光标位置可以显示的内容的示例。
图4C3和4C4描绘了图4A的近眼头戴式显示设备2B针对第二光标位置可以显示的内容的其他示例。
图4D描绘了光标在两个光标位置之间移动的示例。
图4E描绘了两个近眼头戴式显示设备2A、2B彼此相对靠近的示例。
图4F1和4F2描绘了图4E的近眼头戴式显示设备2B分别针对光标位置406(5)、406(6)可以显示的内容的示例。
图4G描绘了光标移动的示例，该光标移动对于光标移动的非驱动者进行跟踪可能不会呈现太大问题。
图4H1和4H2描绘了图4G的近眼头戴式显示设备2B分别针对光标位置406(7)、406(8)可以显示的内容的示例。
图5是被配置成响应于光标的深度波动的变化而向光标呈现系链的近眼头戴式显示设备系统2的一个实施例的框图。
图6是响应于光标的深度变化而显示链接到该光标的系链的过程600的一个实施例的流程图。
图7是响应于深度波动而确定系链的特性的过程700的一个实施例的流程图。
图8是确定光标深度波动的过程800的一个实施例的流程图。
图9A是响应于光标波动而改变系链的特性的过程900的一个实施例的流程图。
图9B和9C描绘了系链响应于低或没有深度波动而逐渐变得更短的示例。
图10是平滑光标位置变化的过程1000的一个实施例的流程图。
详细描述
本技术的某些实施例涉及修改链接到光标的系链，其中该修改基于光标的深度波动。这可以帮助不在操作光标的人跟踪该光标的移动。一种可能的应用是一组两个或更多个人，每个人具有其自己的能够显示三维图像的显示器。可以按允许任何人通过移动来获得三维图像的不同视点的方式来显示该三维图像。例如，三维图像可被显示成使得该三维图像对于每个人看起来位于真实世界环境中的相同物理位置，而不管每个人的位置如何。这允许一人在房间中四处走动以从不同视点观看三维图像。注意，在该示例中，每个人可以看到三维图像的不同视点。注意，这仅是一种可能的应用。
如贯穿本描述使用的，术语“光标”意指标记位置的任何视觉指示符。光标或许可以标记与计算机系统的用户交互的位置。然而，光标对于允许与计算机系统的用户交互并非必需。根据本文所公开的实施例，在近眼头戴式显示设备中显示光标。注意，由光标标记的位置可以相对于在近眼透视显示设备中显示的图像，但不限于此。光标还可以标记通过近眼头戴式显示设备可见的真实世界对象的位置。
一个人可以操作光标以帮助指出三维图像中的某个内容。由于每个用户可以具有不同的视点，因此从光标操作者的视点而言光标位置相对小的变化从非操作者的视点而言可能看起来是光标位置大的变化。例如，对于光标操作者而言光标深度的大的变化可能引起对于某个其他人而言光标位置的大的角度变化。这仅是跟随光标对于非操作者而言可以是多么困难的一个示例。
在一个实施例中，使用链接到光标的系链来帮助光标的非操作者跟随光标移动。在一个实施例中，系链是从光标朝向光标操作者的线段。系链不必在所有时间显示，以免遮挡三维图像的视图。
在一个实施例中，从光标操作者的视点而言的三维图像中光标的z深度被跟踪。z深度的变化可被称为深度波动。在一个实施例中，响应于深度波动而改变系链的外观。例如，当在某个时间段内没有任何深度波动时，不显示系链。响应于高深度波动，系链可被显示为从光标朝向光标操作者的相对长的线段。在深度波动减弱之后，系链的长度可以逐渐减小。
在一些实施例中，在透视混合现实显示设备系统中显示三维图像、光标和系链。图1是描绘透视混合现实显示设备系统8的一个实施例的示例组件的框图。系统8包括作为经由线6与处理单元4进行通信的近眼头戴式显示设备2的透视显示设备。在其他实施例中，头戴式显示设备2经由无线通信与处理单元4进行通信。处理单元4可以采取各种实施例。例如，处理单元4可被实现在诸如智能手机、平板或膝上型计算机之类的移动设备中。在一些实施例中，处理单元4是可被佩戴在用户的身体(例如，在所例示的示例中的腕)上或在口袋中的分开的单元，并且包括被用来操作近眼显示设备2的计算能力中的大部分能力。处理单元4可在通信网络50上与不论是本示例中位于附近的还是处在远程位置的一个或多个中枢计算系统12无线地(例如，WiFi、蓝牙、红外、RFID传输、无线通用串行总线(WUSB)、蜂窝、3G、4G或其他无线通信装置)进行通信。在其他实施例中，处理单元4的功能可被集成在显示设备2的软件和硬件组件中。
头戴式显示设备2(在一个实施例中它是带镜架115的眼镜的形状)被佩戴在用户的头上，使得用户能够透视显示器(在本示例中该显示器被实现为用于每一只眼睛的显示光学系统14)，并且从而具有用户前面的空间的实际直接视图。
使用术语“实际直接视图”来指直接用人眼看到真实世界对象，而非看到对象的经创建的图像表示的能力。例如，透过房间的玻璃看允许用户得到该房间的实际直接视图，而观看电视机上的房间的视频并不是该房间的实际直接视图。基于执行软件(例如，游戏应用)的上下文，该系统可在显示器上投影虚拟对象的图像(有时被称为虚拟图像)，虚拟对象的图像可由佩戴透视显示设备的人观看，同时该人还透过显示器观看真实世界对象。
镜架115提供用于将该系统的各元件保持在原位的支撑体以及用于电连接的管道。在该实施例中，镜架115提供便利的眼镜架作为对下面进一步讨论的该系统的各元件的支撑。在其他实施例中，可以使用其他支撑结构。这样的结构的示例是面罩(visor)或护目镜。镜架115包括用于搁置在用户的每只耳朵上的镜腿或侧臂。镜腿102代表右镜腿的实施例，并且包括显示设备2的控制电路136。镜架115的鼻梁104包括用于记录声音并向处理单元4传送音频数据的话筒110。
图2A是被实现为提供对硬件和软件组件的支持的眼镜的透视混合现实显示设备的实施例中的镜架115的眼镜腿102的侧视图。在镜架115的前部是朝向物理环境或朝向外部的视频相机113，其可捕捉被传送到处理单元4的视频和静态图像。
来自相机的数据可被发送到控制电路136的处理器210、或处理单元4或者这两者，它们可处理数据，然而单元4也可将数据通过网络50发送到一个或多个计算机系统12用于处理。该处理标识并映射用户的现实世界视野。
控制电路136提供支持头戴式显示设备2的其他组件的各种电子装置。控制电路136的更多细节在下文参照图3A提供。在镜腿102内部或被安装到镜腿102的有耳机130、惯性传感器132、GPS收发机144以及温度传感器138。在一个实施例中，惯性传感器132包括三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C(参见图3A)。惯性传感器用于感测头戴式显示设备2的位置、取向、以及突然加速。根据这些移动，头部位置同样可被确定。
被安装到镜腿102或在镜腿102内部的是图像源或图像生成单元120。在一个实施例中，图像源包括用于投射一个或多个虚拟对象的微显示器120和用于将来自微显示器120的图像导入透视平面波导112中的透镜系统122。透镜系统122可包括一个或多个透镜。在一个实施例中，透镜系统122包括一个或多个准直的透镜。在例示出的示例中，反射元件124接收由透镜系统122引导的图像并且将图像数据光学地耦合到平面波导112中。
存在可被用来实现微显示器120的不同的图像生成技术。例如，微显示器120可以使用透射投影技术来实现，其中光源由光学活性材料来调制，用白光从背后照亮。这些技术通常使用具有强大背光和高光能量密度的LCD型显示器来实现。微显示器120还可使用反射技术来实现，其中外部光被光学活性材料反射并调制。数字光处理(DLP)、硅基液晶(LCOS)以及高通公司的显示技术都是反射技术的示例。另外，微显示器120可使用发射技术来实现，其中光由显示器生成，参见例如来自Microvision公司的PicoPTM显示引擎。发射显示技术的另一示例是微型有机发光二极管(OLED)显示器。eMagin和Microoled公司提供了微型OLED显示器的示例。
图2B是透视、近眼增强或混合现实设备的显示光学系统14的实施例的顶视图。近眼显示设备2的镜架115的一部分将环绕显示光学系统14，以提供对如此处以及之后的附图中例示出的一个或多个光学元件的支撑并进行电气连接。为了示出头戴式显示设备2中的显示光学系统14(在该情况下是右眼系统14r)的各组件，围绕显示光学系统的镜架115的一部分未被描绘。
在一个实施例中，显示光学系统14包括平面波导112、可选的不透明度滤光器114、透视透镜116和透视透镜118。在一个实施例中，不透明度滤光器114处于透视透镜116之后并与其对准，平面波导112处于不透明度滤光器114之后并与其对准，并且透视透镜118处于平面波导112之后并与其对准。透视透镜116和118可以是眼镜中使用的标准透镜，并且可根据任何处方(包括无处方)来制作。在一些实施例中，头戴式显示设备2将仅包括一个透视透镜或者不包括透视透镜。与平面波导112对准的不透明度滤光器114均匀地或基于每像素来选择性地阻挡自然光穿过平面波导112。例如，不透明度滤光器增强了虚拟影像的对比度。
平面波导112将来自微显示器120的可见光传送到佩戴头戴式显示设备2的用户的眼睛140。透视平面波导112还允许如表示显示光学系统14r的光轴的箭头142所示那样将可见光从头戴式显示设备2的前方透过透视平面波导112透射到眼睛140，从而除接收来自微显示器120的虚拟图像之外还允许用户具有头戴式显示设备2的前方的空间的实际直接视图。因此，平面波导112的壁是透视的。平面波导112包括第一反射表面124(例如镜面或其他表面)。来自微显示器120的可见光通过透镜122并且入射到反射表面124上。反射表面124反射来自微显示器120的入射可见光，以使得可见光通过如下面进一步描述的内反射被捕获在包括平面波导112的平面基板内。
红外照明和反射也穿越平面波导112达到用于跟踪用户眼睛的位置的眼睛跟踪系统134。用户的眼睛将被引导到作为用户的聚焦或注视区域的环境的子集。眼睛跟踪系统134包括眼睛跟踪照明源134A(在该示例中其被安装到镜腿102或其内部)以及眼睛跟踪IR传感器134B(在该示例中其被安装到镜架115的眉部103或其内部)。眼睛跟踪IR传感器134B可替代地被定位在透镜118与镜腿102之间。还有可能的是，眼睛跟踪照明源134A和眼睛跟踪IR传感器134B都被安装到镜架115的眉部103或其内部。
本技术允许进出用于图像生成单元120、照明源134A以及眼睛跟踪IR传感器134B的波导的光学路径的入口和出口光学耦合器(其也可被称为输入耦合器和输出耦合器)的布置中的灵活性。表示图像的可见照明以及红外照明可从相对波导112的任何方向进入，并且一个或多个波长选择性滤光器(例如127)以显示光学系统14的光轴142为中心将照明导出波导。
在一个实施例中，眼睛跟踪照明源134A可包括以大约预定的IR波长或一定范围的波长发射的一个或多个红外(IR)发射器(诸如红外发光二极管(LED)或激光器(例如，VCSEL))。在一些实施例中，眼睛跟踪IR传感器134B可以是用于跟踪闪光位置的IR相机或IR位置敏感检测器(PSD)。
在一实施例中，波长选择性滤光器123将来自微显示器123的可见光谱的光经过反射表面124通过，并且将来自眼睛跟踪照明源134A的红外波长照明导入平面波导112，在平面波导112中，IR照明在波导内被内部反射直至到达与光轴142对准的另一波长选择性滤光器127。
从IR反射中，当眼睛跟踪IR传感器134B是IR相机时，瞳孔在眼框内的位置可通过已知的成像技术来标识，而当眼睛跟踪IR传感器134B是一种位置敏感检测器(PSD)时，瞳孔在眼框内的位置可通过闪光位置数据来标识。其他类型的眼睛跟踪IR传感器和用于眼睛跟踪的其他技术的使用同样是可能的并且落在实施例的范围内。
在耦合到波导112中之后，表示来自微显示器120的图像数据的可见光照明和IR照明在波导112中被内部反射。在图2B的示例中，在基板的表面上进行若干次反射之后，被捕获的可见光波到达在本示例中被实现为选择性反射表面1261至126N的波长选择性滤光器阵列。另外，与显示光学系统的光轴对准的波长选择性滤光器127同样被定位在波导112中。反射表面126将入射在那些反射表面上的可见光波长耦合到指向用户眼睛140的方向的基板之外。
反射表面126还在波导内传递红外辐照。然而，与显示光学系统14r的光轴142对准的是一个或多个波长选择性滤光器127，波长选择性滤光器127不仅引导可见光照明，还引导接收到的来自照明源134A的红外照明。例如，如果反射元件1261至126N各自反射可见光谱的不同部分，则一个或多个波长选择性滤光器127可反射红色可见光谱和红外光谱中的波长。在其他实施例中，滤光器127可反射覆盖整个可见光谱或其较大部分的波长，以及IR反射的波长和由IR照明源生成的波长的红外光谱。
另外，输入耦合器(图2A和2B中未专门示出)将来自眼镜的以光轴142为中心通过平面波导的透视壁的红外反射在朝向输出耦合器(图2A和2B中未专门示出)的方向上引导到平面波导的光学路径中，该输出耦合器将红外光引向眼睛跟踪IR传感器134B。另外，可见和红外滤光器可在从透镜116至118的方向上被层叠，使得它们都与光轴同轴。例如，相对于眼睛被放置在可见反射元件前方的双向热镜(hot mirror)让可见光通过但反射IR波长。另外，一个或多个滤光器127可被实现为有源光栅，其被调制在可见和红外光谱之间的滤光波长之间。这将会以人眼无法检测到的足够快的速率来完成。
在一个实施例中，每只眼睛将具有其自己的平面波导112。当头戴式显示设备具有两个平面波导时，每只眼睛都可具有其自己的微显示器120，该微显示器120可在双眼中显示相同图像或者在双眼中显示不同图像。此外，当头戴式显示设备具有两个平面波导时，每只眼睛可具有其自己的眼睛跟踪照明源134A和其自己的眼睛跟踪IR传感器134B。在另一实施例中，可存在一个具有两根光轴的平面波导，每只眼睛一根，其横跨鼻梁并将可见和红外光反射到两只眼睛中。
在上述实施例中，所示出的具体数量的透镜只是示例。可以使用其他数目和配置的根据相同原理操作的透镜。另外，图2A和2B仅示出头戴式显示设备2的一半。完整的头戴式显示设备可包括例如另一组透视透镜116和118、另一不透明度滤光器114、具有一个或多个波长选择性滤光器127的另一平面波导112、另一微显示器120、另一透镜系统122、朝向物理环境的相机113(也称朝向外部或朝向正面的相机113)、眼睛跟踪组件134、耳机130、滤光器123以及温度传感器138。
图3A是可以用于一个或多个实施例的透视、近眼混合现实显示设备2的硬件和软件组件的一个实施例的框图。图3B是描述处理单元4的各种组件的框图。在这一实施例中，近眼显示设备2接收来自处理单元4的关于虚拟图像的指令并将来自传感器的数据提供回处理单元4。例如在图3B中描绘的可被实现在处理单元4中的软件和硬件组件从显示设备2接收传感数据并且还可通过网络50从计算系统12接收传感信息。基于该信息，处理单元4将确定在何处以及在何时向用户提供虚拟图像并相应地将指令发送给显示设备2的控制电路136。
注意，图3A的一些组件(例如，朝向外部或物理环境的相机113、眼睛相机134、微显示器120、不透明度滤光器114、眼睛跟踪照明单元134A、耳机130、一个或多个波长选择性滤光器127、以及温度传感器138)以阴影显示，以指示可存在那些设备中的每一者的至少两个，其中至少一个用于头戴式显示设备2的左侧并且至少一个用于右侧。图3A示出与电源管理电路202通信的控制电路200。控制电路200包括处理器210、与存储器244(例如D-RAM)进行通信的存储器控制器212、相机接口216、相机缓冲器218、显示驱动器220、显示格式化器222、定时生成器226、显示输出接口228、以及显示输入接口230。在一个实施例中，控制电路200的所有组件都通过一个或多个总线的专用线路彼此进行通信。在另一实施例中，控制电路200的每个组件都与处理器210通信。
相机接口216提供到两个朝向物理环境的相机113以及本实施例中的如传感器134B之类的IR相机的接口，并且将从相机113、134B接收到的各个图像储存在相机缓冲器218中。显示驱动器220将驱动微显示器120。显示格式化器222可向执行该混合现实系统的处理的一个或多个计算机系统(例如4和12)的一个或多个处理器提供与被显示在微显示器120上的虚拟图像有关的信息。显示格式化器222可向不透明度控制单元224标识关于显示光学系统14的透射率设置。定时生成器226被用来为该系统提供定时数据。显示输出接口228包括用于将来自面向物理环境的相机113和眼睛相机134B的图像提供给处理单元4的缓冲器。显示输入接口230包括用于接收要在微显示器120上被显示的图像(诸如虚拟图像)的缓冲器。显示输出228和显示输入230与作为到处理单元4的接口的带接口(bandinterface)232进行通信。
电源管理电路202包括电压调节器234、眼睛跟踪照明驱动器236、音频DAC和放大器238、话筒前置放大器和音频ADC 240、温度传感器接口242、有源滤光器控制器237、以及时钟生成器245。电压调节器234通过带接口232从处理单元4接收电力，并将该电力提供给头戴式显示设备2的其他组件。照明驱动器236例如经由驱动电流或电压来控制眼睛跟踪照明单元134A以大约预定的波长或在某一波长范围内操作。音频DAC和放大器238向耳机130提供音频数据。话筒前置放大器和音频ADC 240提供用于话筒110的接口。温度传感器接口242是用于温度传感器138的接口。有源滤光器控制器237接收指示一个或多个波长的数据，其中针对所述波长，每个波长选择性滤光器127将充当选择性波长滤光器。电源管理单元202还向三轴磁力计132A、三轴陀螺仪132B以及三轴加速度计132C提供电力并从其接收回数据。电源管理单元202还向GPS收发机144提供电力并且从GPS收发机144收回数据并向其发送数据。
图3B是与透视、近眼混合现实显示单元相关联的处理单元4的硬件和软件组件的一个实施例的框图。图3B示出与电源管理电路306进行通信的控制电路304。控制电路304包括中央处理单元(CPU)320、图形处理单元(GPU)322、高速缓存324、RAM 326、与存储器330(例如，D-RAM)进行通信的存储器控制器328、与闪存334(或其他类型的非易失性存储)进行通信的闪存控制器332、经由带接口302和带接口232与透视、近眼显示设备2进行通信的显示输出缓冲器336、经由带接口302和带接口232与近眼显示设备2进行通信的显示输入缓冲器338、与用于连接到话筒的外部话筒连接器342进行通信的话筒接口340、用于连接到无线通信设备346的PCI高速接口，以及(诸)USB端口348。
在一个实施例中，无线通信组件346可包括启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备、蜂窝、3G、4G通信设备、无线USB(WUSB)通信设备、RFID通信设备等等。无线通信设备346由此允许与例如另一显示设备系统8的端对端数据传输，以及经由无线路由器或蜂窝塔到较大网络的连接。USB端口可被用来将处理单元4对接到另一显示设备系统8。另外，处理单元4可对接到另一计算系统12以便将数据或软件加载到处理单元4以及对处理单元4充电。在一个实施例中，CPU 320和GPU 322是用于确定在何处、何时以及如何向用户的视野内插入虚拟图像的主负荷设备。
电源管理电路306包括时钟生成器360、模数转换器362、电池充电器364、电压调节器366、透视、近眼显示器电源376，以及与温度传感器374进行通信的温度传感器接口372(位于处理单元4的腕带(wrist band)上)。到直流转换器362的交流电被连接到充电插孔370以用于接收AC供电并为该系统产生DC供电。电压调节器366与用于向该系统提供电力的电池368进行通信。电池充电器364被用来在从充电插孔370接收到电力时(通过电压调节器366)对电池368进行充电。设备电源接口376向显示设备2提供电力。
图4A描绘了示例环境以解说光标使用。描绘了两个近眼透视显示设备2A、2B。在一个实施例中，这些设备是头戴式显示设备。每个近眼透视显示设备2A、2B被配置成显示虚拟对象402。注意，由于显示设备2A、2B中的每一者显示相同的虚拟对象402，因此每个显示设备2A、2B的用户共享相同的AR体验。显示设备2A、2B可被配置成使得用户可以四处移动以从不同的视点观看虚拟对象402，尽管这不是必需的。由此，每个近眼透视显示设备2A、2B可被配置成：从相应显示设备2A、2B的位置处的视点来显示虚拟对象。
每个显示设备2A、2B被配置成：将虚拟对象402显示为三维图像的一部分。三维图像可被显示成使得该三维图像看起来位于真实世界环境中。可以相对于共用参考系来显示三维图像。图4A示出了具有u轴、v轴和w轴的全局(或世界)坐标系。在该示例中，w轴可对应于垂直方向，并且u和v轴对应于正交的水平方向。u和v轴可各自垂直于w轴。由此，在该示例中，使用三维笛卡尔坐标系。然而，可以使用不同类型的坐标系。
在一个实施例中，当显示设备2A、2B显示三维图像时，全局坐标可变换成针对显示设备2的当前位置的局部坐标。局部坐标也可被称为显示坐标系。在一个实施例中，局部坐标具有深度或z位置，其可对应于某一点离(或者看起来离)显示设备2多远。局部坐标还可具有图像平面。图像平面可包括x坐标和y坐标。
还描绘了真实世界对象404。真实世界对象404未被显示设备2A、2B显示，但是取决于佩戴设备2A、2B的用户正在观看的方向，该真实世界对象404通过近眼头戴式显示设备2A和/或2B的显示器可能是可见的。
还可以使用光标406来帮助显示设备2A、2B中的一者的用户指出与虚拟对象402或真实对象404有关的某个内容。在该示例中，光标由近眼透视显示设备2A的用户操作。在该示例中，在显示设备2A、2B中的每一者中显示光标。
通常，每个近眼透视显示设备2A、2B显示光标406以便看起来在与其当前链接到的对象相同的深度，以帮助每个用户将其眼睛恰当地聚焦在光标和正由光标指出的对象两者上。
光标406的位置可以响应于光标操作者的输入而移动。针对两个不同的时间点表示光标406的位置。初始地，光标406链接到虚拟对象402，如由光标406(1)表示的。在稍后的时间，光标链接到真实对象404，如由光标406(2)表示的。在该示例中，这些变化是响应于由显示设备2A的用户向显示设备2A提供的输入来驱动的。
由于近眼头戴式显示设备2A的用户在驱动光标，因此该用户能够预料光标移动，这帮助该用户跟随光标。然而，其他(诸)用户可能难以跟随光标移动。图4A描绘了对于近眼透视显示设备2B的用户而言特别难以跟随的光标移动。注意，光标406从虚拟对象402到真实对象404的移动从近眼透视显示设备2A的用户的视点而言引起相对小的角度移位(θA)。然而，从近眼透视显示设备2B的视点而言的角度移位(θB)大得多。角度移位的这种大的变化是使得难以跟随光标位置变化的因素。
还要注意，在该示例中，从近眼头戴式显示设备2A的视点而言，光标406的z深度有相当急剧的变化。注意，在该示例中，z深度对应于从显示设备2A到相应光标406(1)、406(2)的箭头的长度。从近眼头戴式显示设备2A的视点而言的光标406的z深度的这种急剧变化可以是从近眼头戴式显示设备2B的用户的视点而言的角度移位(θB)的相当大的变化的因素。
进一步注意，光标位置从虚拟对象402改变到真实对象404。这是可以使得难以跟踪光标的移动的附加因素。当然，在没有所呈现的所有前述因素的情况下，可能仍然难以跟踪光标移动。
图4B1和4B2描绘了近眼透视显示设备2A分别针对两个光标位置406(1)、406(2)可以显示的示例3D图像。图4C1和4C2描绘了近眼透视显示设备2B分别针对两个光标位置406(1)、406(2)可以显示的内容的示例。
每个近眼透视显示设备2A、2B呈现光标406以使得初始地该光标看起来链接到虚拟对象402。这在图4B1和4C1中描绘。在稍后的时间点，近眼透视显示设备2A的用户已提供使光标链接到真实世界对象404的输入。这在图4B2中描绘。注意，图4B1和4B2示出了针对近眼头戴式显示设备2A的x’/y’图像平面。图4C1和4C2示出了针对近眼头戴式显示设备2B的x”/y”图像平面。
现在参考图4C2，在光标406移动到真实世界对象404之后，头戴式显示设备2B呈现从光标406(2)的当前位置朝向显示设备2A(图4C2中未描绘)的位置的栓系线段414。栓系线段414帮助显示设备2B的用户定位新的光标位置406(2)。此外，栓系线段414帮助显示设备2B的用户立即识别谁在操作光标。
注意，从近眼透视显示设备2B的视点而言的角度移位(θB)可能很大以使得新的光标位置可能在近眼透视显示设备2B的视野之外。这在图4C3中表示。在该示例中，用户仍然可以看到栓系线段414的一部分，但是在显示设备2B的显示器中光标406不可见。在该示例中，栓系线段414看起来接触显示设备2A，这帮助用户立即识别谁在促使光标移动。在该示例中，显示设备2A是指实际的真实世界设备2A。这可帮助用户本能地将他们的关注移向真实世界对象404，以使得光标在显示设备2B中变得可见(例如在图4C2中)。
在一个实施例中，栓系线段414被显示在光标位置与表示光标的驱动者的虚拟位置的化身等之间。简要地参考图4A的示例，两个近眼头戴式显示设备2A、2B可以位于彼此靠近。例如，它们可以在相同的房间中，或者以其它方式对彼此而言在“本地”。然而，光标的操作者可以位于远离正在显示光标的近眼头戴式显示设备。例如，两个近眼头戴式显示设备2A、2B可以位于不同的城市中，或者以其它方式彼此位于远程。在该情形中，近眼透视显示设备2A的“虚拟位置”可被确定为在近眼透视显示设备2B的本地。该虚拟位置可以根据图4A中的全局坐标系来表达。作为一个示例，图4A中的近眼透视显示设备2A的位置可以是“虚拟位置”，而近眼头戴式显示设备2B的位置可以是其真实位置。图4C4描绘了近眼头戴式显示设备2B针对光标406(2)可以显示的内容的示例。栓系线段414在光标406(2)与表示显示设备2A的虚拟位置的化身424之间行进。化身424是在显示设备2A中显示的虚拟对象。化身424可以类似于在操作显示设备2A的实际的人、可以是人的通用表示、或者某种其他表示。
出于讨论的目的，前述示例使用了虚拟对象402和真实对象404。光标406可以从一个虚拟对象移动到另一虚拟对象；从一个真实世界对象移动到另一真实世界对象；或者从真实世界对象移动到虚拟对象。此外，在一些情形中，光标406可以在两个时间点保持在相同的虚拟对象上或相同的真实世界对象上。图4D描绘了光标406从初始时间处的光标位置406(3)移动到稍后时间处的光标位置406(4)的示例。光标位置406(3)、406(4)两者都链接到相同的虚拟对象402。对于真实对象可以出现类似的情形。在这些情形中的每一者中，不是光标操作者的人员跟随光标移动的前述问题会是一个问题。
在图4A的示例中，两个近眼透视显示设备2A、2B之间存在相对大的间隔。然而，即使近眼透视显示设备2A、2B具有很小的物理间隔，跟随光标移动也会是困难的。图4E描绘了两个近眼头戴式显示器设备2A、2B彼此相对靠近的示例。再次，将使用近眼透视显示设备2A的用户在操作光标406的示例。在第一时间点，光标在链接到虚拟对象402的光标位置406(5)。在稍后的时间点，用户将光标移动到链接到真实对象404的光标位置406(6)。在该示例中，从显示设备2B的视点而言的角度变化不一定那么大。然而，在该示例中，从近眼头戴式显示设备2B的视点而言z深度的变化相当大。此外，光标406所链接到的对象改变。这些因素中的任一者或两者使得不在驱动光标的用户难以跟随光标移动。
图4F1和4F2描绘了近眼透视显示器设备2B分别针对光标位置406(5)、406(6)可以显示的内容的示例。图4F1示出了链接到虚拟对象402的初始光标位置406(5)。图4F2示出了链接到真实对象404的稍后光标位置406(6)。为了帮助用户定位光标的新位置，在该实施例中，由显示设备2B显示栓系线段414。栓系线段414链接到光标位置406(6)处的光标。在该示例中，栓系线段414从光标位置406(6)朝向光标的操作者的大体方向行进。换言之，栓系线段414可从光标位置406(6)朝向显示设备2A(或者表示显示设备2A的虚拟位置的化身)的大体方向行进。栓系线段414可用作标记以标识在操作光标的人的位置。栓系线段414不需要实际上看起来接触在操作光标移动的人(或者其显示设备)。图4F2未示出在操作光标的人，但是一种可能性是使在驱动光标移动的人通过头戴式显示设备2B的显示器可见。当然，也可能在驱动光标移动的人在头戴式显示设备2B的显示器的视野之外。即使如此，显示设备2B的用户也许仍然可以快速地辨别谁在驱动光标移动。该知识本身可以帮助用户定位光标的新位置。
图4G描绘了光标移动的示例，该光标移动对于光标移动的非驱动者进行跟踪可能不会呈现太困难的问题。在该示例中，光标初始地在光标位置406(7)。随后，显示设备2A的用户将光标移动到光标位置406(8)。在该示例中，变化量对于显示设备2B的用户进行跟随可能不会呈现太大问题。注意，在该示例中，从显示设备2B的视点而言不存在太大的角度移位。此外，从显示设备2B的视点而言不存在深度的显著变化。类似地，从显示设备2A的视点而言不存在深度的显著变化。此外，光标所链接到的对象未改变。
图4H1和4H2描绘了近眼头戴式显示器设备2B分别针对光标位置406(7)、406(8)可以显示的内容的示例。图4H1示出了链接到虚拟对象402的初始光标位置406(7)。图4H2示出了稍后的光标位置406(8)，该光标位置406(8)仍然链接到虚拟对象402，但在x”方向上稍微移位。在该情形中，近眼透视显示设备2B不必显示栓系线段414。在该情形中示出这种栓系线段414可能往往会遮挡所显示的虚拟对象402。它还可能遮挡某个真实对象。一般而言，在不需要响应于光标位置的显著变化而帮助用户定位光标时显示栓系线段414可能往往会使用户分心。因此，在一个实施例中，近眼头戴式显示设备2B作出何时栓系线段414是有用的并且何时它可能令人分心的智能决定并相应地进行显示。
图5是被配置成响应于光标的深度波动变化而呈现链接到该光标的系链的近眼头戴式显示设备系统2的一个实施例的框图。系统2包括光标位置输入逻辑502、3D图像光标/系链显示逻辑504、系链外观逻辑506、显示器520、输入设备522、以及通信接口524。
光标位置输入逻辑502被配置成接收描述光标的位置的输入。该输入可以从输入设备522接收，这允许光标操作者驱动光标。该输入还可以通过通信链路接收，这允许另一近眼透视显示设备系统2提供光标位置。注意，光标位置输入逻辑502可从输入设备522接收输入，并且随后通过通信接口524发送信息以允许其他系统2确定光标应当被显示在何处。
光标位置输入逻辑502可生成描述光标应当被显示在何处的数据。不管输入来自输入设备522还是通信接口524这都适用。在一个实施例中，所生成的数据包括x位置、y位置和深度位置。x和y位置可以针对图像平面。深度位置还可被称为z位置或z深度。这些位置可以来自系统2的参考系。由此，每个系统2可以使用其自己的参考系来显示光标2。换言之，当一个以上系统2在显示光标时，这些系统可以使用不同的坐标来描述光标应当被显示在该特定系统2的显示器520上的何处。前述内容是出于解说的目的；可以使用其他技术来描述光标应当被显示在何处。光标位置输入逻辑502可向3D图像光标/系链显示逻辑504发送信息以使得它能够恰当地显示光标。
输入设备522可以用多种多样的方式实现，这允许使用许多不同的技术来操作光标。例如，可通过跟踪眼睛注视、跟踪头部位置/取向、跟踪系统2的位置/取向、跟踪手的位置/取向、语音命令等等来操作光标。由此，输入设备522可包括但不限于眼睛跟踪相机134B、眼睛跟踪照明134A、话筒110、GPS 144、3轴陀螺仪132B、3轴磁力计132A、3轴加速度计132C。
通信接口524可以包括但不限于无线通信组件346、启用Wi-Fi的通信设备、蓝牙通信设备、红外通信设备、蜂窝、3G、4G通信设备、无线USB(WUSB)通信设备和/或RFID通信设备。
系链外观逻辑506被配置成确定系链414应该如何显示。系链外观逻辑506可确定何时显示系链以及何时不显示系链。系链外观逻辑506可确定系链的亮度、系链的长度、或者系链的其他物理特性。系链外观逻辑506可从光标位置逻辑502接收描述光标应当被显示在何处的数据。系链外观逻辑506可向3D图像光标/系链显示逻辑504发送信息以使得它能够恰当地显示系链。
3D图像/光标/系链显示逻辑504控制光标和系链如何被显示在显示器520上。显示器520可使用但不限于显示光学系统14、平面波导112、可选的不透明度滤光器114、透视透镜116、透视透镜118、微显示器120来实现。3D图像光标/系链显示逻辑504可被配置成在三维图像中显示光标和系链。在一个实施例中，系统2被配置成访问链接到真实世界坐标系的三维图像。例如，可以根据图4A的坐标系来描述三维图像。然而，3D图像/光标/系链显示逻辑504可被配置成将该坐标系变换成局部坐标系。三维图像可以是由一个以上系统2显示的三维图像。因此，三维图像可以在系统2的外部生成。例如，一个系统2可以生成三维图像并将其与其他系统共享。在该情形中，可通过通信接口524来访问三维图像。
光标位置输入逻辑502、3D图像光标/系链显示逻辑504、以及系链外观逻辑506可用硬件、软件、或者硬件和软件的某种组合来实现。在一个实施例中，至少部分地通过在处理器上执行指令来实现逻辑502、504和/或506。可使用图3A和/或3B的许多组件。例如，光标位置输入逻辑502可由(但不限于)以下一者或多者来实现：控制电路200、处理器210、存储器244、存储器控制器244、相机接口216、控制电路304、图形处理单元(GPU)322、高速缓存324、RAM 326、存储器控制328、存储器330(例如，D-RAM)、闪存控制器332、闪存334、话筒接口340、外部话筒连接器342、PCI高速接口、(诸)USB端口348。
系链外观逻辑506可由(但不限于)以下一者或多者来实现：控制电路200、处理器210、存储器244、存储器控制器244、控制电路304、图形处理单元(GPU)322、高速缓存324、RAM 326、存储器控制328、存储器330(例如，D-RAM)、闪存控制器332、闪存334。
3D图像光标/系链显示逻辑504可由(但不限于)以下一者或多者来实现：控制电路200、处理器210、显示驱动器220、显示格式化器222、显示输入230、显示输出228、带接口232、定时生成器226、控制电路304、图形处理单元(GPU)322、高速缓存324、RAM 326、存储器控制328、存储器330(例如，D-RAM)、闪存控制器332、闪存334。
图6是响应于光标的深度变化而显示链接到该光标的系链(包括改变系链的外观)的过程600的一个实施例的流程图。过程600可由一个或多个近眼头戴式显示设备系统2(诸如但不限于本文所描述的那些近眼头戴式显示设备系统)来实现。
在步骤602中，在近眼透视显示设备系统2中的三维图像中显示光标。在一个实施例中，一个以上近眼透视显示器各自显示三维图像，以使得该三维图像看起来在相同的物理位置，而不管近眼透视显示器2的位置如何。这可被称为三维图像链接到真实世界坐标系。例如，参考图4A，显示设备2A和2B各自显示虚拟对象402，以使得该虚拟对象402看起来在相对于真实世界坐标系的相同物理位置。虚拟对象402还可被显示成使得该虚拟对象看起来具有相对于真实世界坐标系的相同取向。然而，每个近眼透视显示器2可基于其自己的位置显示从其自己视点的三维图像。由此，显示设备2A和2B可显示虚拟对象402的不同视点，因为它们在不同的位置。注意，当显示设备2位于远程时，可向其指派真实世界坐标系中的虚拟位置。
光标406可链接到真实对象或虚拟对象。真实对象以及虚拟对象通常具有某些坐标以使得系统2知道如何显示虚拟对象以便看起来是增强现实的一部分。类似地，光标通常具有坐标。光标的坐标可以使得光标看起来就在真实或虚拟对象的表面。这可产生光标链接到真实或虚拟对象的外观。
在一个实施例中，向光标指派真实世界坐标系中的坐标，该坐标可被变换成近眼透视显示设备2的局部坐标。在一个实施例中，光标在每个显示设备2中显示以使得其看起来在相同的真实世界坐标。
在步骤604中，近眼头戴式显示设备系统2接收指示光标的位置变化的信号。本文已给出了众多示例，但步骤604不限于这些示例。光标位置的一种可能变化是深度变化。该深度变化可以是从操作光标的人的视点而言的深度变化。换言之，深度变化可以是从接收改变光标位置的输入的显示设备2的位置的视点而言。例如，深度变化可以是由光标操作者的近眼头戴式显示设备系统2所显示的z深度的变化。
在步骤606中，响应于光标的深度变化，链接到该光标的系链414的外观被改变。步骤606可包括系链414的外观的许多不同类型的变化。在一个实施例中，步骤606包括：响应于光标的深度位置波动而使系链可见。例如，响应于光标的深度波动增加，可以使系链更加可见，并且响应于光标的深度波动减小，使光标较不可见。使光标更加可见的一个示例是增加系链线段的长度。使光标较不可见的一个示例是减小系链线段的长度。前述内容是使系链的尺寸与深度位置波动成比例的示例。系链的尺寸可按某种其他方式增长/收缩。可通过增加系链的亮度来使系链更加可见，并通过减小系链的亮度来使系链较不可见。由此，亮度可与深度位置的波动成比例。存在其它可能性。
图7是响应于深度波动而确定系链的特性的过程700的一个实施例的流程图。过程700可被用于过程600的步骤606中。过程700可由近眼透视显示设备系统2(诸如但不限于本文所描述的那些近眼透视显示设备系统)来实现。
在步骤702中，接收相对于光标位置的输入。在一个实施例中，光标位置具有z深度。在一个实施例中，该z深度针对光标操作者的近眼透视显示设备系统2。
在步骤704中，确定光标深度的波动。在一个实施例中，光标深度的波动是指z深度变化的速度。如上面提到的，在一个实施例中，这是针对光标操作者的近眼头戴式显示设备系统2的z深度。
在步骤706中，基于光标波动来确定系链的特性。这些特性可包括但不限于系链的长度和系链的亮度。还可在步骤706中确定突显系链的其他特性。
一般而言，当z深度具有高波动时，可使系链更加突显。相比之下，当z深度具有低波动时，可使系链不太明显。一个示例是响应于波动超过第一阈值而增长系链的长度，并响应于波动低于第二阈值而收缩系链的长度。另一示例是响应于高波动(例如，波动超过阈值)而使系链更亮，并响应于低波动(例如，低于阈值)而使系链更暗。
图8是确定光标深度波动的过程800的一个实施例的流程图。过程800可被用于过程700的步骤704中。过程800可由近眼头戴式显示设备系统2(诸如但不限于本文所描述的那些近眼头戴式显示设备系统)来实现。
在步骤802中，访问针对两个时间点的光标位置。这些可以用于在近眼头戴式显示设备系统2中呈现两个连续帧。然而，步骤802不限于该示例。
在步骤804中，确定这两个位置之间z深度的差异。在一个实施例中，z深度用于使光标由该光标的操作者的系统2呈现。
步骤806用于基于z深度的差异来确定光标波动。在一个实施例中，步骤806还将增长因子和收缩因子作为因素。增长因子可以是能够被设置成确定波动响应于某个深度变化而增长的速度的参数。收缩因子可以是能够被设置成确定波动随时间收缩的速度的参数。注意，增长和收缩因子由此可被用于确定系链特性响应于z深度变化而改变的速度。
例如，紧接在大的z深度变化之后，波动参数可以相当高(例如，可超过阈值)。作为一个示例，当波动参数应用于过程700的步骤706中时，这会引起系链具有从光标位置朝向光标操作者的长线段。在该大的光标移动之后，光标可保持相对静止达某一时间。由此，从一帧到下一帧，z深度变化可以很小或没有变化(例如，波动参数可以低于阈值)。在该情形中，收缩因子可被用于随时间收缩波动参数。当波动参数应用于过程700的步骤706中之后，这会引起系链线段随时间逐渐收缩。最终，系链线段可收缩至消失的程度。换言之，在某个时间点，显示的全部内容是光标(不显示系链)。
图9A是响应于光标波动而改变系链的特性的过程900的一个实施例的流程图。过程900是过程700的步骤706的一个实施例。过程900可由光标的非操作者的近眼头戴式显示设备系统2来执行。
在步骤902中，在近眼头戴式显示设备系统2中显示光标而没有系链。在一个实施例中，步骤902参考光标的非操作者的近眼头戴式显示设备系统2。图4C1中描绘了示例，该图4C1示出了光标406(1)被显示为链接到虚拟对象402。
在步骤904中，检测到光标深度位置的大的变化。在一个实施例中，深度位置相对于光标的操作者的近眼头戴式显示设备系统2。过程800可被用于表征深度位置变化的幅度。在一个实施例中，步骤904测试深度波动是否大于阈值。
在步骤906中，响应于深度位置的大的变化而使系链线段出现。图4C2中描绘了示例，该图4C2示出了光标406(2)被显示为链接到真实对象404。此外，系链414链接到光标406(2)。在该示例中，系链414包括开始于光标406的线段。在一个实施例中，该线段指向光标的操作者的大体方向。在一个实施例中，步骤906参考光标的非操作者的近眼头戴式显示设备系统2。
触发显示系链线段所需要的深度波动的量可以是可调节的参数。一种可能性是线段的长度与深度波动成比例。由此，可以使用在过程800的步骤806中确定的波动来确定系链线段的长度。可以存在触发使系链线段出现所需要的最低深度波动水平。一旦出现该最低深度波动水平，系链线段的长度就可以与深度波动成比例。替换地，一旦出现最低深度波动水平，系链线段就可以被确定为不一定与深度波动成比例的某个长度。可使用其他技术来确定系链线段的长度。
在步骤908中，当光标的深度波动低或者没有深度波动时，系链线段的长度逐渐缩短。在图9B和9C中描绘了示例，该示例示出了系链的长度逐渐变短。图9B和9C示出了光标406(2)在与图4C2相同的x-y位置中。尽管在那些图中未示出z深度，但z深度也不改变。由此，当z深度没有波动时，系链414的长度逐渐缩短。最终，系链414可以完全被移除。z深度可以具有某个小的波动量，这可以被忽略或被视为没有波动。例如，光标可以在某种程度上由于例如操作该光标的人的轻微运动(其并非旨在移动光标)而移动。在一个实施例中，步骤908参考光标的非操作者的近眼头戴式显示设备系统2。
作为系链线段的长度的替换或补充，可以改变系链的其他特性。例如，过程900的一种替换方案是在步骤906、908中改变系链的亮度，作为改变系链线段的长度的补充或替换。
在一个实施例中，对光标的移动进行平滑以帮助非操作者跟随其移动。图10是平滑光标位置变化的过程1000的一个实施例的流程图。过程1000可由近眼头戴式显示设备系统2(诸如但不限于本文所描述的那些近眼头戴式显示设备系统)来实现。
在步骤1002中，访问平滑参数。该平滑参数可以用于减慢光标从近眼头戴式显示设备系统2中显示的一帧移动到下一帧的速度。
在步骤1004中，访问两个光标位置。在一个实施例中，可以在操作光标的人的显示设备2的局部坐标系中表达这些位置。然而，可以在不同的坐标系中表达这些位置。例如，可以在显示光标的显示设备2的局部坐标系中表达这两个光标位置。
在一个实施例中，光标具有x坐标、y坐标和z坐标。这两个光标位置可以是针对任何两个时间点。这两个时间点可以与可能潜在地在显示系统2中显示的两个连续帧相关联。然而，可在显示帧之前执行某种混合，如下面将解释的。
在步骤1006中，平滑参数被应用于这两个连续的光标位置。在一个实施例中，步骤1006产生在这两个连续光标位置之间某处的光标位置。例如，插值函数可被应用于这两个连续光标位置。平滑参数可以用于确定最终光标位置是相对靠近第一位置还是相对靠近第二位置等等。
在一个实施例中，在步骤1006中仅平滑z位置。由此，x和y位置可以不受平滑操作的影响。当在光标操作者的显示设备2的局部坐标系中表达光标坐标时，可使用该技术，但是不限于此。
本技术的各实施例已经在上面在解说所指定的功能的执行及其关系的功能构造块的帮助下进行了描述。这些功能构造块的边界在本文中经常为了方便描述而被限定。替代的边界可被定义，只要所指定的功能及其关系被适当地执行。任何这些替代地边界从而落在本技术的范围和精神内。
尽管用结构特征和/或方法动作专用的语言描述了本发明主题，但可以理解，所附权利要求书中定义的主题不必限于以上所描述的具体特征或动作。更确切而言，以上所描述的具体特征和动作是作为实现权利要求的示例形式公开的。本技术的范围由所附的权利要求进行定义。

Claims (15)

1.一种装置，包括：
近眼透视显示器；以及
逻辑，所述逻辑被配置成与所述近眼透视显示器通信并且被配置成：
在所述近眼透视显示器中显示三维图像以使得所述三维图像看起来位于真实世界环境中；
从所述装置的位置的视点在所述三维图像中的一位置处显示光标，其中，所述光标从来自不同位置的所述三维图像的另一视点而言具有深度位置；以及
响应于从所述另一视点而言所述光标的深度位置变化而改变链接到所述光标的系链的外观。
2.如权利要求1所述的装置，其特征在于，所述逻辑被进一步配置成：
响应于所述光标从相对于从所述另一视点而言的深度是静止的变为改变从所述另一视点而言的深度位置，使所述系链出现在所述近眼透视显示器中。
3.如权利要求1或2所述的装置，其特征在于，所述逻辑被进一步配置成：
响应于所述光标相对于从所述另一视点而言的深度位置变化是静止的，使所述系链在所述近眼透视显示器中逐渐消失。
4.如权利要求1至3中任一项所述的装置，其特征在于，所述逻辑被进一步配置成：
将所述系链显示为链接到所述近眼透视显示器中的所述光标的线段；以及
响应于从所述另一视点而言的所述光标的深度位置波动而改变所述线段的长度。
5.如权利要求4所述的装置，其特征在于，所述逻辑被进一步配置成：
响应于从所述另一视点而言的所述光标的高深度位置波动而增加所述线段的长度；以及
响应于从所述另一视点而言的所述光标的低深度位置波动或没有深度位置波动而逐渐减小所述线段的长度。
6.如权利要求1所述的装置，其特征在于，所述逻辑被进一步配置成：
在所述近眼透视显示器中显示所述系链以具有与从所述另一视点而言的所述光标的深度位置波动成比例的视点。
7.如权利要求6所述的装置，其特征在于，所述逻辑被进一步配置成：
响应于从所述另一视点而言的所述光标的高深度位置波动而增加所述系链的亮度；以及
响应于从所述另一视点而言的所述光标的低深度位置波动或没有深度位置波动而逐渐减小所述系链的亮度。
8.如权利要求1至7中任一项所述的装置，其特征在于，所述光标由在所述装置远程的实体来操作，并且所述逻辑被进一步配置成：
在所述近眼透视显示器中显示表示所述远程实体的化身；以及
将所述系链显示为从所述光标朝向所述化身的线段。
9.如权利要求1至7中任一项所述的装置，其特征在于，所述光标由在所述装置本地的实体来操作，并且所述逻辑被进一步配置成：将所述系链显示为从所述光标朝向所述光标操作者的本地位置的线段。
10.如权利要求1至9中任一项所述的装置，其特征在于，所述逻辑被进一步配置成：
随时间平滑所述光标的位置变化。
11.如权利要求1至10中任一项所述的装置，其特征在于，所述逻辑被进一步配置成：将所述光标链接到所述三维图像中的真实世界对象或虚拟对象。
12.一种方法，包括：
从第一透视混合现实显示设备的位置的视点在所述第一透视混合现实显示设备中的三维图像中显示光标，其中，所述光标从所述第一透视混合现实显示设备的视点而言在所述三维图像中具有深度位置；
从第二透视混合现实显示设备的位置的视点在所述第二透视混合现实显示设备中的所述三维图像中显示所述光标，其中，所述光标看起来在所述第一透视混合现实显示设备和所述第二透视混合现实显示设备中的相同物理位置中；以及
响应于在所述第一透视混合现实显示设备中所述光标的深度位置的变化而改变链接到所述第二透视混合现实显示设备中的所述光标的系链的外观。
13.如权利要求12所述的方法，其特征在于，改变所述系链的外观包括：
响应于所述光标从相对于所述深度位置是静止的变为所述深度位置改变，使所述系链出现在所述第二透视混合现实显示设备中。
14.如权利要求12或13所述的方法，其特征在于，改变所述系链的外观包括：
响应于所述光标相对于所述深度位置保持静止，使所述系链在所述第二透视混合现实显示设备中逐渐消失。
15.如权利要求12至14中任一项所述的方法，其特征在于，改变所述系链的外观包括：
在所述第二透视混合现实显示设备中显示所述系链以具有与所述深度位置的波动成比例的长度。
CN201780004837.5A 2016-02-02 2017-01-17 用于基于波动的光标栓系的方法和装置 Active CN108431738B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/013,635 US10209785B2 (en) 2016-02-02 2016-02-02 Volatility based cursor tethering
US15/013,635 2016-02-02
PCT/US2017/013685 WO2017136129A1 (en) 2016-02-02 2017-01-17 Volatility based cursor tethering

Publications (2)

Publication Number Publication Date
CN108431738A true CN108431738A (zh) 2018-08-21
CN108431738B CN108431738B (zh) 2021-06-08

Family

ID=58016806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780004837.5A Active CN108431738B (zh) 2016-02-02 2017-01-17 用于基于波动的光标栓系的方法和装置

Country Status (4)

Country Link
US (1) US10209785B2 (zh)
EP (1) EP3411778B1 (zh)
CN (1) CN108431738B (zh)
WO (1) WO2017136129A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115291733A (zh) * 2022-09-28 2022-11-04 宁波均联智行科技股份有限公司 一种光标控制方法及装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US10930075B2 (en) 2017-10-16 2021-02-23 Microsoft Technology Licensing, Llc User interface discovery and interaction for three-dimensional virtual environments
US11200655B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Wearable visualization system and method
US11137875B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Mixed reality intelligent tether for dynamic attention direction
EP3911992A4 (en) * 2019-04-11 2022-03-23 Samsung Electronics Co., Ltd. HEAD MOUNTED DISPLAY DEVICE AND METHOD OF OPERATION THEREOF
US11308698B2 (en) * 2019-12-05 2022-04-19 Facebook Technologies, Llc. Using deep learning to determine gaze
US11630509B2 (en) * 2020-12-11 2023-04-18 Microsoft Technology Licensing, Llc Determining user intent based on attention values
EP4288856A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd Extended reality for productivity
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20240077984A1 (en) * 2022-09-01 2024-03-07 Lei Zhang Recording following behaviors between virtual objects and user avatars in ar experiences

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0285315A2 (en) * 1987-04-02 1988-10-05 Tektronix, Inc. Cursor for use in 3-D imaging systems
US6965369B2 (en) * 2002-02-11 2005-11-15 Microsoft Corporation Method and apparatus for smoothing cursor movement in relation to a refresh rate of a display
US20090284532A1 (en) * 2008-05-16 2009-11-19 Apple Inc. Cursor motion blurring
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
CN104460951A (zh) * 2013-09-12 2015-03-25 天津智树电子科技有限公司 一种人机交互方法

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7683883B2 (en) 2004-11-02 2010-03-23 Pierre Touma 3D mouse and game controller based on spherical coordinates system and system for use
JP4933164B2 (ja) * 2005-07-01 2012-05-16 キヤノン株式会社 情報処理装置、情報処理方法、プログラムおよび記憶媒体
US9341843B2 (en) * 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9285589B2 (en) * 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20120212499A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content control during glasses movement
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US8488246B2 (en) * 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US8477425B2 (en) * 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US8472120B2 (en) * 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US20120212484A1 (en) * 2010-02-28 2012-08-23 Osterhout Group, Inc. System and method for display content placement using distance and location information
US9366862B2 (en) * 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US20160187654A1 (en) * 2011-02-28 2016-06-30 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8717318B2 (en) 2011-03-29 2014-05-06 Intel Corporation Continued virtual links between gestures and user interface elements
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US8693731B2 (en) * 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US10254855B2 (en) * 2013-06-04 2019-04-09 Wen-Chieh Geoffrey Lee High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device
US9710130B2 (en) * 2013-06-12 2017-07-18 Microsoft Technology Licensing, Llc User focus controlled directional user input
US9442642B2 (en) * 2013-06-14 2016-09-13 Microsoft Technology Licensing, Llc Tethered selection handle
US9235051B2 (en) * 2013-06-18 2016-01-12 Microsoft Technology Licensing, Llc Multi-space connected virtual data objects
US9703396B2 (en) 2013-07-12 2017-07-11 Wen-Chieh Geoffrey Lee High resolution and high sensitivity three-dimensional (3D) cursor maneuvering reference plane, and methods of its manufacture
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9766460B2 (en) * 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10740971B2 (en) * 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0285315A2 (en) * 1987-04-02 1988-10-05 Tektronix, Inc. Cursor for use in 3-D imaging systems
US6965369B2 (en) * 2002-02-11 2005-11-15 Microsoft Corporation Method and apparatus for smoothing cursor movement in relation to a refresh rate of a display
US20090284532A1 (en) * 2008-05-16 2009-11-19 Apple Inc. Cursor motion blurring
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
CN104460951A (zh) * 2013-09-12 2015-03-25 天津智树电子科技有限公司 一种人机交互方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115291733A (zh) * 2022-09-28 2022-11-04 宁波均联智行科技股份有限公司 一种光标控制方法及装置

Also Published As

Publication number Publication date
EP3411778A1 (en) 2018-12-12
EP3411778B1 (en) 2021-10-27
US10209785B2 (en) 2019-02-19
WO2017136129A1 (en) 2017-08-10
US20170220134A1 (en) 2017-08-03
CN108431738B (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
CN108431738A (zh) 基于波动的光标栓系
US10132633B2 (en) User controlled real object disappearance in a mixed reality display
JP6391685B2 (ja) 仮想オブジェクトの方向付け及び可視化
CN105849621B (zh) 眼睛跟踪装置、方法和系统
CN105408837B (zh) Hmd上的混合世界/身体锁定的hud
US9122321B2 (en) Collaboration environment using see through displays
TWI597623B (zh) 可穿戴基於行爲的視覺系統
CN102591449B (zh) 虚拟内容和现实内容的低等待时间的融合
CN105452994B (zh) 虚拟物体的同时优选观看
US11275453B1 (en) Smart ring for manipulating virtual objects displayed by a wearable device
US8963956B2 (en) Location based skins for mixed reality displays
CN113168007A (zh) 用于增强现实的系统和方法
EP3714318B1 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
CN107430278A (zh) 基于用户的上下文敏感全息图反应
JP2016507805A (ja) 複合現実環境のための直接インタラクション・システム
CN107003520A (zh) 透视显示器光学结构
KR20130034125A (ko) 증강현실 기능을 구비한 안경형 모니터
CN114531951A (zh) 自动视频捕捉和合成系统
US11580300B1 (en) Ring motion capture and message composition system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant