CN107463258A - 头戴式显示设备、头戴式显示交互系统及显示交互方法 - Google Patents

Abstract

本公开提供一种头戴式显示设备、头戴式显示交互系统及显示交互方法，属于智能技术领域。该头戴式显示设备包括：内容接收模块，被配置为接收显示内容，其中所述显示内容是由与所述头戴式显示设备通信的智能设备发送而来；光学模块，被配置为将所述显示内容投影到空间中形成虚拟内容；检测模块，被配置为检测用户头部运动的方位角；控制模块，被配置为根据所述方位角计算偏移量并按照所述偏移量调整所述显示内容投射到空间中的位置。通过检测用户头部运动的方位角，根据方位角计算并调整显示内容投射到空间中的位置，提供一种低成本低功耗的交互方法，并不需要精准的空间定位和手势识别，运算量可以大大减小。

Description

头戴式显示设备、头戴式显示交互系统及显示交互方法

技术领域

本公开总体涉及智能技术领域，具体而言，涉及一种头戴式显示设备、头戴式显示交互系统及显示交互方法。

背景技术

增强现实(Augmented Reality，AR)技术是目前一大技术热点，增强现实技术把原本在现实世界的一定时间空间范围内很难体验到的实体信息(如视觉信息、声音、味道、触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验，不仅展现真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。

增强现实技术除了应用在移动终端或者展览展示用的显示设备中，还更广泛的应用在头戴式显示设备(即头显)上。目前现有的增强现实头显，一些低端的产品仅仅是通过头显集成的摄像头发现目标物体之后呈现出相应的信息，不具备交互功能，主要用来做训练应用；也有一些产品具备较为完整的手势识别交互功能，虽然功能全面，但是运算量大、功耗大，成本也随之增大。

因此，现有技术中的技术方案还存在有待改进之处。

在所述背景技术部分公开的上述信息仅被配置为加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种头戴式显示设备、头戴式显示交互系统及显示交互方法，能够至少部分地或者全部地解决上述现有技术中存在的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种头戴式显示设备，包括：

内容接收模块，被配置为接收显示内容，其中所述显示内容是由与所述头戴式显示设备通信的智能设备发送而来；光学模块，被配置为将所述显示内容投影到空间中形成虚拟内容；检测模块，被配置为检测用户头部运动的方位角；控制模块，被配置为根据所述方位角计算偏移量并按照所述偏移量调整所述显示内容投射到空间中的位置。

在本公开的一个实施例中，所述光学模块为自由曲面光学模组、衍射光摄光学模组或光波导光学模组其中一种，所述检测模块为姿态传感器。

在本公开的一个实施例中，所述虚拟内容中包括指示标识，被配置为定位热点区域，所述热点区域为用户在所述虚拟内容中进行交互的位置。

在本公开的一个实施例中，所述检测模块还被配置为检测用户观看所述虚拟内容中心时头部的初始方位角，所述控制模块还被配置为根据初始方位角确定所述虚拟内容显示时的初始位置，其中所述初始方位角为用户观看所述虚拟内容中心时头部的方位角。

在本公开的一个实施例中，所述控制模块还被配置为根据所述方位角与所述初始方位角计算偏移角度；通过所述偏移角度计算得到所述偏移量；根据所述偏移量调整所述显示内容投射到空间中的位置。

根据本公开的另一个方面，还提供一种头戴式显示交互系统，包括：以上所述的头戴式显示设备和智能设备，其中所述智能设备被配置为实现点击操作，且所述头戴式显示设备和所述智能设备之间通过有线或无线的方式进行通信。

在本公开的一个实施例中，还包括：连接线，被配置为所述头戴式显示设备与所述智能设备的连接和通信。

根据本公开的再一个方面，还提供一种显示交互方法，包括：接收显示内容，其中所述显示内容是由与所述头戴式显示设备连接的智能设备发送而来；将所述显示内容投影到空间中形成虚拟内容；检测用户头部运动的方位角；根据所述方位角计算偏移量并按照所述偏移量调整所述显示内容投射到空间中的位置。

在本公开的一个实施例中，将所述显示内容投影到空间中形成虚拟内容之前，还包括：

获取用户头部运动的初始方位角，其中所述初始方位角为用户观看所述虚拟内容中心时头部的方位角；根据初始方位角确定所述虚拟内容显示时的初始位置。

在本公开的一个实施例中，还包括：

根据所述方位角和所述初始方位角计算得到偏移角度；通过所述偏移角度计算得到所述偏移量；根据所述偏移量调整所述显示内容投射到空间中的位置。

根据本公开一些实施例提供的头戴式显示设备、头戴式显示交互系统及显示交互方法，通过检测用户头部运动的方位角，根据方位角计算并调整显示内容投射到空间中的位置，提供一种低成本低功耗的交互方法，并不需要精准的空间定位和手势识别，运算量可以大大减小。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。

图1示出本公开一实施例中提供的一种头戴式显示设备的示意图。

图2示出本公开一实施例中用户头部运动偏转角度α的示意图。

图3示出本公开一实施例中当用户头部在位置P1时虚拟内容相对于虚拟显示屏的位置示意图。

图4示出本公开一实施例中当用户头部在位置P2时虚拟内容相对于虚拟显示屏的位置示意图。

图5示出本公开另一实施例中提供的一种头戴式显示交互系统的示意图。

图6示出本公开另一实施例中通过用户佩戴头戴式显示设备时在其眼睛正前方形成虚拟内容的示意图。

图7示出本公开再一实施例中提供的一种显示交互方法的流程图。

图8示出本公开再一实施例中步骤S720将显示内容投影到空间中形成虚拟内容之前的流程图。

图9示出本公开再一实施例中步骤S740根据方位角计算偏移量并按照偏移量调整显示内容投射到空间中的位置的流程图。

图10示出本公开再一实施例中提供的显示交互方法的实施流程图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出本公开一实施例中提供的一种头戴式显示设备的示意图，如图1所示，该头戴式显示设备100包括：内容接收模块110、光学模块120、检测模块130和控制模块140。本实施例中的头戴式显示设备与一个外置的智能设备交互使用，头戴式显示设备佩戴在用户头部，智能设备用于接收用户的触控操作，对头戴式显示设备上的显示内容进行控制。例如，该头戴式显示设备可以为AR头盔。

在本实施例中，内容接收模块110被配置为接收显示内容，其中显示内容是由与头戴式显示设备通信的智能设备发送而来，其中头戴式显示设备与智能设备之间可以通过有线或无线通信的方式实现数据或信息的传输，通过将智能设备的显示屏上的显示内容传输给头戴式显示设备，并利用头戴式显示设备投射到空间中的虚拟内容进行浏览，使用户实现佩戴头戴式显示设备来替代智能设备的信息浏览功能。

在本实施例中，光学模块120被配置为将显示内容投影到空间中形成虚拟内容，其中光学模块120可以为自由曲面光学模组、衍射光摄光学模组或光波导光学模组其中一种，相应的，头戴式显示设备的光学方案可以是根据不同的光学模组确定采用半反半透式、光波导式、离轴反射镜式、自由曲面棱镜式、非双通道式中的任一种，实现画面的叠加，使得画面的每一束光线被射入眼睛，而这些光线的反向延长线在用户前方汇合成为虚像的像点，而这些像点的集合成为用户通过佩戴头戴式显示设备而看到的画面。另外，光学模组120除了包括用于成像的光学部之外，还可以进一步包括显示屏或者微型投影仪等器件，可以接收显示内容并投射到光学部件，进而投影到空间中形成虚拟内容。

在本实施例中，检测模块130被配置为检测用户头部运动的方位角，其中检测模块130可以为姿态传感器，能够实时检测用户头部运动，并得到量化的数据，以便根据检测结果完成控制。通过姿态传感器获取到用户头部的姿态，此时显示内容可以定位到用户眼睛的正前方，而不是定位在眼睛的侧面，从而能保证用户第一眼就看到投射在空间中的虚拟内容。

在本实施例中，控制模块140被配置为根据方位角计算偏移量并按照偏移量调整显示内容投射到空间中的位置。

需要说明的是，本实施例中头戴显示设备在使用中大致分为两个阶段，即校准阶段和交互阶段。

在校准阶段，检测模块130检测用户观看虚拟内容中心时头部的初始方位角，其中初始方位角为用户观看虚拟内容中心时头部的方位角，例如此时用户可以选择一个自己平时较为习惯且舒服的姿势，从而获取初始方位角。进一步的，控制模块140根据初始方位角确定虚拟内容显示时的初始位置，初始方位角与虚拟内容显示的初始位置(即虚拟内容投射在空间的位置)的对应关系是预设的，使用前针对头戴式显示设备需要通过多次反复试验计算得到两者的预设关系，而且这种预设关系固定不变。当用户转动头部的时候，虚拟内容的位置就会相对人眼发生偏移，即用户头部运动过程中方位角发生变化，虚拟内容投射在空间中相对于用户头部的初始方位角并不变化，因此如果用户想要再次通过头戴设备看到虚拟内容，就需要把头部转回到原来的方位角(即初始方位角)。

校准的过程为：

当用户头部运动过程中方位角发生变化时，检测模块测量得到用户头部运动的方位角，并将该数值发送给控制模块，控制模块首先根据测量得到的方位角与初始方位角计算偏移角度；其次，通过偏移角度计算得到偏移量；最后，根据偏移量调整显示内容投射到空间中的位置。校准完成后，光学模块将虚拟内容投射到空间中，并保持画面稳定地显示在空间的初始位置。

由初始方位角与初始位置满足预设的对应关系，假设初始方位角为0，则根据测量的方位角与初始方位角计算得到偏移角度为α，通过偏移角度计算偏移量的公式为F＝D*sinα，其中F为投射到空间中的画面在空间中的偏移量，D为虚拟内容到用户眼镜的距离，D是根据头戴式显示设备中光学镜片的设计可以得到一个已知的参数，由选定的光学模块的类型决定，此处不再赘述。

以图2所示的用户头部运动偏转角度α的示意图为例，用户U观看虚拟内容AA中心的位置为P1，即初始位置为P1，当用户U的头部发生转动，用户U观看虚拟内容中心的位置转为P2，参见图2所示，偏移角度α就是用户U头部转动的角度。相应的，图3示出当用户U头部在位置P1时虚拟内容AA相对于虚拟显示屏BB的位置示意图，图4示出当用户头部在位置P2时虚拟内容AA相对于虚拟显示屏BB的位置示意图。其中虚拟显示屏是指呈现在用户的眼睛正前方的一片虚拟空间。通过对比图3和图4可以看出，用户头部转动时，虚拟内容的位置不变，即上述的“保持画面稳定地显示在空间的初始位置”，但是相对于与用户眼睛对应的虚拟显示屏的相对位置关系发生了偏移。

在本实施中，虚拟内容中包括指示标识，被配置为定位热点区域，其中热点区域为用户在虚拟内容中进行交互的位置，该指示标识为虚拟内容中的一部分，是一种起到传统桌面显示系统中鼠标指示标识作用的图形符号，便于用于将要操作的位置(即热点区域)，允许用户在热点区域中进行交互操作。

在交互阶段，检测模块检测用户头部运动的方位角，此时虚拟内容中的指示标识随用户头部的运动而移动，因此说校准之后，用户利用移动头部来实现瞄准的效果。用户头部运动起到移动指示标识的作用，在指示标识没有移动到热点区域时，用户用手在智能设备的触摸屏上做任何点击动作都没有响应，只有将指示标识移动到热点区域并发出不同的点击动作才会执行相应的操作。这样，可以在交互阶段对显示的虚拟内容进行简单的交互操作，实现信息浏览所需要的基本操作，例如打开、关闭、返回、滑动等，这些操作与传统触摸技术中预设的规则类似，此处不再赘述。

综上所述，基于本实施例提供的头戴式显示设备可以替代手机的信息浏览功能，帮助人们更便捷的浏览信息，可以解决人们在出行路途上，尤其是步行过程中频繁低头查看智能设备浏览信息所带来的安全问题。本实施例利用至于头戴式显示设备外部的智能设备所配有的触摸屏实现对虚拟内容的点击操作，可以避免目前很多AR头盔内容不能根据用户头部姿态调节位置，从而丧失交互的真实性，由于不需要进行精准的空间定位和手势识别，因此运算量较小。

图5示出本公开另一实施例提供的一种头戴式显示交互系统的示意图，如图5所示，该头戴式显示交互系统包括：以上的头戴式显示设备和智能设备200，其中智能设备200被配置为实现点击操作，且头戴式显示设备100和智能设备200之间通过有线或无线的方式进行通信。

如图5所示，该头戴式显示交互系统中还包括连接线300，被配置为头戴式显示设备100与智能设备200的连接和通信。

图6示出通过用户U佩戴头戴式显示设备100时在其眼睛正前方形成虚拟内容AA的示意图。

其中图5和图6示出的头戴式显示交互系统均是以头戴式显示设备100与智能设备200有线通信的方式为例，除此之外，二者还可以是通过无线通信的方式，例如蓝牙、WIFI或移动网络等无线通信。

基于上述，本实施例中的头戴式显示交互系统可以实现如上述实施例提供的头戴式显示设备相同的技术效果，此处不再赘述。

图7示出本公开再一实施例中提供的一种显示交互方法的流程图。

如图7所示，在步骤S710中，接收显示内容，其中显示内容是由与头戴式显示设备连接的智能设备发送而来。通过将智能设备的显示屏上的显示内容传输给头戴式显示设备，并利用头戴式显示设备投射到空间中的虚拟内容进行浏览，使用户实现佩戴头戴式显示设备来替代智能设备的信息浏览功能。

如图7所示，在步骤S720中，将显示内容投影到空间中形成虚拟内容。利用光学模块在用户眼睛正前方的空间中产生叠加的画面，形成虚拟内容。

如图7所示，在步骤S730中，检测用户头部运动的方位角，能够实时检测用户头部运动，并得到量化的数据，以便根据检测结果完成控制。

如图7所示，在步骤S740中，根据方位角计算偏移量并按照偏移量调整显示内容投射到空间中的位置。

图8示出本实施例中步骤S720将显示内容投影到空间中形成虚拟内容之前的流程图。

如图8所示，在步骤S811中，获取用户头部运动的初始方位角，其中初始方位角为用户观看虚拟内容中心时头部的方位角。

如图8所示，在步骤S812中，根据初始方位角确定虚拟内容显示时的初始位置。

图9示出本实施例中步骤S740根据方位角计算偏移量并按照偏移量调整显示内容投射到空间中的位置的流程图。

如图9所示，在步骤S911中，根据方位角和初始方位角计算得到偏移角度。

如图9所示，在步骤S912中，通过偏移角度计算得到偏移量。由初始方位角与初始位置满足预设的对应关系，假设初始方位角为0，则根据测量的方位角与初始方位角计算得到偏移角度为α，通过偏移角度计算偏移量的公式为F＝D*sinα，其中F为投射到空间中的画面在空间中的偏移量，D为虚拟内容到用户眼镜的距离，D是根据头戴式显示设备中光学镜片的设计可以得到一个已知的参数，由选定的光学模块的类型决定。

如图9所示，在步骤S913中，根据偏移量调整显示内容投射到空间中的位置。具体的，首先在智能设备上根据偏移量调整显示内容在显示设备的触摸屏上的位置，然后将智能设备的显示内容投射到空间中，从而实现调整虚拟内容在空间中的位置。

图10示出本实施例提供的显示交互方法的实施流程图。

如图10所示，在步骤S101中，检测用户头部运动的方位角，并传输给智能设备。

如图10所示，在步骤S102中，根据用户头部运动的方位角计算偏移量。

如图10所示，在步骤S103中，根据偏移量调整显示内容在智能设备的触摸屏上的位置，并传输到头戴式显示设备的光学模块。

如图10所示，在步骤S104中，光学模块将虚拟内容投射到控件中，保持显示画面在空间中的初始位置稳定。

如图10所示，在步骤S105中，虚拟内容中的指示标识随头部运动发生位置移动。

如图10所示，在步骤S106中，判断指示标识是否移动到虚拟内容的热点区域，如果是，则继续步骤S107，如果否，则返回步骤S101。

如图10所示，在步骤S107中，判断用户是否点击触摸屏，如果是，则继续步骤S108，如果否，则返回步骤S101。

如图10所示，在步骤S108中，发生点击动作。

如图10所示，在步骤S109中，根据预设的规则实现打开、关闭、返回、滑动等操作。

根据本公开上述实施例提供的头戴式显示设备、头戴式显示交互系统及显示交互方法，通过检测用户头部运动的方位角，根据方位角计算并调整显示内容投射到空间中的位置，提供一种低成本低功耗的交互方法，并不需要精准的空间定位和手势识别，运算量可以大大减小。

应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应被配置为许多其它实施方式。

以上具体地示出和描述了本公开的示例性实施方式。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种头戴式显示设备，其特征在于，包括：

内容接收模块，被配置为接收显示内容，其中所述显示内容是由与所述头戴式显示设备通信的智能设备发送而来；

光学模块，被配置为将所述显示内容投影到空间中形成虚拟内容；

检测模块，被配置为检测用户头部运动的方位角；

控制模块，被配置为根据所述方位角计算偏移量并按照所述偏移量调整所述显示内容投射到空间中的位置。

2.根据权利要求1所述的头戴式显示设备，其特征在于，所述光学模块为自由曲面光学模组、衍射光摄光学模组或光波导光学模组其中一种，所述检测模块为姿态传感器。

3.根据权利要求1所述的头戴式显示设备，其特征在于，所述虚拟内容中包括指示标识，被配置为定位热点区域，所述热点区域为用户在所述虚拟内容中进行交互的位置。

4.根据权利要求1所述的头戴式显示设备，其特征在于，所述检测模块还被配置为检测用户观看所述虚拟内容中心时头部的初始方位角，所述控制模块还被配置为根据初始方位角确定所述虚拟内容显示时的初始位置，其中所述初始方位角为用户观看所述虚拟内容中心时头部的方位角。

5.根据权利要求4所述的头戴式显示设备，其特征在于，所述控制模块还被配置为根据所述方位角与所述初始方位角计算偏移角度；通过所述偏移角度计算得到所述偏移量；根据所述偏移量调整所述显示内容投射到空间中的位置。

6.一种头戴式显示交互系统，其特征在于，包括：权利要求1-5中任一项所述的头戴式显示设备和智能设备，其中所述智能设备被配置为实现点击操作，且所述头戴式显示设备和所述智能设备之间通过有线或无线的方式进行通信。

7.根据权利要求6所述的头戴式显示交互系统，其特征在于，还包括：连接线，被配置为所述头戴式显示设备与所述智能设备的连接和通信。

8.一种显示交互方法，其特征在于，包括：

接收显示内容，其中所述显示内容是由与所述头戴式显示设备连接的智能设备发送而来；

将所述显示内容投影到空间中形成虚拟内容；

检测用户头部运动的方位角；

根据所述方位角计算偏移量并按照所述偏移量调整所述显示内容投射到空间中的位置。

9.根据权利要求8所述的显示交互方法，其特征在于，将所述显示内容投影到空间中形成虚拟内容之前，还包括：

获取用户头部运动的初始方位角，其中所述初始方位角为用户观看所述虚拟内容中心时头部的方位角；

根据初始方位角确定所述虚拟内容显示时的初始位置。

10.根据权利要求9所述的显示交互方法，其特征在于，还包括：

根据所述方位角和所述初始方位角计算得到偏移角度；

通过所述偏移角度计算得到所述偏移量；

根据所述偏移量调整所述显示内容投射到空间中的位置。