CN108616752B - 支持增强现实交互的头戴设备及控制方法 - Google Patents

Abstract

本发明公开了一种支持增强现实交互的头戴设备及控制方法，其中，头戴设备包括：头部姿态跟踪模块用于根据摄像设备的拍摄图像通过计算机视觉跟踪得到自身相对环境的三维姿态数据，并结合惯性测量单元的测量数据对用户的头部姿态进行跟踪并获取用户头部姿态；时间帧同步模块，用于通过时间同步协议同步终端和设备端的时钟，实现显示设备的显示与至少一个液晶镜片快门的同步；全息影像渲染模块，用于根据用户头部姿态渲染出基于用户左眼和右眼所看的全息影像投影，使得用户体验全息影像显示在显示设备平面之外的立体视觉效果。该头戴设备极大地降低了设备的成本，降低设备的配置硬件要求，提高了用户的佩戴舒适度，大大提升用户的使用体验。

Description

支持增强现实交互的头戴设备及控制方法

技术领域

本发明涉及现实增强/虚拟现实设备与方法技术领域，特别涉及一种支持增强现实交互的头戴设备及控制方法。

背景技术

目前，随着现实增强/虚拟现实技术的发展，越来越多的实际应用场景可以被全息影像技术所支持。对生产力用户，现实增强技术可以极大地提高他们的工作效率；对于具有高风险的特殊作业用户，现实增强技术不仅能及时地提供所有必需信息给正在作业的用户，而且还能提高用户作业安全性；对于艺术设计用户，现实增强技术可以更加直观和自然地让设计者与其作品交互；对于商业或科学工作者，现实增强技术可以让多维数据更加直观和清晰的呈现给目标观众。

然而，当前的显示增强/虚拟现实技术的载体设备普遍存在着成本高、舒适度低、兼容性差、可扩展性不佳等问题。常见的现实增强技术往往以头戴设备为载体，然而，现在市场的主流设备均以昂贵的光波导材料为显示媒介，这些搭载光波导显示技术的头戴设备往往还存在着可视角度小、成本高、质量重、舒适度低等多方面问题。

另外，搭载虚拟现实技术的头戴设备均是以液晶显示屏为显示媒介。这种显示方式往往存在着清晰度低、纱窗效应等问题。更为重要的是，因为这种有限的可视角度与封闭式的显示方式，往往导致用户在长期佩戴设备后会产生晕眩与不适等感觉。除此之外，高昂的成本和对硬件配置极高的依赖性也成为了虚拟现实/现实增强技术推广应用的主要障碍。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种支持增强现实交互的头戴设备，该设备极大地降低了设备的成本，降低设备的配置硬件要求，提高了用户的佩戴舒适度，大大提升用户的使用体验。

本发明的另一个目的在于提出一种支持增强现实交互的头戴设备的控制方法。

为达到上述目的，本发明一方面实施例提出了一种支持增强现实交互的头戴设备，包括：头部姿态跟踪模块，所述头部姿态跟踪模块包括摄像设备和惯性测量单元，用于根据所述摄像设备的拍摄图像通过计算机视觉跟踪得到自身相对环境的三维姿态数据，并结合所述惯性测量单元的测量数据对用户的头部姿态进行跟踪并获取用户头部姿态；时间帧同步模块，用于通过时间同步协议同步终端和设备端的时钟，使得所述终端控制显示设备的刷新频率和所述设备端控制设立在用户眼前的至少一个液晶镜片快门的开关频率同步，以实现所述显示设备的显示与所述至少一个液晶镜片快门的同步；全息影像渲染模块，用于根据所述用户头部姿态渲染出基于用户左眼和右眼所看的全息影像投影，使得用户体验全息影像显示在所述显示设备平面之外的立体视觉效果。

本发明实施例的支持增强现实交互的头戴设备，以用户显示器为显示媒介，不需要配备复杂的全息显示器件，极大地降低了设备的成本，头部跟踪技术与用户显示器相配合，使得低延时、高效率的头部跟踪算法可以在低配置的计算机上流畅运行，降低设备的配置硬件要求，极大地降低了头戴设备的所需器件(组件)数量，大大降低了头戴设备的重量，提高了用户的佩戴舒适度，适合用户可以长时间使用，大大提升了用户的使用体验。

另外，根据本发明上述实施例的支持增强现实交互的头戴设备还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：第一交互模块，所述第一交互模块与服务器交互通信，以通过有线或者无线方式相连接，使得所述服务器进行姿态跟踪和姿态渲染。

进一步地，在本发明的一个实施例中，还包括：第二交互模块，所述第二交互模块与所述显示设备交互配合，以通过所述显示设备进行全息影像显示。

进一步地，在本发明的一个实施例中，所述摄像设备为单目摄像头或多目摄像头，以通过所述单目摄像头或多目摄像头对周围物理环境的感知和所述惯性测量单元的传感器配合实现对用户头部姿态的实时跟踪，同时所述头戴设备通过与显示在所述显示设备上的预设图案的标记实现对用户的姿态计算。

进一步地，在本发明的一个实施例中，对所述头戴设备上实现遮挡用户左右眼的所述至少一个液晶快门的控制，实现用户左右眼在不同时间段观察到渲染在所述显示设备上对应的左右立体画面，以产生立体视差，同时所述摄像设备与所述显示设备的显示帧同步，从而在所述摄像设备可以观察到显示在所述显示设备上标记，从而获取用户头部相对所述显示设备的实时空间位置，以实现运动视差，并通过所述立体视差和所述运动视差相结合使得用户体验立体视觉效果。

为达到上述目的，本发明另一方面实施例提出了一种支持增强现实交互的头戴设备的控制方法，包括以下步骤：根据所述摄像设备的拍摄图像通过计算机视觉跟踪得到自身相对环境的三维姿态数据，并结合所述惯性测量单元的测量数据对用户的头部姿态进行跟踪并获取用户头部姿态；通过时间同步协议同步终端和设备端的时钟，使得所述终端控制显示设备的刷新频率和所述设备端控制设立在用户眼前的至少一个液晶镜片快门的开关频率同步，以实现所述显示设备的显示与所述至少一个液晶镜片快门的同步；根据所述用户头部姿态渲染出基于用户左眼和右眼所看的全息影像投影，使得用户体验全息影像显示在所述显示设备平面之外的立体视觉效果。

本发明实施例的支持增强现实交互的头戴设备的控制方法，以用户显示器为显示媒介，不需要配备复杂的全息显示器件，极大地降低了设备的成本，头部跟踪技术与用户显示器相配合，使得低延时、高效率的头部跟踪算法可以在低配置的计算机上流畅运行，降低设备的配置硬件要求，极大地降低了头戴设备的所需器件(组件)数量，大大降低了头戴设备的重量，提高了用户的佩戴舒适度，适合用户可以长时间使用，大大提升了用户的使用体验。

另外，根据本发明上述实施例的支持增强现实交互的头戴设备的控制方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：与服务器交互通信，以通过有线或者无线方式相连接，使得所述服务器进行姿态跟踪和姿态渲染。

进一步地，在本发明的一个实施例中，还包括：与所述显示设备交互配合，以通过所述显示设备进行全息影像显示。

进一步地，在本发明的一个实施例中，所述根据所述摄像设备的拍摄图像通过计算机视觉跟踪得到自身相对环境的三维姿态数据，并结合所述惯性测量单元的测量数据对用户的头部姿态进行跟踪并获取用户头部姿态，进一步包括：通过所述单目摄像头或多目摄像头对周围物理环境的感知和所述惯性测量单元的传感器配合实现对用户头部姿态的实时跟踪，同时所述头戴设备通过与显示在所述显示设备上的预设图案的标记实现对用户的姿态计算。

进一步地，在本发明的一个实施例中，其中，对所述头戴设备上实现遮挡用户左右眼的所述至少一个液晶快门的控制，实现用户左右眼在不同时间段观察到渲染在所述显示设备上对应的左右立体画面，以产生立体视差，同时所述摄像设备与所述显示设备的显示帧同步，从而在所述摄像设备可以观察到显示在所述显示设备上标记，从而获取用户头部相对所述显示设备的实时空间位置，以实现运动视差，并通过所述立体视差和所述运动视差相结合使得用户体验立体视觉效果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的支持增强现实交互的头戴设备的结构示意图；

图2为根据本发明一个实施例的支持增强现实交互的头戴设备的功能示意图；

图3为根据本发明一个实施例的头部姿态跟踪模块的功能示意图；

图4为根据本发明一个实施例的时间帧同步模块的功能示意图；

图5为根据本发明一个实施例的全息影像渲染模块的功能示意图；

图6为根据本发明一个实施例的支持增强现实交互的头戴设备的控制方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的支持增强现实交互的头戴设备及控制方法，首先将参照附图描述根据本发明实施例提出的支持增强现实交互的头戴设备。

图1是本发明一个实施例的支持增强现实交互的头戴设备的结构示意图。

如图1所示，该支持增强现实交互的头戴设备10包括：头部姿态跟踪模块100、时间帧同步模块200和全息影像渲染模块300。

其中，头部姿态跟踪模块100包括摄像设备和惯性测量单元，用于根据摄像设备的拍摄图像通过计算机视觉跟踪得到自身相对环境的三维姿态数据，并结合惯性测量单元的测量数据对用户的头部姿态进行跟踪并获取用户头部姿态。时间帧同步模块200用于通过时间同步协议同步终端和设备端的时钟，使得终端控制显示设备的刷新频率和设备端控制设立在用户眼前的至少一个液晶镜片快门的开关频率同步，以实现显示设备的显示与至少一个液晶镜片快门的同步。全息影像渲染模块300用于根据用户头部姿态渲染出基于用户左眼和右眼所看的全息影像投影，使得用户体验全息影像显示在显示设备平面之外的立体视觉效果。本发明实施例的头戴设备10极大地降低了头戴设备的所需器件(组件)数量，大大降低了头戴设备的重量，提高了用户的佩戴舒适度，适合用户可以长时间使用，大大提升了用户的使用体验。

可以理解的是，本发明实施的设备10与用户电脑主机和显示器相连，可以实现一种增强现实交互的技术，包括：头部姿态跟踪模块100通过头戴设备上的单目或多目摄像头和惯性测量单元实现地对用户头部的三维空间跟踪定位的功能。时间帧同步模块200头戴设别利用精确的时间戳信息将用户显示器上显示的当前帧分别正确的映射到用户的左右眼和头部跟踪摄像头中。全息影像渲染模块300基于头部姿态跟踪模块100提供的用户头部三维空间位置在用户显示器上正确地渲染用户左右眼应看到的全息影像。本发明实施例的设备10可以通过与用户显示器配合，在显示器的显示范围内提供一种沉浸式的增强现实交互体验，可以广泛的应用于多媒体娱乐，数据可视化，在线教育领域和电子商务领域。

具体而言，头部姿态跟踪模块100基于单目或者多目摄像头，对用户的头部姿态进行跟踪，用户计算机采用计算机视觉跟踪算法，通过摄像头所拍摄的图像计算出自身相对环境的三维姿态数据，同时和惯性测量单元的数据相融合，实时地计算出最后用户头部的姿态。时间帧同步模块200，头戴设备10通过有线或者无线的方式与用户计算机相连接，通过时间同步协议，实现计算机端与头戴设备的时钟同步。计算机端控制物理显示器的刷新频率，头戴设备10控制两个设立在用户眼前的液晶镜片快门的开关频率，最后实现物理显示器的显示与液晶镜片快门的同步。全息影像渲染模块300渲染引擎基于头部姿态跟踪模块计算出的用户头部相对显示器的三维姿态，分别渲染出基于用户左眼和右眼所看的全息影像投影，使得用户能体验到一种全息影像显示在显示器平面之外的立体视觉效果。

进一步地，在本发明的一个实施例中，本发明实施例头戴设备10还包括：第一交互模块。其中，第一交互模块与服务器交互通信，以通过有线或者无线方式相连接，使得服务器进行姿态跟踪和姿态渲染。

可以理解的是，本发明实施例头戴设备10需要与用户的计算机通过有线或者无线的方式相连接，用户计算机承担主要姿态跟踪和渲染等计算任务。

进一步地，在本发明的一个实施例中，本发明实施例头戴设备10还包括：第二交互模块。其中，第二交互模块与显示设备交互配合，以通过显示设备进行全息影像显示。

可以理解的是，本发明实施例的头戴设备10需要与用户的显示器相配合，由用户的物理显示器提供全息影像显示服务。

需要说明的是，为了实现可靠的实时系统，本发明实施例可以使用FreeRTOSKernal实现了运行在头戴设备的实时操作系统。在用户计算设备端，可以通过一个实时的MicrosoftWindows驱动程序，实现计算机与头戴设备的实时通信，根据头戴设备上各种传感器信息实时地计算出用户头部和物理显示器的三维姿态。同时应用层的程序包含了一个定制化的实时渲染引擎，通过与驱动程序交互，获得用户的头部和物理显示器的三维空间姿态后，相应地交叉渲染左右眼画面和显示器校正图案。

其中，FreeRTOSKernel为AWS开源程序，为各种嵌入式设别提供一个快速开发平台，可以实现对各种硬件设备的实时控制。本发明实施例通过FreeRTOS，实现对一个单目广角彩色摄像头的控制，对一个惯性测量单元数据流的读取。同时，同步头戴设备端时钟和计算机端时钟，并根据时钟信号，控制头戴设备中液晶快门，达到与显示屏渲染画面的同步。

另外，在计算机设备端，本发明实施例通过自定义协议，通过usb或者bluetooth连接，实现与头戴设备之间的通讯。Microsoft Windows驱动程序框架保证了系统的实时性。

具体而言，如图2所示，头部姿态跟踪模块100的主要功能在于实时地跟踪头戴设备的三维姿态，同时根据物理显示器上显示的特殊图案，实时地校准物理显示器和头部跟踪摄像头，得到物理显示器的三维姿态，同时优化头部跟踪摄像头的内部参数；时间帧同步模块200通过usb(Universal Serial Bus，通用串行总线)有线或bluetooth无线的方式，与用户的计算机设备相连接，不断双向交换时钟信号，实时地修正时钟的时间差和时钟漂移。全息影像渲染模块300在基于用户头部姿态，实时地将虚拟世界中的三维场景投影到模拟人眼的虚拟相机中，同时根据物理显示器的位置，将虚拟相机所捕捉到的画面正确地映射到物理显示器的位置，然后输出画面给物理显示器显示。

例如，本发明实施例的头戴设备10运行基于C语言的FreeRTOS实时系统。在用户运行头戴设备时，实时系统接受来自驱动程序方的命令，根据驱动的指令，实时系统按一定时钟信号操控头部跟踪摄像头的曝光，并将摄像头所捕捉的图片和来自惯性测量单元的实时信号打上时间戳，传回给驱动程序。同时，根据驱动程序方的指令，实时操作系统控制用户左右眼的快门的开与关。主要计算任务与指令的发送均由驱动程序来完成。

下面将对头部姿态跟踪模块100、时间帧同步模块200和全息影像渲染模块300分别进行详细的介绍。

进一步地，在本发明的一个实施例中，头部姿态跟踪模块100还能同步实时校准用户显示器的三维位置，使得头戴设备能即插即用，不需要任何特殊的物理环境配置(如设置其它外置摄像头或其他跟踪设备)，增强了设备试用易用性。头部姿态跟踪模块100使用实时屏幕校准技术，使得用户可以非常容易通过增加物理显示器的数目，扩展显示范围，使得现实增强技术的可视范围不再受到限制，提供了完全自由的显示方式，提高了设备应用场景的适应性。

进一步地，在本发明的一个实施例中，摄像设备为单目摄像头或多目摄像头，以通过单目摄像头或多目摄像头对周围物理环境的感知和惯性测量单元的传感器配合实现对用户头部姿态的实时跟踪，同时头戴设备通过与显示在显示设备上的预设图案的标记实现对用户的姿态计算。

可以理解的是，本发明实施例通过单目或多目摄像头对周围物理环境的感知和惯性测量单元传感器的配合实现对用户头部姿态的实时跟踪，同时头戴设备通过与显示在用户显示器上的特定图案的标记实现对用户显示器姿态的计算。

具体而言，如图3所示，头部姿态跟踪模块100接受来自头戴设备的实时系统传回的图像和惯性测量单元数据。头部姿态跟踪模块100由内部时钟信号控制，分为3种工作状态：跟踪状态，左眼曝光状态，右眼曝光状态，并在3种工作状态之间进行循环切换。其中，在跟踪状态时，驱动程序控制头部跟踪摄像头曝光，用户双眼液晶快门同时关闭，同时在物理显示器上显示特定的校准图案。此时，用户并不能通过头戴设备观察到任何事物，因为双眼的液晶快门均关闭。而头部跟踪摄像头应该捕捉到呈现在物理显示器上的特定图案。基于所得到的图像信息，头部姿态跟踪模块100在图片上搜索特定图案中的特征点，并根据实际观察到的特征点位置和已知的在物理显示器中的特征点位置，通过Perspective-n-Point算法，计算出以物理屏幕像素为单位，物理屏幕左上角为空间原点的头部跟踪摄像头的空间姿态，并与惯性测量单元数据通过Extend Kalman Filter算法对当前头部跟踪摄像头的运动轨迹进行建模，从而预测在头戴设备进入左眼曝光状态和右眼曝光状态时刻的头部跟踪摄像机的空间位置。

然后基于已知的头戴设备校正信息，推算出分别处于左眼曝光状态和右眼曝光状态时刻的用户左眼和右眼姿态，并将此信息交给全息影像渲染模块300。根据内部时钟信号的控制，跟踪状态将切换为左眼曝光状态。在左眼曝光状态，此时头部跟踪摄像头曝光，头戴设备中用户的左眼快门镜片开启，右眼快门镜片关闭，物理显示器显示全息影像渲染模块300所渲染的图案(全息影像模块基于头部姿态跟踪模块100在跟踪状态时计算出的用户左眼姿态，渲染出用户左眼应看到的全息影像)，同时头部姿态跟踪模块100根据左眼曝光状态时捕捉到的图像信息，在图像中寻找用户周围环境中的特征点(根据预测的左眼曝光状态时头部跟踪摄像头和物理显示器的空间姿态，过滤掉那些从物理显示器上检测到的特征点)。

基于这些来自环境中的特征点和来自惯性测量单元的数据，头部跟踪摄像头通过SLAM(simultaneous localization and mapping，即时定位与地图构建)算法，实现对用户物理环境的地图构建和头戴设备姿态的计算。这些地图将有助于头部跟踪摄像头在跟踪状态时观察不到或不完整的校正图案时，仍能计算出头部跟踪摄像头的空间姿态，同时在左眼曝光状态和右眼曝光状态时，根据SLAM算法的结果，头部姿态跟踪模块100可以计算出头部跟踪摄像头在物理环境地图下的三维姿态，并以此更新头部跟踪摄像头的运动模型，同时校正物理显示器在用户物理环境中的三维姿态。当头部姿态跟踪模块100从左眼曝光状态进入右眼曝光状态时，头部跟踪摄像头曝光，头戴设备中用户的右眼快门镜片开启，左眼快门镜片关闭，物理显示器显示全息影像渲染模块300所渲染的图案(对于用户右眼应看到的图像)，其他具体工作流程与左眼曝光状态时一样。

需要特别说明，跟踪状态、左眼曝光状态、右眼曝光状态的循环切换是受时间帧同步模块200的控制，一个完整的工作流程包含跟踪状态、左眼曝光状态和右眼曝光状态。但是，仅有左眼曝光状态和右眼曝光状态的循环切换工作流程也是允许并偏好的，头部姿态跟踪模块100仅在有需要的时候，插入跟踪状态进入循环，实现跟踪状态、左眼曝光状态和右眼曝光状态的完整工作流程。除此之外，根据在跟踪状态下的记录的多帧校准图像信息，头部姿态跟踪模块100在后端运行另一个线程：基于多视角下的特征点位置信息，采用一种非线性优化算法(例如Gaussian-Newton Filter算法)获得当前环境下的头部跟踪相机的最佳内部参数，实现在线实时的校准。

进一步地，如图4所示，时间帧同步模块200的具体任务是通过多种算法实现头戴设备与计算机设备的时钟同步，并根据同步的时钟信号控制整个头戴设备的工作状态，调整头戴设备左右眼液晶快门的开关时间。

具体地，时间帧同步模块200的时钟同步方法有2种：分别是基于有线或者无线的RTT(Render to Texture，渲染到纹理)时钟同步和基于亮度信息的光学时间同步方法。RTT时间同步方法基于计算机设备和头戴设备之间自定义的通信协议，计算机设备端通过有线或者无线方式，不断发送携带有自身时间戳的信息包给头戴设备，头戴设备同时响应带有自身时间戳的信息给计算机设备。计算机设备可以根据发送与受到信息中的时间戳计算出两者时钟的时间偏差。时间帧同步模块200在系统运行的全程中，一直保持运行，实时地修正两端时钟的时间漂移。

除此之外，在某些情况下，无线通信环境特别差，在通讯时可能出现频繁丢失时间包，此时，时间帧同步模块200将利用光学同步算法来实现时钟同步。光学同步算法利用头部跟踪摄像头在跟踪状态时获得的显示在物理显示器上特定图案的标注信息来实现同步。

具体的，当RTT同步算法的不确定性大于设定阈值，且头部姿态跟踪模块100无法在所获得图像中检测到特定标定图案时(表明物理屏幕和头戴摄像头快门时间未能同步时)，时间帧同步模块200将延长头戴设备在跟踪状态的时间至n帧(n取决于RTT算法返回的不确定性大小，此处以n＝2为例子)，此时头盔的工作顺序为跟踪状态第1帧，跟踪状态第2帧。其中，跟踪状态第1帧和跟踪状态第2帧显示相同画面，但是两帧图案的亮度信息不同，通过采样头部姿态跟踪模块100所获得的特定图案的亮度信息才推测时间同步偏差的大小。(全息影像渲染模块300根据头部跟踪摄像头的3维姿态估算摄像头到物理屏幕的实际距离，相应地调整显示特定图案的亮度，保证无论摄像头在何处，观察到的特定图案亮度一致)。

假设跟踪状态第1帧的图案亮度高，跟踪状态第2帧图案亮度低，当图像亮度大于我们所设定的平均值时，表明摄像头的曝光时间过早，反之，当图像亮度低于平均值，表明摄像头的曝光时间过晚。相应的调整曝光时间，采用二分搜索方法迭代调节，直到达到所需的同步精度。光学同步算法保证了头戴设备和计算机设备的时钟同步。相应地，时钟帧同步模块的时钟信号控制着头戴设备的两个液晶快门镜片，通过控制快门时间，使用户只能观察到渲染的左右眼画面。

进一步地，在本发明的一个实施例中，对头戴设备10上实现遮挡用户左右眼的至少一个液晶快门的控制，实现用户左右眼在不同时间段观察到渲染在显示设备上对应的左右立体画面，以产生立体视差，同时摄像设备与显示设备的显示帧同步，从而在摄像设备可以观察到显示在显示设备上标记，从而获取用户头部相对显示设备的实时空间位置，以实现运动视差，并通过立体视差和运动视差相结合使得用户体验立体视觉效果。

可以理解的是，通过对头戴设备10上实现遮挡用户左右眼的液晶快门镜片的精确控制，实现用户左右眼在不同时间段观察到渲染在显示器上对应的左右立体画面，从而产生立体视差。同时，头部跟踪摄像头也精确地与显示器的显示帧同步，从而在特定时间，头部跟踪摄像头可以观察到显示在显示器上的特定标记，从而计算出用户头部相对显示器的实时空间位置，从而实现运动视差。双目立体视差和运动视差相结合使得用户能体验到一种立体三维视觉效果。

具体而言，如图5所示，全息影像渲染模块300负责最终渲染全息影像。全息影像模块从头部姿态跟踪模块100获取头戴设备和物理显示器的空间姿态。同时全息影像渲染模块300与上层应用层相互作用，负责对应用层的全息内容提供显示服务。当应用层在虚拟空间中建立一个三维全息影像时，在渲染引擎获得全息物体在虚拟空间的三维姿态后，将这个虚拟空间与以物理显示器左上角为原点的空间相叠加。根据头戴设备的校正信息，可以从头部跟踪摄像头的空间姿态推算出用户左右眼的空间姿态(因为头部跟踪摄像头与头戴设备的左右眼液晶快门镜片为刚性连接)。类似当前所有主流渲染引擎，用户通过液晶快门镜片所观察的全息物体这个投影过程，可以被一个虚拟摄像头所模拟，虚拟摄像头的参数取决于应用层的设定。如果用户眼前有一个与头戴设备刚性连接的显示设备(头戴显示器或光波导镜片)，则直接显示虚拟摄像头所渲染的图像。

然而，在本发明实施例的情况下，物理显示器与用户的头戴设备并非刚性连接，其存在另一个空间变换，即需要计算从模拟用户视角的虚拟摄像头的成像平面到物理显示屏幕的一个homography变换，此变换与物理显示器到头戴设备的空间姿态有关。基于此变化的逆变换和虚拟相机到虚拟物理的投影变化，可以正确地找到物理显示器上每个像素所对应的入射光线的映射关系，实现对虚拟全息影像的渲染。除此之外，在时钟信号的同步下，全息渲染模块会在显示左右渲染影像的同时，插入一种特殊帧，渲染屏幕校正所需要的特定图案，同时根据头戴设备到物理屏幕的距离控制显示图案的亮度。

另外，针对多显示器应用，在刷新率同步的前提下，以上模块及算法可以直接扩展到多屏幕的情况。多显示器的相对三维姿态可以通过同步跟踪模块得到，因此全息影像渲染模块300依旧可以正确地在多显示器上渲染正确的全息图案。多显示器可以极大地扩展全息影像的显示范围，产生更好的沉浸式体验。

综上，本发明实施例的目的在于提出一种低成本、轻便舒适的现实增强头盔及其相关算法技术，实现在有限范围内能自由扩展、即插即用的现实增强体验。本发明实施例提出了一种以用户的显示器为显示媒介，以用户的计算机为主要计算载体的现实增强头戴设备，包括：头部姿态跟踪模块100，以头戴设备上的单目或多目摄像头为传感器，采用光学跟踪算法和惯性测量单元传感数据的融合算法实现对用户头部姿态的实时跟踪。同时，跟踪算法与全息影像渲染模块300相配合，根据用户显示器上呈现的特定图案，实现对用户显示器的实时校准；时间帧同步模块，用于同步头戴设备时钟与用户显示器的显示时钟，控制头戴设备上的左右眼液晶快门，使得用户显示器上的每一个渲染帧正确地在不同时刻被用户的左眼、右眼或者头部跟踪相机所捕获到；全息影像显示模块，通过头部姿态跟踪模块100所计算得到的用户头部三维姿态，和实际校准得到的物理显示器的三维坐标，实时地在物理显示器上渲染二维全息影像投影画面，使得用户在自己的三维空间位置通过显示器能观察到立体的全息影像。

根据本发明实施例提出的支持增强现实交互的头戴设备，通过对用户计算设备和显示设备的复用，实现了现实增强头戴设备的轻便化和低成本。对计算机器和显示媒介的配置没有过高要求，任何物理显示器和具备一定计算能力的计算机均可支撑该现实增强头戴设备，同时，开放式和广视角的显示方式不会造成用户的晕眩与不适，用户还可以通过配置更大或更多的显示器来对显示模型进行方便扩展和增强显示效果。

其次参照附图描述根据本发明实施例提出的支持增强现实交互的头戴设备的控制方法。

图6是本发明一个实施例的支持增强现实交互的头戴设备的控制方法的流程图

如图6所示，该支持增强现实交互的头戴设备的控制方法包括一下步骤：

在步骤S601中，根据摄像设备的拍摄图像通过计算机视觉跟踪得到自身相对环境的三维姿态数据，并结合惯性测量单元的测量数据对用户的头部姿态进行跟踪并获取用户头部姿态。

在步骤S602中，过时间同步协议同步终端和设备端的时钟，使得终端控制显示设备的刷新频率和设备端控制设立在用户眼前的至少一个液晶镜片快门的开关频率同步，以实现显示设备的显示与至少一个液晶镜片快门的同步。

在步骤S603中，根据用户头部姿态渲染出基于用户左眼和右眼所看的全息影像投影，使得用户体验全息影像显示在显示设备平面之外的立体视觉效果。

进一步地，在本发明的一个实施例中，还包括：与服务器交互通信，以通过有线或者无线方式相连接，使得服务器进行姿态跟踪和姿态渲染。

进一步地，在本发明的一个实施例中，还包括：与显示设备交互配合，以通过显示设备进行全息影像显示。

进一步地，在本发明的一个实施例中，根据摄像设备的拍摄图像通过计算机视觉跟踪得到自身相对环境的三维姿态数据，并结合惯性测量单元的测量数据对用户的头部姿态进行跟踪并获取用户头部姿态，进一步包括：通过单目摄像头或多目摄像头对周围物理环境的感知和惯性测量单元的传感器配合实现对用户头部姿态的实时跟踪，同时头戴设备通过与显示在显示设备上的预设图案的标记实现对用户的姿态计算。

进一步地，在本发明的一个实施例中，其中，对头戴设备上实现遮挡用户左右眼的至少一个液晶快门的控制，实现用户左右眼在不同时间段观察到渲染在显示设备上对应的左右立体画面，以产生立体视差，同时摄像设备与显示设备的显示帧同步，从而在摄像设备可以观察到显示在显示设备上标记，从而获取用户头部相对显示设备的实时空间位置，以实现运动视差，并通过立体视差和运动视差相结合使得用户体验立体视觉效果。

需要说明的是，前述对支持增强现实交互的头戴设备实施例的解释说明也适用于该实施例的支持增强现实交互的头戴设备的控制方法，此处不再赘述。

根据本发明实施例提出的支持增强现实交互的头戴设备的控制方法，通过对用户计算设备和显示设备的复用，实现了现实增强头戴设备的轻便化和低成本。对计算机器和显示媒介的配置没有过高要求，任何物理显示器和具备一定计算能力的计算机均可支撑该现实增强头戴设备，同时，开放式和广视角的显示方式不会造成用户的晕眩与不适，用户还可以通过配置更大或更多的显示器来对显示模型进行方便扩展和增强显示效果。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种支持增强现实交互的头戴设备，其特征在于，包括：

头部姿态跟踪模块，所述头部姿态跟踪模块包括摄像设备和惯性测量单元，所述头部姿态跟踪模块用于根据所述摄像设备的拍摄图像通过计算机视觉跟踪得到所述头戴 设备相对环境的三维姿态数据，并结合所述惯性测量单元的测量数据对用户的头部姿态进行跟踪并获取用户头部姿态，其中，所述摄像设备为单目摄像头或多目摄像头，通过所述单目摄像头或多目摄像头对周围物理环境的感知和所述惯性测量单元的传感器配合实现对用户头部姿态的实时跟踪，同时所述头戴设备通过与显示在计算机设备端的显示设备上的预设图案的标记实现对用户的姿态计算；

时间帧同步模块，用于通过时间同步协议同步所述计算机设备端和所述头戴设备的时钟，使得所述计算机设备端控制显示设备的刷新频率和所述头戴设备控制设立在用户眼前的至少一个液晶镜片快门的开关频率同步，以实现所述计算机设备端的所述显示设备的显示与所述头戴设备的所述至少一个液晶镜片快门的同步；以及

全息影像渲染模块，用于根据所述用户头部姿态渲染出基于用户左眼和右眼所看的全息影像投影，使得用户体验全息影像显示在所述显示设备平面之外的立体视觉效果，其中，对所述头戴设备上实现遮挡用户左右眼的所述至少一个液晶镜片快门的控制，实现用户左右眼在不同时间段观察到渲染在所述显示设备上对应的左右立体画面，以产生立体视差，同时所述摄像设备与所述显示设备的显示帧同步，从而在所述摄像设备可以观察到显示在所述显示设备上的标记，从而获取用户头部相对所述显示设备的实时空间位置，以实现运动视差，并通过所述立体视差和所述运动视差相结合使得用户体验立体视觉效果。

2.根据权利要求1所述的支持增强现实交互的头戴设备，其特征在于，还包括：

第一交互模块，所述第一交互模块通过有线或者无线方式与服务器相连接并交互通信，使得所述服务器进行姿态跟踪和姿态渲染。

3.根据权利要求1所述的支持增强现实交互的头戴设备，其特征在于，还包括：

第二交互模块，所述第二交互模块与所述显示设备交互配合，以通过所述显示设备进行全息影像显示。

4.一种支持增强现实交互的头戴设备的控制方法，其特征在于，包括以下步骤：

根据所述头戴设备中的摄像设备的拍摄图像通过计算机视觉跟踪得到所述头戴设备相对环境的三维姿态数据，并结合所述头戴设备中的惯性测量单元的测量数据对用户的头部姿态进行跟踪并获取用户头部姿态，所述摄像设备为单目摄像头或多目摄像头，通过所述单目摄像头或多目摄像头对周围物理环境的感知和所述惯性测量单元的传感器配合实现对用户头部姿态的实时跟踪，同时所述头戴设备通过与显示在计算机设备端的显示设备上的预设图案的标记实现对用户的姿态计算；

通过时间同步协议同步所述计算机设备端和所述头戴设备的时钟，使得所述计算机设备端控制所述显示设备的刷新频率和所述头戴设备控制设立在用户眼前的至少一个液晶镜片快门的开关频率同步，以实现所述计算机设备端的所述显示设备的显示与所述头戴设备的所述至少一个液晶镜片快门的同步；以及

根据所述用户头部姿态渲染出基于用户左眼和右眼所看的全息影像投影，使得用户体验全息影像显示在所述显示设备平面之外的立体视觉效果，其中，对所述头戴设备上实现遮挡用户左右眼的所述至少一个液晶镜片快门的控制，实现用户左右眼在不同时间段观察到渲染在所述显示设备上对应的左右立体画面，以产生立体视差，同时所述摄像设备与所述显示设备的显示帧同步，使得所述摄像设备可以观察到显示在所述显示设备上的标记，从而获取用户头部相对所述显示设备的实时空间位置，以实现运动视差，并通过所述立体视差和所述运动视差相结合使得用户体验立体视觉效果。

5.根据权利要求4所述的支持增强现实交互的头戴设备的控制方法，其特征在于，还包括：

所述头戴设备与服务器通过有线或者无线方式相连并接交互通信，使得所述服务器进行姿态跟踪和姿态渲染。

6.根据权利要求4所述的支持增强现实交互的头戴设备的控制方法，其特征在于，还包括：

所述头戴设备与所述显示设备交互配合，以通过所述显示设备进行全息影像显示。

Images