CN108830944A - 光学透视式三维近眼显示系统及显示方法 - Google Patents

Abstract

本发明实施例提供了一种光学透视式三维近眼显示系统及显示方法，显示系统包括：穿戴式显示装置、位姿传感装置和系统主机；位姿传感装置用于实时获取外界环境的真实图像信息，并实时获取位姿传感装置在预设空间三维坐标系中的姿态角和加速度信息；系统主机用于根据位姿传感装置获取的所述真实图像信息、所述姿态角和所述加速度信息，将与外界环境对应的虚拟环境中的虚拟信息投影渲染并传输至穿戴式显示装置，穿戴式显示装置用于将所述虚拟信息叠加显示在外界环境中。本发明实施例中提供的光学透视式三维近眼显示系统及显示方法，可在用户移动过程中实现虚拟信息与外界环境叠加呈现，可有效降低实物重建的成本，提高实际物体的表现力。

Description

光学透视式三维近眼显示系统及显示方法

技术领域

本发明实施例涉及虚拟重建和增强现实技术领域，更具体地，涉及光学透视式三维近眼显示系统及显示方法。

背景技术

增强现实技术是近年来的一个重要研究方向，借助现实技术、交互技术、传感技术和计算机图形技术将计算机生成的增强信息和使用者周围的真实世界融为一体，同时展现给用户，使用户从感官效果上相信增强信息是周围环境的有机组成部分。这种增强信息可以是在外界环境中与真实物体共存的虚拟物体，也可以是关于外界环境中真实物体的非几何信息。

增强现实广泛应用于国防，教育，游戏，旅游等领域。例如在参观博物馆时，博物馆中的物品由于时间、历史、自然环境等多方面原因，或多或少存在不同程度的损毁。这些物品的损毁部分很难通过传统方式如说明文字、图片、沙盘、微缩模型等展示其原貌状况，而这些物品的价值及其具有的特殊性又使得大多数物品无法通过现有手段进行真正意义上的实物还原。而通过计算机图形、虚拟现实、增强现实等技术手段可以对物品进行数字虚拟重建，在完整保持原有物品外观的基础上，用虚实融合的手法全面、立体、精致地再现物品当初的原貌，从而展现给参观者。

但是这种应用都是在固定位置对物体的增强现实，限制了应用的场景。随着用户需求的提高和增强现实应用的扩展，需要用户在一定范围内移动的同时，对其所处的场景进行增强现实。

要实现这个效果，需要具备两个技术基础：

1)增强现实显示技术。目前增强现实系统所普遍使用的实现方式有视频透视式显示和光学透视式显示。

2)增强现实三维注册技术。为实现虚拟与外界环境间的融合，三维环境注册是增强现实系统的关键性技术，也是衡量系统性能的重要标准。三维环境定位注册所要完成的任务是实时获取使用者头部的位置和视线方向，计算机根据这些信息确定所要添加的虚拟信息在真实空间坐标中的映射位置，并将这些信息实时显示在显示屏的正确位置。目前国际上采用的注册定位方法主要包括基于跟踪设备的注册定位、基于计算机视觉的注册定位、基于视觉和跟踪设备的混合注册定位等。其中跟踪设备主要包括机械跟踪设备、电磁跟踪设备、光学跟踪设备和超声波跟踪设备等。虽然这些硬件跟踪器各有优点，但大多容易受外界干扰的影响。相比之下，基于计算机视觉的三维注册算法以计算机视觉理论为依据，对CCD摄像机拍摄到的现实环境图像进行处理与识别，通过对一幅或多幅视频图像的图像处理，获得跟踪信息，其通用性强、设备简单、成本低廉，但要求更高的数据量和计算量。

因此，目前并没有比较成熟的实现用户移动过程中进行增强现实的应用系统。

发明内容

为克服上述问题或者至少部分地解决上述问题，本发明实施例提供了一种光学透视式三维近眼显示系统及方法。

一方面，本发明实施例提供了一种光学透视式三维近眼显示系统，包括：穿戴式显示装置、位姿传感装置和系统主机；

所述位姿传感装置用于实时获取外界环境的真实图像信息，以及所述位姿传感装置在预设空间三维坐标系中的姿态角和加速度信息；

所述系统主机用于根据所述真实图像信息、所述姿态角和所述加速度信息，将与所述外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述穿戴式显示装置；其中，所述虚拟信息在所述虚拟环境中的位置信息与所述真实图像信息中包含的所述外界环境中的位置信息相对应；

所述穿戴式显示装置用于将所述虚拟信息叠加显示在所述外界环境中。

另一方面，本发明实施例提供了一种基于上述光学透视式三维近眼显示系统的光学透视式三维近眼显示方法，包括：

实时获取外界环境的真实图像信息，以及所述光学透视式三维近眼显示系统内位姿传感装置在预设空间三维坐标系中的姿态角和加速度信息；

根据所述真实图像信息、所述姿态角和所述加速度信息，将与所述外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述光学透视式三维近眼显示系统内穿戴式显示装置，以供所述穿戴式显示装置将所述虚拟信息叠加显示在所述外界环境中；

其中，所述虚拟信息在所述虚拟环境中的位置信息与所述真实图像信息中包含的所述外界环境中的位置信息相对应。

另一方面，本发明实施例提供了一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述的显示方法。

另一方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述的显示方法。

本发明实施例提供的光学透视式三维近眼显示系统及显示方法，显示系统通过位姿传感装置可以实时获取外界环境的真实图像信息以及位姿传感装置在预设空间三维坐标系中的姿态角和加速度信息，通过系统主机将与外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述穿戴式显示装置，最后通过穿戴式显示装置将虚拟信息叠加显示在所述外界环境中。本发明实施例中提供的光学透视式三维近眼显示系统，可在用户移动过程中实现虚拟信息与外界环境叠加显示，达到增强现实的效果，可用于历史文化遗址的虚拟重建、文物古迹修复、市政建设的规划设计、旅游景点导览、以及教育培训等，可有效降低实物重建的成本，提高实际物体的表现力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例提供的一种光学透视式三维近眼显示系统的结构示意图；

图2为本发明一实施例提供的一种基于光学透视式三维近眼显示系统的光学透视式三维近眼显示方法的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于目前并没有比较成熟的实现用户移动过程中进行增强现实的应用系统，因此本发明为弥补现有技术中增强现实系统在虚实环境融合应用上的不足，提供了一种新型的增强现实显示系统。

本发明一实施例提供了一种光学透视式三维近眼显示系统，包括：穿戴式显示装置、位姿传感装置和系统主机；

所述位姿传感装置用于实时获取外界环境的真实图像信息，以及所述位姿传感装置在预设空间三维坐标系中的姿态角和加速度信息；

所述系统主机用于根据所述真实图像信息、所述姿态角和所述加速度信息，将与所述外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述穿戴式显示装置；其中，所述虚拟信息在所述虚拟环境中的位置信息与所述真实图像信息中包含的所述外界环境中的位置信息相对应；

所述穿戴式显示装置用于将所述虚拟信息叠加显示在所述外界环境中。

具体地，如图1所示，图1为本发明实施例中提供的光学透视式三维近眼显示系统的结构示意图，光学透视式三维近眼显示系统具体包括：穿戴式显示装置1、位姿传感装置2和系统主机3。其中，位姿传感装置2用于实时获取外界环境的真实图像信息，并实时获取位姿传感装置2的姿态角和加速度信息。系统主机3用于根据位姿传感装置实时获取到的外界环境的真实图像信息、位姿传感装置2的姿态角和加速度信息，将与外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至穿戴式显示装置1。

这里需要说明的是，真实图像是指位姿传感装置2获取到的外界环境中真实物体的图像。真实图像信息包括内容信息和位置信息，其中内容信息为真实图像中所显示的内容，位置信息为真实图像中所显示的外界环境中的位置。

本发明实施例中所说的虚拟信息在虚拟环境中的位置信息与真实图像信息中包含的外界环境中的位置信息相对应，是指每次获取到的真实图像信息在虚拟环境中都有一个与之位置信息相对应的虚拟信息，即真实图像中包含的位置信息在外界环境的预设空间三维坐标系中的位置与虚拟信息在虚拟环境虚拟坐标系中的位置是相对应的。也就是说，虚拟信息与外界环境具有稳定的相对位置关系和相对方向关系，当虚拟信息无运动相关的事件响应时，虚拟信息在基于外界环境的预设空间三维坐标系中的位置坐标和方向坐标保持恒定。这里需要说明的是，虚拟信息包括需要叠加显示在外界环境中的虚拟人物、虚拟物体或虚拟活体等。

系统主机3根据真实图像信息、位姿传感装置2在预设空间三维坐标系中的姿态角和加速度信息，确定出穿戴式显示装置1在外界环境中的位置，并且将与外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述穿戴式显示装置1；穿戴式显示装置1将虚拟信息叠加显示在外界环境中。

本发明实施例中，穿戴式显示装置1和位姿传感装置2的相对位置固定，则确定出位姿传感装置2在外界环境中的位置，即可确定出穿戴式显示装置1在外界环境中的位置。

本发明实施例中提供了一种光学透视式三维近眼显示系统，通过位姿传感装置可以实时获取外界环境的真实图像信息、实时获取位姿传感装置在预设空间三维坐标系中的姿态角和加速度信息，通过系统主机将与外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至穿戴式显示装置，最后通过穿戴式显示装置将虚拟信息叠加显示在外界环境中。本发明实施例中提供的光学透视式三维近眼显示系统，可在用户移动过程中实现虚拟信息与真实图像叠加呈现，达到增强现实的效果，可用于历史文化遗址的虚拟重建、文物古迹修复、市政建设的规划设计、旅游景点导览、以及教育培训等，可有效降低实物重建的成本，提高实际物体的表现力。

如图1所示，在上述实施例的基础上，本发明实施例提供的光学透视式三维近眼显示系统的穿戴式显示装置中还包括穿戴支架12，位姿传感装置2设置在穿戴支架12内，且位姿传感装置2在穿戴支架12内的位置固定。

在上述实施例的基础上，本发明实施例提供的光学透视式三维近眼显示系统中穿戴式显示装置具体包括：双目显示屏和双目光学成像通道；

所述双目显示屏设置在所述双目光学成像通道的前焦面上，所述双目显示屏与所述系统主机连接，所述系统主机将所述虚拟信息投影渲染成二维虚拟图像，并将所述二维虚拟图像传输至所述双目显示屏，经所述双目显示屏射出的光线进入所述双目光学成像通道；

所述双目光学成像通道用于对所述双目显示屏上的显示画面进行成像，并得到放大的虚拟图像成像；

所述双目光学成像通道还用于将所述虚拟图像成像进行叠加显示在所述外界环境中。

具体地，如图1所示，穿戴式显示装置1具体包括：双目显示屏5和双目光学成像通道7。双目显示屏5设置在双目光学成像通道7的前焦面上，双目显示屏5与系统主机3连接，连接方式可以是电连接，也可以是通信连接，在图1中仅示出了通过导线4实现的电连接方式。系统主机3将虚拟信息投影渲染成二维虚拟图像，并将二维虚拟图像传输至双目显示屏5，经双目显示屏5射出的光线进入双目光学成像通道7；经双目光学成像通道7两次折射、两次反射后得到虚拟的且放大的虚拟图像成像。同时，外界环境通过双目光学成像通道7与虚拟图像成像进行叠加呈现，用户佩戴该系统，通过观察双目光学成像通道即可观察到外界环境与虚拟图像成像的叠加效果。

在上述实施例的基础上，本发明实施例提供的光学透视式三维近眼显示系统中位姿传感装置具体包括红绿蓝(Red Green Blue，RGB)摄像头和惯性测量单元；

RGB摄像头用于实时获取外界环境的真实图像信息；

惯性测量单元用于实时获取位姿传感装置的在预设空间三维坐标系中的姿态角和加速度信息。

具体地，如图1所示，位姿传感装置2具体包括RGB摄像头201和惯性测量单元202。RGB摄像头201实时获取外界环境的真实图像；惯性测量单元202实时获取位姿传感装置2在预设空间三维坐标系中的姿态角和加速度信息。惯性测量单元(Inertial MeasurementUnit，IMU)是一种测量物体三轴姿态角和加速度信息的装置。惯性测量单元测量得到的姿态角和加速度信息可以表示为三维向量或四元数。通过惯性测量单元可以得到在用户穿戴光学透视式三维近眼显示系统运动时位姿传感装置的姿态角和加速度信息，由于整个系统中位姿传感装置与穿戴式显示装置的相对位置固定，所以由位姿传感装置的姿态角和加速度信息即可得到穿戴式显示装置的姿态角和加速度信息。根据位姿传感装置的姿态角，即每次读取位姿传感装置获取的数据时位姿传感装置的旋转量，做时间积分即可以得到位姿传感装置的空间朝向。

在上述实施例的基础上，本发明实施例提供的光学透视式三维近眼显示系统中系统主机具体用于：

根据所述真实图像信息、所述姿态角和所述加速度信息，并基于相关空间定位算法，实时确定所述位姿传感装置在所述预设空间三维坐标系中的位置和方向；

根据确定的所述位姿传感装置在所述预设空间三维坐标系中的位置和方向，以及所述位姿传感装置与所述双目光学成像通道的出瞳之间的相对位置关系，确定所述虚拟环境中双目虚拟摄像机的位置和方向，其中所述双目虚拟摄像机为所述虚拟环境中与所述双目显示屏和所述双目光学成像通道整体相对应的、虚拟的摄像机，且所述二维虚拟图像等效为所述双目虚拟摄像机对所述虚拟信息投影渲染得到；所述双目虚拟摄像机的投影中心在所述外界环境中的位置与所述双目光学成像通道的出瞳中心位置相同，所述双目虚拟摄像机的视场角与所述双目光学成像通道的视场角相同，且所述双目虚拟摄像机的画面长宽比与所述双目显示屏上的画面长宽比相同；

根据所述双目虚拟摄像机的位置和方向，以及所述双目虚拟摄像机的视场角和所述双目虚拟摄像机的画面长宽比，使所述双目虚拟摄像机将所述虚拟信息投影渲染并传输至所述穿戴式显示装置。

具体地，首先通过真实图像信息、位姿传感装置的姿态角和加速度信息，并基于相关空间定位算法，实时确定RGB摄像头在所述外界环境中的位置信息。

首先需要确定出RGB摄像头在外界环境中的初始位置，即获取外界环境中第一预设位置处的预设图像，并使用相关模式识别算法获得该预设图像在以RGB摄像头为坐标原点的摄像头空间三维坐标系中的位置和方向坐标，并经过坐标变换确定RGB摄像头在以第二预设位置为坐标原点的所述预设空间三维坐标系中的位置。这里可以将第二预设位置与第一预设位置选取为相同位置。经过坐标变换后确定的RGB摄像头在预设空间三维坐标系中的位置即为RGB摄像头在外界环境中的初始位置。

根据真实图像信息、位姿传感装置的姿态角和加速度信息，并基于相关空间定位算法，确定位姿传感装置在外界环境中的位移量和旋转角。根据位姿传感装置在外界环境中的位移量和旋转角，以及RGB摄像头在外界环境中的初始位置，即可确定RGB摄像头在所述外界环境中的实时位置和方向，即RGB摄像头在第二空间坐标系中的实时位置和方向，实现对RGB摄像头和整个穿戴式显示装置的定位追踪。

此时，将虚拟环境的虚拟坐标系与所述预设空间三维坐标系设置为重合，则可以保证虚拟信息在虚拟环境中的位置信息与真实图像信息中包含的外界环境中的位置信息相对应，即虚拟信息与外界环境具有稳定的相对位置关系和相对方向关系。

本发明实施例中相关空间定位算法具体可以为同步定位与地图构建算法(Simultaneous Localization And Mapping，SLAM)，但并不限于此。

确定了RGB摄像头在所述外界环境中的实时位置信息后，根据RGB摄像头在外界环境中的实时位置信息，以及外界环境中RGB摄像头与双目光学成像通道的出瞳中心之间的位置关系，确定双目光学成像通道的出瞳中心在外界环境中的位置信息；其中，外界环境中RGB摄像头与双目光学成像通道的出瞳中心之间的位置关系可以通过标定算法实现，具体标定算法可以为单点主动对齐算法(Single Point Active Alignment Method，SPAAM)。

由于虚拟信息在虚拟环境中的位置信息与真实图像信息中包含的外界环境中的位置信息相对应，双目光学成像通道的出瞳中心在外界环境中的位置信息即为双目光学成像通道的出瞳中心在虚拟环境中的位置信息，则根据双目光学成像通道的出瞳中心在外界环境中的位置信息以及虚拟信息在虚拟环境中的位置信息，可以将虚拟信息通过双目光学成像通道的出瞳中心为投影中心的双目虚拟摄像机投影渲染为二维虚拟图像并传输至双目显示屏，其中双目虚拟摄像机的视场角与双目成像通道的视场角相同，双目虚拟摄像机画面的长宽比与双目显示屏画面的长宽比相同。

如图1所示，在上述实施例的基础上，本发明实施例提供的光学透视式三维近眼显示系统还包括：操作面板8；

操作面板8设置在穿戴式显示装置上或独立于穿戴式显示装置设置，图1中仅示出了操作面板8设置在穿戴式显示装置上的情况。操作面板8与系统主机3连接；操作面板8上设置有功能按键，功能按键用于触发虚拟环境中虚拟信息的响应。操作面板8具体可设置在穿戴支架12上；操作面板8上的功能按键可包括方向按键、电源按键、确认按键、返回按键、及其他功能按键，其中方向按键可用于控制虚拟环境中动态信息的运动方向。用户可通过操控上述功能按键与应用程序进行预设的交互。操作面板8上还设置有触摸板以及与用于驱动各功能按键的驱动电路。

如图1所示，在上述实施例的基础上，本发明实施例提供的光学透视式三维近眼显示系统还包括扬声器9，扬声器9设置在穿戴式显示装置上，具体可设置在穿戴支架12上，扬声器9与系统主机3连接，通过扬声器9可以播放系统的音效，其中音源可以为单声道或立体声。

如图1所示，在上述实施例的基础上，还可以将操作面板8设置在系统主机8上，本发明实施例中对此不作具体限定。

如图1所示，在上述实施例的基础上，本发明实施例提供的光学透视式三维近眼显示系统的位姿传感装置还包括视频驱动电路6，视频驱动电路6分别与系统主机和双目显示屏连接，视频驱动电路6用于将虚拟图像传输至双目显示屏，以供双目显示屏进行显示。

在上述实施例的基础上，在外界环境和所述虚拟信息进行叠加呈现的同时，系统还可以展示与外界环境对应的文字、声音等虚拟信息。

本发明实施例中提供的系统通过位姿传感装置获得视点的空间姿态信息，系统主机根据空间姿态信息完成对实景图像的三维注册。同时对虚拟场景进行相应的坐标变换，与真实场景实现融合叠加。系统通过单片机控制位姿传感装置采集位姿传感装置空间姿态的角度数据，同时可以与IC计费卡等配合，实现对双目显示器的背光电源的计费供电控制。

用户通过双目光学成像通道7观察到外界环境的真实图像，视频驱动电路6将二维虚拟图像传输到双目显示器5中，将需要显示的二维虚拟图像通过双目显示屏5进行显示，并分别由双目光学成像通道7成像在较远距离处，人眼经过双目光学成像通道7观察到双目显示器5上的虚拟图像，由于双目显示器5所显示的图像存在双目视差，因此用户能够同时观察到立体的三维虚拟图像。同时，用户也可透过双目光学成像通道7观察到外界环境的真实图像，从而达到虚实叠加的视觉效果，实现图像效果的增强。

在上述实施例的基础上，所述系统主机具体包括：计算机或移动终端。

系统主机3可以为移动终端或计算机，所有应用数据和虚拟信息都预置在系统主机3中或由系统主机3生成。系统主机3根据位姿传感装置2和双目光学成像通道7将虚拟环境的虚拟坐标系设置为与外界环境的预设空间三维坐标系重合，将需要显示的图像、文字等虚拟信息渲染在对应的真实图像位置处，实现在外界环境中叠加呈现，使虚拟信息和外界环境完全匹配。同时，系统主机3还可以提供针对不同应用的声音、图像、视频和缩放控制等信息，使用户获得更丰富的交互体验。用户通过操作面板8实现与虚拟信息的交互。

当采用计算机作为系统主机时，系统主机通过视频接口向穿戴式显示装置实时传输视频和音频信息，同时位姿传感装置通过数据接口向系统主机实时传输位置传感装置的位姿和加速度数据。用户通过操作面板上的按键、触摸板或体感模块等向系统主机进行指令的输入(包括但不限于通过按键输入进入、退出、确认、取消、方向选择等指令，以及通过触摸板或体感模块移动光标)，实现交互。操作面板与系统主机之间可采用有线连接或无线连接，与系统主机实现数据互通。这种情况通常适用于活动空间较小的柜台型展示。

当采用移动终端作为系统主机时，系统主机通过视频接口向穿戴式显示装置实时传输视频和音频信息，同时位姿传感装置通过数据接口向系统主机实时传输位置传感装置的位姿和加速度数据。移动终端上设置有操作面板，操作面板上设有操控按键和触摸板或体感模块，用户通过按键、触摸板或体感模块等向系统主机进行指令的输入(包括但不限于通过按键输入进入、退出、确认、取消、方向选择等指令，以及通过触摸板或体感模块移动光标)，实现交互。这种情况通常适用于活动空间较大的漫游型展示。

本发明实施例中提供的光学透视式三维近眼显示系统，可以穿戴式使用，提供与外界环境的真实图像对应的声音、图像、视频和控制等虚拟信息，且支持小范围空间内的自由移动。

本发明实施例中提供的光学透视式三维近眼显示系统和现有技术相比有如下特点：采用系统主机进行三维数字重建，通过双目显示器和的双目光学成像通道可观看到虚拟三维物体与真实场景虚实结合的三维立体效果，同时增添了文字、图像、声音、视频等多媒体信息，方便了用户的操作使用，丰富了对文化古迹或某种展品进行学习了解的技术手段。本发明实施例中提供的系统具有跟踪定位精度高、虚实结合稳定、沉浸感强、操作简便、支持一定范围的自由移动等特点，可用于历史文化遗址的虚拟现场重建、文物古迹的现场数字恢复、旅游景点的信息导览、市政建设规划设计的实地虚拟预览以及教育培训等场合，可有效地降低以往实物重建的高昂成本，减小对实际物体的损伤，同时提高物体多种信息媒介的表现方式。

如图2所示，本发明另一实施例中提供了一种基于上述实施例中提供的光学透视式三维近眼显示系统的光学透视式三维近眼显示方法，方法包括：

S1，实时获取外界环境的真实图像信息，以及所述光学透视式三维近眼显示系统内位姿传感装置在预设空间三维坐标系中的姿态角和加速度信息；

S2，根据所述真实图像信息、所述姿态角和所述加速度信息，将与所述外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述光学透视式三维近眼显示系统内穿戴式显示装置，以供所述穿戴式显示装置将所述虚拟信息叠加显示在所述外界环境中；

其中，所述虚拟信息在所述虚拟环境中的位置信息与所述真实图像信息中包含的所述外界环境中的位置信息相对应。

在上述实施例的基础上，所述穿戴式显示装置包括：双目显示屏和双目光学成像通道；

相应地，所述根据所述真实图像信息、所述姿态角和所述加速度信息，将与所述外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述光学透视式三维近眼显示系统内的穿戴式显示装置，具体包括：

根据所述真实图像信息、所述姿态角和所述加速度信息，并基于相关空间定位算法，实时确定所述位姿传感装置在所述预设空间三维坐标系中的位置和方向；

根据确定的所述位姿传感装置在所述预设空间三维坐标系中的位置和方向，以及所述位姿传感装置与所述双目光学成像通道的出瞳之间的相对位置关系，确定所述虚拟环境中双目虚拟摄像机的位置和方向，其中所述双目虚拟摄像机为所述虚拟环境中与所述双目显示屏和所述双目光学成像通道整体相对应的、虚拟的摄像机，且所述二维虚拟图像等效为所述双目虚拟摄像机对所述虚拟信息投影渲染得到；所述双目虚拟摄像机的投影中心在所述外界环境中的位置与所述双目光学成像通道的出瞳中心位置相同，所述双目虚拟摄像机的视场角与所述双目光学成像通道的视场角相同，且所述双目虚拟摄像机的画面长宽比与所述双目显示屏上的画面长宽比相同；

根据所述双目虚拟摄像机的位置和方向，以及所述双目虚拟摄像机的视场角和所述双目虚拟摄像机的画面长宽比，使所述双目虚拟摄像机将所述虚拟信息投影渲染并传输至所述穿戴式显示装置

在上述实施例的基础上，在所述根据所述真实图像信息、所述姿态角和所述加速度信息，将与所述外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述光学透视式三维近眼显示系统内的穿戴式显示装置之前，还包括：

获取所述外界环境中第一预设位置处的预设图像在以所述RGB摄像头为坐标原点的摄像头空间三维坐标系中的位置和方向坐标，并经过坐标变换确定所述RGB摄像头在以第二预设位置为坐标原点的所述预设空间三维坐标系中的位置；

将所述虚拟环境的虚拟坐标系与所述预设空间三维坐标系设置为重合，以保证所述虚拟信息在所述虚拟环境中的位置信息与所述真实图像信息中包含的所述外界环境中的位置信息相对应。

具体地，本发明实施例中提供的显示方法的操作流程与上述实施例中提供的显示系统中各组件的功能是一一对应的，本发明实施例中在此不再赘述。

本发明实施例中提供了一种光学透视式三维近眼显示方法，实时获取外界环境的真实图像信息、实时获取位姿传感装置的姿态角和加速度信息，将与外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至穿戴式显示装置，最后通过穿戴式显示装置将外界环境和虚拟信息进行叠加呈现。本发明实施例中提供的光学透视式三维近眼显示方法，可在用户移动过程中实现虚拟信息与外界环境叠加呈现，达到增强现实的效果，可用于历史文化遗址的虚拟重建、文物古迹修复、市政建设的规划设计、旅游景点导览、以及教育培训等，可有效降低实物重建的成本，提高实际物体的表现力。

在上述实施例的基础上，本发明实施例中还提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如图2中提供的显示方法。

在上述实施例的基础上，本发明实施例中还提供了一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如图2中提供的显示方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种光学透视式三维近眼显示系统，其特征在于，包括：穿戴式显示装置、位姿传感装置和系统主机；

所述位姿传感装置用于实时获取外界环境的真实图像信息，以及所述位姿传感装置在预设空间三维坐标系中的姿态角和加速度信息；

所述系统主机用于根据所述真实图像信息、所述姿态角和所述加速度信息，将与所述外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述穿戴式显示装置；其中，所述虚拟信息在所述虚拟环境中的位置信息与所述真实图像信息中包含的所述外界环境中的位置信息相对应；

所述穿戴式显示装置用于将所述虚拟信息叠加显示在所述外界环境中。

2.根据权利要求1所述的光学透视式三维近眼显示系统，其特征在于，所述穿戴式显示装置具体包括：双目显示屏和双目光学成像通道；

所述双目显示屏设置在所述双目光学成像通道的前焦面上，所述双目显示屏与所述系统主机连接，所述系统主机将所述虚拟信息投影渲染成二维虚拟图像，并将所述二维虚拟图像传输至所述双目显示屏，经所述双目显示屏射出的光线进入所述双目光学成像通道；

所述双目光学成像通道用于对所述双目显示屏上的显示画面进行成像，并得到放大的虚拟图像成像；

所述双目光学成像通道还用于将所述虚拟图像成像进行叠加显示在所述外界环境中。

3.根据权利要求2所述的光学透视式三维近眼显示系统，其特征在于，所述位姿传感装置具体包括RGB摄像头和惯性测量单元；

所述RGB摄像头用于实时获取所述真实图像信息；

所述惯性测量单元用于实时获取所述位姿传感装置在所述预设空间三维坐标系中的姿态角和加速度信息。

4.根据权利要求2所述的光学透视式三维近眼显示系统，其特征在于，所述系统主机具体用于：

根据所述真实图像信息、所述姿态角和所述加速度信息，并基于相关空间定位算法，实时确定所述位姿传感装置在所述预设空间三维坐标系中的位置和方向；

根据确定的所述位姿传感装置在所述预设空间三维坐标系中的位置和方向，以及所述位姿传感装置与所述双目光学成像通道的出瞳之间的相对位置关系，确定所述虚拟环境中双目虚拟摄像机的位置和方向，其中所述双目虚拟摄像机为所述虚拟环境中与所述双目显示屏和所述双目光学成像通道整体相对应的、虚拟的摄像机，且所述二维虚拟图像等效为所述双目虚拟摄像机对所述虚拟信息投影渲染得到；所述双目虚拟摄像机的投影中心在所述外界环境中的位置与所述双目光学成像通道的出瞳中心位置相同，所述双目虚拟摄像机的视场角与所述双目光学成像通道的视场角相同，且所述双目虚拟摄像机的画面长宽比与所述双目显示屏上的画面长宽比相同；

根据所述双目虚拟摄像机的位置和方向，以及所述双目虚拟摄像机的视场角和所述双目虚拟摄像机的画面长宽比，使所述双目虚拟摄像机将所述虚拟信息投影渲染并传输至所述穿戴式显示装置。

5.根据权利要求1-4中任一项所述的光学透视式三维近眼显示系统，其特征在于，还包括：操作面板；

所述操作面板设置在所述穿戴式显示装置上或独立于所述穿戴式显示装置设置，所述操作面板与所述系统主机连接；所述操作面板上设置有功能按键，所述功能按键用于触发所述虚拟环境中所述虚拟信息的响应。

6.一种基于权利要求1-5中任一项所述的光学透视式三维近眼显示系统的光学透视式三维近眼显示方法，其特征在于，包括：

实时获取外界环境的真实图像信息，以及所述光学透视式三维近眼显示系统内位姿传感装置在预设空间三维坐标系中的姿态角和加速度信息；

根据所述真实图像信息、所述姿态角和所述加速度信息，将与所述外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述光学透视式三维近眼显示系统内穿戴式显示装置，以供所述穿戴式显示装置将所述虚拟信息叠加显示在所述外界环境中；

其中，所述虚拟信息在所述虚拟环境中的位置信息与所述真实图像信息中包含的所述外界环境中的位置信息相对应。

7.根据权利要求6所述的光学透视式三维近眼显示方法，其特征在于，所述穿戴式显示装置包括：双目显示屏和双目光学成像通道；

相应地，所述根据所述真实图像信息、所述姿态角和所述加速度信息，将与所述外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述光学透视式三维近眼显示系统内的穿戴式显示装置，具体包括：

根据所述真实图像信息、所述姿态角和所述加速度信息，并基于相关空间定位算法，实时确定所述位姿传感装置在所述预设空间三维坐标系中的位置和方向；

根据确定的所述位姿传感装置在所述预设空间三维坐标系中的位置和方向，以及所述位姿传感装置与所述双目光学成像通道的出瞳之间的相对位置关系，确定所述虚拟环境中双目虚拟摄像机的位置和方向，其中所述双目虚拟摄像机为所述虚拟环境中与所述双目显示屏和所述双目光学成像通道整体相对应的、虚拟的摄像机，且所述二维虚拟图像等效为所述双目虚拟摄像机对所述虚拟信息投影渲染得到；所述双目虚拟摄像机的投影中心在所述外界环境中的位置与所述双目光学成像通道的出瞳中心位置相同，所述双目虚拟摄像机的视场角与所述双目光学成像通道的视场角相同，且所述双目虚拟摄像机的画面长宽比与所述双目显示屏上的画面长宽比相同；

根据所述双目虚拟摄像机的位置和方向，以及所述双目虚拟摄像机的视场角和所述双目虚拟摄像机的画面长宽比，使所述双目虚拟摄像机将所述虚拟信息投影渲染并传输至所述穿戴式显示装置。

8.根据权利要求7所述的光学透视式三维近眼显示方法，其特征在于，在所述根据所述真实图像信息、所述姿态角和所述加速度信息，将与所述外界环境对应的、虚拟环境中的虚拟信息投影渲染并传输至所述光学透视式三维近眼显示系统内的穿戴式显示装置之前，还包括：

获取所述外界环境中第一预设位置处的预设图像在以所述RGB摄像头为坐标原点的摄像头空间三维坐标系中的位置和方向坐标，并经过坐标变换确定所述RGB摄像头在以第二预设位置为坐标原点的所述预设空间三维坐标系中的位置；

将所述虚拟环境的虚拟坐标系与所述预设空间三维坐标系设置为重合，以保证所述虚拟信息在所述虚拟环境中的位置信息与所述真实图像信息中包含的所述外界环境中的位置信息相对应。

9.一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如权利要求6-8中任一项所述的方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求6-8中任一项所述的方法。