CN109358754A - 一种混合现实头戴显示系统 - Google Patents

Abstract

本发明实施例提供了一种混合现实头戴显示系统，包括头戴显示设备、手柄设备及上位机，其中，手柄设备包括：惯性测量单元、按键单元及灯带；惯性测量单元测量手柄设备的手柄姿态信息，并将手柄姿态信息发送至上位机；按键单元获取用户的操作信息，并将操作信息发送至上位机；灯带用于显示灯带显示图像；头戴显示设备获取灯带显示图像，并将灯带显示图像及头戴显示设备的显示数据信息发送至上位机；上位机根据手柄姿态信息、操作信息、灯带显示图像及显示数据信息生成混合现实图像，并将混合现实图像发送至头戴显示设备进行显示。实现了对虚拟图像及现实图像的混合显示，从而实现了用户对虚拟世界及现实场景的混合交互，提高了用户体验的真实感。

Description

一种混合现实头戴显示系统

技术领域

本发明涉及混合现实技术领域，具体涉及一种混合现实头戴显示系统。

背景技术

混合现实、虚拟现实、增强现实技术是近年来出现的高新技术，其利用计算机图形学模拟产生一个三维空间的虚拟世界，让使用者可以实时、没有限制地与三维空间内的物体进行视觉、听觉等方面的交互。虚拟现实中用户与纯虚拟的世界进行交互，增强现实中用户可以利用虚拟内容对现实世界进行叠加增强，混合现实技术是虚拟现实、增强现实技术的进一步发展和融合，该技术通过在虚拟环境中引入数字化现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

现有的头戴显示设备多为虚拟现实头戴显示设备，用户仅能与纯虚拟的世界进行交互，无法与现实场景进行结合，用户体验的真实感较差，而混合现实头戴显示系统作为下一代混合现实交互的重要设备，其在数据模型的可视化、虚拟训练、娱乐与艺术等领域具有广泛的应用前景，该类系统目前仍处于发展初期，国内外尚未有成熟产品。

发明内容

本发明实施例提供了一种混合现实头戴显示系统，以克服现有技术中的头戴显示设备多为虚拟现实头戴显示设备，用户仅能与纯虚拟的世界进行交互，无法与现实场景进行结合，用户体验的真实感较差的问题。

本发明实施例提供了一种混合现实头戴显示系统，包括：头戴显示设备、手柄设备及上位机，其中，所述手柄设备包括：惯性测量单元、按键单元及灯带；所述惯性测量单元测量所述手柄设备的手柄姿态信息，并将所述手柄姿态信息发送至所述上位机；所述按键单元获取用户的操作信息，并将所述操作信息发送至所述上位机；所述灯带用于显示灯带显示图像；所述头戴显示设备获取所述灯带显示图像，并将所述灯带显示图像及所述头戴显示设备的显示数据信息发送至上位机；所述上位机根据所述手柄姿态信息、操作信息、灯带显示图像及显示数据信息生成混合现实图像，并将所述混合现实图像发送至所述头戴显示设备进行显示。

可选地，所述手柄设备还包括：数据传输单元，所述数据传输单元获取所述手柄姿态信息及所述操作信息，并将所述手柄姿态信息及所述操作信息发送至所述上位机。

可选地，所述手柄设备还包括：灯带调节单元，所述灯带调节单元获取所述操作信息，并根据所述操作信息调节所述灯带显示图像。

可选地，所述显示数据信息包括：现实场景图像信息及运动信息；所述头戴显示设备包括：图像获取单元、传感器测量单元、通信单元及显示单元，其中，所述图像获取单元采集所述现实场景图像信息并获取所述灯带显示图像，并将所述灯带显示图像及所述现实场景图像信息通过所述通信单元发送至所述上位机；所述传感器测量单元测量所述头戴显示设备的运动信息，并将所述运动信息通过所述通信单元发送至所述上位机；所述显示单元显示所述上位机通过所述通信单元发送的所述混合现实图像。

可选地，所述头戴显示设备还包括：头戴固定装置，用户通过所述头戴固定装置将所述头戴显示设备固定于所述用户的头上。

可选地，所述显示单元包括：第一屏幕和第二屏幕，所述第一屏幕和所述第二屏幕分别与所述用户的左眼和右眼对应设置，同步显示所述混合现实图像。

可选地，当用户左手操作所述手柄设备时，所述操作信息为左手操作信息，所述灯带调节单元调节所述灯带的灯带显示图像为第一预设图像；当用户右手操作所述手柄设备时，所述操作信息为右手操作信息，所述灯带调节单元调节所述灯带的灯带显示图像为第二预设图像；所述上位机根据所述第一预设图像及所述第二预设图像对所述手柄设备进行识别。

可选地，所述灯带由多个LED灯组成。

可选地，所述图像获取单元为至少一摄像头。

可选地，所述至少一摄像头根据预设排布方式进行布局。

可选地，所述上位机包括：即时地图构建单元，采用即时定位与地图构建算法建立所述混合现实头戴显示系统的当前即时地图；位置姿态计算单元，根据所述手柄姿态信息和所述显示数据信息分别计算所述手柄设备及所述头戴显示设备在所述当前即时地图中的位置姿态信息；虚拟图像生成单元，根据所述用户操作信息和所述当前即时地图生成虚拟图像信息；混合现实图像生成单元，从所述显示数据信息中获取所述即时地图下的现实场景图像信息，并将所述现实场景图像信息与所述虚拟图像信息进行渲染和叠加，生成混合现实图像。

可选地，所述混合现实图像生成单元包括：平面检测模块，采用平面检测算法对所述现实场景图像信息中的物体进行平面检测，得到所述即时地图坐标系下的位置关系信息；图像融合模块，将所述即时地图坐标系下的位置关系信息与虚拟图像信息进行渲染和叠加，生成混合现实图像。

可选地，所述上位机还包括：安全监护单元，用于根据所述现实场景图像信息，判断所述头戴显示设备是否在预设安全操作区域内；当所述头戴显示设备不在所述预设安全操作区域内时，所述安全监护单元向所述用户报警。

本发明技术方案，具有如下优点：

本发明实施例提供的混合现实头戴显示系统，包括头戴显示设备、手柄设备及上位机，其中，手柄设备中的惯性测量单元测量手柄设备的手柄姿态信息，按键单元获取用户的操作信息，将手柄姿态信息和操作信息发送至上位机，灯带用于显示灯带显示图像；头戴显示设备获取灯带显示图像，并将灯带显示图像及头戴显示设备的显示数据信息发送至上位机；上位机根据手柄姿态信息、操作信息、灯带显示图像及显示数据信息生成混合现实图像，并将混合现实图像发送至头戴显示设备进行显示。实现了对虚拟图像及现实图像的混合显示，从而实现了用户对虚拟世界及现实场景的混合交互，提高了用户体验的真实感。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中混合现实头戴显示系统的结构示意图；

图2为本发明实施例中混合现实头戴显示系统的另一结构示意图；

图3为本发明实施例中显示单元的结构示意图；

图4为本发明实施例中上位机的结构示意图；

图5为本发明实施例中混合现实图像生成单元的结构示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供了一种混合现实头戴显示系统，如图1所示，该混合现实头戴显示系统包括：头戴显示设备1、手柄设备2及上位机3，其中，手柄设备2包括：惯性测量单元21、按键单元22及灯带23；惯性测量单元21测量手柄设备2的手柄姿态信息，并将手柄姿态信息发送至上位机3；按键单元22获取用户的操作信息，并将操作信息发送至上位机3；灯带23用于显示灯带显示图像；头戴显示设备1获取灯带显示图像，并将灯带显示图像及头戴显示设备1的显示数据信息发送至上位机3；上位机3根据手柄姿态信息、操作信息、灯带显示图像及显示数据信息生成混合现实图像，并将混合现实图像发送至头戴显示设备1进行显示。

本发明实施例提供的混合现实头戴显示系统，实现了对虚拟图像及现实图像的混合显示，从而实现了用户对虚拟世界及现实场景的混合交互，提高了用户体验的真实感。

以下将结合具体实例对本发明实施例提供的混合现实头戴显示系统进行详细的介绍。

在一较佳实施例中，如图2所示，上述的手柄设备2还包括：数据传输单元24，数据传输单元24获取手柄姿态信息及操作信息，并将手柄姿态信息及操作信息发送至上位机3。在实际应用中，该数据传输单元24可以采用蓝牙4.0以无线模式将上述信息发送至上位机3。

在一较佳实施例中，如图2所示，上述的手柄设备2还包括：灯带调节单元25，灯带调节单元25获取操作信息，并根据操作信息调节灯带显示图像。具体地，当用户左手操作手柄设备2时，操作信息为左手操作信息，灯带调节单元25调节灯带23的灯带显示图像为第一预设图像；当用户右手操作手柄设备2时，操作信息为右手操作信息，灯带调节单元25调节灯带23的灯带显示图像为第二预设图像；上位机3根据第一预设图像及第二预设图像对手柄设备2进行识别。在实际应用中，该灯带调节单元25还可以在多用户共同交互时，根据用户的操作信息调节不同的灯带显示图像，使得上位机3可以根据获取的灯带显示图像识别手柄设备2进而识别用户。

具体地，在实际应用中，上述的惯性测量单元21测量手柄设备2的手柄姿态信息包括：手柄设备2的加速度信息和角速度信息。在实际应用中可以采用MPU9250作为惯性测量单元21，其包含了三轴陀螺仪和三轴加速度计，分别测量手柄设备2的加速度和角速度，并通过蓝牙4.0方式传输给上位机3。上述的按键单元22获取用户的操作信息，该操作信息为用户手动按键的触控信息，该信息通过上述的数据传输单元24蓝牙4.0传输给上位机3。上述的灯带调节单元25根据用户的操作信息调节上述灯带23的灯带显示图像，使得不同用户的手柄设备2中的灯带显示图像不同，便于对多用户的不同手柄设备2进行识别。在实际应用中，上述的灯带23由多个LED灯组成，上述的灯带调节单元25根据操作信息调节各个LED灯的亮灭状态，呈现不同灯带显示图像。

在一较佳实施例中，上述的显示数据信息包括：现实场景图像信息及运动信息。如图2所示，上述的头戴显示设备1包括：图像获取单元11、传感器测量单元12、通信单元13及显示单元14，其中，图像获取单元11采集现实场景图像信息并获取灯带显示图像，并将灯带显示图像及现实场景图像信息通过通信单元13发送至上位机3；传感器测量单元12测量头戴显示设备1的运动信息，并将运动信息通过通信单元13发送至上位机3；显示单元14显示上位机3通过通信单元13发送的混合现实图像。

具体地，在实际应用中，上述的图像获取单元11为至少一摄像头，在本发明实施例中该图像获取单元11，为一个双目摄像头，该双目摄像头根据预设排布方式进行布局，例如该预设排布方式可以是让该双目摄像头平行放置，水平下视15°等，上述的摄像头可采用OV580等。需要说明的是，在本发明实施例中是以图像获取单元11为一个双目摄像头为例进行的说明，在实际应用中还可以是其他类型的摄像头，并且摄像头的种类、个数及预设排布方式可以根据实际需要进行设置，本发明并不以此为限。上述的通信单元13为USB3.0，通过该摄像头拍摄用户所处位置的现实场景图像及上述的手柄设备2中的灯带所显示的灯带显示图像，并将拍摄的上述图像通过USB3.0有线模式发送至上述上位机3。上述的传感器测量单元12可以采用MPU9250，包含三轴陀螺仪和三轴加速度计，其所测量的运动信息包括头戴显示设备1的角速度信息和加速度信息，并通过USB3.0有线模式发送至上述上位机3。

在一较佳实施例中，如图3所示，上述的显示单元14包括：第一屏幕141和第二屏幕142，第一屏幕141和第二屏幕142分别与用户的左眼和右眼对应设置，同步显示混合现实图像。在实际应用中，为了增强用户的体验感，保障用户在佩戴上头戴显示设备1后，双眼看到的图像的一致性，需要在左右眼处除分别设置第一屏幕141和第二屏幕142，同步显示上位机3通过上述通信单元13发送的混合现实图像。

在一较佳实施例中，如图2所示，上述的头戴显示设备1还包括：头戴固定装置15，用户通过头戴固定装置15将头戴显示设备1固定于用户的头上。在实际应用中，上述的头戴固定装置15与上述头戴显示设备1之间可以是固定连接也可以是可拆卸连接，该头戴固定装置15可以采用卡扣或绑带等结构将头戴显示设备1固定在用户头上，本发明并不以此为限。

在一较佳实施例中，如图4所示，上述的上位机3包括：即时地图构建单元31，采用即时定位与地图构建算法建立混合现实头戴显示系统的当前即时地图。在实际应用中，上述的即时地图构建单元31所建立的当前即时地图是以佩戴上述头戴显示设备1的用户为参考点，建立该用户及其周围环境的地图，为后续用户进行交互操作提供位置信息。

位置姿态计算单元32，根据手柄姿态信息和显示数据信息分别计算手柄设备2及头戴显示设备1在当前即时地图中的位置姿态信息；在实际应用中，上述的位置姿态计算单元32，根据上述的惯性测量单元21所测量的手柄的加速度及角速度信息及通过上述摄像头拍摄的灯带显示图像对手柄设备2进行识别，计算得到该手柄设备2在上述当前即时地图中的位置姿态信息。

虚拟图像生成单元33，根据用户操作信息和当前即时地图生成虚拟图像信息；在实际应用中，该虚拟图像信息可以根据用户的交互场景来设置，例如用户在上述按键单元22上选择某种游戏的体验场景，则该虚拟图像生成单元33则根据当前即时地图生成该用户所选择的虚拟场景图像。

混合现实图像生成单元34，从显示数据信息中获取即时地图下的现实场景图像信息，并将现实场景图像信息与虚拟图像信息进行渲染和叠加，生成混合现实图像。在实际应用中，上述的现实场景图像信息可以通过上述的头戴显示设备1中的摄像头拍摄得到，该混合现实图像生成单元34对该现实场景图像信息通过深度学习算法进行识别，并将识别结果与上述的虚拟图像进行渲染和融合生成混合现实图像。例如，现实场景图像为包含椅子的图像，而虚拟图像中并不存在上述椅子，则该混合现实图像生成单元34通过对椅子的识别，将椅子在当前即时地图下的图像与虚拟图像进行渲染和叠加，使得生成的混合现实图像中既包含虚拟图像信息又包含现实场景中的椅子的信息，提高用户交互体验的真实感。

在一较佳实施例中，如图5所示，上述的混合现实图像生成单元34包括：平面检测模块341，采用平面检测算法对现实场景图像信息中的物体进行平面检测，得到即时地图坐标系下的位置关系信息。在实际应用中，上述的平面检测模块341，采用平面检测算法对现实场景图像信息中的物体进行平面检测的具体过程为，先获得该现实场景图像信息的稠密点云，然后对稠密点云进行位置聚类，最后从每一类聚类的稠密点云中获取平面中心点坐标、平面方向、平面尺寸等位置关系信息。

图像融合模块342，将即时地图坐标系下的位置关系信息与虚拟图像信息进行渲染和叠加，生成混合现实图像。在实际应用中，该图像融合模块342根据上述的平面中心点坐标、平面方向、平面尺寸等位置关系信息，及虚拟图像中虚拟物体根据平面在世界坐标系下的位置、姿态，叠加在平面上，因为摄像头所拍摄的现实场景图像与上述的当前即时地图为固连关系，从而实现虚拟物体与真实物体的坐标系固连，形成虚拟图像与真实物体的图像融合。

在一较佳实施例中，如图4所示，上述的上位机3还包括：安全监护单元35，用于根据现实场景图像信息，判断头戴显示设备1是否在预设安全操作区域内；当头戴显示设备1不在预设安全操作区域内时，安全监护单元35向用户报警。

在实际应用中，上述的安全监护单元35，可以通过虚拟墙控制的虚拟安全区，该区域为闭环的区域，当用户靠近虚拟安全区边缘时显示虚拟墙用于提醒用户注意操作区域，当用户离开预设安全操作区域；在实际应用中还可以将上述摄像头拍摄的现实影像投影到头戴显示设备1的显示单元14，实现用户在配戴头戴显示设备1情况下，仍然可以看到真实场景，以避免触碰障碍物；还可以通过上述摄像头拍摄图像计算得到深度信息，根据深度信息判断摄像头可视区域是否存在障碍物；还可以根据头戴显示设备1的位置、姿态信息与场景中物体的位置关系，判断用户周围360°范围是否存在障碍物等。本发明并不以此为限。

在实际应用中，本发明实施例提供的混合现实头戴显示系统实现真实物体影像与虚拟三维物体信息渲染及叠加的工作流程如下：

混合现实头戴显示系统初始化；OV580摄像头拍摄真实场景图片；上位机3获取OV580摄像头图片后，利用虚拟现实开发引擎Unity，将OV580摄像头拍摄的图片与虚拟三维物体叠加；上位机3利用高通835片上显卡进行OV580摄像头拍摄的图片与虚拟三维物体的渲染，并显示到头戴显示设备1的显示单元14，并返回用OV580摄像头拍摄真实场景图片的步骤。

在实际应用中，本发明实施例提供的混合现实头戴显示系统基于深度学习的混合现实交互工作流程如下：

混合现实头戴显示系统初始化；OV580摄像头拍摄真实场景图片；对OV580摄像头拍摄真实场景图片进行畸变校正，得到无畸变图像，基于深度学习算法例如：TensorFlow算法对无畸变图像进行物体识别，得到物体语义信息，并基于此采用即时定位与地图构建算法建立所述混合现实头戴显示系统的当前即时地图，得到摄像头的位置、姿态信息，进而得到在当前即时地图的坐标系下被识别物体的位置、姿态和尺寸等信息；基于识别到的物体，在虚拟场景中创建对应的虚拟物体；判断是否继续进行物体识别，如果是则返回到OV580摄像头拍摄真实场景图片，否则进入基于识别到的物体，在虚拟场景中创建对应的虚拟物体中创建的虚拟场景，该场景中的物体均由物体识别得到的物体对应建立，物体间的相对关系与真实场景相对应。

在实际应用中，本发明实施例提供的混合现实头戴显示系统实现多人同场交互工作流程如下：

混合现实头戴显示系统初始化；利用其中一个用户的混合现实头戴显示系统进行当前即时地图创建，得到导航地图；将创建的导航地图分发给本地其他混合现实头戴显示系统；本地其他用户的混合现实头戴显示系统导入分发的导航地图；本地其它用户的混合现实头戴显示系统根据导入的导航地图，进行当前即时地图导航，从而多个头戴显示系统在同一坐标系下进行导航定位，实现多人同场交互工作。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (13)

1.一种混合现实头戴显示系统，其特征在于，包括：头戴显示设备(1)、手柄设备(2)及上位机(3)，其中，

所述手柄设备(2)包括：惯性测量单元(21)、按键单元(22)及灯带(23)；

所述惯性测量单元(21)测量所述手柄设备(2)的手柄姿态信息，并将所述手柄姿态信息发送至所述上位机(3)；

所述按键单元(22)获取用户的操作信息，并将所述操作信息发送至所述上位机(3)；

所述灯带(23)用于显示灯带显示图像；

所述头戴显示设备(1)获取所述灯带显示图像，并将所述灯带显示图像及所述头戴显示设备(1)的显示数据信息发送至上位机(3)；

所述上位机(3)根据所述手柄姿态信息、操作信息、灯带显示图像及显示数据信息生成混合现实图像，并将所述混合现实图像发送至所述头戴显示设备(1)进行显示。

2.根据权利要求1所述的混合现实头戴显示系统，其特征在于，所述手柄设备(2)还包括：

数据传输单元(24)，所述数据传输单元(24)获取所述手柄姿态信息及所述操作信息，并将所述手柄姿态信息及所述操作信息发送至所述上位机(3)。

3.根据权利要求1所述的混合现实头戴显示系统，其特征在于，所述手柄设备(2)还包括：

灯带调节单元(25)，所述灯带调节单元(25)获取所述操作信息，并根据所述操作信息调节所述灯带显示图像。

4.根据权利要求1所述的混合现实头戴显示系统，其特征在于，所述显示数据信息包括：现实场景图像信息及运动信息；

所述头戴显示设备(1)包括：图像获取单元(11)、传感器测量单元(12)、通信单元(13)及显示单元(14)，其中，

所述图像获取单元(11)采集所述现实场景图像信息并获取所述灯带显示图像，并将所述灯带显示图像及所述现实场景图像信息通过所述通信单元(13)发送至所述上位机(3)；

所述传感器测量单元(12)测量所述头戴显示设备(1)的运动信息，并将所述运动信息通过所述通信单元(13)发送至所述上位机(3)；

所述显示单元(14)显示所述上位机(3)通过所述通信单元(13)发送的所述混合现实图像。

5.根据权利要求4所述的混合现实头戴显示系统，其特征在于，所述头戴显示设备(1)还包括：头戴固定装置(15)，用户通过所述头戴固定装置(15)将所述头戴显示设备(1)固定于所述用户的头上。

6.根据权利要求1所述的混合现实头戴显示系统，其特征在于，所述显示单元(14)包括：第一屏幕(141)和第二屏幕(142)，所述第一屏幕(141)和所述第二屏幕(142)分别与所述用户的左眼和右眼对应设置，同步显示所述混合现实图像。

7.根据权利要求1所述的混合现实头戴显示系统，其特征在于，

当用户左手操作所述手柄设备(2)时，所述操作信息为左手操作信息，所述灯带调节单元(25)调节所述灯带(23)的灯带显示图像为第一预设图像；

当用户右手操作所述手柄设备(2)时，所述操作信息为右手操作信息，所述灯带调节单元(25)调节所述灯带(23)的灯带显示图像为第二预设图像；

所述上位机(3)根据所述第一预设图像及所述第二预设图像对所述手柄设备(2)进行识别。

8.根据权利要求1所述的混合现实头戴显示系统，其特征在于，所述灯带(23)由多个LED灯组成。

9.根据权利要求4所述的混合现实头戴显示系统，其特征在于，所述图像获取单元(11)为至少一摄像头。

10.根据权利要求9所述的混合现实头戴显示系统，其特征在于，所述至少一摄像头根据预设排布方式进行布局。

11.根据权利要求1所述的混合现实头戴显示系统，其特征在于，所述上位机(3)包括：

即时地图构建单元(31)，采用即时定位与地图构建算法建立所述混合现实头戴显示系统的当前即时地图；

位置姿态计算单元(32)，根据所述手柄姿态信息和所述显示数据信息分别计算所述手柄设备(2)及所述头戴显示设备(1)在所述当前即时地图中的位置姿态信息；

虚拟图像生成单元(33)，根据所述用户操作信息和所述当前即时地图生成虚拟图像信息；

混合现实图像生成单元(34)，从所述显示数据信息中获取所述即时地图下的现实场景图像信息，并将所述现实场景图像信息与所述虚拟图像信息进行渲染和叠加，生成混合现实图像。

12.根据权利要求11所述的混合现实头戴显示系统，其特征在于，所述混合现实图像生成单元(34)包括：

平面检测模块(341)，采用平面检测算法对所述现实场景图像信息中的物体进行平面检测，得到所述即时地图坐标系下的位置关系信息；

图像融合模块(342)，将所述即时地图坐标系下的位置关系信息与虚拟图像信息进行渲染和叠加，生成混合现实图像。

13.根据权利要求11所述的混合现实头戴显示系统，其特征在于，所述上位机(3)还包括：

安全监护单元(35)，用于根据所述现实场景图像信息，判断所述头戴显示设备(1)是否在预设安全操作区域内；

当所述头戴显示设备(1)不在所述预设安全操作区域内时，所述安全监护单元(35)向所述用户报警。