CN205581784U - 一种基于现实场景的可交互混合现实平台 - Google Patents

Abstract

一种基于现实场景的可交互混合现实平台，本申请平台内随机放置带有标签的现实物体，使用者在平台内移动，所述立体摄像机组的各立体摄像机均匀布置在平台环境顶部，所述网络消息处理设备和网关均匀布置在平台环境顶部，所述平台一侧的墙上放置有显示设备，使用者手上穿戴有标签，使用者头戴头戴式设备，使用者身背交互数据处理设备。本实用新型提供一种基于现实场景的可交互混合现实平台，可通过室内定位将使用者所处现实场景映射到虚拟场景中进行同步交互，从而提高使用者的感受及体验程度。

Description

一种基于现实场景的可交互混合现实平台

技术领域

本实用新型涉及虚拟交互平台领域，特别是涉及一种基于现实场景的可交互混合现实平台。

背景技术

虚拟现实技术是仿真技术与计算机图形学、人机接口技术、多媒体技术、传感技术等多种技术的结合，通过模拟产生一个三维空间的虚拟世界，提供使用者多维度的感官享受。

混合现实是虚拟现实技术的进一步发展，包括增强现实和增强虚拟，是合并现实和虚拟世界而产生的新的可视化环境，在新的可视化环境里物理和数字对象共存，给用户构造高临场感体验。增强现实是指将虚拟数字内容叠加在现实物体上，增强虚拟则是在虚拟的环境中加上真实的物体共同构成。

混合现实提供了一种新的信息感知方式，它将真实世界的信息与虚拟的信息有机、有序的进行结合显示，通过两种信息的互补、叠加，极大的提高了使用者的信息接收速度。

为此可以设计一种基于现实场景的可交互混合现实平台，来实现可交互式混合现实，从而提高使用者感受及体验程度。

实用新型内容

为了解决上述存在的问题，本实用新型提供一种基于现实场景的可交互混合现实平台，可将现实场景映射到虚拟场景中进行同步交互，从而提高使用者的感受及体验程度，为达此目的，本实用新型提供一种基于现实场景的可交互混合现实平台，包括立体摄像机组、第一网络消息处理设备、网关、头戴式设备、显示设备、标签和交互数据处理设备，平台内随机放置带有标签的现实物体，使用者在平台内移动，所述立体摄像机组的各立体摄像机均匀布置在平台环境顶部，所述第一网络消息处理设备和网关均匀布置在平台环境顶部，所述平台一侧的墙上放置有显示设备，使用者手上穿戴有标签，使用者头戴头戴式设备，使用者身背交互数据处理设备，所述立体摄像机组内有标签捕捉及追踪设备，所述标签捕捉及追踪设备通过成像画面捕捉标签发出信号，并对其进行实时追踪，所述标签捕捉及追踪设备通过网络与网络消息处理设备相连，所述第一网络消息处理设备内有标签坐标转换设备，所述网关内有第二网络消息处理设备，所述网关通过网络接收标签坐标转换设备的信号，所述网关通过网络与交互处理设备相连，所述头戴式设备内有九轴传感器，所述头戴式设备内九轴传感器捕捉使用者视角，所述头戴式设备通过网络将传感器数据传送至交互数据处理设备，所述交互数据处理设备通过网络与头戴式设备或者显示设备相连。

实用新型的进一步改进，所述立体摄像机组有至少4个立体摄像机，本实用新型可以根据需要定位环境大小增加摄像机数目。

实用新型的进一步改进，所述头戴式设备为头戴式显示器或虚拟眼镜或VR眼镜，本实用新型以上类型设备的头戴式设备均可以使用。

本实用新型的进一步改进，所述显示设备为电视机或显示屏，本实用新型以上类型设备的显示设备均可以使用。

本实用新型一种基于现实场景的可交互混合现实平台，其平台主要包括立体摄像机组、网络消息处理设备、网关、头戴式设备、显示设备、标签和交互数据处理设备，立体摄像机组通过标签捕捉及追踪设备捕捉标签信号，并将其2D坐标传送至网络消息处理设备进行处理；网络消息处理设备通过标签坐标转换模块将2D坐标转换为3D坐标；网关103调用网络消息处理203模块对发送过来的标签3D坐标进行整理，并分发至交互处理设备，头戴式设备通过九轴传感器捕获用户当前视角，并将传感器数据，传送至交互数据处理设备进行处理，标签则用于标记用户关节或者现实物体，交互数据处理设备处理传感器数据和标签3D坐标，将虚拟场景与用户视角进行绑定，并识别用户当前姿态动作进行场景交互，最后将交互结果的表现形式展现在头戴式设备或者显示设备中，通过以上方式将现实场景映射到虚拟三维场景中，并将用户的空间坐标与虚拟环境进行绑定，结合穿戴设备反馈的姿态识别结果进行实时交互。

附图说明

图1为本实用新型示意图；

图2为本实用新型原理示意图；

图示说明:

101、立体摄像机组；102、第一网络消息处理设备；103、网关；104、头戴式设备；105、显示设备；106、标签；107、交互数据处理设备；108、现实物体； 201、标签捕捉及追踪设备；202、标签坐标转换设备；203、第二网络消息处理设备；204、交互处理结果；205、传感器数据。

具体实施方式

下面结合附图与具体实施方式对本实用新型作进一步详细描述：

本实用新型提供一种基于现实场景的可交互混合现实平台，可将现实场景映射到虚拟场景中进行同步交互，从而提高使用者的感受及体验程度。

作为本实用新型一种实施例，本实用新型提供如图1所示的一种基于现实场景的可交互混合现实平台，包括立体摄像机组101、第一网络消息处理设备102、网关103、头戴式设备104、显示设备105、标签106和交互数据处理设备107，平台内随机放置带有标签的现实物体108，使用者在平台内移动，所述立体摄像机组101有至少4个立体摄像机，本实用新型可以根据需要定位环境大小增加摄像机数目，所述立体摄像机组101的各立体摄像机均匀布置在平台环境顶部，所述第一网络消息处理设备102和网关103均匀布置在平台环境顶部，所述平台一侧的墙上放置有显示设备105，使用者手上穿戴有标签106，使用者头戴头戴式设备104，使用者身背交互数据处理设备107，所述立体摄像机组101内有标签捕捉及追踪设备201，所述标签捕捉及追踪设备201通过成像画面捕捉标签106发出信号，并对其进行实时追踪，所述标签捕捉及追踪设备201通过网络与第一网络消息处理设备102相连，所述第一网络消息处理设备102内有标签坐标转换设备202，所述网关103内有第二网络消息处理设备203，所述网关103通过网络接收标签坐标转换设备202的信号，所述网关103通过网络与交互处理设备107相连，所述头戴式设备104内有九轴传感器，所述头戴式设备104内九轴传感器捕捉使用者视角，所述头戴式设备104通过网络将传感器数据205传送至交互数据处理设备107，所述交互数据处理设备107通过网络与头戴式设备104或者显示设备105相连，所述头戴式设备104为头戴式显示器或虚拟眼镜或VR眼镜，本实用新型以上类型设备的头戴式设备均可以使用，所述显示设备105为电视机或显示屏，本实用新型以上类型设备的显示设备均可以使用。

本实用新型基于现实场景的可交互混合现实系统包括立体摄像机组、网关、头戴式设备、标签等硬件及标签识别及跟踪模块、网络消息处理模块、标签坐标转换模块、交互数据处理模块等软件模块。

立体摄像机组是前端探知设备，标签识别及跟踪模块负责将摄像机捕捉的图像进行分析，识别标签并进行实时跟踪，将标签的2D坐标通过网络消息处理模块发送至网关。本专利中摄像机将红外滤光片挡在CCD镜头前，保证仅接收指定波段的红外光线，便于标签识别与追踪。

网关是网络消息分发处理设备，它将接收到的标签2D数据通过标签坐标转换模块转换为3D坐标，并通过网络分发出去。

头戴式设备是场景显示装置，也可以通过其他手段对当前场景进行显示。

标签是现实物体的唯一身份标记，采用主动红外的方式进行设计，便于被摄像机捕捉。

标签识别及追踪模块通过分析捕获到的摄像机红外图像，通过滤波等图像处理算法后得到标签2D坐标点，并对标签进行标记后进行追踪。

网络消息处理模块主要处理网络中流转的标签坐标消息及设备注册、登陆等信息。保证标签、摄像机、网关之间的正常信息流转。

交互数据处理模块主要负责将采集到的标签3D信息进行分析，根据标签分类的不同进行不同的处理，比如收到头戴式设备的标签3D信息后会根据头戴式设备当前传感器数据进行分析，将虚拟场景中的摄像头视角转变到当前用户视角，保证虚拟场景与现实场景的一致性。比如收到手、脚的标签点3D信息，则根据动态时间规整（DTW）算法进行分析，判断当前用户的动作姿态，并将识别出来的姿态通过事件接口发送至表现层根据虚拟场景需求进行交互动作。

本实用新型工作原理如下：

具体步骤如图2所示立体摄像机组101组通过其内标签捕捉及追踪设备201捕捉标签106信号，并将其2D坐标传送至第一网络消息处理设备102进行处理，所述第一网络消息处理设备102通过其内标签坐标转换设备202将2D坐标转换为3D坐标，所述网关103调用其内第二网络消息处理设备203对发送过来的标签3D坐标进行整理，并分发至交互处理设备107，.所述头戴式设备104通过九轴传感器捕获用户当前视角，并将传感器数据205传送至交互数据处理设备107进行处理，所述标签106用于标记用户关节或者现实物体108，所述交互数据处理设备107处理传感器数据和标签3D坐标，将虚拟场景与用户视角进行绑定，并识别用户当前姿态动作进行场景交互，最后将交互结果204的表现形式展现在头戴式设备104或者显示设备105中。

以上所述，仅是本实用新型的较佳实施例而已，并非是对本实用新型作任何其他形式的限制，而依据本实用新型的技术实质所作的任何修改或等同变化，仍属于本实用新型所要求保护的范围。

Claims (4)

1.一种基于现实场景的可交互混合现实平台，包括立体摄像机组（101）、第一网络消息处理设备（102）、网关（103）、头戴式设备（104）、显示设备（105）、标签（106）和交互数据处理设备（107），平台内随机放置带有标签的现实物体（108），使用者在平台内移动，其特征在于：所述立体摄像机组（101）的各立体摄像机均匀布置在平台环境顶部，所述第一网络消息处理设备（102）和网关（103）均匀布置在平台环境顶部，所述平台一侧的墙上放置有显示设备（105），使用者手上穿戴有标签（106），使用者头戴头戴式设备（104），使用者身背交互数据处理设备（107），所述立体摄像机组（101）组内有标签捕捉及追踪设备（201），所述标签捕捉及追踪设备（201）通过成像画面捕捉标签（106）发出信号，并对其进行实时追踪，所述标签捕捉及追踪设备（201）通过网络与第一网络消息处理设备（102）相连，所述第一网络消息处理设备（102）内有标签坐标转换设备（202），所述网关（103）内有第二网络消息处理设备（203），所述网关（103）通过网络接收标签坐标转换设备（202）的信号，所述网关（103）通过网络与交互处理设备（107）相连，所述头戴式设备（104）内有九轴传感器，所述头戴式设备（104）内九轴传感器捕捉使用者视角，所述头戴式设备（104）通过网络将传感器数据（205）传送至交互数据处理设备（107），所述交互数据处理设备（107）通过网络与头戴式设备（104）或者显示设备（105）相连。

2.根据权利要求1所述的一种基于现实场景的可交互混合现实平台，其特征在于：所述立体摄像机组（101）有至少4个立体摄像机。

3.根据权利要求1所述的一种基于现实场景的可交互混合现实平台，其特征在于：所述头戴式设备（104）为头戴式显示器或虚拟眼镜或VR眼镜。

4.根据权利要求1所述的一种基于现实场景的可交互混合现实平台，其特征在于：所述显示设备（105）为电视机或显示屏。