CN204465755U - 可交互立体混合现实的装置及应用该装置的虚拟现实头盔 - Google Patents

Abstract

本实用新型提供了一种可交互立体混合现实的处理装置，包括移动处理设备、立体摄像机模组、头部定位与运动传感模块、立体图像运动编码模块、低速与高速存储模块、图像信息识别模块、应用处理器与液晶显示模块。本实用新型还提供了一种应用该处理装置的虚拟现实头盔，结构简单，成本较低，现实环境的视频与虚拟场景视频流混合后的效果也更为逼真，将图像延迟时间降低到视神经无法感知的范围内，画面具有较好的实时性，使用时舒适度较高。

Description

可交互立体混合现实的装置及应用该装置的虚拟现实头盔

技术领域

本实用新型涉及虚拟现实技术领域，尤其涉及一种可交互立体混合现实的装置及应用该装置的虚拟现实头盔。

背景技术

虚拟现实技术是现在比较热门的研究领域之一，主要通过将真实的环境虚拟化，应用于相应的科研活动和娱乐中。目前，虚拟现实比较成熟的技术有头盔式显示器，即在头盔的前部设置有与头盔连接的显示器，通过利用头部跟踪来改变图像的视角，使用者的视觉系统和运动感知系统之间就可以联系起来，当使用者带上头盔以后，就可以通过眼前的显示器观察显示器中图像，从而给使用者身临其境的体验，使用者不仅可以通过双目立体视觉去认识环境，而且可以通过头部的运动去观察环境，进而在人造环境中，使用者可通过自身的位置和头(眼)的方向来确定所看到的景象。

授权公告号为CN202351792U的专利文献中，公开了一种用于虚拟现实模拟环境中的头盔装置，包括头盔与设置于头盔前方与头盔相连的显示器，头盔的上部和侧面设置有定位发送装置，系统还包括定位接收装置，定位接收装置设置于头盔的上方和头盔四周，其中，定位发送装置为红外线发送装置，定位接收装置为红外线接收装置，定位接收装置将收到的头盔位置信息发送给处理器，由处理器控制经显示器显示的图像。使用者带上头盔后，显示器便位于使用者眼部的前方，开始显示图像，同时头盔上的红外线发送装置发送的红外线被红外线接收装置所接收，当使用者转动、抬起或者低下头部时，随着头盔的位置的变化，发送的红外线照射到红外线接收装置上的位置也发送变化，形成位置变化信号，这种位置变化信号又传递给头盔内置的处理器，处理器由此改变显示器上的图像的内容。

现有技术中的头盔装置结构复杂，操作不便，成本高昂，不具有便捷性，同时也不利于工业生产与技术推广。另外，现有技术中的头盔装置在使用时，使用者的视线受到显示器的遮挡，而且使用者自身的肢体动作无法被识别出来与虚拟现实数字世界进行交互，不能够给使用者带来更好的逼真效果；高清视频编码时需耗费部分时间，显示器所显示的画面很难在保证较高刷新速率的同时生成高质量的图像，造成图像延迟而影响使用时的舒适度。

因此，如何能够对现有技术中的可交互立体混合现实的处理装置以及虚拟头盔进行改进，是本领域技术人员有待解决的技术难题。

实用新型内容

本实用新型提供了一种可交互立体混合现实的装置及应用该装置的虚拟现实头盔，可交互立体混合现实的处理装置中，现实环境的视频与虚拟场景视频流混合后的效果也更为逼真，将图像延迟时间降低到视神经无法感知的范围内，画面具有较好的实时性，应用该处理装置的虚拟现实头盔的结构简单，成本较低，使用时舒适度较高。

本实用新型的技术方案如下：

一种可交互立体混合现实的处理装置，适用于虚拟现实头盔，包括用于捕捉视屏信息的立体摄像机模组，该处理装置还包括用于感知和预测头部运动轨迹的头部定位与运动传感模块，以及与立体摄像机模组相连的图像信息识别模块，所述和头部定位与运动传感模块均连接于用于修正视屏信息的立体图像运动编码模块，所述立体图像运动编码模块连接有用于储存与输出视屏信息的低速与高速存储模块，所述低速与高速存储模块的输出端连接有应用处理器，所述应用处理器的输出端连接有液晶显示模块。

本实用新型的可交互立体混合现实的处理装置，通过立体摄像机模组来捕捉图像信息，经图像信息识别模块识别图像信息，头部定位与运动传感模块可以追踪使用者头部的运动，通过对使用者头部位置和运动的计算，根据运动惯性的原理，提前预测出头部的运动轨迹，进而可预测使用者下一个瞬间的视场；采用立体图像运动编码模块，可将现实空间格子化划分为若干个视场，将每个视场的图像数据预先存储在低速与高速存储模块中，使用者随着头部转动，在移动下一个视场位置之前，头部定位与运动传感模块已经提前预测出该位置的视场，立体图像运动编码模块发出控制低速与高速存储模块输出的信号，对应视场图像信息输入到应用处理器与其他信息混合，避免了由于即时视屏编码造成的图像延迟，将图像延迟时间降低到视神经无法感知的范围内，给使用者提供了更好的使用体验，同时也提高了使用时的舒适度。

为了提高显示的逼真效果，识别真实的外界环境与肢体动作图像信息，作为优选，所述图像信息识别模块包括分别与立体图像运动编码模块相连立体图像识别单元与手部图像识别单元，所述立体图像识别单元用于识别真实环境的图像信息，所述手部图像识别单元用于识别肢体动作的图像信息。

为方便融入虚拟场景图像，利于使用者与虚拟场景之间进行交互，作为优选，所述应用处理器的输入端外接有用于输出虚拟场景图像的移动处理设备。

为混入真实的外界声音信息，加强用户体验，优选的，所述应用处理器的输入端还连接有用于捕捉外界声音信息的立体麦克风模块。

为拓展虚拟头盔装置的适用范围，优选的，所述移动处理设备为移动终端、智能电视、计算机或基于云计算的信息服务平台。

外界声音信息、肢体动作图像信息、对应视场的外界环境图像信息与虚拟场景图像信息在应用处理器内进行融合后，进行视频与音频的输出。

本实用新型另一方面还公开了一种虚拟现实头盔，所述头盔包括壳体以及设于壳体内的可交互立体混合现实的处理装置，所述处理装置采用上述可交互立体混合现实的处理装置。

优选的，所述壳体由前壳、后壳以及连接前壳和后壳的固定框构成，固定框的前侧固定有基板，所述基板的前端中下方设有图像信号识别模块，上方设有立体摄像机模组；基板的后面还设头部定位与运动传感模块，且头部定位与运动传感模块的后端设有应用处理器和低速与高速存储模块集成的板卡；所述前壳设有安装液晶显示模块的液晶屏，所述后壳的形状配合人体眼部周边轮廓设置。

进一步优选的，所述立体摄像机模组包括有沿水平向居中的2个红外摄像头、以及设于两端的立体摄像机和麦克风。

红外摄像头用于捕捉肢体动作图像信息，立体摄像机用于捕捉真实环境图像信息，麦克风用于捕捉外界声音信息，更加准确的反应了外界环境以及使用者自身的真实情况，提高了用户体验。

本实用新型的有益效果：

本实用新型的一种可交互立体混合现实的处理装置及应用该处理装置的虚拟现实头盔，可交互立体混合现实的处理装置中，通过图像信息识别模块与立体摄像机模组的设置，能够在立体的虚拟显示数字环境中实时融合周边现实环境空间的视觉，同时可以实时观测肢体动作，现实环境的立体视频无延迟的与虚拟场景视频流混合，在立体图像运动编码模块和低速与高速存储模块，以及头部定位与运动传感模块的配合下，具有更好的实时性，还可捕捉外界声音信息；应用该处理装置的虚拟现实头盔结构简单，操作方便，同时还具有较好的便捷性，使用者通过显示模块可以看到并听到外部真实的环境，具有更好的视觉与听觉感官，使用者的肢体动作可以与数字世界的模型之间进行互动，给使用者提供了更好的使用体验，同时也提高了使用时的舒适度与逼真效果。

附图说明

图1为本实用新型可交互立体混合现实的装置的流程图。

图2为本实用新型基板的结构示意图。

图3为本实用新型虚拟现实头盔的结构示意图。

具体实施方式

下面结合附图详细描述本实用新型的具体实施方式。

实施例1

如图1、图2所示，本实施例的可交互立体混合现实的处理装置包括用于捕捉视屏信息的立体摄像机模组、用于感知和预测头部运动轨迹的头部定位与运动传感模块20，以及与立体摄像机模组相连的图像信息识别模块10，图像信息识别模块10包括手部图像识别单元11与立体空间识别单元12，图像信息识别模块10和头部定位与运动传感模块20均与用于修正视屏信息的立体图像运动编码模块30连接，立体图像运动编码模块30的输出端与用于储存与输出视屏信息的低速与高速存储模块40相连，低速与高速存储模块40的输出端连接有应用处理器50，应用处理器50的输出端连接有液晶显示模块60。

实施例2

如图1-3所示，本实施例的虚拟现实头盔包括壳体以及设于壳体内的可交互立体混合现实的处理装置，其中壳体由前壳1、后壳3以及连接前壳1和后壳3的固定框2构成，固定框2的前侧固定有基板，基板的前端中下方设有图像信号识别模块10，上方设有立体摄像机模组，立体摄像机模组包括有沿水平向居中的2个红外摄像头50、以及设于两端的立体摄像机51和麦克风52；基板的后面还设头部定位与运动传感模块20，且头部定位与运动传感模块20的后端设有应用处理器50和低速与高速存储模块40集成的板卡6；所述前壳1设有安装液晶显示模块60的液晶屏4，所述后壳3的形状配合人体眼部周边轮廓设置。

本实施例的虚拟现实头盔在使用时，头部定位与运动传感模块20可以追踪使用者头部的运动，通过对使用者头部位置和运动的计算，根据运动惯性的原理，提前预测出头部的运动轨迹，进而可预测使用者下一个瞬间的视场，立体图像运动编码模块30可将现实空间格子化划分为若干个视场，将每个视场的图像数据预先存储在存储模块中，使用者随着头部转动，在移动下一个视场位置之前，头部定位与运动传感模块20已经提前预测出该位置的视场，立体图像运动编码模块30发出控制低速与高速存储模块的信号，对应视场图像信息输入到应用处理器50与其他信息混合。外界声音信息、肢体动作图像信息、对应视场的外界环境图像信息与虚拟场景图像信息在应用处理器50内进行融合，最终由液晶显示模块60进行视频输出。

综上所述，本实施例的带有可交互立体混合现实处理装置的虚拟现实头盔有效避免了由即时视屏编码造成的图像延迟，将图像延迟时间降低到视神经无法感知的范围内，给使用者提供了更好的使用体验，同时也提高了使用时的舒适度。

以上所述实施例仅仅是本实用新型的优选实施方式进行描述，并非对本实用新型的范围进行限定，在不脱离本实用新型设计精神的前提下，本领域普通技术人员对本实用新型的技术方案作出的各种变形和改进，均应落入本实用新型的权利要求书确定的保护范围内。

Claims (7)

1.一种可交互立体混合现实的处理装置，适用于虚拟现实头盔，包括用于捕捉视屏信息的立体摄像机模组，其特征在于，该处理装置还包括用于感知和预测头部运动轨迹的头部定位与运动传感模块(20)，以及与立体摄像机模组相连的图像信息识别模块(10)，所述图像信息识别模块(10)和头部定位与运动传感模块(20)均连接于用于修正视屏信息的立体图像运动编码模块(30)，所述立体图像运动编码模块(30)连接有用于储存与输出视屏信息的低速与高速存储模块(40)，所述低速与高速存储模块(40)的输出端连接有应用处理器(50)，所述应用处理器(50)的输出端连接有液晶显示模块(60)。

2.如权利要求1所述的可交互立体混合现实的处理装置，其特征在于，所述图像信息识别模块(10)包括分别与立体图像编码模块(30)相连的立体图像识别单元(12)与手部图像识别单元(11)，所述立体图像识别单元(12)用于识别真实环境的图像信息，所述手部图像识别单元(11)用于识别肢体动作的图像信息。

3.如权利要求1所述的可交互立体混合现实的处理装置，其特征在于，所述应用处理器(50)的输入端外接有用于输出虚拟场景图像的移动处理设备。

4.如权利要求3所述的可交互立体混合现实的处理装置，其特征在于，其特征在于，所述移动处理设备为移动终端、智能电视、计算机或基 于云计算的信息服务平台。

5.一种虚拟现实头盔，其特征在于，所述头盔包括壳体以及设于壳体内的可交互立体混合现实的处理装置，所述处理装置采用上述权利要求1-4中任一项的处理装置。

6.如权利要求5所述的虚拟现实头盔，其特征在于，所述壳体由前壳(1)、后壳(3)以及连接前壳(1)和后壳(3)的固定框(2)构成，固定框(2)的前侧固定有基板，所述基板的前端中下方设有图像信号识别模块(10)，上方设有立体摄像机模组；基板的后面还设头部定位与运动传感模块(20)，且头部定位与运动传感模块(20)的后端设有应用处理器(50)和低速与高速存储模块集成的板卡(6)；所述前壳(1)设有安装液晶显示模块(60)的液晶屏(4)，所述后壳(3)的形状配合人体眼部周边轮廓设置。

7.如权利要求6所述的虚拟现实头盔，其特征在于，所述立体摄像机模组包括有沿水平向居中的2个红外摄像头(50)、以及设于两端的立体摄像机(51)和麦克风(52)。