CN207744074U - 一种虚拟现实图像处理装置 - Google Patents

Abstract

本实用新型公开了一种虚拟现实图像处理装置，包括：USB摄像头、陀螺仪、音量控制键、显示屏、摄像头支架、摄像头接口、主功能控制模块、壳体以及两个目镜；两个目镜嵌入壳体表面；显示屏设置于壳体内，并且其正面平行于目镜；摄像头支架的一端连接在壳体上；USB摄像头固定于摄像头支架上，并且连接至摄像头接口；陀螺仪设置于显示屏后方的壳体表面上；主功能控制模块位于壳体内；USB摄像头、陀螺仪以及主功能控制模块均连接至第一数据总线；显示屏与主功能控制模块均连接至第二数据总线。本实用新型能够为用户提供更为完善的虚拟现实交互体验，同时节约移动设备内存，并且在一定的程度上解决了一般移动设备上播放VR视频卡顿、重影等问题。

Description

一种虚拟现实图像处理装置

技术领域

本实用新型属于虚拟现实技术领域，更具体地，涉及一种虚拟现实图像处理装置。

背景技术

近年来，随着虚拟现实技术的风靡，越来越多应用虚拟现实技术的产品出现，虚拟现实技术将人们从现实带到了虚拟世界。目前的虚拟现实技术的呈现，主要是体验者依靠全封闭的头戴型显示器观看电脑模拟产生的虚构世界的影像，并配有耳机、运动传感器或其他设备，以提供视觉、听觉、触觉等方面的感官体验，虚拟现实系统的整套设备可以根据体验者的反应作出反馈，使体验者达到身临其境的感觉。

应用了虚拟现实(Virtual Reality，VR)技术的虚拟现实头戴设备受到了消费者尤其是科技迷的广泛关注和追捧。目前，市面上的虚拟现实设备大多需要同终端配合使用，将安放在头戴设备中的终端作为头戴设备的显示屏。终端需要对显示画面进行虚拟现实图像处理，将二维的平面画面转变为虚拟的立体画面。在转变的过程中，为了使虚拟画面更真实，终端需要对播放的画面进行图像渲染，但是全渲染要求的运算资源十分高，观看全渲染图像的代价是帧率下降，延时提高，带来卡顿等不良的视觉感受。

实用新型内容

针对现有技术的缺陷和改进需求，本实用新型提供了一种虚拟现实图像处理装置，其目的在于，为用户提供更为完善的虚拟现实交互体验，同时节约移动设备宝贵的内存，提高移动设备的渲染速度，使得视频的播放更加流畅，并且在一定的程度上解决一般移动设备上播放VR视频卡顿、重影等问题。

本实用新型提供了一种虚拟现实图像处理装置，包括：用于实时采集人眼图像数据的USB摄像头、用于实时采集头部图像数据的陀螺仪、用于调节音量的音量控制键、用于显示VR视频的显示屏、摄像头支架、摄像头接口、主功能控制模块、壳体以及两个目镜；两个目镜嵌入壳体表面；音量控制键设置于壳体表面；显示屏设置于壳体内，并且其正面平行于目镜；摄像头支架的一端连接在壳体上，摄像头接口设置于壳体表面；USB摄像头固定于摄像头支架上，并且连接至摄像头接口；陀螺仪设置于显示屏后方的壳体表面上；主功能控制模块位于壳体内；USB摄像头、陀螺仪以及主功能控制模块均连接至第一数据总线；显示屏与主功能控制模块均连接至第二数据总线。

进一步地，主功能控制模块包括：第一控制器、第二控制器、处理器以及存储器；第一控制器、第二控制器、处理器以及存储器均连接至第三数据总线；第一控制器还连接至第一数据总线；第二控制器还连接至第二数据总线；第一控制器接收USB摄像头采集的人眼图像数据以及陀螺仪采集的头部图像数据，并根据接收到的图像数据实时计算VR视频每一帧图像所对应的人眼视锥体数据；第二控制器根据第一控制器计算得到的视锥体数据，对VR视频帧图像中位于视线范围内的区域进行高层次渲染，以及对VR视频帧图像中位于视线范围外的区域进行低层次渲染，并将渲染后的VR视频帧图像传输至显示屏进行显示。

更进一步地，第一控制器还根据接收到的图像数据识别双眼的眨眼方式，并根据识别结果控制VR视频的播放、暂停以及音量的大小。

进一步地，两个目镜可相对地左右移动，以根据不同用户的佩戴需求调节目镜之间的距离。

进一步地，摄像头支架可相对于视线方向前后移动，以便于USB摄像头拍摄到相对于目镜不同距离处的人眼图像。

进一步地，摄像头可在摄像头支架上左右移动并自由旋转，以调整USB摄像头的拍摄角度，从而拍摄到各个角度的人眼图像。

进一步地，处理器是整个主功能控制模块的控制中心，利用各种接口和线路连接整个主功能控制模块的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行对图像信息的处理；可选地，处理器可包括一个或多个处理单元。

进一步地，存储器存储待显示的VR视频数据；存储器可包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如只读存储器(英文：read-onlymemory，缩写：ROM)，快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，HDD)或固态硬盘(英文：solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。

总体而言，通过本实用新型所构思的以上技术方案，能够取得以下有益效果：

(1)由于USB摄像头获取并处理人眼视线数据能够在VR视频播放的同时通过识别人眼的不同眨眼方式来控制VR视频的播放、暂停和音量的大小，能够让用户能体验更为完善的虚拟现实交互；

(2)第二控制器能够实现多层次渲染，使得本实用新型不仅能够节约移动设备宝贵的内存，而且提高了移动设备的渲染速度，使得视频的播放更加流畅，并且在一定的程度上解决了一般移动设备上播放VR视频卡顿，重影等问题；

(3)本实用新型提供的虚拟现实图像处理装置具有外接的USB摄像头接口和USB摄像头支架，可以很方便地在已有的播放设备上连接外接摄像头；

(4)由于USB摄像头支架可沿视线方向前后调节，并且USB摄像头可在摄像头支架上左右移动和自由旋转，能够更加准确的捕获人眼的眼球运动数据。

附图说明

图1是本实用新型实施例提供的装置结构示意图；

图2是本实用新型实施例提供的装置系统结构示意图；

图3是本实用新型实施例提供的装置功能示意图。

具体实施方式

为了使本实用新型的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本实用新型进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本实用新型，并不用于限定本实用新型。此外，下面所描述的本实用新型各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本实用新型提供的虚拟现实图像处理装置，如图1所示，包括：用于实时采集人眼图像数据的USB摄像头、用于实时采集头部图像数据的陀螺仪、用于调节音量的音量控制键、用于显示VR视频的显示屏、摄像头支架、摄像头接口、主功能控制模块、壳体以及两个目镜；两个目镜嵌入壳体表面；音量控制键设置于壳体表面；显示屏设置于壳体内，并且其正面平行于目镜；摄像头支架的一端连接在壳体上，摄像头接口设置于壳体表面；USB摄像头固定于摄像头支架上，并且连接至摄像头接口；陀螺仪设置于显示屏后方的壳体表面上；主功能控制模块位于壳体内；USB摄像头、陀螺仪以及主功能控制模块均连接至第一数据总线；显示屏与主功能控制模块均连接至第二数据总线。本实用新型提供的虚拟现实图像处理装置具有外接的USB摄像头接口和USB摄像头支架，可以很方便地在已有的播放设备上连接外接摄像头。

图1所示的虚拟现实图像处理装置中，两个目镜可相对地左右移动，以根据不同用户的佩戴需求调节目镜之间的距离；摄像头支架可相对于视线方向前后移动，以便于USB摄像头拍摄到相对于目镜不同距离处的人眼图像；摄像头可在摄像头支架上左右移动并自由旋转，以调整USB摄像头的拍摄角度，从而拍摄到各个角度的人眼图像；由于USB摄像头支架可沿视线方向前后调节，并且USB摄像头可在摄像头支架上左右移动和自由旋转，能够更加准确的捕获人眼的眼球运动数据。

如图2所示，主功能控制模块包括：第一控制器、第二控制器、处理器以及存储器；第一控制器、第二控制器、处理器以及存储器均连接至第三数据总线；第一控制器还连接至第一数据总线；第二控制器还连接至第二数据总线；第一控制器接收USB摄像头采集的人眼图像数据以及陀螺仪采集的头部图像数据，并根据接收到的图像数据实时计算VR视频每一帧图像所对应的人眼视锥体数据；第一控制器还根据接收到的图像数据识别双眼的眨眼方式，并根据识别结果控制VR视频的播放、暂停以及音量的大小；由于USB摄像头获取并处理人眼视线数据能够在VR视频播放的同时通过识别人眼的不同眨眼方式来控制VR视频的播放、暂停和音量的大小，能够让用户能体验更为完善的虚拟现实交互；第二控制器根据第一控制器计算得到的视锥体数据，对VR视频帧图像中位于视线范围内的区域进行高层次渲染，以及对VR视频帧图像中位于视线范围外的区域进行低层次渲染，并将渲染后的VR视频帧图像传输至显示屏进行显示。

处理器是整个主功能控制模块的控制中心，利用各种接口和线路连接整个主功能控制模块的各个部分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行对图像信息的处理；可选地，处理器可包括一个或多个处理单元。

存储器存储待显示的VR视频数据；存储器可包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如只读存储器(英文：read-only memory，缩写：ROM)，快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，HDD)或固态硬盘(英文：solid-state drive，SSD)；存储器还可以包括上述种类的存储器的组合。

如图3所示的功能示意图中，第一控制器根据接收到的由USB摄像头采集的人眼图像数据以及由陀螺仪采集的头部图像数据，分别计算人左眼和右眼的视锥体数据，从而确定显示屏上的左眼观察区和右眼观察区；第二控制器根据第一控制器计算得到的视锥体数据，对VR视频帧图像中位于左眼观察区和右眼观察区内的内容进行高层次渲染，并且对VR视频帧图像中位于观察区之外的内容进行低层次渲染。由于第二控制器可实现多层次渲染，使得本实用新型不仅能够节约移动设备宝贵的内存，还能够提高移动设备的渲染速度，使得视频的播放更加流畅，并且在一定的程度上解决了一般移动设备上播放VR视频卡顿，重影等问题。

本领域的技术人员容易理解，以上所述仅为本实用新型的较佳实施例而已，并不用以限制本实用新型，凡在本实用新型的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本实用新型的保护范围之内。

Claims (6)

1.一种虚拟现实图像处理装置，其特征在于，包括：用于实时采集人眼图像数据的USB摄像头、用于实时采集头部图像数据的陀螺仪、用于调节音量的音量控制键、用于显示VR视频的显示屏、摄像头支架、摄像头接口、主功能控制模块、壳体以及两个目镜；所述两个目镜嵌入所述壳体表面；所述音量控制键设置于所述壳体表面；所述显示屏设置于所述壳体内，并且其正面平行于所述目镜；所述摄像头支架的一端连接在所述壳体上，所述摄像头接口设置于所述壳体表面；所述USB摄像头固定于所述摄像头支架上，并且连接至所述摄像头接口；所述陀螺仪设置于所述显示屏后方的壳体表面上；所述主功能控制模块位于所述壳体内；所述USB摄像头、所述陀螺仪以及所述主功能控制模块均连接至第一数据总线；所述显示屏与所述主功能控制模块均连接至第二数据总线。

2.如权利要求1所述的虚拟现实图像处理装置，其特征在于，所述主功能控制模块包括：第一控制器、第二控制器、处理器以及存储器；所述第一控制器、所述第二控制器、所述处理器以及所述存储器均连接至第三数据总线；所述第一控制器还连接至所述第一数据总线；所述第二控制器还连接至所述第二数据总线；

所述第一控制器接收所述USB摄像头采集的人眼图像数据以及所述陀螺仪采集的头部图像数据，并根据接收到的图像数据实时计算VR视频每一帧图像所对应的人眼视锥体数据；

所述第二控制器根据所述第一控制器计算得到的视锥体数据，对VR视频帧图像中位于视线范围内的区域进行高层次渲染，以及对VR视频帧图像中位于视线范围外的区域进行低层次渲染，并将渲染后的VR视频帧图像传输至所述显示屏进行显示。

3.如权利要求1或2所述的虚拟现实图像处理装置，其特征在于，所述两个目镜可相对地左右移动，以根据不同用户的佩戴需求调节目镜之间的距离。

4.如权利要求1或2所述的虚拟现实图像处理装置，其特征在于，所述摄像头支架可相对于视线方向前后移动，以便于所述USB摄像头拍摄到相对于目镜不同距离处的人眼图像。

5.如权利要求1或2所述的虚拟现实图像处理装置，其特征在于，所述摄像头可在所述摄像头支架上左右移动并自由旋转，以调整所述USB摄像头的拍摄角度，从而拍摄到各个角度的人眼图像。

6.如权利要求2所述的虚拟现实图像处理装置，其特征在于，所述第一控制器还根据接收到的图像数据识别双眼的眨眼方式，并根据识别结果控制VR视频的播放、暂停以及音量的大小。