CN117234282A - 数据处理方法、装置、电子设备、头戴设备及介质 - Google Patents

Abstract

本申请公开了一种数据处理方法、装置、电子设备、头戴设备及介质，方法适用于头戴设备，包括：通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；根据所述第二环境图像确定对应的虚拟画面信息；根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；其中，所述第一相机与所述第二相机设置于所述头戴设备，将虚拟场景信息与彩色现实场景信息结合展示，提高了用户体验。

Description

数据处理方法、装置、电子设备、头戴设备及介质

技术领域

本申请属于混合现实技术领域，尤其涉及一种数据处理方法、装置、电子设备、头戴设备及介质。

背景技术

虚拟现实技术VR囊括计算机、电子信息、仿真技术，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感；混合现实技术MR是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一交互反馈的信息回路，以增强用户体验的真实感。目前主流的MR头戴式一体机在低光环境下为用户提供的显示内容的质量较差；并且通过在MR头戴式一体机上设置多个黑白相机采集环境图像以实现透视功能，用户体验较差。

发明内容

本申请实施例提供一种与现有技术不同的实现方案，以解决相关技术中，混合现实技术的画面显示方法用户体验较差的技术问题。

第一方面，本申请提供一种数据处理方法，适用于头戴设备，包括：

通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；

通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；

根据第二环境图像确定对应的虚拟画面信息；

根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；

其中，所述第一相机与所述第二相机设置于所述头戴设备。

第二方面，本申请提供一种头戴设备，包括：数据处理单元与壳体，所述壳体的外侧设置有多个第一相机与多个第二相机，所述壳体的外侧为用户佩戴所述头戴设备时朝向用户前方的一侧；

所述多个第一相机，用于采集第一环境图像，所述第一环境图像为彩色图像，所述多个第一相机两两对称设置于所述壳体的中心轴两侧；

所述多个第二相机，用于采集第二环境图像，所述第二环境图像为黑白图像，所述多个第二相机两两对称设置于所述壳体的中心轴两侧；

所述数据处理单元，用于：通过所述多个第一相机获取所述第一环境图像；通过所述多个第二相机获取所述第二环境图像；根据所述第二环境图像确定对应的虚拟画面信息；根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容。

第三方面，本申请提供一种数据处理装置，其特征在于，适用于头戴设备，包括：

第一获取模块，用于通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；

第二获取模块，用于通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；

第一确定模块，用于根据所述第二环境图像确定对应的虚拟画面信息；

第二确定模块，用于根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；

其中，所述第一相机与所述第二相机设置于所述头戴设备。

第四方面，本申请提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面或第一方面各可能的实施方式中的任一方法。

第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第一方面各可能的实施方式中的任一方法。

第六方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面或第一方面各可能的实施方式中的任一方法。

本申请通过通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；根据所述第二环境图像确定对应的虚拟画面信息；根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；其中，所述第一相机与所述第二相机设置于所述头戴设备的方案，进而将虚拟场景信息与彩色现实场景信息结合展示，提高了用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请一实施例提供的头戴式一体机的外观示意图；

图2a为本申请一实施例提供的数据处理方法的流程示意图；

图2b为本申请一实施例提供的头戴设备侧的以其中心为原点的坐标系的示意图；

图2c为本申请一实施例提供的头戴设备侧的虚拟影像信息展示方法；

图3为本申请实施例提供的一种数据处理装置的结构示意图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请实施例的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，下面对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

IMU：Inertial Measurement Unit，即惯性测量单元，用于测量物体三轴姿态角(或角速率)以及加速度。

6DoF：6degree of freedom，6自由度，物体在空间具有六个自由度，即沿x、y、z三个直角坐标轴方向的移动自由度与绕该三个坐标轴的转动自由度。

FOV：视场角，视场角在光学工程中又称视场，视场角的大小决定了光学仪器的视野范围，其与焦距的关系如下：h＝f*tan\[Theta]；像高＝EFL*tan (半FOV)；EFL为焦距；FOV为视场角。

头戴设备通过可见光摄像头，模拟人眼实时捕捉周围环境图像，通过计算机的立体视觉和图像渲染技术对周围环境图像进行分析后，通过头戴设备的显示器将相应的内容呈现给用户，使得用户可通过头戴设备的显示器实时查看外部环境，该功能为透视功能。

发明人通过研究发现：目前主流的头戴设备，如头戴式一体机普遍存在几个问题：

1)大都采用基于两个鱼眼追踪相机的内向外6DoF追踪方案，解决 VR/MR头戴式一体机相对现实三维空间的6DoF追踪信息，追踪视场较局限；

2)在低光环境下，自内向外的追踪效果较差；

3)通过在头戴式一体机上设置较多相机采集环境图像实现透视功能，成本较高；

4)无法提供用户的眼球追踪信息，无法做注视点渲染以减少渲染负载所带来的功耗问题；

5)无法提供用户的表情追踪信息，用户在虚拟场景中的沉浸感较低；

6)无法实现对裸手信息的识别追踪。

本方案提出了一些方案以及一体机以解决前述问题。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为本申请示例性实施例提供的头戴式一体机的外观示意图，其中，图1中的(b)为图1中的(a)的简化图，可选地，图1中的(a)与图1中的(b)中的第一相机C5与第一相机C6，为彩色相机，用于采集彩色的第一环境图像，该第一环境图像用于展示现实环境的画面信息；第二相机C1、第二相机C2、第二相机C3，以及第二相机C4用于进行环境追踪，即采集黑白的第二环境图像，具体可以为黑白相机，第二环境图像用于对头戴设备进行定位，确定出其定位信息，并进一步根据定位信息展示对应的虚拟画面信息。

第三相机C7、第三相机C8、第三相机C9、第三相机10，以及第三相机 C11用于获取面部图像，具体可以为红外相机。另外，C1、C2、C3、C4还可用于采集用户手部图像，以使头戴设备确定用户的手势信息。

具体地，前述C1至C6可以设置于头戴设备的壳体的外侧用于获取外部环境图像，C7至C10设置于头戴设备的壳体的内侧，用于获取用户的面部图像。

进一步地，前述图1中的(a)与图1中的(b)中的a为补光元件，如发光二极管，设置于头戴设备的壳体的外侧，用于在低光环境下，对C1、C2、C3、 C4进行补光。

可选地，参见图1中的(b)所示，C1、C2、C3、C4可设置于壳体外侧的壳体外边框，其中，C1、C2设置于上边框，C3与C4设置于下边框；C10 与C11也设置于壳体内侧的壳体外边框的下边框，所述壳体的内侧为用户佩戴所述头戴设备时朝向用户后方的一侧。

C8可设置于头戴设备的中心轴上，C7可设置于右眼区域靠近外眼角区域处，C9可设置于左眼区域靠近外眼角区域处，补光装置可设置于头戴设备的壳体外边框上，多个补光元件a可以呈环状设置于外边框上。

本实施例中的各成单元，如第一相机、第二相机、第三相机等单元涉及的数据，以及对应的数据处理方式可参见如下各方法实施例的描述。

图2a为本申请一示例性实施例提供的一种数据处理方法的流程示意图，该方法可适用于头戴设备，该方法至少包括以下步骤：

S201、通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；

S202、通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；

S203、根据所述第二环境图像确定对应的虚拟画面信息；

S204、根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；

其中，所述第一相机与所述第二相机设置于所述头戴设备。

可选地，上述方法还包括：展示所述显示内容。

具体地，第一相机的个数可以为一个，也可以为多个，第一环境图像的个数可以为一个也可以多个，第一相机与第一环境图像一一对应，第二相机的个数可以为一个也可以为多个。

具体地，前述头戴设备为头戴式一体机，所述第一相机与所述第二相机设置于所述头戴设备的壳体的外侧，所述壳体的外侧为用户佩戴所述头戴设备时朝向用户前方的一侧，多个第一相机两两对称设置于所述壳体的中心轴两侧，且多个第二相机两两对称设置于所述壳体的中心轴两侧。

可选地，第二相机的数量大于第一相机的数量。

可选地，第一相机的个数为2，其中，一第一相机的中心与左眼区域的中心位置重合，另一第一相机的中心与右眼区域的中心位置重合。其中，左眼区域的中心位置与用户左眼的瞳孔中心的水平位置与竖直位置重合，右眼区域的中心位置与用户右眼的瞳孔中心的水平位置与竖直位置重合。

可选地，多个第一相机的总视场范围符合第一预设视场范围，其中，总视场范围与各相机的自身视场范围，以及多个相机的安装位置，安装朝向相关，例如：多个第一相机的放置位置还可符合第一预设规则，预设规则包括不同相机之间的距离，距离中心轴距离，相机朝向等等，对此，本申请不做限定。

可选地，多个第一相机的个数为偶数，两两对称设置于壳体的中心轴两侧，彼此对称的两第一相机间的距离不大于第一预设距离。

可选地，第一预设距离可以与用户的瞳距相同。

可选地，彼此对称的两第一相机为一相机对，不同相机对中，相机之间的距离可以不同。

可选地，多个第一相机距离头戴设备的中心的竖直距离不大于第二预设距离。彼此对称的两第二相机间的距离不大于第三预设距离，第三预设距离大于前述第一预设距离。

针对前述中心轴，以头戴设备的中心为原点建立坐标系，该坐标系的x 轴为水平方向，y轴为上下方向(还可称竖直方向)，z轴代表前后方向，具体可参见图2b所示，则前述中心轴与y轴平行(两者水平坐标相同)或重合。各第一相机距离中心轴的距离指水平距离；

可选地，当第一相机的数量为2时，该两个第一相机对称设置于中心轴两侧，且两个第一相机之间的距离为第一预设距离，且各第一相机距离用户的左右眼瞳孔的连线中心的竖直距离为0。

可选地，本申请中的各相机的位置可通过相关指令进行调节。

可选地，头戴设备的中心的位置可调节，具体可调节为与用户的左右眼瞳孔连线的中心重合，或头戴设备的中心与用户的瞳孔连线的中心的水平坐标与竖直坐标相同。

需要说明的是，本申请描述的距离信息为无误差情况下的距离，即本申请的方案中的距离涵盖距离浮动预设范围的情况，例如，第一相机距离头戴设备的中心的竖直距离为0，也可以指第一相机距离头戴设备的中心的竖直距离与0的差值小于预设范围值。

进一步地，与本申请中涉及到的距离都可允许有一定的误差范围。

进一步地，可具体根据多个第一环境图像中的左右眼图像确定对应的现实环境的画面信息，具体可通过计算机视觉技术和立体视觉处理技术，高精度还原现实物理环境空间的立体三维彩色信息，相应地，根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容包括：

根据第一环境图像中的左右眼图像确定对应的现实环境的画面信息；

利用所述现实环境的画面信息与所述虚拟画面信息确定所述头戴设备的显示内容。

进一步地，为了能实时高精度获取现实物理环境空间的立体信息，可以选择性对第一相机中的相机的规格参数进一步优化调整，通过选择高分辨率，高信噪比的追踪相机传感器，进一步提高环境立体捕捉精度。

进一步地，根据所述第二环境图像确定对应的虚拟画面信息包括：

基于所述第二环境图像确定所述头戴设备的定位信息；

利用所述定位信息确定所述虚拟画面信息。

其中，定位信息包括头戴设备的位姿信息；头戴设备确定出其定位信息后，可基于该定位信息确定定位信息对应的虚拟画面信息。

其中，头戴设备自身可存储有定位信息与虚拟画面信息的对应关系，头戴设备可具体基于该对应关系确定定位信息对应的虚拟画面信息。

虚拟现实画面信息指混合现实画面中，与第一环境图像共同展示的虚拟画面信息，具体可以为VR场景中的画面信息。前述定位信息为在第一环境图像的展示时刻，确定出的头戴设备的定位信息。其中，第一环境图像的展示时刻与第一环境图像的采集时刻的间隔时长需小于预设时长，以保证第一环境图像为当前的环境图像。

进一步地，前述彼此对称的两第二相机成的相机对，其中一第二相机可以对应左眼，即拍的图像为左眼对应的环境图像，另一第二相机对应右眼，即拍的图像为右眼对应的环境图像。

可选地，彼此对称的两第二相机为一相机对，不同相机对中，相机之间的距离可以不同。

可选地，多个第二相机的总视场范围满足第二预设视场范围，其中，总视场范围与各相机的自身视场范围，以及多个相机的安装位置，安装朝向相关，例如：多个第二相机的放置位置还可符合第二预设规则，第二预设规则包括不同相机之间的距离，距离中心轴距离、相机朝向等等，对此，本申请不做限定。

可选地，多个第二相机中，不同的相机对，距离头戴设备的中心的距离不同。

可选地，针对图2b中的坐标系，多个第二相机中的一相机对中的一第二相机位于同侧的第一相机的斜上方，即第二相机的中心的纵坐标大于同侧的第一相机的中心的纵坐标，且第二相机距离中心轴的距离大于同侧的第一相机距离中心轴的距离。

可选地，依然针对图2b中的坐标系，多个第二相机中的另一相机对中的第二相机位于同侧的第一相机的斜下方，即第二相机的中心的纵坐标小于同侧的第一相机的中心的纵坐标，且第二相机距离中心轴的距离大于同侧的第一相机距离中心轴的距离。

进一步地，各第一相机，与各第二相机采集图像的采集时刻一致，采集图像的帧率相同。

进一步地，所述所述方法还包括：

所述第二相机的个数为多个，当检测到所述第二相机中任一个或多个相机的曝光参数数值小于预设阈值时，控制开启补光装置。

补光装置中的多个补光元件可设置于头戴设备的壳体外边框上，多个补光元件a可以呈环状设置于外边框上。

具体地，所述补光装置开启后，所述补光装置与所述第一相机以及第二相机的工作频率同步。

进一步地，所述方法还包括：

通过第三相机获取用户的面部图像；

根据所述面部图像展示对应的用户形象。

具体地，用户形象可以为卡通形象，也可以为三维模拟人像，根据所述面部图像展示对应的用户形象过程中，可对面部图像进行分析，确定用户当前的表情类型，进一步根据表情类型与预设的关联关系展示用户形象。其中，关联关系中包括表情类型与用户形象的对应关系。用户形象可展示于头戴设备的显示屏中，头戴设备还可将用户形象数据发送至服务器，由服务器进一步展示于其它用户的头戴设备的显示屏中，其中，其它用户为与当前用户处于同一虚拟场景中的用户。

可选地，还可通过对用户的面部信息进行实时检测和分析，获得用户脸部的特征数据，如用户的眼睛动作与用户唇部动作数据，进一步通过图形渲染技术，根据用户脸部的特征数据展示相应的用户形象。

进一步地，第三相机包括多个相机，设置于所述壳体的内侧，所述壳体的内侧为用户佩戴所述头戴设备时朝向用户后方的一侧；

多个第三相机部分两两对称设置于所述中心轴两侧，部分设置于所述中心轴上，第三相机可以为红外相机。

可选地，各第三相机可配备1个及多个红外激光二极管，以提高面部表情追踪的稳定性。其中，红外波长范围为850nm正负15nm范围或者940nm 正负15nm范围，即第三相机的透过的光的波长即为属于红外波长范围的波长，其他波长的光为第三相机的截止波长不可透过。

可选地，可参见图1中的(b)所示，C7、C8、C9、C10、C11可以为第三相机。

进一步地，前述多个第三相机的总视场范围可以大于第三预设视场范围，总视场范围与各相机的自身视场范围，以及多个相机的安装位置，安装朝向相关，例如：多个第三相机的放置位置还可符合预设规则，预设规则包括不同相机之间的距离，距离中心轴距离，相机朝向等等，对此，本申请不做限定。

进一步地，上述方法还包括：根据预设时间段的面部图像确定用户的眼动信息，进而确定用户的注视方向，便于进一步对用户注视的虚拟场景区域进行高分辨率渲染，其他区域进行低分辨率渲染，进而达到不降低用户体验的前提下优化头戴设备的渲染能力，降低系统的负载，节省资源。

进一步地，多个第二相机中的各第二相机可内嵌于前述壳体，各相机的镜头波长可以透过可见光波长也可以透过上述850nm正负15nm或者940nm 正负15nm的红外光。

进一步地，各第二相机的FOV至少在150以上，帧率在30Hz以上。

进一步地，多个第二相机的拼接FOV在220°*160°以上，通过提高 FOV，极大提高了头戴设备6DoF追踪的鲁棒性和精度。

可选地，多个第二相机为同一种规格参数的传感器型号。

进一步地，图2c示出一种展示虚拟影像信息的具体方式的示意图；本申请实施例需要实时采集五路数据，包括C1、C2、C3、C4的环境图像数据，以及头戴设备内置的IMU传感器的数据。C1、C2、C3、C4的图像采集帧率为30HZ，IMU自身的采样帧率为1000Hz。可首先根据C1、C2、C3、C4的每帧图像数据结合对应时刻的内置的IMU传感器的惯性导航数据，实时计算头戴设备在3D空间中的位姿信息，位姿信息具体可以为6DoF数据，然后进一步结合高帧率的对应时刻的IMU传感器的数据，将当前采集帧率(30Hz) 下的头戴设备在3D空间中的位姿信息，实时预测插帧至与IMU相同帧率(即 1000Hz)下；最后，对预测插帧后得到的头戴设备在3D空间中的对应高帧率的位姿信息，经应用渲染后采用大于75Hz的帧率显示虚拟影像信息。其中，头戴设备为了让用户有一定的沉浸感和减少用户的眩晕感，显示帧率最少需要在75Hz，因此本申请实施例采用大于75Hz的帧率进行显示输出，可以保证用户的沉浸感并减少用户的眩晕感。

进一步地，多个第二相机，还可用于采集用户的手部图像，识别用户的手势信息，进而根据手势信息实现用于与显示画面的交互。

进一步地，前述方法还可适用于其它设备，其它设备可通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；根据所述第二环境图像确定对应的虚拟画面信息；根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；其中，所述第一相机与所述第二相机设置于所述头戴设备。

本申请通过通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；根据所述第二环境图像确定对应的虚拟画面信息；根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；其中，所述第一相机与所述第二相机设置于所述头戴设备的方案，进而将虚拟场景信息与彩色现实场景信息结合展示，提高了用户体验。

以下结合具体场景对本方案进行进一步说明：

场景一

一种具有内-外位置跟踪和环境跟踪的用户虚拟现实和混合现实的头戴显示设备，通过按照一定规则约束在虚拟现实和混合现实的头戴式显示设备上放置4路环境追踪相机，对环境进行实时高精度定位和追踪，实时获取虚拟现实和混合现实头戴式一体机设备相对物理空间三维环境的位姿信息；同时在虚拟现实和混合现实头戴式显示设备的分别对应左右眼瞳孔中心的壳体外侧，安装一高分辨率的RGB相机，高精度还原物理环境空间的立体信息，实时对空间环境进行追踪，使其用户在佩戴虚拟现实和混合现实头戴式显示设备可以透视彩色物理三维空间。

场景二、红外激光二极管a负责给环境追踪相机C1，C2，C3，C4在低光照环境下补光，确保在低光照环境下环境追踪相机能稳定工作；可选地，用于补光的红外二极管的个数为多个，本文使用的红外激光波段为850nm或者940nm的红外波段，红外波长为850nm正负15nm范围或者940nm正负15nm范围空间。通过放置多个红外激光二极管，可提高在低光照环境下的自内-外的追踪稳定性，保证了追踪精度。

进一步地，本申请一示例性实施例还提供一种头戴设备，该头戴设备可包括：数据处理单元与壳体，所述壳体的外侧设置有多个第一相机与多个第二相机，所述壳体的外侧为用户佩戴所述头戴设备时朝向用户前方的一侧；

所述多个第一相机，用于采集第一环境图像，所述第一环境图像为彩色图像，所述多个第一相机两两对称设置于所述壳体的中心轴两侧；

所述多个第二相机，用于采集第二环境图像，所述第二环境图像为黑白图像，所述多个第二相机两两对称设置于所述壳体的中心轴两侧；

所述数据处理单元，用于：通过所述多个第一相机获取所述第一环境图像；通过所述多个第二相机获取所述第二环境图像；根据所述第二环境图像确定对应的虚拟画面信息；根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容。

可选地，所述壳体的外侧还设置有补光装置，所述补光装置包括多个补光元件，多个补光元件环状排列于所述壳体的外侧；

所述数据处理单元还用于：当检测到所述多个第二相机中任一个或多个相机的曝光参数数值小于预设阈值时，控制开启补光装置。

可选地，所述壳体的内侧设置有多个第三相机，用于采集用户的面部图像，所述壳体的内侧为用户佩戴所述头戴设备时朝向用户后方的一侧；

所述多个第三相机部分两两对称设置于所述中心轴两侧，部分设置于所述中心轴上；

所述数据处理单元还用于：通过所述第三相机采集用户的面部图像；根据所述面部图像展示对应的用户形象。

本实施例的具体实施细节可参见前述内容，此处不再赘述。

图3为本申请一示例性实施例提供的一种数据处理装置的结构示意图，该装置可适用于头戴设备，包括：第一获取模块31、第二获取模块32、第一确定模块33，第二确定模块34；其中：

第一获取模块31，用于通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；

第二获取模块32，用于通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；

第一确定模块33，用于根据所述第二环境图像确定对应的虚拟画面信息；

第二确定模块34，用于根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；

其中，所述第一相机与所述第二相机设置于所述头戴设备。

可选地，上述装置在用于根据所述第二环境图像确定对应的虚拟画面信息时，具体用于：

基于所述第二环境图像确定所述头戴设备的定位信息；

利用所述定位信息确定所述虚拟画面信息。

可选地，上述装置还用于：

所述第二相机的个数为多个，当检测到所述第二相机中任一个或多个相机的曝光参数数值小于预设阈值时，控制开启补光装置。

可选地，上述装置还用于：

通过第三相机获取用户的面部图像；

根据所述面部图像展示对应的用户形象。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，该装置可以执行上述方法实施例，并且该装置中的各个模块的前述和其它操作和/或功能分别为了上述方法实施例中的各个方法中的相应流程，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图4是本申请实施例提供的电子设备的示意性框图，该电子设备可包括：

存储器401和处理器402，该存储器401用于存储计算机程序，并将该程序代码传输给该处理器402。换言之，该处理器402可以从存储器401中调用并运行计算机程序，以实现本申请实施例中的方法。

例如，该处理器402可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该处理器402可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器401包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM， PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM， DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(DoubleData Rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器401中，并由该处理器402执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。

如图4所示，该电子设备还可包括：

收发器403，该收发器403可连接至该处理器402或存储器401。

其中，处理器402可以控制该收发器403与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器403可以包括发射机和接收机。收发器403还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

根据本申请的一个或多个实施例，提供一种数据处理方法，适用于头戴设备，包括：

通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；

通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；

根据所述第二环境图像确定对应的虚拟画面信息；

根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；

其中，所述第一相机与所述第二相机设置于所述头戴设备。

根据本申请的一个或多个实施例，根据所述第二环境图像确定对应的虚拟画面信息包括：

基于所述第二环境图像确定所述头戴设备的定位信息；

利用所述定位信息确定所述虚拟画面信息。

根据本申请的一个或多个实施例，所述所述方法还包括：

所述第二相机的个数为多个，当检测到所述第二相机中任一个或多个相机的曝光参数数值小于预设阈值时，控制开启补光装置。

根据本申请的一个或多个实施例，所述方法还包括：

通过第三相机获取用户的面部图像；

根据所述面部图像展示对应的用户形象。

根据本申请的一个或多个实施例，提供一种头戴设备，包括：数据处理单元与壳体，所述壳体的外侧设置有多个第一相机与多个第二相机，所述壳体的外侧为用户佩戴所述头戴设备时朝向用户前方的一侧；

所述多个第一相机，用于采集第一环境图像，所述第一环境图像为彩色图像，所述多个第一相机两两对称设置于所述壳体的中心轴两侧；

所述多个第二相机，用于采集第二环境图像，所述第二环境图像为黑白图像，所述多个第二相机两两对称设置于所述壳体的中心轴两侧；

所述数据处理单元，用于：通过所述多个第一相机获取所述第一环境图像；通过所述多个第二相机获取所述第二环境图像；根据所述第二环境图像确定对应的虚拟画面信息；根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容。

根据本申请的一个或多个实施例，所述壳体的外侧还设置有补光装置，所述补光装置包括多个补光元件，多个补光元件环状排列于所述壳体的外侧；

所述数据处理单元还用于：当检测到所述多个第二相机中任一个或多个第二相机的曝光参数数值小于预设阈值时，控制开启补光装置。

根据本申请的一个或多个实施例，所述壳体的内侧设置有多个第三相机，用于采集用户的面部图像，所述壳体的内侧为用户佩戴所述头戴设备时朝向用户后方的一侧；

所述多个第三相机部分两两对称设置于所述中心轴两侧，部分设置于所述中心轴上；

所述数据处理单元还用于：通过所述第三相机采集用户的面部图像；根据所述面部图像展示对应的用户形象。

根据本申请的一个或多个实施例，提供一种数据处理装置，该装置可适用于头戴设备，包括：

第一获取模块，用于通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；

第二获取模块，用于通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；

第一确定模块，用于根据所述第二环境图像确定对应的虚拟画面信息；

第二确定模块，用于根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；

其中，所述第一相机与所述第二相机设置于所述头戴设备。

所述第一相机与所述第二相机设置于所述头戴设备。

根据本申请的一个或多个实施例，上述装置在用于根据所述第二环境图像确定对应的虚拟画面信息时，具体用于：

基于所述第二环境图像确定所述头戴设备的定位信息；

利用所述定位信息确定所述虚拟画面信息。

根据本申请的一个或多个实施例，上述装置还用于：

所述第二相机的个数为多个，当检测到所述第二相机中任一个或多个相机的曝光参数数值小于预设阈值时，控制开启补光装置。

根据本申请的一个或多个实施例，上述装置还用于：

通过第三相机获取用户的面部图像；

根据所述面部图像展示对应的用户形象。

根据本申请的一个或多个实施例，提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行前述各方法。

根据本申请的一个或多个实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述各方法。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (10)

1.一种数据处理方法，其特征在于，适用于头戴设备，包括：

通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；

通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；

根据所述第二环境图像确定对应的虚拟画面信息；

根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；

其中，所述第一相机与所述第二相机设置于所述头戴设备。

2.根据权利要求1所述的方法，其特征在于，根据所述第二环境图像确定对应的虚拟画面信息包括：

基于所述第二环境图像确定所述头戴设备的定位信息；

利用所述定位信息确定所述虚拟画面信息。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

所述第二相机的个数为多个，当检测到所述第二相机中任一个或多个相机的曝光参数数值小于预设阈值时，控制开启补光装置。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过第三相机获取用户的面部图像；

根据所述面部图像展示对应的用户形象。

5.一种头戴设备，其特征在于，包括：数据处理单元与壳体，所述壳体的外侧设置有多个第一相机与多个第二相机，所述壳体的外侧为用户佩戴所述头戴设备时朝向用户前方的一侧；

所述多个第一相机，用于采集第一环境图像，所述第一环境图像为彩色图像，所述多个第一相机两两对称设置于所述壳体的中心轴两侧；

所述多个第二相机，用于采集第二环境图像，所述第二环境图像为黑白图像，所述多个第二相机两两对称设置于所述壳体的中心轴两侧；

所述数据处理单元，用于：通过所述多个第一相机获取所述第一环境图像；通过所述多个第二相机获取所述第二环境图像；根据所述第二环境图像确定对应的虚拟画面信息；根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容。

6.根据权利要求5所述的头戴设备，其特征在于，所述壳体的外侧还设置有补光装置，所述补光装置包括多个补光元件，多个补光元件环状排列于所述壳体的外侧；

所述数据处理单元还用于：当检测到所述多个第二相机中任一个或多个相机的曝光参数数值小于预设阈值时，控制开启补光装置。

7.根据权利要求5所述的头戴设备，其特征在于，所述壳体的内侧设置有多个第三相机，用于采集用户的面部图像，所述壳体的内侧为用户佩戴所述头戴设备时朝向用户后方的一侧；

所述多个第三相机部分两两对称设置于所述中心轴两侧，部分设置于所述中心轴上；

所述数据处理单元还用于：通过所述第三相机采集用户的面部图像；根据所述面部图像展示对应的用户形象。

8.一种数据处理装置，其特征在于，适用于头戴设备，包括：

第一获取模块，用于通过第一相机获取第一环境图像，所述第一环境图像为彩色图像；

第二获取模块，用于通过第二相机获取第二环境图像，所述第二环境图像为黑白图像；

第一确定模块，用于根据所述第二环境图像确定对应的虚拟画面信息；

第二确定模块，用于根据所述第一环境图像与所述虚拟画面信息确定所述头戴设备的显示内容；

其中，所述第一相机与所述第二相机设置于所述头戴设备。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-4任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任一项所述的方法。