CN109474816B - 增强现实的虚实融合装置及其虚实融合方法、设备、介质 - Google Patents

Abstract

本申请涉及一种增强现实的虚实融合装置及其虚实融合方法、设备、介质。该装置包括：双目视觉采集模块、处理模块、双目图像呈现模块；双目视觉采集模块与处理模块连接，处理模块与双目图像呈现模块连接；双目视觉采集模块包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块；左右目视觉图像采集模块分别同时采集现实场景中真实对象的图像，惯导采集模块采集人体在运动过程中的角速度和加速度；处理模块通过对真实对象的左右目图像、角速度和加速度、虚拟对象的左右目图像分别进行处理，以得到左右目虚实融合的图像；双目图像呈现模块将左右目虚实融合的图像分别在人体双目处对应呈现出来。利用该装置，可以增强真实感。

Description

增强现实的虚实融合装置及其虚实融合方法、设备、介质

技术领域

本申请涉及立体视觉增强现实技术领域，特别是涉及一种增强现实的虚实融合装置及其虚实融合方法、设备、介质。

背景技术

随着随身电子产品处理器运算能力的提升，增强现实技术的用途越来越广泛。增强现实技术是一种实时地计算摄影机影像的位置及角度，并加上相应图像、视频、3D模型的技术，其最终可以在屏幕上把虚拟世界套在现实世界中，并使两者进行互动。

传统的增强现实技术中，一般采用的是单目采集图像，之后将单目采集的虚拟图像和现实图像进行叠加处理，接着用同视角渲染两眼的图像，最后将渲染后的图像在双眼处统一显示。

但是上述方法用同视角渲染两眼的图像，由于人的两眼存在视觉误差，因此易导致最终呈现的图像立体信息缺失，真实感不强。

发明内容

基于此，有必要针对上述方法用同视角渲染两眼的图像，由于人的两眼存在视觉误差，因此易导致最终呈现的图像立体信息缺失，真实感不强的问题，提供一种增强现实的虚实融合装置及其虚实融合方法、设备、介质。

第一方面，本申请实施例提供一种增强现实的虚实融合装置，所述装置包括：双目视觉采集模块、处理模块、双目图像呈现模块；

所述双目视觉采集模块与所述处理模块连接，所述处理模块与所述双目图像呈现模块连接；

所述双目视觉采集模块包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块；所述左目视觉图像采集模块以及右目视觉图像采集模块在佩戴时位于人体双目前方，分别同时采集现实场景中真实对象的图像，所述惯导采集模块采集人体在运动过程中的角速度和加速度；

所述处理模块通过对左右目视觉图像采集模块采集的现实场景中真实对象的图像、所述惯导采集模块采集的人体在运动过程中的角速度和加速度、虚拟场景中左右目虚拟相机采集的虚拟对象的左右目图像分别进行处理，以得到左右目虚实融合的图像，所述左右目虚实融合的图像为虚实对齐之后融合的图像，所述虚拟场景与现实场景之间具有对应关系，所述虚拟对象为在虚拟场景中添加的对象，所述虚实对齐指的是虚拟场景的坐标系与现实场景的坐标系一致；

所述双目图像呈现模块将所述左右目虚实融合的图像分别在人体双目处对应呈现出来。

在其中一个实施例中，所述处理模块还用于：

获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；

根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；

根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；

获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像。

在其中一个实施例中，所述装置还包括：保护罩、外壳、双目视力矫正与护目模块；所述保护罩与所述外壳连接，并与所述外壳之间形成一空间；

所述双目视觉采集模块以及所述处理模块设置在所述空间内靠近所述保护罩的一侧；

所述双目视力矫正与护目模块设置在所述空间内靠近所述外壳的一侧；

所述双目图像呈现模块设置在所述空间内，一侧与所述处理模块连接，另一侧与所述双目视力矫正与护目模块连接。

在其中一个实施例中，所述装置还包括：镜架；

所述镜架设置在所述空间内，所述双目图像呈现模块、所述双目视力矫正与护目模块均设置在所述镜架上，且所述双目图像呈现模块与所述镜架连接。

在其中一个实施例中，所述保护罩上设置有两个通孔，所述保护罩包括：两个镜片；

所述两个镜片分别设置在所述两个通孔内；

所述左目视觉图像采集模块和所述右目视觉图像采集模块分别透过所述两个镜片采集现实场景中真实对象的图像，所述两个通孔的横截面积不小于所述左目视觉图像采集模块的横截面积以及所述右目视觉图像采集模块的横截面积。

在其中一个实施例中，所述双目图像呈现模块为两个内置显示器的独立显示镜片，所述独立显示镜片为半反半透显示镜片。

第二方面，本申请实施例提供一种增强现实的虚实融合方法，所述方法包括：

获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；

根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；

根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；

获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像。

在其中一个实施例中，所述根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿，包括：

获取现实场景中真实对象的左目多帧图像、现实场景中真实对象的右目多帧图像、人体在运动过程中的多个角速度和多个加速度，其中，左右目视觉图像采集模块在同一时刻分别采集一帧图像，左目图像的帧数、右目图像的帧数、角速度的个数、加速度的个数相同；

根据所述多帧左目图像，利用尺度不变特征描述方法，得到每帧左目图像上的多个第一特征点，所述多帧左目图像中每帧左目图像上的多个第一特征点构成第一特征点集合；

根据所述每帧左目图像上的多个第一特征点，得到每帧右目图像上对应的多个第二特征点，所述多帧右目图像中每帧右目图像上的多个第二特征点构成第二特征点集合；所述第一特征点的数量与所述第二特征点的数量相同；

根据所述第一特征点集合、所述第二特征点集合以及人体在运动过程中的多个角速度和多个加速度，利用最小化马氏距离求解法，得到所述左目视觉图像采集模块的位姿、右目视觉图像采集模块的位姿。

在其中一个实施例中，所述对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像，包括：

根据所述真实对象的左目图像以及真实对象的右目图像，得到真实对象的左右目图像对应的第一景深图，所述第一景深图中包括真实对象的左右目图像上每一点的深度信息；

根据所述虚拟对象的三维图形信息以及左右目虚拟相机各自的位姿，得到虚拟对象的左目图像对应的第二景深图，以及虚拟对象的右目图像对应的第三景深图，所述第二景深图中包括虚拟对象的左目图像上每一点的深度信息，所述第三景深图包括虚拟对象的右目图像上每一点的深度信息；

将第一景深图上每一点的深度信息分别和第二景深图上对应的每一点的深度信息进行对比，得到多个第一对比结果，根据所述多个第一对比结果对真实对象的左目图像和虚拟对象的左目图像进行渲染，得到左目虚实结合的图像；

将第一景深图上每一点的深度信息分别和第三景深图上对应的每一点的深度信息进行对比，得到所述第二对比结果，根据所述多个第二对比结果对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到右目虚实结合的图像。

在其中一个实施例中，所述根据所述多个第一对比结果对真实对象的左目图像和虚拟对象的左目图像进行渲染，得到左目虚实结合的图像，根据所述多个第二对比结果对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到右目虚实结合的图像，包括：

根据所述多个第一对比结果确定所述真实对象的左目图像上的每一点和虚拟对象的左目图像上对应的每一点之间的多个第一遮挡关系，根据所述多个第一遮挡关系对所述真实对象的左目图像上的每一点和虚拟对象的左目图像上对应的每一点进行渲染，得到左目虚实结合的图像；

根据所述多个第二对比结果确定所述真实对象的右目图像上的每一点和虚拟对象的右目图像上对应的每一点之间的多个第二遮挡关系，根据所述多个第二遮挡关系对所述真实对象的右目图像上的每一点和虚拟对象的右目图像上对应的每一点进行渲染，得到右目虚实结合的图像。

在其中一个实施例中，所述根据所述多个第一遮挡关系对所述真实对象的左目图像上的每一点和虚拟对象的左目图像上对应的每一点进行渲染，得到左目虚实结合的图像，包括：

当所述多个第一对比结果中，一个第一对比结果为所述第一景深图上一个点的深度信息小于所述第二景深图上对应的一个点的深度信息时，则确定一个第一遮挡关系为所述真实对象的左目图像上一个点遮挡所述虚拟对象的左目图像上对应的一个点；

当所述多个第一对比结果中，一个第一对比结果为所述第一景深图上一个点的深度信息不小于所述第二景深图上对应的一个点的深度信息时，则确定所述一个第一遮挡关系为所述虚拟对象的左目图像上一个点遮挡所述真实对象的左目图像上对应的一个点；

根据所述多个第一遮挡关系对所述真实对象的左目图像上的每一点和虚拟对象的左目图像上的每一点进行渲染，得到左目虚实结合的图像。

第三方面，本申请实施例提供一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；

根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；

根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；

获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像。

第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；

根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；

根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；

获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像。

上述增强现实的虚实融合装置及其虚实融合方法、设备、介质，该装置可以包括：双目视觉采集模块、处理模块、双目图像呈现模块，双目视觉采集模块与处理模块连接，处理模块与双目图像呈现模块连接。其中，双目视觉采集模块包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块，左目视觉图像采集模块用于采集现实场景中真实对象的左目图像，右目视觉图像采集模块用于采集现实场景中真实对象的右目图像，惯导采集模块用于采集人体在运动过程中的角速度和加速度。处理模块内部可以设置虚拟场景以及左右目虚拟相机、虚拟对象，该左右目虚拟相机与上述左右目视觉图像采集模块相对应，用于计算虚拟对象的左右目图像，之后，处理模块可以通过对上述真实对象的左目图像、人体在运动过程中的角速度和加速度以及虚拟对象的左目图像进行融合处理，得到左目虚实融合的图像，并在双目呈现模块的左目处呈现出来，另外，处理模块也可以对真实对象的右目图像、人体在运动过程中的角速度和加速度以及虚拟对象的右目图像进行融合处理，得到右目虚实融合的图像，并在双目呈现模块的右目处呈现出来。在本实施例中，由于该装置的双目视觉采集模块对真实对象是进行的双目图像采集，即左右目各采集各的图像，不是单目采集，因此，该装置采集的图像的立体信息更为丰富；另外，处理模块在对真实对象的左右目图像进行处理时，是将左右目图像分开进行处理的，即分别对真实对象的左目图像与虚拟对象的左目图像进行融合处理，以及对真实对象的右目图像与虚拟对象的右目图像进行融合处理，因此，该装置对左右目图像的虚实融合处理更为合理，可以增强虚实融合图像的真实感；进一步地，由于该装置是将上述左右目虚实融合的图像分别在左右目呈现模块处呈现出来，因此，可以使人体观看到的虚实融合图像更具有立体视觉的真实感。

附图说明

图1为一个实施例提供的增强现实的虚实融合装置的结构示意图；

图2为一个实施例提供的虚实融合方法的流程示意图；

图3为另一个实施例提供的虚实融合方法的流程示意图；

图4为另一个实施例提供的虚实融合方法的流程示意图；

图5为另一个实施例提供的虚实融合方法的流程示意图；

图6为一个实施例提供的计算机设备的结构示意图。

附图标记说明：

10：双目视觉采集模块； 11：处理模块；

12：双目图像呈现模块； 13：保护罩；

14：外壳； 15：双目视力矫正与护目模块；

16：镜架。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

参见图1所示，本申请实施例提供一种增强现实的虚实融合装置，其可以包括：双目视觉采集模块10、处理模块11、双目图像呈现模块12。所述双目视觉采集模块10与所述处理模块11连接，所述处理模块11与所述双目图像呈现模块12连接；

所述双目视觉采集模块10包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块；所述左目视觉图像采集模块以及右目视觉图像采集模块在佩戴时位于人体双目前方，分别同时采集现实场景中真实对象的图像，所述惯导采集模块采集人体在运动过程中的角速度和加速度；所述处理模块11通过对左右目视觉图像采集模块采集的现实场景中真实对象的图像、所述惯导采集模块采集的人体在运动过程中的角速度和加速度、虚拟场景中左右目虚拟相机采集的虚拟对象的左右目图像分别进行处理，以得到左右目虚实融合的图像，所述左右目虚实融合的图像为虚实对齐之后融合的图像，所述虚拟场景与现实场景之间具有对应关系，所述虚拟对象为在虚拟场景中添加的对象，所述虚实对齐指的是虚拟场景的坐标系与现实场景的坐标系一致；所述双目图像呈现模块12将所述左右目虚实融合的图像分别在人体双目处对应呈现出来。

具体的，上述双目视觉采集模块10包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块，其中，左目视觉图像采集模块和右目视觉图像采集模块以及惯导采集模块均可以是和处理模块11电连接；处理模块11也可以和双目呈现图像呈现模块电连接。可选的，上述双目视觉采集模块10可以设置在处理模块11上。

人体在佩戴该增强现实的虚实融合装置时，上述左目视觉图像采集模块和右目视觉图像采集模块分别位于人体双目前方，即该左目视觉图像采集模块位于人体左眼前方，采集人体左眼看到的现实场景中真实对象的左目图像，并将其传给处理模块11进行处理，右目视觉图像采集模块位于人体右眼前方，采集人体右眼看到的现实场景中真实对象的右目图像，并将其传给处理模块11进行处理。人体在佩戴该装置时可以运动进行图像采集，上述惯导采集模块可以采集人体在运动过程中的角速度和加速度，并将其传给处理模块11进行处理。可选的，上述左目视觉图像采集模块和右目视觉图像采集模块可以是相机，还可以是摄像机，采集的图像可以是视频格式的图像，还可以是图片格式的图像，本实施例对此不做限定。

人体在佩戴该装置采集现实场景中真实对象的图像，处理模块11也可以在其内部设置虚拟场景和左右目虚拟相机，并在该虚拟场景中添加虚拟对象，该虚拟场景与现实场景相对应，该左右目虚拟相机与左右目图像视觉采集模块相对应，利用该左右目虚拟相机，可以采集虚拟场景中虚拟对象的左右目图像。在进行真实对象与虚拟对象的融合时，可以先进行虚实对齐，即将虚拟场景的坐标系与现实场景的坐标系进行标定统一。

在虚实对齐之后，处理模块11可以对上述真实对象的左目图像、人体在运动过程中的角速度和加速度、虚拟对象的左目图像进行融合处理，以及对真实对象的右目图像、人体在运动过程中的角速度和加速度、虚拟对象的右目图像进行融合处理，以得到虚实融合的左目图像以及虚实融合的右目图像。

可选的，当不添加虚拟对象时，上述处理模块11可以对上述真实对象的左目图像和人体在运动过程中的角速度和加速度进行处理，得到带立体视觉的三维左目图像，以及可以对上述真实对象的右目图像和人体在运动过程中的角速度和加速度进行处理，得到带立体视觉的三维右目图像。

可选的，上述处理模块11还可以连接一个或者多个处理器，该连接关系可以是无线连接，也可以是有线连接，还可以是5G连接等。通过该连接关系，处理模块11可以将得到的虚实融合的左右目图像以及带立体视觉的三维左右目图像传输给该处理器，可选的，该处理器上可以包括双目显示器，以分别显示该处理器得到的上述虚实融合的左右目图像以及带立体视觉的三维左右目图像。

可选的，上述双目图像呈现模块12为两个内置显示器的独立显示镜片，上述独立显示镜片为半反半透显示镜片，即该双目图像呈现模块12包括左目独立显示镜片和右目显示镜片，其材料可以是树脂、玻璃等。上述处理模块11在得到虚实融合的左右目图像之后，可以将左目虚实融合图像在左目独立显示镜片上进行呈现，使人体左眼进行观看，另外，也可以将右目虚实融合图像在右目独立显示镜片上进行呈现，使人体右眼进行观看。

本实施例提供的增强现实的虚实融合装置，可以包括：双目视觉采集模块、处理模块、双目图像呈现模块，双目视觉采集模块与处理模块连接，处理模块与双目图像呈现模块连接。其中，双目视觉采集模块包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块，左目视觉图像采集模块用于采集现实场景中真实对象的左目图像，右目视觉图像采集模块用于采集现实场景中真实对象的右目图像，惯导采集模块用于采集人体在运动过程中的角速度和加速度。处理模块内部可以设置虚拟场景以及左右目虚拟相机、虚拟对象，该左右目虚拟相机与上述左右目视觉图像采集模块相对应，用于计算虚拟对象的左右目图像，之后，处理模块可以通过对上述真实对象的左目图像、人体在运动过程中的角速度和加速度以及虚拟对象的左目图像进行融合处理，得到左目虚实融合的图像，并在双目呈现模块的左目处呈现出来，另外，处理模块也可以对真实对象的右目图像、人体在运动过程中的角速度和加速度以及虚拟对象的右目图像进行融合处理，得到右目虚实融合的图像，并在双目呈现模块的右目处呈现出来。在本实施例中，由于该装置的双目视觉采集模块对真实对象是进行的双目图像采集，即左右目各采集各的图像，不是单目采集，因此，该装置采集的图像的立体信息更为丰富；另外，处理模块在对真实对象的左右目图像进行处理时，是将左右目图像分开进行处理的，即分别对真实对象的左目图像与虚拟对象的左目图像进行融合处理，以及对真实对象的右目图像与虚拟对象的右目图像进行融合处理，因此，该装置对左右目图像的虚实融合处理更为合理，可以增强虚实融合图像的真实感；进一步地，由于该装置是将上述左右目虚实融合的图像分别在左右目呈现模块处呈现出来，因此，可以使人体观看到的虚实融合图像更具有立体视觉的真实感。

在一个实施例中，继续参见图1，在上述实施例的基础上，所述处理模块11还用于：获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像。

具体的，处理模块11可以先获取左目视觉图像采集模块采集的真实对象的左目图像、右目视觉图像采集模块采集的真实对象的右目图像、以及惯导采集模块采集的人体在运动过程中的角速度和加速度。在得到真实对象的左目图像、真实对象的右目图像以及人体在运动过程中的角速度和加速度之后，可选的，可以采用最小化马氏距离求解法，求解得到左目视觉图像采集模块的位姿、右目视觉图像采集模块的位姿。之后可以根据左目视觉图像采集模块的位姿与左目虚拟相机的位姿之间的对应关系，以及根据右目视觉图像采集模块的位姿与右目虚拟相机的位姿之间的对应关系，得到虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，其中，左目虚拟相机对应左目视觉图像采集模块，右目虚拟相机对应右目视觉图像采集模块。另外，处理模块11也可以根据左目视觉图像采集模块的焦距和像素大小，以及右目视觉图像采集模块的焦距和像素大小，得到左目虚拟相机的投影矩阵，以及右目虚拟相机的投影矩阵，根据投影矩阵就可以得到像素大小和焦距，其中，左目视觉图像采集模块的焦距和像素大小与左目虚拟相机的焦距和像素大小相等，右目视觉图像采集模块的焦距和像素大小与右目虚拟相机的焦距和像素大小相等。处理模块11在确定了左目虚拟相机的位姿和参数，以及确定了右目虚拟相机的位姿和参数之后，可以在该虚拟场景中添加虚拟对象，并利用该左目虚拟相机和右目虚拟相机采集虚拟场景中该虚拟对象的左右目图像。最后，处理模块11可以将真实对象的左目图像和虚拟对象的左目图像放置在同一个坐标系下，以及将真实对象的右目图像和虚拟对象的右目图像放置在同一个坐标系下，利用渲染方法，分别对真实对象的左目图像和虚拟对象的左目图像进行渲染，得到左目虚实结合的图像，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到右目虚实结合的图像。

在一个实施例中，继续参见图1，在上述实施例的基础上，所述装置还可以包括：保护罩13、外壳14、双目视力矫正与护目模块15；所述保护罩13与所述外壳14连接，并与所述外壳14之间形成一空间；所述双目视觉采集模块10以及所述处理模块11设置在所述空间内靠近所述保护罩13的一侧；所述双目视力矫正与护目模块15设置在所述空间内靠近所述外壳14的一侧；所述双目图像呈现模块12设置在所述空间内，一侧与所述处理模块11连接，另一侧与所述双目视力矫正与护目模块15连接。

具体的，上述增强现实的虚实融合装置还可以包括：保护罩13、外壳14、双目视力矫正与护目模块15。其中，保护罩13与外壳14连接，可选的，该连接可以是卡扣连接、螺纹连接、铰链连接等，可选的，该保护罩13和外壳14的材料可以是塑料，也可以是金属材料，还可以是塑料和金属材料组成的混合材料，本实施例对此不做限定；保护罩13和外壳14之间形成一空间，可选的，该空间的大小可以根据实际情况而定，本实施例对此也不做限定；可选的，上述保护罩13可以与上述外壳14平齐。

上述双目视觉采集模块10和处理模块11可以设置在上述空间内靠近保护罩13的一侧，可选的，其两者跟保护罩13之间的距离可以视实际情况而定，本实施例对此不做限定。

上述双目视力矫正与护目模块15可以设置在上述空间内靠近外壳14的一侧，可选的，上述双目视力矫正与护目模块15可以是两个独立视力矫正与护目镜片，其材料可以是树脂、玻璃等，其跟外壳14之间的距离也可以视实际情况而定，本实施例对此不做限定。利用该双目视力矫正与护目模块15，可以将双目图像呈现模块12传输过来的图像进行进一步聚光或者散光处理，使得近视或者远视的人也可以利用该装置观看到较为真实地虚实融合的图像。

上述双目图像呈现模块12可以设置在该空间内，位于上述处理模块11和双目视力矫正与护目模块15之间，其一侧与处理模块11连接，另一侧与双目视力矫正与护目模块15连接。可选的，该双目图像呈现模块12与处理模块11之间的连接可以是电连接，与双目视力矫正与护目模块15之间的连接可以是卡扣连接、螺纹连接、铰链连接等。

可选的，该装置还可以包括：镜架16；上述镜架16设置在上述空间内，上述双目图像呈现模块12、上述双目视力矫正与护目模块15均设置在上述镜架16上，且上述双目图像呈现模块12与上述镜架16连接。可选的，上述双目图像呈现模块12与镜架16之间的连接可以是卡扣连接、螺纹连接、铰链连接等。上述保护罩13与镜架16以及人体前额可以形成一体化结构，以对双目视觉采集模块10进行防水防尘保护作用；上述双目图像呈现模块12、上述双目视力矫正与护目模块15均设置在上述镜架16上，使得该镜架16可以托住上述双目图像呈现模块12和双目视力矫正与护目模块15。

本实施例提供的增强现实的虚实融合装置，该装置还可以包括：保护罩、外壳、双目视力矫正与护目模块，其中，保护罩与外壳连接，并与外壳之间形成一空间，双目视觉采集模块以及处理模块设置在该空间内靠近保护罩的一侧，双目视力矫正与护目模块设置在该空间内靠近外壳的一侧，双目图像呈现模块设置在该空间内，一侧与处理模块连接，另一侧与双目视力矫正与护目模块连接。在本实施例中，利用保护罩以及外壳，可以保护处理模块和双目视觉采集模块以及双目图像呈现模块、双目视力矫正与护目模块不会被外界损坏，增加了该装置的耐用性。

在一个实施例中，继续参见图1，在上述实施例的基础上，所述保护罩13上设置有两个通孔，所述保护罩13包括：两个镜片；所述两个镜片分别设置在所述两个通孔内；所述左目视觉图像采集模块和所述右目视觉图像采集模块分别透过所述两个镜片采集现实场景中真实对象的图像，所述两个通孔的横截面积不小于所述左目视觉图像采集模块的横截面积以及所述右目视觉图像采集模块的横截面积。

具体的，上述保护罩13上设置有两个通孔，该两个通孔的横截面积大小相等，该保护罩13可以包括两个镜片，该两个镜片可以分别设置在两个通孔内，该两个镜片的横截面积大小也可以相等，可选的，上述两个镜片的横截面积可以大于或者等于两个通孔的横截面积。可选的，上述两个镜片与两个通孔为可拆卸连接，便于在镜片受损后更换镜片。

上述左目视觉图像采集模块和右目视觉图像采集模块可以分别透过上述两个镜片采集现实场景中真实对象的图像，可选的，上述左目视觉图像采集模块的横截面积可以和右目视觉图像采集模块的横截面积相等，上述两个通孔的横截面积可以大于或者等于左目视觉图像采集模块的横截面积以及右目视觉图像采集模块的横截面积，以便左右目视觉图像采集模块可以完全采集到保护罩13外真实对象的左右目图像。

本实施例提供的增强现实的虚实融合装置，该装置的保护罩上设置有两个通孔，该保护罩包括：两个镜片，其分别设置在两个通孔内，上述左目视觉图像采集模块和右目视觉图像采集模块分别透过两个镜片采集现实场景中真实对象的图像，其中，两个通孔的横截面积不小于左目视觉图像采集模块的横截面积以及右目视觉图像采集模块的横截面积。在本实施例中，保护罩上的两个镜片可以过滤掉外界亮度过高的眩光，避免了过度纯白的图像进入左右目视觉图像采集模块，从而保护了人体双眼的视力。

传统技术中，一般采用的是单目采集图像，之后将单目采集的虚拟图像和现实图像进行叠加处理，接着用同视角渲染两眼的图像，最后将渲染后的图像在双眼处统一显示。但是上述方法用同视角渲染两眼的图像，由于人的两眼存在视觉误差，因此易导致最终呈现的图像立体信息缺失，真实感不强。本申请实施例提供的虚实融合方法，可以解决传统技术的如上技术问题。

图2为一个实施例提供的虚实融合方法的流程示意图。本实施例涉及的是处理模块如何对采集的真实对象的左右目图像以及虚拟对象的左右目图像进行处理，得到虚实融合的左右目图像，并将其在人体双目处呈现出来的具体过程。如图2所示，该方法可以包括以下步骤：

S201，获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度。

具体的，处理模块可以先获取左目视觉图像采集模块采集的真实对象的左目图像、右目视觉图像采集模块采集的真实对象的右目图像、以及惯导采集模块采集的人体在运动过程中的角速度和加速度。

S202，根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿。

具体的，处理模块在得到真实对象的左目图像、真实对象的右目图像以及人体在运动过程中的角速度和加速度之后，可选的，可以采用最小化马氏距离求解法，求解得到左目视觉图像采集模块的位姿、右目视觉图像采集模块的位姿。

S203，根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；

具体的，处理模块在得到左目视觉图像采集模块的位姿以及右目视觉图像采集模块的位姿后，可以根据左目视觉图像采集模块的位姿与左目虚拟相机的位姿之间的对应关系，以及根据右目视觉图像采集模块的位姿与右目虚拟相机的位姿之间的对应关系，得到虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，其中，左目虚拟相机对应左目视觉图像采集模块，右目虚拟相机对应右目视觉图像采集模块。另外，处理模块也可以根据左目视觉图像采集模块的焦距和像素大小，以及右目视觉图像采集模块的焦距和像素大小，得到左目虚拟相机的投影矩阵，以及右目虚拟相机的投影矩阵，其中，左目视觉图像采集模块的焦距和像素大小与左目虚拟相机的焦距和像素大小相等，右目视觉图像采集模块的焦距和像素大小与右目虚拟相机的焦距和像素大小相等。处理模块在确定了左目虚拟相机的位姿和参数，以及确定了右目虚拟相机的位姿和参数之后，可以在该虚拟场景中添加虚拟对象以及虚拟对象的三维图形信息，其中，虚拟对象的三维图形信息可以通过对虚拟对象进行建模得到，之后并利用该左目虚拟相机和右目虚拟相机采集虚拟场景中该虚拟对象的左右目图像。

S204，获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像。

具体的，处理模块可以先获取左目虚拟相机与右目虚拟相机同时采集的虚拟对象的左右目图像，之后，处理模块可以将真实对象的左目图像和虚拟对象的左目图像放置在同一个坐标系下，以及将真实对象的右目图像和虚拟对象的右目图像放置在同一个坐标系下，利用渲染方法，分别对真实对象的左目图像和虚拟对象的左目图像进行渲染，得到左目虚实结合的图像，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到右目虚实结合的图像。

本实施例提供的虚实融合方法，处理模块首先获取真实对象的左右目图像以及人体在运动过程中的角速度和加速度，并据此得到左目视觉图像采集模块的位姿和右目视觉图像采集模块的位姿；接着处理模块根据左右目视觉图像采集模块的位姿，得到左右目虚拟相机的位姿，并根据左右目视觉图像采集模块的的焦距和像素大小，得到左右目虚拟相机的投影矩阵，并在虚拟场景中添加虚拟对象，并采用左右目虚拟相机对该虚拟对象的左右目图像进行采集；最后处理模块可以对真实对象的左目图像和虚拟对象的左目图像进行渲染，得到左目虚实结合的图像，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到右目虚实结合的图像。在本实施例中，由于是左右目同时采集的真实对象的左右目图像，因此，利用该方法得到的真实对象的立体信息更加丰富；另外，由于在对上述真实对象的左右目图像和虚拟对象的左右目图像进行处理时，采用的是双目视角进行渲染真实对象的左右目和虚拟对象的左右目图像的，因此，利用该方法渲染得到的左右目虚实结合的图像，更为符合人体双眼看到的立体视觉场景，增强了人眼看到的虚实结合的图像的真实感。

图3为另一个实施例提供的虚实融合方法的流程示意图。本实施例涉及的是处理模块如何根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到左目视觉图像采集模块的位姿、右目视觉图像采集模块的位姿的具体过程。如图3所示，在上述实施例的基础上，上述S202可以包括如下步骤：

S301，获取现实场景中真实对象的左目多帧图像、现实场景中真实对象的右目多帧图像、人体在运动过程中的多个角速度和多个加速度，其中，左右目视觉图像采集模块在同一时刻分别采集一帧图像，左目图像的帧数、右目图像的帧数、角速度的个数、加速度的个数相同。

具体的，处理模块可以获取真实对象的左目多帧图像、真实对象的右目多帧图像、人体在运动过程中的多个角速度和多个加速度。其中，处理模块在同一时刻采集一次真实对象的左目图像和真实对象的右目图像。可选的，上述帧数可以为8，上述角速度的个数和加速度的积分后个数也可以为8，以保证处理模块在处理时的算力和效率平衡。

S302，根据所述多帧左目图像，利用尺度不变特征描述变换方法，得到每帧左目图像上的多个第一特征点，所述多帧左目图像中每帧左目图像上的多个第一特征点构成第一特征点集合。

具体的，处理模块中可以包括图像处理器，该图像处理器在得到真实对象的左目多帧图像之后，可以采用尺度不变特征描述变换方法，提取每帧左目图像上的多个第一特征点，并将每帧左目图像上的多个第一特征点组合起来，构成第一特征点集合。可选的，每帧左目图像上的第一特征点的数量相等，该数量可以是80个。

S303，根据所述每帧左目图像上的多个第一特征点，得到每帧右目图像上对应的多个第二特征点，所述多帧右目图像中每帧右目图像上的多个第二特征点构成第二特征点集合；所述第一特征点的数量与所述第二特征点的数量相同。

具体的，上述图像处理器在得到每帧左目图像上的多个第一特征点之后，可以根据每帧左目图像与每帧右目图像之间的对应关系，利用对极约束搜索方法，得到每帧右目图像上对应的多个第二特征点，并将该每帧右目图像上的多个第二特征点组合起来，构成第二特征点集合。其中，第一特征点的数量与第二特征点的数量相同，即每帧右目图像上的第二特征点也可以是80个。

S304，根据所述第一特征点集合、所述第二特征点集合以及人体在运动过程中的多个角速度和多个加速度，利用最小化马氏距离求解法，得到所述左目视觉图像采集模块的位姿、右目视觉图像采集模块的位姿。

在该步骤中，处理模块中也可以包括一个中央处理器，该中央处理器可以对上述多个角速度和加速度进行积分，得到多个运动观测量，该运动观测量的数量与角速度的数量和加速度的数量相等，该多个运动观测量与多帧左目图像和多帧右目图像相对应，即每个时刻有一个运动观测量、一帧左目图像、一帧右目图像。

具体的，中央处理器在得到多个运动观测量、第一特征点集合以及第二特征点集合之后，可以利用最小化马氏距离求解法以及最小二乘优化目标函数法，求解得到多个最优左目视觉图像采集模块的位姿、多个最优右目视觉图像采集模块的位姿，并在该多个最优左目视觉图像采集模块的位姿以及多个最优右目视觉图像采集模块的位姿中，选取出当前时刻的左目视觉图像采集模块的位姿以及右目视觉图像采集模块的位姿。

本实施例提供的虚实融合方法，处理模块首先获取现实场景中真实对象的左目多帧图像以及右目多帧图像、人体在运动过程中的多个角速度和多个加速度，接着得到每帧左目图像上的多个第一特征点构成的第一特征点集合、每帧右目图像上的多个第二特征点构成的第二特征点集合，最后根据第一特征点集合、第二特征点集合以及人体在运动过程中的多个角速度和多个加速度，利用最小化马氏距离求解法，得到左目视觉图像采集模块的位姿以及右目视觉图像采集模块的位姿。在本实施例中，由于是利用每帧左目图像上的多个第一特征点以及每帧右目图像上的多个第二特征点、人体在运动过程中的多个角速度和多个加速度，来求解得到左目视觉图像采集模块的位姿以及右目视觉图像采集模块的位姿，其计算过程比较精细和准确，因此，利用该方法计算得到左目视觉图像采集模块的位姿以及右目视觉图像采集模块的位姿比较准确。

图4为另一个实施例提供的虚实融合方法的流程示意图。本实施例涉及的是处理模块如何对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像的具体过程。如图4所示，在上述实施例的基础上，上述S204可以包括如下步骤：

S401，根据所述真实对象的左目图像以及真实对象的右目图像，得到真实对象的左右目图像对应的第一景深图，所述第一景深图中包括真实对象的左右目图像上每一点的深度信息。

具体的，处理模块在得到真实对象的左目图像以及真实对象的右目图像之后，可以采用立体配算法，选取左目视觉图像采集模块和右目视觉图像采集模块之间的中心点为计算点，得到真实对象的左右目图像对应的景深图，该景深图记为第一景深图，该第一景深图上包括真实对象的左右目图像上每一点的深度信息。

S402，根据所述虚拟对象的三维图形信息以及左右目虚拟相机各自的位姿，得到虚拟对象的左目图像对应的第二景深图，以及虚拟对象的右目图像对应的第三景深图，所述第二景深图中包括虚拟对象的左目图像上每一点的深度信息，所述第三景深图包括虚拟对象的右目图像上每一点的深度信息。

具体的，上述左右目虚拟相机可以分别同时采集虚拟对象的左右目图像，上述处理模块在得到左目虚拟相机的位姿和虚拟对象的三维图形信息之后，可以根据李群性质，得到虚拟对象左目图像的景深图，该景深图记为第二景深图，该第二景深图上包括虚拟对象左目图像上每一点的深度信息；同时，上述处理模块在得到右目虚拟相机的位姿和虚拟对象的三维图形信息之后，也可以根据李群性质，得到虚拟对象右目图像的景深图，该景深图记为第三景深图，该第三景深图上包括虚拟对象右目图像上每一点的深度信息。

S403，将第一景深图上每一点的深度信息分别和第二景深图上对应的每一点的深度信息进行对比，得到多个第一对比结果，根据所述多个第一对比结果对真实对象的左目图像和虚拟对象的左目图像进行渲染，得到左目虚实结合的图像。

具体的，处理模块在得到第一景深图和第二景深图之后，可以将第一景深图上每一点的深度信息分别和第二景深图上对应的每一点的深度信息进行对比，可选的，可以是将第一景深图上每一点的深度信息与第二景深图上对应的每一点的深度信息作商值，再将商值跟1进行对比，得到多个第一对比结果，还可以是直接将第一景深图上每一点的深度信息与第二景深图上对应的每一点的深度信息比大小，得到多个第一对比结果。之后，处理模块可以根据该多个第一对比结果对真实对象的左目图像和虚拟对象的左目图像进行渲染，得到左目虚实结合的图像。

S404，将第一景深图上每一点的深度信息分别和第三景深图上对应的每一点的深度信息进行对比，得到所述第二对比结果，根据所述多个第二对比结果对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到右目虚实结合的图像。

具体的，处理模块在得到第一景深图和第三景深图之后，可以将第一景深图上每一点的深度信息分别和第三景深图上对应的每一点的深度信息进行对比，可选的，可以是将第一景深图上每一点的深度信息与第三景深图上对应的每一点的深度信息作商值，再将商值跟1进行对比，得到多个第二对比结果，还可以是直接将第一景深图上每一点的深度信息与第三景深图上对应的每一点的深度信息比大小，得到多个第二对比结果。之后，处理模块可以根据该多个第二对比结果对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到右目虚实结合的图像。

本实施例提供的虚实融合方法，处理模块首先获取真实对象的左右目图像对应的第一景深图、虚拟对象的左目图像对应的第二景深图、虚拟对象的右目图像对应的第三景深图；接着将第一景深图上每一点的深度信息和第二景深图上对应的每一点的深度信息进行对比，得到多个第一对比结果，并将第一景深图上每一点的深度信息和第三景深图上对应的每一点的深度信息进行对比，得到多个第二对比结果；最后根据多个第一对比结果对真实对象的左目图像和虚拟对象的左目图像进行渲染，得到左目虚实结合的图像，并根据多个第二对比结果对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到右目虚实结合的图像。在本实施例中，由于处理模块是分开对真实对象的左目图像和虚拟对象的左目图像、以及真实对象的右目图像和虚拟对象的右目图像进行处理，并得到左目虚实结合的图像和右目虚实结合的图像的，因此，该方法得到的左右目虚实结合的图像更符合人体双眼实际看到的虚实结合的图像，从而使人体左右目看到的虚实结合图像的真实感更强。

图5为另一个实施例提供的虚实融合方法的流程示意图。本实施例涉及的是处理模块如何根据所述多个第一对比结果对真实对象的左目图像和虚拟对象的左目图像进行渲染，得到左目虚实结合的图像，以及根据所述多个第二对比结果对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到右目虚实结合的图像的具体过程。如图5所示，在上述实施例的基础上，上述S403和S404可以包括如下步骤：

S501，根据所述多个第一对比结果确定所述真实对象的左目图像上的每一点和虚拟对象的左目图像上对应的每一点之间的多个第一遮挡关系，根据所述多个第一遮挡关系对所述真实对象的左目图像上的每一点和虚拟对象的左目图像上对应的每一点进行渲染，得到左目虚实结合的图像。

具体的，处理模块在得到多个第一对比结果后，可选的，当上述多个第一对比结果中，一个第一对比结果为上述第一景深图上一个点的深度信息小于上述第二景深图上对应的一个点的深度信息时，则确定一个第一遮挡关系为上述真实对象的左目图像上一个点遮挡上述虚拟对象的左目图像上对应的一个点；可选的，当上述多个第一对比结果中，一个第一对比结果为上述第一景深图上一个点的深度信息不小于上述第二景深图上对应的一个点的深度信息，则确定上述一个第一遮挡关系为上述虚拟对象的左目图像上一个点遮挡上述真实对象的左目图像上对应的一个点；并根据上述多个第一遮挡关系对上述真实对象的左目图像上的每一点和虚拟对象的左目图像上的每一点进行渲染，得到左目虚实结合的图像。

S502，根据所述多个第二对比结果确定所述真实对象的右目图像上的每一点和虚拟对象的右目图像上对应的每一点之间的多个第二遮挡关系，根据所述多个第二遮挡关系对所述真实对象的右目图像上的每一点和虚拟对象的右目图像上对应的每一点进行渲染，得到右目虚实结合的图像。

具体的，处理模块在得到多个第二对比结果后，可选的，当上述多个第二对比结果中，一个第二对比结果为上述第一景深图上一个点的深度信息小于上述第三景深图上对应的一个点的深度信息时，则确定一个第二遮挡关系为上述真实对象的右目图像上一个点遮挡上述虚拟对象的右目图像上对应的一个点；可选的，当上述多个第二对比结果中，一个第二对比结果为上述第一景深图上一个点的深度信息不小于上述第三景深图上对应的一个点的深度信息，则确定上述一个第二遮挡关系为上述虚拟对象的右目图像上一个点遮挡上述真实对象的右目图像上对应的一个点；并根据上述多个第二遮挡关系对上述真实对象的右目图像上的每一点和虚拟对象的右目图像上的每一点进行渲染，得到右目虚实结合的图像。

本实施例提供的虚实融合方法，处理模块根据多个第一对比结果确定真实对象的左目图像上的每一点和虚拟对象的左目图像上对应的每一点之间的多个第一遮挡关系，并根据该多个第一遮挡关系对真实对象的左目图像上的每一点和虚拟对象的左目图像上对应的每一点进行渲染，得到左目虚实结合的图像；同理，根据多个第二对比结果确定真实对象的右目图像上的每一点和虚拟对象的右目图像上对应的每一点之间的多个第二遮挡关系，并根据该多个第二遮挡关系对真实对象的右目图像上的每一点和虚拟对象的右目图像上对应的每一点进行渲染，得到右目虚实结合的图像。利用本实施例的方法，可以真实地体现真实对象和虚拟对象之间的遮挡关系，从而使得人体双眼看到的虚实融合图像更符合真实情况，即增强了人体看到的虚实融合图像的真实感。

应该理解的是，虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本申请实施例提供的虚实融合方法，可以适用于图6所示的计算机设备。如图6所示，该计算机设备包括通过装置总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置和计算机程序。该内存储器为非易失性存储介质中的操作装置和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的计算机通过网络连接通信。该计算机程序被处理器执行时以实现一种虚实融合方法。可选的，该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

需要说明的是，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；

根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；

根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；

获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像。

在一个实施例中，提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；

根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；

根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块；

获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到左右目虚实结合的图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种增强现实的虚实融合装置，其特征在于，所述装置包括：双目视觉采集模块、处理模块、双目图像呈现模块；

所述双目视觉采集模块与所述处理模块连接，所述处理模块与所述双目图像呈现模块连接；

所述双目视觉采集模块包括左目视觉图像采集模块、右目视觉图像采集模块、惯导采集模块；所述左目视觉图像采集模块以及右目视觉图像采集模块在佩戴时位于人体双目前方，分别同时采集现实场景中真实对象的图像，所述惯导采集模块采集人体在运动过程中的角速度和加速度；

所述处理模块通过对左右目视觉图像采集模块采集的现实场景中真实对象的图像、所述惯导采集模块采集的人体在运动过程中的角速度和加速度、虚拟场景中左右目虚拟相机采集的虚拟对象的左右目图像分别进行处理，以得到左右目虚实融合的图像，所述左右目虚实融合的图像为虚实对齐之后融合的图像，所述虚拟场景与现实场景之间具有对应关系，所述真实对象的图像包括所述真实对象的左目图像和所述真实对象的右目图像，所述人体在运动过程中的角速度和加速度用于确定所述左右目视觉图像采集模块的位姿，所述虚拟对象为根据所述左右目虚拟相机的位姿以及所述左右目虚拟相机的投影矩阵所对应的参数在所述虚拟场景中添加的对象，所述左右目虚拟相机的位姿为根据所述左右目视觉图像采集模块的位姿确定的，所述左右目虚拟相机的投影矩阵所对应的参数为根据所述左右目视觉图像采集模块的内部参数确定的，所述虚拟对象的左右目图像包括所述虚拟对象的左目图像和所述虚拟对象的右目图像，所述虚实对齐指的是所述真实对象的左目图像和所述虚拟对象的左目图像放置在同一个坐标系下，以及所述真实对象的右目图像和所述虚拟对象的右目图像放置在同一个坐标系下；

所述双目图像呈现模块将所述左右目虚实融合的图像分别在人体双目处对应呈现出来。

2.根据权利要求1所述的装置，其特征在于，所述处理模块还用于：

获取现实场景中真实对象的左右目图像、所述人体在运动过程中的角速度和加速度；

根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿；

根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块，所述左目视觉图像采集模块的焦距和像素大小与所述左目虚拟相机的焦距和像素大小相等，所述右目视觉图像采集模块的焦距和像素大小与所述右目虚拟相机的焦距和像素大小相等；

获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像放置在同一个坐标系下进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像放置在同一个坐标系下进行渲染，得到所述左右目虚实融合的图像。

3.根据权利要求1所述的装置，其特征在于，所述装置还包括：保护罩、外壳、双目视力矫正与护目模块；所述保护罩与所述外壳连接，并与所述外壳之间形成一空间；

所述双目视觉采集模块以及所述处理模块设置在所述空间内靠近所述保护罩的一侧；

所述双目视力矫正与护目模块设置在所述空间内靠近所述外壳的一侧；

所述双目图像呈现模块设置在所述空间内，一侧与所述处理模块连接，另一侧与所述双目视力矫正与护目模块连接。

4.根据权利要求3所述的装置，其特征在于，所述装置还包括：镜架；

所述镜架设置在所述空间内，所述双目图像呈现模块、所述双目视力矫正与护目模块均设置在所述镜架上，且所述双目图像呈现模块与所述镜架连接。

5.根据权利要求3所述的装置，其特征在于，所述保护罩上设置有两个通孔，所述保护罩包括：两个镜片；

所述两个镜片分别设置在所述两个通孔内；

所述左目视觉图像采集模块和所述右目视觉图像采集模块分别透过所述两个镜片采集现实场景中真实对象的图像，所述两个通孔的横截面积不小于所述左目视觉图像采集模块的横截面积以及所述右目视觉图像采集模块的横截面积。

6.根据权利要求1所述的装置，其特征在于，所述双目图像呈现模块为两个内置显示器的独立显示镜片，所述独立显示镜片为半反半透显示镜片。

7.一种增强现实的虚实融合方法，其特征在于，所述方法包括：

获取现实场景中真实对象的左右目图像、人体在运动过程中的角速度和加速度；

根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到左目视觉图像采集模块的位姿、右目视觉图像采集模块的位姿；

根据所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿以及预先设置的左目视觉图像采集模块的内部参数和右目视觉图像采集模块的内部参数，确定虚拟场景中左目虚拟相机的位姿以及右目虚拟相机的位姿，并根据所述左目虚拟相机的位姿以及所述右目虚拟相机的位姿在虚拟场景中添加虚拟对象以及所述虚拟对象的三维图形信息；所述左目视觉图像采集模块的内部参数和所述右目视觉图像采集模块的内部参数包括左目视觉图像采集模块的焦距以及像素大小、右目视觉图像采集模块的焦距以及像素大小；所述左目虚拟相机和右目虚拟相机分别对应所述左目视觉图像采集模块和右目视觉图像采集模块，所述左目视觉图像采集模块的焦距和像素大小与所述左目虚拟相机的焦距和像素大小相等，所述右目视觉图像采集模块的焦距和像素大小与所述右目虚拟相机的焦距和像素大小相等；

获取所述左目虚拟相机、所述右目虚拟相机分别同时采集的虚拟场景中虚拟对象的左右目图像，并对真实对象的左目图像和虚拟对象的左目图像放置在同一个坐标系下进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像放置在同一个坐标系下进行渲染，得到左右目虚实融合的图像。

8.根据权利要求7所述的方法，其特征在于，所述根据现实场景中真实对象的左右目图像以及人体在运动过程中的角速度和加速度，得到所述左目视觉图像采集模块的位姿、所述右目视觉图像采集模块的位姿，包括：

获取现实场景中真实对象的左目多帧图像、现实场景中真实对象的右目多帧图像、人体在运动过程中的多个角速度和多个加速度，其中，左右目视觉图像采集模块在同一时刻分别采集一帧图像，左目图像的帧数、右目图像的帧数、角速度的个数、加速度的个数相同；

根据所述左目多帧图像，利用尺度不变特征描述方法，得到每帧左目图像上的多个第一特征点，所述左目多帧图像中每帧左目图像上的多个第一特征点构成第一特征点集合；

根据所述每帧左目图像上的多个第一特征点，得到每帧右目图像上对应的多个第二特征点，所述右目多帧图像中每帧右目图像上的多个第二特征点构成第二特征点集合；所述第一特征点的数量与所述第二特征点的数量相同；

根据所述第一特征点集合、所述第二特征点集合以及人体在运动过程中的多个角速度和多个加速度，利用最小化马氏距离求解法，得到所述左目视觉图像采集模块的位姿、右目视觉图像采集模块的位姿。

9.根据权利要求7所述的方法，其特征在于，所述对真实对象的左目图像和虚拟对象的左目图像放置在同一个坐标系下进行渲染，以及对真实对象的右目图像和虚拟对象的右目图像放置在同一个坐标系下进行渲染，得到所述左右目虚实融合的图像，包括：

根据所述真实对象的左目图像以及真实对象的右目图像，得到真实对象的左右目图像对应的第一景深图，所述第一景深图中包括真实对象的左右目图像上每一点的深度信息；

根据所述虚拟对象的三维图形信息以及左右目虚拟相机各自的位姿，得到虚拟对象的左目图像对应的第二景深图，以及虚拟对象的右目图像对应的第三景深图，所述第二景深图中包括虚拟对象的左目图像上每一点的深度信息，所述第三景深图包括虚拟对象的右目图像上每一点的深度信息；

将第一景深图上每一点的深度信息分别和第二景深图上对应的每一点的深度信息进行对比，得到多个第一对比结果，根据所述多个第一对比结果对真实对象的左目图像和虚拟对象的左目图像进行渲染，得到左目虚实结合的图像；

将第一景深图上每一点的深度信息分别和第三景深图上对应的每一点的深度信息进行对比，得到多个第二对比结果，根据所述多个第二对比结果对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到右目虚实结合的图像。

10.根据权利要求9所述的方法，其特征在于，所述根据所述多个第一对比结果对真实对象的左目图像和虚拟对象的左目图像进行渲染，得到左目虚实结合的图像，根据所述多个第二对比结果对真实对象的右目图像和虚拟对象的右目图像进行渲染，得到右目虚实结合的图像，包括：

根据所述多个第一对比结果确定所述真实对象的左目图像上的每一点和虚拟对象的左目图像上对应的每一点之间的多个第一遮挡关系，根据所述多个第一遮挡关系对所述真实对象的左目图像上的每一点和虚拟对象的左目图像上对应的每一点进行渲染，得到左目虚实结合的图像；

根据所述多个第二对比结果确定所述真实对象的右目图像上的每一点和虚拟对象的右目图像上对应的每一点之间的多个第二遮挡关系，根据所述多个第二遮挡关系对所述真实对象的右目图像上的每一点和虚拟对象的右目图像上对应的每一点进行渲染，得到右目虚实结合的图像。

11.根据权利要求10所述的方法，其特征在于，所述根据所述多个第一遮挡关系对所述真实对象的左目图像上的每一点和虚拟对象的左目图像上对应的每一点进行渲染，得到左目虚实结合的图像，包括：

当所述多个第一对比结果中，一个第一对比结果为所述第一景深图上一个点的深度信息小于所述第二景深图上对应的一个点的深度信息时，则确定一个第一遮挡关系为所述真实对象的左目图像上一个点遮挡所述虚拟对象的左目图像上对应的一个点；

当所述多个第一对比结果中，一个第一对比结果为所述第一景深图上一个点的深度信息不小于所述第二景深图上对应的一个点的深度信息时，则确定所述一个第一遮挡关系为所述虚拟对象的左目图像上一个点遮挡所述真实对象的左目图像上对应的一个点；

根据所述多个第一遮挡关系对所述真实对象的左目图像上的每一点和虚拟对象的左目图像上的每一点进行渲染，得到左目虚实结合的图像。

12.一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7至11中任一项所述方法的步骤。

13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7至11中任一项所述方法的步骤。