CN108961383B - 三维重建方法及装置 - Google Patents

Abstract

本申请公开了一种三维重建方法及装置，属于计算机视觉领域。所述方法包括：通过双目相机采集目标物体在n个方位的n组双目图像；确定n组双目图像中的每组双目图像的视差图；对每组双目图像的视差图进行优化处理，使得优化处理后的视差图中：属于同一物体的像素区域中有效匹配像素点的数量大于或等于：属于同一物体的像素点的最小数量；根据n组双目图像、优化处理后的n个视差图以及双目相机的参数，建立目标物体的三维模型。本申请解决了根据视差图确定出的三维模型较准确性较低问题，提高了根据优化处理后的视差图所建立的三维模型的准确度，本申请用于三维重建。

Description

三维重建方法及装置

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种三维重建方法及装置。

背景技术

在计算机视觉技术中,三维重建是指根据物体在多个方位的图像重建物体的三维模型的过程。

相关技术中，在对目标物体进行三维重建时，首先需要将多个双目相机分别置于目标物体的多个方位，并通过多个双目相机采集目标物体在多个方位的多组双目图像，每组双目图像包括左相机图像和右相机图像共两个图像。然后，对采集到的每组双目图像中的两个图像进行立体匹配，得到每组双目图像的视差图。最后，根据采集到的多组双目图像、每组双目图像的视差图以及每个双目相机的参数，建立目标物体的三维模型。

由于相关技术中，立体匹配得到的视差图中存在部分像素点为误匹配像素点，也即立体匹配得到的视差图存在误差，因此，根据视差图确定出的三维模型较准确性较低。

发明内容

为了解决根据视差图确定出的三维模型较准确性较低问题，本申请提供了一种三维重建方法及装置。所述技术方案如下：

第一方面，提供了一种三维重建方法，所述方法包括：

通过双目相机采集目标物体在n个方位的n组双目图像，所述n为大于或等于2的整数；

确定所述n组双目图像中的每组双目图像的视差图；

对所述每组双目图像的视差图进行优化处理，使得优化处理后的视差图中：属于同一物体的像素区域中有效匹配像素点的数量大于或等于：属于同一物体的像素点的最小数量，所述有效匹配像素点为视差图中除误匹配像素点之外的像素点；

根据所述n组双目图像、优化处理后的n个视差图以及所述双目相机的参数，建立所述目标物体的三维模型。

可选的，所述n为大于或等于5的整数。

可选的，在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

确定所述每组双目图像的视差图中的误匹配像素点；

根据所述每组双目图像的视差图中的误匹配像素点，确定所述每组双目图像的视差图中的噪声区域，其中，所述噪声区域为属于同一物体的像素区域，且所述噪声区域内的有效匹配像素点的数量小于：属于同一物体的像素点的最小数量；

所述对所述每组双目图像的视差图进行优化处理，包括：

对每个噪声区域中的像素点的视差值进行更改，以减少所述每个噪声区域中的误匹配像素点的数量。

可选的，将所述多组双目图像中的目标双目图像组的视差图中的噪声区域中的像素点作为第一像素点，

在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

对所述每组双目图像进行下采样，获取所述每组双目图像在不同尺度上的多组尺度图像；

确定每组尺度图像的视差图；

确定每组尺度图像的视差图中的误匹配像素点；

根据每组尺度图像的视差图中的误匹配像素点，确定每组尺度图像的视差图中的噪声区域；

所述对每个噪声区域中的像素点的视差值进行更改，包括：

根据所述目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定所述目标双目图像组的多组尺度图像中的至少一组第一有效尺度图像，其中，每组第一有效尺度图像的视差图中，与所述第一像素点对应的第二像素点为非噪声区域中的有效匹配像素点；

将所述至少一组第一有效尺度图像中尺度最大的一组有效尺度图像，作为目标有效尺度图像组；

将所述第一像素点的视差值更改为：所述目标有效尺度图像组的视差图中第二像素点的视差值。

可选的，在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

对所述目标双目图像组的视差图中的非噪声区域中的误匹配像素点的视差值进行更改，消除所述目标双目图像组的视差图中的非噪声区域中的误匹配像素点。

可选的，将所述目标双目图像组的视差图中的非噪声区域中的有效匹配像素点作为第三像素点，在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

根据所述目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定所述目标双目图像组的多组尺度图像中的至少一组第二有效尺度图像，其中，每组第二有效尺度图像的视差图中，与所述第三像素点对应的第四像素点为非噪声区域中的有效匹配像素点；

判断所述第三像素点的视差值在视差值集合中所占的比例是否小于预设比例阈值，其中，所述视差值集合由所述第三像素点的视差值，以及所述至少一组第二有效尺度图像的视差图中所有第四像素点的视差值组成；

在所述第三像素点的视差值在所述视差值集合中所占的比例小于所述预设比例阈值时，将所述第三像素点的视差值更改为所述视差值集合中所占的比例最高的第四视差值。

可选的，在所述确定所述每组双目图像的视差图中的噪声区域之后，所述方法还包括：对所述每组双目图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值；

在所述确定所述每组双目图像的视差图中的噪声区域之后，所述方法还包括：对每组尺度图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值。

可选的，在所述确定所述每组双目图像的视差图中的误匹配像素点之前，所述方法还包括：对每组双目图像的视差图进行加权中值滤波；

所述确定所述每组双目图像的视差图中的误匹配像素点，包括：确定加权中值滤波后的所述每组双目图像的视差图中的误匹配像素点；

在所述确定每组尺度图像的视差图中的误匹配像素点之前，所述方法还包括：对每组尺度图像的视差图进行加权中值滤波；

所述确定每组尺度图像的视差图中的误匹配像素点，包括：确定加权中值滤波后的每组尺度图像的视差图中的误匹配像素点。

可选的，所述根据所述n组双目图像、优化处理后的n个视差图以及所述双目相机的参数，建立所述目标物体的三维模型，包括：

根据优化处理后的n个视差图以及所述双目相机的参数，确定世界坐标系中的初始三维点云；

对所述初始三维点云进行点云融合处理，得到目标三维点云，其中，在所述目标三维点云中，每个三维点的预设范围内不存在其他三维点，且每个三维点与距离最近的三维点的距离小于预设距离阈值；

根据所述目标三维点云以及所述双目相机的参数进行曲面重建，得到曲面模型；

根据所述n组双目图像对所述曲面模型进行纹理映射，得到所述目标物体的三维模型。

可选的，在所述通过双目相机采集目标物体在n个方位的n组双目图像之前，所述方法还包括：

将所述n个双目相机置于所述目标物体的所述n个方位；

所述通过双目相机采集目标物体在n个方位的n组双目图像，包括：

分别通过所述n个双目相机，在同一时刻采集所述目标物体在所述n个方位的n组双目图像。

第二方面，提供了一种三维重建装置，所述三维重建装置包括：

采集模块，用于通过双目相机采集目标物体在n个方位的n组双目图像，所述n为大于或等于2的整数；

第一确定模块，用于确定所述n组双目图像中的每组双目图像的视差图；

处理模块，用于对所述每组双目图像的视差图进行优化处理，使得优化处理后的视差图中：属于同一物体的像素区域中有效匹配像素点的数量大于或等于：属于同一物体的像素点的最小数量，所述有效匹配像素点为视差图中除误匹配像素点之外的像素点；

建立模块，用于根据所述n组双目图像、优化处理后的n个视差图以及所述双目相机的参数，建立所述目标物体的三维模型。

可选的，所述n为大于或等于5的整数。

可选的，所述三维重建装置还包括：

第二确定模块，用于确定所述每组双目图像的视差图中的误匹配像素点；

第三确定模块，用于根据所述每组双目图像的视差图中的误匹配像素点，确定所述每组双目图像的视差图中的噪声区域，其中，所述噪声区域为属于同一物体的像素区域，且所述噪声区域内的有效匹配像素点的数量小于：属于同一物体的像素点的最小数量；

所述处理模块包括：更改单元，用于对每个噪声区域中的像素点的视差值进行更改，以减少所述每个噪声区域中的误匹配像素点的数量。

可选的，将所述多组双目图像中的目标双目图像组的视差图中的噪声区域中的像素点作为第一像素点所述三维重建装置还包括：

下采样模块，用于对所述每组双目图像进行下采样，获取所述每组双目图像在不同尺度上的多组尺度图像；

第四确定模块，用于确定每组尺度图像的视差图；

第五确定模块，用于确定每组尺度图像的视差图中的误匹配像素点；

第六确定模块，用于根据每组尺度图像的视差图中的误匹配像素点，确定每组尺度图像的视差图中的噪声区域；

所述更改单元还用于：根据所述目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定所述目标双目图像组的多组尺度图像中的至少一组第一有效尺度图像，其中，每组第一有效尺度图像的视差图中，与所述第一像素点对应的第二像素点为非噪声区域中的有效匹配像素点；确定所述至少一组第一有效尺度图像中尺度最大的一组有效尺度图像为目标有效尺度图像组；将所述第一像素点的视差值更改为：所述目标有效尺度图像组的视差图中第二像素点的视差值。

可选的，所述三维重建装置还包括：

第一更改模块，用于对所述目标双目图像组的视差图中的非噪声区域中的误匹配像素点的视差值进行更改，消除所述目标双目图像组的视差图中的非噪声区域中的误匹配像素点。

可选的，将所述目标双目图像组的视差图中的非噪声区域中的有效匹配像素点作为第三像素点，所述三维重建装置还包括：

第七确定模块，用于根据所述目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定所述目标双目图像组的多组尺度图像中的至少一组第二有效尺度图像，每组第二有效尺度图像的视差图中，与所述第三像素点对应的第四像素点为非噪声区域中的有效匹配像素点；

判断模块，用于判断所述第三像素点的视差值在视差值集合中所占的比例是否小于预设比例阈值，其中，所述视差值集合由所述第三像素点的视差值，以及所述至少一组第二有效尺度图像的视差图中所有第四像素点的视差值组成；

第二更改模块，用于在所述第三像素点的视差值在所述视差值集合中所占的比例小于所述预设比例阈值时，将所述第三像素点的视差值更改为所述视差值集合中所占的比例最高的第四视差值。

可选的，所述三维重建装置还包括：第一亚像素插值模块，用于对所述每组双目图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值；

所述三维重建装置还包括：第二亚像素插值模块，用于对每组尺度图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值。

可选的，所述三维重建装置还包括：第一加权中值滤波模块，用于对每组双目图像的视差图进行加权中值滤波；

所述第二确定模块还用于：确定加权中值滤波后的所述每组双目图像的视差图中的误匹配像素点；

所述三维重建装置还包括：第二加权中值滤波模块，用于对每组尺度图像的视差图进行加权中值滤波；

所述第五确定模块还用于：确定加权中值滤波后的每组尺度图像的视差图中的误匹配像素点。

可选的，所述建立模块还用于：

根据优化处理后的n个视差图以及所述双目相机的参数，确定世界坐标系中的初始三维点云；

对所述初始三维点云进行点云融合处理，得到目标三维点云，其中，在所述目标三维点云中，每个三维点的预设范围内不存在其他三维点，且每个三维点与距离最近的三维点的距离小于预设距离阈值；

根据所述目标三维点云以及所述双目相机的参数进行曲面重建，得到曲面模型；

根据所述n组双目图像对所述曲面模型进行纹理映射，得到所述目标物体的三维模型。

可选的，所述三维重建装置还包括：

放置模块，用于将所述n个双目相机置于所述目标物体的所述n个方位；

所述采集模块还用于：分别通过所述n个双目相机，在同一时刻采集所述目标物体在所述n个方位的n组双目图像。

第三方面，提供了一种三维重建装置，该三维重建装置包括：至少一个发射模块、至少一个接收模块、至少一个处理模块、至少一个存储模块以及至少一个总线，存储模块通过总线与处理模块相连；处理模块被配置为通过执行存储模块中存储的程序来实现：上述第一方面或第一方面中任意一种可能的实现方式所提供的三维重建方法。

第四方面，提供了一种包含指令的计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行第一方面所述的三维重建方法。

第五方面，提供了一种参数确定装置，所述参数确定装置包括：至少一个处理器、至少一个接口、存储器和至少一个通信总线，所述处理器用于执行所述存储器中存储的程序，以实现第一方面所述的三维重建方法。

本发明实施例提供的技术方案带来的有益效果是：

在确定每个双目图像的视差图后，还对每个视差图进行了优化处理，使得优化处理后的视差图中属于同一物体的像素区域中有效匹配像素点的数量大于或等于属于同一物体的像素点的最小数量，也即，优化处理后的视差图中的误匹配像素点的数量减少，从而减小了视差图的误差，所以，提高了根据优化处理后的视差图所建立的三维模型的准确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种三维重建方法的应用场景示意图；

图2为本发明实施例提供的一种三维重建方法的方法流程图；

图3为本发明实施例提供的另一种三维重建方法的方法流程图；

图4为本发明实施例提供的一种对视差图进行优化处理的方法流程图；

图5为本发明实施例提供的另一种对视差图进行优化处理的方法流程图；

图6为本发明实施例提供的一种三维重建装置的结构示意图；

图7为本发明实施例提供的另一种三维重建装置的结构示意图；

图8为本发明实施例提供的一种处理模块的结构示意图；

图9为本发明实施例提供的又一种三维重建装置的结构示意图；

图10为本发明实施例提供的再一种三维重建装置的结构示意图；

图11为本发明另一实施例提供的一种三维重建装置的结构示意图；

图12为本发明另一实施例提供的另一种三维重建装置的结构示意图；

图13为本发明另一实施例提供的又一种三维重建装置的结构示意图；

图14为本发明另一实施例提供的再一种三维重建装置的结构示意图；

图15为本发明又实施例提供的一种三维重建装置的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1为本发明实施例提供的一种三维重建方法的应用场景示意图，如图1所示，在需要对目标物体进行三维重建(也即是建立目标物体的三维虚拟模型)时，可以首先将目标物体A进行固定，然后，通过双目相机采集目标物体在n个不同方位的n组双目图像。n为大于或等于2的整数。

示例的，假设n≥5，该n个不同方位可以为：目标物体的正上方B、目标物体的正下方C以及目标物体的三个水平方位D1、D2和D3，可选的，该三个水平方位中任意两个相邻的水平方位的夹角可以为120度。

图2为本发明实施例提供的一种三维重建方法的方法流程图，如图2所示，该三维重建方法可以包括：

步骤201、通过双目相机采集目标物体在n个方位的n组双目图像，n为大于或等于2的整数。

步骤202、确定n组双目图像中的每组双目图像的视差图。

步骤203、对每组双目图像的视差图进行优化处理，使得优化处理后的视差图中：属于同一物体的像素区域中有效匹配像素点的数量大于或等于：属于同一物体的像素点的最小数量，有效匹配像素点为视差图中除误匹配像素点之外的像素点；

步骤204、根据n组双目图像、优化处理后的n个视差图以及双目相机的参数，建立目标物体的三维模型。

由于本发明实施例提供的三维重建方法中，在确定每个双目图像的视差图后，还对每个视差图进行了优化处理，使得优化处理后的视差图中属于同一物体的像素区域中有效匹配像素点的数量大于或等于属于同一物体的像素点的最小数量，也即，优化处理后的视差图中的误匹配像素点的数量减少，从而减小了视差图的误差，所以，提高了根据优化处理后的视差图所建立的三维模型的准确度。

图3为本发明实施例提供的另一种三维重建方法的方法流程图，该三维重建方法可以由计算机或其他具有处理功能的模块执行，如图3所示，该三维重建方法可以包括：

步骤301、将n个双目相机置于目标物体的n个方位。

示例的，采集目标物体在n个方位的n组双目图像，可以通过一个双目相机实现，也可以通过n个双目相机实现。本发明实施例中，以通过n个双目相机采集n组双目图像为例，对三维重建方法进行说明。该n个双目相机可以与用于执行图3所示的三维重建方法的执行主体(计算机或其他具有处理功能的模块)相连接，如n个双目相机中的每个双目相机通过通用串行总线(英文Universal Serial Bus；USB)连接至执行主体。可选的，双目相机的分辨率可以为500万，双目相机的焦距可以为4毫米。

请参考图1，可以将n个双目相机分别置于目标物体的n个方位，使得n个双目相机能够分别从n个方位采集到目标物体的图像。实际应用中，该n个方位可以与图1所示的n个方位不同，n还可以为大于或等于2的其他整数，本发明实施例对此不作限定。

步骤302、分别对n个双目相机进行标定，得到n个双目相机中每个双目相机的参数。

在步骤302中可以通过对n个双目相机中的每个双目相机进行标定，以确定每个双目相机的参数。示例的，每个双目相机的参数可以包括双目相机的内参数、外参数和校正参数。

可选的，双目相机的外参数用于指示：双目相机到自定义世界坐标系的旋转矩阵R和平移向量T。可选的，该自定义世界坐标系为目标物体的世界坐标系。本发明实施例中可以使用张氏标定法标定双目相机的内参数；并可以通过粗标定方法和精标定方法确定双目相机的外参数，该粗标定方法可以为：借助目标物体上的已知特征点初步计算双目相机的外参数，精标定方法可以为：基于粗标定方法得到的外参数，使用迭代最近点(英文：Iterative Closest Point；简称：ICP)算法，对粗标定方法得到的外参数进一步优化。

需要说明的是，步骤302可以包括：对双目相机的内参进行标定确定内参，以及对双目相机的外参进行标定确定外参，以及根据双目相机的内参和外参确定校正参数。实际应用中，对双目相机的内参进行标定确定内参的步骤还可以在步骤301之前执行，本发明实施例对此不作限定。

步骤303、通过n个双目相机采集目标物体在n个方位的n组双目图像。

在将n个双目相机分别置于目标物体的n个方位后，可以控制分别控制该n个双目相机，在同一时刻采集目标物体在n个方位的n组双目图像。其中，每个双目相机可以包括：左相机和右相机，每个双目相机获取到的一组双目图像可以包括：左相机图像和右相机图像。

步骤304、确定n组双目图像中的每组双目图像的视差图。

在获取到n组双目图像后，可以对每组双目图像进行校正，得到每组双目图像对应的一组校正图像，并根据每组双目图像对应的一组校正图像，进而得到每组双目图像的视差图。其中，对双目图像进行校正是指，根据双目相机的内参数，使用boudget校正算法(一种校正算法)将双目图像校正为理想的双目图像。可选的，步骤304中可以结合局部匹配算法确定每组双目图像的视差图，该局部匹配算法可以为半全局匹配(英文：Semi-GlobalMatching；简称：SGM)算法。示例的，每组双目图像的视差图包括多个像素点，每个像素点的值可以为：该像素点在左相机图像中对应的像素点值与该像素点在右相机图像中对应的像素点值的差。

进一步的，在得到每组双目图像的视差图后，还可以对该每组双目图像的视差图进行初步的优化，如：对每组双目图像的视差图进行加权中值滤波，也即是，采用加权中值滤波算法对每组双目图像的视差图进行处理，得到加权中值滤波后的视差图。

可选的，在对视差图进行加权中值滤波时，对于视差图中每个像素点p，可以在视差图中首先找到像素点p的邻域N(p)，并根据邻域N(p)内每个像素点的视差值构建视差直方图h(p，d)。示例的，本发明实施例中以每组双目图像的视差图为以左相机图像为基准得到的左视差图，则构建的视差直方图h(p，d)可以表示为：

h(p,d)＝∑_q∈N(p)w(p,q)f(d_left(q)-d)；

其中，像素点p的视差值为d，邻域N(p)内的像素点为像素点q，像素点q的视差值为d_left(q)，f(·)为一个函数，当f(·)中括号内的值为0时，f(·)的值为1，当f(·)中括号内的值为1时，f(·)的值为0。w(p,q)为像素点q的权值(这里可以使用双边滤波器或引导滤波器(GuidedFilter)中的权值计算方法计算得到)；然后，统计h(p，d)的累计直方图，取中值作为该像素点的处理结果，并将像素点p的视差值d修改为中值对应的像素点的视差值。

步骤305、确定每组双目图像的视差图中的误匹配像素点。

在确定每组双面图像的视差图后，可以对每组双目图像的视差图进行左右交叉验证，确定每组双目图像的视差图中的误匹配像素点。若在步骤304中还对得到的视差图进行了加权中值滤波，则在步骤305中可以通过左右交叉验证的方法，确定加权中值滤波后的每组双目图像的视差图中的误匹配像素点。

示例的，若步骤304中得到的视差图为左视差图(以左相机图像为基准的视差图)，则在左右交叉验证时，可以获取右视差图(以右相机图像为基准的视差图)。在获取到左视差图和右视差图后，对于左视差图中的每个像素点可以在右视差图中找到对应的像素点(图像坐标相同)。以步骤304中获取到的视差图为左视差图为例，若左视差图中的一个像素点的视差值与该像素点在右视差图中对应的像素点的视差值不同，则可以认为该像素点为误匹配像素点；若左视差图中的一个像素点的视差值与该像素点在右视差图中对应的像素点的视差值相同，则可以认为该像素点为有效匹配像素点。

步骤306、根据每组双目图像的视差图中的误匹配像素点，确定每组双目图像的视差图中的噪声区域。

在步骤306之前可以但不限于通过下述方式确定“属于同一物体的像素点的最小数量”。

一方面，可以假设属于同一物体的像素点不可能低于某一预设阈值，将该预设阈值确定为“属于同一物体的像素点的最小数量”。例如，假设一个物体本身包含像素点数量低于5像素点，在高于100万像素的画面中就无法被识别出来，那么，就可以将5设置为预设阈值，确定为“属于同一物体的像素点的最小数量”。

例如，在500万像素的图像中，该“属于同一物体的像素点的最小数量”可以为200；也即是，该500万像素的图像可以包括多个物体，其中，每个可识别的物体的所包含的像素点的数量均不小于200，当某一物体的像素点小于200时，就无法在该500万像素的图像中识别出该物体。实际应用中，在500万像素的图像中，该“属于同一物体的像素点的最小数量”还可以为除200之外的其他数值(例如199或201等数值)，本发明实施例中并不对任意一幅图像中“属于同一物体的像素点的最小数量”的具体数值进行限定。

或者，也可以基于已有的大量同一物体的图像数据，将这些数据中同一个物体的像素点数量的最小值作为“属于同一物体的像素点的最小数量”。

另一方面，本发明实施例中还可以通过随机测量实验的方式确定“属于同一物体的像素点的最小数量”。

例如，在通过随机测量实验的方式确定“属于同一物体的像素点的最小数量”时，可以首先通过双目相机的左相机或右相机随机采集至少一个图像；然后，将每个图像中属于同一物体的区域作为一个像素区域(也即该像素区域中的像素点均属于同一物体)，这样一来，每个图像能够划分为多个像素区域。最后，可以确定划分得到的每个像素区域内的像素点的数量，并在确定出的所有像素点数量中选取最小的像素点数量，作为“属于同一物体的像素点的最小数量”。

在确定每组双目图像的视差图中的误匹配像素点和有效匹配像素点后，可以根据误匹配像素点确定每组双面图像的视差图中的噪声区域。该噪声区域内的有效匹配像素点的数量小于：属于同一物体的像素点的最小数量。

可选的，可以基于区域滤波算法，以视差连续性作为区域生长条件，对视差图分割为多个像素区域，每个像素区域内的像素点的视差值具有连续性，即相邻像素点的视差值的差异d_diff小于视差差异阈值，该多个像素区域中的每个像素区域属于同一个物体。在将视差图划分为多个像素区域后，可以以每一像素区域的像素点的数量作为该区域面积，将面积小于“属于同一物体的像素点的最小数量”的像素区域确定为噪声区域。

进一步的，在确定视差图中的噪声区域后，还可以对每组双目图像的视差图的非噪声区域(也即视差图中除噪声区域之外的区域)中的有效匹配像素点进行亚像素插值，以提高视差图中的非噪声区域中有效匹配像素点的视差值的精度。示例的，可以根据有效像素点在视差搜索范围内的匹配代价曲线，使用等角插值或二项式插值等算法，得到该有效像素点的亚像素视差值。

步骤307、对每组双目图像进行下采样，获取每组双目图像在不同尺度上的多组尺度图像。

进一步的，在步骤303中获取到n组双目图像后，就可以对每组双目图像进行下采样，得到每组双目图像在不同尺度上的多组尺度图像，每组尺度图像可以包括左相机图像的尺度图像和右相机视图的尺度图像。

示例的，可以对每组双目图像进行均值下采样，且下采样的尺度需要根据当前图像在任意场景能够得到稠密视差图的分辨率来计算，且采用等分下采样。例如，500万像素的双目相机能够在1/3尺度得到稠密视差图，则可以将该双目相机采集到的一组双目图像下采样到2/3尺度和1/3尺度，最终分别得到1/3尺度的一组尺度图像、2/3尺度的一组尺度图像以及该组双目图像，共3个分辨率的三组图像。

步骤308、确定每组尺度图像的视差图。

示例的，步骤308中确定每组尺度图像的视差图的具体步骤，可以参考步骤304中确定每组双目图像的视差图的具体步骤，本发明实施例在此不做赘述。且在得到每组尺度图像的视差图后，还可以对每组尺度图像的视差图进行加权中值滤波。

步骤309、确定每组尺度图像的视差图中的误匹配像素点。

步骤309中确定每组尺度图像的视差图中的误匹配像素点的具体步骤，可以参考步骤305中确定每组双目图像的视差图中的误匹配像素点的具体步骤，本发明实施例在此不做赘述。

步骤310、根据每组尺度图像的视差图中的误匹配像素点，确定每组尺度图像的视差图中的噪声区域。

步骤310中确定每组尺度图像的视差图中的噪声区域的具体步骤，可以参考图像306中确定每组双目图像的视差图中的噪声区域的具体步骤，本发明实施例在此不做赘述。并且在确定噪声区域后，还可以对每组尺度图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值。

步骤311、对每组双目图像的视差图进行优化处理。

在步骤311中，可以对每个噪声区域中的像素点的视差值进行更改，以减少每个噪声区域中的误匹配像素点的数量，使得优化处理后的视差图中：属于同一物体的像素区域不为噪声区域，从而消除每组双目图像的视差图中的噪声区域，提高每组双目图像的视差图的准确度。

示例的，本发明实施例中将多组双目图像中的目标双目图像组(任意一组双目图像)的视差图中的噪声区域中的像素点作为第一像素点，如将噪声区域内的每个像素点作为第一像素点，或者将噪声区域内的至少一个像素点中的每个像素点作为第一像素点。如图4所示，步骤311可以包括：

步骤3111a、根据目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定目标双目图像组的多组尺度图像中的至少一组第一有效尺度图像，每组第一有效尺度图像的视差图中，与第一像素点对应的第二像素点为非噪声区域中的有效匹配像素点。

本步骤311之前，已经获取了目标双目图像组的多组尺度图像，以及目标双目图像组的每组尺度图像的视差图中的误匹配像素点和噪声区域，在步骤3111a中，可以确定目标双目图像组的尺度图像的视差图中的第一像素点，在目标双目图像组的每组尺度图像的视差图中对应的第二像素点，并逐个判断每个第二像素点是否为非噪声区域内的有效匹配像素点，若第二像素点为非噪声区域内的有效匹配像素点，则确定该第二像素点所在的视差图对应的一组尺度图像为一组第一有效尺度图像。

步骤3112a、确定至少一组第一有效尺度图像中尺度最大的一组有效尺度图像为目标有效尺度图像组。

在得到至少一组第一有效尺度图像后，可以根据每组第一有效尺度图像的尺度，确定至少一组第一有效尺度图像中，尺度最大的一组有效尺度图像为目标有效尺度图像组。

步骤3113a、将第一像素点的视差值更改为：目标有效尺度图像组的视差图中第二像素点的视差值。

由于该目标有效尺度图像组的尺度小于该目标双目图像组的尺度，当第一像素点在目标双目图像组的视差图中属于噪声区域时，第二像素点并非是误匹配像素点，第二像素点的视差值比第一像素点的视差值更加准确，因此，可以将作为有效匹配像素点的第二像素点的视差值作为第一像素点的视差值，从而优化第一像素点的视差值。

进一步的，在确定目标有效尺度图像组的视差图中第二像素点的视差值(也即第二像素点对应的初始视差值)后，还可以对第二像素点的初始视差值进行优化，得到第二像素点对应的目标视差值，并将第一像素点的视差值更改为第二像素点对应的目标视差值。

示例的，当第一像素点为像素点p，且第二像素点对应的初始视差值为d0，则可以在至少一组第一有效尺度图像中，将每组第一有效尺度图像中像素点的视差值位于[d0-3，d0+3]的视差区间内的所有像素点的匹配代价做加权处理，得到每组第一有效尺度图像的加权结果。然后，对加权结果最小的一组第一有效尺度图像进行亚像素插值处理，并将亚像素插值处理后的该组第一有效尺度图像中的第二像素点的视差值作为第二像素点对应的目标视差值。其中，视差区间内的任意两个像素点的匹配代价为该两个像素点的特征差异。

可选的，本发明实施例中还可以对目标双目图像组的视差图中的非噪声区域中的像素点进行优化处理。如图5所示，对非噪声区域内的像素点进行优化处理的过程可以包括：

步骤3111b、对目标双目图像组的视差图中的非噪声区域中的误匹配像素点的视差值进行更改，消除目标双目图像组的视差图中的非噪声区域中的误匹配像素点。

示例的，步骤311中对目标双目图像组的视差图中的噪声区域内的像素点进行了更改(优化)，在步骤3111b中也可以参照相似的方法，对噪声区域之外的误匹配像素点进行更改(优化)，消除非噪声区域中的误匹配像素点。

步骤3112b、根据目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定目标双目图像组的多组尺度图像中的至少一组第二有效尺度图像，每组第二有效尺度图像的视差图中，与第三像素点对应的第四像素点为非噪声区域中的有效匹配像素点，第三像素点为目标双目图像组的视差图中的非噪声区域中的有效匹配像素点。

可选的，目标双目图像组的视差图中的非噪声区域可以包括多个有效匹配像素点和误匹配像素点。该多个有效匹配像素点中的每个有效匹配像素点均可以为第三像素点，或者，该多个有效匹配像素点中的至少一个有效匹配像素点中的每个有效匹配像素点均为第三像素点。

本步骤311之前，已经获取了目标双目图像组的多组尺度图像，以及目标双目图像组的每组尺度图像的视差图中的误匹配像素点和噪声区域，在步骤3112b中，可以确定目标双目图像组的尺度图像的视差图中非噪声区域内的第三像素点(有效匹配像素点)。在目标双目图像组的每组尺度图像的视差图中对应的第四像素点，并逐个判断每个第四像素点是否为非噪声区域内的有效匹配像素点，若第四像素点为非噪声区域内的有效匹配像素点，则确定该第四像素点所在的视差图对应的一组尺度图像为一组第二有效尺度图像。

步骤3113b、判断第三像素点的视差值在视差值集合中所占的比例是否小于预设比例阈值，视差值集合由第三像素点的视差值，以及至少一组第二有效尺度图像的视差图中所有第四像素点的视差值组成。

在确定第三像素点以及至少一组第二有效尺度图像后，可以确定由第三像素点的视差值、以及该至少一组第二有效尺度图像的视差图中的所有第四像素点的视差值所组成的视差值集合。并确定该视差值集合中与第三像素点的视差值相同的视差值的个数。进而确定第三像素点的视差值在视差值集合中所占的比例，以及该所占的比例是否小于预设比例阈值。

步骤3114b、在第三像素点的视差值在视差值集合中所占的比例小于预设比例阈值时，将第三像素点的视差值更改为视差值集合中所占的比例最高的第四视差值。

若经过比较，确定第三像素点的视差值在视差值集合中所占的比例小于预设比例阈值，则可以在视差值集合中确定所占比例最高的第四视差值，并将第三像素点的视差值更改为第四视差值，使得该第三像素点的视差值更加准确。

若经过比较，确定第三像素点的视差值在视差值集合中所占的比例大于或等于预设比例阈值，则确定此时第三像素点的视差值已经较准确，此时无需对第三像素点的视差值进行更改。

另外，在对视差图进行上述优化处理后，还可以利用双边滤波器提升视差图的边缘，也即利用双边滤波器解决处理后的视差图的边缘不清晰的问题。如：为对于目标双目图像组的视差图，给定滤波窗口大小为w，以视差图(左视差图)对应的左相机图像来计算双边滤波的权值，对视差图进行滤波。

也即：

其中，d_{left_filt}(i,j)为滤波后的视差图d_{left_filt}中坐标(i,j)的像素点对应的视差值；d_left(k,l)为上述优化处理后的视差图，ω(k,l)为滤波权值，

其中σ_d为空间距离相似度标准差，σ_r为两个像素点之间的灰度相似性标准差，f(·)为左相机图像中与上述坐标(i,j)的像素点对应的像素点的灰度值。

进一步的，在确定第四像素点的视差值后，还可以对第四像素点的视差值进行优化，得到第四像素点对应的目标视差值，并将第三像素点的视差值更改为第四像素点对应的目标视差值。且确定第四像素点对应的目标视差值的具体过程，可以参考步骤3113a中确定第二像素点对应的目标视差值的具体过程，本发明实施例在此不做赘述。

步骤312、根据n组双目图像、优化处理后的n个视差图以及双目相机的参数，建立目标物体的三维模型。

在对n组双目图像中的每组双目图像的视差图进行优化处理后，可以根据优化处理后的n个视差图以及双目相机的参数，确定世界坐标系中的初始三维点云。其中，对于每台双目相机对应的视差图，通过该双目相机的内参和外参，将该双目相机对应的视差图转换为对应于自定义世界坐标系的三维点云，三维点云中每一个三维点包括当前点的位置信息(X，Y，Z)以及RGB信息。

其中，每一台双目相机的点云坐标变换方式如下：

其中，(X,Y,Z)为对应于当前相机坐标系的三维点云的坐标，(X_W,Y_W,Z_W)为当前相机点云变换到自定义世界坐标系的三维点云的坐标，R和T分别为当前相机坐标系到自定义世界坐标系的变换参数，(u,v,d)为视差图，u₀和v₀分别为双目相机的主点坐标，f为双目相机的焦距。

之后，可以对初始三维点云进行点云融合处理，得到目标三维点云，也即是，将多个位于同一范围内的三维点融合为一个三维点，并删除噪点。其中，如果初始三维点云中的某一个三维点与距离最近的三维点的距离大于或等于预设距离阈值，则认为初始三维点云中的这个三维点为一个孤立的噪点，则将其删除。在目标三维点云中，每个三维点的预设范围内不存在其他三维点，且每个三维点与距离最近的三维点的距离小于预设距离阈值。

然后，可以根据目标三维点云以及双目相机的参数进行曲面重建，得到曲面模型。也即是，将目标三维点云三角面片化，形成三维的曲面模型，可以使用的曲面重建算法包括：泊松曲面重建、基于快速傅里叶变换(英文：Fast Fourier transform；简称：FFT)的曲面重建算法等。

最后，可以根据n组双目图像对曲面模型进行纹理映射，得到目标物体的三维模型。对于上述形成的三维的曲面模型中的每一个三角面片，为每个三角面片增加对应的红绿蓝(英文：Red Green Blue；简称：RGB)纹理信息。其中，如果当前三角面片仅对应一台双目相机，则直接将该一台双目相机对应的RGB图像中的RGB纹理信息填充在该三角面片中即可；如果当前三角面片对应多台双目相机，则需要将多台双目相机对应的RGB纹理信息进行融合，并将融合后的RGB纹理信息填充在该三角面片中。

其中RGB纹理信息的融合方式可以参考图像融合中的阿尔法(英文：alpha)融合，每个双目相机的RGB纹理信息对应的权值阿尔法可以通过该双目相机的光轴与该三角面片的法向量之间的夹角确定，也即，如果某个双目相机的像平面与该三角面片的法向量的夹角越小，则RGB纹理信息融合时该双目相机的RGB纹理信息占较大权重。

在建立好三维模型后，可以控制显示器对三维模型进行显示，示例的，可以通过光线投影法、抛雪球算法或错切变换法等算法，实现三维模型在特定视角下的投影。

相关技术中，通过飞行时间(英文：Time of Flight；简称：TOF)立体视觉相机采集目标物体的图像，并根据TOF相机采集到的图像进行三维重建。但是，TOF相机所采集到的图像的像分辨率较低(130万像素)，因此根据TOF相机采集到的图像创建的三维模型的精度较低。而本发明实施例中，通过双目相机采集目标物体的图像，并根据双目相机采集到的图像进行三维重建，由于双目相机所采集到的图像的分辨率较高(500万像素)，因此，本发明实施例所创建的三维模型的精度较高。

进一步的，由于TOF相机所采集到的图像的准确度与每个物体对光波的反射相关，且不同物体对光波的反射率不同，多个TOF相机之间的光波还会发生互相干扰的情况，以及光波会在物体上发生内反射和外反射，致使TOF相机采集到的图像较不准确。且由于TOF相机采集到的图像的分辨率较低，因此，TOF相机采集到的图像中的像元较大，若TOF相机采集到的图像出现飞点现象，则飞点现象会看起来较严重。

另外，在通过TOF相机采集物体图像时，为了保证物体的远距离图像的精度较高，需要增加TOF相机向外发出的光强，但是如果TOF相机向外发出的光强过大，则TOF相机采集到的物体的近距离图像又会出现过曝现象。且在室外自然光照较强的情况下，TOF相机无法检测到TOF相机采集到的哪个光波为TOF相机自身发射出去的光波，因此，TOF相机无法采集室外的物体图像。

而本发明实施例中，双目相机的成像原理与TOF相机完全不同，因此，双目相机能够避免TOF相机的上述缺点。

由于本发明实施例提供的三维重建方法中，在确定每个双目图像的视差图后，还对每个视差图进行了优化处理，使得优化处理后的视差图中属于同一物体的像素区域中有效匹配像素点的数量大于或等于属于同一物体的像素点的最小数量，也即，优化处理后的视差图中的误匹配像素点的数量减少，从而减小了视差图的误差，所以，提高了根据优化处理后的视差图所建立的三维模型的准确度。

另外，由于相关技术中立体匹配得到的视差图存在误差，且对双目相机获取到的低纹理图像或重复纹理图像进行立体匹配得到的视差图的误差更大，因此，相关技术中根据低纹理图像的视差图或重复纹理图像的视差图，三维重建所得到的三维模型与实际的三维物体相差较大，也即是低纹理图像或重复纹理图像的鲁棒性较低。而本发明实施例中，由于在得到存在较大误差的视差图后，根据每组双目图像的多组尺度图像的视差图，对每组双目图像的视差图进行了优化处理，在每组双目图像的视差图中融合了多组尺度图像的视差图中的信息，减小了视差图中误匹配像素点的数量，从而减小了视差图的误差，使得根据优化处理后的视差图所建立的三维模型与实际的三维物体较相似，因此，提高了低纹理图像或重复纹理图像的鲁棒性。

图6为本发明实施例提供的一种三维重建装置的结构示意图，如图6所示，该三维重建装置60可以包括：

采集模块601，用于通过双目相机采集目标物体在n个方位的n组双目图像，n为大于或等于2的整数；

第一确定模块602，用于确定n组双目图像中的每组双目图像的视差图；

处理模块603，用于对每组双目图像的视差图进行优化处理，使得优化处理后的视差图中：属于同一物体的像素区域不为噪声区域，噪声区域内的有效匹配像素点的数量小于：属于同一物体的像素点的最小数量，有效匹配像素点为视差图中除误匹配像素点之外的像素点；

建立模块604，用于根据n组双目图像、优化处理后的n个视差图以及双目相机的参数，建立目标物体的三维模型。

本发明实施例提供的三维重建装置中，第一确定模块在确定每个双目图像的视差图后，处理模块还对每个视差图进行了优化处理，使得优化处理后的视差图中属于同一物体的像素区域中有效匹配像素点的数量大于或等于属于同一物体的像素点的最小数量，也即，优化处理后的视差图中的误匹配像素点的数量减少，从而减小了视差图的误差，所以，提高了建立模块根据优化处理后的视差图所建立的三维模型的准确度。

可选的，n为大于或等于5的整数。

可选的，图7为本发明实施例提供的另一种三维重建装置的结构示意图，在图6的基础上，该三维重建装置60还可以包括：

第二确定模块605，用于确定每组双目图像的视差图中的误匹配像素点；

第三确定模块606，用于根据每组双目图像的视差图中的误匹配像素点，确定每组双目图像的视差图中的噪声区域；

图8为本发明实施例提供的一种处理模块603的结构示意图，如图8所示，处理模块603可以包括：更改单元6031，用于对每个噪声区域中的像素点的视差值进行更改。

可选的，目标双目图像组属于多组双目图像，第一像素点为目标双目图像组的视差图中的噪声区域中的像素点，图9为本发明实施例提供的又一种三维重建装置的结构示意图，如图9所示，在图7的基础上，该三维重建装置还包括：

下采样模块607，用于对每组双目图像进行下采样，获取每组双目图像在不同尺度上的多组尺度图像；

第四确定模块608，用于确定每组尺度图像的视差图；

第五确定模块609，用于确定每组尺度图像的视差图中的误匹配像素点；

第六确定模块610，用于根据每组尺度图像的视差图中的误匹配像素点，确定每组尺度图像的视差图中的噪声区域；

图8中的更改单元6031还可以用于：根据目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定目标双目图像组的多组尺度图像中的至少一组第一有效尺度图像，每组第一有效尺度图像的视差图中，与第一像素点对应的第二像素点为非噪声区域中的有效匹配像素点；确定至少一组第一有效尺度图像中尺度最大的一组有效尺度图像为目标有效尺度图像组；将第一像素点的视差值更改为：目标有效尺度图像组的视差图中第二像素点的视差值。

可选的，图10为本发明实施例提供的再一种三维重建装置的结构示意图，如图10所示，在图9的基础上，该三维重建装置还可以包括：

第一更改模块611，用于对目标双目图像组的视差图中的非噪声区域中的误匹配像素点的视差值进行更改，消除目标双目图像组的视差图中的非噪声区域中的误匹配像素点。

可选的，第三像素点为目标双目图像组的视差图中的非噪声区域中的有效匹配像素点，图11为本发明另一实施例提供的一种三维重建装置的结构示意图，如图11所示，在图9的基础上，该三维重建装置还可以包括：

第七确定模块612，用于根据目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定目标双目图像组的多组尺度图像中的至少一组第二有效尺度图像，每组第二有效尺度图像的视差图中，与第三像素点对应的第四像素点为非噪声区域中的有效匹配像素点；

判断模块613，用于判断第三像素点的视差值在视差值集合中所占的比例是否小于预设比例阈值，视差值集合由第三像素点的视差值，以及至少一组第二有效尺度图像的视差图中所有第四像素点的视差值组成；

第二更改模块614，用于在第三像素点的视差值在视差值集合中所占的比例小于预设比例阈值时，将第三像素点的视差值更改为视差值集合中所占的比例最高的第四视差值。

图12为本发明另一实施例提供的另一种三维重建装置的结构示意图，如图12所示，在图9的基础上，该三维重建装置还可以包括：

第一亚像素插值模块615，用于对每组双目图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值；

第二亚像素插值模块616，用于对每组尺度图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值。

图13为本发明另一实施例提供的又一种三维重建装置的结构示意图，如图13所示，在图9的基础上，该三维重建装置还可以包括：

第一加权中值滤波模块617，用于对每组双目图像的视差图进行加权中值滤波；

第二加权中值滤波模块618，用于对每组尺度图像的视差图进行加权中值滤波；

第二确定模块605还用于：确定加权中值滤波后的每组双目图像的视差图中的误匹配像素点；

第五确定模块609还用于：确定加权中值滤波后的每组尺度图像的视差图中的误匹配像素点。

可选的，建立模块604还用于：根据优化处理后的n个视差图以及双目相机的参数，确定世界坐标系中的初始三维点云；对初始三维点云进行点云融合处理，得到目标三维点云，在目标三维点云中，每个三维点的预设范围内不存在其他三维点，且每个三维点与距离最近的三维点的距离小于预设距离阈值；根据目标三维点云以及双目相机的参数进行曲面重建，得到曲面模型；根据n组双目图像对曲面模型进行纹理映射，得到目标物体的三维模型。

图14为本发明另一实施例提供的再一种三维重建装置的结构示意图，如图14所示，在图6的基础上，该三维重建装置还可以包括：

放置模块619，用于将n个双目相机置于目标物体的n个方位；

采集模块601还用于：分别通过n个双目相机，在同一时刻采集目标物体在n个方位的n组双目图像。

本发明实施例提供的三维重建装置中，第一确定模块在确定每个双目图像的视差图后，处理模块还对每个视差图进行了优化处理，使得优化处理后的视差图中属于同一物体的像素区域中有效匹配像素点的数量大于或等于属于同一物体的像素点的最小数量，也即，优化处理后的视差图中的误匹配像素点的数量减少，从而减小了视差图的误差，所以，提高了建立模块根据优化处理后的视差图所建立的三维模型的准确度。

图15为本发明又实施例提供的一种三维重建装置100的结构示意图，该三维重建装置100可以包括：

至少一个发射模块1001，至少一个接收模块1002，至少一个处理模块1003，至少一个存储模块1004，以及至少一个总线1005，发射模块、接收模块、处理模块和存储模块通过总线相连接。处理模块1003可以执行存储模块1004中存储的程序10041，来实现下述三维重建方法：

通过双目相机采集目标物体在n个方位的n组双目图像，所述n为大于或等于2的整数；

确定所述n组双目图像中的每组双目图像的视差图；

对所述每组双目图像的视差图进行优化处理，使得优化处理后的视差图中：属于同一物体的像素区域不为噪声区域，所述噪声区域内的有效匹配像素点的数量小于：属于同一物体的像素点的最小数量，所述有效匹配像素点为视差图中除误匹配像素点之外的像素点；

根据所述n组双目图像、优化处理后的n个视差图以及所述双目相机的参数，建立所述目标物体的三维模型。

可选的，在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

确定所述每组双目图像的视差图中的误匹配像素点；

根据所述每组双目图像的视差图中的误匹配像素点，确定所述每组双目图像的视差图中的噪声区域；

所述对所述每组双目图像的视差图进行优化处理，包括：

对每个噪声区域中的像素点的视差值进行更改。

可选的，目标双目图像组属于所述多组双目图像，第一像素点为所述目标双目图像组的视差图中的噪声区域中的像素点，

在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

对所述每组双目图像进行下采样，获取所述每组双目图像在不同尺度上的多组尺度图像；

确定每组尺度图像的视差图；

确定每组尺度图像的视差图中的误匹配像素点；

根据每组尺度图像的视差图中的误匹配像素点，确定每组尺度图像的视差图中的噪声区域；

所述对每个噪声区域中的像素点的视差值进行更改，包括：

根据所述目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定所述目标双目图像组的多组尺度图像中的至少一组第一有效尺度图像，每组第一有效尺度图像的视差图中，与所述第一像素点对应的第二像素点为非噪声区域中的有效匹配像素点；

确定所述至少一组第一有效尺度图像中尺度最大的一组有效尺度图像为，目标有效尺度图像组；

将所述第一像素点的视差值更改为：所述目标有效尺度图像的视差图中第二像素点的视差值。

可选的，在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

对所述目标双目图像组的视差图中的非噪声区域中的误匹配像素点的视差值进行更改，消除所述目标双目图像组的视差图中的非噪声区域中的误匹配像素点。

可选的，第三像素点为所述目标双目图像组的视差图中的非噪声区域中的有效匹配像素点，在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

根据所述目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定所述目标双目图像组的多组尺度图像中的至少一组第二有效尺度图像，每组第二有效尺度图像的视差图中，与所述第三像素点对应的第四像素点为非噪声区域中的有效匹配像素点；

判断所述第三像素点的视差值在视差值集合中所占的比例是否小于预设比例阈值，所述视差值集合由所述第三像素点的视差值，以及所述至少一组第二有效尺度图像的视差图中所有第四像素点的视差值组成；

在所述第三像素点的视差值在所述视差值集合中所占的比例小于所述预设比例阈值时，将所述第三像素点的视差值更改为所述视差值集合中所占的比例最高的第四视差值。

可选的，在所述确定所述每组双目图像的视差图中的噪声区域之后，所述方法还包括：对所述每组双目图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值；

在所述确定所述每组双目图像的视差图中的噪声区域之后，所述方法还包括：对每组尺度图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值。

可选的，在所述确定所述每组双目图像的视差图中的误匹配像素点之前，所述方法还包括：对每组双目图像的视差图进行加权中值滤波；

所述确定所述每组双目图像的视差图中的误匹配像素点，包括：确定加权中值滤波后的所述每组双目图像的视差图中的误匹配像素点；

在所述确定每组尺度图像的视差图中的误匹配像素点之前，所述方法还包括：对每组尺度图像的视差图进行加权中值滤波；

所述确定每组尺度图像的视差图中的误匹配像素点，包括：确定加权中值滤波后的每组尺度图像的视差图中的误匹配像素点。

可选的，所述根据所述n组双目图像、优化处理后的n个视差图以及所述双目相机的参数，建立所述目标物体的三维模型，包括：

根据优化处理后的n个视差图以及所述双目相机的参数，确定世界坐标系中的初始三维点云；

对所述初始三维点云进行点云融合处理，得到目标三维点云，在所述目标三维点云中，每个三维点的预设范围内不存在其他三维点，且每个三维点与距离最近的三维点的距离小于预设距离阈值；

根据所述目标三维点云以及所述双目相机的参数进行曲面重建，得到曲面模型；

根据所述n组双目图像对所述曲面模型进行纹理映射，得到所述目标物体的三维模型。

可选的，在所述通过双目相机采集目标物体在n个方位的n组双目图像之前，所述方法还包括：

分别对n个双目相机进行标定，得到所述n个双目相机中每个双目相机的参数；

将所述n个双目相机置于所述目标物体的所述n个方位；

所述通过双目相机采集目标物体在n个方位的n组双目图像，包括：

分别通过所述n个双目相机，在同一时刻采集所述目标物体在所述n个方位的n组双目图像。

由于本发明实施例提供的三维重建装置所执行的方法中，在确定每个双目图像的视差图后，还对每个视差图进行了优化处理，使得优化处理后的视差图中属于同一物体的像素区域中有效匹配像素点的数量大于或等于属于同一物体的像素点的最小数量，也即，优化处理后的视差图中的误匹配像素点的数量减少，从而减小了视差图的误差，所以，提高了根据优化处理后的视差图所建立的三维模型的准确度。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机的可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质，或者半导体介质(例如固态硬盘)等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本发明实施例提供的三维重建方法实施例和三维重建装置实施例可以互相参考，本发明实施例对此不作限定。本发明实施例提供的方法实施例步骤的先后顺序能够进行适当调整，步骤也能够根据情况进行相应增减，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (18)

1.一种三维重建方法，其特征在于，所述方法包括：

通过双目相机采集目标物体在n个方位的n组双目图像，所述n为大于或等于2的整数；

确定所述n组双目图像中的每组双目图像的视差图；

对所述每组双目图像的视差图中的每个噪声区域中的像素点的视差值进行更改，以减少所述每个噪声区域中的误匹配像素点的数量，实现对所述每组双目图像的视差图的优化处理，使得优化处理后的视差图中属于同一物体的像素区域中有效匹配像素点的数量大于或等于属于同一物体的像素点的最小数量，所述有效匹配像素点为视差图中除误匹配像素点之外的像素点，其中，所述每个噪声区域为属于同一物体的像素区域，且所述每个噪声区域内的有效匹配像素点的数量小于属于同一物体的像素点的最小数量；

根据所述n组双目图像、优化处理后的n个视差图以及所述双目相机的参数，建立所述目标物体的三维模型。

2.根据权利要求1所述的方法，其特征在于，

在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

确定所述每组双目图像的视差图中的误匹配像素点；

根据所述每组双目图像的视差图中的误匹配像素点，确定所述每组双目图像的视差图中的噪声区域。

3.根据权利要求2所述的方法，其特征在于，将多组双目图像中的目标双目图像组的视差图中的噪声区域中的像素点作为第一像素点，

在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

对所述每组双目图像进行下采样，获取所述每组双目图像在不同尺度上的多组尺度图像；

确定每组尺度图像的视差图；

确定每组尺度图像的视差图中的误匹配像素点；

根据每组尺度图像的视差图中的误匹配像素点，确定每组尺度图像的视差图中的噪声区域；

所述对每个噪声区域中的像素点的视差值进行更改，包括：

根据所述目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定所述目标双目图像组的多组尺度图像中的至少一组第一有效尺度图像，其中，每组第一有效尺度图像的视差图中，与所述第一像素点对应的第二像素点为非噪声区域中的有效匹配像素点；

确定所述至少一组第一有效尺度图像中尺度最大的一组有效尺度图像为目标有效尺度图像组；

将所述第一像素点的视差值更改为：所述目标有效尺度图像组的视差图中第二像素点的视差值。

4.根据权利要求1至3任一所述的方法，其特征在于，在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

对所述目标双目图像组的视差图中的非噪声区域中的误匹配像素点的视差值进行更改，消除所述目标双目图像组的视差图中的非噪声区域中的误匹配像素点。

5.根据权利要求3所述的方法，其特征在于，将所述目标双目图像组的视差图中的非噪声区域中的有效匹配像素点作为第三像素点，在所述对所述每组双目图像的视差图进行优化处理之前，所述方法还包括：

根据所述目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定所述目标双目图像组的多组尺度图像中的至少一组第二有效尺度图像，其中，每组第二有效尺度图像的视差图中，与所述第三像素点对应的第四像素点为非噪声区域中的有效匹配像素点；

判断所述第三像素点的视差值在视差值集合中所占的比例是否小于预设比例阈值，其中，所述视差值集合由所述第三像素点的视差值，以及所述至少一组第二有效尺度图像的视差图中所有第四像素点的视差值组成；

在所述第三像素点的视差值在所述视差值集合中所占的比例小于所述预设比例阈值时，将所述第三像素点的视差值更改为所述视差值集合中所占的比例最高的第四视差值。

6.根据权利要求3所述的方法，其特征在于，

在所述确定所述每组双目图像的视差图中的噪声区域之后，所述方法还包括：对所述每组双目图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值；

在所述确定所述每组双目图像的视差图中的噪声区域之后，所述方法还包括：对每组尺度图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值。

7.根据权利要求3所述的方法，其特征在于，

在所述确定所述每组双目图像的视差图中的误匹配像素点之前，所述方法还包括：对每组双目图像的视差图进行加权中值滤波；

所述确定所述每组双目图像的视差图中的误匹配像素点，包括：确定加权中值滤波后的所述每组双目图像的视差图中的误匹配像素点；

在所述确定每组尺度图像的视差图中的误匹配像素点之前，所述方法还包括：对每组尺度图像的视差图进行加权中值滤波；

所述确定每组尺度图像的视差图中的误匹配像素点，包括：确定加权中值滤波后的每组尺度图像的视差图中的误匹配像素点。

8.根据权利要求1所述的方法，其特征在于，所述根据所述n组双目图像、优化处理后的n个视差图以及所述双目相机的参数，建立所述目标物体的三维模型，包括：

根据优化处理后的n个视差图以及所述双目相机的参数，确定世界坐标系中的初始三维点云；

对所述初始三维点云进行点云融合处理，得到目标三维点云，其中，在所述目标三维点云中，每个三维点的预设范围内不存在其他三维点，且每个三维点与距离最近的三维点的距离小于预设距离阈值；

根据所述目标三维点云以及所述双目相机的参数进行曲面重建，得到曲面模型；

根据所述n组双目图像对所述曲面模型进行纹理映射，得到所述目标物体的三维模型。

9.根据权利要求1所述的方法，其特征在于，在所述通过双目相机采集目标物体在n个方位的n组双目图像之前，所述方法还包括：

将n个双目相机置于所述目标物体的所述n个方位；

所述通过双目相机采集目标物体在n个方位的n组双目图像，包括：

分别通过所述n个双目相机，在同一时刻采集所述目标物体在所述n个方位的n组双目图像。

10.一种三维重建装置，其特征在于，所述三维重建装置包括：

采集模块，用于通过双目相机采集目标物体在n个方位的n组双目图像，所述n为大于或等于2的整数；

第一确定模块，用于确定所述n组双目图像中的每组双目图像的视差图；

处理模块包括：更改单元，用于对所述每组双目图像的视差图中的每个噪声区域中的像素点的视差值进行更改，以减少所述每个噪声区域中的误匹配像素点的数量，实现对所述每组双目图像的视差图的优化处理，使得优化处理后的视差图中属于同一物体的像素区域中有效匹配像素点的数量大于或等于属于同一物体的像素点的最小数量，所述有效匹配像素点为视差图中除误匹配像素点之外的像素点，其中，所述每个噪声区域为属于同一物体的像素区域，且所述每个噪声区域内的有效匹配像素点的数量小于属于同一物体的像素点的最小数量；

建立模块，用于根据所述n组双目图像、优化处理后的n个视差图以及所述双目相机的参数，建立所述目标物体的三维模型。

11.根据权利要求10所述的三维重建装置，其特征在于，所述三维重建装置还包括：

第二确定模块，用于确定所述每组双目图像的视差图中的误匹配像素点；

第三确定模块，用于根据所述每组双目图像的视差图中的误匹配像素点，确定所述每组双目图像的视差图中的噪声区域。

12.根据权利要求11所述的三维重建装置，其特征在于，将多组双目图像中的目标双目图像组的视差图中的噪声区域中的像素点作为第一像素点，所述三维重建装置还包括：

下采样模块，用于对所述每组双目图像进行下采样，获取所述每组双目图像在不同尺度上的多组尺度图像；

第四确定模块，用于确定每组尺度图像的视差图；

第五确定模块，用于确定每组尺度图像的视差图中的误匹配像素点；

第六确定模块，用于根据每组尺度图像的视差图中的误匹配像素点，确定每组尺度图像的视差图中的噪声区域；

所述更改单元还用于：根据所述目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定所述目标双目图像组的多组尺度图像中的至少一组第一有效尺度图像，其中，每组第一有效尺度图像的视差图中，与所述第一像素点对应的第二像素点为非噪声区域中的有效匹配像素点；确定所述至少一组第一有效尺度图像中尺度最大的一组有效尺度图像为目标有效尺度图像组；将所述第一像素点的视差值更改为：所述目标有效尺度图像组的视差图中第二像素点的视差值。

13.根据权利要求10至12任一所述的三维重建装置，其特征在于，所述三维重建装置还包括：

第一更改模块，用于对所述目标双目图像组的视差图中的非噪声区域中的误匹配像素点的视差值进行更改，消除所述目标双目图像组的视差图中的非噪声区域中的误匹配像素点。

14.根据权利要求12所述的三维重建装置，其特征在于，将所述目标双目图像组的视差图中的非噪声区域中的有效匹配像素点作为第三像素点，所述三维重建装置还包括：

第七确定模块，用于根据所述目标双目图像组的多组尺度图像的视差图中的误匹配像素点和噪声区域，确定所述目标双目图像组的多组尺度图像中的至少一组第二有效尺度图像，其中，每组第二有效尺度图像的视差图中，与所述第三像素点对应的第四像素点为非噪声区域中的有效匹配像素点；

判断模块，用于判断所述第三像素点的视差值在视差值集合中所占的比例是否小于预设比例阈值，其中，所述视差值集合由所述第三像素点的视差值，以及所述至少一组第二有效尺度图像的视差图中所有第四像素点的视差值组成；

第二更改模块，用于在所述第三像素点的视差值在所述视差值集合中所占的比例小于所述预设比例阈值时，将所述第三像素点的视差值更改为所述视差值集合中所占的比例最高的第四视差值。

15.根据权利要求12所述的三维重建装置，其特征在于，

所述三维重建装置还包括：第一亚像素插值模块，用于对所述每组双目图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值；

所述三维重建装置还包括：第二亚像素插值模块，用于对每组尺度图像的视差图的非噪声区域中的有效匹配像素点进行亚像素插值。

16.根据权利要求12所述的三维重建装置，其特征在于，

所述三维重建装置还包括：第一加权中值滤波模块，用于对每组双目图像的视差图进行加权中值滤波；

所述第二确定模块还用于：确定加权中值滤波后的所述每组双目图像的视差图中的误匹配像素点；

所述三维重建装置还包括：第二加权中值滤波模块，用于对每组尺度图像的视差图进行加权中值滤波；

所述第五确定模块还用于：确定加权中值滤波后的每组尺度图像的视差图中的误匹配像素点。

17.根据权利要求10所述的三维重建装置，其特征在于，所述建立模块还用于：

根据优化处理后的n个视差图以及所述双目相机的参数，确定世界坐标系中的初始三维点云；

对所述初始三维点云进行点云融合处理，得到目标三维点云，其中，在所述目标三维点云中，每个三维点的预设范围内不存在其他三维点，且每个三维点与距离最近的三维点的距离小于预设距离阈值；

根据所述目标三维点云以及所述双目相机的参数进行曲面重建，得到曲面模型；

根据所述n组双目图像对所述曲面模型进行纹理映射，得到所述目标物体的三维模型。

18.根据权利要求10所述的三维重建装置，其特征在于，所述三维重建装置还包括：

放置模块，用于将n个双目相机置于所述目标物体的所述n个方位；

所述采集模块还用于：分别通过所述n个双目相机，在同一时刻采集所述目标物体在所述n个方位的n组双目图像。

Images