CN110738731B - 一种用于双目视觉的3d重建方法和系统 - Google Patents

Abstract

本申请实施例公开了一种用于双目视觉的3D重建方法和系统，包括：对摄像头进行标定；采用投影器以及所述摄像头对目标物体进行图像采集；提取所述自然图像中的目标区域ROI以及目标区域ROI的边界，并对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集；由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围；根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图。解决了现有技术中只选择有限的征点进行稀疏匹配、无法满足更多的视觉应用的问题。

Description

一种用于双目视觉的3D重建方法和系统

技术领域

本申请涉及3D重建技术领域，尤其涉及一种用于双目视觉的3D重建方法和系统。

背景技术

常见的获取3D信息的光学成像方法有飞行时间法(time-of-flight,TOF)和三角测量法(Triangulation)，每一类方法又有很多分支。其中，三角测量法又分为结构光、双目视觉和激光扫描。结构光(特别是空间编码双目视觉)和双目视觉可以实现只采集一帧图像就计算出整个视场的距离信息，因而更适合实时性要求比较高的情况。

其中，双目视觉的原理本质上是用另一个摄像头取代产生伪随机点阵图案的光源(从数学上说，摄像头相当于一个逆向投影光源)，转而依赖两个摄像头图像中目标物体表面纹理特征匹配来找到两个摄像头里点的对应关系。为了减小搜索窗口加快匹配，一般先对双目视觉投影器和摄像头(在双目视觉中则是左右两个摄像头)进行光学标定和相应的图像校准，这样对每一个待匹配的参考窗口，其对应的理想匹配窗口在一条直线上，搜索只需要在一个方向上进行(一维搜索)。即使只需要一维搜索，对整幅图像完成匹配的计算量也非常大。假设匹配的参考窗口远远小于图像大小，如果图像大小是M*N(M为纵向分辨率，N为横向分辨率),完成整幅图像的匹配也需要进行M*N*N次窗口匹配，每一次窗口匹配本身的计算量也随窗口大小增大而增加。

然而在现有的双目匹配方法中，为了减少匹配计算量和提高匹配速度，通常的做法是只进行稀疏匹配，即只选择有限的特征点进行匹配得到稀疏(低空间分辨率)深度图。但是在很多视觉应用中，稀疏深度图无法满足要求。

发明内容

本申请实施例提供了一种用于双目视觉的3D重建的方法和系统，使得解决现有技术中为了减少匹配计算量和提高匹配速度只选择有限地特征点进行稀疏匹配，无法满足更多的视觉应用的问题。

有鉴于此，本申请第一方面提供了一种用于双目视觉的3D重建方法，所述方法包括：

对摄像头进行标定，得到摄像头的内参和外参；

采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像；

提取所述自然图像中的目标区域ROI以及目标区域ROI的边界；

对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集；

由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围；

根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图。

优选地，所述采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像具体为：

采用复合投影器以及若干摄像头对目标物体进行图像采集，得到自然图像以及带投影图像。

优选地，所述采用复合投影器以及若干摄像头对目标物体进行图像采集，得到自然图像以及带投影图像具体为：

所述复合投影器为两个；

打开第一投影器和第二投影器，打开摄像头采集第一投影图像；

或者，

打开第一投影器，关闭第二投影器，打开摄像头采集图像得到第二带投影图像；打开第二投影器，关闭第一投影器，打开摄像头采集图像得到第三带投影图像；

或者，

关闭第一投影器和第二投影器，打开摄像头采集图像得到自然图像；打开第一投影器，关闭第二投影器，打开摄像头采集图像得到第四带投影图像；打开第二投影器，关闭第一投影器，打开摄像头采集图像得到第五带投影图像。

优选地，所述采用投影器以及摄像头对目标物体进行图像采集，得到自然图像以及带投影图像之后还包括：

将所述自然图像和投影图像高分辨率处理得到高分辨率的自然图像和高分辨率的带投影图像。

优选地，所述提取所述自然图像中的目标区域ROI以及目标区域ROI的边界具体为：

对连续的所述自然图像进行快速目标运动跟踪，得到目标区域；

分割所述目标区域，并调整和扩展所述目标区域得到第一目标区域ROI；

根据所述摄像头内参对所述第一目标区域ROI校准，得到所述第二目标区域ROI以及所述第二目标区域ROI边界。

优选地，对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集具体为：

对所述第二目标目标区域ROI进行局部特征提取，得到所述第一目标区域ROI的局部特征；

查找是否存在与所述局部特征相匹配的历史帧，若不存在，则得到目标区域ROI局部特征集；若存在，则将计算当前帧所述局部特征到对应历史帧局部特征的运动向量；

根据所述当前帧的局部特征到对应历史帧局部特征的运动向量估计当前帧局部特征点的深度，得到所述第一目标区域ROI的稀疏深度图。

优选地，所述由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围具体为：

根据所述摄像头的内参和外参将若干目标区域ROI稀疏深度图转换成点云图，再将若干所述点云图进行融合，得到一个融合点云图；将所述融合点云图转换成对应的第一目标区域稀疏深度图；将所述第一目标区域稀疏深度图进行稠密处理得到第一目标区域稠密视差图；根据所述的第一目标区域稠密视差图得到稠密匹配时的视差范围；

或者，

根据所述摄像头的内参和外参将若干所述目标区域ROI局部特征进行双目匹配得到第二目标区域稀疏深度图，将所述第二目标区域稀疏深度图进行稠密处理得到第二目标区域稠密视差图；根据所述的第二目标区域稠密视差图得到稠密匹配时的视差范围。

优选地，所述根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图具体包括：

根据所述带投影图像、所述目标区域ROI边界得到第三目标区域；根据摄像头内参对第三目标区域ROI进行校准得到第四目标区域ROI；所述第四目标区域ROI为多个，且分别对应相应的摄像头；

将多个所述的第四目标区域ROI中的每个像素点在所述视差范围内进行匹配窗口搜索完成局部匹配；结合相邻局部匹配窗口对将所述第四目标区域ROI的全局进行优化处理，并对优化处理后的深度图进行去噪、填补空缺处理，得到所述目标ROI稠密深度图。

本申请第二方面提供一种用于双目视觉的3D重建系统，所述系统包括：

标定模块，所述标定模块用于对摄像头进行标定，得到摄像头的内参和外参；

图像采集模块，所述图像采集模块用于采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像；

目标区域提取模块，所述目标区域提取模块用于提取所述自然图像中的目标区域ROI以及目标区域ROI的边界；

稀疏重建模块，所述稀疏重建模块用于对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集；

视差范围获取模块，所述视差范围获取模块用于由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围；

稠密重建模块，所述稠密重建模块用于根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图。

优选地，所述系统还包括：高分辨率处理模块，所述高分辨率处理模块用于获取高分辨率的自然图像以及高分辨率的带投影图像。

本申请实施例中，提供了一种用于双目视觉的3D重建方法，包括：对摄像头进行标定，得到摄像头的内参和外参；采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像；提取所述自然图像中的目标区域ROI以及目标区域ROI的边界；对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集；由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围；根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图。

从以上技术方案可以看出，本申请实施例具有以下优点：本申请通过采用对稠密目标区域ROI进行匹配的方法实现3D重建，一方面避免了对整体图像进行匹配的匹配像素点数量大，匹配速度慢的问题，另一方面，也避免采用稀疏匹配时匹配不够准确的问题。

附图说明

图1为本申请一种用于双目视觉的3D重建方法的一个实施例的方法流程图；

图2为本申请一种用于双目视觉的3D重建方法的另一个实施例的方法流程图；

图3为本申请一种用于双目视觉的3D重建方法中的对自然图像提取目标区域ROI以及对目标区域ROI进行稀疏重建的一个实施例的流程图；

图4为本申请一种用于双目视觉的3D重建方法中的获取视差范围以及对目标区域ROI进行稠密重建的一个实施例的流程图；

图5为本申请一种用于双目视觉的3D重建系统的一个实施例的系统框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了便于应理解，请参阅图1，图1为本申请实施例一种用于双目视觉的3D重建方法的一个实施例的方法流程图，如图1所示，图1中包括：

101、对摄像头进行标定，得到摄像头的内参和外参。

需要说明的是，摄像头内参也包括投影矩阵和畸变，所述的投影矩阵表示从三维坐标到二维坐标的投影关系，畸变为像素点偏离其理想位置点位误差；摄像头的外参是摄像头的内部坐标与世界坐标系之间的相对位置关系。摄像头标定通常是一次性完成或间隔一段时间偶尔进行一次，不需要每次使用系统都进行标定。

102、采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像。

需要说明的是，所述的自然图像是在打开摄像头关闭投影器的时候采集得到的，所述的带投影图像是在同时打开投影器和摄像头的时候采集得到的。

103、提取所述自然图像中的目标区域ROI以及目标区域ROI的边界。

需要说明的是，这里需要对连续的自然图像采集，从而得到需要提取的目标区域，以便于实现只针对目标区域进行匹配。

104、对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集。

需要说明的是，提取完目标区域ROI还需要通过摄像头内参进行校准从而调整相应的像素点使其达到理想位置。并且可以通过查找历史图像中是否存在相匹配的目标区域来提取目标区域，若不存在，则只能获得目标区域局部特征集。

105、由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围。

需要说明的是，为了更好地匹配相应的像素点，可以利用目标区域稠密视差图的视差范围来对匹配时的像素点视差范围进行限定。

106、根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图。

本申请通过采用对稠密目标区域ROI进行匹配的方法实现3D重建，一方面避免了对整体图像进行匹配的匹配像素点数量大，匹配速度慢的问题，另一方面，也避免采用稀疏匹配时匹配不够准确的问题。

为了便于理解，请参阅图2，图2为本申请实施例一种用于双目视觉的3D重建方法的一个实施例的方法流程图，如图2所示，图2中包括：

201、对摄像头进行标定，得到摄像头的内参和外参。

需要说明的是，摄像头内参也包括投影矩阵和畸变，所述的投影矩阵表示从三维坐标到二维坐标的投影关系，畸变为像素点偏离其理想位置点位误差；摄像头的外参是摄像头的内部坐标与世界坐标系之间的相对位置关系。摄像头标定通常是一次性完成或间隔一段时间偶尔进行一次，不需要每次使用系统都进行标定。

202、采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像。

需要说明的是，所述的自然图像是在打开摄像头关闭投影器的时候采集得到的，所述的带投影图像是在同时打开投影器和摄像头的时候采集得到的。

在一种实施例中，所述采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像具体为：采用复合投影器以及若干摄像头对目标物体进行图像采集，得到自然图像以及带投影图像。

需要说明的是，投影器的图案本身对重建有非常大的影响。特别是基于衍射光学元件(DOE)的投影器，在其他参数相当的情况下，图案点数越多稠密重建的效果越好。但是，由于DOE制作工艺非常复杂，用一个投影器产生特别高的点数难度大，导致成本高。很多时候使用复合投影器成本反而更低。所谓的复合投影器就是使用两个或多个低成本点数较少的投影器组合成一个大的投影器。在使用复合投影器的情况下，如果摄像头分辨率不够高，为了避免两个投影器产生的点重叠造成局部点阵图案难以分辨的问题，可以采用双帧采集法或三帧采集法，并通过图像处理得到高分辨率的自然图像和带投影图像。

在一种实施例中，所述采用复合投影器以及若干摄像头对目标物体进行图像采集，得到自然图像以及带投影图像包括：

当复合投影器为两个时，单帧采集法为：打开第一投影器和第二投影器，打开摄像头采集第一投影图像。

双帧采集法为：打开第一投影器，关闭第二投影器，打开摄像头采集图像得到第二带投影图像；打开第二投影器，关闭第一投影器，打开摄像头采集图像得到第三带投影图像。

三帧采集法为：关闭第一投影器和第二投影器，打开摄像头采集图像得到自然图像；打开第一投影器，关闭第二投影器，打开摄像头采集图像得到第四带投影图像；打开第二投影器，关闭第一投影器，打开摄像头采集图像得到第五带投影图像。

203、将所述自然图像和投影图像高分辨率处理得到高分辨率的自然图像和高分辨率的带投影图像。

需要说明的是，将所述自然图像和投影图像高分辨率处理得到高分辨率的自然图像和高分辨率的带投影图像具体包括：对所述带投影图像进行局部阈值点阵分割，将所述带投影图像分割成投影点阵和背景图；计算所述投影点阵的重心，并根据所述投影点阵的重心将所述投影点阵稀疏化处理，得到第一稀疏化后的点阵图；对所述背景图进行填补和修复；将填补修复后的背景图超分辨率处理，即将背景图放大处理后对放大后的背景图进行插值处理，得到高分辨率的自然图像；对若干所述稀疏化后的点阵图进行点阵融合得到第二稀疏化后的点阵图；对若干所述高分辨率的自然图像进行自然图像融合得到融合高分辨率的自然图像；将所述第二稀疏化后的点阵图与融合高分辨率的自然图像进行融合处理，得到高分辨率的带投影图像。

其中，局部阈值分割是一种常见的图像分割方式，即对图像中每一个局部区域(窗口)，用一个特定的阈值对器进分割，这个阈值通常是基于这个局部区域的像素值计算的，比如可以用常见的Otsu算法，或是简单的区域平均值，或是区域最大值的一个百分比，等等。在这里这个分割的目的是把投影点阵和背景分离开。

点阵重心计算为就是几何形状的标准的重心定义，可以按标准重心公式计算。

所述对点阵稀疏化处理可以是：背景图超分辨按N倍进行(即图像放大了N倍)，点阵图的每个点的重心也扩大N倍，即从(x,y)变成(N*x,N*y),但是点本身的形状和大小保持不变。

对所述背景图进行填补和修复为：点阵分割后，背景图有很多“孔”(点阵图的每一个点在背景图总对应一个“孔”)，这些“孔”可以用常用的图像填补方法补上，比如基于偏微分方程的方法。

将图像进行融合的方法可以用常见的方法如alpha matting，为简单起见可以设置alpha＝0.5,这样融合后的图像本质上是两幅融合前的图像的平均。

204、提取所述自然图像中的目标区域ROI以及目标区域ROI的边界。

在一种实施例中，所述提取所述自然图像中的目标区域ROI以及目标区域ROI的边界具体为：对连续的所述自然图像进行快速目标运动跟踪，得到目标区域；分割所述目标区域，并调整和扩展所述目标区域得到第一目标区域ROI；根据所述摄像头内参对所述第一目标区域ROI校准，得到所述第二目标区域ROI以及所述第二目标区域ROI边界。

需要说明的是，对连续的所述自然图像进行快速目标运动跟踪，可以是运动目标也可以是静态目标，因此需要先判断是静态目标还是动态目标，在对目标进行分割确定目标区域ROI，然后对分割得到的目标进行调整优化获取的目标区域，并且需要根据摄像头的内参对获取的目标区域进行校准得到最优的目标区域ROI以及其对应的目标区域ROI边界。

205、对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集。

需要说明的是，提取完目标区域ROI还需要通过摄像头内参进行校准从而调整相应的像素点使其达到理想位置。并且可以根据查找历史图像中是否存在相匹配的目标区域来提取目标区域，若不存在，则只能获得目标区域局部特征集。

在一种实施例中，对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集具体为：对所述第二目标目标区域ROI进行局部特征提取，得到所述第一目标区域ROI的局部特征；查找是否存在与所述局部特征相匹配的历史帧，若不存在，则得到目标区域ROI局部特征集；若存在，则将计算当前帧所述局部特征到对应历史帧局部特征的运动向量；根据所述当前帧的局部特征到对应历史帧局部特征的运动向量估计当前帧局部特征点的深度，得到所述第一目标区域ROI的稀疏深度图。

206、由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围。

在一种实施例中，所述由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围具体为：根据所述摄像头的内参和外参将若干目标区域ROI稀疏深度图转换成点云图，再将若干所述点云图进行融合，得到一个融合点云图；将所述融合点云图转换成对应的第一目标区域稀疏深度图；将所述第一目标区域稀疏深度图进行稠密处理得到第一目标区域稠密视差图；根据所述的第一目标区域稠密视差图得到稠密匹配时的视差范围；或者，根据所述摄像头的内参和外参将若干所述目标区域ROI局部特征进行双目匹配得到第二目标区域稀疏深度图，将所述第二目标区域稀疏深度图进行稠密处理得到第二目标区域稠密视差图；根据所述的第二目标区域稠密视差图得到稠密匹配时的视差范围。

需要说明的是，所述点云图融合具体为：根据摄像头内参和外参，把多个摄像头已经得到的稀疏深度图转换为对应的点云图，并把多个摄像头的点云图结合为一个点云图。

所述稠密处理可以采用对稀疏深度图进行插值的方法，例如采用基于双边滤波或样条函数的插值方法，使得稀疏深度图变成稠密深度图。

根据所述的第一目标区域稠密视差图得到稠密匹配时的视差范围具体为：当目标区域稠密深度图初始化后，每个像素点(x,y)有一个具体的深度初始值Z(x,y)。可以认为局部稠密匹配时点(x,y)的深度应该在初始值Z(x,y)附件的一个范围内，例如Z(x,y)+/-3*Sigma(x,y),其中Sigma(x,y)为像素(x,y)处深度不确定性指标，这个不确定性指标可以为预先设定的一个固定值，也可以根据中间结果确定为不同值，例如Sigma(x,y)＝0.05*Z(x,y)；对应的视差范围D(x,y)＝B*f/Z(x,y),B为双目摄像头的基线，f为摄像头焦距，这个视差范围可以作为稠密局部匹配时的限定条件。

根据所述摄像头的内参和外参将若干所述目标区域ROI局部特征进行双目匹配得到第二目标区域稀疏深度图具体为：利用两个摄像托已经得到的目标区域ROI局部特征进行双目匹配，从而得到目标区域的稀疏深度图。

207、根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图。

在具体的实施例中，首先由多个摄像头采集的带投影图像以及204中得到的目标区域ROI边界分别得到每个摄像头对应的目标区域ROI，通过摄像头内参对多个对应的目标区域ROI进行校准，并将校准后的若干目标区域ROI在206中得到的目标范围内进行局部匹配，所述的局部匹配即针对每个像素点的视差范围，可以只在这个视差范围内进行匹配窗口搜索，这样做可以进一步减少匹配时间，同时也减少局部匹配到错误窗口的概率，从而使双目匹配结果更准确；再局部匹配完成后，可以进行全局的优化，即结合相邻局部匹配窗口的信息进行进一步优化，比如进行类似于常见的SGM双目匹配算法中的多方向代价聚合；全局优化完成后，可以对全局优化后的双目稠密深度图进行计算和后处理，即对全局优化后的视差图D(x,y)转换成深度图Z(x,y)，其转换公式为：Z(x,y)＝B*f/D(x,y)，之后可以对转换后的深度图进行进一步去噪、填补空缺等等，从而得到最优化的目标ROI稠密深度图。

在一种具体的实施例中，如图3和图4所示，当摄像头和投影器都是两个的时候，其用于双目视觉的重建方法为：

对摄像头进行标定，得到摄像头的内参和外参；采用双帧采集法或者三帧采集法对双摄像头分别采集自然图像和带投影图像；对双摄像头对应的带投影图像进行高分辨率处理，得到对应的高分辨率自然图像和高分辨率带投影图像。

将双摄像头对应的高分辨率既然图像进行目标区域ROI提取，即对连续的高分辨率自然图像进行快速目标运动跟踪，可以是运动目标也可能是静态目标，因此需要先判断是静态目标还是动态目标，在对目标进行分割确定目标区域ROI，然后对分割得到的目标进行调整优化获取的目标区域，并且需要根据摄像头的内参对获取的目标区域进行校准得到最优的目标区域ROI以及其对应的目标区域ROI边界。对目标区域ROI进行局部特征提取，得到目标区域ROI的局部特征；查找是否存在与所述局部特征相匹配的历史帧，若不存在，则得到目标区域ROI局部特征集；若存在，则将计算当前帧所述局部特征到对应历史帧局部特征的运动向量；根据所述当前帧的局部特征到对应历史帧局部特征的运动向量估计当前帧局部特征点的深度，得到目标区域ROI的稀疏深度图。

根据摄像头的内参和外参将双目摄像头目标区域ROI稀疏深度图转换成点云图，再将对应的点云图进行融合，得到一个融合点云图；将所述融合点云图进行更新，即转换成对应的目标区域稀疏深度图；将所述第一目标区域稀疏深度图进行初始化，即进行稠密处理得到目标区域稠密视差图；根据目标区域稠密视差图得到稠密匹配时的视差范围；或者，根据双目摄像头对应的的内参和外参将双目摄像头对应的目标区域ROI局部特征进行双目匹配得到第二目标区域稀疏深度图，将所述第二目标区域稀疏深度图进行初始化，即进行稠密处理得到第二目标区域稠密视差图；根据所述的第二目标区域稠密视差图得到稠密匹配时的视差范围。

首先由双目摄像头采集的带投影图像以及对应的目标ROI提取中得到的目标区域ROI边界分别得到每个摄像头对应的目标区域ROI，通过摄像头内参对双目摄像头对应的目标区域ROI进行校准，并将校准后的两个目标区域ROI在上述得到的目标范围内进行局部匹配，所述的局部匹配即针对每个像素点的视差范围，可以只在这个视差范围内进行匹配窗口搜索，这样做可以进一步减少匹配时间，同时也减少局部匹配到错误窗口的概率，从而使双目匹配结果更准确；再局部匹配完成后，可以进行双目稠密匹配全局优化，即结合相邻局部匹配窗口的信息进行进一步优化，比如进行类似于常见的SGM双目匹配算法中的多方向代价聚合；全局优化完成后，可以对全局优化后的双目稠密深度图进行计算和后处理，即对全局优化后的视差图D(x,y)转换成深度图Z(x,y)，其转换公式为：Z(x,y)＝B*f/D(x,y)，之后可以对转换后的深度图进行进一步去噪、填补空缺等等，从而得到最优化的目标ROI稠密深度图。

为了便于理解，请参阅图5，图5为本申请实施例一种用于双目视觉的3D重建系统的一个实施例的系统框图，如图5所示，图5中包括：

标定模块501，用于对摄像头进行标定，得到摄像头的内参和外参；

图像采集模块502，用于采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像；

目标区域提取模块503，用于提取所述自然图像中的目标区域ROI以及目标区域ROI的边界；

稀疏重建模块504，用于对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集；

视差范围获取模块505，用于由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围；

稠密重建模块506，用于根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图。

本申请通过采用对稠密目标区域ROI进行匹配的方法实现3D重建，一方面避免了对整体图像进行匹配的匹配像素点数量大，匹配速度慢的问题，另一方面，也避免采用稀疏匹配时匹配不够准确的问题。

为了便于理解，本申请提供了一种用于双目视觉的3D重建系统的另一个实施例包括：

标定模块，用于对摄像头进行标定，得到摄像头的内参和外参。

图像采集模块，用于采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像。

高分辨率处理模块，用于获取高分辨率的自然图像以及高分辨率的带投影图像。

目标区域提取模块，用于提取所述自然图像中的目标区域ROI以及目标区域ROI的边界。

稀疏重建模块，用于对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集。

视差范围获取模块，用于由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围。

稠密重建模块，用于根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种用于双目视觉的3D重建方法，其特征在于，包括：

对摄像头进行标定，得到摄像头的内参和外参；

采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像；

提取所述自然图像中的目标区域ROI以及目标区域ROI的边界；

对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集；

由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围；

根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图；

所述提取所述自然图像中的目标区域ROI以及目标区域ROI的边界具体为：

对连续的所述自然图像进行快速目标运动跟踪，得到目标区域；

分割所述目标区域，并调整和扩展所述目标区域得到第一目标区域ROI；

根据所述摄像头内参对所述第一目标区域ROI校准，得到第二目标区域ROI以及第二目标区域ROI边界；

所述对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集具体为：

对所述第二目标区域ROI进行局部特征提取，得到所述第二目标区域ROI的局部特征；

查找是否存在与所述局部特征相匹配的历史帧，若不存在，则得到目标区域ROI局部特征集；若存在，则将计算当前帧所述局部特征到对应历史帧局部特征的运动向量；

根据所述当前帧的局部特征到对应历史帧局部特征的运动向量估计当前帧局部特征点的深度，得到所述第二目标区域ROI的稀疏深度图；

所述由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围具体为：

根据所述摄像头的内参和外参将若干目标区域ROI稀疏深度图转换成点云图，再将若干所述点云图进行融合，得到一个融合点云图；将所述融合点云图转换成对应的第一目标区域稀疏深度图；将所述第一目标区域稀疏深度图进行稠密处理得到第一目标区域稠密视差图；根据所述的第一目标区域稠密视差图得到稠密匹配时的视差范围；

或者，

根据所述摄像头的内参和外参将若干所述目标区域ROI局部特征进行双目匹配得到第二目标区域稀疏深度图，将所述第二目标区域稀疏深度图进行稠密处理得到第二目标区域稠密视差图；根据所述的第二目标区域稠密视差图得到稠密匹配时的视差范围。

2.根据权利要求1所述的一种用于双目视觉的3D重建方法，其特征在于，所述采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像具体为：

采用复合投影器以及若干摄像头对目标物体进行图像采集，得到自然图像以及带投影图像。

3.根据权利要求2所述的一种用于双目视觉的3D重建方法，其特征在于，所述采用复合投影器以及若干摄像头对目标物体进行图像采集，得到自然图像以及带投影图像具体为：

所述复合投影器为两个；

打开第一投影器和第二投影器，打开摄像头采集第一带投影图像；

或者，

打开第一投影器，关闭第二投影器，打开摄像头采集图像得到第二带投影图像；打开第二投影器，关闭第一投影器，打开摄像头采集图像得到第三带投影图像；

或者，

关闭第一投影器和第二投影器，打开摄像头采集图像得到自然图像；打开第一投影器，关闭第二投影器，打开摄像头采集图像得到第四带投影图像；打开第二投影器，关闭第一投影器，打开摄像头采集图像得到第五带投影图像。

4.根据权利要求1所述的一种用于双目视觉的3D重建方法，其特征在于，所述采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像之后还包括：

将所述自然图像和所述带投影图像高分辨率处理得到高分辨率的自然图像和高分辨率的带投影图像。

5.根据权利要求1所述的一种用于双目视觉的3D重建方法，其特征在于，所述根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图具体包括：

根据所述带投影图像、所述目标区域ROI的边界得到第三目标区域；根据摄像头内参对第三目标区域ROI进行校准得到第四目标区域ROI；所述第四目标区域ROI为多个，且分别对应相应的摄像头；

将多个所述的第四目标区域ROI中的每个像素点在所述视差范围内进行匹配窗口搜索完成局部匹配；结合相邻局部匹配窗口对所述第四目标区域ROI的全局进行优化处理，并对优化处理后的深度图进行去噪、填补空缺处理，得到所述目标ROI稠密深度图。

6.一种用于双目视觉的3D重建系统，其特征在于，包括：

标定模块，所述标定模块用于对摄像头进行标定，得到摄像头的内参和外参；

图像采集模块，所述图像采集模块用于采用投影器以及所述摄像头对目标物体进行图像采集，得到自然图像以及带投影图像；

目标区域提取模块，所述目标区域提取模块用于提取所述自然图像中的目标区域ROI以及目标区域ROI的边界；

稀疏重建模块，所述稀疏重建模块用于对所述目标区域ROI进行粗略稀疏重建，得到目标区域ROI的稀疏深度图或者目标区域局部特征集；

视差范围获取模块，所述视差范围获取模块用于由所述目标区域ROI的稀疏深度图或者目标区域局部特征集得到目标区域稠密视差图的视差范围；

稠密重建模块，所述稠密重建模块用于根据所述视差范围对带投影图像进行匹配得到目标ROI稠密深度图；

所述目标区域提取模块具体用于：

对连续的所述自然图像进行快速目标运动跟踪，得到目标区域；

分割所述目标区域，并调整和扩展所述目标区域得到第一目标区域ROI；

根据所述摄像头内参对所述第一目标区域ROI校准，得到第二目标区域ROI以及第二目标区域ROI边界；

所述稀疏重建模块具体用于：

对所述第二目标区域ROI进行局部特征提取，得到所述第二目标区域ROI的局部特征；

查找是否存在与所述局部特征相匹配的历史帧，若不存在，则得到目标区域ROI局部特征集；若存在，则将计算当前帧所述局部特征到对应历史帧局部特征的运动向量；

根据所述当前帧的局部特征到对应历史帧局部特征的运动向量估计当前帧局部特征点的深度，得到所述第二目标区域ROI的稀疏深度图；

所述视差范围获取模块具体用于：

根据所述摄像头的内参和外参将若干目标区域ROI稀疏深度图转换成点云图，再将若干所述点云图进行融合，得到一个融合点云图；将所述融合点云图转换成对应的第一目标区域稀疏深度图；将所述第一目标区域稀疏深度图进行稠密处理得到第一目标区域稠密视差图；根据所述的第一目标区域稠密视差图得到稠密匹配时的视差范围；

或者，

根据所述摄像头的内参和外参将若干所述目标区域ROI局部特征进行双目匹配得到第二目标区域稀疏深度图，将所述第二目标区域稀疏深度图进行稠密处理得到第二目标区域稠密视差图；根据所述的第二目标区域稠密视差图得到稠密匹配时的视差范围。

7.根据权利要求6所述的一种用于双目视觉的3D重建系统，其特征在于，还包括：

高分辨率处理模块，所述高分辨率处理模块用于获取高分辨率的自然图像以及高分辨率的带投影图像。