CN106920276B - 一种三维重建方法和系统 - Google Patents

Abstract

本发明公开了一种三维重建方法和系统，其中方法的实现包括：基于校正后的左、右视角图像提取左、右特征点的特征向量，通过计算左、右特征点特征向量之间的空间距离寻找左、右支撑点，基于左支撑点对左视角图像进行三角剖分得到多个左三角形，在左三角形内取左估测点，右估测点由左估测点在右视角图像对应行遍历得到，基于左估测点的视差先验信息和左、右估测点之间的似然概率分布建立联合概率分布，使用最大后验概率估计左、右估测点之间的视差，得到视差图；基于视差图使用三角测量恢复目标景深信息，得到三维点云。这种方法可以快速、精确的找到视差图，上述方法得到的点云可用于厚度测量和距离测量，实现了自动化测量。

Description

一种三维重建方法和系统

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种三维重建方法和系统。

背景技术

三维重建综合了图像处理，立体视觉，多视几何以及计算机图形学等多个领域的技术，是计算机视觉方向的重要研究方向。在一些难以做到人为实时监控的场景下，例如在安防视频监控领域，相比于传统的二维图像，三维的场景能够提供更加丰富和精确的信息，有助于识别可疑遗留物和非法闯入目标等。随着技术的发展，3D增强现实和虚拟现实技术也被用于视频监控领域。在气象灾害监控领域，三维重建技术可用于监控覆冰和积雪的厚度和体积，从而为灾害应急响应提供参考。三维重建技术也被用于对实时性和精确度要求较高的移动机器人导航，无人驾驶汽车和无人机领域，此外，三维重建技术在文物修复和人脸识别领域也有应用。

以上场景中应用三维技术的重要前提都是获取场景的实时三维信息，因此研究更快更精确的三维重建系统对于具体的应用是非常有意义的。目前，围绕相机数量的不同，三维重建技术可以分为单目重建，双目重建以及多目重建。

在工业和科研领域，获取目标三维信息并进行空间三维测量是一个重要命题。传统的测量技术可分为接触式测量和非接触式测量两类，其中非接触式测量又可分为光学主动/被动测量以及非光学方法。三维测量技术的重要手段就是对目标物进行三维重建，该技术作为非接触式光学被动测量方法已经广泛应用于遥感测量，生物医学测量，精密复杂零件的外形检测等传统测量方法无法适应或者不能取得满意的测量效果。

发明内容

针对以上需求和现有技术，本发明提供了一种三维重建方法和系统，能够实现对目标表面的三维实时(百万像素每秒)重建，并在重建的基础上实现距离测量与厚度测量。

为实现上述目的，按照本发明的一个方面，提供了一种三维重建方法，包括以下步骤：

(1)图像采集与校正：用双目相机拍摄目标，获取左、右视角图像，校正左、右视角图像，使得左、右视角图像行对齐；

(2)提取特征向量：对校正后的左、右视角图像提取左、右特征点的左、右特征向量，所述特征向量包括SIFT特征向量以及Sobel与颜色的组合特征向量；

(3)寻找支撑点：通过计算左、右特征向量之间的空间距离寻找左、右支撑点集合S；

(4)进行三角剖分：基于左支撑点对左视角图像进行三角剖分得到多个左三角形；

(5)建立先验分布：在左三角形内取左估测点o_n ^(l)，建立视差d_n的先验分布p(d_n|S，o_n ^(l))；

(6)建立似然概率分布：右估测点o_n ^(r)由左估测点在右视角图像对应行遍历得到，建立左、右估测点之间的似然概率分布p(o_n ^(r)|o_n ^(l)，d_n)；

(7)建立联合概率分布：基于视差先验分布和似然概率分布建立联合概率分布p(d_n|o_n ^(l)，o_n ^(r)，S)∝p(d_n|S，o_n ^(l))p(o_n ^(r)|o_n ^(l)，d_n)，对联合概率分布使用最大后验概率估计视差，得到视差图；

(8)求解点云：对视差图使用三角测量恢复目标景深信息，得到三维点云。

进一步的，所述步骤(5)的具体实现方式为：

(5-1)基于左支撑点对左视角图像进行三角剖分，得到左三角形的顶点为：(u_i，v_i)，(u_j，v_j)，(u_k，v_k)，得到左三角形顶点的视差为：d_i，d_j，d_k，则有以下方程组：解方程组可得左三角形的平面参数(a^(l)，b^(l)，c^(l))；

(5-2)在给定左、右支撑点集合S和左三角形内左估测点o_n ^(l)＝(u_n ^(l)，v_n ^(l))^T时，对左三角形内左估测点视差的先验估计为：u(S，o_n ^(l))＝a^(l)u_n ^(l)+b^(l)v_n ^(l)+c^(l)，令u^(l)＝u(S，o_n ^(l))，建立先验分布：

其中γ表示均匀分布的值，其中d_n表示一系列估测点的视差估计值，从中取最大后验概率的d_n作为最终视差，σ是常数。

进一步的，所述步骤(6)的具体实现方式为：

使用组合特征向量计算左、右估测点之间的相似性，建立左、右估测点之间的似然概率分布：

其中，o_n ^(r)表示右估测点，o_n ^(r)＝(u_n ^(r)，v_n ^(r))^T；f_n ^(l)表示左估测点的组合特征向量，f_n ^(r)表示右估测点的组合特征向量，β是常数。

进一步的，所述步骤(7)的具体实现方式为：

用最大后验概率算法求解左、右估测点视差：建立联合概率分布模型表示如下：

p(d_n|o_n ^(l)，o_n ^(r)，S)∝p(d_n|S，o_n ^(l))p(o_n ^(r)|o_n ^(l)，d_n)

使用最大后验概率方法计算左、右估测点视差，得到视差图。

进一步的，所述左特征点的组合特征向量为：

desc(u_l，v_l)＝[desc_sobel(u_l，v_l)^T，color_factor*desc_color(u_l，v_l)^T]₃₂×1，

右特征点的组合特征向量为：

desc(u_r，v_r)＝[desc_sobel(u_r，v_r)^T，color_factor*desc_color(u_r，v_r)^T]_32×1，其中，color_factor表示颜色信息的权重，desc_sobel(u_l，v_l)和desc_sobel(u_r，v_r)分别表示左、右特征点的Sobel特征向量，desc_color(u_l，v_l)和desc_color(u_r，v_r)分别表示左、右特征点的颜色向量。

按照本发明的另一方面，提供了一种三维重建系统，包括：

图像采集与校正模块，用于获取左、右视角图像，校正左、右视角图像，使得左、右视角图像行对齐；

建立特征向量模块，用于对校正后的左、右视角图像建立左、右特征点的左、右特征向量，所述特征向量包括SIFT特征向量以及Sobel与颜色的组合特征向量；

寻找支撑点模块，用于通过计算左、右特征向量之间的空间距离寻找左、右支撑点集合S；

三角剖分模块，用于对左视角图像进行三角剖分得到多个左三角形；

先验分布模块，用于在左三角形内取左估测点o_n ^(l)，建立视差d_n的先验分布p(d_n|S，o_n ^(l))；

似然概率分布模块，用于建立左、右估测点之间的似然概率分布p(o_n ^(r)|o_n ^(l)，d_n)，右估测点o_n ^(r)由左估测点在右视角图像对应行遍历得到；

联合概率分布模块，用于对视差先验分布和似然概率分布建立联合概率分布p(d_n|o_n ^(l)，o_n ^(r)，S)∝p(d_n|S，o_n ^(l))p(o_n ^(r)|o_n(^l)，d_n)，基于联合概率分布使用最大后验概率估计左、右估测点之间的视差，得到视差图；

点云模块，用于对视差图使用三角测量恢复目标景深信息，得到三维点云。

相对于其他重建方法，使用本发明能够得到包含深度信息的三维场景，有助于实现自动化测量与监控，具体而言，具有以下优点：

1、利用Sobel和颜色组合成的组合特征向量，其中Sobel利用边缘信息，颜色利用颜色信息，提高了立体匹配算法的效率和准确性；

2、基于视差先验分布和似然概率分布建立联合概率分布，使用最大后验概率方法估计视差，得到视差图；对视差图使用三角测量的原理恢复目标景深信息，得到三维点云，基于三维点云进行厚度测量和距离测量，本发明能够对目标表面进行三维实时重建得到三维点云模型，并在此基础上实现了多维度非接触式测量。

附图说明

图1是一种三维重建方法流程图；

图2是双目相机拍摄的左、右视角图像；

图3是图像校正后行对齐的左、右视角图像；

图4是三角剖分示意图；

图5是测量装置的硬件结构示意图；

图6是厚度测量示意图；

图7是距离测量示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所向量的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所向量的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供了一种三维重建方法，包括以下步骤：

(1)相机标定：由于相机参数未知，需要对相机进行标定。相机参数的标定总是对应于某种几何成像模型，根据使用的相机本发明选择了透视投影模型(小孔相机模型)。多相机标定需要计算相机内参，并计算各个相机之间的旋转和平移关系。当进行多相机标定时，只要多个相机能同一时刻获取同一个标定板的图像，则各个相机之间的相对姿态关系可以通过外参推算出来，所以多个相机之间的初始化姿态可以通过这种方式求得，再使用一次光束平差法来最小化重投影误差，以此来优化最终的姿态关系。将双目相机对准标定板抓取图像，调整标定板位置再次抓取图像，重复此步骤10到20次，得到的图片作为输入，输出双目相机的内参和外参。

(2)图像采集与校正：如图2所示，用双目相机拍摄目标物，获取左、右视角图像，利用步骤(1)中的内参和外参校正左、右视角图像，使得左、右视角图像行对齐，以便将2维的图像匹配搜索变为1维的搜索，如图3所示。

(3)立体匹配方法：基于校正后左、右视角图像寻找的左、右支撑点，对左支撑点进行三角剖分，使用最大后验概率方法估计三角形区域内估测点视差，得到视差图，包括以下子步骤：

(3-1)建立特征向量：基于步骤(2)校正后的左、右视角图像建立左、右特征点的组合特征向量和SIFT特征向量；

计算Sobel特征向量：取3×3的Sobel算子在水平和垂直方向上做卷积得到图像的Sobel滤波结果，在特征点周围选取16个点的Sobel滤波结果作为Sobel向量，16个点的位置如下表：

表格分水平和垂直方向两部分，每部分都代表特征点周围5×5的区域，单元格中为1的位置表示此处Sobel滤波结果被纳入最终的Sobel向量中，最终特征点(u，v)处的Sobel向量如下：

其中I_x和I_y分别表示Sobel滤波后水平和垂直方向的结果。

计算颜色向量：取特征点上下左右以及自身共五个点的rgb值，外加特征点本身的灰度值组成16维的颜色特征向量，取特征点周围点的rgb信息作为颜色特征的组成，颜色特征向量可表述如下：

其中I_r，I_g，I_b是图像RGB通道的值，I_gray是图像灰度通道的值。

左特征点的组合特征向量为：

desc(u_l，v_l)＝[desc_sobel(u_l，v_l)^T，color_factor*desc_color(u_l，v_l)^T]_32×1，

右特征点的组合特征向量为：

desc(u_r，v_r)＝[desc_sobel(u_r，v_r)^T，color_factor*desc_color(u_r，v_r)^T]_32×1，其中，color_factor表示颜色信息的权重，desc_sobel(u_l，v_l)和desc_sobel(u_r，v_r)分别表示左、右特征点的Sobel特征向量，desc_color(u_l，v_l)和desc_color(u_r，v_r)分别表示左、右特征点的颜色向量。

计算SIFT特征向量：为了提高实时性我们采用GPU计算SIFT，包括步骤：尺度空间极值检测；关键点位置精确定位；主方向分配；点SIFT特征向量符生成。

(3-2)寻找支撑点：支撑点代表左右左、右视角图像中强匹配的点对，是后续三角剖分的基础，本发明采用空间距离来衡量两点之间是否匹配，小于某个预设值则表示匹配为支撑点，具体实现方式为：计算左、右特征点的第一特征向量之间的空间距离，计算左、右特征点的SIFT特征向量之间的空间距离，空间距离小于预设值，则表示左、右特征点匹配度高，为左、右支撑点，建立左、右支撑点集合；

(3-3)进行三角剖分：基于左支撑点对左视角图像进行三角剖分，如图4所示，采用了成熟的Delaunay三角剖分将图像分割成一个一个的三角形；三角剖分的定义是假设V是二维实数域上的有限点集，边e是由点集中的点作为端点构成的封闭线段，E为e的集合。那么该点集V的一个三角剖分T＝(V，E)是一个平面图G，该平面图满足条件：1.除了端点，平面图中的边不包含点集中的任何点；2.没有相交边；3.平面图中所有的面都是三角面，且所有三角面的合集是散点集V的凸包。Delaunay三角剖分的定义是如果点集V的一个三角剖分T只包含Delaunay边，那么该三角剖分称为Delaunay三角剖分。

(3-4)建立先验分布：左三角形的顶点为：(u_i，v_i)，(u_j，v_j)，(u_k，v_k)，得到左三角形顶点的视差为：d_i，d_j，d_k，则有以下方程组：解方程组可得左三角形的平面参数(a^(l)，b^(l)，c^(l))；在给定左、右支撑点集合S和左三角形内估测点o_n ^(l)＝(u_n ^(l)，v_n ^(l))^T时，对左三角形内估测点视差的先验估计为：u(S，o_n ^(l))＝a^(l)u_n ^(l)+b^(l)v_n ^(l)+c^(l)，令u^(l)＝u(S，o_n ^(l))，先验分布：

其中γ表示均匀分布的值，其中d_n表示一系列估测点的视差估计值，从中取最大后验概率的d_n作为最终视差，σ是常数；

(3-5)建立似然概率分布：右估测点由左估测点在右视角图像对应行遍历得到，使用Laplace分布建立左、右估测点之间的似然概率分布：

其中，o_n ^(r)表示右估测点，右估测点是基于左三角形内估测点o_n ^(l)，在右视角图像对应行遍历得到的所有可能的点，o_n ^(r)＝(u_n ^(r)，v_n ^(r))^T；f_n ^(l)表示左估测点的组合征向量，f_n ^(r)表示右估测点的组合特征向量，β是常数；

(3-6)建立联合概率分布：用最大后验概率算法求解估测点视差：建立联合概率分布模型表示如下：

p(d_n|o_n ^(l)，o_n ^(r)，S)∝p(d_n|S，o_n ^(l))p(o_n ^(r)|o_n ^(l)，d_n)

使用最大后验概率方法计算估测点视差，得到视差图。

(4)求解点云：基于视差图使用三角测量的原理恢复目标景深信息，得到三维点云，基于点云进行厚度测量和距离测量，包括：

测量装置：测量装置的硬件结构如图5所示，六台相机和四台计算机组成，相机两两一组为一组双目相机，三台负责大量计算任务的计算机各自连接一组双目相机，另一台作为显示用，每组双目相机安装在可调节水平和垂直位置以及旋转角度的平台上，三组双目相机安放在圆周三等分(各自夹角120°)位置上，以确保全面的观察目标。计算端用于实时获取双目相机图像，进行双目立体视觉的计算，求解当前双目相机视点下的三维点云，压缩并将计算结果发送至显示端。显示端用于对点云进行后续的处理以及测量部分，显示端作为客户端，计算端作为服务端建立TCP连接，发送点云和相关参数数据。

测量厚度：如图6所示，载入目标原始表面的点云，打开系统对有覆盖物(比如冰，雪等)的目标表面进行实时三维重建。进入厚度测量模式，在目标原始表面选择一个种子点，并设置半径，系统将根据这个半径内所有点的位置信息拟合出此区域的法线。在实时重建的新的目标点云中搜索距离法线最近的点，计算种子点和该点的距离作为厚度；

测量距离：如图7所示，进入测量模式，选择第一个点，单击处会有标记，接着再选择第二个点，系统会自动算出两点之间的距离。

按照本发明的另一方面，提供了一种三维重建系统，包括：

图像采集与校正模块：用于获取左、右视角图像，校正左、右视角图像，使得左、右视角图像行对齐；

建立特征向量模块：用于对校正后的左、右视角图像建立左、右特征点的左、右特征向量，所述特征向量包括Sobel向量与颜色向量的组合特征向量和SIFT特征向量；

寻找支撑点模块：用于通过计算左、右特征向量之间的空间距离寻找左、右支撑点；

三角剖分模块：用于对左视角图像进行三角剖分得到多个左三角形；

先验分布模块：用于在左三角形内取左估测点，建立左估测点的视差先验分布；

似然概率分布模块：用于建立左、右估测点之间的似然概率分布，右估测点由左估测点在右视角图像对应行遍历得到；

联合概率分布模块：用于对视差先验分布和似然概率分布建立联合概率分布，基于联合概率分布使用最大后验概率估计左、右估测点之间的视差，得到视差图；

点云模块：用于对视差图使用三角测量恢复目标景深信息，得到三维点云。

进一步的，所述先验分布模块包括以下子模块：

第一子模块，用于对左支撑点对左视角图像进行三角剖分，得到左三角形的顶点为：(u_i，v_i)，(u_j，v_j)，(u_k，v_k)，得到左三角形顶点的视差为：d_i，d_j，d_k，则有以下方程组：解方程组可得左三角形的平面参数(a^(l)，b^(l)，c^(l))；

第二子模块，用于在给定左、右支撑点集合S和左三角形内左估测点o_n ^(l)＝(u_n ^(l)，v_n ^(l))^T时，对左三角形内左估测点视差的先验估计为：u(S，o_n ^(l))＝a^(l)u_n ^(l)+b^(l)v_n ^(l)+c^(l)，令u^(l)＝u(S，o_n ^(l))，先验分布：

其中γ表示均匀分布的值，其中d_n表示一系列估测点的视差估计值，从中取最大后验概率的d_n作为最终视差，σ是常数。

进一步的，所述似然概率分布模块用于建立左、右估测点之间的似然概率分布：

其中，o_n ^(r)表示右估测点，o_n ^(r)＝(u_n ^(r)，v_n ^(r))^T；f_n ^(l)表示左估测点的组合特征向量，f_n ^(r)表示右估测点的组合特征向量，β是常数。

进一步的，所述联合概率分布模块用最大后验概率算法求解左、右估测点视差：建立联合概率分布模型表示如下：

p(d_n|o_n ^(l)，o_n ^(r)，S)∝p(d_n|S，o_n ^(l))p(o_n ^(r)|o_n ^(l)，d_n)

使用最大后验概率方法计算左、右估测点视差，得到视差图。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种三维重建方法，其特征在于，包括以下步骤：

(1)图像采集与校正：用双目相机拍摄目标，获取左、右视角图像，校正左、右视角图像，使得左、右视角图像行对齐；

(2)提取特征向量：对校正后的左、右视角图像提取左、右特征点的左、右特征向量，所述特征向量包括SIFT特征向量以及Sobel与颜色的组合特征向量；

(3)寻找支撑点：通过计算左、右特征向量之间的空间距离寻找左、右支撑点集合S；

(4)进行三角剖分：基于左支撑点对左视角图像进行三角剖分得到多个左三角形；

(5)建立先验分布：在左三角形内取左估测点o_n ^(l)，建立视差d_n的先验分布p(d_n|S，o_n ^(l))；

(6)建立似然概率分布：右估测点o_n ^(r)由左估测点在右视角图像对应行遍历得到，建立左、右估测点之间的似然概率分布p(o_n ^(r)|o_n ^(l)，d_n)；

(7)建立联合概率分布：基于视差先验分布和似然概率分布建立联合概率分布p(d_n|o_n ^(l)，o_n ^(r)，S)∝p(d_n|S，o_n ^(l))p(o_n ^(r)|o_n ^(l)，d_n)，对联合概率分布使用最大后验概率估计视差，得到视差图；

(8)求解点云：对视差图使用三角测量恢复目标景深信息，得到三维点云；

所述步骤(5)的具体实现方式为：

(5-1)基于左支撑点对左视角图像进行三角剖分，得到左三角形的顶点为：(u_i，v_i)，(u_j，v_j)，(u_k，v_k)，得到左三角形顶点的视差为：d_i，d_j，d_k，则有以下方程组：解方程组可得左三角形的平面参数(a^(l)，b^(l)，c^(l))；

(5-2)在给定左、右支撑点集合S和左三角形内左估测点o_n ^(l)＝(u_n ^(l)，v_n ^(l))^T时，对左三角形内左估测点视差的先验估计为：u(S，o_n ^(l))＝a^(l)u_n ^(l)+b^(l)v_n ^(l)+c^(l)，令u^(l)＝u(S，o_n ^(l))，建立视差d_n的先验分布：

其中γ表示均匀分布的值，其中，σ是常数。

2.如权利要求1所述的一种三维重建方法，其特征在于，所述步骤(6)的具体实现方式为：

使用组合特征向量计算左、右估测点之间的相似性，建立左、右估测点之间的似然概率分布：

其中，o_n ^(r)表示右估测点，o_n ^(r)＝(u_n ^(r)，v_n ^(r))^T；f_n ^(l)表示左估测点的组合特征向量，f_n ^(r)表示右估测点的组合特征向量，β是常数。

3.一种三维重建系统，其特征在于，包括：

图像采集与校正模块，用于获取左、右视角图像，校正左、右视角图像，使得左、右视角图像行对齐；

建立特征向量模块，用于对校正后的左、右视角图像建立左、右特征点的左、右特征向量，所述特征向量包括SIFT特征向量以及Sobel与颜色的组合特征向量；

寻找支撑点模块，用于通过计算左、右特征向量之间的空间距离寻找左、右支撑点集合S；

三角剖分模块，用于对左视角图像进行三角剖分得到多个左三角形；

先验分布模块，用于在左三角形内取左估测点o_n ^(l)，建立视差d_n的先验分布p(d_n|S，o_n ^(l))；

似然概率分布模块，用于建立左、右估测点之间的似然概率分布p(o_n ^(r)|o_n ^(l)，d_n)，右估测点o_n ^(r)由左估测点在右视角图像对应行遍历得到；

联合概率分布模块，用于对视差先验分布和似然概率分布建立联合概率分布p(d_n|o_n ^(l)，o_n ^(r)，S)∝p(d_n|S，o_n ^(l))p(o_n ^(r)|o_n ^(l)，d_n)，基于联合概率分布使用最大后验概率估计左、右估测点之间的视差，得到视差图；

点云模块，用于对视差图使用三角测量恢复目标景深信息，得到三维点云；

所述先验分布模块包括以下子模块：

第一子模块，用于对左支撑点对左视角图像进行三角剖分，得到左三角形的顶点为：(u_i，v_i)，(u_j，v_j)，(u_k，v_k)，得到左三角形顶点的视差为：d_i，d_j，d_k，则有以下方程组：解方程组可得左三角形的平面参数(a^(l)，b^(l)，c^(l))；

第二子模块，用于在给定左、右支撑点集合S和左三角形内左估测点o_n ^(l)＝(u_n ^(l)，v_n ^(l))^T时，对左三角形内左估测点视差的先验估计为：u(S，o_n ^(l))＝a^(l)u_n ^(l)+b(^l)v_n ^(l)+c^(l)，令u^(l)＝u(S，o_n ^(l))，建立视差d_n的先验分布：

其中γ表示均匀分布的值，其中，σ是常数。

4.如权利要求3所述的一种三维重建系统，其特征在于，所述似然概率分布模块用于建立左、右估测点之间的似然概率分布：

其中，o_n ^(r)表示右估测点，o_n ^(r)＝(u_n ^(r)，v_n ^(r))^T；f_n ^(l)表示左估测点的组合特征向量，f_n ^(r)表示右估测点的组合特征向量，β是常数。