CN109903379A - 一种基于点云优化采样的三维重建方法 - Google Patents

Abstract

本发明公开了一种基于点云优化采样的三维重建方法，属于计算机视觉领域，解决的问题是稠密点云在三维重建过程中，在保证主要的纹理特征情况下，重建速度较慢的问题，该方法主要利用mean shift算法对多个已校正的图像进行区域分割，然后通过改进的双向DP算法，依次对相邻图像分割后的相同区域进行立体匹配求取视差图，接着利用双边滤波消除视差图的干扰噪声，得到多个稠密深度点云图，再通过自适应随机采样获得主要纹理特征，剔除平滑区域，最后计算每个点云的深度值估计，根据估计值排序提取主要的点云。本发明提出的方法可以在较快的计算速度下获得更为明显的纹理特征，在自然场景三维重建中有着广阔的应用前景。

Description

一种基于点云优化采样的三维重建方法

技术领域

本发明涉及计算机视觉图形学领域，更具体地，涉及一种基于点云优化采样的三维重建方法。

背景技术

在视觉三维重建中，立体匹配是其核心环节，可分为局域匹配算法和全局匹配算法。由于全局匹配算法用到了全局约束的条件，对图像的局部区域并不模糊，因此三维重建中常用到全局立体匹配算法，常用的全局立体匹配算法有图割(GC)，置信传播，动态规划(DP)等。传统的动态规划算法利用全局能量最小值求解，将一个大的决策问题划分若干子问题，从而得到最优视差图。基于传统动态规划的立体匹配算法是是基于极线约束，通过依次寻找每条极线上匹配点对的最小代价路径的动态寻优方法求解全局能量最小化，得到匹配视差图。但这样匹配方法是全局搜索，在很多有明显区别的区域进行搜索会浪费大量的计算时间，导致整体重建的速度过慢，而且传统的动态规划算法是极线约束，很容易出现条纹现象，影响视差图的效果。

利用视差图和相机参数计算得到多帧的点云图后，由于每一帧的点云数量都较为庞大，且每帧点云图中包含若干的平滑区域，这些平滑区域并没有重建目标的纹理特征，属于冗余的信息。若直接利用深度图进行重建，冗余信息会增加较大的计算量而导致重建的速度过慢。同时，在传统的多视图融合中，常采用求交集的方法，即只保留相邻的两帧中若存在相同三维坐标的点云，但相邻图像间往往存在大量重叠区域，不仅导致最终得到大量冗余的坐标，计算机量过大，重建速度过慢，还会包含大量没有去除的噪点，导致重建精度下降。

因此，如何解决基于传统动态规划全局立体匹配计算代价过大，得到的视差图存在条纹问题，如何在保证必要纹理信息情况下剔除点云重建过程中过多冗余的信息，是三维重建领域中一个热点问题。提出了一种基于点云优化采样的三维重建方法，对三维重建领域的研究有很大的意义。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于点云优化采样的三维重建方法，其目的在于解决基于传统动态规划的全局立体匹配算法中计算代价较大、匹配得到的视差图中存在条纹的问题，同时解决重建过程中如何剔除平滑区域保留主要的纹理信息、如何在多视图融合过程中只保留准确必要的点云信息的问题。

为实现上述目的，本发明提供一种基于点云优化采样的三维重建方法，所述方法具体包括：

(1)利用多个已标定参数的相机获得检测目标不同角度的图像，图像之间保证一定的角度和位移，并对原图像进行畸变校正；

(2)利用mean shift算法对所有校正后的图像进行区域分割，并对分割后的区域进行标号；

(3)通过改进的双向DP算法，依次对相邻图像同标号的区域进行立体匹配求取视差图；

(4)利用双边滤波消除视差图的干扰噪声；

(5)通过自适应随机采样获得主要纹理特征，剔除平滑区域的点云；

(6)计算每个点云的深度值估计，根据估计值排序提取主要的点云。

2、进一步地，所述的步骤3中通过改进的双向DP算法，依次对相邻图像同标号的区域进行立体匹配求取视差图方法具体为：

(31)提取出相邻两图像同区域，即为视差寻优的范围；

(32)定义全局能量函数，通过全程寻优求得一个最佳视差值d^*，即为

d^*＝arg minE(d)；

(33)从行方向上动态寻优，获得原始视差图，并保存；

(34)动态更新数据项，通过在原始视差图作为一个初始结果，然后对这个视差图的数据项给予一个更新，其他数据项在此过程中保持不变

上式中为能量函数的数据项，k为非负整数；

(35)得到数据项更新后，在列方向上以同样的方式进行寻优；

(36)各个分割区域求得视差图后，再拼接得到稠密的深度图。

3、进一步地，所述的步骤5通过自适应随机采样获得主要纹理特征，剔除平滑区域的点云的具体方法为：

(51)从步骤4得到的点云图中随机选取某个像素点为该像素点的深度值，根据公式

对其反向映射至三维空间中,并根据其法向得到切平面

(52)以为圆心向外扩张，扩张半径r每次迭代一个像素大小，并计算扩张范围内的每个像素x_i′的三维坐标P(x_i′)；

(53)计算当前扩张范围内每个像素x_i′到切平面的距离d_i,设定阈值大小为t_d，若d_i≤t_d，则可认为该像素点位于平滑区域内，剔除该点；

(54)当扩张半径r大于最大扩张半径r_max或扩张范围内一定比例p_i的点云被剔除后，停止扩张，其中r_max和p_i为可调参数；

(55)接着再随机选择某个像素点重复以上步骤，直到当前三维点云图中所有采样点被采样完成。

4、进一步地，所述的步骤6计算每个点云的深度值估计，根据估计值排序提取主要的点云的具体方法为：

(61)根据公式计算每个点云的深度估计值，即估计值越大，误差值越小，可信度越高

为邻近两帧的深度值估计，表示当前像素点投影第i′帧的投影点；

(62)对当前帧k的点云按照估计值大小从高到低排序，并设定置信度阈值ε_d，从估计值最小的点开始计算，若则剔除该点，继续计算直到停止，并将剩余的点云存入序列S_k中，接着对下一帧点云图作同样的计算，直到所有深度图都计算结束，得到序列集S＝{S_k|k＝1，…，n}；

(63)选择其中第k帧深度图开始，对该图上所有的三维点映射到第k+1帧上得比较两点的估计值，将估计值较大点的三维坐标替换估计值较小的三维坐标，以此类推，直到所有深度图完成；

(64)将所有深度图的三维采样点求交集，得到最后的三维点云图。

与现有技术相比，本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：

(1)本发明方法考虑到基于传统动态规划立体匹配算法中受极线约束，容易产生条纹的现象，采用的双向DP算法可以在行列方向同时对寻优路径进行约束，可以有效避免条纹现象，同时考虑到计算代价较大的问题，采用mean shift进行图像分割，以上算法分别在已分割区域内进行，能有效缩短寻优范围，提高计算速度；

(2)本发明方法考虑到在重建过程中存在较多平滑区域，这些冗余信息会增加计算代价，采用的自适应随机采样方法能够在每一帧点云图里自适应的剔除平滑区域的采样点，保留主要的纹理信息，从而能在不影响精度的前提下提高计算速度；

(3)本发明方法考虑到在多点云图融合中，传统的求交集的方法会保留冗余和不准确的信息，采用了深度值估计的方法，可以在融合过程中剔除冗余信息和点云图中存留的噪点。

附图说明

图1为本发明方法的流程示意图；

图2为本发明方法自适应随机采样的方法示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明的具体实施方式进一步的说明，但不是对本发明方法的限定。

本发明方法最大贡献在于通过改进的双向DP算法、自适应采样、深度值估计排序等方法形成一套高效的三维重建流程，在提取出主要纹理特征的同时，明显的减少了冗余信息，明显提高了重建的速度，在三维重建领域中有较大的意义。

本发明方法的流程可以分为三个子模块，对多相机同时采集到的图像进行畸变校正、对校正后的图像进行立体匹配求取视差图，多帧视差图在融合过程中剔除冗余的信息。

如图1所示，本发明方法流程具体如下：

(1)以不同的摄像机保持不同的角度对同一目标进行拍摄，保证图像间有一定的距离和角度；

(2)利用相机标定的参数(假定已完成相机参数的标定)，对每张图像进行畸变校正，得到校正后的原始图象集Q，Q＝{Q_i|i＝1，2，…，n}；

(3)通过mean shift算法对原始图像集Q进行图片分割，通过图像平滑、合并相似区域、兼并小区域来去消除相似的纹理，同时保留边缘差异较大的特征，最后得到特征不同的区域，并对不同区域进行标号；

(4)通过改进的双向DP算法，依次对相邻图像的同标号区域进行立体匹配，具体步骤如下：

(4.1)提取出相邻两图像同标号区域，即为视差寻优的范围；

(4.2)定义全局能量函数，通过全程寻优求得一个最佳视差值d^*，即为

d^*＝arg minE(d)；

(4.3)从行方向上动态寻优，获得原始视差图，并保存；

(4.4)动态更新数据项，通过在原始视差图作为一个初始结果，然后对这个视差图的数据项给予一个更新，其他数据项在此过程中保持不变

上式中为能量函数的数据项，k为3；

(4.5)得到数据项更新后，在列方向上以同样的方式进行寻优；

(4.6)各个分割区域求得视差图后，再拼接得到稠密的深度图；

(5)利用双边滤波消除视差图的干扰噪声；

(6)通过自适应随机采样获得主要纹理特征，剔除平滑区域的点云，此算法的示意图如图2所示，每个方格代表着一个像素点，具体步骤如下：

(6.1)从步骤5得到的点云图中随机选取某个像素点即图2中的阴影点D_i(x_i)为该像素点的深度值，根据公式

对其反向映射至三维空间中,并根据其法向得到切平面

(6.2)以为圆心向外扩张，扩张半径r每次迭代一个像素大小，并计算扩张范围内的每个像素x_i′的三维坐标P(x_i′)；

(6.3)计算当前扩张范围内每个像素x_i′到切平面的距离d_i,即图2中方格内的数字，设定阈值大小为5，若d_i≤5，则可认为该像素点位于平滑区域内，剔除该点；

(6.4)当扩张半径r大于最大扩张半径4或扩张范围内80％的像素点均被剔除后，停止扩张，即剩余像素点为需要的纹理信息；

(6.5)接着再随机选择某个像素点重复以上步骤，直到当前深度图上所有像素点均被采样完成。

(7)计算每个点云的深度值估计，根据估计值排序提取主要的点云，具体步骤如下：

(7.1)根据公式计算每个点云的深度估计值，即估计值越大，误差值越小，可信度越高

为邻近两帧的深度值估计，表示当前像素点投影第i′帧的投影点；

(7.2)对当前帧k的点云按照估计值大小从高到低排序，并设定置信度阈值ε_d，从估计值最小的点开始计算，若则剔除该点，继续计算直到停止，并将剩余的点云存入序列S_k中，接着对下一帧点云图作同样的计算，直到所有深度图都计算结束，得到序列集S＝{S_k|k＝1，…，n}；

(7.3)选择其中第k帧深度图开始，对该图上所有的三维点映射到第k+1帧上得比较两点的估计值，将估计值较大点的三维坐标替换估计值较小的三维坐标，以此类推，直到所有深度图完成。

(7.4)将所有深度图的三维采样点求交集，得到最后的三维点云图。

(8)将生成的点云导入openGL，生成三维模型。

Claims (4)

1.一种基于点云优化采样的三维重建方法，其特征在于，所述方法包括以下步骤：

(1)利用多个已标定参数的相机获得检测目标不同角度的图像，图像之间保证一定的角度和位移，并对原图像进行畸变校正；

(2)利用mean shift算法对所有校正后的图像进行区域分割，并对分割后的区域进行标号；

(3)通过改进的双向DP算法，依次对相邻图像同标号的区域进行立体匹配求取视差图；

(4)利用双边滤波消除视差图的干扰噪声；

(5)通过自适应随机采样获得主要纹理特征，剔除平滑区域的点云；

(6)计算每个点云的深度值估计，根据估计值排序提取主要的点云。

2.根据权利要求1所述的一种基于点云优化采样的三维重建方法，其特征在于，所述的步骤3中通过改进的双向DP算法，依次对相邻图像同标号的区域进行立体匹配求取视差图方法具体为：

(31)提取出相邻两图像同标号区域，即为视差寻优的范围；

(32)定义全局能量函数，通过全程寻优求得一个最佳视差值d^*，即为：d^*＝arg minE(d)；

(33)从行方向上动态寻优，获得原始视差图，并保存；

(34)动态更新数据项，通过在原始视差图作为一个初始结果，然后对这个视差图的数据项给予一个更新，其他数据项在此过程中保持不变

上式中为能量函数的数据项，k为非负整数；

(35)得到数据项更新后，在列方向上以同样的方式进行寻优；

(36)各个分割区域求得视差图后，再拼接得到稠密的深度图。

3.根据权利要求1所述的一种基于点云优化采样的三维重建方法，其特征在于，所述的步骤5通过自适应随机采样获得主要纹理特征，剔除平滑区域的点云的步骤为：

(51)从步骤4得到的点云图中随机选取某个像素点D_i(x_i)为该像素点的深度值，根据公式

对其反向映射至三维空间中,并根据其法向得到切平面

(52)以为圆心向外扩张，扩张半径r每次迭代一个像素大小，并计算扩张范围内的每个像素x_i′的三维坐标P(x_i′)；

(53)计算当前扩张范围内每个像素到切平面的距离d_i，设定阈值大小为t_d，若d_i≤t_d，则可认为该像素点位于平滑区域内，剔除该点；

(54)当扩张半径r大于最大扩张半径r_max或扩张范围内一定比例pi的点云被剔除后，停止扩张，其中r_max和p_i为可调参数；

(55)接着再随机选择某个像素点重复以上步骤，直到当前三维点云图中所有采样点被采样完成。

4.根据权利要求1所述的一种基于点云优化采样的三维重建方法，其特征在于，所述的步骤6计算每个点云的深度值估计，根据估计值排序提取主要的点云的步骤为：

(61)根据公式计算每个点云的深度估计值，即估计值越大，误差值越小，可信度越高

为邻近两帧的深度值估计，表示当前像素点投影第i′帧的投影点；

(62)对当前帧k的点云按照估计值大小从高到低排序，并设定置信度阈值ε_d，从估计值最小的点开始计算，若则剔除该点，继续计算直到停止，并将剩余的点云存入序列S_k中，接着对下一帧点云图作同样的计算，直到点云图都计算结束，得到序列集S＝{S_k|k＝1，…，n}；

(63)选择其中第k帧深度图开始，对该图上所有的三维点映射到第k+1帧上得比较两点的估计值，将估计值较大点的三维坐标替换估计值较小的三维坐标，以此类推，直到所有深度图完成；

(64)将所有深度图的三维采样点求交集，得到最后的三维点云图。