CN106600675A - 一种基于深度图约束的点云合成方法 - Google Patents

Abstract

本发明公开了一种基于深度图约束的点云合成方法，其包含以下几个步骤：(1)设计拍摄场景，以待重建目标为中心布置摄像头；(2)相机标定：利用标定参照物或者场景自身特征点进行摄像头内外参估计；(3)根据多图立体视觉的特征匹配关系，获取场景稀疏点云；(4)根据稀疏点云推衍稠密点云；(5)利用稠密点云进行物体表面重建；(6)根据相机的内外参数以及表面重建模型，执行贴图。

Description

一种基于深度图约束的点云合成方法

技术领域

本发明涉及三维实景重建技术，具体用于稠密点云合成。

背景技术

稠密点云合成是三维实景重建中关键技术之一，点云的准确度直接影响物体表面重建的结果。目前，很多点云合成工具比如MVE、OPENMVS、PMVS等在合成中难免引起大量点云噪声，使得后期点云处理的去噪过程难度加大。由于物体表面重建结果依赖点云分布，物体真实表面附近的点云噪声常常会导致表面重建的结果畸形失真。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于深度图约束的点云合成方法，其点云噪声小，重建结果更加准确。

为了达到上述目的，本发明采用以下技术方案予以实现：

一种基于深度图约束的点云合成方法，包含以下几个步骤：

(1)设计拍摄场景，以待重建目标为中心布置摄像头；

(2)相机标定：利用标定参照物或者场景自身特征点进行摄像头内外参估计；

(3)根据多图立体视觉的特征匹配关系，获取场景稀疏点云；

(4)根据稀疏点云推衍稠密点云；

(5)利用稠密点云进行物体表面重建；

(6)根据相机的内外参数以及表面重建模型，执行贴图。

作为本发明的一种优选实施方式：

所述步骤(4)中根据稀疏点云推衍稠密点云，具体是利用稀疏点云作为种子点实现区域增长，获取稠密点云；假设点云中每个点都存在已知的视角信息，具体包含如下步骤：

10：循环遍历每个点，计算每个点与其K个相邻点间距离的平均值R，将所有点对应计算所得平均距离求平均，得到点云的平均分布距离；

21：对于稀疏点云中的每个点A，根据稀疏点云集合估算点云的法线方向N以及切平面P；

22：收集距离点云范围内的所有三维点，计算这些点在切平面P之间的投影点，根据投影点的分布计算出点云空闲的方向，然后在该空闲方向上采样三维点集合；

23：根据采样所得三维点集合中点B位置，收集所有可能看到点B的视角信息，然后选择采样三维点B的有效视角信息；

具体选择规则如下：

(a)如果采样点B在图片i中投影点与其他图片中投影点匹配相差很大，删除视角i；

(b)如果采样点B在图片i的投影点位于待重建物体之外，删除视角i；

24：根据采样点B的视角信息判定采样点的有效性：

具体判定有效性规则：

(S1)如果采样点的视角数量小于特定数量，则跳过采样点B，然后对其他采样点进行判定；

(S2)如果各个视角摄像头的光心与采样点射线之间的夹角属于特定范围，则计数加1，两两视角进行判定，最后计数小于特定数量，跳过采样点B，然后对其他采样点进行判定；

25：根据采样点B的有效视角信息，求取所有视角摄像头光心与点B位置的射线加权平均向量，修正点B的法线为该加权平均值的归一化值，最后添加采样点B到点云集合中；

30：对稀疏点云中每一点重复步骤21～步骤25。

作为本发明的一种优选实施方式：

所述步骤(4)中根据稀疏点云推衍稠密点云，具体是利用稀疏点云计算稀疏深度图，根据稀疏深度图估算稠密深度图以及相应的置信度图，根据稠密深度和置信度图估算点云位置；

假设点云中每个点都存在已知的视角信息，具体包含如下步骤：

100：对于每一视角i，收集稀疏点云中含有视角信息i的点云，将所有点投影至视角i的摄像头成像平面，由于摄像头内外参数据已知，可得摄像头中心与点云位置的线段，令线段在摄像头光轴方向的投影长度为深度，所有被视角i可视的稀疏点云均可求得对应深度，因此得视角i的稀疏深度图；

200：建立视角I中的投影位置的无向图，令每一个投影位置为无向图的节点，然后根据无向图节点之间的距离计算边的权重；

300：计算视角i的图像的边缘概率图，并且进行区域分割得到区域集合S，统计每个区域的投影点数量，如果区域S0投影点数量少于特定数量，则认定改区域为非目标区域，从而将区域分为目标区域和非目标区域；

400：对无向图进行分析，删除无向图中权重大于特定值的边，得到新的无向图，对无向图进行连接分析，得到多个子图，如果子图位于非目标区域，则删除该子图中所有节点并且重置对应稀疏深度图位置；

500：在通过无向图分析修正稀疏深度图后，令所有稀疏深度点的置信度为1，然后利用视角i的边缘概率图作为权重图，结合拉普拉斯进行插值，得到稠密深度图和对应置信度图；

600：在获取置信度图和深度图后，通过多视角深度图对三维空间中的任意点进行判定，从而得到判定点云位置的有效性，另外可利用多视图点云ICP过程得到稠密点云。

本发明有益效果是：

本发明提供了一种在三维空间中稳定增长物体表面点云的方法，以及各个视角深度图的估计思路，可以利用多视图的稠密深度图实现点云合成。另外由于有深度图约束，合成过程中点云噪声较少。本发明由于估算出了深度图和置信图，可利用深度图和置信度图作为约束，阻止三维空间中非目标点云的生成。

另外：

本发明提供了两种方法实现由稀疏点云到稠密点云的过程；方法一采用的是3维空间中的区域增长方案，其所得的点云表面平滑性较好，并且分布均匀。方法二采用各个视角稀疏深度推算点云位置，其完整性较高。各有优势，很难说谁比谁好，需要根据实际情况来选择方法。

本发明采用区域增长的方法扩展点云，可以很好的保持重建表面的连续性；

本发明提供一种深度图和置信度图的估计方法，可用于点云约束以及表面重建；

本发明在深度图生成中，提供了一种结合图像分割以及无向图分析的深度去噪方法，利用该方法可对点云进行去噪和重建。

具体实施方式

下面结合实施例，对本发明进一步说明，下述实施例是说明性的，不是限定性的，不能以下述实施例来限定本发明的保护范围。

本发明公开的一种基于深度图约束的点云合成方法，包含以下几个步骤：

(1)设计拍摄场景，以待重建目标为中心布置摄像头；

(2)利用标定参照物或者场景自身特征点进行摄像头内外参估计，简称相机标定；

(3)根据多图立体视觉的特征匹配关系，获取场景稀疏点云；

(4)根据稀疏点云推衍稠密点云；

(5)利用稠密点云进行物体表面重建；

(6)根据相机的内外参数以及表面重建模型，执行贴图；

在步骤(4)中稀疏点云增长为稠密点云，本发明提供两种方法实现稠密点云估算：

方法一：利用稀疏点云作为种子点实现区域增长，获取稠密点云；

方法二：利用稀疏点云计算稀疏深度图，根据稀疏深度图估算稠密深度图以及相应的置信度图，根据稠密深度和置信度图估算点云位置。

方法一：假设点云中每个点都存在已知的视角信息，具体包含如下步骤：

10：循环遍历每个点，计算每个点与其K个相邻点间距离的平均值R，将所有点(共n个点)对应计算所得平均距离求平均，得到点云的平均分布距离；

21：对于稀疏点云中的每个点A，根据稀疏点云集合估算点云的法线方向N以及切平面P；

22：收集距离点云范围内的所有三维点，计算这些点在切平面P之间的投影点，根据投影点的分布计算出点云空闲的方向，然后在该空闲方向上采样三维点集合；

23：根据采样所得三维点集合中点B位置，收集所有可能看到点B的视角信息，然后选择采样三维点B的有效视角信息；

具体选择规则如下：

(a)如果采样点B在图片i中投影点与其他图片中投影点匹配相差很大，删除视角i；

(b)如果采样点B在图片i的投影点位于待重建物体之外，删除视角i；

24：根据采样点B的视角信息判定采样点的有效性：

具体判定有效性规则：

(S1)如果采样点的视角数量小于特定数量(比如3)，则跳过采样点B，然后对其他采样点进行判定；

(S2)如果各个视角摄像头的光心与采样点射线之间的夹角属于特定范围(比如60°至120°)，则计数加1，两两视角进行判定，最后计数小于特定数量(比如3)，跳过采样点B，然后对其他采样点进行判定。

25：根据采样点B的有效视角信息，求取所有视角摄像头光心与点B位置的射线加权平均向量，修正点B的法线为该加权平均值的归一化值，最后添加采样点B到点云集合中；

30：对稀疏点云中每一点重复步骤21～步骤25。

方法二：假设点云中每个点都存在已知的视角信息，具体包含如下步骤：

100：对于每一视角i，收集稀疏点云中含有视角信息i的点云，将所有点投影至视角i的摄像头成像平面，由于摄像头内外参数据已知，可得摄像头中心与点云位置的线段，令线段在摄像头光轴方向的投影长度为深度，所有被视角i可视的稀疏点云均可求得对应深度，因此得视角i的稀疏深度图；

200：建立视角I中的投影位置的无向图，令每一个投影位置为无向图的节点，然后根据无向图节点之间的距离计算边的权重；

300：计算视角i的图像的边缘概率图，并且进行区域分割得到区域集合S，统计每个区域的投影点数量，如果区域S0投影点数量少于特定数量(比如20)，则认定改区域为非目标区域，从而将区域分为目标区域和非目标区域；

400：对无向图进行分析，删除无向图中权重大于特定值的边，得到新的无向图，对无向图进行连接分析，得到多个子图，如果子图位于非目标区域，则删除该子图中所有节点并且重置对应稀疏深度图位置；

500：在通过无向图分析修正稀疏深度图后，令所有稀疏深度点的置信度为1，然后利用视角i的边缘概率图作为权重图，结合拉普拉斯进行插值，得到稠密深度图和对应置信度图；

600：在获取置信度图和深度图后，通过多视角深度图对三维空间中的任意点进行判定，从而得到判定点云位置的有效性，另外可利用多视图点云ICP过程得到稠密点云。

上面对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化，这些变化涉及本领域技术人员所熟知的相关技术，这些都落入本发明专利的保护范围。

不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

Claims (3)

1.一种基于深度图约束的点云合成方法，包含以下几个步骤：

(1)设计拍摄场景，以待重建目标为中心布置摄像头；

(2)相机标定：利用标定参照物或者场景自身特征点进行摄像头内外参估计；

(3)根据多图立体视觉的特征匹配关系，获取场景稀疏点云；

(4)根据稀疏点云推衍稠密点云；

(5)利用稠密点云进行物体表面重建；

(6)根据相机的内外参数以及表面重建模型，执行贴图。

2.如权利要求1所述的一种基于深度图约束的点云合成方法，其特征在于：

所述步骤(4)中根据稀疏点云推衍稠密点云，具体是利用稀疏点云作为种子点实现区域增长，获取稠密点云；假设点云中每个点都存在已知的视角信息，具体包含如下步骤：

10：循环遍历每个点，计算每个点与其K个相邻点间距离的平均值R，将所有点对应计算所得平均距离求平均，得到点云的平均分布距离；

21：对于稀疏点云中的每个点A，根据稀疏点云集合估算点云的法线方向N以及切平面P；

22：收集距离点云范围内的所有三维点，计算这些点在切平面P之间的投影点，根据投影点的分布计算出点云空闲的方向，然后在该空闲方向上采样三维点集合；

23：根据采样所得三维点集合中点B位置，收集所有可能看到点B的视角信息，然后选择采样三维点B的有效视角信息；

具体选择规则如下：

(a)如果采样点B在图片i中投影点与其他图片中投影点匹配相差很大，删除视角i；

(b)如果采样点B在图片i的投影点位于待重建物体之外，删除视角i；

24：根据采样点B的视角信息判定采样点的有效性：

具体判定有效性规则：

(S1)如果采样点的视角数量小于特定数量，则跳过采样点B，然后对其他采样点进行判定；

(S2)如果各个视角摄像头的光心与采样点射线之间的夹角属于特定范围，则计数加1，两两视角进行判定，最后计数小于特定数量，跳过采样点B，然后对其他采样点进行判定；

25：根据采样点B的有效视角信息，求取所有视角摄像头光心与点B位置的射线加权平均向量，修正点B的法线为该加权平均值的归一化值，最后添加采样点B到点云集合中；

30：对稀疏点云中每一点重复步骤21～步骤25。

3.如权利要求1所述的一种基于深度图约束的点云合成方法，其特征在于：

所述步骤(4)中根据稀疏点云推衍稠密点云，具体是利用稀疏点云计算稀疏深度图，根据稀疏深度图估算稠密深度图以及相应的置信度图，根据稠密深度和置信度图估算点云位置；

假设点云中每个点都存在已知的视角信息，具体包含如下步骤：

100：对于每一视角i，收集稀疏点云中含有视角信息i的点云，将所有点投影至视角i的摄像头成像平面，由于摄像头内外参数据已知，可得摄像头中心与点云位置的线段，令线段在摄像头光轴方向的投影长度为深度，所有被视角i可视的稀疏点云均可求得对应深度，因此得视角i的稀疏深度图；

200：建立视角I中的投影位置的无向图，令每一个投影位置为无向图的节点，然后根据无向图节点之间的距离计算边的权重；

300：计算视角i的图像的边缘概率图，并且进行区域分割得到区域集合S，统计每个区域的投影点数量，如果区域S0投影点数量少于特定数量，则认定改区域为非目标区域，从而将区域分为目标区域和非目标区域；

400：对无向图进行分析，删除无向图中权重大于特定值的边，得到新的无向图，对无向图进行连接分析，得到多个子图，如果子图位于非目标区域，则删除该子图中所有节点并且重置对应稀疏深度图位置；

500：在通过无向图分析修正稀疏深度图后，令所有稀疏深度点的置信度为1，然后利用视角i的边缘概率图作为权重图，结合拉普拉斯进行插值，得到稠密深度图和对应置信度图；

600：在获取置信度图和深度图后，通过多视角深度图对三维空间中的任意点进行判定，从而得到判定点云位置的有效性，另外可利用多视图点云ICP过程得到稠密点云。