CN107610219B - 三维场景重构中几何线索感知的像素级点云稠密化方法 - Google Patents

Abstract

本发明涉及一种三维场景重构中几何线索感知的像素级点云稠密化方法，是为了解决三维重构中过程中点云稀疏，细节缺失的问题，通过定义投影一致性逻辑，来衡量几何关系的正确性并自适应调整像素的归属，指导空间点云的计算；能够将输入图像集的像素点进行有效整合并提取几何空间的投影线索，可以有效的提高三维重构结果的稠密性与精确度。

Description

三维场景重构中几何线索感知的像素级点云稠密化方法

技术领域

本发明属于计算机领域，尤其涉及基于图片信息的计算机视觉三维重构方法。

背景技术

随着手持相机的普及以及海量网络影像数据的可获取，图片集已经成为场景分析与重建的重要媒介。通过在网络上搜索关键字，可以获取大量从不同视角拍摄的图像。运动求结构技术(Structure from Motion)凭借其特有的易用性和可扩展性逐渐被三维重构领域的研究者们所重视。它是一种基于多视角立体几何的视觉三维场景重构方法，使用图片集作为场景重建的唯一依赖输入，所以对于采集设备具有很强的独立性。通过探询不同视角图像之间的立体几何关系，来同时的计算出空间点位置与摄像机拍摄姿态。该技术不依赖图像帧之间的时序信息，而且对于分辨率和光照条件的变化具有较强的鲁棒性，所以它既能处理连续的视频帧图像，也可以处理散乱的网络众源图像。例如，微软于2007年推出的图像拼接软件“PhotoSynth”就是使用运动求结构技术来得到稀疏的三维点云，然后将图片对齐到这些点云上得到一种类似三维浏览的交互方式，又如Autodesk公司在2011年推出的“123D”建模软件也是基于运动求结构方法来快速的恢复点云模型，进行得到最终的三维网格模型。

与传统的基于激光扫描仪或者深度摄像机的重建方法相比，基于图片的视觉重建方法在成本方面更具优势，因为它并不依赖于昂贵的数据采集设备，只用简单的网络上收集的或者手机拍摄的图片即可完成重构工作。另外，在可扩展性及应用领域方面也更具竞争力。它不仅适用于室内场景或者小目标物体的精细重构，更可作为有效手段进行城市化场景的大规模三维建模。为了重构一个场景，使用扫描的方法往往需要亲临现场进行反反复复的扫描操作，而视觉的重构方法则不同，关于重构场景的并不需要到现场进行人工采集，直接使用网络图像或者视频影像即可。

发明内容

本发明针对现有技术的不足，提供一种三维场景重构中几何线索感知的像素级点云稠密化方法。

本发明的技术方案为一种三维场景重构中几何线索感知的像素级点云稠密化方法，包含以下步骤：

一种三维场景重构中几何线索感知的像素级点云稠密化方法，其特征在于，基于以下定义：

定义一组图片集为Ι＝{I₁,...,I_n}，其中图像I_i包含的像素点表示为

任一像素点

又可以描述为

的形式，其中

为该像素的RGB三通道颜色空间向量，

表示像素在图像平面中的二维坐标位置，包括横轴坐标值、纵轴坐标值、齐次坐标值以及差异值。像素

所对应的三维空间点则可以表示为T_l＝<C_l,X_l>，其中

为该点的RGB颜色值，

为三维空间点坐标，包括横轴坐标值、纵轴坐标值、深度坐标值以及齐次坐标值；

包含以下步骤：

步骤1，在给定图像集Ι的环境下，使用运动求结构方法迭代的恢复出每幅图像的拍摄姿态以及摄像机信息，其中，拍摄姿态对应于立体几何中的相机外参矩阵，定义为[R|t]的形，R空间是旋转矩阵而t是空间平移向量，摄像机信息则对应于内参矩阵，可表示为K。将每幅图像的外参矩阵和内参矩阵相乘即可得到后续计算所需要的摄像机矩阵P_i＝K_i[R_i|t_i]，实现方式如下：

对于每幅图像，使用SIFT算法检测出其中具有的局部特征点。局部特征点为三维空间点在二维图像平面上的投影。对这些特征点进行基于特征描述符的相似性匹配(每个sift特征点会有一个128维的向量来描述，使用欧式距离两两的比较就能计算出相似度。)建立图像与图像之间的视觉联系，它反映了不同视角之间的立体对应关系，其中，设置匹配对的接收比值ratio＝M，其中M取值范围为[0，1]。然后使用RANSAC对极几何约束来验证匹配点的正确性，去除实际操作中的噪声点干扰。将满足几何性约束的匹配成功的特征点连组织成一系列轨迹点，传递给运动求结构迭代算法以便计算每幅图像对应的摄像机矩阵P_i。

步骤2，整合像素点集，将像素点集自适应的适应的分割成k个聚类簇，一个聚类簇对应于一个三维点T_*，实现方式如下：

将整个图像集的像素点集合S＝{S₁,...,S_n}放到一个二叉树结构上。该过程从表示数据集中的所有特征的根节点T开始。在每个节点单元中，首先验证是否存有像素点在来自于同一幅图像，即具有相同的图像标识δ_im。如果该节点单元中的所有像素点都具有不同的图像标识，则将其视为叶子节点。否则，如果两个或者多个像素点具有相同的δ_im标识，则需要进行二分划分。该划分从含有数据集中的所有像素点的根节点开始并且递归的进行，直到所有叶子节点中的像素点都来自于不同图像为止；其中，二分划分的具体步骤是：计算到该节点中所有像素点在r，g，b三个维度上的最大值和最小值，选择最大值和最小值距离最远的一个维度作为划分维度。在该维度中使用中间值将像素点分割为小于中间值和大于中间值的两个部分。

步骤3，根据步骤1所得每幅图像的摄像机矩阵P_i以及步骤2所得k个初始的聚类簇，计算每个像素点

在其所属聚类簇Q_l中的投影一致性。投影一致性尺度定义如下：

实现方式如下：

对于每个集群Q_l中的任一特征点

首先计算该特征点

与该集群中的其它像素点之间的投影一致性残差，表示为

然后，选择其中具有最低残差值的一个像素点作为当前聚类的代表性点。并统计每个聚类簇所包含的投影一致性残差总和，定义为

直到所有的聚类簇代表点以及相应的一致性残差总和E_l都被计算出来。

步骤4，根据步骤3得到的聚类簇代表性像素点，也就是具有最低残差值的一个像素点作为当前聚类的代表性点，即min

的那一个计算每个像素点

与不同聚类簇之间的投影一致性关系。该一致性由像素点与聚类簇的代表性点

定义：

并且重新调整每个像素点的归属关系。实现方式如下：

对于数据集中的每一个像素点

计算它与每个聚类簇代表性像素点

之间的投影一致性残差。如果在这所有的聚类簇中，像素

与聚类簇Q_l的代表性像素点之间计算得到的投影一致性残差值最小，而且

则像素

应该分配到聚类簇Q_l中去；否则，如果

则不做任何修改，继续处理另一个像素点，直到所有的像素点被调整完成。

步骤5，重复步骤3和4直到满足结束阈值。对步骤3和4迭代求得的聚类簇进行验证处理。滤除每个聚类簇中存在的潜在干扰点以及数量不满足要求的聚类簇。利用得到的最终聚类结果以及步骤1恢复出来的每幅图像的摄像机矩阵P_i，根据公式

计算每个聚类簇对应的三维空间点坐标值。

本发明利用图像之间的几何特性，通过自适应的迭代优化聚类方法，采取逐像素的对应以及空间几何计算方法，从而提高了运动求结构重建结果的稠密度。

附图说明

图1是本发明实施例的自适应稠密化方法的流程图。

图2是本发明实施例的聚类簇内部数据更新示意图。

图3是本发明实施例的像素点在聚类簇之间的调整示意图。

具体实施方式

本发明主要基于空间立体几何学，考虑图像成像特性和一致性聚类关系，提出的一种三维场景重构中几何线索感知的像素级点云稠密化方法。本方法充分考虑了每个图像不同像素点之间的几何特性，通过自适应迭代聚类的方法来逼近真实的像素级对应，进而对运动求结构方法生成的稀疏点云进行稠密化。通过本发明获得的结果更加科学，更加精确。

本发明提供的方法能够用计算机软件技术实现流程。参见图1，实施例以几何线索GC为例对本发明的流程进行一个具体的阐述，如下：

定义一组图片集为Ι＝{I₁,...,I_n}，其中图像I_i包含的像素点表示为

任一像素点

又可以描述为

的形式，其中

为该像素的RGB三通道颜色空间向量，

表示像素在图像平面中的二维坐标位置，包括横轴坐标值、纵轴坐标值、齐次坐标值以及差异值。像素

所对应的三维空间点则可以表示为T_l＝<C_l,X_l>，其中

为该点的RGB颜色值，

为三维空间点坐标，包括横轴坐标值、纵轴坐标值、深度坐标值以及齐次坐标值。本发明的目标即是通过像素点集S＝{S₁,...,S_n}计算出稠密的三维点云模型T＝{T₁,...,T_z}。

步骤1，在给定图像集Ι的环境下，使用运动求结构方法迭代的恢复出每幅图像的拍摄姿态以及摄像机信息，其中，拍摄姿态对应于立体几何中的相机外参矩阵，定义为[R|t]的形，R空间是旋转矩阵而t是空间平移向量，摄像机信息则对应于内参矩阵，可表示为K。将每幅图像的外参矩阵和内参矩阵相乘即可得到后续计算所需要的摄像机矩阵P_i＝K_i[R_i|t_i]。

实施例具体的实施过程说明如下：

对于每幅图像，使用SIFT算法检测出其中具有的局部特征点。特征点可以理解为三维空间点在二维图像平面上的投影。对这些特征点进行基于特征描述符的相似性匹配就可以建立起图像与图像之间的视觉联系，它反映了不同视角之间的立体对应关系，其中，设置匹配对的接收比值ratio＝0.6。然后使用RANSAC对极几何约束来验证匹配点的正确性，这可以有效的去除实际操作中的噪声点干扰。将满足几何性约束的匹配成功的特征点连组织成一系列轨迹点，传递给运动求结构迭代算法以便计算每幅图像对应的摄像机矩阵P_i。

此外，某些图像可能由于视觉不相关性或者其它计算方面的原因使得这些图像的摄像机矩阵没有得以恢复，即是P_i＝0。对于这类情况，所以在本步骤还需要将摄像机矩阵P_i＝0的图像进行剔除，以减少对后续环节的干扰与计算量。

步骤2，整合像素点集S＝{S₁,...,S_n}，将其自适应的分割成k个聚类簇Q＝{Q₁,...,Q_k}，每个聚类簇由一系列像素点组成。理论上一个聚类簇Q_*对应于一个三维点T_*，所以越大的k值代表着越多的三维点云。

实施例具体的实施过程说明如下：

本发明首先需要将整个图像集的像素点集合S＝{S₁,...,S_n}放到一个二叉树结构上。对于每个像素点，除了要包含颜色通道值c和二维坐标x，还需额外的存储两个变量用于本阶段自适应的划分，δ_im和δ_pl。它们分别用于表示该像素点所属图像的图像标识号以及它在此图像中的像素标识号。另外，在树的每个内部节点中需要存储6个变量，它们分别为：该节点是从哪个维度θ_d进行的二分划分以及对应的进行划分时所采用的判别值θ_val，该划分维度的边界最小与最大值θ_mi和θ_mx，以及指向左右子节点的指针ρ_lt和ρ_rt。而叶子节点需要记录隶属于该节点的所有像素点信息。

该过程从表示数据集中的所有特征的根节点T开始。在每个节点单元中，算法首先验证是否存有像素点在来自于同一幅图像，即具有相同的δ_im标识。如果该节点单元中的所有像素点都具有不同的图像标识，则可以将其视为叶子节点。否则，如果两个或者多个像素点具有相同的δ_im标识，则需要进行二分划分。

划分的具体实现需要计算该节点的空间包围盒，即是节点中所包含特征在每个维度上的最小值和最大值集合，并选择其中边长最长的一个维度，相应的设置θ_d，θ_val以及θ_mi和θ_mx的值。沿着维度θ_d该节点自动的分割为左右两个子节点，并用指针ρ_lt和ρ_rt连接起来。划分的具体阈值θ_val由等式θ_val＝(θ_mi+θ_mx)/2决定。在维度θ_d上小于θ_val值的被归类为左子树，大于θ_val值的归类于右子树。该划分从含有数据集中的所有像素点的根节点开始并且递归的进行，直到所有叶子节点中的像素点都来自于不同图像为止。

步骤3，根据步骤1所得每幅图像的摄像机矩阵P_i以及步骤2所得k个初始的聚类簇Q＝{Q₁,...,Q_k}，计算每个像素点

在其所属聚类簇Q_l中的投影一致性。由于三维空间点在二维图像中的成像原理可以表示为

由于一个聚类簇理应只对应一个三维空间点，所以该聚类簇中的所有像素点应该对应于相同的空间点X_l，于是本发明提出的投影一致性尺度可以定义成如下形式：

它规定同簇像素点之间使用摄像机矩阵计算得到的空间点位置信息应该尽可能的相似，以此来度量像素点属于该聚类簇的正确性，并使用每个聚类簇中投影一致性最好的像素点作为该聚类簇的代理点。

实施例具体的实施过程说明如下：

单独使用像素值进行聚类，会使得结果非常的不精确，不能满足三维重构上的需要。为了得到可靠的聚类关系本发明需要验证每个像素点在其现有聚类簇内部的正确性，它的主要任务是用公式(1)定义的投影一致性关系来计算度量残差。对于每个集群Q_l中的任一特征点

本发明首先计算它与该集群中的其它像素点之间的投影一致性残差，表示为

然后，选择其中具有最低残差值的一个像素点作为当前聚类的代表性点，其作用类似于传统k均值方法的中心点。但是本发明与k均值具有明显的区别，因为本发明使用投影一致性来度量元素之间的关系而不是单纯的计算颜色空间上的欧氏距离。另外本发明采用具有最小投影一致性残差的像素点为中心点，而不是求平均后的中心点，因为采用具有较小残差值e的像素点可以更可靠的反映该群组的几何属性。为了后续处理的需要，在本步骤还需要统计每个聚类簇所包含的投影一致性残差总和，定义为

该步骤需要一直进行，直到所有的聚类簇代表点以及相应的一致性残差总和E_l都被有效的计算出来。

步骤4，根据步骤3得到的聚类簇代表性像素点，计算每个像素点

与不同聚类簇之间的投影一致性关系。该一致性由像素点与聚类簇的代表性点

定义：

重新调整每个像素点的归属关系，将其分配到合适的聚类簇中，使得该像素点与该聚类簇内部像素点之间可能存在的投影一致性残差最小。

实施例具体的实施过程说明如下：

在验证了像素点聚类关系的正确性以后，还需要对其进行调整，使得不正确的像素点对应被修正。所以本步骤的主要任务是将每个像素点

分配到适合的聚类簇中去，也就是说使得该像素点与该聚类簇内部像素点之间可能存在的投影一致性残差最小。对于数据集中的每一个像素点

本发明计算它与每个聚类簇代表性像素点

之间的投影一致性残差

如果在这所有的聚类簇中，像素

与聚类簇Q_l的代表性像素点之间计算得到的投影一致性残差值最小，而且

则可以认为像素

应该分配到聚类簇Q_l中去；否则，如果

则不做任何修改，继续处理另一个像素点。该步骤需要一直进行，直到所有的像素点被有效的调整。

步骤5，重复步骤3和4直到满足一定的结束阈值(阈值可以设置为3-6的整数)。对步骤3和4迭代求得的聚类簇进行验证处理。滤除每个聚类簇中存在的潜在干扰点以及数量不满足要求的聚类簇。利用得到的最终聚类结果以及步骤1恢复出来的每幅图像的摄像机矩阵P_i，根据公式

计算每个聚类簇对应的三维空间点坐标值。

实施例具体的实施过程说明如下：

在执行完步骤4后，返回步骤3进行新一轮的内容更新，然后再执行步骤4依此循环。该过程需要反复迭代的进行，直至满足结束判断条件或者达到最大迭代次数。本发明的结束判断模块包含两个指标。其一是全聚类簇的一致性残差

以及预设的最大迭代次数阈值L。若前后两次迭代之间的全局一致性残差值的变化程度ε＝E^t+1-E^t小于等于阈值ε＝2，其中t为迭代次数，或当前迭代次数已经达到阈值L次，则将此时得到的像素点聚类结果输入结束计算模块；若变化程度ε＞2或者当前迭代次数没有达到L次，则需要继续的反复依次执行步骤3和步骤4。

结束计算模块，利用得到的最终聚类结果以及步骤1恢复出来的每幅图像的摄像机矩阵P_i，根据公式

计算每个聚类簇对应的三维空间点坐标值，进而得到稠密的像素级别的三维重构结果。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种三维场景重构中几何线索感知的像素级点云稠密化方法，其特征在于，基于以下定义：

定义一组图片集为Ι＝{I₁,...,I_n}，其中图像I_i包含的像素点表示为

任一像素点

又可以描述为

的形式，其中

为该像素的RGB三通道颜色空间向量，

表示像素在图像平面中的二维坐标位置，包括横轴坐标值、纵轴坐标值、齐次坐标值以及差异值；像素

所对应的三维空间点则可以表示为T_l＝＜C_l,X_l＞，其中

为该点的RGB颜色值，

为三维空间点坐标，包括横轴坐标值、纵轴坐标值、深度坐标值以及齐次坐标值；

包含以下步骤：

步骤1，在给定图像集Ι的环境下，使用运动求结构方法迭代的恢复出每幅图像的拍摄姿态以及摄像机信息，其中，拍摄姿态对应于立体几何中的相机外参矩阵，定义为[R|t]的形，R空间是旋转矩阵而t是空间平移向量，摄像机信息则对应于内参矩阵，可表示为K；将每幅图像的外参矩阵和内参矩阵相乘即可得到后续计算所需要的摄像机矩阵P_i＝K_i[R_i|t_i]，实现方式如下：

对于每幅图像，使用SIFT算法检测出其中具有的局部特征点；局部特征点为三维空间点在二维图像平面上的投影；对这些特征点进行基于特征描述符的相似性匹配建立图像与图像之间的视觉联系，它反映了不同视角之间的立体对应关系，其中，设置匹配对的接收比值ratio＝M，其中M取值范围为[0，1]；然后使用RANSAC对极几何约束来验证匹配点的正确性，去除实际操作中的噪声点干扰；将满足几何性约束的匹配成功的特征点连组织成一系列轨迹点，传递给运动求结构迭代算法以便计算每幅图像对应的摄像机矩阵P_i；

步骤2，整合像素点集，将像素点集自适应的分割成k个聚类簇，一个聚类簇对应于一个三维点T_*，实现方式如下：

将整个图像集的像素点集合S＝{S₁,...,S_n}放到一个二叉树结构上；该过程从表示数据集中的所有特征的根节点T开始；在每个节点单元中，首先验证是否存有像素点在来自于同一幅图像，即具有相同的图像标识δ_im；如果该节点单元中的所有像素点都具有不同的图像标识，则将其视为叶子节点；否则，如果两个或者多个像素点具有相同的δ_im标识，则需要进行二分划分；该划分从含有数据集中的所有像素点的根节点开始并且递归的进行，直到所有叶子节点中的像素点都来自于不同图像为止；其中，二分划分的具体步骤是：计算到该节点中所有像素点在r，g，b三个维度上的最大值和最小值，选择最大值和最小值距离最远的一个维度作为划分维度；在该维度中使用中间值将像素点分割为小于中间值和大于中间值的两个部分；

步骤3，根据步骤1所得每幅图像的摄像机矩阵P_i以及步骤2所得k个初始的聚类簇，计算每个像素点

在其所属聚类簇Q_l中的投影一致性；投影一致性尺度定义如下：

实现方式如下：

对于每个集群Q_l中的任一特征点

首先计算该特征点

与该集群中的其它像素点之间的投影一致性残差，表示为

然后，选择其中具有最低残差值的一个像素点作为当前聚类的代表性点；并统计每个聚类簇所包含的投影一致性残差总和，定义为

直到所有的聚类簇代表点以及相应的一致性残差总和E_l都被计算出来；

步骤4，根据步骤3得到的聚类簇代表性像素点，也就是具有最低残差值的一个像素点作为当前聚类的代表性点，即

的那一个计算每个像素点

与不同聚类簇之间的投影一致性关系；该一致性由像素点与聚类簇的代表性点

定义：

并且重新调整每个像素点的归属关系；实现方式如下：

对于数据集中的每一个像素点

计算它与每个聚类簇代表性像素点

之间的投影一致性残差；如果在这所有的聚类簇中，像素

与聚类簇Q_l的代表性像素点之间计算得到的投影一致性残差值最小，而且

则像素

应该分配到聚类簇Q_l中去；否则，如果

则不做任何修改，继续处理另一个像素点，直到所有的像素点被调整完成；

步骤5，重复步骤3和4直到满足结束阈值；对步骤3和4迭代求得的聚类簇进行验证处理；滤除每个聚类簇中存在的潜在干扰点以及数量不满足要求的聚类簇；利用得到的最终聚类结果以及步骤1恢复出来的每幅图像的摄像机矩阵P_i，根据公式

计算每个聚类簇对应的三维空间点坐标值。

Images