CN109215118B - 一种基于图像序列的增量式运动结构恢复优化方法 - Google Patents

Abstract

本发明提供一种基于图像序列的增量式运动结构恢复优化方法，涉及三维重建领域。包括：获取所需重建物体各个角度的图像；获取两两图像之间特征点的关系及描述符；过滤特征点的异常值；排除异解；形成初始点云模型；丰富点云模型；得到最终的点云模型；对点云模型进行优化。本方法在初始图像对选择过程中使用自适应阈值估计法，使其能够自动的调整过滤异常特征点的值，并引入约束进一步过滤，获得更精确的初始图像对，确保能够进行鲁棒的初始重建，提高整体三维重建质量；在增量添加迭代过程中使用EPNP法求解，提高迭代的解算效率及精度，从而提高本方法的性能；通过BA法，进一步提高了模型优化的精确度，解决了增量迭代过程中误差累计导致的问题。

Description

一种基于图像序列的增量式运动结构恢复优化方法

技术领域

本发明涉及三维重建技术领域，具体涉及一种基于图像序列的增量式运动结构恢复优化方法。

背景技术

随着计算机相关技术的不断进步，虚拟现实技术得到了迅猛的发展。在虚拟场景的构建过程中，大量的三维模型将被使用。而传统工作流程中，三维模型的建立大多依靠繁琐的手工建模软件，大大延长了开发周期，同时显著提高了开发成本。为此，我们寻求数据源更易获取且更为快速的三维建模方法。

图像，是三维空间的二维映射，其中包含着三维空间中相机位置，焦距等信息，利用已知的图像中的这些信息恢复为三维立体结构，可以看做是相机成像的逆过程。在一组对同一物体不同角度拍摄的图像序列中，图像与图像之间的一些特征点存在着对应关系，利用现有的方法

运动结构恢复算法，是实现三维重建中稀疏重建步骤的关键算法。其中增量式运动结构算法是目前国内外研究的主流算法。它通过几何、摄影测量、摄影成像等知识，以增量迭代为核心思路，从图像序列中由初始重建，不断添加，将二维图像上的像素点通过图像之间的联系还原为三维点云中的结构。传统增量式运动结构恢复算法存在着效率和重建质量等多方面的问题，对其的优化是一个重要的研究方向。

发明内容

针对现有技术存在的问题，本发明提供一种基于图像序列的增量式运动结构恢复优化方法，可以加快增量式运动结构恢复算法的计算效率，并提高生成点云模型的质量。

为了实现上述目的，一种基于图像序列的增量式运动结构恢复优化方法，包括以下步骤：

步骤1：获取所需重建物体各个角度的图像；

步骤2：利用SFIT特征点提取和匹配方法对图像进行处理，得到两两图像之间特征点的关系及描述符；

步骤3：使用反向理论研究模型自适应估计阈值对图像之间特征点的异常值即外点进行过滤，并通过约束对图像之间特征点的异常值进行进一步过滤；

步骤4：采用改进的Nister的五点法，利用点到极线距离最小原理排除异解；

步骤5：选择符合约束且经过异常值过滤后异常值占比最低的两幅图像作为初始图像对，并对初始图像中匹配的点进行初始重建，形成初始点云模型，具体步骤如下：

步骤5.1：选择符合约束且经过异常值过滤后异常值占比最低的两幅图像作为初始图像对；

步骤5.2：计算初始化图像对的本质矩阵E；

步骤5.3：使用奇异值分解法求解旋转矩阵R和平移向量T；

步骤5.4：根据本质矩阵E、旋转矩阵R以及平移向量T确定初始图像对的相机位置；

步骤5.5：根据相机位置，利用双视图重建原理进行初始重建；

步骤6：加入新的图像，根据新增图像与点云模型中已有的图像的轨迹关系，计算新增图像的旋转矩阵和平移向量，继续对平面图像中匹配的二维点进行三角化从而计算出三维空间中的位置点，并添加到点云模型中；

步骤7：重复步骤6，直到所有图像中的所有已匹配特征点均已被还原为三维空间中的位置点，得到最终的点云模型；

步骤8：基于捆绑调整算法对点云模型进行优化，具体步骤如下：

步骤8.1：使用全局捆绑调整策略，引入Huber函数作为损失函数，改良捆绑调整模型，并利用改良后的捆绑调整模型对计算出的所有三维空间中的位置点进行修正；

步骤8.2：进行图形完整性检查，在所有的观察射线对中引入最小三角测量角并对轨迹进行重三角测量；

步骤8.3：重复步骤7.1至步骤7.2两次，得到最终重建的的点云模型。

进一步地，所述步骤3中反向理论研究模型自适应估计阈值的计算公式如下：

式中，NFA(M，k)为反向理论研究模型自适应估计阈值，M为输入的图像数据，k为假定的内点联系的数量，N_out为可从RANSAC对应样本中采样估计的模型数目，n为总的关系数量，N_sample为RANSAC样本的主体，e_k(M)为输入的图像数据M在n个对应关系中的第k个最小误差，d为误差维度，α₀为具有1像素误差的随机对应关系的概率。

进一步地，所述步骤3中通过约束对异常值进行进一步过滤，包括如下约束：

约束1：使用五点法核验内点，将通过核验的图像根据内点数量进行排序，排在前n％的图像优先考虑选择为可以用来作为初始图像对的候选图像；

约束2：选择宽基线作为约束条件，弥补短基线匹配技术在深度信息估计方面的不足对重建效果的影响；

所述宽基线约束具体是：两幅图像经特征提取和匹配之后所形成的描述相机位置关系的一条直线，它可以弥补短基线在深度信息还原方面不足所带来对重建效果的影响。

进一步地，所述步骤4中利用点到极线距离最小原理排除异解的具体原理如下：

正确的相机姿态和位置元素对应的本质矩阵经过SVD奇异值分解计算，将第一幅图像上的点投影到第二幅图像上时将该点变为一条极线，第二幅图像上的对应点到该极线的距离最小，第二幅图像到第一幅图像同理，如果是误解，这两个距离的和则不是最小的；

所述相机姿态使用3x3的旋转矩阵R与1x3的平移向量T共同描述，由计算出的本质矩阵E分解得到。

本发明的有益效果：

本发明提出一种基于图像序列的增量式运动结构恢复优化方法，在初始图像对选择过程中使用自适应阈值估计方法，使算法能够自动的根据图像数据的状态调整过滤异常特征点(外点)的值，并引入约束进一步过滤，从而可以获得更精确的初始图像对，以便于确保能够进行鲁棒的初始重建，能够为最终提高整体三维重建质量打下基础；在增量添加迭代过程中使用高效n点透视法(EPNP)方法求解，能有效的提高增量迭代过程的解算效率，提高解算的精度，在一定程度上提高了整个方法的性能；通过优化捆绑调整(BA)方法，进一步提高了模型优化的精确度，解决了增量迭代过程中误差累计导致的问题。

附图说明

图1为本发明实施例中基于图像序列的增量式运动结构恢复优化方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优势更加清晰，下面结合附图和具体实施例对本发明做进一步详细说明。此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种基于图像序列的增量式运动结构恢复优化方法，流程如图1所示，包括以下步骤：

步骤1：获取所需重建物体各个角度的图像；

本实施例中，通过数码相机、手机或无人机等其他设备，对所需重建的物体进行拍摄，获取物体各个角度的图像。

步骤2：利用SFIT特征点提取和匹配方法对图像进行处理，得到两两图像之间特征点的关系及描述符；

步骤3：使用反向理论研究模型自适应估计阈值对图像之间特征点的异常值即外点进行过滤，并通过约束对图像之间特征点的异常值进行进一步过滤；

所述反向理论研究模型自适应估计阈值的计算公式如下：

式中，NFA(M，k)为反向理论研究模型自适应估计阈值，M为输入的图像数据，k为假定的内点联系的数量，N_out为可从RANSAC对应样本中采样估计的模型数目，n为总的关系数量，N_sample为RANSAC样本的主体，e_k(M)为输入的图像数据M在n个对应关系中的第k个最小误差，d为误差维度，α₀为具有1像素误差的随机对应关系的概率。

本实施例中，为了求解上式，还需要引入关于模型M的约束条件，公式如下：

式中，ε通常设为1，结合自适应估计阈值计算公式、约束条件和已知参数，即可计算出自适应估计阈值。

所述通过约束对异常值进行进一步过滤，包括如下约束：

约束1：使用五点法核验内点，将通过核验的图像根据内点数量进行排序，排在前n％的图像优先考虑选择为可以用来作为初始图像对的候选图像；

约束2：选择宽基线作为约束条件，弥补短基线匹配技术在深度信息估计方面的不足对重建效果的影响；

所述宽基线约束具体是：两幅图像经特征提取和匹配之后所形成的描述相机位置关系的一条直线，它可以弥补短基线在深度信息还原方面不足所带来对重建效果的影响。

步骤4：采用改进的Nister的五点法，利用点到极线距离最小原理排除异解；

所述利用点到极线距离最小原理排除异解的具体原理如下：

正确的相机姿态和位置元素对应的本质矩阵经过SVD奇异值分解计算，将第一幅图像上的点投影到第二幅图像上时将该点变为一条极线，第二幅图像上的对应点到该极线的距离最小，第二幅图像到第一幅图像同理，如果是误解，这两个距离的和则不是最小的；

所述相机姿态使用3x3的旋转矩阵R与1x3的平移向量T共同描述，由计算出的本质矩阵E分解得到。

本实施例中，所述利用点到极线距离最小原理排除异解的公式如下：

式中，x_i为第一幅图像中第i个匹配点，x_i’为第二幅图像中与第一幅图像中第i个匹配点对应的匹配点，N为图像中匹配点的总个数，E为本质矩阵，T为转置符号，d(*，*)²表示两点之间的距离。

步骤5：选择符合约束且经过异常值过滤后异常值占比最低的两幅图像作为初始图像对，并对初始图像中匹配的点进行初始重建，形成初始点云模型，具体步骤如下：

步骤5.1：选择符合约束且经过异常值过滤后异常值占比最低的两幅图像作为初始图像对：

步骤5.2：计算初始化图像对的本质矩阵E；

步骤5.3：使用奇异值分解法求解旋转矩阵R和平移向量T；

步骤5.4：根据本质矩阵E、旋转矩阵R以及平移向量T确定初始图像对的相机位置；

步骤5.5：根据相机位置，利用双视图重建原理进行初始重建；

步骤6：加入新的图像，根据新增图像与点云模型中已有的图像的轨迹关系，计算新增图像的旋转矩阵和平移向量，继续对平面图像中匹配的二维点进行三角化从而计算出三维空间中的位置点，并添加到点云模型中；

本实施例中，所述三角化的公式如下：

式中，

表示未知的点坐标，{(w_i)}_i＝1n表示未知点的第i个投影参数，

表示已知的第i个二维点在图像平面上的坐标，其中在第三行添加1是为了便于进行矩阵计算，f_u和f_v均表示相机焦距参数，u_c和v_c表示相机主点相对二维图像平面的位置，α_ij表示灰度质心齐次坐标，由公式的第三行可知，

根据未知和已知参数，该等式可分解为两个线性系统并进行求解，公式如下：

根据如上公式结合点云模型中已有的三维空间位置点，即可求解新添加入点云模型中二维平面图像上未被还原为三维空间中位置的点。

步骤7：重复步骤6，直到所有图像中的所有已匹配特征点均已被还原为三维空间中的位置点，得到最终的点云模型；

步骤8：基于捆绑调整算法对点云模型进行优化，具体步骤如下：

步骤8.1：使用全局捆绑调整策略，引入Huber函数作为损失函数，改良捆绑调整模型，并利用改良后的捆绑调整模型对计算出的所有三维空间中的位置点进行修正；

本实施例中，所述对计算出的所有三维空间中的位置点进行修正的公式如下：

式中，δ_ij表示相机i是否观察到场景点j，若δ_ij＝1表示相机i观察到场景点j，若δ_ij＝0表示相机i没有观察到场景点j，K_i表示相机i的内参矩阵，R_i表示相机i的旋转矩阵，Ci表示相机i的中心，γ(K_i，R_i，C_i，X_j)表示投影函数，x_ij表示确定的二维图像点位置。

步骤8.2：进行图形完整性检查，在所有的观察射线对中引入最小三角测量角并对轨迹进行重三角测量；

本实施例中，所述三角测量角公式如下：

式中，X_ab是已三角化的点。

经过本步骤可以过滤具有大的重投影误差的轨迹，更好的提高计算重建点的深度的准确性，降低误差累计并增强重建的完整性，使计算值更贴近于真实值。

步骤8.3：重复步骤7.1至步骤7.2两次，得到最终重建的的点云模型。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；因而这些修改或者替换，并不使相应技术方案的本质脱离本发明权利要求所限定的范围。

Claims (6)

1.一种基于图像序列的增量式运动结构恢复优化方法，其特征在于，包括以下步骤：

步骤1：获取所需重建物体各个角度的图像；

步骤2：利用SFIT特征点提取和匹配方法对图像进行处理，得到两两图像之间特征点的关系及描述符；

步骤3：使用反向理论研究模型自适应估计阈值对图像之间特征点的异常值即外点进行过滤，并通过约束对图像之间特征点的异常值进行进一步过滤；

步骤4：采用改进的Nister的五点法，利用点到极线距离最小原理排除异解；

步骤5：选择符合约束且经过异常值过滤后异常值占比最低的两幅图像作为初始图像对，并对初始图像中匹配的点进行初始重建，形成初始点云模型；

步骤6：加入新的图像，根据新增图像与点云模型中已有的图像的轨迹关系，计算新增图像的旋转矩阵和平移向量，继续对平面图像中匹配的二维点进行三角化从而计算出三维空间中的位置点，并添加到点云模型中；

步骤7：重复步骤6，直到所有图像中的所有已匹配特征点均已被还原为三维空间中的位置点，得到最终的点云模型；

步骤8：基于捆绑调整算法对点云模型进行优化。

2.根据权利要求1所述的基于图像序列的增量式运动结构恢复优化方法，其特征在于，所述步骤3中反向理论研究模型自适应估计阈值的计算公式如下：

式中，NFA(M，k)为反向理论研究模型自适应估计阈值，M为输入的图像数据，k为假定的内点联系的数量，N_out为可从RANSAC对应样本中采样估计的模型数目，n为总的关系数量，N_sample为RANSAC样本的主体，e_k(M)为输入的图像数据M在n个对应关系中的第k个最小误差，d为误差维度，α₀为具有1像素误差的随机对应关系的概率。

3.根据权利要求1所述的基于图像序列的增量式运动结构恢复优化方法，其特征在于，所述步骤3中通过约束对异常值进行进一步过滤，包括如下约束：

约束1：使用五点法核验内点，将通过核验的图像根据内点数量进行排序，排在前n％的图像优先考虑选择为可以用来作为初始图像对的候选图像；

约束2：选择宽基线作为约束条件，弥补短基线匹配技术在深度信息估计方面的不足对重建效果的影响；

所述宽基线约束具体是：两幅图像经特征提取和匹配之后所形成的描述相机位置关系的一条直线，它可以弥补短基线在深度信息还原方面不足所带来对重建效果的影响。

4.根据权利要求1所述的基于图像序列的增量式运动结构恢复优化方法，其特征在于，所述步骤4中利用点到极线距离最小原理排除异解的具体原理如下：

正确的相机姿态和位置元素对应的本质矩阵经过SVD奇异值分解计算，将第一幅图像上的点投影到第二幅图像上时将该点变为一条极线，第二幅图像上的对应点到该极线的距离最小，第二幅图像到第一幅图像同理，如果是误解，这两个距离的和则不是最小的；

所述相机姿态使用3x3的旋转矩阵R与1x3的平移向量T共同描述，由计算出的本质矩阵E分解得到。

5.根据权利要求1所述的基于图像序列的增量式运动结构恢复优化方法，其特征在于，所述步骤5包括如下步骤：

步骤5.1：选择符合约束且经过异常值过滤后异常值占比最低的两幅图像作为初始图像对；

步骤5.2：计算初始化图像对的本质矩阵E；

步骤5.3：使用奇异值分解法求解旋转矩阵R和平移向量T；

步骤5.4：根据本质矩阵E、旋转矩阵R以及平移向量T确定初始图像对的相机位置；

步骤5.5：根据相机位置，利用双视图重建原理进行初始重建。

6.根据权利要求1所述的基于图像序列的增量式运动结构恢复优化方法，其特征在于，所述步骤8包括如下步骤：

步骤8.1：使用全局捆绑调整策略，引入Huber函数作为损失函数，改良捆绑调整模型，并利用改良后的捆绑调整模型对计算出的所有三维空间中的位置点进行修正；

步骤8.2：进行图形完整性检查，在所有的观察射线对中引入最小三角测量角并对轨迹进行重三角测量；

步骤8.3：重复步骤7.1至步骤7.2两次，得到最终重建的的点云模型。

Images