CN106600686B - 一种基于多幅未标定图像的三维点云重建方法 - Google Patents

Abstract

本发明公开了一种基于多幅未标定图像的三维点云重建方法，获取物体在不同角度拍摄的图像序列作为输入集合；通过特征提取和匹配得到图像的特征匹配点对，进行稠密扩散处理；选择候选图像的特征点作为种子点向其周围邻域进行匹配扩散并过滤，获得稠密匹配点对；对相机进行标定，结合匹配点对得到其内外参数；根据相机参数及匹配点对恢复出三维模型点；进行重建，选取种子模型点生成初始patch，并在其网格邻域内扩散得到稠密的patch；根据约束条件过滤误差patch，获得精确的稠密三维点云模型。本发明可以快速获得高精度的稠密点云模型，加快模型的生成速度，增加了匹配的稠密性的准确性，增加了三维点云的稠密性和准确性。

Description

一种基于多幅未标定图像的三维点云重建方法

技术领域

本发明属于计算机视觉技术领域，尤其涉及一种基于多幅未标定图像的三维点云重建方法。

背景技术

随着科学技术的迅猛发展，3D立体模型被广泛应用于各种领域。如虚拟现实，视频游戏，电影以动画制作，模式识别，场景理解，文物的保护与恢复，3D打印等。三维重建技术及其带来的技术创新正改变人们生活的方方面面，因此如何改进其过程的各种算法，使得重建过程更加简便可靠具有重大的研究意义。三维重建问题是计算机视觉领域中的重要研究方向之一，其目的是从多幅图像中恢复场景或物体的三维信息，以便后续使用。对于物体而言，进行3D打印之前需要先恢复物体的三维模型信息以便3D打印机进行打印。近几年基于图像序列的三维重建的算法主要分为以下几类：基于体素的重建算法、基于网格的重建算法、基于深度映射的重建算法以及基于面片的重建算法。基于体素的重建方法主要是基于体素颜色、空间雕刻、图切割等实现，一般需要初始化信息，不具有自适应性，重建的精度受到限制。基于网格的重建方法需要包围盒等先验条件得到初始网格，重建速度较慢。基于深度映射的方法以匹配信息为基础，通过多重映射获得三维模型，重建误差较大。基于面片的重建方法，通过面片集合表示物体表面，不需要初始信息，重建结果相对较好。正是由于这种优点，众多学者使用基于面片的方法进行重建。尽管如此，在实际应用中，基于面片的算法重建出的模型仍有很大漏洞容易丢失细节以及边缘信息，而且稠密重建耗时过长。因此，使得点云稠密且同时保证其精度，减少重建时间是一个重要的难题。

综上所述，传统算法过程繁琐、重建精度差、速度慢的问题。

发明内容

本发明的目的在于提供一种基于多幅未标定图像的三维点云重建方法，旨在解决传统算法过程繁琐、重建精度差、速度慢的问题。

本发明是这样实现的，一种基于多幅未标定图像的三维点云重建方法，所述基于多幅未标定图像的三维点云重建方法使用相机、手机等设备获取物体在不同角度拍摄的图像序列作为输入集合；通过特征提取和匹配得到图像的特征匹配点对，其对进行稠密扩散处理；根据稠密扩散方法，选择候选图像的特征点作为种子点向其周围邻域进行匹配扩散并过滤，获得更精确的稠密匹配点对；对相机进行标定，结合匹配点对得到其内外参数；根据相机参数及匹配点对恢复出三维模型点；采用基于patch的稠密扩散方法进行重建，选取种子模型点生成初始patch，并在其网格邻域内扩散得到稠密的patch；根据约束条件过滤误差patch，获得精确的稠密三维点云模型。

进一步，所述稠密扩散方法具体包括：

对参考图的每个特征点f，根据极线约束在候选图像中找到对应的候选匹配点f’。然后利用稠密扩散方法，选择零均值归一化互相关系数ZNCC作为目标函数，计算匹配点对的ZNCC值，并按其大小排序：

其中，x是图像特征点f在图像中对应的坐标信息，x’是图像特征点f’在图像中对应的坐标信息。I(x)和I(x′)表示x坐标和x’坐标的像素亮度。

和

表示以x为中心的图像窗口和以x’为中心的图像窗口W的平均像素亮度；

选取大于阈值μ1的特征点作为种子点进行邻域扩散，选取大于阈值μ2的特征点作为储备匹配点μ1>μ2；对于参考图像的所有匹配点，在候选图像中心固定窗口大小建立一对多的匹配；对于参考图像的点，匹配其他图像的点，建立窗口内所有点的混合匹配；在满足视差梯度约束和置信度约束的前提下，计算扩散匹配点对的ZNCC，筛选大于阈值μ3的扩散点作为种子点进行二次扩散，筛选大于阈值μ4的扩散点作为储备匹配点(μ3>μ4)。

假设u’和u是一对图像匹配点对，x’与x是相邻的另一图像匹配点对，视差梯度约束公式为：

||(u′-u)-(x′-x)||_∞≤ε

其中，ε是视差梯度的阈值。视差梯度约束减少了图像匹配的模糊性。

置信度约束的公式为：

s(x)＝max{|I(x+Δ)-I(x)|,Δ∈{(1,0),(-1,0),(0,1),(0,-1)}}；

采用置信度约束可以提高匹配扩散的可靠性，获得稠密匹配点对。

进一步，对相机标进行标定的过程是根据相机成像原理计算相机内部参数；根据图像序列的特征点和匹配，选取两幅输入图像作为基准，计算基准图像点对的基础矩阵F，其中F满足方程x′Fx＝0(x′和x是一对图像匹配点)；估计基准图像对的内参矩阵初值K′和K，计算图像点对的本质矩阵并提取旋转和平移分量；已知相机的内外参数以及特征匹配点对，利用三角测量求出与特征点对应的三维模型点。

进一步，使用基于patch的稠密重建算法，以稠密扩散得到的三维模型点为候选种子点，生成初始化patch，用基于patch的稠密扩散方法重建三维模型点云；patch是以三维模型点为中心，以该点指向参考图像相机原点的向量为法向量的面片；以patch的法向量和光线夹角、以及patch到参考图像和候选图像投影之间的相关系数为约束条件，筛选满足条件的patch作为扩散的种子patch；对其在网格邻域内进行扩散，对于扩散的patch，使用几何一致性和图像灰度一致性约束进行筛选，生成稠密的三维点云模型。

本发明的另一目的在于提供一种利用所述基于多幅未标定图像的三维点云重建方法建立的3D立体模型。

本发明提供的基于多幅未标定图像的三维点云重建方法，与传统的基于二维图像的三维重建方法相比，针对未标定的多幅图像进行三维点云重建，可以快速获得高精度的稠密点云模型。本发明与传统从二维图像序列恢复三维重建算法相比具有以下优点：在匹配阶段和稠密重建阶段均进行图像序列筛选避免了大量的冗余计算，加快模型的生成速度。采用稠密扩散方法，以候选图像特征点作为种子点，以零均值归一化互相关系数作为匹配标准进行稠密扩散。在满足视差梯度约束和置信度约束的前提下，筛选扩散点作为种子点进行二次扩散，使得种子点数量增加，增加了匹配的稠密性以及准确性。采用基于patch的稠密扩散方法重建三维模型，通过生成初始patch，进行patch扩散和过滤，增加了三维点云的稠密性和准确性。通过结合稠密扩散方法和基于patch的稠密重建方法，获取稠密的匹配点对之后，在使用patch的稠密重建方法扩散时减少了计算三维模型点到二维扩散点对应的过程，减少大量的计算时间，使得速度提升10％。

附图说明

图1是本发明实施例提供的基于多幅未标定图像的三维点云重建方法流程图。

图2是本发明实施例提供的实施例的实施流程图。

图3是本发明实施例提供的稠密扩散示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于多幅未标定图像的三维点云重建方法包括以下步骤：

S101：使用相机、手机等设备获取物体在不同角度拍摄的图像序列作为输入集合；通过特征提取和匹配得到图像的特征匹配点对，其对进行稠密扩散处理；

S102：根据稠密扩散方法，选择候选图像的特征点作为种子点向其周围邻域进行匹配扩散并过滤，获得更精确的稠密匹配点对；对相机进行标定，结合匹配点对得到其内外参数；根据相机参数及匹配点对恢复出三维模型点；

S103:采用基于patch(面片)的稠密扩散方法进行重建，选取种子模型点生成初始patch，并在其网格邻域内扩散得到稠密的patch。根据约束条件过滤误差patch，获得精确的稠密三维点云模型。

下面结合附图对本发明的应用原理作进一步的描述。

如图2所示，使用基于多幅未标定图像的三维点云重建方法，通过以下步骤获得真实场景的三维重建模型：

步骤一、以相机、手机等设备对目标进行多视角拍摄，获取二维图像序列并将其作为输入集合。

步骤二、稠密扩散方法。

使用Harris和DOG算法分别进行特征点提取。以参考图像为基准进行图像序列筛选，选出主光轴与参考图像之间夹角小于60度的图像作为候选图像。对参考图的每个特征点f，根据极线约束在候选图像中找到对应的候选匹配点f’。然后利用稠密扩散方法，选择零均值归一化互相关系数ZNCC作为目标函数，计算匹配点对的ZNCC值，并按其大小排序。

其中，

和

表示以x为中心的图像窗口和以x’为中心的图像窗口W的平均像素亮度。零均值归一化相互关系数ZNCC值越大，表明特征匹配点对的灰度相似性越大，得到的匹配点越好。

在扩散过程中，选取大于阈值μ1的特征点作为种子点进行邻域扩散，选取大于阈值μ2的特征点作为储备匹配点(μ1>μ2)。对于参考图像的所有匹配点，在候选图像中心固定窗口大小建立一对多的匹配。对于参考图像的点，匹配其他图像的点，建立窗口内所有点的混合匹配，如图3所示。假设a中像素点P₂₂和b中的P₁₁为一对匹配点，对其进行扩散。设定窗口大小为N*N，N＝3，则a中窗口内像素点分别和b中窗口的点进行一一匹配，比如P₁₁和P₀₀、P₀₁…进行匹配。在满足视差梯度约束和置信度约束的前提下，计算扩散匹配点对的ZNCC，筛选大于阈值μ3的扩散点作为种子点进行二次扩散，筛选大于阈值μ4的扩散点作为储备匹配点(μ3>μ4)。

假设u’和u是一对图像匹配点对，x’与x是相邻的另一图像匹配点对，视差梯度约束公式为：

||(u′-u)-(x′-x)||_∞≤ε；

其中，ε是视差梯度的阈值。视差梯度约束减少了图像匹配的模糊性。

置信度约束的公式为：

s(x)＝max{|I(x+Δ)-I(x)|,Δ∈{(1,0),(-1,0),(0,1),(0,-1)}}；

采用置信度约束可以提高匹配扩散的可靠性，获得精确的稠密匹配点对。

步骤三、对相机进行标定，结合匹配点对得到其内外参数。根据相机参数和匹配点对，恢复出稠密的三维模型点。

对相机标进行标定的过程是根据相机成像原理计算相机内部参数的过程。根据图像序列的特征点和匹配，选取两幅输入图像作为基准，计算基准图像点对的基础矩阵F，其中F满足方程x′Fx＝0(x′和x是一对图像匹配点)。估计基准图像对的内参矩阵初值K′和K，计算图像点对的本质矩阵并提取旋转和平移分量。已知相机的内外参数以及特征匹配点对，利用三角测量求出与特征点对应的三维模型点。

步骤四、使用基于patch的稠密重建算法重建稠密的三维点云模型。

使用基于patch的稠密重建算法，以稠密扩散得到的三维模型点为候选种子点，生成初始化patch，用基于patch的稠密扩散方法重建三维模型点云。patch是以三维模型点为中心，以该点指向参考图像相机原点的向量为法向量的面片。以patch的法向量和光线夹角、以及patch到参考图像和候选图像投影之间的相关系数为约束条件，筛选满足条件的patch作为扩散的种子patch。对其在网格邻域内进行扩散。扩散条件为邻域内不存在与种子patch相近的或平均相关系数较大的patch。新扩散的patch法向量和种子patch相同，新扩散patch的中心为邻域网格中心的光线和种子patch所在平面的交点。对每幅候选图像按以上所述过程进行扩散，当存在足够数目的候选图像符合扩散条件时，扩散成功。最后，对于扩散的patch，使用几何一致性和图像灰度一致性约束进行筛选，生成稠密的三维点云模型。采用基于patch的稠密重建时，稠密点云的获取需要对图像序列划分网格，网格大小可选，网格越小，获得的点云越稠密。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于多幅未标定图像的三维点云重建方法，其特征在于，所述基于多幅未标定图像的三维点云重建方法使用相机、手机获取物体在不同角度拍摄的图像序列作为输入集合；通过特征提取和匹配得到图像的特征匹配点对，对其进行稠密扩散处理；根据稠密扩散方法，选择候选图像的特征点作为种子点向其周围邻域进行匹配扩散并过滤，获得稠密匹配点对；对相机进行标定，结合匹配点对得到其内外参数；根据相机参数及匹配点对恢复出三维模型点；采用基于patch的稠密扩散方法进行重建，选取种子模型点生成初始patch，并在其网格邻域内扩散得到稠密的patch；根据约束条件过滤误差patch，获得精确的稠密三维点云模型；

所述稠密扩散方法具体包括：

对参考图的每个特征点f，根据极线约束在候选图像中找到对应的候选匹配点f’；然后利用稠密扩散方法，选择零均值归一化互相关系数ZNCC作为目标函数，计算匹配点对的ZNCC值，并按其大小排序：

其中，x是图像特征点f在图像中对应的坐标信息，x’是图像特征点f’在图像中对应的坐标信息；I(x)和I(x′)表示x坐标和x’坐标的像素亮度；

和

表示以x为中心的图像窗口和以x’为中心的图像窗口W的平均像素亮度；

选取大于阈值μ1的特征点作为种子点进行邻域扩散，选取大于阈值μ2的特征点作为储备匹配点，μ1>μ2；对于参考图像的所有匹配点，在候选图像中心固定窗口大小建立一对多的匹配；对于参考图像的点，匹配其他图像的点，建立窗口内所有点的混合匹配；在满足视差梯度约束和置信度约束的前提下，计算扩散匹配点对的ZNCC，筛选大于阈值μ3的扩散点作为种子点进行二次扩散，筛选大于阈值μ4的扩散点作为储备匹配点，μ3>μ4；

假设u’和u是一对图像匹配点对，x’与x是相邻的另一图像匹配点对，视差梯度约束公式为：

||(u′-u)-(x′-x)||_∞≤ε

其中，ε是视差梯度的阈值；视差梯度约束减少了图像匹配的模糊性；

置信度约束的公式为：

s(x)＝max{|I(x+Δ)-I(x)|,Δ∈{(1,0),(-1,0),(0,1),(0,-1)}}；

采用置信度约束可以提高匹配扩散的可靠性，获得稠密匹配点对。

2.如权利要求1所述的基于多幅未标定图像的三维点云重建方法，其特征在于，对相机标进行标定的过程是根据相机成像原理计算相机内部参数；根据图像序列的特征点和匹配，选取两幅输入图像作为基准，计算基准图像点对的基础矩阵F，其中F满足方程x′Fx＝0，x′和x是一对图像匹配点；估计基准图像对的内参矩阵初值K′和K，计算图像点对的本质矩阵并提取旋转和平移分量；已知相机的内外参数以及特征匹配点对，利用三角测量求出与特征点对应的三维模型点。

3.如权利要求1所述的基于多幅未标定图像的三维点云重建方法，其特征在于，使用基于patch的稠密重建算法，以稠密扩散得到的三维模型点为候选种子点，生成初始化patch，用基于patch的稠密扩散方法重建三维模型点云；patch是以三维模型点为中心，以该点指向参考图像相机原点的向量为法向量的面片；以patch的法向量和光线夹角、以及patch到参考图像和候选图像投影之间的相关系数为约束条件，筛选满足条件的patch作为扩散的种子patch；对其在网格邻域内进行扩散，对于扩散的patch，使用几何一致性和图像灰度一致性约束进行筛选，生成稠密的三维点云模型。

4.一种基于多幅未标定图像的三维点云重建系统，用来执行如权利要求1～3任意一项所述的基于多幅未标定图像的三维点云重建方法。

Images