CN112633293B - 一种基于图分割的三维稀疏点云重建图像集分类方法 - Google Patents

Abstract

本发明属于计算机虚拟现实技术领域，具体涉及一种基于图分割的三维稀疏点云重建图像集分类方法，包括如下步骤：输入图像集，提取图像特征点；根据图像GPS信息构建预匹配图，构成相机图；执行图分割，将含有整个输入图像集的相机图分割成多个子图；将分割后独立的子图的执行图扩展工作，直至子图扩展达到阈值；保存扩展完毕的子图，每个子图都被作为输入，独立执行相机姿态估计工作。本发明能够对大规模场景三维重建任务输入的图像集进行分类，分类后的子图像集并行地执行相机姿态估计工作，能够克服单个机器计算资源限制，保证图像集之间信息的完整性，从而支持对于10平方公里以上的大场景三维重建工作，能够应用于数字城市、测绘等领域。

Description

一种基于图分割的三维稀疏点云重建图像集分类方法

技术领域

本发明属于计算机虚拟现实技术领域，主要用于三维重建、虚拟现实及测绘等领域，具体涉及一种基于图分割的三维稀疏点云重建图像集分类方法。

背景技术

三维重建一直以来都是计算机视觉领域和计算机图形学研究的一个重要问题。基于图像的三维重建技术因其具有的成本低廉、操作简单、逼真性高等优势而逐渐得到研究者的重视，大量的研究成果被广泛应用于科技、文化、交通、经济、娱乐、游戏等各个领域，比如数字城市，实时监控等方面，具有极其深远的研究意义和实用价值。目前重建算法主要是研究在单一的图像、图像序列或者视频中，利用其所包含的信息来恢复出场景或者物体的三维模型。另外，无人机拍摄具有安全、广视角、大尺度、低成本的优点，同时结合倾斜摄影技术，可以获得纹理丰富、高质量的室外大型场景的图像。将无人机航拍的图片与图像三维重建技术相结合，能够对室外场景三维重建问题的研究提供重要的推进作用，具有极其重要的应用价值。这个研究横跨计算机视觉、自动控制等多个专业，能够重建出户外大型场景，提供一个高效、便捷、廉价的三维重建框架，在测绘、数字化城市、军事等方面发挥作用。

当前，科研人员对三维重建技术的各个步骤已进行了大量的研究，但基本都是针对普通小场景所进行的研究，如果将这些针对普通小场景的研究成果直接应用于大规模三维场景的重建将会产生很多很多的问题。这是因为，由于大规模场景重建所需要的图片数量大，运动恢复结构对稀疏点云重建过程中，单个计算机内存和计算能力有限，限制了重建速度，另外，目前的稀疏点云重建方法在重建模型完整性有欠缺，相机姿态细节方面有待提高。

因此，本发明针对大规模场景三维重建任务中的图像集分类工作极具研究意义和应用前景。

发明内容

本发明的目的在于解决现有技术中存在的上述问题，提出了一种基于图分割的三维稀疏点云重建图像集分类方法，能够对大规模场景三维重建任务输入的图像集进行分类，分类后的子图像集并行地执行相机姿态估计工作，能够克服单个机器计算资源限制，合理保证图像集之间信息的完整性，从而支持对于10平方公里以上的大场景三维重建工作，能够应用于虚拟现实、数字城市、测绘等领域。

本发明的技术方案是：

一种基于图分割的三维稀疏点云重建图像集分类方法，包括如下步骤：

(1)输入三维重建图像集，将图像集分配在各个集群节点上，提取图像特征点；

(2)依据步骤(1)中得到的图像特征点，基于无人机航拍图像的GPS信息构成预匹配图结构，然后进行图像匹配和对极几何验证工作，得到鲁棒的图像匹配关系，根据图像匹配关系构成相机图；相机图各个顶点表示图像，边表示图像之间存在匹配关系，边的权重值为图像匹配的特征点数量；

此步骤中，基于GPS信息的图像特征匹配方法，利用GPS信息计算GPS邻居作为图像匹配的过滤条件，使得图像匹配原有的平方时间复杂度优化为近似线性的时间复杂度；

在图像匹配之前，利用GPS信息计算每个相机的空间邻居，根据图像数量以及图像所处位置计算得到每个图像的距离阈值，满足小于距离阈值的图像构成邻居集，每张图像只与本身的邻居集中的图像进行匹配；系统根据输入图像集，自动计算GPS距离阈值D_φ：

其中，max D表示每幅图像相距最远图像的距离；minD表示相距最近图像的距离；N表示输入图像个数；δ_l取值为10-20，优选的，δ_l取值为10。针对大规模场景，利用GPS信息计算空间邻居的方式削减图像匹配的次数，能够保证保留图像匹配关系的同时节省大量时间。

(3)依据步骤(2)得到的相机图进行图分割，将含有整个输入图像集的相机图分割成多个子图，根据集群节点数合理选择需要将相机图分割成的子图数量，按照子图数量分割相机图满足不同子图之间的割去的边权重和最小并且同一子图中边的权重和最大；具体实现方法为：两个子图之间的连接定义为W(A，B)＝∑_{μ∈A，νeB}w(μ，ν)，定义分割程度λ为：

迭代计算，使得λ值取极小值，即可保证相机图满足不同子图之间的割去的边权重和最小并且同一子图中边的权重和最大。

分割后的子图满足：

其中，G_c表示分割后的子图集；G_i，G_j表示子图；|V_i|，|V_j|表示子图中顶点数；N_{l imi t}代表数量阈值；N_{l imi t}取值为1000～2000，优选的，N_{l imi t}取值为1000或2000；不断迭代上述分割方法，直至满足分割条件。

(4)将步骤(3)图分割后得到的所有子图进行扩展，保证子图之间的重合度，每个子图迭代执行扩展工作直至满足扩展阈值；分割后的子图之间不存在重合顶点，因此需要将子图进行扩展来满足子图之间的重合度，用于三维重建后续相机姿态估计工作。每个子图不一定要与其他所有子图都有重合点，但必须保证子图之间的重合比率，才能保证每个子图都能够融合在一起。重合比率并不是子图之间的关系所影响，因此将子图扩展的顶点数与子图现有顶点数的比例作为阈值，子图不断迭代执行扩展工作直至满足扩展阈值。

每个子图必须要有重合的相机才能够完成子图间相机的合成和后续重建工作，因此对于分割后的子图要进行相应的扩展工作。每个子图不一定要与其他所有子图都有重合点，但必须保证子图之间的重合比率，才能保证每个子图都能够融合在一起；对于所有子图G_i：

其中，G_i表示第i个子图，G表示含有所有子图的集合， |V_expansion|表示扩展的相机数，|V_i|表示子图中顶点数，δ_ratio取值为0.5-07，优选的，δ_ratio取值为0.5。

本发明的有益效果：

(1)本发明将输入图像经过图像特征提取和匹配后构成的相机图进行图分割，能够保证根据子图进行后续的相机姿态估计工作满足计算节点资源限制，并且子图内部保留了关键的特征匹配关系，子图之间舍弃了较弱的特征匹配关系；

(2)本发明将分割后的图进行扩展工作，能够保证子图之间的重合关系，并且扩展时恢复高质量的特征匹配关系，能够满足子图进行相机姿态估计计算后保证子图之间的重合度，从而子图的局部相机姿态结果可以融合为全局相机姿态，以供后续三维重建工作使用。

附图说明

图1为本发明所提供的图像集分类方法的流程图；

图2为本发明所提供的选取了11平方公里的数据的图像集分类方法的结果图；

图3为本发明所提供的图像集分类方法生成的稀疏点云结果展示图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了进一步理解本发明，将结合附图和实施例对本发明作进一步的说明。

实施例

一种基于图分割的三维稀疏点云重建图像集分类方法，以三维重建原始图像为输入，对输入图像集进行分类用于满足大规模场景的三维重建任务，如图1流程图所示，具体实现方法步骤如下：

(1)图像特征点提取和匹配

将所有输入的图像传输至各个计算节点，图像特征点提取工作根据每个计算节点的计算资源进行分配，各个计算节点分摊任务并行地进行图像提取工作，最终将所有图像特征点提取结果传输至master节点进行汇总，然后分布传输到各个计算节点上。GPS系统利用定位卫星，在全球范围内实时进行定位和导航，无人机拍摄的每张图像都包含GPS信息，我们可以从图像的EXIF中提取得到这些信息。

GPS坐标是基于WGS84标准的。将WGS84坐标系下GPS坐标记为

其中λ表示经度，

表示纬度，h表示高度，是距离椭圆体表面的高度，而并非海拔。由于 GPS坐标的纬度、经度、高度使用球形模型，需要笛卡尔三维模型才能正确的计算两相机空间上的距离，因此需要将WGS84坐标系转换成ECEF坐标系，通过空间欧几里得距离计算两相机P₁(x₁，y₁，z₁)，P₂(x₂，y₂，z₂)在ECEF坐标系下的距离：

针对输入的图像中的GPS信息进行图像空间距离估算，对于每张图像只和距离最近的部分图像进行图像匹配工作，具体距离阈值计算方式如下：

其中，maxD表示每幅图像的最远距离；minD表示最近距离；N表示输入图像个数。

基于GPS信息的图像匹配方式削减了图像匹配的次数，将图像匹配的时间复杂度从平方降为线性，降低了计算资源的消耗。得到图像匹配关系后，需要进行图像之间的对极几何约束验证，过滤掉推定不准确的匹配关系，最终得到相机图结构，其中各个顶点表示图像，边表示图像之间存在匹配关系，边的权重值为图像匹配的特征点数量。

(2)相机图分割

经过对于大场景图像集的图像提取和匹配工作后，可以得到每张图像之间的匹配关系，因此可以构建出相机图结构G＝(V，E)，其中集合V中顶点表示一张图像，即一个相机，集合E 中连接两个的顶点的边表示两张图像的匹配关系，本发明将一对图像的匹配特征点数量作为边的权重w(u，u)，其中u，v为两个节点。

将图结构分为两个不相交的子集A和B，移除边权重的总和作为A和B两部分的不相似度，定义为割：

w为连接顶点u、v的边的权重函数。为了克服最小化割算法产生小区域和孤立点的缺点，使用一种最小化割算法基础上进行修改的图分割算法。图分割方法公式如下：

其中，

用于表示划分出的子图A中的所有节点与图G中所有节点 V的权值综合，W(B，V)同理。但是分割孤立点的情况，在分割中的值较大。因此有如下定义：

其中，W(A，A)和W(B，B)分别表示A和B中节点之间相互连接的边的权重之和。

反应了定义的平衡性，表示每个分组内节点的关联度。将求分割的最小值问题转化为求分组内的最大关联度的问题。根据计算资源以及保留图像匹配完整性的综合考虑，分割后的子图需要满足以下条件：

其中，G_c表示分割后的子图集；G_i，G_j表示子图；|V_i|，|V_j|表示子图中顶点数；N_{l imi t}代表相机数量阈值，取值为2000。不断迭代上述分割方法，直至满足该分割条件。采用递归算法以上述方式进一步对分割得到的子图进行划分，直至满足终止条件为止。

(3)相机图扩展

每个子图必须要有重合的相机才能够完成子图间相机的合成和后续重建工作，因此对于分割后的子图要进行相应的扩展工作。每个子图不一定要与其他所有子图都有重合点，但必须保证子图之间的重合比率，才能保证每个子图都能够融合在一起。计算得到每个子图经过图分割被舍弃的边，然后将这些边根据图像匹配特征点数量做降序排序，按照顺序将舍弃的点和边加入子图中。由于扩展的新结点也能产生高质量的匹配关系，因此需要循环扩展工作，直至满足扩展阈值，这样能保证子图之间的重合关系，以便子图后续执行相机姿态估计工作得到局部相机姿态，然后融合成统一的全局相机姿态，完成后续的三维重建工作。

对于所有子图G_i：

其中G_i表示第i个子图，G表示含有所有子图的集合，|V_expansion|表示扩展的相机数， |V_i|表示子图扩展前的相机数，δ_ratio取值为0.5。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

上述说明仅为本发明的优选实施例，并非是对本发明的限制，尽管参照前述实施例对本发明进行了详细的说明，对于本领域技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改型等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于图分割的三维稀疏点云重建图像集分类方法，其特征在于，包括如下步骤：

(1)输入图像集，提取图像特征点；

(2)根据图像GPS信息构建预匹配图，执行图像匹配和对极几何约束过滤，最终构成相机图；

(3)根据步骤(2)中的相机图执行图分割，将含有整个输入图像集的相机图分割成多个子图；

(4)将分割后独立的子图执行图扩展工作，保证子图之间的重合度，将子图扩展的顶点数与子图现有顶点数的比例作为阈值，子图不断迭代执行扩展工作直至满足扩展阈值；对于所有子图G_i：

其中，G_i表示第i个子图，G表示含有所有子图的集合，|V_expansion|表示扩展的相机数，|V_i|表示子图中顶点数，δ_ratio取值为0.5～07；

(5)保存扩展完毕的子图，每个子图都被作为输入，独立执行相机姿态估计工作。

2.根据权利要求1所述的分类方法，其特征在于，所述步骤(1)中，输入三维重建图像集，将输入的图像集分配在各个集群节点上，执行特征点提取工作。

3.根据权利要求1所述的分类方法，其特征在于，所述步骤(2)中，依据步骤(1)中得到的图像特征点，基于图像的GPS信息构成预匹配图结构，然后进行图像匹配和对极几何验证工作，得到鲁棒的图像匹配关系，根据图像匹配关系构成相机图。

4.根据权利要求3所述的分类方法，其特征在于，在进行图像匹配之前，利用GPS信息计算每个相机的空间邻居，根据图像数量以及图像所处位置计算得到每个图像的距离阈值D_φ，

其中，maxD表示每幅图像相距最远图像的距离；minD表示相距最近图像的距离；N表示输入图像个数；δ_l取值为10～20；满足小于距离阈值D_φ的图像构成邻居集，每张图像只与本身的邻居集中的图像进行匹配。

5.根据权利要求1所述的分类方法，其特征在于，所述步骤(3)中，依据步骤(2)得到的相机图进行图分割，将含有整个输入图像集的相机图分割成多个子图，根据集群节点数合理选择需要将相机图分割成的子图数量，按照子图数量分割相机图满足不同子图之间的割去的边权重和最小并且同一子图中边权重和最大。

6.根据权利要求5所述的分类方法，其特征在于，图分割的具体实现方法是将两个子图之间的连接定义为W(A，B)＝∑_{μ∈A，νeB}w(μ，ν)，定义分割程度λ为：

迭代计算，使得λ值取极小值，即可保证相机图满足不同子图之间的割去的边权重和最小并且同一子图中边的权重和最大；分割后的子图满足：

其中，G_c表示分割后的子图集；G_i，G_j表示子图；|V_i|，|V_j|表示子图中顶点数；N_limit代表数量阈值；N_limit取值为1000～2000；不断迭代上述分割方法，直至满足分割条件。

Images