CN115661495B - 一种紧凑划分及多层次合并策略的大规模SfM方法 - Google Patents

Abstract

本发明公开了一种紧凑划分及多层次合并策略的大规模SfM方法，包括S1、构建多因子联合归一化函数，并结合归一化割公式，实现图像聚类；S2、用完备率引导的簇间均衡图像扩展算法对子簇进行图像扩展；S3、采用全局式GlobalACSfM方法完成子簇的局部稀疏重建；S4、对子簇的系数评定结果进行质量评定；S5、进行顾及子簇连通性的多层次子簇合并；S6、采用Ceres Solvers库对合并后的结果做一次全局束调整。优点是：能够成功完成稀疏重建，且注册图像数、恢复的结构点数和重投影误差等主要精度指标均表现优异，稳健性较高，效率高。

Description

一种紧凑划分及多层次合并策略的大规模SfM方法

技术领域

本发明涉及摄影测量与计算机视觉技术领域，尤其涉及一种紧凑划分及多层次合并策略的大规模SfM方法。

背景技术

运动恢复结构(structure from motion,SfM)是从一组非结构化图像中估计三维场景结构和相机姿态的过程，在三维重建流程中又被称为稀疏重建。目前，SfM被广泛应用于许多领域，例如地球科学、增强现实、自然地理学、考古学以及自动导航。SfM主要包括三个部分：特征提取与匹配，初始相机姿态估计以及束调整。其中，根据初始相机姿态估计方式的不同，SfM方法可大致分为增量式、全局式和混合式。混合式方法将增量式和全局式方法相结合，即划分-合并的策略，具有高效率、处理大规模数据的特点，且有效的避免了误差累积甚至场景漂移和内存瓶颈。

根据划分-合并策略的不同，混合式方法可分为层次方法和平面方法。层次方法将分层凝聚聚类技术用于大规模数据集的场景划分与合并，但该类方法需要对凝聚树的叶节点初始化，采用自下而上的方式进行场景重建和合并，因此缺乏全局视角；并且划分的子图数量较多，容易导致冗余计算和合并失败。平面方法将数据集划分为几个大小相当的子簇，可使用多核技术或在分布式计算系统上执行小场景的并行重建，合并规则较为简单。有学者利用归一化割将数据集划分为多个平面子图并根据相关性进行图扩展，在每个子图独立重建后，利用连接图像之间的核线关系来合并整个场景的完整重建；有学者在子图聚类时提出完备率及大小约束两个概念，不仅限制各子图地规模而且保证相邻子图具备足够的重叠度；有学者引入矩阵带宽缩减算法进行子图划分，该算法的引入解决了归一化割带来的子图割裂问题。然而，已有平面方法至少存在两个方面问题：一方面，子簇图像存在不紧凑(连接度弱)的问题，容易导致子簇稀疏重建时图像剔除过多甚至失败。此外，利用图像扩展增加与邻居子簇的重叠度时，扩展效率不高且没有顾及子簇连通性；另一方面，子簇合并时需选择基准簇且合并路径过长，容易导致整个场景的稀疏重建失败。

发明内容

本发明的目的在于提供一种紧凑划分及多层次合并策略的大规模SfM方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种紧凑划分及多层次合并策略的大规模SfM方法，包括如下步骤，

S1、构建多因子联合归一化函数，并结合归一化割公式，实现图像聚类：

利用构建的多因子联合归一化函数计算图的边权重，并利用归一化分割公式对已赋值边权重的图进行切割，完成图像聚类，形成紧凑的子簇；

S2、用完备率引导的簇间均衡图像扩展算法对子簇进行图像扩展：

基于所有子簇对的丢失的边的信息，分配待添加丢失的边对应的图像，利用多因子联合的归一化函数计算簇对丢失的边对应的像对的连接值，并基于连接值大小，逐一将图像添加到子簇中直至满足待添加图像数量；

S3、采用全局式GlobalACSfM方法完成子簇的局部稀疏重建；

S4、对子簇的系数评定结果进行质量评定：

根据子簇稀疏重建结果的影像注册数与预设百分比的该子簇影像规模之间的大小关系，确定子簇局部稀疏重建是否失败；并对重建失败的子簇再次进行局部稀疏重建；

S5、进行顾及子簇连通性的多层次子簇合并：

从由局部稀疏重建成功的子簇构成的待合并子簇集合中选择数量最多的子簇作为待合并子簇，从与该待合并子簇成簇对的子簇中选择出优先级最高的邻居子簇与该待合并子簇组成待合并簇对，根据邻居子簇的合并情况，执行合并操作；

S6、采用Ceres Solvers库对合并后的结果做一次全局束调整。

优选的，步骤S1具体包括如下内容，

S11、将每张图像视为图的一个节点，图中的边表示图像之间的连接性，构建多因子联合归一化函数，计算图的边权重，即像对中两张图像的连接值，进而衡量像对中两张图像的连接性强弱程度；所述多因子联合归一化函数如下，

E_weight(i，j)＝α*∑homo(i，j)+β*∑area(i，j)+γ*neigNum

其中，E_weight(i，j)为像对中图像i和图像j的连接值；∑homo(i，j)为像对同名点数量；∑area(i，j)为两张图像的重叠的像素总数；neigNum为两张图像的共同邻居数量；α、β、γ分别为三个因子分配的不同权重；

S12、基于步骤S11中计算得到图的边权重，使用归一化割公式对已赋值边权重的图进行切割，对节点完成聚类，令场景中的图像根据对应节点的归属划分为不同的群体，进而完成场景中图像数据的划分任务，形成紧凑的子簇；所述归一化分割公式为，

其中，cut(A，B)为A、B两个子簇间割断的边权重之和，cut(A，B)＝∑_{μ∈A，v∈B}ω(μ，v)，ω为连接节点μ、v的边权重；assoc(A，V)为图中所有与子簇A相连接的边权重之和，assoc(A，V)＝∑_{u∈A，t∈V}w(u，t)；assoc(B，V)为图中所有与子簇B相连接的边权重之和，assoc(B，V)＝∑_{u∈B，t∈V}w(u，t)；V为图中的节点集合，w为与子簇A相连接的边权重，u和t分别表示图中某一边的起始节点和终端节点。

优选的，步骤S2具体包括如下内容，

S21、统计所有子簇对的丢失的边的信息；计算公式为，

其中，K为子簇的数量；k₁，k₂为簇对中的两个子簇，

为簇对的丢失的边的集合；E_lost为所有子簇对的丢失的边的数量；i为图像编号；

S22、分配待添加丢失的边对应的图像；计算公式为，

其中，E_{lost(k1，k2)}为簇对k₁，k₂的丢失的边的数量；∑_(k1，k2…)E_lost为与当前子簇k₁相关的所有簇对的丢失的边的总数；N_{expand(k1，k2)}为待添加的图像数量；NT_expand为当前子簇需要扩展图像的总数；

S23、利用多因子联合归一化函数计算簇对丢失的边对应的像对的连接值，并按照连接值从大到小依次排序，逐一将图像添加到子簇中直至满足待添加的图像数量。

优选的，步骤S4具体包括如下内容，

S41、统计子簇稀疏重建结果的影像注册数；

S42、若子簇稀疏重建结果的影像注册数少于预设百分比的该子簇影像规模，则判定该子簇局部稀疏重建失败；

S43、选择重建失败的子簇的邻域子簇中重投影误差最小的一组相机内参及畸变参数作为该子簇的相机内参与畸变参数，再次对该子簇进行局部稀疏重建。

优选的，步骤S5具体包括如下内容，

S51、将局部稀疏重建成功的子簇添加到待合并子簇集合；

S52、从待合并子簇集合中选择邻居簇数量最多的子簇作为待合并子簇，统计与该待合并子簇成簇对的所有子簇，将簇对的共同图像数量作为合并权重进行优先级排序，选出优先级最高的邻居子簇与待合并子簇组成待合并簇对；

S53、根据邻居子簇的合并情况，执行合并操作；

若两个子簇均未被执行合并操作，则收集当前簇对的共同图像的特征点，利用特征点对应的三维结构点进行对齐变换，将两子簇包含的相机内参、图像及其外参、三维结构点合并为一个新的簇块，分别将两个子簇共同相机内参与簇块的三维结构点结合后进行后方交会，计算出重投影误差，将重投影误差较小的一组作为簇块的相机内参；

若邻居子簇已被执行合并操作，则查找并确定要与子簇合并的簇块，收集当前子簇与簇块的共同图像的特征点，利用特征点对应的三维结构点进行对齐变换，将子簇的相机内参、图像及其外参、三维结构点合并到簇块，子簇、簇块共同相机内参与簇块的三维结构点结合进行后方交会，计算出重投影误差，将重投影误差较小的一组作为簇块的相机内参；

S54、将S53中已被合并的子簇从待合并子簇集合中删除，循环执行上述S52-S53，直到所有的子簇全被合并；

S55、对簇块进行合并直至形成一个完整的场景，合并过程与S54相同。

本发明的有益效果是：1、本发明方法通过构建多因子联合的归一化割函数和以完备率引导的子簇间均衡图像扩展算法完成子簇划分，在集群并行框架下采用全局式GlobalACSfM方法完成子簇的局部稀疏重建，制定顾及子簇连通性的多层次合并规则完成子簇合并，解决现有混合式SfM方法存在的子簇划分不紧凑和子簇合并鲁棒性不强的问题。2、本发明方法能够成功完成稀疏重建，且注册图像数、恢复的结构点数和重投影误差等主要精度指标均表现优异，稳健性较高，效率高。

附图说明

图1是本发明实施例中方法的流程示意图；

图2是本发明实施例中子簇合并示意图；

图3是本发明实施例中图像聚类结果对比图，(a)为GraphSfM方法划分结果，数据集为Area6，子簇划分规模为1800，(b)为本发明方法划分结果，数据集为Area6，子簇划分规模为1800，(c)为GraphSfM方法划分结果，数据集为Area5，子簇划分规模为1000；(d)为本发明方法划分结果，数据集为Area5，子簇划分规模为1000，(e)为GraphSfM方法划分结果，数据集为Area7，子簇划分规模为5000，(f)为本发明方法划分结果，数据集为Area7，子簇划分规模为5000；

图4是本发明实施例中无向图展示的子簇中图像扩展结果示意图，(a)为GraphSfM方法图像扩展结果，数据集为Area6，子簇划分规模为1800，(b)为本发明方法图像扩展结果，数据集为Area6，子簇划分规模为1800，(c)为GraphSfM方法图像扩展结果，数据集为Area5，子簇划分规模为1000，(d)为本发明方法图像扩展结果，数据集为Area5，子簇划分规模为1000，(e)为GraphSfM方法图像扩展结果，数据集为Area7，子簇划分规模为5000，(f)为本发明方法图像扩展结果，数据集为Area7，子簇划分规模为5000；

图5是本发明实施例中不同方法的子簇合并结果图；

图6是本发明实施例中大规模航空数据集重建结果示意图，(a)为稀疏重建结果的整体图，(b)为稀疏重建结果的局部细节图，(c)为三维模型重建结果的整体图，(d)为三维模型重建结果的细节图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，本实施例中，提供了一种紧凑划分及多层次合并策略的大规模SfM方法，该方法包括五部分内容，下面对这五部分内容展开说明。

一、构建多因子联合归一化函数，并结合归一化割公式，实现图像聚类；

即利用构建的多因子联合归一化函数计算图的边权重，并利用归一化分割公式对已赋值边权重的图进行切割，完成图像聚类，形成紧凑的子簇；

该部分内容对应步骤S1，具体包括，

S11、将每张图像视为图的一个节点，图中的边表示图像之间的连接性，构建多因子联合归一化函数，计算图的边权重，即像对中两张图像的连接值，进而衡量像对中两张图像的连接性强弱程度；所述多因子联合归一化函数如下，

E_weight(i，j)＝α*∑homo(i，j)+β*∑area(i，j)+γ*neigNum

其中，E_weight(i，j)为像对中图像i和图像j的连接值(即图的边权重)；∑homo(i，))为像对同名点数量；∑area(i，j)为两张图像的重叠的像素总数；neigNum为两张图像的共同邻居数量；α、β、γ分别为三个因子分配的不同权重；

S12、基于步骤S11中计算得到图的边权重，边权重即为图中边的权重值；使用归一化割公式对已赋值边权重的图进行切割，对节点完成聚类，令场景中的图像根据对应节点的归属划分为不同的群体，进而完成场景中图像数据的划分任务，形成紧凑的子簇；所述归一化分割公式为，

其中，cut(A，B)为A、B两个子簇间割断的边权重之和，cut(A，B)＝∑_{μ∈A，v∈B}ω(μ，v)，ω为连接节点μ、v的边权重；assoc(A，V)为图中所有与子簇A相连接的边权重之和，assoc(A，V)＝∑_{u∈A，t∈V}w(u，t)；assoc(B，V)为图中所有与子簇B相连接的边权重之和，assoc(B，V)＝∑_{u∈B，t∈V}w(u，t)；V为图中的节点集合，w为与子簇A相连接的边权重，u和t分别表示图中某一边的起始节点和终端节点。

二、用完备率引导的簇间均衡图像扩展算法对子簇进行图像扩展

即基于所有子簇对的丢失的边的信息，分配待添加丢失的边对应的图像，利用多因子联合的归一化函数计算簇对丢失的边对应的像对的连接值，并基于连接值大小，逐一将图像添加到子簇中直至满足待添加图像数量。

该部分内容对应步骤S2，具体包括，

S21、统计所有子簇对的丢失的边的信息；计算公式为，

其中，K为子簇的数量；k₁，k₂为簇对中的两个子簇，

为簇对的丢失的边的集合；E_lost为所有子簇对的丢失的边的数量；i为图像编号；

S22、分配待添加丢失的边对应的图像；计算公式为，

其中，E_{lost(k1，k2)}为簇对k₁，k₂的丢失的边的数量；∑_(k1，k2…)E_lost为与当前子簇k₁相关的所有簇对的丢失的边的总数；N_{expand(k1，k2)}为待添加的图像数量；NT_expand为当前子簇需要扩展图像的总数；

S23、利用多因子联合归一化函数计算簇对丢失的边对应的像对的连接值，并按照连接值从大到小依次排序，逐一将图像添加到子簇中直至满足待添加的图像数量。

三、采用全局式GlobalACSfM方法完成子簇的局部稀疏重建。

四、对子簇的系数评定结果进行质量评定

即根据子簇稀疏重建结果的影像注册数与预设百分比的该子簇影像规模之间的大小关系，确定子簇局部稀疏重建是否失败；并对重建失败的子簇再次进行局部稀疏重建。

该部分内容对应步骤S4，具体包括，

S41、统计子簇稀疏重建结果的影像注册数；

S42、若子簇稀疏重建结果的影像注册数少于预设百分比的该子簇影像规模，则判定该子簇局部稀疏重建失败；

S43、选择重建失败的子簇的邻域子簇中重投影误差最小的一组相机内参及畸变参数作为该子簇的相机内参与畸变参数，再次对该子簇进行局部稀疏重建。

五、进行顾及子簇连通性的多层次子簇合并

即从由局部稀疏重建成功的子簇构成的待合并子簇集合中选择数量最多的子簇作为待合并子簇，从与该待合并子簇成簇对的子簇中选择出优先级最高的邻居子簇与该待合并子簇组成待合并簇对，根据邻居子簇的合并情况，执行合并操作。

该部分内容对应步骤S5，具体包括，

S51、将局部稀疏重建成功的子簇添加到待合并子簇集合；

S52、从待合并子簇集合中选择邻居簇数量最多的子簇作为待合并子簇，统计与该待合并子簇成簇对的所有子簇，将簇对的共同图像数量作为合并权重进行优先级排序，选出优先级最高的邻居子簇与待合并子簇组成待合并簇对；

S53、根据邻居子簇的合并情况，执行合并操作；

若两个子簇均未被执行合并操作，则收集当前簇对的共同图像的特征点，利用特征点对应的三维结构点进行对齐变换，将两子簇包含的相机内参、图像及其外参、三维结构点合并为一个新的簇块，分别将两个子簇共同相机内参与簇块的三维结构点结合后进行后方交会，计算出重投影误差，将重投影误差较小的一组作为簇块的相机内参；

若邻居子簇已被执行合并操作，则查找并确定要与子簇合并的簇块，收集当前子簇与簇块的共同图像的特征点，利用特征点对应的三维结构点进行对齐变换，将子簇的相机内参、图像及其外参、三维结构点合并到簇块，子簇、簇块共同相机内参与簇块的三维结构点结合进行后方交会，计算出重投影误差，将重投影误差较小的一组作为簇块的相机内参；

S54、将S53中已被合并的子簇从待合并子簇集合中删除，循环执行上述S52-S53，直到所有的子簇全被合并；

S55、对簇块进行合并直至形成一个完整的场景，合并过程与S54相同。

六、采用Ceres Solvers库对合并后的结果做一次全局束调整。

实施例二

本实施例中，本发明方法中建立顾及子簇连通性的多层次合并规则，不再需要选择基准簇，考虑全局视角，进行多层次子簇合并。结合附图2具体说明。

整个场景数据被划分为9个子簇{k₁，k₂，k₃…，k₉}。依据合并规则，首先对9个子簇进行简单的质检，假设子簇全部合格，即待合并子簇集合G＝{k₁，k₂，k₃…，k₉}；然后从G中选取连通性最好的k₇作为第一个待合并的子簇，并与共同图像数量最多的邻居子簇k₆组成簇对，执行合并操作形成簇块b1，并将k₆和k₇从G中移除；同理，从G中选取k₄作为待合并的子簇，k₅为k₄组成簇对，执行合并操作形成簇块b₂，并将k₄和k₅从G中移除；然后，k₃与k₄形成簇对，但k₄已被合并到b₂，此时k₃要与b₂执行合并操作形成簇块b₃，同理k₁合并到b₃形成簇块b₄，k₈合并到b₁形成簇块b₅，k₉合并到b₄形成簇块b₆，k₂合并到b₆形成簇块b₇；最终，将仅剩的两个簇块b₅和b₇合并为一个整体S₁，结束合并过程。

本实施例中，为了更好的说明本发明方法的效果，利用多组不同规模大小的公开数据集和实地采集的倾斜摄影数据集为例进行实验验证。实验数据的详细参数如表1和表2所示。

本发明中子簇的局部SfM可采用集群架构进行并行计算，实验运行环境为一个主节点、五个子节点组成的计算集群，其中，主节点为一台工作站，Windows 10 64-bit操作系统，Intel Core i7-11700X CPU(主频为2.50GHz)，64GB内存；子节点为普通台式机，Windows 10 64-bit操作系统，Intel Core Gold6132 CPU(主频为2.60GHz)，646B内存。

表1公开数据集

表2倾斜摄影数据集

本实施例中，结合附图3，具体说明本发明方法在面对高重叠度、大倾角的多视图像划分时，图像聚类结果不会包含连接度较弱或空间割裂的像对。

图3(a)(b)对应的倾斜数据集为Area6，该数据具有采集高度较高、地面分辨率(GSD)较大等特点，像对间较容易出现大倾角的情况。在相同的子簇划分规模下，GraphSfM方法容易将连接性较弱的图像划分到一个子簇中，划分结果较为松散甚至出现空间割裂。图3(a)中左上角展示的GraphSfM子簇划分整体情况，相邻子簇包含的图像的位置存在空间重叠的情况；A1和A2两个子簇中均出现了航带中的图像连续缺失的松散现象；A4、A5和A6三个子簇中包含的图像呈现出了2～3个小聚集性群体，均出现了空间割裂现象。图3(b)中的左上角展示的为本发明方法子簇划分整体情况，D1～D6展示的6个子簇的图像位置分布情况，均没有出现图像松散或空间割裂现象，子簇划分结果较为紧凑。

图3(c)(d)对应的倾斜数据集为Area5，在采集数据时使用的是井字行航线规划；图3(e)(f)对应的倾斜数据集为Area7，在采集数据时使用的是五向飞行航线规划。两个数据集的GraphSfM方法的子簇划分结果均出现了不同程度的图像松散或空间割裂现象，而本发明方法的划分结果紧凑性较好且适应性较强。

本实施例中，为验证本发明方法改进了图像扩展时子簇间的连通性不强和效率低等问题，使用实验数据Area5、Area6、Area7，基于本发明图像聚类方法的子簇划分结果，分别利用GraphSfM方法和本发明中的图像扩展算法对邻居子簇之间添加重复的图像，保证相邻子簇间的连通性。本发明实施例中设置子簇完备率η＝0.5，统计与子簇有连通关系(存在重复图像)的邻居子簇数量以及二者之间的重复图像数量。结合图4进行说明。

图4(b)(d)均比图4(a)(c)中节点之间的连线数量多，图4(f)和图4(e)中节点之间的连线数量相等，表明在图像扩展连通性方面本发明要优于GraphSfM方法；重复图像分配方面，对比节点之间的连线上附属的数字，如图4(a)和图4(b)，可以看出，本发明分配图像数量较GraphSfM方法更均衡。

本发明提出了完备率引导的簇间均衡图像扩展算法，为验证本发明图像扩展算法在效率方面的优越性，本发明实施例中选择Area3、Area6、Area7、Area8、Area9等五组不同规模的数据，统计本发明与GraphSfM方法在图像扩展阶段的消耗时间，如表3中所示。

表3图像扩展效率统计

从表3可以看出，本发明的图像扩展算法效率在不同规模的数据集上均比GraphSfM方法快，且随着数据集规模(图像数量)的增大，本发明在效率方面的优势愈加显著。如表3中Area3，图像数量为2776张，本发明的图像扩展消耗时间仅为GraphSfM方法的1.58％；数据Area9，图像数量为48335张，本发明的图像扩展消耗时间仅为GraphSfM方法的0.024％。这主要是由于本发明的图像扩展采用了预分配策略，避免了在扩展过程中频繁调整待添加的子簇以及分配图像数。

本实施例中，本发明提出了顾及子簇连通性的多层次子簇合并规则。为验证本发明方法在子簇合并方面的稳健性，本发明实施例中，利用两组公开数据集Echillais-Chuich、Granham-Hall和一组倾斜摄影数据集Area3作为实验数据，将本发明与增量式SfM方法Colmap、全局式SfM方法OpenMVG以及混合式SfM方法3Df和GraphSfM进行实验效果对比，统计子簇合并精度。结合图5和表4进行说明。

表4子簇合并精度统计

表中，Nc:注册图像数；Np:结构点数；Err:重投影误差(MSE)，单位为像素。

结合图5和表4可以看出，对于Echillais-Church数据，五种方法均可以重建成功，重投影误差均小于0.5个像素。但是，对于Graham-Hall数据，3Df方法和GraphSfM方法均重建失败，从表4中可以看出GraphSfM方法的成功注册图像数量太少，从图5中可以看出合并结果出现了混乱，主要是由于子簇合并时连通性较差导致子簇间的重复图像数量和共同结构点太少，无法计算精确的齐次坐标转换参数。其次，对于Area3数据，GraphSfM方法的合并后场景同样不完整，从表4中可以看出GraphSfM方法的成功注册图像数量较少，失败原因同上。而本发明在三组数据上的表现优异，子簇合并均成功，在场景重建的注册图像数量和重投影误差等方面，与先进的增量式Colmap方法和全局式OpenMVG方法相当。

本实施例中，为验证本发明的整体性能，利用公开数据集和倾斜摄影数据集，将本发明与两种最为先进的增量式SfM方法Colmap、全局式SfM方法OpenMVG、混合式SfM方法3Df和GraphSfM分别进行重建精度和效率两个方面的对比分析。实验在单台计算节点上完成，实验结果如表5、6、7和8所示。

表5公开数据集精度统计

表中，Nc：注册图像数，Np：结构点数；Err：重投影误差(MSE)，单位为像素，---表示重建失败。

表6倾斜摄影数据集精度统计

表中，Nc：注册图像数，Np：结构点数；Err：重投影误差(MSE)，单位为像素，---表示重建失败，***表示重建时间超过十五天。

表7公开数据集效率统计

表中，T_P：局部重建时间，T_Meg：子簇合并时间，T_BA：全局束调整时间，T_∑：总时间。-表示不需要合并操作，如3Df小于1000张图像时不执行场景划分，不再统计时间，---表示失败，时间单位：秒。

表8倾斜摄影数据集效率统计

表中，T_P：局部重建时间，T_Meg：子簇合并时间，T_BA：全局束调整时间，T_∑：总时间。-表示不需要合并操作，如3Df小于1000张图像时不执行场景划分，不再统计时间，---表示失败，时间单位：秒。

从表5、6可以看出，无论在公开数据集还是在倾斜摄影数据集上的表现，本发明均能够成功完成稀疏重建，且注册图像数、恢复的结构点数和重投影误差等主要精度指标均表现优异，稳健性较高；GraphSfM在两类数据集上都出现了稀疏重建失败的情况，比如表5中的Graham-Hall和表6中的Area3、Area4的处理结果。本发明对以上三方面问题都提出了有效的解决方案，说明本发明能够成功稀疏重建且精度表现优异。

先进的Colmap方法在公开数据集上表现较好，但在倾斜摄影数据集上，随着图像数据的增大，当图像数量超过5000张时出现了重建时间超长的现象，如表6中表示为星号的Area4和Area6；先进的OpenMVG方法在对公开数据集Graham-Hall进行稀疏重建时，也出现了失败的情况；作为开源的混合式SfM方法的典型代表3Df，在稳健性方面表现也不佳。

在效率方面，从表7和表8可以看出：无论在公开数据集和倾斜摄影数据集，本发明的局部重建时间与总时间并不是最快的(3Df方法最快)，但随着数据量的增大，本发明的时间优势越来越显著。以图像数为637张的Area2和图像数为10500张的Area10为例，Area2数据耗时最少的方法为3Df方法，Area10数据耗时最少的方法为本发明方法。与同样采用平面混合式SfM框架的GraphSfM相比，本发明的效率较高，局部重建的时间是GraphSfM的90.3％～12.0％。

本实施例中，为验证本发明在大规模数据集上的表现，本发明实施例中，以Area6、Area7、Area8和Area9作为实验数据，统计稀疏重建的精度和效率。因实验数据的规模较大，将本发明集成到中国测绘科学研究院研制的IMS自动化三维重建软件的集群架构进行并行计算。大规模影像数据集重建结果定量表示如表9所示，实验效果结合图6进行说明。

表9大规模影像数据集重建结果

表中，N：影像数，Nc：注册图像数，Np：结构点数，Err：重投影误差(MSE)，T：重建时间，单位为分钟。

在上述集群模式下，本发明能够在满足精度的前提下，以较高的计算效率完成稀疏重建，展示了本发明在大规模数据集上的出色表现。以数据集Area7为例，图像总数为34435张，成功注册图像数为33961张，重投影误差仅为0.35像素，重建(子簇划分、子簇局部重建与子簇合并的总和)时间为1038分钟。图6为Area7数据集的重建结果，从图6(a)最右边的局部细节图可以看出，三维模型的质量高(轮廓清晰、真实)，也反映出本发明稀疏重建的高精度。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明提供了一种紧凑划分及多层次合并策略的大规模SfM方法，通过构建多因子联合的归一化函数和以完备率引导的子簇间均衡图像扩展算法完成子簇划分，在集群并行框架下采用全局式GlobalACSfM方法完成子簇的局部稀疏重建，制定顾及子簇连通性的多层次合并规则完成子簇合并，解决现有混合式SfM方法存在的子簇划分不紧凑和子簇合并鲁棒性不强的问题。本发明方法能够成功完成稀疏重建，且注册图像数、恢复的结构点数和重投影误差等主要精度指标均表现优异，稳健性较高，效率高。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (4)

1.一种紧凑划分及多层次合并策略的大规模SfM方法，其特征在于:包括如下步骤，

S1、构建多因子联合归一化函数，并结合归一化割公式，实现图像聚类：

利用构建的多因子联合归一化函数计算图的边权重，并利用归一化割公式对已赋值边权重的图进行切割，完成图像聚类，形成紧凑的子簇；步骤S1具体包括如下内容，

S11、将每张图像视为图的一个节点，图中的边表示图像之间的连接性，构建多因子联合归一化函数，计算图的边权重，即像对中两张图像的连接值，进而衡量像对中两张图像的连接性强弱程度；所述多因子联合归一化函数如下，

E_weight(i,j)＝α*∑homo(i,j)+β*∑area(i,j)+γ*neigNum

其中，E_weight(i,j)为像对中图像i和图像j的连接值；∑homo(i,j)为像对同名点数量；∑area(i,j)为两张图像的重叠的像素总数；neigNum为两张图像的共同邻居数量；α、β、γ分别为三个因子分配的不同权重；

S12、基于步骤S11中计算得到图的边权重，使用归一化割公式对已赋值边权重的图进行切割，对节点完成聚类，令场景中的图像根据对应节点的归属划分为不同的群体，进而完成场景中图像数据的划分任务，形成紧凑的子簇；所述归一化割公式为，

其中，cut(A,B)为A、B两个子簇间割断的边权重之和，cut(A,B)＝∑_μ∈A,v∈Bω(μ,v)，ω为连接节点μ、v的边权重；assoc(A,V)为图中所有与子簇A相连接的边权重之和，assoc(A,V)＝∑_u∈A,t∈Vw(u,t)；assoc(B,V)为图中所有与子簇B相连接的边权重之和，assoc(B,V)＝∑_u∈B,t∈Vw(u,t)；V为图中的节点集合，w为与子簇A相连接的边权重，u和t分别表示图中某一边的起始节点和终端节点；

S2、用完备率引导的簇间均衡图像扩展算法对子簇进行图像扩展：

基于所有子簇对的丢失的边的信息，分配待添加丢失的边对应的图像，利用多因子联合的归一化函数计算簇对丢失的边对应的像对的连接值，并基于连接值大小，逐一将图像添加到子簇中直至满足待添加图像数量；

S3、采用全局式GlobalACSfM方法完成子簇的局部稀疏重建；

S4、对子簇的系数评定结果进行质量评定：

根据子簇稀疏重建结果的影像注册数与预设百分比的该子簇影像规模之间的大小关系，确定子簇局部稀疏重建是否失败；并对重建失败的子簇再次进行局部稀疏重建；

S5、进行顾及子簇连通性的多层次子簇合并：

从由局部稀疏重建成功的子簇构成的待合并子簇集合中选择邻居簇数量最多的子簇作为待合并子簇，从与该待合并子簇成簇对的子簇中选择出优先级最高的邻居子簇与该待合并子簇组成待合并簇对，根据邻居子簇的合并情况，执行合并操作；

优先级的确定方式为，将簇对的共同图像数量作为合并权重进行优先级排序；

S6、采用Ceres Solvers库对合并后的结果做一次全局束调整。

2.根据权利要求1所述的紧凑划分及多层次合并策略的大规模SfM方法，其特征在于:步骤S2具体包括如下内容，

S21、统计所有子簇对的丢失的边的信息；计算公式为，

其中，K为子簇的数量；k₁,k₂为簇对中的两个子簇，

为簇对的丢失的边的集合；E_lost为所有子簇对的丢失的边的数量；i为图像编号；

S22、分配待添加丢失的边对应的图像；计算公式为，

其中，E_lost(k1,k2)为簇对k₁,k₂的丢失的边的数量；∑_(k1,k2…)E_lost为与当前子簇k₁相关的所有簇对的丢失的边的总数；N_{expand(k1,k2)}为待添加的图像数量；NT_expand为当前子簇需要扩展图像的总数；

S23、利用多因子联合归一化函数计算簇对丢失的边对应的像对的连接值，并按照连接值从大到小依次排序，逐一将图像添加到子簇中直至满足待添加的图像数量。

3.根据权利要求1所述的紧凑划分及多层次合并策略的大规模SfM方法，其特征在于:步骤S4具体包括如下内容，

S41、统计子簇稀疏重建结果的影像注册数；

S42、若子簇稀疏重建结果的影像注册数少于预设百分比的该子簇影像规模，则判定该子簇局部稀疏重建失败；

S43、选择重建失败的子簇的邻域子簇中重投影误差最小的一组相机内参及畸变参数作为该子簇的相机内参与畸变参数，再次对该子簇进行局部稀疏重建。

4.根据权利要求1所述的紧凑划分及多层次合并策略的大规模SfM方法，其特征在于:步骤S5具体包括如下内容，

S51、将局部稀疏重建成功的子簇添加到待合并子簇集合；

S52、从待合并子簇集合中选择邻居簇数量最多的子簇作为待合并子簇，统计与该待合并子簇成簇对的所有子簇，将簇对的共同图像数量作为合并权重进行优先级排序，选出优先级最高的邻居子簇与待合并子簇组成待合并簇对；

S53、根据邻居子簇的合并情况，执行合并操作；

若两个子簇均未被执行合并操作，则收集当前簇对的共同图像的特征点，利用特征点对应的三维结构点进行对齐变换，将两子簇包含的相机内参、图像及其外参、三维结构点合并为一个新的簇块，分别将两个子簇共同相机内参与簇块的三维结构点结合后进行后方交会，计算出重投影误差，将重投影误差较小的一组作为簇块的相机内参；

若邻居子簇已被执行合并操作，则查找并确定要与子簇合并的簇块，收集当前子簇与簇块的共同图像的特征点，利用特征点对应的三维结构点进行对齐变换，将子簇的相机内参、图像及其外参、三维结构点合并到簇块，子簇、簇块共同相机内参与簇块的三维结构点结合进行后方交会，计算出重投影误差，将重投影误差较小的一组作为簇块的相机内参；

S54、将S53中已被合并的子簇从待合并子簇集合中删除，循环执行上述S52-S53，直到所有的子簇全被合并；

S55、对簇块进行合并直至形成一个完整的场景，合并过程与S54相同。

Images