CN112365541B - 一种基于相似变换的大场景相机姿态注册方法 - Google Patents

Abstract

本发明公开了一种基于相似变换的大场景相机姿态注册方法，并行地对大场景相机姿态分块注册并合并优化，得到大规模场景全局相机姿态。其步骤包括：对相机图进行图分割得到多个子图，即对相机进行分块；子图分别传输到集群的计算节点上，并行地对子图执行相机姿态估计，得到每个分块的相机姿态；得到的局部相机姿态和分块之间重合的相机，利用相似变化的方式执行相机姿态的融合，得到包含所有图像集的全局相机姿态；融合后的全局姿态执行优化工作，保证相机姿态的准确性和鲁棒性。本发明通过基于相似变换的方法将不同分块局部相机姿态融合并优化，得到精确的全局相机姿态；能够克服单个机器计算资源限制，合理保证图像集之间信息的完整性。

Description

一种基于相似变换的大场景相机姿态注册方法

技术领域

本发明属于计算机虚拟现实领域，主要用于三维重建、虚拟现实及测绘等领域，具体涉及一种基于相似变换的大场景相机姿态注册方法。

背景技术

虚拟现实技术被称为21世纪最关键的三大技术之一，而三维重建技术是虚拟现实领域很重要的研究内容，在测绘、智慧城市、古迹保护等领域都有广泛的应用。三维重建技术以图像或视频作为输入，能够快速且准确地重建出三维场景模型，是计算机视觉领域的研究热点之一。三维重建技术实际上使用计算机地数学模型来表达现实中的物体或者场景，此数学模型可以根据需求进行编辑、分析和模拟等操作。基于图像的三维重建技术因其成本低廉、操作简单、逼真性高等优势，逐渐得到研究者的重视。近年来，由于无人机成本越来越低，推广越来越普及，很多学者利用无人机的优势，在城市区域采集图像集，利用图像集来重建出三维城市的模型，相比二维的地图，三维的城市模型可以描述城市的地形应用到测绘、路径指引、城市规划等领域，该研究可以建立一个针对户外大型场景的高效、便捷、相对廉价的三维重建平台框架，将在地形测绘、城市数字化、建筑和军事等领域发挥重要的作用，并在未来有着非常广阔的应用场景。

目前针对小场景的运动恢复结构技术已经较为成熟，但是将适用于小场景三维重建研究结果直接地应用于大规模场景的三维场景的重建工作会导致重建失败。由于大规模场景输入图像集过大，需要注册的相机姿态较多，计算相机姿态时会超出单一计算机内存限制导致重建失败。如果简单地分块计算相机姿态会导致相机姿态和稀疏点云结果飘移、变形等情况，无法保证三维重建结果的准确性。

因此，本发明针对大规模场景三维重建任务中的相机姿态注册工作极具研究意义和应用前景。

发明内容

本发明的目的在于解决现有技术中存在的上述问题，提出了一种基于相似变换的大场景相机姿态注册方法，对大规模场景三维重建任务输入的图像集进行分类，分类后的子图像集并行地执行相机姿态估计工作得到每一子图集分块的局部相机姿态，通过基于相似变换的方法将不同分块局部相机姿态融合并优化，得到精确的全局相机姿态。能够以相机图作为输入，输出全局相机姿态作为结果。该方法能够克服单个机器计算资源限制，合理保证图像集之间信息的完整性，从而支持对于10平方公里以上的大场景三维重建工作，能够应用于虚拟现实、数字城市、测绘等领域。

本发明的技术方案是：

一种基于相似变换的大场景相机姿态注册方法，以图像集分类后的子图为输入，基于相似变换的相机姿态注册方法输出全局相机姿态，克服单个计算机内存和计算能力的限制，包括如下步骤：

(1)输入图像特征提取和匹配工作，得到图像之间的匹配关系构成相机图，每个顶点表示一个相机，边表示两个相机图像之间存在匹配关系和几何关系。对相机图进行图分割得到多个子图，即对相机进行分块；

(2)将步骤(1)中子图分别传输到集群的计算节点上，利用集群上多计算节点优势并行地以子图为输入执行相机姿态估计，得到每个分块的局部相机姿态；

(3)根据步骤(2)中得到的局部相机姿态和分块之间重合的相机，利用相似变换的方式执行相机姿态的融合工作，得到包含所有图像集的全局相机姿态；该步骤的具体实现如下：

将任意两分块C_i，C_j中的重合相机记为{C_rpt|C_rpt＝C_i∩C_j}；先计算得到重合相机与需要变换的分块中所有相机的r_rel，这样通过固定重合相机的全局旋转，将原本C_i中的相机旋转R_rpt更新为将要转换成为的C_i中的对应的同一相机的R′_rpt，根据以下公式，计算C_i分块中的相机转换到目标分块C_i中的全局旋转R′_j：

其中，r_ij表示相机c_i和c_j之间的相对旋转；

每个分块中的相机姿态的旋转和平移都有各自尺度，这些尺度不影响上述关于全局旋转注册的方法，但是关于全局平移量的注册需要计算每个分块中局部平移量之间相差尺度值；在同一分块中，两相机的局部平移之间的转换关系如下所示：

t₁₂＝r₁₂T₁-T₂

t′₁₂＝r₁₂T′₁-T′₂

其中，T₁和T₂表示全局平移向量，r₁₂表示相机1和相机2之间的相对旋转矩阵，t₁₂表示相机1和相机2之间的相对平移向量；

利用所有重合相机{C_rpt}组合成

个组合对，其中n＝|C_rpt|；

根据上述局部平移转换关系可以计算每组相机之间的尺度值

然后根据如下公式，利用所有重合相机进行平均计算，得到不同分块之间准确的尺度值λ_t：

计算得到待处理相机平移向量T_b和基准平移向量T_a之间的相对平移量，然后利用尺度值λ_t计算待处理相机平移向量T_b在目标分块中的全局平移向量T′_b，具体公式如下：

t_ab＝T_b-r_abT_a

T′_b＝r_abT′_a+λ_tt_ab。

(4)对步骤(3)中融合后的全局姿态执行优化工作，保证相机姿态的准确性和鲁棒性；该步骤的具体实现如下：根据步骤(3)得到的分块融合后的全局相机姿态，进行全局相机姿态优化工作，具体公式如下：

其中，γ＝{R_i}表示全局相机姿态中的全局旋转矩阵，τ＝{T_i}表示全局相机姿态中的全局平移向量，d^R取弦距离，d^T取欧几里得距离，p取2对应l₂范式。

本发明的有益效果：

(1)本发明将输入图像经过图像特征提取和匹配后构成的相机图进行图分割，子图内部保留了关键的特征匹配关系，子图之间舍弃了较弱的特征匹配关系；将子图分别部署到不同的集群节点上，并行地进行局部相机姿态估计工作；能够保证相机姿态估计工作满足计算节点资源限制，并行处理减少了程序执行时间。

(2)本发明将根据子图计算得到局部相机姿态进行融合工作得到全局相机姿态，然后对全局相机姿态执行优化工作，能够得到精确且鲁棒的全局相机姿态，进而能够提升三维重建最终结果的精确程度，得到精确的相机姿态对三维重建有着至关重要的意义。

附图说明

图1为本发明方法的数据流程图；

图2为分块计算的1-4区域的局部相机姿态；

图3为分块计算的5-8区域的局部相机姿态；

图4为优化后的全局相机姿态；其中数字标号对应图2、图3中相应标号的局部相机姿态。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了进一步理解本发明，将结合附图和实施例对本发明作进一步的说明。

实施例

本发明公开了一种基于相似变换的大场景相机姿态注册方法，采用分布式方法对大规模场景进行分块计算局部相机姿态，然后经过统一融合优化工作，得到精准的全局相机姿态。

在具体实施例中，如图1的流程图所示，本发明方法的具体实现方法如下：

输入图像特征提取和匹配工作，得到图像之间的匹配关系构成相机图，对相机图进行图分割得到多个子图；子图分别传输到集群的计算节点上，利用集群上多计算节点优势并行地以子图为输入执行相机姿态估计，得到每个分块的局部相机姿态。

(1)基于相似变换的全局旋转矩阵注册方法

将任意两分块C_i，C_j中的重合相机记为{C_rpt|C_rpt＝C_i∩C_j}；先计算得到重合相机与需要变换的分块中所有相机的r_rel，这样通过固定重合相机的全局旋转，将原本C_i中的相机旋转R_rpt更新为将要转换成为的C_i中的对应的同一相机的R′_rpt，根据公式

计算C_i分块中的相机转换到目标分块C_i中的全局旋转R′_j。

本发明要计算的是除了固定的那个相机姿态之外，其余所有属于该分块的相机姿态，因此这其中还会存在一些重合点被重复计算姿态，那这些重复计算的相机姿态被用来作为评定误差的基准，因此需要挑选出某个固定的相机姿态，使得所有计算的重合点的相机姿态与原姿态之间的误差最小。

(2)基于相似变换的全局平移向量注册方法

每个分块中的相机姿态的旋转和平移都有各自尺度，这些尺度不影响上述关于全局旋转注册的方法，但是关于全局平移量的注册需要计算每个分块中局部平移量之间相差尺度值。在不需要考虑尺度的同一分块中，两相机的局部平移之间的转换关系如下所示：

t₁₂＝r₁₂T₁-T₂

t′₁₂＝r₁₂T′₁-T′₂

其中相机之间的相对旋转已经在计算得到。定义要进行融合的两分块中重合对分别为{T₁，T₂}和{T′₁，T′₂}。因为是相同的两个相机在两个不同的坐标系下的平移量，因此相对旋转r₁₂相同。

经过计算得到两分块内部的局部平移向量之间的关系。我们将所有的重合点{C_rpt}组合成

个组合对，其中n＝|C_rpt|。根据每组相机计算其中的尺度值

然后根据如下公式，进行平均计算，得到最为准确地尺度值λ_t：

根据相机旋转向量计算的相机作为基准，然后根据该重合点与分块内其余相机的相对旋转r_ab，先通过第一个公式计算得到待处理相机平移向量T_b和基准平移向量T_a之间的相对平移量t_ab，然后将转换基准平移向量T_a为目标分块中的T′_a，然后通过之前得到的尺度值λ_t计算目标分块中正确的平移量，最终得到待处理相机平移向量T_b在目标分块中的全局平移向量T′_b，具体公式如下：

t_ab＝T_b-r_abT_a

T′_b＝r_abT′_a+λ_tt_ab

以上公式描述了两分块之间的全局相机姿态注册方法，由于大规模场景输入相机通常分为若干块，因此首先选取相机姿态数量最多的分块作为基准，通过不断迭代两分块之间的全局旋转和平移注册方法，最终将所有分块的局部相机姿态融合在一起，完成大规模场景的全局相机姿态注册工作。

(3)基于非线性优化的全局相机姿态优化方法

根据基于相似变换的局部相机姿态分块融合后的全局相机姿态，进行全局相机姿态优化工作，具体公式如下：

其中，γ＝{R_i}表示全局相机姿态中的全局旋转矩阵，τ＝{T_i}表示全局相机姿态中的全局平移向量，d^R取弦距离，d^T取欧几里得距离，p取2对应l₂范式。

本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

上述说明仅为本发明的优选实施例，并非是对本发明的限制，尽管参照前述实施例对本发明进行了详细的说明，对于本领域技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改型等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于相似变换的大场景相机姿态注册方法，其特征在于，包括以下步骤：

(1)输入图像特征提取和匹配工作，得到图像之间的匹配关系构成相机图，对相机图进行图分割得到多个子图，即对相机进行分块；

(2)将步骤(1)中子图分别传输到集群的计算节点上，利用集群上多计算节点优势并行地以子图为输入执行相机姿态估计，得到每个分块的局部相机姿态；

(3)根据步骤(2)中得到的局部相机姿态和分块之间重合的相机，利用相似变换的方式执行相机姿态的融合工作，得到包含所有图像集的全局相机姿态；

(4)对步骤(3)中融合后的全局姿态执行优化工作，保证相机姿态的准确性和鲁棒性；

其中，所述步骤(3)具体实现如下：将任意两分块C_i，C_j中的重合相机记为{C_rpt|C_rpt＝C_i∩C_j}；首先计算得到重合相机与需要变换的分块中所有相机的r_rel，然后通过固定重合相机的全局旋转，将原本C_i中的相机旋转R_rpt更新为将要转换成为的C_i中的对应的同一相机的R′_rpt，计算C_i分块中的相机转换到目标分块C_i中的全局旋转R′_j，公式如下：

其中，r_ij表示相机c_i和c_j之间的相对旋转；

在同一分块中，两相机的局部平移之间的转换关系如下所示：

t₁₂＝r₁₂T₁-T₂

t′₁₂＝r₁₂T′₁-T′₂

其中，T₁和T₂表示全局平移向量，r₁₂表示相机1和相机2之间的相对旋转矩阵，t₁₂表示相机1和相机2之间的相对平移向量；

利用所有重合相机{C_rpt}组合成

个组合对，其中n＝|{C_rpt}|；

根据上述局部平移转换关系计算每组相机之间的尺度值

然后利用所有重合相机进行平均计算，得到不同分块之间准确的尺度值λ_t，公式如下：

计算得到待处理相机平移向量T_b和基准平移向量T_a之间的相对平移量，然后利用尺度值λ_t计算待处理相机平移向量T_b在目标分块中的全局平移向量T_b，具体公式如下：

t_ab＝T_b-r_abT_a

T′b＝r_abT′_a+λ_tt_ab。

2.根据权利要求1所述的基于相似变换的大场景相机姿态注册方法，其特征在于，所述步骤(1)的相机图中，每个顶点表示一个相机，边表示两个相机图像之间存在匹配关系和几何关系。

3.根据权利要求1所述的基于相似变换的大场景相机姿态注册方法，其特征在于，所述步骤(4)相机优化公式具体如下：

其中，γ＝{R_i}表示全局相机姿态中的全局旋转矩阵，τ＝{T_i}表示全局相机姿态中的全局平移向量；d^R为弦距离，d^T为欧几里得距离，p取2。

Images