CN109658450A - 一种基于无人机的快速正射影像生成方法 - Google Patents

Abstract

本发明公开了一种基于无人机的快速正射影像生成方法，包括：综合场景内容和空间上的相似性对图像进行聚类；在场景聚类的基础上快速生成每组的稀疏三维重建结果，每组的稀疏三维重建并行执行；在无地面控制点情况下进行地理配准，并将各组的配准结果融合起来；利用相似变换计算每张图像对应的正射影像，最终叠加成整体的正射影像。本发明方法能够以线性时间复杂度完成所有图像的匹配，快速地得到图像间的匹配关系；能使单个场景的优化参数数量大大减小，因此大大提高了重建效率；仅利用无人机飞行时获取的POS信息和稀疏三维重建计算出的相机位置便可以实现较为精确的地理配准，无需任何额外的控制点。

Description

一种基于无人机的快速正射影像生成方法

技术领域

本发明属于航空图像处理技术领域，更具体地，涉及一种基于无人机的快速正射影像生成方法。

背景技术

相对于传统的航空摄影测量技术，无人机低空遥感技术具有成本低、分辨率高、机动灵活等优点。但是，无人机获取的影像与传统航空摄影测量所获取的影像不同，存在像幅较小、数量庞大等问题，这些问题给影像匹配、影像快速重建等工作带来了极大的困难。

在基于图像特征匹配的三维重建技术中，图像匹配通常采用两两匹配的方式，这带来了极大的时间消耗。虽然可以根据图像的序列关系来进行匹配，但由于航空拍摄的航线式多种多样，包括之字形、往返多航线以及单程单航线等，不能简单地根据影像序列关系来确定图像间的匹配关系。因此如何通过图像的空间信息和内容信息加速图像匹配是三维重建中的一个重要问题。

稀疏三维重建采用的方法是将所有图像视为一个整体，然后逐张加入图像进行重建。在无人机遥感场景下，图像数量繁多，同时由于平差阶段优化的参数随图像数量的增加而增加，导致重建所消耗的时间随图像增多而迅速增长。因此如何加速图像整体的优化也是三维重建中的一个关键问题。

传统的航空摄影测量通常需要提供图像控制点，同时需要根据航空摄影图像及成图精度要求确定像片控制点的分布、数量、联测精度。通常所需控制点较多，因此外业施测工作量很大，另外在地形复杂或条件困难的地区，人工难以设置控制点。因此，如何在保证加密精度达到规范要求的前提下减少像片联测控制点数量、在困难地区调整控制点在区域网中的分布是迫切需要解决的问题。

发明内容

针对现有技术的以上缺陷或改进需求，本发明的目的在于提供一种基于无人机的快速正射影像生成方法，旨在无控制点的情况下，快速地得到正射影像。

为实现上述目的，本发明提供一种基于无人机的快速正射影像生成方法，包括以下步骤：

步骤一、综合场景内容和空间上的相似性对图像进行聚类，具体包括：基于SIFT(Scale-invariant feature transform，尺度不变特征变换)算法提取每张的图像的视觉词汇；基于视觉词汇以及POS(position，位置)信息，利用K-means(K均值)算法对图像进行聚类。

步骤二、在场景聚类的基础上快速生成每组的稀疏三维重建结果，具体包括：基于视觉词汇以及POS信息进行图像匹配；基于SFM(structure from motion，运动恢复结构)算法进行稀疏三维重建。同时为了提高算法效率，每组的稀疏三维重建并行执行。

步骤三、在无地面控制点情况下进行地理配准，并将各组的配准结果融合起来，具体包括：通过去除质心计算相似变换矩阵的旋转矩阵以及尺度因子，再计算平移矩阵；在融合阶段执行一次整体光束法平差减小组间误差。

步骤四、利用相似变换计算每张图像对应的正射影像，最终叠加成整体的正射影像。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：

(1)在匹配阶段，传统的图像匹配需要对所有图像进行两两匹配，然而并不是所有图像之间都有真实的关联，因此传统的这种匹配方式效率较低。而本发明根据提取出的视觉信息以及获取到的POS信息，对于每一张待匹配图像，只对内容和空间上与其接近的图像进行匹配，这种方式能够以线性时间复杂度完成所有图像的匹配，快速地得到图像间的匹配关系。

(2)在稀疏三维重建阶段，由于图像数量较多，在重建过程中需要优化的参数数量庞大，因此重建优化的时间呈非线性快速增长。为了解决这个问题，本发明基于场景在内容和空间上的相似性，将大型场景聚类为多个小场景，然后并行对每组场景进行稀疏三维重建，这样使得单个场景的优化参数数量大大减小，因此大大提高了重建效率。

(3)在地理配准阶段，传统的航空摄影测量需要大量的地面控制点作为基准来测算准确的地理变换，这种方式不仅需要消耗大量的人力物力，而且在地形复杂的地区受到很大的限制。本发明仅利用无人机飞行时获取的POS信息和稀疏三维重建计算出的相机位置便可以实现较为精确的地理配准，无需任何额外的控制点。

附图说明

图1是本发明实施例中的一种基于无人机的快速正射影像生成方法的流程图；

图2是本发明实施例中的一种场景聚类方法的流程图；

图3是本发明实施例中的一种稀疏三维重建方法的流程图；

图4是本发明实施例中的一种地理配准及融合方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例提出了一种基于无人机的快速正射影像生成方法，具体步骤如下：

S1、综合场景内容和空间上的相似性对图像进行聚类，其流程图如图2所示，主要包括以下步骤：

S11、构建所有图像的视觉表示模型。利用SIFT算法，从所有图像中提取视觉词汇，利用K-Means算法将所有视觉单词进行聚类构造词表，并将所有图像分别用对应的单词集合表示。

S12、根据提取出来的视觉词汇以及获取到的POS信息，再次利用K-means算法对所有图像进行聚类，从而将大场景划分成多个子集表示的小场景。

S2、在场景聚类的基础上生成每组的稀疏三维重建结果，为了提高算法的效率，每组的稀疏三维重建并行执行。每组稀疏三维重建的流程图如图3所示，主要包括以下步骤：

S21、利用SIFT算法对图像进行匹配，同时为了加快匹配的速度，对于每一张待匹配图像，仅仅选取其周围N(5例如)张图像与其进行匹配。具体的选取方式是先根据无人机POS信息选取M(例如20)张与待匹配图像空间位置最近的图像，再根据之前提取到的视觉词汇从中选取5张与待匹配图像视觉信息最近的图像。其中M、N为预设值，M大于N。

S22、选取匹配点数最多的一对图像作为初始待重建图像，初始重建的过程是：根据之前计算得到的匹配结果，利用DLT(Direct Linear Transform，直接线性变换)算法计算得出基础矩阵E，其中基础矩阵E可表示为

E＝t^{^}R

其中，t为两个相机间的平移矩阵，R为旋转矩阵。接着利用SVM(Support VectorMachine，支持向量机)分解就可以得到这两个矩阵。然后利用三角测量将匹配点投影到三维空间中就得到了初始的三维点云。

S23、向初始重建结果中加入新的待重建图像，利用EPnP(EfficientPerspective-n-Point，有效的透视n点定位)算法求解出新的图像的相机位姿。

S24、计算得到新的图像的相机位姿之后，再结合该图像与其他图像的特征匹配关系，利用三角测量将新的特征点投影到三维空间中，从而丰富了之前计算得到的三维点云。

S25、对相机位姿以及重建出来的三维点云进行非线性LM(Levenberg-Marquard，列文伯格)优化，即光束法平差，使重投影误差达到最小，进一步提高重建精度。

重复执行S23-S25三个步骤直到所有待重建图像都被加入到重建结果之中。

S3、在无地面控制点情况下进行地理配准，并将各组的配准结果融合起来，其流程如图4所示，主要包括以下步骤：

S31、计算图像坐标系到真实地理坐标系的相似变换矩阵。图像坐标系下的相机位置可由旋转矩阵和平移矩阵表示，即

C＝-R^-1t

真实地理坐标系下的相机位置即为无人机POS信息。

将图像坐标系下的相机位置表示为P＝{p₁,...,p_n}，真实地理坐标系下的相机位置表示为P′＝{p′₁,...,p′_n}。

由于相似变换矩阵S由旋转矩阵R^*以及平移矩阵t^*组成，即

S＝[R^*|t^*]

为了计算相似变换矩阵，需要分别计算出旋转矩阵和平移矩阵。具体的计算步骤是：首先计算出两个坐标系下相机的质心位置p和p’(所有相机位置的平均值)；然后计算每个点的去质心坐标，例如对于两个相机位置p_i和p_i’，他们的去质心坐标为q_i＝p_i-p和q′_i＝p′_i-p′；接着计算去除质心后两个坐标系下的点集所处的包围框的比例，该比例即为尺度因子s；然后利用最小二乘法计算旋转矩阵，即

最后计算平移矩阵，即

t^*＝p-sR^*p′

S32、对所有重建出的图像坐标系下的三维点应用上述相似变换矩阵，从而得到真实地理坐标系下的三维点云。

S33、对每组图像进行地理配准之后，因为坐标系统一为真实地理坐标系，因此可以直接融合起来。但因为每组都存在小的误差，所以组间的误差相对较大，因此这里通过对融合后的点云进行整体光束法平差减小组间误差。

S4、根据图像中特征点的坐标以及其对应的真实地理坐标系下的三维点坐标，利用最小二乘法计算相似变换矩阵，从而将图像直接变换到真实地理坐标系。对每个图像进行上述操作，便可以计算出每张图像所对应的正射影像，最后将所有的正射影像叠加于一张图像上就得到了整体的正射影像。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于无人机的快速正射影像生成方法，其特征在于，包括以下步骤：

S1、综合场景内容和空间上的相似性对图像进行聚类，具体包括：基于尺度不变特征变换算法提取每张的图像的视觉词汇；基于视觉词汇以及位置信息，利用K均值算法对图像进行聚类；

S2、在场景聚类的基础上快速生成每组的稀疏三维重建结果，具体包括：基于视觉词汇以及位置信息进行图像匹配；基于运动恢复结构算法进行稀疏三维重建，每组的稀疏三维重建并行执行；

S3、在无地面控制点情况下进行地理配准，并将各组的配准结果融合起来，具体包括：通过去除质心计算相似变换矩阵的旋转矩阵以及尺度因子，再计算平移矩阵；在融合阶段执行一次整体光束法平差减小组间误差；

S4、利用相似变换计算每张图像对应的正射影像，最终叠加成整体的正射影像。

2.如权利要求1所述的基于无人机的快速正射影像生成方法，其特征在于，所述步骤S1具体包括：

S11、构建所有图像的视觉表示模型，利用SIFT算法，从所有图像中提取视觉词汇，利用K-Means算法将所有视觉单词进行聚类构造词表，并将所有图像分别用对应的单词集合表示；

S12、根据提取出来的视觉词汇以及获取到的POS信息，再次利用K-means算法对所有图像进行聚类，从而将大场景划分成多个子集表示的小场景。

3.如权利要求1或2所述的基于无人机的快速正射影像生成方法，其特征在于，所述步骤S2具体包括：

S21、利用SIFT算法对图像进行匹配，对于每一张待匹配图像，选取其周围N张图像与其进行匹配，N为预设值；

S22、选取匹配点数最多的一对图像作为初始待重建图像，并进行初始重建；

S23、向初始重建结果中加入新的待重建图像，利用有效的透视n点定位算法求解出新的图像的相机位姿；

S24、计算得到新的图像的相机位姿之后，再结合该图像与其他图像的特征匹配关系，利用三角测量将新的特征点投影到三维空间中；

S25、对相机位姿以及重建出来的三维点云进行非线性列文伯格优化，使重投影误差达到最小，进一步提高重建精度；重复执行步骤S23至S25直到所有待重建图像都被加入到重建结果之中。

4.如权利要求3所述的基于无人机的快速正射影像生成方法，其特征在于，所述步骤S21中对于每一张待匹配图像，选取其周围N张图像与其进行匹配，具体为：

对于每一张待匹配图像，先根据无人机POS信息选取M张与待匹配图像空间位置最近的图像，再根据之前提取到的视觉词汇从中选取N张与待匹配图像视觉信息最近的图像，其中M为预设值，M大于N。

5.如权利要求3所述的基于无人机的快速正射影像生成方法，其特征在于，所述步骤S22中的初始重建具体包括：

根据之前计算得到的匹配结果，利用直接线性变换算法计算得出基础矩阵E，其中基础矩阵E表示为E＝t^{^}R，其中t为两个相机间的平移矩阵，R为旋转矩阵；

利用支持向量机分解得到这两个矩阵；

利用三角测量将匹配点投影到三维空间中得到初始的三维点云。

6.如权利要求1或2所述的基于无人机的快速正射影像生成方法，其特征在于，所述步骤S3具体包括：

S31、计算图像坐标系到真实地理坐标系的相似变换矩阵；

S32、对所有重建出的图像坐标系下的三维点应用上述相似变换矩阵，从而得到真实地理坐标系下的三维点云；

S33、对每组图像进行地理配准之后融合起来，并对融合后的点云进行整体光束法平差减小组间误差。

7.如权利要求6所述的基于无人机的快速正射影像生成方法，其特征在于，所述步骤S31中的相似变换矩阵的计算方式为：

相似变换矩阵S由旋转矩阵R^*以及平移矩阵t^*组成，即S＝[R^*|t^*]。

8.如权利要求7所述的基于无人机的快速正射影像生成方法，其特征在于，所述旋转矩阵R^*的计算方式为：

计算出两个坐标系下相机的质心位置p和p’，即所有相机位置的平均值，其中图像坐标系下的相机位置表示为P＝{p₁,...,p_n}，真实地理坐标系下的相机位置表示为P'＝{p₁',...,p'_n}；

计算每个点的去质心坐标，对于两个相机位置p_i和p_i’，他们的去质心坐标为q_i＝p_i-p和q'_i＝p'_i-p'；

计算去除质心后两个坐标系下的点集所处的包围框的比例，该比例即为尺度因子s；

利用最小二乘法计算旋转矩阵，即

9.如权利要求8所述的基于无人机的快速正射影像生成方法，其特征在于，所述平移矩阵t^*为：

t^*＝p-sR^*p'。

10.如权利要求1或2所述的基于无人机的快速正射影像生成方法，其特征在于，所述步骤S4具体包括：

根据图像中特征点的坐标以及其对应的真实地理坐标系下的三维点坐标，利用最小二乘法计算相似变换矩阵，从而将图像直接变换到真实地理坐标系；

对每个图像进行上述操作，计算出每张图像所对应的正射影像，最后将所有的正射影像叠加于一张图像上得到整体的正射影像。