CN102607532A - 一种利用飞控数据的低空影像快速匹配方法 - Google Patents

Abstract

本发明涉及一种利用飞控数据的低空影像快速匹配方法，该方法包括：搭载设备标定，以确定航拍相机与飞行器间的耦合关系；利用飞控数据所提供的触发相机快门时间建立低空影像与飞控数据的对应关系；利用飞控数据(经纬度、高度、姿态)确定低空影像的地面覆盖范围，并建立影像拓扑关系；利用特征点提取算法实现对各影像特征点的检测，并生成特征点描述子，建立初始特征点字典；利用影像拓扑关系和特征点字典，滤除重复特征点或伪特征点，并修改特征点字典，生成最终的影像匹配关系。本发明提供的低空影像匹配方法提高了影像匹配的效率及可靠度，可为大场景快速影像三维重建提供支持。

Description

一种利用飞控数据的低空影像快速匹配方法

技术领域

本发明涉及地球空间信息获取与重建技术领域，具体涉及一种大场景低空影像匹配方法。

背景技术

快速、可靠的大场景三维重建可为城市化管理、文物保护、减灾应急等提供决策支持。现实物体的三维模型获取方法主要分为主动方法和被动方法。其中，主动方法以使用LiDAR(Light Detection And Ranging，激光探测和测距)技术的方法为代表；被动方法则指基于二维图像的三维重建方法。通常，基于影像的三维重建方法具备低成本，灵活和能够直接获取彩色纹理等特点，在大场景三维重建中得到极大的应用。当前，基于影像三维重建技术取得了极大的进展，在图像特征提取、特征匹配、相机标定、重建方法等方面也都获得了令人瞩目的成果，比如，针对城市级大场景影像三维重建，美国华盛顿大学(University of Washington)利用并行计算实现一日罗马影像重建；美国北卡罗莱纳大学(University of North Carolina)则利用单台家用计算机结合4张图形加速卡完成该项工作；瑞士洛桑联邦理工大学(

Polytechnique Fé dérale de Lausanne)将影像与已有基础地理数据配准实现动态、稳健的大场景影像三维重建。然后上述的研究，依然面临大场景影像三维重建过程中影像匹配效率这一瓶颈问题。

在立体影像匹配中，有两个基本问题需要解决：匹配相似性测度的计算和同名像点搜索范围的确定。匹配测度是判断两个像点是否为同名像点的依据，影响着匹配的稳健度；搜索范围决定了候选同名像点的数量，影响着匹配的效率和可靠性。在提高影像匹配效率方面，用于文本恢复的词汇树方法被成功引入大场景影像匹配，并取得一定的成效，但依然没有从根本上解决影像匹配算法复杂度的问题(影像匹配算法复杂度为O(n²))。对于无人机的飞行控制器(简称飞控)，是无人机控制中心，由陀螺、加速度、GPS等传感器组成，拥有精准的位姿控制能力。一方面，飞行控制器负责处理信号的输入、通过飞行控制算法实现各种飞行动作，完成飞行姿态和航向的控制，保障飞行器稳定的飞行，并且控制相机吊架和相机快门等。另一方面，飞控数据可为航拍影像提供位置及方向参考，依此可建立影像间拓扑关系，即利用飞控提供的辅助信息(触发相机快门时间、飞行器地理坐标、高度以及飞行姿态)，首先粗略地确定影像的地面覆盖范围，这在一定程度上可以提高影像匹配的效率，减小影像搜索的范围，避免不必要的计算。然而，在当前影像匹配研究及应用中，却没有利用飞控数据实现影像快速匹配的案例。

拓扑关系是明确定义空间关系的一种数学方法，在地理信息系统中得到极大推广，被用来描述并确定空间点、线、面之间关系及属性，以实现相关的查询和检索。在地理信息系统中简单面目标间拓扑关系有“相离”、“相接”、“相交”、“覆盖”、“包含”、“覆盖于”、“包含于”、“相等”等。在大场景影像三维重建过程中，影像拓扑关系(相离、相接、覆盖等)的引入，可以为高效的组织与管理影像数据，快速的影像匹配提供支持。

大场景影像匹配，是一项很具有挑战性的技术领域。利用已有飞控数据为影像匹配提供初始参考，利用特征点字典提供数据组织与检束机制，这将使低空影像的快速、稳健的匹配成为可能，也将为大场景影像三维重建提供技术支持。

参考文献：

[1]Agarwal，S.，N.Snavely，et al.Building Rome in a Day.International Conference on ComputerVision.2009，Kyoto，Japan.

[2]Frahm，J.-M.，P.Georgel，et al.Building Rome on a Cloudless Day.ECCV 2010，2010.

[3]Strecha，C.，T.Pylvanainen，et al.Dynamic and Scalable Large Scale Image Reconstruction.Proceedings of 23rd IEEE Conference on Computer Vision and Pattern Recognition，2010.

[4]张卡，盛业华，叶春.基于数字视差模型和改进SIFT特征的数字近景立体影像匹配[J].测绘学报，2010，39(6)：624-629.

发明内容

本发明的目的是针对大场景影像三维重建而设计的一种利用飞控数据的低空影像快速匹配方法。该方法充分利用飞控数据(包括：触发相机快门时间、飞行器地理坐标、高度以及飞行姿态等)在为飞行器提供飞行控制参数的同时，也为相机拍照时的位置和朝向提供依据的特性，依据拓扑学的原理，通过相机与飞行器耦合关系的标定和飞控数据的整合，建立影像间拓扑关系，为影像初始匹配提供参考；通过建立特征点字典为数据组织与检束提供支持，从而提高影像匹配的效率，为大场景影像三维快速重建提供支撑。

为了达到上述发明目的，本发明提供了一种利用飞控数据的低空影像快速匹配方法。所述方法包括以下几个步骤：

S1：利用飞控数据(包括：触发相机快门时间、飞行器地理坐标、高度以及飞行姿态)确定每张低空影像的地面覆盖范围，并建立影像间的拓扑关系；

S2：利用特征点提取算法实现对各影像特征点的检测，并生成特征点描述子，建立特征点字典；

S3：遍历特征点字典，滤除重复特征点和伪特征点，生成与各特征点关联的图像序列。

其中，所述方法在步骤S1之前还包括步骤：

SA：搭载设备标定，以确定航拍相机与飞行器间的耦合关系(旋转矩阵及平移矩阵)；

SB：利用飞控数据所提供的触发相机快门时间建立低空影像与飞控数据的对应关系。

其中，所述方法的步骤S2中，初始特征点字典中特征点与影像为多对一的关系。

其中，所述方法的步骤S3中，伪特征点代表特征点轨迹结点数小于给定阈值或不闭合的点。

其中，所述方法的步骤S3中，特征点需满足极线约束，不满足该条件及判定为伪特征点。

其中，利用RANSAC算法解决基本矩阵中误匹配问题。

其中，所述方法的步骤S3中，修改后的特征点字典中特征点与影像为多对多的关系。

利用本发明提供的方法，可以很好地完成低空影像的快速匹配，并且由于利用飞控数据可以确定相机拍照时的位置与朝向，据此确定低空影像在地面的覆盖范围，建立影像拓扑关系。因而可以为影像的匹配提供初始参考，避免重复计算，降低影像匹配算法的复杂度，为大场景三维重建提供支撑。

附图说明

图1为本发明提供的一种利用飞控数据的低空影像快速匹配方法流程图；

图2为本发明实施例中用于不同坐标系统间转换的示意图；

图3为本发明实施例中用于说明影像拓扑网络连接的示意图；

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

图1所示是本发明的一种利用飞控数据的低空影像快速匹配方法流程图，所述方法具体包括以下步骤：搭载设备标定，以确定航拍相机与飞行器间的耦合关系(旋转矩阵技平移矩阵)；利用飞控数据所提供的触发相机快门时间建立低空影像与飞控数据的对应关系；利用无人机飞控数据(包括：触发相机快门时间、飞行器地理坐标、高度以及飞行姿态)确定每张低空影像的地面覆盖范围，并建立影像间的拓扑关系；利用特征点提取算法(比如SURF算法)实现对各影像特征点的检测，并生成特征点描述子，建立特征点字典；遍历特征点字典，滤除重复特征点和伪特征点，生成与各特征点关联的图像序列。可以看到整个处理过程由两个阶段组成：低空无人机测量系统标定、影像拓扑及特征点字典的构建。

1.低空无人机测量系统的标定

低空无人机测量系统是多传感器集成系统，除用于飞行控制的陀螺仪、加速度计、GPS等传感器外，还负载用于航拍的相机。通常无人机飞控记录触发相机快门时间、飞行器地理坐标、高度以及飞行姿态等。由于两种来自不同传感器的数据是分开获取的，要整合两种数据源，即需要首先需要解决航拍相机与飞行器位姿估计问题和时间配准问题。

航拍相机与飞行器位姿标定与误差分析可以直接参考“张卡，等.车载三维数据采集系统的绝对标定及精度分析.武汉大学学报(信息科学版)，2008，(1).”中的方法。坐标转换关系如图2所示，其中CMCS(Camera Coordinate System)表示相机坐标系统，ABCF(Airborne CoordinateFrame)表示载体坐标系统，GBCS(Globe Coordinate System)表示全局坐标系统。利用该标定及解算方法即可获得航拍相机与飞行器间的旋转矩阵

和平移矩阵

低空影像与飞控数据的时间匹配则可利用飞控记录的相机快门触发时间标签实现(实施前需尽量将两设备时间设置一致)。

2.影像拓扑及特征点字典的构建

利用无人机飞控数据中的POS数据、飞行器与航拍相机的耦合关系，即可解算每张低空影像在地面的覆盖范围，从而建立影像间的拓扑关系(关联与非关联)。据此可建立图3所示影像网络连接结构图，网络中的每个结点(n_i其中i为正整数)表示一幅影像，每条连接(l_i其中i为正整数)表示一对影像的关联。

1)任取一幅影像作为初始影像匹配结点，依据影像网络连接结构中的关联关系，取该影像对应的一条影像关联连接l_i(i为正整数)，利用特征点提取算法提取l_i对应的两个影像l_a和l_b的基本特征点候选集，并对特征点进行向量描述(建立特征描述子)；

2)将提取出的特征点候选集存入特征点字典中，此时特征点与影像为多对一的关系；

3)通过计算原图像和目标图像间最相近的特征向量来匹配特征点。其中两幅图像中的每对匹配点满足极线约束：

$\left[\begin{array}{ccc}{x}^{\′}& y^{\′}& z^{\′}\end{array}\right]F\left[\begin{array}{c}x\\ y\\ z\end{array}\right]=0$

其中，F为基本矩阵，而基本矩阵中误匹配问题可由RANSAC(Random SamplingConsensus，随机采样一致性)算法解决；

4)滤除重复的特征点(即同名点，对同名的像点只保留其中一个点)，并修改特征点字典；

5)迭代上述过程，直至所有影像，所有影像网络连接中的所有关联都被计算；

6)检查特征点字典，去除伪特征点(对于每个特征点影像网络连接中结点数少于给定阈值以及特征点链路不闭合的点)。

通过上述操作，特征点字典最终保存的即为特征点与影像的关联关系(多对多的关系)，利用该匹配关系即可基于计算机立体视觉原理对影像进行快速三维重建。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由其权利要求限定。

Claims (8)

1.一种利用飞控数据的低空影像快速匹配方法，其特征在于，所述方法包括以下步骤：

S1：利用飞控数据(包括：触发相机快门时间、飞行器地理坐标、高度以及飞行姿态)确定每张低空影像的地面覆盖范围，并建立影像间的拓扑关系；

S2：利用特征点提取算法实现对各影像特征点的检测，并生成特征点描述子，建立特征点字典；

S3：遍历特征点字典，滤除重复特征点和伪特征点，生成与各特征点关联的图像序列。

2.如权利要求1所述的一种利用飞控数据的低空影像快速匹配方法，其特征在于，所述方法在步骤S1之前还包括步骤：

SA：搭载设备标定，以确定航拍相机与飞行器间的耦合关系(旋转矩阵及平移矩阵)；

SB：利用飞控数据所提供的触发相机快门时间建立低空影像与飞控数据的对应关系。

3.如权利要求1所述的一种利用飞控数据的低空影像快速匹配方法，其特征在于，所述步骤S1中，根据飞行器与航拍相机的耦合关系以及飞控提供的地理坐标、飞行高度、飞行姿态，计算各影像对应地面场景的覆盖范围，并建立影像间的拓扑关系。

4.如权利要求1所述的一种利用飞控数据的低空影像快速匹配方法，其特征在于，所述步骤S2中，初始特征点字典中特征点与影像为多对一的关系。

5.如权利要求1所述的一种利用飞控数据的低空影像快速匹配方法，其特征在于，所述步骤S3中，滤除重复特征点(重复特征点代表同一地物像元在不同影像中的构像，即同名点)，即对多个重复特征点，仅保留一个特征点，并建立与相关影像多对多的关系。

6.如权利要求1所述的一种利用飞控数据的低空影像快速匹配方法，其特征在于，所述步骤S3中，滤除伪特征点即去除特征点轨迹结点数小于给定阈值或不闭合的点。

7.如权利要求6所述的一种利用飞控数据的低空影像快速匹配方法，其特征在于，所述特征点需满足极线约束，不满足该条件及判定位伪特征点。

8.如权利要求7所述的一种利用飞控数据的低空影像快速匹配方法，其特征在于，利用RANSAC(Random Sampling Consensus，随机采样一致性)算法解决基本矩阵中误匹配问题。

Images