CN107843240B - 一种海岸带区域无人机影像同名点信息快速提取方法 - Google Patents

Abstract

本发明涉及一种海岸带区域无人机影像同名点信息快速提取方法，其技术特点是包括以下步骤：根据影像数据自动判断相机安置方式；结合全球高程格网数据估计影像地面覆盖范围；进行影像重叠信息粗提取；提取影像间连接强度信息；根据影响匹配结果进行测区影像组网；生成测区同名点并输出。本发明根据海岸带区域无人机影像特性，分析影像间重叠信息，高效地为后续空中三角测量提供测区同名点信息，其处理算法并行化程度较高，具备较好的数据处理能力，在生成影像缩略图和灰度图、进行影像特征点提取与匹配等过程中均采用了多线程并行技术，计算效率高。

Description

一种海岸带区域无人机影像同名点信息快速提取方法

技术领域

本发明属于摄影测量与遥感、海洋测绘技术领域，涉及无人机影像数据后处理技术，尤其是一种海岸带区域无人机影像同名点信息快速提取方法

背景技术

随着人类的发展和社会的进步，人们越来越关注海洋资源。在占地球表面积71％、拥有14亿立方公里体积的海洋中，蕴藏着极为丰富的生物资源及矿产资源。海洋不仅为人类提供丰富的物质资源，而且在现代战争中具有重要的战略地位。我国是一个海洋大国，拥有着1.8万公里长的海岸线和300万平方公里的海洋国土，对海洋的开发和海洋规律的探索对我国的国民经济和军事都具有重要的意义和价值。

无人机因其机动、灵活、安全等特点已成为低空遥感摄影测量系统的主要平台。作为低空测绘生产和应急保障服务中不可多得的重要工具，无人机航空摄影测量系统对于远离大陆或人员不宜登陆的海岛礁地形测绘优势尤为突出。但无人机测绘应用于海岸带、海岛礁地形测绘时，主要存在以下问题：

(1)无人机影像幅面小、重叠度高、数据量大，若依靠人工干预，则处理过程繁琐；国内主流无人机影像处理软件在初始数据组织工作中均依靠人工干预，其工作量大、作业效率较低，缺少全自动化处理的方法。

(2)海岸带、海岛礁地区不同于内陆，其无人机影像常存在大面积落水或云雾遮挡等情况，在预处理阶段若未有效提取此类信息将难以保证后续空三构网工作顺利进行。

目前无人机测绘的相关规范与标准是针对内陆地区提出的，未具体顾及海岸带、海岛礁区域的地形特性；国内也没有专门针对海岸带、海岛礁区域做有针对性优化和改进的成熟商用无人机影像处理系统。

发明内容

本发明的目的在于克服现有技术的不足，提供一种海岸带区域无人机影像同名点信息快速提取方法，用以解决现有海岸带无人机影像预处理过程中自动化程度不足的问题，并使测区同名点提取的过程自动化。

本发明解决现有的技术问题是采取以下技术方案实现的：

一种海岸带区域无人机影像同名点信息快速提取方法，包括以下步骤：

步骤1、根据影像数据自动判断相机安置方式；

步骤2、结合全球高程格网数据估计影像地面覆盖范围；

步骤3、进行影像重叠信息粗提取；

步骤4、提取影像间连接强度信息；

步骤5、根据影响匹配结果进行测区影像组网；

步骤6、生成测区同名点并输出。

所述步骤1通过homography矩阵并计算右影像坐标系原点O(0,0)在左边影像上的坐标O′(x′_o,y′_o)，进而通过O′(x′_o,y′_o)与O(0,0)的位置关系判断相机安置四种方式。

所述步骤2的具体实现方法为：首先计算影像四个角点在实际地面上的位置，其中每个角点在地面上的坐标根据共线条件方程求得，然后利用全球高程格网数据通过内插到某一地面点的高程值，进而计算出每一张影像的覆盖范围。

所述步骤3实现方法为：首先基于影像间地面覆盖范围的碰撞检测算法得到存在同名区域的影像对信息；然后利用Delaunay三角剖分算法去除冗余信息保留必要信息。

所述步骤4提取影像间连接强度信息的方法为：首先原始影像进行降采样获取原始影像的缩小片；然后根据连接性结果，对每一连接线对应的两影像的缩小片进行匹配；最后通过分析测区内所有缩小片匹配结果得到测区内影像间的实际连接强度。

所述步骤5的实现方法为：假设整个测区有n张影像，将测区内n张影像间的重叠关系用数学模型G_ε＝{V,E}来表述：其中V＝{v₁,v₂,v₃,...,v_n}^T，v_i表示一个顶点(影像)；E＝{w₁₁,...,w_1n,...,w_n1,...,w_nn}^T，w_ij表示顶点v_i和v_j间的连接线，则影像间的相互关系就能通过顶点v_i、v_j和两顶点间对应的边

来表示，其中，

表示公共区域的面积，

表示匹配点对的数量。

所述步骤7的实现方法为：利用基于分块策略的SIFT匹配方法对具有连接强度的影像进行两两间的影像匹配，最终将所有影像匹配文件进行综合，得到整个测区的同名点文件。

本发明的优点和积极效果是：

1、本发明根据海岸带区域无人机影像特性，分析影像间重叠信息，高效地为后续空中三角测量提供测区同名点信息，其处理算法并行化程度较高，具备较好的数据处理能力，在生成影像缩略图和灰度图、进行影像特征点提取与匹配等过程中均采用了多线程并行技术，计算效率高。

2、本发明自动判断相机的安置方式，无需先验信息，仅根据同一航带内两张相邻影像即可自动判断相机的安置方式，能够处理各类无人机平台所获取的面阵无人机影像，通用性强。

3、本发明采用导航数据与全球高程格网数据的影像重叠信息提取方法，首先根据GPS/IMU导航数据和全球高程格网数据计算出每一张影像的覆盖范围，然后创造性地利用多边形碰撞算法与Delaunay三角网算法提取影像间的重叠信息。

4、本发明采用测区自动初始化组网方法，能够根据影像间的匹配结果，提出一套无效影像的判断准则，在测区初始化组网的过程兼顾了海岛礁区域无人机影像的特点，有效剔除存在落水、有云雾遮挡等连接信息较少的影像，以利于后续(空中三角测量)工作的正常进行。

附图说明

图1为本发明的处理流程图；

图2为相机与像空间坐标的关系示意图；

图3a为影像上方与飞行方向的关系示意图(相反方向)；

图3b为影像上方与飞行方向的关系示意图(相同方向)；

图3c为影像上方与飞行方向的关系示意图(垂直方向之一)；

图3d为影像上方与飞行方向的关系示意图(垂直方向之二)；

图4为共线条件示意图；

图5a为某测区影像覆盖范围显示视图(测区部分截图)；

图5b为影像文件估计覆盖范围；

图5c为影像文件的影像图；

图6为影像覆盖区域碰撞检测连接性视图；

图7a为某测区“碰撞检测”连接性结果图(包括10130条连接线)；

图7b为某测区“Dealunay检测”连接性结果图(包括1167条连接线)；

图8为某测区二连接性强度图(包含5338条连接线)；

图9为某测区平差点云结果(点数为157573)。

具体实施方式

以下结合附图对本发明实施例做进一步详述：

一种海岸带区域无人机影像同名点信息快速提取方法，如图1所示，包括以下步骤：

步骤1、根据影像数据自动判断相机安置方式

对于无人机测绘，相机安置应符合《低空数字摄影测量规范》的规定。该规范给出了四种相机安置方式，如图2及图3a、图3b、图3c、图3d所示。

在同一行航线中，利用同名物体在先摄影的一张相片上相对于后摄影的一张相片上分别出现了向下、上、右、左四个不同方向的“移动”。假设像对中任意同名像点像平面坐标为(x,y)和(x′,y′)，其相互关系可用透视变换描述：

其中

也可以利用齐次形式更简洁地表示为x'＝Hx，H称为单应(homography)矩阵。得到影像间单应矩阵后，通过计算右影像坐标系原点O(0,0)在左边影像上的坐标O′(x′_o,y′_o)，按照表1规则确定相机安置方式。

表1 相机安置方式判断表格

步骤2、结合全球高程格网数据估计影像地面覆盖范围。

相机安置方式确定后，结合无人机摄影时的GPS/IMU信息和全球地面高程数据，可以概略确定单张影像在地面上的覆盖范围。然后可通过影像在地面上的覆盖范围确定影像间是否存在公共区域，来判定影像是否应该进行匹配。要计算影像在地面上的覆盖范围，就是要求得影像四个角点在实际地面上的位置，每一个角点在地面上的坐标根据共线条件方程求得，其原理如图4所示。

利用共线条件方程求解对应地物平面坐标时，地物点高程值属于必要的已知数据。虽然其精确值无法得到，但其近似值可以根据摄影瞬间摄站的平面位置通过全球高程格网数据内插获取。

利用任何一种全球高程格网数据都能通过内插到某一地面点的高程值，进而计算出每一张影像的覆盖范围并进行显示。图5a、图5b、图5c给出了计算得到的某测区影像覆盖范围示意图。

步骤3、进行影像重叠信息粗提取。

提取影像重叠信息最直接的方法是对影像两两匹配，获取影像间的相对位置信息。但单个无人机航测任务获取的影像数量成百上千，直接进行影像间两两匹配必耗费大量时间，应设计合理的匹配引导策略，有效控制处理效率。

因此，本发明采用如下策略以获取概略的影像重叠信息：首先根据影像间地面覆盖范围的碰撞检测得到存在同名区域的影像对信息，再利用Delaunay三角剖分算法去除冗余信息保留必要信息，保证在较高的匹配效率条件获得较好的匹配结果。具体方法如下：

(1)基于影像间地面覆盖范围的碰撞检测算法

每一影像的实际地面覆盖范围对应一个四边形，利用多边形碰撞检测算法可以检测任意两张影像的实际地面覆盖范围是存在公共区域(若两影像对应的地面覆盖范围四边形存在公共区域，称为碰撞检测结果“真”；反之为“假”)。根据对测区内所有影像覆盖进行两两间碰撞检测的结果，可以得到粗略的影像重叠信息视图：即将测区中所有碰撞检测结果为“真”的像对对应的曝光中心用直线连接起来，影像间的“碰撞检测”连接性视图如图6所示。

(2)基于Delaunay三角剖分算法的冗余重叠像信息去除

“碰撞检测”连接性视图中，两影像曝光点中心存在连线说明其影像存在公共区域。但若以此作为引导条件，对每一对碰撞检测结果为真的影像对进行匹配，耗费仍会较长。图7a为测区二的“碰撞检测”结果，整个测区共有10130对不同的影像对存在公共区域，由于影像间匹配是计算量很大的工作，直接对10130影像进行匹配耗时将较长。特别是在进行某些对现势性要求较高的无人机测绘任务时，过长的数据处理时间是不可接受的。考虑以上需求确实存在，应在“碰撞检测”的基础上，进一步优化连接信息。

因此项目组提出在“碰撞检测”的基础上，以所有影像曝光点为点集合构建Delaunay三角网，最终仅保留作为Delaunay三角网边的连接线(后文将此方法简称为“Delaunay检测”)。图7b给出了测区二的“Delaunay检测”结果(1167条连接线)。对比“碰撞检测”与“Dealunay检测”的连接性视图，说明“Delaunay检测”方法虽除去大部分连接信息但却保留了足够的必要连接信息以保证后续测区组网工作顺利进行。基于每一对“Delaunay检测”结果为真的影像对作为引导条件进行匹配，对现势性要求较高的无人机测绘任务是可以接受的。

步骤4、影像间连接强度信息提取

在利用“碰撞检测”与“Dealunay检测”算法得到的连接性结果图中，两点之间有连接线只能说明相应影像的覆盖范围存在重叠，而影像间重叠信息的丰富程度并未加以描述。因此，可在此基础上增加对影像间重叠信息强度的描述，进而完成测区影像的自动组网工作。

虽然具有重叠区域是两张影像能够成功匹配的前提，但根据连接线对两端影像进行特征点匹配仍会出现无法得到匹配点或匹配点极少的情况。其原因是：影像基本纹理极差或者重复性极强(如影像大面积落水或存在大面积的云层覆盖等)，提取的特征点很少，能够正确匹配的点对更少；影像间重叠区域小，理论上能够正确匹配的点对必然少。

由于对原始影像直接进行匹配耗时多，且通过分析可知，影像间的匹配也未必一定能够获取足够数量的匹配点对。因此，为减少匹配过程消耗的时间，可以先对原始影像进行降采样获取原始影像的缩小片。再根据连接性结果，对每一连接线对应的两影像的缩小片进行匹配。最后通过分析测区内所有缩小片匹配结果得到测区内影像间的实际连接强度，达到测区影像自动组网的目的。

以连接性结果作为匹配的引导条件，对测区内每一连接线两端影像的缩小片进行匹配。并对匹配结果进行统计分析，得到如图8所示的测区内影像间的连接性强度图。图中两影像曝光点之间存在连接线说明该像对的缩小片匹配成功；图中影像间连接线的灰度值表示连接性强度，灰度值越大(颜色越深)说明匹配得到的同名像点越多。

考虑到海岛礁无人机影像常存在大面积落水或则大面积云雾覆盖等现象，且通过分析可知这类影像往往匹配成功率较低。同时观察生成的连接性强度图，可以发现图中某些影像未通过任何连接线与其它影像相连接。故可将这些“未有任何对应连接性强度连线”的影像视为可能存在大面积落水或云雾遮挡的影像，并可通过连接性强度图实现剔除该类无效影像。图8给出了某测区连接性强度图。

步骤5、根据影响匹配结果进行测区影像组网；

生成测区影像连接性强度图之后，假设整个测区有n张影像，可以将测区内n张影像间的重叠关系用数学模型G_ε＝{V,E}来表述：其中V＝{v₁,v₂,v₃,...,v_n}^T，v_i表示一个顶点(影像)；E＝{w₁₁,...,w_1n,...,w_n1,...,w_nn}^T，w_ij表示顶点v_i和v_j间的边(连接线)。那么，影像间的相互关系就能通过顶点v_i、v_j和两顶点间对应的边

来表示。其中，

表示公共区域的面积，

表示匹配点对的数量。

为了剔除无效影像，进行测区初始化组网的思路是从最可靠的影像对开始，并以三张影像作为最基本单元来展开组网工作。实际处理中，可以按照表2中所列算法流程进行测区初始化组网。

表2 测区初始化组网算法流程

步骤6、生成测区同名点并输出。

利用基于分块策略的SIFT匹配方法(具体方法详见：闸旋,王慧,程挺,等.一种基于分块策略的SIFT特征快速提取与匹配方法[J].测绘科学技术学报,2014,31(5):505-509)，对具有连接强度的影像进行两两间的影像匹配，最终将所有影像匹配文件进行综合，即得到整个测区的同名点文件。

图9给出了利用本专利方法提取的某测区同名点文件经自由网平差得到的点云结果,相关信息见表3。经过本发明生成的同名点文件通过自由网平差，其同名点重投影中误差能够达到0.73像素，充分说明本发明提取同名点信息的可行性与正确性。

表3 某测区同名点自由网平差结果

	平差前	平差后
			平均重投影误差(单位：像素)	646.06	0.73
最大重投影误差(单位：像素)	未统计	1.49
			物点数(个)	43880	43878
像点数(个)	263614	157573

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (6)

1.一种海岸带区域无人机影像同名点信息快速提取方法，其特征在于包括以下步骤：

步骤1、根据影像数据自动判断相机安置方式；

步骤2、结合全球高程格网数据估计影像地面覆盖范围；

步骤3、进行影像重叠信息粗提取；

步骤4、提取影像间连接强度信息；

步骤5、根据影像匹配结果进行测区影像组网；

步骤6、生成测区同名点并输出；

所述步骤4提取影像间连接强度信息的方法为：首先原始影像进行降采样获取原始影像的缩小片；然后根据连接性结果，对每一连接线对应的两影像的缩小片进行匹配；最后通过分析测区内所有缩小片匹配结果得到测区内影像间的实际连接强度。

2.根据权利要求1所述的一种海岸带区域无人机影像同名点信息快速提取方法，其特征在于：所述步骤1通过homography矩阵并计算右影像坐标系原点O(0,0)在左边影像上的坐标O′(x′_o,y′_o)，进而通过O′(x′_o,y′_o)与O(0,0)的位置关系判断相机安置四种方式。

3.根据权利要求1所述的一种海岸带区域无人机影像同名点信息快速提取方法，其特征在于：所述步骤2的具体实现方法为：首先计算影像四个角点在实际地面上的位置，其中每个角点在地面上的坐标根据共线条件方程求得，然后利用全球高程格网数据通过内插到某一地面点的高程值，进而计算出每一张影像的覆盖范围。

4.根据权利要求1所述的一种海岸带区域无人机影像同名点信息快速提取方法，其特征在于：所述步骤3实现方法为：首先基于影像间地面覆盖范围的碰撞检测算法得到存在同名区域的影像对信息；然后利用Delaunay三角剖分算法去除冗余信息保留必要信息。

5.根据权利要求1所述的一种海岸带区域无人机影像同名点信息快速提取方法，其特征在于：所述步骤5的实现方法为：假设整个测区有n张影像，将测区内n张影像间的重叠关系用数学模型G_ε＝{V,E}来表述：其中V＝{v₁,v₂,v₃,...,v_n}^T，v_i表示一个顶点；E＝{w₁₁,...,w_1n,...,w_n1,...,w_nn}^T，w_ij表示顶点v_i和v_j间的连接线，则影像间的相互关系就能通过顶点v_i、v_j和两顶点间对应的边

来表示，其中，

表示公共区域的面积，

表示匹配点对的数量。

6.根据权利要求1所述的一种海岸带区域无人机影像同名点信息快速提取方法，其特征在于：所述步骤6的实现方法为：利用基于分块策略的SIFT匹配方法对具有连接强度的影像进行两两间的影像匹配，最终将所有影像匹配文件进行综合，得到整个测区的同名点文件。

Images