CN103310433A - 一种利用影像拓扑骨架的无人机影像快速匹配方法 - Google Patents

Abstract

本发明公开了一种利用影像拓扑骨架的无人机影像快速匹配方法：首先，利用无人机航拍时记录的飞控数据判断影像间的重叠关系，构建影像拓扑结构；其次，统计每张影像的拓扑连接数，以此作为判断影像重要性的权重，对影像降序排列，生成序列化表；再次，基于影像间的拓扑关系将影像集动态划分层，并根据上下层影像间的拓扑关系调整影像匹配的先后顺序，同时，删减层内影像间的连接关系，但保持层与层影像集之间的拓扑连接，逐层迭代，提取出影像拓扑的骨架图；最后，利用影像拓扑骨架图按匹配顺序表指导影像快速匹配，确定影像间的变换矩阵，可为进一步全景影像拼接奠定基础。

Description

一种利用影像拓扑骨架的无人机影像快速匹配方法

技术领域

本发明属于影像拼接领域，特别是涉及到一种利用影像拓扑骨架的无人机影像快速匹配方法。

背景技术

近年来，无人机技术迅速发展，成为快速获取高分辨率遥感影像的有效手段^[1]。快速、准确的大场景影像拼接技术可为减灾应急、灾情分析等提供重要的决策支持。在国内外研究中，影像匹配是影像拼接的核心技术^[2]。根据匹配过程中所采用影像信息的差异，可以将其归纳为三类：一是基于灰度信息的方法；二是基于变换域的方法；三是基于特征匹配的方法。通常，基于灰度信息的方法，是指从影像中选择一小块区域，在另一幅影像中搜索具有同样大小的一块区域，使两者的相似度最高。该方法简单直观，发展成熟，但其对噪声和灰度差异缺乏鲁棒性，仅适用于轻微旋转和变形情况下的影像匹配^[2]；基于变换域的方法是先对影像进行一定变换之后再选取一定区域建立模板进行影像匹配；基于特征匹配的方法是指通过对影像特征进行参数描述，并运用这些参数来进行影像匹配的一种算法。1988年Harris提出了Harris角点检测算子，利用自相关函数确定角点位置，使提取的角点在平移和旋转方面保持不变^[3]；1999年D.L.David提出了基于SIFT(Scale Invariant Feature Transform)特征匹配算法，并在2004年对该算法进行了完善，该算法利用SIFT特征向量进行影像匹配，对影像间的平移、旋转、多尺度关系等多种几何变换关系都具有较高的鲁棒性，同时对噪声和光照变化也有很强的适应能力^[4]-[5]。

与传统航空影像相比，低空无人机影像具有如下特点：1)影像数量多，像幅小，航摄基高比小，影像比例尺不一致；2)影像分辨率高，地面特征丰富，畸变较大，影像间明暗对比程度不尽相同；3)航迹不规则，飞行器受偏向风干扰，预先定义的相邻影像之间关系不能严格保证，影像重叠率变化大^[6]；基于特征的匹配方法处理低空无人机影像序列具有明显优势。但是，与其他两种匹配方法一样，基于特征的匹配方法处理大数量影像集耗时明显，主要体现在计算相似度的过程，目标影像需遍历全局待匹配影像，冗余度高、耗时多，难以快速用于灾情的应急分析。低空无人机搭载的飞控系统可提供无人机的运动位置、姿态信息及相机参数，用于判断影像间的空间重叠关系。然而，灾情监测往往需要聚焦拍摄，航拍影像数量多，重叠度高，导致影像拓扑连接数过多；航线分布不均，局部区域航拍影像聚集，影像间存在严重的过匹配问题。因此，删减影像间的过重叠度，但不改变影像集的空间分布结构成为影像快速匹配的关键任务。

本发明针对无人机影像拼接的特点，设计了一种顾及影像重要性的拓扑骨架提取方法，并据此指导影像进行特征匹配。该方法明确并简化了影像集的拓扑结构，保持了整体影像集的空间分布情况，明确了影像匹配的映射关系，大幅提高了影像匹配的时间效率。同时，该方法根据影像重要性优化了影像拼接的优先顺序，使影像拼接的连续性更强，可满足大规模灾场快速影像拼接的应急需求。

参考文献

[1]Irschara A，Kaufmann V，Klopschitz M，et al.Towards fully automatic photogrammetricreconstruction using digital images taken from UAVs.In Proceedings of the ISPRS TC VIISymposium-100Years ISPRS，Vienna，Austria，5-7July 2010.

[2]韩文超，基于POS系统的无人机遥感图像拼接技术研究与实现[D]，南京：南京大学，2011.

[3]Harris C，StePhens M.A combined comer and edge detector.In Fourth Alvey VisionConference，Manchester，UK，1988，pp.147-151.

[4]Lowe D.G.Object recognition from local scale-invariant features.In International Conferenceon Computer Vision，Corfu，Greece，1999，pp.1150-1157.

[5]Lowe D.G.Distinctive image features from scale-invariant keypoints.International Journal ofComputer Vision，2004，60(2)，pp.91-110.

[6]Zhang Yongjun.Photogrammetric processing of low altitude image sequences by unmanedairship，In The International Archives of the Photogrammetry，Remote Sensing and SpatialInformation Science，Beijing，2008，pp.751-757.

三、发明内容

(一)解决的技术方案

本发明所要解决的技术问题是：针对灾情监测，无人机航拍聚焦性强，影像重叠度过高造成的影像过度匹配问题，设计一种针对无人机序列影像的拓扑骨架提取方法。本发明按影像重要性由高到低的顺序对影像排序，并基于影像的拓扑关系对影像集进行层次划分。删减层内影像间的拓扑连接关系，同时保持上下层影像间的拓扑连接，最终构建影像拓扑骨架结构，指导影像快速匹配。

(二)技术方案

1.顾及影像重要性的影像拓扑骨架提取方法

在影像拓扑骨架提取过程中，把影像的拓扑连接数作为判断影像重要性的依据，基于影像拓扑结构对影像动态分层。通过删减层内影像间的拓扑连接关系，而保留上下层影像间的拓扑连接来提取影像拓扑骨架。具体包括以下步骤：

1)利用飞控数据(无人机航拍时的地理坐标、高度及飞行姿态)及传感器的CCD尺寸确定每张影像的地面覆盖范围，并建立影像拓扑关系表：设s是参与匹配的影像集合，总数为n，x是s的一个子集，它包括s的一部分影像，影像序号为1～x。对于子影像p∈(s-x)，序号为x+1，如果x中的任意影像(点)q，与影像(点)p有重叠，则q与p为连接关系，影像(点)p相对于q的拓扑数为1，记为T_pq＝1，否则p与q为非连接关系，记为T_pq＝0；

2)将影像抽象为点，则影像拓扑结构用点集图表示为：V(G)＝{1，2，3…n}。将“拓扑连接”抽象为边，则影像拓扑结构用边集图表示为：E(G)＝{{i，j}(T_ij＝1，1≤i≤n，1≤j≤n)}。按照(式1)计算各影像的连接拓扑数T_i，

T_i＝Sum(T_ij)(1≤i≤n，1≤j≤n且j≠i)      (1)

3)统计每张影像的连接拓扑数T_i，按照式(2)计算反映目标影像重要性的权值w_i，并以此作为判断影像重要性的指标，对影像降序排列，生成影像排序表O。

w_i＝f(T_i)(1≤i≤n)      (2)

注：为正确反映各影像的重要性，影像权重w_i均以拓扑结构图E(G)中的拓扑连接数T_i为准；

4)顾及影像重要性构建影像匹配顺序表OT，初始化为

以拓扑数最多的影像I为初始待匹配影像，在O中搜索其对应的索引号Tem＝{O_I}，则OT＝{OT，Tem}；

5)确定待匹配影像的拓扑连接影像集合为V(GTem)＝{V¹ _I，V² _I，V³ _I…}，E(GTem)＝{{V¹ _I，V² _I}，{V¹ _I，V³ _I}，{V² _I，V³ _I}…}。并在O中搜索该连接影像集合的索引号为Tem＝{O¹ _I，O² _I，O³ _I…}，更新影像匹配顺序表为OT＝{OT，Tem}。删除该集合中任意影像间的连接拓扑，即：{T^I ₁₂＝0，T^I ₁₃＝0，T^I ₂₃＝0…}。至此，影像拓扑骨架图更新为V(GS)＝V(G)，E(GS)＝E(G)-E(GTem)；

6)将OT中Tem集合的影像{V¹ _I，V² _I，V³ _I…}确定为待匹配影像，重复步骤5)，依次计算每张待匹配影像的拓扑连接影像的重要性，索引生成排序列表Tem’＝Tem1∪Tem2∪Tem3...，令Tem＝Tem’，则更新影像匹配顺序表为OT＝{OT，Tem}。据4)更新拓扑骨架图为V(GS)＝V(G)，E(GS)＝E(GS)-E(GTem’)。

判断：如果某影像的拓扑连接影像集中包含与该影像同层或上层的影像(集)，则对应的拓扑连接影像(集)不参与重新排序，以上一步骤中确定的影像匹配顺序号为准。即，令：X∈Tem，Y＝{O¹ _X，O² _X，O³ _X…}∈Tem’，如果{Y}∈OT，则Tem’＝Tem’-{Y}；

7)重复步骤5)～6)，直到所有影像均进行了重新排序。

2.基于影像拓扑骨架的匹配方法

如图4所示，据上述步骤建立的影像匹配顺序表OT，依次读取每张影像中提取的特征点集，作为计算相似度的备份文件。以第一张影像OT(1)作为待匹配影像，其他影像OT(M)(1＜M≤n)依次作为目标影像，在影像拓扑骨架E(GS)中搜索与之有拓扑连接的待匹配影像(集){{OT(M)，OT(1)}，{OT(M)，OT(2)}…{OT(M)，OT(M-1)}}，按式(3)进行相似度计算。

f_nn＝argmin||f_d-f_d＇||₂      (3)

其中，f和f’分别为目标影像和待匹配影像中的特征点，f_nn为对应特征向量的欧式距离差值，f_nn值越小，表示该特征点在目标影像和待匹配影像中的相似度越高。

$r=\frac{f_{\mathrm{nn}1}}{f_{\mathrm{nn}2}}<\mathrm{Td}---\left(4\right)$

按式(4)计算最相似值与次相似值的比值r，当r小于某个阈值Td时，判定该对特征点为匹配点，其中，f_nn1为特征向量的最近距离，f_nn2为特征向量的次近距离。依此类推，计算目标影像与待匹配影像中所有特征点的相似度。据此，确定影像之间的几何变换矩阵，可用于全景影像拼接等研究。

(三)有益效果

1、利用本发明，能同时顾及到影像的重要性和影像间的连接关系，使影像匹配的连续性更强。同时，提取影像拓扑的骨架结构，可大幅简化影像匹配映射表，使影像匹配算法的复杂度由O(n²)降低为O(n)。

2、利用本发明，基于单机硬件平台，就可以实现对大场景无人机序列影像的快速全景拼接。

四、附图说明

图1影像拓扑骨架提取算法及其指导影像匹配的流程。

图2影像拓扑构建示意图。

图3(a)～图3(d)影像拓扑骨架提取算法示意图。

图4基于影像拓扑骨架的影像匹配流程。

图5利用飞控数据采用相对定向的方法构建的案例影像集重叠关系。

图6案例影像拓扑图。

图7案例影像拓扑骨架图。

图8基于影像拓扑骨架匹配方法与全局匹配方法的时间效率对比。

五、具体实施方式

1.顾及影像重要性的影像拓扑骨架提取方法

以图2、图3和图4为例，详细说明本发明的实现过程(其中，图3(a)～(d)中的圆圈表示为影像，连线表示“拓扑连接”关系，圈内的数字表示影像集的原始匹配顺序号。图3(b)～(d)中，圆圈外的数字表示顾及影像重要性的匹配顺序号)。其具体实施方式如下：

步骤1：无人机搭载的飞控数据记录着飞机拍照时的位置(B，L，H)和姿态(Φ，Θ，Ψ)。经坐标转换可以得到飞机拍照时的三个外方为角元素(ψ，ω，κ)。同时，已知相机的CCD尺寸为：L×W，则可以得到对应影像4个角点的框标坐标为：

左上角点： $l_t=(-\frac{L}{2},\frac{W}{2}),$ 右上角点： $r_t=(\frac{L}{2},\frac{W}{2});$

左下角点： $l_b=(-\frac{L}{2},-\frac{W}{2}),$ 右下角点： $r_b=(\frac{L}{2},-\frac{W}{2}).$

利用航空摄影测量中的共线条件可计算每张影像在用户坐标系中的角点坐标，判断影像间的重叠关系，进而构建影像拓扑结构。

如图2示例说明：A与B有重叠，B与C有重叠，A与C无重叠，则记为：T_AB＝1，T_BC＝1，T_AC＝0。

步骤2：将影像抽象为点，图3(a)表示由15张无人机影像序列构成的影像拓扑结构，用点集图表示为V(G)，点间的连线表示对应的两影像为拓扑连接关系，用边集图表示为E(G)。其中，

V(G)＝{1，2，3，4，5，6，7，8，9，10，11，12，13，14，15}，

E(G)＝{{2，1}，{3，1}，{3，2}，{4，1}，{4，3}，{5，2}，{5，3}，{6，3}，{6，4}，{6，5}，{7，1}，{7，2}，{8，1}，{8，7}，{9，1}，{9，8}，{10，4}，{10，9}，{11，6}，{11，9}，{11，10}，{12，4}，{12，11}，{13，1}，{13，5}，{13，12}，{14，12}，{14，13}，{15，3}，{15，6}，{15，14}}。

步骤3：按式(1)依次统计V(G)中每张影像的拓扑连接数目，生成连接拓扑数表为T(G)。

T(G)＝{7，4，6，5，4，5，3，3，4，3，4，4，5，3，4}

设各影像重要性的权值为W_i＝f(T_i)(其中权值函数f(T_i)＝T_i)，即影像的拓扑连接数为影像重要性的权值。据此，对影像按重要性降序排列，生成影像重要性排序表O。

O＝{1，3，4，6，13，2，5，9，11，12，15，7，8，10，14}

步骤4：以影像重要性为主确定参与匹配的影像顺序，同时顾及影像的拓扑连接关系，采用逐级分层的模式，构建影像拓扑骨架。其中，“层”的概念定义为：每一步骤中确定的待匹配影像集。首先，将顾及影像重要性的匹配顺序表初始化为

以影像连接拓扑数最多的影像为初始待匹配影像，定义为第1层，如图3(a)所示。该影像在O中的索引号为Tem＝{O_I＝1}，则OT＝{1}。

步骤5：确定上步骤中待匹配影像集(影像1)的拓扑连接影像集为V(GTem)＝{2，3，4，7，8，9，13}，E(GTem)＝{{3，2}，{4，3}，{7，2}，{8，7}，{9，8}}。在O中搜索V(GTem)对应影像的索引号为Tem＝{3，4，13，2，9，7，8}，则更新影像匹配顺序表为：OT＝{1，3，4，13，2，9，7，8}。在原始影像连接拓扑图E(G)中，删除V(GTem)中任意两影像间的连接拓扑E(GTem)，即可得到该层影像级的拓扑骨架图V(GS)，如图3(b)所示。

V(GS)＝V(G)＝{1，2，3，4，5，6，7，8，9，10，11，12，13，14，15}，

E(GS)＝E(G)-E(GTem)＝{{2，1}，{3，1}，{4，1}，{5，2}，{5，3}，{6，3}，{6，4}，{6，5}，{7，1}，{8，1}，{9，1}，{10，4}，{10，9}，{11，6}，{11，9}，{11，10}，{12，4}，{12，11}，{13，1}，{13，5}，{13，12}，{14，12}，{14，13}，{15，3}，{15，6}，{15，14}}。

步骤6：将上一步骤中Tem＝{3，4，13，2，9，7，8}的影像依次确定为待匹配影像，定义为第2层。在E(GS)中搜索，确定每张待匹配影像的拓扑连接影像集为：

V(Tem₃)＝{1，5，6，15}，E(Tem₃)＝{{6，5}，{15，6}}；

V(Tem₄)＝{1，6，10，12}，

V(Tem₁₃)＝{1，5，12，14，15}，E(Tem₁₃)＝{{14，12}，{15，14}}；

V(Tem₂)＝{1，5}，

V(Tem₉)＝{1，10，11}，E(Tem₉)＝{11，10}；

V(Tem₇)＝{1}，

V(Tem₈)＝{1}，

其中，Tem_i表示第i张影像的拓扑连接影像集合。

在第2层影像集中，据其拓扑连接影像集在O中的索引号确定：Tem₃＝{1，6，5，15}；Tem₄＝{1，6，12，10}；Tem₁₃＝{1，5，12，15，14}；Tem₂＝{1，5}；Tem₉＝{1，11，10}；Tem₇＝{1}；Tem₈＝{1}。依次排序，确定第3层待匹配影像集顺序为：Tem’＝Tem₃∪Tem₄∪Tem₁₃∪Tem₂∪Tem₉∪Tem₇∪Tem₈＝{1，6，5，15，12，10，14，11}。

判断：若确定的第3层待匹配影像集中包含在第1、2层的待匹配影像集(OT)中，则第3层中的影像序号以上一步骤中确定的顺序号为准。则Tem’＝Tem’-{1}＝{6，5，15，12，10，14，11}。第3层影像间的拓扑连接为：E(GTem’)＝{{6，5}，{15，6}，{14，12}，{15，14}，{11，10}}。

更新影像匹配顺序表为OT＝{OT，Tem’}＝{1，3，4，13，2，9，7，8}∪{6，5，15，12，10，14，11}＝{1，3，4，13，2，9，7，8，6，5，15，12，10，14，11}。更新影像拓扑骨架为：

V(GS)＝V(G)＝{1，2，3，4，5，6，7，8，9，10，11，12，13，14，15}，

E(GS)＝E(GS)-E(GTem’)＝{{2，1}，{3，1}，{4，1}，{5，2}，{5，3}，{6，3}，{6，4}，{7，1}，{8，1}，{9，1}，{10，4}，{10，9}，{11，6}，{11，9}，{12，4}，{12，11}，{13，1}，{13，5}，{13，12}，{14，13}，{15，3}}。

至此，所有影像均参与了重新排序，确定影像匹配顺序为OT，构建影像拓扑骨架图为步骤6中结果：V(GS)，E(GS)，如图3(d)所示。

2.基于影像拓扑骨架的匹配方法

影像排序表明确了影像匹配的先后顺序，而影像拓扑骨架明确了影像匹配的映射关系。以影像5作为目标影像为例，示意说明影像匹配过程。如图4所示，目标影像5→OT(10)，则待匹配影像集为D＝OT(1～9)＝{1，3，4，13，2，9，7，8，6}。在影像拓扑骨架图中搜索与目标影像5有拓扑连接的边集为：{{5，2}，{5，3}，{13，5}}，进而确定需要与目标影像5进行特征判断的待匹配影像为{2，3，13}。

图5、图6和图7为以无人机航拍某小型滑坡的56张影像(4条航带)作为案例数据，具体说明了影像拓扑骨架构建的过程。图8通过与传统影像匹配方法对比，定量说明了本发明的有益效果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种利用影像拓扑骨架的无人机影像快速匹配方法，其特征在于，该方法包括：

1)顾及影像重要性的匹配顺序表构建方法；

2)基于影像拓扑连接的动态分层方法；

3)分层迭代提取影像拓扑骨架的方法；

4)基于影像拓扑骨架的匹配方法。

2.根据权利要求1所述的顾及影像重要性的匹配顺序表构建方法，其特征在于，包含以下几个步骤：

1)利用飞控数据(包括：无人机航拍时的地理坐标、高度及飞行姿态)及传感器的CCD尺寸确定每张影像的地面覆盖范围，并建立影像拓扑关系表：设s是参与匹配的影像集合，总数为n，x是s的一个子集，它包括s的一部分影像，影像序号为1～x。对于子影像p∈(s-x)，序号为x+1，如果x中的任意影像(点)q，与影像(点)p有重叠，则q与p为连接关系，影像(点)p相对于q的拓扑数为1，记为T_pq＝1，否则p与q为非连接关系，记为T_pq＝0。

2)将影像抽象为点，则影像拓扑结构用点集图表示为：V(G)＝{1，2，3...n}。将“拓扑连接”抽象为边，则影像拓扑结构用边集图表示为：E(G)＝{{i，j}(T_ij＝1，1≤i≤n，1≤j≤n)}。按照下式计算各影像的连接拓扑数T_i。

T_i＝Sum(T_ij)(1≤i≤n，1≤j≤n且j≠i)

3)以各影像的拓扑连接数(T_i)为权值(w_i)的参数(w_i＝f(T_i)(1≤i≤n)，n为影像数目)，根据各影像的w_i大小对影像集进行序列化，生成影像重要性序列表O。

3.根据权利要求1所述的基于影像拓扑连接的动态分层方法，其特征在于：第一层影像为影像拓扑连接数最多的影像，下一层影像集是当前层影像(集)的拓扑连接影像(集)。

4.根据权利要求1所述的分层迭代提取影像拓扑骨架的方法，其特征在于，包含以下几个步骤：

1)创建影像匹配顺序表OT，初始化为

以拓扑数最多的影像I为初始待匹配影像，在O中搜索其对应的索引号Tem＝{O_I}，则OT＝{OT，Tem}。

2)确定待匹配影像的拓扑连接影像集合为V(GTem)＝{V¹ _I，V² _I，V³ _I…}，E(GTem)＝{{V¹ _I，V² _I}，{V¹ _I，V³ _I}，{V² _I，V³ _I}...}。并在O中搜索该连接影像集合的索引号为Tem＝{O¹ _I，O² _I，O³ _I…}，更新影像匹配顺序表为OT＝{OT，Tem}。删除该集合中任意影像间的连接拓扑，即：{T^I ₁₂＝0，T^I ₁₃＝0，T^I ₂₃＝0…}。至此，影像拓扑骨架图更新为V(GS)＝V(G)，E(GS)＝E(G)-E(GTem)。

3)将OT中Tem集合的影像{V¹ _I，V² _I，V³ _I…}确定为待匹配影像，重复步骤2)，依次计算每张待匹配影像的拓扑连接影像的重要性，在表O中索引生成排序列表Tem’＝Tem1∪Tem2∪Tem3...，令Tem＝Tem’，则更新影像匹配顺序表为OT＝{OT，Tem}。更新拓扑骨架图为V(GS)＝V(G)，E(GS)＝E(GS)-E(GTem’)。

判断：如果某影像的拓扑连接影像集中包含与该影像同层或上层的影像(集)，则对应的拓扑连接影像(集)不参与重新排序，以上一步骤中确定的影像匹配顺序号为准。即，令：X∈Tem，Y＝{O¹ _X，O² _X，O³ _X…}∈Tem’，如果{Y}∈OT，则Tem’＝Tem’-{Y}。

4)重复步骤2)～3)，直到所有影像完成重新排序。

5.根据权利要求1所述的基于影像拓扑骨架的匹配方法，其特征在于：基于上述步骤建立的影像匹配顺序表OT，影像集OT(M)(1＜M≤n)依次作为目标影像，在影像拓扑骨架E(GS)中搜索与之有拓扑连接的待匹配影像(集){{OT(M)，OT(1)}，{OT(M)，OT(2)}...{OT(M)，OT(M-1)}}，进行特征点的相似度计算，与OT(M)没有拓扑连接关系的影像(集)不参与特征匹配。

Images