CN107220996B - 一种基于三角结构一致的无人机线阵与面阵影像匹配方法 - Google Patents

Abstract

本发明提供一种基于三角结构一致的无人机线阵与面阵影像匹配方法，包括对无人机所采集原始的面阵影像和线阵影像进行预处理；设左影像为面阵影像，设右影像为线阵影像，获得初始匹配点对，进行误匹配剔除；对特征点进行聚类，并根据聚类中心对左右影像进行Voronoi图划分；将左影像上任一个特征点作为待匹配点，选择距离最近的两个聚类中心构成三角结构；然后根据三角结构的一致性，在右影像上基于相应聚类中心估算待匹配点的同名点所在区域，得到最终的同名点对；将获取的同名点对反算得到匹配结果。本发明利用预处理影像后同名特征点之间几何结构的一致性，精确估算待匹配点所在区域，极大地提高了影像匹配的效率和正确率。

Description

一种基于三角结构一致的无人机线阵与面阵影像匹配方法

技术领域

本发明属于遥感影像处理技术领域，涉及一种基于三角结构一致的无人机线阵与面阵影像匹配方法。

背景技术

影像匹配是摄影测量与遥感领域中的研究热点和重点，其结果可用于影像配准、影像拼接以及三维重建等。随着遥感技术的极大发展，用于获取影像的传感器已经从传统胶片航摄仪发展到数字航摄仪。数字航摄仪的成像方式主要分为框幅式(面阵)和推扫式(线阵)两种。面阵CCD相机为中心投影，像片具有分辨率高、几何保真度好等特点，但相幅相对较小，而线阵CCD相机是多中心投影，具有更大扫描宽度和更高的测图生产效率，但是数据量大且处理难度高。为了更好地利用线阵影像和面阵影像的优点，研究如何解决面阵影像与线阵影像之间的高效自动匹配对后续的空中三角测量和空间数据产品生产有重大意义。

线阵影像每一行都具有一个投影中心，使得线阵影像在匹配时因为无法确定具体投影参数而加大匹配难度，同时，由于成像环境的不同，影像间往往存在着尺度差异大，旋转角度等问题，使得匹配难以获得稳定可靠的匹配点，也难以满足匹配的时效性。目前，影像匹配算法很多，但是这些方法都是大多是针对单一来源的传感器影像进行匹配，且很少能将匹配的精度、速度及可信度三大制约因素很好地结合起来，形成高效实用技术的方法。因此，如何针对对于无人机线阵影像和面阵影像的匹配能力仍有待提高。

发明内容

针对现有技术的不足，本发明提供一种三角结构一致的无人机线阵与面阵影像匹配方法，充分利用POS数据辅助影像匹配，有效地克服无人机面阵影像与线阵影像之间存在的尺度、旋转等几何差异，并利用预处理影像后同名特征点之间几何结构的一致性，精确估算待匹配点所在区域，极大地提高了影像匹配的效率和正确率。

为实现上述目的，本发明的技术方案为一种基于三角结构一致的无人机线阵与面阵影像匹配方法，包括以下步骤，

步骤1，对无人机所采集原始的面阵影像和线阵影像进行预处理；

步骤2，设左影像为面阵影像，设右影像为线阵影像，在左影像上提取均匀分布的特征点，并根据像点与地平面的仿射变换关系，在右影像上搜索同名点，获得初始匹配点对；

步骤3，对初始匹配点对进行误匹配剔除，获得正确的匹配点对；

步骤4，根据步骤3所得结果，对特征点进行聚类，并根据聚类中心对左右影像进行Voronoi图划分；

步骤5，将左影像上任一个特征点作为待匹配点，选择距离最近的两个聚类中心构成三角结构；然后根据三角结构的一致性，在右影像上基于相应聚类中心估算待匹配点的同名点所在区域，并在此区域内搜索和匹配，得到最终的同名点对；

步骤6，将步骤5获取的同名点对反算至原始的面阵影像和线阵影像，得到匹配结果。

而且，步骤1中，根据粗略条件对无人机所采集原始的面阵影像和线阵影像进行预处理，消除影像之间存在的几何差异。

而且，步骤2中，将左影像按照M*M个像素进行网格划分，并在每个网格内提取Harris特征点，并保留兴趣值最大的Harris点作为当前格网内的特征点，M*M为预设的网格尺寸。

而且，步骤3中，采用基于单应性矩阵的RANSAC方法进行误匹配剔除处理。

而且，步骤5中，根据三角结构的一致性，在右影像上基于相应聚类中心估算待匹配点的同名点所在区域，实现方式如下，

设对于左影像上任一个特征点p，和左影像上距离最近的两个聚类中心B和D建立三角结构，计算特征点p到聚类中心的B的距离及相应的角度，同时根据左影像上的三角形的相似性，在右影像上确定相应聚类中心B'和D'为三角形的一边，并以距离d₁+Δd₁、d₂+Δd₂和角度α+Δα、β+Δβ构成的区域作为同名点p'所在的范围，Δα和Δβ为相应角度容差和Δd₁和Δd₂为相应距离容差。

而且，角度容差和距离容差的设定方式如下，

对于每一个Voronoi图划分所得影像分区，根据步骤3获取的区内各匹配点对，计算到相应的聚类中心的距离差绝对值Δd_i1和Δd_i2以及角度差绝对值Δα_i和Δβ_i，并取均值作为该影像分区中待匹配点进行匹配时的角度和距离容差。

本发明提供的技术方案的有益效果为：

(1)在无人机线阵影像和面阵影像的匹配中，充分利用低精度的POS数据和平均DEM数据辅助影像匹配，从而减小特征匹配时的搜索范围，提高了初始匹配效率；

(2)根据初始匹配点对对影像进行区域划分，获得分布均匀的基准点坐标，从而精确构建所提取特征点和基准点之间的三角结构关系，并将这种三角结构用于再次搜索同名点特征，提高了影像匹配的可靠性和正确率，具有重要的市场价值。

附图说明

图1为本发明实施例的流程图。

图2为本发明实施例中左影像上待匹配特征点与基准点之间构成的三角结构示意图。

图3为本发明实施例中根据几何关系确定的同名点所在区域示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

本发明提供一种基于几何结构一致的无人机线阵与面阵影像匹配方法，其中几何结构是采用三角结构。具体实施时，本发明可采用计算机软件技术实现自动运行流程。为详细说明本发明技术方案，参见图1，本发明实施例提供的一种基于几何结构一致的无人机线阵与面阵影像匹配方法，包括以下步骤：

步骤1，根据粗略条件对无人机所采集原始的面阵影像和线阵影像进行预处理，基本消除影像之间存在的尺度、旋转等几何差异，减小影像之间存在的尺度、旋转等几何差异对影像匹配结果的影响。

为了消除影像之间存在的尺度、旋转等几何差异，本发明采用低精度的POS数据和影像覆盖区域的平均高程对原始面阵影像和线阵影像进行预处理。即使用的粗略条件包括精度较低的POS数据和影像覆盖区域的平均高程，同时，对分辨率较高的影像采用间接法进行降采样。具体实施时，考虑到效率，采用双线性差值算法，消除两幅影像间的尺度差异，同时根据两幅影像间的角元素关系对影像进行旋转处理。

实施例统一面阵影像和线阵影像分辨率的方式如下：

首先利用POS数据和平均高程计算面阵影像和线阵影像的分辨率，具体计算为现有技术，本发明不予赘述。实施例中无人机线阵影像的分辨率高于面阵影像分辨率，因此，对无人机线阵影像进行降采样处理，考虑到采样精度和效率，实施例中采用双线性内插法对无人机线阵影像进行降采样。

考虑到处理效率，将像幅较小的面阵影像进行旋转，使之方向与线阵影像一致。面阵影像相对线阵影像的相对旋转关系的确定方式如下：根据两张影像之间的角元素关系得到相对旋转角度。

步骤2，设左影像为面阵影像，设右影像为线阵影像，在左影像上提取均匀分布的特征点，并根据像点与地平面的仿射变换关系，在右影像上搜索和匹配同名点，获得初始匹配点对。

由于面阵影像像幅相对线阵影像较小，本发明在具体实施时，在左影像即面阵影像上进行特征点提取。将左影像按照M*M个像素进行网格划分，并在每个网格内提取Harris特征点，并保留兴趣值最大的Harris点作为当前格网内的特征点。具体实施时，M*M为预设的网格尺寸，本领域技术人员可根据具体分辨率情况预设大小，例如50*50。

实施例中，提取特征点时，顾及均匀、效率等因素，首先对面阵影像按照M*M像素大小进行分块构成网格，然后在每个格网内提取Harris特征点，最后保留兴趣值最大的Harris点作为当前格网内的特征点。

特征点提取完成后，对于左影像上的任意特征点(x_i,y_i)，采用如下方式在右影像上预估同名点和搜索窗口，左影像上的任意特征点和右影像上相应预估的同名点构成一对初始匹配点对：

(1)计算左影像上特征点的地面坐标(X_i,Y_i)。包括根据特征点像点坐标(x_i,y_i)、外方位元素以及区域平均高程Z，利用共线方程计算特征点的地面坐标(X_i,Y_i)。

(2)构建右影像坐标与地平面坐标的局部仿射变换关系。采用迭代的方式估算右影像上像点与地平面之间的仿射系数，采用如下方式进行：

①根据右影像外方位元素求解影像四角对应的地面坐标，然后根据影像四角坐标和对应地面坐标构建仿射变换方程，确定初始的仿射变换系数；令迭代次数n＝1；

②根据当前的仿射关系，计算地面点(X_i,Y_i)在右影像上对应像点坐标(x'_i,y_i')；第一次执行②时，当前的仿射关系采用初始的仿射变换系数，后续执行时采用上一次迭代执行③所得局部像平面与地面之间的仿射系数；

③以(x'_i,y_i')像点为中心，类似于步骤①，计算像点 和对应局部像平面与地面之间的仿射系数；h、w分别是影像高度和宽度；

④若n小于3，令n＝n+1，返回至②，如此循环步骤②和③，当n＝3时，结束循环。

(3)在右影像上预估同名点和预估搜索窗口。根据步骤(2)获取的仿射关系，计算左影像上对应地面点在右影像上的像点坐标，并以此预估点为中心，确定W*W大小的区域作为搜索窗口。具体实施时，W*W可根据具体分辨率情况预设大小，例如200*200。

在右影像的搜索窗口内搜索同名点时，可以采用自上到下，由粗到细的匹配策略进行灰度相关匹配，最后采用最小二乘匹配获得精确的匹配点。

步骤3，对步骤2获取的匹配结果初始匹配点对进行误匹配剔除，获得若干正确的匹配点对。

由于POS数据和区域平均高程的不准确，可能出现的误预估点和相似纹理区域等各种因素的影响，导致步骤2获取的初始匹配点不可避免的存在误匹配点，为保证两幅影像上基于匹配点构成的几何结构的一致性，必需剔除误匹配点。本发明在具体实施时，可采用基于单应性矩阵的RANSAC方法剔除错误匹配点，具体实现为现有技术，本发明不予赘述。

步骤4根据步骤3所得的正确匹配点，对特征点进行聚类，并根据聚类中心对左右影像进行Voronoi图划分。

本发明在构建同名点之间的几何结构时，并不采用单个特征点进行构建，而是综合利用局部同名特征点的信息，一定程度能够削弱误匹配点对三角结构一致性的影响。采用k均值算法对步骤3提取正确匹配点进行聚类，然后将各类的聚类中心作为种子点生成Voronoi图，从而实现对左影像平面的划分；这样对左影像分块区域上的每个特征点，可根据步骤3获得的匹配点确定几何结构。相应地，根据同名点的对应关系，可将步骤3获得的右影像同名点直接进行类别划分，计算出聚类中心并作为种子点生成Voronoi图，从而实现与左影像平面一致的划分

实施例实现如下：

首先，采用k均值算法根据步骤3获得的正确匹配点对聚类。设聚成m类(实施例中为6类)，然后将各类的聚类中心作为种子点构成Delaunay三角网，然后再生成Voronoi图，从而实现对影像平面的均匀划分。

步骤5，将左影像上任一个特征点作为待匹配点，选择距离最近的两个聚类中心构成三角结构；然后根据三角结构的一致性，在右影像上基于相应聚类中心估算待匹配点的同名点所在区域，并在此区域内搜索和匹配，得到最终的同名点对。

对于左影像上任意一个特征点，通过几何结构的一致性，可在右影像上精确预估同名点所在区域，并在此小范围区域内搜索和匹配同名点，获得最终匹配结果。

对于左影像上任意一个特征点，构建其几何结构的方式如下：

计算该特征点与所有聚类中心的距离，并找出与其距离最近的和第二邻近的聚类中心，这样，特征点以及与其最近的两个聚类中心点可构成一个稳定的三角几何结构。由于划分影像区域时，采用的是Voronoi图的形式，离该特征点距离最近的点即为生成V图区域的种子点，因此，具体实施时只需要计算该特征点与其他区域聚类中心的距离，并选出最近的另一个聚类中心来与之构建几何结构。

在右影像上精确确定同名点所在区域的方式如下：在左影像中分别计算该待匹配点的特征点到两个最近聚类中心的距离d₁和d₂，同时分别计算该点到聚类中心连线与两个最近聚类中心连线的夹角α和β，根据距离延长线的交点以及角度的交点，就可以确定右影像上同名点所在位置。由于误匹配点的存在，进一步地，本发明提出给同名点到聚类中心的距离以及相应的角度值给定一个容差，增加容错能力，因而，可以根据这些条件精确构建同名点的搜索范围。

所述步骤5中，各个阈值的确定采用自适应的方法，如下：

对于每一个Voronoi图划分所得影像分区，根据步骤3获取的区内各匹配点对i，计算其到左影像和右影像上相应的两个聚类中心的距离差绝对值Δd_i1和Δd_i2以及聚类中心连线的夹角角度差绝对值Δα_i和Δβ_i，并取其均值作为该影像分区中待匹配点进行匹配时的角度容差Δα和Δβ和距离容差Δd₁和Δd₂。

本发明实施例中根据几何结构一致性确定的同名点所在区域，实现基于三角结构的约束匹配：如图2所示左影像上待匹配特征点与基准点之间构成的三角结构，及图3所述右影像上根据几何关系确定的同名点所在区域：图2中聚类中心有A、B、C、D、E、F，对于左影像上任意一个特征点p，在左影像上的与其距离最近的两个聚类中心B和D建立三角结构，计算该点到聚类中心B的距离d₁及两个聚类中心连线的夹角α，以及该点到聚类中心D的距离d₂及两个聚类中心连线的夹角β；同时根据左影像上的三角形的相似性，在右影像上确定聚类中心B'和D'(和左影像上聚类中心B和D相应)为三角形的一边，并以距离d₁+Δd₁、d₂+Δd₂和角度α+Δα、β+Δβ构成的区域作为同名点p'所在的范围(图3中扇形区域)，并在此范围内采用灰度相关和最小二乘匹配方法确定同名点的最终位置。

步骤6，将步骤5获取的同名点对反算至原始影像，即原始的面阵影像和线阵影像，得到匹配结果。

以上实施方式仅用于对本发明做进一步相似说明，而非对本发明的限制，不能认为本发明的具体实施仅限于上述说明，本领域的技术人员都应该理解，在不脱离所附权利要求书限定的情况下，可以在细节上对此做出各种修改，但所有等同的技术方案也属于本发明的范畴。

Claims (6)

1.一种基于三角结构一致的无人机线阵与面阵影像匹配方法，包括以下步骤，

步骤1，对无人机所采集原始的面阵影像和线阵影像进行预处理；

步骤2，设左影像为面阵影像，设右影像为线阵影像，在左影像上提取均匀分布的特征点，并根据像点与地平面的仿射变换关系，在右影像上搜索同名点，获得初始匹配点对；

步骤3，对初始匹配点对进行误匹配剔除，获得正确的匹配点对；

步骤4，根据步骤3所得结果，对特征点进行聚类，并根据聚类中心对左右影像进行Voronoi图划分；

步骤5，将左影像上任一个特征点作为待匹配点，选择距离最近的两个聚类中心构成三角结构；然后根据三角结构的一致性，在右影像上基于相应聚类中心估算待匹配点的同名点所在区域，并在此区域内搜索和匹配，得到最终的同名点对；

步骤6，将步骤5获取的同名点对反算至原始的面阵影像和线阵影像，得到匹配结果。

2.根据权利要求1所述基于三角结构一致的无人机线阵与面阵影像匹配方法，其特征在于：步骤1中，根据粗略条件对无人机所采集原始的面阵影像和线阵影像进行预处理，消除影像之间存在的几何差异。

3.根据权利要求1所述基于三角结构一致的无人机线阵与面阵影像匹配方法，其特征在于：步骤2中，将左影像按照M*M个像素进行网格划分，并在每个网格内提取Harris特征点，并保留兴趣值最大的Harris点作为当前格网内的特征点，M*M为预设的网格尺寸。

4.根据权利要求1所述基于三角结构一致的无人机线阵与面阵影像匹配方法，其特征在于：步骤3中，采用基于单应性矩阵的RANSAC方法进行误匹配剔除处理。

5.根据权利要求1或2或3或4所述基于三角结构一致的无人机线阵与面阵影像匹配方法，其特征在于：步骤5中，根据三角结构的一致性，在右影像上基于相应聚类中心估算待匹配点的同名点所在区域，实现方式如下，

设对于左影像上任一个特征点p，和左影像上距离最近的两个聚类中心B和D建立三角结构，计算特征点p到聚类中心B的距离d₁及两个聚类中心连线的夹角α，以及该点到聚类中心D的距离d₂及两个聚类中心连线的夹角β；同时根据左影像上的三角形的相似性，在右影像上确定相应聚类中心B'和D'为三角形的一边，并以距离d₁+Δd₁、d₂+Δd₂和角度α+Δα、β+Δβ构成的区域作为同名点p'所在的范围，其中Δα和Δβ为相应角度容差，Δd₁和Δd₂为相应距离容差。

6.根据权利要求5所述基于三角结构一致的无人机线阵与面阵影像匹配方法，其特征在于：角度容差和距离容差的设定方式如下，

对于每一个Voronoi图划分所得影像分区，根据步骤3获取的区内各匹配点对，计算到相应的聚类中心的距离差绝对值Δd_i1和Δd_i2以及角度差绝对值Δα_i和Δβ_i，并取均值作为该影像分区中待匹配点进行匹配时的角度和距离容差。