CN104966281B - 多视影像的imu/gnss引导匹配方法 - Google Patents

Abstract

本发明提供了多视影像的IMU/GNSS引导匹配方法，涉及航空摄影领域。本发明提供的方法，采用角点响应值和IMU/GNSS的对应像点确定方式，其通过先根据主影像和匹配影像上每个像素点的角点响应值大小来确定了位于主影像上的参考特征点和位于匹配影像上的候选特征点，保证了提取到的特征点稳定性较强(选择出的特征点不会因旋转、噪声而改变特征)，还根据主影像和匹配影像的IMU/GNSS数据和参考特征点的位置信息，在匹配影像上确定了对应像点，进而以对应像点为中心确定了一定范围的搜索区域，保证了不同视角影像均能够进行高精度的匹配，从而保证了在进行匹配特征点确认的时候，所确认出的匹配特征点准确度提高。

Description

多视影像的IMU/GNSS引导匹配方法

技术领域

本发明涉及航空摄影领域，具体而言，涉及多视影像的IMU/GNSS引导匹配方法。

背景技术

航空摄影(aerial photography)，又称航拍，是指在飞机或其他航空飞行器上利用航空摄影机摄取地面景物像片的技术。按像片倾斜角分类(像片倾斜角是航空摄影机主光轴与通过透镜中心的地面铅垂线(主垂线)间的夹角)，可将摄影方式分为垂直摄影和倾斜摄影。

其中，倾斜摄影技术是近些年国际测绘领域发展起来的一项高新技术，它突破了过去正射影像只能从垂直角度拍摄的局限，通过在同一飞行平台上搭载多台传感器(不同照相机的主光轴与地面的夹角不同)，进而在飞行的同时从垂直和倾斜的多个不同角度获取多视影像(垂直影像和倾斜影像)。

通过在同一飞行平台上搭载多台传感器，能够在一次曝光动作中，从一个垂直和四个倾斜，这5个不同的角度采集得到影像。由此，获得的多视影像不仅能够真实地反映地物情况，高精度地获取物体侧方纹理信息，还可通过采用先进的定位定姿技术，嵌入精确的地理信息。

随着倾斜航空航摄仪的日益广泛使用，获取大重叠度的多视航空影像将变得越来越容易，逐渐成为航空摄影的一种通用作业模式。多年来，人们对双目立体匹配进行了广泛的研究，而多视图匹配与双目立体匹配相比，具有很强的优越性，其优势在于：视图增多，匹配模糊度降低，匹配精度提高。现今，多视图匹配技术的受重视程度逐年升高。

多视影像匹配可以有效减少由于遮挡、重复纹理等带来的一系列问题。国内外已经有一些关于该方面的研究，相关技术，如高冗余影像匹配方法，通过获取序列影像得到具有不同基高比的立体像对，再分别对每个立体像对采用不同的匹配算法生成视差图，再完成融合，以获取每个像素最可靠和精确的高程值，但此种方法计算量较大。相关技术中的另一种方法，多影像相似性测度方法，其通过设定高程值来实现基准影像与搜索影像同名像点的关联。相关技术中的方法还有如平均归一化相关系数法、自动生成高精度DSM的方法。以上各种方法，当摄影基线较大时，相似性测度的计算会变得非常复杂；如果影像外方位元素不精确，会造成较大的投影误差。为此，出现了将匹配得到的所有候选点直接投影到物方空间，经松弛优化而确定正确匹配点的方法。虽然，该种方法在一定程度上弥补了前面几种方法的不足，但是要找出正确的物方组合则需要进行十分复杂的分析。

考虑到多视影像的特殊性，相关技术中通常采用综合利用像方和物方信息的多影像匹配方法。具体为：在一组重叠影像中，取中央影像作为基准影像(也称主影像，是以该影像为主，去寻找与该主影像上特征点相匹配的位于其他影像上的特征点)，其余的待搜索影像分别与之构成立体像对，先利用带几何约束条件的相关系数法进行各立体像对的初匹配；再利用松弛法整体影像匹配技术进一步确定基准影像特征点在搜索影像上的同名点(同名点是相同的被拍摄物在不同影像上所呈现的像点)；然后通过带选权迭代粗差检测功能的多光线前方交会方法实现各立体像对匹配结果在物空间的融合，从而获得准确的高程信息，进而完成影像的拼接或合成。

在进行航摄的时候，飞行器(搭载有多台传感器)会按照既定的航带进行飞行，并且在飞行到指定位置的时候，控制传感器(如数码相机)进行曝光，进而完成了影像的拍摄。其中，多条航带之间是两两平行的，不同视角的影像是从不同的角度对同一个被拍摄物进行摄影的，也就是，针对同一被拍摄物，不同视角的影像所拍摄到的纹理可能会有一定差别。由此，综合利用像方和物方信息的多影像匹配方法，没有充分考虑到影像视角的问题。在进行特征点匹配的时候，所确定的特征点的特征不够准确，从而造成了匹配误差或匹配失败。

发明内容

有鉴于此，本发明实施例的目的在于提供多视影像的IMU/GNSS引导匹配方法，以提高正确确定匹配点的概率。

第一方面，本发明实施例提供了多视影像的IMU/GNSS引导匹配方法，包括：

根据主影像和匹配影像上每个像素点角点响应值的大小，分别确定主影像上的参考特征点，和匹配影像上的候选特征点；

根据主影像的IMU/GNSS数据、匹配影像的IMU/GNSS数据和参考特征点，计算参考特征点在匹配影像上的对应像点；

以对应像点为中心，确定搜索区域；

依次计算搜索区域内的每个候选特征点与参考特征点的距离；

选择搜索区域内的多个候选特征点中，与参考特征点距离符合预设要求的特征点作为参考特征点的匹配特征点。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，还包括：

分别计算主影像与多个原始影像的重叠度；

将与主影像重叠度超过预设的重叠度阈值的原始影像作为匹配影像。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，还包括：

将摄区进行分块，以确定多个顺序排列的区域块，相邻的两个区域块部分重叠；

根据主影像的摄影中心点的坐标、每个原始影像的摄影中心点的坐标和每个区域块的坐标，将指定的原始影像作为优选影像，优选影像的摄影中心点与主影像的摄影中心点在相同的区域块中；

步骤分别计算主影像与每张原始影像的重叠度包括：

分别计算主影像与每个优选影像的重叠度。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，还包括：根据摄区内全部原始影像的摄影中心点密度，确定区域块的大小。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，还包括：

分别计算主影像和匹配影像上每个像素点在指定坐标系横方向的一阶梯度I_x和纵方向的一阶梯度I_y；

根据如下公式计算主影像和匹配影像上每个像素点的矩阵其中，w(x,y)为预设的高斯函数；

根据如下公式分别计算主影像和匹配影像上每个像素点的角点响应值，R＝AB-C²-k²(A+B)²，其中，R为角点响应值，k为预设的常数。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，在步骤根据主影像和匹配影像上每个像素点角点响应值的大小，分别确定主影像上的参考特征点，和匹配影像上的候选特征点前，在步骤根据如下公式分别计算主影像和匹配影像上每个像素点的角点响应值，R＝AB-C²-k²(A+B)²，其中，R为角点响应值，k为预设的常数后；还包括：对主影像和匹配影像上的每个像素点进行非最大值抑制。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，以对应像点为中心，确定搜索区域包括：

获取参考特征点关于匹配影像的参考核线；

以对应像点为中心，沿参考核线所在的方向上构建预定范围的搜索区域。

结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，选择搜索区域内的多个候选特征点中，与参考特征点距离符合预设要求的特征点作为参考特征点的匹配特征点包括：

确定多个候选特征点中与参考特征点距离最近的第一候选点和多个候选特征点中与参考特征点距离第二近的第二候选点；

若第一候选点与参考特征点的距离与第二候选点与参考特征点的距离之比小于预设比较阈值，且第一候选点与参考特征点的距离小于预设的距离阈值，则确定第一候选点为参考特征点的匹配特征点。

结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，依次计算搜索区域内的每个候选特征点与参考特征点的距离包括：

根据预先获取的参考特征点的多维特征向量和每个候选特征点的多维特征向量，分别计算参考特征点与每个候选特征点的距离。

结合第一方面，本发明实施例提供了第一方面的第九种可能的实施方式，其中，计算参考特征点与每个候选特征点的距离包括：

建立与参考特征点的方向相符的参考坐标轴；

以参考坐标轴为参照，重新确定参考特征点在参考坐标轴的坐标；

以参考特征点为中心，选择参考特征点附近16*16个像素点的特征向量作为参考特征点的特征向量，以形成参考特征点的128维特征向量。

本发明实施例提供的多视影像的IMU/GNSS引导匹配方法，采用角点响应值和IMU/GNSS的对应像点确定方式，与现有技术中的由于对特征点的特征确定的不够准确，最终导致了匹配误差，甚至比配失败相比，其通过先根据主影像和匹配影像上每个像素点的角点响应值大小来确定了位于主影像上的参考特征点和位于匹配影像上的候选特征点，保证了提取到的特征点稳定性较强(选择出的特征点不会因旋转、噪声而改变特征)，还根据主影像的IMU/GNSS数据、匹配影像的IMU/GNSS数据和参考特征点的位置信息，在匹配影像上确定了对应像点，进而以对应像点为中心确定了一定范围的搜索区域，由于使用了IMU/GNSS匹配，保证了不同视角影像均能够进行高精度的匹配，从而保证了在进行匹配特征点确认的时候，所确认出的匹配特征点准确度提高。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的多视影像的IMU/GNSS引导匹配方法基本流程图；

图2示出了本发明实施例所提供的多视影像的IMU/GNSS引导匹配方法中，128维特征向量产生过程示意图；

图3示出了本发明实施例所提供的多视影像的IMU/GNSS引导匹配方法中，通过核线约束缩小候选特征点搜索范围的示意图；

图4示出了本发明实施例所提供的多视影像的IMU/GNSS引导匹配方法中，同名点融合过程示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在影像集合中，确定参考特征点(主影像上多个特征点中的一个)的匹配特征点(除主影像外其余影像上的多个特征点中的一个)是进行图像拼接、立体模型合成等相关技术的前提。如无法确定，或错误确定参考特征点的匹配特征点，则会给后续的工作带来极大的麻烦，因此，确定参考特征点所对应的匹配特征点可以说是空三技术中最为重要的一个部分。

相关技术中，在进行特征点匹配时，均只考虑到了纹理特征，进而导致了在确定匹配特征点的时候发生匹配错误的情况。具体原因是：从不同的角度对物点(被拍摄物)进行拍摄时，物点不同角度的表面纹理(或者是明暗等特征)会有差别，或者是可能会与周围的物点发生混淆。当多视影像推广之后，此种影像匹配的问题尤为突出。

有鉴于此，本申请提供了多视影像的IMU/GNSS引导匹配方法，如图1所示，包括如下步骤：

S101，根据主影像和匹配影像上每个像素点角点响应值的大小，分别确定主影像上的参考特征点，和匹配影像上的候选特征点；

S102，根据主影像的IMU/GNSS数据、匹配影像的IMU/GNSS数据和参考特征点，计算参考特征点在匹配影像上的对应像点；

S103，以对应像点为中心，确定搜索区域；

S104，依次计算搜索区域内的每个候选特征点与参考特征点的距离；

S105，选择搜索区域内的多个候选特征点中，与参考特征点距离符合预设要求的特征点作为参考特征点的匹配特征点。

步骤S101中，首先需要确认主影像上每个像素点和匹配影像上每个像素点的角点响应值。确定角点响应值的目的是确定更适合做特征点的像素点。

具体的，可以通过如下步骤确定角点响应值：

11，分别计算主影像和匹配影像上每个像素点在指定坐标系横方向(x方向)的一阶梯度I_x和纵方向(y方向)的一阶梯度I_y；

12，根据如下公式计算主影像和匹配影像上每个像素点的矩阵其中，w(x,y)为预设的高斯函数；

13，根据如下公式分别计算主影像和匹配影像上每个像素点的角点响应值，R＝AB-C²-k²(A+B)²，其中，R为角点响应值，k为预设的常数。

具体而言，步骤11中，其中x和y分别是主影像或匹配影像上任一点的横、纵坐标(也可以称为像点坐标)。此种使用模板(-101)和模板(-101)^T对图像进行卷积计算的方式(计算I_x和I_y)，只使用了灰度的一阶差分，操作简单，计算方便。

在步骤11和22之间还可以加入子步骤：分别计算 I_xy＝I_x·I_y。

之后，为了能够提高图像的抗噪能力，使用高斯函数w(x,y)对 和I_xy进行卷积计算，定义A、B、C，矩阵M。 进而得出关于A、B、C、D的矩阵

根据角点响应值的计算式，R＝Det(M)-k*Tr²(M)，其中，Tr(M)表示矩阵M的迹，Det(M)表示矩阵M的行列式值,K为常数，K的取值范围为0.04≤k≤0.06。设λ₁，λ₂为M的2个特征值,由矩阵理论可得Tr(M)＝λ₁+λ₂＝A+B，Det(M)＝λ₁λ₂＝AB-C²。进而得出R＝AB-C²-k²(A+B)²。进而通过每个像素点均能够确定相对应的角点响应值R。

之后，为了进一步保证判断的结构，还可以在步骤13后在指定的区域内进行非最大值抑制，如可以在某个R值较大的特征点(像素点)指定大小的邻域内进行非最大值抑制，其中，指定大小的邻域可以是以指定的特征点为中心，w*w(w＝3或5，w的单位是像素点)的邻域。

需要说明的是，通过上述步骤11、12和13可以较为准确的确定特征点(指主影像上的参考特征点和匹配影像上的候选特征点)。通常，主影像上参考特征点的数量至少为1个，因为在进行两个图像特征点匹配的时候，均是以主影像上的参考特征点为主，在其他的匹配影像上去寻找与该参考特征点相匹配的匹配特征点。由此，在进行影像匹配时，只要保证具有至少一个参考特征点即可。匹配影像的数量通常是多个，但在进行两个影像匹配时，只考虑一个主影像和一个匹配影像的特征点匹配即可，多影像特征点匹配的基础便是一个主影像和一个匹配影像的特征点匹配。因此，本申请中，只讨论一个主影像和一个匹配影像进行特征点匹配的情况。

在步骤13后，选择角点响应值最大的像素点作为特征点即可。也可以是选择角点响应值最大的多个像素点作为特征点。还可以是：先得出角点响应值最大的多个像素点作为备用特征点，再根据两两备用特征点之间的距离来确定参考特征点。具体的，计算任意两个备用特征点之间的距离，再将距离过近的两个备用特征点中，角点响应值较小的备用特征点删除。

在确定了主影像上的参考特征点和匹配影像上的参考特征点之后，为了更好的确认参考特征点的匹配特征点，还需要确定参考特征点和每个候选特征点的属性，需要保证该中属性的稳定性较强，以确保不会因光照变化、3D视点变化而使该属性发生调整。

由此，本申请中，采用128维描述子来描述特征点的属性。具体的，步骤S104执行前还可以执行如下步骤：

21，对图像点I(x,y)用二维高斯函数进行卷积计算，其中二维高斯函数定义如式(1)，式中，σ代表了高斯正态分布的方差。一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到，结果带入式(2)，进行卷积计算。

公式(2)中，(x,y)代表图像的像素位置，σ称为尺度空间因子，其值越小则表征该图像被平滑的越少，相应的尺度也就越小。L代表图像的尺度空间。

22，步骤21之后，利用特征点邻域像素梯度方向的分布特性为每个特征点指定方向参数，使算子具备旋转不变性。

梯度幅值：

梯度方向：

公式(3)、(4)分别为(x,y)处梯度的模值和方向公式。实际计算中，可以在以特征点(指参考特征点和候选特征点)为中心的邻域窗口内采样，并用直方图统计邻域像素点的梯度方向。梯度直方图的范围是0～360度，其中，每10度一个柱，总共36个柱。直方图的峰值则代表了该特征点处邻域梯度的主方向，即作为该特征点的方向。

23，生成128维描述子。首先将坐标轴旋转为特征点的方向，以确保旋转不变性。那么旋转角度后新坐标为：

下面就特征点的128维特征向量的生成进行示例说明。如图2所示，以特征点为中心取8*8的窗口，图2中，左部分的中央黑点为当前特征点的位置，每个小格代表特征点邻域所在尺度空间的一个像素点，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，左图中的圆圈代表高斯加权的范围(越靠近特征点的像素梯度方向信息贡献越大)，然后在每4*4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图2右部分所示，此图中一个特征点由2*2共4个种子点组成，每个种子点有8个方向向量信息，这种邻域方向性信息联合的思想增强了算法抗噪声的能力。

实际计算过程中，为增强匹配的稳健型，对每个特征点使用4*4共16个种子点来描述，这样对于一个特征点就可以产生128个数据，即最终形成128维的特征向量。该方式特有的128维描述子能够对影像旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也能保持一定程度的稳定性。进而保证了在进行不同影像(主影像和匹配影像)匹配的时候，能够更为准确的确定参考特征点的匹配特征点。

进而，特征点提取完成以后，就可以进行主影像与参考影像之间的匹配计算的方式为：分别计算主影像任一特征点i(i＝0，1，2，3……n,n为主影像上所有特征点)与匹配影像上每个候选特征点的欧氏距离，此处的欧式距离为左右影像特征点128维向量的距离和。在得出欧式距离之后，选择出最小的欧式距离值Distance₁和第二小的欧式距离值Distance₂，当Distance₁和Distance₂在数值上符合如下公式的时候，则判定Distance₁所对应的候选特征点为参考特征点的匹配特征点。公式为：

Distance₁<d (7)；

其中，公式6中的R可以取值为0.6-0.7，公式7中的d可以取值140-150。

即：步骤S105，选择搜索区域内的多个候选特征点中，与参考特征点距离符合预设要求的特征点作为参考特征点的匹配特征点包括：

确定多个候选特征点中与参考特征点距离最近的第一候选点和多个候选特征点中与参考特征点距离第二近的第二候选点；

若第一候选点与参考特征点的距离与第二候选点与参考特征点的距离之比小于预设比较阈值，且第一候选点与参考特征点的距离小于预设的距离阈值，则确定第一候选点为参考特征点的匹配特征点。

在进行欧式距离计算的时候，如果将每个匹配影像上的特征点都与参考特征点进行距离计算，这计算量将会是非常大的。有鉴于此，可以使用核线约束和对称像点约束的方式，来将部分特征点作为候选特征点。

具体的，步骤S102，可以根据预先获取的相机外方位元素(当该外方位元素不准确的时候，可以对获取到的粗略数据进行平差处理，以得到较为准确的外方位元素)计算出参考特征点的物方坐标，再根据匹配影像的外方位元素和相机参数计算出参考特征点在右影像上的像点坐标(对应像点的坐标)。

步骤S103中，可以以对应像点为中心确定搜索区域，如将以对应像点为中心，预定长度为半径的圆作为搜索区域。还可以是以对应像点为中，预定长度为边长确定方形的搜索区域。

步骤S104中，只要分别计算位于搜索区域内的每个特征点(搜索区域内的特征点即为候选特征点)与参考特征点的距离即可。

步骤S1022还可以分为如下子步骤：

获取参考特征点关于匹配影像的参考核线；

以对应像点为中心，沿参考核线所在的方向上构建预定范围的搜索区域。

需要说明的是，搜索区域可以是长方形，如图3所示，以匹配影像上的对应像点为中心，一定的宽(width)和高(height)，以及像点i的核线与像平面坐标系x轴的夹角angle，计算出该像点的核线多边形，核线多边形所覆盖的范围即是搜索区域。当然，也可以在确定了搜索区域后，查看该搜索区域内的特征点数量，当特征点数量小于阈值的时候，可以适当增加宽和高，以扩大搜索区域。

至此，通过确定搜索区域内的特征点为候选特征点，能够进一步减小匹配工作的计算量，而且不会影响精度。

在执行步骤S101之前首先，需要确定匹配影像。匹配影像必然是与主影像具有一定重叠度的影像。因此，在确定匹配影像时，可以先确定主影像的可见影像(与主影像有重叠的影像)。

具体可以分为如下步骤：

分别计算主影像与多个原始影像的重叠度；

将与主影像重叠度超过预设的重叠度阈值的原始影像作为匹配影像。

本申请所提供的多视影像的IMU/GNSS引导匹配方法还包括：

将摄区进行分块，以确定多个顺序排列的区域块，相邻的两个区域块部分重叠；

根据主影像的摄影中心点的坐标、每个原始影像的摄影中心点的坐标和每个区域块的坐标，将指定的原始影像作为优选影像，优选影像的摄影中心点与主影像的摄影中心点在相同的区域块中；

步骤分别计算主影像与每张原始影像的重叠度包括：

分别计算主影像与每个优选影像的重叠度。

需要说明的是，对摄区进行分块的时候，每个区域块的大小可以是相同的，并且每个区域块优选为正方形。相邻的两个区域块的重叠度优选为10％-20％。其次，可以根据落在区域块中的影像中心点数量来确定区域块的大小(也可以说根据摄区内全部原始影像的摄影中心点密度，确定区域块的大小)。

之后，需要确定主影像的摄影中心点所在的区域块(可以确定该区域块为参考区域块)，再确定摄影中心点落在参考区域块中的原始影像为优选影像。

最后，步骤分别计算主影像与每张原始影像的重叠度包括：

分别计算主影像与每个优选影像的重叠度。

由此，可以减少匹配影像的数量，降低了匹配的计算量。

计算匹配影像的方式除了上述使用区域块的方式，还可以使用传统的方式，如按照影像像平面中心点坐标和影像的大小，粗略计算两个影像是否重叠，但此种方式计算量较大，准确度也较低。

当获取到的原始影像精度不高时，可以通过对下视影像进行初始匹配，如基于Harris特征点的局部纹理最优匹配和基于尺度空间的，对图像缩放、旋转甚至仿射变换保持不变性的图像特征匹配算法进行初始匹配，来选择主影像和匹配影像上适合做特征点的像素点。这两种方式可以同时使用，以增加特征点的数量。

之后，可以使用光束法平差，生成DEM，获得下视影像较为准确的IMU/GNSS数据，进而再根据下视影像和倾斜影像的关系，得到较为准确的倾斜影像的IMU/GNSS数据。

下面，以一个具体的实例来说明本申请所提供的多视影像的IMU/GNSS引导匹配方法：

该方法可以分为如下6个部分：

1.下视影像初始匹配：

考虑到航带多视影像IMU/GNSS精度可能不高，或者没有IMU/GNSS数据的情形，首先对下视影像(即垂直影像)做初始匹配，初始匹配有两种匹配方式组成，一种是基于Harris特征点的局部纹理最优匹配，该匹配方式计算简单，稳定性好、且不受阈值影响，可以最大限度地提出局部特征点；另一种是基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像特征匹配算法，该算法主要由两部分组成，首先是关键点(特征点)的生成，即在图像上定位适合做特征点的像素点，此处的适合即用不同尺度(标准差)的高斯函数对图像进行平滑处理，然后比较平滑后图像的差别，差别大的像素就是适合做特征点的像素点。其次是关键点描述子的生成，描述算子主要是在关键点位置计算后，用一组向量将这个关键点描述出来，这个描述不仅包括关键点，也包括关键点周围对其有贡献的像素点，用来作为目标匹配的依据。将两种匹配方式获得的匹配点(关键点)合并，得到初始匹配的最终匹配点。

2.平差，生成DEM：

对初始匹配点(下视影像上的)进行粗差剔除，匹配点融合，光束法平差，生成DEM，获得下视影像较为准确的IMU/GNSS数据，此时初始匹配完成。

3.平台检较，获取其他视角IMU/GNSS数据：

由下视影像初始匹配后平差得到的IMU/GNSS，结合平台检较参数，计算出其他视角影像的IMU/GNSS数据，获得较为准确的多视影像IMU/GNSS，作为多视匹配的引导数据。

4.可见影像列表生成：

可见影像列表生成,为后续IMU/GNSS引导匹配提供匹配依据。倾斜航空多视影像由于具有多度重叠，且影像重叠部分分布复杂的特征性，像对之间是否需要匹配不能根据航线飞行信息直接判断。因而在匹配之前，需要通过计算，获得所有影像与任一张倾斜航空多视影像有重叠的影像(即查找与主影像有重叠的影像)，称为该张倾斜航空多视影像(如主影像)的可见影像。

可见影像列表根据不同的情况有两种方式生成：

(1)航带排列方式按照曝光点信息，即IMU/GNSS数据信息，同一个曝光点包括五张影像排在一个位置，即按照影像在空中的曝光信息排航带，这种方式排列的航带，不能代表影像间重叠度信息，需要通过计算得到。首先，对影像组的下视影像进行航带排列，该下视影像能够覆盖摄区(航摄飞行区域)，对摄区分块，分块的目的是为了减少计算可见影像时搜索影像范围,分块的依据就是计算量最为合理的情况下获得任一张影像的可见影像。分块原则为根据影像航向及旁向重叠度以及单张影像覆盖地面面积为计算依据，以落入块内的影像(影像中心点落入快内即判断影像落入块内)在50张以内为原则，确定块的大小。该方式划分的块，能够覆盖整个摄区，且块与块之间有10％-20％(设为阈值r)的重叠；其次，计算落入块内的影像，若影像像平面中心点的在地面投影的物方坐标落入某一块内，则该影像落入该块内，以此方式对摄区内所有影像分块；最后，块内计算可见影像，此时块内的影像之间在物方彼此相邻，此时再进行影像匹配计算能够节约大量搜索时间，对块内每一张影像计算其可见影像，搜索范围为该块内所有影像,对块内某一张影像i(主影像)与块内任一张影像j(匹配影像)计算可见影像，当两张影像的重叠度超过阈值值，则判断此时的影像相互可见。

(2)航带排类方式按照物方坐标方式，即按照影像像平面中心点在地面的坐标排列航带，该方式生成的航带，能够大致判断出影像重叠分布，计算可见影像依据航带信息进行。

5.特征点提取

此处的特征点提取方式与初始方式不同，用于IMU/GNSS引导匹配。对所有多视影像提取特征点，该特征点为两种特征提取方式的结合，充分利用其各自的优点，获取一种特征点。方式一和方式二结合，方式一主要用于确定影像特征点的位置，方式二用于确定特征点的属性，即128维描述子。

方式一具体计算步骤如下：

(1)计算图像I(x,y)在x和y两个方向的一阶梯度I_x、I_y；

上述公式对每个像素点分别在x,y方向求一阶偏导，在图像处理学上即为分别用模板(-101)和模板(-101)^T对图像进行卷积计算，为卷积符号。该计算方式只用灰度的一阶差分，操作简单，计算方便。

(2)计算图像两个方向梯度的乘积；

(3)为提高抗噪能力，使用高斯函数w(x,y)对和I_xy进行卷积计算，定义A、B、C，矩阵M。

(4)定义每像元的角点响应值R，其中Tr(M)表示矩阵M的迹，Det(M)表示矩阵M的行列式值,0.04≤k≤0.06，设λ₁，λ₂为M的2个特征值,由矩阵理论可得角点响应函数。

该算子对图像中的每个点都计算R，然后在邻域中选择最优点，提取的点特征分布均匀而且合理。

R＝Det(M)-k(Tr²(M))；

Tr(M)＝λ₁+λ₂＝A+B；

Det(M)＝λ₁λ₂＝AB-C²；

R＝AB-C²-k²(A+B)²；

(5)在w*w(w＝3或5)邻域内进行非最大值抑制，局部最大值点即为图像中的角点。即求R在w*w范围内的最大值点，取得最大值时的x,y即为该区域内的特征点。

方式一确定特征点位置后，方式二主要是在方式一确定的特征点位置的基础上，计算该特征点的属性，即计算128维描述子。目的是在特征点像素值计算后，用一组向量将这个特征点像素值描述出来，这个描述子不但包括特征点像素值，也包括特征点像素值周围对其有贡献的像素点。用来作为目标匹配的依据，也可使特征点具有更多的不变特性，如光照变化、3D视点变化等。

方式二具体计算步骤如下：

(1)对图像上每个像素点I(x,y)用二维高斯函数计算卷积，其中二维高斯函数定义如σ代表了高斯正态分布的方差。一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯核卷积得到，结果带入

上式中，(x,y)代表图像的像素位置，σ称为尺度空间因子，其值越小则表征该图像被平滑的越少，相应的尺度也就越小。L代表图像的尺度空间。

(2)利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数，使算子具备旋转不变性。

梯度幅值：

梯度方向：

上述两个公式为(x,y)处梯度的模值和方向公式。实际计算中，在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0～360度，其中每10度一个柱，总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向，即作为该关键点的方向。

(3)生成128维描述子。

首先将坐标轴旋转为关键点的方向，以确保旋转不变性。

那么旋转角度后新坐标为：

下面就种子点生成进行示例说明。以关键点为中心取8*8的窗口，如图2左部分的中央蓝点为当前关键点的位置，每个小格代表关键点邻域所在尺度空间的一个像素，箭头方向代表该像素的梯度方向，箭头长度代表梯度模值，左图中的圆圈代表高斯加权的范围(越靠近关键点的像素梯度方向信息贡献越大)，然后在每4*4的小块上计算8个方向的梯度方向直方图，绘制每个梯度方向的累加值，即可形成一个种子点，如图2右部分所示，此图中一个关键点由2*2共4个种子点组成，每个种子点有8个方向向量信息，这种邻域方向性信息联合的思想增强了算法抗噪声的能力。

实际计算过程中，为增强匹配的稳健型，对每个关键点使用4*4共16个种子点来描述，这样对于一个关键点就可以产生128个数据，即最终形成128维的特征向量。该方式特有的128维描述子能够对影像旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也能保持一定程度的稳定性

6.特征匹配

匹配的原则是像方两两匹配，具体步骤如下：

(1)首先，对于左影像的某一特征点i，根据初始匹配平差(步骤2)得到的外方位元素，计算出其物方坐标，判断该坐标是否在右影像覆盖范围内；

(2)若该点坐标不在右影像覆盖范围内，回归(1)；

(3)若该点在右影像范围内，结合右影像的外方位元素以及相机参数，计算出该物点在右影像上的像方坐标，获得像点i；

(4)以计算出的右影像上的像点i(x,y)为中心，一定的宽(width)和高(height)，以及像点i的核线与像平面坐标系x轴的夹角angle，计算出该像点的核线多边形。

(5)统计右影像核线多边形内包括的特征点,左影像的特征点i依次与右影像的核线多边形内的特征点计算欧式距离，此处的欧式距离为左右影像特征点128维向量的距离和。依次计算出左影像上的特征点i与右影像核线多边形内的特征点的距离d_j(j＝1,…n,n为右影像核线多边形内特征点个数)，并对距离d_j进行排序，设最近距离为Distance₁，次近距离为Distance₂，若最近距离与次近距离之比小于阈值r(r取值0.6-0.7)，且最小距离小于阈值d(d取值140-150)，则此距离最小对应的右影像上的特征点即为左影像特征点i的同名点，匹配成功，记录该同名点,转到(1)，开始对左影像下一个特征点进行匹配；若不同时满足以下两个公式，匹配失败，也转到(1)，继续下一个特征点匹配。

Distance₁<d；

由此，通过上述方法便能够依次确定主影像上每个参考特征点的匹配特征点。

基于上述方法，还可以进一步进行匹配点融合：

所有影像匹配之后，得到的只是两两同名点，没有多度重叠信息，需要进行匹配点融合；首先，在所有两两匹配的文件中抽取出单张影像的所有像素点，保存成.ic文件,每个影像对应一个.ic文件；其次，将.ic文件中的每个像素点作为节点，在节点之间寻找同名点，建立多度重叠关系，最终多个节点构成的多度重叠关系形成一个环，一个环为一个同名点，建立同名点信息。具体如图4所示，由imageName1.ic中一个像点a作为节点，通过两两同名点对搜索其他影像找到像点a的同名点，可能会有好几个，将这几个点连成一个环；对于每个同名点，如imageName2.ic的像点b,再由像点b的同名点对在其他影像搜索其同名点，找到imageName3.ic上的像点c等，将这些点与上一个环连接起来；依次类推，直到imageNamen.ic上的像点t找到其同名点为imageName1.ic的像点a,这些像点的树结构形成一个闭合的环，这个环所包括的像点构成一个多度重叠点，如图8构成一个10度重叠的同名点，完成匹配点融合。此时，倾斜航空多视影像匹配完成，得到大量的多度重叠点，或者说确定了每个特征点的重叠度。

与本申请所提供的多视影像的IMU/GNSS引导匹配方法相对应的，本申请实施例还提供了多视影像的特征点匹配装置，包括：

特征点确定模块，用于根据主影像和匹配影像上每个像素点角点响应值的大小，分别确定主影像上的参考特征点，和匹配影像上的候选特征点；

对应像点计算模块，用于根据主影像的IMU/GNSS数据、匹配影像的IMU/GNSS数据和参考特征点，计算参考特征点在匹配影像上的对应像点；

搜索区域确定模块，用于以对应像点为中心，确定搜索区域；

距离计算模块，用于依次计算搜索区域内的每个候选特征点与参考特征点的距离；

匹配特征点确定模块，用于选择搜索区域内的多个候选特征点中，与参考特征点距离符合预设要求的特征点作为参考特征点的匹配特征点。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.多视影像的IMU/GNSS引导匹配方法，其特征在于，包括：

根据主影像和匹配影像上每个像素点角点响应值的大小，分别确定所述主影像上的参考特征点，和所述匹配影像上的候选特征点；

根据所述主影像的IMU/GNSS数据、所述匹配影像的IMU/GNSS数据和所述参考特征点，计算所述参考特征点在所述匹配影像上的对应像点；

以所述对应像点为中心，确定搜索区域；

依次计算所述搜索区域内的每个候选特征点与所述参考特征点的距离；

选择所述搜索区域内的多个候选特征点中，与所述参考特征点距离符合预设要求的特征点作为所述参考特征点的匹配特征点。

2.根据权利要求1所述的多视影像的IMU/GNSS引导匹配方法，其特征在于，还包括：

分别计算所述主影像与多个原始影像的重叠度；

将与所述主影像重叠度超过预设的重叠度阈值的原始影像作为匹配影像。

3.根据权利要求2所述的多视影像的IMU/GNSS引导匹配方法，其特征在于，还包括：

将摄区进行分块，以确定多个顺序排列的区域块，相邻的两个所述区域块部分重叠；

根据所述主影像的摄影中心点的坐标、每个所述原始影像的摄影中心点的坐标和每个区域块的坐标，将指定的原始影像作为优选影像，所述优选影像的摄影中心点与所述主影像的摄影中心点在相同的区域块中；

步骤所述分别计算所述主影像与每张原始影像的重叠度包括：

分别计算所述主影像与每个优选影像的重叠度。

4.根据权利要求3所述的多视影像的IMU/GNSS引导匹配方法，其特征在于，还包括：根据摄区内全部原始影像的摄影中心点密度，确定所述区域块的大小。

5.根据权利要求1所述的多视影像的IMU/GNSS引导匹配方法，其特征在于，还包括：

分别计算主影像和匹配影像上每个像素点在指定坐标系横方向的一阶梯度I_x和纵方向的一阶梯度I_y；

根据如下公式计算主影像和匹配影像上每个像素点的矩阵其中，w(x,y)为预设的高斯函数；

根据如下公式分别计算主影像和匹配影像上每个像素点的角点响应值，R＝AB-C²-k²(A+B)²，其中，R为角点响应值，k为预设的常数。

6.根据权利要求5所述的多视影像的IMU/GNSS引导匹配方法，其特征在于，在步骤所述根据主影像和匹配影像上每个像素点角点响应值的大小，分别确定所述主影像上的参考特征点，和所述匹配影像上的候选特征点前，在步骤所述根据如下公式分别计算主影像和匹配影像上每个像素点的角点响应值，R＝AB-C²-k²(A+B)²，其中，R为角点响应值，k为预设的常数后；还包括：对主影像和所述匹配影像上的每个像素点进行非最大值抑制。

7.根据权利要求1所述的多视影像的IMU/GNSS引导匹配方法，其特征在于，所述以所述对应像点为中心，确定搜索区域包括：

获取所述参考特征点关于所述匹配影像的参考核线；

以所述对应像点为中心，沿所述参考核线所在的方向上构建预定范围的搜索区域。

8.根据权利要求1所述的多视影像的IMU/GNSS引导匹配方法，其特征在于，所述选择所述搜索区域内的多个候选特征点中，与所述参考特征点距离符合预设要求的特征点作为所述参考特征点的匹配特征点包括：

确定多个所述候选特征点中与所述参考特征点距离最近的第一候选点和多个所述候选特征点中与所述参考特征点距离第二近的第二候选点；

若所述第一候选点与所述参考特征点的距离与所述第二候选点与所述参考特征点的距离之比小于预设比较阈值，且所述第一候选点与所述参考特征点的距离小于预设的距离阈值，则确定所述第一候选点为所述参考特征点的匹配特征点。

9.根据权利要求8所述的多视影像的IMU/GNSS引导匹配方法，其特征在于，所述依次计算所述搜索区域内的每个候选特征点与所述参考特征点的距离包括：

根据预先获取的所述参考特征点的多维特征向量和每个所述候选特征点的多维特征向量，分别计算所述参考特征点与每个所述候选特征点的距离。

10.根据权利要求9所述的多视影像的IMU/GNSS引导匹配方法，其特征在于，所述计算所述参考特征点与每个所述候选特征点的距离包括：

建立与所述参考特征点的方向相符的参考坐标轴；

以所述参考坐标轴为参照，重新确定所述参考特征点在所述参考坐标轴的坐标；

以所述参考特征点为中心，选择所述参考特征点附近16*16个像素点的特征向量作为所述参考特征点的特征向量，以形成所述参考特征点的128维特征向量。