CN107341824B - 一种图像配准的综合评价指标生成方法 - Google Patents

Abstract

本发明公开了一种图像配准的综合评价指标生成方法，其步骤包括：在初始匹配特征点对中随机选取，得到其子集，利用子集计算变换矩阵；计算每对匹配特征点对的匹配误差和所有匹配误差的均值，通过前者小于后者的数目获得累积误差消除指标Z；计算参考图像中不同匹配特征点对间距离总和，将参考图像划分图像块，统计其中的匹配特征点对占比与其最大值和最小值之差，获得分布指标P；计算每对匹配特征点对的匹配量化误差并求和，得到匹配量化误差指标O；计算所有匹配特征点对匹配误差均值并求出均值量化误差指标R；将Z、P、O和R组合计算最终的综合评价指标RE。本发明能够有效解决RMSE类似评价指标会受到特征点数目和误差均值影响的问题。

Description

一种图像配准的综合评价指标生成方法

技术领域

本发明属于图像处理技术领域，涉及图像配准的评价指标，特别是一种图像配准的综合评价指标生成方法，可以消除特征点匹配评价的“累积误差”、度量匹配特征点对分布，度量不同误差的匹配特征点对对配准结果的不同影响，并且能够把对匹配特征点对的度量结果和对图像配准结果的度量结果对应起来。

背景技术

由于同一传感器在不同时刻拍摄某个目标，或者不同传感器拍摄某个目标，都会在位置、角度等方面存在差异，甚至经常出现图像的畸变。而这种差异和畸变会对图像的变化检测、图像的拼接融合等产生极大的干扰。为了解决这个问题，就需要运用到图像配准技术。但是每种配准方法得到的配准结果的精确度都会有所不同，因而为了比较配准结果的优劣，就需要对配准结果进行评价。评价指标的准确性是评价图像配准的关键因素。

对于图像配准的评价指标，前人已经做了许多工作。而在基于特征点的图像配准方法中，得到配准结果后，不仅要对配准结果进行比较分析，还要对匹配特征点对的精度进行判断，找出配准精度较高的算法，因为在基于特征点的图像配准方法中，决定配准结果精确度的就是匹配特征点对的精度，而这就需要用到相关的评价指标对算法进行评定。

在当前已有的图像配准的相关文献中，已经提出或使用了多种客观评价指标，其中比较常用的有单阈值法、均方根误差(Root Mean Square Error，RMSE)、互信息(MutualInformation，MI)等。

单阈值法经常应用于基于特征点的图像配准评价中，用以判定匹配特征点对的匹配正确或错误。Mikolajczyk 2005年在文献“A performance evaluation of localdescriptors”(IEEE transactions on pattern analysis and machine intelligence,2005,27(10):1615-1630)对经典的特征描述子进行比较时，评价指标中判断匹配正误使用了“重叠误差”以及区域的交集和并集，并使用单个阈值区分正确匹配特征点对和错误匹配特征点对。2017年Zhao M等人在文献“A Recovery and Filtering Vertex TrichotomyMatching for Remote Sensing Image Registration”(IEEE Transactions onGeoscience and Remote Sensing,2017,55(1):375-391)中判断正确匹配特征点对和错误匹配特征点对时也使用了“单阈值”的方法，将一对匹配特征点对中一个匹配点经过仿射变换模型变换后的位置和另一个匹配点的位置进行比较，相差在2个像素以内的匹配特征点对认为匹配正确，否则认为匹配错误。单阈值法的优点是判断简单，只需要一个阈值就能判断匹配特征点对的正误，能够在一定程度上对匹配正误以及匹配特征点对的精度进行区分。但是这种评价方法中阈值的选定受人为影响较大，没有相对固定的标准，导致相同的匹配特征点对的评价结果可能不同；且该评价方法无法显示不同误差的匹配特征点对对配准结果的不同影响。

均方根误差是基于特征点的图像配准的评价方法中评价特征点对匹配精度最常用的指标之一。其本意是度量观测值和真实值之间的偏差，该评价值越小则表明匹配特征点对的仿射变换一致性越好。但是由图像配准的性质可知，我们不可能得到真实的图像变换矩阵，所求得的变换矩阵是由匹配特征点对进行计算的，相当于对匹配特征点对位置变换的平均；同时变换矩阵还会受到匹配特征点对的分布情况等因素的影响，这就造成任意一对匹配特征点对的误差或分布都会对变换矩阵产生影响，从而使得原本可能没有误差的匹配特征点对经变换矩阵计算后“产生误差”，这种误差经过累积就会使该评价指标值随着特征点数目的增加和误差均值的增加而增大，称为“累积误差”，从而出现该评价指标值会受到特征点数目和误差均值的影响，因此不能很好地反映出真正的匹配特征点对的误差情况。

关于匹配特征点对的分布评价的问题，2009年H

等人在文献“Corte-Real L.Measures for an objective evaluation of the geometric correctionprocess quality”(IEEE Geoscience and Remote Sensing Letters,2009,6(2):292-296)中提出了几何校正质量的客观评价指标，其中的单项指标S_cat表示匹配特征点对的分布情况。但是该指标只利用了距离的中位数，而距离只能反映特征点之间的远近关系，不能完全反映其位置关系；同时中位数也不能够代表所有特征点的距离情况，有一定的局限性。2015年Wang B等人在其文章“A uniform SIFT-like algorithm for SAR imageregistration”(IEEE Geoscience and Remote Sensing Letters,2015,12(7):1426-1430)中定义了匹配特征点对的局部空间分布密度和全局覆盖率以评价匹配特征点对的分布。这两项指标能够在一定程度上反映匹配特征点对在图像中位置的分布情况。但是这两项评价指标主要是由作者提出的特征点提取算法衍生得到的，评价其他算法时，会将其他算法得到的匹配特征点对按照作者的算法进行处理或删除，对其他算法得到的匹配特征点对有所改变，所以这两项评价指标的局限性较大，有一定的不合理性，因而评价结果不是非常准确；同时这两项评价指标的计算相对复杂。

互信息是图像配准中相似性度量以及配准结果的评价应用非常广泛且度量效果和配准效果都比较好的指标。互信息原为信息论中的概念，描述的是不同变量的统计相关性；在图像配准的评价中，互信息值越大表示参考图像和配准图像的“依赖性”越强，即它们相同位置的对应关系越强，配准效果越好。在现阶段互信息的评价和对比的效果相对比较理想，和视觉评价差异不大，而且理论较为完善。但是由于其性质决定了互信息不能够对匹配特征点对进行评定，从而无法判断匹配特征点对的精确度。

从以上列举可以看出，单阈值法、均方根误差、互信息以及匹配特征点对的局部空间分布密度和全局覆盖率都可以在一定范围内对匹配特征点对或配准结果有较好的评价结果，但是也同样存在不同的缺点和不足。同时，现有的评价指标一般都是单一评价匹配特征点对(例如单阈值法、均方根误差等)，或者是只评价最终的配准结果(例如互信息)，而没有将匹配特征点对和最终配准效果进行对应的评价方法。

发明内容

本发明的目的在于针对已有方法的不足，提出了一种图像配准的综合评价指标生成方法，通过将匹配误差进行二分类，评定匹配特征点在图像中分布情况，以及对匹配特征点误差进行量化，有效解决了RMSE类似评价指标会受到特征点数目和误差均值的影响的问题——即消除了“累积误差”，填补了影响配准结果局部畸变重要因素的匹配特征点在图像中分布情况缺乏相应的评价的空白，减少了用单个阈值判定特征点匹配正误不能体现不同误差的匹配特征点对配准结果的不同影响，并将得到的匹配特征点和最后的配准结果对应起来。

本发明的技术方案是：一种图像配准的综合评价指标生成方法，包括如下步骤：

步骤1：输入来自同一图像传感器对同一地区在不同时间获取的两幅图像I₁和I₂，它们的像素尺寸大小均为M×N像素，每幅图像分别以其左上角作为坐标原点，为了便于描述，称图像I₁为参考图像，称图像I₂为浮动图像，则上述两幅图像分别表示为I_t＝{I_t(x,y)|t＝1,2；1<x≤M；1<y≤N}，其中x和y分别为图像的行序号和列序号，M和N分别为图像I_t的最大行序号和最大列序号；

步骤2：采用任意一种基于特征点的图像匹配算法计算参考图像I₁和浮动图像I₂对应的匹配特征点对集合

将

作为最初的匹配特征点对集合，下标CS为任意特征点匹配算法得到的匹配特征点对的总数目，

和

分别是匹配特征点对在参考图像和浮动图像中的特征点集合，

和

分别表示参考图像I₁和浮动图像I₂中的第k对匹配特征点的坐标；

步骤3：从最初的匹配特征点对集合

中随机选取C对，得到匹配特征点对子集

计算其得到的变换矩阵T，将

和

与T代入欧式距离误差公式，得到一对匹配特征点对的匹配误差E_l，然后计算所有匹配特征点对的匹配误差均值E_e；

步骤4：统计匹配特征点对的匹配误差E_l中小于匹配误差均值E_e的匹配特征点对的个数Ce，按照公式Z＝Ce/C计算得到累积误差消除指标Z；

步骤5：计算参考图像I₁的匹配特征点集合

中任意两个不同特征点之间坐标的欧氏距离，并求这些欧氏距离的值的和，得到特征点间距离总和D_sum；

步骤6：计算参考图像I₁的剖分块数目参数rS，并将参考图像I₁剖分为rS×rS个子图像块，计算匹配特征点子集

中落在每个图像块中的匹配特征点数目占匹配特征点总数C的比例，再由该比例的最大值减去最小值得到分布均匀性评价指标Db，然后计算匹配特征点对分布指标P；

步骤7：计算第l对匹配量化误差

对所有C对匹配特征点对匹配量化误差求和，得到匹配量化误差指标O；再利用所有匹配特征点对的匹配误差均值E_e求得均值量化误差指标R；

步骤8：将步骤4、步骤5、步骤6、步骤7得到的累积误差消除指标Z、匹配特征点对分布指标P、匹配量化误差指标O、均值量化误差指标R代入公式RE＝(Z·P·O)^R计算最终的综合评价指标RE。

步骤3具体按如下步骤进行：

3a)在初始的匹配特征点对集合

中随机选取C对，将它们的序号按照由1到C的顺序重新标记，得到匹配特征点对子集

其中

这里

匹配特征点的坐标满足

和

3b)按照公式T＝[x¹ y¹ 1]′/[x² y² 1]′计算变换矩阵T，其中x¹和y¹分别为在参考图像I₁中所有匹配特征点对的横坐标向量和纵坐标向量，x²和y²分别为在浮动图像I₂中所有匹配特征点对的横坐标向量和纵坐标向量，即

[·]'表示矩阵的转置，即把行向量转为列向量；

3c)按照公式

求第l对匹配特征点对的匹配误差E_l；

3d)按照公式

计算所有匹配特征点对的匹配误差均值E_e。

步骤6具体按如下步骤进行：

6a)计算

其中round(·)是四舍五入取整操作；将参考图像I₁分为rS行rS列，子图像块的总数为rS×rS，第u行第v列的子图像块记为B_uv，其中，参考图像的子图像块的行序号1≤u≤rS-1、列序号1≤v≤rS-1的子图像块的大小为MS×NS，参考图像的最后一行中除去最后一列的子图像块，即u＝rS且v≠rS的子图像块大小取为[M-MS×(rS-1)]×NS，参考图像的最后一列中除去最后一行的子图像块，即u≠rS且v＝rS的子图像块大小取为MS×[N-NS×(rS-1)]，参考图像的最后一行且最后一列的子图像块，即u＝rS且v＝rS的大小取为[M-MS×(rS-1)]×[N-NS×(rS-1)]，这里，MS＝round(M/rS)，NS＝round(N/rS)；

6b)统计参考图像I₁的匹配特征点子集

中落在第u行第v列的子图像块中的匹配特征点的数目w_uv；将w_uv除以匹配特征点的数目C，得到第u行第v列的子图像块中的匹配特征点数目占匹配特征点总数的比例w_uv/C；然后遍历所有的子图像块，得到所有子图像块中匹配特征点数目占匹配特征点总数的比例的集合W＝{w_uv/C}；

6c)将步骤(6b)中集合W中的最大值和最小值分别记为max(W)和min(W)，按照公式Db＝max(W)-min(W)计算分布均匀性指标Db；

6d)将步骤5得到的特征点间距离总和D_sum和步骤(6c)得到的分布均匀性指标Db，按照公式P＝Db/D_sum计算匹配特征点对分布指标P。

步骤7具体按如下步骤进行：

7a)根据公式

计算第l对匹配特征点对的匹配量化误差

其中，

表示取最大整数操作，g为量化补偿系数，其取值范围为1～4；f_e为每一对匹配特征点对误差像素值分界系数，f_e的取值范围为10～40像素；其中g具体取值为2，f_e取值为20；

7b)重复执行步骤7a)，遍历匹配特征点对子集

中所有C对匹配特征点对，对所有C个匹配特征点对的匹配量化误差

进行求和，即得到匹配量化误差指标

7c)根据步骤3d)求得的所有匹配特征点对的匹配误差均值E_e和公式

计算均值量化误差指标R，其中，f_m为所有匹配特征点对误差均值的像素值分界值，其取值范围为3～5像素；

表示取最小整数操作，上标-1表示求倒数；其中f_m具体取值为4个像素。

本发明的有益效果：本发明适用的条件为：两幅经过精配准的含相干斑噪声的SAR图像，或者两幅经过精配准的自然图像。与现有的技术相比本发明具有以下优点：

a)本发明能够有效消除“累积误差”的影响，使得得到的评价指标值和匹配结果的视觉效果对应起来，可以更有效地评价匹配特征点对的优劣。

b)本发明能够有效地度量可能造成图像局部畸变的匹配特征点对的分布情况，并给出理想的评价值。

c)本发明对具有不同匹配误差的匹配特征点对能够较好地区分和评价，即评价指标中匹配误差量化可以在结果中显示不同误差的匹配特征点对对配准结果的不同影响。

d)本发明能将特征点的匹配情况和最终的配准结果对应起来，即能对最终的配准结果进行有效评价；同时普适性较好，基本没有局限性，实现相对简单，而且不会对已有的任何匹配特征点对做出改变，结果比较准确。

附图说明

图1是本发明的实现流程图。

图2是本发明用于实验的一组SAR图像对。

图3是本发明用于实验的一组自然图像对。

图4是本发明对实验的SAR图像对采用改进的尺度缩减SIFT算法得到的匹配特征点对的连线示意图。

图5是本发明对实验的自然图像对采用改进的尺度缩减SIFT算法得到的匹配特征点对的连线示意图。

图6是本发明实验中SAR图像对进行随机选择的不同数目匹配特征点对的连线示意图和配准结果的棋盘格图。

图7是本发明实验中自然图像对进行随机选择的不同数目匹配特征点对的连线示意图和配准结果的棋盘格图。

图8是本发明实验中SAR图像对进行随机选择的匹配特征点对数目均为10对但位置分布不同的匹配特征点对连线示意图和配准结果棋盘格图。

图9是本发明实验中自然图像对进行随机选择的匹配特征点对数目均为10对但位置分布不同的匹配特征点对连线示意图和配准结果棋盘格图。

图10是本发明实验中SAR图像对进行随机选择的不同匹配误差的匹配特征点对的连线示意图和配准结果的棋盘格图。

图11是本发明实验中自然图像对进行随机选择的不同匹配误差的匹配特征点对的连线示意图和配准结果的棋盘格图。

图12是本发明实验中SAR图像对进行随机选择的不同匹配误差、数目和分布的匹配特征点对的连线示意图和配准结果的棋盘格图。

图13是本发明实验中自然图像对进行随机选择的不同匹配误差、数目和分布的匹配特征点对的连线示意图和配准结果的棋盘格图。

具体实施方式

以下参照附图对本发明的具体实现及效果做进一步的详细说明。

参照图1，本发明公开了一种图像配准的综合评价指标生成方法，其实现步骤如下:

步骤1，输入来自同一图像传感器对同一地区在不同时间获取的两幅图像I₁和I₂，它们的像素尺寸大小均为M×N像素，每幅图像分别以其左上角作为坐标原点，为了便于描述，称图像I₁为参考图像，称图像I₂为浮动图像，则上述两幅图像分别表示为I_t＝{I_t(x,y)|t＝1,2；1<x≤M；1<y≤N}，其中x和y分别为图像的行序号和列序号，M和N分别为图像I_t的最大行序号和最大列序号。

步骤2：采用任意特征点匹配算法计算参考图像I1和浮动图像I2对应的匹配特征点对集合

将

作为初始的匹配特征点对集合，令CS为任意特征点匹配算法得到的匹配特征点对的总数目，

和

分别是匹配特征点对在参考图像和浮动图像中的特征点集合，

和

分别表示参考图像I₁和浮动图像I₂中的第k对匹配特征点的坐标。

步骤3：从初始的匹配特征点对集合

中随机选取C对，得到匹配特征点对子集

计算其得到的变换矩阵T，将

和

与T代入欧式距离误差公式，得到一对匹配特征点对的匹配误差E_l，然后计算所有匹配特征点对的匹配误差均值E_e。

3a)在初始的匹配特征点对集合

中随机选取C对，将它们的序号按照由1到C的顺序重新标记，得到匹配特征点对子集

其中

这里

匹配特征点的坐标满足

和

3b)按照如下公式计算变换矩阵T，

其中，[·]'表示矩阵的转置，即把行向量转为列向量，x¹和y¹分别为在参考图像I₁中所有匹配特征点对的横坐标向量和纵坐标向量，x²和y²分别为在浮动图像I₂中所有匹配特征点对的横坐标向量和纵坐标向量，即

3c)按照如下公式求第l对匹配特征点对的匹配误差E_l，

其中，

分别为第l对匹配特征点对在参考图像I₁和浮动图像I₁中的横坐标和纵坐标；

3d)按照公式

计算所有匹配特征点对的匹配误差均值E_e；

步骤4：统计匹配特征点对的匹配误差E_l中小于匹配误差均值E_e的匹配特征点对的个数Ce，按照公式Z＝Ce/C计算得到累积误差消除指标Z。

步骤5：计算参考图像I₁的匹配特征点子集

中任意两个不同特征点之间坐标的欧氏距离，并求这些欧氏距离的值的和，得到特征点间距离总和D_sum，具体步骤为：

5a)计算参考图像I₁的匹配特征点子集

中的第i个特征点和第j个特征点之间坐标的欧氏距离，记为d_ij；其中1≤i,j≤C且i≠j；

5b)将所有的两个特征点之间的欧氏距离d_ij按照公式

求和，得到特征点间距离总和D_sum。

步骤6：计算参考图像I₁的剖分块数目参数rS并将参考图像I₁剖分为rS×rS个子图像块，计算匹配特征点子集

中落在每个图像块中的匹配特征点数目占匹配特征点总数C的比例，再由比例的最大值减去最小值得到分布均匀性评价指标Db，然后计算匹配特征点对分布指标P。

6a)计算

其中round(·)是四舍五入取整操作；将参考图像I₁分为rS行rS列，子图像块的总数为rS×rS，第u行第v列的子图像块记为B_uv，其中，参考图像的子图像块的行序号1≤u≤rS-1、列序号1≤v≤rS-1的子图像块的大小为MS×NS，参考图像的最后一行中除去最后一列的子图像块，即u＝rS且v≠rS的子图像块大小取为[M-MS×(rS-1)]×NS，参考图像的最后一列中除去最后一行的子图像块即u≠rS且v＝rS的子图像块大小取为MS×[N-NS×(rS-1)]，参考图像的最后一行且最后一列的子图像块，即u＝rS且v＝rS的大小取为[M-MS×(rS-1)]×[N-NS×(rS-1)]，这里，MS＝round(M/rS)，NS＝round(N/rS)；

6b)统计参考图像I₁的匹配特征点子集

中落在第u行第v列的子图像块中的匹配特征点的数目w_uv；将w_uv除以匹配特征点的数目C，得到第u行第v列的子图像块中的匹配特征点数目占匹配特征点总数的比例w_uv/C；然后遍历所有的子图像块，得到所有子图像块中匹配特征点数目占匹配特征点总数的比例的集合W＝{w_uv/C}；

6c)将步骤(6b)中集合W中的最大值和最小值分别记为max(W)和min(W)，按照公式Db＝max(W)-min(W)计算分布均匀性指标Db；

6d)将步骤5得到的特征点间距离总和D_sum和步骤(6c)得到的分布均匀性指标Db，按照公式P＝Db/D_sum计算匹配特征点对分布指标P。

步骤7：计算第l对匹配量化误差

对所有C对匹配特征点对匹配量化误差求和，得到匹配量化误差指标O；再利用(3c)中计算的所有匹配特征点对的匹配误差均值E_e求得均值量化误差指标R，具体步骤为：

7a)根据公式

计算第l对匹配特征点对的匹配量化误差

其中，

表示取最大整数操作，g为量化补偿系数，其取值范围为1～4；f_e为每一对匹配特征点对误差像素值分界系数，f_e的取值范围为10～40像素。本发明实例中g取值为2，f_e取值为20；

7b)重复执行步骤7a)，遍历匹配特征点对子集

中所有C对匹配特征点对，对所有C个匹配特征点对的坐标匹配量化误差

进行求和，即得到匹配量化误差指标

7c)根据步骤3d)求得的所有匹配特征点对的匹配误差均值E_e和公式

计算均值量化误差指标R，其中，f_m为所有匹配特征点对误差均值的像素值分界值，其取值范围为3～5像素；

表示取最小整数操作，上标-1表示求倒数。本发明实例中f_m取值为4个像素。

步骤8：将步骤4、步骤5、步骤6、步骤7得到的累积误差消除指标Z、匹配特征点对分布指标P、匹配量化误差指标O、均值量化误差指标R代入公式RE＝(Z·P·O)^R计算最终的综合评价指标RE。

本发明的效果可以通过下面的实验结果进一步说明：

1)实验环境

硬件环境：Inter双核处理器，主频2.20GHz，内存8GB(实验时开启了16GB的虚拟内存)，操作系统是Windows 7系统。

软件环境：matlab2014b。

2)实验数据

数据1：分别为Radarsat-2卫星在2008年和2009年所拍摄的黄河入海口SAR图像对应区域的截取，两幅图尺寸均为500像素×500像素，具有明显的旋转差异，并有相干斑噪声的影响，如图2所示，其中：

图2(a)是Radarsat-2卫星在2008年所拍摄，实验中将其作为参考图像；

图2(b)是Radarsat-2卫星在2009年所拍摄，实验中将其作为浮动图像。

数据2：分别为同一个房屋对应区域的自然图像，两幅图尺寸均为400像素×400像素，具有明显的旋转差异和尺度差异，并有高斯白噪声的影响，如图3所示，其中：

图3(a)是小尺度自然图像，在实验中作为参考图像；

图3(b)是大尺度自然图像，含高斯白噪声，在实验中作为浮动图像。

3)辅助评价指标

为了验证本发明评价指标的有效性，这里使用了包括主观评价指标和客观评价指标在内的已存在的评价指标进行辅助评价。

(1)主观评价指标：视觉上直接观察配准结果的棋盘格图效果。

(2)客观评价指标：在技术背景中介绍过互信息对于配准结果的评价比较理想，所以在实验中将配准结果的互信息值作为客观评价的一项指标来对本发明提出的图像配准的综合评价指标生成方法进行辅助验证。

4)实验内容

本发明提出的图像配准的综合评价指标生成方法中，累积误差消除指标Z能够消除RMSE等评价指标中的“累积误差”，匹配特征点对分布指标P可以反映匹配特征点对在图像中的分布情况，而且匹配量化误差指标O和均值量化误差指标R可以反映不同匹配误差对配准结果不同影响，下面就这几部分内容分别验证。

本发明所使用的匹配特征点对是在SIFT算法得到的匹配特征点对中进行人工选择得到的，其中数据1和数据2利用一种SIFT算法得到的匹配特征点对分别如图4和图5。这里利用人工选择的匹配特征点对进行本发明的验证，是为了模拟图像中匹配特征点对的各种可能情况；实际情况中利用本发明进行评价时不需要进行人工选择。经过大量对比试验的比较，真实图像中的匹配特征点对的匹配误差和分布各种情况均包含在下列人工选择的匹配特征点对的匹配误差和分布情况的给定范围内。

(1)“累积误差”的消除验证

为了验证本发明的图像配准的综合评价指标生成方法能够消除“累积误差”的影响，在SIFT算法得到的匹配特征点对中进行人工选择，选择的每对匹配特征点对的误差小于20像素，且所有匹配特征点对误差的平均值小于4像素，匹配误差相对较小，以消除下面进行的实验内容(3)中大误差匹配特征点对对配准结果的影响。

利用人工选择不同数目的匹配特征点对对数据1和数据2中的图像进行配准，特征点对的匹配情况和配准结果分别显示于图6和图7中；其中，图6(a)是人工选择的5对匹配特征点对的示意图；图6(b)是图6(a)中的匹配特征点对得到的配准结果的棋盘格图；图6(c)是人工选择的20对匹配特征点对的示意图；图6(d)是图6(c)中的匹配特征点对得到的配准结果的棋盘格图；图7(a)是人工选择的3对匹配特征点对的示意图；图7(b)是图7(a)中的匹配特征点对得到的配准结果的棋盘格图；图7(c)是人工选择的20对匹配特征点对的示意图；图7(d)是图7(c)中的匹配特征点对得到的配准结果的棋盘格图。分别计算数据1和数据2中人工选择的匹配特征点对的互信息，将人工选择的匹配特征点对代入步骤8中的RE公式中，得到表1和表2中的结果(其中表1和表2中每一行的数据分别对应图6和图7中每一行的结果)。

从图6和图7可以直观地看出：无论是SAR图像还是自然图像，对于同一对参考图像和浮动图像，在人工所选的匹配特征点对中，随着匹配特征点对数目增加，所得到配准结果的视觉效果越好。从表1和表2中可以看出：对于同一对参考图像和浮动图像，当人工选择的匹配特征点对数目较少时，所得配准结果的互信息值较小，而本发明提出的评价指标值较大；随着人工选择的匹配特征点对的数目逐渐增加，所得配准结果的互信息值有逐渐增大的趋势，本发明提出的评价指标值也会减小。这证明了本发明提出的图像配准的综合评价指标生成方法能够有效地消除“累积误差”的影响，使得得到的评价指标值和匹配结果的视觉效果对应起来，能更有效地评价匹配特征点对的优劣。

表1数据1进行本发明评价指标对“累积误差”消除的验证数据

表2数据2进行本发明评价指标对“累积误差”消除的验证数据

(2)匹配特征点对在图像中分布情况的评价验证

为了验证本发明的图像配准的综合评价指标生成方法对匹配特征点对在图像中分布情况的评价，在SIFT算法得到的匹配特征点对中进行人工选择，选择的每对匹配特征点对的误差小于20像素，且所有匹配特征点对误差的平均值小于4像素，匹配误差相对较小，以消除下面进行的实验内容(3)中大误差匹配特征点对对配准结果的影响。

利用人工选择相同数目但分布不同的匹配特征点对对数据1和数据2中的图像进行配准，特征点对的匹配情况和配准结果分别如图8和图9；其中，图8(a)是人工选择的10对匹配特征点对的第一种分布示意图；图8(b)是图8(a)中的匹配特征点对得到的配准结果的棋盘格图；图8(c)是人工选择的10对匹配特征点对的第二种分布示意图；图8(d)是图8(c)中的匹配特征点对得到的配准结果的棋盘格图；图9(a)是人工选择的10对匹配特征点对的第一种分布示意图；图9(b)是图9(a)中的匹配特征点对得到的配准结果的棋盘格图；图9(c)是人工选择的10对匹配特征点对的第二种分布示意图；图9(d)是图9(c)中的匹配特征点对得到的配准结果的棋盘格图。分别计算数据1和数据2中人工选择的匹配特征点对的互信息，将人工选择的匹配特征点对代入步骤8中的RE公式中，得到表3和表4中的结果。

从图8和图9中可以看出：无论是SAR图像还是自然图像，对于同一对参考图像和浮动图像，当人工选择的匹配特征点对的分布较均匀时，得到的配准结果的局部形变较小，配准的整体效果较好。从表3和表4可以看出：当人工选择的匹配特征点对分布较集中时，配准结果互信息值较小，本发明提出的评价指标值较大；随着人工选择的匹配特征点对分布逐渐分散且均匀，配准结果互信息值有逐渐增大的趋势，本发明提出的评价指标值则有逐渐减小的趋势。这些结果说明了本发明提出的图像配准的综合评价指标生成方法能有效地度量匹配特征点对的分布情况，并给出理想的评价值。

表3数据1进行本发明评价指标对“匹配特征点对分布”评价的验证数据

表4数据2进行本发明评价指标对“匹配特征点对分布”评价的验证数据

(4)不同匹配误差对配准结果不同影响的评价验证

为了验证本发明的图像配准的综合评价指标生成方法对不同匹配误差对配准结果不同影响的评价，在SIFT算法得到的匹配特征点对中进行人工选择，选择的每对匹配误差有大有小，这样的匹配特征点对可以显示不同匹配误差对配准结果的不同影响。

利用人工选择相同数目但分布不同的匹配特征点对对数据1和数据2中的图像进行配准，特征点对的匹配情况、配准结果以及匹配特征点对的误差直方图分别显示于图10和图11中；其中，图10(a)是人工选择的22对匹配特征点对的示意图，有2对匹配特征点对的匹配误差大于20像素(认为是错误的匹配特征点对)；图10(b)是图10(a)中的匹配特征点对得到的配准结果的棋盘格图；图10(c)是图10(a)中的匹配特征点对的匹配误差直方图；图10(d)是人工选择的20对匹配特征点对的示意图，没有匹配特征点对的匹配误差大于20像素(认为所有的匹配特征点对均是正确的)；图10(e)是图10(d)中的匹配特征点对得到的配准结果的棋盘格图；图10(f)是图10(d)中的匹配特征点对的匹配误差直方图；图11(a)是人工选择的44对匹配特征点对的示意图，有5对匹配特征点对的匹配误差大于20像素(认为是错误的匹配特征点对)；图11(b)是图11(a)中的匹配特征点对得到的配准结果的棋盘格图；图11(c)是图11(a)中的匹配特征点对的匹配误差直方图；图11(d)是人工选择的39对匹配特征点对的示意图，没有匹配特征点对的匹配误差大于20像素(认为所有的匹配特征点对均是正确的)；图11(e)是图11(d)中的匹配特征点对得到的配准结果的棋盘格图；图11(f)是图11(d)中的匹配特征点对的匹配误差直方图。分别计算数据1和数据2中人工选择的匹配特征点对的互信息，将人工选择的匹配特征点对代入步骤8中的RE公式中，得到表5和表6中的结果(表5和表6中每一行的数据分别对应图10和图11中每一行的结果)。

从图10和图11中可以直观地看到：无论是SAR图像还是自然图像，对于同一对参考图像和浮动图像，匹配误差越大且误差大的匹配特征点对的数目越多，配准效果就越差。从表5和表6结合图10和图11可以看出：对于同一对参考图像和浮动图像，匹配误差越大且误差大的匹配特征点对的数目越多，配准结果的互信息值越小，即最终的配准效果也越差，这时得到的评价指标值也越大；反之评价指标越小，最终的配准效果也越好。这说明本发明提出的图像配准的综合评价指标生成方法对具有不同匹配误差的匹配特征点对能够较好地区分和评价，即评价指标中匹配误差量化可以在结果中显示不同误差的匹配特征点对对配准结果的不同影响。

表5数据1进行本发明对“不同误差对配准结果不同影响”的验证数据

表6数据2进行本发明对“不同误差对配准结果不同影响”的验证数据

(5)本发明的图像配准的综合评价指标生成方法的整体评价验证

为了验证本发明的图像配准的综合评价指标生成方法的整体评价情况，在SIFT算法得到的匹配特征点对中进行人工选择，选择的每对匹配误差有大有小，匹配特征点对的数目不同，匹配特征点对的分布不同，以测试本发明的图像配准的综合评价指标生成方法的整体性能。

利用上述的匹配特征点对对数据1和数据2中的图像进行配准，特征点对的匹配情况和配准结果分别显示于图12和图13中；其中，图12(a)是人工选择的22对匹配特征点对的示意图，有2对匹配特征点对的匹配误差大于20像素(认为是错误的匹配特征点对)；图12(b)是图12(a)中的匹配特征点对得到的配准结果的棋盘格图；图12(c)是人工选择的5对匹配特征点对的示意图；图12(d)是图12(c)中的匹配特征点对得到的配准结果的棋盘格图；图12(e)是人工选择的10对匹配特征点对的一种分布示意图；图12(f)是图12(e)中的匹配特征点对得到的配准结果的棋盘格图；图12(g)是人工选择的10对匹配特征点对的不同于图12(e)的一种分布示意图；图12(h)是图12(g)中的匹配特征点对得到的配准结果的棋盘格图；图13(a)是人工选择的41对匹配特征点对的示意图，有2对匹配特征点对的匹配误差大于20像素(认为是错误的匹配特征点对)；图13(b)是图13(a)中的匹配特征点对得到的配准结果的棋盘格图；图13(c)是人工选择的3对匹配特征点对的示意图；图13(d)是图13(c)中的匹配特征点对得到的配准结果的棋盘格图；图13(e)是人工选择的10对匹配特征点对的一种分布示意图；图13(f)是图13(e)中的匹配特征点对得到的配准结果的棋盘格图；图13(g)是人工选择的10对匹配特征点对的不同于图13(e)的一种分布示意图；图13(h)是图13(g)中的匹配特征点对得到的配准结果的棋盘格图。分别计算数据1和数据2中人工选择的匹配特征点对的互信息，将人工选择的匹配特征点对代入步骤8中的RE公式中，得到表7和表8中的结果。

从图12和图13中可以看出：无论是SAR图像还是自然图像，对于同一对参考图像和浮动图像，匹配误差大的匹配特征点对的数目越多，配准效果就越差；在所有匹配特征点对的匹配误差均小于20像素时，随着匹配特征点对数目的增加，所得到的配准结果的视觉效果越好；在所有匹配特征点对的匹配误差均小于20像素时，当人工选择的匹配特征点对的分布较均匀时，得到的配准结果的局部形变较小，配准的整体效果较好。从表7和表8可以看出：匹配误差大的匹配特征点对的数目越少，配准结果的互信息值越大，即最终的配准效果也越好，这时得到的评价指标值也越小；当人工选择的匹配特征点对分布较集中时，配准结果的互信息值较小，本发明提出的评价指标值较大；在所有匹配特征点对的匹配误差均小于20像素时，随着匹配特征点对的数目逐渐增加，所得配准结果的互信息值有逐渐增大的趋势，本发明提出的评价指标值也会减小；随着人工选择的匹配特征点对的分布逐渐分散且均匀，配准结果的互信息值有逐渐增大的趋势，本发明提出的评价指标值则有逐渐减小的趋势。最后随着互信息值的增加，图像配准的综合评价指标生成方法的值会减小，二者的趋势向反，但变化规律一致，说明图像配准的综合评价指标生成方法能够和最终的配准结果对应起来。这些结果说明了本发明提出的图像配准的综合评价指标生成方法能够有效地度量匹配特征点对的匹配情况，并能够较好地评价最终的配准结果。

表7数据1进行本发明的整体评价的验证数据

表8数据2进行本发明的整体评价的验证数据

综上所述，本发明提出的图像配准的综合评价指标生成方法对“累积误差”的消除、匹配特征点对分布以及不同误差的匹配特征点对对配准结果的不同影响的度量效果都较好，而且在配准结果的视觉上以及和互信息值的对应都较好。一般来说评价指标值越小，误差较大的匹配特征点对相对较少，匹配特征点对的分布较分散且均匀，且配准结果也更加精确。这说明了本发明提出的图像配准的综合评价指标生成方法可以有效地度量匹配特征点对的优劣并较精准地预测最终的配准结果。同时本发明提出的图像配准的综合评价指标生成方法普适性较好，局限性较小，实现相对简单，而且不会对已有的任何匹配特征点对做出改变，结果比较准确。

本实施方式中没有详细叙述的部分属本行业的公知的常用手段，这里不一一叙述。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (2)

1.一种图像配准的综合评价指标生成方法，其特征在于，包括如下步骤：

步骤1：输入来自同一图像传感器对同一地区在不同时间获取的两幅图像I₁和I₂，它们的像素尺寸大小均为M×N像素，每幅图像分别以其左上角作为坐标原点，为了便于描述，称图像I₁为参考图像，称图像I₂为浮动图像，则上述两幅图像分别表示为I_t＝{I_t(x,y)|t＝1,2；1<x≤M；1<y≤N}，其中x和y分别为图像的行序号和列序号，M和N分别为图像I_t的最大行序号和最大列序号；

步骤2：采用基于特征点的图像匹配算法计算参考图像I₁和浮动图像I₂对应的匹配特征点对集合

将

作为最初的匹配特征点对集合，下标CS为任意特征点匹配算法得到的匹配特征点对的总数目，

和

分别是匹配特征点对在参考图像和浮动图像中的特征点集合，

和

分别表示参考图像I₁和浮动图像I₂中的第k对匹配特征点的坐标；

步骤3：从最初的匹配特征点对集合

中随机选取C对，得到匹配特征点对子集

计算其得到的变换矩阵T，将

和

与T代入欧式距离误差公式，得到一对匹配特征点对的匹配误差E_l，然后计算所有匹配特征点对的匹配误差均值E_e；

步骤4：统计匹配特征点对的匹配误差E_l中小于匹配误差均值E_e的匹配特征点对的个数Ce，按照公式Z＝Ce/C计算得到累积误差消除指标Z；

步骤5：计算参考图像I₁的匹配特征点集合

中任意两个不同特征点之间坐标的欧氏距离，并求这些欧氏距离的值的和，得到特征点间距离总和D_sum；

步骤6：计算参考图像I₁的剖分块数目参数rS，并将参考图像I₁剖分为rS×rS个子图像块，计算匹配特征点子集

中落在每个图像块中的匹配特征点数目占匹配特征点总数C的比例，再由该比例的最大值减去最小值得到分布均匀性评价指标Db，然后计算匹配特征点对分布指标P；

所述步骤6具体按如下步骤进行：

6a)计算

其中round(·)是四舍五入取整操作；将参考图像I₁分为rS行rS列，子图像块的总数为rS×rS，第u行第v列的子图像块记为B_uv，其中，参考图像的子图像块的行序号1≤u≤rS-1、列序号1≤v≤rS-1的子图像块的大小为MS×NS，参考图像的最后一行中除去最后一列的子图像块，即u＝rS且v≠rS的子图像块大小取为[M-MS×(rS-1)]×NS，参考图像的最后一列中除去最后一行的子图像块，即u≠rS且v＝rS的子图像块大小取为MS×[N-NS×(rS-1)]，参考图像的最后一行且最后一列的子图像块，即u＝rS且v＝rS的大小取为[M-MS×(rS-1)]×[N-NS×(rS-1)]，这里，MS＝round(M/rS)，NS＝round(N/rS)；

6b)统计参考图像I₁的匹配特征点子集

中落在第u行第v列的子图像块中的匹配特征点的数目w_uv；将w_uv除以匹配特征点的数目C，得到第u行第v列的子图像块中的匹配特征点数目占匹配特征点总数的比例w_uv/C；然后遍历所有的子图像块，得到所有子图像块中匹配特征点数目占匹配特征点总数的比例的集合W＝{w_uv/C}；

6c)将步骤(6b)中集合W中的最大值和最小值分别记为max(W)和min(W)，按照公式Db＝max(W)-min(W)计算分布均匀性指标Db；

6d)将步骤5得到的特征点间距离总和D_sum和步骤(6c)得到的分布均匀性指标Db，按照公式P＝Db/D_sum计算匹配特征点对分布指标P；

步骤7：计算第l对匹配量化误差

对所有C对匹配特征点对匹配量化误差求和，得到匹配量化误差指标O；再利用所有匹配特征点对的匹配误差均值E_e求得均值量化误差指标R；

所述步骤7具体按如下步骤进行：

7a)根据公式

计算第l对匹配特征点对的匹配量化误差

其中，

表示取最大整数操作，g为量化补偿系数，其取值范围为1～4；f_e为每一对匹配特征点对误差像素值分界系数，f_e的取值范围为10～40像素；其中g具体取值为2，f_e取值为20；

7b)重复执行步骤7a)，遍历匹配特征点对子集

中所有C对匹配特征点对，对所有C个匹配特征点对的匹配量化误差

进行求和，即得到匹配量化误差指标

7c)根据步骤3d)求得的所有匹配特征点对的匹配误差均值E_e和公式

计算均值量化误差指标R，其中，f_m为所有匹配特征点对误差均值的像素值分界值，其取值范围为3～5像素；

表示取最小整数操作，上标-1表示求倒数；其中f_m具体取值为4个像素。

2.根据权利要求1所述的一种图像配准的综合评价指标生成方法，其特征在于，步骤3具体按如下步骤进行：

3a)在初始的匹配特征点对集合

中随机选取C对，将它们的序号按照由1到C的顺序重新标记，得到匹配特征点对子集

其中

这里

匹配特征点的坐标满足

和

3b)按照公式T＝[x¹ y¹ 1]′/[x² y² 1]′计算变换矩阵T，其中x¹和y¹分别为在参考图像I₁中所有匹配特征点对的横坐标向量和纵坐标向量，x²和y²分别为在浮动图像I₂中所有匹配特征点对的横坐标向量和纵坐标向量，即

[·]'表示矩阵的转置，即把行向量转为列向量；

3c)按照公式

求第l对匹配特征点对的匹配误差E_l；

3d)按照公式

计算所有匹配特征点对的匹配误差均值E_e；

步骤8：将步骤4、步骤5、步骤6、步骤7得到的累积误差消除指标Z、匹配特征点对分布指标P、匹配量化误差指标O、均值量化误差指标R代入公式RE＝(Z·P·O)^R计算最终的综合评价指标RE。

Images