CN108205645A - 一种异源图像匹配系统的基准图质量评价方法 - Google Patents

Abstract

本发明涉及一种异源图像匹配系统的基准图质量评价方法，针对制备基准图的遥感卫星图像，分析图像特征对异源图像匹配系统的影响，确立影响匹配系统匹配性能的基准图特征要素；设计基准图空间变化模型，精确计算基准图特征在观测几何条件下的形变；采用梯度方向直方图描述基准图，建立基准图的多维特征向量；设计基准图多级编码，利用图像样本集统计图像匹配系统性能，建立评价基准图质量的标定库；使用互信息相似度量方法计算基准图之间的相似程度，查找基准图质量标定库的最相似基准图，获取对应的匹配系统识别性能标定值。本发明保证在匹配系统工作在未知环境前，利用基准图的标定库对正在制备的基准图进行客观评价，保障输出高质量的基准图。

Description

一种异源图像匹配系统的基准图质量评价方法

技术领域

本发明涉及图像处理系统性能评估技术领域，具体地说是一种异源图像匹配系统的基准图质量评价方法。

背景技术

自主模板匹配是图像匹配系统的一项重要技术，模板匹配一般是指匹配系统使用预存于系统中的基准图，该基准图通常通过离线方式预先制备完成，与系统工作时实时获取的前视图进行相关匹配，计算两个图像之间的相似性来完成匹配。

理论与实践都表明，目标的基准图制备质量是决定匹配精度的重要因素之一。但是，实时图成像面临复杂的实际目标场景，事先制备的基准图在实际场景使用时性能表现极不稳定，尤其制备与使用互为异源图像时差异更大，导致在某些目标场景中功能失效。因此，迫切需要一种基准图质量的客观评价与性能估计方法，对基准图的可匹配性进行预测，用来监督和提高基准图的质量，来满足匹配系统的实际应用需求。

基准图的制备主要集中在可匹配区域选择方法研究上，可分为两大类选择策略：

(1)基于图像信号相关计算的匹配区域适应性研究

此类方法的基本思想是将匹配问题看作某个信号序列在由此信号序列变形而来的另一个信号序列中的定位问题,在对变形信号参数作适当假设之后,利用两信号的相关度来衡量区域适配的性能。王晓静等以理想的相关函数是白噪声为理论依据,提出了一种根据最小相关长度来选择最佳匹配区的方法，张国忠则将二维模拟实时图及原始基准图上与之对应的图像块按行(或列)扫描转化成一维序列,以传统的一维信号归一化互相关运算为基础建立了匹配概率估计模型。

(2)基于综合特征量的景象区域适配性研究

此类方法的基本思想是通过对原始基准图像素点及区域特征进行综合描述,建立综合特征量与景象区域适配性指标间的关系。该类方法的适应性较广,是目前景象区域适配性研究的主流。

研究景象区域适配性时首先选取能够全面反映区域适配性能的特征集并量化形成特征指标,然后对各种特征指标进行信息融合形成综合特征量在综合特征量中特征指标的确定。特征指标选取的确定原则有：

特征指标是综合特征量的基本因素,但每一项特征指标往往只能反映图像内区域适配性能的某一方面。景象区域适配性与匹配算法对特征关注的角度不完全相同,通常匹配算法关注的只是能够提高匹配精度的特征,但适配性除了要求达到高的匹配精度外,还要达到高的匹配概率。为使综合特征量能够准确而简洁地反映图像区域的适配性能,以不同区域适配性目标为基础,提出选取特征指标时需要遵循的4项基本原则如下:

①能够反映景象信息丰富的程度

景象匹配区要包含足够的信息才能够进行匹配定位,图像信息越丰富越有利于成功匹配,因此特征指标应当能够反映图像信息的多少,即反映景象区域中特征信息丰富的程度。

②能够反映景象中稳定的特征

由于实时成像传感器的成像质量往往较差,细小的地物被噪声平滑后,地物影像会变得模糊,甚至消失,最终导致匹配失败,所以特征指标必须保证匹配区具有稳定的特性,即能够反映景象区域中稳定的特征。

③能够反映景象中地物的唯一性

所选匹配区内若有多个相似的明显地物,就会极大地降低匹配成功概率。因此,特征指标应当能够反映特征的唯一性,以选择不存在重复的匹配区域。

④能够反映景象中的明显特征

为达到高的匹配精度,匹配位置必须明显区别于所有的非匹配位置,因此相关峰值应当足够大,同时相关峰形状应当尖锐，为达到高的匹配精度,匹配位置必须明显区别于所有的非匹配位置,因此相关峰值应当足够大,同时相关峰形状应当尖锐。

目前实际情况是，在制备目标基准图时采用可见光卫星影像，而实时前视图像多数是红外体制，在不同探测器上表现出来的目标灰度梯度分布差别较大，这些不一致信息导致匹配偏差，甚至误匹配，极大地影响了匹配系统的精度，以上在适配区选择和选取特征指标进行的方法研究成果，只能找到适合匹配的影像区域，没有给出与匹配概率之间的直接对应关系，更无法直接评价一个基准图的质量。如果能够找到异源图像的共同特征，并在事前基准图制备阶段就定量标定和评价，对于匹配系统的匹配稳定性有决定性作用。基于异源图像条件下的匹配系统性能标定与基准图质量评价方法目前还没有相关成果。

发明内容

针对现有技术的不足，本发明提供一种异源图像匹配系统的基准图质量评价方法，该评价方法分析了异源图像的相似性并获取了匹配性能的基准图特征要素，精确计算基准图特征在观测几何条件下的形变，采用梯度方向直方图描述基准图，建立基准图的多维特征向量，并通过图像样本序列统计匹配系统性能来标定基准图质量，计算基准图的互信息相似程度完成制备基准图的搜索与评价，保证在匹配系统工作在未知环境前，可以利用基准图的标定库对正在制备的基准图进行客观评价，保障输出高质量的基准图。

本发明为实现上述目的所采用的技术方案是：

一种异源图像匹配系统的基准图质量评价方法，包括以下步骤：

步骤1：针对制备基准图的遥感卫星图像，分析图像特征对异源图像匹配系统的影响，确立影响匹配系统匹配性能的基准图特征要素；

步骤2：利用成像几何投影设计基准图空间变化模型，精确计算基准图特征在观测几何条件下的形变；

步骤3：采用梯度方向直方图描述基准图，建立基准图的多维特征向量；

步骤4：设计基准图多级编码，利用图像样本集统计图像匹配系统性能，建立评价基准图质量的标定库；

步骤5：使用互信息相似度量方法计算基准图之间的相似程度，查找基准图质量标定库的最相似基准图，获取对应的匹配系统识别性能标定值，完成基准图质量评价。

所述确立影响匹配系统匹配性能的基准图特征要素包括以下步骤：

步骤1：直方统计异源图像的灰度分布；

步骤2：对异源图像使用Canny边缘提取，直方统计边缘梯度方向分布；

步骤3：对比各种特征分布，选取变化相对稳定的边缘特征作为基准图特征要素,并将要素细化为边缘长度和边缘方向两个具体特征；

步骤4：开展具体特征的灵敏性分析试验，验证具体特征的有效性。

针对所述边缘长度和边缘方向特征，在观测几何条件下，建立俯仰角、航向角组合的空间变化计算模型。

所述俯仰角的空间变化计算模型为：

针对基准图的每一条轮廓线，x_i＝{θ,ρ}，计算俯仰角空间变化后为：

x_i′＝{θ,ρsinα}；

计算航向角空间变化后为：x_i″＝{θ,ρsinαcosβ}；

其中，α为俯仰角，β为航向角，θ为梯度方向角，ρ为特征点数。

所述多维特征向量的建立过程为：

步骤1：在下视基准图中计算识别目标附近每一个像素处的梯度方向，具体公式如下：

θ(x_j,y_j)＝arctan(g_y/g_x)

其中，g_y和g_x代表水平和垂直方向上的梯度值，θ(x_j,y_j)代表梯度的方向，取值范围为[0°～180°)；

步骤2：将180度根据需要分割成若干个bin，每个bin视为一个维度，整个直方图划分多个维度；然后根据每个像素点的梯度方向，将其累加到直方图的各个维度中，建立形式为{X₁,X₂,......X_n}的多维特征向量；

步骤3：对基准图进行不同尺度的区间划分，形成金字塔基准图多维特征向量；

步骤4：结合视点前视变换，变换成俯仰角和航向角组合影响下的前视基准图多维特征向量。

所述基准图多级编码为：

利用图像样本集测试图像匹配系统，获取维度点数影响匹配性能的阈值τ；对基准图的直方图进行编码：

其中，x为基准图的维度点数。

所述评价基准图质量的标定库的标定过程为：

利用图像样本集，输入不同检索编码的基准图，测试图像匹配系统获取匹配概率，建立匹配概率与基准图检索码的映射关系，形成基准图质量的标定库。

所述最相似基准图的查找过程为：

步骤1：将实时基准图转换成多级检索码；

步骤2：循环遍历基准图标定库，计算实时基准图与标定基准图的互信息；

步骤3：获取最小互信息的基准图，找到该基准图对应的匹配系统性能指标，将该指标作为实时基准图的质量评价结果。

所述实时基准图与标定基准图的互信息过程为：

首先计算基准图熵：

计算实时基准图与标定基准图的联合熵：

实时基准图与标定基准图的互信息为：

I(A,B)＝H(A)+H(B)-H(A,B)

其中，A为待评价基准图，B为标定基准图，a为待评价基准图中的向量元素，b为标定基准图的向量元素，H(A)是待评价基准图的熵，H(B)是标定基准图的熵，P_A(a)是待评价基准图中向量要素的出现概率，P_B(b)是标定基准图中向量要素的出现概率，P_AB(a,b)是待评价基准图和标定基准图中对应向量要素共同出现的概率。

本发明具有以下有益效果及优点：

1.本发明方法采用图像特征分析方法，找到异源匹配系统基准图的特征要素，并结合观测几何确定基准图的多维特征向量描述，设计了方便检索的基准图多级编码方法，降低基准图的复杂度；

2.本发明通过测试图像序列统计各类基准图的匹配概率，建立基准图的标定库，提供互信息的相似性检索，可获取与制备基准图最相似的标定基准图，获取与之关联的匹配系统的匹配概率，完成制备基准图质量的评价。

附图说明

图1为本发明的整体流程图；

图2为本发明的可见光与红外图像特征统计对比图，其中(a)为红外图像梯度方向特征直方图，(b)为红外图像灰度特征的直方图，(c)为可见光图像梯度方向特征直方图，(d)为可见光图像灰度特征的直方图；

图3为本发明的异源图像特征要素灵敏性分析结果图；(a)为基准图方向特征灵敏性；(b)为基准图点数特征灵敏性；

图4为基准图在观测几何条件下的投影变化图；(a)为俯仰角空变过程示意图；(b)为航向角空变过程示意图；

图5为本发明的基准图编码示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示为本发明的整体流程图。

本发明图像匹配系统的异源测试图像标定方法包括以下步骤：

(1)分析与确立影响匹配系统匹配性能的基准图特征要素；

(2)利用成像几何投影设计基准图空间变化模型，计算基准图特征在观测几何条件下的形变；

(3)采用梯度方向直方图描述与建立基准图的多维特征向量；

(4)设计基准图多级编码，利用图像样本集统计图像匹配系统性能，建立评价基准图质量的标定库。

(5)使用互信息相似度量方法计算基准图之间的相似程度，查找基准图质量标定库的最相似基准图，获取对应的识别性能标定值，完成基准图质量评价。

所述的可见光图像和红外图像序列的相似特征指标候选集合的建立过程为：根据图像度量的各类指标，结合红外与可见光图像的相似原则，选取的特征指标如表1所示。选择典型不同的场景中图像的灰度直方分布，同时对图像采用Canny边缘提取，计算每个象素的梯度方向，统计图像的梯度方向直方分布，对比红外与可见光图像在相似指标的相似性，如图2中可见光与红外图像特征统计对比结果，可确定直方分布更相似的边缘方向作为基准图基本特征。

表1相似特征候选表

下面设计图像特征要素的灵敏性试验验证过程:分析图像边缘方向影响匹配系统的具体特征要素，将基准图按照四个象限的方向划分四个等级，如表2示意；将基准图的点集数量大小也划分4个等级，如表3示意。使用各个等级的基准图进行匹配测试。

表2基准图方向等级划分表

表3基准图点集数量等级划分表

如图3所示为本发明的异源图像特征要素灵敏性分析结果图。

匹配变化曲线说明基准图的点数和方向变化对于匹配系统具有高灵敏性，是主要特征要素。

利用成像几何投影设计基准图空间变化模型，计算基准图特征在观测几何条件下的形变过程:

对于每一条基准图的轮廓线,x_i＝{θ,ρ},都由梯度方向角θ和长度点数ρ来表示,成像几何投影过程是航向角和俯仰角对基准图形变叠加作用的结果,因此,首先分析俯仰角对基准图的轮廓变化,设有基准图坐标系XY，从图4(a)可以看出，俯仰角α的变化引起基准图轮廓长度在投影面X′Y′的投影，长度变化为x_i′＝{θ,ρsinα}，从图4(b)可以看出，俯仰角β的变化引起基准图轮廓长度在投影面X″Y″的投影，长度变化为x_i″＝{θ,ρsinαcosβ}，此时轮廓长度变化为x_i″，角度标识θ是基准图初始划分，不发生变化。

采用梯度方向直方图描述基准图，建立基准图的多维特征向量的过程为：

步骤1：将180度根据需要分割成若干个bin，每个bin视为一个维度，整个直方图划分多个维度。然后根据每个像素点的梯度方向，将其累加到直方图的各个维度中，建立形式为{X₁,X₂,......X_n}的多维特征向量；

步骤2：对基准图进行不同尺度的区间划分，形成金字塔基准图多维特征向量；

步骤3：结合视点前视变换，变换成俯仰角和航向角组合影响下的前视基准图多维特征向量。

按照梯度直方图描述则基准图可表示为如表4所示分布。

表4梯度直方分布表

设计基准图多级编码，利用图像样本集统计图像匹配系统性能，建立评价基准图质量的标定库的过程：

步骤1：利用图像样本集测试图像匹配系统，获取维度点数影响匹配性能的阈值τ；

步骤2:对基准图的直方图进行检索码设计，如:

其中x是基准图的维度点数

步骤3:利用图像样本集，输入不同检索编码的基准图，测试图像匹配系统获取匹配概率，建立匹配概率与基准图检索码的映射关系，形成基准图质量的标定库。

通过测试图像序列的匹配统计计算，阈值通过多次测试获取一个经验值,本方法选择点数80。因此，如图5所示为基准图编码规则。通过基准图编码规则，建立基准图编码的匹配概率映射表，如表5所示：

表5基准图编码映射表

序号	编码	匹配概率
			1	01XXX1	90～95％
2	1X0X01	80～85％
			3	1XXX01	70～75％
4	X00001	75～80％
			5	1XX0X1	70～75％
6	100X10	95～100％

使用互信息相似度量方法计算基准图之间的相似程度，查找基准图质量标定库的最相似基准图，获取对应的识别性能标定值的过程：

步骤1：将实时基准图转换成多级检索码；

步骤2：循环遍历基准图标定库，计算实时基准图与标定基准图的互信息：

基准图熵计算为

实时基准图与标定基准图的联合熵计算为：

最终互信息计算为：

I(A,B)＝H(A)+H(B)-H(A,B)

步骤3：获取最小互信息的基准图，找到该基准图对应的匹配系统性能指标，将该指标作为实时基准图的质量评价结果。

此时待评价的基准图编码是10X010，通过检索基准图编码映射表完成互信息计算，互信息计算结果如表6所示:

表6互信息计算结果表

序号	编码	互信息计算结果
			1	01XXX1	0
2	1X0X01	0.129692
			3	1XXX01	0.15904
4	X00001	0
			5	1XX0X1	0.259384
6	100X10	0.318081

最终获得该基准图质量的匹配概率标定值为95～100％，通过基准图实际测试的结果为96.66％,与基准图质量标定结果一致。

Claims (9)

1.一种异源图像匹配系统的基准图质量评价方法，其特征在于：包括以下步骤：

步骤1：针对制备基准图的遥感卫星图像，分析图像特征对异源图像匹配系统的影响，确立影响匹配系统匹配性能的基准图特征要素；

步骤2：利用成像几何投影设计基准图空间变化模型，精确计算基准图特征在观测几何条件下的形变；

步骤3：采用梯度方向直方图描述基准图，建立基准图的多维特征向量；

步骤4：设计基准图多级编码，利用图像样本集统计图像匹配系统性能，建立评价基准图质量的标定库；

步骤5：使用互信息相似度量方法计算基准图之间的相似程度，查找基准图质量标定库的最相似基准图，获取对应的匹配系统识别性能标定值，完成基准图质量评价。

2.按权利要求1所述的异源图像匹配系统的基准图质量评价方法，其特征在于：所述确立影响匹配系统匹配性能的基准图特征要素包括以下步骤：

步骤1：直方统计异源图像的灰度分布；

步骤2：对异源图像使用Canny边缘提取，直方统计边缘梯度方向分布；

步骤3：对比各种特征分布，选取变化相对稳定的边缘特征作为基准图特征要素,并将要素细化为边缘长度和边缘方向两个具体特征；

步骤4：开展具体特征的灵敏性分析试验，验证具体特征的有效性。

3.按权利要求2所述的异源图像匹配系统的基准图质量评价方法，其特征在于：

针对所述边缘长度和边缘方向特征，在观测几何条件下，建立俯仰角、航向角组合的空间变化计算模型。

4.按权利要求3所述的异源图像匹配系统的基准图质量评价方法，其特征在于：所述俯仰角的空间变化计算模型为：

针对基准图的每一条轮廓线，x_i＝{θ,ρ}，计算俯仰角空间变化后为：

x′_i＝{θ,ρsinα}；

计算航向角空间变化后为：x″_i＝{θ,ρsinαcosβ}；

其中，α为俯仰角，β为航向角，θ为梯度方向角，ρ为特征点数。

5.按权利要求1所述的异源图像匹配系统的基准图质量评价方法，其特征在于：所述多维特征向量的建立过程为：

步骤1：在下视基准图中计算识别目标附近每一个像素处的梯度方向，具体公式如下：

θ(x_j,y_j)＝arctan(g_y/g_x)

其中，g_y和g_x代表水平和垂直方向上的梯度值，θ(x_j,y_j)代表梯度的方向，取值范围为[0°～180°)；

步骤2：将180度根据需要分割成若干个bin，每个bin视为一个维度，整个直方图划分多个维度；然后根据每个像素点的梯度方向，将其累加到直方图的各个维度中，建立形式为{X₁,X₂,......X_n}的多维特征向量；

步骤3：对基准图进行不同尺度的区间划分，形成金字塔基准图多维特征向量；

步骤4：结合视点前视变换，变换成俯仰角和航向角组合影响下的前视基准图多维特征向量。

6.按权利要求1所述的异源图像匹配系统的基准图质量评价方法，其特征在于：所述基准图多级编码为：

利用图像样本集测试图像匹配系统，获取维度点数影响匹配性能的阈值τ；对基准图的直方图进行编码：

其中，x为基准图的维度点数。

7.按权利要求1所述的异源图像匹配系统的基准图质量评价方法，其特征在于：所述评价基准图质量的标定库的标定过程为：

利用图像样本集，输入不同检索编码的基准图，测试图像匹配系统获取匹配概率，建立匹配概率与基准图检索码的映射关系，形成基准图质量的标定库。

8.按权利要求1所述的异源图像匹配系统的基准图质量评价方法，其特征在于：所述最相似基准图的查找过程为：

步骤1：将实时基准图转换成多级检索码；

步骤2：循环遍历基准图标定库，计算实时基准图与标定基准图的互信息；

步骤3：获取最小互信息的基准图，找到该基准图对应的匹配系统性能指标，将该指标作为实时基准图的质量评价结果。

9.按权利要求8所述的异源图像匹配系统的基准图质量评价方法，其特征在于：所述实时基准图与标定基准图的互信息过程为：

首先计算基准图熵：

计算实时基准图与标定基准图的联合熵：

实时基准图与标定基准图的互信息为：

I(A,B)＝H(A)+H(B)-H(A,B)

其中，A为待评价基准图，B为标定基准图，a为待评价基准图中的向量元素，b为标定基准图的向量元素，H(A)是待评价基准图的熵，H(B)是标定基准图的熵，P_A(a)是待评价基准图中向量要素的出现概率，P_B(b)是标定基准图中向量要素的出现概率，P_AB(a,b)是待评价基准图和标定基准图中对应向量要素共同出现的概率。