CN105678734A - 一种图像匹配系统的异源测试图像标定方法 - Google Patents

Abstract

本发明涉及一种图像匹配系统的异源测试图像标定方法，包括以下步骤：建立可见光图像和红外图像序列的相似特征指标候选集合；利用灰色关联度分析方法度量异源图像候选集合中各个特征的相似性，并依此对相似特征指标集合进行关联程度排序，选取相似特征向量；根据基于Canny算子的边缘特征提取算法的阈值参数，选取不同参数，计算并划分特征值组合，形成标定测试试验方案；分别统计光电成像匹配系统对可见光图像和红外图像的匹配率，依据红外图像输出的匹配率结果进行分级，标定对应的可见光图像特征值范围。本发明保证在匹配系统工作在未知环境中，可以利用标定后的可见光图像完成匹配系统的测试与评估，保障图像匹配系统顺利完成任务。

Description

一种图像匹配系统的异源测试图像标定方法

技术领域

本发明涉及一种图像处理系统性能评估技术领域，具体地说是一种图像匹配系统的异源测试图像标定方法。

背景技术

近些年来，图像处理系统得到了迅猛的发展，伴随着大量算法的提出和改进，许多学者利用不同的图像库分析测试了各种处理算法，但如果图像处理系统工作在未知环境下时，仍然无法保证系统功能的正常实现，尤其是在较难获取同源场景测试图像条件下，如果利用其他体制的图像也能够实现评估与测试的目的，这对图像处理系统的评估和优化系统功能意义重大。

在分析评价匹配系统时，通常分成以下两步：

(1)获取影响系统性能的有关图像质量的统计特征量；

(2)建立图像的统计特征量与系统性能之间的相互关系的数学模型。

系统的性能评价方法一般采用响应函数模型方法。它是用一组有限的实验数据拟合特定的数学模型。对图像处理系统，不需要考虑系统的内部结构，而是从整体上建立匹配系统的输入与输出的函数关系。即：

Pm＝Pm(P,M)

式中，Pm为匹配系统的性能，；P为匹配系统的参数；M为输入图像的图像质量指标。

图像度量方法可以从不同的角度分类，依据视觉系统的不同，可以分为基于人眼视觉和基于机器视觉。根据目标大小，可以分为小目标图像和大目标图像。依据提取的图像特征，可以分为基于灰度统计、边缘、纹理和变换域等特征。总体可将度量方法分为五种：

(1)特定目标度量，表征目标与场景中其他物体相区别的特征，如目标灰度分布特征，灰度共生矩阵等方法；

(2)目标/局部背景图像度量，表征了匹配系统初始探测目标并标记为感兴趣区域，以及从背景中提取目标的能力，如Wilson提出的平方和根(RSS)度量，Silverman提出的目标干扰比尺度方法。

(3)全局目标显著性度量，表征了测定整个图像与感兴趣目标相似的程度，可以用来评估由于图像中存在于目标相似的特征，导致目标识别系统产生虚警的可能，如常红花提出基于统计方差杂波尺度的计算思路，Toet利用Search2数据库研究目标结构相似尺度与人眼识别目标性能之间的关系。

(4)全局图像度量，描述图像整体的结构和信息内容，不使用任何目标信息，以免破坏其全局整体性特征，如Schmieder等提出的红外背景杂波量化尺度SV，杨磊等提出基于加权信息熵的红外背景复杂程度定量描述指标。

(5)复合度量，由相关的多种局部或全局度量尺度综合组成的复合度量尺度，如Rotman等将共生矩阵杂波尺度和边缘概率杂波尺度线性组合形成复合度量参数。

红外图像与可见光图像之间存在差异，如：

(1)可见光图像对比度相对较高，它由反射率和阴影决定。红外图像对比度由发射率和温度决定，对比度相对较低，且可以在很大的一个范围内变化。

(2)红外图像和可见光图像的成像机理不同，导致两者图像特征具有不同的灰度值，在红外图像中出现的特征并不一定在可见光图像中也出现。

(3)红外图像的空间相关性较大，红外图像中景物表面的纹理信息较差，可见光图像能反映出目标表面的纹理细节信息，有纹理信息可供利用。

但两种异源图像还是有相似之处，使用条件可总结如下几点：

(1)在可见光和红外图像中处在同一位置；

(2)在图像中均匀分布；

(3)位于高对比度区域。

因此，目前的图像匹配系统多数工作在红外成像体制上，对于图像匹配系统的事前测试与评估，都是采用同源测试图像来标定完成，即红外图像序列。但在实际的未知环境中，同源的红外图像序列很难获取，而可见光的异源图像是非常容易获取的，如卫星图像、航拍图像，如果能够使用未知环境中的可见光图像作为测试图像序列，完成图像匹配系统的测试与评估，这就需要对可见光图像与红外图像之间的关联性进行标定，从前面叙述的相关研究成果来看，异源图像的分析只是单纯对比灰度、特征等关联信息，没有同匹配系统的性能指标建立关联，不适用匹配系统的测试与评估，而适用于异源图像测试与评估的标定方法还没有相关成果发表。

发明内容

针对现有技术的不足，本发明提供一种图像匹配系统的异源测试图像标定方法，该标定方法基于异源图像相似性原理，不仅分析与建立了异源图像的内在相似性指标，更结合了图像匹配系统的性能评估指标，建立可见光图像与红外图像之间的关联性，通过红外图像的匹配系统性能指标来标定可见光图像序列，并设计一套步骤清晰、完整的异源图像标定技术路线，此方法保证在匹配系统工作在未知环境中，可以利用标定后的可见光图像完成匹配系统的测试与评估，保障图像匹配系统顺利完成任务。

本发明为实现上述目的所采用的技术方案是：一种图像匹配系统的异源测试图像标定方法，包括以下步骤：

步骤1：建立可见光图像和红外图像序列的相似特征指标候选集合；

步骤2：利用灰色关联度分析方法度量异源图像候选集合中各个特征的相似性，并依此对相似特征指标集合进行关联程度排序，选取相似特征向量；

步骤3：根据基于Canny算子的边缘特征提取算法的阈值参数，选取不同参数，计算并划分特征值组合，形成标定测试试验方案；

步骤4：分别统计光电成像匹配系统对可见光图像和红外图像的匹配率，依据红外图像输出的匹配率结果进行分级，标定对应的可见光图像特征值范围。

所述灰色关联度分析方法包括：

步骤1：确定反映系统行为特征的参考数列和影响系统行为的比较数列；

步骤2：对参考数列和比较数列进行无量纲化处理；

步骤3：求参考数列与比较数列的灰色关联系数ξ(X_i)：

${\mathrm{\ξ}}_{0i}=\frac{\mathrm{\Δ}\left(\min \right)+\mathrm{\ρ\Δ}\left(\max \right)}{{\mathrm{\Δ}}_{\mathrm{oi}}\left(k\right)+\mathrm{\ρ\Δ}\left(\max \right)}$

其中Δ_oi(k)为各比较数列Xi曲线上的每一个点与参考数列X₀曲线上的每一个点的绝对差值，Δ(min)为两级最小差，Δ(max)为两级最大差，ρ为分辨系数，ρ>0；

步骤4：求关联度r_i：其中N为一组测试图像序列的图像总数；

步骤5：将子序列对同一母序列的关联度按大小顺序排列起来，组成关联排序。

所述根据基于Canny算子的边缘特征提取算法的阈值参数，选取不同参数，计算并划分特征值组合，形成标定测试试验方案包括以下过程：

选取Canny特征提取算法的不同阈值参数，改变每幅异源测试图像所包含的特征信息，获取图像对应的特征取值区间，得到多个特征的不同特征取值组合；

不同特征取值组合的测试图像形成测试试验所需要的图像序列，进行匹配成功率的测试试验。

所述测试图像没有覆盖的特征区间被视为无效取值区间而筛除掉。

所述统计光电成像匹配系统对可见光图像和红外图像的匹配率包括以下过程：

将不同特征信息的红外测试图像作为图像序列，并根据特征的取值区间进行图片分类，形成不同特征等级的图像测试集合；

分别使用不同特征等级的图像测试集合，测试匹配系统并统计其输出结果，记录不同特征等级的匹配成功概率。

所述依据红外图像输出的匹配率结果进行分级包括以下过程：

建立红外测试图像的不同特征等级与匹配成功概率的一一对应关系；

根据可见光和红外图像的相似特征矢量，计算可见光图像的特征值；

根据特征值的取值区间选取相同特征取值的红外图像匹配成功率。

本发明具有以下有益效果及优点：

1.本发明方法采用图像特征分析方法，找到异源图像的相似性特征向量，并利用特征提取算法中单一参数的不同取值对应划分各个特征的取值范围，可以有效减少特征的无用数据区间，准确定位影响匹配系统性能的有效区域，同时输出异源测试图像标定分析试验；

2.本发明方法采用计算各个特征取值区间的图像匹配系统在红外图像序列中的匹配成功概率，并划分多个等级，来标定对应条件下可见光图像序列的特征集合，等价于可见光图像标定，则标定后的可见光图像的特征取值可直接对图像匹配系统进行性能预测评估，实现异源图像的性能测试与评估。

附图说明

图1为本发明的整体流程图；

图2为本发明的可见光与红外图像特征图，其中(a)为红外图像特征图，(b)可见光图像特征图；

图3为本发明的异源图像相似指标的分级结果图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示，本发明图像匹配系统的异源测试图像标定方法包括以下步骤：

(1)建立可见光图像和红外图像的相似特征指标候选集合；

(2)利用灰色关联度分析法度量各个特征的相似性，并依相似性的高低对特征指标排序，选取高相似性的特征指标；

(3)采用Canny特征提取算法的不同参数，计算不同的特征值组合，形成试验方案；

(4)均匀划分各个特征值的取值范围，统计各个范围下光电成像匹配系统对红外图像的匹配率，依据红外图像输出的匹配率结果进行特征分级，同时标定对应的可见光图像特征值范围，结束标定过程。

所述的可见光图像和红外图像序列的相似特征指标候选集合的建立过程为：根据图像度量的各类指标，结合红外与可见光图像的相似原则，选取的特征指标如表1所示。选取特征指标候选集合的是在考虑异源图像的条件下完成的，不同于以往的单一体制图像特征度量与分析，保证可见光图像和红外图像的具有的共同的特征信息，包括灰度分布特征、信息熵、局部目标/背景对比度、全局显著性度量等。

表1相似特征候选表

灰色关联度分析法度量各个特征的相似性过程为：灰色关联度分析是一种新的因素分析方法，它对系统动态过程量化分析以考察系统诸因素之间的相关程度，是一种定量与定性相结合的分析方法。其基本思想是根据事物或因素的序列曲线的相似程度来判断其关联程度的，若两条曲线的形状彼此相似，则关联度大；反之，关联度就小。灰色关联分析是对运行机制与物理原型不清楚或者根本缺乏物理原型的灰关系序列化、模式化，进而建立灰关联分析模型，使灰关系量化、序化、显化，能为复杂系统的建模提供重要的技术分析手段。

灰色系统关联分析的具体计算步骤如下：

(1)确定反映系统行为特征的参考数列和影响系统行为的比较数列。

反映系统行为特征的数据序列，称为参考数列。影响系统行为的因素组成的数据序列，称比较数列。

(2)对参考数列和比较数列进行无量纲化处理。

由于系统中各因素的物理意义不同，导致数据的量纲也不一定相同，不便于比较，或在比较时难以得到正确的结论。因此在进行灰色关联度分析时，一般都要进行无量纲化的数据处理。

(3)求参考数列与比较数列的灰色关联系数ξ(X_i)。

所谓关联程度，实质上是曲线间几何形状的差别程度。因此曲线间差值大小，可作为关联程度的衡量尺度。对于一个参考数列X₀有若干个比较数列X₁,X₂,...X_n，各比较数列与参考数列在各个时刻(即曲线中的各点)的关联系数ξ(X_i)可由下列公式算出：其中ρ为分辨系数，ρ>0，通常取0.5。两级最小差，记为Δ(min)。是两级最大差，记为Δ(max)。为各比较数列Xi曲线上的每一个点与参考数列X₀曲线上的每一个点的绝对差值，记为Δ_oi(k)。

所以关联系数ξ(X_i)可简化如下列公式：

${\mathrm{\ξ}}_{0i}=\frac{\mathrm{\Δ}\left(\min \right)+\mathrm{\ρ\Δ}\left(\max \right)}{{\mathrm{\Δ}}_{\mathrm{oi}}\left(k\right)+\mathrm{\ρ\Δ}\left(\max \right)}$

(4)求关联度r_i。

因为关联系数是比较数列与参考数列在各个时刻(即曲线中的各点)的关联程度值，所以它的数不止一个，而信息过于分散不便于进行整体性比较。因此有必要将各个时刻(即曲线中的各点)的关联系数集中为一个值，即求其平均值，作为比较数列与参考数列间关联程度的数量表示，关联度r_i公式如下：

$r_i=\frac{1}{N}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ξ}}_i\left(k\right)$

(5)关联度排序。

因素间的关联程度，主要是用关联度的大小次序描述，而不仅是关联度的大小。将m个子序列对同一母序列的关联度按大小顺序排列起来，便组成了关联序，记为{x}，它反映了对于母序列来说各子序列的“优劣”关系。

通过一组红外序列图像和对应的可见光序列图像，计算图像的各个特征值，形成特征变化曲线，并对各个特征进行无量纲化处理，计算对应变化曲线的关联度，关联度结果如下表2所示：

序号	指标名称	关联度
			1	Hedge(边缘熵)	0.90
2	ESD(平均目标边缘强度标准差)	0.81
			3	ATES(目标边缘强度均值)	0.80
4	TBIR(目标背景干扰比)	0.74
			5	FID(菲舍尔距离)	0.69
6	TSD(目标标准差)	0.67
			7	MT(目标均值)	0.63
8	BNT(背景熵)	0.59

表2指标关联度计算结果表

按预先设定的阈值，选取边缘熵、平均目标边缘强度标准差、目标边缘强度均值为相似特征向量元素。

针对异源图像的特征集合，选取了灰色关联度分析方法度量异源图像各个特征的关联程度，满足了不清楚异源特征相似的内在机理的条件下，也能够建立灰关系，进而建立关联分析模型，并选取关联度高的特征，建立异源图像相似特征向量。

选取Canny特征提取算法的不同阈值参数，改变每幅异源测试图像所包含的特征信息，获取图像对应的特征取值区间，实现多个特征的不同取值组合，这些不同特征取值组合的测试图像形成测试试验所需要的图像序列，可进行匹配成功率的测试试验，同时测试图像没有覆盖的特征区间也被视为无效取值区间而筛除掉，优化了特征的取值区间；

采用Canny特征提取算法的阈值的不同取值，计算不同的特征值组合，形成试验方案的过程为：图像的边缘检测，就是要用离散化梯度逼近函数根据二维灰度矩阵梯度向量来寻找图像灰度矩阵的灰度跃变位置，然后在图像中将这些位置的点连起来就构成了所谓的图像边缘。

在实际情况中理想的灰度阶跃及其线条边缘图像是很少见到的，同时大多数的传感器件具有低频滤波特性，这样会使得阶跃边缘变为斜坡性边缘，看起来其中的强度变化不是瞬间的，而是跨越了一定的距离。这就使得在边缘检测中首先要进行的工作是滤波。

这里使用Canny边缘检测算法，此算法属于先平滑后求导数的方法。并用双阈值算法检测和连接边缘Canny算法中减少假边缘数量的方法是采用双阈值法。选择两个阈值，根据高阈值得到一个边缘图像，这样一个图像含有很少的假边缘，但是由于阈值较高，产生的图像边缘可能不闭合，未解决这样一个问题采用了另外一个低阈值。

在高阈值图像中把边缘链接成轮廓，当到达轮廓的端点时，该算法会在断点的8邻域点中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合。

将不同特征信息的红外测试图像作为图像序列，并根据特征的取值区间进行图片分类，形成不同特征等级的图像测试集合，分别使用不同特征等级的图像测试集合，测试匹配系统并统计其输出结果，记录不同特征等级的匹配成功概率，建立红外测试图像的不同特征等级与匹配成功概率的一一对应关系，并根据可见光和红外图像的相似特征矢量，计算可见光图像的特征值，并根据特征值的取值区间选取相同特征取值的红外图像匹配成功率，最终建立红外测试图像匹配成功概率与可见光图像特征值之间映射关系，完成异源图像的标定。

本方法中可采用多次遍历的均匀选取算法阈值，获取序列图像的特征图，并分别计算各个特征指标的取值来设计实验方案，第一次选取的结果如下表3。如果区间跨度较大可局部进行二次选取，如表4。

取值	边缘熵	目标边缘强度均值	平均目标边缘强度标准差
				0.1	[1600,2100]	[2,30]	[200,220]
0.2	[1500,2100]	[2,35]	[200,220]
				0.3	[1400,2100]	[5,35]	[200,230]
0.4	[1300,2100]	[5,40]	[200,230]
				0.5	[1100,2000]	[7,45]	[190,240]
0.6	[1000,1900]	[8,50]	[190,240]
				0.7	[900,1800]	[10,55]	[180,240]
0.8	[100,1300]	[12,58]	[180,240]
				0.9	[100,800]	[20,65]	[180,240]

表3第一次选取结果

取值	边缘熵	目标边缘强度均值	平均目标边缘强度标准差
				0.81	[100,1300]	[14,60]	[180,240]
0.82	[100,1200]	[14,60]	[180,240]
				0.83	[100,1200]	[14,60]	[180,240]
0.84	[100,1000]	[14,60]	[175,240]
				0.85	[100,1000]	[15,65]	[175,240]
0.86	[100,1000]	[15,65]	[175,240]
				0.87	[100,800]	[15,65]	[175,240]

表4第二次选取结果

图像匹配系统的匹配试验结果分析过程为：

(1)按每个特征的有效范围划分各个区间，并将匹配结果映射到各个区间，利用匹配概率公式：

(2)如果匹配概率近似相同，可将特征相邻区间合并，分析结果如图3；

并分析特征区间与图像匹配系统匹配概率的单调性，只保留特征区间与匹配概率成单调关系的特征，这里保留边缘熵指标。

可见光图像按边缘熵的取值范围映射各个匹配概率等级，完成可见光图像的标定。

Claims (6)

1.一种图像匹配系统的异源测试图像标定方法，其特征在于：包括以下步骤：

步骤1：建立可见光图像和红外图像序列的相似特征指标候选集合；

步骤2：利用灰色关联度分析方法度量异源图像候选集合中各个特征的相似性，并依此对相似特征指标集合进行关联程度排序，选取相似特征向量；

步骤3：根据基于Canny算子的边缘特征提取算法的阈值参数，选取不同参数，计算并划分特征值组合，形成标定测试试验方案；

步骤4：分别统计光电成像匹配系统对可见光图像和红外图像的匹配率，依据红外图像输出的匹配率结果进行分级，标定对应的可见光图像特征值范围。

2.根据权利要求1所述的图像匹配系统的异源测试图像标定方法，其特征在于：所述灰色关联度分析方法包括：

步骤1：确定反映系统行为特征的参考数列和影响系统行为的比较数列；

步骤2：对参考数列和比较数列进行无量纲化处理；

步骤3：求参考数列与比较数列的灰色关联系数ξ(X_i)：

${\mathrm{\ξ}}_{0i}=\frac{\mathrm{\Δ}\left(\min \right)+\mathrm{\ρ\Δ}\left(\max \right)}{{\mathrm{\Δ}}_{\mathrm{oi}}\left(k\right)+\mathrm{\ρ\Δ}\left(\max \right)}$

其中Δ_oi(k)为各比较数列Xi曲线上的每一个点与参考数列X₀曲线上的每一个点的绝对差值，Δ(min)为两级最小差，Δ(max)为两级最大差，ρ为分辨系数，ρ>0；

步骤4：求关联度r_i：其中N为一组测试图像序列的图像总数；

步骤5：将子序列对同一母序列的关联度按大小顺序排列起来，组成关联排序。

3.根据权利要求1所述的图像匹配系统的异源测试图像标定方法，其特征在于：所述根据基于Canny算子的边缘特征提取算法的阈值参数，选取不同参数，计算并划分特征值组合，形成标定测试试验方案包括以下过程：

选取Canny算子特征提取算法的不同阈值参数，改变每幅异源测试图像所包含的特征信息，获取图像对应的特征取值区间，得到多个特征的不同特征取值组合；

不同特征取值组合的测试图像形成测试试验所需要的图像序列，进行匹配成功率的测试试验。

4.根据权利要求3所述的图像匹配系统的异源测试图像标定方法，其特征在于：所述测试图像没有覆盖的特征区间被视为无效取值区间而筛除掉。

5.根据权利要求1所述的图像匹配系统的异源测试图像标定方法，其特征在于：所述统计光电成像匹配系统对可见光图像和红外图像的匹配率包括以下过程：

将不同特征信息的红外测试图像作为图像序列，并根据特征的取值区间进行图片分类，形成不同特征等级的图像测试集合；

分别使用不同特征等级的图像测试集合，测试匹配系统并统计其输出结果，记录不同特征等级的匹配成功概率。

6.根据权利要求1所述的图像匹配系统的异源测试图像标定方法，其特征在于：所述依据红外图像输出的匹配率结果进行分级包括以下过程：

建立红外测试图像的不同特征等级与匹配成功概率的一一对应关系；

根据可见光和红外图像的相似特征矢量，计算可见光图像的特征值；

根据特征值的取值区间选取相同特征取值的红外图像匹配成功率。