CN108205683A - 基于可见光卫星图片的红外目标识别系统阈值优化方法 - Google Patents

Abstract

本发明涉及一种识别系统的识别评判阈值优化方法，针对异源图像的相似性分析，建立异源图像的特征指标集合，分析与筛选异源图像的最相似特征；建立表征异源图像一致性信息的信杂比模型，计算图像的信杂比度量值，并根据信杂比度量值获取异源图像的一致性Canny阈值区间；建立可见光和红外图像之间的识别阈值映射；建立观测几何下的空变模型，生成模拟图像序列；选取不同的Canny算子边缘提取算法的阈值，绘制图像识别系统的ROC性能曲线，计算ROC性能曲线的约登指数，确定最优Canny阈值。本发明保证识别系统面对未知工作环境时，可以预先使用较易获取的下视可见光卫星图像，测试与优化识别系统的识别评判阈值，提高识别系统在实际工作环境中的适应能力。

Description

基于可见光卫星图片的红外目标识别系统阈值优化方法

技术领域

本发明涉及一种图像识别系统的性能优化技术领域，具体地说是一种识别系统的识别评判阈值优化方法。

背景技术

近些年来，目标匹配与识别系统得到了迅猛的发展，出现了许多基于模式识别与人工智能原理的目标识别算法，可以说目标识别技术具有重要研究意义和广泛的应用前景。但是，由于目标识别系统工作在未知环境下时，复杂场景的各种干扰因素严重影响识别系统的性能，尤其是异源识别系统面临的图像体制不同，更加增加了这种识别能力的不确定性，因此，特别需要离线预先的评估技术，对识别系统性能进行估计和参数优化，提高系统在实际场景的识别能力，这对于识别系统的工程应用具有重要的意义。

目前，国内外有许多学者已经在目标识别系统的评估与测试等领域开展研究，提出一系列客观的评估理论与方法定量描述识别系统的性能，分析影响识别性能差异的原因，调整算法和系统的参数，指导算法和系统的优化，缩短研制周期，加快其实用化的步伐。如上世纪90年代美国开发的Auto-I是一个具有代表性的目标识别系统评估工具，该工具是为了全面测试与验证识别系统的性能，提供一个软/硬件测试环境，该工具的使用明显缩短了测试时间。Auto-I还提供了算法性能建模、图形展示及参数自动优化等高级功能。近年来加拿大国防科研部门研制了识别系统的目标识别系统性能评估平台，应用在目标识别技术研发过程中，通过图形用户接口帮助研究人员和图像分析者了解识别过程各个阶段的性能。国内的中科院沈阳自动化研究所在这方面也取得了一系列的研究成果，刘云鹏等人研制的目标识别系统与任务规划系统，提供了一套目标识别与任务规划的完整平台，该平台已实现地面大型固定目标的自动识别与任务规划功能。

从目前技术发展现状来看，目标识别算法评估方法集中在各类指标的设计与评估应用，主要包括以下几类:

●混淆矩阵

混沌矩阵是一种被广泛使用的性能指标，其基本形式是由行和列构成的二维矩阵，矩阵中的元素通常用百分数或概率表示。假设一个目标识别A、B和C3类目标，其混淆矩阵表示为表1。

表1混沌矩阵

	A	B	C
				A	百分比或概率	百分比或概率	百分比或概率
B	百分比或概率	百分比或概率	百分比或概率
				C	百分比或概率	百分比或概率	百分比或概率

●概率型指标

概率型指标反映目标识别过程中特定事件的发生概率。评估的出发点是用随机过程描述算法在特定测试集合上的性能表现，根据问题的实际背景构造反映算法识别性能的统计量，并将这些统计量作为评估算法的性能指标。目前，已有的概率型指标有很多，如检测概率、虚警概率、识别率等。

●基于ROC曲线的指标

ROC曲线最早出现在雷达目标检测领域，用于描述接收机检测概率和虚警概率之间的制约关系。用于目标识别方法评估的ROC曲线指标有很多，最常用的是曲线下面积和平均度量距离。

●数率型指标

数率型指标是另一类对识别算法进行评估的常用指标，它是一类具有量纲的评估指标，如虚警率。

围绕评估指标的典型评估方法包括：

●基于混沌矩阵的方法

混淆矩阵本身已经包含了许多有用信息，其二维表格形式直观地展示了目标识别算法对不同目标的识别结果。利用混淆矩阵可以实现对单个算法的评估，也可以实现对多个算法的比较和选择。对两个识别算法进行比较时，也可将其中一个算法的混淆矩阵作为“标准”，计算另一个算法和“标准”之间的差值，即可获得二者整体识别性能之间的差异。

●基于概率型指标的方法

对概率型性能指标最简单的评估方法是计算出各个概率型性能指标的估计值，以此考察指标值是否达到要求，或是比较不同算法间指标值的差异。实际情况下目标识别算法测试的次数是有限的，因此，以概率型指标为准则的目标识别算法评估一般都可以抽象为统计推断问题。合理和科学的做法是借助数理统计的思想和方法对这些统计量进行估计和检验，其中常用的有置信区间和假设检验。

●基于数率型指标的方法

基于数率型指标的目标识别算法评估方法就是根据数率型指标的定义，计算数率型指标的值，从而评价单个目标识别算法或多个算法的优劣。如基于虚警率的评估方法就是根据计算虚警率的值开展评估，虚警率越小，识别算法性能越好。

目前的目标识别系统评估与测试尽管取得了一些成果，但研究范围还存在很多局限性，主要研究集中在识别算法的研究阶段，对于识别系统的真实场景应用问题仍然缺乏深入分析和有效的解决方法，尤其是联系到实际场景的目标识别算法阈值选择问题，只有不同的场景选取不同的识别阈值，才能提高识别算法在各类场景中应用的鲁棒性，保证识别系统走向工程应用。这些都需要研究识别算法对于场景的适应性问题，特别是异源图像条件下，如何保证目标特征的一致性，如何事先评估与优选相适应的识别阈值，此类能够提供识别算法的事前评估并为特定场景的优化算法阈值的方法还没有相关成果发表。

发明内容

针对现有技术的不足，本发明提供一种基于可见光卫星图片的红外目标识别系统阈值优化方法，该优化方法首先分析了红外和可见光图像之间的内在相似性，建立了表征相似性的信杂比模型，同时在一致性阈值区间的基础上，针对识别系统建立了异源图像识别阈值映射表，并设计了1套利用可见光卫星图片对红外目标识别系统进行评判阈值优化的技术路线，该方法保证识别系统面对未知工作环境时，可以预先使用较易获取的可见光卫星图像，测试与优化识别系统的识别评判阈值，提高识别系统在实际工作中的适应能力，具有更高的识别目标的鲁棒性。

本发明为实现上述目的所采用的技术方案是：

一种基于可见光卫星图片的红外目标识别系统阈值优化方法，包括以下步骤：

步骤1：针对异源图像的相似性分析，建立异源图像的特征指标集合，分析与筛选异源图像的最相似特征；

步骤2：建立表征异源图像一致性信息的信杂比模型，针对同一场景的可见光和红外图像，使用不同阈值的Canny算子提取边缘，计算图像的信杂比度量值，并根据信杂比度量值获取异源图像的一致性Canny阈值区间；

步骤3：在阈值搜索空间中，使用异源图像集合，测试图像识别系统，通过统计可见光和红外图像的识别概率，建立可见光和红外图像之间的识别阈值映射；

步骤4：根据相机成像与观测几何参数，在可见光卫星图像上选择目标区域，建立观测几何下的空变模型，完成识别过程的模拟图像序列生成；

步骤5:使用前视模拟图像序列，选取不同的Canny算子边缘提取算法的阈值，绘制图像识别系统的ROC性能曲线，计算ROC性能曲线的约登指数，确定最优Canny阈值，根据可见光和红外图像之间的识别阈值映射关系，获取优化的识别阈值。

所述分析与筛选异源图像的最相似特征包括以下过程:

计算特征指标集合中，每个特征的平均相对误差和对比度均值误差，选取所述误差同时最小的特征即为最相似特征。

所述信杂比模型为：

其中，ATES为平均边缘强度；H edge为边缘熵。

所述计算ROC性能曲线的约登指数包括以下过程：

YI＝Se+Sp-1

其中，Se是灵敏度，Sp是特异度。

本发明具有以下有益效果及优点：

1.本发明方法采用图像不变特征的提取与分析方法，总结异源图像最相似特征集合，建立了表征异源图像一致信息的信杂比模型，通过实际成对的异源图像集合测试识别系统，统计生成异源图像阈值映射表，建立异源图像在识别阈值空间的直接关联；

2.本发明保证识别系统面对未知工作环境时，可以预先使用较易获取的下视可见光卫星图像，测试与优化识别系统的识别评判阈值，提高识别系统在实际工作环境中的适应能力。

附图说明

图1为本发明的整体流程图；

图2为空变模型坐标系图；

图3为空变前视模拟图像生成图，(a)为正下视卫星图像，(b)为空变后模拟图像；

图4为正样本和负样本图像对比图，(a)为正样本图像，(b)为负样本图像；

图5为识别阈值真值与优化值曲线对比图。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

如图1所示，本发明的基于可见光卫星图片的红外目标识别系统阈值优化方法包括以下步骤：

(1)针对异源图像的相似性分析，建立异源图像的特征指标集合，分析与筛选异源图像的最相似特征；

(2)建立表征异源图像一致性信息的信杂比模型，在异源图像中通过调节基于Canny算子的边缘提取算法阈值，获取阈值搜索空间；

(3)在阈值搜索空间中，使用异源图像集合测试图像识别系统，分别统计可见光和红外图像的识别概率，建立异源图像阈值映射表；

(4)针对包含有识别对象的下视可见光卫星图像，设计成像与观测几何下的空变模型，完成前视识别过程的模拟图像序列生成；

(5)使用前视模拟图像序列，选取不同的Canny算子边缘提取算法的阈值，绘制图像识别系统的ROC性能曲线，计算约登指数确定阈值，查找映射表后获取优化的识别阈值。

所述的可见光图像和红外图像序列的相似特征指标候选集合的建立过程为：根据图像度量的各类指标，结合红外与可见光图像的相似原则，选取的特征指标如表2所示。选取特征指标候选集合的是在考虑异源图像的条件下完成的，保证可见光图像和红外图像的具有共同的特征信息，特征范围灰度分布特征、信息熵、局部目标/背景对比度、全局显著性度量等。

表2相似特征候选表

异源图像的特征计算对比结果，结果如表3所示:

表3特征对比结果

从相似特征结果比较,最相似的全局特征是边缘熵，最相似的局部目标特征是目标边缘强度标准差。

所述的建立表征异源图像一致性信息的信杂比模型，在异源图像中通过调节基于Canny算子的边缘提取算法阈值，创建阈值搜索空间的过程为：建立表征异源图像一致信息的信杂比计算模型：

针对成对的异源图像，选取不同的Canny算子阈值，分别计算异源图像的边缘图，计算相似性特征指标平均边缘强度和边缘熵，并最终计算信杂比度量值。结果如表4所示：

表4相似特征比较结果

在异源图像信杂比一致的范围内，确定Canny算子的阈值搜索空间为[0.5，0.75]。

所述的在阈值搜索空间中，使用成对的异源图像集合测试识别系统，分别统计可见光和红外图像的识别概率，建立异源图像阈值映射表过程为：选取成对的异源图像序列，在Canny算子的阈值搜索空间中分别选取0.6，0.7后，分别提取图像的边缘信息，测试识别系统并统计序列图像的识别概率，如表5所示：

表5异源图像识别阈值映射表

如图2所示为空变模型坐标系图。

所述针对包含有识别对象的下视可见光图像，设计成像与观测条件下的空变模型，完成前视识别过程的模拟图像序列生成的过程是:

总的来看，下视可见光图像生成前视模拟图像序列的过程是像面投影计算,主要是通过观测几何与成像参数将正下视图像进行前视投影变换过程。这种变换是指将惯性坐标系下的地标点变换到图像坐标系，即已知所有地标点惯性坐标系下的坐标(X,Y,Z)、方位角θ、下视角φ、横滚角高度H、识别目标中心在图像中的位置坐标O₁＝(U_t,V_t)以及O₁的物点在地面相机下的坐标(U₀,V₀)，求所有下视可见光图像像素点在前视图像中的行列坐标。

首先需要定义投影变换过程的几个重要的坐标系：

●O(X,Y,Z)为惯性坐标系，Z轴指向天空，Y指向正北；

●O_c(X_c,Y_c,Z_c)为相机坐标系，Y_c为视轴；

●O_d(X_d,Y_d,Z_d)为地面相机坐标系，O_d为O_c在地面的投影，Z_d轴指向天空，Y_d轴为Y_c在地面的投影；

●O_t(X_t,Y_t,Z_t)坐标系为惯性坐标系(X,Y,Z)绕Z逆时针(从天空向地面观看)旋转θ角得到的坐标系；

●O_s(X_s,Y_s,Z_s)为水平相机坐标系，其原点为O_s，X_s和Y_s平行于地面，且分别与X_d和Y_d平行，Z_s轴指向天空，O_s(X_s,Y_s,Z_s)坐标系可以理解为去掉横滚和下视角的相机坐标系。

求下视可将光卫星图像像素点在前视图像空间中的行列坐标。

a)计算惯性坐标系中地标点(X,Y,Z)在O_t(X_t,Y_t,Z_t)坐标系下的坐标：

b)计算点(X_t,Y_t)在地面相机坐标系O_dX_d,Y_d,Z_d下的坐标:

其中，(X_o,Y_o)是地标模板中心点在地面相机下的坐标。

c)计算点(X_d,Y_d)在摄像机坐标系下的坐标(地面相机坐标系与摄像机坐标系之间存在横滚、俯仰和高度位移变换X_d,Y_d的图像像素坐标，这里原点在图像中心):

d)计算(X_c,Y_c,Z_c)在图像中的坐标

计算摄像机坐标系下点(X_c,Y_c,Z_c)在列方向和行方向的张角

计算地标点在图像中的对应点与图像中心点Ou的相对行列坐标(ur,vr)

计算地标点在可见光图像中的行坐标(row,col)。坐标原点在模板图像的左上角。设模拟序列图像尺度为256*512，识别目标中心坐标为(ut,vt)，则地标点(X,Y,Z)在前视模板中的行列坐标为：

row＝256/2+u_r+H_t/2–u_t

col＝512/2+v_r+W_t/2–v_t

如图3所示为空变前视模拟图像生成图。

经过空变模型计算，可见光图像转换为前视模拟序列图像，如图3所示。

所述使用前视模拟图像序列，选取不同的Canny算子边缘提取算法的阈值，绘制图像识别系统的ROC性能曲线，计算约登指数确定Canny阈值，查找异源图像阈值映射表，获取优化的识别阈值。其过程是：

在模拟图像序列上提取Canny变换提取，提取阈值按照前面步骤2中的一致阈值区间选取，间隔采样分别为：0.5，0.55，0.6，0.65，0.7，0.75。将边缘图像序列对识别系统进行测试，统计识别率。

ROC曲线分析最早是用于雷达目标检测领域，描述了检测检测概率和虚警概率之间的制约关系，识别问题是目标的二分类问题，用一组带有样本类别标号的数据集训练识别系统得到两类目标的决策变量，设定判别门限θ，当样本经过算法处理后得到识别变量大于θ时判为第一类目标，识别变量小于θ为第二类目标，对于每个样本，识别系统都有可能给出两种结果，共有四种不同的组合形式，采用表X混沌矩阵表示，行代表正、负样本，列代表识别结果标号，表6混沌矩阵格式：

表6混沌矩阵格式

	Y	N
			P	TP	FN
N	FP	TN

TP:当输入是第一类目标样本，识别算法判为是目标的数目；

FN：当输入是第一类目标样本，识别算法判为不是目标的数目；

FP:当输入是第二类目标样本，识别算法判为是目标的数目；

TN：当输入是第二类目标样本，识别算法判为不是目标的数目；

以上四种识别结果对应的概率分别记为P_TP，P_FN，P_FP，P_TN，在判决变量概率密度分布位置的情况下，常用试验的方法求其估计值，计算公式如下：

由上述定义可知：

P_TP+P_FN＝1

P_FP+P_TN＝1

ROC曲线评估揭示了当θ变换时P_TP(θ)，P_FP(θ)之间的关系，揭示识别系统在多个阈值下的整体性能。因此，在统计识别率的基础上，还要在模拟测试序列图像中加入负样本，如图4所示为正负样本图像对比图。这个测试图像序列统计信息如表7：

表7模拟测试序列图像集

图像类型	图像数
		有目标图像	138
无目标图像	150

识别系统的识别结果统计如表8：

表8模拟测试序列图像集

ROC曲线的最优阈值选取点为约登指数最大值，约登指数计算公式为：

YI＝Se+Sp-1

其中，Se是灵敏度，Sp是特异度。

约登指数是试验综合评价识别系统识别性能的总能力，同时考虑灵敏度和特异度，数值越大，真实性越好，理想值应为1。

●确定Canny算子的提取阈值为：0.7；

●查找阈值映射表获取识别阈值补偿量为：-0.03；

●通过可见光卫星图像变换的图像序列统计得到的识别阈值为：0.71；

●确定红外目标识别系统的识别阈值为：0.71-0.03＝0.68；

●使用同目标的真实红外图像序列进行识别性能统计，识别率为：98.7％。

如图5所示为识别阈值真值与优化值曲线对比图。

通常固定阈值一般选择0.6，从图5对比可以看出，本方法输出的阈值优于固定阈值，很大程度上提高了识别率。

Claims (4)

1.一种基于可见光卫星图片的红外目标识别系统阈值优化方法，其特征在于：包括以下步骤：

步骤1：针对异源图像的相似性分析，建立异源图像的特征指标集合，分析与筛选异源图像的最相似特征；

步骤2：建立表征异源图像一致性信息的信杂比模型，针对同一场景的可见光和红外图像，使用不同阈值的Canny算子提取边缘，计算图像的信杂比度量值，并根据信杂比度量值获取异源图像的一致性Canny阈值区间；

步骤3：在阈值搜索空间中，使用异源图像集合，测试图像识别系统，通过统计可见光和红外图像的识别概率，建立可见光和红外图像之间的识别阈值映射；

步骤4：根据相机成像与观测几何参数，在可见光卫星图像上选择目标区域，建立观测几何下的空变模型，完成识别过程的模拟图像序列生成；

步骤5：使用前视模拟图像序列，选取不同的Canny算子边缘提取算法的阈值，绘制图像识别系统的ROC性能曲线，计算ROC性能曲线的约登指数，确定最优Canny阈值，根据可见光和红外图像之间的识别阈值映射关系，获取优化的识别阈值。

2.根据权利要求1所述的基于可见光卫星图片的红外目标识别系统阈值优化方法，其特征在于：所述分析与筛选异源图像的最相似特征包括以下过程:

计算特征指标集合中，每个特征的平均相对误差和对比度均值误差，选取所述误差同时最小的特征即为最相似特征。

3.根据权利要求1所述的基于可见光卫星图片的红外目标识别系统阈值优化方法，其特征在于，所述信杂比模型为：

其中，ATES为平均边缘强度；H edge为边缘熵。

4.根据权利要求1所述的基于可见光卫星图片的红外目标识别系统阈值优化方法，其特征在于：所述计算ROC性能曲线的约登指数包括以下过程：

YI＝Se+Sp-1

其中，Se是灵敏度，Sp是特异度。