CN108564130A - 一种基于单演特征与多核学习的红外目标识别方法 - Google Patents

Abstract

本发明公开了一种基于单演特征与多核学习的红外目标识别方法，该方法首先提取红外目标多尺度单演特征，包括：基于单演信号幅度信息的目标能量特征、基于单演信号相位信息的目标结构特征、及基于单演信号方向信息的目标几何特征。第二，针对提取的多尺度单演特征维度较高且可能存在信息冗余，采用主分量分析方法，对其进行降维。第三，将降维后的多尺度单演特征向量映射到统一核空间，实现不同特征在核空间的自适应融合。最后，构造基于多尺度单演特征的多核学习分类器，实现目标分类。本发明基于单演滤波的思想，提出了基于单演信号幅度、相位、和方向的多类红外目标特征提取方法，然后结合多核学习，有效提高了红外目标识别的性能。

Description

一种基于单演特征与多核学习的红外目标识别方法

技术领域

本发明属于图像处理和模式识别技术领域，涉及一种基于单演特征与多核学习的红外目标识别方法。

背景技术

近年来，随着红外成像技术的发展，红外图像被广泛应用于多个军事或民用领域，如红外预警和制导、工业红外探测、红外安全监控等。在这些相关应用中，红外目标识别是一项至关重要的技术。

对于红外目标的有效识别，关键在于两点：精确的特征提取和表示、稳健的分类器。针对红外图像的特征提取和识别，人们提出了一系列算法，如基于灰度直方图(Histogram of gray，HG)的红外图像亮度特征提取算法、基于方向梯度直方图(Histogramof oriented gradients，HOG)的红外图像形状特征提取算法、基于局部二值模式(Localbinary pattern，LBP)的红外图像纹理特征提取算法等。虽然这些特征可以用于红外图像识别，但是它们仍存在以下局限性：

首先，使用单一特征对红外图像进行表示和描述时，很难将红外图像特性描述完整；

其次，某些算法可能使用多类特征进行红外图像识别，但简单的将不同特征进行叠加融合，融合后的特征可能存在较大的冗余性，且特征数量越多，计算量越大；

再者，某些算法选取多特征对红外图像进行识别时，所选取的特征可能不是从多角度、全方位描述红外图像，导致融合后的特征也无法完备的描述红外图像，因此限制了红外图像目标识别的性能。

由此，如何选择完备、紧致、有效的红外图像特征，对于红外目标的精确识别是目前急需解决的问题。

发明内容

发明目的：针对现有技术中存在的问题，本发明提出一种基于单演特征与多核学习的红外目标识别方法，以提高红外目标识别的性能和精度。

技术方案：为实现本发明的上述目的，本发明所采用的技术方案是：一种基于单演特征与多核学习的红外目标识别方法，包含训练阶段和测试阶段，所述的训练阶段包括以下步骤：

(1)构建红外图像训练样本集，包括正样本和负样本，将待训练的图像样本分类，并制作类别标签；

(2)提取训练样本多尺度单演特征；

(3)采用主分量分析方法对多尺度单演特征维度进行降维；

(4)选择和构建完备的多核空间，将降维后的多尺度单演特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合；

(5)构造基于多尺度单演特征的多核学习分类器；

所述的测试阶段包括以下步骤：

(6)构建红外图像测试样本集，包括正样本和负样本，将待测试的图像样本分类，并制作样本类别标签；

(7)提取测试样本多尺度单演特征；

(8)采用主分量分析方法对步骤(7)提取的特征进行降维；

(9)将降维后的多尺度单演特征向量映射到统一核空间，实现不同特征在核空间的自适应融合；

(10)利用步骤(5)训练好的分类器，对测试样本进行分类识别。

其中，所述多尺度单演特征包括：基于单演信号幅度信息的目标能量特征提取、基于单演信号相位信息的目标结构特征提取、及基于单演信号方向信息的目标几何特征提取。

优选的，在训练阶段中，构建红外图像训练样本集，包括正样本集和负样本集，具体过程如下：

(1.1)构建红外目标正样本集，记为X₁＝[x₁，x₂，...，xm]；构建红外图像负样本集，记为X₂＝[x_m+1，x_m+2，...，x_m+n]，其中m和n分别表示正样本和负样本的个数，设N＝m+n表示总样本个数；

(1.2)将X₁和X₂进行合并，构建完整的训练样本数据集X：

X＝[x₁，...，x_m，x_m+1，...，x_m+n]

(1.3)给所有的样本图像添加类别标签，则总的类标集为：

Y＝[y₁，...，y_m，y_m+1，...，y_m+n]

其中，y_i∈{1，2}为第i幅训练样本图像的类标，正样本和负样本类标集分别对应为Y₁＝[y₁，y₂，...，y_m]，Y₂＝[y_m+1，y_m+2，...，y_m+n]。

优选的，提取训练样本多尺度单演特征，包括：基于单演信号幅度信息的样本能量特征提取、基于单演信号相位信息的样本结构特征提取、及基于单演信号方向信息的样本几何特征提取，具体过程如下：

(2.1)给定一个二维样本图像x(z)，其中z表示二维图像空间像素坐标。首先对其进行里斯(Riesz)变换得到二维复信号x_R(z)，则x(z)对应的单演信号x_m(z)可定义为x(z)与其Riesz变换x_R(z)的线性组合：

x_m(z)＝x(z)-(i，j)x_R(z)

其中，i和j表示虚部单位，(1，i，j)构成三维互相正交的基坐标。

(2.2)将二维单演信号x_m(z)进行分解，获取其幅度、相位、和方向信息：

其中，x_i(z)和x_j(z)分别表示单演信号的i虚部的分量和j虚部的分量。

(2.3)采用二维Log-Gabor滤波器h_lg(z)先与二维样本图像x(z)的Riesz变换x_R(z)进行卷积，则x(z)对应的单演信号x_m(z)求解公式修改为：

x_m(z)＝(h_lg(z)*x(z))-(i，j)(h_lg(z)*x_R(z))

其中，h_lg(z)的频域表达式为ω是频率变量，ω₀是G(ω)的中心频率，σ表示该二维Log-Gabor滤波器带宽的尺度因子；

(2.4)通过修改σ即可以得到不同尺度的Log-Gabor滤波器，利用不同尺度Log-Gabor滤波器与x_R(z)进行卷积，即可计算不同尺度的单演信号其中表示第s个尺度下计算求得的x(z)的单演信号；S表示总尺度数；

(2.5)针对每一个尺度下的单演信号，按照(2.2)所述过程计算相应的单演特征，由于x_m(z)采用(2.3)中的形式，在求解A(z)、θ(z)三分量时，将采用h_lg(z)*x(z)代替x(z)，h_lg(z)*xR(z)代替x_R(z)对A(z)、θ(z)分别计算，最终可以得到三个尺度的单演特征：

其中，每个尺度下均包含能量特征、结构特征、和几何特征。

优选的，采用主分量分析方法对多尺度单演特征维度进行降维，具体过程如下：

其中，vec(·)表示将矩阵进行列向量化操作，pca(·)表示PCA操作；和分别表示降维后的k尺度下的样本单演能量特征、结构特征、和几何特征。

优选的，选择和构建完备的多核空间，将降维后的多尺度单演特征向量映射到统一核空间，实现不同特征在核空间的自适应融合，过程如下：

(3.1)选择径向基函数作为基础核函数：

其中，χ_i和χ_j分别表示第i个样本和第j个样本在相同尺度下、相同类型的特征向量，并且i与j不相等，μ表示带宽参数，用于控制核函数的光滑性；

(3.2)构建M个尺度的核函数，通过这些核函数将所有不同的单演特征在核空间中自适应融合：

其中，K(χ_i，χ_j)为组合后的核函数，d_m表示每个径向基函数核k_m(χ_i，χ_j)的权重，d_r≥0目

优选的，构造基于多尺度单演特征的多核学习分类器，实现过程如下：

其中，表示优化参数，y_i为训练样本的标签，b^*为多核分类面的最优偏置，d_m表示每个径向基函数核k_m(χ_i，χ_j)的权重，M表示核函数尺度数目，N表示训练样本的个数。

其中，对测试样本进行分类识别，得到识别结果：

有益效果：与现有技术相比，本发明具有以下有益技术效果：

本发明基于单演滤波的思想，提出了基于单演信号幅度、相位、和方向的多类红外目标特征提取方法，然后结合多核学习，有效提高了红外目标识别的性能。

附图说明

图1是本发明提出算法的框图；

图2是本发明提出的多尺度单演特征提取算法框图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明针对现有红外图像目标识别算法中红外图像特征提取信息不全面或丢失某些重要信息的缺陷，提出基于单演信号幅度、相位、和方向的多类红外目标特征提取方法，然后结合多核学习，有效提高了红外目标识别的性能。本发明提出算法的框图如图1所示，包括训练阶段和测试阶段。

训练阶段包括以下步骤：

(1)构建红外图像训练样本集，包括正样本集和负样本集，并制作标签；

(1.1)本实施例从LSI Far Infrared Pedestrian Dataset公共数据库里选取红外人体目标作为正样本示例，选取非红外人体目标，如树木、建筑物、地面、汽车、走廊等作为负样本示例，正样本和负样本各选400个，构建的红外目标正样本集为X₁＝[x₁，x₂，...，xm]，m＝400；构建的红外图像负样本集为X₂＝[x_m+1，x_m+2，...，x_m+n]，n＝400，正负样本数合计N＝800，每个样本图像大小为64*32。

(1.2)将X₁和X₂进行合并，构建完整的训练样本数据集：

X＝[x₁，...，x_m，x_m+1，...，x₈₀₀]。

(1.3)给所有的样本图像添加类别标签，则总的类标集为：

Y＝[y₁，...，y_m，y_m+1，...，y₈₀₀]。

其中，y_i∈{1，2}为第i幅训练样本图像的类标。正样本和负样本类标集分别对应为Y₁＝[y₁，...，y₄₀₀]，Y₂＝[y₄₀₁，...，y₈₀₀]。类别标签的作用是，指定标签的类别是正样本还是负样本。

(2)提取训练样本多尺度单演特征，包括：基于单演信号幅度信息的样本能量特征提取、基于单演信号相位信息的样本结构特征提取、及基于单演信号方向信息的样本几何特征提取，提取方法示意图如图2所示；

(2.1)给定一个二维样本图像x(z)，其中z表示二维图像空间像素坐标。首先对其进行里斯(Riesz)变换得到二维复信号x_R(z)，则x(z)对应的单演信号x_m(z)可定义为x(z)与其Riesz变换x_R(z)的线性组合：

x_m(z)＝x(z)-(i，j)x_R(z)

其中，i和j表示虚部单位；(1，i，j)构成三维互相正交的基坐标。

其中，解析信号是一维信号基于Hilbert变换的复数扩展，这种表达形式给出了原始信号的瞬时振幅和相位的方程式，解析信号被广泛应用于涉及幅值和相位的算法。对一维信号x，其解析表示为：

x_A＝x-ix_H

其中，i为虚部单位，x_H为原始信号x的Hilbert变换。

当输入信号x变为二维信号时，需要将上述一维解析表达形式扩展至二维。首先，将Hilbert变换拓展到二维，产生Riesz变换，换句话说Riesz变换是Hilbert变换的二维拓展。然后，将二维信号x(z)和它的Riesz变换x_R(z)组合起来，形成广义二维解析信号，即单演信号x_m(z)：

x_m(z)＝x(z)-(i，j)x_R(z)

其中，i和j表示虚部单位。可见，原始图像信号x(z)和其Riesz变换信号x_R(z)分别构成了单演信号x_m(z)的1个实部分量和2个虚部分量，这是由于复数的运算不足以嵌入到广义二维解析信号，因此需要形成这三部分来表达“广义二维解析信号”。因此，(1，i，j)也构成三维互相正交的基坐标。

(2.2)将二维单演信号x_m(z)进行分解，获取其幅度、相位、和方向信息：

其中，x_i(z)和x_j(z)分别表示单演信号的i虚部的分量和j虚部的分量；|·|表示取模运算。

A(z)即基于单演信号幅度信息的样本能量特征，即基于单演信号相位信息的样本结构特征，θ(z)即基于单演信号方向信息的样本几何特征。A(z)、θ(z)均为二维特征矩阵，它们的尺寸与原始样本图像尺寸均相同，即64*32。

(2.3)为了获得更加丰富的多尺度单演特征，采用二维Log-Gabor滤波器h_lg(z)先与二维样本图像x(z)的Riesz变换x_R(z)进行卷积，则x(z)对应的单演信号求解公式修改为：

x_m(z)＝(h_lg(z)*x(z))-(i，j)(h_lg(z)*x_R(z))

其中，h_lg(z)的频域表达式为ω是频率变量，ω₀是G(ω)的中心频率，σ表示该二维Log-Gabor滤波器带宽的尺度因子。通过修改σ即可以得到不同尺度的Log-Gabor滤波器，利用不同尺度Log-Gabor滤波器与x_R(z)进行卷积，即可计算不同尺度的单演信号其中表示第s个尺度下计算求得的x(z)的单演信号；S＝3，表示总尺度数。

(2.4)针对每一个尺度下的单演信号，按照(2.2)所述过程计算相应的单演特征，这里需要指出的是，由于x_m(z)采用(2.3)中的形式，实际在求解A(z)、θ(z)三分量时，将采用h_lg(z)*x(z)代替x(z)，h_lg(z)*x_R(z)代替x_R(z)对A(z)、θ(z)分别计算，最终可以得到三个尺度的单演特征：

其中，每个尺度下均包含能量特征、结构特征、和几何特征。

(3)采用主成分分析PCA对步骤(2)计算得到的不同尺度下的单演特征进行降维，从而得到有效且紧致的特征集：

(4)选择和构建完备的多核空间，将降维后的多尺度单演特征向量映射到统一核空间，实现不同特征在核空间的自适应融合。

(4.1)选择径向基函数作为基础核函数，其中，μ＝2^l，l∈{-1，...，8}，其中，χ_i和χ_j分别表示第i个样本和第j个样本在相同尺度下、相同类型的特征向量，例如第1个尺度下A特征，并且i与j不相等，μ表示带宽参数，用于控制核函数的光滑性。

(4.2)通过10个不同的核函数，将所有单演特征在核空间中通过以下公式进行自适应融合：

M＝10，k_m(χ_i，χ_j)表示其中一个核函数，d_m表示其权重。

(5)构造基于多尺度单演特征的多核学习分类器；

其中，表示优化参数，y_i为训练样本的标签，b^*为多核分类面的最优偏置。最后按照网格搜索法在训练样本上多次重复实验，选取识别率最优时的b^*作为训练后分类器的最优参数吗，M表示核函数尺度数目，N表示训练样本的个数。

测试阶段包含以下步骤：

(6)同样从LSI Far Infrared Pedestrian Dataset公共数据库里选取400个红外人体目标作为正测试样本，选取400个非红外人体目标，如树木、建筑物、地面、汽车、走廊等作为负测试样本。

(7)同训练阶段中的步骤(2)，提取其多尺度单演特征，包括：基于单演信号幅度信息的目标能量特征提取、基于单演信号相位信息的目标结构特征提取、及基于单演信号方向信息的目标几何特征。

(8)同训练阶段中的步骤(3)，采用主分量分析方法提取的特征进行降维。

(9)同训练阶段中的步骤(4)，将降维后的多尺度单演特征向量映射到统一核空间，实现不同特征在核空间的自适应融合。

(10)采用训练阶段中步骤(5)学习得到的分类器，对特征进行判断，得到识别结果：

最后，本发明对公开的LSI红外人体数据库(LSI Far Infrared PedestrianDataset)进行实验，从该数据库中选择800个红外人体图像构建正样本集和800个非红外人体图像构建负样本集。对本发明提出的算法进行实验时，随机从正样本集中抽取400个作为训练正样本，剩余400个作为测试正样本；类似地，随机从负样本集中抽取400个作为训练负样本，剩余400个作为测试负样本。表1给出了一次随机实验的结果，其中，TP表示正样本被识别成正样本的个数，FN表示正样本被识别成负样本的个数，TN表示负样本被识别成负样本的个数，FP表示负样本被识别成正样本的个数。

红外人体图像识别的准确率使用下式表示：

其中，AR越高，表示识别准确率越高。

红外人体图像识别的精确率和识别的召回率分别使用下式表示：

precision＝TP/(TP+FP)，reca1l＝TP/(TP+FN)

其中，precision和recall是相互冲突的两个标准，为此，需要计算它们的综合值：

其中，F1的值越高，表示识别性能越好。由表1可见，本发明提出的算法准确率高达99.50％，而F1值也高达99.50％。

表1提出算法性能评估

TP	397
		FN	3
TN	399
		FP	1
AR(％)	99.50
		precision(％)	99.75
recall(％)	99.25
		F1(％)	99.50

此外，本发明又通过10次随机实验，验证提出算法的稳定性。本算法10次实验的目标识别平均正确率为98.96％，标准差为0.39％，可见算法识别性能稳定。而常见的基于梯度直方图(HOG)与单核学习的红外目标识别方法的10次实验的平均正确率仅为82.31％，标准差为3.7％，由此可见，本发明提出的算法较现有算法目标识别性能大大提升。

Claims (8)

1.一种基于单演特征与多核学习的红外目标识别方法，包含训练阶段和测试阶段，其特征在于，

所述训练阶段包括以下步骤：

(1)构建红外图像训练样本集，包括正样本和负样本，将待训练的图像样本分类，并制作样本类别标签；

(2)提取训练样本多尺度单演特征；

(3)采用主分量分析方法对多尺度单演特征维度进行降维；

(4)选择和构建完备的多核空间，将降维后的多尺度单演特征向量映射到统一多核空间，实现不同特征在核空间的自适应融合；

(5)构造基于多尺度单演特征的多核学习分类器；

所述测试阶段包括以下步骤：

(6)构建红外图像测试样本集，包括正样本和负样本，将待测试的图像样本分类，并制作样本类别标签；

(7)提取测试样本多尺度单演特征；

(8)采用主分量分析方法对步骤(7)提取的特征进行降维；

(9)将降维后的多尺度单演特征向量映射到统一核空间，实现不同特征在核空间的自适应融合；

(10)利用步骤(5)训练好的分类器，对测试样本进行分类识别。

2.根据权利要求1所述的一种基于单演特征与多核学习的红外目标识别方法，其特征在于，所述多尺度单演特征包括：基于单演信号幅度信息的目标能量特征、基于单演信号相位信息的目标结构特征、基于单演信号方向信息的目标几何特征。

3.根据权利要求1所述的一种基于单演特征与多核学习的红外目标识别方法，其特征在于，在训练阶段中，步骤(1)中，构建红外图像训练样本集，包括正样本集和负样本集，方法如下：

(1.1)构建红外图像正样本集，记为X₁＝[x₁，x₂，...，x_m]；构建红外图像负样本集，记为X₂＝[x_m+1，x_m+2，...，x_m+n]，其中m和n分别表示正样本和负样本的个数，设N＝m+n表示总样本个数；

(1.2)将X₁和X₂进行合并，构建完整的训练样本数据集X：

X＝[x₁，...，x_m，x_m+1，...，x_m+n]

(1.3)给所有的样本图像添加类别标签，则总的类别标签集为：

Y＝[y₁，...，y_m，y_m+1，...，y_m+n]

其中，y_i∈{1，2}为第i幅训练样本图像的类别标签，正样本和负样本类别标签集分别对应为：

Y₁＝[y₁，y₂，...，y_m]，Y₂＝[y_m+1，y_m+2，...，y_m+n]。

4.根据权利要求1所述的一种基于单演特征与多核学习的红外目标识别方法，其特征在于，步骤(2)中，提取训练样本多尺度单演特征，具体过程如下：

(2.1)给定一个二维样本图像x(z)，其中z表示二维图像空间像素坐标，先对其进行里斯(Riesz)变换得到二维复信号x_R(z)，则x(z)对应的单演信号x_m(z)可定义为x(z)与其里斯(Riesz)变换的x_R(z)的线性组合：

x_m(z)＝x(z)-(i，j)x_R(z)

其中，i和j表示虚部单位，(1，i，j)构成三维互相正交的基坐标；

(2.2)将二维单演信号x_m(z)进行分解，获取其幅度、相位、和方向信息：

其中，x_i(z)和x_j(z)分别表示单演信号的i虚部的分量和j虚部的分量。

(2.3)采用二维Log-Gabor滤波器h_lg(z)先与二维样本图像x(z)的里斯(Riesz)变换x_R(z)进行卷积，则x(z)对应的单演信号x_m(z)求解公式修改为：

x_m(z)＝(h_lg(z)*x(z))-(i，j)(h_lg(z)*x_R(z))

其中，h_lg(z)的频域表达式为：

其中，ω是频率变量，ω₀是G(ω)的中心频率，σ表示该二维Log-Gabor滤波器带宽的尺度因子；

(2.4)通过修改σ即可以得到不同尺度的Log-Gabor滤波器，利用不同尺度Log-Gabor滤波器与x_R(z)进行卷积，即可计算不同尺度的单演信号其中表示第S个尺度下计算求得的x(z)的单演信号，S表示总尺度数；

(2.5)针对每一个尺度下的单演信号，按照(2.2)所述过程计算相应的单演特征，由于x_m(z)采用(2.3)中的形式，在求解A(z)、θ(z)三分量时，将采用h_lg(z)*x(z)代替x(z)，h_lg(z)*x_R(z)代替x_R(z)对A(z)、θ(z)分别计算，最终可以得到三个尺度的单演特征：

其中，每个尺度下均包含能量特征、结构特征、几何特征。

5.根据权利要求1所述的一种基于单演特征与多核学习的红外目标识别方法，其特征在于，采用主分量分析方法对多尺度单演特征维度进行降维，具体过程如下：

其中，vec(·)表示将矩阵进行列向量化操作，pca(·)表示主成分分析操作；和分别表示降维后的k尺度下的样本单演能量特征、结构特征、和几何特征向量。

6.根据权利要求1所述的一种基于单演特征与多核学习的红外目标识别方法，其特征在于，选择和构建完备的多核空间，将降维后的多尺度单演特征向量映射到统一核空间，实现不同特征在核空间的自适应融合，方法如下：

(3.1)选择径向基函数作为基础核函数：

其中，χ_i和χ_j分别表示第i个样本和第j个样本在相同尺度下、相同类型的特征向量，并且i与j不相等，μ表示带宽参数；

(3.2)构建M个尺度的核函数，通过这些核函数将所有不同的单演特征在核空间中自适应融合：

其中，K(χ_i，χ_j)为组合后的核函数，d_m表示每个径向基函数核k_m(χ_i，χ_j)的权重，d_m≥0且

7.根据权利要求1所述的一种基于单演特征与多核学习的红外目标识别方法，其特征在于，构造基于多尺度单演特征的多核学习分类器，实现过程如下：

其中，表示优化参数，y_i为训练样本的标签，b^*为多核分类面的最优偏置，d_m表示每个径向基函数核k_m(χ_i，χ_j)的权重，M表示核函数尺度数目，N表示训练样本的个数，χ_i和χ_j分别表示第i个样本和第j个样本在相同尺度下、相同类型的特征向量，并且i与j不相等。

8.根据权利要求1所述的一种基于单演特征与多核学习的红外目标识别方法，其特征在于，对测试样本进行分类识别，得到识别结果：