CN109583482B - 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法 - Google Patents

Abstract

本发明公开了一种基于多特征融合与多核迁移学习的红外人体目标识别方法。首先，基于红外图像特殊的成像机理，对红外场景中的目标提取一种改进的CLBP特征‑‑MSF‑CLBP来表达纹理信息，以及一种改进的局部HOG特征‑‑HOG‑FV来表达形状信息，以发掘目标中的有效特征；其次，针对上述提取到的两种异构特征，采用串联融合的方法进行特征融合，使得对目标特征信息的描述更为客观全面。最后，设计了一种融合多核分类与TrAdaBoost迁移学习框架的分类器，有效地解决了带标签的红外样本图像匮乏的问题，同时增强了待分类数据的区分性，以获取更优的识别效果。该方法从特征提取的改进和分类器的设计两方面着手，改善了特征信息的表达，提升了复杂背景下红外人体目标识别的性能。

Description

一种基于多特征融合与多核迁移学习的红外人体目标图像识 别方法

技术领域

本发明属于红外图像处理和模式识别技术领域，尤其涉及一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法。

背景技术

红外场景下的人体目标识别是红外图像处理和模式识别领域中一个重要的研究分支，其已广泛应用于视频监控，目标跟踪和汽车辅助驾驶系统等实际应用中。为了实现红外图像中人体目标的有效识别，关键在于对人体目标进行准确且全面的特征提取，以及设计合理的分类器来进行分类识别。

首先，在红外图像目标特征提取方面，一直以来，众多学者们提出并改进了很多优秀的特征提取算法，如改进的方向梯度直方图(Histogram of Oriented Gradient，HOG)特征，改进的局部二值模式特征(Local Binary Pattern,LBP)，局部强度差异直方图(Histograms of Local Intensity Differences,HLID)特征以及强度自相似(IntensitySelf Similarity,ISS)特征等等。上述的方法通过对红外人体目标提取某单一方面的特征如形状特征或者纹理特征来进行特征表示，这种特征提取的不全面性在一定程度上影响着后续的识别性能。为此，研究者们又提出对红外人体目标图像进行多特征的提取和融合，以提高特征表示的全面性，比如采用HOG与LBP特征来分别表达形状信息和纹理信息，将CSLBP(Center-Symmetric Local Binary Pattern)特征与FPGT特征(Fused Phase,Ggradientand Texture features)进行融合，使用HOG特征与Edgelet特征来分别表达图像中目标的形状特性等等，最终获取的识别性能均优于使用单一特征时的性能。基于以上的分析，可以得出一些结论：首先，采用多特征提取和融合来挖掘图像的特征信息相较于单特征提取方法而言，确实可以提高红外人体目标特征表示的准确性；其次，针对红外人体目标而言，通过HOG特征来表达形状信息以及LBP特征来表达纹理信息已被证明是一种有效的特征表达方式；最后，虽然目前有很多方法提出提取红外人体目标的多种特征，但是这些特征仍然可能属于同一种类型，如Edgelet和HOG特征都属于形状特征，仍然没有从不同的角度对目标进行描述。此外，提取出的特征多为图像的底层特征，缺少了必要的语义信息，限制了识别性能的进一步提升。

其次，在分类器设计环节，针对红外人体目标的识别，常用的分类器有支持向量机(Support Vector Machine,SVM)、基于Adaboost的分类器、基于KNN(K-Nearest Neighbor)的分类器等等。这些分类算法属于传统的机器学习算法，虽然性能可以得到保证，但是它们的训练样本需要满足严格的条件限制：(1)训练样本与测试样本需要满足独立同分布的条件；(2)需要有足够多可利用的训练样本才可能学习得到一个较好的分类模型。然而，在红外图像目标识别分类的实际应用中可以发现，这两个条件一般都很难满足。首先，由于红外图像特殊的成像原理，不同的周围环境对目标图像的分布及语义都极易引起较大的偏差。其次，相比于可见光图像，可利用的带标签的红外样本图像数量少得多，而获取大量新的有效样本则需要付出很大的代价。因此，如何利用少量的带标签训练样本，最终建立一个可靠的模型对目标进行预测和分类显得尤为重要。

迁移学习为解决上述问题提供了新的思路。作为机器学习领域一个新的分支，迁移学习放宽了传统机器学习需要满足的两个基本假设，其目的是通过迁移已有的知识来解决目标领域中仅有少量带标签样本数据的学习问题。现阶段，迁移学习在包括遥感图像目标识别，SAR目标识别等目标识别与分类问题上已经有了成功的应用。因此，当有效的带标签样本数量较少时，利用迁移学习的思想来构造高效的分类器是一种可取的选择。

公开号为CN201611029651.9的基于红外图像的行人检测系统，它在其目标识别单元中将MCS与LBP模式特征进行了特征融合，建立了一个2D的人体概率模型，最后利用分类器进行判定识别。尽管该方法采用了两种特征来进行描述，但这两种特征均属于纹理特征，特征提取的完备性并未得到有效的满足，特征表示的全面性依然可以进一步提升。此外，模型的训练仍然需要大量有效的红外样本图像，加大了成本的投入。

Davis M等人(Davis M,Sahin F.HOG feature human detection system[C]//Systems,Man,and Cybernetics(SMC),2016IEEE International Conference on.IEEE,2016:002878-002883.)使用了HOG与HOD(Histograms of Oriented Depths)两种特征来对红外热图像中的人体目标进行特征表示，提高了特征提取的准确性，并设计了一种多级联分类器来进行识别分类。该方法在一定程度上改善了识别的性能，但是融合的两种特征同属于梯度信息特征，实质上并未从多角度来对图像进行描述，因此仍然存在一定的改进空间。

对于现有的，常用的红外人体目标识别方法，其存在的局限性主要表现在：

(1)在特征提取方面，尽管图像目标单一特征的提取已经可以较好地挖掘出目标在某一方面的特性，但特征信息的不全面事实上降低了图像特征提取的准确性。此外，诸多的多特征提取与融合方法表面上增强了特征描述的完备性，但实际上是对同类型信息的重复描述，相对于单特征提取方法而言确实有一定程度的提升，但多角度的目标特征提取与融合仍然没有得到非常好的实现，后续的识别性能因此可以进一步地提升。

(2)在分类器设计方面，虽然基于传统机器学习算法的分类器在目标分类识别的应用上取得了很多的成果，但是它们严格的使用条件限制阻碍了其在红外人体目标图像的实际应用。如何利用已有的少量带标签红外样本图像以及大量的可见光图像，训练得到一个可靠的模型仍然是一个难点问题。

发明内容

发明目的：针对以上问题，本发明提出一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，改进了红外人体目标特征的提取，完善了目标的特征表达；将多核分类与TrAdaBoost算法进行了融合，解决了带标签的红外人体目标样本图像匮乏等问题，提高了红外场景下人体目标识别的准确性和鲁棒性。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，该方法包括如下步骤：

(1)采用红外图像构建训练样本集，可见光图像构建辅助训练样本集；

(2)对训练样本集和辅助训练样本集中的样本图像，提取出经单演信号滤波后进行CLBP特征提取得到特征MSF-CLBP；

(3)对训练样本集和辅助训练样本集中的样本图像，提取出图像的局部HOG特征后进行Fisher Vector编码得到特征HOG-FV；

(4)将上述提取出特征MSF-CLBP与HOG-FV进行串联融合；

(5)设计融合SVM多核分类器，用TrAdaBoost迁移学习框架通过融合所得到的样本特征完成分类器的训练；

(6)利用训练好的分类器对待识别的红外图像进行分类识别，得到识别结果。

进一步的，步骤(1)中，所述可见光图像的数目是红外图像数目的2-3倍。

进一步的，步骤(2)中，对练样本集和辅助训练样本集中的样本图像，提取出经单演信号滤波后进行CLBP特征提取得到特征MSF-CLBP，方法如下：

(2.1)单演信号滤波以原信号的Riesz变换为基础，对于训练样本集中的任意一幅样本图像f(z)，坐标为z＝(x,y)，对应的Riesz变换可表示为：

其中，x，y表示的是像素点在x轴和y轴方向上的坐标；z＝(x,y),z指的是像素点在二维坐标系中的坐标，包括x轴和y轴两个方向；

则对于图像f(z)，经过单演信号滤波后的信号可以表示为：

f_M(z)＝(f(z),f_x(z),f_y(z))＝(f(z),R_x(z)*f(z),R_y(z)*f(z))

其中，*代表卷积运算。通过计算局部幅值A，局部相位φ以及局部方向θ来对图像进行解析，对应的计算公式如下：

(2.2)对上述经单演信号滤波后的图像进行CLBP特征提取，来获取图像的纹理特征MSF-CLBP，通过对图像中圆形子窗口中的像素值进行CLBP_S_P,R，CLBP_M_P,R以及CLBP_C_P,R三种算子的运算以获取像素间差值的符号信息和差量信息以及中心像素点的灰度信息，对应的计算方法如下：

其中，

P为所选图像子窗口中像素点的个数；R为所选圆形子窗口的半径；g_p为子窗口中像素点的灰度值，g_c为中心像素点的灰度值，g_n为图像中像素点的灰度值，N为子窗口的个数；

(2.3)将CLBP_S_P,R与CLBP_M_P,R进行串联，建立一个二维联合直方图，降为一维之后再与CLBP_C_P,R进行串联，处理之后所得的特征即为样本图像的MSF-CLBP特征；

(2.4)通过上述方法计算得到源训练样本集与辅助训练样本集的MSF-CLBP特征集，可以分别表示为S_MC与D_MC。

进一步的，步骤(3)中，对练样本集和辅助训练样本集中的样本图像，提取出图像的局部HOG特征后进行Fisher Vector编码得到特征HOG-FV，方法如下：

(3.1)对于一幅样本图像I，在提取局部HOG特征时，首先利用梯度算子[-1，0，1]求取每个像素点的横向梯度和纵向梯度H(x,y)和V(x,y)，像素点的梯度幅值M(x,y)和方向O(x,y)通过下列公式计算：

O(x,y)＝tan^-1[V(x,y)/H(x,y)]

(3.2)将I分成若干小单元，该小单元包含了若干个像素点的正方形区域，大小为2*2或4*4，将每个单元划分为9个梯度方向，得到一个9维的向量，把相邻的4个小单元组成一个块，得到一个36维的HOG块向量，然后，通过L2归一化对所得块向量进行处理，并使用PCA方法将特征向量降至30维；

(3.3)对提取出的局部HOG特征向量进行Fisher Vector编码：设样本图像有T个待编码的局部HOG特征描述子，表示为X＝{x_t},t＝1,2...,T，其中x_t的维数为D维；λ＝{w_i,μ_i,∑_i},i＝1,2,...N为GMM的参数集，N为GMM中所选高斯核的个数，w_i，μ_i，∑_i分别代表了第i个高斯核的权重，均值向量和协方差矩阵，在GMM中，假设x_t,t＝1,2,...,T满足独立同分布，则定义：

其中，x_t相对于GMM的概率密度分布可以表示为：

P_i为x_t对应于GMM中第i个高斯核的概率分布函数，且x_t恰好由第i个高斯核生成的概率为：

通过对L(Xλ)求取偏导数，对应于均值μ和方差σ'的梯度向量分别为：

其中，μ_i指的是第i个高斯核对应的均值，σ_i'指的是第i个高斯核对应的方差；

(3.4)将上述所得的两组向量进行串联，即可得到样本图像的HOG-FV特征，通过上述方法得到源训练样本集与辅助训练样本集的HOG-FV特征集，分别表示为S_HF与D_HF。

进一步的，步骤(4)中，将上述提取出特征MSF-CLBP与HOG-FV进行串联融合，方法如下：将前述源训练样本集与辅助训练样本集提取出的MSF-CLBP与HOG-FV特征集进行串联融合，分别得到源训练样本特征集与辅助训练样本特征集T_s＝[S_MC,S_HF]，T_d＝[D_MC,D_HF]。

进一步的，步骤(5)中，设计融合SVM多核分类器，用TrAdaBoost迁移学习框架通过融合所得到的样本特征完成分类器的训练，方法如下：

(5.1)上述已得源训练样本特征集和辅助训练样本特征集为T_s和T_d，则训练样本特征集表示为T＝[T_s,T_d]，源训练样本和辅助训练样本数分别为m和n；

(5.2)选择高斯核径向基核函数作为基本核函数来集成多尺度内核与SVM结合实现多核分类，高斯核径向基函数可以定义为：

其中，σ表示高斯核的径向宽度，x_i,x_j∈T，表示的是T中第i与第j个样本特征，其中，i,j＝1,2,...,m+n，遍历所有样本特征，两两样本之间进行计算，并且i≠j；

在进行多核分类时，首先初始化σ的范围[σ_min,σ_max]，选择k个尺度的核函数，其对应的σ满足：σ_min≤σ₁＜σ₂＜...＜σ_k≤σ_max；

其次，计算

d为待分类特征的维数。

然后，计算σ_i与σ_m的距离：

d_mi＝|σ_m-σ_i|

通过距离d_mi的大小来确定和调整对应的系数α_i,i＝1,2,...,k，距离越小则对应的系数值越大：

再对α_i进行归一化，得到最终的系数：

最后，由确定的核函数以及对应的系数得到需要的多尺度内核K，计算方法如下：

其中，K_i表示第i个基本核函数。

(5.3)选取SVM作为TrAdaBoost框架中初始的弱分类器，将集成的多尺度内核K作为SVM的核函数，SVM训练的迭代次数为N_I；

训练过程的具体操作如下：

首先，初始化权重向量：

设置辅助域样本权重调整因子为

之后，进行分类器的迭代训练，在第t,1≤t≤N_I次迭代过程中：

第一，归一化样本的权重向量：

第二，通过当前的SVM分类器对训练样本特征集T中的所有样本特征进行分类，得到样本特征集的分类映射h_t:T→Y，Y为样本特征集经分类得到的标签集；

接着，计算h_t在T_s上的识别错误率：

其中，

表示训练样本x_i的真实标签，当ε_t≥0.5时，ε_t调整为0.499；当ε_t＝0时，ε_t调整为0.001；

最后，计算源域样本权重调整因子

更新训练样本的权重，对分类器进行迭代训练：

在完成上述的迭代训练后，可以得到所选SVM最终的分类器映射

进一步的，步骤(6)中，利用训练好的分类器对待识别的红外图像进行分类识别，得到识别结果，方法如下：对于一幅待识别红外图像，首先提取出其对应的上述两种MSF-CLBP与HOG-FV异构特征并完成融合，记为feature，利用训练好的分类器进行分类识别，得到最终的识别结果：

有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：

(1)提出了一种有效的特征提取策略。针对红外人体目标单一特征提取或者多特征提取方法提取信息不全的问题，从纹理信息的角度改进了CLBP特征提取方法，获得了更为健壮的纹理特征表示，从形状信息的角度改进了局部HOG特征，丰富了特征的语义信息表达，对于后续分类识别准确性和效率的提升有着积极的影响。

(2)利用少量的带标签红外样本图像以及大量的可见光图像，借助于TrAdaBoost迁移学习框架，建立了一个可靠的模型完成红外人体目标的识别，较好地解决了传统的机器方法由于带标签的红外人体目标样本数据匮乏、训练样本和测试样本的分布及语义存在偏差而带来的泛化性能差等问题。

附图说明

图1为本发明实施例的框架图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，该方法包括如下步骤：

第一步，在训练模块中，分别采用红外图像构建源训练样本集，可见光图像构建辅助训练样本集。其中，源训练样本集中由数量较少的红外图像构成，比如400-500张红外图像；辅助训练样本集中含有数量较多的可见光图像，如可见光样本图像的数量为源训练样本集中红外图像数量的2-3倍以上，并且，红外图像包括红外人体图像和红外非人体图像，可见光人体图像包括可见光人体图像和可见光非人体图像。其操作过程如下：

使用LSI Far Infrared Pedestrian Dataset和INRIA Person Dataset这两个公共图像数据集构建源训练样本集和辅助训练样本集。其中，源训练样本集和测试集中的红外图像均来自于LSI Far Infrared Pedestrian Dataset中的Classification Dataset，而辅助训练样本集中的可见光图像来源于INRIA数据集，且辅助训练样本的数量远多于是源训练样本的数量；例如2-3倍以上，并且训练样本图像的大小均应保持一致。

第二步，对于源训练样本集和辅助训练样本集中的样本图像，首先提取出其经单演信号滤波后再进行CLBP特征提取所得的特征MSF-CLBP。

其中，对于源训练样本集中的红外样本图像以及辅助训练样本集中的可见光样本图像，提取出对应的MSF-CLBP特征。MSF-CLBP特征定义为：对样本图像进行单演信号滤波后，通过CLBP特征提取方法所得到的特征。

首先，单演信号滤波以原信号的Riesz变换为基础。对于训练样本集中的任意一幅样本图像f(z)，坐标为z＝(x,y)，对应的Riesz变换可表示为：

其中，x，y表示的是像素点在x轴和y轴方向上的坐标；z＝(x,y),z指的是像素点在二维坐标系中的坐标，包括x轴和y轴两个方向。

则对于图像f(z)，经过单演信号滤波后的信号可以表示为：

f_M(z)＝(f(z),f_x(z),f_y(z))＝(f(z),R_x(z)*f(z),R_y(z)*f(z))

这里，*代表卷积运算。通过计算局部幅值A，局部相位φ以及局部方向θ来对图像进行解析，对应的计算公式如下：

然后，对上述经单演信号滤波后的图像进行CLBP特征提取，来获取图像的纹理特征。通过对图像中圆形子窗口中的像素值进行CLBP_S_P,R，CLBP_M_P,R以及CLBP_C_P,R三种算子的运算以获取像素间差值的符号信息和差量信息以及中心像素点的灰度信息，对应的计算方法如下：

其中，

P为所选图像子窗口中像素点的个数；R为所选圆形子窗口的半径；g_p为子窗口中像素点的灰度值，g_c为中心像素点的灰度值，g_n为图像中像素点的灰度值，N为子窗口的个数。

CLBP_S_P,R与CLBP_M_P,R包含着互补信息，将二者进行串联，建立一个二维联合直方图，降为一维之后再与CLBP_C_P,R进行串联，处理之后所得的特征即为样本图像的MSF-CLBP特征。

最终，可以得到源训练样本集与辅助训练样本集的MSF-CLBP特征集，可以分别表示为S_MC与D_MC。

第三步，对于样本集中的样本图像，再提取出图像的局部HOG特征进行FisherVector编码后所得的特征HOG-FV。其中，对训练样本集中的每一幅样本图像提取出其对应的HOG-FV特征。HOG-FV特征定义为：对样本图像的局部HOG特征进行FisherVector编码后所得到的特征，对于一幅样本图像I，在提取局部HOG特征时，首先利用梯度算子[-1，0，1]求取每个像素点的横向梯度和纵向梯度H(x,y)和V(x,y)，像素点的梯度幅值M(x,y)和方向O(x,y)可以通过下列公式得到：

O(x,y)＝tan^-1[V(x,y)/H(x,y)]

然后，将I分成若干小单元，该小单元包含了若干个像素点的正方形区域，大小可以取2*2或4*4，每个单元划分为9个梯度方向，可以得到一个9维的向量。把相邻的4个小单元组成一个块，可以得到一个36维的HOG块向量。然后，通过L2归一化对所得块向量进行处理，并使用PCA方法将特征向量降至30维。

接下来，对提取出的局部HOG特征向量进行Fisher Vector编码：设样本图像有T个待编码的局部HOG特征描述子，可表示为X＝{x_t},t＝1,2...,T，其中x_t的维数为D维。λ＝{w_i,μ_i,∑_i},i＝1,2,...N为GMM的参数集，N为GMM中所选高斯核的个数，w_i，μ_i，∑_i分别代表了第i个高斯核的权重，均值向量和协方差矩阵，在GMM中，假设x_t,t＝1,2,...,T满足独立同分布，则可以定义：

其中，x_t相对于GMM的概率密度分布可以表示为：

P_i为x_t对应于GMM中第i个高斯核的概率分布函数，且x_t恰好由第i个高斯核生成的概率为：

通过对L(Xλ)求取偏导数，对应于均值μ和方差σ'的梯度向量分别为：

其中，μ_i指的是第i个高斯核对应的均值，σ_i'指的是第i个高斯核对应的方差。

将上述所得的两组向量进行串联，即可得到样本图像的HOG-FV特征。最终，可以得到源训练样本集与辅助训练样本集的HOG-FV特征集，可以分别表示为S_HF与D_HF。

第四步将前述提取出的两种改进后的特征MSF-CLBP与HOG-FV进行串联融合。

其中，将前述源训练样本集与辅助训练样本集提取出的MSF-CLBP与HOG-FV特征集进行串联融合，分别得到源训练样本特征集与辅助训练样本特征集T_s＝[S_MC,S_HF]，T_d＝[D_MC,D_HF]。

第五步设计融合多核SVM与TrAdaBoost迁移学习框架的TrAdaBoost_MK分类器，并通过融合所得到的样本特征完成分类器的训练。上述已得源训练样本特征集和辅助训练样本特征集为T_s和T_d，则训练样本特征集可以表示为T＝[T_s,T_d]，源训练样本和辅助训练样本数分别为m和n。

首先，选择高斯核径向基核函数作为基本核函数来集成多尺度内核与SVM结合实现多核分类。高斯核径向基函数可以定义为：

其中，σ表示高斯核的径向宽度，x_i,x_j∈T，表示的是T中第i与第j个样本特征，其中，i,j＝1,2,...,m+n，遍历所有样本特征，两两样本之间进行计算，并且i≠j。

在进行多核分类时，首先初始化σ的范围[σ_min,σ_max]，选择k个尺度的核函数，其对应的σ满足：σ_min≤σ₁＜σ₂＜...＜σ_k≤σ_max。

其次，计算

d为待分类特征的维数。

然后，计算σ_i与σ_m的距离，i＝1,2,...,k：

d_mi＝|σ_m-σ_i|

通过距离d_mi的大小来确定和调整对应的系数α_i,i＝1,2,...,k，距离越小则对应的系数值越大。

再对α_i进行归一化，得到最终的系数：

最后，由确定的核函数以及对应的系数得到需要的多尺度内核K，计算方法如下：

其中，K_i表示第i个基本核函数。

选取SVM作为TrAdaBoost框架中初始的弱分类器，将集成的多尺度内核K作为SVM的核函数，SVM训练的迭代次数为N_I。

在训练过程中，对于T_s中某个样本的特征，如果在迭代过程中被错误分类，通过更新得到的源域样本权重调整因子β_t，1≤t≤N_I，增大它的权重，使得其后续分类正确的概率变大；而对于T_d中的样本特征，如果在训练过程中被错误分类，通过辅助域样本权重调整因子β，减小对应样本的权重，以降低其对分类模型的负面影响，而正确分类的样本获得了更大的权重，作为有效的辅助样本帮助分类模型的训练。

训练过程的具体操作如下：

首先，初始化权重向量：

设置辅助域样本权重调整因子为

之后，进行分类器的迭代训练，在第t,1≤t≤N_I次迭代过程中：

第一，归一化样本的权重向量：

第二，通过当前的SVM分类器对训练样本特征集T中的所有样本特征进行分类，可以得到样本特征集的分类映射h_t:T→Y，Y为样本特征集经分类得到的标签集；

接着，计算h_t在T_s上的识别错误率：

其中，

表示训练样本x_i的真实标签。当ε_t≥0.5时，ε_t调整为0.499；当ε_t＝0时，ε_t调整为0.001。

最后，计算源域样本权重调整因子

更新训练样本的权重，对分类器进行迭代训练：

在完成上述的迭代训练后，可以得到所选SVM最终的分类器映射

第六步在测试识别模块中，对于一幅待识别红外图像，同样首先提取出其对应的上述两种异构特征并完成融合，记为feature。最后利用训练模块中训练好的分类器进行分类识别，得到最终的识别结果：

Claims (6)

1.一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，该方法包括以下步骤：

(1)采用红外图像构建训练样本集，可见光图像构建辅助训练样本集；

(2)对训练样本集和辅助训练样本集中的样本图像，经单演信号滤波后进行CLBP特征提取得到特征MSF-CLBP；

(3)对训练样本集和辅助训练样本集中的样本图像，提取出图像的局部HOG特征后进行Fisher Vector编码得到特征HOG-FV；

(4)将上述提取出的特征MSF-CLBP与HOG-FV进行串联融合；

(5)设计融合SVM多核分类器，并用TrAdaBoost迁移学习框架对融合所得到的样本特征完成分类器的训练；

(6)利用训练好的分类器对待识别的红外图像进行分类识别，得到识别结果；

步骤(2)中，对练样本集和辅助训练样本集中的样本图像，经单演信号滤波后进行CLBP特征提取得到特征MSF-CLBP，方法如下：

(2.1)单演信号滤波以原信号的Riesz变换为基础，对于训练样本集中的任意一幅样本图像f(z)，坐标为z＝(x,y)，对应的Riesz变换表示为：

其中，x，y表示的是像素点在x轴和y轴方向上的坐标；z＝(x,y)，z指的是像素点在二维坐标系中的坐标，包括x轴和y轴两个方向；

对于图像f(z)，经过单演信号滤波后的信号表示为：

f_M(z)＝(f(z),f_x(z),f_y(z))＝(f(z),R_x(z)*f(z),R_y(z)*f(z))

其中，*代表卷积运算，通过计算局部幅值A，局部相位φ以及局部方向θ来对图像进行解析，对应的计算公式如下：

(2.2)对上述经单演信号滤波后的图像进行CLBP特征提取，来获取图像的纹理特征MSF-CLBP，通过对图像中圆形子窗口中的像素值进行CLBP_S_P,R，CLBP_M_P,R以及CLBP_C_P,R三种算子的运算以获取像素间差值的符号信息和差量信息以及中心像素点的灰度信息，对应的计算方法如下：

其中，

P为所选图像子窗口中像素点的个数；R为所选圆形子窗口的半径；g_p为子窗口中像素点的灰度值，g_c为中心像素点的灰度值，g_n为图像中像素点的灰度值，N为子窗口的个数；

(2.3)将CLBP_S_P,R与CLBP_M_P,R进行串联，建立一个二维联合直方图，降为一维之后再与CLBP_C_P,R进行串联，处理之后所得的特征即为样本图像的MSF-CLBP特征；

(2.4)通过上述方法计算得到训练样本集与辅助训练样本集的MSF-CLBP特征集，分别表示为S_MC与D_MC。

2.根据权利要求1所述的一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，步骤(1)中，所述可见光图像的数目是红外图像数目的2-3倍。

3.根据权利要求1所述的一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，步骤(3)中，对练样本集和辅助训练样本集中的样本图像，提取出图像的局部HOG特征后进行Fisher Vector编码得到特征HOG-FV，方法如下：

(3.1)对于一幅样本图像I，在提取局部HOG特征时，首先利用梯度算子[-1，0，1]求取每个像素点的横向梯度和纵向梯度H(x,y)和V(x,y)，像素点的梯度幅值M(x,y)和方向O(x,y)通过下列公式计算：

O(x,y)＝tan^-1[V(x,y)/H(x,y)]

(3.2)将I分成若干单元，该单元包含了若干个像素点的正方形区域，正方形区域大小为2*2或4*4，将每个单元划分为9个梯度方向，得到一个9维的向量，把相邻的4个单元组成一个块，得到一个36维的HOG块向量，然后，通过L2归一化对所得块向量进行处理，并使用PCA方法将特征向量降至30维；

(3.3)对提取出的局部HOG特征向量进行Fisher Vector编码，设样本图像有T个待编码的局部HOG特征描述子，表示为X＝{x_t},t＝1,2...,T，其中x_t的维数为D维；λ＝{w_i,μ_i,∑_i},i＝1,2,...N为GMM的参数集，N为GMM中所选高斯核的个数，w_i，μ_i，∑_i分别代表了第i个高斯核的权重，均值向量和协方差矩阵，在GMM中，假设x_t,t＝1,2,...,T满足独立同分布，则定义：

其中，x_t相对于GMM的概率密度分布可以表示为：

P_i为x_t对应于GMM中第i个高斯核的概率分布函数，且x_t恰好由第i个高斯核生成的概率为：

通过对L(X|λ)求取偏导数，对应于均值μ和方差σ'的梯度向量分别为：

其中，μ_i指的是第i个高斯核对应的均值，σ'_i指的是第i个高斯核对应的方差；

(3.4)将上述所得的两组向量进行串联，即可得到样本图像的HOG-FV特征，通过上述方法得到训练样本集与辅助训练样本集的HOG-FV特征集，分别表示为S_HF与D_HF。

4.根据权利要求1所述的一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，步骤(4)中，将上述提取出特征MSF-CLBP与HOG-FV进行串联融合，方法如下：将前述训练样本集与辅助训练样本集提取出的MSF-CLBP与HOG-FV特征集进行串联融合，分别得到训练样本特征集与辅助训练样本特征集T_s＝[S_MC,S_HF]，T_d＝[D_MC,D_HF]。

5.根据权利要求4所述的一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，步骤(5)中，设计融合SVM多核分类器，并用TrAdaBoost迁移学习框架对融合所得到的样本特征完成分类器的训练，方法如下：

(5.1)上述已得训练样本特征集和辅助训练样本特征集为T_s和T_d，则训练样本特征集表示为T＝[T_s,T_d]，源训练样本和辅助训练样本数分别为m和n；

(5.2)选择高斯核径向基核函数作为基本核函数来集成多尺度内核与SVM结合实现多核分类，高斯核径向基函数可以定义为：

其中，σ表示高斯核的径向宽度，x_i,x_j∈T，表示的是T中第i与第j个样本特征，其中，i,j＝1,2,...,m+n，遍历所有样本特征，两两样本之间进行计算，并且i≠j；

在进行多核分类时，首先初始化σ的范围[σ_min,σ_max]，选择k个尺度的核函数，其对应的σ满足：σ_min≤σ₁＜σ₂＜...＜σ_k≤σ_max；

其次，计算

d为待分类特征的维数；

然后，计算σ_i与σ_m的距离：

d_mi＝|σ_m-σ_i|

通过距离d_mi的大小来确定和调整对应的系数α_i,i＝1,2,...,k，距离越小则对应的系数值越大：

再对α_i进行归一化，得到最终的系数：

最后，由确定的核函数以及对应的系数得到需要的多尺度内核K，计算方法如下：

其中，K_i表示第i个基本核函数；

(5.3)选取SVM作为TrAdaBoost框架中初始的弱分类器，将集成的多尺度内核K作为SVM的核函数，SVM训练的迭代次数为N_I；

训练过程的具体操作如下：

首先，初始化权重向量：

设置辅助域样本权重调整因子为

进行分类器的迭代训练，在第t,1≤t≤N_I次迭代过程中：

第一，归一化样本的权重向量：

第二，通过当前的SVM分类器对训练样本特征集T中的所有样本特征进行分类，得到样本特征集的分类映射h_t:T→Y，Y为样本特征集经分类得到的标签集；

接着，计算h_t在T_s上的识别错误率：

其中，

表示训练样本x_i的真实标签，当ε_t≥0.5时，ε_t调整为0.499；当ε_t＝0时，ε_t调整为0.001；

最后，计算源域样本权重调整因子

更新训练样本的权重，对分类器进行迭代训练：

在完成上述的迭代训练后，可以得到所选SVM最终的分类器映射

6.根据权利要求1所述的一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法，其特征在于，步骤(6)中，利用训练好的分类器对待识别的红外图像进行分类识别，得到识别结果，方法如下：对于一幅待识别红外图像，首先提取出其对应的上述两种MSF-CLBP与HOG-FV异构特征并完成融合，记为feature，利用训练好的分类器进行分类识别，得到最终的识别结果：

Images