CN103778441A - 一种基于DSmT和HMM的序列飞机目标识别方法 - Google Patents

Abstract

本发明公开了一种基于DSmT和HMM的序列飞机目标识别方法，首先，利用DSmT理论对飞机序列中的单幅图像进行多特征融合，以解决单一特征提供的信息不精确、不完全和不确定这一问题；然后，利用隐马尔可夫模型对飞机序列中的序列信息进行融合，利用序列融合来解决当飞机在姿态多变的情况下，在某一位置不同类别飞机的姿态比较相似，多特征融合提供的信息也不够准确这一问题。基于DSmT和HMM的飞机序列目标识别方法可以很好的利用多特征信息与序列信息来解决飞机目标识别中识别率低下这一问题。

Description

一种基于DSmT和HMM的序列飞机目标识别方法

技术领域

本发明涉及一种基于DSmT和HMM的序列飞机目标识别方法，通过提取目标的序列图像的多特征信息与序列信息，利用DSmT证据理论和隐马尔可夫模型对多特征信息与序列信息进行融合，从而得到最终的识别结果，属于自动目标识别技术。

背景技术

自动目标识别（Automation Target Recognition，ATR）作为精确制导和敌我身份识别等问题的重要手段，在现代战争中占据着重要的地位。飞机目标识别作为ATR的重要领域之一，其由于红外摄像机获得的飞机姿态千变万化，且会发生畸变与遮挡等情况的发生，使得识别难度大大增加。

早期的识别算法主要是基于单一特征的目标识别算法。由于单一特征在飞机姿态多变的情况下由于特征之间的区分度不够大而导致误识别的发生。当基于单一特征的目标识别算法遇到瓶颈时，基于多特征融合与基于序列融合的目标识别算法被相继提出。

在多特征融合方面，杨福平等人（杨福平,白振兴.BP神经网络和DS证据理论的目标识别[J].火力与指挥控制,2006,31(10):88-90.）提出了基于BP神经网络与DS（Dempster-Shafer）证据理论的多特征融合目标识别方法；李新德等人（李新德,杨伟东.一种飞机图像目标多特征信息融合识别方法[J].自动化学报,2012,38(8):1298-1307）提出了一种基于Hu矩等特征、PNN网络和DSmT的多特征融合目标识别方法。

在序列融合方面，黄金等人（黄金,梁彦,程咏梅,等.基于序列图像的自动目标识别算法[J].航空学报,2006,27(1):87-93.）提出了一种基于Hu矩、BP网络和DS理论的序列融合目标识别算法；侯俊等人（侯俊,苗壮,潘泉.基于DSmT的序列图像智能融合目标识别方法[J].计算机应用,2006,26(1):120-122.）提出了以Hu矩为特征，采用BP神经网络和DSmT推理的序列融合目标识别算法。

基于多特征融合的目标识别算法先提取图像的多个不同特征，然后利用模式分类器对特征进行分类，然后利用证据理论对各个分类结果进行信息融合，利用图像的多特征融合来完成的最终识别。基于序列融合的目标识别算法先提取图像的单一特征，然后利用模式分类器对单一特征进行分类，然后利用证据理论把前后帧的识别结果进行信息融合，利用序列信息融合来完成目标的最终识别。前者虽然在特征方面弥补了单一特征在识别方面的不足，但是飞机在飞行过程中姿态多变，在某一位置不同类的飞机可能非常相似，这会给识别结果带来较大的不确定性，导致识别错误。而后者由于单一特征在飞机姿态多变和发生畸变情况下，单一特征提供的信息是不精确、不完全和不确定这一问题依然没有得到解决，其识别率和鲁棒性仍需探讨。

发明内容

发明目的：为了克服在飞机在飞行过程中，姿态多变的情况识别率低下、鲁棒性不够好这些问题，本发明将证据理论中的DSmT理论（Dezert-Smaradache Theory）和隐马尔可夫夫模型（Hidden Markov Model，HMM）相结合，对待识别的飞机序列进行多特征融合与序列融合，解决现有方法中的识别率低、鲁棒性不够好的这些问题；通过运用DSmT理论和HMM，利用飞机的多特征融合与序列信息融合，可以大大提高飞机的识别率与鲁棒性。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于DSmT和HMM的序列飞机目标识别方法，对飞机飞行过程建模，同时利用飞机序列的多特征融合与序列融合，完成对飞机序列的目标识别，具体包括如下步骤：

（1）训练PNN网络：首先进行图像特征提取，即提取样本序列中单幅飞机的矩阵特征和轮廓特征，具体为Hu矩和轮廓局部奇异值；然后分别对Hu矩和轮廓局部奇异值建立Hu矩的PNN网络和轮廓局部奇异值的PNN网络，将Hu矩的PNN网络和轮廓局部奇异值的PNN网络统称为PNN网络；利用提取好的Hu矩和轮廓局部奇异值对PNN网络进行训练，得到训练好的PNN网络；

（2）获取目标识别率矩阵和统计样本序列的序列信息：使用训练好的PNN网络对样本序列中的飞机图像进行初识别，对初识别结果进行归一化并利用DSmT进行数据融合，根据融合结果得到目标识别率矩阵；对样本序列中的飞机进行人工标注并对序列信息进行统计得到一个状态转移矩阵；

（3）训练隐马尔可夫模型：首先结合目标识别率矩阵和状态转移矩阵，完成各类飞机的隐马尔可夫模型的建模与初始化；然后利用飞机序列结合训练好的PNN网络获得观察值序列，利用观察值序列对隐马尔可夫模型进行训练，得到训练好的隐马尔可夫模型；

（4）待识别飞机序列识别：使用训练好的PNN网络对待识别飞机序列进行初识别，得到初识别结果并对初识别结果进行归一化，将归一化的初识别结果与DSmT相结合得到观察值序列；然后使用隐马尔可夫模型中的前向算法，计算观察值序列与训练好的各类飞机的隐马尔可夫模型之间的相似度，选出相似度最大的值，其对应的飞机类别作为待识别飞机序列的识别结果；

其中飞机序列为样本序列中的一段，由当前帧与相邻的前几帧组成。

本发明利用DSmT理论对飞机序列中的单幅图像进行多特征融合，利用隐马尔可夫模型对飞机序列中的序列信息进行融合，利用飞机序列的多特征融合和序列融合相结合来完成飞机目标识别。其主要步骤是：首先，利用DSmT理论对飞机序列中的单幅图像进行多特征融合，以解决单一特征提供的信息不精确、不完全和不确定这一问题；然后，利用隐马尔可夫模型对飞机序列中的序列信息进行融合，利用序列融合来解决当飞机在姿态多变的情况下，在某一位置不同类别飞机的姿态比较相似，多特征融合提供的信息也不够准确这一问题。基于DSmT和HMM的飞机序列目标识别方法可以很好的利用多特征信息与序列信息来解决飞机目标识别中识别率低下这一问题。

具体的，所述步骤（3）中，使用Baum-Welch算法对隐马尔可夫模型进行参数估计，即对隐马尔可夫模型进行训练。

优选的，所述步骤（3）中，对每一飞机类别的隐马尔可夫模型的建模包括飞机模型的状态建模和飞机模型的观察值建模；

在进行飞机模型的状态建模时，要保证不同状态之间的区分度，本发明引入工程制图中广泛应用的三个视图来构建飞机状态，即使用飞机的俯视图、侧视图和主视图来构建飞机模型的三个状态；

在进行飞机模型的观察值建模时，利用飞机模型的状态值来构建飞机模型的观察值集合，即将每一个飞机模型的一个状态作为飞机模型的观察值集合中的一个元素；

即记有c个飞机类别：每个飞机类别有3个飞机模型的状态值，分别对应飞机的俯视图、侧视图和主视图；每个飞机类别有1个飞机模型的观察值集合，飞机模型的观察值集合包含三个观察值，分别对应飞机模型的三个状态值；c个飞机类别即有c个隐马尔可夫模型，共有3×c个观察值。

本发明针对飞机序列中单幅图像的多特征融合过程进行建模，考虑到飞机目标识别这一应用领域，对DSmT理论中DSmT模型进行相应简化，采用完全排他性的与约束条件下的DSmT模型，即仅单子焦元具有赋值。信息融合时，首先利用PNN网络构建各个焦元的信度赋值，然后利用DSmT理论中的PCR5规则对各焦元信度赋值进行数据融合。

有益效果：本发明提供的基于DSmT和HMM的序列飞机目标识别方法，能够解决飞机目标识别在飞机姿态多变的情况下由于信息的不精确性、不完全性和不确定性引起的正确识别率低下的问题，且满足飞机目标识别对于实时性的要求。

附图说明

图1为轮廓奇异值分布图；

图2为轮廓局部奇异值分布；

图3本发明方法的框架图；

图4为DSmT规则在μ^f(Θ)的描述；

图5为隐马尔可夫模型（HMM）；

图6为飞机状态，其中6(a)为俯视图，6(b)为侧视图，6(c)为主视图；

图7本发明方法的流程图；

图8为7类别飞机的观察值，每行为一个类别飞机，左列为飞机的俯视图，中列为飞机的侧视图，右列为负极的主视图；

图9为正确识别率；

图10为尺寸缩放时的正确识别率；

图11为本发明与多特征融合算法的正确识别率对比；

图12为本发明与序列融合算法的正确识别率对比；

图13为飞机的部分遮挡。

具体实施方式

下面结合附图对本发明作更进一步的说明。

一种基于DSmT和HMM的序列飞机目标识别方法，利用序列飞机中单幅图像多特征融合信息和以及序列多图像融合信息相结合，完成目标识别：首先，提取飞机序列中单幅图像的Hu特征与轮廓局部奇异值特征作为证据源；然后，利用神经网络中的PNN网络根据不同特征分别进行飞机目标分类，并对分类结果进行归一化作为证据源的信度赋值；接着，利用DSmT证据理论中的PCR5公式对证据源进行融合并获得观察值序列；最后，计算观察值序列与不同类别飞机的隐马尔可夫模型之间的相似度，取相似度最大的所对应的类别为最终的识别结果。下面对本发明加以具体说明。

1图像特征提取

飞机在飞行过程中姿态多变，这就要求图像特征量在飞机目标发生平移、旋转和比例缩放时，特征值保持不变。在飞机特征方面，广泛应用的特征主要分为两类：矩特征和轮廓特征；在矩特征方面，本发明使用在图像目标识别中得到广泛应用的Hu矩；在轮廓特征方面，本发明在原有的轮廓奇异值提取基础上，提出了轮廓局部奇异值。

1.1Hu矩

对于二值化的图像，(p+q)阶的原点矩m_pq和(p+q)阶中心矩μ_pq的定义分别为：

$m_{\mathrm{pq}}=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{m}^p{n}^{q}f(m,n)---\left(1\right)$

${\mathrm{\μ}}_{\mathrm{pq}}=\underset{m=1}{\overset{M}{\mathrm{\Σ}}}\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{(m-\stackrel{\‾}{x})}^p{(n-\stackrel{\‾}{y})}^{q}f(m,n)---\left(2\right)$

其中，f(m,n)为图像中点(m,n)处的像素；M和N为图像的尺寸；

为图像f(x,y)的重心坐标。归一化中心矩η_pq的定义为：

${\mathrm{\η}}_{\mathrm{pq}}=\frac{{\mathrm{\μ}}_{\mathrm{pq}}}{{\mathrm{\μ}}_{\mathrm{0,0}}^r},r=\frac{p+q}{2},p+q=\mathrm{2,3},...---\left(3\right)$

MK Hu在文献“Visual pattern recognition by moment invariants”（Hu M K.Visualpattern recognition by moment invariants[J].Information Theory,IRE Transactionson,1962,8(2):179-187.）中利用上述中心距与原点矩构建了7个不变矩，其构建公式如下所示：

Φ₁=η₂₀+η₀₂

${\mathrm{\Φ}}_2={({\mathrm{\η}}_{20}-{\mathrm{\η}}_{02})}^2+{4\mathrm{\η}}_{11}^2$

Φ₃=(η₃₀-3η₁₂)²+(3η₂₁-η₀₃)²

Φ₄=(η₃₀+η₁₂)²+(η₂₁+η₀₃)²

Φ₅=(η₃₀-3η₂₁)(η₃₀-η₂₁)[(η₃₀+η₁₂)²

-3(η₂₁+η₀₃)²]+                       （4）

(3η₂₁-η₀₃)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]

Φ₆=(η₂₀-η₀₂)[(η₃₀+η₁₂)²-(η₂₁+η₀₃)²]+

η₁₁(η₃₀+η₁₂)(η₀₃+η₂₁)

Φ₇=(3η₂₁-η₀₃)(η₃₀+η₁₂)[(η₃₀+η₁₂)²-

3(η₀₃+η₂₁)²]+

(3η₁₂-η₃₀)(η₂₁+η₀₃)[3(η₃₀+η₁₂)²-(η₀₃+η₂₁)²]

1.2轮廓局部奇异值分解

首先，给出矩阵理论中奇异值的定义。

定义：对任意一个矩阵A_m×n，存在正交矩阵U及V使得：

$U^H\mathrm{AV}=\left(\begin{array}{cc}S& 0\\ 0& 0\end{array}\right)---\left(5\right)$

其中，S=diag{σ₁,σ₂,…,σ_r}，且σ₁≥σ₂≥…≥σ_r>0，其中σ_i,i=1,2,…,r为矩阵A的奇异值，是A^HA或AA^H的特征值λ_i的算术根，即

根据文献“一种奇异值与PNN结合的飞机目标识别方法”（潘锦东,李新德.一种奇异值与PNN结合的飞机目标识别方法[J].航空兵器,2013(1):45-50.）对轮廓起始点进行配准与并获得轮廓离散点，并进行轮廓奇异值提取，但是原有方法的奇异值只有前几个值比较显著，后面迅速下降至零。本发明在原有的基础上提出轮廓局部奇异值提取，其思路是对轮廓起始点进行配准并获得n个轮廓离散点后，计算这n个轮廓离散点与质心的距离并进行归一化，获得向量[d₁,d₂,…,d_n]，然后利用一个长度为w对向量进行采样，采样窗口之间的重叠部分为m，然后获得l个轮廓离散点序列，计算公式如下：

$l=\frac{n-w}{w-m}+1---\left(6\right)$

然后对各个轮廓离散点序列构造循环矩阵并提取相应矩阵的奇异值分解，再把这些奇异值向量按照采样顺序组合到一起，获得最终的轮廓局部奇异值特征向量。对多个目标进行轮廓奇异值提取，原有方法的轮廓奇异值与本发明中的轮廓奇异值如图1和图2所示。

通过图1与图2对比，可以看出，本发明中的轮廓局部奇异值向量包含着更多的有效特征数，对图像轮廓有着更好的描述。

2基于多特征融合与序列融合算法的识别框架

一种基于DSmT和HMM的序列飞机目标识别方法的识别框架主要是利用DSmT推理来进行多特征融合，然后利用HMM模型对飞机序列的序列信息进行处理，从而完成目标识别。识别框架图如图3所示。现在介绍下本算法框架中的几个重要的理论基础。2.1DSmT组合规则

在DSmT中，令Θ={θ₁,θ₂,...,θ_n}是一个包含n个完备命题的有限集合（也称为鉴别框架）。Dedekind格子模型，在DSmT框架下也称为超幂集D^Θ，它的定义为由Θ中命题，以及通过∪和∩的运算组成的所有复合命题的集合。针对飞机目标识别这一具体问题，本文采用了相应的简化，在超幂集D^Θ的基础上，增加命题间的排斥性约束条件，采用完全排他性的约束条件下的DSmT模型，仅单子焦元具有信度赋值，即仅θ₁,θ₂,...,θ_n具有信度赋值。其具体模型如表1所示：

表1本发明中的DSmT模型

在表1中，每一个证据源代表一种特征量，m_i表示在特征i下获得的基本信度赋值（Basic Belief Assignment，BBA），焦元θ_i,i=1,...,n表示不同分类，m_i(θ_j)表示在i特征量下第j个焦元的基本信度赋值。

J.Dezert和F.Smarandache在文献“Advances and applications of DSmT forinformation fusion(Collected works)”(Smarandache F,Dezert J.Advances and applications ofDSmT for information fusion(Collected works).USA:American ResearchPress,2004/2006/2009.Vol.1-3.)中提出了再DSmT模型下解决融合问题时的经典的两源的经典DSmT组合规则。对于具有相同鉴别框架的两个证据源，其信度函数为Bel₁(·)与Bel₂(·)与他们的广义信度赋值为m₁(·)与m₂(·)是密切相关的，具体形式如下所示：

$\begin{array}{c}\∀C\∈D^{\mathrm{\Θ}}\\ m_{{\mathrm{\μ}}^f\left(\mathrm{\Θ}\right)}\left(C\right)\≡m\left(C\right)\\ =\underset{\underset{A\∩B=C}{A,B\∈D^{\mathrm{\Θ}}}}{\mathrm{\Σ}}{m}_1\left(A\right)m_2\left(B\right)\end{array},,---\left(7\right)$

由于D^Θ在∪和∩的运算下是封闭的，所以公式中的组合规则能够保证m(·)是一个合适的广义信度赋值，即m(·):D^Θ→[0,1]。此规则满足交换律和结合律，常用于处理包含模糊概念证据源的融合问题。对于本文中的待识别的飞机目标，其融合规则如图4所示。

PCR5规则由DSmT组合规则发展而来，根据部分冲突质量中所卷入的非空元素所占的比例，把部分冲突质量分配到这些元素上。其两源组合规则如下所示：

其中，公式（7）和（8）中所有的形式都是规范形式，m₁₂(X)≡m_∩(X)对应于两证据源合取一致的结果，且所有分母都是非零的；倘若分母为零，则放弃对应项。

2.2神经概率网络（Probabilistic neural networks，PNN）

2.2.1PNN网络的原理基础

PNN是由是由Specht D F于1988年在文献“Probabilistic neural networks”（Specht DF.Probabilistic neural networks[J].Neural networks,1990,3(1):109-118.）提出的一种神经网络模型，其是基于密度函数估计和贝叶斯决策理论而建立的一种分类网络，一般包括三层：输入层、隐含层和输出层。PNN的拓扑结构简单，算法容易设计。作为径向基函数神经网络的一种重要变形，其与BP网络相比，PNN网络主要具有以下几个优点：

（1）网络学习过程简单，收敛速度快；其根据样本特征以及期望输出直接获得隐藏单元的连接权值，无需反复训练网络。

（2）容错性好，模式分类能力强；其隐藏层采用了径向基的非线性映射函数，考虑了不同类别样本之间相互交叉产生的影响，最后获得的不同类别之间的判决分界面是满足贝叶斯最优解的。

（3）网络扩充性能好；由于学习过程简单，增加和减少新的类别模式样本而无需长时间的训练学习。

2.2.2本发明中的PNN网络的构建

若样本库一共有c类飞机，每类飞机有k个训练样本，需要分成y类，由于本发明中PNN的用途是获得观察值序列，所以y的大小是与观察值集合中的元素数目是相等的，由HMM的建模过程可以知道，观察值集合元素的数目为3×c个，即y=3×c。

输入层神经元的数目与特征向量维数相对应的，即分别等于Hu矩特征向量维数和轮廓局部奇异值特征向量的维数。

隐含层神经元的数目与训练样本个数相同，根据上面假设，可知隐含层神经元数目为c×k个。

输出层神经元的数目与观察值的数目相等，输出层的神经元数目为y=3×c个。

在基本信度赋值的构造方面，由于DSmT理论要求证据源的基本信度赋值满足归一化要求。而概率神经网络的输出并不满足要求，因此在使用DSmT组合规则对证据源进行融合之前需要对神经网络的输出进行归一化处理，即：

$m_{\mathrm{ij}}^{\′}=\frac{m_{\mathrm{ij}}}{\underset{j=1}{\overset{y}{\mathrm{\Σ}}}{m}_{\mathrm{ij}}},i=\mathrm{1,2}---\left(9\right)$

其中，i为证据源，j表示证据源中的焦元。mi_j表示为归一化前的第i个证据源中第j个焦元的信度赋值。m'_ij表示归一化后的信度赋值。将经过式（9）修正过的神经网络输出作为各证据源的基本信度赋值，然后利用DSmT推理中的PCR5组合规则对其进行信息融合。

2.3隐马尔可夫模型（Hidden Markov Model，HMM）

本发明针对飞机在飞行过程中姿态多变，利用单幅图像无法满足飞机目标识别要求。本发明利用在语音识别、自然语言和人脸识别中得到广泛应用的隐马尔可夫模型对序列信息进行融合，提高目标识别算法的识别率。现介绍其原理、序列飞机的建模及其训练时的初始化问题。

2.3.1隐马尔可夫模型原理

隐马尔可夫模型由马尔可夫链发展而来，其是一个双重随机过程，一个是潜在的、看不见的随机过程，即马尔可夫链。另外一个随机过程是可观察的观察值序列，其实隐藏的内部状态转换过程的随机函数，描述了状态与观察值之间的关系。其拓扑结构如图5所示。

下面介绍一下隐马尔可夫模型的参数描述：

●N：模型中的马尔可夫链状态的数目。记N个状态为S={s₁,s₂,…,s_N}，记t时刻马尔可夫链所处的状态为q_t,1≤t≤T，T为观察序列的长度，则q_t∈S。

●Π：初始状态概率分布，Π={π₁,π₂,…,π_N}，其中：

π_i=P(q₁=s_i),1≤i≤N              （10）

π_i表示初始状态q₁为s_i状态的概率。

●M：每个状态对应的可能的观察值个数。记离散观察值集合为V={v₁,v₂,…,v_M}，t时刻的观察到的观察值为o_t，则o_t∈V；由观察值组成的观察值序列记为O={o₁,o₂,…,o_T}。

●A状态转移概率矩阵，A={ai_j}_N×N,1≤i,j≤N，其中：

a_ij=P(q_t+1=s_j|q_t=s_i)              （11）

a_ij表示由状态s_i转移到状态s_j的概率。

●B：观察值概率矩阵（又称为符号发射概率矩阵），B={b_jk},1≤j≤N,1≤k≤M，其中：

b_jk=P(o_t=v_k|q_t=s_j)                （12）

b_jk表示t时刻s_j状态下观测到观察值v_k的概率。

一般把隐马尔可夫夫模型简记为：

λ=(A,B,Π)              （13）2.3.2序列飞机的隐马尔可夫模型建模

对飞机建模是本发明的重点与难点，正确的建模是飞机识别的一个重要前提。在本发明中，对序列飞机目标进行识别的时候，首先组成飞机序列，其是由当前帧与前几个连续帧组成。在2.3.1节中提到，HMM的主要构成部分是其状态值与观察值，下面将介绍在本发明中的飞机模型的建模思路：

（a）飞机模型的状态建模：构建状态时，要保证不同状态之间的区分度，本发明主要引入工程制图中广泛应用的三视图来构建飞机状态，即利用俯视图、侧视图和主视图来构建飞机HMM模型的三个状态。

（b）飞机模型的观察值的建模：利用所有飞机模型的状态值来构建飞机模型的观察值集合，即把每一类飞机的状态值当做飞机模型观察值集合中的一个元素。当有c类飞机时，那么就有c个HMM模型，也就意味着将有3×c个观察值。

2.3.2序列飞机的隐马尔可夫模型初始化

在对HMM模型λ=(A,B,Π)进行训练的时候，即HMM的参数估计过程，主要过程是给定一个观察序列，调节模型中的参数，使得P(O|λ)最大化。其使用的算法称作Baum-Welch算法，是一种期望最大化（Expectation maximization，EM）算法，即迭代爬山算法，用于含有隐变量的统计模型的参数最大似然估计。使用这种算法训练的模型可以局部地使P(O|λ)最大化。可见，在对HMM模型进行训练之前，如果可以提供足够的先验信息，一方面会提高收敛速度，另一方面，会使通过训练获得的隐马尔可夫模型更加准确。

而对隐马尔可夫模型参数进行初始化也就是对其模型中三个矩阵，即状态转移概率矩阵A、观察值概率矩阵B和初始状态概率分布Π的初始化。

对状态转移概率矩阵A进行初始化中，首先，对样本中的序列飞机进行状态标注，即标出每一帧的飞机处于什么状态；其次，统计整个序列中状态转移的次数，并进行归一化来初始化状态转移概率矩阵。若一个序列长度为T，其统计公式如下：

$a_{\mathrm{ij}}=\frac{\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}\mathrm{\δ}(q_t,s_i)\×\mathrm{\δ}(q_{t+1},s_i)}{\underset{t=1}{\overset{T-1}{\mathrm{\Σ}}}\mathrm{\δ}(q_t,s_i)}---\left(14\right)$

其中，δ(x,y)为克罗奈克（Kronecker）函数。当x=y时，δ(x,y)=1；否则，δ(x,y)=0。

对观察值概率矩阵B的初始化则利用PNN网络与DSmT证据理论相结合，构造目标识别率矩阵，然后利用目标识别率矩阵完成对观察值概率矩阵的初始化。

首先引用文献“一种飞机图像目标多特征信息融合识别方法”(李新德,杨伟东.一种飞机图像目标多特征信息融合识别方法[J].自动化学报,2012,38(8):1298-1307)对目标识别率矩阵的定义。

定义：目标识别率矩阵M的具体形式为：

其中，m_jk表示在PNN网络初识别中第j类判定为第k类的可能性。而且只有当j=k时，m_jk才表示正确识别率。

可见目标识别率矩阵中的m_jk的意义也可表达为在第j个状态下观察到第k个观察值的可能性。也就是说，可以通过目标识别率矩阵去很好的完成符号发射概率矩阵的初始化任务。

接下来，利用PNN网络来建立目标特征量与符号发射概率矩阵之间的关系：首先，对样本库中的所有类别的飞机根据姿态进行标注，也就是人工给所有类别的飞机图像进行分类，假设有c类飞机，那么就要把所有特征向量分为3×c类；其次，提取训练样本库中所有类别飞机的Hu矩与轮廓局部奇异值，对PNN网络进行学习训练；最后，利用训练好的PNN网络对原训练样本进行初识别，对初识别结果进行归一化，并利用DSmT理论对结果进行信息融合，完成识别过程。统计每类飞机中各个状态的识别情况，根据上述定义建立目标识别率矩阵M。

通过上述方式，可以获得一个3c×3c目标识别率矩阵M：其中的m_jk表示在某类飞机某一状态下观测到另外某类飞机某一状态的概率，其具体意义在人工标注构成中确定。

然后，在对不同的隐马尔可夫模型的符号发射概率矩阵B进行初始化时，只需根据人工标注中的索引，找到目标识别率矩阵M中的对应3行并提取出来，对提取获得的3行矩阵进行归一化,其归一化后获得矩阵要保证：

$\left\{\begin{array}{c}{b}_{\mathrm{jk}}\≥0\\ \underset{k=1}{\overset{M}{\mathrm{\Σ}}}{b}_{\mathrm{jk}}=1\end{array}\right.---\left(16\right)$

利用归一化后的矩阵完成对应模型的符号发射概率矩阵B的初始化。

对初始状态概率分布Π的初始化，认为3个的状态出现是以相同概率出现的。所以，我们直接取一个1×3的向量，并令其中的所有值为13，完成初始状态概率分布Π的初始化。

3算法流程图

一种基于DSmT与HMM的序列飞机目标识别方法的算法流程图如图7所示。其具体步骤如下所示：

（1）训练PNN网络：首先进行图像特征提取，即提取样本序列中单幅飞机的矩阵特征和轮廓特征，具体为Hu矩和轮廓局部奇异值；然后分别对Hu矩和轮廓局部奇异值建立Hu矩的PNN网络和轮廓局部奇异值的PNN网络，将Hu矩的PNN网络和轮廓局部奇异值的PNN网络统称为PNN网络；利用提取好的Hu矩和轮廓局部奇异值对PNN网络进行训练，得到训练好的PNN网络；

（2）获取目标识别率矩阵和统计样本序列的序列信息：使用训练好的PNN网络对样本序列中的飞机图像进行初识别，对初识别结果进行归一化并利用DSmT进行数据融合，根据融合结果得到目标识别率矩阵；对样本序列中的飞机进行人工标注并对序列信息进行统计得到一个状态转移矩阵；

（3）训练隐马尔可夫模型：首先结合目标识别率矩阵和状态转移矩阵，完成c类飞机的隐马尔可夫模型的建模与初始化；然后利用飞机序列结合训练好的PNN网络获得观察值序列，利用观察值序列、利用Baum-Welch算法对隐马尔可夫模型进行训练，得到训练好的隐马尔可夫模型；

（4）待识别飞机序列识别：使用训练好的PNN网络对待识别飞机序列进行初识别，得到初识别结果并对初识别结果进行归一化，将归一化的初识别结果与DSmT相结合得到观察值序列；然后使用隐马尔可夫模型中的前向算法，计算观察值序列与训练好的各类飞机的隐马尔可夫模型之间的相似度P(O|λ_i),i=1,…,c，选出相似度最大的值，其对应的飞机类别作为待识别飞机序列的识别结果。

4实验结果

仿真实验是在Visual Studio2008环境下进行的，样本库采用7类飞机，一类序列飞机包含150帧飞机图像。限于篇幅，这里给出7类飞机的观察值，如图8所示。实验中的PNN的网络的各层神经元数目设置按照本发明的2.2.2节设置。在PNN网络的参数设置方面，2个PNN网络的径向基函数设置为高斯函数，输入层到隐含层的加权函数设置为欧氏距离加权函数，输出函数设置为线性函数，径向基神经元的散布常数（即值发散的常数）设置为0.1。

4.1实验1——正确识别率与实时性

在本实验中，测试样本选取一个与训练样本不同的，飞机在飞行过程中姿态多变的7个序列飞机作为测试样本。每类测试样本的图片数从400～500帧左右。先用训练样本库对模型进行训练，然后用测试样本进行实验，其正确识别率如图9所示。

从图5可以发现，本发明在飞机姿态多变的情况下正确率达到93.5%以上。且根据仿真实验，每幅图像识别所用的时间在5ms～6ms左右，完全满足飞机识别中的实时性要求。

4.2实验2——尺寸缩放实验

本实验中，考察随着目标缩小时，本方法是否能正确有效的对目标进行识别，即考察本方法在目标缩小时的鲁棒性。样本库与实验1相同，测试库是在3.1节中测试库的基础上，做一定的比例缩放，分别缩小至原来1/2，1/4，1/8。考察此时目标的正确识别率。其实验结果如图10所示。

由图10可以看出，当目标发生缩放时，正确率都在一定的幅度内发生小范围浮动，即使目标缩小到原来的1/8，也可以保证90%左右的正确识别率。可见在目标发生缩小时，本方法也可以保证很好的鲁棒性。

4.3实验3——目标改变实验

当飞机在飞行中，其所需要识别的目标会因为时间的推移而发生改变，本发明提出的方法是基于特征信息与序列信息进行目标识别，所以要验证当所需识别目标发生改变时，其是否因为过于依赖于序列信息而导致大范围的识别错误。本实验的训练样本与实验1相同，测试对象为一个序列中包含了两类飞机，统计本测试样本的正确识别率，并和这两类飞机单独进行识别时的正确识别率做对比，观察其识别率的变化。测试序列共857帧图片，类别1共475帧图片，类别2共382帧图片。识别率如表2所示。

表2目标发生改变时的正确识别率

飞机

单独类别1

单独类别2

混合类

识别率

96.3%

98.5%

97.3%

根据样本的帧数不同，对表2中的单独类别1和单独类别2的正确识别率做加权平均后，其加权平均识别率为97.5%。与两类飞机组成一个测试样本时的识别率基本相等，也就证明了本发明在目标发生改变时，不会因为序列信息的影响而导致大范围的识别错误，对目标发生改变的情况有很好的鲁棒性。

4.4实验4——与多特征融合算法的对比试验

在本实验中，训练样本与测试样本与实验1相同，将本发明的方法与基于Hu矩、NMI、仿射不变矩、轮廓离散化参数和奇异值分解这五个特征、PNN网络和DSmT的多特征融合算法（记做MF1）和基于上述五个特征、BP网络和DS证据理论的多特征融合算法（记做MF2）做对比实验。MF1中PNN网络设置与实验1相同。MF2中的BP网络采用3层机构，隐含层和输出层的传递函数取S型正切函数，网络训练取1000次，训练函数选择为Levenberg-Marquardt函数，学习函数为梯度下降动量学习函数，学习率取0.05，隐含层节点数由公式

决定，其中t表示输入层的节点数，s表示输出层的节点数。实验的正确识别率的对比结果如图11所示。

根据图11可以看出，本发明在飞机姿态多变的情况下，可以更好的完成对飞机目标的识别，其在正确识别率和鲁棒性方面都有着很大的优势。

4.5实验5——与序列融合算法的对比实验

在本实验中，训练样本与测试样本与实验1相同，将本发明与基于Hu矩、BP网络和DST的序列融合算法（记作SF1）和基于Hu矩、PNN网络和DSmT的序列融合算法（记作SF2）做对比实验，BP网络的参数设置与实验3中的BP网络设置相同。实验的正确识别率对比结果如图12所示。

通过图12可以发现，在姿态多变的情况下，单一特征序列融合方法由于单一特征提供的信息不精确、不确定和不完全这一原因，使得算法识别率低下且会发生较大的波动。而本发明与单一特征序列融合方法有着显著的优势，识别率和鲁棒性都有着较为明显的提高。

4.6实验6——图像遮挡实验

本实验主要探讨当飞机发生遮挡时，本发明在这种情况下的识别情况。实验样本为随机抽取的飞机序列中的一部分，共56帧图片，对其中的14帧图像做连续帧的遮挡，遮挡情况如图13所示。

图13中的图像都发生了比较剧烈的遮挡，然后利用本文方法对测试样本进行识别。最终，本文方法正确识别出飞机序列中的56帧，可见，本发明也可以很好的解决图像部分遮挡的问题，有较好的鲁棒性。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于DSmT和HMM的序列飞机目标识别方法，其特征在于：对飞机飞行过程建模，同时利用飞机序列的多特征融合与序列融合，完成对飞机序列的目标识别，具体包括如下步骤：

（1）训练PNN网络：首先进行图像特征提取，即提取样本序列中单幅飞机的矩阵特征和轮廓特征，具体为Hu矩和轮廓局部奇异值；然后分别对Hu矩和轮廓局部奇异值建立Hu矩的PNN网络和轮廓局部奇异值的PNN网络，将Hu矩的PNN网络和轮廓局部奇异值的PNN网络统称为PNN网络；利用提取好的Hu矩和轮廓局部奇异值对PNN网络进行训练，得到训练好的PNN网络；

（2）获取目标识别率矩阵和统计样本序列的序列信息：使用训练好的PNN网络对样本序列中的飞机图像进行初识别，对初识别结果进行归一化并利用DSmT进行数据融合，根据融合结果得到目标识别率矩阵；对样本序列中的飞机进行人工标注并对序列信息进行统计得到一个状态转移矩阵；

（3）训练隐马尔可夫模型：首先结合目标识别率矩阵和状态转移矩阵，完成各类飞机的隐马尔可夫模型的建模与初始化；然后利用飞机序列结合训练好的PNN网络获得观察值序列，利用观察值序列对隐马尔可夫模型进行训练，得到训练好的隐马尔可夫模型；

（4）待识别飞机序列识别：使用训练好的PNN网络对待识别飞机序列进行初识别，得到初识别结果并对初识别结果进行归一化，将归一化的初识别结果与DSmT相结合得到观察值序列；然后使用隐马尔可夫模型中的前向算法，计算观察值序列与训练好的各类飞机的隐马尔可夫模型之间的相似度，选出相似度最大的值，其对应的飞机类别作为待识别飞机序列的识别结果；

其中飞机序列为样本序列中的一段，由当前帧与相邻的前几帧组成。

2.根据权利要求1所述的基于DSmT和HMM的序列飞机目标识别方法，其特征在于：所述步骤（3）中，使用Baum-Welch算法对隐马尔可夫模型进行参数估计，即对隐马尔可夫模型进行训练。

3.根据权利要求1所述的基于DSmT和HMM的序列飞机目标识别方法，其特征在于：所述步骤（3）中，对每一飞机类别的隐马尔可夫模型的建模包括飞机模型的状态建模和飞机模型的观察值建模；

在进行飞机模型的状态建模时，要保证不同状态之间的区分度，具体使用飞机的俯视图、侧视图和主视图来构建飞机模型的三个状态；

在进行飞机模型的观察值建模时，利用飞机模型的状态值来构建飞机模型的观察值集合，即将每一个飞机模型的一个状态作为飞机模型的观察值集合中的一个元素；

即记有c个飞机类别：每个飞机类别有3个飞机模型的状态值，分别对应飞机的俯视图、侧视图和主视图；每个飞机类别有1个飞机模型的观察值集合，飞机模型的观察值集合包含三个观察值，分别对应飞机模型的三个状态值；c个飞机类别即有c个隐马尔可夫模型，共有3×c个观察值。

Images