CN103679746A

CN103679746A - 一种基于多信息融合的目标跟踪方法

Info

Publication number: CN103679746A
Application number: CN201210359954.2A
Authority: CN
Inventors: 李香祯; 柴智; 杨文佳; 王楠; 谢晓丹; 石春雷
Original assignee: No207 Institute Of No2 Research Institute Of Avic
Current assignee: No207 Institute Of No2 Research Institute Of Avic
Priority date: 2012-09-24
Filing date: 2012-09-24
Publication date: 2014-03-26
Anticipated expiration: 2032-09-24
Also published as: CN103679746B

Abstract

本发明属于光电产品在飞行过程中目标跟踪的应用技术领域，具体涉及一种基于多信息融合的抗飞鸟干扰的目标跟踪方法。根据特征度量准则,采用一种从主到次的特征序贯融合方法,将特征赋以不同的先验概率并用于融合识别进行动态识别，目标图像依次提取LBP特征、位置特征、累积能量特征，当置信度达到门限时，或所有特征融合识别后的置信度仍小于门限时,识别过程结束；具体包括以下步骤：①形态学滤波；②计算LBP（局部二值模式）特征；③根据LBP特征判断目标；④计算位置特征；⑤综合LBP特征和位置特征判断目标；⑥计算累积能量特征；⑦综合步骤⑤中的特征和累积能量特征判断目标。本发明保证了在飞机降落过程中，即使飞鸟等干扰很多也能稳定跟踪目标。

Description

一种基于多信息融合的目标跟踪方法

技术领域

本发明属于光电产品在飞行过程中目标跟踪的应用技术领域，具体涉及一种基于多信息融合的目标跟踪方法。

背景技术

目标识别是计算机视觉领域的核心问题之一，而飞机或航模目标的识别又是它在军事领域和民用领域里一项重要应用。红外跟踪系统由于具有被动探测、能夜间工作等优点,被广泛的应用在以军事、安保为主的多种领域。在系统设计时,除了要求高质量的光机系统、高性能的探测器组件外,目标跟踪是非常关键的部分。对于低空中的飞机或航模，由于地物背景的复杂性，红外跟踪系统获取的背景成分复杂，有太阳闪光、地面、地形和建筑物、飞鸟等的干扰，使目标的识别跟踪难度加大，采用基于仿射不变量的目标自动识别的技术,结合角点检测、仿射不变量、帧间分析、综合决策等先进技术,可以很好的将目标从复杂的环境中识别出来。

因此，亟需一种新型的目标跟踪方法，通过依据目标的LBP特征、位置特征、累积能量特征，采用序贯特征融合方法，对飞鸟干扰进行判断，从而保证光电跟踪系统在飞机降落过程中，即使飞鸟等干扰很多也能稳定跟踪目标。

发明内容

本发明要解决的技术问题是提供一种基于多信息融合的目标跟踪方法，实现红外跟踪系统的稳定跟踪，从而应用于低空立体防控系统中对机场控制区进行远程、大范围、立体式监控的视频系统。

为了实现这一目的，本发明采取的技术方案是：一种基于多信息融合的目标跟踪方法，根据特征度量准则,采用一种从主到次的特征序贯融合方法,将特征赋以不同的先验概率并用于融合识别进行动态识别，目标图像依次提取LBP特征、位置特征、累积能量特征，当置信度达到门限时，或所有特征融合识别后的置信度仍小于门限时,识别过程结束；具体包括以下步骤：

①形态学滤波：

使用方形结构元素Top-Hat变换，保留红外目标的图像细节，抑制复杂背景；

用I_th表示经过Top-Hat变换滤波后的图像；

②计算LBP（局部二值模式）特征：

用(P,R)描述像素的局部区域：其中,R为中心像素与其相邻像素的距离,反映纹理在空间上的分辨率；P为邻域像素的数目；通过不同的P和R值确定目标在多尺度下的纹理描述；

LBP特征通过将图像中每个像素与其邻域像素灰度值的大小相比较，并将结果表示为二进制模式来描述图像的纹理，具体计算公式如下：

{LBP}_{P, R} (y_{c}) = Σ_{P = 0}^{P - 1} s (g_{c} - g_{p}) \cdot 2^{p}

式（1）

s (x) = \{\begin{matrix} 1, & x &GreaterEqual; th \\ 0, & x < th \end{matrix}

其中,g_c表示中心点y_c的灰度值；g_p表示以y_c为中心、半径为R的圆环上第p个等分点的灰度值,对于不在图像像素点上的等分点通过插值获得；th是为减少噪声和局部灰度变化影响设置的阈值；通过式(1)确定p位二进制代码表示像素对应的LBP特征；

步骤①中提取出经过Top-Hat变换滤波后的图像I_th作为目标，求取其LBP特征，取R=4,P=8，th=1，计算LBP_8,4(y_c)；

③根据LBP特征判断目标：

提取LBP特征求取其置信度c_L，c_L=1-|LBP_8,4(y_c)-LBP_模板|/LBP_模板，其中LBP_模板为上一帧图像中求得的目标的LBP特征；

如果置信度c_L大于门限，则判断目标为飞机目标；

如果置信度c_L不大于门限，则判断目标不为飞机目标，进行步骤④；

④计算位置特征：

对提取出的目标I_th，根据分割出的全体目标象元位置数据和目标象元的总点数，对各个目标进行标记处理，计算出目标的形心；

在跟踪窗口中，目标的形心计算公式为:

X_{C} = \frac{Σ_{x = 1}^{M} Σ_{y = 1}^{N} x \cdot f (x, y)}{Σ_{x = 1}^{M} Σ_{y = 1}^{N} f (x, y)}

Y_{C} = \frac{Σ_{x = 1}^{M} Σ_{y = 1}^{N} y \cdot f (x, y)}{Σ_{x = 1}^{M} Σ_{y = 1}^{N} f (x, y)}

式（2）

式中X_C、Y_C为目标形心位置，M、N为图像长宽方向的象素点；

根据目标的形心P(X_C,Y_C)，确定目标在当前帧图像中的位置特征；

⑤综合LBP特征和位置特征判断目标：

提取位置特征的置信度c_P，c_P=1-(|X_C-X|+|Y_C-Y|)/(X+Y)，其中X,Y表示上一帧图像目标的形心坐标；

设定置信度c_LP=0.4c_L+0.6c_P，如果置信度c_LP大于门限，则判断目标为飞机目标；

如果置信度c_LP不大于门限，则判断目标不为飞机目标，进行步骤⑥；

⑥计算累积能量特征：

根据目标的位置信息，求取目标的速度，利用速度阈值，判断目标的累积能量特征：

V_{i} = \frac{S (x_{i}) - S (x_{i - N})}{N * T}

E_{i} = \{\begin{matrix} 1 & V_{i} > thresh \\ 0 & V_{i} < thresh \end{matrix}

式（3）

Nnergy (x) = Σ_{i = 0}^{n} E_{i}

其中,S(x_i)表示目标在第i帧图像中水平方向的位置，S(x_i-N)表示目标在第i-N帧图像中水平方向的位置，n=N表示图像的帧数，T表示每帧图像算法运行的时间；V_i表示第i帧图像的速度，Nnergy(x)表示目标的累积能量；

取N=10,T=0.02,thresh=5,Nthresh=6,根据式（3），求取累积能量特征Nnergy(x)并判断出飞机目标；

⑦综合步骤⑤中的特征和累积能量特征判断目标：

提取累积能量特征置信度c_N，c_N=1-|Nnergy(x)-E|/E，其中E表示上一帧图像中目标的累积能量值；

设定置信度C=0.4c_LP+0.6c_N，如果置信度C大于门限，则判断目标为飞机目标，否则目标为飞鸟目标。

进一步的，如上所述的一种基于多信息融合的目标跟踪方法，其中：步骤③根据LBP特征判断目标中，门限值为0.9。

进一步的，如上所述的一种基于多信息融合的目标跟踪方法，其中：步骤⑤综合LBP特征和位置特征判断目标中，门限值为0.9。

进一步的，如上所述的一种基于多信息融合的目标跟踪方法，其中：步骤⑦综合步骤⑤中的特征和累积能量特征判断目标中，门限值为0.9。

针对飞机降落过程中，在进入自动跟踪的过程中容易受到外界飞鸟的影响，引入了一种基于LBP特征、位置特征、累积能量特征，采用序贯特征融合方法，对飞鸟干扰进行判断。从而保证光电跟踪系统在飞机降落过程中，即使飞鸟等干扰很多也能稳定跟踪目标。

附图说明

图1是LBP特征示意图(P=8，R=1)；

图2是目标的多特征融合识别系统框架图；

图3是基于多信息融合的目标跟踪算法示意图。

具体实施方式

本发明的具体应用对象——低空立体防控系统，其图像信号处理器硬件平台采用TI公司生产的TMS320C6416 DSP构建。本发明提出的基于多信息融合的抗飞鸟干扰的目标跟踪技术采用TMS320C6416 DSP专用C语言编程实现，经编译后固化在图像信号处理器硬件上，加电后DSP自动加载程序运行。

由于在10km外，飞机成像很小，在图像中只占据几个、十几个像素，与近处的飞鸟成像相似，采用LBP特征、位置特征、累积能量特征作为特征模型，采用序贯显著性特征融合方法，可对飞鸟干扰进行判断。

1)LBP特征

LBP特征是一种有效的纹理描述方法,它通过将图像中每个像素与其邻域像素灰度值的大小相比较,并将结果表示为二进制模式来描述图像的纹理.LBP特征的突出优点是对目标灰度变化不敏感,且计算简单迅速,其原理可以简述如下.

如图1所示,像素的局部区域用(P,R)来描述。其中,R为中心像素与其相邻像素的距离,它反映了纹理在空间上的分辨率；P为邻域像素的数目。通过不同的P和R值可以获得目标在多尺度下的纹理描述,即

{LBP}_{P, R} (y_{c}) = Σ_{P = 0}^{P - 1} s (g_{c} - g_{p}) \cdot 2^{p}

式（1）

s (x) = \{\begin{matrix} 1, & x &GreaterEqual; th \\ 0, & x < th \end{matrix}

其中,g_c表示中心点y_c的灰度值；g_p表示以y_c为中心、半径为R的圆环上第p个等分点的灰度值,对于不在图像像素点上的等分点可以通过插值获得；th是为减少噪声和局部灰度变化影响设置的阈值。通过式(1)可以得到p位二进制代码，以此表示像素对应的LBP特征。

2)位置特征

位置特征是对目标位置的识别，根据目标的形心，求取目标在当前帧图像中的位置。根据分割出的全体目标象元位置数据和目标象元的总点数，对各个目标进行标记处理，计算出目标的形心。在跟踪窗口中，目标的形心计算公式如下:

X_{C} = \frac{Σ_{x = 1}^{M} Σ_{y = 1}^{N} x \cdot f (x, y)}{Σ_{x = 1}^{M} Σ_{y = 1}^{N} f (x, y)}

Y_{C} = \frac{Σ_{x = 1}^{M} Σ_{y = 1}^{N} y \cdot f (x, y)}{Σ_{x = 1}^{M} Σ_{y = 1}^{N} f (x, y)}

式（2）

式中X_C、Y_C为目标形心位置，M、N为图像长宽方向的象素点。

3)累积能量特征

由于飞机目标与飞鸟在飞行轨迹和运行速度有明显区别，飞机在降落过程中，其运行轨迹稳定，而飞鸟的运行轨迹杂乱无章，并且在图像中显示其运行速度很大。根据前一帧图像中两者的位置和当前帧图像中两者的位置对比关系定义目标的累积能量特征，根据目标的位置信息，求取目标的速度，利用速度阈值，判断目标的累积能量特征。

V_{i} = \frac{S (x_{i}) - S (x_{i - N})}{N * T}

E_{i} = \{\begin{matrix} 1 & V_{i} > thresh \\ 0 & V_{i} < thresh \end{matrix}

式（3）

Nnergy (x) = Σ_{i = 0}^{n} E_{i}

其中,S(x_i)表示目标在第i帧图像中水平方向的位置，S(x_i-N)表示目标在第i-N帧图像中水平方向的位置，N表示图像的帧数，T表示每帧图像算法运行的时间。V_i表示第i帧图像的速度，Nnergy(x)表示目标的累积能量，根据目标的累积能量值，判断出真正的飞机目标。

4)特征序贯融合

根据特征度量准则,采用一种从主到次的特征序贯融合方法,将特征赋以不同的先验概率并用于融合识别.这是一个动态的识别过程,当目标置信度超过一定门限或者所有特征融合识别后的置信度仍小于门限时,识别过程结束。融合识别系统框架如图2所示。图2中,目标特征历史数据中有3个特征模型,目标图像依次提取LBP特征、位置特征、累积能量特征，置信度达到门限(即该目标为真目标)或n=3时,置信度的更新过程结束。

本发明具体的技术方案如图3所示：一种基于多信息融合的目标跟踪方法，根据特征度量准则,采用一种从主到次的特征序贯融合方法,将特征赋以不同的先验概率并用于融合识别进行动态识别，目标图像依次提取LBP特征、位置特征、累积能量特征，当置信度达到门限时，或所有特征融合识别后的置信度仍小于门限时,识别过程结束；具体包括以下步骤：

①形态学滤波：

用I_th表示经过Top-Hat变换滤波后的图像；

②计算LBP特征：

{LBP}_{P, R} (y_{c}) = Σ_{P = 0}^{P - 1} s (g_{c} - g_{p}) \cdot 2^{p}

式（1）

s (x) = \{\begin{matrix} 1, & x &GreaterEqual; th \\ 0, & x < th \end{matrix}

③根据LBP特征判断目标：

如果置信度c_L大于门限0.9，则判断目标为飞机目标；

如果置信度c_L不大于门限0.9，则判断目标不为飞机目标，进行步骤④；

④计算位置特征：

在跟踪窗口中，目标的形心计算公式为:

X_{C} = \frac{Σ_{x = 1}^{M} Σ_{y = 1}^{N} x \cdot f (x, y)}{Σ_{x = 1}^{M} Σ_{y = 1}^{N} f (x, y)}

Y_{C} = \frac{Σ_{x = 1}^{M} Σ_{y = 1}^{N} y \cdot f (x, y)}{Σ_{x = 1}^{M} Σ_{y = 1}^{N} f (x, y)}

式（2）

⑤综合LBP特征和位置特征判断目标：

设定置信度c_LP=0.4c_L+0.6c_P，如果置信度c_LP大于门限0.9，则判断目标为飞机目标；

如果置信度c_LP不大于门限0.9，则判断目标不为飞机目标，进行步骤⑥；

⑥计算累积能量特征：

V_{i} = \frac{S (x_{i}) - S (x_{i - N})}{N * T}

E_{i} = \{\begin{matrix} 1 & V_{i} > thresh \\ 0 & V_{i} < thresh \end{matrix}

式（3）

Nnergy (x) = Σ_{i = 0}^{n} E_{i}

⑦综合步骤⑤中的特征和累积能量特征判断目标：

设定置信度C=0.4c_LP+0.6c_N，如果置信度C大于门限0.9，则判断目标为飞机目标，否则目标为飞鸟目标。

Claims

1.一种基于多信息融合的目标跟踪方法，其特征在于：根据特征度量准则,采用一种从主到次的特征序贯融合方法,将特征赋以不同的先验概率并用于融合识别进行动态识别，目标图像依次提取LBP特征、位置特征、累积能量特征，当置信度达到门限时，或所有特征融合识别后的置信度仍小于门限时,识别过程结束；具体包括以下步骤：

①形态学滤波：

用I_th表示经过Top-Hat变换滤波后的图像；

②计算LBP特征：

{LBP}_{P, R} (y_{c}) = Σ_{P = 0}^{P - 1} s (g_{c} - g_{p}) \cdot 2^{p}

式（1）

s (x) = \{\begin{matrix} 1, & x &GreaterEqual; th \\ 0, & x < th \end{matrix}

③根据LBP特征判断目标：

如果置信度c_L大于门限，则判断目标为飞机目标；

④计算位置特征：

在跟踪窗口中，目标的形心计算公式为:

X_{C} = \frac{Σ_{x = 1}^{M} Σ_{y = 1}^{N} x \cdot f (x, y)}{Σ_{x = 1}^{M} Σ_{y = 1}^{N} f (x, y)}

Y_{C} = \frac{Σ_{x = 1}^{M} Σ_{y = 1}^{N} y \cdot f (x, y)}{Σ_{x = 1}^{M} Σ_{y = 1}^{N} f (x, y)}

式（2）

⑤综合LBP特征和位置特征判断目标：

⑥计算累积能量特征：

V_{i} = \frac{S (x_{i}) - S (x_{i - N})}{N * T}

E_{i} = \{\begin{matrix} 1 & V_{i} > thresh \\ 0 & V_{i} < thresh \end{matrix}

式（3）

Nnergy (x) = Σ_{i = 0}^{n} E_{i}

⑦综合步骤⑤中的特征和累积能量特征判断目标：

2.如权利要求1所述的一种基于多信息融合的目标跟踪方法，其特征在于：步骤③根据LBP特征判断目标中，门限值为0.9。

3.如权利要求1所述的一种基于多信息融合的目标跟踪方法，其特征在于：步骤⑤综合LBP特征和位置特征判断目标中，门限值为0.9。

4.如权利要求1所述的一种基于多信息融合的目标跟踪方法，其特征在于：步骤⑦综合步骤⑤中的特征和累积能量特征判断目标中，门限值为0.9。