CN103679677B - 一种基于模型互更新的双模图像决策级融合跟踪方法 - Google Patents

Abstract

本发明公开了一种基于模型互更新的双模图像决策级融合跟踪方法。本发明针对红外与可见光图像的特点，首先提取红外与可见光图像的特征描述向量，使其能提供互补信息，增加图像的信息量描述。之后采用Gentle Adaboost学习算法分别建立红外与可见光图像两个分类器模型，将跟踪问题转化为目标与背景的二分类问题。然后在半监督学习框架下协同训练，同时进行模型互更新，有效避免了模型误差累积问题。并利用训练结果和它们各自的置信度进行决策级融合得到最终的似然图像，最后通过均值漂移算法在最终的似然图像中定位目标位置。本发明能有效避免模型误差累积和单模图像描述目标信息局限性而导致的跟踪丢失问题，提高了跟踪的鲁棒性。

Description

一种基于模型互更新的双模图像决策级融合跟踪方法

技术领域

本发明属于图像融合跟踪技术领域，涉及一种基于模型互更新的双模图像决策级融合跟踪方法。

背景技术

图像融合是图像处理的一种技术手段，属于信息融合中的一个分支。它是根据某一算法，将从2个或者2个以上的传感器在同一时间(或不同时间或不同观测角度)得到的针对某个具体场景的图像或者图像序列信息加以综合处理，从而得到一个新的有关此场景的解释。这个解释是从单一传感器获取的信息中无法得到的，它能提供互补信息，增加图像的信息量描述，提高对环境的适应性，同时更能满足某种要求，对目标或场景的描述更为准确、全面、可靠。

根据信息抽象的程度，图像融合的处理通常可分为三个层次：像素级融合、特征级融合和决策级融合。决策级融合是最高层次的图像信息融合，每个传感器先分别建立各自的初步判决，然后对来自各传感器的决策根据一定的准则和每个决策的可信度进行融合处理，从而获得最终的联合判决。

由于可见光传感器是利用光反射率而成像的，具有光谱信息丰富、分辨率高、动态范围大的特点，但其容易受光照变化、阴影的影响。红外传感器的成像利用的是物体的辐射能量，对光照和阴影变换具有鲁棒性，有一定的穿透烟雾等能力，但是其信噪比低，成像质量较差，缺乏纹理特征。将这两种传感器的图像融合用于目标跟踪，可以弥补单一传感器自身的局限性，提高在复杂背景和干扰存在的情况下正确跟踪目标的概率，从而避免因环境或干扰因素导致跟踪精度低或者目标丢失等现象。

发明内容

本发明针对现有技术的不足，提供了一种基于模型互更新的双模图像决策级融合跟踪方法。

本发明的具体步骤是：

步骤(1).提取初始帧红外图像与初始帧可见光图像的特征

1.1初始帧红外图像的特征提取：

对初始帧红外图像提取灰度颜色与梯度方向直方图两种特征。

根据初始帧红外图像中目标像素点(x,y)，由公式（1）、（2）得到该目标像素点(x,y)的梯度，如下：

G_x(x,y)＝H(x+1,y)-H(x-1,y) 式（1）；

G_y(x,y)＝H(x,y+1)-H(x,y-1) 式（2）；

式中，G_x(x,y)、G_y(x,y)、H(x,y)分别表示输入初始帧红外图像中该目标像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。

根据公式（3）、（4），该目标像素点(x,y)处的梯度幅值G(x,y)和梯度方向α(x,y)为：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$ 式（3）；

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$ 式（4）；

以该目标像素点(x,y)为中心的5x5区域内，根据公式（3）和式（4）得到的数值计算方向梯度直方图，梯度方向11等分，确定梯度方向直方图特征。

提取该目标像素点(x,y)的像素值作为灰度颜色特征。

由梯度方向直方图特征、灰度颜色特征构成12维特征向量。

1.2对初始帧可见光图像的特征提取：

对初始帧可见光图像提取彩色颜色与局部二值模式两种特征。

对于可见光RGB彩色图像，分别计算各通道之间的局部二值模式特征，包括R-R，R-G，R-B，G-R，G-G，G-B，B-R，B-G，B-B九种通道的组合。对初始帧可见光图像选取各组合中第一个通道的目标像素点(x,y)为中心和该组合第二通道以该目标同一像素点(x,y)为中心的3x3区域，该区域上的某像素点的像素值若大于等于目标像素点(x,y)的像素值时，则标记为1；若小于目标像素点(x,y)的像素值时，则标记为0。然后将该区域的二进制数化为十进制数，得到九种通道组合对应的九维局部二值模式特征值，确定为九维局部二值模式特征。

提取该目标像素点(x,y)的RGB通道的值作为三维彩色颜色特征。

由局部二值模式特征、彩色颜色特征构成12维特征向量。

步骤(2).制作训练样本

在初始帧红外图像或初始帧可见光图像上选取目标与背景的像素点作为训练样本，组成训练样本集T＝{(x₁,y₁),(x₂,y₂),...,(x_l,y_l)}，x_i∈X＝Rⁿ,y_i∈Y＝{1,-1}，其中x_i为n维输入向量，也即n维训练样本，y_i为第i个样本的样本标签，l为训练样本总数。

步骤(3).设计分类器模型，具体步骤如下：

（1）给定一个训练样本集T＝{(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}。

（2）初始化训练样本集权值w₁:对于i=1，...，N,w₁(i)＝1/N。

（3）做S轮循环，t=1,…,S,S为弱分类器数量,执行以下步骤：

a.对于具有权值的训练样本集T，求使得加权误差函数最小的弱分类器h_t(x)，其表达式为：

$h_t\left(x\right)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}{w}_t\left(i\right)I(h_t\left(x_i\right)\≠y_i)$

其中I(h_t(x_i)≠y_i)为指示函数，若h_t(x_i)≠y_i时输出为1，否则输出0。

b.迭代更新强分类器：H(x)←H(x)+h_t(x)。

c.更新训练样本集权值并且归一化。

（4）最后得到输出分类器：

步骤(4).互更新红外与可见光图像的分类器模型,具体更新步骤如下：

4.1根据步骤(3)针对初始帧红外图像与初始帧可见光图像分别建立两个分类器模型。

4.2利用初始帧红外图像与初始帧可见光图像各自的输出分类器对各自的后续帧图像进行目标与背景的分类，得到各自的似然图像。

4.3由似然图像对置信度进行精确的估计，其似然图像的置信度P由公式（9）计算得到：

P(y＝1|x)＝e^H(x)/(e^H(x)+e^-H(x)) 式（9）。

4.4根据红外图像与可见光图像各自的似然图像和置信度进行双模图像决策级融合得到最终的似然图像。

4.5利用了红外图像与可见光图像各自的似然图像，对目标边缘上某个像素点计算红外图像与可见光图像各自的置信度，更新置信度较小的图像对应的分类器模型。若双模图像置信度差值在设定阀值之内，即认为双模图像在此图像帧序列都能跟踪目标，则不用更新分类器模型；否则重复步骤(3)。

步骤(5).通过均值漂移算法在最终的似然图像中定位目标。

本发明能有效避免模型误差累积和单模图像描述目标信息局限性而导致的跟踪丢失问题，提高了跟踪的鲁棒性。

附图说明

图1为本发明流程图。

图2为计算局部二值模式的特征值示意图。

具体实施方式

以下结合附图对本发明作进一步说明。

实验采用了红外与可见光图像为OTCBVS序列（红外与可见光图像已配准），图像大小为320×240像素，水平与垂直分辨率为96DPI，位深度为24。

具体实施步骤如下：

步骤(1).提取初始帧红外图像与初始帧可见光图像的特征

1.1初始帧红外图像的特征提取：

对初始帧红外图像提取灰度颜色与梯度方向直方图（histogram oforiented gradients,HOG）两种特征。梯度方向直方图特征是一种局部区域描述符,它通过计算局部区域上的梯度方向直方图来构成目标特征,能够很好地描述目标的边缘。

根据初始帧红外图像中目标像素点(x,y)，由公式（1）、（2）得到该目标像素点(x,y)的梯度，如下：

G_x(x,y)＝H(x+1,y)-H(x-1,y) 式（1）；

G_y(x,y)＝H(x,y+1)-H(x,y-1) 式（2）；

式中，G_x(x,y)、G_y(x,y)、H(x,y)分别表示输入初始帧红外图像中该目标像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值。

根据公式（3）、（4），该目标像素点(x,y)处的梯度幅值G(x,y)和梯度方向α(x,y)为：

$G(x,y)=\sqrt{G_x{(x,y)}^2+G_y{(x,y)}^2}$ 式（3）；

$\mathrm{\α}(x,y)={\tan }^{-1}\left(\frac{G_y(x,y)}{G_x(x,y)}\right)$ 式（4）；

以该目标像素点(x,y)为中心的5x5区域内，根据公式（3）和式（4）得到的数值计算方向梯度直方图，梯度方向11等分，确定梯度方向直方图特征。

提取该目标像素点(x,y)的像素值作为灰度颜色特征。

由梯度方向直方图特征、灰度颜色特征构成12维特征向量。

1.2对初始帧可见光图像的特征提取：

对初始帧可见光图像提取彩色颜色与局部二值模式（local binarypatterns,LBP）两种特征。局部二值模式为一种有效的纹理描述算子，度量和提取图像局部的纹理信息，对光照具有不变性。

对于可见光RGB彩色图像，分别计算各通道之间的局部二值模式特征，包括R-R，R-G，R-B，G-R，G-G，G-B，B-R，B-G，B-B九种通道的组合。对初始帧可见光图像选取各组合中第一个通道的目标像素点(x,y)为中心和该组合第二通道以该目标同一像素点(x,y)为中心的3x3区域，该区域上的某像素点的像素值若大于等于目标像素点(x,y)的像素值时，则标记为1；若小于目标像素点(x,y)的像素值时，则标记为0。然后将该区域的二进制数化为十进制数，得到九种通道组合对应的九维局部二值模式特征值，确定为九维局部二值模式特征。对于R-G通道组合而言，具体计算局部二值模式的特征值如图2所示，从图2看到，最左边的是原图，标号为范例。要检测某个像素点的某些信息，在图2中，对于9个方格中中间方格（方格中心的数字是R通道该像素点(x,y)的值大小，周围8个值为该像素点(x,y)3x3区域的G通道值大小），做一个阈值化处理。大于等于中心点像素的，则标记为1，小于的则标记为0。最后将中心像素点周围的11110001二进制数化为十进制数，其值为241，于是得到局部二值模式R-G通道组合的特征值为241，其他通道组合依次类推。

提取该目标像素点(x,y)的RGB通道的值作为三维彩色颜色特征。

由局部二值模式特征、彩色颜色特征构成12维特征向量。

步骤(2).制作训练样本

在初始帧红外图像或初始帧可见光图像上选取目标与背景的像素点作为训练样本，组成训练样本集T＝{(x₁,y₁),(x₂,y₂),...,(x_l,y_l)}，x_i∈X＝Rⁿ,y_i∈Y＝{1,-1}，其中x_i为n维输入向量，也即n维训练样本，y_i为第i个样本的样本标签，l为训练样本总数。

步骤(3).设计分类器模型。

将跟踪问题归结于分类问题，采用集成学习算法训练并合并弱分类器来对应地建立强分类器，用来区分目标和背景。本发明采用的是GentleAdaBoost分类器算法。所述的Gentle AdaBoost算法是集成学习算法中Boosting算法的一种，是对传统Adaboost算法的改进，允许不断地加入新的弱分类器，直到达到某个预定错误率。在Gentle AdaBoost算法中，每个训练样本都被赋予一个权值。如果某个样本已经能够被准确地分类，那么在构造下一轮的训练样本集时，它的权值就降低；如果某个样本没有能够被正确分类，那么它的权值就提高。通过多轮这样的训练，算法能够聚焦于那些较困难的样本上，从而综合得出强分类器。GentleAdaBoost算法由于其较好的泛化能力，在很多分类问题上取得了优异的效果。并且这种分类器的计算量较小，训练和测试误差优越，非常适合目标跟踪问题。具体步骤如下：

（1）给定一个训练样本集T＝{(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}。

（2）初始化训练样本集权值w₁:对于i=1，...，N,w₁(i)＝1/N。

（3）做S轮循环，t=1,…,S,S为弱分类器数量,执行以下步骤：

a.对于具有权值的训练样本集T，求使得加权误差函数最小的弱分类器h_t(x)，其表达式为：

b.迭代更新强分类器：H(x)←H(x)+h_t(x)。

c.更新训练样本集权值并且归一化。

（4）最后得到输出分类器：

步骤(4).互更新红外与可见光图像的分类器模型。

红外与可见光图像的模型互更新（CoUpdate）利用了协同训练Co-Training学习框架的思想，Co-Training学习框架是半监督学习的一种，采用了Multi-View多视觉的思想，将其应用于目标跟踪，可以解决模型累积误差的问题。

具体更新步骤如下：

4.1根据步骤(3)针对初始帧红外图像与初始帧可见光图像分别建立两个分类器模型。

4.2利用初始帧红外图像与初始帧可见光图像各自的输出分类器对各自的后续帧图像进行目标与背景的分类，得到各自的似然图像。

4.3由似然图像对置信度进行精确的估计，其似然图像的置信度P由公式（9）计算得到：

P(y＝1|x)＝e^H(x)/(e^H(x)+e^-H(x)) 式（9）。

4.4根据红外图像与可见光图像各自的似然图像和置信度进行双模图像决策级融合得到最终的似然图像。

4.5利用了红外图像与可见光图像各自的似然图像，对目标边缘上某个像素点计算红外图像与可见光图像各自的置信度，更新置信度较小的图像对应的分类器模型。若双模图像置信度差值在设定阀值之内，即认为双模图像在此图像帧序列都能跟踪目标，则不用更新分类器模型；否则重复步骤(3)。

步骤(5).通过均值漂移算法在最终的似然图像中定位目标。

本发明针对传统的单模图像目标跟踪性能的不足，重点研究了跟踪所涉及的模型更新策略。为目标跟踪的研究提供了一种基于模型互更新（CoUpdate）的红外与可见光序列图像决策级融合跟踪方法。在实际跟踪问题中，由于受光照变化等的影响，目标的外观会发生渐变。现有传统的跟踪算法虽然也进行目标模型的更新，但由于仅采用单一传感器获得的图像信息，属于自更新范畴，并且单模图像描述目标信息有局限性，在对较多序列帧图像的长时间跟踪时，会导致失跟（lost track）情况。本发明针对红外与可见光图像的特点，首先提取红外与可见光图像的特征描述向量，使其能提供互补信息，增加图像的信息量描述。之后采用Gentle Adaboost学习算法分别建立红外与可见光图像2个分类器模型，将跟踪问题转化为目标与背景的二分类问题，有利于目标跟踪。然后在Co-Training半监督学习框架下协同训练，同时进行模型互更新（CoUpdate），有效避免了模型误差累积问题。并利用训练结果和它们各自的置信度进行决策级融合得到最终的似然图像，最后通过均值漂移算法在最终的似然图像中定位目标位置。

本发明跟踪实验采用了红外与可见光图像为OTCBVS测试序列，能准确跟踪行人目标。同时对比了传统的3种跟踪算法：第1种单模图像均值漂移算法跟踪目标，由于缺乏有效的目标模型更新策略，导致错误的累积，以致目标漂移甚至丢失，图像在272帧时由于背景垃圾筒的干扰而跟踪失败；第2种单模图像集成学习算法跟踪目标，由于采用了自学习的跟踪策略，从而导致了模型误差的累积，图像在140帧时由于背景电线杆的干扰而跟踪失败；第3种单模图像Co-Training思想算法跟踪目标，由于单模图像对目标描述的局限性，容易受遮挡干扰导致误差累积，图像在148帧时由于前景行人的遮挡干扰而跟踪失败。实验有效证明了本发明具有一定适用性，能提高跟踪的鲁棒性，对较多序列帧图像的长时间跟踪时，可以有效避免模型误差累积和单模图像描述目标信息局限性的问题。

Claims (1)

1.一种基于模型互更新的双模图像决策级融合跟踪方法，其特征在于该方法的具体步骤是：

步骤(一).提取初始帧红外图像与初始帧可见光图像的特征

1.1初始帧红外图像的特征提取：

对初始帧红外图像提取灰度颜色与梯度方向直方图两种特征；

根据初始帧红外图像中目标像素点(x,y)，由公式(1)、(2)得到该目标像素点(x,y)的梯度，如下：

G_x(x,y)＝H(x+1,y)-H(x-1,y) 式(1)；

G_y(x,y)＝H(x,y+1)-H(x,y-1) 式(2)；

式中，G_x(x,y)、G_y(x,y)、H(x,y)分别表示输入初始帧红外图像中该目标像素点(x,y)处的水平方向梯度、垂直方向梯度和像素值；

根据公式(3)、(4)，该目标像素点(x,y)处的梯度幅值G(x,y)和梯度方向α(x,y)为：

以该目标像素点(x,y)为中心的5x5区域内，根据公式(3)和式(4)得到的数值计算方向梯度直方图，梯度方向11等分，确定梯度方向直方图特征；

提取该目标像素点(x,y)的像素值作为灰度颜色特征；

由梯度方向直方图特征、灰度颜色特征构成12维特征向量；

1.2对初始帧可见光图像的特征提取：

对初始帧可见光图像提取彩色颜色与局部二值模式两种特征；

对于可见光RGB彩色图像，分别计算各通道之间的局部二值模式特征，包括R-R，R-G，R-B，G-R，G-G，G-B，B-R，B-G，B-B九种通道的组合；对初始帧可见光图像选取各组合中第一个通道的目标像素点(x,y)为中心和该组合第二通道以该目标同一像素点(x,y)为中心的3x3区域，该区域上的某像素点的像素值若大于等于目标像素点(x,y)的像素值时，则标记为1；若小于目标像素点(x,y)的像素值时，则标记为0；然后将该区域的二进制数化为十进制数，得到九种通道组合对应的九维局部二值模式特征值，确定为九维局部二值模式特征；

提取该目标像素点(x,y)的RGB通道的值作为三维彩色颜色特征；

由局部二值模式特征、彩色颜色特征构成12维特征向量；

步骤(二).制作训练样本

在初始帧红外图像或初始帧可见光图像上选取目标与背景的像素点作为训练样本，组成训练样本集T1＝{(x₁,y₁),(x₂,y₂),...,(x_l,y_l)}，x_i∈X＝Rⁿ,y_i∈Y＝{1,-1}，其中x_i为n维输入向量，也即n维训练样本，y_i为第i个样本的样本标签，l为训练样本总数；X表示状态空间，其中Y表示状态集合；

步骤(三).设计分类器模型，具体步骤如下：

(1)给定一个训练样本集T＝{(x₁,y₁),(x₂,y₂),...,(x_N,y_N)}；

(2)初始化训练样本集权值w₁:对于i＝1，...，N,w₁(i)＝1/N；

(3)做S轮循环，t＝1,…,S,S为弱分类器数量,执行以下步骤：

a.对于具有权值的训练样本集T，求使得加权误差函数最小的弱分类器h_t(x)，其表达式为： $h_t\left(x\right)=\underset{n=1}{\overset{N}{\Σ}}{w}_1\left(i\right)I\left(h_t\right(x_i)\≠y_i)$

其中I(h_t(x_i)≠y_i)为指示函数，若h_t(x_i)≠y_i时输出为1，否则输出0；

b.迭代更新强分类器：H(x)←H(x)+h_t(x)；

c.更新训练样本集权值并且归一化；

(4)最后得到输出分类器：

步骤(四).互更新红外与可见光图像的分类器模型,具体更新步骤如下：

4.1根据步骤(三)针对初始帧红外图像与初始帧可见光图像分别建立两个分类器模型；

4.2利用初始帧红外图像与初始帧可见光图像各自的输出分类器对各自的后续帧图像进行目标与背景的分类，得到各自的似然图像；

4.3由似然图像对置信度进行精确的估计，其似然图像的置信度P由公式(9)计算得到：

P(y＝1|x)＝e^H(x)/(e^H(x)+e^-H(x)) 式(9)；

4.4根据红外图像与可见光图像各自的似然图像和置信度进行双模图像决策级融合得到最终的似然图像；

4.5利用了红外图像与可见光图像各自的似然图像，对目标边缘上某个像素点计算红外图像与可见光图像各自的置信度，更新置信度较小的图像对应的分类器模型；若双模图像置信度差值在设定阀值之内，即认为双模图像在此图像帧序列都能跟踪目标，则不用更新分类器模型；否则重复步骤(三)；

步骤(五).通过均值漂移算法在最终的似然图像中定位目标。