CN103345735A - 一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法 - Google Patents

Abstract

本发明公开了一种基于Kalman滤波器的压缩时空融合跟踪方法，所述方法包括：利用压缩感知原理，将高维的可见光与红外样本图像块分别表示为各传感器相应的压缩特征向量；设计一个关联特征矩阵，将各传感器的压缩特征向量结合起来；用似然函数来建立一个空间系数矩阵；设计一个时间系数矩阵，并基于Kalman滤波器对其进行估计；结合时间与空间系数矩阵求得时空系数矩阵；计算出一个新的融合特征向量，并将其反馈以训练滤波器。该融合过程不仅具备Kalman估计特征，同时还在时间和空间两个领域完成，整个融合任务是一个闭环系统，并且视频的每一帧仅用一个时空系数矩阵就可以完成。

Description

一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法

技术领域

本发明涉及视频目标跟踪技术领域，具体是一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法。

背景技术

视频目标跟踪作为计算机视觉研究的核心课题之一，是一门新兴的技术，它融合了图像处理、模式识别、人工智能、自动控制以及计算机等许多领域的先进技术。视频可以看成是许多运动图像的顺序组合，而运动图像分析是各种图像处理方法的一种综合应用。

虽然最近几十年视频目标跟踪问题获得了广泛的研究并取得了长足的进步，但是由于现实环境中的许多情况都会影响视频图像中对目标的可靠观测，因此设计出能够在各种复杂环境下准确、快速、稳定地跟踪视频目标的方法，仍然是一项挑战性的任务和急需解决的课题。

通过融合多传感器系统的信息，可以较好的解决视频跟踪问题。与单传感器系统相比，多传感器信息融合处理具有的优点是：多传感器信息融合处理可以获得更精确、更全面的信息，因为每种传感器的噪声是不相关的，融合处理后可明显抑制噪声，降低不确定性；不同传感器采集的信息存在互补性，可以补偿单传感器的不确定性和测量范围的局限性，从微波、毫米波、紫外、可见光、红外、激光到声波，各种传感器的作用范围逐步扩展到整个电磁波谱；多传感器信息融合处理可以增加系统的可靠性和稳定性，一些传感器失效时，系统仍可正常运行。

近几年来，可见光和红外的融合应用在多传感器融合跟踪方面被投以更多的关注。可见光和红外成像传感器是两种常用的传感器，他们的工作机理不同，性能也各有差异。红外传感器获取地面目标的红外辐射，记录的是目标自身的红外辐射信息。由于红外传感器是靠探测目标与背景间的热辐射差异来识别目标的，因此具有特殊的识别伪装能力，如能发现隐藏在树林和草丛中的人员、车辆与火炮。尽管红外传感器对热目标的探测性能较好,但其对场景的亮度变化不敏感，成像清晰度低且不利于人眼判读。可见光传感器只敏感于目标场景的反射,而与目标场景的热对比度无关。但其成像传感器清晰度较高，能够提供目标所在场景的细节信息。可见光与红外传感器的融合能够互相取长补短，有利于综合红外图像较好的目标指示特性和可见光图像的清晰场景信息。例如，在区分高温度的人和相对冷温度的背景方面，红外摄像机更能够发挥其作用。然而，当一个行人目标穿过一群人时，在红外单传感器跟踪中可能会丢失。因为在红外图像中，人的形状极其类似、不易分辨。而可见光图像可以通过衣着颜色和纹理的区别，将不同人区分开，从而成功跟踪目标。

近几年，多传感器融合跟踪问题中，为每个传感器分别的特征模型寻找到准确的融合系数是成功跟踪的关键所在。现有融合跟踪技术大多单独分别处理多传感器的特征，且仅仅从空间上处理融合系数。这些技术没有考虑各传感器特征模型间的关系，空间融合系数又使其缺少时空适用性。

发明内容

有鉴于现有技术的上述缺陷，本发明的目的是提供一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法。

本发明从传感器采集的视频信息中提取图像帧，对每一帧图像进行循环处理。本发明着重对可见光与红外传感器融合跟踪。该融合过程不仅具备Kalman估计特征，同时还在时间和空间两个领域完成。各传感器特征的融合系数通过矩阵进行结合，而非简单的数值运算，因此可以将特征间的关系考虑进去。利用Kalman滤波器特性，由估计状态向量得到的结果返回滤波器作为观测向量，因此整个融合任务是一个闭环系统，并且视频的每一帧仅用一个时空系数矩阵就可以完成。

为实现上述目的，本发明的技术方案是：

一种基于Kalman滤波器的压缩时空融合跟踪方法，其步骤如下：

步骤1）输入可见光与红外图像；

步骤2）对所述可见光和红外图像的前一帧图像的目标取样本图像块，其中，第一帧的目标位置手工框定，利用压缩感知原理，将所述样本图像块高维空间映射为低维空间，在可见光与红外样本中分别计算样本压缩特征向量，得到可见光与红外的低维特征向量；

步骤3）通过所述各传感器的特征向量得到关联特征向量；

步骤4）通过所述各传感器特征向量与模板的似然函数建立空间系数矩阵；

步骤5）基于Kalman滤波器对所述时间系数矩阵进行估计，根据所述Kalman滤波器在不同时刻进行预测来估计得到时间系数矩阵；

步骤6）结合所述时间与空间系数矩阵计算得到时空系数矩阵；

步骤7）所述关联特征向量和所述时空系数矩阵相乘得到融合特征向量，并将所述融合特征向量反馈用来训练所述Kalman滤波器，形成一个闭环系统；

步骤8）通过贝叶斯分类器对所述融合特征向量进行建模，所述分类器值的最大值对应的样本框位置即为跟踪结果位置，得到跟踪结果后，提取正负样本，并更新所述贝叶斯分类器，为下一帧跟踪做准备；

步骤9）输出所述跟踪位置、所述分类器以及所述Kalman滤波器参数。

进一步地，所述多传感器的数目为2～100个。

进一步地，所述步骤2）提取所述样本压缩向量步骤如下：

步骤2-1）提取样本图像块：

为样本图像块的多尺度高维图像空间；

步骤2-2）引入一个随机矩阵

将

压缩为低维空间

v=Rx

其中，m＜＜n，随机矩阵R定义为

$r_{\mathrm{ij}}=\sqrt{s}\×\left\{\begin{array}{cc}1& \mathrm{with\; probability}\frac{1}{2s}\\ 0& \mathrm{with\; probability}1-\frac{1}{s}\\ -1& \mathrm{with\; probability}\frac{1}{2s}.\end{array}\right.$

取s=2 or 3；

步骤2-3）得到可见光与红外的低维特征向量 $c\∈\{\mathrm{vis},\mathrm{IR}\}.$

进一步地，所述步骤3）中所述关联特征向量由所述已知特征向量

其中vis和IR分别表示可见光和红外传感器。每个

表示尺寸为1×k的第c个传感器的第i个特征值向量，其中m是Haar-like特征数，k是样本框尺寸，通过融合规则转化为一个新的关联特征向量 $V={[v_{\mathrm{vis}}^T,v_{\mathrm{IR}}^T]}^T.$

进一步地，所述步骤4）中所述空间系数矩阵创建步骤如下：

步骤4-1）通过当前帧特征向量

和前一帧特征向量

建立传感器模型，其中t表示帧数，当为当前帧时，可以省略；

步骤4-2）将

作为目标模板；

步骤4-3）用似然函数定义传感器似然向量

则

其中控制参数λ_c用来控制每个传感器特征的重要性，

是一个用欧氏距离定义的距离向量 ${\mathrm{\ρ}}_c^{\left(i\right)}=\frac{1}{N^{\left(i\right)}}\sqrt{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{|v_c^{\left(i\right)\left(j\right)}\left(t\right)-v_c^{\left(i\right)\left(j\right)}(t-1)|}^2},i=1,...,m,$ 其中N是在时间范围内的归一化向量，定义为 $N^{\left(i\right)}=\sqrt{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}({\left[v_c^{\left(i\right)\left(j\right)}\left(t\right)\right]}^2+{\left[v_c^{\left(i\right)\left(j\right)}(t-1)\right]}^2)};$

步骤4-4）预测权值向量的第i个元素可以在传感器范围内归一化定义为：

$w_c^{\left(i\right)}=p_c^{\left(i\right)}/\underset{c}{\mathrm{\Σ}}{p}_c^{\left(i\right)},c\∈\{\mathrm{vis},\mathrm{IR}\},i=1,...,m$

步骤4-5）定义一个2m×2m的对角化空间系数矩阵

$C_S=\mathrm{diag}\{w_{\mathrm{vis}}^{\left(1\right)},\·\·\·,w_{\mathrm{vis}}^{\left(m\right)},w_{\mathrm{IR}}^{\left(1\right)},\·\·\·,w_{\mathrm{IR}}^{\left(m\right)}\}$

可以通过矩阵C_S中的置信度得到各传感器的预测权值，得到V和C_S后，即对对各传感器的特征极其对应的权值在空间上做了描述。

进一步地，所述步骤5）中所述时间系数矩阵创建步骤如下：

步骤5-1）利用Kalman滤波器中的布朗随机游走模型估计所述时间系数矩阵C_T；

步骤5-2）结合关联特征向量V和空间系数矩阵C_S，求得融合特征向量V_F；

步骤5-3）将V_F作为基础，计算Kalman滤波器的观测值，作为反馈更新滤波器，使得整个融合任务是一个闭环系统。

进一步地，所述步骤8）中所述分类器跟踪过程如下：

步骤8-1）用贝叶斯分类器H(v)对融合特征向量V_F其进行建模：

$H\left(v\right)=\log \left(\frac{{\∏}_{i=1}^{n}p\left(v_i\right|y=1)p(y=1)}{{\∏}_{i=1}^{n}p\left(v_i\right|y=0)p(y=0)}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right),$

其中，假设初始值p(y=1)=p(y=0)，且y∈{0,1}表示正负样本标签，假设分类器H(v)中的条件分布p(v_i|y=1)和p(v_i|y=0)是贝叶斯分布，其参数为 $({\mathrm{\μ}}_i^1,{\mathrm{\σ}}_i^1,{\mathrm{\μ}}_i^0,{\mathrm{\σ}}_i^0),$ $p\left(v_i\right|y=1)~N({\mathrm{\μ}}_i^1,{\mathrm{\σ}}_i^1),$ $p\left(v_i\right|y=0)~N({\mathrm{\μ}}_i^0,{\mathrm{\σ}}_i^0);$

步骤8-2）在映射空间中，对H(v)中的标量参数进行增量更新：

${\mathrm{\μ}}_i^1\←{\mathrm{\λ\μ}}_i^1+(1-\mathrm{\λ}){\mathrm{\μ}}^1$

${\mathrm{\σ}}_i^1\←\sqrt{\mathrm{\λ}{\left({\mathrm{\σ}}_i^1\right)}^2+(1-\mathrm{\λ}){\left({\mathrm{\σ}}^1\right)}^2+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_i^1-{\mathrm{\μ}}^1)}^2},$

其中训练参数λ>0，且 ${\mathrm{\σ}}^1=\sqrt{\frac{1}{n}{\mathrm{\Σ}}_{k=0|y=1}^{n-1}{(v_i\left(k\right)-{\mathrm{\μ}}^1)}^2},$ ${\mathrm{\μ}}^1=\frac{1}{n}{\mathrm{\Σ}}_{k=0|y=1}^{n-1}{v}_i\left(k\right);$

步骤8-3）跟踪结果位置既是分类器值H(v)的最大值对应的样本框位置，得到跟踪结果后，在目标周围采取正样本，在离目标一定距离范围内采取负样本；

步骤8-4）更新分类器，为下一帧跟踪做准备。

本发明的基于Kalman滤波器的压缩时空融合跟踪方法的融合过程不仅具备Kalman估计特征，同时还在时间和空间两个领域完成。各传感器特征的融合系数通过矩阵进行结合，而非简单的数值运算，因此可以将特征间的关系考虑进去。利用Kalman滤波器特性，由估计状态向量得到的结果返回滤波器作为观测向量，因此整个融合任务是一个闭环系统，并且视频的每一帧仅用一个时空系数矩阵就可以完成。克服了现有技术中存在的没有考虑各传感器特征模型间的关系，且空间融合系数缺少时空适用性的不足。

附图说明

图1为本发明一个较佳实施例中的基于Kalman滤波器的压缩时空融合跟踪方法算法流程图；

图2为本发明一个较佳实施例中的融合规则算法理论框架；

图3为本发明一个较佳实施例中的在第一组视频上试验的跟踪误差对比曲线图；

图4为本发明一个较佳实施例中的在第一组视频上试验的融合系数图；

图5为本发明一个较佳实施例中的在第二组视频上试验的跟踪误差对比曲线图；

图6为本发明一个较佳实施例中的在第二组视频上试验的融合系数图；

图7为本发明一个较佳实施例中的在第三组视频上试验的跟踪误差对比曲线图。

图8为本发明一个较佳实施例中的在第二组视频上试验的融合系数图。

具体实施方式

下面结合附图对本发明的优选实施例作详细说明。

图1为本发明基于基于Kalman滤波器的压缩时空融合跟踪方法的流程图，图2为本发明的融合规则算法理论框架，该方法的步骤如下：

（1）对样本图像块计算可见光与红外压缩特征向量；

（2）按图2的融合规则，计算关联特征向量V；

（3）按图2的融合规则，计算空间系数矩阵C_S；

（4）用Kalman滤波器估计时间系数矩阵C_T；

（5）求得时空系数矩阵C_T-S；

（6）按图2的融合规则，计算融合特征向量V_F，并将其反馈以训练滤波器；

（7）将融合特征向量V_F作为贝叶斯分类器的输入，并用最大分类器反馈得到跟踪目标位置，如图1所示；

（8）在目标周围采取正样本，在离目标一定距离范围内采取负样本。并更新分类器。

对于提取压缩向量，首先提取样本图像块：

为样本图像块的多尺度高维图像空间；然后，引入一个随机矩阵

将

压缩为低维空间

v=Rx

其中，m＜＜n，随机矩阵R定义为

$r_{\mathrm{ij}}=\sqrt{s}\×\left\{\begin{array}{cc}1& \mathrm{with\; probability}\frac{1}{2s}\\ 0& \mathrm{with\; probability}1-\frac{1}{s}\\ -1& \mathrm{with\; probability}\frac{1}{2s}.\end{array}\right.$

当s=2 or 3时，R满足Johnson-Lindenstrauss引理，即保证从x映射到v的过程具有最小误差，低维特征向量

中的每个元素vi都是不同尺度空间分布矩形特征的线性组合，用Haar-like特征来表述不同尺度上的空间分布矩形特征；得到可见光与红外的低维特征向量 $v_c={[v_c^{\left(1\right)},v_c^{\left(2\right)},...,v_c^{\left(m\right)}]}^T,c\∈\{\mathrm{vis},\mathrm{IR}\}.$

已知特征向量其中vis和IR分别表示可见光和红外传感器。每个

表示尺寸为1×k的第c个传感器的第i个特征值向量，其中m是Haar-like特征数，k是样本框尺寸；将v_c转化为一个新的关联特征向量： $V={[v_{\mathrm{vis}}^T,v_{\mathrm{IR}}^T]}^T.$

空间系数矩阵创建过程为：通过当前帧特征向量

和前一帧特征向量

建立传感器模型，其中t表示帧数，当为当前帧时，可以省略；将

作为目标模板；用似然函数定义传感器似然向量

则

其中控制参数λ_c用来控制每个传感器特征的重要性，

是一个用欧氏距离定义的距离向量 ${\mathrm{\ρ}}_c^{\left(i\right)}=\frac{1}{N^{\left(i\right)}}\sqrt{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}{|v_c^{\left(i\right)\left(j\right)}\left(t\right)-v_c^{\left(i\right)\left(j\right)}(t-1)|}^2},i=1,...,m,$ 其中N是在时间范围内的归一化向量，定义为 $N^{\left(i\right)}=\sqrt{\underset{j=1}{\overset{k}{\mathrm{\Σ}}}({\left[v_c^{\left(i\right)\left(j\right)}\left(t\right)\right]}^2+{\left[v_c^{\left(i\right)\left(j\right)}(t-1)\right]}^2)};$ 预测权值向量的第i个元素可以在传感器范围内归一化定义为：

$w_c^{\left(i\right)}=p_c^{\left(i\right)}/\underset{c}{\mathrm{\Σ}}{p}_c^{\left(i\right)},c\∈\{\mathrm{vis},\mathrm{IR}\},i=1,...,m$

定义一个2m×2m的对角化空间系数矩阵

$C_S=\mathrm{diag}\{w_{\mathrm{vis}}^{\left(1\right)},\·\·\·,w_{\mathrm{vis}}^{\left(m\right)},w_{\mathrm{IR}}^{\left(1\right)},\·\·\·,w_{\mathrm{IR}}^{\left(m\right)}\}$

各传感器的预测权值可以通过矩阵C_S中的置信度较好的描述，得到V和C_S后，对各传感器的特征极其对应的权值在空间上做了描述。

时间系数矩阵创建过程为利用Kalman滤波器中的布朗随机游走模型估计所述时间系数矩阵C_T，Kalman滤波器中的布朗随机游走模型问题可以描述为：

预测阶段，状态和误差协方差预测为：

x(t)=F·x(t-1)

P(t|t-1)=F·P(t|t-1)·F′+Q

量测阶段，用下式更新Kalman滤波器：

x(t|t)=x(t|t-1)+Kg(t)·[z(t)-H·x(t|t-1)]

Kg(t)=P(t|t-1)·H′·[H·P(t|t-1)·H′+R]^-1

P(t|t)=[I-Kg(t)·H]·P(t|t-1)

其中

和

分别为状态和量测向量。状态转移矩阵F是一个单位矩阵，H是量测矩阵。随机游走模型在分析时间序列上为一些实际问题提供了基础。该具有结构化特征的状态空间模型中，x(t)表示系统随时间的发展，同时z(t)与上述状态空间模型的状态相对应；

定义一个2m²×1的状态向量

其中

是

的第i个行向量。同时，定义一个mk×1的观测向量 $z={[{{\stackrel{\‾}{V}}_F}^{\left(1\right)},\·\·\·,{{\stackrel{\‾}{V}}_F}^{\left(m\right)}]}^T,$ 其中 ${{\stackrel{\‾}{V}}_F}^{\left(i\right)}=[{V_F}^{\left(i\right)\left(1\right)}\·\·\·,{V_F}^{\left(i\right)\left(k\right)}],i=1,\·\·\·,m$ 是V_F的第i个行向量，因此，Kalman滤波器的状态和观测方程定义为：

$\left\{\begin{array}{c}x\left(t\right)=F\·x(t-1)+w\\ z\left(t\right)=H\·x\left(t\right)+v\end{array}\right.$

其中观测矩阵H定义为

系统噪声w～N(0,Q)和量测噪声v～N(0,R)是互相独立的零均值高斯噪声向量，协方差分别为Q=0.1和R=1.0。本发明中，C_T的初值设为其中，I_m是m×m的单位矩阵；

利用Kalman滤波器在不同时刻有效的估计时间系数矩阵C_T，而结合关联特征向量V和空间系数矩阵C_S，可以求得融合特征向量V_F。将V_F作为基础，计算Kalman滤波器的观测值，从而作为反馈更新滤波器，使得整个融合任务是一个闭环系统。基于Kalman滤波器模型，我们的融合跟踪方法可以获得准确的目标跟踪结果。

时空系数矩阵通过结合时间与空间系数矩阵计算求得。为了更新关联特征向量，定义一个时空系数矩阵：

C_T-S=C_T·C_S。

因此，通过结合时间和空间系数矩阵，融合系数可以更好的在时间空间上相应的描述。

融合特征向量由关联特征向量更新得到，并将其反馈用以其训练滤波器。因此，整个融合任务是一个闭环系统，并且视频的每一帧仅用一个时空系数矩阵就可以完成。

得到各传感器的融合系数表示后，我们通过

V_F=C_T-S·V

来计算融合特征向量V_F。我们将V_F反馈回Kalman滤波器，用作滤波器的观测向量，并更新滤波器的参数。同时，将V_F输入分类器进行跟踪。

假设融合特征向量V_F中的每个元素都是独立分布。我们用贝叶斯分类器H(v)对其进行建模：

$H\left(v\right)=\log \left(\frac{{\∏}_{i=1}^{n}p\left(v_i\right|y=1)p(y=1)}{{\∏}_{i=1}^{n}p\left(v_i\right|y=0)p(y=0)}\right)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\log \left(\frac{p\left(v_i\right|y=1)}{p\left(v_i\right|y=0)}\right),$

我们假设初始值p(y=1)=p(y=0)，且y∈{0,1}表示正负样本标签。假设分类器H(v)中的条件分布p(v_i|y=1)和p(v_i|y=0)是贝叶斯分布，其参数为 $({\mathrm{\μ}}_i^1,{\mathrm{\σ}}_i^1,{\mathrm{\μ}}_i^0,{\mathrm{\σ}}_i^0),$ $p\left(v_i\right|y=1)~N({\mathrm{\μ}}_i^1,{\mathrm{\σ}}_i^1),$ $p\left(v_i\right|y=0)~N({\mathrm{\μ}}_i^0,{\mathrm{\σ}}_i^0).$

在映射空间中，为了更好的描述特征，对H(v)中的标量参数进行增量更新。

${\mathrm{\μ}}_i^1\←{\mathrm{\λ\μ}}_i^1+(1-\mathrm{\λ}){\mathrm{\μ}}^1$

${\mathrm{\σ}}_i^1\←\sqrt{\mathrm{\λ}{\left({\mathrm{\σ}}_i^1\right)}^2+(1-\mathrm{\λ}){\left({\mathrm{\σ}}^1\right)}^2+\mathrm{\λ}(1-\mathrm{\λ}){({\mathrm{\μ}}_i^1-{\mathrm{\μ}}^1)}^2},$

其中训练参数λ>0，且 ${\mathrm{\σ}}^1=\sqrt{\frac{1}{n}{\mathrm{\Σ}}_{k=0|y=1}^{n-1}{(v_i\left(k\right)-{\mathrm{\μ}}^1)}^2},$ ${\mathrm{\μ}}^1=\frac{1}{n}{\mathrm{\Σ}}_{k=0|y=1}^{n-1}{v}_i\left(k\right).$

然后，跟踪结果位置既是分类器值H(v)的最大值对应的样本框位置。得到跟踪结果后，在目标周围采取正样本，在离目标一定距离范围内采取负样本。并更新分类器，为下一帧跟踪做准备。

图2为本发明一个较佳实施例中的融合规则算法理论框架；其中v_vis和v_IR分别是可见光与红外传感器的特征向量，w_vis和w_IR分别是可见光与红外传感器的预测权值向量，V是关联特征向量，C_S是空间系数矩阵，C_T(t)是t时刻的时间系数矩阵，C_T(t-1)是t-1时刻的时间系数矩阵，C_T-S是时空系数矩阵，V_F是融合特征向量。

图3～8为本发明跟踪试验结果。本发明中的方法与三种跟踪方法进行对比试验：一种实时压缩跟踪算法（简称：CT;[Kaihua Zhang,LeiZhang.Real-TimeCompressive Tracking.ECCV 2012,Part III,LNCS 7574,pp.866-879,2012]），一种基于在线多实例学习的鲁棒目标跟踪方法（简称：MIL；[Babenko,B.,Yang,M.-H.,Belongie,S.:Robust object tracking with online multiple instance learning.PAMI 33,1619-1632(2011)]），以及一种基于模糊区域化动态图像融合的多传感器Mean-shift目标跟踪方法（简称：FRDIF-MMT；[Gang Xiao,Xiao Yun,Jianmin Wu.A Multi-cue Mean-shift Target Tracking Approach Based onFuzzified Region Dynamic Image Fusion.Sci China Ser F InfSci,55(3):577-589(2012)]）。将这三种方法与本发明的方法进行对比，得到跟踪像素误差对比，如图3、图5和图7，其中真实位置手工框定。本发明中，在时空系数矩阵C_T-S的可见光与红外融合系数中随机抽取一组进行对比，如图4、图6和图8。

如图3所示，是第一组视频的跟踪误差对比曲线。视频1的困难在于背景变化与相似性。其中，人物目标经过的地面颜色和纹理产生变化，且有相似人物在目标周围经过，这都为准确跟踪提出了挑战。其中CT和MIL方法都错跟到了相似物体上，而FRDIF-MMT错跟到其他背景上，只有本发明的方法跟踪准确。为了表示方便，图3中只截取对比度强烈的曲线部分。当地面颜色纹理变化时，因为可见光对应的背景纹理也变化，以至于可见光跟踪不稳定，所以红外融合系数会变大，而当另一个人接近人物目标时，由于红外跟踪无法区分人与人，因此可见光的融合系数相应增大，融合系数对比如图4。

如图5所示，是第二组视频的跟踪误差对比曲线。视频2的困难在于人物目标被电线杆部分遮挡。只有本发明的方法能够成功跟踪到目标，其他方法在人物目标被遮挡后，都将目标丢失，从而跟踪失败。融合系数对比如图6。

如图7所示，是第三组视频的跟踪误差对比曲线。视频3的困难在于人物目标被大片树叶全部遮挡，并且遮挡物、背景与目标颜色纹理接近。只有本发明的方法能够克服表观突变，从而成功跟踪到目标。为了表示方便，图7中只截取对比度强烈的曲线部分。融合系数对比如图8。

可见，本发明的基于Kalman滤波器的压缩时空融合跟踪方法，具有较好的跟踪效果，为多传感器融合跟踪提供了一种非常有效的技术手段。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在本发明的权利要求保护范围内。

Claims (6)

1.一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法，其特征在于，包括以下步骤： 

步骤1）输入可见光与红外图像； 

步骤2）对所述可见光和红外图像的前一帧图像的目标取样本图像块，其中，第一帧的目标位置手工框定，利用压缩感知原理，将所述样本图像块高维空间映射为低维空间，在可见光与红外样本中分别计算样本压缩特征向量，得到可见光与红外的低维特征向量； 

步骤3）通过传感器的特征向量得到关联特征向量； 

步骤4）通过所述传感器特征向量与模板的似然函数建立空间系数矩阵； 

步骤5）基于Kalman滤波器对时间系数矩阵进行估计，根据所述Kalman滤波器在不同时刻进行预测来估计得到时间系数矩阵； 

步骤6）结合所述时间与空间系数矩阵计算得到时空系数矩阵； 

步骤7）所述关联特征向量和所述时空系数矩阵相乘得到融合特征向量，并将所述融合特征向量反馈用来训练所述Kalman滤波器，形成一个闭环系统； 

步骤8）通过贝叶斯分类器对所述融合特征向量进行建模，所述分类器值的最大值对应的样本框位置即为跟踪结果位置，得到跟踪结果后，提取正负样本，并更新所述贝叶斯分类器，为下一帧跟踪做准备； 

步骤9）输出所述跟踪位置、所述分类器以及所述Kalman滤波器参数。 

2.根据权利要求1所述一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法，其特征在于，所述步骤2）计算所述样本压缩向量步骤如下： 

步骤2-1）提取样本图像块，得到样本图像块的多尺度高维图像空间

步骤2-2）通过一个随机矩阵将

压缩为低维空间

v=Rx 

其中，m＜＜n，随机矩阵R定义为 

取s=2或3； 

步骤2-3）得到可见光与红外的低维特征向量

3.根据权利要求1所述一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法，其特征在于，所述步骤3）中所述关联特征向量由所述已知特征向量 

其中vis和IR分别表示可见光和红外传感器。每个

表示尺寸为1×k的第c个传感器的第i个特征值向量，其中m是Haar-like特征数，k是样本框尺寸，通过融合规则转化为一个新的关联特征向量 

。

4.根据权利要求1所述一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法，其特征在于，所述步骤4）中所述空间系数矩阵创建步骤如下： 

步骤4-1）通过当前帧特征向量和前一帧特征向量建立传感器模型，其中t表示帧数，当为当前帧时，可以省略； 

步骤4-2）将

作为目标模板； 

步骤4-3）用似然函数定义传感器似然向量

则

其中控制参数λ_c用来控制每个传感器特征的重要性，是一个用欧氏距离定义的距离向量

其中N是在时间范围内的归一化向量，定义为

步骤4-4）预测权值向量的第i个元素可以在传感器范围内归一化定义为： 

步骤4-5）定义一个2m×2m的对角化空间系数矩阵 

可以通过矩阵C_S中的置信度得到各传感器的预测权值，得到V和C_S后，即对对各传感器的特征极其对应的权值在空间上做了描述。 

5.根据权利要求1所述一种基于Kalman滤波器的压缩时空多传感器融合跟踪方法，其特征在于，所述步骤5）中所述时间系数矩阵创建步骤如下： 

步骤5-1）利用Kalman滤波器中的布朗随机游走模型估计所述时间系数矩阵C_T； 

步骤5-2）结合关联特征向量V和空间系数矩阵C_S，求得融合特征向量V_F； 

步骤5-3）将V_F作为基础，计算Kalman滤波器的观测值，作为反馈更新滤波器，使得整个融合任务是一个闭环系统。 

6.根据权利要求1所述一种基于Kalman滤波器的压缩时空多传感器融合跟 踪方法，其特征在于，所述步骤8）中所述分类器跟踪过程如下： 

步骤8-1）用贝叶斯分类器H(v)对融合特征向量V_F其进行建模： 

其中，假设初始值p(y=1)=p(y=0)，且y∈{0,1}表示正负样本标签，假设分类器H(v)中的条件分布p(v_i|y=1)和p(v_i|y=0)是贝叶斯分布，其参数为 

步骤8-2）在映射空间中，对H(v)中的标量参数进行增量更新： 

其中训练参数λ>0，且

步骤8-3）跟踪结果位置既是分类器值H(v)的最大值对应的样本框位置，得到跟踪结果后，在目标周围采取正样本，在离目标一定距离范围内采取负样本； 

步骤8-4）更新分类器，为下一帧跟踪做准备。 

Images