CN107316321B - 多特征融合目标跟踪方法及基于信息熵的权值自适应方法 - Google Patents

Abstract

本发明公开了一种多特征融合目标跟踪方法及基于信息熵的权值自适应方法，其中，多特征融合目标跟踪方法包括以下步骤：S1、构建系统状态模型和系统观测模型；S2、根据系统状态模型，采样得到当前时刻的粒子集；S3、提取候选目标的多个特征，并计算相关系数和相关距离；S4、加权融合各特征，并计算粒子的先验概率密度似然函数，预测目标的位置。与现有技术相比，本发明的有益效果是：利用颜色、纹理及边缘特征进行目标特征提取，及引用相关性测量多特征的相关距离，从而提高了多特征对目标描述的准确性和全面性。以及基于信息熵的自适应更新多特征融合的权值，提高了方法对抗复杂场景的鲁棒性以及运行效率，适用于目标被遮挡，背景光照不断变化，目标的尺度变化等复杂场景。

Description

多特征融合目标跟踪方法及基于信息熵的权值自适应方法

技术领域

本发明属于计算机视觉领域，具体涉及一种多特征融合目标跟踪方法及基于信息熵的权值自适应方法，可用于复杂情况干扰下目标的连续稳定跟踪。

背景技术

目标跟踪是军用探测系统和民用监控系统的重要任务之一。目标跟踪，指的是在视频序列中确定感兴趣的运动目标的大小，位置和运动轨迹，从而为更高层的处理和分析奠定基础。然而，目前研究跟踪方法的仍存在很多难点，主要包含有四大类：(1)复杂的环境背景：在恶劣的雨、雪、雾、霾等天气条件下，图像因复杂背景带来视觉效果的模糊，使得目标特征难以通过传统的基于特征的跟踪方法进行提取。另外，传感器噪声、以及相机抖动等干扰，给图像处理及目标跟踪带来困难。(2)复杂跟踪场景干扰：真实的目标场景复杂多变，对运动目标检测跟踪造成各种各样的干扰，从而影响人们对事物的判断。如：不断变化的光照条件，与目标相似物体的干扰，目标被部分或严重遮挡等情况。(3)目标运动形式多变：目标运动中发生形状，尺度，旋转，以及运动模糊等变化，导致目标的外观发生大幅度的变化，这对于目标检测跟踪提出了很高的要求。(4)实时性要求：智能视频监控最重要的需求之一就是实时性。然而，提高检测跟踪方法的实时性，自然会影响到方法的计算量，从而影响方法跟踪结果的准确性。因此，方法需要考虑如何适应场景的变化和干扰，准确地描述目标的特征，更好地兼顾方法的准确性和实时性，保证不会出现错误跟踪或跟踪目标丢失等情况。

目前用于运动目标的跟踪方法主要分为四大类：基于特征点的跟踪、基于区域的跟踪、基于光流的跟踪、基于活动轮廓的跟踪。基于特征点的跟踪方法通常指的是通过跟踪在目标上具有多个方向的一组奇点信息来实现目标跟踪，并且可以精确地将特征点的信息应用于匹配减轻。该方法可以很好地解决部分遮挡问题，但要保证能够准确地提取和保存特征点信息。基于区域的跟踪方法主要通过创建用来表征运动目标特征的模板，并与目标进行匹配，从而确定目标的位置。方法适用于形变较小，且无遮挡的目标，跟踪准确且稳定。但缺点是方法计算量较大。基于光流的跟踪方法，充分利用视频序列在前景的运动特性来实现目标跟踪。光流法分为全局光流法和特征点光流法。全局光流法在复杂背景中的跟踪效果较好，但是计算量相对较大。特征点光流法速度较快，但效果一般。基于活动轮廓的跟踪方法结合图像特征和闭合曲线轮廓来构造能量函数，通过求解最小化的能量来跟踪目标。方法考虑目标整体轮廓的几何信息，因而可靠性较高。但是方法的计算量相对较大，对于快速移动或形变较大的目标的跟踪效果不是十分理想。

考虑到单一的特征提取方法不能足够准确地描述目标,并且随后的轨迹评估也缺乏鲁棒性。许多学者通过结合多个特性和自适应融合方法，来实现更加稳定的跟踪。然而,大多数的目标跟踪方法中，对目标特征的表达能力较弱，缺乏适应环境变化的融合策略，跟踪的结果或者对某些目标的形态变化敏感，或者对复杂场景中的适应能力有限，或者运算复杂度较高，从而导致跟踪方法的可靠性较低，鲁棒性较差，限制了方法的研究和应用范围。因此,迫切需要一个能够在复杂的场景中，能够保持准确、鲁棒和自动的目标跟踪方法。

发明内容

本发明的目的在于提供一种多特征融合目标跟踪方法及基于信息熵的权值自适应方法,以提高方法的准确性、鲁棒性和实时性。该方法基于粒子滤波的基本思想，首先构建系统状态模型和系统观测模型，并进行粒子采样，得到当前时刻的粒子集。然后对目标进行多特征提取，并利用相关性公式，计算相关系数和相关距离，增加描述观测目标的准确性和全面性。最后，方法采用基于信息熵的线性加权融合策略，根据各个特征的先验概率密度似然函数的信息熵，自适应地调节各特征融合的权值，提高跟踪方法的鲁棒性和运行效率。

为实现上述目的，本发明提供如下技术方案：多特征融合目标跟踪方法，其特征在于，包括以下步骤：

S1、构建系统状态模型x_k＝Φx_k-1+Γu_k-1和系统观测模型z_k＝tan^-1(y_k/x_k)+v_k；

S2、根据系统状态模型，采样得到当前时刻的粒子集

S3、提取候选目标的第一特征、第二特征及第三特征，并计算相关系数和相关距离，所述相关系数和相关距离可用于衡量目标模型与候选目标的特征参数之间的相似性；

S4、加权融合所述第一特征、第二特征及第三特征，并计算粒子的先验概率密度似然函数，预测目标的位置。

优选方案，多特征加权融合得到粒子的先验概率密度似然函数的过程通过以下公式实现：

其中，

和

分别表示第一特征、第二特征及第三特征对粒子预测的先验概率密度似然函数；

α，β和γ为权值系数，并同时满足：0≤α≤1，0≤β≤1，0≤γ≤1，α+β+γ＝1。

优选方案，所述跟踪方法在加权融合多项特征以获得粒子的先验概率密度似然函数之前，包括步骤：

a1、根据各个特征先验概率密度似然函数的信息熵判断是否对当前权值系数进行更新；

a2、如需更新，则更新现有权值系数，并根据更新后的权值系数计算以预测目标位置。

优选方案，步骤a1包括以下步骤：

a11、根据公式

计算样本集X的信息熵，其中，n代表样本集X的分类数，p_i代表X中第i类元素出现的概率；

获得第一特征、第二特征及第三特征的先验概率密度似然函数的信息熵H_a、H_b及H_c分别如下：

a12、根据信息熵转换获得信息熵比值：L＝H_a/(H_b+H_c)和M＝H_b/H_c，根据L和M取值范围，调整权值系数α、β和γ。

优选方案，各特征对应的权值系数大小关系与所述特征似然函数熵的大小关系一致。

优选方案，所述第一特征、第二特征及第三特征分别为目标的颜色特征、纹理特征和边缘特征。

优选方案，所述权值系数α、β和γ根据下表取值：

基于信息熵的权值自适应方法，其特征在于，包括步骤：

B1、根据公式

计算样本集X的信息熵，其中，n代表样本集X的分类数，p_i代表X中第i类元素出现的概率；

获得第一特征、第二特征及第三特征的先验概率密度似然函数的信息熵H_a、H_b及H_c分别如下：

B2、根据信息熵转换获得信息熵比值：L＝H_a/(H_b+H_c)和M＝H_b/H_c，根据L和M取值范围，调整权值系数α、β和γ。

优选方案，各特征对应的权值系数大小关系与所述特征似然函数熵的大小关系一致。

优选方案，所述第一特征、第二特征及第三特征分别为目标的颜色特征、纹理特征和边缘特征。

优选方案，所述权值系数α、β和γ根据下表取值：

与现有技术相比，本发明的有益效果是：利用颜色、纹理及边缘特征进行目标特征提取，及引用相关性测量多特征的相关距离，从而提高了多特征对目标描述的准确性和全面性。以及基于信息熵的自适应更新多特征融合的权值，提高了方法对抗复杂场景的鲁棒性以及运行效率，适用于目标被遮挡，背景光照不断变化，目标的尺度变化等复杂场景。

附图说明

图1所示为本发明实施例的多特征融合目标跟踪方法流程图示；

图2所示为根据本发明实施例的多特征融合目标跟踪方法及基于信息熵的权值自适应方法获得的监控视频中车辆跟踪与粒子滤波方法及时空上下文跟踪方法的跟踪效果对比图示；

图3所示为根据本发明实施例的多特征融合目标跟踪方法及基于信息熵的权值自适应方法获得的低光照复杂灯光背景下跳舞者跟踪与粒子滤波方法及时空上下文跟踪方法的跟踪效果对比图示。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1、图2及图3：

本实施例的多特征融合目标跟踪方法，包括以下步骤：

S1、构建系统状态模型x_k＝Φx_k-1+Γu_k-1和系统观测模型z_k＝tan^-1(y_k/x_k)+v_k；

S2、根据系统状态模型，采样得到当前时刻的粒子集

S3、提取候选目标的第一特征、第二特征及第三特征，并计算相关系数和相关距离，所述相关系数和相关距离可用于衡量目标模型与候选目标的特征参数之间的相似性；

S4、加权融合所述第一特征、第二特征及第三特征，并计算粒子的先验概率密度似然函数，预测目标的位置。

优选实施例方案，多特征加权融合得到粒子的先验概率密度似然函数的过程通过以下公式实现：

其中，

和

分别表示第一特征、第二特征及第三特征对粒子预测的先验概率密度似然函数；

α，β和γ为权值系数，并同时满足：0≤α≤1，0≤β≤1，0≤γ≤1，α+β+γ＝1。

优选实施例方案，所述跟踪方法在加权融合多项特征以获得粒子的先验概率密度似然函数之前，包括步骤：

a1、根据各个特征先验概率密度似然函数的信息熵判断是否对当前权值系数进行更新；

a2、如需更新，则更新现有权值系数，并根据更新后的权值系数计算以预测目标位置。

优选实施例方案，步骤a1包括以下步骤：

a11、根据公式

计算样本集X的信息熵，其中，n代表样本集X的分类数，p_i代表X中第i类元素出现的概率；

获得第一特征、第二特征及第三特征的先验概率密度似然函数的信息熵H_a、H_b及H_c分别如下：

a12、根据信息熵转换获得信息熵比值：L＝H_a/(H_b+H_c)和M＝H_b/H_c，根据L和M取值范围，调整权值系数α、β和γ。

优选实施例方案，各特征对应的权值系数大小关系与所述特征似然函数熵的大小关系一致。

优选实施例方案，所述第一特征、第二特征及第三特征分别为目标的颜色特征、纹理特征和边缘特征。

优选实施例方案，所述权值系数α、β和γ根据下表取值：

基于信息熵的权值自适应方法，包括步骤：

B1、根据公式

计算样本集X的信息熵，其中，n代表样本集X的分类数，p_i代表X中第i类元素出现的概率；

获得第一特征、第二特征及第三特征的先验概率密度似然函数的信息熵H_a、H_b及H_c分别如下：

B2、根据信息熵转换获得信息熵比值：L＝H_a/(H_b+H_c)和M＝H_b/H_c，根据L和M取值范围，调整权值系数α、β和γ。

优选实施例方案，各特征对应的权值系数大小关系与所述特征似然函数熵的大小关系一致。

优选实施例方案，所述第一特征、第二特征及第三特征分别为目标的颜色特征、纹理特征和边缘特征。

优选实施例方案，所述权值系数α、β和γ根据下表取值：

以下为本发明的另一优选实施方式：

步骤1：构建系统状态模型和观测模型，并采样得到当前时刻的粒子集；

根据系统状态向量的经验条件分布，在状态空间采样产生一组随机样本集合，这些样本集合称为粒子。根据系统状态方程式采样得到当前k时刻粒子集

并传递当前时刻的粒子获得下一时刻的粒子集，其中，N表示粒子的个数，i表示粒子的序号。该方法可以用来估计任意非线性非高斯随机系统的状态和参数。

假设

为系统的k时刻状态值，即x_k,y_k表示k时刻目标在坐标系x,y方向上的位置，

表示k时刻目标在坐标系x,y方向上的速度。令z_k为k时刻的观测角度。

为k-1时刻x,y方向上的系统噪声，v_k为k时刻的观测噪声。设定系统噪声和测量噪声为零均值高斯白噪声。系统状态模型和系统观测模型分别如式(1)和式(2)所示。

x_k＝Φx_k-1+Γu_k-1,k＝1,2,...,n (1)

z_k＝tan^-1(y_k/x_k)+v_k,k＝1,2,...,n (2)

其中，设置参数为

步骤2：分别提取目标的多个特征，并计算目标模型与候选目标间的相似性；

常用的目标特征有：颜色特征、纹理特征、边缘特征等。我们采用相关性来表示目标模型与候选目标间的相似性。相关系数是衡量随机变量X与Y相关程度的一种方法，相关系数的取值范围是[-1,1]。相关系数的绝对值越大，则表明X与Y相关度越高，即目标特征与候选区域越相似。当X与Y线性相关时，相关系数取值为1，表示正线性相关，或者取值为-1，则表示负线性相关。假设q表示目标模型特征，p表示候选目标特征。那么，目标模型与候选目标之间的相关系数ρ_qp和相关距离D_qp的定义分别如式(3)和式(4)所示：

D_qp＝1-ρ_qp (4)

其中，Cov(q,p)表示q与p的协方差，D(q)与D(p)分别表示q与p的方差值，Eq与Ep分别表示q与p的期望值。

步骤3：计算粒子的各个特征的先验概率密度似然函数，并采用多特征线性加权策略进行融合；

似然函数代表分布的混乱程度或分散程度。粒子分布越分散，似然函数值越小，粒子越集中，似然函数值越大。由于观测噪声与系统状态相互独立，观测噪声为零均值高斯白噪声，因此先验概率密度似然函数p_x(Z|X)表示为：

其中D为相关距离，σ是高斯噪声的标准方差，p_x(Z|X)是系统状态模型下先验概率密度似然函数，p_v(Z|X)是由于观测噪声与系统状态相互独立，系统状态模型下先验概率密度似然函数等同于系统观测模型下先验概率密度似然函数，Z是系统观测模型，X是系统状态模型，exp是观测噪声为零均值高斯白噪声时的概率密度函数近似表达算符。用

表示粒子i的观测似然模型，采用多特征线性加权融合策略得粒子的先验概率密度似然函数为

权值α、β和γ满足：(0≤α,β,γ≤1)，α+β+γ＝1。

步骤4：根据各个特征的先验概率密度似然函数的信息熵比值，对多特征融合的先验概率密度似然函数的系数进行自适应更新；

信息熵能够用来衡量分布的混乱程度或分散程度，因此引入信息熵对多特征线性融合的权值进行自适应更新。信息熵越大，不确定性越大，每个粒子的观测似然分布越趋向于相等，即粒子的权值分布越均匀，所对应多特征的鉴别能力越弱，该特征所对应的权值应当越小，反之权值应当越大。计算给定的样本集X的信息熵的公式：

其中，n代表样本集X的分类数，p_i代表X中第i类元素出现的概率。分开计算多个特征的先验概率密度似然函数的信息熵：

根据L＝H_a/(H_b+H_c)和M＝H_b/H_c，查询下表选择权值。从表中看出，A特征的似然函数熵小于B特征的似然函数熵，此时A特征的鉴别能力强于B特征，A特征对应权值取较小值，反之，对应权值取较大值。我们将三种特征分为两组，先将纹理和边缘特征的似然函数的整体看为一组。根据L查表(分表1)，确定出颜色特征的加权系数，以及纹理和边缘特征的似然函数的整体系数。然后再根据M查表(分表2)，分别确定出纹理和边缘特征的似然函数的加权系数，乘以整体系数，就是它们最后的加权系数。

基于信息熵的自适应特征融合权值表(合表)

基于信息熵的自适应特征融合权值表(分表1)

基于信息熵的自适应特征融合权值表(分表2)

图2和图3为采用本发明的方案，并选择颜色、纹理和边缘作为第一、第二及第三特征，信息熵的自适应特征融合权值表采用上表，以监控视频中车辆跟踪及低光照复杂灯光背景下跳舞者跟踪为试验对象，获得的与粒子滤波方法及时空上下文跟踪方法的跟踪效果对比图。

其中自上而下依次是本实施例、粒子滤波方法及时空上下文跟踪方法的效果图示。图2中：本实施例经过了两车交会、障碍物(路边的树)严重遮挡等环境后仍能完全跟踪；粒子滤波方法在第565帧障碍物遮挡、第610帧两车交会、第687帧及第785帧障碍物遮挡中都存在不同程度的识别错误；时空上下文跟踪方法在第610帧两车交会、第687帧及第785帧障碍物遮挡中也存在一定程度的识别错误。图3中：本实施例在全过程实现了准确跟踪；粒子滤波方法在第208帧出现对象识别不全，第275帧出现跟丢的情况；时空上下文跟踪方法在第275帧出现识别错误，具体表现为识别时将背景光照(地面的反光区域)识别为了目标对象。

在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“根部”、“内”、“外”、“外围”、“里侧”、“内侧”、“外侧”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了使于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。其中，“里侧”是指内部或围起来的区域或空间。“外围”是指某特定部件或特定区域的周围的区域。

在本发明的实施例的描述中，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

在本发明的实施例的描述中，需要理解的是，“-”和“～”表示的是两个数值之同的范围，并且该范围包括端点。例如:“A-B”表示大于或等于A，且小于或等于B的范围。“A～B”表示大于或等于A，且小于或等于B的范围。

在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.多特征融合目标跟踪方法，其特征在于，包括以下步骤：

S1、构建系统状态模型x_k＝Φx_k-1+Γu_k-1和系统观测模型z_k＝tan^-1(y_k/x_k)+v_k，z_k为k时刻的观测角度，x_k,y_k表示k时刻目标在坐标系x,y方向上的位置，u_k-1为k-1时刻x,y方向上的系统噪声，k_v为k时刻的观测噪声；

S2、根据系统状态模型，采样得到当前时刻的粒子集

S3、提取候选目标的第一特征、第二特征及第三特征，并计算相关系数和相关距离，所述相关系数和相关距离可用于衡量目标模型与候选目标的特征参数之间的相似性，第一特征、第二特征及第三特征分别为目标的颜色特征、纹理特征和边缘特征；

S4、加权融合所述第一特征、第二特征及第三特征，并计算粒子的先验概率密度似然函数，预测目标的位置；

所述跟踪方法在加权融合多项特征以获得粒子的先验概率密度似然函数之前，包括步骤：

a1、根据各个特征先验概率密度似然函数的信息熵判断是否对当前权值系数进行更新；

a2、如需更新，则更新现有权值系数，并根据更新后的权值系数计算以预测目标位置；

步骤a1包括以下步骤：

a11、根据公式

计算样本集X的信息熵，其中，n代表样本集X的分类数，p_i代表X中第i类元素出现的概率；

获得第一特征、第二特征及第三特征的先验概率密度似然函数的信息熵H_a、H_b及H_c分别如下：

多特征加权融合得到粒子的先验概率密度似然函数的过程通过以下公式实现：

其中，

和

分别表示第一特征、第二特征及第三特征对粒子预测的先验概率密度似然函数；

α，β和γ为权值系数，并同时满足：0≤α≤1，0≤β≤1，0≤γ≤1，α+β+γ＝1；

a12、根据信息熵转换获得信息熵比值：L＝H_a/(H_b+H_c)和M＝H_b/H_c，根据L和M取值范围，调整权值系数α、β和γ。

2.根据权利要求1所述的多特征融合目标跟踪方法，其特征在于，各特征对应的权值系数大小关系与所述特征似然函数熵的大小关系一致。

3.根据权利要求2所述的多特征融合目标跟踪方法，其特征在于，所述权值系数α、β和γ根据下表取值：

4.基于信息熵的权值自适应方法，其特征在于，包括步骤：

B1、根据公式

计算样本集X的信息熵，其中，n代表样本集X的分类数，p_i代表X中第i类元素出现的概率；

获得第一特征、第二特征及第三特征的先验概率密度似然函数的信息熵H_a、H_b及H_c分别如下：

所述先验概率密度似然函数的过程通过以下公式实现：

其中，

和

分别表示第一特征、第二特征及第三特征对粒子预测的先验概率密度似然函数；

α，β和γ为权值系数，并同时满足：0≤α≤1，0≤β≤1，0≤γ≤1，α+β+γ＝1；

所述第一特征、第二特征及第三特征分别为目标的颜色特征、纹理特征和边缘特征；

B2、根据信息熵转换获得信息熵比值：L＝H_a/(H_b+H_c)和M＝H_b/H_c，根据L和M取值范围，调整权值系数α、β和γ。

5.根据权利要求4所述的基于信息熵的权值自适应方法，其特征在于，各特征对应的权值系数大小关系与所述特征似然函数熵的大小关系一致。

Images