CN104463907A - 一种基于视觉显著性特征的自适应目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于视觉显著性特征的自适应目标跟踪方法，其特征在于包括以下步骤：（1）建立彩色图像四元数模型，提取图像四个通道的特征信息并行处理，检测图像视觉显著图（saliency map）；（2）基于检测到的视觉显著图，提取视觉显著性特征核直方图，并采取Bhattacharyya 系数度量特征间的相似度；（3）确定特征融合策略，计算图像颜色特征和视觉显著性特征自适应融合权值；（4）基于Bhattacharyya 系数确定目标中心位置转移向量权值，迭代优化得到最终目标中心位置。本发明能够有效克服背景融合干扰，对目标部分遮挡具有鲁棒性。

Description

一种基于视觉显著性特征的自适应目标跟踪方法

技术领域

本发明属于计算机视觉技术领域，涉及一种基于图像模板匹配迭代的视频目标跟踪方法，尤其涉及一种基于视觉显著性特征的自适应目标跟踪方法。

背景技术

运动目标跟踪是在连续变化的视频序列中估计出目标的位置和状态信息的过程，广泛应用于计算机视觉领域的多个方面，例如，行为人视频序列和交通监控视频序列系统方面。而实现其跟踪的实时性、准确性和鲁棒性则是要解决的关键性技术问题。常用的目标跟踪算法包括均值漂移、卡尔曼滤波和粒子滤波，其中均值漂移算法最易实现且实时性较好。视觉注意机制使得人类能够迅速地优化处理复杂场景中的显著信息，自主的屏蔽和忽略非显著区域。国内外研究学者利用计算机建立视觉注意模型来模拟人类注意机制，并将视觉注意机制引入到目标检测、目标识别和运动目标跟踪过程中，使得目标处理过程能够更加接近于人类认知机制，提高算法的有效性。该研究方向已经成为模式识别领域的研究热点之一。

传统的均值漂移算法(mean-shift)是基于目标颜色特征直方图匹配搜索的过程，但颜色特征对噪声和遮挡不敏感，特别是出现背景融合时，不能准确跟踪目标。例如，文献1：基于改进的背景加权直方图的鲁棒均值漂移跟踪(Robust mean-shift tracking with correctedbackground-weighted histogram[J].Computer Vision,IET,2012,6(1):62-69.)中采用背景信息直方图修正候选区域模板，选取三倍于目标区域的环形区域作为背景模板，并对背景信息进行实时更新。该算法目标特征单一，当出现背景融合干扰时，易陷入局部最大值，跟踪不稳定。文献2：基于显著性加权的Mean Shift跟踪方法[J].(光学技术,2008,34(3):404-407.)根据背景与目标区域对比度大小的不同，赋予不同的显著度权值，结合mean-shift算法实现复杂背景下运动目标跟踪。该算法仅对初始帧进行权值计算，在目标快速运动和背景发生变化的情况下无法有效跟踪目标。

发明内容

本发明所要解决的技术问题在于克服现有技术所存在的技术缺陷，提出一种能够有效克服背景融合干扰，对目标部分遮挡具有鲁棒性的基于视觉显著性特征的自适应目标跟踪方法。

本发明为解决所述技术问题所采用的技术方案是：

一种基于视觉显著性特征的自适应目标跟踪方法，其特征在于包括以下步骤：

步骤1、建立彩色图像四元数模型，提取图像四个通道的特征信息并行处理，检测图像视觉显著图(saliency map)；

步骤2、基于检测到的视觉显著图，提取视觉显著性特征核直方图，并采取Bhattacharyya系数度量特征间的相似度；

步骤3、确定特征融合策略，计算图像颜色特征和视觉显著性特征自适应融合权值；

步骤4、基于Bhattacharyya系数确定目标中心位置转移向量权值，迭代优化得到最终目标中心位置。

所述步骤1中，建立的彩色图像四元数模型为：

q(t)＝M(t)+RG(t)μ₁+BY(t)μ₂+I(t)μ₃  (1)

式中：μ_i,i＝1,2,3为单位纯虚数满足条件M(t),I(t),RG(t),BY(t)分别表示彩色图像强度、运动、颜色和颜色的变化特征。

所述步骤1中，检测视觉显著图(saliency map)的实现方法是：采用图像超复数傅里叶变换相位谱重构，且与高斯核滤波器卷积操作，具体为：

q'(t)＝F^-1[e^{μ·Ph(F(q(t)))}]

SM(t)＝g(x,y,σ)*||q'(t)||²  (2)

式中：g(x,y,σ)为二维高斯函数，Ph(·)为图像的幅度谱。

所述步骤2中提取视觉显著特征核直方图的具体方法是：结合显著区域的空间位置属性，赋予距离目标中心位置比较近的像素点更大的权值，同时削弱目标边缘特征，具体步骤为：

$H_s={\left\{{\hat{q}}_{s,u}\right\}}_{u=1,...m};{\hat{q}}_{s,u}=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|{x^{*}}_i\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u]---\left(3\right)$

式中：为归一化常数，δ[·]为Kroneckerdelta函数。

所述步骤3的实现方法是：根据Bhattacharyya系数度量视觉显著性特征间的相似度，并据此确定融合策略，计算图像颜色特征和视觉显著性特征自适应融合权值λ为：

$\mathrm{\λ}=\frac{{\mathrm{\ρ}}_s}{{\mathrm{\ρ}}_s+{\mathrm{\ρ}}_c},\mathrm{\λ}\∈\left[\mathrm{0,1}\right]---\left(4\right)$

式中：ρ_s,ρ_c分别为目标模板与候选模板之间视觉显著性特征和颜色特征的相似系数。

所述步骤4中的基于Bhattacharyya系数确定目标中心位置转移向量权值为：

$\begin{array}{c}{\mathrm{\ω}}_i=\mathrm{\λ}{\mathrm{\ω}}_{s,i}+(1-\mathrm{\λ}){\mathrm{\ω}}_{c,i}\\ =\mathrm{\λ}{\mathrm{\Σ}}_{u=1}^m\sqrt{{\hat{q}}_{s,u}/{\hat{p}}_{s,u}\left(y\right)}+(1-\mathrm{\λ}){\mathrm{\Σ}}_{u=1}^m\sqrt{{\hat{q}}_{c,u}/{\hat{p}}_{c,u}\left(y\right)}\end{array}---\left(5\right)$

式中：ω_s,i,ω_c,i分别代表基于视觉显著性视觉特征和颜色特征的转移向量权值。

相比现有技术，本发明所述方法具有以下优点和技术效果：

1、克服背景融合干扰，对目标部分遮挡具有鲁棒性；

2、有效克服了单一特征跟踪稳定性差的问题；

3、在目标大小发生变化、目标旋转、目标部分遮挡、背景信息融合和复杂场景情况下能够准确定位目标；

4、实时性好，能够有效减少跟踪误差，提高跟踪的稳定性。

附图说明

图1为本发明的一种基于视觉显著性特征自适应目标跟踪方法的流程图；

图2为本发明所述方法的视觉显著图(saliency map)检测结果。其中，图a和c为原始彩色图像，图b和d为原始彩色图像的视觉显著图。

具体实施方式

下面结合附图对本发明做进一步说明。

本发明所述方法的原理是：基于频域滤波原理检测目标视觉显著图，结合颜色特征和视觉显著性特征描述目标模型，并根据相似系数的大小自适应的调节转移向量融合权值，实现复杂背景下目标跟踪的准确性。视觉显著性特征能够有效增强目标和抑制干扰，融合视觉显著区域特征，从而强化候选区域中目标的信息描述，弱化背景信息的干扰。利用视觉注意机制有效的筛选出显著性信息提供给目标跟踪方法，能够提高信息处理的效率和跟踪的有效性。均值漂移算法是基于核密度函数的无参数估计方法，已能够实现对目标的实时跟踪。但是，基于颜色直方图描述目标模板抗干扰性差且受环境因素影响较大，特别是在背景与目标信息相似情况下不能很好的跟踪目标。本发明所述方法主要包括视觉显著性特征的提取和特征的自适应融合。

本发明所述的一种基于视觉显著性特征的自适应目标跟踪方法，其特征在于包括以下步骤：

步骤1、建立彩色图像四元数模型，提取图像四个通道的特征信息并行处理，检测图像视觉显著图(saliency map)；

步骤2、基于检测到的视觉显著图，提取视觉显著性特征核直方图，并采取Bhattacharyya系数度量特征间的相似度；

步骤3、确定特征融合策略，计算图像颜色特征和视觉显著性特征自适应融合权值；

步骤4、基于Bhattacharyya系数确定目标中心位置转移向量权值，迭代优化得到最终目标中心位置。

所述步骤1中，检测视觉显著图(saliency map)的实现方法是：采用图像超复数傅里叶变换相位谱重构，且与高斯核滤波器卷积操作。视觉显著图(Saliency Map)为图像的视觉特征，它表示场景中显著目标的位置和显著性大小信息。基于频域分析的显著性信息提取算法，在图像频域变换的重构过程中，仅采用图像的相位谱信息重构能够保留原图像的大部分信息，且图像的相位谱与高斯核滤波器的卷积操作可以实现对图像显著性信息的提取，相当于图像显著性检测器。本步骤采用基于四元数傅里叶变换相位谱的时空视觉显著性检测中相位谱四元数傅立叶变换法(Phase Spectrum of Quaternion Fourier Transform，PQFT)检测图像视觉显著图，采用四元数模型可以实现对图像特征的并行处理，提高算法的实时性。选择图像的颜色和颜色变化(RG(t),BY(t))、运动(M(t))和强度(I(t))四个通道的特征信息，所建立的彩色图像四元数模型为：

q(t)＝M(t)+RG(t)μ₁+BY(t)μ₂+I(t)μ₃  (1)

式中：μ_i,i＝1,2,3满足条件μ₁μ₂＝μ₃,μ₁⊥μ₂,μ₂⊥μ₃,μ₃⊥μ₁。根据彩色图像的超复数傅里叶变换的定义，采用傅里叶变换相位谱信息得到重构图像q'(t)，并与高斯滤波函数进行卷积操作，得到视觉显著图SM(t)。即：

q′(t)＝F^-1[e^{μ·Ph(F(q(t)))}]

SM(t)＝g(x，y，σ)*||q′(t)||²  (2)

式中：g(x,y,σ)为二维高斯函数，Ph(·)为图像的幅度谱。

所述步骤2中提取视觉显著特征核直方图的具体方法是：结合显著区域的空间位置属性，赋予距离目标中心位置比较近的像素点更大的权值，同时削弱目标边缘特征。

具体为：基于检测得到的视觉显著图，提取视觉显著性特征直方图，采用Bhattacharyya系数相似性度量，基于上述检测得到的视觉显著图SM(t)，采用统计直方图的方法描述目标视觉显著性特征，同时结合显著区域的空间位置属性，赋予距离目标中心位置比较近的像素点更大的权值，同时削弱目标边缘特征，本步骤选取核函数k(x)。选取矩形区域作为目标模板。假设模板中各像素点{x^* _i}_i＝1,2...n为归一化像素位置，定义函数b:R²→{1,2...m}为像素点到目标视觉显著性特征的映射，u为直方图中等级的索引，得到目标模板视觉显著性直方图为：

$H_s={\left\{{\hat{q}}_{s,u}\right\}}_{u=1,...m};{\hat{q}}_{s,u}=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|{x^{*}}_i\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u]---\left(3\right)$

式中：为归一化常数，δ[·]为Kroneckerdelta函数。

同理假设候选模板中心位置为y，模板半径为h，||y-x_i/h||表示模板中像素点到模板中心的归一化距离，得到候选模板视觉显著性直方图为：

$H_s^{\′}\left(y\right)={\left\{{\hat{p}}_{s,u}\widehat{\left(y\right)}\right\}}_{u=1,...m};p_{s,u}\left(y\right)=C_h\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|\frac{y-x_i}{h}\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u]---(3-1)$

式中：为归一化常数。采用Bhattacharyya系数度量模板视觉显著性特征之间的相似度，具体计算方法为：

${\mathrm{\ρ}}_s[H_s^{\′}\left(y\right),H_s]={\mathrm{\Σ}}_{u=1}^m\sqrt{{\hat{p}}_{s,u}\left(y\right){\hat{q}}_{s,u}}---(3-2)$

所述步骤3的实现方法是：根据Bhattacharyya系数度量视觉显著性特征间的相似度，并据此确定融合策略，计算图像颜色特征和视觉显著性特征自适应融合权值λ。视觉显著性特征和颜色特征融合算法，传统的均值漂移算法仅仅根据目标颜色特征直方图进行匹配搜素，当出现背景与目标颜色特征融合时，容易使得迭代陷入局部最优值。本步骤采用视觉显著性特征与颜色特征进行自适应加权融合，能够有效克服单一颜色特征的不稳定性。当ρ_s小于某一阈值时，即视觉显著图之间的相似性较小，表明检测到的视觉显著图中有可能包含干扰信息或背景信息，无法有效的表征目标。此时采用该特征跟踪目标就会影响结果的有效性，故应适当减少该特征对跟踪权值的贡献，增加颜色特征的贡献值。根据图像不同特征之间相似度的大小，确定融合权值λ为:

$\mathrm{\λ}=\frac{{\mathrm{\ρ}}_s}{{\mathrm{\ρ}}_s+{\mathrm{\ρ}}_c},\mathrm{\λ}\∈\left[\mathrm{0,1}\right]---\left(4\right)$

式中：ρ_s,ρ_c分别为目标模板与候选模板之间视觉显著性特征和颜色特征的相似系数。

所述步骤4中的基于Bhattacharyya系数确定目标中心位置转移向量权值。根据最大化图像特征相似度系数原理，并将特征Bhattacharyya系数在处泰勒展开，得到最终的目标中心位置转移向量权值为：

$\begin{array}{c}{\mathrm{\ω}}_i=\mathrm{\λ}{\mathrm{\ω}}_{s,i}+(1-\mathrm{\λ}){\mathrm{\ω}}_{c,i}\\ =\mathrm{\λ}{\mathrm{\Σ}}_{u=1}^m\sqrt{{\hat{q}}_{s,u}/{\hat{p}}_{s,u}\left(y\right)}+(1-\mathrm{\λ}){\mathrm{\Σ}}_{u=1}^m\sqrt{{\hat{q}}_{c,u}/{\hat{p}}_{c,u}\left(y\right)}\end{array}---\left(5\right)$

式中： ${\mathrm{\ω}}_{s,i}={\mathrm{\Σ}}_{u=1}^m\sqrt{{\hat{q}}_{s,u}/{\hat{p}}_{s,u}\left(y\right)},{\mathrm{\ω}}_{c,i}={\mathrm{\Σ}}_{u=1}^m\sqrt{{\hat{q}}_{c,u}/{\hat{p}}_{c,u}\left(y\right)},$ 上式表明融合权值λ越大在目标跟踪过程中对视觉显著性特征的依赖程度越大，即视觉显著性特征对跟踪结果的影响越大。在跟踪过程中该权值会根据视觉显著图中是否能准确包含目标信息而自适应的调整，保证在出现背景融合和复杂场景情况下，特征选取的可靠性。

Claims (6)

1.一种基于视觉显著性特征的自适应目标跟踪方法，其特征在于包括以下步骤：

步骤1、建立彩色图像四元数模型，提取图像四个通道的特征信息并行处理，检测图像视觉显著图(saliencymap)；

步骤2、基于检测到的视觉显著图，提取视觉显著性特征核直方图，并采取Bhattacharyya系数度量特征间的相似度；

步骤3、确定特征融合策略，计算图像颜色特征和视觉显著性特征自适应融合权值；

步骤4、基于Bhattacharyya系数确定目标中心位置转移向量权值，迭代优化得到最终目标中心位置。

2.根据权利要求1所述的一种基于视觉显著性特征的自适应目标跟踪方法，其特征在于，所述步骤1中，建立的彩色图像四元数模型为：

q(t)＝M(t)+RG(t)μ₁+BY(t)μ₂+I(t)μ₃     (1)

式中：μ_i,i＝1,2,3为单位纯虚数满足条件μ_i ²＝-1，M(t),I(t),RG(t),BY(t)分别表示彩色图像强度、运动、颜色和颜色的变化特征。

3.根据权利要求1或2所述的一种基于视觉显著性特征的自适应目标跟踪方法，其特征在于，所述步骤1中，检测视觉显著图(saliency map)的实现方法是：采用图像超复数傅里叶变换相位谱重构，且与高斯核滤波器卷积操作，具体为：

q'(t)＝F^-1[e^{μ·Ph(F(q(t)))}]

                                                       (2)

SM(t)＝g(x,y,σ)*||q'(t)||²

式中：g(x,y,σ)为二维高斯函数，Ph(·)为图像的幅度谱。

4.根据权利要求1所述的一种基于视觉显著性特征的自适应目标跟踪方法，其特征在于，所述步骤2中提取视觉显著特征核直方图的具体方法是：结合显著区域的空间位置属性，赋予距离目标中心位置比较近的像素点更大的权值，同时削弱目标边缘特征，具体步骤为：

$H_s={\left\{{\hat{q}}_{s,u}\right\}}_{u=1,...m};{\hat{q}}_{s,u}=C\underset{i=1}{\overset{n}{\mathrm{\Σ}}}k\left({\left|\right|{x^{*}}_i\left|\right|}^2\right)\mathrm{\δ}[b\left(x_i\right)-u]---\left(3\right)$ 式中：为归一化常数，δ[·]为Kronecker delta函数。

5.根据权利要求1所述的一种基于视觉显著性特征的自适应目标跟踪方法，其特征在于，所述步骤3的实现方法是：根据Bhattacharyya系数度量视觉显著性特征间的相似度，并据此确定融合策略，计算图像颜色特征和视觉显著性特征自适应融合权值λ为：

$\mathrm{\λ}=\frac{{\mathrm{\ρ}}_s}{{\mathrm{\ρ}}_s+{\mathrm{\ρ}}_c},\mathrm{\λ}\∈\left[\mathrm{0,1}\right]---\left(4\right)$

式中：ρ_s,ρ_c分别为目标模板与候选模板之间视觉显著性特征和颜色特征的相似系数。

6.根据权利要求1所述的一种基于视觉显著性特征的自适应目标跟踪方法，其特征在于，所述步骤4中的基于Bhattacharyya系数确定目标中心位置转移向量权值为：

$\begin{array}{c}{\mathrm{\ω}}_i={\mathrm{\λ\ω}}_{s,i}+(1-\mathrm{\λ}){\mathrm{\ω}}_{c,i}\\ =\mathrm{\λ}{\mathrm{\Σ}}_{u=1}^m\sqrt{{\hat{q}}_{s,u}/{\hat{p}}_{s,u}\left(y\right)}+(1-\mathrm{\λ}){\mathrm{\Σ}}_{u=1}^m\sqrt{{\hat{q}}_{c,u}/{\hat{p}}_{c,u}\left(y\right)}\end{array}---\left(5\right)$

式中：ω_s,i,ω_c,i分别代表基于视觉显著性视觉特征和颜色特征的转移向量权值。