CN106204643A - 基于多特征联合与Mean Shift算法的多目标跟踪方法 - Google Patents

Abstract

本发明提供一种基于多特征联合与Mean Shift算法的多目标跟踪方法，包括以下步骤：步骤S100：初始化背景模型，利用帧差法对视频图像的中的背景进行更新，利用背景差法对背景进行差分，然后对视频图像的进行二值化；步骤S200：对二值图像依序进行去噪和多目标分割，得到包含运动目标轮廓的分割图像；步骤S300：基于多特征联合和Mean Shift算法对所得分割图像进行多运动目标跟踪运算。该方法采取颜色特征的RGB模型下的R,G,B分量特征，HIS模型下的H,S分量和灰度直方图综合追踪，提高目标追踪结果的鲁棒性和实时性，提取目标清晰度。

Description

基于多特征联合与Mean Shift算法的多目标跟踪方法

技术领域

本发明涉及目标跟踪技术领域，具体的涉及一种基于多特征联合与Mean Shift算法的多目标跟踪方法。

背景技术

目前，在政府广场、大型停车场、机场候车厅、车站候车厅等大范围区域的视频监控方案中，现有监控方案主要采用多台枪机和高速球相配合进行监控。现有的长焦镜头枪机视野范围有限；而安装短焦镜头的枪机，对于远处的目标则仅能获得像素不足的目标图像；另一方面，高速球的观察范围有限，不能同时兼顾整个场景和局部同时得到具有准确对应关系的局部放大和全貌图像，使用时会存在盲区。对于用户来说，当采用现有的监控方案时,还需在多台摄像机的图像之间进行切换，才能进行监控，非常不方便，降低了监控效率，增加了监控难度。

为了解决上述众多问题，智能视频监控近几年来被提出并得到广泛研究和应用。智能视频监控系统将计算机视觉技术融入视频监控系统，对视频数据流进行自动检测、跟踪目标，分析目标的行为并进行相关记录，同时对视频监控系统进行实时控制，发出报警，使计算机代替人进行监控，给予视频监控系统智能性，变被动监控为主动监控。

现有智能视频监控系统中常用的目标跟踪方法包括：

1)基于目标特征的运动目标跟踪方法：是指根据运动目标的特征在图像序列中进行目标的匹配和搜索，从而实现对运动目标的跟踪。由于特征点分布在整个目标的多个区域上，因此基于特征的跟踪方法适用于对目标被部分遮挡的运动跟踪。但如果目标发生缩放、旋转等，特征点会产生变化，此时基于特征的跟踪算法跟踪效果会受到影响；

2)基于主动轮廓模型的跟踪检测方法，该方法由Kass等提出，又称Snake模型。基本思想：使用物体的边缘轮廓来表示运动目标，并且随着时间的变化对目标进行动态更新。Snake模型适合检测并跟踪可变形的目标它既能完成运动目标的检测，也能完成运动目标的跟踪；

3)背景差法，实现简单，能有效完整的分割出运动目标，但对变化速度较快的背景，难以准确的追踪到目标；

4)帧差法，对于运动目标场景有着比较强的鲁棒性，更新速度快，可以适用于各种环境。但该方法通常不能完全检测出运动物体的所有特征像素点，有可能判断不出大的颜色一致的运动目标内部像素，容易在检测到的运动物体处出现内部空洞现象，并不适用于智能视频检测系统，而仅能用于简单的运动跟踪。

现有目标检测方法均存在各自不同的技术问题，缺乏一种能完全满足智能视频监控系统对易变形、易遮挡、目标物运动速度快慢不一目标物的追踪要求，同时所得结果也难以保证实时有效性。

发明内容

本发明的目的在于提供一种基于多特征联合与Mean Shift算法的多目标跟踪方法，该发明解决了现有技术中目标跟踪方法对运动目标信息检测率低；对运动目标场景鲁棒性差；运动目标跟踪准确率低；跟踪结果实时性差的技术问题。

本发明提供了一种基于多特征联合与Mean Shift算法的多目标跟踪方法，包括以下步骤：

步骤S100：采用多帧图像平均法得到初始背景模型，根据所得背景模型采用帧差法对视频图像中的背景进行更新，采用背景差法对背景进行差分，然后对背景差分所得视频图像的进行二值化，得到二值图像；

步骤S200：对二值图像依序进行去噪和多目标分割，得到包含运动目标轮廓的分割图像；

步骤S300：将RGB模型下的R,G,B分量特征、HIS模型下的H,S分量和灰度直方图作为待跟踪目标特征分量进行多特征联合后得到分割图像中跟踪目标位置的中心点，之后通过Mean Shift迭代寻优以跟踪目标位置的中心点作为起始点，在候选区域内找到巴特查理亚系数最大的候选区域作为待追踪目标的跟踪结果，Mean Shift迭代收敛条件为预设，然后更新待跟踪目标的收敛位置；

重复步骤S100～S200完成对待跟踪目标在每一帧图像中的跟踪，至视频结束。

进一步地，所步骤S300包括以下步骤：

步骤S310：多特征联合提取：计算各特征分量的权值后，对各特征分量的跟踪结果进行权值归一化，并对各特征分量得到的跟踪目标位置中心点进行加权值融合，得到追踪目标位置中心点；

设当前帧初始目标的特征向量为：

V(t)＝{V_i(t)i＝1,…,n} (28)

其中t代表当前帧，n则表示了使用特征的种数，V_i(t)表示了每一种特征的特征向量；以根据每种特征进行跟踪后确定的候选区域的特征向量为V_i(t+1)；

按公式(29)计算得到的欧氏距离作为各特征向量之间相似度的测量标准，前后两帧图像的某一特征向量的相似度越高，则该特征的权值就越高，反之，则该特征向量的权值越低，

其中，d_i为V_i的维度，S_i为各特征之间的相似度，取值范围为0～1，

按公式(30)得到每个特征向量的权值ω_i：

将特征向量权值ω_i小于阈值T对应的该特征分量从整体的特征向量中去除，然后根据公式(31)～(32)重新归一化权值：

ω_i＝0 ω_i<T (31)

按公式(33)即可根据该权值得到跟踪目标的位置中心点(x(t+1),y(t+1))，

其中，(x_i(t+1),y_i(t+1))为每种特征单独跟踪所得跟踪目标的位置中心点。

进一步地，步骤S100中包括以下步骤：

步骤S110：初始化背景模型。采用多帧图像平均法按公式(4)计算出初始背景图像B_k(x,y,t)，

其中，I_k(x,y,k)表示第k帧图像在点(x,y,k)处的像素值，N为统计的帧数。

步骤S120：对待处理视频图像的当前帧与前一帧通过帧差法进行差分，以对当前帧进行背景更新，按公式(5)对得到的帧差结果进行二值化，并将帧差结果作为前景目标，

其中，I(x,y,t+1)、I(x,y,t)分别表示当前帧图像和该当前帧的前一帧图像，|I(x,y,t+1)-I(x,y,t)|表示差分图像，T′为阈值，通过自适应迭代法确定；

然后按式(6)利用V′(x,y,t+1)来进行背景更新：

式中，α为更新因子，B(x,y,t)为初始化背景模型，αI(x,y,t+1)+(1-α)B(x,y,t)表示前景目标图像；

步骤S130：利用背景差法对当前帧图像中的运动区域进行检测：

将当前帧I(x,y,t+1)与提取出的背景图像B(x,y,t)进行差分，得到前景运动区域，然后利用阈值T对所得前景运动区域图像按公式(11)进行二值化得到D(x,y,t+1)：

其中，阈值T采用自适应迭代法确定。

进一步地，步骤S200包括以下步骤：

步骤S210：采用形态学基本操作对二值图像的检测结果进行去噪，得到去噪图像；

步骤S220：对去噪图像进行多目标分割算法处理，得到包含运动目标轮廓的分割图像。

进一步地，形态学基本操作包括依序进行腐蚀、膨胀、开操作和闭操作。

进一步地，步骤S220包括以下步骤：

步骤S221：对去噪后的二值图像从左上至右下进行扫描；

步骤S222：检测其中未标注的前景像素，当检测到的像素点为未标注的前景像素时，对该前景像素进行标注，同时一一判断该未标注的前景像素的邻域内的8个像素点是否也是前景像素，如果不是，则返回步骤S221；

如果是前景像素，则将该未标注的前景像素的该邻域像素也标注为与该未标注的前景像素相同的序号；

标注完毕后，输出包含运动目标轮廓的分割图像

进一步地，HOG特征的各特征分量的提取包括以下步骤：

首先，去除HOG特征中单元的划分，将分割图像划分成16*16的块，对每个块进行梯度计算，采用直方图在各梯度方向上进行数值统计，得到4*4*k维度的向量，此处的k为求HOG特征时直方图中的方块数；

然后，对与分割图像具有相同中心的48*48块的图像重复上述处理，得到3*3*k维度的向量；

最后，以所划分的块作为最小单元，按公式(27)对HOG特征进行归一化：

其中，f(k)为所划分块中，第k个直方图的值。

进一步地，步骤S100中所用帧差法得到的差分图按公式(1)～(2)表示：

D_k(x,y)＝|I_k+1(x,y)-I_k(x,y)| (1)

其中，I_k+1(x,y)为两两相邻帧中的第k+1帧图像，I_k(x,y)两两相邻帧中的第k帧图像，D_k(x,y)为第k+1帧图像I_k+1(x,y)和第k帧图像I_k(x,y)之间的差分图像，T_k(x,y)为二值化后的二值图像，T为阈值。

相对于现有技术，本发明的技术效果：

1、本发明提供的基于多特征联合与Mean Shift算法的多目标跟踪方法，采取颜色特征的RGB模型下的R,G,B分量特征，HIS模型下的H,S分量和灰度直方图综合追踪，提高目标追踪结果的鲁棒性和实时性，提取目标清晰度。

2、本发明提供的基于多特征联合与Mean Shift算法的多目标跟踪方法，提高了对运动快慢不一的运动目标的检测效率，提高跟踪结果对多种监控环境的鲁棒性，在多目标跟踪时提高了跟踪准确率和实时性。

3、本发明提供的基于多特征联合与Mean Shift算法的多目标跟踪方法，提高智能视频监控的准确性，增强其监控的稳定性，使其满足实时性需求。

具体请参考根据本发明的基于多特征联合与Mean Shift算法的多目标跟踪方法提出的各种实施例的如下描述，将使得本发明的上述和其他方面显而易见。

附图说明

图1是本发明提供的基于多特征联合与Mean Shift算法的多目标跟踪方法的流程示意图；

图2是本发明优选实施例中所用RGB的颜色子空间的示意图；

图3是本发明优选实施例中所用HOG特征的示意图；

图4是本发明优选实施例中轻采样下的HOG特征划分示意图；

图5是本发明优选实施例中两种常用核函数的曲线图；

图6～8是本发明优选实施例对不同目标进行跟踪定位结果示意图；

图9是采用现有算法对图7中跟踪目标进行跟踪所得结果示意图。

具体实施方式

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

参见图1，基于多特征联合与Mean Shift结合的多目标跟踪算法，其包括如下步骤：

步骤S100：，采用背景差法和帧差法融合检测所获取的监控视频图像，获取其中的多运动目标；此处的融合检测是指将帧差法和背景差法相结合进行使用，从而实现二者的优势互补。背景差法利用视频流中的当前帧与预先建立的背景模型进行差分，与背景模型中不同的区域即可作为需要检测目标的区域。同时采用背景差法能实现初始化的背景建模，并持续对背景进行更新，当将背景差法所得的精确背景模型用于帧差法中，并采用背景差法对图像中的背景进行实时更新时，帧差法无法判断颜色近似目标物内部元素的等等问题均得到克服。

步骤S200：对二值化图像依序进行去噪和多目标分割，得到分割图像；

步骤S300：基于多特征联合和Mean Shift算法对所得分割图像进行多运动目标跟踪运算。

其中，步骤S100和S200中所述各方法可按现有的方法步骤进行处理，是针对所有待处理视频图像所必须的步骤，属于对视频图像进行多目标跟踪前的预处理步骤。

具体的，其中步骤S100包括以下步骤：

步骤S110：初始化背景模型：采用多帧图像平均法按公式(4)计算出初始背景模型B_k(x,y,t)，

其中，I_k(x,y,k)表示第k帧图像在点(x,y,k)处的像素值，N为统计的帧数。此处的统计的帧数是指所有进行平均的多帧图像

具体的，步骤S100中的帧差法即时间差分法，它利用连续或相隔一定帧数的图像帧间差分来确定图像中的变化区域，从而进行运动目标检测。通常帧差法对连续的两帧图像或多帧图像进行差分运算，然后对差分后的图像进行二值化并滤波，并检测出图像中的可能的运动区域，从而初步确定视频图像中的运动目标。

帧差法得到的差分图按公式(1)～(2)表示：

D_k(x,y)＝|I_k+1(x,y)-I_k(x,y)| (1)

其中，两两相邻帧即第k+1帧图像I_k+1(x,y)和第k帧图像I_k(x,y)，D_k(x,y)为第k+1帧图像I_k+1(x,y)和第k帧图像I_k(x,y)之间的差分图像，T_k(x,y)为二值化后的目标图像，T为预先设定的阈值。预设可根据现有帧差法常用规则进行确定。通常在利用公式(1)计算出帧间差分图像D_k(x,y)后，再使用公式(2)进行二值化，最终得到对应的运动目标区域。

背景差法按公式(3)表示：

D_k(x,y)＝|I_k(x,y)-B_k(x,y)| (3)

其中,D_k(x,y)、I_k(x,y)、B_k(x,y)分别为监控视频中第k帧图像的前景图像、帧图像和背景图像。

步骤S120：利用帧差法对视频图像中的背景进行更新，利用背景差法对背景进行差分，然后对视频图像的进行二值化

对待处理视频图像的当前帧与前一帧通过帧差法进行差分，以对当前帧进行背景更新，得到的帧差结果作为前景目标，并对前景目标按公式(5)进行二值化：

其中，I(x,y,t+1)、I(x,y,t)分别表示当前帧图像和该当前帧的前一帧图像，|I(x,y,t+1)-I(x,y,t)|表示由图像I(x,y,t+1)和图像I(x,y,t)差分得到的图像，T′为阈值，通过自适应迭代法确定。

然后按式(6)利用B′(x,y,t+1)来进行背景更新：

式中，B(x,y,t)为初始化背景模型，αI(x,y,t+1)+(1-α)B(x,y,t)表示前景目标图像，α为更新因子，表示背景更新的快慢，根据实际所处理图像的情况和要求进行预设。α取值范围通常为[0,1]，在此范围内取值，α越大表示公式(6)背景更新过程中，对当前背景的忘记速度越快，背景更加接近于当前帧。

对于阈值T′，如果选取过大，会导致前景的运动物体被过滤成背景，造成检测的漏报；如果阈值T′选取的过小，又会导致有大量的背景噪声被检测成运动目标，造成大量的误报。在实际应用中，由于光照、天气、运动目标的特性等变化，手动设定阈值显然不现实，因此本发明采用自适应迭代法确定阈值T′，此处所用自适应迭代法可按现有步骤进行。优选的，包括以下步骤：

1)计算出差分图像的灰度统计直方图H[i]：

H[i]＝n_i i＝0,1,…,L-1 (7)

其中，L是图像灰度级的范围，L＝256,n_i是灰度为i的像素点个数。

2)利用灰度直方图获取差分图的像素灰度值的最大值Max和最小值Min

3)按公式(8)设定初始阈值，作为迭代的起点：

4)利用T₀对差分图像进行分割，并计算所得图像的背景区和前景区的平均灰度值M_b、M_f:

5)按公式(10)计算下一轮迭代的初始阈值：

6)判断T是否等于T₀，如果T≠T₀，令T＝T₀，转到步骤4)重复步骤5)；

如果T＝T₀，则迭代结束。

如果新的阈值和T₀不相等，则令T₀＝T，继续迭代，直到计算出最终的阈值T。使用自适应迭代法确定的阈值，可以有效地根据所处理图像的整体和局部信息进行二值化。如果采用自定义阈值的话往往会使局部信息丢失，对整体信息定义不准确，而导致运动目标检测不完全，会漏掉或者错误加入一些目标。

步骤S130：利用背景差法对当前帧图像中的运动区域进行检测。

具体为：将当前帧I(x,y,t+1)与提取出的背景图像B(x,y,t)进行差分，得到前景运动区 域，然后利用阈值T对前景运动区域图像按公式(11)进行二值化得到D(x,y,t+1)：

其中，阈值T采用自适应迭代法确定。

步骤S200：对二值图像去噪后进行多目标分割；

由于二值化图像中常存在噪声和背景细微变化的干扰，使得对二值化图像直接进行多目标分割后，往往不能得到运动目标的完整轮廓，因此，首先要得到二值化图像中的完整运动目标区域，之后再对运动区域中的运动物体进行分割。以提高所得运动目标的轮廓清晰度。在本发明中采用形态学基本操作对检测结果进行去噪。

步骤S210：形态学基本操作

本发明在多目标检测中主要运用了形态学基本方法，有腐蚀、膨胀、开操作和闭操作四种。

步骤S212：腐蚀

腐蚀的定义为：

该式指出B对A的腐蚀是一个用z平移的B包含在A中的所有的点z的集合。腐蚀的结果会缩小或细化二值图像中的物体，腐蚀可以看作形态学滤波的操作，它可以从图像中将一些较小的图像细节滤除，以去除目标检测图像中的一些干扰信息。

步骤S213：膨胀

膨胀的定义为：

这个公式是以B关于它的原点的映像，并且以z对映像进行平移为基础。与腐蚀不同，膨胀会扩大或粗化二值图像中的物体，连通断裂的连通片，填补检测物体的内部空洞等。

步骤S213：开操作和闭操作：腐蚀则会缩小或细化二值图像中的物体，膨胀会扩大或粗化二值图像中的物体。开操作和闭操作则是对图像进行膨胀和腐烛的级联操作。开操作会平滑物体的轮廓，断开较窄处并消除细的突起物，闭操作也会平滑物体的轮廓，但是会填充较窄处，消除小的孔洞。

开操作的步骤是先腐蚀后膨胀，定义如下：

闭操作的步骤是先膨胀后腐烛，定义如下：

重复利用开操作和闭操作，就能使二值图像中的噪声去除，留下更为精确的运动目标区域。

步骤S220：多目标分割算法

多目标分割指的是在对二值化图像中的运动区域的前景图使用过形态学基本操作后，将各个运动目标分割开，并进行标记，从而得到各个运动目标的位置信息。为了完成本文的多目标跟踪工作，对检测到的运动目标进行分割和标注就十分有必要。标注为顺序标注，本发明提出的分割算法步骤如下所示：

步骤S221：对去噪后的二值图像从左上至右下进行扫描，并检测其中未标注的；前景像素；

步骤S222：当没有被标注的前景像素出现时，对其进行标注，一一判断该未标注的前景像素的邻域的8个像素是否为前景像素，如果不是，则返回步骤S221；

如果是前景像素，则将该未标注的前景像素的该邻域像素也标注为与该未标注的前景像素相同的序号。

经过标注后，二值图像中的所有运动目标将会得到标注，从而与背景图像分隔开。

步骤S300：基于多特征联合和Mean Shift算法进行多运动目标跟踪运算；

在利用基于多特征联合的跟踪技术进行目标跟踪时，特征提取技术是其基础，而主要用于本发明的目标跟踪中常用的典型特征有：颜色特征和HOG特征。

颜色特征本质上颜色模型是坐标系统和子空间的说明，坐标系统每个点都表示着一种颜色。在图像处理中，RGB(红、绿、蓝)模型是面向硬件的模型，经常用于彩色监视器和摄像机。HIS(色调、饱和度、亮度)模型则更符合人描述和解释颜色的方式，且可以解除图像中的颜色和灰度信息的联系，适用于图像处理。

对于RGB颜色模型，每种颜色都可以分解成红、绿、蓝三种分量。RGB的颜色子空间示意图如图2所示。RGB系统与人眼强烈感知红绿蓝三原色的事实能很好地匹配，但是RGB模型不能很好地适应人解释的颜色。比如我们通常不会认为彩色图像是由三原色图像混合而成的。为了更好地解释颜色，引入了色调、饱和度和亮度这三种属性，来更好地使用于图像处理和机器视觉的算法中。这就是HIS模型。

HIS颜色模型能很好的用于图像处理和机器视觉的算法中，色调是描述一种纯色的颜色属性，饱和度是一种纯色被白光稀释程度的度量，亮度表示了无色的强度概念，强度是则是描述单色图像最有用的可度量的描述子，因此模型(色调、饱和度、强度)可在彩色图像中从携带的彩色信息中消去强度分量的影响，从而成为图像处理算法中用来描述色彩的理想工具，因为这种色彩的描述对人来说是最直观的。彩色空间是由一个垂直强度轴和位于该强度轴垂直的平面内的彩色点的轨迹表示。

对RGB彩色格式的图像，按公式(16)得到其中每个RGB像素的H分量：

其中，

饱和度S分量则由下式计算出：

强度分量则由下式计算出：

其中，R,G,B分别为彩色图像中的三种颜色分量，依次为红，绿，蓝。

由上述公式可见，色调的范围可通过除以360归一化到[0,1]范围内，而饱和度和强度的范围己经处于[0,1]内。

在实际应用模型时，θ计算过于复杂，不太实用，因此，常用如下方法进行近似计算。

令max为R,G,B中的最大者，min为R,G,B中的最小者，则有：

其中，H为图像的色调分量。对于HOG特征来说，HOG特征利用了图像的梯度分布，从而对图像中的局部物体的外观和形状进行描述表示。相对于其它特征来说，特征对图像的几何变化和光照变化有着一定的不变性，这是因为HOG特征是对局部单元操作的，而几何变化和光照变化通常只会在在较大的空间区域中出现。HOG特征在目标物体保持大致正常位置时，通常可以忽略掉目标的自身运动。因此，HOG特征特别适合骑车人、行人等非刚性目标的检测和跟踪。HOG特征的具体计算流程如下所述：

首先，对输入的单元按照下式进行计算：

G_x(x,y)＝H(x+1,y)-H(x-1,y) (21)

G_y(x,y)＝H(x,y+1)-H(x,y-1) (22)

式中G_x(x,y)表示了图像在点(x,y)处的水平梯度，G_y(x,y)表示了图像在点(x,y)处的垂直梯度。

在分别得到水平梯度和垂直梯度后，可以按下式求出(x,y)处的梯度值G(x,y)和梯度方向α(x,y):

计算出梯度方向之后，将方向0～180°分成k个方向块，利用直方图对梯度方向块进行统计：

通常在计算HOG特征时一般首先将图像划分成16*16大小的块，然后将每个块划分为4个单元。利用上式对每个单元求梯度方向直方图，将所有直方图进行串联，从而生成最终的HOG特征向量。同时为了消除光照等因素的影响，对每一块的图像都进行了归一化操作，如下式：

式中ε趋近于0，以防止分母为0。f(C_i,k)就表示了在一个块的第i个单元中，第k个直方图的值，C_i表示为划分的有i个单元的块，B为整个图像块。特征示意图如图3所示。

本发明中，基于上述HOG特征的特点，采用基于轻采样的HOG特征：去除HOG特征中单元的划分，在采样块中进行梯度分布图的计算。首先将图像划分成16*16的大小的块，此处的16为刚刚能将图像划分为该块数的长度。针对每个块进行梯度计算，然后利用直方图在梯度方向上进行数值统计，以获得每个块上对应的数值。从而得到一组4*4*k维度的向量，此处的k就是求HOG特征时直方图中的方块数。

然后，仅仅这样并不能得到所有的局部特征信息，通过对与样本具有相同中心的48*48的图像重复上述处理，从而得到3*3*k维度的向量。划分过程如图4所示，此处的k的意义与前述相同。

最后，在轻采样中，以所划分的块作为最小单元，因为具体的块中并未设置其他更小的单元，因此按公式(27)对HOG特征归一化：

其中，f(k)为所划分块中，第k个直方图的值。

针对HOG进行上述轻采样的处理后，运动目标的局部特征尽可能的提取了，并且HOG特征的维数也大大减少，有效的提高了检测速度，以满足智能监控场景下的多目标跟踪的实时性要求。

步骤S310：多特征联合提取

现有的多特征联合提取，针对于不同运动目标特征，其应用领域不同，未见将其用于智能监控系统中。多种特征的联合使用会有效提高目标跟踪的鲁棒性，根据智能视频监控的需要，主要监控的目标为能进行快速移动的人和车。针对此类型的目标，颜色特征是最直接的 描述方式，包含了大量的目标信息。本发明中，使用了颜色特征的RGB模型下的R,G,B分量特征、HIS模型下的H,S分量和灰度直方图，综合后作为目标的颜色特征描述。同时，本发明提供的方法充分利用了人、车等目标具有边缘较为明显的特点，在确定目标点时考虑了HOG特征来，达到了较好的鲁棒性，实时性，提高了提取目标的清晰度。

由于每种特征对跟踪效果的影响各不相同。因而本发明通过利用给每个跟踪结果点加上权值来进行组合计算，从而确定多种特征联合的跟踪结果，提高其中对跟踪效果有较优影响特征的比例。

设当前帧初始目标的特征向量为：

V(t)＝{V_i(t)i＝1,…,n} (28)

其中，t代表当前帧，n为使用特征的种数，V_i(t)表示每一种特征的特征向量。

而单独利用每种特征进行跟踪后确定的候选区域的特征向量为V_i(t+1)。为了给每种特征分配相应的权值，利用特征的相似度来确定。前后两帧的特征向量相似度越高，该特征的权值就越高；反之，权值则越低。在计算相似度时，按公式(29)计算得到的欧氏距离作为各向量之间相似度的测量标准：

其中，d_i为V_i的维度，用于消去不同维度对欧氏距离的影响，S_i为各特征之间的相似度，取值范围在0到1之间。

每个特征向量的权值ω_i：

在实际的多目标跟踪过程中，如果计算出特征向量的ω_i太小，表示对应的特征向量和前一帧的对应的特征向量相似度过低，因此，如果权值低于一定阈值T时，可以认为所选取的特征向量不能代表该物体，在实际的计算中就可以把该特征分量从整体的特征向量中舍去，然后重新归一化权值：

ω_i＝0 ω_i<T (31)

根据最终权值就可以得到最终目标的位置中心点(x(t+1),y(t+1))：

其中，(x_i(t+1),y_i(t+1))为每种特征单独跟踪所得跟踪目标的位置中心点。

步骤S320：对多特征联合提取所得结果进行Mean Shift算法的多目标跟踪

在使用Mean Shift算法时主要步骤就是针对初始的目标利用特征进行表示，然后计算候选区域的特征值，进一步计算出最相近的Mean Shift向量，利用其收敛性对过程进行迭代计算，知道目标点后收敛到最终位置作为跟踪点，达到目标跟踪的效果。

步骤S320可以按常用的Mean Shift算法步骤进行。

具体包括以下步骤：设初始目标的中心点为x₀，使用特征向量的维度为d维，目标区域内共有n个点，则初始目标的特征分布密度函数可以描述为：

其中u＝1,…,d，C为归一化常数，使k为核函数，为保证算法收敛，通常选用已知合适的凸函数：高斯核函数或者Epanechnikov核函数，δ为使的delta函数，高斯核函数和Epanechnikov(人名)核函数曲线如图5所示。

候选目标的中心点为y，n_h为候选区域中的点数，则以中心点y的候选目标区域内像素点 的特征分布描述为：

式中，h为带宽。在得到初始目标区域和候选目标区域后，利用巴特查理亚系数进行初始特征和候选特征的相似性度量标准，其中巴特査理亚系数为：

巴特查理亚系数越大，相似度则越大；反之相似度则越小。为了找到候选区域中最接近初始目标的那一个候选目标，就要使最大。利用泰勒级数对上述公式在处进行展开，得到：

其中，ω_i为当前图像区域内各点的权重。

从上述公式可以看出，式中的第一项与y无关，只要第二项达到最大值，候选区域和初始区域的相似度就越大。

而后面一项则是y处使用核函数计算的密度估计进行加权后的计算值。这样可以通过Mean Shift迭代进行目标区域中心点的更新：

式中，g(x)＝-k′_E(x)，当选Epanechnikov核函数时，g(x)＝1。经过一定步数的迭代，当更新的点的位移小于一定阈值时，就认为最终的跟踪点为该点，若||y₁<y||<ε则停止搜索。

本发明中提出的方法在具体应用中可以嵌入FPGA来实现，开发具有智能多目标跟踪的高清摄像监控系统。图6～8是本发明优选实施例所述目标跟踪示意图。由图6可见，采用本发明提供方法对第57帧视频中踩滑板车的快速移动物体的准确定位追踪，定位框能持续定位该目标，跟踪至第404帧图像中，均不会发生跟踪目标丢失的情况。图7中，对道路上快速移动的摩托车的追踪，采用本发明提供的方法能在各帧图像中均保持定位框对该目标的准确定位追踪，未见目标物的丢失。图8是对道路上行驶的自行车进行定位，整个定位追踪过程，均未见目标物丢失。

图9是采用现有算法(参见背景技术部分中提到的基于目标特征的运动目标跟踪方法，例如可以为魏瑞斌.基于多特征的运动目标跟踪[D].西北大学,2007.中公开的方法)所得目标跟踪图像。图9中追踪目标与图7中相同，但追踪到第85帧时，定位框出现了目标丢失现象。无法准确定位被追踪目标。可以发现，本发明提供的方法在目标跟踪时获取信息准确，不易丢失目标，可以有效的对发生大小变化的目标进行准确持续跟踪，而现有算法则难以实现这一功能，容易造成目标丢失。

本发明提供的方法不仅适用于视频监控，还可应用于智能交通、医学诊断、智能工业机器人等领域。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims (8)

1.一种基于多特征联合与Mean Shift算法的多目标跟踪方法，其特征在于，包括以下步骤：

步骤S100：采用多帧图像平均法得到初始背景模型，根据所得背景模型采用帧差法对视频图像中的背景进行更新，采用背景差法对背景进行差分，然后对背景差分所得视频图像的进行二值化，得到二值图像；

步骤S200：对所述二值图像依序进行去噪和多目标分割，得到包含运动目标轮廓的分割图像；

步骤S300：将RGB模型下的R,G,B分量特征、HIS模型下的H,S分量和灰度直方图作为待跟踪目标特征分量进行多特征联合后得到分割图像中跟踪目标位置的中心点，之后通过Mean Shift迭代寻优以跟踪目标位置的中心点作为起始点，在候选区域内找到巴特查理亚系数最大的候选区域作为待追踪目标的跟踪结果，Mean Shift迭代收敛条件为预设，然后更新待跟踪目标的收敛位置；

重复步骤S100～S200完成对待跟踪目标在每一帧图像中的跟踪，至视频结束。

2.根据权利要求1所述的基于多特征联合与Mean Shift算法的多目标跟踪方法，其特征在于，所步骤S300包括以下步骤：

步骤S310：多特征联合提取：计算各特征分量的权值后，对各特征分量的跟踪结果进行权值归一化，并对各特征分量得到的跟踪目标位置中心点进行加权值融合，得到追踪目标位置中心点；

设当前帧初始目标的特征向量为：

V(t)＝{V_i(t)i＝1,...,n} (28)

其中t代表当前帧，n则表示了使用特征的种数，V_i(t)表示了每一种特征的特征向量；以根据每种特征进行跟踪后确定的候选区域的特征向量为V_i(t+1)；

按公式(29)计算得到的欧氏距离作为各特征向量之间相似度的测量标准，前后两帧图像的某一特征向量的相似度越高，则该特征的权值就越高，反之，则该特征向量的权值越低，

其中，d_i为V_i的维度，S_i为各特征之间的相似度，取值范围为0～1，

按公式(30)得到每个特征向量的权值ω_i：

将特征向量权值ω_i小于阈值T对应的该特征分量从整体的特征向量中去除，然后根据公式(31)～(32)重新归一化权值：

ω_i＝0 ω_i<T (31)

按公式(33)即可根据该权值得到跟踪目标的位置中心点(x(t+1),y(t+1))，

其中，(x_i(t+1),y_i(t+1))为每种特征单独跟踪所得跟踪目标的位置中心点。

3.根据权利要求1所述的基于多特征联合与Mean Shift算法的多目标跟踪方法，其特征在于，所述步骤S100中包括以下步骤：

步骤S110：初始化背景模型。采用多帧图像平均法按公式(4)计算出初始背景图像B_k(x,y,t)，

其中，I_k(x,y,k)表示第k帧图像在点(x,y,k)处的像素值，N为统计的帧数。

步骤S120：对待处理视频图像的当前帧与前一帧通过帧差法进行差分，以对当前帧进行背景更新，按公式(5)对得到的帧差结果进行二值化，并将所述帧差结果作为前景目标，

其中，I(x,y,t+1)、I(x,y,t)分别表示当前帧图像和该当前帧的前一帧图像，|I(x,y,t+1)-I(x,y,t)|表示差分图像，T′为阈值，通过自适应迭代法确定；

然后按式(6)利用B′(x,y,t+1)来进行背景更新：

式中，α为更新因子，B(x,y,t)为初始化背景模型，αI(x,y,t+1)+(1-α)B(x,y,t)表示前景目标图像；

步骤S130：利用背景差法对当前帧图像中的运动区域进行检测：

将当前帧I(x,y,t+1)与提取出的背景图像B(x,y,t)进行差分，得到前景运动区域，然后利用阈值T对所得前景运动区域图像按公式(11)进行二值化得到D(x,y,t+1)：

其中，阈值T采用自适应迭代法确定。

4.根据权利要求1所述的基于多特征联合与Mean Shift算法的多目标跟踪方法，其特征在于，所述步骤S200包括以下步骤：

步骤S210：采用形态学基本操作对二值图像的检测结果进行去噪，得到去噪图像；

步骤S220：对去噪图像进行多目标分割算法处理，得到包含运动目标轮廓的分割图像。

5.根据权利要求2所述的基于多特征联合与Mean Shift算法的多目标跟踪方法，其特征在于，所述形态学基本操作包括依序进行腐蚀、膨胀、开操作和闭操作。

6.根据权利要求2所述的基于多特征联合与Mean Shift算法的多目标跟踪方法，其特征在于，所述步骤S220包括以下步骤：

步骤S221：对去噪后的二值图像从左上至右下进行扫描；

步骤S222：检测其中未标注的前景像素，当检测到的像素点为未标注的前景像素时，对该前景像素进行标注，同时一一判断该未标注的前景像素的邻域内的8个像素点是否也是前景像素，如果不是，则返回步骤S221；

如果是前景像素，则将该未标注的前景像素的该邻域像素也标注为与该未标注的前景像素相同的序号；

标注完毕后，输出包含运动目标轮廓的分割图像。

7.根据权利要求2所述的基于多特征联合与Mean Shift算法的多目标跟踪方法，其特征在于，所述HOG特征的各特征分量的提取包括以下步骤：

首先，去除HOG特征中单元的划分，将分割图像划分成16*16的块，对每个块进行梯度计算，采用直方图在各梯度方向上进行数值统计，得到4*4*k维度的向量，此处的k为求HOG特征时直方图中的方块数；

然后，对与分割图像具有相同中心的48*48块的图像重复上述处理，得到3*3*k维度的向量；

最后，以所划分的块作为最小单元，按公式(27)对HOG特征进行归一化：

其中，f(k)为所划分块中，第k个直方图的值。

8.根据权利要求1所述的基于多特征联合与Mean Shift算法的多目标跟踪方法，其特征在于，所述步骤S100中所用帧差法得到的差分图按公式(1)～(2)表示：

D_k(x,y)＝|I_k+1(x,y)-I_k(x,y)| (1)

其中，I_k+1(x,y)为两两相邻帧中的第k+1帧图像，I_k(x,y)两两相邻帧中的第k帧图像，D_k(x,y)为第k+1帧图像I_k+1(x,y)和第k帧图像I_k(x,y)之间的差分图像，T_k(x,y)为二值化后的二值图像，T为阈值。