CN108346160A - 基于视差图背景差法和Meanshift结合的多运动目标跟踪方法 - Google Patents

Abstract

本发明公开了一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法，其涉及计算机视觉领域。该方法主要有三个步骤：S1基于Vibe和视差图背景差法的运动目标检测与鬼影的去除；S2多目标分割算法；S3基于多特征联合和Mean Shift算法进行多运动目标跟踪。本发明方法具有以下优点：1)可提取完整的运功目标，改善了基于单目视觉运动目标检测容易受到光照和阴影影响的问题，同时能够消除了鬼影现象；2)将所有运动目标都会被分隔开，并被记录下来；3)以跟踪目标特征提取技术为基础，能够准确的对运动目标进行跟踪，效果好，运算速度快。

Description

基于视差图背景差法和Meanshift结合的多运动目标跟踪 方法

技术领域

本发明涉及计算机视觉领域，特指基于视差图背景差法和Meanshift结合的运动目标检测方法。

背景技术

运动目标检测是实现目标识别和跟踪的基础。快速、准确地检测出运动目标，有利于目标跟踪、识别与行为理解等后续工作的进行，在虹膜、人脸识别、安全监控、机器人导航、飞机和卫星监控系统等方面有着广泛的应用。

其中，运动目标检测算法有光流法、帧间差分法和背景差分法三种。光流法需要专门的硬件支持，计算复杂且计算量大，一般较少使用。帧间差分法原理简单，对噪声和光线变化不敏感，但是目标检测结果容易出现空洞现象。背景法可以提取目标的完整信息，但是容易受到光照等外部场景的动态变化的影响。当运动目标有缓慢变化转为快速运动的时候，背景减差法容易将背景显露区域(即当前背景还留有上一帧的运动目标信息，但运动目标此时已不在该区域)检测为前景，出现“影子“现象，且在有树枝摆动等复杂场景中对噪声的处理效果不佳，对环境的适应性较差，这样的误检会对后续的目标跟踪造成困难。传统的基于单目视觉的运动目标检测方法能检测出运动目标的轮廓，但是容易受到外界条件的影响，会把阴影和部分背景检测为前景。

发明内容

本发明的目的在于克服上述现有技术的不足，提出一种基于视差图背景差法和Meanshift结合的运动目标检测方法。

为实现上述目的，本发明技术方案具体如下：

提出一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法，包括以下步骤S1-S3：

S1基于Vibe和视差图背景差法的运动目标检测与鬼影的去除；

S1.1在平行双目立体视觉系统下，采用左、右两摄像机采集图像，进行基于视差图背景差法的运动前景检测；

S1.2利用步骤S1.1求解视差图的所有左图像的最后一帧左图像来建立Vibe背景模型，并利用改进的Vibe算法提取运动前景目标；

S1.2.1利用步骤S1.1求解视差图的所有左图像的最后一帧左图像来建立Vibe背景模型；

S1.2.2从下一帧左图像开始，检测运动前景目标和消除鬼影；

S1.3对步骤S1.1和S1.2结果进行与操作得到运动目标检测结果，再更新背景模型，继续新的图像帧的运动目标检测；

S2进行多目标分割；

S3基于多特征联合和Mean Shift算法进行多运动目标跟踪运算。

作为本发明技术方案的改进，所述S1.1包括：

S1.1.1针对左右摄像机采集到的左右图像序列，求得同一时刻采集的左右图像对的视差图，利用视差图建立初始背景模型；

S1.1.2采集下一帧左右图像，求解该左右图像的视差图，利用视差图背景差法进行前景目标检测。

作为本发明技术方案的改进，所述S1.1.1包括：利用census立体匹配方法求得相同时刻采集的左图像f_l,i(1≤i≤n)和右图像f_r,i(1≤i≤n)的视差图B_i(1≤i≤n)，得到背景视差图序列B₁,B₂,...B_n，并利用背景视差图序列建立单高斯统计背景模型；背景视差图中像素点(x,y)的均值μ₀(x,y)和方差分别为：

其中，B_i(x,y)为视差图B_i在像素点(x,y)出的视差值。

作为本发明技术方案的改进，所述步骤S1.1.2包括：假设任意时刻t时刻采集的左右图像分别为f_l,t和f_r,t，利用census立体匹配算法求得视差图为B_t，利用视差图背景差法进行前景目标检测，其检测公式如下：

上式中，D_t(x,y)为t时刻像素点(x,y)的检测结果，1代表像素点(x,y)为前景点，0代表像素点(x,y)为背景点；B_t(x,y)为t时刻背景视差图在像素点(x,y)处的视差值；μ_t(x,y)为像素点(x,y)的高斯模型的均值；σ_t(x,y)为像素点(x,y)的高斯模型的标准差；若当前帧为初始模型建立后的首帧图像，则μ_t(x,y)为μ₀(x,y)；σ_t(x,y)为σ₀(x,y)。

作为本发明技术方案的改进，所述检测运动前景目标包括：

从第二帧开始对运动目标进行检测，以像素点x在像素值v(x)为圆心，R为半径，创建一个二维欧几里得色度空间的区域S_R(v(x))，该区域S_R(v(x))中包含像素x的背景样本值的个数为#{S_R(v(x))∩{v₁,v₂,...,v_N}}；

其中，

上式中，k为背景模型中与像素p比较的像素值的个数，v(p)为当前帧中像素p位置处的像素值，v_i为像素p背景模型的像素值；

设定一阈值#_min，如果#{S_R(v(x))∩{v₁,v₂,...,v_N}}大于或是等于阈值#_min，则在当前帧中，该像素为背景像素；如果#{S_R(v(x))∩{v₁,v₂,...,v_N}}小于阈值#_min，则该像素为前景像素。

作为本发明技术方案的改进，所述消除鬼影包括：

(1)计算当前帧的最佳分割阈值；

假设当前图像帧的灰度级为L，灰度范围为[0,L-1]，分割阈值为t，可以将图像分为灰度级为[0,t]的区域A以及灰度级为[t+1,L-1]的区域B，其中A、B分别代表前景以及背景；

类间方差为：

σ²＝ω₀(μ₀-μ)²+ω₁(μ₀-μ₁)²＝ω₀ω₁(μ₀-μ₁)²

其中，ω₀表示前景像素点数目占整幅图像的比例，前景像素平均灰度值为μ₀，ω₁表示背景像素点数目占整幅图像的比例，背景像素平均灰度值为μ₁，整幅图像的平均灰度值为μ；

当σ²取得最大值时的灰度值即为最佳阈值：

(2)对运动目标像素点进行二次判别；

在检测得到的背景像素点中随机选取M个，计算该M个像素点灰度的平均值为假设f(x)为检测出的前景像素，判断规则为：

如果当f(x)＞t^*时，f(x)再次判断为前景；当f(x)≤t^*时，f(x)再次判断为背景；

如果当f(x)＜t^*时，f(x)再次判断为前景；当f(x)≥t^*时，f(x)再次判断为背景。

作为本发明技术方案的改进，所述步骤S2包括：

S2.1对图像从左上至右下进行扫描；

S2.2当没有被标注的前景像素出现时，将其进行标注；

S2.3如果该像素的邻域的8个像素均不是前景像素，返回第1步；如果有前景像素，那么将邻域像素也标注同样的序号，并对邻域像素重复这一步工作。

作为本发明技术方案的改进，所述步骤S3包括：

S3.1多特征联合提取；

具体采用颜色特征的RGB模型下的R,G,B分量特征、HIS模型下的H，S分量和灰度直方图综合起来作为目标的颜色特征描述；

S3.2采用Mean Shift算法进行多目标跟踪；

针对初始的目标利用特征进行表示，然后计算候选区域的特征值，进一步计算出最相近的Mean Shift向量，利用其收敛性对过程进行迭代计算，得到目标点收敛到最终位置的跟踪点。

与现有技术相比，本发明具有以下有益效果：

本发明方法是一种双目视觉的运动检测方法能够提取完整的运动目标，消除运动检测过程中出现的鬼影，以及采用基于视差图背景差法改善了基于单目视觉的运动检测容易光照和阴影的影响。

附图说明

图1是本实施例中整体算法流程图。

图2是本实施例中步骤S1整体算法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法，其具体操作流程如图1所示，主要包括以下步骤S1‐S3，下面对步骤S1‐S3进行详细介绍。

S1在平行双目立体视觉系统下，采用左、右两摄像机采集图像，进行基于视差图背景差法的运动前景检测；

传统的基于单目视觉的运动前景检测容易受到光线变化的影响，将阴影部分当作运动前景，而光线突变不会对视差图的获取产生影响，因此本发明采用了左右摄像机同步进行图像采集，并利用利用视差图建立初始背景模型，S1具体包括以下步骤；

S1.1针对左右摄像机采集到的左右图像序列，求得同一时刻采集的左右图像对的视差图，利用视差图建立初始背景模型；

假设左摄像机采集到左图像序列为：f_l,1,f_l,2,...f_l,n，与左图像序列相对应的右摄像机采集到的右图像序列为：f_r,1,f_r,2,...f_r,n，则利用census立体匹配方法求得相同时刻采集的左图像f_l,i(1≤i≤n)和右图像f_r,i(1≤i≤n)的视差图B_i(1≤i≤n)，得到背景视差图序列B₁,B₂,...B_n，并利用背景视差图序列建立单高斯统计背景模型，动态单高斯统计背景模型的建立可以更好地克服外接环境变化对目标检测所带来的影响，背景视差图中像素点(x,y)的均值μ₀(x,y)和方差分别为：

其中，B_i(x,y)为视差图B_i在像素点(x,y)出的视差值。

S1.2采集下一帧左右图像，求解该左右图像的视差图，利用视差图背景差法进行前景目标检测；

假设任意时刻t时刻采集的左右图像分别为f_l,t和f_r,t，利用census立体匹配算法求得视差图为B_t，利用视差图背景差法进行前景目标检测，其检测公式如下：

上式中，D_t(x,y)为t时刻像素点(x,y)的检测结果，1代表像素点(x,y)为前景点，0代表像素点(x,y)为背景点；B_t(x,y)为t时刻背景视差图在像素点(x,y)处的视差值；μ_t(x,y)为像素点(x,y)的高斯模型的均值；σ_t(x,y)为像素点(x,y)的高斯模型的标准差。若当前帧为初始模型建立后的首帧图像，则μ_t(x,y)为μ₀(x,y),σ_t(x,y)为σ₀(x,y)。

S1.2利用步骤S1.1.1求解视差图的所有左图像的最后一帧左图像来建立Vibe背景模型，利用改进的Vibe算法提取运动前景目标

Vibe算法具有运动速度较快、目标提取准确率高的优点，因此本发明采用改进的Vibe算法提取运动前景目标，其主要步骤为：

S1.2.1利用步骤S1.1.1求解视差图的所有左图像的最后一帧左图像来建立Vibe背景模型；

本发明的Vibe算法利用步骤S1.1.1建立高斯初始模型所用的所有左图像的最后一帧左图像进行初始化，并引入邻域的方法以给每一个像素点建立相应的背景集合。定义像素点x处的背景像素值为v(x)，在每个像素点x的8邻域内随机选取N个像素值v₁,v₂,...,v_N作为像素点x的背景模型样本值，设背景模型为M(x)，则有:

M(x)＝{v₁,v₂,...,v_N} (4)

本发明的Vibe算法使用首帧图像初始化背景模型，对于像素背景样本空间中的每一个样本值，从该样本值像素和其邻域像素中随机选择一个像素值对其进行初始化。在首帧图像中，y值在像素点x的8邻域N_G(x)内的样本点中随机选择，令v⁰(y)为首帧图像在y处的像素值，那么可以得到初始化后的背景模型，可用下式表示：

M⁰(x)＝{v⁰(y)|y∈N_G(x)} (5)

其中，M⁰(x)为初始化后的背景模型。

S1.2.2从建立好背景模型的下一帧左图像开始，检测运动前景目标和消除鬼影；

S1.2.2.1基于自适应阈值的Vibe算法的背景和前景的分类；

从建立好初始背景模型后的下一帧左图像开始，对运动目标进行检测。以像素点x在像素值v(x)为圆心，R为半径，创建一个二维欧几里得色度空间的球体S_R(v(x))，用来将像素点x处在新一帧图像中的像素值与该点处的背景样本值做对比，将像素点分类。Vibe算法进行前景检测时，判断背景模型中样本值是否与当前像素值匹配，采用固定半径阈值R。当R设定较大时，与背景像素值比较接近的前景像素就会被检测背景，导致检测到的运动目标不能完整检测出来。当R设定较小时，背景中不希望被检测出来的动态变化部分(如树叶、树枝等)就会被检测出来，导致检测结果中出现较多的噪声。

因此，为了提高检测的准确度，本发明方法根据像素的具体情况，为每个像素设定一个阈值R，阈值R的设定方法如下：

上式中，k为背景模型中与像素p比较的像素值的个数；v(p)为当前帧中像素p为位置处的像素值；v_i为像素p背景模型的像素值。

为了防止阈值R出现过大和过小而导致检测结果不准确的情况，本发明设定了阈值R的上限和下限，具体设定阈值R∈[20,40]，即当由公式(6)求得的阈值R小于20时，设定阈值R为20，当由公式(6)求得的阈值R大于40时，设定阈值R为40。

进一步地，定义一个该区域S_R(v(x))，该区域S_R(v(x))中包含像素x 的背景样本值的个数为#{S_R(v(x))∩{v₁,v₂,...,v_N}}，以#{S_R(v(x))∩{v₁,v₂,...,v_N}}的大小判定像素是前景像素还是背景像素。初始化#{S_R(v(x))∩{v₁,v₂,...,v_N}}为0，设定判定像素为前景像素还是背景像素的阈值为#_min，设定其值为2。如果#{S_R(v(x))∩{v₁,v₂,...,v_N}}大于或是等于阈值#_min，则在当前帧中，该像素为背景像素；如果#{S_R(v(x))∩{v₁,v₂,...,v_N}}小于阈值#_min，则该像素为前景像素。

S1.2.2.2结合前景检测结果和Otsu阈值方法进行二次判断来消除鬼影；

鬼影是指不对应实际运动目标的前景区域，它是由背景中原来静止的物体突然运动从而导致背景模型与实际背景不一致引起的。当背景中的物体突然运动时，物体原来的位置会被物体原来覆盖的区域取代，这种变化会在接下来的图像序列中立即反映出来，而背景模型并不会立即反映这种变化。因而会造成一段时间的背景模型失效的问题，这就会在物体原来的位置产生误检，检测到不存在的运动目标，从而出现鬼影现象。针对鬼影问题，本发明采用结合前景检测结果和Otsu阈值方法进行二次判断的来抑制鬼影，其主要步骤为：

(1)计算当前帧的最佳分割阈值；

假设当前图像帧的灰度级为L，灰度范围为[0,L-1]，分割阈值为t，可以将图像分为灰度级为[0,t]的区域A以及灰度级为[t+1,L-1]的区域B，其中A、B分别代表前景区域以及背景区域。

类间方差为：

σ²＝ω₀(μ₀-μ)²+ω₁(μ₀-μ₁)²＝ω₀ω₁(μ₀-μ₁)² (7)

其中，ω₀表示前景像素点数目占整幅图像的比例；前景像素点平均灰度值为μ₀；ω₁表示背景像素点数目占整幅图像的比例；背景像素点平均灰度值为μ₁；整幅图像的平均灰度值为μ。当类间方差越大，则两个区域差别越大，能更好地进行图像的分割。因此，当σ²取得最大值时的灰度值即为最佳阈值，最佳阈值可表示为下式：

(2)对运动目标像素点进行二次判别。

在步骤(1)中检测得到的背景像素点中随机选取M个，计算这些像素点灰度的平均值为假设f(x)为步骤(1)检测出的前景像素，判断规则为：

如果当f(x)＞t^*时，f(x)再次判断为前景；当f(x)≤t^*时，f(x)再次判断为背景。

如果当f(x)＜t^*时，f(x)再次判断为前景；当f(x)≥t^*时，f(x)再次判断为背景。

利用该步骤(2)对该步骤(1)检测出的前景进行二次判别，能够过滤掉误判的部分，将鬼影部分重新判别为背景。

S1.3对步骤S1.1.2和S1.2.2的结果进行与操作得到运动目标检测结果，得到图像帧的运动目标检测结果；然后再更新背景模型，继续新的图像帧的运动目标检测。

S1.3.1对步骤S1.1.2和S1.2.2结果进行与操作；

S1.3.2更新背景模型，其包括视差背景模型的更新和Vibe背景模型的更新；

S1.3.2.1更新视差背景模型；

随着时间的推移，背景不可避免地会发生一些变化，针对这种情况，因此本发明采用自适应的背景更新模型对背景进行实时更新，具体地，当t时刻像素点(x,y)通过步骤S1.2中公式(3)被判定为背景点，则通过下面公式对高斯模型的参数进行更新：

μ_t+1(x,y)＝(1-α)μ_t(x,y)+αB_t(x,y) (9)

其中，α背景更新率，取值为0.03。

S1.3.2.2更新Vibe背景模型；

针对由步骤S1.2.2中检测出的背景像素，采用Vibe算法的背景更新方法对背景模型进行更新。

S1.3.3在背景模型更新之后，继续利用步骤S1.1.2和步骤S1.2.2和步骤S1.3中的方法继续后续新的图像帧中的运动目标检测。

Vibe背景模型更新以后，再返回到步骤S1.2.2继续下面步骤。

步骤S1结合了基于单目视觉的目标检测方法和基于双目视觉的目标检测方法，克服了传统的单目视觉的目标检测容易受到光照和阴影影响的问题，消除了目标检测过程中的鬼影现象。

经过上述处理后，得到了去噪声以后的二值图像。

S2多目标分割算法

多目标分割指的是在对二值化运动区域的前景图在消除鬼影后，将各个运动目标分割开，并进行标记，得到各个运动目标的位置信息。为了完成本文的多目标跟踪工作，检测到的运动目标进行分割和标注就十分有必要。标注通常釆用顺序标注，本发明提出的分割算法步骤如下所示：

S2.1对图像从左上至右下进行扫描；

S2.2当没有被标注的前景像素出现时，将其进行标注；

S2.3如果该像素的邻域的8个像素均不是前景像素，返回第1步；如果有前景像素，那么将邻域像素也标注同样的序号，并对邻域像素重复这一步工作。

这样经过上述步骤的标注，所有运动目标都会被分隔开，并被记录下来。

S3基于多特征联合和Mean Shift算法进行多运动目标跟踪运算。

在利用基于多特征联合的跟踪技术进行目标跟踪时，特征提取技术是其基础，而主要用于本发明的目标跟踪中常用的典型的特征有：颜色特征和HOG特征。

颜色特征本质上为颜色模型的坐标系统和子空间的说明，在坐标系统每个点都表示着一种颜色。在图像处理中，RGB(红、绿、蓝) 模型是面向硬件的模型，经常用于彩色监视器和摄像机；HIS(色调、饱和度、亮度)模型则更符合人描述和解释颜色的方式，且可以解除图像中的颜色和灰度信息的联系，很适合用于图像处理。

对于RGB颜色模型，每种颜色都都可以分解成红、绿、蓝三种分量。RGB的颜色子空间示意图如图2所示。RGB系统与人眼强烈感知红绿蓝三原色的事实能很好地匹配，但是RGB模型不能很好地适应实际上人解释的颜色。比如我们通常不会认为彩色图像是由三原色图像混合而成的。为了更好地解释颜色，引入了色调、饱和度和亮度这三种属性，来更好地使用于图像处理和机器视觉的算法中，也就是HIS模型。

对于HIS颜色模型，色调是描述一种纯色的颜色属性，饱和度是一种纯色被白光稀释的程度的度量，亮度表示了无色的强度概念，强度是则是描述单色图像最有用的可度量的描述子，因此模型(色调、饱和度、强度)可在彩色图像中从携带的彩色信息中消去强度分量的影响，从而成为图像处理算法中用来描述色彩的理想工具，因为这种色彩的描述对人来说是最直观的，其彩色空间是由一个垂直强度轴和位于该强度轴垂直的平面内的彩色点的轨迹表示。

给定一幅RGB彩色格式的图像，可以用如下公式得到每个RGB像素的H分量：

其中，

饱和度S分量则由下式计算出：

强度分量则由下式计算出：

其中，R,G,B分别为彩色图像中的三种颜色分量，依次为红，绿，蓝。

根据上面公式可知，色调的范围可通过除以360归一化到[0,1]范围内，而饱和度和强度范围己经在[0,1]范围内了。

在实际应用模型时，公式中的θ计算过于复杂，不太实用，因此，本发明采用如下方法进行近似计算。

令max为R,G,B中的最大者，min为R,G,B中的最小者，则有：

其中，H为图像的色调分量。

对于HOG特征来说，HOG特征利用了图像的梯度分布，从而对图像中的局部物体的外观和形状进行描述表示。相对于其它特征来说，HOG特征对图像的几何变化和光照变化有着一定的不变性，这是因为HOG特征是对局部单元操作的，而几何变化和光照变化通常只会在在较大的空间区域中出现。HOG特征在目标物体保持大致正常位置时，通常可以忽略掉目标的自身运动。因此，HOG特征特别适合骑车人、行人等非刚性目标的检测和跟踪。

HOG特征的具体计算流程如下所述：

首先，对输入的单元按照下式进行计算：

G_x(x,y)＝H(x+1,y)-H(x-1,y)

G_y(x,y)＝H(x,y+1)-H(x,y-1)

上式中，G_x(x,y)表示了图像在点(x,y)处的水平梯度，G_y(x,y)表示了图像在点(x,y)处的垂直梯度。

在分别得到水平梯度和垂直梯度后，可以按下式求出点(x,y)处的梯度值G(x,y)和梯度方向α(x,y)：

计算出梯度方向之后，将方向0～180°分成k个方向块，利用直方图对梯度方向块进行统计：

在计算HOG特征时首先将图像划分成16*16大小的块，然后将每个块划分为4个单元，利用上式对每个单元求梯度方向直方图，将所有直方图进行串联，从而生成最终的HOG特征向量。同时为了消除光照等因素的影响，对每一块的图像都进行了归一化操作，如下式：

式中ε趋近于0，以防止分母为0；f(C_i,k)表示了在一个块的第i个单元中，第k个直方图的值，C_i表示为划分的有i个单元的块，B为整个图像块。

本发明中，基于上述HOG特征，提出了基于轻采样的HOG特征，去除了HOG特征中单元的划分，而是在块中进行梯度分布图的计算。首先将图像划分成16*16大小的块，针对每个块进行梯度的计算，然后利用直返图对梯度的方向进行统计。从而我们就可以得到一组4*4*p维度的向量，在这里p就是求HOG特征时直方图的方向块数。

在本发明中，基于轻釆样的HOG特征，去除了特征中单元的划分，而是在块中进行梯度分布图的计算。本发明将图像划分成的16*16大小的块，针对每个块进行梯度的计算，然后利用直方图对梯度的方向进行统计。从而就可以得到了一组4*4*p维度的向量，在这里p就是求HOG特征时直方图的方向块数。然后，仅仅这样并不能得到所有的局部特征信息，因此我们将和样本相同中心的48*48大小的图像做上述步骤相同处理，从而得到3*3*p维度的向量。

在轻采样中，由于在块中没有了单元，因此对于HOG特征的归一化，可以将归一化公式变为：

其中，f(k)表示没有单元的块中第k个直方图的值。

针对HOG进行轻采样的处理后，运动目标的局部特征尽可能的提取了，并且HOG特征的维数也大大减少，有效的提高了检测速度，以满足智能监控场景下的多目标跟踪的实时性要求。

S3.1多特征联合提取

多种特征的联合使用会有效的提高目标跟踪的鲁棒性，而在智能视频监控的背景下，人们主要感兴趣的目标主要是人和车。针对此类型的目标，颜色特征是最直接的描述方式，包含了大量的目标信息。本发明中，使用了颜色特征的RGB模型下的R,G,B分量特征，HIS模型下的H，S分量和灰度直方图综合起来作为目标的颜色特征描述。同时，人、车等目标的边缘较为明显，本发明采取HOG特征来综合起来，达到了鲁棒性好，实时性好，提取目标清晰等特点。

当综合使用多种特征来跟踪目标时，每种特征对跟踪产生的效果是不同的。所以本发明利用给每个跟踪结果点加上权值来进行组合计算，从而确定多种特征联合的跟踪结果。设当前帧初始目标的特征向量为

V(t)＝{V_i(t)i＝1,…,n}

其中，t代表当前帧，n则表示了使用特征的种数，V_i(t)表示了每一种特征的特征向量。而单独利用每种特征进行跟踪后确定的候选区域的特征向量为V_i(t+1)。

为了给每种特征分配相应的权值，我们利用特征的相似度度量来确定。前后两种特征向量相似度越高，该种特征的权值就越高；反之，权值则越低。在计算相似度时，我们釆用欧氏距离来作为向量之间的相似度测量标准，具体如下公式：

其中，d_i为V_i的维度，在公式中用于消去不同维度对欧氏距离的影响，S_i就是特征之间的相似度，取值范围在0到1之间。将相似度求出后可以计算出每个特征向量的权值ω_i：

在实际的多目标跟踪过程中，如果计算出特征向量的ω太小，表示了对应的特征向量和前一帧的对应的特征向量相似度很低，因此，如果权值低于一定阈值T时，可以认为所选取的特征向量不能代表该物体，在实际的计算中就可以把该特征分量从整体的特征向量中舍去，然后重新归一化权值：

ω_i＝0ω_i<T

根据最终权值就可以得到最终目标的位置中心点为：

其中，(x_i(t+1),y_i(t+1))为每种特征单独跟踪的结果。

S3.2Mean Shift算法在多目标跟踪中的应用

在使用Mean Shift算法的主要步骤就是针对初始的目标利用特征进行表示，然后计算候选区域的特征值，进一步计算出最相近的Mean Shift向量，利用其收敛性对过程进行迭代计算，知道目标点收敛到最终位置的跟踪点，达到目标跟踪的效果。

设初始目标的中心点为x₀，使用特征向量的维度为d维，目标区域内共有n个点，则初始目标的特征分布密度函数可以描述为：

其中u＝1,…,d，C为归一化常数，使k为核函数，为保证算法收敛，通常选用已知合适的凸函数：高斯核函数或者Epanechnikov核函数，δ为使的delta函数。

候选目标的中心点为y，n_h为候选区域中的点数，则以中心点y的候选目标区域内像素点的特征分布可以描述为：

式中，h为带宽。在得到初始目标区域和候选目标区域后，利用巴特查理亚系数进行初始特征和候选特征的相似性度量标准，其中巴特査理亚系数为：

巴特查理亚系数越大，相似度则越大；反之相似度则越小。为了找到候选区域中最接近初始目标的那一个候选目标，就要使最大。利用泰勒级数对上述公式在处进行展开，得到：

其中，ω_i为当前图像区域内各点的权重。从上述公式可以看出，式中的第一项与y无关，只要第二项达到最大值，候选区域和初始区域的相似度就越大。而后面一项则是y处使用核函数计算的密度估计进行加权后的计算值。这样可以通过Mean Shift迭代进行目标区域中心点的更新：

式中，g(x)＝-k′_E(x)，当选Epanechnikov核函数时，g(x)＝1。经过一定步数的迭代，当更新的点的位移小于一定阈值时，就认为最终的跟踪点为该点，若||y₁<y||<ε则停止搜索。

本发明中提出的一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法实际上可嵌入FPGA实现，运用于具有运动跟踪的摄像机中。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

Claims (8)

1.一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法，其特征在于，包括以下步骤：

S1 基于Vibe和视差图背景差法的运动目标检测与鬼影的去除；

S1.1 在平行双目立体视觉系统下，采用左、右两摄像机采集图像，进行基于视差图背景差法的运动前景检测；

S1.2 利用步骤S1.1求解视差图的所有左图像的最后一帧左图像来建立Vibe背景模型，并利用改进的Vibe算法提取运动前景目标；

S1.2.1 利用步骤S1.1求解视差图的所有左图像的最后一帧左图像来建立Vibe背景模型；

S1.2.2 从下一帧左图像开始，检测运动前景目标和消除鬼影；

S1.3 对步骤S1.1和S1.2结果进行与操作得到运动目标检测结果，再更新背景模型，继续新的图像帧的运动目标检测；

S2 进行多目标分割；

S3 基于多特征联合和Mean Shift算法进行多运动目标跟踪。

2.根据权利要求1所述的一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法，其特征在于，所述S1.1包括：

S1.1.1 针对左右摄像机采集到的左右图像序列，求得同一时刻采集的左右图像对的视差图，利用视差图建立初始背景模型；

S1.1.2 采集下一帧左右图像，求解该左右图像的视差图，利用视差图背景差法进行前景目标检测。

3.根据权利要求2所述的一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法，其特征在于，所述S1.1.1包括：利用census立体匹配方法求得相同时刻采集的左图像f_l,i(1≤i≤n)和右图像f_r,i(1≤i≤n)的视差图B_i(1≤i≤n)，得到背景视差图序列B₁,B₂,...B_n，并利用背景视差图序列建立单高斯统计背景模型；背景视差图中像素点(x,y)的均值μ₀(x,y)和方差分别为：

其中，B_i(x,y)为视差图B_i在像素点(x,y)出的视差值。

4.根据权利要求1所述的一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法，其特征在于，所述步骤S1.1.2包括：假设任意时刻t时刻采集的左右图像分别为f_l,t和f_r,t，利用census立体匹配算法求得视差图为B_t，利用视差图背景差法进行前景目标检测，其检测公式如下：

上式中，D_t(x,y)为t时刻像素点(x,y)的检测结果，1代表像素点(x,y)为前景点，0代表像素点(x,y)为背景点；B_t(x,y)为t时刻背景视差图在像素点(x,y)处的视差值；μ_t(x,y)为像素点(x,y)的高斯模型的均值；σ_t(x,y)为像素点(x,y)的高斯模型的标准差；若当前帧为初始模型建立后的首帧图像，则μ_t(x,y)为μ₀(x,y)；σ_t(x,y)为σ₀(x,y)。

5.根据权利要求1所述的一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法，其特征在于，所述检测运动前景目标包括：

从第二帧开始对运动目标进行检测，以像素点_x在像素值v(x)为圆心，R为半径，创建一个二维欧几里得色度空间的区域S_R(v(x))，该区域S_R(v(x))中包含像素x的背景样本值的个数为#{S_R(v(x))∩{v₁,v₂,...,v_N}}；

其中，

上式中，k为背景模型中与像素p比较的像素值的个数，v(p)为当前帧中像素p位置处的像素值，v_i为像素p背景模型的像素值；

设定一阈值#_min，如果#{S_R(v(x))∩{v₁,v₂,...,v_N}}大于或是等于阈值#_min，则在当前帧中，该像素为背景像素；如果#{S_R(v(x))∩{v₁,v₂,...,v_N}}小于阈值#_min，则该像素为前景像素。

6.根据权利要求1所述的一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法，其特征在于，所述消除鬼影包括：

(1)计算当前帧的最佳分割阈值；

假设当前图像帧的灰度级为L，灰度范围为[0,L-1]，分割阈值为t，可以将图像分为灰度级为[0,t]的区域A以及灰度级为[t+1,L-1]的区域B，其中A、B分别代表前景以及背景；

类间方差为：

σ²＝ω₀(μ₀-μ)²+ω₁(μ₀-μ₁)²＝ω₀ω₁(μ₀-μ₁)²

其中，ω₀表示前景像素点数目占整幅图像的比例，前景像素平均灰度值为μ₀，ω₁表示背景像素点数目占整幅图像的比例，背景像素平均灰度值为μ₁，整幅图像的平均灰度值为μ；

当σ²取得最大值时的灰度值即为最佳阈值：

(2)对运动目标像素点进行二次判别；

在检测得到的背景像素点中随机选取M个，计算该M个像素点灰度的平均值为假设f(x)为检测出的前景像素，判断规则为：

如果当f(x)＞t^*时，f(x)再次判断为前景；当f(x)≤t^*时，f(x)再次判断为背景；

如果当f(x)＜t^*时，f(x)再次判断为前景；当f(x)≥t^*时，f(x)再次判断为背景。

7.根据权利要求1所述的一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法，其特征在于，所述步骤S2包括：

S2.1 对图像从左上至右下进行扫描；

S2.2 当没有被标注的前景像素出现时，将其进行标注；

S2.3 如果该像素的邻域的8个像素均不是前景像素，返回第1步；如果有前景像素，那么将邻域像素也标注同样的序号，并对邻域像素重复这一步工作。

8.根据权利要求1所述的一种基于视差图背景差法和Meanshift结合的运动目标检测跟踪方法，其特征在于，所述步骤S3包括：

S3.1 多特征联合提取；

具体采用颜色特征的RGB模型下的R,G,B分量特征、HIS模型下的H，S分量和灰度直方图综合起来作为目标的颜色特征描述；

S3.2 采用Mean Shift算法进行多目标跟踪；

针对初始的目标利用特征进行表示，然后计算候选区域的特征值，进一步计算出最相近的Mean Shift向量，利用其收敛性对过程进行迭代计算，得到目标点收敛到最终位置的跟踪点。