CN112184759A - 一种基于视频的运动目标检测与跟踪方法及系统 - Google Patents

Abstract

本发明提供了一种基于视频的运动目标检测与跟踪方法及系统，其中方法包括输出视频；用改进的混合高斯模型对其每一帧图像进行前景和背景的分离；然后对检测后得到的前景图像进行中值滤波处理，去除噪声；再进行形态学膨胀操作，去除图像中产生的空洞；采用meanshift算法对目标进行跟踪。采用本发明的技术方案，提升了环境的鲁棒性，提高阴影检测效果，扩大了前景像素区域的边界，增大了前景像素区域的尺寸增大，减小了空洞。

Description

一种基于视频的运动目标检测与跟踪方法及系统

技术领域

本发明属于运动目标检测技术领域，尤其涉及一种基于视频的运动目标检测与跟踪方法及系统。

背景技术

近年来，随着图像处理技术的发展，基于机器视觉的目标检测与跟踪系统得到了广泛应用。迄今为止，已经开发了许多运动和变化的检测算法，这些算法在某些类型的视频中表现良好，但其中大多数对突然照明变化、环境条件、背景/相机运动、阴影等都很敏感。当前没有哪种算法能够同时很好地解决基于视频的多目标检测的所有问题。由于动态场景变化、光照变化、阴影的存在等各种挑战，检测出运动物体的实际形状变得困难。帧差法、光流法、背景减除法是目前常用的运动目标检测方法。帧差法的基本原理是在视频序列相邻几帧采用时间差分来提取出图像中的运动物体。光流法的关键在于计算光流场，根据视频序列的时空梯度估算运动场，通过分析运动场的变化对运动目标进行检测与分割。背景减除法的关键是对背景模型的创建和更新，将当前帧与背景图像进行比较实现前景检测，其中相差较大的像素区域被认为是前景，而相差较小的像素区域被认为是背景。

但是帧差法存在如下缺点为：在目标内部产生空洞，不能有效的提取运动目标，对环境噪声较为敏感。光流法的缺点为：光流场分布的计算过程非常复杂，很难进行实时处理。背景减除法的缺点为：易受光照等外界条件变化的影响，将背景误判成前景。但在处理摄像机静止的情况下，能较完整地从视频中分割出运动目标，简单有效。背景减除法对背景建模主要有以下难点：照明变化、动态背景、间歇物体运动、阴影、视频噪音。其中，最常用的方法有混合高斯背景建模法，混合高斯模型(GMM)对背景建模存在如下缺点：(1)每帧图像所有的高斯模型都保持相同固定不变的高斯模型个数，处理时会消耗大量的系统资源。(2)不能很好地辨别移动物体所产生的阴影。

发明内容

针对以上技术问题，本发明公开了一种基于视频的运动目标检测与跟踪方法及系统，大大提升了对环境的鲁棒性，同时也提高了阴影检测效果。

对此，本发明采用的技术方案为：

一种基于视频的运动目标检测与跟踪方法，其包括：

步骤S1，输出视频；

步骤S2，用改进的混合高斯模型对其每一帧图像进行前景和背景的分离；所述改进的混合高斯模型对其每一帧图像进行前景和背景的分离时，用K个不同的高斯函数来表示视频序列中每一个像素点的值，然后对这K个高斯函数按优先级进行排序，选取前B个高斯函数代表实际的背景模型，进而通过匹配的高斯函数的序号与B相比来判断该像素点是前景还是背景；

步骤S3，然后对检测后得到的前景图像进行中值滤波处理，去除噪声；

步骤S4，再进行形态学膨胀操作，去除图像中产生的空洞；

步骤S5，结合meanshift算法对目标进行跟踪。

其中，K和B为正整数。中值滤波是消除图像中较大噪声的最有力工具之一，该方法在消除脉冲噪声、椒盐噪声的同时，对图像细节的影响也较小。图像形态学是最基本的图像去噪方法。膨胀的作用是逐渐扩大前景像素区域的边界，效果显示为前景像素区域的尺寸增大，而这些区域内的空洞变小。Meanshift算法是一种基于密度函数梯度估计的方法，先对目标进行建模，用目标的颜色分布来描述目标，再计算目标在下一帧图像上的概率分布，使目标的搜索一直沿着概率梯度上升的方向，迭代收敛到概率密度分布的局部峰值上。

作为本发明的进一步改进，步骤S2包括：

步骤S201，背景建模，

每个像素用K个高斯函数表示，第K个高斯函数的权重为ω_i，在时刻t，背景像素X_t的混合高斯模型如式(1)所示：

其中，X_t代表t时刻的背景像素，指的是背景更新的像素，μ_i,t是第i个混合高斯模型在时间t的均值，ω_i,t代表t时刻第i个高斯函数的权重，∑_i,t是第i个混合高斯模型在时间t的协方差矩阵，η是高斯密度分布函数，如式(3)所示：

其中，n代表背景像素X_t的维数，μ_t代表混合高斯模型在时间t的均值，σ是标准差，I是单位矩阵；

步骤S202，目标检测，

各个高斯函数的分布根据w_k/σ²按降序排列，权重大、方差小的排在前，选前B个权重之和大于阈值T的分布作为背景，即B应满足式(4)：

其中，w_k代表第k个高斯函数的权重。

每个新像素值X_t与按顺序遍历K个模型，满足式(5)且k<B，则该点为背景，否则为前景；

|X_t-μ_k|≤2.5σ_k (5)

其中，μ_k代表第k个高斯函数的均值。

作为本发明的进一步改进，步骤S2还包括：

步骤S203，对得到的背景进行参数更新，所述参数更新包括：

各分布权值按式(6)进行更新，

ω_k,t＝(1-α)ω_k,t-1+αM_k,t (6)

其中α是学习速率，对于匹配的分布M_k,t＝1，否则不匹配分布M_k,t＝0，然后将各分布权重归一化；

未匹配分布的均值和方差均不变，匹配分布的参数按式(7)～(9)进行更新：

μ_t＝(1-ρ)μ_t-1+ρX_t (7)

ρ＝αη(X_t,μ_k,∑_k) (9)

其中，ρ表示参数更新速率，μ_t是t时刻均值，σ_t是t时刻方差，α是学习速率，X_t是新像素值。

作为本发明的进一步改进，所述改进的混合高斯模型包括自适应选择高斯分布的个数和阴影检测，其中所述自适应选择高斯分布的个数包括：

引入负的先验系数，改变更新权重的方式，当权值小于阈值c_T时，减少高斯模型个数。

其中，α是模型的学习速率，反映当前图像融入背景的速率，

表示t时刻像素j的混合高斯模型中第i个高斯分量的权重，

表示按上式更新后各分布权值；

所述阴影检测包括：

建立一个可以分离色彩和亮度的颜色模型，比较目标像素和背景像素，如果色彩和亮度的差值都在一定的阈值内，则该像素被视为阴影。

作为本发明的进一步改进，所述颜色模型由背景像素的RGB均值处的位置矢量E、色差阈值d、亮度阈值τ组成，对于一个给定的像素值I，亮度失真a和颜色失真c可由如下公式计算得出：

a＝argmin(I-αE)² (11)

c＝||I-αE|| (12)

其中，α是指模型的学习速率。

第k个高斯分布的标准差σ_k被设置为d，如果a在2.5倍标准差之间，τ＜c＜1，则该点被视为阴影。

作为本发明的进一步改进，步骤S5包括：

步骤S501，在反向投影图中选取搜索窗W；

步骤S502，按照式(13)计算零阶距：

其中，x、y是像素的横纵坐标。

按照式(14)和式(15)计算一阶距：

其中，I(x,y)是颜色直方图的反向投影图中该像素点对应的值，M₁₀和M₀₁代表搜索窗口的一阶矩阵，M₁₀代表数列X的均值，M₀₁代表数列Y的均值；

按照式(16)和式(17)计算搜索窗的质心：

x_c＝M₁₀/M₀₀ (16)

y_c＝M₀₁/M₀₀ (17)

其中，x_c、y_c代表的是x、y向的质心。

步骤S503，调整搜索窗大小，宽度为

长度为1.2s；

步骤S504，移动搜索窗的中心到质心，如果移动距离大于预设的固定阈值，则重复步骤S501～步骤S503，直到搜索窗的中心与质心间的移动距离小于预设的固定阈值，停止计算。

本发明还公开了一种基于视频的运动目标检测与跟踪的系统，其包括：

视频输入单元，用于输入视频；

前景和背景分离单元，采用改进的混合高斯模型对其每一帧图像进行前景和背景的分离；所述改进的混合高斯模型对其每一帧图像进行前景和背景的分离时，用K个不同的高斯函数来表示视频序列中每一个像素点的值，然后对这K个高斯函数按优先级进行排序，选取前B个高斯函数代表实际的背景模型，进而通过匹配的高斯函数的序号与B相比来判断该像素点是前景还是背景；

中值滤波单元，用于对检测后得到的前景图像进行中值滤波处理，去除噪声；

空洞去除单元，采用形态学膨胀操作，去除图像中产生的空洞；

目标跟踪单元，采用meanshift算法对目标进行跟踪。

作为本发明的进一步改进，所述前景和背景分离单元采用以下步骤进行前景和背景的分离：

步骤S201，背景建模，

每个像素用K个高斯函数表示，第K个高斯函数的权重为ω_i，在时刻t，背景像素X_t的混合高斯模型如式(1)所示：

其中，X_t代表t时刻的背景像素，指的是背景更新的像素，ω_i,t代表t时刻第i个高斯函数的权重，μ_i,t是第i个混合高斯模型在时间t的均值，∑_i,t是第i个混合高斯模型在时间t的协方差矩阵，η是高斯密度分布函数，如式(3)所示：

其中，n代表背景像素X_t的维数，μ_t代表混合高斯模型在时间t的均值，σ是标准差，I是单位矩阵；

步骤S202，目标检测，

各个高斯函数的分布根据w_k/σ²按降序排列，权重大、方差小的排在前，选前B个权重之和大于阈值T的分布作为背景，即B应满足式(4)：

其中，w_k代表第k个高斯函数的权重；

每个新像素值X_t与按顺序遍历K个模型，满足式(5)且k<B，则该点为背景，否则为前景；

|X_t-μ_k|≤2.5σ_k (5)

其中，μ_k代表第k个高斯函数的均值；

步骤S203，参数更新，包括：

各分布权值按式(6)进行更新，

ω_k,t＝(1-α)ω_k,t-1+αM_k,t (6)

其中α是学习速率，对于匹配的分布M_k,t＝1，否则M_k,t＝0，然后将各分布权重归一化；

未匹配分布的均值和方差均不变，匹配分布的参数按式(7)～(9)进行更新：

μ_t＝(1-ρ)μ_t-1+ρX_t (7)

ρ＝αη(X_t,μ_k,∑_k) (9)

其中，ρ表示参数更新速率，μ_t是t时刻均值，σ_t是t时刻方差，α是学习速率，X_t是新像素值。

作为本发明的进一步改进，所述改进的混合高斯模型包括自适应选择高斯分布的个数和阴影检测，其中所述自适应选择高斯分布的个数包括：

引入负的先验系数，改变更新权重的方式，当权值小于阈值c_T时，减少高斯模型个数。

其中，α是模型的学习速率，反映当前图像融入背景的速率，

表示t时刻像素j的混合高斯模型中第i个高斯分量的权重，

表示按上式更新后各分布权值。

所述阴影检测包括：

建立一个可以分离色彩和亮度的颜色模型，比较目标像素和背景像素，如果色彩和亮度的差值都在一定的阈值内，则该像素被视为阴影。

作为本发明的进一步改进，所述颜色模型由背景像素的RGB均值处的位置矢量E、色差阈值d、亮度阈值τ组成，对于一个给定的像素值I，亮度失真a和颜色失真c可由如下公式计算得出：

a＝argmin(I-αE)² (11)

c＝||I-αE|| (12)

其中，α是指模型的学习速率。

第k个高斯分布的标准差σ_k被设置为d，如果a在2.5倍标准差之间，τ＜c＜1，则该点被视为阴影。

作为本发明的进一步改进，所述目标跟踪单元采用以下步骤进行目标跟踪：

步骤S501，在反向投影图中选取搜索窗W；

步骤S502，按照式(13)计算零阶距：

其中，x、y是像素的横纵坐标。

按照式(14)和式(15)计算一阶距：

其中，I(x,y)是颜色直方图的反向投影图中该像素点对应的值，M₁₀和M₀₁代表搜索窗口的一阶矩阵，M₁₀代表数列X的均值，M₀₁代表数列Y的均值；

按照式(16)和式(17)计算搜索窗的质心：

x_c＝M₁₀/M₀₀ (16)

y_c＝M₀₁/M₀₀ (17)

步骤S503，调整搜索窗大小，宽度为

长度为1.2s；

步骤S504，移动搜索窗的中心到质心，如果移动距离大于预设的固定阈值，则重复步骤S501～步骤S503，直到搜索窗的中心与质心间的移动距离小于预设的固定阈值，停止计算。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备执行如上任一项所述的基于视频的运动目标检测与跟踪方法。

本发明还公开了一种装置，其包括相连的处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序，以执行如上任一项所述的基于视频的运动目标检测与跟踪方法。

与现有技术相比，本发明的有益效果为：

采用本发明的技术方案，结合改进的混合高斯模型提取出运动目标，将每个像素点需要建立固定的混合高斯函数数量改进成可以自适应选择高斯函数的个数，利用CDW-2012数据集中的动态背景(Dynamic Background)、阴影(Shadow)2个视频类别进行检测，结果表明，改进的混合高斯模型对环境的鲁棒性大大提升，阴影检测效果也有很大的提高。再对检测后得到的前景图像进行中值滤波，在消除脉冲噪声、椒盐噪声的同时，大大降低对图像细节的影响。进一步通过对中值滤波的图像进行膨胀，逐渐扩大了前景像素区域的边界，增大了前景像素区域的尺寸增大，减小了这些区域内的空洞，进一步结合meanshift算法可以实现对目标的跟踪。

附图说明

图1是本发明一种基于视频的运动目标检测与跟踪方法的流程图。

具体实施方式

下面对本发明的较优的实施例作进一步的详细说明。

如图1所示，一种基于视频的运动目标检测与跟踪方法，其包括：对输入视频进行处理，用改进的混合高斯模型对其每一帧图像进行前景和背景的分离，先对检测后得到的前景图像进行中值滤波处理，去除噪声，再进行形态学膨胀操作，去除图像中产生的空洞，提高检测目标的准确性，然后结合meanshift算法实现了对目标的跟踪。

混合高斯背景建模法是一种基于参数估计的统计学背景减除法，用K个不同的高斯函数来表示视频序列中每一个像素点的值，然后对这K个高斯函数按优先级进行排序，选取前B个高斯函数代表实际的背景模型，进而通过匹配的高斯函数的序号与B相比来判断该像素点是前景还是背景。

具体而言，如图1所示，所述基于视频的运动目标检测与跟踪方法包括如下步骤：

步骤S1，输出视频；

步骤S2，用改进的混合高斯模型对其每一帧图像进行前景和背景的分离；所述改进的混合高斯模型对其每一帧图像进行前景和背景的分离时，用K个不同的高斯函数来表示视频序列中每一个像素点的值，然后对这K个高斯函数按优先级进行排序，选取前B个高斯函数代表实际的背景模型，进而通过匹配的高斯函数的序号与B相比来判断该像素点是前景还是背景；

步骤S3，然后对检测后得到的前景图像进行中值滤波处理，去除噪声；

中值滤波：消除图像中较大噪声的最有力工具之一，该方法在消除脉冲噪声、椒盐噪声的同时，对图像细节的影响也较小。

步骤S4，再进行形态学膨胀操作，去除图像中产生的空洞；

图像形态学是最基本的图像去噪方法，膨胀的作用是逐渐扩大前景像素区域的边界，效果显示为前景像素区域的尺寸增大，而这些区域内的空洞变小。

步骤S5，结合meanshift算法对目标进行跟踪。Meanshift算法是一种基于密度函数梯度估计的方法，先对目标进行建模，用目标的颜色分布来描述目标，再计算目标在下一帧图像上的概率分布，使目标的搜索一直沿着概率梯度上升的方向，迭代收敛到概率密度分布的局部峰值上。

其中，步骤S2包括：

步骤S201，背景建模，

假设每个像素用K个高斯函数表示，第K个高斯函数的权重为ω_i，在时刻t，背景像素X_t的混合高斯模型如式(1)所示：

其中，X_t代表t时刻的背景像素，指的是背景更新的像素，ω_i,t代表t时刻第i个高斯函数的权重，μ_i,t是第i个混合高斯模型在时间t的均值，∑_i,t是第i个混合高斯模型在时间t的协方差矩阵，η是高斯密度分布函数，如式(3)所示：

其中，n代表背景像素X_t的维数，μ_t代表混合高斯模型在时间t的均值，σ是标准差，I是单位矩阵；

步骤S202，目标检测，

各个高斯函数的分布根据w_k/σ²按降序排列，权重大、方差小的排在前，选前B个权重之和大于阈值T的分布作为背景，即B应满足式(4)：

w_k代表第k个高斯函数的权重；

每个新像素值X_t与按顺序遍历K个模型，满足式(5)且k<B，则该点为背景，否则为前景；

|X_t-μ_k|≤2.5σ_k (5)

其中，μ_k代表第k个高斯函数的均值；

步骤S203，参数更新；

各分布权值按式(6)进行更新，α是学习速率，对于匹配的分布M_k,t＝1，否则M_k,t＝0，然后将各分布权重归一化；

ω_k,t＝(1-α)ω_k,t-1+αM_k,t (6)

未匹配分布的均值和方差均不变，匹配分布的参数按式(7)～(9)进行更新：

μ_t＝(1-ρ)μ_t-1+ρX_t (7)

ρ＝αη(X_t,μ_k,∑_k) (9)

其中，ρ表示参数更新速率，μ_t是t时刻均值，σ_t是t时刻方差，α是学习速率，X_t是新像素值。

所述改进的混合高斯模型包括自适应选择高斯分布的个数和阴影检测，具体而言：

(1)自适应选择高斯分布的个数

引入负的先验系数，改变更新权重的方式，当权值小于阈值c_T时，减少高斯模型个数。

其中，α是模型的学习速率，反映当前图像融入背景的速率，

表示t时刻像素j的混合高斯模型中第i个高斯分量的权重，

表示按上式更新后各分布权值。

(2)阴影检测

为了识别移动阴影，我们需要建立一个可以分离色彩和亮度的颜色模型，比较目标像素和背景像素，如果色彩和亮度的差值都在一定的阈值内，则该像素被视为阴影。这个颜色模型由背景像素的RGB均值处的位置矢量E，色差阈值d，和亮度阈值τ组成，对于一个给定的像素值I，亮度失真a和颜色失真c可由如下公式计算得出：

a＝argmin(I-αE)² (11)

c＝||I-αE|| (12)

其中，α是指模型的学习速率。

在每个高斯混合分布都是球形高斯分布的假设下，第k个高斯分布的标准差σ_k可以被设置为d。如果a在2.5倍标准差之间，τ＜c＜1，则该点是阴影。

步骤S5的Meanshift算法是一种基于密度函数梯度估计的方法，先对目标进行建模，用目标的颜色分布来描述目标，再计算目标在下一帧图像上的概率分布，使目标的搜索一直沿着概率梯度上升的方向，迭代收敛到概率密度分布的局部峰值上。算法过程包括：

步骤S501，在反向投影图中选取搜索窗W；

步骤S502，按照式(13)计算零阶距：

按照式(14)和式(15)计算一阶距：

其中，I(x,y)是颜色直方图的反向投影图中该像素点对应的值，M₁₀和M₀₁代表搜索窗口的一阶矩阵，M₁₀代表数列X的均值，M₀₁代表数列Y的均值；

按照式(16)和式(17)计算搜索窗的质心：

x_c＝M₁₀/M₀₀ (16)

y_c＝M₀₁/M₀₀ (17)

步骤S503，调整搜索窗大小，宽度为

长度为1.2s；

步骤S504，移动搜索窗的中心到质心，如果移动距离大于预设的固定阈值，则重复步骤S501～步骤S503，直到搜索窗的中心与质心间的移动距离小于预设的固定阈值，停止计算。

采用以上方法，选取CDW-2012中、动态背景(Dynamic Background)、阴影(Shadow)2个视频类别，每个类别包含4到6个视频序列。每个视频序列都包含input、groundtruth两个文件夹以及ROI.bmp、ROI.jpg、temporalROI.txt三个文件，temporalROI.txt用于指定感兴趣的帧。将混合高斯模型GMM与本技术方案改进后的混合高斯模型n-GMM作比较，在阴影测试类别的结果如表1所示：

表1 GMM和n-GMM的阴影测试结果对比表

由表1可知，改进的混合高斯模型算法对阴影检测的准确率提高、错误率下降了。

在动态背景类别检测的结果如下所示：

表2 GMM和n-GMM的动态背景类别检测对比表

由上表2可知，改进的混合高斯模型算法对背景动态变化的性能除了召回率外，其余六大指标全都有显著提高。

其中，CDW-2012数据集是作为CVPR 2012变化检测研讨会挑战的一部分而开发的，该数据集包含31个视频，这些视频从低分辨率IP摄像机，中分辨率摄像机和PTZ摄像机到远近红外摄像机等不同摄像机获得，视频的空间分辨率从320*240到720*576不等，视频的长度也从1,000到8,000帧不等。视频包含6个类别，它们被选中来应对各种各样的检测挑战，并且代表了当今在监控，智能环境和视频数据库场景中捕获的典型室内和室外视觉数据。

本发明还公开了一种基于视频的运动目标检测与跟踪的系统，其包括：

视频输入单元，用于输入视频；

前景和背景分离单元，采用改进的混合高斯模型对其每一帧图像进行前景和背景的分离；所述改进的混合高斯模型对其每一帧图像进行前景和背景的分离时，用K个不同的高斯函数来表示视频序列中每一个像素点的值，然后对这K个高斯函数按优先级进行排序，选取前B个高斯函数代表实际的背景模型，进而通过匹配的高斯函数的序号与B相比来判断该像素点是前景还是背景；

中值滤波单元，用于对检测后得到的前景图像进行中值滤波处理，去除噪声；

空洞去除单元，采用形态学膨胀操作，去除图像中产生的空洞；

目标跟踪单元，采用meanshift算法对目标进行跟踪。

其中，所述前景和背景分离单元采用以下步骤进行前景和背景的分离：

步骤S201，背景建模，

每个像素用K个高斯函数表示，第K个高斯函数的权重为ω_i，在时刻t，背景像素X_t的混合高斯模型如式(1)所示：

其中，X_t代表t时刻的背景像素，指的是背景更新的像素，ω_i,t代表t时刻第i个高斯函数的权重，μ_i,t是第i个混合高斯模型在时间t的均值，∑_i,t是第i个混合高斯模型在时间t的协方差矩阵，η是高斯密度分布函数，如式(3)所示：

其中，n代表背景像素X_t的维数，μ_t代表混合高斯模型在时间t的均值，σ是标准差，I是单位矩阵；

步骤S202，目标检测，

各个高斯函数的分布根据w_k/σ²按降序排列，权重大、方差小的排在前，选前B个权重之和大于阈值T的分布作为背景，即B应满足式(4)：

w_k代表第k个高斯函数的权重；

每个新像素值X_t与按顺序遍历K个模型，满足式(5)且k<B，则该点为背景，否则为前景；

|X_t-μ_k|≤2.5σ_k (5)

其中，μ_k代表第k个高斯函数的均值；

步骤S203，参数更新，包括：

各分布权值按式(6)进行更新，

ω_k,t＝(1-α)ω_k,t-1+αM_k,t (6)

其中α是学习速率，对于匹配的分布M_k,t＝1，否则M_k,t＝0，然后将各分布权重归一化；

未匹配分布的均值和方差均不变，匹配分布的参数按式(7)～(9)进行更新：

μ_t＝(1-ρ)μ_t-1+ρX_t (7)

ρ＝αη(X_t,μ_k,∑_k) (9)

其中，ρ表示参数更新速率，μ_t是t时刻均值，σ_t是t时刻方差，α是学习速率，X_t是新像素值。

所述改进的混合高斯模型包括自适应选择高斯分布的个数和阴影检测，其中所述自适应选择高斯分布的个数包括：

引入负的先验系数，改变更新权重的方式，当权值小于阈值c_T时，减少高斯模型个数。

其中，α是模型的学习速率，反映当前图像融入背景的速率，

表示t时刻像素j的混合高斯模型中第i个高斯分量的权重，

表示按上式更新后各分布权值。

所述阴影检测包括：

为了识别移动阴影，我们需要建立一个可以分离色彩和亮度的颜色模型，比较目标像素和背景像素，如果色彩和亮度的差值都在一定的阈值内，则该像素被视为阴影。这个颜色模型由背景像素的RGB均值处的位置矢量E，色差阈值d，和亮度阈值τ组成，对于一个给定的像素值I，亮度失真a和颜色失真c可由如下公式计算得出：

a＝argmin(I-αE)² (11)

c＝||I-αE|| (12)

其中，α是指模型的学习速率。

在每个高斯混合分布都是球形高斯分布的假设下，第k个高斯分布的标准差σ_k可以被设置为d。如果a在2.5倍标准差之间，τ＜c＜1，则该点是阴影。

所述目标跟踪单元采用以下步骤进行目标跟踪：

步骤S501，在反向投影图中选取搜索窗W；

步骤S502，按照式(13)计算零阶距：

按照式(14)和式(15)计算一阶距：

其中，I(x,y)是颜色直方图的反向投影图中该像素点对应的值，M₁₀和M₀₁代表搜索窗口的一阶矩阵，M₁₀代表数列X的均值，M₀₁代表数列Y的均值；

按照式(16)和式(17)计算搜索窗的质心：

x_c＝M₁₀/M₀₀ (16)

y_c＝M₀₁/M₀₀ (17)

步骤S503，调整搜索窗大小，宽度为

长度为1.2s；

步骤S504，移动搜索窗的中心到质心，如果移动距离大于预设的固定阈值，则重复步骤S501～步骤S503，直到搜索窗的中心与质心间的移动距离小于预设的固定阈值，停止计算。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备执行如上所述的基于视频的运动目标检测与跟踪方法。

本发明还公开了一种装置，其包括相连的处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序，以执行如上所述的基于视频的运动目标检测与跟踪方法。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于视频的运动目标检测与跟踪方法，其特征在于，其包括：

步骤S1，输出视频；

步骤S2，用改进的混合高斯模型对其每一帧图像进行前景和背景的分离；

所述改进的混合高斯模型对其每一帧图像进行前景和背景的分离时，用K个不同的高斯函数来表示视频序列中每一个像素点的值，然后对这K个高斯函数按优先级进行排序，选取前B个高斯函数代表实际的背景模型，进而通过匹配的高斯函数的序号与B相比来判断该像素点是前景还是背景；

步骤S3，然后对检测后得到的前景图像进行中值滤波处理，去除噪声；

步骤S4，再进行形态学膨胀操作，去除图像中产生的空洞；

步骤S5，采用meanshift算法对目标进行跟踪。

2.根据权利要求1所述的基于视频的运动目标检测与跟踪方法，其特征在于：步骤S2包括：

步骤S201，背景建模，

每个像素用K个高斯函数表示，第K个高斯函数的权重为ω_i，在时刻t，背景像素X_t的混合高斯模型如式(1)所示：

其中，X_t代表t时刻的背景像素，指的是背景更新的像素，ω_i,t代表t时刻第i个高斯函数的权重，μ_i,t是第i个混合高斯模型在时间t的均值，∑_i,t是第i个混合高斯模型在时间t的协方差矩阵，η是高斯密度分布函数，如式(3)所示：

其中，n代表背景像素X_t的维数，μ_t代表混合高斯模型在时间t的均值，σ是标准差，I是单位矩阵；

步骤S202，目标检测，

各个高斯函数的分布根据w_k/σ²按降序排列，权重大、方差小的排在前，选前B个权重之和大于阈值T的分布作为背景，即B应满足式(4)：

w_k代表第k个高斯函数的权重；

每个新像素值X_t与按顺序遍历K个模型，满足式(5)且k<B，则该点为背景，否则为前景；

|X_t-μ_k|≤2.5σ_k (5)

其中，μ_k代表第k个高斯函数的均值；

步骤S203，对得到的背景进行参数更新，所述参数更新包括：

各分布权值按式(6)进行更新，

ω_k,t＝(1-α)ω_k,t-1+αM_k,t (6)

其中α是学习速率，对于匹配的分布M_k,t＝1，否则M_k,t＝0，然后将各分布权重归一化；未匹配分布的均值和方差均不变，匹配分布的参数按式(7)～(9)进行更新：

μ_t＝(1-ρ)μ_t-1+ρX_t (7)

ρ＝αη(X_t,μ_k,∑_k) (9)；

其中，ρ表示参数更新速率，μ_t是t时刻均值，σ_t是t时刻方差，α是学习速率，X_t是新像素值。

3.根据权利要求2所述的基于视频的运动目标检测与跟踪方法，其特征在于：所述改进的混合高斯模型包括自适应选择高斯分布的个数和阴影检测，其中所述自适应选择高斯分布的个数包括：

引入负的先验系数，改变更新权重的方式，当权值小于阈值c_T时，减少高斯模型个数。

其中，α是模型的学习速率，反映当前图像融入背景的速率，

表示t时刻像素j的混合高斯模型中第i个高斯分量的权重，

表示按上式更新后各分布权值；

所述阴影检测包括：

建立一个可以分离色彩和亮度的颜色模型，比较目标像素和背景像素，如果色彩和亮度的差值都在一定的阈值内，则该像素被视为阴影。

4.根据权利要求3所述的基于视频的运动目标检测与跟踪方法，其特征在于：

所述颜色模型由背景像素的RGB均值处的位置矢量E、色差阈值d、亮度阈值τ组成，对于一个给定的像素值I，亮度失真a和颜色失真c可由如下公式计算得出：

a＝arg min(I-αE)² (11)

c＝||I-αE|| (12)

其中，α是指模型的学习速率；

第k个高斯分布的标准差σ_k被设置为d，如果a在2.5倍标准差之间，τ＜c＜1，则该点被视为阴影。

5.据权利要求1所述的基于视频的运动目标检测与跟踪方法，其特征在于：步骤S5包括：

步骤S501，在反向投影图中选取搜索窗W；

步骤S502，按照式(13)计算零阶距：

按照式(14)和式(15)计算一阶距：

其中，I(x,y)是颜色直方图的反向投影图中该像素点对应的值，M₁₀和M₀₁代表搜索窗口的一阶矩阵，M₁₀代表数列X的均值，M₀₁代表数列Y的均值；

按照式(16)和式(17)计算搜索窗x、y向的质心：

x_c＝M₁₀/M₀₀ (16)

y_c＝M₀₁/M₀₀ (17)

步骤S503，调整搜索窗大小，宽度为

长度为1.2s；

步骤S504，移动搜索窗的中心到质心，如果移动距离大于预设的固定阈值，则重复步骤S501～步骤S503，直到搜索窗的中心与质心间的移动距离小于预设的固定阈值，停止计算。

6.一种基于视频的运动目标检测与跟踪的系统，其特征在于，其包括：

视频输入单元，用于输入视频；

前景和背景分离单元，采用改进的混合高斯模型对其每一帧图像进行前景和背景的分离；所述改进的混合高斯模型对其每一帧图像进行前景和背景的分离时，用K个不同的高斯函数来表示视频序列中每一个像素点的值，然后对这K个高斯函数按优先级进行排序，选取前B个高斯函数代表实际的背景模型，进而通过匹配的高斯函数的序号与B相比来判断该像素点是前景还是背景；

中值滤波单元，用于对检测后得到的前景图像进行中值滤波处理，去除噪声；

空洞去除单元，采用形态学膨胀操作，去除图像中产生的空洞；

目标跟踪单元，采用meanshift算法对目标进行跟踪。

7.根据权利要求6所述的基于视频的运动目标检测与跟踪的系统，其特征在于：所述前景和背景分离单元采用以下步骤进行前景和背景的分离：

步骤S201，背景建模，

每个像素用K个高斯函数表示，第K个高斯函数的权重为ω_i，在时刻t，背景像素X_t的混合高斯模型如式(1)所示：

其中，X_t代表t时刻的背景像素，指的是背景更新的像素，ω_i,t代表t时刻第i个高斯函数的权重，μ_i,t是第i个混合高斯模型在时间t的均值，∑_i,t是第i个混合高斯模型在时间t的协方差矩阵，η是高斯密度分布函数，如式(3)所示：

其中，n代表背景像素X_t的维数，μ_t代表混合高斯模型在时间t的均值，σ是标准差，I是单位矩阵；

步骤S202，目标检测，

各个高斯函数的分布根据w_k/σ²按降序排列，权重大、方差小的排在前，选前B个权重之和大于阈值T的分布作为背景，即B应满足式(4)：

其中，w_k代表第k个高斯函数的权重；

每个新像素值X_t与按顺序遍历K个模型，满足式(5)且k<B，则该点为背景，否则为前景；

|X_t-μ_k|≤2.5σ_k (5)

其中，μ_k代表第k个高斯函数的均值；

步骤S203，对得到的背景进行参数更新，所述参数更新包括：

各分布权值按式(6)进行更新，

ω_k,t＝(1-α)ω_k,t-1+αM_k,t (6)

其中α是学习速率，对于匹配的分布M_k,t＝1，否则M_k,t＝0，然后将各分布权重归一化；未匹配分布的均值和方差均不变，匹配分布的参数按式(7)～(9)进行更新：

μ_t＝(1-ρ)μ_t-1+ρX_t (7)

ρ＝αη(X_t,μ_k,∑_k) (9)；

其中，ρ表示参数更新速率，μ_t是t时刻均值，σ_t是t时刻方差，α是学习速率，X_t是新像素值；

所述改进的混合高斯模型包括自适应选择高斯分布的个数和阴影检测，其中所述自适应选择高斯分布的个数包括：

引入负的先验系数，改变更新权重的方式，当权值小于阈值c_T时，减少高斯模型个数。

其中，α是模型的学习速率，反映当前图像融入背景的速率，

表示t时刻像素j的混合高斯模型中第i个高斯分量的权重，

表示按上式更新后各分布权值；

所述阴影检测包括：

建立一个可以分离色彩和亮度的颜色模型，比较目标像素和背景像素，如果色彩和亮度的差值都在一定的阈值内，则该像素被视为阴影；

所述颜色模型由背景像素的RGB均值处的位置矢量E、色差阈值d、亮度阈值τ组成，对于一个给定的像素值I，亮度失真a和颜色失真c可由如下公式计算得出：

a＝arg min(I-αE)² (11)

c＝||I-αE|| (12)

其中，α是指模型的学习速率；

第k个高斯分布的标准差σ_k被设置为d，如果a在2.5倍标准差之间，τ＜c＜1，则该点被视为阴影。

8.根据权利要求7所述的基于视频的运动目标检测与跟踪的系统，其特征在于：所述目标跟踪单元采用以下步骤进行目标跟踪：

步骤S501，在反向投影图中选取搜索窗W；

步骤S502，按照式(13)计算零阶距：

按照式(14)和式(15)计算一阶距：

其中，I(x,y)是颜色直方图的反向投影图中该像素点对应的值，M₁₀和M₀₁代表搜索窗口的一阶矩阵，M₁₀代表数列X的均值，M₀₁代表数列Y的均值；

按照式(16)和式(17)计算搜索窗x、y向的质心：

x_c＝M₁₀/M₀₀ (16)

y_c＝M₀₁/M₀₀ (17)

步骤S503，调整搜索窗大小，宽度为

长度为1.2s；

步骤S504，移动搜索窗的中心到质心，如果移动距离大于预设的固定阈值，则重复步骤S501～步骤S503，直到搜索窗的中心与质心间的移动距离小于预设的固定阈值，停止计算。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1～5任一项所述的基于视频的运动目标检测与跟踪方法。

10.一种装置，其包括相连的处理器和存储器，其特征在于：所述处理器用于执行所述存储器中存储的计算机程序，以执行如权利要求1～5中任一项所述的基于视频的运动目标检测与跟踪方法。

Images