CN105354862A - 一种监控视频中运动目标的阴影检测方法、系统 - Google Patents

Abstract

本发明属于图像处理技术领域，提供了一种监控视频中运动目标的阴影检测方法，所述方法包括：建立阴影的三维高斯概率模型,并对模型参数进行初始化；对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中；根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素，从而检测得到阴影区域。本发明较好地解决了现有监控视频中运动目标阴影检测技术中的参数设定困难，无法自适应场景光照变化，运算量大等问题。

Description

一种监控视频中运动目标的阴影检测方法、系统

技术领域

本发明属于视频图像处理技术领域，尤其涉及一种监控视频中运动目标的阴影检测方法、系统。

背景技术

在监控视频分析中，通常首先进行运动目标检测，从视频中提取出感兴趣的运动目标。这些运动目标是后续视频图像分类、识别和行为分析的基础。常用的视频目标检测方法有：帧差法、光流法、背景减除法。一般来说,这些方法初始检测出来的“运动目标”实际上只是“运动区域”。由于受光照等因素的影响，在检测中,运动目标的阴影往往伴随目标会同时被检测到，这些目标产生的阴影具有与目标类似的运动属性，会影响对目标形状的判别，对后续目标识别造成困难。因此需要从检测的运动区域中进一步将阴影检测出来并进行剔除。

现有技术针对图像中阴影检测去除的方法主要有以下几种：

一、基于模型的方法。这类方法一般要求知道场景、运动目标、光照条件的先验知识。如在人体检测中，将人体构建成直立的椭圆，并将不符合人体椭圆模型的区域看作阴影区域或噪声进行消除。但由于人体机动性强，形态复杂，人体形状不满足椭圆模型时会误判成阴影。另外当阴影区域和人体模型形状类似时，阴影也会检测成人体，造成误检。基于模型的方法由于非常依赖于场景与前景之间的几何关系，当这些关系改变时，这些方法会失效，因此通用性不强。

二、基于RGB三基色空间的方法。如利用人眼对色感一致性能力，把颜色看作辐射系数和反射系数的乘积，统计RGB颜色空间中背景的各颜色分量的均值、方差，再通过当前帧像素与统计的背景像素参数对比，从而进行分类，得到阴影。如在归一化的颜色空间，取出其中两个颜色，当检测出的运动目标区域对背景图像覆盖前后颜色色度不变，亮度减小的像素，判别为阴影。此种方法实现简单，但算法容易误判阴影点。

三、基于HSV颜色特征空间的方法。该类方法认为阴影区域像素点与其对应位置的背景像素点相比，具有亮度变暗、饱和度降低、色调变化不大的特点。具体实现时，首先进行视频的运动前景和静态背景的分离；然后计算像素的前景图像亮度与背景图亮度的比值，并设置一个基于比值的双阈值区间，同时计算该像素的前景图色调与背景图色调的差值，以及该像素前景图饱和度与背景图饱和度的差值，并分别设定一个固定的色调差值阈值与饱和度差值阈值；最后将那些亮度比值在双阈值区间，且色调差值和饱和度差值不大于对应阈值的运动前景区域像素点判定为阴影像素点。该方法中,前景/背景亮度比值的双阈值、以及色调差值阈值和饱和度差值阈值共同构成了一个三维空间中沿坐标轴方向的长方体结构。在针对特定视频场景中阈值设定合理的情况下，该方法可以得到较好的阴影区域检测效果。但该方法的一个最大问题是，四个阈值参数需要根据不同场景人为进行设置，且不能对场景光照变化进行自适应参数调整,影响了方法的使用范围。另外该方法还需要进行RGB颜色空间到HSV空间的转换等。

综上所述，现有技术提出阴影的检测方法存在一些参数设定困难、无法适应视频场景光照变化、运算量大等问题。

发明内容

本发明的目的在于提供一种监控视频中运动目标的阴影检测方法，旨在解决现有技术的阴影检测方法存在一些参数设定困难、无法适应视频场景光照变化、运算量大的问题。

本发明是这样实现的，一种监控视频中运动目标的阴影检测方法，所述方法包括以下步骤：

在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化；

对监控视频的当前帧的图像进行运动前景区域的检测,以及视频背景的更新，对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中；

根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素；

根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数；

根据更新后的三维高斯概率模型，对新的一帧视频图像进行运动区域的阴影检测。

本发明还提供了一种监控视频中运动目标的阴影检测系统，所述系统包括：

模型创建单元，用于在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化；

图像检测单元，用于对监控视频的当前帧的图像进行运动前景区域的检测,以及视频背景的更新，对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中；

像素判别单元，用于根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素；

模型更新单元，用于根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数；

后续帧阴影检测单元，用于根据更新后的三维高斯概率模型，对新的一帧视频图像进行运动区域的阴影检测。

本发明实现了一种监控视频中运动目标的阴影检测方法，通过建立三维高斯概率模型，对所述模型参数进行初始化，对监控视频图像的前景区域进行检测，和视频背景更新，将前景区域中的每个像素映射到三基色比值空间，通过对每个像素进行判别，从而检测得到所有阴影像素点，根据检测的像素点对三维高斯概率模型进行更新后，即可对下一帧图像进行检测。本发明较好地解决了现有监控视频中运动目标阴影检测技术中的参数设定困难，无法自适应场景光照变化，运算量大等问题。

附图说明

图1是本发明实施例提供的监控视频中运动目标的阴影检测方法的流程图；

图2a为样例视频中的一帧视频图像；

图2b为采用基于背景建模的视频运动检测方法得到的对应于图2a视频图像帧的运动前景掩膜图；

图2c为图2a所述的视频图像的帧时刻的视频背景图；

图3a为图2a的局部子图像；

图3b为对应于图2b的运动前景掩膜图；

图3c为对应于图3a的视频背景图；

图3d中的上面部分为运动目标的掩模，下面部分为目标阴影的掩模；

图3e为由图3a和图3b经像素乘积运算得到的运动前景图像；

图4是本发明实施例提供的对运动区域阴影检测的三维高斯模型进行参数初始化的流程图；

图5a为标定只有阴影的矩形方框的运动前景掩模图；

图5b为图5a中标定框中的阴影掩模图；

图5c为图5a标定的阴影框中的阴影掩模图和原视频图像帧得到的阴影图像；

图6a为图5c中的阴影像素点在三维比值空间的散点图；

图6b为根据三维比值空间高斯建模形成的椭球模型；

图6c为高斯椭球模型对图6a中阴影的散点分布的覆盖情况示意图；

图7a是一帧示例视频的运动前景区域的像素点在三维比值空间中的散点图；

图7b是用建立的高斯模型对图7a的运动区域像素点进行阴影判别的示意图，其中网状的椭球是本发明中给定阈值T后的一个阴影椭球模型，椭球内的红色散点是前景运动区域中被判为阴影的像素点，椭球外的蓝色散点是前景运动区域中被判为目标的像素点；

图8是本发明实施例中提供的监控视频中运动目标阴影检测系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了解决现有监控视频中的阴影检测技术存在的问题，本发明提出的监控视频中运动目标的阴影检测方法,主要针对基于视频背景建模的视频运动检测方法检测出的运动区域进行运动目标阴影的检测。首先,在监控视频的运动前景/视频背景的三基色比值空间建立阴影的三维高斯概率模型,并对模型的均值矢量和协方差矩阵等参数进行初始化；然后,对基于视频背景建模的运动目标检测方法检测出的运动目标区域中的每个像素三基色颜色矢量与当前视频背景的三基色颜色矢量进行运算,计算出每个像素的三基色比值矢量；之后,在三基色比值矢量空间,用建立的阴影三维高斯模型对运动区域的每个像素进行判别,检测并区分出阴影像素和运动目标像素；最后,用检测得到的阴影像素点的三基色比值矢量数据集合对阴影的三维高斯模型参数进行更新,以用于下一帧视频中的运动目标阴影检测。

相对于现有的阴影检测方法，本发明提出的方法具有自适应能力强，检测准确度高等特点，特别适合于监控视频中运动目标阴影的检测去除。

为了更清晰地表述本发明的思想，首先给出一些说明和定义如下：

本发明提出的监控视频中运动目标的阴影检测方法,主要针对摄像机静止的基于视频背景建模的视频运动检测方法检测出的运动区域进行目标阴影的检测。基于视频背景建模的视频运动检测方法通过动态建立视频背景,检测出与视频背景不一致的所有像素点作为候选运动目标区域。目前常用的视频背景建模方法有：均值背景建模、中值背景建模、卡尔曼滤波背景建模、核密度估计背景建模、单高斯背景建模和混合高斯背景建模等。其中,由Stauffer等提出的混合高斯视频背景建模方法是其中较好的一种方法,该方法能够较好地适应光照的缓慢变化,动态建立并实时更新视频背景,提取的运动目标区域较为完整。目前还有一些较好的以混合高斯视频背景建模为基本思想的改进方法。上述这些方法对于视频分析和计算机视觉领域的技术人员是目前的习知内容，此处不再赘述。

本发明实施例的后续陈述中，监控视频中的运动区域提取，以及视频背景的建立和更新我们将不再指定具体方法，统一称为基于背景建模的方法。

在本发明实施例中假设，一视频图像序列为V_k(X)，其中，X＝(x,y)，是视频图像视场中像素点的空间位置坐标，也可用于表示在该位置处的像素点，k是视频图像的帧序号。并且记采用基于背景建模的视频运动检测方法得到的第k帧时的运动前景掩膜图R_Fk(X),以及第k帧时的视频背景图B_k(X)。其中，第k帧视频图像V_k(X)和第k帧时的背景图像B_k(X)是三基色彩色图，而第k帧时的运动前景掩膜图R_Fk(X)是二值图像，定义为：

更进一步，运动前景掩膜图R_k(X)又可以分成为运动目标掩膜图R_Tk(X)和目标阴影掩膜图R_Sk(X)两个子图：

在数学上，运动前景掩膜图R_Fk、运动目标掩膜图R_Tk和目标阴影掩膜图R_Sk也可以看成是在视频的第k帧图像中检测到的运动区域、目标区域、以及阴影区域的像素点集合，且具有如下的关系：

R_Fk＝R_Tk∪R_Sk

且R_Tk∩R_Sk＝φ(4)

其中，∪、∩分别表示集合的并、交运算，φ表示空集。

在本实施例后续的叙述中，分别用X∈R_Fk代表处于运动前景区域的像素点、X∈R_Tk代表处于运动目标区域的像素点、X∈R_Sk代表处于目标阴影区域的像素点。在视频的第k帧图像中的运动区域图像F_k(X)、目标区域图像T_k(X)、以及阴影区域图像S_k(X)可以使用下面的像素点上的乘法运算得到：

F_k(X)＝V_k(X)·R_Fk(X)(5)

T_k(X)＝V_k(X)·R_Tk(X)(6)

S_k(X)＝V_k(X)·R_Sk(X)(7)

为了对上述定义进行更明确的说明，图2a-2c和图3a-3e提供了一组示例图。图2a-2c是本发明实施例提供的一视频样例及其运动前景掩模图、视频背景的示例图。其中，图2a为样例视频中的一帧视频图像,图2b为采用基于背景建模的视频运动检测方法得到的对应于图2a视频帧的运动前景掩膜图,图2c为图2a视频帧时刻的视频背景图。图3是本发明实施例提供的与图2对应的视频中的局部子图，及其运动前景掩模图、视频背景、运动目标与阴影掩模、运动前景图像的示例图。其中，图3a为图2a的局部子图像,图3b为对应于图3a的图2b运动前景掩膜图中的局部子图，图3c为对应于图3a区域的图2c视频背景图中的局部子图，图3d中的上面部分为运动目标的掩模，下面部分为目标阴影的掩模，图3e为由图3a和图3b经像素乘积运算得到的运动前景图像；

图1示出了本发明实施例提供的监控视频中运动目标阴影检测方法的流程，包括以下步骤：

S1：在监控视频的运动前景/视频背景的三基色比值空间中,建立阴影的三维高斯概率模型,并对模型参数进行初始化。

进一步地，如图4所示，步骤S1包括以下步骤：

S11：建立视频运动前景/视频背景的三基色颜色比值空间。在比值空间中建立阴影的三维高斯概率模型G(Z,m,C),其中,Z是颜色三维比值矢量，m是高斯函数的均值向量,C是协方差矩阵。

假设前述在运动前景区域的像素点X∈R_Fk，该运动前景像素点的红、绿、蓝三基色颜色矢量可由公式(5)计算得到，为

F_k(X)＝(r_Fk(X),g_Fk(X),b_Fk(X))

如前所述，对应该像素位置处的视频背景的红、绿、蓝三基色颜色矢量为

B_k(X)＝(r_Bk(X),g_Bk(X),b_Bk(X))

则视频运动前景/视频背景的三基色颜色比值矢量Z_k(X)的定义为：

Z_k(X)＝(z_rk(X),z_gk(X),z_bk(X))(8)

其中，

z_rk(X)＝r_Fk(X)/r_Bk(X)(9)

z_gk(X)＝g_Fk(X)/g_Bk(X)(10)

z_bk(X)＝b_Fk(X)/b_Bk(X)(11)

其中，在公式(9),(10),(11)中的/表示标量除法运算。三维比值矢量Z_k(X)的全体构成的集合称为视频运动前景/视频背景的三基色颜色比值空间。在后续不引起混淆的叙述中，为了简化起见，也使用不带脚标的矢量Z＝(z_r,z_g,z_b)表示一个一般的比值矢量。则比值空间中阴影的三维高斯概率模型G(Z,m,C)为

$G(Z,m,C)=\frac{1}{{\left(2\mathrm{\π}\right)}^{3/2}|C{|}^{1/2}}\exp \[\frac{(Z-m)C^{-1}{(Z-m)}^t}{2}\]---\left(12\right)$

其中,在公式(12)中，Z是三维比值矢量，m是三维均值矢量,C是协方差矩阵，|C|是矩阵C的行列式，C^-1是矩阵C的逆矩阵，t是矩阵转置运算符。在公式(12)所给出的模型中，参数m和C确定以后，则对于每一个矢量Z都可以算出一个概率值。实际上，在参数C确定以后，公式(12)的概率值由下面的公式(13)表示的马氏距离决定

Q(Z,m,C)＝(Z-m)C^-1(Z-m)^t(13)

因此，公式(13)的模型经常作为公式(12)的模型的等价形式使用，并且公式(13)的运算比公式(12)的运算要简单得多。取常数T>0，令

Q(Z,m,C)＝(Z-m)C^-1(Z-m)^t≤T(14)

则由几何知识可知，公式(14)表示的是一个三个轴直径长度分别为 和三维空间中的椭球，该椭球的中心位置在向量m处，椭球在三维空间中的方向由协方差矩阵C决定，而和分别为矩阵C的三个特征值。若σ₁＝σ₂＝σ₃＝σ，公式(14)表示半径为球。由此，T＝1、4、9时，公式(14)可以近似看成是等效半径分别为1σ、2σ、3σ的三维等效球。

S12：采用基于视频背景建模的视频运动检测技术,对监控视频进行持续的运动前景检测和视频背景更新。在建立起比较稳定的视频背景的条件下,取出视频中检测出的一帧含有目标的运动前景区域,并取出此时的视频背景图像。

在目前已有的基于背景建模的视频运动检测方法中，视频背景的建立需要有一个学习的过程。算法在开始运行时得到的初始视频背景往往是不完全的，此时检测的运动前景区域的准确度较低。在经过一段学习时间以后，视频背景会趋于稳定，此时检测到的运动前景区域具有较高的准确度。在前述图2和图3给出的视频运动前景，以及视频背景即是在稳定学习一段时间后得出的。具体的稳定学习时间的大小与具体的检测算法有关，此处不再赘述。

假设在稳定学习后提取出的视频帧为V₀(X)，此时检测到的运动前景掩膜图R_F0(X),以及视频背景图B₀(X)＝(r_B0(X),g_B0(X),b_B0(X))。

S13：对在S12中得到的运动前景区域掩模图中,采用人机交互方式标定一块运动前景区域中只含有阴影像素的子区域。将阴影子区域中的每个像素颜色矢量与该点的背景图像颜色矢量进行比值运算,得到三维的比值矢量数据集合Z₀。

如前所述，本发明中公式(12)和公式(13)表示的阴影概率模型由参数m和C决定。这两个参数的初始值可以通过经验近似确定,但一般情况下通过经验设定对使用者的知识背景要求比较高，实用性受到限制。因此，在本发明中采用比较容易操作的人机交互方式。具体为:如图5a所示,在由步骤S12获取的一帧稳定的运动区域前景掩模图中,采用人机交互的方式标定一个只有阴影的矩形方框，其中对矩形框的大小和位置并没有严格的限制，只要求其中包含且仅包含较多的阴影像素即可。

然后，根据标定的矩形框生成阴影子区域的掩模图R_S0(X)，如图5b所示。

进一步，利用公式(15)，提取出该阴影子区域的三基色彩色图像S₀(X)，如图5c所示。具体为

S₀(X)＝V₀(X)·R_S0(X)＝(r_S0(X),g_S0(X),b_S0(X))(15)

接着，利用公式(16)、(17)、(18)计算，

z_r0(X)＝r_S0(X)/r_B0(X)(16)

z_g0(X)＝g_S0(X)/g_B0(X)(17)

z_b0(X)＝b_S0(X)/b_B0(X)(18)

得到阴影子区域每个像素颜色矢量与该点的背景图像颜色矢量的三维比值矢量数据集合Z₀，

Z₀(X)＝(z_r0(X),z_g0(X),z_b0(X))(19)

S14：利用S13中得到的三维数据集合Z₀。计算该三维数据集合的均值矢量m₀,以及协方差矩阵C₀。并将m₀,C₀作为三维高斯概率模型G(Z,m,C)的初始均值向量和初始协方差矩阵。

由步骤S13标定的阴影子区域的掩模图R_S0(X)的阴影像素点的集合可以记为R_S0。该集合的均值矢量m₀,以及协方差矩阵C₀的计算公式如下：

$m_0=\frac{1}{n_0}\underset{X\∈R_{S0}}{\Σ}{Z}_0\left(X\right)=\frac{1}{n_0}\left(\begin{array}{c}\underset{X\∈R_{S0}}{\mathrm{\Σ}}{z}_{r0}\left(X\right)\\ \underset{X\∈R_{S0}}{\mathrm{\Σ}}{z}_{g0}\left(X\right)\\ \underset{X\∈R_{S0}}{\mathrm{\Σ}}{z}_{b0}\left(X\right)\end{array}\right)---\left(20\right)$

$C_0=\frac{1}{n_0}\underset{X\∈R_{S0}}{\Σ}{\left(Z_0\right(X)-m_0)}^t\left(Z_0\right(X)-m_0)---\left(21\right)$

其中，在公式(20)和(21)中，n₀＝|R_S0|表示集合R_S0中元素的个数。X表示像素点的坐标，t为矩阵转置运算符号。同时令

m＝m₀,C＝C₀(22)

作为本发明阴影模型公式(12)G(Z,m,C)，以及公式(13)、(14)Q(Z,m,C)的初始参数。

图6a-6c是本发明实施例提供的在三维比值空间中阴影像素点的散点图、阴影高斯模型，以及高斯模型对阴影散点的覆盖示意图。其中，图6a为图5c中的阴影像素点在三维比值空间的散点图；图6b为使用图5c中的阴影像素点由公式(22)计算出的参数m、C，以及代入公式(14)后形成的三维比值空间中阴影高斯椭球模型，其中在该椭球模型图中参数T＝6；图6c为图6b的高斯椭球模型对图6a中阴影的散点分布的覆盖情况示意图。

S2：对监控视频的当前帧图像进行运动前景区域的检测,以及视频背景的更新。对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中。

在经过步骤S1对阴影模型初始化后，继续使用与前述相同的基于背景建模的视频运动检测方法对监控视频的运动区域进行检测。假设当前的视频是在步骤S1参数初始化后的第k帧，k＝1,2,…。此时对应的视频图像为V_k(X)，检测到的运动前景掩模图为R_Fk(X),视频背景图为B_k(X)。

首先，利用公式(5)计算出运动区域图像F_k(X)：

F_k(X)＝V_k(X)·R_Fk(X)(5)

然后，利用公式(9)(10)(11)即可计算出视频运动前景/视频背景的三基色颜色比值矢量图像Z_k(X)＝(z_rk(X),z_gk(X),z_bk(X))，其中

z_rk(X)＝r_Fk(X)/r_Bk(X)(9)

z_gk(X)＝g_Fk(X)/g_Bk(X)(10)

z_bk(X)＝b_Fk(X)/b_Bk(X)(11)

S3：根据建立的阴影三维高斯概率模型对步骤S2中得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素。

首先，对由步骤S2得到的比值图像Z_k(X)的每个像素点X∈R_Fk，代入公式(13)计算马氏距离

Q(Z_k(X))＝Q(Z_k(X),m,C)＝(Z_k(X)-m)C^-1(Z_k(X)-m)^t(13)

然后用上述计算的马氏距离对每个像素点进行判别，判别公式为：

其中,在判别公式(23)中，X∈R_Fk代表处于运动前景区域的像素点集合，R_Tk代表经过判别后检测到的运动目标区域的像素点集合，R_Sk代表经过判别后检测到的目标阴影区域的像素点集合。T是一个事先给定的判别阈值。在实际中，T取[3，7]之间的数值效果比较好。

图7a-7b是本发明实施例提供的采用本发明阴影模型的判别空间示意图。其中，图7a是一帧示例视频的运动前景区域的像素点在三维比值空间中的散点图；图7b是用建立的高斯模型对图7a的运动区域像素点进行阴影判别的示意图，其中网状的椭球是本发明中给定阈值T后的一个阴影椭球模型，椭球内的散点是前景运动区域中被判为阴影的像素点，椭球外的散点是前景运动区域中被判为目标的像素点。

S4：利用步骤S3中检测得到所有阴影像素点数据,更新阴影的三维高斯概率模型参数m与C。

本发明方法中，主要是针对监控视频图像序列，序列中光照的渐变将使阴影在特征空间中的分布发生一些变化，因此需要根据光照变化，对椭球模型进行适当自适应调整。

首先，使用步骤S3中检测出的阴影区域像素点集合R_Sk计算出当前帧阴影集合的三基色比值空间的均值矢量m_k0和协方差矩阵C_k0，

$m_{k0}=\frac{1}{n_{k0}}\underset{X\∈R_{Sk}}{\Σ}{Z}_k\left(X\right)=\frac{1}{n_{k0}}\left(\begin{array}{c}\underset{X\∈R_{Sk}}{\mathrm{\Σ}}{z}_{rk}\left(X\right)\\ \underset{X\∈R_{Sk}}{\mathrm{\Σ}}{z}_{gk}\left(X\right)\\ \underset{X\∈R_{Sk}}{\mathrm{\Σ}}{z}_{bk}\left(X\right)\end{array}\right)---\left(24\right)$

$C_{k0}=\frac{1}{n_{k0}}\underset{X\∈R_{Sk}}{\Σ}{\left(Z_k\right(X)-m_{k0})}^t\left(Z_k\right(X)-m_{k0})---\left(25\right)$

其中，在公式(24)和(25)中，n_k0＝|R_Sk|表示集合R_Sk中元素的个数。X表示像素点的坐标，t为矩阵转置运算符号，Z_k(X)＝(z_rk(X),z_gk(X),z_bk(X))是利用公式(9)(10)(11)的方法计算出的由步骤S3检测得到的阴影区域像素的三基色颜色比值矢量图像。

然后，更新阴影模型的序列均值矢量m_k和序列协方差矩阵C_k。由于均值矢量和协方差矩阵是两个统计量，在样本数量具有一定规模以上时，才能够得到比较准确的结果。为此在更新学习中，设定一个样本数量的阈值N。在本发明实施例的实验中N＝100。则序列均值矢量m_k,和序列协方差矩阵C_k的更新策略为：

若n_k0>N,则

m_k＝(1-a₁)m_k-1+a₁m_k0(26)

C_k＝(1-a₁)C_k-1+a₁C_k0(27)

否则，若n_k0≤N,则

m_k＝m_k-1(28)

C_k＝C_k-1(29)

在更新公式(26)、(27)、(28)、(29)中，k＝1,2,…,为参数初始化后开始计数的视频帧序号，并且，m₀，C₀为初始化时得到的两个参数。a₁是一个小于1的较小的正数，称为学习系数。在本发明实施例的实验中a₁＝0.05。

此时，可以令

m＝m_k,C＝C_k

作为本发明阴影模型G(Z,m,C)，以及Q(Z,m,C)的更新参数。可以用它们进行下一帧的阴影检测。

但是，如果考虑到在初始化过程中人机交互得到的模型参数m₀，C₀具有较高的可信度，更新学习是为了对椭球的方向和三个轴长作细致调整，所以也可以进一步采用钳位学习的策略，得到下一帧的阴影检测模型参数m，C：

m＝(1-a₂)m_k+a₂m₀(30)

C＝(1-a₂)C_k+a₂C₀(31)

其中在钳位学习公式(30)、(31)中，a₂是一个小于1的正数，称为钳位学习参数。参数a₂体现的是对模型初始化参数的信心程度。在本发明实施例的实验中a₂＝0.8。

S5：回到步骤S2,对新的一帧视频图像进行运动区域的阴影检测。

此外，本发明实施例还提供了一种监控视频中运动目标阴影检测的系统。图8示出了本发明提供的监控视频中运动目标阴影检测系统的结构，为了便于说明，仅示出了与本发明相关的部分。

具体地，本发明提供的监控视频中运动目标阴影检测系统包括：

模型创建单元801，用于在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化；

图像检测单元802，用于对监控视频的当前帧的图像进行运动前景区域的检测,以及视频背景的更新，对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中；

像素判别单元803，用于根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素；

模型更新单元804，用于根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数；

后续帧阴影检测单元805，用于根据更新后的三维高斯概率模型，对新的一帧视频图像进行运动区域的阴影检测。

优选的，所述模型创建单元包括：

三维高斯概率模型建立子单元，用于建立视频运动前景/视频背景的三基色颜色比值空间，在比值空间中建立阴影的三维高斯概率模型G(Z,m,C),其中,Z是颜色三维比值矢量，m是高斯函数的均值向量,C是协方差矩阵；

视频背景建立子单元，用于采用基于视频背景建模的视频运动检测技术,对监控视频进行持续的运动前景检测和视频背景更新，在建立起视频背景后，取出视频中检测出的一帧含有目标的运动前景区域,并取出此时的视频背景图像；

指令接收子单元，用于在所检测的运动前景区域掩模图,接收标定一块运动前景区域中只含有阴影像素的子区域的指令，将阴影子区域中的每个像素颜色矢量与该点的背景图像颜色矢量进行比值运算,得到三维的比值矢量数据集合；

参数计算子单元，用于根据得到的三维的比值矢量数据集合，计算该三维数据集合的均值矢量m₀,以及协方差矩阵C₀，并将m₀,C₀作为三维高斯概率模型G(Z,m,C)的初始均值向量和初始协方差矩阵。

本发明提出的监控视频中运动目标的阴影检测方法,主要针对基于视频背景建模的视频运动检测方法检测出的运动区域进行运动目标阴影的检测。首先,在监控视频的运动前景/视频背景的三基色比值空间建立阴影的三维高斯概率模型,并对模型的均值矢量和协方差矩阵等参数进行初始化；然后,对基于视频背景建模的运动目标检测方法检测出的运动目标区域中的每个像素三基色颜色矢量与当前视频背景的三基色颜色矢量进行运算,计算出每个像素的三基色比值矢量；之后,在三基色比值矢量空间,用建立的阴影三维高斯模型对运动区域的每个像素进行判别,检测并区分出阴影像素和运动目标像素；最后,用检测得到的阴影像素点的三基色比值矢量数据集合对阴影的三维高斯模型参数进行更新,以用于下一帧视频中的运动目标阴影检测。

相对于现有的阴影检测方法，本发明方法具有自适应能力强，检测准确度高等特点，特别适合于监控视频中运动目标阴影的检测去除。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来控制相关的硬件完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种监控视频中运动目标的阴影检测方法，其特征在于，所述方法包括以下步骤：

在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化；

对监控视频的当前帧的图像进行运动前景区域的检测,以及视频背景的更新，对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中；

根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素；

根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数；

根据更新后的三维高斯概率模型，对新的一帧视频图像进行运动区域的阴影检测。

2.根据权利要求1所述方法，其特征在于，所述在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化步骤包括：

建立视频运动前景/视频背景的三基色颜色比值空间，在比值空间中建立阴影的三维高斯概率模型G(Z,m,C),其中,Z是颜色三维比值矢量，m是高斯函数的均值向量,C是协方差矩阵；

采用基于视频背景建模的视频运动检测技术,对监控视频进行持续的运动前景检测和视频背景更新，在建立起视频背景后，取出视频中检测出的一帧含有目标的运动前景区域,并取出此时的视频背景图像；

在所检测的运动前景区域掩模图,接收标定一块运动前景区域中只含有阴影像素的子区域的指令，将阴影子区域中的每个像素颜色矢量与该点的背景图像颜色矢量进行比值运算,得到三维的比值矢量数据集合；

根据得到的三维的比值矢量数据集合，计算该三维数据集合的均值矢量m₀,以及协方差矩阵C₀，并将m₀,C₀作为三维高斯概率模型G(Z,m,C)的初始均值向量和初始协方差矩阵。

3.根据权利要求2所述方法，其特征在于，所述建立视频运动前景/视频背景的三基色颜色比值空间，在比值空间中建立阴影的三维高斯概率模型步骤具体为：

视频运动前景/视频背景的三基色颜色比值矢量Z_k(X)的为：

Z_k(X)＝(z_rk(X),z_gk(X),z_bk(X))

其中，

z_rk(X)＝r_Fk(X)/r_Bk(X)

z_gk(X)＝g_Fk(X)/g_Bk(X)

z_bk(X)＝b_Fk(X)/b_Bk(X)

“/”表示标量除法运算，r_Fk(X)、g_Fk(X)、b_Fk(X)分别表示红、绿、蓝三基色视频运动前景图，r_Bk(X)、g_Bk(X)、b_Bk(X)分别表示红、绿、蓝三基色视频背景图；

比值空间中阴影的三维高斯概率模型G(Z,m,C)为

$G\[Z,m,C\]=\frac{1}{{\left(2\mathrm{\π}\right)}^{3/2}{\left|C\right|}^{1/2}}\exp \[\frac{(Z-m)C^{-1}{(Z-m)}^t}{2}\]$

其中，Z是三维比值矢量，m是三维均值矢量,C是协方差矩阵，|C|是矩阵C的行列式，C^-1是矩阵C的逆矩阵，t是矩阵转置运算符。

4.根据权利要求2所述方法，其特征在于，所述根据得到的三维的比值矢量数据集合，计算该三维数据集合的均值矢量步骤包括：

标定的阴影子区域的掩模图R_S0(X)的阴影像素点的集合为R_S0，根据公式：

$m_0=\frac{1}{n_0}\underset{X\∈R_{S0}}{\Σ}{Z}_0\left(X\right)=\frac{1}{n_0}\left(\begin{array}{c}\underset{X\∈R_{S0}}{\Σ}{z}_{r0}\left(X\right)\\ \underset{X\∈R_{S0}}{\Σ}{z}_{g0}\left(X\right)\\ \underset{X\∈R_{S0}}{\Σ}{z}_{b0}\left(X\right)\end{array}\right)$

$C_0=\frac{1}{n_0}\underset{X\∈R_{S0}}{\Σ}{\left(Z_0\right(X)-m_0)}^t\left(Z_0\right(X)-m_0)$

计算得到均值矢量m₀,以及协方差矩阵C₀，其中：n₀＝|R_S0|是集合R_S0中元素的个数。X表示像素点的坐标，t为矩阵转置运算符号。

5.根据权利要求1所述方法，其特征在于，所述根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素步骤包括：

根据得到的比值图像Z_k(X)的每个像素点X∈R_Fk，代入马氏距离计算公式：

Q(Z_k(X))＝Q(Z_k(X),m,C)＝(Z_k(X)-m)C^-1(Z_k(X)-m)^t

根据计算的马氏距离，由像素判别公式：

对每个像素点进行判别，区分出阴影像素和运动目标像素，其中：C^-1是矩阵C的逆矩阵，t是矩阵转置运算符。

6.根据权利要求1所述方法，其特征在于，所述根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数步骤包括：

根据检测出的阴影区域像素点集合R_Sk，由公式：

$m_{k0}=\frac{1}{n_{k0}}\underset{X\∈R_{Sk}}{\Σ}{Z}_k\left(X\right)=\frac{1}{n_{k0}}\left(\begin{array}{c}\underset{X\∈R_{Sk}}{\Σ}{z}_{rk}\left(X\right)\\ \underset{X\∈R_{Sk}}{\Σ}{z}_{gk}\left(X\right)\\ \underset{X\∈R_{Sk}}{\Σ}{z}_{bk}\left(X\right)\end{array}\right)$

计算出当前帧阴影集合的三基色比值空间的均值矢量m_k0，以及由公式：

$C_{k0}=\frac{1}{n_{k0}}\underset{X\∈R_{Sk}}{\Σ}{\left(Z_k\right(X)-m_{k0})}^t\left(Z_k\right(X)-m_{k0})$

计算出当前帧阴影集合的三基色比值空间的协方差矩阵C_k0，其中：n_k0＝|R_Sk|表示集合R_Sk中元素的个数，X表示像素点的坐标，t为矩阵转置运算符号，Z_k(X)＝(z_rk(X),z_gk(X),z_bk(X))，且

z_rk(X)＝r_Fk(X)/r_Bk(X)，

z_gk(X)＝g_Fk(X)/g_Bk(X)，

z_bk(X)＝b_Fk(X)/b_Bk(X)，

r_Fk(X)、g_Fk(X)、b_Fk(X)分别表示红、绿、蓝三基色视频运动前景图，r_Bk(X)、g_Bk(X)、b_Bk(X)分别表示红、绿、蓝三基色视频背景图；

更新阴影模型的序列均值矢量m_k和序列协方差矩阵C_k。

7.根据权利要求6所述方法，其特征在于，所述更新阴影模型的序列均值矢量m_k和序列协方差矩阵C_k步骤包括：

设定样本数量阈值N，若n_k0>N,则

m_k＝(1-a₁)m_k-1+a₁m_k0

C_k＝(1-a₁)C_k-1+a₁C_k0

否则，若n_k0≤N，则

m_k＝m_k-1

C_k＝C_k-1

其中，k＝1,2,...,为参数初始化后开始计数的视频帧序号，m₀，C₀为初始化时得到的两个参数，a₁是一个小于1的正数。

8.根据权利要求6所述方法，其特征在于，所述更新阴影模型的序列均值矢量m_k和序列协方差矩阵C_k步骤包括：

根据钳位学习策略，得到下一帧的阴影检测模型参数m，C：

m＝(1-a₂)m_k+a₂m₀

C＝(1-a₂)C_k+a₂C₀

其中，m₀，C₀为初始化时得到的两个参数，a₂是一个小于1的正数。

9.一种监控视频中运动目标的阴影检测系统，其特征在于，所述系统包括：

模型创建单元，用于在监控视频的运动前景/视频背景的三基色颜色比值空间中，建立阴影的三维高斯概率模型,并对模型参数进行初始化；

图像检测单元，用于对监控视频的当前帧的图像进行运动前景区域的检测,以及视频背景的更新，对运动前景区域中的每个像素,将其映射到运动前景/视频背景的三基色颜色比值空间中；

像素判别单元，用于根据建立的阴影三维高斯概率模型对得到的运动前景区域中的每个像素进行判别,检测并区分出阴影像素和运动目标像素；

模型更新单元，用于根据检测得到的所有阴影像素点数据,更新阴影的三维高斯概率模型参数；

后续帧阴影检测单元，用于根据更新后的三维高斯概率模型，对新的一帧视频图像进行运动区域的阴影检测。

10.根据权利要求9所述系统，其特征在于，所述模型创建单元包括：

三维高斯概率模型建立子单元，用于建立视频运动前景/视频背景的三基色颜色比值空间，在比值空间中建立阴影的三维高斯概率模型G(Z,m,C),其中,Z是颜色三维比值矢量，m是高斯函数的均值向量,C是协方差矩阵；

视频背景建立子单元，用于采用基于视频背景建模的视频运动检测技术,对监控视频进行持续的运动前景检测和视频背景更新，在建立起视频背景后，取出视频中检测出的一帧含有目标的运动前景区域,并取出此时的视频背景图像；

指令接收子单元，用于在所检测的运动前景区域掩模图,接收标定一块运动前景区域中只含有阴影像素的子区域的指令，将阴影子区域中的每个像素颜色矢量与该点的背景图像颜色矢量进行比值运算,得到三维的比值矢量数据集合；

参数计算子单元，用于根据得到的三维的比值矢量数据集合，计算该三维数据集合的均值矢量m₀,以及协方差矩阵C₀，并将m₀,C₀作为三维高斯概率模型G(Z,m,C)的初始均值向量和初始协方差矩阵。