CN103035013A - 一种基于多特征融合的精确运动阴影检测方法 - Google Patents

Abstract

一种基于多特征融合的精确运动阴影检测方法，属于视频图像处理领域。首先，提取视频中的前景图像，对其提取亮度、颜色和纹理三种类型的六个特征。为了尽可能全面地描述这些特征，在亮度约束下，我们提取了多个颜色空间和多尺度图像的颜色信息。同时，纹理信息分别用熵和局部二值模式描述。其次，通过融合这些特征产生一幅特征图。随后，运动阴影可以从特征图上大致确定。最后，为了获得准确的阴影检测结果，通过空间调整来矫正错误分类的像素。大量的实验和比较的结果表明，本发明具有良好的性能并且优于现有的阴影检测方法。

Description

一种基于多特征融合的精确运动阴影检测方法

技术领域

本发明属于视频图像处理领域。

背景技术

在许多计算机视觉方面的应用中，如目标跟踪，目标识别，视频监控，视频压缩等，移动的目标检测是一项基本且重要的任务。背景差分是一种检测运动目标的常见方法。然而，阴影总是随着它们对应的目标一起运动以致于很多背景差分的方法不能准确地将它们分开。不准确的判断可能导致目标合并，目标的形状畸变，甚至是目标丢失。因此，检测和消除阴影区域在视频处理和运动分析领域是非常关键和重要的研究问题。

一般来说，现有的阴影检测方法可根据不同的特点分为四大类：基于色度、基于物理模型、基于几何和基于纹理的方法。基于色度的方法是利用基于阴影区域较暗但几乎保持他们的色度不变的这一假设。单易于实现而且计算开销不大。然而，它们对噪声是敏感的，并且当阴影区域比较暗或者运动的目标与背景有相近的颜色信息时，以上方法是失效的。基于物理模型方法利用一些物理先验知识进行阴影检测，此类方法可以自动地适应复杂场景条件但是需要及时更新阴影模型和用户交互。基于几何的方法利用一些先验知识，如光源，相机位置和目标的几何性质进行运动阴影检测，基于几何的方法不依赖于背景图像作为参考，但需要更多的先验知识和场景的限制。基于纹理的阴影检测方法假设背景图像与阴影区域有类似的纹理而与运动目标有不同的纹理。基于纹理相似的方法独立与颜色信息，并且能抗光照变化。然而，当运动目标和阴影区域与相应的背景区域具有类似纹理信息时该方法是无效的。

最近，多个特征融合成为了该研究领域的一个热点。以蓝色效应和边缘信息对潜在的阴影进行分组，Huerta等人通过分析这些区域的时间和空间相似性检测阴影。Lin等人提出了一个结合纹理和统计模型的运动阴影去除算法，它是通过利用边缘信息和灰度特征进行高斯建模实现的。HAMAD等人使用了颜色和纹理信息来确定阴影区域。该方法分别利用了亮度比和信息熵来描述这两个特征。Boroujeni 等人提出了一种基于分层混合的MLP专家的半监督分类方法来检测运动阴影。该方法构造了包含颜色亮度、平均照度、色彩失真和光畸变的特征向量来表示环境属性。尽管现存的许多方法中利用了不同特征的融合进行阴影检测,但是对相同类型特征的不同度量还没有得到充分的考虑。此外,这些方法的大部分在串行模式下检测阴影像素而不是并行的，以至于多特征之间的相互补充特性未能充分的展现。

发明内容

本发明提供一种基于多特征融合的精确运动阴影检测方法，目的是为了精确的检测监控视频中的运动阴影，使得后续的视频分析与处理不受阴影的影响，提出的方法适用于目标跟踪，目标识别，视频监控，视频压缩等。

本发明采取的技术方案包括以下步骤：

1、从原始视频中读取t时刻的单帧图像I_t；

2、采用混合高斯模型提取前景F_t与背景B_t；

混合高斯模型使用K个高斯函数对背景图像中的每个像素进行建模，因此，在第t帧中(x, y)处观测到的像素I_t(x,y)=(I_t(x,y)_r,I_t(x,y)_g,I_t(x,y)_b)的概率为：

$p\left(I_t(x,y)\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_t{(x,y)}_i\×\mathrm{\η}(I_t(x,y),{\mathrm{\μ}}_t{(x,y)}_i,{\mathrm{\Σ}}_t{(x,y)}_t),---\left(1\right)$

$\mathrm{\η}(I_{t+1}(x,y),{\mathrm{\μ}}_t{(x,y)}_i,{\mathrm{\Σ}}_t{(x,y)}_i)=\frac{1}{{|2\mathrm{\π}\·{\mathrm{\Σ}}_t{(x,y)}_i|}^{1/2}}\×e^{-\frac{1}{2}{\left(I_t(x,y){-\mathrm{\μ}}_t{(x,y)}_i\right)}^T{\mathrm{\Σ}}_t^{-1}{(x,y)}_i(I_t(x,y)-{\mathrm{\μ}}_t{(x,y)}_i)}$

其中，ω_t(x,y)_i，μ_t(x,y)_i和Σ_t(x,y)_i分别是第t帧的第i个高斯函数的权重，均值和协方差矩阵， ${\mathrm{\Σ}}_t{(x,y)}_i={\mathrm{\σ}}_t^2{(x,y)}_{i}I$ ；

混合高斯模型训练完成之后，将具有最大权重的高斯函数的均值作为背景图像的像素值，背景图像记为B_t，同时以得到I_t中的前景图像F_t；

3、对提取的前景和背景进行特征提取；

以亮度约束为前提，提取亮度相似性特征(NCC_t)，色度差异特征(Ch_t)，光度颜色不变量特征(CCC_t)，颜色显著性特征(Sal_t)，熵特征(ΔE_t)和局部二值模式(LBP_t)六个特征，这六个特征涵盖了亮度、颜色和纹理特征。而且，对于每个特征得到一个特征映射；

4、构建特征融合图Map_t

我们通过对多个特征映射的线性组合来确定像素的类别，为了得到一致的混合特征映射，每个特征映射都被归一化，融合映射Map_t通过下式建立：

${\mathrm{Map}}_t=\frac{1}{6}(N(1-{\mathrm{NCC}}_t)+N\left({\mathrm{Ch}}_t\right)+N\left({\mathrm{CCC}}_t\right)+N\left({\mathrm{\ΔE}}_t\right)+N\left({\mathrm{Sal}}_t\right)+N(1-{\mathrm{LBP}}_t)),---\left(20\right)$

其中N(.) 是归一化操作；一般来说，一个前景图像可能包含运动对象和它们的阴影，因此分类标准遵循如下原则：

${\mathrm{Ob}}_t(x,y)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{Map}}_t(x,y)>T\mathrm{or}{M}_t^{\mathrm{ob}}(x,y)=1\\ 0,& \mathrm{otherwise}\end{array}\right.,{\mathrm{Sh}}_t(x,y)=M_t(x,y)\mathrm{and}\⫬{\mathrm{Ob}}_t(x,y),---\left(21\right)$

其中，T为阈值，Ob_t(x,y)和Sh_t(x,y)是运动物体的图像和运动阴影图像的二进制掩膜；Ob_t(x,y)=1表示像素被标记为移动目标，Sh_t(x,y)=1像素被标记为阴影；

5、进行空间调整去掉一些错误分类的像素；

为了矫正特征融合后产生的错误分类，我们采用空间调整来提高阴影检测准确率；阴影检测过程中，检测到的阴影区域包括许多正确分类的区域，一些被错误定义的小斑点，类似的情况在检测到的目标区域也会出现，为彻底消除这些小错误分类的斑点，一个连通区域标记算法被用来标记不同的区域，然后，采用尺寸过滤器去除错误斑点，这样，一些孤立的错误区域得到了矫正。

本发明同时考虑三种类型的特征，而不是只使用一个特征或串行使用多个特征。首先，提取视频中的前景图像，对其提取亮度、颜色和纹理三种类型的六个特征。为了尽可能全面地描述这些特征，在亮度约束下，我们提取了多个颜色空间和多尺度图像的颜色信息。同时，纹理信息分别用熵和局部二值模式描述。其次，通过融合这些特征产生一幅特征图。随后，运动阴影可以从特征图上大致确定。最后，为了获得准确的阴影检测结果，通过空间调整来矫正错误分类的像素。大量的实验和比较的结果表明，该方法具有良好的性能并且优于现有的阴影检测方法，使得后续的视频分析与处理不受阴影的影响，提出的方法适用于目标跟踪，目标识别，视频监控，视频压缩等。

本发明针对4个监控视频进行了实验对比与分析，并且从定性和定量两个角度评价了提出方法的有效性和优越性。大量的对比实验结果表明，本发明提出的方法不仅能精确的检测运动阴影和目标，而且就有较好的稳定性。特别的，本发明于室内和室外监控视频同样适用。

本发明具有下述有益效果：

（1）本发明是针对监控视频图像的精确阴影检测方法；

（2）采用类特征而非单一的特征进行阴影检测，多种类型特征并行使用可以实现特征之间的相互补充；

（3）后续的空间调整可矫正一些错误的检测结果，提高阴影检测的精度；

（4）本发明可以广泛应用于室内、户外和智能交通等方面的监控视频。

附图说明

图1是本发明中使用的视频序列的一帧图像；

图2是利用混合高斯模型得到的背景图像；

图3是利用混合高斯模型得到的前景图像；

图4 是前景图像的二值图像；

图5利用融合特征提取的目标二值图像；

图6是利用融合特征提取的阴影二值图像；

图7是空间调整后的目标二值图像；

图8是空间调整后的阴影二值图像；

图9(a) 是不同方法的目标与阴影检测对比图中的原始视频帧；

图9(b) 是不同方法的目标与阴影检测对比图中的真实情况图；

图9(c) 是不同方法的目标与阴影检测对比图中统计的非参方法SNP1的结果图；

图9(d) 是不同方法的目标与阴影检测对比图中基于确定非模式的方法DNM的结果图；

图9(e) 是不同方法的目标与阴影检测对比图中颜色特征不变的方法ICF的结果图；

图9(f) 是不同方法的目标与阴影检测对比图中统计的非参方法SNP2的结果图；

图9(g) 是不同方法的目标与阴影检测对比图中混合颜色模型方法CCM的结果图；

图9(h) 是不同方法的目标与阴影检测对比图中自适应的阴影估计法ASE的结果图；

图9(i) 是不同方法的目标与阴影检测对比图中本发明方法MFF的结果图；

图10是不同方法的阴影检测率稳定性对比图；

图11是不同方法的阴影判别率稳定性对比图；

图12是不同方法的阴影平均检测率稳定性对比图。

具体实施方式

包括以下步骤：

1、从原始视频中读取t时刻的单帧图像I_t，如图1 所示，该图像的分辨率为320×240；

2、采用混合高斯模型提取前景F_t与背景B_t；

前景包括运动的目标（如车辆和行人等）和阴影。具体地，混合高斯模型使用K个高斯函数对背景图像中的每个像素进行建模，因此，在第t帧中(x, y)处观测到的像素I_t(x,y)=(I_t(x,y)_r,I_t(x,y)_g,I_t(x,y)_b)的概率为：

$p\left(I_t(x,y)\right)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\ω}}_t{(x,y)}_i\×\mathrm{\η}(I_t(x,y),{\mathrm{\μ}}_t{(x,y)}_i,{\mathrm{\Σ}}_t{(x,y)}_t),---\left(1\right)$

$\mathrm{\η}(I_{t+1}(x,y),{\mathrm{\μ}}_t{(x,y)}_i,{\mathrm{\Σ}}_t{(x,y)}_i)=\frac{1}{{|2\mathrm{\π}\·{\mathrm{\Σ}}_t{(x,y)}_i|}^{1/2}}\×e^{-\frac{1}{2}{\left(I_t(x,y){-\mathrm{\μ}}_t{(x,y)}_i\right)}^T{\mathrm{\Σ}}_t^{-1}{(x,y)}_i(I_t(x,y)-{\mathrm{\μ}}_t{(x,y)}_i)}$

其中，ω_t(x,y)_i，μ_t(x,y)_i和Σ_t(x,y)_i分别是第t帧的第i个高斯函数的权重，均值和协方差矩阵， ${\mathrm{\Σ}}_t{(x,y)}_i={\mathrm{\σ}}_t^2{(x,y)}_{i}I$ 。

0对图像中的每个像素，判断其是否与现有的K个高斯分布匹配。如果一个像素的像素值在某个高斯分布的2.5倍的标准差之内，则认为该像素符合该高斯分布。第一个匹配的高斯模型根据公式(2)-(5)进行更新，其余模型的均值、协方差和权重保持不变。

μ_t+1(x,y)_i=(1-ρ)μ_t(x,y)_i+ρ·I_t(x,y)(2)

${\mathrm{\Σ}}_{t+1}^2{(x,y)}_i=(1-\mathrm{\ρ})\·{\mathrm{\Σ}}_t^2{(x,y)}_i+\mathrm{\ρ}\·{(I_t(x,y)-{\mathrm{\μ}}_t{(x,y)}_i)}^T\×(I_t(x,y)-u_t{(x,y)}_i)---\left(3\right)$

ρ=α·η(I_t+1(x,y),μ_t(x,y)_i,Σ_t(x,y)_i)(4)

ω_t+1(x,y)_i=(1-α)·ω_t(x,y)_i+α.(5)

公式(5)中，α是学习率。如果K个高斯分布中没有一个与当前像素值匹配，那么该像素被判定为前景，并且使用当前像素值的均值，初始的方差和较小的权重对具有最小概率的高斯分布进行更新。每个像素的K个高斯分布按照ω_t(x,y)_i/σ_t(x,y)_i进行排序。一般地，K的取值为[3,5]。通过使用混合高斯模型，可以得到I_t中的前景图像F_t的二值图像M_t。混合高斯模型训练完成之后，将具有最大权重的高斯函数的均值作为背景图像的像素值，背景图像记为B_t。得到的前景图像F_t和背景图像B_t如图2和图3所示，图4为前景图像F_t的二值图像M_t。

3、对提取的前景和背景进行特征提取；

由于阴影的像素值比背景的像素值更暗，我们在阴影检测过程中加入亮度约束。换而言之，若一个像素在F_t比B_t有更高的亮度，则认为其不是阴影。另外，运动像素接近黑色时会引起不稳定的特征值。因此，像素亮度值低于一个确定值Th（不同的视频Th值不同）认为是运动目标。方法如下

$M_i^{\mathrm{ob}}(x,y)=\left\{\begin{array}{cc}1,& \mathrm{if}(F_t(x,y)>B_t(x,y)\mathrm{or}{F}_t(x,y)<\mathrm{Th})\mathrm{and}{M}_t(x,y)=1\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(6\right)$

$M_t^{\mathrm{sh}}(x,y)=M_t(x,y)\mathrm{and}\&Not;M_t^{\mathrm{ob}}(x,y),$

其中，

和

是运动目标和候选的运动阴影的二值掩膜。然后对进一步分析，它可能由运动目标和它们的阴影像素组成。

以亮度约束为前提，提取六个包括亮度、颜色和纹理的特征，分别是亮度相似性特征，色度差异特征，光度颜色不变量特征，颜色显著性特征，熵特征和局部二值模式特征。

(1) 亮度相似性特征

归一化互相关（NCC）被用来衡量一幅前景图像和相应的背景图像的相似性。对于在

中一个像素p，坐标为(x，y)，NCC的计算方法如下：

${\mathrm{NCC}}_t(x,y)=\left\{\begin{array}{cc}\frac{\underset{u\&Element;{\mathrm{\&Omega;}}_p}{\mathrm{\&Sigma;}}{F}_t\left(u\right)\&CenterDot;B_t\left(u\right)}{\sqrt{\underset{u\&Element;{\mathrm{\&Omega;}}_p}{\mathrm{\&Sigma;}}{F}_t^2\left(u\right)\&CenterDot;\underset{u\&Element;{\mathrm{\&Omega;}}_p}{\mathrm{\&Sigma;}}{B}_t^2\left(u\right)}}& \mathrm{if}{M}_t^{\mathrm{sh}}(x,y)=1\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(7\right)$

其中，Ω_p 表示以p为中心的邻域，F_t(u)和B_t(u)分别是当前帧和背景中在u位置的亮度值。NCC是相似性映射，如果p是阴影，它的值应该接近于1 。

(2) 色度差异特征

Smith提出了基于三角形的HSV模型，而且已经证明此方法可以更加正确地检测阴影。若一个像素被遮挡后，它的色调和饱和度的变化应该在一个确定的范围之内。基于这个模型，色度差异定义为：

${\mathrm{Ch}}_t(x,y)=\left\{\begin{array}{cc}\left(\right|F_t(x,y).S-B_t(x,y).S|+|F_t(x,y).H-B_t(x,y).H\left|\right)/2,& \mathrm{if}{M}_t^{\mathrm{sh}}(x,y)=1\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(8\right)$

其中，F_t(x,y).S和B_t(x,y).S分别表示HSV空间中前景和背景的饱和度的值。同样的，F_t(x,y).H和B_t(x,y).H分别表示HSV空间中前景和背景的色调值。显然，前景与背景像素色度和饱和度差异越小，是阴影的概率越大。

(3) 光度颜色不变量特征

考虑到光度颜色不变量，c₁c₂c₃颜色模型用来衡量运动阴影和目标的颜色信息。该特征只依赖于传感器和目标表面的反射率而不随亮度的变化而变化。c₁c₂c₃定义为：

$c_1(x,y)=\arctan \left(\frac{R(x,y)}{\max (G(x,y),B(x,y))}\right)$

$c_2(x,y)=\arctan \left(\frac{G(x,y)}{\max (R(x,y),B(x,y))}\right)---\left(9\right)$

$c_3(x,y)=\arctan \left(\frac{B(x,y)}{\max (R(x,y),G(x,y))}\right)$

其中，R(x,y)，G(x,y)和B(x,y)分别是RGB颜色空间中r通道，g通道和b通道的像素值。为了权衡一个像素被阴影覆盖和未被阴影覆盖的差异，光度颜色的不变性按如下公式计算：

$D_t^{c_1}(x,y)=|F_t^{c_1}(x,y)-B_t^{c_1}(x,y)|$ ，

$D_t^{c_2}(x,y)=|F_t^{c_2}(x,y)-B_t^{c_2}(x,y)|,---\left(10\right)$

$D_t^{c_3}(x,y)=|F_t^{c_3}(x,y)-B_t^{c_3}(x,y)|$ ，

其中，，

和

表示c₁c₂c₃空间各通道中（x，y）位置的前景值。相似地，

，

和

分别是相同位置的背景值。

为了避免噪声的影响，建立不变颜色映射：

${\mathrm{CCC}}_t(x,y)=\left\{\begin{array}{cc}(D_t^{c_1}(x,y)+D_t^{c_2}(x,y)+D_t^{c_3}(x,y))/3,& \mathrm{if}{M}_t^{\mathrm{sh}}(x,y)=1\\ 0,& \mathrm{oterwise}\end{array}\right.---\left(11\right)$

理想情况下，阴影的CCC_t(x,y)差异应该比运动目标像素的更小；

(4) 颜色显著性特征

颜色显著性特征考虑了不同尺度前景图像，如果一个像素不同于它周围的像素值，可能是运动目标，否则是阴影。这种局部空间的不连续性叫做显著性。它是一个中心点环绕操作，即一个细尺度f和一个粗尺度s的范围差。本发明采用四种颜色通道（红，绿，蓝和黄）用于描述颜色对比显著性：

$r=R-\frac{G+B}{2},g=G-\frac{R+B}{2},b=B-\frac{R+G}{2},y=\frac{R+G}{2}-\frac{|R-G|}{2}-B,---\left(12\right)$

其中，R，G，B分别是RGB颜色空间的三个通道。

中心环绕操作在不同尺度的前景图像上实现，建立了四个高斯金字塔r(σ)，g(σ)，b(σ)和y(σ)， σ∈{0,…,8}。在人类主要的视觉皮层中，空间和对立色存在于红/绿，绿/红，蓝/黄和黄/蓝。考虑两个对立色，一个前景F_t 的

和

定义如下：

${\mathrm{rg}}_{F_t}(f,s)=\left|\right(r_{F_t}\left(f\right)-g_{F_t}\left(f\right)){\&CircleTimes;(g}_{F_t}\left(s\right)-r_{F_t}\left(s\right))|$ ，

${\mathrm{by}}_{F_t}(f,s)=\left|\right(b_{F_t}\left(f\right)-y_{F_t}\left(f\right)){\&CircleTimes;(y}_{F_t}\left(s\right)-{\mathrm{br}}_{F_t}\left(s\right))|,---\left(13\right)$

其中，f∈{2,3,4}，s=f+δ，δ∈{3,4}，

表示交叉尺度图像的差；

在实现（13）后，将产生一个含有12个特征的映射。利用下面的公式将它们在同尺度上进行组合，并且产生最后的显著颜色映射：

${\mathrm{Sal}}_t=\underset{f=2}{\overset{4}{\&CirclePlus;}}\underset{s=f+3}{\overset{f+4}{\&CirclePlus;}}({\mathrm{rg}}_{F_t}(f,s)+{\mathrm{by}}_{F_t}(f,s)),---\left(14\right)$

其中

表示交叉尺度的加，这里包含了映射向零维度的减小和逐个点的相加。

(5) 熵特征

熵是一个随机的统计测量值，可以用来计算纹理差异。

表示在位置(x, y)的像素q的熵，其中c为颜色通道，t为时间，定义如下：

$E_t^c(x,y)=-\underset{u\&Element;{\mathrm{\&Omega;}}_q}{\mathrm{\&Sigma;}}{p}_t^c\left(I_t^c\left(u\right)\right)\&CenterDot;\log \left(p_t^c\left(I_t^c\left(u\right)\right)\right),c\&Element;\{R,G,B\}---\left(15\right)$

其中，Ω_q表示以像素q为中心的邻域。是c通道中q邻域的亮度值，表示在每个RGB通道的亮度级的概率。在前景和相应的背景之间的纹理差异可以表示如下：

$\mathrm{\&Delta;}{E}_t(x,y)=\left\{\begin{array}{cc}\underset{c\&Element;\{R,G,B\}}{\min }\left(\right|E_{F_t}^c(x,y)-E_{B_t}^c(x,y)\left|\right),& \mathrm{if}{M}_t^{\mathrm{sh}}(x,y)=1\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(16\right)$

和

分别是当时间为t时，坐标为(x, y)在通道c上的前景F和背景B的熵值。显然，当ΔE_t越小，相似度越高；

(6) 局部二值模式特征

因为抵抗亮度变化和计算简单，一种改进的局部二值模式（LBP）特征来估计的纹理信息。给定一个亮度值为

的中心像素p，它的LBP描述符定义为：

${\mathrm{LBP}}_{Q,R}^c(x,y)=\underset{q\&Element;{\mathrm{\&Omega;}}_p}{\mathrm{\&Sigma;}}s(g_q^c-g_p^c-T_{\mathrm{lbp}})2^q,s\left(a\right)=\left\{\begin{array}{cc}1,& a\&GreaterEqual;0\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(17\right)$

其中，Q是在邻近像素的数目，R是一个圆的半径，

表示圆形邻域内的像素值，T_lbp是为了增强鲁棒性的一个相对较小的阀值。一个像素p的Q位二进制模式是由其邻域差表示的。因此，包含2^Q-二进制的直方图被用来描述纹理。直方图相交被用来测量相似度；

${\mathrm{\&rho;}}_p^c(h^c,h^{c^{\&prime;}})=\underset{n=0}{\overset{N-1}{\mathrm{\&Sigma;}}}\min (h_n^c,h_n^{c^{\&prime;}}),---\left(18\right)$

其中h^c 和

是两个纹理直方图，N是直方图柱的数目，

是相似性系数，表示两个直方图相对应的像素p的相同部分。纹理相似度映射通常根据下式产生：

$\mathrm{LBP}{t}_{}(x,y)=\left\{\begin{array}{cc}\underset{c\&Element;\{R,G,B\}}{\max }\left({\mathrm{\&rho;}}_p^c\right),& \mathrm{if}{M}_t^{\mathrm{sh}}(x,y)=1\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(19\right)$

其中，LBP_t(x,y)是在位置（x，y）的一个像素的纹理相似性。相似度越大，LBP_t(x,y)值越大；

4、构建特征融合图Map_t；

在从前景图像中提取六个特征之后，得到六个特征映射。我们通过对多个特征的线性组合来确定像素的类别。为了得到一致的混合特征映射，每个特征映射都被归一化，融合映射Map_t通过下式建立：

${\mathrm{Map}}_t=\frac{1}{6}(N(1-{\mathrm{NCC}}_t)+N\left({\mathrm{Ch}}_t\right)+N\left({\mathrm{CCC}}_t\right)+N\left({\mathrm{\&Delta;E}}_t\right)+N\left({\mathrm{Sal}}_t\right)+N(1-{\mathrm{LBP}}_t)),---\left(20\right)$

其中N(.) 是归一化操作。一般来说，一个前景图像可能包含运动对象和它们的阴影。因此分类标准遵循如下原则：

${\mathrm{Ob}}_t(x,y)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{Map}}_t(x,y)>T\mathrm{or}{M}_t^{\mathrm{ob}}(x,y)=1\\ 0,& \mathrm{otherwise}\end{array}\right.,{\mathrm{Sh}}_t(x,y)=M_t(x,y)\mathrm{and}\&Not;{\mathrm{Ob}}_t(x,y),---\left(21\right)$

其中，T为阈值，Ob_t(x,y)和Sh_t(x,y)是运动物体的图像和运动阴影图像的二进制掩膜。Ob_t(x,y)=1表示像素被标记为移动目标，Sh_t(x,y)=1像素被标记为阴影。利用融合映射得到的运动目标和阴影的二值图如图5和图6所示；

5、进行空间调整去掉一些错误分类的像素；

为了矫正特征融合后产生的错误分类，我们采用空间调整来提高阴影检测准确率。阴影检测过程中，检测到的阴影区域包括许多正确分类的区域，一些被错误定义的小斑点。类似的情况在检测到的目标区域也会出现。以某视频帧中检测到的阴影区域为例，为彻底消除这些错误分类的斑点或很小的区域，一个连通区域标记算法被用来标记不同的区域，并且对每个区域的面积进行统计，其中连通区域的最大面积记为area_max。定义一个尺寸滤波器SF=a·area_max，如果连通区域的面积小于SF，则认为该区域不是阴影，并且将其矫正为目标。阈值a根据不同的视频场景决定其大小，取值范围为[0,1]。类似地，目标区域也采用同样的操作，直到没有满足条件的区域为止。这样，一些孤立的错误区域得到了矫正。进行空间调整后的阴影检测结果如图7和图8所示。可以看出经过空间调整后的结果，几乎不存在错误分类的像素，即空间调整在矫正错误像素中起到了很重要的作用。

实验例：下边通过具体实验结果的分析与对比来进一步说明本发明的有益效果。

为了监控视频中的运动阴影不影响目标跟踪，目标识别，视频监控，视频压缩等，本发明提出了一种精确的运动阴影检测方法。为了有效地和系统地评价提出的方法，我们在4个知名的数据库上进行了大量的实验，包括Highway，Intelligent Room  , Hallway   和 CAVIAR  。其中Highway室外场景视频序列，其余的三个是室内场景的视频序列，而且每个数据库的真实情况是已知的。而且，我们从定性与定量的角度将本发明提出方法（简称MFF）与一些有代表性的和最新的方法进行性能对比，包括基于确定非模式的方法(DNM)，颜色特征不变的方法(ICF)，统计的非参方法(SNP1, SNP2), 自适应的阴影估计法(ASE), 和混合颜色模型方法(CCM)，利用以上各种方法检测的结果如图9所示，图中的第一排为原始视频帧，第二排为真实情况，其余的每排为一种方法的检测结果。我们可以看出每种方法都能在一定程度上检测出阴影。明显地，SNP1在Highway 和 Intelligent Room上取得了最差的结果。相对于室内场景，DNM，ICF， SNP2 和 CCM在室外场景视屏上展示了更差的检测结果。相对地，ASE方法对于每个视频都取得了较好的检测结果。然而，ASE方法还是劣于MFF方法。从图9（h）可以看出，本发明方法可以很好的区分开阴影和运动目标。

我们采用两个度量来定量的评价本发明的性能：阴影检测率和阴影判别率。明显的，这两者度量任何一个都不能全面的评价算法的性能。因为只有这两个度量都好时，才能说明算法的有效性。所以，将阴影检测率和阴影判别率的平均作为第三个度量标准，三个度量标准定义如下：

其中，下标S和O分别代表阴影和目标，TP_S 和 TP_O 分别是阴影和目标被正确检测的数目。FN_S 和 FN_O 分别是阴影和目标被错误检测的数目。

表1 显示了各种方法的性能对比，从表1可以看出，对于CAVIAR，MFF显示了最高阴影检测率，对于Highway，MFF给出了最高阴影判别率。从平均检测率来看，我们提出的MFF方法要高于其它方法的检测性能。其次，ASE也取得了较好的检测结果。以Highway为例，MFF方法达到了90.20%的平均检测率，ASE方法达到了84.68%。SNP1给出了最差的结果52.98%，因为此方法考虑了颜色信息。尽管CCM方法考虑了两个彩色模型，但是得到的平均检测率只有62.01%。对于DNM方法，它在4个视频序列的平均检测率分别比MFF低10.00%，17.62%，9.62% 和 11.79%。其原因是DNM只考虑了颜色特征而忽略了其它类型的特征。表1的对比结果说明了本发明提出算法的优越性。MFF的优秀性能主要归功于多特征的融合，这些特征的并行应用使得其在阴影检测时起到了互相补充的作用。

为了对比各种算法的稳定性，我们计算了Highway视频序列每帧的阴影检测率，阴影判别率和平均检测率，图10至图12显示了直观的对比结果，我们可以看出MFF的变化趋势是比较平稳的。为了对比各个方法的稳定性，本文还计算了不同方法的平均检测率方差，即方差越小说明方法越稳定。对于Highway视频序列，SNP1, DNM，ICF，SNP2，CCM，ASE和 MFF的方差分别为0.41, 0.19, 0.34, 0.91, 0.62, 0.70 和 0.31。很显然，DNM展现了最好的稳定性，其次是MFF方法。以上实验结果表明我们提出的方法具有较好的稳定性。

以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明的原理的技术方案均属于本方面的保护范围，对于本领域的技术人员而言，在不脱离本发明的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

表1 定量的阴影检测对比结果

注: 加粗字体代表最好的检测结果。

Claims (1)

1.一种基于多特征融合的精确运动阴影检测方法，其特征在于包括以下步骤：

（1）、从原始视频中读取t时刻的单帧图像I_t；

（2）、采用混合高斯模型提取前景F_t与背景B_t；

混合高斯模型使用K个高斯函数对背景图像中的每个像素进行建模，因此，在第t帧中(x, y)处观测到的像素B_t(x,y)=(I_t(x,y)_r,I_t(x,y)_g,I_t(x,y)_b)的概率为：

$p\left(I_t(x,y)\right)=\underset{i=1}{\overset{K}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_t{(x,y)}_i\&times;\mathrm{\&eta;}(I_t(x,y),{\mathrm{\&mu;}}_t{(x,y)}_i,{\mathrm{\&Sigma;}}_t{(x,y)}_t),---\left(1\right)$

$\mathrm{\&eta;}(I_{t+1}(x,y),{\mathrm{\&mu;}}_t{(x,y)}_i,{\mathrm{\&Sigma;}}_t{(x,y)}_i)=\frac{1}{{|2\mathrm{\&pi;}\&CenterDot;{\mathrm{\&Sigma;}}_t{(x,y)}_i|}^{1/2}}\&times;e^{-\frac{1}{2}{\left(I_t(x,y){-\mathrm{\&mu;}}_t{(x,y)}_i\right)}^T{\mathrm{\&Sigma;}}_t^{-1}{(x,y)}_i(I_t(x,y)-{\mathrm{\&mu;}}_t{(x,y)}_i)}$

其中，ω_t(x,y)_i，μ_t(x,y)_i和Σ_t(x,y)_i分别是第t帧的第i个高斯函数的权重，均值和协方差矩阵， ${\mathrm{\&Sigma;}}_t{(x,y)}_i={\mathrm{\&sigma;}}_t^2{(x,y)}_{i}I$ ；

混合高斯模型训练完成之后，将具有最大权重的高斯函数的均值作为背景图像的像素值，背景图像记为B_t，同时以得到I_t中的前景图像F_t；

（3）、对提取的前景和背景进行特征提取；

以亮度约束为前提，提取亮度相似性特征(NCC_t)，色度差异特征(Ch_t)，光度颜色不变量特征(CCC_t)，颜色显著性特征(Sal_t)，熵特征(ΔE_t)和局部二值模式(LBP_t)六个特征，这六个特征涵盖了亮度、颜色和纹理特征。而且，对于每个特征得到一个特征映射；

（4）、构建特征融合图Map_t

我们通过对多个特征映射的线性组合来确定像素的类别，为了得到一致的混合特征映射，每个特征映射都被归一化，融合映射Map_t通过下式建立：

${\mathrm{Map}}_t=\frac{1}{6}(N(1-{\mathrm{NCC}}_t)+N\left({\mathrm{Ch}}_t\right)+N\left({\mathrm{CCC}}_t\right)+N\left({\mathrm{\&Delta;E}}_t\right)+N\left({\mathrm{Sal}}_t\right)+N(1-{\mathrm{LBP}}_t)),---\left(20\right)$

其中N(.) 是归一化操作；一般来说，一个前景图像可能包含运动对象和它们的阴影，因此分类标准遵循如下原则：

${\mathrm{Ob}}_t(x,y)=\left\{\begin{array}{cc}1,& \mathrm{if}{\mathrm{Map}}_t(x,y)>T\mathrm{or}{M}_t^{\mathrm{ob}}(x,y)=1\\ 0,& \mathrm{otherwise}\end{array}\right.,{\mathrm{Sh}}_t(x,y)=M_t(x,y)\mathrm{and}\&Not;{\mathrm{Ob}}_t(x,y),---\left(21\right)$

其中，T为阈值，Ob_t(x,y)和Sh_t(x,y)是运动物体的图像和运动阴影图像的二进制掩膜；Ob_t(x,y)=1表示像素被标记为移动目标，Sh_t(x,y)=1像素被标记为阴影；

（5）、进行空间调整去掉一些错误分类的像素；

为了矫正特征融合后产生的错误分类，我们采用空间调整来提高阴影检测准确率；阴影检测过程中，检测到的阴影区域包括许多正确分类的区域，一些被错误定义的小斑点，类似的情况在检测到的目标区域也会出现，为彻底消除这些小错误分类的斑点，一个连通区域标记算法被用来标记不同的区域，然后，采用尺寸过滤器去除错误斑点，这样，一些孤立的错误区域得到了矫正。

Images