CN103679704B

CN103679704B - 一种基于光照补偿的视频运动阴影检测方法

Info

Publication number: CN103679704B
Application number: CN201310607668.8A
Authority: CN
Inventors: 李艾华; 苏延召; 金广智; 姜柯; 石林锁; 王涛; 蔡艳平; 刘浩
Original assignee: No 2 Artillery Engineering University Of Chinese Pla
Current assignee: No 2 Artillery Engineering University Of Chinese Pla
Priority date: 2013-11-22
Filing date: 2013-11-22
Publication date: 2017-01-11
Anticipated expiration: 2033-11-22
Also published as: CN103679704A

Abstract

本发明提供了一种基于光照补偿的视频运动阴影检测方法，首先采用背景差分法获得带有运动阴影的前景区域，然后利用颜色特征提取候选的阴影区域，通过在这些区域中随机抽取样本，估计出光照补偿的参数，随后用补偿后的背景区域再次与前景区域进行差分，得到运动阴影检测结果；该方法并不需要对场景作任何假设，也不需要人工干预，且与其它的多特征阴影检测方式相比，能够合理的融合多种特征，同时具备实时性与准确性优势，对场景变化与环境变化有良好的适应性。

Description

一种基于光照补偿的视频运动阴影检测方法

技术领域

本发明属于视频图像处理领域，涉及一种能够适应场景变化的运动阴影检测方法，具体涉及一种基于光照补偿的视频运动阴影检测方法。

背景技术

运动目标检测（前景检测）是基于计算机视觉监控的一项基础而重要的任务，准确有效的检测结果是后续的目标跟踪、目标识别、场景理解等高级应用的前提与铺垫。然而运动目标检测由于受到环境与视频监控的实际场景的影响，其结果中往往包含了大量的虚假信息，运动阴影是最常见的一种形式。运动阴影是由于目标在运动过程中对光线的遮挡，使得场景中的某些区域光照减少而产生的一种投影。这类阴影与场景中的固定物体（背景）产生的投影的显著区别在于，它会随着运动的目标一起运动，且其形状与面积大小不断变化。如果面积过大将会极大的影响目标的识别与跟踪的结果，导致场景理解得出错误的结论。

常用的运动阴影检测方法包括几何特征法、颜色特征法、物理特征法、局部纹理特征法、区域纹理特征法。几何特征法需要通过先验知识得到场景的入射光线与目标的运动方向之间的相对关系，从而通过相关性获得运动阴影。由于场景的变化，先验知识的获取相对困难，且不能够适应场景的不断变化；颜色特征法利用运动阴影的亮度减弱而颜色特征分量基本不变的性质来获得运动阴影，在目标颜色信息与背景信息相近时并不能进行有效的判断；物理特征法通过一些训练样本建立运动阴影模型，随后对前景检测结果进行判别获得阴影，训练样本的自动获取与模型的更新相对困难；局部纹理特征法利用边缘、邻域或者小波变化等方法来获取前景的纹理信息，并与背景的纹理相比较来获取运动阴影；区域纹理特征法首先通过颜色特征筛选出候选的阴影区域，再对这些区域利用前景与背景区域梯度特征的相似性来获取阴影。局部纹理与区域纹理方法对于纹理特征不明显区域的检测结果相对较差，且需要根据场景变化不断调整区域的大小才能获得准确的结果。另外还有一些方法，将颜色、纹理等多种特征结合起来使用，但是在如何进行有效的信息融合、实时性方面仍然存在许多问题。上述这些算法多依赖于场景与人工交互，且使用的特征相对单一，对场景变化的自适应能力较差，且准确性与实时性都有待进一步提高。

发明内容

本发明的目的是提供一种能够适应场景变化且快速而准确的基于光照补偿的视频运动阴影检测方法。

为了实现上述目的，本发明采用如下技术方案：

一种基于光照补偿的视频运动阴影检测方法，通过对场景中被遮挡的光照进行补偿以实现运动阴影的检测，具体包括以下步骤：

步骤1：将视频图像转换到YUV颜色空间，建立自动更新的背景模型

步骤2：将当前图像中的像素点与背景模型中对应的像素点进行比较，如果满足阈值条件则判断为背景BG，否则为前景FG，得到含有阴影的运动目标检测结果L_i；

步骤3：利用颜色特征筛选出包含运动阴影的大致的区域，也即场景中光照被遮挡的区域；

具体方式如下：

通过YUV颜色空间的UV分量，建立颜色不变特征，从前景检测结果L_i中获得含有运动阴影的样本集W_s，包含运动阴影的样本应满足以下判别公式：

if L_{i} &DoubleRightArrow; \{\begin{matrix} | U_{i}^{b} - U_{i}^{f} | \leq T_{u} \\ {| V}_{i}^{b} - {V_{i}}^{f} | \leq T_{v} \\ | U_{i}^{b} - {V_{i}}^{b} - (U_{i}^{f} - {V_{i}}^{f}) | \leq T_{d} \\ | {V_{i}}^{b} - {V_{i}}^{f} | - | U_{i}^{b} - U_{i}^{f} | \leq T_{o} \end{matrix} then &DoubleRightArrow; L_{i} &Element; W_{s}

其中V_i ^b、V_i ^f分别代表背景与前景的UV分量值，T_u、T_v、T_d、T_o分别代表前景与背景的UV通道差值阈值；

步骤4：在样本集W_s中随机抽样一部分像素点，利用得到的抽样像素点计算出光照强度的补偿参数α；

步骤5：利用得到的补偿参数α对背景图像进行补偿，并与当前图像再次进行差分，得到运动阴影检测结果；

具体方式如下：

对前景检测结果L_i对应背景点的Y通道进行光照的补偿，得到修正后的背景模型B₁，即：

利用修正后的背景模型B₁再一次对前景检测结果L_i进行分类，如果满足阈值条件则将L_i判定为阴影S，否则判定为运动目标M。

所述步骤1中背景模型的建立由ViBe方法实现，通过随机抽取邻域像素形成一个点集来表示背景；对于视频的第一帧图像,以表示图像中在t时刻点i的像素值，c表示颜色空间，表示像素点i的m邻域，表示像素点i在t时刻的背景模型，则点i处背景模型初始化为：

B_{i}^{t} = {Q_{1}^{c}, Q_{2}^{c}, Q_{3}^{c}, . . . . . . . Q_{N}^{c} | Q_{j}^{c} &Element; N_{i}^{m}, j = 1 . . . . N}

其中表示从i的邻域中抽取的像素值，m取为8，N表示抽取点的数量取为20。

所述步骤2中前景FG和背景BG判断公式如下：

L_{i} &equiv; \{\begin{matrix} # {D_{E} (P_{(i, t)}^{c}, B_{i}^{t}) \leq T_{g}} &GreaterEqual; η &RightArrow; BG \\ else &RightArrow; FG \end{matrix}

其中D_E(x,y)表示当前像素与背景像素的欧氏距离，T_g表示全局距离阈值，η表示满足条件的值的个数；如果当前像素与背景模型中像素的距离小于等于T_g的个数大于或者等于η则判断为背景BG，否则判断为前景FG，全局距离阈值T_g为20，η为2。

所述步骤4具体方式如下：

从样本集W_s中随机抽样N个样本点，同时将背景模型中对应的背景像素点提取出来，利用得到的N个样本点获得光照补偿的参数α，通过下式来计算：

α = \frac{E (N_{y}^{f})}{E (N_{y}^{b})}

其中，表示抽样点对应的前景像素Y通道均值，表示抽样点对应的背景像素Y通道均值,样本点数量N为样本集W_s数量的1/4。

所述样本点数量N>50。

所述步骤5中判别公式如下：

L_{d} &equiv; \{\begin{matrix} # {D_{E} (P_{i}^{y}, B_{1}) \leq T_{g}} < η &RightArrow; S \\ else &RightArrow; M \end{matrix}, P_{i}^{y} &Element; L_{i}

其中L_d表示光照补偿之后的检测结果，P_i ^y表示当前像素的Y通道像素值。

所述步骤5中，将判断的结果采用形态学滤波去除噪声，得到精确的运动阴影结果与运动目标检测结果。

所述步骤3中利用梯度的模值与方向对前景检测结果L_i进行初步筛选，得到含有运动阴影的样本集W_s1，包含运动阴影的样本应满足以下判别公式：

if L_{i} &DoubleRightArrow; \{\begin{matrix} | G_{i}^{b} - G_{i}^{f} | \leq T_{m} \\ | D_{i}^{b} - D_{i}^{f} | \leq T_{θ} \end{matrix} then &DoubleRightArrow; L_{i} &Element; W_{s 1}

其中分别表示背景与前景像素的梯度模值，分别表示背景与前景像素的梯度方向角度，T_m、T_θ分别表示梯度模值阈值与角度阈值;

利用所述步骤3通过YUV颜色空间的UV分量，建立颜色不变特征，从前景检测结果L_i中获得含有运动阴影的样本集W_s2;

对两种样本集W_s1和W_s2进行叠加得到最终含有运动阴影的样本集W_s，即W_s＝W_s1∪W_s2。

与现有技术相比，本发明具有以下优点：

1、该方法不需要对监控场景作任何假定，如光照不变、场景中只有一个运动物体等，适用于室内与室外的各种智能监控场合如智能交通、智能家居等；

2、在运动阴影的检测过程中也不用人工参与（如选取阴影区域），能够自动的筛选出运动阴影，且同时具备检测精度高与实时性好的优势。

3、该方法是一种检测框架，可以有效融合多种特征（如亮度、颜色、纹理等），组合应用的方式可以多样化（如利用颜色加亮度或者是利用纹理加亮度等），便于根据实际应用进行选择。

进一步，本方法还具有以下优点：

1、利用颜色、梯度等多种特征对阴影区域进行初步筛选，从这些筛选结果中估计另一种特征的变化参数，保证了多特征融合的有效性，且在多种特征的融合中不需要训练样本，对场景变化与环境变化有良好的适应性。

2、通过本方法的特征融合，运动阴影检测对单个特征的依赖性并不强，可以防止在某些条件下一种特征失效而导致阴影检测失败。

附图说明

图1是本发明的流程图；

图2是本发明以颜色和剃度特征结合为例的多特征运动阴影检测流程图；

图3是使用本发明方法得到的检测结果数据图。

具体实施方式

以下结合附图本发明作进一步的详细描述：

本发明针对现有技术存在的不足，提出了一种基于光照补偿的运动阴影消除方法。该方法首先采用背景差分法获得带有运动阴影的前景区域，然后利用颜色特征提取候选的阴影区域，通过在这些区域中随机抽取样本，估计出光照补偿的参数，随后用补偿后的背景区域再次与前景区域进行差分，最后采用形态学滤波去除零星的干扰，从而获得完整的阴影区域。该方法并不需要对场景作任何假设，也不需要人工干预，且与其它的多特征阴影检测方式相比，能够合理的融合多种特征，同时具备实时性与准确性优势。

如图1所示，具体方案包括以下步骤：

1、将视频图像转换至YUV空间，并建立自动更新的背景模型。

背景模型的建立由ViBe方法实现，该方法通过随机抽取邻域像素形成一个点集来表示背景。对于视频的第一帧图像,以表示图像中在t时刻点i的像素值，c表示颜色空间，表示像素点i的m邻域，表示像素点i在t时刻的背景模型，则点i处背景模型初始化为：

B_{i}^{t} = {Q_{1}^{c}, Q_{2}^{c}, Q_{3}^{c}, . . . . . . . Q_{N}^{c} | Q_{j}^{c} &Element; N_{i}^{m}, j = 1 . . . . N}

背景更新时，只将判定为背景的像素更新到背景模型中，而前景像素点并不参与更新。

2、采用背景差分法将当前图像与背景进行差分，得到含有运动阴影的前景检测结果。具体方式如下：将当前图像中的像素点与对应的背景像素点进行比较，如果满足阈值条件则判断为背景BG（background），否则为前景FG（foreground）。以L_i表示检测结果，将当前图像进行分割的条件如下：

L_{i} &equiv; \{\begin{matrix} # {D_{E} (P_{(i, t)}^{c}, B_{i}^{t}) \leq T_{g}} &GreaterEqual; η &RightArrow; BG \\ else &RightArrow; FG \end{matrix}

其中D_E(x,y)表示当前像素与背景像素的欧氏距离，η表示满足条件的值的个数，T_g表示全局距离阈值，η表示全局数量阈值。如果当前像素与背景模型中像素的距离小于等于T_g的个数大于或者等于η则判断为背景，否则判断为前景。全局距离阈值T_g为20，全局数量阈值η为2。

3、通过YUV颜色空间的UV分量，建立颜色不变特征，从前景检测结果L_i中获得含有运动阴影的样本集W_s。颜色不变特征是指对于光照强度的变化不会影响目标的颜色属性，在实际中由于传感器的误差等因素影响，目标的颜色特征通常在一定范围内变化，因此初始的运动阴影样本应满足以下判别公式：

if L_{i} &DoubleRightArrow; \{\begin{matrix} | U_{i}^{b} - U_{i}^{f} | \leq T_{u} \\ {| V}_{i}^{b} - {V_{i}}^{f} | \leq T_{v} \\ | U_{i}^{b} - {V_{i}}^{b} - (U_{i}^{f} - {V_{i}}^{f}) | \leq T_{d} \\ | {V_{i}}^{b} - {V_{i}}^{f} | - | U_{i}^{b} - U_{i}^{f} | \leq T_{o} \end{matrix} then &DoubleRightArrow; L_{i} &Element; W_{s}

其中V_i ^b、V_i ^f分别代表背景与前景的UV分量值，T_u、T_v、T_d、T_o分别代表前景与背景的UV通道差值阈值。

4、从步骤三得到的样本集W_s中，通过随机抽样的方式，抽取N个样本点，同时将对应的背景像素点提取出来。通过随机抽样的方式可以降低计算量，去除噪声干扰，N通常设定为样本集数量的1/4；优选的N>50。

5、利用随机抽样得到的样本点获得光照补偿的参数α。参数的获取可以采用多种方式，考虑实时性要求，可以通过下式来计算：

α = \frac{E (N_{y}^{f})}{E (N_{y}^{b})}

其中，表示抽样点对应的前景像素Y通道均值，表示抽样点对应的背景像素Y通道均值。

6、在得到补偿参数之后，对前景检测结果L_i对应背景点的Y通道进行光照的补偿，得到修正后的背景模型B₁，即：

B_{1} = a * B_{i}^{t}

由于是一个点集，因而B₁一个点集。

7、利用修正后的背景模型B₁再一次对前景检测结果L_i进行分类，如果满足阈值条件则将L_i判定为阴影S，否则判定为运动目标M，判别公式如下：

L_{d} &equiv; \{\begin{matrix} # {D_{E} (P_{i}^{y}, B_{1}) \leq T_{g}} < η &RightArrow; S \\ else &RightArrow; M \end{matrix}, P_{i}^{y} &Element; L_{i}

其中L_d表示光照补偿之后的检测结果，P_i ^y表示当前像素的Y通道像素值，

8、采用形态学滤波去除零星的噪声，得到精确的运动阴影结果，与运动目标检测结果。

进一步，上述方法上中，光照补偿参数的获取是通过颜色特征对首次前景检测结果进行筛选之后获得，也可以通过其它单个或者是组合特征来进行筛选，如梯度、小波特征等，其它任何通过图像特征筛选结果并采用光照补偿方式来检测运动阴影都应当包含在本发明的范围之内。

如图2所示，以梯度与颜色特征为例，多种组合特征组合筛选步骤如下：

（1）按照上文所述步骤一、二建立背景模型，并进行背景差分和阈值判断得到包含运动阴影的前景检测结果。

（2）利用梯度的模值与方向对前景检测结果进行初步筛选，得到含有运动阴影的样本集W_s1；

包含运动阴影的样本应满足以下判别公式：

if L_{i} &DoubleRightArrow; \{\begin{matrix} | G_{i}^{b} - G_{i}^{f} | \leq T_{m} \\ | D_{i}^{b} - D_{i}^{f} | \leq T_{θ} \end{matrix} then &DoubleRightArrow; L_{i} &Element; W_{s 1}

（3）利用上文所述步骤三得到含有运动阴影的样本集W_s2；

（4）对两种样本集W_s1和W_s2进行叠加得到最终的样本集W_s，即W_s＝W_s1∪W_s2；

利用这个样本集，按照上文所述的步骤4-步骤8继续进行即可得到融合多特征的运动阴影检测结果。

对本发明检测方法获得的检测结构的定量评价：

对阴影检测结构的评价通常采用三个标准即：阴影检测率η、阴影判别率ξ、综合评价指标Φ，计算公式如下：

η = \frac{{TP}_{S}}{{TP}_{S} + {FN}_{S}}, ξ = \frac{{TP}_{F}}{{TP}_{F} + {FN}_{F}}, Φ = \frac{2 η * ξ}{η + ξ}

其中TP_s为被正确判断为阴影的像素点数目，FN_s为被错误判断为其它类型的阴影像素点数目，TP_F为被正确判断为前景像素点数目，FN_F为被错误判断为其它类型的前景像素点数目。

本发明方法在著名的阴影检测数据集ATON（包括四个场景room、hallway、lab、campus）上进行了验证，通过本发明方法的检测结果计算得出的评价标准数据如图3所示，在四个不同场景中得到的检测结果，阴影检测率η、阴影判别率ξ、综合评价指标Φ准确率高达90%以上，检测精度高，对场景变化适应性强。

Claims

1.一种基于光照补偿的视频运动阴影检测方法，其特征在于，通过对场景中被遮挡的光照进行补偿以实现运动阴影的检测，具体包括以下步骤：

具体方式如下：

i f L_{i} &DoubleRightArrow; \{\begin{matrix} | U_{i}^{b} - U_{i}^{f} | \leq T_{u} \\ | V_{i}^{b} - V_{i}^{f} | \leq T_{v} \\ | U_{i}^{b} - V_{i}^{b} - (U_{i}^{f} - V_{i}^{f}) | \leq T_{d} \\ | V_{i}^{b} - V_{i}^{f} | - | U_{i}^{b} - U_{i}^{f} | \leq T_{o} \end{matrix} t h e n &DoubleRightArrow; L_{i} &Element; W_{s}

其中分别代表背景BG与前景FG的UV分量值，T_u、T_v、T_d、T_o分别代表前景FG与背景BG的UV通道差值阈值；

具体方式如下：

2.根据权利要求1所述的基于光照补偿的视频运动阴影检测方法，其特征在于：所述步骤1中背景模型的建立由ViBe方法实现，通过随机抽取邻域像素形成一个点集来表示背景；对于视频的第一帧图像,以表示图像中在t时刻点i的像素值，c表示颜色空间，表示像素点i的m邻域，表示像素点i在t时刻的背景模型，则点i处背景模型初始化为：

B_{i}^{t} = {Q_{1}^{c}, Q_{2}^{c}, Q_{3}^{c}, ... ... \cdot Q_{N}^{c} | Q_{j}^{c} &Element; N_{i}^{m}, j = 1 ... . N}

3.根据权利要求1所述的基于光照补偿的视频运动阴影检测方法，其特征在于：所述步骤2中前景FG和背景BG判断公式如下：

L_{i} &equiv; \{\begin{matrix} # {D_{E} (P_{(i, t)}^{c}, B_{i}^{t}) \leq T_{g}} &GreaterEqual; η &RightArrow; B G \\ e l s e &RightArrow; F G \end{matrix}

4.根据权利要求1所述的基于光照补偿的视频运动阴影检测方法，其特征在于：所述步骤4具体方式如下：

α = \frac{E (N_{y}^{f})}{E (N_{y}^{b})}

其中，表示抽样点对应的前景像素Y通道均值，表示抽样点对应的背景像素Y通道均值，样本点数量N为样本集W_s数量的1/4。

5.根据权利要求4所述的基于光照补偿的视频运动阴影检测方法，其特征在于：所述样本点数量N>50。

6.根据权利要求1所述的基于光照补偿的视频运动阴影检测方法，其特征在于：所述步骤5中判别公式如下：

L_{d} &equiv; \{\begin{matrix} # {D_{E} (P_{i}^{y}, B_{l}) \leq T_{g}} < η &RightArrow; S \\ e l s e &RightArrow; M \end{matrix}, P_{i}^{y} &Element; L_{i}

其中L_d表示光照补偿之后的检测结果，表示当前像素的Y通道像素值。

7.根据权利要求1所述的基于光照补偿的视频运动阴影检测方法，其特征在于：所述步骤5中，将判断的结果采用形态学滤波去除噪声，得到精确的运动阴影结果与运动目标检测结果。

8.根据权利要求1-7任一项所述的基于光照补偿的视频运动阴影检测方法，其特征在于：所述步骤3中利用梯度的模值与方向对前景检测结果L_i进行初步筛选，得到含有运动阴影的样本集W_s1，包含运动阴影的样本应满足以下判别公式：

i f L_{i} &DoubleRightArrow; {\begin{matrix} | G_{i}^{b} - G_{i}^{f} | \leq T_{m} \\ | D_{i}^{b} - D_{i}^{f} | \leq T_{θ} \end{matrix} t h e n &DoubleRightArrow; L_{i} &Element; W_{s 1}

其中分别表示背景BG与前景FG像素的梯度模值，分别表示背景与前景像素的梯度方向角度，T_m、T_θ分别表示梯度模值阈值与角度阈值；

利用所述步骤3通过YUV颜色空间的UV分量，建立颜色不变特征，从前景检测结果L_i中获得含有运动阴影的样本集W_s2；