CN105913441B

CN105913441B - 一种用于改善视频中目标检测性能的阴影去除方法

Info

Publication number: CN105913441B
Application number: CN201610266506.6A
Authority: CN
Inventors: 何小海; 兰丽; 吴晓红; 滕奇志; 王正勇
Original assignee: Sichuan University
Current assignee: Sichuan University
Priority date: 2016-04-27
Filing date: 2016-04-27
Publication date: 2019-04-19
Anticipated expiration: 2036-04-27
Also published as: CN105913441A

Abstract

本发明公开了一种用于改善视频中运动目标检测性能的阴影去除方法，涉及智能视频监控、目标检测与跟踪等领域。方法包括：采用背景建模法ViBe提取视频图像的背景和运动前景；利用改进的简单线性迭代聚类算法将视频图像中的运动区域分割为若干超像素；以超像素为基本处理单元，计算RGB颜色空间中背景与运动前景的亮度比率；利用目标与阴影区域亮度比率的取值范围不同初步检测阴影候选区域；计算阴影候选区域中各超像素范围内3通道亮度比率的离散程度，并用标准差来表示；利用阴影区域标准差的特征及其分布规律自适应检测并去除阴影，获得真实的目标图像。本发明不需要基于任何关于场景或目标的先验知识，基于超像素处理大幅度降低了方法的计算复杂度，采用自适应阈值分割目标与阴影，可以适用于多种真实场景下的阴影去除而无需人工干预。

Description

一种用于改善视频中目标检测性能的阴影去除方法

技术领域

本发明涉及一种目标检测技术，尤其是涉及一种视频中运动目标的阴影去除方法。

背景技术

运动目标检测是许多智能视频分析系统的基础环节，如人流量统计，行人重识别，跟踪，行为分析等。由于环境光照的影响，目标投射到地面的阴影会引起目标合并、形变甚至丢失，造成目标误检或漏检，并进一步造成视频后续处理环节失败。因此，研究投射阴影的检测与去除方法具有重要意义。

阴影去除可以有效提高目标检测的准确率，现有阴影去除方法根据其使用的特征可分为四类：几何法、物理法、颜色法、纹理法。其中，几何法是通过假定场景中只存在单一光源，利用光源、地面、目标三者的几何关系确定阴影的位置，但前提是场景和目标形状固定。物理法是根据光源和地面的物理属性，利用亮度衰减后验概率模型检测阴影，适用于目标与阴影光谱特征相差较大的场景。颜色法和纹理法是目前使用较多的方法。颜色法主要基于阴影区域亮度变暗而颜色保持不变的假设检测阴影。但是，当目标与阴影颜色差别较小时，基于颜色特征的阴影去除算法会造成目标内部空洞或者有阴影残留。纹理法是基于阴影与相应背景区域纹理相似的假设来去除阴影，但当监控视频中目标较小或背景纹理丰富时，目标与背景的纹理差别不大，很难去除阴影。近来，基于颜色和纹理相结合的方法相继被提出，首先将图像分割为互不重叠的子区域，并提取子区域的颜色和纹理特征，利用监督分类的方法区分阴影与目标。将颜色和纹理相结合的方法提升了阴影检测精度，但其计算量也相对增加，而且基于监督分类的方法需要人工标注训练样本，具有一定的局限性。

发明内容

本发明的目的是为解决上述问题而提供一种通用性强、效果好的用于改善视频中运动目标检测性能的阴影去除方法。

本发明通过以下技术方案来实现上述目的：

一种用于改善视频中运动目标检测性能的阴影去除方法，主要包括以下步骤：

1、采用背景建模法ViBe(Visual Background extractor)提取RGB视频图像的背景和运动前景。

2、将原始RGB视频图像转换至CIELAB颜色空间。如果当前待处理图像是视频第一帧，按间距(N是图像中像素点数，M是待分割的超像素数)均匀选取像素作为超像素的中心点C_m＝{l_m,a_m,b_m,x_m,y_m},m∈[1,M],l∈[-100,+100],(a,b)∈[-128,+127]，l表示像素的亮度值，a,b表示像素的颜色值，(x,y)表示像素的坐标。计算以C_m为中心的3×3邻域像素的梯度值，并将中心点移动到梯度值最小的位置；否则，用前一帧的中心点数据加上一定的位置噪声初始化当前帧中超像素的中心点，即C'_m＝{l_m,a_m,b_m,(x_m+noise),(y_m+noise)}，noise表示随机产生的高斯噪声。赋予每一个中心点一个单独的标签。

3、计算任一像素点p(x,y)与以其为中心的2S×2S邻域内的中心点C_m的颜色距离d_lab和空间距离d_xy：并计算p(x,y)与C_m的距离d_S：d_S(p(x,y),p(x_m,y_m))＝d_lab(p(x,y),p(x_m,y_m))+λd_xy(p(x,y),p(x_m,y_m))，是空间距离的权重，n为控制超像素大小一致性的参数，n∈[1,20]，将与像素点距离最小的中心点的标签赋给p(x,y)。

4、计算具有相同标签的像素及其坐标的平均值将作为超像素新的中心点。计算新旧中心点的迭代残差：若E小于给定阈值Thrd则结束迭代，否则重复步骤2和步骤3。

5、将面积较小的超像素的标签用其周围面积最大的超像素的标签来代替。若超像素边缘超出了运动前景的边缘，则将其边缘像素修正为运动运动前景对应的边缘像素。

6、将CIELAB视频图像转换为RGB颜色空间。获得视频图像的超像素后，只对属于运动区域的超像素进行处理。计算背景亮度与运动前景亮度的比率C表示R、G、B三通道，b、f分别表示背景和前景。若R_C(x,y)＜1，则将该像素所属的超像素标记为真实目标区域O，否则标记为候选阴影区域S'。

7、计算候选阴影区域S'中超像素s_k(k∈[1,K]，K是S'中超像素个数)内R_C(x,y)的均值u_C与标准差σ_C：将标准差按大小排序，计算排序后相邻标准差的差值dif_C(k)：dif_C(k)＝σ_C(s_k+1)-σ_C(s_k)，以及差值的平均值(dif_avg)_C：若dif_C(m)＜(dif_avg)_C，则定义阈值δ_C＝σ_C(s_k)。若超像素s_k满足：σ_C(s_k)＜δ_C，则将s_k标记为阴影区域S，否则标记为O。

8、返回步骤1，进行下一帧图像处理。

本发明对利用视频前一帧的超像素中心数据估计当前帧的超像素的中心点，能够明显减少超像素分割时的迭代次数，并利用运动前景的边缘信息修正超像素分割的目标边缘，显著提高了超像素分割准确率。

本发明方法基于超像素对图像进行处理，降低了计算复杂度，提高了算法处理速度。

本发明方法提出使用超像素范围内背景与运动前景的亮度比率的标准差及其分布规律检测并去除阴影，提高了目标检测的准确率。

本发明方法提出基于亮度比率标准差的拐点的自适应阈值算法，增强了算法的环境适应性。

本发明方法易于在软件平台实现且运算量小，实时性高。

附图说明

图1-a为原始RGB彩色阴影图像，图1-b和图1-c分别为ViBe提取的彩色背景和运动前景的二值图像；

图2为运动前景超像素分割结果图像；

图3-a、图3-b和图3-c分别为R、G、B三通道超像素范围内亮度比率标准差分布图像；

图4为阴影去除后真实运动目标的二值图像；

具体实施方式

下面结合附图实例对本发明作进一步详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。

本发明提出的一种用于改善视频中运动目标检测性能的阴影去除方法，其包括以下步骤：

在此具体实施实例中图1-a为原始RGB视频图像，采用背景建模法ViBe提取的背景为图1-b所示，运动前景二值图像为图1-c所示。

2、将原始RGB视频图像转换至CIELAB颜色空间。如果当前待处理图像是视频第一帧，按间距(N是图像中像素点数，M是待分割的超像素数)均匀选取像素作为超像素的中心点C_m＝{l_m,a_m,b_m,x_m,y_m},m∈[1,M],l∈[-100,+100],(a,b)∈[-128,+127]，l表示像素的亮度值，a,b表示像素的颜色值，(x,y)表示像素的坐标。计算以C_m为中心的3×3邻域像素的梯度值，并将中心点移动到梯度值最小的位置；否则，用前一帧的中心点数据加上一定的位置噪声初始化当前帧中超像素的中心点，即，C'_m＝{l_m,a_m,b_m,(x_m+noise),(y_m+noise)}，noise表示随机产生的高斯噪声。赋予每一个中心点一个单独的标签。

在此，图1-a所示原始RGB视频图像中像素点数N＝320*240，待分割的超像素数M＝200，根据求得S＝384。

3、计算任一像素点p(x,y)与以其为中心的2S×2S邻域内的中心点C_m的颜色距离d_lab和空间距离d_xy：并计算p(x,y)与C_m的距离d_S：d_S(p(x,y),p(x_m,y_m))＝d_lab(p(x,y),p(x_m,y_m))+λd_xy(p(x,y),p(x_m,y_m))，是空间距离的权重，n为控制超像素大小一致性的参数，n∈[1,20]，实例中，n取10，将与像素点距离最小的中心点的标签赋给p(x,y)。

4、计算具有相同标签的像素及其坐标的平均值将作为超像素新的中心点。计算新旧中心点的迭代残差：若E小于给定阈值Thrd，其中Thrd＝0.25，则结束迭代，否则重复步骤2和步骤3。

5、将面积较小的超像素的标签用其周围面积最大的超像素的标签来代替。若超像素边缘超出了运动前景的边缘，则将其边缘像素修正为运动前景对应的边缘像素。将视频图像分割为若干超像素后，提取运动前景的超像素分割结果，如图2所示。

6、将CIELAB视频图像转换为RGB颜色空间。获得视频图像的超像素后，只对图2中运动前景的超像素进行处理。计算背景亮度与运动前景亮度的比率C表示R、G、B三通道，b、f分别表示背景和前景。若R_C(x,y)＜1，则将该像素所属的超像素标记为真实目标区域O，否则标记为候选阴影区域S'。

7、计算候选阴影区域S'中超像素s_k(k∈[1,K]，K是S'中超像素个数)内R_C(x,y)的均值u_C与标准差σ_C：将R、G、B三通道的标准差按大小排序，如图3-a、3-b、3-c所示，属于阴影区域的σ_C(s_k)间变化平缓，且从阴影区域过渡到目标区域时σ_C(s_k)的值会出现一个明显的拐点。自适应计算拐点的位置：首先计算排序后相邻标准差的差值dif_C(k)：dif_C(k)＝σ_C(s_k+1)-σ_C(s_k)，然后计算差值的平均值(dif_avg)_C：若dif_C(m)＜(dif_avg)_C，则定义阈值δ_C＝σ_C(s_k)。此实例中对应图3-a、3-b、3-c的σ_C(s_k)，拐点均位于图中的第49个点处，且三通道阈值分别为：δ_R＝0.38,δ_G＝0.38,δ_B＝0.38。若超像素s_k满足：σ_C(s_k)＜δ_C，则将s_k标记为阴影区域S，否则标记为O。阴影去除后真实运动目标的二值图像如图4所示。

8、返回步骤1，进行下一帧图像处理。

Claims

1.一种用于改善视频图像目标检测性能的阴影去除方法，其特征在于包括以下步骤：

(1)采用背景建模法ViBe提取RGB视频图像的背景和运动前景；

(2)将原始RGB视频图像转换至CIELAB颜色空间；如果当前待处理图像是视频第一帧，按间距均匀选取像素作为超像素的中心点C_m＝{l_m,a_m,b_m,x_m,y_m},m∈[1,M],l∈[-100,+100],(a,b)∈[-128,+127]，其中N是图像中像素点数，M是待分割的超像素数，l表示像素的亮度值，a,b表示像素的颜色值，(x,y)表示像素的坐标；计算以C_m为中心的3×3邻域像素的梯度值，并将中心点移动到梯度值最小的位置；否则，用前一帧的中心点数据加上一定的位置噪声初始化当前帧中超像素的中心点，即C'_m＝{l_m,a_m,b_m,(x_m+noise),(y_m+noise)}，noise表示随机产生的高斯噪声；赋予每一个中心点一个单独的标签；

(3)计算任一像素点p(x,y)与以其为中心的2S×2S邻域内的中心点C_m的颜色距离d_lab和空间距离d_xy：并计算p(x,y)与C_m的距离d_S：d_S(p(x,y),p(x_m,y_m))＝d_lab(p(x,y),p(x_m,y_m))+λd_xy(p(x,y),p(x_m,y_m))，是空间距离的权重，n为控制超像素大小一致性的参数，n∈[1,20]，将与像素点距离最小的中心点的标签赋给p(x,y)；

(4)计算具有相同标签的像素及其坐标的平均值将作为超像素新的中心点；计算新旧中心点的迭代残差：若E小于给定阈值时停止迭代，进入步骤(5)，否则，重复步骤(3)和步骤(4)，不断更新计算对应的E值，直至E小于给定阈值；

(5)将面积较小的超像素的标签用其周围面积最大的超像素的标签来代替；若目标的超像素边缘超出了运动前景的边缘，则将其边缘像素修正为运动前景对应的边缘像素；

(6)将CIELAB视频图像转换为RGB颜色空间；获得视频图像的超像素后，只对属于运动区域的超像素进行处理；计算背景亮度与运动前景亮度的比率C表示R、G、B三通道，b、f分别表示背景和前景；若R_C(x,y)＜1，则将该像素所属的超像素标记为真实目标区域O，否则标记为候选阴影区域S'；

(7)计算候选阴影区域S'中超像素s_k内R_C(x,y)的均值u_C与标准差σ_C：其中k∈[1,K]，K是S'中超像素个数，将标准差进行排序，计算排序后相邻标准差的差值dif_C(k)：dif_C(k)＝σ_C(s_k+1)-σ_C(s_k)，以及差值的平均值(dif_avg)_C：若dif_C(k)＜(dif_avg)_C，则定义阈值δ_C＝σ_C(s_k)；若超像素s_k满足：σ_C(s_k)＜δ_C，则将s_k标记为阴影区域S，否则标记为O；

(8)返回步骤(1)，进行下一帧图像处理。