CN109754440A - 一种基于全卷积网络和均值漂移的阴影区域检测方法 - Google Patents

Abstract

本发明提供了一种基于全卷积网络和均值漂移的阴影区域检测方法，该方法针对单幅图像阴影区域检测，首先设计全卷积网络并采用阴影图像数据集进行训练，将全卷积网络作为阴影特征提取器来提取图像的阴影特征，然后经均值漂移算法修正后输出阴影概率图，最后对阴影概率图逐像素点判别是否阴影得到二值化的阴影检测图。全卷积网络作为特征提取器，摒弃传统的人工设计特征，自动学习阴影特征，大大提高阴影检测的鲁棒性。经过均值漂移算法修正后的阴影特征图，利用原始图像的颜色信息，精确修正阴影区域的边缘，显著提高阴影检测的准确率。

Description

一种基于全卷积网络和均值漂移的阴影区域检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种阴影区域检测方法。

背景技术

近年来，图像处理系统已经广泛应用于户外场景，如城市交通、视频监控、航拍、遥感成像等。然而，阴影作为自然界中普遍存在的一种物理现象，它给图像处理任务带来诸多不利影响。阴影的覆盖会破坏图像中灰度值的连续性，进而影响特征提取、图像分割等视觉任务；在动态目标检测、识别、跟踪等任务中，由于阴影随着目标物体一起运动，从而影响目标分割和形状提取的准确度。阴影带来的种种不利影响增加了图像处理相关问题的难度，降低了算法的鲁棒性。因此有效的阴影检测会大大提高图像处理算法的性能。

1.与本发明相关的现有技术一

在苏州科达科技股份有限公司晋兆龙、邹文艺和陈卫东申请的于2018年3月6号公开，公开号为CN107767390A，发明名称为“监控视频图像的阴影检测方法及其系统、阴影去除方法”的中国发明专利申请中，首先从源数据中获取当前帧和背景帧；由当前帧中获取第一候选阴影区域；计算所有第一候选阴影区域的局部三元模式的阴影检测值，选取第二候选阴影区域；计算各个第二候选阴影区域的色调及饱和度检测值和梯度检测值；估算局部三元模式的阴影阈值、色调及饱和度阈值和梯度阈值；计算各个第一候选阴影区域的局部三元模式的阴影检测值、色调及饱和度检测值和梯度检测值；选取局部三元模式的阴影检测值、色调及饱和度检测值和梯度检测值均在阈值范围内的第一候选阴影区域作为阴影区域。

该专利申请利用了背景差分算法获取阴影候选区域，再利用色调、饱和度作为约束得到最终的阴影区域，检测准确率严重依赖前景提取的结果，而复杂场景下将无法准确获取前景。另外，本专利只能针对常见室内场景中处于运动状态的监控目标的阴影区域，应用场景过于单一。

2.与本发明相关的现有技术二

在上海交通大学苑颖和曾贵华申请的于2011年7月20号公开，公开号为CN101364304B，发明名称为“基于颜色不变性和高斯模型的阴影检测方法”的中国发明专利申请中，首先，第一步，根据颜色的相近性对前景区域进行划分，由于阴影的强度小于背景，因此在区域的划分中只对强度小于背景的前景进行划分；第二步，根据阴影的光谱特性选取样点，建立阴影高斯模型，阴影光谱特性包括：颜色不变性、比背景具有较低的强度和较高的蓝色比率，并利用阴影的高斯模型判定像素点是否为阴影，当同一区域的像素点一半及以上的像素都被判定为阴影时，该区域被判定为阴影区域；第三步，获得阴影检测的最初结果后，再根据阴影的空间特性识别阴影区域的边界点属于阴影还是属于噪声。

该专利申请利用单幅图像中颜色的相近性划分前景区域，再利用阴影光谱特性建立高斯模型判别阴影，如果当前景和背景颜色相似时，该方法将完全失效，无法检测出阴影。

由上述两种传统的阴影检测方法可见，一类方法基于视频序列，利用多幅图像的信息，信息量大，但是应用场景十分有限且对于单幅图像无能为力；一类方法基于单幅图像，利用图像中的颜色信息建立高斯模型，但是面对复杂背景的图像，该方法的阴影检测率将严重下降。不难看出，基于单幅图像的阴影检测的应用场景十分广泛，将是未来重点研究方向。但是因为单幅图像的可利用信息较少，所以在阴影检测准确率上仍有很大的提高空间。

发明内容

为了克服现有技术的不足，本发明提供一种基于全卷积网络和均值漂移的阴影区域检测方法，该方法针对单幅图像阴影区域检测，首先设计全卷积网络并采用阴影图像数据集进行训练，将全卷积网络作为阴影特征提取器来提取图像的阴影特征，然后经均值漂移算法修正后输出阴影概率图，最后对阴影概率图逐像素点判别是否阴影得到二值化的阴影检测图。全卷积网络作为特征提取器，摒弃传统的人工设计特征，自动学习阴影特征，大大提高阴影检测的鲁棒性。经过均值漂移算法修正后的阴影特征图，利用原始图像的颜色信息，精确修正阴影区域的边缘，显著提高阴影检测的准确率。

为达到上述目的，本发明提供的一种基于全卷积网络和均值漂移的阴影区域检测方法，包括以下步骤：

步骤1：将Vgg16网络中的所有全连接层用卷积层替换，得到全卷积网络；使用阴影图像数据集训练全卷积网络，使全卷积网络具有图像阴影区域检测能力；

步骤2：将原始图像作为训练后的全卷积网络的输入，进行卷积运算，输出得到表征阴影与非阴影的二通道阴影特征图；

步骤3：再将二通道阴影特征图与原始图像的RGB三通道图像合并为五通道的融合特征图；

步骤4：使用均值漂移算法对步骤3中得到的融合特征图中每个像素点进行处理，得到更新后的融合特征图；

步骤5：使用Softmax函数计算阴影概率图，得到更新后的融合特征图每个像素点的阴影概率与非阴影概率，若阴影概率大于非阴影概率，将该点颜色置白；若阴影概率小于非阴影概率，将该点颜色置黑；从而得到二值化的阴影检测图。

进一步地，步骤1中使用阴影图像数据集训练全卷积网络的步骤如下：

步骤1-1：设定图像基准尺寸，对阴影图像数据集中的图像进行缩放操作，使得所有图像大小都变为基准尺寸；

步骤1-2：将步骤1-1中得到的每幅图像分别进行水平翻转、垂直翻转及顺时针180度旋转操作，将得到的新图像保存，形成新的阴影图像数据集，阴影图像数据集的图像总数变为之前的4倍；

步骤1-3：将新图像数据集里的每幅图像按照从上至下从左至右的顺序分割成互不重叠的大小为256*256像素的方块；当分割到图像最下面和最右面，出现不足256像素的情况时，分别从图像中该行的的左端或该列的上端开始依次取像素补足256像素；

步骤1-4：将所有256*256的方块图作为全卷积网络的输入，进行卷积运算，全卷积网络输出阴影特征图；

步骤1-5：定义交叉熵损失函数

预设标签图像l(x,y)∈{0,1,…,C-1}，对给定的像素点(x,y)属于l(x,y)的概率为：

其中F_k(x,y)表示阴影特征图，F_k(x,y)的数值为k通道特征图像素点(x,y)的值，x＝1,…,N，y＝1,…,M，N和M分别是阴影特征图的宽和高，C是通道类别的个数，F_l(x,y)表示第l通道特征图像素点(x,y)的值；由此可定义带权值的交叉熵损失函数：

其中，w(x,y)是对像素点(x,y)的更新权值，计算公式为：

其中，S是标签图像总像素点数，S_shadow是标签图像中的阴影像素总点数；

步骤1-6：采用随机梯度下降法优化全卷积网络，网络参数梯度计算公式如下：

其中θ为全卷积网络层参数，当交叉熵损失函数最小化时，停止迭代，将当前θ值设为新的全卷积网络层参数，θ的值用下式更新：

其中α为学习率，i为迭代次数，θ_i为第i次迭代时的值，θ_i+1为第i+1次迭代时的值。

进一步地，步骤4中使用均值漂移算法对步骤三中得到的融合特征图中每个像素点进行处理的步骤如下：

步骤4-1：将步骤3中得到的五通道的融合特征图表示为F_c′(x,y)，c＝0,1,…,4；

步骤4-2：将融合特征图F_c′(x,y)上任意一像素点p₀设为初始中心点，以p₀为圆心，在图像平面上建立半径为sp的二维平面圆；并以像素点p₀为中心，在五通道的融合特征图构成的五维特征空间中建立半径为sr的五维球形空间；记二维平面圆和五维球形空间为迭代空间，像素点的位置(x,y)为二维的位置向量，像素点的五通道像素值为五维的特征向量；

步骤4-3：在五维球形空间中，求得所有像素点相对于中心点p₀的特征向量之和并求其均值，得到均值漂移特征向量，移动五维球形空间的中心到该均值漂移特征向量的终点；找出依旧存在于移动后的五维球形空间内的像素点，并求得这些像素点相对于中心点p₀的二维位置向量之和并求其均值，得到均值漂移位置向量，移动二维平面圆的圆心到该均值漂移位置向量的终点，得到一个新的中心点；对新的中心点重新建立迭代空间，并重复执行步骤4-2和步骤4-3，直至新的中心点等于当前中心点，迭代结束，记新的中心点为收敛中心点；

步骤4-4：将初始中心点的像素值更新为步骤4-3中得到的收敛中心点的像素值，完成融合特征图中一个像素点的更新；

步骤4-5：融合特征图中所有的其它像素点，依次执行步骤4-2，4-3，4-4，遍历所有像素点后，完成融合特征图的更新。

进一步地，步骤5中采用Softmax函数计算阴影概率图并得到二值化的阴影检测图的步骤如下：

步骤5-1：从步骤4中得到的更新后的五通道融合特征图中取出对应的二通道阴影特征图c＝0,1，采用Softmax函数计算每个像素的阴影概率：

其中表示阴影特征图，其数值为第k通道特征图像素点(x,y)的值；

步骤5-2：对原始图像的像素点(x,y)，比较p₀(x,y)和p₁(x,y)的大小，若p₀(x,y)＞p₁(x,y)，则点(x,y)判断为阴影点；反之，则点(x,y)判断为非阴影点；将阴影点的颜色置白，非阴影点的颜色置黑；对原始图像中所有像素点做如上判断，便可得到二值化的阴影检测图。

本发明的有益效果是：由于采用了本发明的基于全卷积网络和均值漂移的阴影区域检测方法，能够显著提高阴影区域检测的准确性和鲁棒性，使阴影边缘更加精细。

附图说明

图1是本发明阴影区域检测方法流程图；

图2是全卷积网络结构图例；

图3是本发明方法的结果图例，其中(a)是原图像，(b)是仅使用全卷积网络的阴影预测图，(c)是均值漂移算法修正后的阴影检测图；

具体实施方式

下面结合附图和实施例对本发明进一步说明。

如图1所示，本发明提出阴影区域检测方法首先设计并训练全卷积网络，定义交叉熵损失函数，采用随机梯度下降法优化网络，输出阴影特征图；然后，利用均值漂移算法修正阴影特征图，融合阴影特征图和原始图像得到高维特征，对高维特征建立迭代空间，求取迭代空间的漂移向量，直至收敛，取出更新后的阴影特征图；最后，计算阴影检测概率图，对阴影特征图采用Softmax函数计算阴影检测概率图并逐像素点对原始图像进行阴影预测，最终输出二值化的阴影检测图。

本发明提供的一种基于全卷积网络和均值漂移的阴影区域检测方法，包括以下步骤：

步骤1：将Vgg16网络中的所有全连接层用卷积层替换，得到全卷积网络；使用阴影图像数据集训练全卷积网络，使全卷积网络具有图像阴影区域检测能力；

步骤2：将原始图像作为训练后的全卷积网络的输入，进行卷积运算，输出得到表征阴影与非阴影的二通道阴影特征图；

步骤3：再将二通道阴影特征图与原始图像的RGB三通道图像合并为五通道的融合特征图；

步骤4：使用均值漂移算法对步骤3中得到的融合特征图中每个像素点进行处理，得到更新后的融合特征图；

步骤5：使用Softmax函数计算阴影概率图，得到更新后的融合特征图每个像素点的阴影概率与非阴影概率，若阴影概率大于非阴影概率，将该点颜色置白；若阴影概率小于非阴影概率，将该点颜色置黑；从而得到二值化的阴影检测图。

进一步地，步骤1中使用阴影图像数据集训练全卷积网络的步骤如下：

步骤1-1：设定图像基准尺寸，对阴影图像数据集中的图像进行缩放操作，使得所有图像大小都变为基准尺寸；

步骤1-2：将步骤1-1中得到的每幅图像分别进行水平翻转、垂直翻转及顺时针180度旋转操作，将得到的新图像保存，形成新的阴影图像数据集，阴影图像数据集的图像总数变为之前的4倍；

步骤1-3：将新图像数据集里的每幅图像按照从上至下从左至右的顺序分割成互不重叠的大小为256*256像素的方块；当分割到图像最下面和最右面，出现不足256像素的情况时，分别从图像中该行的的左端或该列的上端开始依次取像素补足256像素；

步骤1-4：将所有256*256的方块图作为全卷积网络的输入，进行卷积运算，全卷积网络输出阴影特征图；

步骤1-5：定义交叉熵损失函数

预设标签图像l(x,y)∈{0,1,…,C-1}，对给定的像素点(x,y)属于l(x,y)的概率为：

其中F_k(x,y)表示阴影特征图，F_k(x,y)的数值为k通道特征图像素点(x,y)的值，x＝1,…,N，y＝1,…,M，N和M分别是阴影特征图的宽和高，C是通道类别的个数，F_l(x,y)表示第l通道特征图像素点(x,y)的值；由此可定义交叉熵损失函数：

基于经典的交叉熵损失函数J₁中，阴影和非阴影区域在更新时是一样的，但是阴影数据集中的阴影区域却远远少于非阴影区域，为了使全卷积网络平等地学习到阴影区域鲁棒的特征，改写为带有权值的交叉熵损失函数：

其中，w(x,y)是对像素点(x,y)的更新权值，计算公式为：

其中，S是标签图像总像素点数，S_shado是标签图像中的阴影像素总点数；

步骤1-6：采用随机梯度下降法优化全卷积网络，网络参数梯度计算公式如下：

其中θ为全卷积网络层参数，当交叉熵损失函数最小化时，停止迭代，将当前θ值设为新的全卷积网络层参数，θ的值用下式更新：

其中α为学习率，i为迭代次数，θ_i为第i次迭代时的值，θ_i+1为第i+1次迭代时的值。

进一步地，步骤4中使用均值漂移算法对步骤三中得到的融合特征图中每个像素点进行处理的步骤如下：

步骤4-1：将步骤3中得到的五通道的融合特征图表示为F_c′(x,y)，c＝0,1,…,4；

步骤4-2：将融合特征图F_c′(x,y)上任意一像素点p₀设为初始中心点，以p₀为圆心，在图像平面上建立半径为sp的二维平面圆；并以像素点p₀为中心，在五通道的融合特征图构成的五维特征空间中建立半径为sr的五维球形空间；记二维平面圆和五维球形空间为迭代空间，像素点的位置(x,y)为二维的位置向量，像素点的五通道像素值为五维的特征向量；

步骤4-3：在五维球形空间中，求得所有像素点相对于中心点p₀的特征向量之和并求其均值，得到均值漂移特征向量，移动五维球形空间的中心到该均值漂移特征向量的终点；找出依旧存在于移动后的五维球形空间内的像素点，并求得这些像素点相对于中心点p₀的二维位置向量之和并求其均值，得到均值漂移位置向量，移动二维平面圆的圆心到该均值漂移位置向量的终点，得到一个新的中心点；对新的中心点重新建立迭代空间，并重复执行步骤4-2和步骤4-3，直至新的中心点等于当前中心点，迭代结束，记新的中心点为收敛中心点；

步骤4-4：将初始中心点的像素值更新为步骤4-3中得到的收敛中心点的像素值，完成融合特征图中一个像素点的更新；

步骤4-5：融合特征图中所有的其它像素点，依次执行步骤4-2，4-3，4-4，遍历所有像素点后，完成融合特征图的更新。

进一步地，步骤5中采用Softmax函数计算阴影概率图并得到二值化的阴影检测图的步骤如下：

步骤5-1：从步骤4中得到的更新后的五通道融合特征图中取出对应的二通道阴影特征图c＝0,1，采用Softmax函数计算每个像素的阴影概率：

其中表示阴影特征图，其数值为第k通道特征图像素点(x,y)的值；

步骤5-2：对原始图像的像素点(x,y)，比较p₀(x,y)和p₁(x,y)的大小，若p₀(x,y)＞p₁(x,y)，则点(x,y)判断为阴影点；反之，则点(x,y)判断为非阴影点；将阴影点的颜色置白，非阴影点的颜色置黑；对原始图像中所有像素点做如上判断，便可得到二值化的阴影检测图。

Claims (4)

1.一种基于全卷积网络和均值漂移的阴影区域检测方法，其特征在于，包括以下步骤：

步骤1：将Vgg16网络中的所有全连接层用卷积层替换，得到全卷积网络；使用阴影图像数据集训练全卷积网络，使全卷积网络具有图像阴影区域检测能力；

步骤2：将原始图像作为训练后的全卷积网络的输入，进行卷积运算，输出得到表征阴影与非阴影的二通道阴影特征图；

步骤3：再将二通道阴影特征图与原始图像的RGB三通道图像合并为五通道的融合特征图；

步骤4：使用均值漂移算法对步骤3中得到的融合特征图中每个像素点进行处理，得到更新后的融合特征图；

步骤5：使用Softmax函数计算阴影概率图，得到更新后的融合特征图每个像素点的阴影概率与非阴影概率，若阴影概率大于非阴影概率，将该点颜色置白；若阴影概率小于非阴影概率，将该点颜色置黑；从而得到二值化的阴影检测图。

2.根据权利要求1所述的一种基于全卷积网络和均值漂移的阴影区域检测方法，其特征在于，步骤1中使用阴影图像数据集训练全卷积网络的步骤如下：

步骤1-1：设定图像基准尺寸，对阴影图像数据集中的图像进行缩放操作，使得所有图像大小都变为基准尺寸；

步骤1-2：将步骤1-1中得到的每幅图像分别进行水平翻转、垂直翻转及顺时针180度旋转操作，将得到的新图像保存，形成新的阴影图像数据集，阴影图像数据集的图像总数变为之前的4倍；

步骤1-3：将新图像数据集里的每幅图像按照从上至下从左至右的顺序分割成互不重叠的大小为256*256像素的方块；当分割到图像最下面和最右面，出现不足256像素的情况时，分别从图像中该行的的左端或该列的上端开始依次取像素补足256像素；

步骤1-4：将所有256*256的方块图作为全卷积网络的输入，进行卷积运算，全卷积网络输出阴影特征图；

步骤1-5：定义交叉熵损失函数

预设标签图像l(x,y)∈{0,1,…,C-1}，对给定的像素点(x,y)属于l(x,y)的概率为：

其中F_k(x,y)表示阴影特征图，F_k(x,y)的数值为k通道特征图像素点(x,y)的值，x＝1,…,N，y＝1,…,M，N和M分别是阴影特征图的宽和高，C是通道类别的个数，F_l(x,y)表示第l通道特征图像素点(x,y)的值；由此可定义带权值的交叉熵损失函数：

其中，w(x,y)是对像素点(x,y)的更新权值，计算公式为：

其中，S是标签图像总像素点数，S_shadow是标签图像中的阴影像素总点数；

步骤1-6：采用随机梯度下降法优化全卷积网络，网络参数梯度计算公式如下：

其中θ为全卷积网络层参数，当交叉熵损失函数最小化时，停止迭代，将当前θ值设为新的全卷积网络层参数，θ的值用下式更新：

其中α为学习率，i为迭代次数，θ_i为第i次迭代时的值，θ_i+1为第i+1次迭代时的值。

3.根据权利要求1所述的一种基于全卷积网络和均值漂移的阴影区域检测方法，其特征在于，步骤4中使用均值漂移算法对步骤3中得到的融合特征图中每个像素点进行处理的步骤如下：

步骤4-1：将步骤3中得到的五通道的融合特征图表示为F_c′(x,y)，c＝0,1,…,4；

步骤4-2：将融合特征图F_c′(x,y)上任意一像素点p₀设为初始中心点，以p₀为圆心，在图像平面上建立半径为sp的二维平面圆；并以像素点p₀为中心，在五通道的融合特征图构成的五维特征空间中建立半径为sr的五维球形空间；记二维平面圆和五维球形空间为迭代空间，像素点的位置(x,y)为二维的位置向量，像素点的五通道像素值为五维的特征向量；

步骤4-3：在五维球形空间中，求得所有像素点相对于中心点p₀的特征向量之和并求其均值，得到均值漂移特征向量，移动五维球形空间的中心到该均值漂移特征向量的终点；找出依旧存在于移动后的五维球形空间内的像素点，并求得这些像素点相对于中心点p₀的二维位置向量之和并求其均值，得到均值漂移位置向量，移动二维平面圆的圆心到该均值漂移位置向量的终点，得到一个新的中心点；对新的中心点重新建立迭代空间，并重复执行步骤4-2和步骤4-3，直至新的中心点等于当前中心点，迭代结束，记新的中心点为收敛中心点；

步骤4-4：将初始中心点的像素值更新为步骤4-3中得到的收敛中心点的像素值，完成融合特征图中一个像素点的更新；

步骤4-5：融合特征图中所有的其它像素点，依次执行步骤4-2，4-3，4-4，遍历所有像素点后，完成融合特征图的更新。

4.根据权利要求1所述的一种基于全卷积网络和均值漂移的阴影区域检测方法，其特征在于，步骤5中采用Softmax函数计算阴影概率图并得到二值化的阴影检测图的步骤如下：

步骤5-1：从步骤4中得到的更新后的五通道融合特征图中取出对应的二通道阴影特征图c＝0,1，采用Softmax函数计算每个像素的阴影概率：

其中表示阴影特征图，其数值为第k通道特征图像素点(x,y)的值；

步骤5-2：对原始图像的像素点(x,y)，比较p₀(x,y)和p₁(x,y)的大小，若p₀(x,y)＞p₁(x,y)，则点(x,y)判断为阴影点；反之，则点(x,y)判断为非阴影点；将阴影点的颜色置白，非阴影点的颜色置黑；对原始图像中所有像素点做如上判断，便可得到二值化的阴影检测图。