CN105654467B - 基于颜色恒常性特征和视觉注意机制的阴影检测方法 - Google Patents

Abstract

本发明公开了一种基于阴影的多种颜色不变性特征，引入计算机视觉领域的视觉注意机制，提出了一种新的有效的阴影检测方法，具有以下有益效果：1）根据颜色恒常性研究成果，提取了阴影的多种颜色不变性特征，采用视觉注意模型中的特征显著图模型，将多种阴影特征结合在一起，生成阴影显著图作为阴影检测的基础数据，然后基于此数据进行阴影检测；2）采用SLIC算法对图像进行超像素分割，提出基于对象的自适应阈值生长算法，对阴影检测的初步结果进行修正，从而获得更完整的阴影检测结果。

Description

基于颜色恒常性特征和视觉注意机制的阴影检测方法

技术领域

本发明涉及一种根据彩色图像上阴影的颜色恒常性特征和视觉注意机制的阴影检测方法，属于数字图像处理和目标识别技术领域，可用于彩色照片和遥感影像上的地物阴影检测。

背景技术

地物阴影是自然照片、视频以及遥感影像上不可避免的现象，但阴影的存在会给计算机视觉的任务带来很多困难，往往造成图像分割、边缘检测和对象识别的错误。因而，阴影检测是目前图像处理和计算机视觉领域的研究热点，也是一个难点问题，在阴影检测中，主要分为基于视频的动态图像阴影检测和基于单幅图像的静态图像阴影检测两个大类。由于基于动态图像的阴影检测可以充分利用相邻图像帧之间的相关信息，相对容易，研究文献也相对较多，但基于静态图像的阴影检测难度更大，研究相对较少。

目前，对静态图像阴影的检测主要分为四类方法：1)、基于物理模型的方法：该方法主要思想在于先对阴影成像过程进行建模，进而设计检测算法；2)、基于非物理模型的方法：主要是采用数学模型和人类视觉模型对阴影进行建模和检测，如较常用的有Retinex模型、Sigmod模型、Bayes统计模型；3)、基于本征图像的阴影检测方法：该类方法通常先将原始图像变换到光照不敏感空间，如C1C2C3空间、HSV颜色空间，然后在新的空间设计检测算法，该类方法算法简单，但检测结果依赖于本征图像的质量；4)、基于统计学习的阴影检测方法：先对图像阴影进行特征提取，然后利用所提取的特征对分类器进行训练，最后再通过训练好的分类器对图像进行分类从而获得阴影结果。在每类方法中，研究者都提出了不同的思路和具体实现算法，根据研究结果显示，每类方法都有各自的优点和缺陷，因而，到目前为止还没有一个鲁棒而通用的阴影检测方法。鉴于此，研究新的阴影检测理论和方法仍然非常必要。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于阴影的多种颜色不变性特征和视觉注意机制的阴影检测方法，用于改善阴影检测的结果。

为了实现上述目标，本发明采用如下的技术方案：

基于颜色恒常性特征和视觉注意机制的阴影检测方法，其特征在于，包括如下步骤：

(1)、对原始图像进行亮度特征提取，记为Lum；

(2)、将原始图像转换到C1C2C3颜色不变空间，提取出其中适合于阴影检测的第三个通道，即C3成分，记为C3；

(3)、基于赫林拮抗色原理，对原始图像进行STB模型变换，提取其中的蓝黄对比特征图像，记为B_Y；

(4)、分别对上述三个特征图像Lum、C3、B_Y进行局部最大值归一化处理，得到归一化的特征图Lum’、C3’、B_Y’；

(5)、根据归一化特征图像计算阴影显著图，记为S_Sal，计算公式为：

S_Sal＝Lum'*C3'*B_Y'；

(6)、采用大津阈值算法OSTU对S_Sal进行自适应阈值二值化，获得初始阴影分割图S0，其中值1表示为阴影，0表示为非阴影；

(7)、对原始图像进行SLIC超像素分割，获得分割图像SegImg，将其中每个分割区域分别记为SegImg[k],k＝0,…,n，共获得n个区域；

(8)、将初始阴影分割图S0和SLIC分割结果SegImg进行叠加，然后对SegImg分割结果进行标记，具体如下：

a、依次取出S0分割图中值为1的像素，假设该像素位于第y行、第x列，则记为S0[y,x]；

b、若S0[y,x]位于分割图RegImg的第k个区域RegImg[k]，则将RegImg[k]标记为阴影区(value＝1)，否则将RegImg[k]标记为非阴影区(value＝0)；

(9)、对SegImg中的每个分割区域SegImg[k]，计算其颜色均值m[k]和重心位置c[k]，其中m[k]、c[k]分别为对应的颜色向量和坐标向量：

m[k]＝[r_k,g_k,b_k]

c[k]＝[x_k,y_k]；

其中，r_k、g_k、b_k分别为第k个分割区域的红、绿、蓝颜色均值，x_k、y_k分别为第k个分割区域的重心的x坐标和y坐标；

(10)、根据分割图像RegImg中所有分割区域的重心位置坐标c[k],k＝0,…,n，构建Delaunay三角网，根据Delaunay三角网信息可获得每个区域RegImg[k]的邻接区域；

(11)、计算所有具有邻接关系的阴影区域两两之间的颜色距离，如第i个区域和第j个区域之间的颜色距离为：

将所有两两邻接阴影区域的颜色距离值存入列表DIS_L[k],k＝0,…,m；其中r_i、g_i、b_i分别为第i个分割区域对应的红、绿、蓝颜色分量，r_j、g_j、b_j分别为第j个分割区域对应的红、绿、蓝颜色分量；

(12)、对RegImg中标记为1的阴影区域逐个进行生长算法；

(13)、整个阴影检测算法结束，分割图像RegImg中标记为1的区域为阴影检测结果。

优选地，前述步骤(1)中，所述原始图像为包含R,G,B三个波段的彩色图像，具体过程为：先提取原始图的灰度图，然后将灰度图的对数倒数作为lum特征，计算公式为：

Gray＝(R+G+B)/3

Lum＝1.0/[5+log(Gray+1)]

其中，Gray表示3个颜色分量R、G、B的均值，即灰度值；第2个公式中分母中的1是为了避免对0求对数的情况，从而保证数学运算的有效性；5是调节因子。

更优选地，前述步骤(2)中，C1、C2、C3的具体计算公式分别为：

C1＝arctan(G/max(R,B))

C2＝arctan(R/max(G,B))

C3＝arctan(B/max(R,G))。

再优选地，前述步骤(3)中，具体计算公式为：

MaxC＝max(R,G,B)

MinC＝min(R,G)

B_Y＝(B-MinC)/MaxC

其中，MaxC表示3个颜色分量R、G、B中的最大值；MinC表示颜色分量R、G中的较小值。

进一步优选地，前述步骤(4)中，假设待归一化的特征图像为ftmap，对其进行局部最大值归一化的伪代码如下：

M＝10

T＝M*threshold

ftmap＝M*Normalize(ftmap)

peaks＝FindLocalMax(ftmap)

num_peaks＝Number(peaks)

if(num_peaks＝＝1):

ftmap＝ftmap*M*M

else if(num_peaks>1):

locAvg＝Mean(peaks)

ftmap＝ftmap*(M-locAvg)*(M-locAvg)

其中，threshold通常取值为0.1；Normalize()函数的作用是将整个特征图像值线性变换到0～1.0之间；FindLocalMax()将查找特征图像的局部极值点，返回局部极值点列表peaks；Number()函数的作用是计算局部极值点的个数；Mean()函数是计算所有极值点的平均数。

更进一步地，前述步骤(12)中，具体算法过程如下：

a、初始化p＝0；

b、从RegImg中取出第p个区域RegImg[p]，若RegImg[p]已经标记为阴影(value＝1)，则跳过不予处理；

c、若RegImg[p]标记为非阴影区域(value＝0)，则查找该区域的所有邻接区域；

d、若邻接区域都为非阴影区域则跳过不予处理；否则，计算区域RegImg[p]与它的所有邻接阴影区域之间的颜色距离。若RegImg[p]有m个邻接的阴影区域，则m个距离构成一个列表，记为：

L＝[D₁,D₂,…,D_m]

并计算L中所有距离值的均值D_ave_p；

e、计算距离列表DIS_L中所有值的均值和方差，分别记为D_ave和D_std；若满足条件：

D_ave-D_std*0.1<D_ave_p<D_ave+D_std*0.1

则将RegImg[p]标记为阴影区域(value＝1)，并将L中的值添加到DIS_L中；

f、更新p＝p+1，回到步骤b反复循环，直到找不到可以标记的区域为止，生长算法结束。

阴影检测是计算机图像处理和计算机视觉中的研究热点和难题，研究鲁棒而有效的阴影检测算法具有非常重要的理论研究意义和应用价值。由于成像环境的复杂性，使得图像上阴影的状态呈现不确定性的特征，给阴影的实际检测带来很大的不便，仅根据阴影的明暗特征无法获得理想的检测结果。

本发明基于阴影的多种颜色不变性特征，引入计算机视觉领域的视觉注意机制，提出一种新的有效的阴影检测方法，主要包含如下两点创新：1)根据颜色恒常性研究成果，提取了阴影的多种颜色不变性特征，采用视觉注意模型中的特征显著图模型，将多种阴影特征结合在一起，生成阴影显著图作为阴影检测的基础数据，然后基于此数据进行阴影检测。2)采用SLIC(Simple Linear Iterative Clustering)算法对图像进行超像素分割，提出基于对象的自适应阈值生长算法，对阴影检测的初步结果进行修正，从而获得更完整的阴影检测结果。

有益之处在于：本发明基于颜色恒常性特征和视觉注意机制中的显著图原理，提出了一种基于多特征融合的阴影检测算法，提取了阴影的多种颜色不变特征，并引入视觉注意模型中的有关概念和思想，将多种颜色特征组合到一起，生成阴影显著图用于阴影的检测。多特征有利于发挥各种颜色不变特征的优势，避免了阴影单一颜色特征的不足，提高阴影检测的效果；采用SLIC算法进行超像素分割并对阴影检测的初步结果进行优化和后处理，避免了基于像素的检测方法带来的噪声影响。

附图说明

图1是本发明的原始图像的灰度图；

图2为根据图1计算出来的阴影亮度特征图；

图3为对原始RGB图像进行C1C2C3空间变换后提取的C3分量；

图4为对原始RGB图像进行B_Y特征提取的结果图；

图5为对Lum特征进行归一化的结果；

图6为对C3特征进行归一化的结果；

图7为对B_Y特征进行归一化的结果；

图8为计算所获得阴影显著图；

图9对阴影显著图进行二值化提取的初始阴影区域；

图10为对原始RGB图进行SLIC分割的结果；

图11为最终的阴影检测结果。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍。

本发明中使用的原始图像为RGB真彩色图像，记为Img。其中，对于红、绿、蓝三个通道分别记为R、G、B；像素的位置用行列号表示，如图像Img的第y行第x列的像素记为Img[y,x]。

(1)、对原始Img进行亮度特征(luminance)提取，记为Lum。

具体为：先提取原始图的灰度图，如图1所示，然后将灰度图的对数倒数作为lum特征，如图2所示，计算公式如下：

Gray＝(R+G+B)/3

Lum＝1.0/[5+log(Gray+1)]

其中，Gray表示R、G、B颜色值的均值，即灰度值；第2个公式中分母中的1是为了避免对0求对数的情况，从而保证数学运算的有效性；5是调节因子。

(2)、将图像Img转换到C1C2C3颜色不变空间，具体计算公式分别为：

C1＝arctan(G/max(R,B))

C2＝arctan(R/max(G,B))

C3＝arctan(B/max(R,G))

C1C2C3变换是一种非线性变换，对反射光不敏感，适合于阴影检测。通常阴影在C3通道具有较大的数值，变换后提取C3通道作为阴影的一个特征，如图3所示，其中，max(R,B)表示R、B两个值中的较大值，max(G,B)表示G、B两个值中的较大值，max(R,G)表示R、G两个值中的较大值。

(3)、基于赫林拮抗色原理，对图像Img进行STB模型变换，计算蓝色和黄色差异特征B_Y，如图4所示。

具体计算公式如下：

MaxC＝max(R,G,B)

MinC＝min(R,G)

B_Y＝(B-MinC)/MaxC

其中，MaxC表示3个颜色分量R、G、B中的最大值；MinC表示颜色分量R、G中的较小值。

(4)、分别对上述三个特征图像Lum、C3、B_Y进行局部最大值归一化处理，得到归一化的特征图Lum’(图5)、C3’(图6)、B_Y’(图7)。

具体计算如下：假设待归一化的特征图像为ftmap，对其进行局部最大值归一化的伪代码如下：

M＝10

T＝M*threshold

ftmap＝M*Normalize(ftmap)

peaks＝FindLocalMax(ftmap)

num_peaks＝Number(peaks)

if(num_peaks＝＝1):

ftmap＝ftmap*M*M

else if(num_peaks>1):

locAvg＝Mean(peaks)

ftmap＝ftmap*(M-locAvg)*(M-locAvg)

其中，threshold通常取值为0.1；Normalize()函数的作用是将整个特征图像值线性变换到0～1.0之间；FindLocalMax()将查找特征图像的局部极值点，返回局部极值点列表peaks；Number()函数的作用是计算局部极值点的个数；Mean()函数是计算所有极值点的平均数。

(5)、根据归一化特征图像计算阴影显著图，记为S_Sal，如图8所示，计算公式如下：

S_Sal＝Lum'*C3'*B_Y'。

(6)、采用大津阈值算法(OSTU)对S_Sal进行自适应阈值二值化，获得初始阴影分割图S0，其中值1表示为阴影，0表示为非阴影，如图9所示。

(7)、对原始图像Img进行SLIC(Simple Linear Iterative Clustering)超像素分割，如图10所示，获得分割图像SegImg，将其中每个分割区域分别记为SegImg[k],k＝0,…,n，共获得n个区域。

(8)、将初始阴影分割图S0和SLIC分割结果SegImg进行叠加，然后对SegImg分割结果进行标记，具体如下：

a、依次取出S0分割图中值为1的像素，设该像素位于第y行、第x列，记为S0[y,x]；

b、若S0[y,x]位于分割图RegImg的第k个区域RegImg[k]，则将RegImg[k]标记为阴影区(value＝1)，否则将RegImg[k]标记为非阴影区(value＝0)。

(9)、对SegImg中的每个分割区域SegImg[k]，计算其颜色均值m[k]和重心位置c[k]，其中m[k]、c[k]分别为对应的颜色向量和坐标向量：

m[k]＝[r_k,g_k,b_k]

c[k]＝[x_k,y_k]

其中，r_k、g_k、b_k分别为第k个分割区域的红、绿、蓝颜色均值；x_k、y_k分别为第k个分割区域的重心的x坐标和y坐标。

(10)、根据分割图像RegImg中所有分割区域的重心位置坐标c[k],k＝0,…,n，构建Delaunay三角网，根据Delaunay三角网信息可获得每个区域RegImg[k]的邻接区域。

(11)、计算所有具有邻接关系的阴影区域两两之间的颜色距离，如第i个区域和第j个区域之间的颜色距离为：

将所有两两邻接阴影区域的颜色距离值存入列表DIS_L[k],k＝0,…,m；其中r_i、g_i、b_i分别为第i个分割区域对应的红、绿、蓝颜色分量；r_j、g_j、b_j分别为第j个分割区域对应的红、绿、蓝颜色分量。

(12)、对RegImg中标记为1的阴影区域进行生长算法，具体如下：

a、初始化p＝0；

b、从RegImg中取出第p个区域RegImg[p]，若RegImg[p]已经标记为阴影(value＝1)，则跳过不予处理；

c、若RegImg[p]标记为非阴影区域(value＝0)，则查找该区域的所有邻接区域；

d、若邻接区域都为非阴影区域则跳过不予处理；否则，计算区域RegImg[p]与它的所有邻接阴影区域之间的颜色距离。若RegImg[p]有m个邻接的阴影区域，则m个距离构成一个列表，记为：

L＝[D₁,D₂,…,D_m]

并计算L中所有距离值的均值D_ave_p；

e、计算距离列表DIS_L中所有值的均值和方差，分别记为D_ave和D_std；若满足条件：

D_ave-D_std*0.1<D_ave_p<D_ave+D_std*0.1

则将RegImg[p]标记为阴影区域(value＝1)，并将L中的值添加到DIS_L中；

f、更新p＝p+1，回到步骤b反复循环，直到找不到可以标记的区域为止，生长算法结束。

(13)、整个阴影检测算法结束，分割图像RegImg中标记为1的区域为阴影检测结果，如图11所示。

综上，本发明具有如下特点：1)采用阴影的多种颜色不变性特征，改善阴影检测的效果；2)引入视觉注意模型中的有关概念和思想，将多种颜色特征组合到一起，提出阴影显著图；3)基于超像素分割技术，对阴影检测的结果进行优化后处理。基于颜色恒常性特征和视觉注意机制中的显著图原理，提出了一种基于多特征融合的阴影检测算法，提取了阴影的多种颜色不变特征，并引入视觉注意模型中的有关概念和思想，将多种颜色特征组合到一起，生成阴影显著图用于阴影的检测。

以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (6)

1.基于颜色恒常性特征和视觉注意机制的阴影检测方法，其特征在于，包括如下步骤：

(1)、对原始图像进行亮度特征提取，记为Lum；

(2)、将原始图像转换到C1C2C3颜色不变空间，提取出其中适合于阴影检测的第三个通道，即C3成分，记为C3；

(3)、基于赫林拮抗色原理，对原始图像进行STB模型变换，提取其中的蓝黄对比特征图像，记为B_Y；

(4)、分别对上述三个特征图像Lum、C3、B_Y进行局部最大值归一化处理，得到归一化的特征图Lum’、C3’、B_Y’；

(5)、根据归一化特征图像计算阴影显著图，记为S_Sal，计算公式为：

S_Sal＝Lum'*C3'*B_Y'；

(6)、采用大津阈值算法OSTU对S_Sal进行自适应阈值二值化，获得初始阴影分割图S0，其中值1表示为阴影，0表示为非阴影；

(7)、对原始图像进行SLIC超像素分割，获得分割图像SegImg，将其中每个分割区域分别记为SegImg[k],k＝0,…,n，共获得n个区域；

(8)、将初始阴影分割图S0和SLIC分割结果SegImg进行叠加，然后对SegImg分割结果进行标记，具体如下：

a、依次取出S0分割图中值为1的像素，假设该像素位于第y行、第x列，则记为S0[y,x]；

b、若S0[y,x]位于分割图RegImg的第k个区域RegImg[k]，则将RegImg[k]标记为阴影区，value＝1，否则将RegImg[k]标记为非阴影区，value＝0；

(9)、对SegImg中的每个分割区域SegImg[k]，计算其颜色均值m[k]和重心位置c[k]，其中m[k]、c[k]分别为对应的颜色向量和坐标向量：

m[k]＝[r_k,g_k,b_k]

c[k]＝[x_k,y_k]；

其中，r_k、g_k、b_k分别为第k个分割区域的红、绿、蓝颜色均值，x_k、y_k分别为第k个分割区域的重心的x坐标和y坐标；

(10)、根据分割图像RegImg中所有分割区域的重心位置坐标c[k],k＝0,…,n，构建Delaunay三角网，根据Delaunay三角网信息可获得每个区域RegImg[k]的邻接区域；

(11)、计算所有具有邻接关系的阴影区域两两之间的颜色距离，如第i个区域和第j个区域之间的颜色距离为：

<mrow> <mi>D</mi> <mo>=</mo> <msqrt> <mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>r</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>g</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>g</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> <mo>+</mo> <msup> <mrow> <mo>(</mo> <msub> <mi>b</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>b</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> </msqrt> </mrow>

将所有两两邻接阴影区域的颜色距离值存入列表DIS_L[k],k＝0,…,m；其中r_i、g_i、b_i分别为第i个分割区域对应的红、绿、蓝颜色分量，r_j、g_j、b_j分别为第j个分割区域对应的红、绿、蓝颜色分量；

(12)、对RegImg中标记为1的阴影区域逐个进行生长算法；

(13)、整个阴影检测算法结束，分割图像RegImg中标记为1的区域为阴影检测结果。

2.根据权利要求1所述的基于颜色恒常性特征和视觉注意机制的阴影检测方法，其特征在于，步骤(1)中，所述原始图像为包含R,G,B三个波段的彩色图像，具体过程为：先提取原始图的灰度图，然后将灰度图的对数倒数作为lum特征，计算公式为：

Gray＝(R+G+B)/3

Lum＝1.0/[5+log(Gray+1)]

其中，Gray表示灰度，第2个公式中分母中的1是为了避免对0求对数的情况，从而保证数学运算的有效性；5是调节因子。

3.根据权利要求1所述的基于颜色恒常性特征和视觉注意机制的阴影检测方法，其特征在于，步骤(2)中，C1、C2、C3的具体计算公式分别为：

C1＝arctan(G/max(R,B))

C2＝arctan(R/max(G,B))

C3＝arctan(B/max(R,G))。

4.根据权利要求1所述的基于颜色恒常性特征和视觉注意机制的阴影检测方法，其特征在于，步骤(3)中，具体计算公式为：

MaxC＝max(R,G,B)

MinC＝min(R,G)

B_Y＝(B-MinC)/MaxC

其中，MaxC表示3个颜色分量R、G、B中的最大值，MinC表示颜色分量R、G中的较小值。

5.根据权利要求1所述的基于颜色恒常性特征和视觉注意机制的阴影检测方法，其特征在于，步骤(4)中，假设待归一化的特征图像为ftmap，对其进行局部最大值归一化的伪代码如下：

其中，threshold取值为0.1；Normalize()函数的作用是将整个特征图像值线性变换到0～1.0之间；FindLocalMax()将查找特征图像的局部极值点，返回局部极值点列表peaks；Number()函数的作用是计算局部极值点的个数；Mean()函数是计算所有极值点的平均数。

6.根据权利要求1所述的基于颜色恒常性特征和视觉注意机制的阴影检测方法，其特征在于，步骤(12)中，具体算法过程如下：

a、初始化p＝0；

b、从RegImg中取出第p个区域RegImg[p]，若RegImg[p]已经标记为阴影，value＝1，则跳过不予处理；

c、若RegImg[p]标记为非阴影区域，value＝0，则查找该区域的所有邻接区域；

d、若邻接区域都为非阴影区域则跳过不予处理；否则，计算区域RegImg[p]与它的所有邻接阴影区域之间的颜色距离；若RegImg[p]有m个邻接的阴影区域，则m个距离构成一个列表，记为：

L＝[D₁,D₂,…,D_m]

并计算L中所有距离值的均值D_ave_p；

e、计算距离列表DIS_L中所有值的均值和方差，分别记为D_ave和D_std；若满足条件：

D_ave-D_std*0.1<D_ave_p<D_ave+D_std*0.1

则将RegImg[p]标记为阴影区域，value＝1，并将L中的值添加到DIS_L中；

f、更新p＝p+1，回到步骤b反复循环，直到找不到可以标记的区域为止，生长算法结束。