CN101833749B - 检测图像中阴影的装置和方法 - Google Patents

Abstract

提供一种检测图像中阴影的装置，包括：图像成像单元，产生多通道图像，包含亮度、红色、绿色和蓝色的通道；亮度校正单元，校正亮度通道值以避免受摄影参数设置的影响，输出校正后的多通道图像；场景分类单元，根据全局特征来判断校正后的多通道图像是否需要作阴影检测；阴影检测单元，对需要作阴影检测的校正后的多通道图像，判断每个像素的类别，并由此产生阴影类别标记矩阵；区域分割单元，将图像成像单元产生的多通道图像分割为多个区域，其中每个区域内的像素具有相似的色彩值，并由此产生区域标记矩阵，其中属于同一区域的像素具有相同的区域标记值；后处理单元，将阴影类别标记矩阵和区域标记矩阵结合，输出更新后的阴影类别标记矩阵。

Description

检测图像中阴影的装置和方法

技术领域

本发明涉及一种图像处理装置和方法，更具体地说，本发明提供了一种自动检测输入图像中的阴影并把图像分为阴影和非阴影区域的装置和方法。 

背景技术

在彩色图像分析中，阴影分割/检测有着重要的作用，尤其是对于照相机的白平衡和曝光补偿处理。传统的白平衡处理对输入图像全图做一个整体的色彩调整，这种处理往往使得位于阴影中的物体色彩偏蓝。而对于人像摄影来说，发蓝的脸往往是人们不乐意接受的。如果阴影区域能被事先检测到，那么这种发蓝的现象可以通过对阴影和非阴影区域设定不同的白平衡参数解决。 

专利文献1提出了一种阴影检测的方法。其中，一个或多个包含阴影的图像被用来与一个事先准备的不具备阴影的参考图像作比较，然和计算每个像素对之间的比值。比值落在一个事先定义的区间内的像素被认为是阴影。但是在使用照相机的情况下，不能期望用户对所有想拍摄的场景都提供对应的没有阴影的参考图像。 

专利文献2提出了一种在HSV(hue saturation value，色度饱和度亮度)彩色空间中检测阴影的方法。该方法作如下的假定：H/S(色度分量与饱和度分量的比值)的直方图中，为1的值的附近的一个波谷对应于阴影和非阴影之间的分界线，其中左边的部分对应于阴影而右边的部分对应于非阴影。类似地，在S/V(饱和度分量与亮度分量的比值)的直方图中，为1的值的附近的一个峰值对应于阴影和非阴影的边界，其中左边的部分对应于非阴影而右边的部分对应于阴影。但该假设在复杂的场景中并不成立。 

【专利文献1】美国专利申请公开No.2007/0110309A1 

【专利文献2】美国专利No.7,305,127B2 

【非专利文献1】V.Vapnik，The nature of statistical learning theory，Springer-Verlag，New York，1995. 

物体成像的像素值实际上是对应位置的光照和该位置的反射率的乘积。如果x和y分别为像素在图像中的横纵坐标，将图像中各像素的像素值表示为I(x，y)，阴影图像中相应像素位置的光照记为S(x，y)，相应像素位置的反射率记为R(x，y)，那么可以得到如公式(1)的关系： 

I(x，y)＝S(x，y)×R(x，y)    (1) 

从上述的公式(1)中可以看出，仅仅根据输入图像I不可能得到阴影图像的光照S的解析解。所以阴影的检测是不可解的问题。但是人的眼睛实际上是有能力区分图像中的阴影区域的，这意味着存在一些特征能够在某种程度上辨别阴影区域。由于本发明可以应用于照相机中的白平衡处理，而这需要实时处理，因此仅仅使用图像中的色彩特征用于区别阴影和非阴影。此方法被证明在具有明显的阴影的情况下是有效的，即图像是在晴天拍摄的因而阴影和非阴影区域之间的对比度较高。另一方面，如果图像是在阴天拍摄的，那么由于不存在强烈的光照，因而这种图像不会存在明显的阴影，从白平衡处理的角度出发，并不需要将图像分为两个部分来分别进行白平衡处理。 

本发明针对两种情况：阴/雨天图像和晴天图像。实际上还可以考虑更多的场景类型，例如室内/室外场景的分类。已经有现有的成熟技术来区分室内/室外场景，本发明可以再结合室内/室外场景区分技术，首先对图像进行室内/室外场景的判断，然后针对室外图像进行阴影检测处理。在本说明书后文的描述中，均针对室外图像。 

发明内容

本发明公开了一种针对数字照相机应用的新的阴影检测方法。理论上阴影检测是病态问题，无法获得解析解。但是从统计的角度，存在一些特征具备一定的区分阴影的能力。例如，阴影通常是较暗的。在本发明中，可以利用机器学习的方法来解决阴影检测的问题。 

首先，通过分析阴影和非阴影这两类样本的分布，找到具备区分阴影和非阴影像素能力的色彩特征集合，其中包括亮度、饱和度以及RGB空间中蓝色和红色分量的比值。然后，基于事先收集的样本集合建立分类器，其中分类器的输入可以为上述色彩特征集合中的值组成的特征向量，输出为属性值(阴影和非阴影)。如果图像中含有阴影和日照的区域(通常在晴天的情况下才可能产生阴影)，则这样整个图像的对比度会较高，而上述的基于机器学习的方法会取得较好的效果。但是如果图像的对比度较低(例如在阴天拍摄的图像，不存在阴影)，则上述的方法可能会产生很多错误的分类结果。 

基于此，可以在阴影/非阴影分类之前加入场景识别的步骤，专门用于过滤掉不是在晴天拍摄的图像，这类图像中一般不会包含阴影从而也不需要分为两个部分分别进行单独的白平衡处理。大部分关于场景识别/分类的技术使用了一些复杂的纹理特征量，例如方向直方图或局部二值模式(Local BinaryPattern)，这些特征量过于复杂因而不适合在照相机的硬件环境下计算。 

根据本发明的实施例，使用照相机的摄影参数(诸如感光度，光圈大小以及曝光时间)来校正图像的亮度值，然后使用校正后的亮度以及色彩特征来建立分类器，以预测所输入的是否为晴天的图像。然后，还可以基于图像分割，设计后处理操作来改进阴影分割结果，其中对每个分割区域设定一个唯一的类别属性。 

考虑到数字照相机的硬件处理能力以及后续的白平衡处理的需求，输入图像被分为相等大小的块，阴影检测以及图像分割都以块为单位图像来进行处理。实际上，任何数字照相机都有内建的硬件用来测量一定大小的图像块的平均亮度和色彩值。 

根据本发明的一个方面，提供一种检测图像中阴影的装置，包括：图像成像单元，产生多通道图像，所述多通道包含关于亮度的通道、关于红色的通道、关于绿色的通道和关于蓝色的通道；亮度校正单元，用于校正多通道图像中的亮度通道值以避免受图像成像单元的摄影参数设置的影响，输出校正后的多通道图像；场景分类单元，根据在校正后的多通道图像上计算的全局特征来判断该校正后的多通道图像是否需要作阴影检测；阴影检测单元，对被场景分类单元判断为需要作阴影检测的校正后的多通道图像，判断每个像素的类别，并由此产生阴影类别标记矩阵；区域分割单元，将图像成像单元产生的多通道图像分割为多个区域，其中每个区域内的像素具有相似的色彩值，并由此产生区域标记矩阵，该区域标记矩阵中，属于同一区域的像素具有相同的区域标记值；后处理单元，将阴影检测单元输出的阴影类别标记矩阵和区域分割单元输出的区域标记矩阵结合，输出更新后的阴影类别标记矩阵。 

根据本发明的另一个方面，提供一种检测图像中阴影的方法，包括：图像成像步骤，产生多通道图像，所述多通道包含关于亮度的通道、关于红色的通道、关于绿色的通道和关于蓝色的通道；亮度校正步骤，校正多通道图像中的亮度通道值以避免受图像成像步骤中的摄影参数设置的影响，输出校正后的多通道图像；场景分类步骤，根据在校正后的多通道图像上计算的全局特征来判断该校正后的多通道图像是否需要作阴影检测；阴影检测步骤，对在场景分类步骤中判断为需要作阴影检测的校正后的多通道图像，判断每个像素的类别，并由此产生阴影类别标记矩阵；区域分割步骤，将在图像成像步骤产生的多通道图像分割为多个区域，其中每个区域内的像素具有相似的色彩值，并由此产生区域标记矩阵，该区域标记矩阵中，属于同一区域的像素具有相同的区域标记值；后处理步骤，将在阴影检测步骤输出的阴影类别标记矩阵和在区域分割步骤输出的区域标记矩阵结合，输出更新后的阴影类别标记矩阵。

通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本发明的以上和其他目标、特征、优点和技术及工业重要性。 

附图说明

图1描述了根据本发明实施例的阴影检测装置的框图。 

图2显示了一幅图像，该图像被等分为16*16像素块。 

图3示出了与图2所示图像相对应的低分辨率图像的亮度及色彩值(L，R，G，B)。 

图4显示了在没有亮度校正的情况下晴天和阴天两类样本的均值和标准差特征的分布。 

图5显示了有亮度校正的情况下晴天和阴天两类样本的均值和标准差特征的分布。 

图6描述了场景分类处理的流程图。 

图7A和图7B示出stdBR特征的直方图的例子，其中图7A为关于晴天图像的直方图，图7B为关于阴天图像的直方图。 

图8显示了阴影和非阴影像素的关于3个色彩特征的分布的例子。 

图9描述了阴影检测处理的流程图。 

图10描述了区域分割处理的流程。 

图11描述了后处理单元的处理的流程图。 

 图12A～12C示出了后处理单元的处理结果的例子，其中图12A示出阴影检测单元输出的阴影类别标记矩阵，图12B示出区域分割单元输出的区域标记矩阵，图12C示出后处理单元输出的更新后的阴影类别标记矩阵。 

具体实施方式

下面参考附图详细描述本发明的示例实施例。 

参考图1，根据本发明实施例的阴影检测单元包括：图像成像单元10、亮度校正单元11、场景分类单元12、阴影检测单元13、区域分割单元14、后处理单元15、及场景分类器16和阴影分类器17。图像成像单元10在照相机对场景拍照时产生图像信号。亮度校正单元11使用摄影参数，诸如曝光时间、感光度(ISO)值、及光圈大小(F值)，来校正图像成像单元10所产生的图像信号，从而获得对图像亮度的更精确的测量值。场景分类单元12将场景分类器16应用到图像数据上以判断所产生的图像信号是否需要阴影检测处理，换句话说，该单元将过滤掉明显不包含阴影的图像(例如在阴/雨天拍摄的图像)。对于可能包含阴影的图像，阴影检测单元13应用阴影分类器17来将图像中的像素分为两类：阴影像素或非阴影像素。区域分割单元14将图像成像单元产生的图像信号分割为多个区域，其中每个区域中的像素具有相近的色彩值。后处理单元15将区域分割单元14和阴影检测单元13的结果相结合，使具有相似的色彩值且位置上相邻的像素具有相同的阴影或非阴影的类别属性。 

图像成像单元10产生用于阴影检测的图像信号。该图像可以是一幅全尺寸的照片(通常包含上百万个像素)。但是对于白平衡应用，阴影检测可以在更为粗糙的分辨率下实现，以满足实时处理的需求。实际上，在本发明实施例中，使用的图像信号的分辨率可以为16*16像素，其中的一个像素对应到7百万像素的全尺寸图像中相当于一个204*153像素的块。图2显示了一幅全尺寸图像，图3给出了和图2相对应的、用于阴影检测的16*16像素尺寸的图像，该图像包含四个通道，即：亮度、红色、绿色、和蓝色。该低分辨率图像信号可以从照相机硬件中直接实时获取，也可以通过计算每个对应的图像块的平均值，从最后成像的全尺寸图像中计算获得。在后者的情况下，亮度通道值L可以通过红色通道值R、绿色通道值G、蓝色通道值B求得。例如可以采用如下的公式(2)计算： 

$L=\frac{R+2G+B}{4}---\left(2\right)$

也可以将红色通道值R、绿色通道值G、或蓝色通道值B直接赋给L，即： 

L＝R或L＝G或L＝B。 

照相机的摄影参数将影响图像成像单元10所产生的图像信号的亮度值。根据摄影理论，亮度值受到曝光时间(e)、ISO值(iso)以及光圈大小(F值)的影响。在亮度校正单元11，根据如下公式(3)对输入的图像信号的亮度值进行校正： 

$L_c=L\·\frac{e_{\mathrm{ref}}}{e}\·\frac{{\mathrm{iso}}_{\mathrm{ref}}}{\mathrm{iso}}\·{\left(\frac{F}{F_{\mathrm{ref}}}\right)}^2---\left(3\right)$

其中L和L_c分别为较正前和校正后的亮度值，e，iso和F分别为照相机在拍摄时使用的曝光时间、ISO值和光圈的F值，e_ref，iso_ref和F_ref为相应的三个参考值。在根据本发明的一个实施例中，可以设为e_ref＝1/200，iso_ref＝200以及F_ref＝4。 

在公式(3)中增加一个系数k并不影响本发明的实现，例如： 

$L_c=k\·L\·\frac{e_{\mathrm{ref}}}{e}\·\frac{{\mathrm{iso}}_{\mathrm{ref}}}{\mathrm{iso}}\·{\left(\frac{F}{F_{\mathrm{ref}}}\right)}^2$

亮度校正单元11也可以仅通过e、iso、F中的一项或两项来校正，例如： 

$L_c=L\·\frac{e_{\mathrm{ref}}}{e}\·{\left(\frac{F}{F_{\mathrm{ref}}}\right)}^2$

亮度校正的效果可以通过分析样本在有校正和没有校正情况下的亮度特征分布的变化看出。例如，收集两个图像集合，一个是在晴天的环境下拍摄的，另一个是在阴天/雨天的环境下拍摄的。计算每幅图像中像素的亮度均值和标准差。根据经验知识，和晴天的图像相比，阴天的图像通常亮度较暗且对比度小(即标准差值较小)。图4给出了上述两个集合在没有校正情况下的亮度均值和标准差特征的分布，其中圆圈表示阴/雨天的图像样本，而星号表示晴天的图像样本。在这个分布图中两类样本并没有如预料的那样能被很好地区别开，这是因为照相机会自动地通过调整e，iso，F值来对图像的整体亮度作一定的补偿，以致模糊了两者之间的界限。图5给出了两类样本的亮度校正后的特征分布，可以看到两类样本有了更好的区分度。 

场景分类单元12用于筛选出需要进行阴影检测处理的图像。场景分类单元12可以配置为包括：第一输入单元，用于输入校正后的多通道图像；第一 特征计算单元，用于计算多通道图像的校正后的亮度通道值的均值和标准差分别作为第一特征和第二特征；BR矩阵计算单元，根据校正后的多通道图像来计算其蓝色通道值和红色通道值对应像素的比值，从而得到BR矩阵；第二特征计算单元，用于计算BR矩阵的标准差作为第三特征；置信度计算单元，将第一特征、第二特征、和第三特征输入到事先训练的场景分类器从而得到置信度值，如果该置信度值大于预先设定的阈值，则把输入的校正后的多通道图像送入阴影检测单元作阴影检测处理，否则将不作阴影检测处理。 

图6描述了场景分类单元12进行的处理的流程。在步骤S120，输入多通道图像信号，包含Lc，R，G和B四个通道值，均为16*16像素的图像矩阵，其中Lc为经过亮度校正单元11校正后的结果。在步骤S121，计算Lc矩阵的亮度的均值m_L和标准差std_L，用作场景分类的第一和第二特征。在步骤S122，基于B矩阵和R矩阵计算得到另一个矩阵BR，BR中元素BR(i，j)的值定义为相应的B分量和R分量的比值，如公式(4)，其中i和j分别为矩阵中元素的行列号： 

BR(i，j)＝B(i，j)/R(i，j)    (4) 

在步骤S123，计算BR矩阵的标准差std_BR作为第三分类特征。这三个特征是通过实验优选出的。图5已经显示了特征m_L和std_L对晴天/阴天这两类样本的区分能力。在图7A和图7B中，给出了两类样本的std_BR特征的分布的直方图，其中图7A为晴天图像的直方图，图7B为阴天图像的直方图。其中可以看到，大部分晴天图像的std_BR值较大而大部分阴天图像的std_BR值较小。因此三个特征均显示了一定的区分晴天/阴天图像的能力。然而期望将这些特征结合起来从而获得比使用单个特征更好的结果。 

可以通过根据经验设定一些固定的阈值来在三维的特征空间中确定这两类样本的分界面。或者更精确的方法为，事先收集两个样本集合，每个集合中仅包含一种类型的图像，然后分类界面可以通过机器学习的方法从这两类样本中学习得到。 

在本发明的一个实例中，使用支持向量机的方法来建立这个分类界面。在训练阶段，收集两个样本集，其中一个正例样本集仅仅包含晴天图像，一个负例样本集仅仅包含阴天图像。对每个样本图像(编号为i)，计算一个特征向量v_i，v_i＝{m_L(i)，std_L(i)，std_BR(i)}，m_L(i)、std_L(i)分别为第i个样本的亮度的均值和标准差，std_BR(i)为第i个样本的BR矩阵的标准差。在本发明 的另一个实例中，也可以仅仅使用特征m_L和std_L对晴天和阴天图像进行分类，这样v_i＝{m_L(i)，std_L(i)})。 

假设总共有n个正例样本和m个负例样本，令k＝n+m，从而可以得到一个向量集合V＝{v_i}，i＝1..k和一个标记集合Y＝{y_i}，i＝1..k，其中y_i是对应于特征向量v_i的样本的类别标记，按公式(5)定义： 

支持向量机方法要求选定一个核函数K。在本发明的一个实例中，可以选用如公式(6)的高斯函数作为核函数： 

$K(x1,x2)=\exp (-{\left|\right|x1-x2\left|\right|}_2^2/{\mathrm{\σ}}^2),---\left(6\right)$

其中参数σ为事先确定的常数，例如取σ＝1。 

核函数可以有多种选择，例如也可以采用线性函数： 

K(x1，x2)＝<x1，x2>+ε 

其中<x1，x2>为向量x1和x2的内积，ε为事先确定的常数，例如ε＝1。 

在训练过程，支持向量机算法从向量集V中选择出包含nv个向量的子集W＝{w_i}，i＝1..nv，称为支持向量集，并且对每个w_i赋予一个权重a_i。则分类器函数fun1可以按照公式(7)表示为： 

$\mathrm{fun}1(\&CenterDot;)={\mathrm{\&Sigma;}}_{i=1}^{\mathrm{nv}}{y}_i{a}_{i}K(w_i,\&CenterDot;)+b---\left(7\right)$

其中y_i是向量w_i对应的类别标记，b是训练算法计算得到的一个常数。 

支持向量机算法是机器学习领域的一种公知的方法，可以采用非专利文献1所公开的方法。 

训练得到的分类器函数及其参数存储在场景分类器16中。 

在步骤S124，基于场景分类器16中存储的如公式(7)的分类器函数fun1，可以通过公式(8)计算出关于向量v的置信度Cf(v)： 

$\mathrm{Cf}\left(v\right)=\frac{1}{1+\exp (-\mathrm{fun}1\left(v\right))}---\left(8\right)$

其中Cf是[0，1]间的值。对输入的特征向量v，通过公式(9)比较Cf和事先确定的阈值T_C可以得到输入向量v的类别标记y_v： 

$y_v=\left\{\begin{array}{cc}1& \mathrm{Cf}\left(v\right)\&GreaterEqual;T_C\\ 0& \mathrm{Cf}\left(v\right)<T_C\end{array}\right.---\left(9\right)$

如果T_C＝0.5，分类器将以相同的概率产生晴天图像或阴天图像的预测(即不偏向于任何一种情况)；当T_C大于0.5，分类器将倾向于产生晴天图像的预测；当T_C小于0.5，分类器将倾向于产生阴天图像的预测。 

对输入的图像信号，如果得到的置信度Cf小于阈值T_C，该图像将被认为是不需要阴影检测处理的阴天图像，在步骤S125，结束处理，否则将被认为是晴天图像，在步骤S126，把图像信号传给阴影检测单元13。 

阴影检测单元13通过考虑每个像素的色彩特征来将输入图像的每个像素分类为阴影点或非阴影点。通常，图像中的阴影区域具有如下的特征：阴影的亮度(校正的亮度)较低，所以Lc的值较小；阴影通常色彩偏蓝，意味着其中蓝色分量的比重较大。 

此外，根据照相机的成像特点，图像中远方的背景处一般饱和度较低而近景处饱和度较高。如果只考虑近景处的阴影(通常对白平衡处理是这样)，那么饱和度也可以作为一个分类特征。 

在本发明的一个实例中，可以考虑三种色彩特征：校正的亮度(Lc)，饱和度(S)以及蓝色值和红色值的比值(B/R)。输入的图像信号具有4个通道值：Lc，R，G，B，分别对应校正的亮度、红色、绿色和蓝色分量，每一个通道是一个16*16像素的图像矩阵。对图像中的每个位置(i，j)，i和j分别为图像中像素的横纵位置，通过计算上述三种色彩特征可以得到特征向量P(i，j)： 

P(i，j)＝[L_c(i，j)，BR(i，j)，S(i，j)]    (10) 

其中L_c(i，j)是位置(i，j)上的校正的亮度值，R(i，j)，G(i，j)，B(i，j)分别为位置(i，j)处的R、G、B值，BR(i，j)根据公式(11)计算，S(i，j)根据公式(12)计算： 

BR(i，j)＝B(i，j)/R(i，j)    (11) 

$S(i,j)=1-\frac{3}{R(i,j)+G(i,j)+B(i,j)}\left[\min (R(i,j),G(i,j),B(i,j))\right]---\left(12\right)$

对饱和度S(i，j)的计算也可以采用不同于(12)的公式，例如： 

其中max、min分别为R(i，j)、G(i，j)、B(i，j)值中的最大、最小值。 

在本发明的另一个实例中，也可以仅考虑两个色彩特征：校正的亮度(L_c)，饱和度(S)。这样：P(i，j)＝[L_c(i，j)，S(i，j)]。 

图8给出了阴影和非阴影像素的关于上述三种特征量的分布，其中的星号表示阴影像素，圆圈表示非阴影像素。 

阴影检测单元13可以配置为，包括：第二输入单元，用于输入校正后的多通道图像；第三特征计算单元，对校正后的多通道图像的每个像素计算一个特征向量；阴影类别标记矩阵计算单元，根据所述第三特征计算单元计算得到的特征向量和事先训练得到的阴影分类器来计算多通道图像的每个像素的关于阴影或非阴影的类别，从而产生阴影类别标记矩阵，在所述阴影类别标记矩阵中，认为是阴影的像素赋予第一标记值，认为是非阴影的像素赋予第二标记值。 

图9示出了阴影检测单元13的处理流程。首先，在步骤S130，得到输入的图像信号。然后，在步骤S131，对输入图像中的每个像素(i，j)根据公式(10)～(12)计算得到特征向量P(i，j)。在步骤S132，基于阴影分类器17所存储的阴影分类器函数来预测每个像素(i，j)的属性(阴影或非阴影)。对于每个所处理的像素点(i，j)，给出类别标记Z(i，j)，值1表示阴影，0表示非阴影。在步骤S133，输出该阴影类别标记矩阵Z。 

参照非专利文献1，采用构建场景分类器中所使用的支持向量机方法，可以类似地构造阴影分类器17，其采用第二分类器函数fun2： 

$\mathrm{fun}2(\&CenterDot;)={\mathrm{\&Sigma;}}_{i=1}^{\mathrm{mv}}{y}_{\mathrm{si}}{a}_{\mathrm{si}}{K}_s(f_i,\&CenterDot;)+b_s---\left(13\right)$

其中mv是在阴影分类器训练过程中得到的分类器的支持向量的数目，f_i是支持向量，y_si是对应于支持向量f_i的类别标记(1意味着阴影，0意味着非阴影)，a_si和b_s是训练过程得到的参数。K_s是阴影分类器中使用的核函数。在本发明的一个实例中，K_s可以按照公式(14)定义为高斯函数： 

$K_s(x1,x2)=\exp (-{\left|\right|x1-x2\left|\right|}_2^2/{\mathrm{\&sigma;}}_s^2)---\left(14\right)$

其中σ_s为事先确定的常数，例如取σ_s＝1。 

核函数可以有多种选择，例如可以采用线性函数： 

K_s(x1，x2)＝<x1，x2>+ε 

其中<x1，x2>为向量x1和x2的内积，ε为事先确定的常数，例如ε＝1。 

在步骤S132，基于阴影分类器17中存储的如公式(13)的分类器函数fun2，可以通过公式(15)计算像素点(i，j)的类别标记Z(i，j)： 

$Z(i,j)=\left\{\begin{array}{cc}1& \mathrm{fun}2\left(P(i,j)\right)\&GreaterEqual;0\\ 0& \mathrm{fun}2\left(P(i,j)\right)<0\end{array}\right.---\left(15\right)$

其中P(i，j)为象素点(i，j)所对应的特征向量，其中，类别标记Z(i，j)为1表示该象素点(i，j)为阴影，类别标记Z(i，j)为0表示该象素点(i，j)为非阴影。 

阴影检测单元13的输出中可能有错分类的情况。例如，天空区域由于色彩偏蓝且亮度较低有时错分类为阴影。考虑到空间位置上相邻且色彩相近的像素点一般或者同是阴影或者同是非阴影。基于此，区域分割单元14将图像分为多个区域，其中每个区域中的像素点具有相似的色彩值。另外，后处理单元15将阴影检测单元13的输出和区域分割单元14的结果结合来改善阴影检测的结果。 

后处理单元15可以配置为，包括：第三输入单元，用于输入阴影检测单元产生的阴影类别标记矩阵；第四输入单元，用于输入区域分割单元产生的区域标记矩阵；阴影类别标记更新单元，对于区域标记矩阵中的各个区域，计算阴影类别标记矩阵的对应区域中具有第一标记值的元素数目N₀和具有第二标记值的元素数目N₁，并根据N₀和N₁的值来把阴影类别标记矩阵的所述对应区域中的元素全部更新为第一标记值或第二标记值。 

图10描述了区域分割单元14的处理流程。首先，建立一个和输入图像尺寸相同的区域标记矩阵M，其中的每个元素对应于输入图像中的一个像素。M中的元素均被初始化为0。此外，变量C用于记录当前分配的区域标号，C被初始化为0。 

在分割阶段，依次顺序地考虑M中的每个元素(x，y)，如果M(x，y)为0，将当前的标号C赋予M(x，y)同时以(x，y)为种子点向其邻域做区域生长过程，其中两个相邻的像素点(x₀，y₀)和(x_i，y_i)的合并条件如公式(16)所示： 

|L(x₀，y₀)-L(x_i，y_i)|＜d    (16) 

其中d为一个预设的阈值。 

当以(x，y)开始的区域生长完成后，靠近(x，y)且具有类似的亮度值的像素点被合并为一个区域，该区域中的所有像素具有相同的标记。当M中的所有元素都被赋予区域标记值后，图像被合并为C_T个区域，其中C_T为图10的处理流程结束后变量C的最终值。 

图11描述了后处理过程。在步骤S151，输入阴影检测单元13输出的阴影类别标记矩阵Z，其中1代表阴影像素，0代表非阴影像素。在步骤S152， 输入区域分割单元14输出的区域标记矩阵M，其中共包含C_T个不同的区域。在步骤S153，对M中标记为C_i的区域R_i，其中i为1和C_T之间的索引值，计算在Z的对应的位置上值为1的元素的数目(记为N₁)和值为0的元素的数目(记为N₀)。如果N₀＞N₁，将Z中与区域R_i对应的位置上的值都设为0；否则都设为1。在步骤S154，输出更新后的阴影类别标记矩阵Z作为最终的阴影检测的结果。 

图12A至图12C示出后处理的一个例子。图12A为阴影检测单元13输出的阴影类别标记矩阵Z，图12B为区域分割单元14输出的区域标记矩阵M，其中灰色区域属于第一区域C₁，白色区域属于第二区域C₂。图12C是更新后的阴影类别标记矩阵，其中C₁中的所有元素被设为0，C₂中的所有元素被设为1。 

按照本发明实施例，所处理的图像尺寸为16*16像素。本领域技术人员显而易见的是，图像尺寸并不局限于此，可以根据图像成像单元10的硬件配置以及实际应用中的需求(诸如时间等)来选取不同的值。 

在说明书中说明的一系列操作能够通过硬件、软件、或者硬件与软件的组合来执行。当由软件执行该一系列操作时，可以把其中的计算机程序安装到内置于专用硬件的计算机中的存储器中，使得计算机执行该计算机程序。或者，可以把计算机程序安装到能够执行各种类型的处理的通用计算机中，使得计算机执行该计算机程序。 

例如，可以把计算机程序预先存储到作为记录介质的硬盘或者ROM(只读存储器)中。或者，可以临时或者永久地存储(记录)计算机程序到可移动记录介质中，诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多功能盘)、磁盘、或半导体存储器。可以把这样的可移动记录介质作为封装软件提供。 

本发明已经参考具体实施例进行了详细说明。然而，很明显，在不背离本发明的精神的情况下，本领域技术人员能够对实施例执行更改和替换。换句话说，本发明用说明的形式公开，而不是被限制地解释。要判断本发明的要旨，应该考虑所附的权利要求。 

Claims (28)

1.一种检测图像中阴影的装置，包括：

图像成像单元，产生多通道图像，所述多通道包含关于亮度的通道、关于红色的通道、关于绿色的通道和关于蓝色的通道；

亮度校正单元，用于校正多通道图像中的亮度通道值以避免受图像成像单元的摄影参数设置的影响，输出校正后的多通道图像；

场景分类单元，根据在校正后的多通道图像上计算的全局特征来判断该校正后的多通道图像是否需要作阴影检测；

阴影检测单元，对被场景分类单元判断为需要作阴影检测的校正后的多通道图像，判断每个像素的类别，并由此产生阴影类别标记矩阵；

区域分割单元，将图像成像单元产生的多通道图像分割为多个区域，其中每个区域内的像素具有相似的色彩值，并由此产生区域标记矩阵，该区域标记矩阵中，属于同一区域的像素具有相同的区域标记值；

后处理单元，将阴影检测单元输出的阴影类别标记矩阵和区域分割单元输出的区域标记矩阵结合，输出更新后的阴影类别标记矩阵。

2.根据权利要求1所述的装置，其中，所述图像成像单元所产生的多通道图像的亮度通道值通过对红色通道值、绿色通道值、蓝色通道值加权平均得到。

3.根据权利要求1所述的装置，其中，所述亮度校正单元校正后的多通道图像通过将原多通道图像的亮度通道值乘以系数获得。

4.根据权利要求3所述的装置，其中，所述系数通过图像成像单元在拍摄多通道图像时所使用的曝光时间、光圈大小以及感光度确定。

5.根据权利要求1所述的装置，其中，所述场景分类单元根据从该校正后的多通道图像中获取的全局特征来把校正后的多通道图像分类为晴天图像或阴天图像。

6.根据权利要求1所述的装置，其中，在所述场景分类单元中，所述全局特征包括校正后的亮度通道值的均值和标准差以及蓝色通道值和红色通道值的比值的标准差。

7.根据权利要求1所述的装置，其中，所述场景分类单元包括：

第一输入单元，用于输入校正后的多通道图像；

第一特征计算单元，用于计算多通道图像的校正后的亮度通道值的均值和标准差分别作为第一特征和第二特征；

BR矩阵计算单元，根据校正后的多通道图像来计算其蓝色通道值和红色通道值对应像素的比值，从而得到BR矩阵；

第二特征计算单元，用于计算BR矩阵的标准差作为第三特征；

置信度计算单元，将第一特征、第二特征、和第三特征输入到事先训练的场景分类器从而得到置信度值，如果该置信度值大于预先设定的阈值，则把输入的校正后的多通道图像送入阴影检测单元作阴影检测处理，否则将不作阴影检测处理。

8.根据权利要求7所述的装置，其中，通过事先准备图像集，其中每幅图像的关于晴天或阴天的属性已知，并基于分类器训练方法在该图像集上训练，从而得到所述场景分类器。

9.根据权利要求1所述的装置，其中，所述阴影检测单元包括：

第二输入单元，用于输入校正后的多通道图像；

第三特征计算单元，对校正后的多通道图像的每个像素计算一个特征向量；

阴影类别标记矩阵计算单元，根据所述第三特征计算单元计算得到的特征向量和事先训练得到的阴影分类器来计算多通道图像的每个像素的关于阴影或非阴影的类别，从而产生阴影类别标记矩阵，在所述阴影类别标记矩阵中，认为是阴影的像素赋予第一标记值，认为是非阴影的像素赋予第二标记值。

10.根据权利要求9所述的装置，其中，所述特征向量包含校正后的亮度通道值、计算的蓝色通道值和红色通道值的比值、以及计算的饱和度值。

11.根据权利要求9所述的装置，其中，通过事先准备图像集，其中每幅图像的每个像素的关于阴影或非阴影的属性已知，并基于分类器训练方法在该图像集上训练，从而得到所述阴影分类器。

12.根据权利要求1所述的装置，其中，所述区域分割单元基于多通道图像的亮度通道值来把多通道图像分割为多个区域。

13.根据权利要求1所述的装置，其中，所述区域分割单元把在区域标记矩阵中具有相同的区域标记值的像素构成一个图像区域。

14.根据权利要求1所述的装置，其中，所述后处理单元包括：

第三输入单元，用于输入阴影检测单元产生的阴影类别标记矩阵；

第四输入单元，用于输入区域分割单元产生的区域标记矩阵；

阴影类别标记更新单元，对于区域标记矩阵中的各个区域，计算阴影类别标记矩阵的对应区域中具有第一标记值的元素数目N₀和具有第二标记值的元素数目N₁，并根据N₀和N₁的值来把阴影类别标记矩阵的所述对应区域中的元素全部更新为第一标记值或第二标记值。

15.一种检测图像中阴影的方法，包括：

图像成像步骤，产生多通道图像，所述多通道包含关于亮度的通道、关于红色的通道、关于绿色的通道和关于蓝色的通道；

亮度校正步骤，校正多通道图像中的亮度通道值以避免受图像成像步骤中的摄影参数设置的影响，输出校正后的多通道图像；

场景分类步骤，根据在校正后的多通道图像上计算的全局特征来判断该校正后的多通道图像是否需要作阴影检测；

阴影检测步骤，对在场景分类步骤中判断为需要作阴影检测的校正后的多通道图像，判断每个像素的类别，并由此产生阴影类别标记矩阵；

区域分割步骤，将在图像成像步骤产生的多通道图像分割为多个区域，其中每个区域内的像素具有相似的色彩值，并由此产生区域标记矩阵，该区域标记矩阵中，属于同一区域的像素具有相同的区域标记值；

后处理步骤，将在阴影检测步骤输出的阴影类别标记矩阵和在区域分割步骤输出的区域标记矩阵结合，输出更新后的阴影类别标记矩阵。

16.根据权利要求15所述的方法，其中，在所述图像成像步骤，所产生的多通道图像的亮度通道值通过对红色通道值、绿色通道值、蓝色通道值加权平均得到。

17.根据权利要求15所述的方法，其中，经所述亮度校正步骤校正后的多通道图像通过将原多通道图像的亮度通道值乘以系数获得。

18.根据权利要求17所述的方法，其中，所述系数通过图像成像步骤在拍摄多通道图像时所使用的曝光时间、光圈大小以及感光度确定。

19.根据权利要求15所述的方法，其中，在所述场景分类步骤，根据从该校正后的多通道图像中获取的全局特征来把校正后的多通道图像分类为晴天图像或阴天图像。

20.根据权利要求15所述的方法，其中，在所述场景分类步骤中，所述全局特征包括校正后的亮度通道值的均值和标准差以及蓝色通道值和红色通道值的比值的标准差。

21.根据权利要求15所述的方法，其中，所述场景分类步骤包括：

第一输入步骤，输入校正后的多通道图像；

第一特征计算步骤，计算多通道图像的校正后的亮度通道值的均值和标准差分别作为第一特征和第二特征；

BR矩阵计算步骤，根据校正后的多通道图像来计算其蓝色通道值和红色通道值对应像素的比值，从而得到BR矩阵；

第二特征计算步骤，用于计算BR矩阵的标准差作为第三特征；

置信度计算步骤，将第一特征、第二特征、和第三特征输入到事先训练的场景分类器从而得到置信度值，如果该置信度值大于预先设定的阈值，则输入的校正后的多通道图像在阴影检测步骤作阴影检测处理，否则将不作阴影检测处理。

22.根据权利要求21所述的方法，其中，通过事先准备图像集，其中每幅图像的关于晴天或阴天的属性已知，并基于分类器训练方法在该图像集上训练，从而得到所述场景分类器。

23.根据权利要求15所述的方法，其中，所述阴影检测步骤包括：

第二输入步骤，输入校正后的多通道图像；

第三特征计算步骤，对校正后的多通道图像的每个像素计算一个特征向量；

阴影类别标记矩阵计算步骤，根据在所述第三特征计算步骤计算得到的特征向量和事先训练得到的阴影分类器来计算多通道图像的每个像素的关于阴影或非阴影的类别，从而产生阴影类别标记矩阵，在所述阴影类别标记矩阵中，认为是阴影的像素赋予第一标记值，认为是非阴影的像素赋予第二标记值。

24.根据权利要求23所述的方法，其中，所述特征向量包含校正后的亮度通道值、计算的蓝色通道值和红色通道值的比值、以及计算的饱和度值。

25.根据权利要求23所述的方法，其中，通过事先准备图像集，其中每幅图像的每个像素的关于阴影或非阴影的属性已知，并基于分类器训练方法在该图像集上训练，从而得到所述阴影分类器。

26.根据权利要求15所述的方法，其中，在所述区域分割步骤，基于多通道图像的亮度通道值来把多通道图像分割为多个区域。

27.根据权利要求15所述的方法，其中，在所述区域分割步骤，把在区域标记矩阵中具有相同的区域标记值的像素构成一个图像区域。

28.根据权利要求15所述的方法，其中，所述后处理步骤包括：

第三输入步骤，输入在阴影检测步骤产生的阴影类别标记矩阵；

第四输入步骤，输入在区域分割步骤产生的区域标记矩阵；

阴影类别标记更新步骤，对于区域标记矩阵中的各个区域，计算阴影类别标记矩阵的对应区域中具有第一标记值的元素数目N₀和具有第二标记值的元素数目N₁，并根据N₀和N₁的值来把阴影类别标记矩阵的所述对应区域中的元素全部更新为第一标记值或第二标记值。

Images