CN101930533A - 在图像采集设备中进行天空检测的装置和方法 - Google Patents

Abstract

本发明提供了一种用于在图像采集设备中进行天空检测的装置和方法。该装置包括：图像采集单元，采集彩色图像信息；颜色特征提取单元，对采集到的图像的每个像素提取颜色特征；距离测量单元，测量采集到的图像的每个像素到镜头的距离；第一分类单元，基于该颜色特征，将采集到的图像的每个像素分类为天空像素和非天空像素；和第二分类单元，基于该距离和第一分类单元的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。通过使用上述装置和方法，可以在图像采集设备中实时进行天空检测，并提高天空检测的精度。

Description

在图像采集设备中进行天空检测的装置和方法

技术领域

本发明涉及图像处理和模式识别，更具体地，本发明涉及一种在图像采集设备中进行天空检测的装置和方法。

背景技术

对于在例如照相机、摄像机等的图像采集设备中进行天空检测的技术，现有技术中存在一些方法，例如在美国专利US6,504,951(Jiebo Luo et al.)中提出了一种在图像中进行天空检测的方法。该方法首先根据颜色进行天空像素的分类，然后在可能的天空像素中提取联通区域，消除那些纹理大于一定阈值的区域，最后计算剩下区域的饱和度衰减梯度，将衰减梯度符合预设阈值的区域保留作为最终的天空区域。

在Jiebo Luo，and Stephen P. A physical model-based approach to detecting sky in photographic images(在拍摄的图像中进行天空检测的基于物理模型的方法)，IEEE Trans on Image Processing，2002中提出了一种基于物理模型的天空检测方法。该方法包含三个步骤：基于颜色的分类，区域提取，基于物理模型的天空签名验证。

上述天空检测方法的计算复杂度较高，无法进行实时天空检测，并且这些方法都是仅基于图像的像素信息，而没有充分利用图像采集设备的有用信息。

发明内容

本发明的公开提供了在图像采集设备中进行实时天空检测的算法，其充分利用了图像的像素信息、图像采集设备上的距离图、和图像的方向信息等。

根据本发明的一个方面，提供了一种在图像采集设备中进行天空检测的装置，包括：图像采集单元，采集彩色图像信息；颜色特征提取单元，对采集到的图像的每个像素提取颜色特征；距离测量单元，测量采集到的图像的每个像素到镜头的距离；第一分类单元，基于该颜色特征，将采集到的图像的每个像素分类为天空像素和非天空像素；和第二分类单元，基于上述距离和第一分类单元的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

根据本发明的一个方面，图像采集单元包括用于采集图像信号的L通道、R通道、G通道和B通道。

根据本发明的一个方面，颜色特征提取单元提取图像的每个像素的R通道、G通道、和B通道的颜色数值作为该颜色特征。

根据本发明的一个方面，距离测量单元还包括：拍摄控制单元，进行控制以使用不同的对焦距离拍摄图像；和计算单元，计算图像中每个像素在不同对焦距离下的多个对比度，得到多个对比度中的最大值所对应的对焦距离，并由该对焦距离得出该像素到镜头的上述距离。

根据本发明的一个方面，第一分类单元使用的分类器通过在一定量的、标注好的天空像素和非天空像素上训练得到。

根据本发明的一个方面，对于每个像素，如果在第一分类单元中被分类为天空像素，并且在距离测量单元中测出的距离的值代表无限远，则将该像素分类为天空像素；否则，如果在第一分类单元中被分类为非天空像素，或者在距离测量单元中测出的距离的值代表有限距离，则将该像素分类为非天空像素。

根据本发明的一个方面，在图像采集设备中进行天空检测的装置还包括：方向测量单元，测量采集到的图像的方向信息；和第三分类单元，基于方向测量单元和第二分类单元的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

根据本发明的一个方面，图像的方向信息包括向上、向下、向左、向右。

根据本发明的一个方面，第三分类单元还包括：区域生长单元，根据第二分类单元输出的分类结果进行区域生长，生成候选的天空区域；和合并单元，根据该方向信息进行判断，其中如果该候选的天空区域包含在图像方向上顶部的像素点，则将候选的天空区域中的所有像素划分为天空像素，否则将候选的天空区域中的所有像素划分为非天空像素。

根据本发明的另一个方面，提供了一种用于在图像采集设备中进行天空检测的方法，包括：图像采集步骤，采集彩色图像信息；颜色特征提取步骤，对采集到的图像的每个像素提取颜色特征；距离测量步骤，测量采集到的图像的每个像素到镜头的距离；第一分类步骤，基于该颜色特征，将采集到的图像的每个像素分类为天空像素和非天空像素；和第二分类步骤，基于所测量的像素到镜头的距离和第一分类步骤的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

根据本发明的另一个方面，该方法还包括：方向测量步骤，测量采集到的图像的方向信息；和第三分类步骤，基于方向测量步骤和第二分类步骤的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

根据本发明的另一个方面，该方法还包括：区域生长步骤，根据第二分类步骤输出的分类结果进行区域生长，生成候选的天空区域；和合并步骤，根据该方向信息进行判断，其中如果该候选的天空区域包含在图像方向上顶部的像素点，则将候选的天空区域中的所有像素划分为天空像素，否则将候选的天空区域中的所有像素划分为非天空像素。

通过使用根据本发明上述方面的装置和方法，可以在图像采集设备中实时进行天空检测，并提高天空检测的精度，增强所采集图像的拍摄效果。

附图说明

从下面结合附图对本发明各个实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：

图1是示出根据本发明一个实施例的进行天空检测的装置的方框图。

图2(a)-(e)是示出原始图像以及对应低分辨率图像的R、G、B、L四个通道数据的图示。

图3是示出根据本发明一个实施例的距离测量单元的结构的方框图。

图4是示出计算每个像素到镜头的距离的原理的图示。

图5(a)-(b)是示出拍摄的图像及其距离图的图示。

图6是示出根据本发明一个实施例的第二分类单元的操作的图示。

图7是示出根据本发明一个实施例的进行天空检测的方法的流程图。

图8示出根据本发明第二实施例的进行天空检测的装置的方框图。

图9是示出四种不同方向的图像的图示。

图10是示出根据本发明一个实施例的第三分类单元的结构的方框图。

图11是示出执行区域生长过程的示例程序步骤的图示。

图12(a)-(b)是示出区域生长结果的示意图。

图13是示出根据本发明另一个实施例的进行天空检测的方法的流程图。

图14是示出根据本发明另一个实施例的第三分类单元的操作流程图。

具体实施方式

下面将结合附图详细描述本发明的具体实施例。如果考虑到对某些相关现有技术的详细描述可能会混淆本发明的要点，则将不会在这里提供其详细描述。在实施例中，相同附图标记用于表示执行相同功能的相同元件或单元。

采用本发明公开的进行天空检测的装置和方法的图像采集设备可以是例如照相机、摄像机等设备。

图1示出了根据本发明一个实施例的进行天空检测的装置的方框图。

如图1所示，根据本发明一个实施例的进行天空检测的装置1包括图像采集单元10、颜色特征提取单元11、距离测量单元12、第一分类单元13、第二分类单元14。

在图1的装置1中，颜色特征提取单元11和距离测量单元12分别连接于图像采集单元10，并分别从图像采集单元10接收数据。第一分类单元13连接于颜色特征提取单元11，以及连接于能够提供基于颜色特征的天空分类器数据库15，并可以从颜色特征提取单元11和天空分类器数据库15接收数据。天空分类器数据库15可以位于根据本发明实施例进行天空检测的装置1的外部，用于向第一分类单元13提供基于颜色特征的天空分类器数据。第二分类单元14连接于距离测量单元12和第一分类单元13，并从距离测量单元12和第一分类单元13接收数据。

图像采集单元10采集彩色图像信息。颜色特征提取单元11对采集到的图像的每个像素提取颜色特征。距离测量单元12测量采集到的图像的每个像素到镜头的距离。第一分类单元13基于该颜色特征，将采集到的图像的每个像素分类为天空像素和非天空像素。第二分类单元14基于该目标对焦距离和第一分类单元的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

图像采集单元10为后续的各处理单元采集图像数据，其可以包括例如镜头、快门以及成像所需的CCD(电耦合器件)等。根据本发明的一个实施例，图像采集单元10包括用于采集图像信号的L(亮度)通道、R(红色)通道、G(绿色)通道和B(蓝色)通道，其中通过上述四个通道采集进行天空检测所需的图像信号。对于天空检测来说，使用低分辨率的图像会更有利于图像采集设备上的实时处理。根据本发明的一个实施例，可以使用16*16分辨率的图像数据，其中每一个像素相当于最终700万像素的全幅图像上的一个204*153大小的图像块。

图2(a)-(e)是示出原始图像以及对应低分辨率图像的R、G、B、L四个通道的数据的图示。如图2(a)-(e)所示，图2(a)是最终的全幅图像，图2(b)、图2(c)、图2(d)、图2(e)示出的是图2(a)的图像所对应的16*16图像信号。每个像素包含四个通道的数据：L通道数据，R通道数据，G通道数据，和B通道数据，其中每个数据表示该像素在该通道的特征数值。低分辨率的16*16图像信号可以被图像采集设备的硬件实时捕获。

颜色特征提取单元11对所采集的图像中的每个像素点提取一系列的颜色特征。根据本发明的一个实施例，使用三维的颜色特征矢量，即R通道值、G通道值、B通道值作为上述像素的颜色特征，颜色特征提取单元11提取图像的每个像素的R通道、G通道、和B通道的颜色数值作为该颜色特征。由于天空在颜色上通常是蓝色，直接使用R、G、B值就可以对天空和非天空有很强的区分性。

距离测量单元12测量在CCD上形成的图像中每个像素点到图像采集设备的镜头的距离，测量该距离的具体方法将在后面进行详细的描述。

第一分类单元13根据颜色特征提取单元11提取的颜色特征和天空分类器数据库15提供的天空分类器数据(形成该数据的具体方法将在后面进行详细的描述)，将采集的图像的每个像素分类为代表天空的像素(以后称作天空像素)和代表非天空的像素(以后称作非天空像素)两种类别。

第二分类单元14接收第一分类单元13的处理结果和距离测量单元12的测量结果，进一步将每个像素分类为天空像素和非天空像素。

如上所述，第一分类单元13使用基于颜色特征的天空分类器数据将所采集的图像的每个像素划分为天空像素和非天空像素两类。根据本发明的一个实施例，使用线性核函数的支持向量机(Support Vector Machine，SVM)来构建天空分类器。

在使用根据本发明一个实施例的进行天空检测的装置的图像采集设备出厂前，需针对每个图像采集设备训练特定的天空分类器，计算并获得天空分类器数据，并将所获得的天空分类器数据预先装载到第一分类单元13中。

第一分类单元使用的上述分类器是通过在一定量的标注好的天空像素和非天空像素上训练得到。即，在对天空分类器进行训练的阶段，先在样本图像上手工标注一些天空像素和非天空像素作为正、负样本。对每个像素点，提取一个特征矢量f_i。假定标注了n个正样本和m个负样本，令k＝n+m，则有特征矢量集F＝{f_i}，i＝1...k，以及标号集Y＝{y_i}，i＝1...k。其中y_i是f_i所对应的类别标号，定义如下：

在训练前，要先选择合适的核函数。根据本发明的一个实施例，选择计算复杂度比较低的线性核函数：

K(x_i，x_j)＝x_i·x_j

在训练过程中，训练算法从特征矢量集F中选出一特征矢量集V＝{v_i}，i＝1...nv，并且对每个特征矢量v_i，该算法都会计算出其对应的权重a_i。

在预测过程中，所采用的分类函数如下：

$\mathrm{fun}\left(v\right)=\underset{i=1}{\overset{\mathrm{nv}}{\mathrm{\Σ}}}{y}_i{a}_i*K(v_i,v)+b$

其中y_i是v_i所对应的样本标号，b是训练算法计算出的常数。

当使用线性核函数时，分类函数可改写为：

$\mathrm{fun}\left(v\right)=\underset{i=1}{\overset{\mathrm{nv}}{\mathrm{\Σ}}}{y}_i*a_i*K(v_i,v)+b$

$=\underset{i=1}{\overset{\mathrm{nv}}{\mathrm{\Σ}}}{y}_i*a_i*(v_i\·v)+b$

$=\underset{i=1}{\overset{\mathrm{nv}}{\mathrm{\Σ}}}((y_i*a_i*v_i)\·v)+b$

$=(\underset{i=1}{\overset{\mathrm{nv}}{\mathrm{\Σ}}}{y}_i*a_i*v_i)\·v+b$

$=w\·v+b$

其中w可以在预测前事先计算出来，从而节省了预测所需时间。

这样，可以针对某一特定图像采集设备而获得天空分类器数据w和b，并将上述天空分类器数据w和b预先存储在图像采集设备的第一分类单元13中，或者将其存储在第一分类单元13与之电连接并可以对其进行数据存取的特定存储器(未示出)中，供图像采集设备在进行天空检测时使用。

这样，对于输入的特征矢量v(可以是图像采集设备在拍摄过程中获得的特征矢量，例如是前述的颜色特征等)，其对应的类别标号可按如下方式预测得到：

$y_v=\left\{\begin{array}{c}1,\mathrm{fun}\left(v\right)\&GreaterEqual;0\\ 0,\mathrm{fun}\left(v\right)<0\end{array}\right.$

对于任一个图像像素，如果其对应的类别标号y_v＝1，第一分类单元13将其划分为天空像素，如果其对应的类别标号y_v＝0，则第一分类单元13将其划分为非天空像素。

根据本发明的其它实施例，其它机器学习算法也可用于训练天空分类器，例如k紧邻(k-NN)，Adaboost等等。由于上述训练算法和过程是本领域技术人员所知道的，因此这里不再进行详细描述。

下面将描述距离测量单元12的结构和操作。

图3是示出根据本发明一个实施例的距离测量单元12的结构的方框图。

距离测量单元12用于测量图像中任一像素到图像采集设备的镜头的距离。如图3所示，距离测量单元12包括图像拍摄控制单元121以及计算单元122。根据本发明的一个实施例，在用图像采集设备进行拍摄前的对焦过程中，图像拍摄控制单元121对图像采集单元10进行控制，使其用不同的对焦距离拍摄多幅图像，并将所拍摄的多幅图像发送给计算单元122。计算单元122对于图像中的每个像素，计算其在不同对焦距离下的多个对比度，得到多个对比度中的最大值所对应的对焦距离，并由该对焦距离得出该像素到镜头的上述距离。根据本发明的一个实施例，像素到镜头的上述距离可以直接采用多个对比度中的最大值所对应的对焦距离。

图4是示出了根据本发明实施例计算像素到镜头的距离的原理的图示。

如图4所示，在图像拍摄控制单元121的控制下，使用不同的对焦距离拍摄了多幅图像(示于图4左侧)，其中每幅图像中包括预定数目的像素，例如像素A、B等。对应于每个像素，使用不同的对焦距离拍摄的该像素的对比度随对焦距离变化的关系表示在图4中右侧的坐标图中，其中使用不同的对焦距离拍摄的像素A的对比度随对焦距离变化的关系用曲线a’表示，使用不同的对焦距离拍摄的像素B的对比度随对焦距离变化的关系用曲线b’表示。在曲线a’中，最高对比度所对应的横轴上的点a表示该像素A到镜头的距离，在曲线b’中，最高对比度所对应的横轴上的点b表示该像素B到镜头的距离。

图像上某个像素点的对比度为该像素点的像素值与相邻像素点的像素值的差的绝对值的和。对于像素I(x，y)，其四个邻域像素分别为I(x-1，y)，I(x+1，y)，I(x，y-1)，I(x，y+1)，则该点的对比度值为：

$\mathrm{Contrast}(x,y)=\underset{n=-\mathrm{1,1}}{\underset{m=-\mathrm{1,1}}{\mathrm{\&Sigma;}}}\mathrm{abs}(I(x+m,y+n)-I(x,y))$

当图像中一个像素点代表的被拍摄对象距离图像采集设备的镜头非常远时，在该像素点的对比度曲线上无法找到峰值点。在这种情况下，设置该像素点到镜头的距离为无限远。

通过上述方法，距离测量单元12获得所拍摄的该幅图像上所有像素点到镜头的距离的数值，形成距离图。

图5(a)-(b)是示出拍摄的图像及其距离图的图示。

如图5(a)-(b)所示，其中图5(a)给出了示例图像，而图5(b)则示出了按上述方法由距离测量单元12计算出的对应的距离图，其中无限远用INF表示。

上述获得距离及其距离图的方法不对本发明的范围构成限制，本领域的技术人员可以使用已有技术中获得像素到镜头的距离的任何方法来形成距离图。

图6是示出根据本发明一个实施例的第二分类单元的操作的图示。

如图6所示，第二分类单元14接收第一分类单元13的分类结果和在距离测量单元12中形成的该幅图像的距离图的数据，并对其中的每个像素进行判断：如果该像素在第一分类单元13中被分类为天空像素，并且在距离测量单元12中被测出的像素到镜头的距离为无限远，则将该像素设为天空像素；否则，即如果该像素在第一分类单元13中被分类为非天空像素，或者即使该像素在第一分类单元13中被分类为天空像素，但是其在距离测量单元12中被测出的像素到镜头的距离不是无限远(代表有限值)，则将该像素设为非天空像素。然后，第二分类单元14输出新的天空检测结果。图像采集设备中的例如图像形成单元(未示出)等根据第二分类单元14输出的新的天空检测结果，形成所拍摄的最终图像。

图7是示出根据本发明一个实施例的进行天空检测的方法的流程图。

如图7所示，在步骤S701，采集彩色图像信息。在步骤S702，对采集到的图像的每个像素提取颜色特征。在步骤S703，测量采集到的图像的每个像素到镜头的距离。在步骤S704，基于提取的颜色特征，将采集到的图像的每个像素分类为天空像素和非天空像素。在步骤S705，基于所测出的像素到镜头的距离和第一分类单元的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

注意，上述步骤的执行顺序不对本发明的范围构成限制，根据本发明的其它实施例，可以以任何其它顺序或者单独或者并行执行上述各个步骤。

根据本发明的一个实施例，上述步骤S701可以由图1中所示的图像采集单元10来实现，步骤S702可以由图1中所示的颜色特征提取单元11来实现，步骤S703可以由图1中所示的距离测量单元12来实现，步骤S704可以由图1中所示的第一分类单元13来实现，步骤S705可以由图1中所示的第二分类单元14来实现。

图8示出了根据本发明第二实施例的在图像采集设备中进行天空检测的装置的方框图。

如图8所示，根据本发明第二实施例的在图像采集设备中进行天空检测的装置800与根据本发明第一实施例的装置1的区别在于，在根据本发明第二实施例的装置800中增加了方向测量单元801和第三分类单元802。根据第二实施例的装置800中的其它部分，例如图像采集单元10、颜色特征提取单元11、距离测量单元12、第一分类单元13和第二分类单元14的结构、操作和功能与根据第一实施例的装置1中相同，这里不再赘述。

根据本发明的第二实施例，方向测量单元801连接于图像采集单元10，并且第三分类单元802分别连接于方向测量单元801和第二分类单元14，从方向测量单元801和第二分类单元14接收数据，并将结果输出到装置800的外部。第二分类单元14不将结果直接输出到装置1或装置800的外部，而是将其结果输入到第三分类单元802中。

根据本发明的一个实施例，方向测量单元801测量采集到的图像的方向信息。第三分类单元802基于方向测量单元801和第二分类单元14的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

方向测量单元801可以检测四种不同的图像方向：向上，向下，向左，向右，即图像的方向信息包括向上、向下、向左、和向右。本发明不限于此，方向测量单元801还可以检测图像的任何方向。

图9是示出四种不同方向的图像的图示。

如图9所示，“向上”方向的图像表示该图像中的天空在图像的上方，“向左”方向的图像表示该图像中的天空在图像的左方，“向右”方向的图像表示该图像中的天空在图像的右方，“向下”方向的图像表示该图像中的天空在图像的下方。

图10示出了根据本发明一个实施例的第三分类单元的结构的方框图。

如图10所示，第三分类单元802包括相互连接的区域生长单元8021和合并单元8022。区域生长单元8021根据第二分类单元14输出的分类结果进行区域生长，生成候选的天空区域。合并单元8022根据方向信息进行判断，其中如果该候选的天空区域包含在图像方向顶部的像素点，则将候选的天空区域中的所有像素划分为天空像素，否则将候选的天空区域中的所有像素划分为非天空像素。

具体地，区域生长单元8021接收第二分类单元14的分类结果，并在第二分类单元14的分类结果上进行区域生长，将相邻且颜色相近的像素连成候选的天空区域。合并单元8022接收从区域生长单元8021输出的候选天空区域以及方向测量单元801的测量结果，并进行判断：如果候选的天空区域包含图像方向顶部的像素点，则将候选区域中的所有像素划分为天空像素，否则，将候选区域中的所有像素划分为非天空像素。对“向左”的方向，顶部的像素点是图像最左边的点；对“向上”的方向，顶部的像素点是图像最上边的点，对“向右”的方向，顶部的像素点是图像最右边的点，对“向下”的方向，顶部的像素点是图像最下边的点。

第三分类单元802将新的天空检测结果输出到装置800的外部，以供进一步处理。例如，第三分类单元802将新的天空检测结果输出到图像采集设备中的例如图像形成单元(未示出)等，以根据第三分类单元802输出的新的天空检测结果，形成所拍摄的最终图像。

图11是示出了执行区域生长过程的示例程序步骤的图示。

如图11所示，在step1-step8(步骤1至步骤8)中，首先构建一个与图像信号同样大小的区域标号矩阵M，例如是16×16大小的矩阵，其每个元素对应图像中相应位置的像素。将M中每个元素的值初始化为0。再构建一个与图像信号同样大小的矩阵B，并根据第二分类单元14的分类结果将矩阵B中的各元素初始化为0或1。另外，初始化一个标号计数变量C为0。在生长阶段，依次处理M中的每个元素(x，y)。如果M(x，y)为0，设置M(x，y)的值为当前标号C，并将点(x，y)设置成种子点，向其邻域像素生长，当且仅当两个邻域像素(x₀，y₀)和(x_i，y_i)满足如下条件时，将它们连在一起：

b(x₀，y₀)＝b(x_i，y_i)

当从种子点(x，y)开始的生长完成时，在种子点(x，y)的邻域像素点中，具有相同的第二分类单元的分类结果的那些像素被连接在一起，并且它们的区域标号M(x，y)被设成相同的数值。当M中的所有元素都已经被赋予区域标号时，原图像被划分成C_n个区域(C_n是标号计数变量C的最终值)。

图12(a)-(b)是示出区域生长结果的示意图。

如图12(a)-(b)所示，假定第二分类单元14的输出结果矩阵B如图12(a)所示，则经过区域生长输出的区域标号矩阵M如图12(b)所示，其中C_n＝2，灰色区域是第一个区域C₀，白色区域是第二个区域C₁。

图13是示出根据本发明另一个实施例的进行天空检测的方法的流程图。

如图13所示，在步骤S1301，采集彩色图像信息。在步骤S1302，对采集到的图像的每个像素提取颜色特征。在步骤S1303，测量采集到的图像的每个像素到镜头的距离。在步骤S1304，基于提取的颜色特征，将采集到的图像的每个像素分类为天空像素和非天空像素。在步骤S1305，基于测出的像素到镜头的距离和第一分类单元的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。在步骤S1306，测量采集到的图像的方向信息。在步骤S1307，根据步骤S1305输出的分类结果和步骤S1306测量的方向信息，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

注意，上述步骤的执行顺序不对本发明的范围构成限制，根据本发明的其它实施例，可以以任何其它顺序或者单独或者并行执行上述各个步骤。

根据本发明的一个实施例，上述步骤S1301可以由图8中所示的图像采集单元10来实现，步骤S1302可以由图8中所示的颜色特征提取单元11来实现，步骤S1303可以由图8中所示的距离测量单元12来实现，步骤S1304可以由图8中所示的第一分类单元13来实现，步骤S1305可以由图8中所示的第二分类单元14来实现，步骤S1306可以由图8中所示的方向测量单元801来实现，步骤S 1307可以由图8中所示的第三分类单元802来实现。

图14是示出上述步骤S1307的进一步处理的流程图。

如图14所示，在步骤S1401，在步骤S1305输出的分类结果的基础上进行区域生长，以生成并输出候选的天空区域。在步骤S1402，结合步骤S1306输出的图像的方向信息，判断候选的天空区域是否包含图像顶部的像素点。如果步骤S1402的答复为肯定的“是”，则处理前进到步骤S1403，否则处理前进到步骤S1404。在步骤S1403，将该候选的天空区域中的所有像素划分为天空像素。在步骤S 1404，将该候选的天空区域中的所有像素划分为非天空像素。

注意，上述步骤的执行顺序不对本发明的范围构成限制，根据本发明的其它实施例，可以以任何其它顺序或者单独或者并行执行上述各个步骤。

根据本发明的一个实施例，上述步骤S1401可以由图10中所示的区域生长单元8021来实现，步骤S1402至步骤S1404可以由图10中所示的合并单元8022来实现。

需要说明的是，本发明的实施例可以通过硬件、软件、固件或它们结合的方式来实现，其实现方式不对本发明的范围构成限制。本发明实施例中的各个功能元件(单元)相互之间的连接关系也不对本发明的范围构成限制，其中的一个或多个功能元件可以包括或连接于其它任意的功能元件。

本发明可以应用于图像采集设备中的天空检测、自动白平衡等领域。

虽然上面已经结合附图示出并描述了本发明的一些实施例，但是本领域的技术人员应当理解，在不偏离本发明的原则和精神的情况下，可以对这些实施例做出变化和改变，所做的变化和改变仍然落在本发明及其等价物的保护范围之内。

Claims (12)

1.一种用于在图像采集设备中进行天空检测的装置，包括：

图像采集单元，采集彩色图像信息；

颜色特征提取单元，对采集到的图像的每个像素提取颜色特征；

距离测量单元，测量采集到的图像的每个像素到镜头的距离；

第一分类单元，基于所述颜色特征，将采集到的图像的每个像素分类为天空像素和非天空像素；和

第二分类单元，基于所述距离和第一分类单元的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

2.如权利要求1所述的装置，所述图像采集单元包括用于采集图像信号的L通道、R通道、G通道和B通道。

3.如权利要求1所述的装置，所述颜色特征提取单元提取图像的每个像素的R通道、G通道、和B通道的颜色数值作为所述颜色特征。

4.如权利要求1所述的装置，所述距离测量单元包括：

拍摄控制单元，进行控制以使用不同的对焦距离拍摄图像；和

计算单元，计算图像中每个像素在不同对焦距离下的多个对比度，得到所述多个对比度中的最大值所对应的对焦距离，并由该对焦距离得出该像素到镜头的所述距离。

5.如权利要求1所述的装置，其中所述第一分类单元使用的分类器通过在一定量的标注好的天空像素和非天空像素上训练得到。

6.如权利要求1所述的装置，其中对于所述每个像素，如果在第一分类单元中被分类为天空像素，并且在距离测量单元中测出的所述距离的值代表无限远，则将该像素分类为天空像素；否则，如果在第一分类单元中被分类为非天空像素，或者在距离测量单元中测出的所述距离的值代表有限距离，则将该像素分类为非天空像素。

7.如权利要求1所述的装置，还包括：

方向测量单元，测量采集到的图像的方向信息；和

第三分类单元，基于方向测量单元和第二分类单元的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

8.如权利要求7所述的装置，所述图像的方向信息包括向上、向下、向左、和向右。

9.如权利要求7所述的装置，所述第三分类单元包括：

区域生长单元，根据第二分类单元输出的分类结果进行区域生长，生成候选的天空区域；和

合并单元，根据所述方向信息进行判断，其中如果所述候选的天空区域包含在图像方向顶部的像素点，则将候选的天空区域中的所有像素划分为天空像素，否则将候选的天空区域中的所有像素划分为非天空像素。

10.一种用于在图像采集设备中进行天空检测的方法，包括：

图像采集步骤，采集彩色图像信息；

颜色特征提取步骤，对采集到的图像的每个像素提取颜色特征；

距离测量步骤，测量采集到的图像的每个像素到镜头的距离；

第一分类步骤，基于所述颜色特征，将采集到的图像的每个像素分类为天空像素和非天空像素；和

第二分类步骤，基于所述距离和第一分类步骤的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

11.如权利要求10所述的方法，还包括：

方向测量步骤，测量采集到的图像的方向信息；和

第三分类步骤，基于方向测量步骤和第二分类步骤的结果，进一步将采集到的图像的每个像素分类为天空像素和非天空像素。

12.如权利要求11所述的方法，还包括：

区域生长步骤，根据第二分类步骤输出的分类结果进行区域生长，生成候选的天空区域；和

合并步骤，根据所述方向信息进行判断，其中如果所述候选的天空区域包含图像方向顶部的像素点，则将候选的天空区域中的所有像素划分为天空像素，否则将候选的天空区域中的所有像素划分为非天空像素。

Images