CN101184145B - 用于影印的面部区域检测装置和校正方法 - Google Patents

Abstract

本发明公开了一种用于影印高图像质量而校正从图像数据中所检测出来的面部区域的方法。所述方法包括：图像数据输入步骤，用于将图像数据输入给图像处理装置；面部区域检测步骤，用于从输入的图像数据中提取肤色区域，并从存在面部的候选区域中检测平面面部或旋转过的平面面部；区域划分步骤，用于划分在所述面部区域检测步骤中所检测出来的面部区域；校正步骤，用于从在所述区域划分步骤中被划分的区域中提取失真数据值，并进行校正；以及影印步骤，用于实际输出最终在所述校正步骤中校正过的图像数据。在面部图像被影印机印刷之前，可以有效地校正面部图像的各种失真，从而提高图像质量。

Description

用于影印的面部区域检测装置和校正方法

技术领域

本发明涉及一种用于印刷高质量数字面部图像的图像数据处理方法，更具体地，本发明涉及用于影印的面部区域检测装置和校正方法，其是一种图像处理技术，用于从输入的图像数据中检测和分离出面部区域，并进行各种失真和颜色校正。

背景技术

本领域中众所周知的是，数字成像系统最近已被广泛使用，它们不但可以进行压缩和存储，而且还可以通过图像处理来提高和改进图像质量。

在由数字成像系统进行处理的基础上，用影印机(photoprinter)印刷数字图像时，优选是将面部图像中所存在的颜色失真或任何其他不希望的因素消除掉，从而使印刷出来的面部图像的质量比影印机自身性能所支持的质量更好。

用于影印机的这种图像处理系统已经被制造打印机和照相机的各个公司广泛研究。这方面的常规技术的普遍特征在于，面部区域是基于肤色分布和典型面部形貌被分离出来的，且分离过程之后要进行颜色校正，颜色校正的主要目的是校正红眼效应、嘴唇、肤色、头发颜色等。

然而，现有技术的一个问题在于，当面部在图像数据中发生过旋转时，则该面部不能被正确地检测。此外，虽然校正了红眼效应和由于背光所引起的肤色暗化，但却没有针对由于闪光或照明所导致的反射进行校正。当图像是按照具有较低图像质量的高压缩比进行存储时，将会产生块边界(block boundary)。

发明内容

因此，本发明是为了解决现有技术中出现的上述问题而提出的，且本发明提供用于影印的面部区域检测装置和校正方法，其中，使用与旋转无关的面部特征来提供一种用于检测面部并分离面部区域的充分旋转(rotation-robust)技术，提取/消除皮肤的反光或某个区域对照明的反射，从而复现原始颜色，并且避免了当图像按照较低图像质量的高压缩比进行存储时所出现的块形成(block-formation)。

按照本发明的一个方面，提供一种用于影印高图像质量而校正从图像数据中所检测出来的面部区域的方法，所述方法包括：图像数据输入步骤，用于将图像数据输入给图像处理装置；面部区域检测步骤，用于从输入的图像数据中提取肤色区域，并从存在面部的候选区域中检测平面面部或旋转过的平面面部；区域划分步骤，用于划分在所述面部区域检测步骤中所检测出来的面部区域；校正步骤，用于从在所述区域划分步骤中被划分的区域中提取失真数据值，并进行校正；以及影印步骤，用于实际输出最终在所述校正步骤中校正过的图像数据；其中，所述面部区域检测步骤包括：引入步骤，用于输入进行面部检测所需的彩色图像，预备步骤，用于从输入的所述彩色图像中提取肤色区域，并确定圆形的存在面部的候选区域，执行步骤，用于将所述圆形的存在面部的候选区域划分成各个部分，并基于被划分区域内的边缘投影分量的总和，提取与面部特征相符的面部候选区域；第一验证步骤，用于将由所述执行步骤所提取的所述面部候选区域划分成三个区域，并基于眼睛附近的面部亮度特征，通过滤除错误结果来验证所述面部候选区域，第二验证步骤，用于将由所述第一验证步骤验证过的所述面部候选区域划分成两个子区域：垂直区域和水平区域，获得属于所述两个子区域中垂直区域的眼睛和嘴的平均边缘分量以提供两个左/右垂直直方图，获得属于所述两个子区域中水平区域的眼睛和嘴的平均边缘分量以提供一个水平直方图，利用下述特征完成对面部区域的最终验证：所述垂直直方图具有由于眼睛附近的强边缘分量而造成的两个峰，并且所述水平直方图具有由于眼睛附近的强边缘分量而造成的在眼睛附近、水平方向对称的峰；以及从由所述第二验证步骤获得的图像推出关于面部的位置、尺寸和旋转角度的信息。

所述校正步骤包括如下步骤：从所提取的数据中提取和消除红眼效 应和全反射分量，复现与原始颜色相应的不规则反射分量，并基于二色模型(dichromatic model)来表征全反射分量和不规则反射分量；提取块边界现象，并通过滤镜来线性地消除所述块边界现象；基于亮度值分布来调整面部的亮度，并基于直方图平坦化(histogram flattening)来调整面部图像的亮度对比；以及通过低通滤镜来调整面部图像的图像质量。

所述第二验证步骤适用于只将面部的上部区域用于垂直区域和水平区域中，而眼睛就存在于所述上部区域中。

附图说明

根据下面结合附图所作的详细说明，可以更清楚地理解本发明的上述及其他目的、特征和优点。附图中：

图1是示出了本发明用于从图像数据检测面部区域并校正该面部区域的方法的流程图；

图2是示出了本发明用于检测面部区域的步骤的流程图；

图3示出了定向的圆形窗口，用于按照本发明搜索其中面部与面部旋转角度可能一起存在的候选区域；

图4和图5示出了圆形窗口，用于按照本发明验证可能存在面部的候选区域；以及

图6示出了本发明的面部区域检测过程和校正结果。

具体实施方式

下面结合附图来说明本发明的示例性实施例。在下面的说明书和附

图中，相同或相似的元件用相同的附图标记来表示，因此，将省略对相同或相似元件的重复描述。

图1是示出了本发明用于从图像数据检测面部区域并校正该面部区域的方法的流程图；图2是示出了本发明用于检测面部区域的步骤的流程图；图3示出了定向的圆形窗口，用于按照本发明搜索其中面部与面部旋转角度可能一起存在的候选区域；图4和图5示出了圆形窗口，用于按照本发明验证可能存在面部的候选区域；图6示出了本发明的面部区域检测过程和校正结果。

参照图1，为了实现具有高图像质量的影印，本发明用于从图像数据中检测面部区域并校正所述面部区域的方法包括：图像数据输入步骤(S100)，用于将图像数据输入给图像处理装置；面部区域检测步骤(S200)，用于从输入的图像数据中提取肤色区域，并从可能存在面部的候选区域中检测平面面部或旋转过的平面面部；区域划分步骤(S300)，用于划分在所述面部区域检测步骤中所检测出来的面部区域；校正步骤(S400)，用于从在所述区域划分步骤中被划分的区域中提取失真数据值，并校正所述失真数据值；以及影印步骤(S500)，用于实际输出最终在所述校正步骤中校正过的图像数据。

在面部区域检测步骤(S200)中，从图像中提取包括面部位置、尺寸和旋转方向的信息。

正面面部和接近正面的面部都被提取出来。为此，采用的是当面部相对于图像平面具有可高达360°的旋转角度时，也检测面部区域的技术。

下面参照图2更详细地说明面部区域检测步骤(S200)。使用引入单元来输入将要从其中检测出面部的彩色图像，使用预备单元来从所输入的彩色图像中提取肤色区域，以确定它是否是可能存在面部的候选区域。

肤色随着种族和个体的不同而不同。本领域中众所周知的是，如果用RGB(红、绿、蓝)色域来分析颜色分量，则每个个体将会呈现出极大差异的肤色特征，从中几乎不能找到共同特征。

然而，当将RGB信号分离成亮度信号Y以及色度信号Cb和Cr(也称为Pb和Pr)时，则肤色在Cb和Cr区域中呈现出特定的分布特征。

这可以通过按照如下方式将两个颜色区域(即，Cb区域和Cr区域)中的最大值和最小值确定为[cb_min，cb_max]和[cr_min，cr_max]来进行建模，从而找出肤色。

然而，当通过使用肤色数据进行实际建模时，颜色区域分布类似于椭圆，而不是矩形。

因此，这种椭圆区域被确定为将要找出的肤色区域。

然后，如图3～图5所示，执行单元将圆形候选区域划分成各个部分，因此，基于被划分区域内的边缘投影分量的总和，提取与面部特征相符的候选面部区域。

换句话说，基于预备单元的操作所找出的肤色区域就成为要从其中检测出面部的候选区域。其目的是找出无论是否旋转的正面面部。还要获得面部的旋转角度。

使用图3中定向的圆形窗口以便利用面部的结构特征并获得旋转角度。

参照图3，以角度方向θ将圆形窗口划分成各个区域，并比较每个区域中的平均分量。这些分量指图像中的眼睛和嘴的边缘值。

换句话说，当以角度方向θ获得各分量时，就出现了面部所特有的边缘分量特征。这意味着边缘分量密集地分布在眼睛和嘴附近。

以直方图的形式来描述这种特征，且面部的旋转角度可以通过简单地向左/向右移动直方图来获得。所得到的直方图与上面提到的面部结构特征相符。

此外，使用旋转角度区域直方图来找出面部并获得旋转角度。

然而，这种过程自身可能导致错误检测，即，可能会将其他部分错误地检测为面部。这是因为，自然图像经常具有类似于面部所特有的旋转角度区域直方图的分量。

因此，按照本发明，候选面部区域经受第一和第二验证单元的验证，从而去除不是面部的部分。

参照图4，第一验证单元将由执行单元所获得的每个候选区域划分成三个区域，并基于眼睛附近的面部亮度特征进行验证，从而滤除不适当的候选区域。

换句话说，第一验证单元采用图4所示的划分窗口，从而防止当执行单元仅基于旋转角度分量搜索面部时可能会出现的检测错误。由于执行单元已经获得了旋转角度，因此，将图4所示的划分窗口旋转与该角 度相同的角度，然后应用于候选面部图像。

从图4可以清楚地看出，圆形窗口具有三个对称区域(0，1和2)。考虑到眼睛周边会呈现暗色，因此利用眼睛附近的亮度特征。

具体地，基于眼睛区域(1，r2)和眼睛附近区域(0，r3，2和e1)的亮度特征来划分面部候选区域，从而确定它们是否与面部特征相符。

还利用了眼睛区域(1，r2)的左/右对称。以这种方式，比较六个区域的总亮度，从而找出与面部特征相符的候选区域并去掉其他候选区域。

如图5所示，第二验证单元以横轴和纵轴的方式划分每个区域。然后，第二验证单元获得与每个区域相应的亮度分量的总和，沿水平方向和沿垂直方向提取特征，将它们与面部特征比较，并最终验证已经在执行单元和第一验证单元中得以通过的面部候选区域。

更具体地，对已经在第一验证单元中得以通过的面部候选区域进行第二验证。这就意味着，虽然有相当数量的候选区域已在第一步骤中被滤除，但随后还采用另一验证步骤以达到更高的滤除水平。为此，如图5所示使用了两个圆形子窗口。

沿垂直方向划分出区段R/σ，并将属于该区段R/σ的眼睛和嘴的图像边缘分量取平均，从而获得相应的直方图(左直方图和右直方图)。

然后，沿水平方向划分出区段R/σ，并将属于该区段R/σ的眼睛和嘴的图像边缘分量取平均，从而获得相应的直方图。在这种情况下，不使用位于嘴附近的面部下部区域，而是使用位于眼睛附近的上部区域。

在垂直直方图的情况下，使用如下事实进行验证：这两个垂直直方图在特征上具有由于眼睛和嘴附近的强边缘分量而造成的两个峰。

还使用了这两个垂直直方图必须具有对称特征这一事实。最后，在水平直方图的情况下，眼睛附近的强边缘分量要求该水平直方图具有眼睛附近的一个峰，并且在水平方向上是对称的。这些特征用来完成最终的验证步骤。

使用推演单元来推出关于已经在执行单元、第一验证单元和第二验证单元中得以通过的最终面部区域的信息(位置、尺寸和旋转角度)。 该信息用于其他成像工作。

本发明的校正步骤(S400)按照如下方式进行。

首先，消除红眼效应。具体地，在被检测的面部区域中将眼睛定位，并确认是否出现了红眼效应。本领域中广泛知道的是，在照明之下当瞳孔反射光线并呈现红色时，就出现了红眼效应，且红眼效应是面部图像中很常见的失真因素之一。

按照本发明，定位了被检测的眼睛之后，确认它们是否呈现为红色，如果呈现为红色，则去除红色分量，从而使瞳孔呈现为黑色。

然后，进行照明反射分量去除和校正步骤。通常，颜色信息可以被表征成全反射分量和不规则反射分量的线性组合。

不规则分量对应于目标表面的原始颜色，而全反射分量对应于由于周围照明所造成的反光。

全反射分量是由于对照明的强反射而导致的，结果是，颜色信息(即，不规则反射分量)被部分丢失。具有强的全反射分量的面部部分包括眼镜、前额和眼睛。整个面部皮肤也可能反光。

本发明采用常规的二色反射模型来分离全反射分量和不规则反射分量，并通过评估原始颜色信息来校正具有严重全反射的图像区域。

然后，进行块边界去除步骤。诸如JPEG等图像压缩方案是基于块的，而且，在具有较低图像质量的高压缩比的情况下，被压缩的图像具有明显的块边界。

因为这种块边界现象在视觉上不受欢迎，因此，本发明在影印之前就检测块边界并用常规的清除滤镜将它去除。

然后，校正由于背光所引起的皮肤暗化。具体地，在背光、黑暗环境或光线流入过量的情况下，面部图像容易变得太暗或太亮。结果是，面部区域的亮度对比变差了。

因此，测量被检测的面部区域的亮度分布，而且，如果它太暗或太亮，就使用常规的直方图均衡化技术(histogram uniforming technique)，从而增大面部区域的亮度对比并提高其图像质量。

最后，进行斑点去除步骤，从而使得例如前额或脸颊的图像优选呈现为光滑和平整。

具体地，如果面部有很多斑点或者如果所获得的图像有严重的干扰，则将它们有效地去除是很重要的。为此，按照本发明，相应的面部区域(例如前额或脸颊)受到低通滤镜的处理，从而去除干扰和斑点。

从图6可以清楚地看出，从图像数据检测出面部区域并进行校正之后，面部图像的质量被提高了(即，它变得更亮了)。

如上所述，本发明的优点在于，在面部图像被影印机印刷出来之前，去除面部区域中所存在的颜色失真分量(包括干扰)，从而提高图像质量并提供更优良的令人满意的面部图像。

此外，本发明的图像处理使得不必改变影印机的功能就可以印刷出较好的图像，并可以提高调色剂的色彩表现。具体地，消除面部图像中包括的红眼效应、块边界现象、反射和反光等的明显失真，从而使面部图像可以被正确地印刷。肤色校正功能和低通滤镜也能确保较好的面部图像。可以将需要熟练操作的一系列图像处理步骤自动化，从而任何人都能容易地印刷出更好的面部图像。

虽然出于说明目的描述了本发明的示例性实施例，但本领域技术人员应该理解，在不脱离所附权利要求书公开的本发明精神和范围的情况下，可以进行各种修改、添加和替换。

Claims (3)

1.一种用于影印高图像质量而校正从图像数据中所检测出来的面部区域的方法，所述方法包括：

图像数据输入步骤，用于将图像数据输入给图像处理装置；

面部区域检测步骤，用于从输入的图像数据中提取肤色区域，并从存在面部的候选区域中检测平面面部或旋转过的平面面部；

区域划分步骤，用于划分在所述面部区域检测步骤中所检测出来的面部区域；

校正步骤，用于从在所述区域划分步骤中被划分的区域中提取失真数据值，并进行校正；以及

影印步骤，用于实际输出最终在所述校正步骤中校正过的图像数据；

其中，所述面部区域检测步骤包括：

引入步骤，用于输入进行面部检测所需的彩色图像，

预备步骤，用于从输入的所述彩色图像中提取肤色区域，并确定圆形的存在面部的候选区域，

执行步骤，用于将所述圆形的存在面部的候选区域划分成各个部分，并基于被划分区域内的边缘投影分量的总和，提取与面部特征相符的面部候选区域；

第一验证步骤，用于将由所述执行步骤所提取的所述面部候选区域划分成三个区域，并基于眼睛附近的面部亮度特征，通过滤除错误结果来验证所述面部候选区域，

第二验证步骤，用于将由所述第一验证步骤验证过的所述面部候选区域划分成两个子区域：垂直区域和水平区域，获得属于所述两个子区域中垂直区域的眼睛和嘴的平均边缘分量以提供两个左/右垂直直方图，获得属于所述两个子区域中水平区域的眼睛和嘴的平均边缘分量以提供一个水平直方图，利用下述特征完成对面部区域的最终验证：所述垂直直方图具有由于眼睛附近的强边缘分量而造成的两个峰，并且所述水平直方图具有由于眼睛附近的强边缘分量而造成的在眼睛附近、水平方向对称的峰；以及

从由所述第二验证步骤获得的图像推出关于面部的位置、尺寸和旋转角度的信息。

2.如权利要求1所述的方法，其中，所述校正步骤包括如下步骤：

从所提取的数据中提取和消除红眼效应和全反射分量，复现与原始颜色相应的不规则反射分量，并基于二色模型来表征所述全反射分量和所述不规则反射分量；

提取块边界现象，并通过滤镜来线性地消除所述块边界现象；

基于亮度值分布来调整面部的亮度，并基于直方图平坦化来调整面部图像的亮度对比；以及

通过低通滤镜来调整面部图像的图像质量。

3.如权利要求1所述的方法，其中，所述第二验证步骤适用于只将面部的上部区域用于垂直区域和水平区域中，而眼睛就存在于所述上部区域中。

Images