CN102291520A - 图像处理方法和图像处理设备 - Google Patents

Abstract

为了在执行图像的图像校正时精确地确定面部区域，像素被设定为面部区域的起点，然后，其中肤色从所述起点连续的像素被搜索，且已经被搜索到的像素被链接以便生成用于图像的肤色遮罩。同时，生成用于椭圆区域的椭圆遮罩，所述椭圆区域包括面部区域并且根据距其中心的距离被加权，且椭圆遮罩与肤色遮罩组合以便生成指示校正区域的复合遮罩。

Description

图像处理方法和图像处理设备

本申请是申请日为2007年5月25日、申请号为200710104586.6、发明名称为“图像处理方法和图像处理设备”的发明专利申请的分案申请。

技术领域

本发明涉及一种图像处理方法和图像处理设备，特别涉及一种其中检测图画图像中人的面部区域并且在其上执行校正的图像处理方法和图像处理设备。

背景技术

由于近年来数码相机的普及和打印机能力的改进，对于普通使用者而言，增加了在他们自己的家中打印出他们捕获的图像的机会。然而，按照捕获的图像的原样打印出捕获图像的使用者不能够获得与由专业商家提供的显影、打印和放大或DPE服务、或在线打印服务的图像质量相等同的图像质量。原因在于：利用DPE和在线打印服务，打印是在对使用者所捕获的图像进行适当的校正后进行的。

用于在捕获的图像中进行校正的特别普通的目标是图像中的人物，且执行校正从而图像中的人物以精细的细节被再现。例如，如果图像是逆着背光捕获的，那么就进行背光校正，且进行所述校正以便实现用于人物的满意的肤色。

这种校正结果也能够通过商业上可得到的应用获得。所述商业上可得到的应用包括能够提供跨越很宽范围的元素的校正功能的应用，所述元素包括亮度、对比度、色调、色饱和度等。通过组合和执行这些校正项目，能够实现与由DPE和在线打印服务完成的校正相等同的校正。然而，对于普通使用者，完成诸如这些校正的复杂校正任务是困难的。

结果，已经提出了用于自动完成与图像校正相关的校正的方法，这种图像校正着重于图像中的人物。

例如，这样的技术是已知的：其中人物的肤色区域或面部区域从图像信号检测，且亮度校正、颜色校正和孔径校正仅在检测的区域上进行，例如参见日本未审查专利公开No.6-121332和11-146405。采用这些技术，利用肤色检测进行区域提取，以便确定面部检测和要被校正的区域。

此外，颜色校正技术是已知的，其中作为包括人面部和皮肤区域的照片图像的数字式图像数据，，经历颜色校正，从而人的面部和皮肤区域的颜色被校正为自然颜色，并且对于整个图像也实现了很好的颜色平衡，例如，参见日本专利未审查公开No.2002-044469。

此外，这样的方法是已知的：其中图像中的面部区域被检测且来自面部区域的皮肤的颜色分量被指定，从而仅限于这些面部区域进行校正，并且仅在那些颜色分量上进行校正，例如，参见日本专利未审查公开No.2004-303193。

然而，这些传统的用于图像中人的自动校正技术具有下列问题。

在其中检测肤色区域的方法中，如日本专利未审查公开No.6-121332和No.11-146405，定义人的肤色已经很困难。特别地，已经存在的问题是：当要被校正的图像中存在偏色或在背景中存在也被检测和经受校正的肤色部分时，检测是不可能的。而且，对于面部区域，由于阴影等因素，存在颜色(主要是亮度)的剧烈变化，并且难以均匀地指定整个面部的肤色。

此外，在其中获得整个图像的色平衡的方法中，诸如日本专利审查公开No.2002-044469中描述的方法，存在这样的问题：限制于面部区域的校正无法执行，因为整个图像的颜色经历校正。

此外，在其中执行仅限于面部区域的校正的方法中，例如日本专利未审查公开No.2004-303193中描述的方法，存在的问题是：当面部附近的背景类似于从面部区域确定的肤色时，校正也延伸到背景区域。

同样，一些商业上可得到的应用设有能够自动指定区域的功能。利用这种应用，要被校正的区域典型地从由使用者指定的点延伸，经受颜色分量相同或者颜色分量的差别在预定范围内的条件。然而，由于面部不是平坦表面，因此存在其中相对剧烈的颜色变化发生在所捕获图像中的区域。结果，用于指定要被校正的区域的方法不能够精确地单独指定面部区域的范围，除非作为一个条件的颜色分量的差别小，并且大量的点被指定。

发明内容

提出本发明的示例性实施例，该实施例使得容易设定用于图像中的面部区域的适当校正范围，以便执行图像校正。

根据本发明的示例性实施例的用于处理图像的方法包括：通过将面部区域中的某个像素设定为起点的情况下，搜索其中肤色是连续的像素来决定图像中的校正区域；和，在所决定的校正区域上执行图像校正处理。

根据本发明的示例性实施例的图像处理设备包括：校正区域决定单元，所述校正区域决定单元被配置为在通过将面部区域中的某个像素设定为起点的情况下，搜索其中肤色是连续的像素来确定图像中的校正区域；和，校正单元，所述校正单元被配置为在所决定的校正区域上执行图像校正处理。

从下面结合附图对示例性实施例的描述中，本发明的进一步的特点将变得更加明显。

附图说明

在此并入并构成本说明书一部分的附图示出了本发明的各实施例并且与描述一起用于解释本发明的原理。

图1是示出根据本发明示例性实施例的图像校正处理的流程图；

图2示出了根据所述示例性实施例的面部检测处理的一个例子；

图3是示出根据所述示例性实施例的遮罩(mask)生成处理的流程图；

图4示出了根据所述示例性实施例的面部检测结果和处理区域的关系；

图5示出了根据所述示例性实施例的面部检测结果和处理区域的关系；

图6示出了根据所述示例性实施例在计算肤色参考值时分割面部区域的例子；

图7示出了根据所述示例性实施例在计算肤色参考值时分割面部区域的例子；

图8是描述根据所述示例性实施例的用于计算肤色参考值的算法的图；

图9是描述根据所述示例性实施例的在执行肤色遮罩生成时的算法的图；

图10是描述根据所述示例性实施例的在执行肤色遮罩生成时的算法的图；

图11是描述根据所述示例性实施例的区域延伸方法的图；

图12是描述根据所述示例性实施例的基于最小二叉树方法的图像分割的图；

图13示出了根据所述示例性实施例的椭圆形遮罩和面部检测区域的关系；

图14示出了根据所述示例性实施例在椭圆形遮罩中的加权值的变化；

图15是示出根据所述示例性实施例的图像校正处理的流程图；

图16示出了根据所述示例性实施例的图像校正结果的一个例子；

图17是示出了其中安装有所述实施例的计算机的基本构造的框图。

具体实施方式

下面参考附图基于本发明示例性实施例详细描述本发明。需要注意的是，下述实施例中示出的任何结构仅仅是示例，本发明不限于图中示出的结构。

在本发明的示例性实施例中描述的处理主要通过计算机中的打印机驱动器软件实现，所述软件产生用于输出到打印机引擎的图像信息。此外，也允许将所述处理内部安装作为用于运行诸如扫描仪等的光学读取装置的驱动器软件或应用软件。另外，也允许将所述处理内部安装作为复印机、传真机、打印机主单元等内的硬件或软件。

下面是根据该示例性实施例的校正处理的概要的描述。图1是示出根据本实施例的图像校正处理的流程图。在该图中，前缀为“S”的步骤号与处理相关，而前缀为“D”的数据号与数据相关。

首先，在步骤S101，输入作为用于处理的目标的图像。在本实施例中输入的图像已经由使用者在支持本实施例的应用(未示出)中选择。选择的图像被转换成用于内部处理的数据格式。由数码相机等捕获的图像数据通常以JPEG格式被压缩。因此，以JPEG格式被压缩的数据被解码并且产生原始图像数据D1。需要注意的是，在本实施例中作为用于处理的目标的图像数据格式并不限于JPEG，诸如BMP和TIFF(或标签图像文件格式)的其他图像格式也能够得到支持。

根据本实施例，在图像输入时可以为输入图像指定校正强度。这里指定的值被存储为校正强度指定参数D8，并且在校正期间被参考。

在步骤102中，在原始图形数据D1上执行面部检测处理，并且其结果存储为面部坐标数据D2。下面详细描述面部检测处理和面部坐标数据D2。

在步骤S103，确定是否已经在原始图像数据D1中检测到面部区域。如果没有检测到面部区域，处理结束。如果已经检测到面部区域，程序进行到步骤S104，并且产生遮罩数据(复合遮罩D7，下面参考图3进行描述)，以便判定其中校正将被在检测到的面部区域上进行的区域。

在步骤S105，图像校正处理基于在步骤S104中产生的遮罩数据执行，以便产生校正的图像数据D3，所述校正的图像数据D3然后存储在存储器(未示出)中。

在步骤S106，确定校正处理是否已经在所有的面部区域上完成。如果存在还没有被校正的任何面部区域，则程序进行到步骤S104，并且步骤S104和S105的遮罩生成处理和图像校正处理被重复执行，直到所有面部区域上的校正已经完成。

下面是在步骤S102中执行的面部检测处理的详细描述。面部检测处理在原始图像数据D1上进行，其检测目标是面部或构成面部的器官，即眼睛、鼻子、嘴、轮廓等的位置。目前存在许多用于执行此检测的已知方法。

例如，在日本专利未审查公开No.2002-183731中，眼睛区域首先在输入图像中被检测，且其附近被设定为面部候选区域。每个像素的亮度梯度和亮度梯度的权重然后对于面部候选区域被计算。当各值与预定的理想面部参考图像的亮度梯度和亮度梯度的权重相比较时，在每个亮度梯度之间的平均角度小于或等于预定阈值的情况下，确定输入图像具有面部区域。

同样，根据日本专利未审查公开No.2003-30667，通过首先从图像检测肤色区域，然后检测肤色区域内的人虹膜颜色像素，从而来检测眼睛位置。

根据日本专利未审查公开No.8-63597，在多个模板之间计算符合程度，每个模板都具有人面部的形状和图像。具有最高符合程度的模板被选择，如果符合程度大于或等于预定阈值，所选择的模板内的区域被作为面部候选区域。由此可通过使用相同的模板检测眼睛位置。

根据日本专利未审查公开No.2000-105829，鼻子图像图案首先被设定为模板，并且图像中的整个图像或指定区域被扫描，具有最佳匹配的位置被输出作为鼻子位置。接下来，从图像中鼻子的位置向上的区域被认为是眼睛存在的区域，且眼睛图像图案被设定为模板，从而通过扫描眼睛存在于其中的区域来执行匹配，由此获得用于眼睛存在的候选位置的集合，所述候选位置集合是符合度超过某一阈值的一组像素。另外，包括用于眼睛存在的候选位置集合的连续区域被分割为群集，且计算每个群集和鼻子位置之间的距离。因此，通过确定其间具有最短距离的群集是眼睛存在其中的群集，能够检测器官位置。

用于检测面部和器官位置的其他几项技术都是已知的。例如，已经提出了日本专利未审查公开No.8-77334，No.2001-216515，No.5-197793，No.11-53525，No.2000-132688，No.2000-235648，No.11-250267，和日本专利No.2541688。上述技术中任何一个或使本发明能够被实践的任何其他技术都可以使用，以便实施本实施例。

根据本实施例，当获得原始图像数据中人的面部区域的坐标时，结果被存储作为面部坐标数据D2。然而，本实施例中的面部坐标数据D2由指示面部区域的矩形区域的四个顶点的坐标定义，使得本发明能够被实践的任何结构都适用。

图2示出了根据本实施例的面部检测处理的例子。在图2中，存在靠近图像中心的人面部，且其面部区域201被显示为矩形区域。面部区域201由四个点204，205，206和207的坐标指示，所述四个点分别指示矩形区域的左上点，右上点，左下点和右下点。此后，所述坐标被分别给定为(x1，y1)，(x2，y2)，(x3，y3)和(x4，y4)。

图2中图像的坐标使用左上点作为原点，且X轴在水平方向上，Y轴在垂直方向上。结果，面部区域的宽度W和高度H能够由下面的公式计算：

$W=\sqrt{{(x2-x1)}^2+{(y2-y1)}^2}$

$H=\sqrt{{(x3-x1)}^2+{(y3-y1)}^2}$

使用这个面部检测处理可以在单组图像数据中检测多个面部区域。根据本实施例，所有的面部检测结果都存储为面部坐标数据D2。需要注意的是，虽然对于器官检测处理没有说明具体的例子，但是还可以存储后面将要使用的、指示诸如眼睛、嘴和鼻子的器官的坐标。

下面是步骤S104的遮罩生成处理的描述。

当在步骤S102从原始图像数据检测到面部区域时，进行遮罩生成处理。图3是示出根据本实施例的遮罩生成处理的流程图。如该流程图所示，根据本实施例的遮罩生成处理被划分成肤色遮罩生成处理、椭圆遮罩生成处理和其中生成的遮罩被组合的遮罩复合(composition)处理。下面给出这些处理中的每一个处理的描述。

用在肤色遮罩生成处理中的肤色决定表D0预先被准备。为了生成肤色决定表D0，首先，准备其中人的面部被捕获的图像的数据库。此时，该图像数据库被构造为具有许多与人有关的条件，如种族、性别和年龄，以及具有与图像捕获相关的条件，如照明和视角。

图像数据被生成，其中图像数据库中只有面部的皮肤部分被收集且颜色空间转换成色调、强度和饱和度(或HIS)，颜色空间，以及皮肤区域中亮度、色调和饱和度的分布被检查。肤色决定表D0是通过将人的皮肤的亮度、色调和饱和度存在其中的坐标的分布以表格形式存储而生成的。

作为肤色遮罩生成处理的一部分，在步骤S201中计算肤色参考值D4。肤色参考值D4包括指示检测的面部区域中颜色分量的分布的数据。图4示出了用于计算肤色参考值D4的方法。

在图4中，矩形面部区域401被检测到，且其宽度和高度分别给定为W和H。在本示例中，W和H的较大者被限定为D，且以面部区域401为中心布置的、具有边长为2×D的方形区域被设定为后面将要处理的处理区域402。而且，将面部区域401的中心点用作参考设定圆形区域403，该圆形区域403具有半径r＝D/2。

需要注意的是，图4示出了不具有倾斜度的面部区域401的例子，而图5示出了具有倾斜度的面部区域501的例子。根据本示例，为了在面部区域如图5所示具有倾斜度时简化计算，处理区域502设定为不具有倾斜度，且使用与如图4所示的方法相同的方法设定圆形区域503。

图4示出的圆形区域403中的像素与肤色决定表D0相比较，以便计算被确定为指示肤色的像素的平均值，且得到的平均值被存储为肤色参考值D4。对于R(红色)、G(绿色)、B(蓝色)、H(色调)、S(饱和度)和I(强度)分量，分别计算肤色参考值D4。

当整个圆形区域403的平均值在此按原样被用作肤色参考值D4时，在确定肤色区域和图像校正处理中，可能发生不适当的处理结果。问题是由其中颜色轻微改变的区域和其中颜色剧烈变化的区域引起的，因为阴影等的影响在面部区域401内被混合在一起。结果，根据本实施例，为了反映面部区域内颜色的变化，圆形区域403被分割成多个区域，且在此通过计算平均值来计算反映颜色改变的肤色参考值D4。

现在将描述用于计算反映圆形区域403内的颜色变化的肤色参考值D4的方法。例如，如图6所示，圆形区域403被分割成上下半圆(403a)和左右半圆(403b)，且它们的平均值分别被给定为Tave，Bave，Lave和Rave。需要注意的是，用于分割圆形区域403的方法并不限于图6示出的例子。例如，分割可以实施为以上下左右为中心的90度扇形区域(403c)，如图7所示。

图8是描述用于由在圆形区域403内被分割的四个区域的平均值Tave，Bave，Lave和Rave计算肤色参考值D4的方法的图。在该图中，水平轴表示图像的X或Y轴，且垂直轴表示肤色参考值D4的值。此外，当从X轴方向和Y轴方向看时，图8中的水平轴与图4中的处理区域402对应。

下面是仅与X轴方向有关的描述，其中圆形区域403的左半圆的平均值Lave和右半圆的平均值Rave分别设置在距圆形区域403中心距离为直径D的p倍处，即，设置在距离p×D处。由此，表示从图8中X轴上的原点到Lave坐标的距离的d1，和表示Lave坐标与Rave坐标之间的距离的d2定义如下：

假定0≤x＜2D，0≤y＜2D，0≤p≤0.5，

d1＝(1-p)×D，d2＝D×p...(1)

需要注意的是，上述公式中的p是预定值且能够任意指定，并且其规范可以为：d1是到图6中示出的半圆或图7中示出的扇形区域的质心坐标的距离。

在X轴方向上x＝d1，x＝d1+d2的肤色参考值D4的值分别是Lave和Rave，且在Y轴方向上y＝d1，y＝d1+d2的肤色参考值D4的值分别是Tave和Bave。因此，图8示出的部分Sx和Sy分别由下面的公式表达：

Sx＝Lave-(Rave-Lave)×(d1/d2)...(2)

Sy＝Tave-(Bave-Tave)×(d1/d2)...(3)

结果，用于处理区域402内的坐标(x，y)的肤色参考值D4由下列公式限定，其中考虑了上述分割的区域内的颜色变化。即，得到考虑了X轴方向上的颜色变化的肤色参考值和考虑了Y轴方向上的颜色变化的肤色参考值的平均值：

肤色参考值 $(x,y)=\frac{\mathrm{Sx}+\frac{\mathrm{Rave}-\mathrm{Lave}}{d_2}\×x+\mathrm{Sy}+\frac{\mathrm{Bave}-\mathrm{Tave}}{d_2}\×y}{2}$

...(数值表达式1)

根据本实施例，在处理区域内检测肤色区域，以便生成用于处理区域的肤色遮罩。因此，当肤色参考值D4在步骤S201被计算时，区域延伸的起点的坐标在步骤S202被确定，以便生成肤色遮罩。换而言之，这里确定的起点是在处理区域内表达参考肤色的像素，且通过从该起点延伸肤色区域，能够生成适当尺寸的肤色遮罩。

下面是参考图9和图10对用于在步骤S202内设定区域延伸起点的方法的描述。图9示出了其中面部区域901不具有倾斜度的情况，而图10示出了其中面部区域1001具有倾斜度的情况。在图9和图10中，处理区域902和1002被设定用于面部区域901和1001。处理区域902和1002是方形区域，该方形区域具有以面部区域901和1001为中心布置的边长2×D。D是面部区域901和1001的宽度W和高度H中较大者的值。根据本实施例，尽管面部区域1001具有倾斜度，参考图11解释的下面的处理通过将处理区域1002设定为不具有倾斜度而简化。

需要注意的是，根据本实施例，区域延伸起点通过与图9和图10中相同的方法确定，因此，在下面的描述中图9被用作例子。

在图9中，区域延伸起点903被设定在多个位置，如面部区域901内的白圆所示。需要注意的是，例如，区域延伸起点903设定在面部区域901的内部和外周边上。

作为起点的具体设定方法，可以想到多种设定方法，例子包括起点仅设定在面部区域901的中心点上，或设定在面部区域901的每个边的中间点上，或两种方法的组合。需要注意的是，所述起点并不限于面部区域的内部和外周边，而可以设定在面部区域的任何附近处。

当用于区域延伸的起点坐标以这样的方式被设定时，在步骤S203执行肤色遮罩生成。即，相同肤色的区域通过基于每个起点903进行区域延伸而被确定，且肤色遮罩根据这些区域被生成。

下面是根据本实施例参考图11对用于区域延伸的算法的描述。图11示出了与应用于图像数据的、根据本实施例的区域延伸方法相关联的处理步骤。在图11中，图像区域1101包括8×8个像素且由粗线1103包围在其中的像素具有相同的属性。在本实施例中，术语“属性”可以指色调、饱和度、亮度或另一评估量。

在本例中与8×8个像素数量对应、尺寸均匀的、包括遮罩数据的区域，如图像区域1101，被单独地准备，且区域内的所有值都被初始化为0。在步骤1中指定起点1102。此时，“1”存储在与遮罩数据中的起点1102相对应的位置。

在步骤2中，确定在起点1102的上下左右四个点处的像素是否具有相同的属性，且“1”存储在与被确定为相同的像素对应的遮罩数据位置内，如图中对角线所示。类似地，对于在步骤2中被确定为具有相同属性的像素，在步骤3中确定在其上下左右四个点处的像素是否具有相同的属性，且“1”存储在与被确定为相同的像素相对应的遮罩数据位置内。

通过重复上述处理，如步骤4和5所示，其中“1”被存储的像素(即被遮罩的区域)被延伸，且当没有区域将被延伸时处理终止。结果，生成遮罩数据，使得与在图像区域1101内具有相同属性的像素组相同的形状被遮罩。

根据本实施例，在步骤S202内将肤色的像素指定为区域延伸的起点使得肤色遮罩D5将在步骤S230生成。需要注意的是，根据本实施例，肤色遮罩D5的尺寸设定为与处理区域902相同，且遮罩数据被写入为“255”，而不是“1”。

更具体而言，对于被初始指定的起点的肤色参考值D4，以及起点上下左右的围绕像素，它们各自的H、I和S值的差别被计算为误差。如果所述误差在预定的范围内，则“255”存储在与该像素对应的肤色遮罩D5内。

通过重复上述处理，从所有起点开始的区域延伸被完成。需要注意的是，对于在处理区域902外部的像素，区域延伸被设定为不被执行。

理想的肤色遮罩利用上述区域延伸处理被生成。然而，存在这样的情况：当仅将面部区域901的中心点、或面部区域901的每个边的中间点或它们的组合用作区域延伸用的起点时，肤色遮罩D5不能够覆盖整个面部。原因是：例如当面部图像是佩戴眼镜的面部图像、或当在面部区域901内发生了阴影时，不能够维持肤色的连续性。

在佩戴眼镜的面部的图像的情况下，区域延伸在眼镜的框缘处停止，因此区域延伸不能够进行到被眼镜的透镜覆盖的皮肤的区域。结果，对于被眼镜的透镜覆盖的皮肤的区域，不生成肤色遮罩。

结果，根据本实施例，添加不同于面部区域的中心点和外周边上的点的起点。例如，如图9所示，基于面部区域901的左上部，在线Y＝H×(3/8)(其中X＝W×(n/8)，n＝2，3，5和6)的线上的四个点被设定为起点。这四个起点被布置在眼镜框缘的附近或眼镜的内部。通过将所述起点设定在眼镜框缘的内部，对于被眼镜的透镜覆盖的皮肤的区域，能够进行区域延伸。通过将起点设定在眼镜的框缘的附近，对于眼镜之间的肤色区域，也能够可靠地生成肤色遮罩。

应当注意，眼镜能够从图像检测到，从而起点可以设置在眼镜的附近或眼镜的内部。

此外，能够被添加的起点并不限于本示例，只要所述点在面部区域的中心点和面部区域的外周边上的点之间，对于点的位置或数量就没有特别的限制。

此外，作为在面部区域901上执行面部器官检测的结果，通过将起点设定在每个器官的边缘点或邻近点上，可以进一步改善肤色遮罩D5的精度。在本示例中，“每个器官”是指眼睛，鼻子，嘴等等。

而且，当设定在面部区域901内的起点的颜色不处于距肤色参考值的预定范围内时，起点被确定为是不合适的。在这种情况下，不使用所述起点，或者通过使用新起点能够消除所述不合适的起点，所述新起点具有在距离上最接近该起点和接近肤色参考值的像素的坐标。

另外，也可由使用者指定起点。在这种情况下，按照使用操作笔在显示的图像上的面部区域标记合适的肤色部分的方式，能够将期望的肤色设定为起点。

通过基于起点的区域延伸检测的皮肤区域904可包括虫迹形式的孤立的像素。这可能造成的问题是：像素将不被遮罩。根据本实施例进一步执行肤色遮罩D5的最优化，以便解决此问题。

具体地，孤立点的去除是通过在肤色遮罩D5的遮罩信息上执行平滑处理完成的。肤色遮罩D5的数据被顺序搜索，且计算所关心的坐标周围的遮罩数据的平均值。当所关心的坐标的遮罩数据为零时，即，当确定为不是皮肤区域904时，如果周边坐标的遮罩数据的平均值大于或等于预定阈值，那么所述平均值就存储在所关心的坐标的遮罩数据内。

在获得所关心的坐标的周边区域的平均值的过程中，用于周边区域的范围可以无需特别地设定。将允许采用由面部区域901的尺寸计算的值。例如，利用常数c计算的用于指定面部区域901的尺寸D和W的比率D/c可以用作周边区域的尺寸。通过以这样的方式设定周边区域的尺寸，作为平滑的结果，根据面部区域901的尺寸，能够进行孤立点的去除。

此外，根据本实施例的用于区域延伸的方法并不限于图11所示的示例，其他图像群集技术也可以用作检测皮肤区域904的方法。例如，可以使用基于最小二叉树方法的图像群集。

下面是参考图12对基于最小二叉树方法的区域延伸的描述。在图12中，作为目标的图像数据1201包括5×5个像素，其中每个像素包括0和3(包括本数)之间的值。当图像数据1201被表达为最小二叉树时，通过链接具有相同值的像素，而且通过仅在一个位置将被链接的像素与不同值的像素的链接相接合，整个图像的链接被表达为由数字1202所示。通过使用最小二叉树表达1202，例如可以从设定为起点的像素1203进行具有相同值的像素集1204的简单搜索。根据本实施例，与图11中所示的区域延伸方法中一样，通过使用最小二叉树方法的原理，能够由此获得皮肤区域904。

如上所述，考虑肤色的连续性，根据本实施例的肤色遮罩D5被生成为指示合适校正范围的遮罩。

根据本实施例，在肤色遮罩生成的同时，在步骤S204生成椭圆遮罩D6。根据本实施例的椭圆遮罩D6被生成以便将图像校正区域保持在距面部区域预定距离的范围内。下面是参考图13和14对用于生成椭圆遮罩D6的方法的描述。

图13是描述其中椭圆区域被设定用于面部区域的方法的图。具有长轴H×2和短轴W×1.5的椭圆区域1302被设定用于宽度为W和高度为H面部区域1301。需要注意的是，长轴和短轴的值并不限于此示例，对于这些值，只要是容纳面部区域的尺寸就足够了。椭圆区域1302变成椭圆遮罩D6，并且对于区域内的遮罩值，每个值被设定为使得255被存储在中心部分内，且随着距中心更远移动，其他值朝着椭圆的周边区域接近零。需要注意的是，在椭圆区域1302中的任意点内的椭圆遮罩D6的值并不限于所示示例，对于所述值，只要它们设定为距椭圆区域1302的中心距离越远变得越小就足够了。

图14示出了其中遮罩值设定在椭圆区域1402内的示例。具体地，示出了其中椭圆遮罩D6的值在距离从中心到半径的80％的区域内和在超过半径的80％的区域内设定到255的例子，椭圆遮罩D6的值经历单调减小，以便在椭圆的周界处变为零。图14中示出的椭圆区域1402与图13中示出的椭圆区域1302相同。椭圆区域1402下面和到椭圆区域1402左侧的图分别示出了在椭圆区域1402的长轴和短轴上横截面处的遮罩值。因此，基于椭圆区域1402的长轴的上端，椭圆遮罩D6的值在从0到0.2H的范围内从0增加到255。在从0.2H到1.8H的范围内，椭圆遮罩D6的值恒定为255。在从1.8H到2H的范围内，椭圆遮罩D6的值从255减小到0。类似地，对于长轴方向，基于其左端，椭圆遮罩D6的值对于0到0.2W设定为从0增加到255，对于0.2W到1.8W设定为255，且对于从1.8W到2.0W设定为从255减小到0。

由此，根据本实施例的椭圆遮罩D6生成为根据距面部的中心的距离被加权的遮罩。

在步骤S203生成的肤色遮罩D5和在步骤S204生成的椭圆遮罩D6在步骤S205被组合以便得到复合遮罩D7。例如，复合方法包括把在生成如图9所示的肤色遮罩D5时处理区域902内的每个像素的遮罩数据值与在生成如图13所示的椭圆遮罩D6时椭圆区域1302内的每个像素的遮罩数据值进行比较，并且将两者中的较小值设定为复合遮罩D7的值。

由于通过组合考虑了肤色连续性的肤色遮罩D5和考虑了距面部中心的距离的椭圆遮罩D6而得到复合遮罩D7，复合遮罩D7用作控制考虑肤色连续性和距离的校正值的加权的数据。复合遮罩D7由此输出为在步骤S104生成的遮罩，且在作步骤S105的图像校正处理中。根据本实施例，通过使用复合遮罩D7进行校正，即使当面部区域的背景表现出与面部区域类似的颜色，即肉色相关颜色时，在由椭圆遮罩D6指示的区域的外部也不进行校正。

下面是对步骤S105中的图像校正处理的描述。在步骤S105，在考虑肤色连续性和距面部中心的距离的情况下，通过基于复合遮罩D7进行图像校正，生成校正的图像数据D3。

通常，对于其中主拍摄目标是人面部的图像，画面质量的改进能够通过模糊面部的皮肤区域而实现。移动平均过滤处理或加权平均过滤处理等能够用作模糊处理，且复合遮罩D7能够用于在过滤处理中控制模糊的量。

图15是示出步骤S105中的图像校正处理的一个示例的流程图。在步骤S301，设定校正区域。类似于图9中的处理区域902，对于检测到的面部坐标，校正区域设定为尺寸为面部尺寸的两倍的区域。即，校正区域(x，y)处于0≤x＜2D，0≤y＜2D的范围内。

在步骤S302，对于校正区域内所关心的像素，计算在预定范围内周边像素的平均值。周边像素的范围基于面部区域901的尺寸，例如D，被确定。假定周边像素的范围是D/e，其中e是常数，且对于R，G和B，分别计算平均值Rave，Gave和Bave，并且用于计算R的公式如下示出。需要注意的是，下面的公式中R(x，y)指示坐标(x，y)的分量R：

$R_{\mathrm{ave}}=\frac{1}{4{\left(\frac{D}{e}\right)}^2}\underset{Y=y-\frac{D}{e}}{\overset{y+\frac{D}{e}}{\mathrm{\Σ}}}\underset{X=x-\frac{D}{e}}{\overset{x+\frac{D}{e}}{\mathrm{\Σ}}}R(x,y)$ ...(数值表达式2)

在步骤S303，对于所关心的像素，计算校正目标值Rtar，Gtar和Btar。R的计算公式如下：

Rtar＝D4(x，y)×q+Rave×(1-q)...(6)

注意：D4(x，y)是在步骤S201生成的坐标(x，y)的肤色参考值，且q是设定在范围0≤q≤1内的适当的百分比。

在步骤S304，对于所关心的像素，使用在步骤S101存储的校正强度指定参数D8，计算校正值Rcor，Gcor和Bcor。用于R的计算公式如下：

$R_{\mathrm{cor}}=\frac{(R_{\mathrm{tar}}(x,y)-R(x,y))\×D7(x,y)}{D8}$ ...(数值表达式3)

注意：D7(x，y)具有在步骤S205生成的复合遮罩D7内的坐标(x，y)的值。此外，校正强度指定参数D8是指示由使用者指定的校正强度的值，且已经预先响应于校正的画面质量被调整。

在步骤S305，在步骤S304计算的校正值Rcor，Gcor和Bcor被添加到原始图像数据的R，G和B分量上。上限值和下限值被调整为使得R，G和B的值在添加后处于0到255的范围内。

根据本实施例的图像校正结果的示例示出在图16中，其中左侧的人图像是存在面部区域1602的原始图像1601。该图右侧的图像1603是其中相对于原始图像1601示出校正区域1604的图像。根据图16，校正区域1604与原始图像1601内的面部区域1602大体匹配。

根据本实施例，对于包含在图像中的面部区域，能够精确地得到肤色像素的分布，因此，可以自动地设定考虑了肤色的连续性的合适的校正范围，以及完成合适的校正。

下面是对实现本实施例的硬件结构的描述。图17是示出执行根据本实施例的图像校正处理的计算机的基本结构的框图。根据本实施例的图像处理设备安装为在计算机上运行的应用程序。

在图17中示出的结构中，附图标记201表示根据存储在ROM202和RAM 203内的程序执行命令的CPU。附图标记202表示存储程序以及存储程序和用于实现本实施例的操作的其他控制所必须的数据的ROM，且附图标记203表示用作临时存储数据的工作区域的RAM。附图标记204表示实现计算机和外部存储装置，如IDE或SCSI之间的接口的驱动接口，且附图标记205表示硬驱动器，该硬驱动器是存储如图像及其特征量的多种类型的数据以及控制程序等的存储装置。

附图标记206表示图像输入单元，用于从诸如数码相机和扫描仪等的装置输入图像，且附图标记208表示通过键盘和鼠标等从操作者接收输入的操作输入单元。附图标记209表示诸如CRT或液晶显示器的显示单元，且附图标记210表示网络接口，如调制解调器或LAN，用于实现与诸如因特网或内联网的网络的连接。附图标记211表示总线，该总线用于连接该结构的每个单元并且使得能够在单元之间进行数据输入和输出。

尽管已经根据本实施例给出了详细的描述，然而，本发明也能够在诸如系统、设备、方法、程序或存储介质或记录介质的实施例中实现。具体地，它也可以应用于由多个装置，如主机、接口装置、捕获装置和Web应用，构成的系统，也可以应用于由单个装置构成的设备。

需要注意的是，本发明也可以通过给系统或装置直接或远程地供给实现本实施例功能的软件程序并且使系统或装置的计算机读出和执行供给的程序代码来实现。需要注意的是：此种情况下“程序”是指与在与本实施例有关的图中示出的流程图对应的程序。

结果，将被安装到计算机上以便在计算机上实现本发明的功能性处理的实际程序代码也能够实现本发明。即，本发明还包括用于实现本发明的功能性处理的实际计算机程序。

在这种情况下，程序可以为任何形式，因而可以为目标代码、将由解释器执行的程序、或供给到OS的脚本数据，假定它具有程序的功能。

用于供给程序的记录介质包括下面示出的介质，如软盘、硬盘、光盘、磁光盘、MO、CD-ROM、CR-R、CR-RW、磁带、非易失性存储卡、ROM、DVD(DVD-ROM，DVD-R)等。

本发明的实际计算机程序或包含有自动安装功能的压缩文件可以下载到记录介质，如硬盘上，所述记录介质通过客户计算机上的浏览器连接到因特网网站。此外，通过使构成本发明程序的程序代码分成多个文件并且从不同的网站下载各个文件也可以实现本发明。即，能够使得多个使用者下载用于在计算机上实现本发明功能性处理的程序文件的环球网服务器也包含在本发明中。

此外，也可以将本发明的程序编码以用于存储在记录介质如CD-ROM上，该记录介质然后分发给使用者，且满足预定条件的使用者被允许通过因特网从网站上下载解锁编码的密钥的信息。也就是说，通过使用密钥信息执行编码程序的使用者能够将程序安装到计算机上。

此外，根据本实施例的功能通过使计算机执行已经被读出的程序实现。而且，在计算机上运行的OS等可以根据程序的指令执行实际处理的全部或一部分，从而每个实施例的功能通过其处理而实现。

另外，从记录介质读出的程序可以写入设置在插入到计算机内的扩展板或与计算机相连的扩展单元内的存储器中，此后通过执行程序能够实现实施例的功能。即，设置在扩展板或扩展单元内的CPU等可以根据程序的指令执行实际处理的全部或一部分。

尽管已经参考示例性实施例描述了本发明，需理解，本发明并不限于批露的示例性实施例。下述权利要求的范围将赋予最宽泛的解释，以便包含所有变型和等同结构和功能。

Claims (15)

1.一种用于处理图像以检测图像中的人物的皮肤区域的方法，所述方法包括：

设定步骤，用于将图像中的人物的面部区域中的区域延伸阻挡区域附近的多个像素设置为区域延伸处理的起点，以使得将区域延伸处理应用于区域延伸阻挡区域的附近；和

检测步骤，用于通过从起点中的每一个起搜索具有肤色的像素并且扩展具有肤色的像素，来检测图像中的人物的皮肤区域。

2.根据权利要求1所述的方法，

其中区域延伸阻挡区域是图像中的与眼镜框、眼睛、鼻子和嘴中的至少一个对应的区域。

3.根据权利要求1所述的方法，还包括：

眼镜检测步骤，用于检测图像的面部区域中的眼镜，并且

其中所述设定步骤将所检测的眼镜附近或内部的多个像素设定为起点。

4.根据权利要求1所述的方法，还包括：

计算步骤，用于基于图像的面部区域中的被确定为具有肤色的像素的像素的像素值，计算肤色参考值，并且

其中所述检测步骤从起点起执行基于肤色参考值扩展具有肤色的像素的处理。

5.根据权利要求1所述的方法，还包括：

椭圆区域设定步骤，设定图像的椭圆区域；以及

复合遮罩生成步骤，用于通过组合基于区域延伸结果确定的肤色遮罩和基于椭圆区域确定的椭圆遮罩，生成复合遮罩；以及

校正步骤，用于通过使用复合遮罩对图像中的人物的皮肤区域执行图像校正处理。

6.根据权利要求1所述的方法，还包括：

计算步骤，用于基于图像的面部区域中的被确定为具有肤色的像素的像素值来计算肤色参考值，以及

消除步骤，如果被设定为起点的所述多个像素之中的一个或更多个像素具有与大于或等于预定值的肤色参考值不同的颜色，则消除该一个或更多个像素。

7.根据权利要求1所述的方法，还包括：

检测图像中的人物的面部区域；

其中起点是基于检测到的面部区域确定的。

8.根据权利要求4所述的方法，其中所述计算步骤包括：

计算面部区域中的肤色像素的平均值作为肤色参考值。

9.根据权利要求7所述的方法，

检测的面部区域中的预定位置的点被设定为起点。

10.根据权利要求9所述的方法，

其中所述预定位置包括面部区域中的中心点和周边点。

11.根据权利要求9所述的方法，

其中所述预定位置包括面部区域中的中心点和周边点之间的点。

12.根据权利要求9所述的方法，

其中，在所述预定位置的颜色不是肤色的情况下，所述预定位置被移动并且移动后的位置被设定为起点。

13.根据权利要求1所述的方法，还包括：

模糊步骤，用于在检测到的皮肤区域上执行模糊处理。

14.根据权利要求1所述的方法，

其中面部区域是矩形区域。

15.一种检测图像中的人物的皮肤区域的图像处理设备，包括：

设定单元，被配置为将图像中的人物的面部区域中的区域延伸阻挡区域附近的多个像素设置为区域延伸处理的起点，以使得将区域延伸处理应用于区域延伸阻挡区域的附近；和

检测单元，被配置为通过从起点中的每一个起搜索具有肤色的像素并且扩展具有肤色的像素，来检测图像中的人物的皮肤区域。

Images