CN103180873A - 图像处理装置、图像处理方法及控制程序 - Google Patents

Abstract

本发明的目的是提供一种能够在各种条件下获取的脸部图像上进行适当的化妆处理的图像处理装置和图像处理方法。该图像处理装置（6）执行将指定颜色的化妆合成到脸部图像中的皮肤上的处理，其设置有颜色修正单元（16）和着色单元（17）。给出其中将化妆合成到脸部图像上的左侧和右侧化妆区域，该颜色修正单元使用脸部图像的用于左侧化妆区域的代表色与用于右侧化妆区域的代表色之间的差异来修正化妆颜色，并确定左侧化妆颜色和右侧化妆颜色，从而减小左侧和右侧化妆区域之间在合成后的颜色上的差异。该着色单元通过将左侧化妆颜色和右侧化妆颜色分别重叠在脸部图像的左侧和右侧化妆区域的肤色上而进行化妆。

Description

图像处理装置、图像处理方法及控制程序

技术领域

本发明涉及一种图像处理装置和图像处理方法，尤其涉及一种用于修正脸部图像的图像处理装置和图像处理方法。

背景技术

常规地，已知一种对脸部图像虚拟进行化妆（makeup）的技术，以便模拟在应用化妆品时用户的脸部看上去像什么模样。

专利文献1公开了一种腮红化妆模拟技术，其将腮红涂布于拍摄的用户脸部图像。专利文献2公开了一种眼部化妆模拟技术，其在拍摄的用户脸部图像中绘制眼影和眼线。根据上述技术，通过将腮红或眼影的颜色叠加到用户脸部图像的颜色上，将腮红或眼影涂布于用户的脸部图像，从而能够根据用户的肤色来进行化妆。

专利文献

专利文献1：日本待审专利公开第2000-279228号（公开日：2000年10月10日）

专利文献2：日本待审专利公开第2000-285222号（公开日：2000年10月13日）

发明内容

发明所要解决的问题

然而，在常规配置中会产生以下问题。

在专利文献1和2公开的技术中，假设准备了最佳脸部图像以进行化妆模拟。具体而言，在常规技术中，假设使用无表情的、正面脸部图像，其中眼睛或脸颊的周边没有隐藏在另一物体后面，而整个脸部表面被光均匀照射。因此，例如，在化妆品商店中，顾客（用户）朝向相机就座，并且顾客通过抬高头发或者取下眼镜而准备图像拍摄。然后，在顾客受到均匀照射的照明光下，销售员拍摄顾客的最佳脸部图像，并且将无表情的、正面脸部图像输入到化妆模拟器。在化妆模拟失败的情况下重复上述过程。因此，用户必须访问化妆品商店以便进行化妆模拟，并且销售员必须协助用户拍摄脸部图像。因此，用户无法容易地尝试化妆模拟。在专利文献1和2公开的技术中，在普通状态下，即，在头发没有被梳理上去的状态或者用户佩戴眼镜的状态下，无法进行化妆模拟。

例如，专利文献1和2公开的技术可被应用于数码相机或配备有相机的移动电话，以实施对拍摄的脸部图像进行化妆的软件。专利文献1和2公开的技术也可被应用为运行于个人计算机或互联网上的服务器中的化妆模拟器。在这种情况下，不必请求销售员来进行化妆模拟。

但是，在专利文献1和2公开的技术中，用户必须为化妆模拟准备理想图像，即，无表情的、正面脸部图像，其中眼睛或脸颊的周边没有隐藏在另一物体后面，并且整个脸部表面被光均匀照射。在通过常规技术使用由数码相机或配备有相机的移动电话拍摄的快照（例如，快速拍摄自然状态下用户图像的照片）进行化妆模拟的情况下，会产生以下问题。

第一，快照常常包括从起初难以进行化妆模拟的脸部图像，例如不朝向正面的脸部和具有故意变形的表情的脸部。当对这样的脸部图像进行常规技术的化妆模拟时，无法进行想要的修正，并且会产生不自然的结果。

第二，即使快照中获取的脸部朝向接近于正面，但应该进行化妆的部分或整个区域常常被另一物体所覆盖，如用户佩戴眼镜或者头发覆盖眼睛附近。当对这样的脸部图像进行常规技术的化妆模拟时，遗憾的是，对与应进行化妆的区域重叠的另一物体进行了化妆。

即使眼镜或头发不存在于应进行化妆的区域附近，在常规技术中，遗憾的是，在脸部或眼睛轮廓的特征点无法被正确提取的情况下，对不期望的地方进行了化妆，致使眼影侵入眼睛。

在快照中，脸部常常被光不均匀地照射，并且脸部的左右两侧之一常常是亮的而另一侧是暗的。当对这样的脸部图像进行常规技术的化妆模拟时，有时脸部根据所应用的化妆颜色（化妆品的颜色）看起来不自然。例如，与原始左右皮肤颜色之间的差异相比较，通过常规技术的气刷（air-brush）处理将眼影（或腮红）的颜色与肤色合成而获得的左右两侧颜色（化妆后的颜色）之间的差异有时看起来不自然。在原始左右两侧肤色之间的亮度差异乍看起来难以了解的情况下，这一问题变得显著。

鉴于前述，本发明的目的是实施一种图像处理装置和图像处理方法，其能够对宽范围条件下的脸部图像适当地进行化妆处理。

解决问题的手段

根据本发明的第一方案，一种用于以特定颜色的图案对人的图像的皮肤进行着色处理的图像处理装置包括：颜色修正单元，修正图案的颜色以确定用于每个区域的颜色，使得应用于每个区域的图案的颜色在人的图像中用所述图案进行着色的多个区域中变化；以及着色单元，通过将用于每个区域的颜色叠加在人的图像的每个区域的颜色上而利用所述图案对人的图像进行着色，其中，使用人的图像中每个区域的代表色的差异，颜色修正单元修正图案的颜色以确定用于每个区域的颜色，使得在着色之后每个区域的色差减小。

根据本发明的第二方案，一种用于以特定颜色的图案对人的图像的皮肤进行着色处理的图像处理方法包括：颜色修正步骤，修正图案的颜色以确定用于每个区域的颜色，使得应用于每个区域的图案的颜色在人的图像中用所述图案进行着色的多个区域中变化；以及着色步骤，通过将用于每个区域的颜色叠加在人的图像的每个区域的颜色上而利用所述图案对人的图像进行着色，其中，在颜色修正步骤中，使用人的图像中每个区域的代表色的差异来修正图案的颜色以确定用于每个区域的颜色，使得在着色之后每个区域的色差减小。

在其中应该用所述图案对人的图像的皮肤进行着色的多个区域的第一区域和第二区域中，由于拍摄图像时的照明，有时会产生阴影，且第一区域的亮度与第二区域的亮度极大不同。当用相同的颜色对人的图像的第一区域和第二区域进行着色时，会反映出原始肤色，且第一区域和第二区域的图案的颜色看起来彼此极大不同。

根据上述配置，根据人的图像中第一区域的代表色与第二区域的代表色之间的差异来修正图案的颜色以确定用于第一区域的颜色和用于第二区域的颜色，使得在着色之后第一区域的颜色与第二区域的颜色之间的差异减小，且通过将用于第一区域的颜色和用于第二区域的颜色叠加在人的图像中第一区域和第二区域的颜色上而利用所述图案对第一区域和第二区域进行着色。因此，即使人的图像的皮肤中第一区域的颜色与第二区域的颜色极大不同，也能够在着色之后减小第一区域的颜色与第二区域的颜色之间的差异。因此，人的图像的皮肤能够用所述图案（例如，化妆）来进行着色，使其看起来自然。例如，即使用户没有准备用照明光均匀照射的图像，也能够使用宽范围条件下拍摄的图像来进行化妆模拟。

发明的效果

如上所述，根据本发明，即使人的图像的皮肤的第一区域和第二区域的颜色彼此极大不同，也能够在着色之后减小第一区域与第二区域之间图案的颜色的差异。因此，人的图像的皮肤能够用所述图案来进行着色，使其看起来自然。因此，能够使用在宽范围条件下拍摄的图像来进行化妆模拟。

通过以下描述，本发明的其它目的、特征和优点将会变得足够明显。通过结合附图的以下描述，本发明的优点将会变得明显。

附图说明

图1是示出根据本发明实施例的数码相机的示意配置的框图。

图2是示出上眼睑眼线的基本形状示例的图像。

图3是示出下眼睑眼线的基本形状示例的图像。

图4是示出眼影的基本形状示例的图像。

图5是示出腮红的基本形状示例的图像。

图6是示出形状调节后的化妆形状的图像。

图7是示出数码相机中包括的图像处理装置中的化妆处理流程的流程图。

图8是示出计算用于眼部化妆处理的权重分布（weight distribution）的处理的详细流程的流程图。

图9是示出相对于脸部图像获得的肤色度Ds的示例的图像。

图10是对应于图9并示出眼睛遮罩（eye mask）示例的图像。

图11是对应于图9并示出肤色度Ds和遮罩的乘积的图像。

图12是对应于图6并示出权重分布的图像。

图13是示出计算用于脸颊化妆处理的权重分布的处理的详细流程的流程图。

图14是示出修正的化妆颜色与对应的脸部图像像素值之间在色空间（color space）中的关系的示意图。

具体实施方式

在实施例中主要描述包含在数码相机中用于对拍摄图像中所包括的脸部图像进行化妆处理的图像处理装置。然而，本发明不限于该图像处理装置。在下文中，将参照图1至图14详细描述实施例。

<数码相机的配置>

图1是示出根据实施例的数码相机1的示意配置的框图。数码相机1包括指令输入装置2、成像装置3、图像存储装置4、显示装置5和图像处理装置6。

指令输入装置2包括诸如按钮、按键和触摸面板等输入装置。指令输入装置2接收来自用户的成像指令，并将成像指令输出至成像装置3。指令输入装置2接收来自用户的化妆处理指令，并将化妆处理指令输出至图像处理装置6。

例如，成像装置3包括诸如CCD（电荷耦合器件）和CMOS（互补金属氧化物半导体）成像元件等成像元件。响应于成像指令，成像装置3拍摄图像，并将拍摄的图像（图像数据）输出至图像存储装置4。

各条信息存储在图像存储装置4中。例如，图像存储装置4包括诸如HDD（硬盘驱动器）和闪存等存储装置。接收自成像装置3的图像存储并保持于图像存储装置4中。

显示装置5包括显示器，其显示输入的图像，并将图像呈现给用户。显示装置5从图像处理装置6接收已经进行了化妆处理的图像，并显示已经进行了化妆处理的图像。

<图像处理装置的配置>

图像处理装置6包括图像获取单元11、脸部检测器12、特征检测器（检测器）13、适用性确定单元14、化妆形状确定单元15、颜色修正单元16、合成单元（着色单元）17及显示控制器18。

图像获取单元11从指令输入装置2接收化妆处理指令。化妆处理指令包括指示变为处理对象的图像的信息和指示完成了何种化妆（如眼影或腮红、其形状及颜色）的信息。图像获取单元11基于所接收的化妆处理指令从图像存储装置4获取处理对象图像。图像获取单元11可直接接收由成像装置3拍摄的图像。图像获取单元11将获取的处理对象图像输出至脸部检测器12。图像获取单元11将化妆处理指令输出至化妆形状确定单元15。

脸部检测器12检测从图像获取单元11接收的图像中所包括的脸部图像。当检测图像中所包括的脸部图像时，脸部检测器12指定脸部图像的位置。脸部图像的位置可以指示脸部图像的预定点或脸部图像的区域的坐标。脸部检测器12将处理对象图像及脸部图像的位置输出至特征检测器13。脸部检测器12可以从处理对象图像检测多个脸部图像。在检测出多个脸部图像的情况下，脸部检测器12可以指定多个脸部图像的位置，并将多个脸部图像的位置输出至特征检测器13。

特征检测器13从接收自脸部检测器12的处理对象图像及脸部图像的位置检测脸部图像的每个脸部特征的位置。具体而言，特征检测器13检测脸部器官的特征以及脸部轮廓的特征（特征点）等，并指定其位置，上述脸部器官例如为眼睛（内眼角、眼尾、上眼睑的轮廓点、下眼睑的轮廓点等）、嘴（口部端点、口部中心点等）和鼻子（鼻子的顶点等）。特征的位置可以指示特征点或包括该特征的区域的坐标。可以利用公知技术来检测特征。特征检测器13将处理对象图像、脸部图像的位置及检测到的脸部特征的位置输出至适用性确定单元14。特征检测器13可以指定多个脸部图像的特征的位置，并将多个脸部图像的特征的位置输出至适用性确定单元14。

适用性确定单元14根据接收自特征检测器13的处理对象图像、脸部图像的位置及脸部特征的位置，来确定脸部图像是否适于进行化妆处理。例如，适用性确定单元14确定侧向脸部图像和极小脸部图像是不适用的。具体确定方法稍后描述。在处理对象图像包括多个脸部图像的情况下，适用性确定单元14可以确定每个脸部图像是否适于进行化妆处理，或者可以指定更适于进行化妆处理的脸部图像的预定数量（例如，一个脸部图像）。适用性确定单元14将处理对象图像、被确定为适用于处理对象的脸部图像的位置、及脸部特征的位置输出至化妆形状确定单元15。

化妆形状确定单元15基于接收自适用性确定单元14的处理对象图像、处理对象的脸部图像的位置、及脸部特征的位置以及接收自图像获取单元11的化妆处理指令，来确定对处理对象的脸部图像进行的化妆（图案）的形状以及化妆的灰度分布（grayscale distribution）。在实施例中，根据计算出的权重分布，将由用户指定的化妆颜色与原始脸部图像的肤色合成。权重分布指示的是每个像素中化妆的灰度分布。化妆形状确定单元15指定化妆形状以及属于用于合成上述颜色的灰度分布的权重分布。

化妆形状确定单元15包括形状调节器21、皮肤识别单元22、遮罩单元23及权重分布确定单元24。

形状调节器21基于化妆处理指令来确定化妆类型（例如，眼线或腮红）和化妆基本形状。基于化妆处理指令，形状调节器21在多个预先准备的化妆基本形状中指定用于化妆处理的化妆基本形状。形状调节器21在每次化妆处理中可以利用预定函数（function）来计算化妆基本形状。化妆基本形状的模板的形状和灰度分布可以响应于用户指令而改变。

图2是示出上眼睑眼线的基本形状示例的图像。图3是示出下眼睑眼线的基本形状示例的图像。图4是示出眼影的基本形状示例的图像。图5是示出腮红的基本形状示例的图像。在图2到图5中，亮（白）的地方（spot）指示深的化妆颜色，暗（黑）的地方指示浅的化妆颜色。即，化妆基本形状表示出化妆的形状和灰度。例如，在图2中上眼睑眼线的基本形状中，每个像素的值为0到1，像素随着像素值增大而被表示得更亮，并且每个像素的值对应于合成中的权重。图2至图5中的化妆基本形状用于右眼或右脸颊，且用于左眼或左脸颊的化妆基本形状通过水平反转图2至图5中的化妆基本形状而得到。

形状调节器21根据脸部图像的特征使所使用的化妆基本形状变形。例如，形状调节器21根据脸部图像的尺寸或眼睛的尺寸等来调节（按比例缩放）化妆基本形状的尺寸。形状调节器21根据检测到的眼睛轮廓的形状来调节化妆形状，从而使得例如图2中的上眼睑眼线下侧的轮廓（白的地方）沿着检测到的上眼睑轮廓来布置。从而，形状调节器21根据各个特征来调节化妆形状。图6是示出形状调节后的化妆形状的图像。如同图2至图5，在图6中，亮（白）的地方指示深的化妆颜色，暗（黑）的地方指示浅的化妆颜色。形状调节器21将尺寸和形状受到调节的化妆形状输出至权重分布确定单元24。

皮肤识别单元22指定属于脸部图像中的皮肤的地方。皮肤识别单元22确定其颜色被认为是肤色的像素为皮肤。具体而言，皮肤识别单元22对于属于处理对象的脸部图像的每个像素指定肤色度（degree of skin color）。在实施例中，对于具有小肤色度的地方，即被认为不是皮肤的地方，权重减小，并且化妆颜色被轻度叠加或者化妆颜色不被合成。皮肤识别单元22将属于处理对象的脸部图像的每个像素的肤色度输出至权重分布确定单元24。

遮罩单元23基于处理对象的脸部图像和脸部图像的特征位置而生成眼部（预定部位）的遮罩。就此而言，由于睫毛等的影响，特征检测器13检测到的眼睛轮廓位置可能存在误差。眼线的化妆形状由形状调节器21根据眼睛轮廓来调节，有时候，当检测到的眼睛轮廓位置偏离原始位置时，眼线侵入眼睛。在实施例中，应用于脸部图像眼部的遮罩防止眼线侵入眼睛。遮罩单元23利用通过算法得到并与形状调节器21使用的眼睛轮廓不同的眼睛轮廓的信息来生成遮罩。因此，能够防止形状调节器21中由于检测误差而产生的问题（使眼线侵入眼睛）。在实施例中，所生成的遮罩对于每个像素的值为0到1。就此而言，值为1意味着该地方不被遮盖，并且随着遮罩值的减小，该地方受到更强的遮盖（化妆颜色不被合成）。可以生成除眼睛之外的地方（例如鼻子和嘴）的遮罩。遮罩单元23将生成的遮罩输出至权重分布确定单元24。

权重分布确定单元24基于调节后的化妆形状、脸部图像的肤色度以及遮罩，来确定用于颜色合成（化妆颜色和肤色的合成）的权重分布。具体而言，权重分布确定单元24对于对应于脸部图像的每个像素计算化妆形状、肤色度及遮罩的乘积，并将该乘积设定为每个像素的权重。关于用于颜色合成的权重分布，在具有减小的权重值的地方，化妆颜色被轻度合成，而在具有增大的权重值的地方，化妆颜色被深度合成。权重分布确定单元24将确定的权重分布输出至合成单元17。权重分布确定单元24将处理对象图像、处理对象的脸部图像的位置及脸部特征的位置输出至颜色修正单元16。

颜色修正单元16基于处理对象图像、处理对象的脸部图像的位置及脸部特征的位置，指定处理对象的脸部图像肤色的代表色。部分脸部区域的颜色，例如脸部区域的中心部（在鼻子附近）的平均值、中值或最频值（modevalue）的颜色，可被设定为肤色的代表色。整个脸部区域的平均颜色可被设定为肤色的代表色。得到脸部的特定区域的平均颜色，排除了色调（hue）与区域中的平均颜色的色调不同的像素（在CbCr平面中与平均颜色形成的角度大于阈值）和/或与区域中的平均颜色的色差大的像素（在YCbCr色空间中与平均颜色的距离大于阈值），并且从其余像素计算出的平均颜色可被用作代表色。利用每个像素的颜色和肤色的代表色，颜色修正单元16对于脸部图像的每个像素修正由用户指定的化妆颜色。颜色修正单元16根据左右化妆区域之间代表色的差异，在左右化妆区域的每个中修正化妆颜色，从而使得合成之后左右化妆区域之间的色差减小。颜色修正单元16将每个像素中经修正的化妆颜色输出至合成单元17。颜色修正单元16将处理对象图像和处理对象的脸部图像的位置输出至合成单元17。

合成单元17根据权重分布将处理对象的脸部图像与修正后的化妆颜色进行合成，并生成已经进行了化妆处理的脸部图像。合成单元17将已经进行了化妆处理的脸部图像输出至显示控制器18。合成单元17可以将已经进行了化妆处理的脸部图像输出至并存储于图像存储装置4中。

显示控制器18将已经进行了化妆处理的脸部图像输出至显示装置5，并控制显示装置5显示该已经进行了化妆处理的脸部图像。

<图像处理流程>

下面将描述数码相机1中化妆处理的流程。

用户通过指令输入装置2从拍摄并存储于图像存储装置4的图像中选择处理对象图像。用户通过指令输入装置2从多个备选中选择对处理对象图像进行的化妆类型（例如眼线、眼影和/或腮红）、化妆形状及化妆颜色。指令输入装置2将包括化妆类型、化妆形状及化妆颜色的化妆处理指令输出至图像处理装置6的图像获取单元11。

图7是示出图像处理装置6中的化妆处理流程的流程图。

在从指令输入装置2中接收到化妆处理指令时，图像获取单元（指令接收单元）11从图像存储装置4中获取变为处理对象的图像（S1）。

脸部检测器12检测该图像中包括的变为处理对象的脸部图像，并指定脸部图像的位置（S2）。脸部检测器12可以检测处理对象图像中包括的多个脸部图像。

特征检测器13检测所检测的脸部图像中包括的脸部特征的位置（S3）。特征检测器13检测脸部器官的特征（特征点）并指定其位置，上述脸部器官例如为眼睛（内眼角、眼尾、上眼睑的轮廓点、下眼睑的轮廓点等）、嘴（口部端点、口部中心点等）和鼻子（鼻子的顶点等）。特征检测器13可以检测诸如脸部轮廓等特征。

基于所检测的脸部特征的位置，适用性确定单元14确定脸部图像是否适于进行化妆处理（S4）。例如，通过从多个脸部图像样本预先学习脸部器官（例如眼睛、鼻子和嘴）的各个特征周边的亮度分布的特性而产生的脸部模型存储在适用性确定单元14中。适用性确定单元14将脸部模型与检测的脸部图像相比较，以便指定所检测的脸部图像特征的可靠度和脸部朝向。

例如，在所检测特征的可靠度小于预定阈值的情况下，由于脸部特征没有被正确检测的可能性高，所以可能无法适当进行化妆处理。因此，在所检测特征的可靠度小于预定阈值的情况下，适用性确定单元14确定脸部图像不适于进行化妆处理。

在所检测的脸部朝向大幅偏离正面的情况下（在脸部朝向不存在于预定范围中的情况下，例如，在脸部朝向相对于正面大于预定角度的情况下），因为有可能无法适当进行化妆处理，所以适用性确定单元14确定脸部图像不适于进行化妆处理。

在脸部图像极小的情况下（例如，在所检测的右眼和左眼的中心点（瞳孔）之间的距离小于预定阈值的情况下），因为有可能无法适当进行化妆处理，所以适用性确定单元14确定脸部图像不适于进行化妆处理。

在基于所检测的眼睛轮廓而确定眼睛闭合的情况下，因为有可能无法适当进行化妆处理，所以适用性确定单元14确定脸部图像不适于进行化妆处理。

在对肤色由于照明反射而变白的地方进行化妆处理时，有时化妆地方看起来被不自然地隔离。因此，在脸部图像肤色的代表色的亮度大于预定阈值的情况下，适用性确定单元14可以确定脸部图像不适于进行化妆处理。

在因为脸部被透过树木的日光照射而使脸颊或眼睑区域的亮度分布中的亮度差别极为广泛的情况下，有时在进行了化妆处理时该地方看起来不自然。因此，在脸部区域中肤色的亮度变化大于预定阈值的情况下，适用性确定单元14可以确定脸部图像不适于进行化妆处理。

在颜色接近于肤色的物体与脸部图像重叠的情况下，有时特征检测器13误将该物体检测为脸部的特征点。在所检测的特征点与其它特征点（例如，眼睛、鼻子和嘴）相比位于不自然的位置的情况下，所检测的特征点可被确定为与脸部重叠的另一物体。在检测到此类特征点的情况下，因为在进行化妆处理时有可能将化妆与重叠于脸部的另一物体相合成，所以适用性确定单元14可以确定脸部图像不适于进行化妆处理。

在确定是否能够进行化妆处理时，判别标准可以根据化妆类型（例如，眼线、眼影和腮红）而改变。

在适用性确定单元14确定脸部图像不适于进行化妆处理时（S4中的否），对脸部图像进行的处理结束。

在适用性确定单元14确定脸部图像适于进行化妆处理时（S4中的是），形状调节器21获取处理对象的脸部图像的肤色的信息（S5）。获得整个皮肤的平均颜色和每个区域（例如右眼睑、左眼睑、右脸颊、左脸颊和鼻子）的平均颜色，作为来自处理对象的脸部图像的肤色的信息。作为平均颜色的替代，也可以获得每个区域的代表色。

形状调节器21根据所指定的化妆类型将处理对象设定为眼睛或脸颊（S6）。在指示进行多种化妆类型的情况下，根据尚未处理的化妆类型来设定处理对象部位。

形状调节器21将右侧和左侧器官之一设定为处理对象（S7）。例如，形状调节器21将处理对象设定为右侧器官（右眼或右脸颊）。在已经对右侧器官进行了化妆处理的情况下，将处理对象设定为左侧器官（左眼或左脸颊）。

当处理对象为眼睛时（S8中的是），计算用于眼部化妆处理（例如，眼线和眼影）的权重分布（S9）。

当处理对象为脸颊时（S8中的否），计算用于脸颊化妆处理（例如，腮红）的权重分布（S10）。

图8是示出计算用于眼部化妆处理的权重分布的处理的详细流程的流程图。

形状调节器21确定用于化妆处理的化妆基本形状（S21）。例如，眼影的基本形状具有如下权重分布，其中：权重在接近于眼睛轮廓的下侧变大（眼影具有深颜色），如图4所示；并且权重随着与眼睛轮廓下侧的距离增大而逐渐减小（眼影的颜色变浅）。形状调节器21可以根据化妆处理指令使眼影的基本形状变形或者调节权重分布。形状调节器21可以利用预定函数来计算化妆基本形状，或者从预先准备的化妆基本形状的模板中选择所使用的化妆基本形状。

形状调节器21根据检测到的眼睛特征使所用的化妆基本形状变形，从而使化妆基本形状适合于脸部图像的眼睛形状（S22）。形状调节器21利用检测到的眼睛特征（例如，内眼角、眼尾和眼睛轮廓）的信息，将所使用的化妆基本形状的尺寸改变为适于脸部图像的眼睛尺寸的尺寸。对于上眼睑眼线，形状调节器21使调节了尺寸的化妆基本形状变形，以确定脸部图像的布置，使得检测到的上眼睑轮廓的一些代表点与调节了尺寸的化妆基本形状的对应点相匹配。在化妆基本形状中，除了对应于代表点的点之外的地方可通过线性插值或高阶函数插值（例如，三次B样条函数）来变形。尺寸和形状都得到调节的化妆形状被用作合成化妆颜色的权重。

皮肤识别单元22对于处理对象的脸部图像的每个像素指定肤色度（S23）。皮肤识别单元22可以仅对于处理对象的脸部图像中的部分区域（该部分区域包括进行化妆处理的周边）指定肤色度。利用代表处理对象的脸部图像肤色的代表色与每个像素的颜色之间在色空间中的距离来计算肤色度。虽然整个脸部区域的皮肤的平均颜色可被用作皮肤的代表色，但是当存在阴影时难以稳定地从整个脸部区域获取肤色。因此，为了稳定地获取肤色，鼻子周边的平均颜色可被用作皮肤的代表色。在像素颜色与肤色的代表色相同（距离为0）的情况下，肤色度变为最大，并且肤色度随着色空间中的距离增大而减小。

例如，皮肤识别单元22获取鼻子附近的平均颜色，并将该平均颜色设定为脸部图像的皮肤的代表色（Yc，Cbc，Crc）。虽然实施例中将YCbCr色空间用作色空间，但也可使用任何色空间。例如，可以使用L*a*b*色空间。皮肤识别单元22将脸部图像的皮肤的代表色（Yc，Cbc，Crc）设定为肤色的中心，并获得色空间中脸部图像的每个像素值（Y，Cb，Cr）与脸部图像的皮肤的代表色（Yc，Cbc，Crc）之间的距离。就此而言，对于每个像素获得肤色度Ds，使得对于距离为0的值变为1，并使得对于无限距离的值变为0。例如，获得肤色度Ds的方程式可被设置如下。

[方程式1]

$\mathrm{Ds}=\exp \{-\frac{{(Y-\mathrm{Yc})}^2+{(\mathrm{Cb}-\mathrm{Cbc})}^2{+(\mathrm{Cr}-\mathrm{Crc})}^2}{{\mathrm{\&sigma;}}^2}\}$

其中，σ是限定肤色范围的常数。使用exp获得肤色度Ds的上述方程式是作为示例来描述的。或者，肤色度Ds可以利用关于距离单调减小的指数函数或者利用S型函数（sigmoid function）来获得。肤色度Ds的范围为从0到1，具有大肤色度的地方是颜色接近于皮肤代表色的地方。可以由包括多个像素的每个区块（block）的平均颜色来计算肤色度Ds。皮肤识别单元22可以将色空间中的距离与阈值进行比较以确定每个像素是否是皮肤，并将被指定为不是皮肤的肤色度设定为0，并且不将化妆颜色涂布于不是皮肤的地方。

图9是示出对于脸部图像获得的肤色度Ds的示例的图像。在图9中，亮（白）的地方指示肤色度Ds大，暗（黑）的地方指示肤色度Ds小。图9示出右眼周边的肤色度Ds。因为肤色度Ds被用作合成化妆颜色过程中的权重，所以化妆颜色被深度叠加于肤色度Ds的值大且被认为是皮肤的地方（亮的地方）上。另一方面，化妆颜色被轻度或几乎不叠加于肤色度Ds的值小且被认为不是皮肤的地方（暗的地方）上。因此，如从图9中可见，化妆颜色不与肤色度低的瞳孔和眉毛相合成。在用户戴眼镜的情况下，可防止化妆颜色与眼镜合成。在用户头发接近眼睛的情况下，可防止化妆颜色与头发合成。

但是，就色差而言，眼睛的白色部分难以与发白的皮肤相区分，并且有时化妆形状不正确地适配于眼睑轮廓。在这些情况下，化妆颜色有可能侵入眼睛的白色部分。因此，在实施例中进行遮罩眼睛的处理。

遮罩单元23生成用于眼部的遮罩（S24）。具体而言，连接内眼角和眼尾的线段被用作长轴，以获得通过上眼睑侧的眼睛轮廓的一点、内眼角和眼尾的椭圆形，并且该椭圆形上侧的弧线被设定为上眼睑侧的遮罩的边界线。类似地，连接内眼角和眼尾的线段被用作长轴，以获得通过下眼睑侧的眼睛轮廓的一点、内眼角和眼尾的椭圆形，并且该椭圆形下侧的弧线被设定为下眼睑侧的遮罩的边界线。假设遮罩区域是由遮罩的上下边界线所包围的内部。遮罩区域是当眼睑轮廓被假设为椭圆形时获得的。因此，在遮罩区域被完全遮盖的情况下，产生如下缺点：当遮罩区域从脸部图像的眼睛突伸出时，化妆处理不会进行到眼睑边界的附近。因此，遮罩被设定为在遮罩区域的端部处变弱。遮罩单元23设定遮罩区域中每个像素的遮罩值，使得遮罩值在眼尾和内眼角的中点（遮罩区域的中心）变为0，使得遮罩值在遮罩区域的边界线上变为1，并使得遮罩值随着与遮罩区域中心的距离增大而根据高斯分布增大。遮罩值也可不根据高斯分布而是以线性方式改变，或者遮罩值可以利用其它函数或表而改变。遮罩可以具有其它形状来代替椭圆形状。

图10是对应于图9并示出眼睛遮罩示例的图像。在图10中，亮（白）的地方指示遮罩值大，暗（黑）的地方指示遮罩值小。因为遮罩值被用作合成化妆颜色过程中的权重，所以具有小遮罩值的地方（暗的地方）受到强遮罩，并且难以合成化妆颜色。另一方面，具有大遮罩值的地方（亮的地方）受到弱遮罩，并且化妆颜色得以合成而没有使用遮罩。

权重确定单元24将表示权重分布的各种要素（即，尺寸和形状都受到调节的化妆形状、肤色度Ds以及遮罩）相合成，并且权重确定单元24获得用于颜色合成的权重分布（S25）。具体而言，权重确定单元24获得尺寸和形状都受到调节的化妆形状、肤色度Ds以及遮罩的乘积，作为对于每个像素的权重分布。

图11是对应于图9并示出肤色度Ds和遮罩的乘积的图像。与图9相比，可见眼部被遮罩所遮盖。化妆颜色更深地叠加于图11中以浅色指示的像素上。权重确定单元24通过将肤色度Ds和遮罩的乘积与预定阈值（例如，0.5）进行比较，可以确定每个像素是否为皮肤。例如，将确定为皮肤的像素值设定为1，而将确定为不是皮肤的像素值设定为0，并且可以进行二进制化。只有乘积小于预定阈值的像素的权重可被设定为0。

图12是对应于图6并示出权重分布的图像。权重分布是经调节的化妆形状、肤色度Ds以及遮罩的乘积，图12示出权重分布，其中对于每个像素计算了图6中的权重与图11中的权重的乘积。在图12中，亮（白）的地方指示权重大，暗（黑）的地方指示权重小。图12示出最终的权重，且化妆颜色被深度涂布于亮（白）的地方。这是计算用于眼睛化妆处理的权重分布的处理的结束。

图13是示出计算用于脸颊化妆处理的权重分布的处理的详细流程的流程图。虽然脸颊化妆处理与眼睛化妆处理的不同之处在于不是必需进行眼睛遮罩处理，但其它点类似于眼睛化妆处理。因此，简要进行脸颊化妆处理的描述。

形状调节器21确定用于化妆处理的化妆基本形状（S31）。例如，如图5所示，腮红基本形状具有如下权重分布，其中：权重在腮红涂布区域的中心附近变为最大（腮红具有深颜色），并且权重随着与中心的距离增大而逐渐减小（腮红的颜色变浅）。

形状调节器21根据检测到的眼睛、嘴和鼻子的特征使所用的化妆基本形状变形，从而使化妆基本形状适合于脸部图像的脸颊（S32）。形状调节器21基于检测到的眼睛、嘴和鼻子的特征之间的位置关系，将所使用的化妆基本形状的尺寸改变为适于脸部图像的脸颊尺寸的尺寸。形状调节器21基于眼睛、嘴和鼻子的特征之间的位置关系来估计一些代表点的位置。形状调节器21使调节了尺寸的化妆基本形状变形，以使得代表点与调节了尺寸的化妆基本形状的对应点相匹配。

皮肤识别单元22对于处理对象的脸部图像的每个像素指定肤色度Ds（S33）。S33中的处理与眼睛化妆处理中的相同。

权重确定单元24将表示权重分布的各种要素（即，尺寸和形状都受到调节的化妆形状、以及肤色度Ds）相合成，并且权重确定单元24获得用于颜色合成的权重分布（S34）。具体而言，权重确定单元24获得尺寸和形状都受到调节的化妆形状以及肤色度Ds的乘积，作为对于每个像素的权重分布。这是计算用于脸颊化妆处理的权重分布的处理的结束。

参照图7中的流程，在S9或S10之后，颜色修正单元16修正由用户指定的化妆颜色，并获得用于合成并在每个像素中修正的化妆颜色（S11）。颜色修正单元16基于眼睑区域（或脸颊区域）中每个像素的色差进行修正，并基于右眼和左眼区域（或脸颊区域）的亮度（照度）进行修正。

具体而言，颜色修正单元16获取进行化妆的区域的肤色的代表色(Yo,Cbo,Cro)。肤色的代表色可以是区域的平均颜色。整个脸部区域的肤色的平均颜色可被用作代表色。在实施例中，YCbCr色空间被用作色空间。然而，色空间不限于YCbCr色空间。颜色修正单元16从用户指定的化妆颜色(Ys,Cbs,Crs)和肤色的代表色(Yo,Cbo,Cro)获得θ和r。在此，θ是CbCr平面中的矢量(Cbs,Crs)和矢量(Cbo,Cro)之间形成的角度。r=Ys/Yo持续有效（hold）。可以说θ是化妆颜色与肤色代表色之间颜色深浅（shade）或色调的差异，r指示化妆颜色与肤色代表色的亮度比。

颜色修正单元16对于脸部图像的每个像素值(Y,Cb,Cr)获得叠加于（合成于）像素上的化妆颜色(Y’,Cb’,Cr’)。在此，化妆颜色的亮度Y’是固定的，使得Y’=rY持续有效。Cb’和Cr’是固定的，使得在CbCr平面中矢量(Cb’,Cr’)和矢量(Cb,Cr)之间形成的角度变为θ。换言之，颜色修正单元16获得根据脸部图像的肤色（每个像素值）、利用由用户指定的化妆颜色与肤色代表色的亮度比和色调差异修正的化妆颜色(Y’,Cb’,Cr’)。可以仅利用亮度比（或差异）和色调差异中的一个来修正化妆颜色。

图14是示出修正的化妆颜色(Y’,Cb’,Cr’)与对应的脸部图像像素值(Y,Cb,Cr)之间在色空间中的关系的示意图。如图14所示，颜色修正单元16修正化妆颜色，使得脸部图像的每个像素值(Y,Cb,Cr)和对应的修正化妆颜色(Y’,Cb’,Cr’)之间在色空间中的关系（θ和r之间的关系）与肤色的代表色(Yo,Cbo,Cro)和用户指定的化妆颜色(Ys,Cbs,Crs)之间的关系相同。用户指定的化妆颜色可以被直接使用，而无需在每个像素中修正化妆颜色。

然后，颜色修正单元16获取进行化妆的脸部左侧的区域（例如，左眼睑）中像素的亮度平均值Yl以及进行化妆的脸部右侧的区域（例如，右眼睑）中像素的亮度平均值Yr。利用右侧和左侧化妆区域之间的亮度差异d=Yl-Yr，颜色修正单元16进一步修正化妆颜色(Y’,Cb’,Cr’)的亮度Y’，并获得基于右侧和左侧皮肤之间的亮度差而修正的化妆颜色的亮度Yl’（对于左侧）和亮度Yr’（对于右侧）。

Yl’=Y’-γd

Yr’=Y’+γd

其中γ(0≤γ≤0.5)是调节右侧化妆和左侧化妆之间的视觉差异的参数。γ可以在每个化妆类型中预先设定，或者可以由用户指定。仅有右侧和左侧化妆颜色之一的亮度可以基于其他化妆颜色来修正。利用左侧平均亮度和右侧平均亮度之比(Yl/Yr)，可以将化妆颜色修正如Yr’=Y’(Yl/Yr)。化妆颜色可以利用代表亮度（代表色）来修正，例如右侧化妆区域的亮度和左侧化妆区域的亮度的中间值（其表示化妆区域的亮度），以取代左侧平均亮度和右侧平均亮度的使用。

在左右眼睑（或脸颊）的亮度（照度）由于拍摄图像时照明的影响而彼此不同的情况下，当化妆颜色(Y’,Cb’,Cr’)在每个像素中修正后与脸部图像直接合成时，有时化妆颜色看起来在左右侧是不同的。因此，修正化妆颜色的亮度Y’，使得左右化妆颜色之间的亮度差减小，从而获得Yl’和Yr’。

合成单元17利用权重分布将修正后的化妆颜色与处理对象的脸部图像的颜色相合成（叠加），从而将化妆颜色涂布于脸部图像上（利用化妆颜色给脸部图像着色）（S12）。具体而言，合成单元17通过用修正后的化妆颜色与像素的权重w相乘，将修正后的化妆颜色与脸部图像每个像素的颜色相合成。例如，利用如下方程式获得每个合成后像素的颜色(Ya,Cba,Cra)。

Ya=(1-α×w)×Y+α×w×Yl’（对于左眼睑和左脸颊）

Ya=(1-α×w)×Y+α×w×Yr’（对于右眼睑和脸颊）

Cba=(1-w)×Cb+w×Cb’

Cra=(1-w)×Cr+w×Cr’

其中，w是每个像素的权重，α(0<α≤1)是相对于亮度来调节权重的参数。亮度变化很大程度上取决于视觉影响，并且当亮度通过化妆而大幅改变时，脸部图像看起来不自然。因此，合成单元17在抑制化妆导致的亮度变化的同时将化妆颜色与脸部图像相合成。

当化妆处理对于左右两侧未完成时（S13中的否），流程返回至S7以对剩余的左右眼睛和脸颊进行化妆处理。

当化妆处理对于左右两侧完成时（S13中的是），进行其它项的化妆处理（例如，眼线和腮红）。

当其它项的化妆处理未完成时（S14中的否），流程返回至S6以进行尚未处理的化妆处理。

当所有指示的化妆处理项都完成时（S14中的是），显示控制器18在显示装置5上显示化妆后的处理图像，且化妆处理结束。

根据实施例，确定处理对象的脸部图像的肤色度，并且对根据肤色度被认为是皮肤的地方进行化妆处理。对于肤色度小的地方，化妆处理的权重减小，或者不进行化妆处理。即使应该进行化妆的区域被其它物体（例如眼镜和头发）部分覆盖，也能防止对其它物体进行化妆处理，并且能够仅对皮肤进行化妆处理以获得自然的化妆处理图像。即使错误地检测了特征点（例如眼睛），也能根据肤色度进行化妆处理，从而能够防止化妆处理进行到眼睛内部或脸外部。因此，用户能够仅通过初始选择化妆类型、形状和颜色而容易地进行化妆模拟。

有时，由于眼睛轮廓形状的个体差异、脸部图像的脸朝向以及取决于照明的不清晰眼睛轮廓，产生了所检测特征点（例如，眼尾、内眼角和眼睛轮廓）的位置误差。在这些情况下，在常规技术中有时眼线或眼影会侵入眼睛。

在实施例中，遮罩单元23限定眼睛区域，以便通过与形状调节器21调节化妆形状的方法不同的方法来遮盖眼睛区域。因此，即使化妆形状被布置为与眼睛重叠，也能遮盖眼睛区域，从而能够防止化妆侵入眼睛。

在拍摄图像时，脸部图像被右侧照明和左侧照明不均匀地照射，且有时在左右脸部图像之一中产生阴影，或者左右皮肤的亮度彼此不同。在对脸部图像进行化妆的过程中，当同一化妆颜色与彼此不同的左右肤色相合成时，有时由于受到肤色差异的影响，而使合成后的化妆颜色左右看起来不同。

在实施例中，根据左右化妆区域之间的肤色差异而在左右化妆区域的每一个中修正所涂布的化妆颜色，并且用于合成的化妆颜色随左右化妆区域而改变。因此，在左右化妆区域之间，与化妆处理合成后的肤色差异减小，并且能够进行看起来自然的化妆处理。

在因为从图像中检测的脸部朝向大幅偏离正面或者表情由于发笑而大幅改变，导致特征点无法被很好地检测的情况下，当进行化妆处理时，有时化妆在不期望的位置进行合成并且变为不自然的。对于小的脸部图像，有时难以进行自然的化妆处理，因为进行化妆的小区域不能良好地色彩渐变（gradate）。

在实施例中，确定检测到的脸部图像是否适于化妆处理，并且对被确定为适合的脸部图像进行化妆处理。因此，防止了化妆处理的失败，并且能够仅对适于化妆的脸部图像进行化妆处理。

在实施例中，仅作为示例描述了包括图像处理装置的数码相机。可选地，例如，本发明也能应用于数码摄像机、配备有相机的移动电话和计算机。拍摄的图像可通过Web相机、网络和可拆卸存储装置来获取。可以对不仅是拍摄的静止图像而且是移动图像的脸部图像进行化妆处理。在利用数码相机拍摄图像时，可以对数码相机的显示装置上显示的预览图像进行化妆处理。

不仅是化妆而且任何图案（pattern）都可以与人的图像的脸部或皮肤相合成。在实施例中，所涂布的化妆颜色被修正为彼此不同的左右化妆颜色，使得在合成之后左右化妆区域之间的颜色（亮度）差异减小。或者，可以利用每个化妆区域的肤色差异（例如，每个化妆区域中与皮肤的平均颜色的差异）在每个化妆区域中修正所涂布的化妆颜色，使得不仅是在左右化妆区域中，而且是在涂布相同化妆颜色的多个不同化妆区域中，在合成之后多个化妆区域之间的颜色（亮度）差异减小。

<解决问题的手段>

根据本发明的第一方案，一种图像处理装置用于以特定颜色的图案对人的图像的皮肤进行着色处理，该图像处理装置包括：颜色修正单元，其修正图案的颜色以确定用于每个区域的颜色，使得应用于每个区域的图案的颜色在人的图像中用所述图案进行着色的多个区域中变化；以及着色单元，其通过将用于每个区域的颜色叠加在人的图像的每个区域的颜色上而利用所述图案对人的图像进行着色，其中，使用人的图像中每个区域的代表色的差异，颜色修正单元修正图案的颜色以确定用于每个区域的颜色，使得在着色之后每个区域的色差减小。

根据本发明的第二方案，一种用于以特定颜色的图案对人的图像的皮肤进行着色处理的图像处理方法包括：颜色修正步骤，修正图案的颜色以确定用于每个区域的颜色，使得应用于每个区域的图案的颜色在人的图像中用所述图案进行着色的多个区域中变化；以及着色步骤，通过将用于每个区域的颜色叠加在人的图像的每个区域的颜色上而利用所述图案对人的图像进行着色，其中，在颜色修正步骤中，使用人的图像中每个区域的代表色的差异来修正图案的颜色以确定用于每个区域的颜色，使得在着色之后每个区域的色差减小。

在其中应该用所述图案对人的图像的皮肤进行着色的多个区域的第一区域和第二区域中，由于拍摄图像时的照明，有时会产生阴影，且第一区域的亮度与第二区域的亮度极大不同。当用相同的颜色对人的图像的第一区域和第二区域进行着色时，会反映原始肤色，且第一区域和第二区域的图案的颜色看起来彼此极大不同。

根据上述配置，根据人的图像中第一区域的代表色与第二区域的代表色之间的差异来修正图案的颜色以确定用于第一区域的颜色和用于第二区域的颜色，使得在着色之后第一区域的颜色与第二区域的颜色之间的差异减小，且通过将用于第一区域的颜色和用于第二区域的颜色叠加在人的图像中第一区域和第二区域的颜色上而利用所述图案对第一区域和第二区域进行着色。因此，即使人的图像的皮肤中第一区域的颜色与第二区域的颜色极大不同，也能够在着色之后减小第一区域的颜色与第二区域的颜色之间的差异。因此，人的图像的皮肤能够用所述图案（例如，化妆）来进行着色，使其看起来自然。例如，即使用户没有准备用照明光均匀照射的图像，也能够使用宽范围条件下拍摄的图像来进行化妆模拟。

颜色修正单元可以确定图案修正颜色，使得像素的颜色和对应于该像素的图案修正颜色之间在色空间中的位置关系变为与人的图像的皮肤的代表色和相对于包含在第一区域中的每个像素的图案的颜色之间的位置关系相同，且颜色修正单元可以使用人的图像中第一区域的代表色与第二区域的代表色之间的差异进一步修正图案修正颜色以确定用于与该像素对应的第一区域的颜色。

颜色修正单元可以确定图案修正颜色，使得像素的颜色和对应于该像素的图案修正颜色之间在色空间中的亮度比变为与人的图像的皮肤的代表色和相对于包含在第一区域中的每个像素的图案的颜色之间在色空间中的亮度比相同。

颜色修正单元可以确定图案修正颜色，使得像素的颜色和对应于该像素的图案修正颜色之间在色空间中的色调差变为与人的图像的皮肤的代表色和相对于包含在第一区域中的每个像素的图案的颜色之间在色空间中的色调差相同。

通常，人的图像的肤色广泛分布在色空间的平均颜色周围。因此，根据皮肤的每个像素的颜色来改变并应用叠加在人的图像的皮肤上的图案的颜色，这允许皮肤用所述图案得以进行自然着色。

根据上述配置，根据人的图像的皮肤的每个像素的颜色来确定图案修正颜色，使得像素的颜色和对应于该像素的图案修正颜色之间在色空间中的位置关系变为与人的图像皮肤的代表色和图案的颜色之间的位置关系相同。因此，图案的颜色被修正以对应于每个像素的颜色的分布，且能够为了着色的目的而确定图案修正颜色。因此，人的图像的皮肤能够用所述图案更加自然地着色。

颜色修正单元可以使用人的图像中第一区域和第二区域之间的代表亮度的差异来修正图案颜色的亮度以确定用于第一区域的颜色和用于第二区域的颜色。

例如，由于拍摄图像时的照明所引起的亮度差异，常会产生人的图像的肤色的差异。

根据上述配置，根据人的图像中第一区域与第二区域之间的代表亮度的差异来修正图案颜色的亮度，以确定用于第一区域的颜色和用于第二区域的颜色，使得在着色之后第一区域的颜色与第二区域的颜色之间的差异减小。因此，即使人的图像的皮肤中第一区域的颜色的亮度与第二区域的颜色的亮度极大不同，也能够在着色之后减小第一区域与第二区域之间的图案的颜色的差异。因此，人的图像的皮肤能够用上述图案（例如，化妆）来进行着色，使其看起来自然。

图像处理装置可以包括接收用来指定图案颜色的指令的指令接收单元，其中颜色修正单元修正所指定的颜色，以确定用于第一区域的颜色和用于第二区域的颜色。

第一区域和第二区域可以对应于人的图像的脸部的右侧和左侧。

根据上述配置，当用上述图案对人的图像的脸部的相同的右侧和左侧进行着色时，能够用上述图案（例如，化妆）对人的图像的皮肤进行着色，使得右侧图案和左侧图案在着色之后看起来自然。

图像处理装置可以包括：检测器，其检测人的图像的预定部位的位置；以及遮罩单元，其基于所检测的位置产生遮罩，所述遮罩抑制预定部位的着色，其中，着色单元使用反映遮罩的权重，通过将用于第一区域的颜色和用于第二区域的颜色叠加在人的图像的第一区域和第二区域的颜色上而利用所述图案对人的图像进行着色。

根据上述配置，遮罩被设定到预定部位，并且能够防止预定部位被图案的颜色着色。因此，能够防止图案与用户意图相反地侵入人的图像的预定部位。

图像处理装置可以包括：检测器，其检测人的图像的预定部位的位置；以及适用性确定单元，其基于所检测的位置确定人的图像的脸部是否适合作为图案着色对象；其中，当人的图像的脸部被确定适合作为图案着色对象时，着色单元利用上述图案对人的图像的脸部着色。

根据上述配置，当人的图像的脸部被确定适合作为图案着色对象时，进行图案着色处理，从而能够防止图案着色处理的失败。

上述适用性确定单元可以基于所检测的位置来指定人的图像的脸部朝向，并且当人的图像的脸部朝向落在预定范围内时，确定人的图像的脸部适合作为图案着色对象。

在人的图像不是朝向正面而是朝向侧面时，脸部难以用诸如化妆的图案着色。根据上述配置，在人的图像的脸部朝向落在预定范围内时，人的图像的脸部被确定为适合作为图案着色对象，从而能够适当地确定进行化妆处理的人的图像。

述着色单元可以用上述图案作为化妆对人的图像的脸部进行着色。

根据上述配置，能够对所述人的图像的脸部皮肤进行化妆，使得脸部皮肤看起来更加自然。

该图像处理装置可以通过计算机而部分构建。在这种情况下，本发明还包括：通过使计算机运行为图像处理装置的各单元而实施图像处理装置的控制程序，以及记录该控制程序的计算机可读记录介质。

可通过硬件逻辑或使用CPU（中央处理单元）的软件来构建图像处理装置6的各模块，特别是图像获取单元11、脸部检测器12、特征检测器13、适用性确定单元14、化妆形状确定单元15、颜色修正单元16、合成单元17、显示控制器18、形状调节器21、皮肤识别单元22、遮罩单元23及权重分布确定单元24。

也就是说，图像处理装置6包括执行实施各功能的控制程序的命令的CPU、其中存储控制程序的ROM（只读存储器）、其中扩展控制程序的RAM（随机存取存储器）以及其中存储控制程序和各项数据的诸如存储器的存储装置（记录介质）。还可以实现本发明的目的，使得向图像处理装置6提供记录介质，该记录介质中存储有属于实施上述功能的软件的、用于图像处理装置6的控制程序的程序代码（可执行格式程序、中间代码程序、源程序），同时该程序代码可由计算机读取，并且使得计算机（或CPU或MPU(微处理器单元)）读取并执行记录在记录介质中的程序代码。

记录介质的示例包括：带系统，例如磁带和卡带；盘系统，包括磁盘，例如软盘（注册商标）和硬盘，并包括光盘，例如CD-ROM（压缩盘只读存储器）、MO（磁-光）、MD（袖珍盘）、DVD（数字通用盘）以及CD-R（CD可记录）；卡系统，例如IC卡（包括存储卡）和光学卡；以及半导体存储系统，例如掩模型ROM、EPROM（可擦除可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）和闪速ROM。

图像处理装置6可被配置为能够连接到通信网络，且程序代码可以经由通信网络来提供。对于通信网络没有特别的限制。通信网络的实例包括互联网、内联网、外联网、LAN（局域网）、ISDN（综合服务数字网络）、VAN（增值网）、CATV（有线电视）通信网络、虚拟私有网络、电话线网络、移动通信网络以及卫星通信网络。对于构成通信网络的传输介质没有特别的限制。传输介质的实例包括有线线路和无线线路，有线线路例如为IEEE（电气电子工程师协会）1394、USB、电力线载体、线缆TV线路、电话线以及ADSL（异步数字用户环）线等，无线线路例如是诸如IrDA（红外数据组织）和远程控制器之类的红外线、蓝牙（注册商标）、802.11无线、HDR（高数据速率）、移动电话网络、卫星线路以及陆地数字网络等。

本发明不限于实施例，而是可以进行各种改变而不脱离本发明的范围。即，通过组合不脱离本发明范围而适当改变的技术手段而得到的实施例也包括在本发明的技术范围中。

工业实用性

本发明能够应用于包括图像处理装置的数码相机。

附图标记说明

1  数码相机

2  指令输入装置

3  成像装置

4  图像存储装置

5  显示装置

6  图像处理装置

11 图像获取单元（指令接收单元）

12 脸部检测器

13 特征检测器（检测器）

14 适用性确定单元

15 化妆形状确定单元

16 颜色修正单元

17 合成单元（着色单元）

18 显示控制器

21 形状调节器

22 皮肤识别单元

23 遮罩单元

24 权重分布确定单元

Claims (14)

1.一种图像处理装置，用于以特定颜色的图案对人的图像的皮肤进行着色处理，包括：

颜色修正单元，修正所述图案的颜色以确定用于每个区域的颜色，使得应用于每个区域的所述图案的颜色在所述人的图像中用所述图案进行着色的多个区域中变化；以及

着色单元，通过将用于每个区域的颜色叠加在所述人的图像的每个区域的颜色上而利用所述图案对所述人的图像进行着色，

其中，使用所述人的图像中每个区域的代表色的差异，所述颜色修正单元修正所述图案的颜色以确定用于每个区域的颜色，使得在所述着色之后每个区域的色差减小。

2.一种图像处理装置，用于以特定颜色的图案对人的图像的皮肤进行着色处理，包括：

颜色修正单元，修正所述图案的颜色以确定所述人的图像中用于第一区域的颜色和用于第二区域的颜色，使得应用于所述第一区域和所述第二区域的图案的颜色在所述第一区域和所述第二区域中变化，其中所述人的图像用所述图案来进行着色；以及

着色单元，通过将用于所述第一区域的颜色和用于所述第二区域的颜色叠加在所述人的图像的所述第一区域和所述第二区域的颜色上而利用所述图案来对所述人的图像进行着色，

其中，使用所述人的图像中所述第一区域的代表色与所述第二区域的代表色之间的差异，所述颜色修正单元修正所述图案的颜色以确定用于所述第一区域的颜色和用于所述第二区域的颜色，使得在所述着色之后所述第一区域的颜色与所述第二区域的颜色之间的差异减小。

3.根据权利要求2所述的图像处理装置，其中所述颜色修正单元确定图案修正颜色，使得像素的颜色与对应于所述像素的图案修正颜色之间在色空间中的位置关系变为等同于所述人的图像的皮肤的代表色与相对于包含在所述第一区域中的每个像素的所述图案的颜色之间的位置关系，且所述颜色修正单元使用所述人的图像中所述第一区域的代表色与所述第二区域的代表色之间的差异进一步修正所述图案修正颜色以确定用于与所述像素对应的所述第一区域的颜色。

4.根据权利要求3所述的图像处理装置，其中所述颜色修正单元确定所述图案修正颜色，使得所述像素的颜色与对应于所述像素的所述图案修正颜色之间在所述色空间中的亮度比变为等同于所述人的图像的皮肤的代表色与相对于包含在所述第一区域中的每个像素的所述图案的颜色之间在所述色空间中的亮度比。

5.根据权利要求3或4所述的图像处理装置，其中所述颜色修正单元确定所述图案修正颜色，使得所述像素的颜色与对应于所述像素的所述图案修正颜色之间在所述色空间中的色调差变为等同于所述人的图像的皮肤的代表色与相对于包含在所述第一区域中的每个像素的所述图案的颜色之间在所述色空间中的色调差。

6.根据权利要求2至5中的任一项所述的图像处理装置，其中所述颜色修正单元使用所述人的图像中所述第一区域与所述第二区域之间的代表亮度的差异来修正所述图案颜色的亮度，以确定用于所述第一区域的颜色和用于所述第二区域的颜色。

7.根据权利要求2至6中的任一项所述的图像处理装置，包括：指令接收单元，接收用来指定所述图案的颜色的指令，其中所述颜色修正单元修正所指定的颜色以确定用于所述第一区域的颜色和用于所述第二区域的颜色。

8.根据权利要求2至7中的任一项所述的图像处理装置，其中所述第一区域和所述第二区域对应于所述人的图像的脸部的右侧和左侧。

9.根据权利要求2至8中的任一项所述的图像处理装置，包括：

检测器，检测所述人的图像的预定部位的位置；以及

遮罩单元，基于所检测的位置来产生遮罩，所述遮罩抑制所述预定部位的着色，

其中，所述着色单元使用反映所述遮罩的权重，通过将用于所述第一区域的颜色和用于所述第二区域的颜色叠加在所述人的图像的所述第一区域和所述第二区域的颜色上而利用所述图案对所述人的图像进行着色。

10.根据权利要求2至8中的任一项所述的图像处理装置，包括：

检测器，检测所述人的图像的预定部位的位置；以及

适用性确定单元，基于所检测的位置确定所述人的图像的脸部是否适合作为图案着色对象，

其中，当所述人的图像的脸部被确定适合作为所述图案着色对象时，所述着色单元利用所述图案对所述人的图像的脸部着色。

11.根据权利要求10所述的图像处理装置，其中，所述适用性确定单元基于所检测的位置指定所述人的图像的脸部朝向，并且当所述人的图像的脸部朝向落在预定范围内时，确定所述人的图像的脸部适合作为所述图案着色对象。

12.根据权利要求2至11中的任一项所述的图像处理装置，其中，所述着色单元用所述图案作为化妆对所述人的图像的脸部着色。

13.一种图像处理方法，用于以特定颜色的图案对人的图像的皮肤进行着色处理，包括：

颜色修正步骤，修正所述图案的颜色以确定用于每个区域的颜色，使得应用于每个区域的所述图案的颜色在所述人的图像中用所述图案进行着色的多个区域中变化；以及

着色步骤，通过将用于每个区域的颜色叠加在所述人的图像的每个区域的颜色上而利用所述图案对所述人的图像进行着色，

其中，在所述颜色修正步骤中，使用所述人的图像中每个区域的代表色的差异来修正所述图案的颜色，以确定用于每个区域的颜色，使得在所述着色之后每个区域的色差减小。

14.一种用于图像处理装置的控制程序，所述图像处理装置以特定颜色的图案对人的图像的皮肤进行着色处理，所述控制程序使计算机执行：

颜色修正步骤，使用所述人的图像中每个区域的代表色的差异来修正图案的颜色，以确定用于每个区域的颜色，使得在相对于所述人的图像中用所述图案着色的每个区域进行着色之后每个区域的色差减小；以及

着色步骤，通过将用于每个区域的颜色叠加在所述人的图像的每个区域的颜色上而利用所述图案对所述人的图像进行着色。

Images