CN103430208A - 图像处理装置、图像处理方法以及控制程序 - Google Patents

Abstract

实现一种图像处理装置以及图像处理方法，能够确定在各种条件下拍摄的人脸图像中的唇色，并且利用已确定的唇色来确定唇的区域。本发明的图像处理装置（6）是从包含人物的口的人脸图像中确定唇的特征的图像处理装置，包括：皮肤代表色确定部（17），确定人脸图像的皮肤的代表色；候选颜色确定部（18），在人脸图像中，设定多个区域使得至少其中一个区域包含唇的一部分，并将各个区域的代表色确定为候选颜色；以及唇代表色确定部（19），根据皮肤的代表色与各个候选颜色在色调以及饱和度中的差异，从多个候选颜色确定唇的代表色。

Description

图像处理装置、图像处理方法以及控制程序

技术领域

本发明涉及图像处理装置以及图像处理方法，特别涉及进行人脸图像的校正的图像处理装置以及图像处理方法。

背景技术

当照片或者视频等的图像中包含有人物的人脸的情况下，该图像中包含的人脸多为引起图像的观察者的注意的部分。从以往开始就有如用于使图像中包含的人脸更美观的、校正或者调整人脸图像的技术。

例如，在专利文献1中公开了如下的技术，即提取上下唇的轮廓，将检测出的上下唇的内侧的轮廓所包围的部分确定为与牙齿对应的部分，并调整与牙齿对应的部分的明度。例如调亮与牙齿对应的部分的像素值，能够让人脸更美观。在专利文献1的技术中，为了确定与牙齿对应的部分，根据图像的各个像素的亮度值的变化来检测唇的轮廓。具体地说，在口区域中定义多个纵方向（人脸的高度方向）的检测线，沿着各检测线检查像素的亮度值的变化，并将亮度值的变化相对大的点确定为唇的轮廓点。然后，根据已确定的轮廓点的空间分布，确定与上下唇的外侧的轮廓以及内侧的轮廓对应的轮廓点，并将上下唇的内侧的轮廓所包围的区域确定为口的内部，视为在其中存在与牙齿对应的区域。

现有技术文献

专利文献

专利文献1：日本公开专利公报“特开2009-231879号公报（2009年10月8日公开）”

发明内容

发明要解决的课题

但是，在上述以往的结构中会产生以下的问题。

为了利用专利文献1的技术来检测唇的轮廓，需要准备照明条件好的人脸图像。图像的亮度值依赖于照明等的拍摄环境而变化较大。例如在逆光的条件下所拍摄的人脸图像中，光没有照到人脸的部分，人脸整体变暗。因此，每个像素的亮度值的变化减小，唇的轮廓部分的亮度值的变化也减小，产生难以确定轮廓点（容易进行错误检测）的问题。此外在室内等的低照度下拍摄时，噪声相对变大，唇的轮廓点的确定变得更加困难。

另一方面，在有光照射到人脸的照明条件下拍摄时，唇的轮廓部分的亮度值的变化大，轮廓点的确定变得容易。但是，根据光照射方式可能会因人脸的凹凸而产生阴影，比唇的轮廓中的亮度值的变化更大的亮度变化在阴影的边界部分产生。其结果，难以区分阴影的边界和唇的轮廓。

此外，在光强烈照射到人脸的照明条件下拍摄时，面部整体会变得有些发白（亮度变大）。因此，唇的轮廓附近会变得有些发白，轮廓部分的亮度值的变化减小，难以确定轮廓点。此外，通过照在口红或唇彩上的光的反射（光亮），在光亮的区域的边界上产生了大的亮度变化的情况下，难以区分轮廓与光亮的边界，容易导致错误检测。

受到个体差异、照明条件的变化、以及口红或者唇彩的上色等的影响，通常拍摄的人脸图像的唇色会大幅变化。因此，通常人脸图像的唇色并非已知。由于各种条件（拍摄环境以及化妆等），人脸图像的唇色有时也会与肤色相类似，有时难以确定其周围由皮肤所包围的唇色。

本发明鉴于上述问题点而完成，其目的在于确定在各种条件下拍摄的人脸图像中的唇色，并利用已确定的唇色来确定唇的区域。

用于解决课题的方案

本发明的图像处理装置是从包含人物的口的人脸图像中确定唇的特征的图像处理装置，为了解决上述课题，其特征在于，包括：皮肤代表色确定部，确定上述人脸图像的皮肤的代表色；候选颜色确定部，在上述人脸图像中，设定多个区域使得至少其中一个区域包含唇的一部分，并将各个区域的代表色确定为候选颜色；以及唇代表色确定部，根据上述皮肤的代表色与各个候选颜色在色调以及饱和度中的差异，从上述多个候选颜色确定唇的代表色。

本发明的图像处理方法是从包含人物的口的人脸图像中确定唇的特征的图像处理方法，为了解决上述课题，其特征在于，包括：皮肤代表色确定步骤，确定上述人脸图像的皮肤的代表色；候选颜色确定步骤，在上述人脸图像中，设定多个区域使得至少其中一个区域包含唇的一部分，并将各个区域的代表色确定为候选颜色；以及唇代表色确定步骤，根据上述皮肤的代表色与各个候选颜色在色调以及饱和度中的差异，从上述多个候选颜色确定唇的代表色。

根据上述结构，基于包含唇和皮肤的人脸图像在色调以及饱和度上的差异，从候选颜色中确定唇的代表色。因此，能够将可能是各种颜色的唇的代表色与肤色相区分而准确地确定。这里，色调以及饱和度上的差异是指两个颜色在色调饱和度平面中的不同，包括色调的不同、饱和度的不同、以及色调饱和度平面中的距离等。

发明效果

如上所述，根据本发明，基于包含唇和皮肤的人脸图像的色调以及饱和度中的差异，从候选颜色中确定唇的代表色。

因此，将可能是各种颜色的唇的代表色与肤色相区分从而能够准确地进行确定。

附图说明

图1是表示本发明的一实施方式的数字照相机的概略结构的方框图。

图2的（a）是表示标准化后的口区域的图像的图像，（b）是表示平滑化后的口区域的图像的图像。

图3是表示口图像中的多个区域的图。

图4是在CbCr平面中将成为唇色的候选的颜色的范围简化示出的图。

图5是表示本实施方式的唇色确定处理以及唇区域确定处理的流程的流程图。

图6的（a）是表示候选颜色和皮肤的代表色在CbCr平面中的距离与权重Wa之间的关系的图，（b）与图2的（b）相对应，是表示代替候选颜色而计算了口图像的各个像素的权重Wa的结果的图像。

图7的（a）是表示候选颜色和皮肤的代表色在CbCr平面中的色调与权重Wb之间的关系的图，（b）与图2的（b）相对应，是表示代替候选颜色而计算了口图像的各个像素的权重Wb的结果的图像。

图8与图2的（b）相对应，是表示代替候选颜色而计算了口图像的各个像素的权重Wc的结果的图像。

图9与图2的（b）相对应，是表示代替候选颜色而根据口图像的各个像素的像素值计算了唇色程度D1的结果的图像。

图10与图2的（b）相对应，是表示代替候选颜色而计算了口图像的各个像素的权重Wd的结果的图像。

图11与图2的（b）相对应，是表示代替候选颜色而根据口图像的各个像素的像素值计算了候选评价值D2的结果的图像。

图12的（a）是表示各个像素的颜色和唇的代表色在CbCr平面中的距离与第1唇色相似度We之间的关系的图，（b）与图2的（b）相对应，是表示计算了口图像的各个像素的第1唇色相似度We的结果的图像。

图13的（a）是表示各个像素的颜色和唇的代表色在CbCr平面中的色调与第2唇色相似度Wf之间的关系的图，（b）与图2的（b）相对应，是表示计算了口图像的各个像素的第2唇色相似度Wf的结果的图像。

图14与图2的（b）相对应，是表示被分类为唇候选区域的像素的图像。

图15的（a）以及（b）与图14对应，是表示根据表示唇候选区域的图像来确定模型化后的唇区域的步骤的图像。

图16与图15的（a）对应，是表示模型化后的唇区域的图像。

图17是表示本实施方式的校正处理的流程的流程图。

图18是表示在各水平位置下的校正权重Wg的图。

图19与图16对应，是表示校正权重Wg的图像。

图20与图19对应，是表示校正部分评价值D3的图像。

图21与图2的（b）对应，是表示提取出的像素的亮度的图像。

图22是对已提取的像素的亮度值乘以权重后的结果的、基于已提取的各个像素的亮度值的直方图。

图23与图21对应，是表示只具有亮度分量的光泽图像的图像。

图24的（a）是表示对于已提取的各个像素的第1色调曲线的图，（b）是表示对于已提取的各个像素的第2色调曲线的图。

图25是表示标准化后的口图像、平滑化后的口图像以及光泽图像的合成处理的图。

图26的（a）是表示校正前的人脸图像的一部分的图像，（b）是表示校正后的人脸图像的一部分的图像。

图27的（a）与图2的（a）对应，是表示标准化后的口图像的Cb分量的值的图像，（b）与图2的（a）对应，是表示标准化后的口图像的Cr分量的值的图像。

图28是表示本发明的另一实施方式的数字照相机的概略结构的方框图。

图29是表示口内区域确定处理以及校正处理的流程的流程图。

图30与图16对应，是表示口内部区域以及口内部区域的校正权重Wh的图像。

图31与图2的（b）对应，是表示计算了口图像的各个像素的牙齿颜色相似度Wi的结果的图像。

图32与图12的（b）对应，是表示各个像素的（1-We）的值的图像。

图33与图13的（b）对应，是表示各个像素的（1-Wf）的值的图像。

图34与图31对应，是表示牙齿光泽图像的图像。

具体实施方式

以下，主要说明搭载于数字照相机中且对所拍摄的图像中包含的人脸图像进行处理的图像处理装置，但本发明不限于此。例如，本发明的图像处理装置也可以搭载于数字摄像机、个人计算机（PC）的Web照相机或者附带照相机的便携式电话等的拍摄装置中，并对由拍摄装置拍摄所获得的图像进行处理。此外，本发明的图像处理装置也可以对从网络等的通信路径或者外部存储装置取得的图像进行处理。此外，不仅是所拍摄的静态图像，也可以对活动图像等的人脸图像进行处理。此外，也可以对在用数字照相机进行拍摄时显示于数字照相机的显示装置中的预览图像实施处理。

[实施方式1]

以下，参照附图详细说明本发明的实施方式。

<数字照相机的结构>

图1是表示本实施方式的数字照相机1的概略结构的方框图。数字照相机1包括指示输入装置2、拍摄装置3、图像存储装置4、显示装置5以及图像处理装置6。

指示输入装置2包括按钮、按键或者触摸面板等的输入装置，从用户接受拍摄的指示，并对拍摄装置3输出拍摄的指示。此外，指示输入装置2从用户接受人脸图像的校正处理的指示，并对图像处理装置6输出校正处理的指示。

拍摄装置3例如包括CCD（电荷耦合装置）或者CMOS（互补型金属氧化物半导体）拍摄元件等的拍摄元件。拍摄装置3根据拍摄的指示进行拍摄，并将拍摄后的图像（图像数据）输出到图像存储装置4。

图像存储装置4是存储各种信息的装置，例如包括HDD（硬盘驱动器）或者闪速存储器等的存储设备。图像存储装置4存储并保存从拍摄装置3获取的图像。

显示装置5包括显示器，显示所输入的图像而提示给用户。此外，显示装置5从图像处理装置6获取校正处理完的图像，并显示校正处理完的图像。

<图像处理装置的结构>

图像处理装置6包括图像取得部（指示接受部）11、人脸检测部12、特征检测部13、适合与否判定部14、口图像标准化部15、平滑化部16、皮肤代表色确定部17、候选颜色确定部18、唇代表色确定部19、唇区域确定部20、图像校正部21、合成部22、以及显示控制部23。

图像取得部11从指示输入装置2获取校正处理的指示。校正处理的指示包含表示成为处理对象的图像的信息、以及表示要进行怎样的校正处理的信息。作为校正处理的种类，例如有如对唇部涂上了唇彩一般校正图像的唇彩校正或者校正图像以便让牙齿变白的牙齿美白校正等。图像取得部11基于所获取的校正处理的指示，从图像存储装置4取得处理对象的图像。另外，图像取得部11也可以直接从拍摄装置3获取已拍摄的图像。图像取得部11将取得的处理对象的图像输出到人脸检测部12、特征检测部13、适合与否判定部14、口图像标准化部15、皮肤代表色确定部17以及合成部22。此外，图像取得部11将所获取的校正处理的指示输出到图像校正部21。

人脸检测部12检测在从图像取得部11获取的图像中所包含的人脸图像。人脸检测部12如果检测出图像中包含的人脸图像，则确定人脸图像的位置。人脸图像的位置可以示出人脸图像的规定点的坐标，也可以示出人脸图像的区域。人脸检测部12将人脸图像的位置输出到特征检测部13、适合与否判定部14、口图像标准化部15以及皮肤代表色确定部17。另外，人脸检测部12也可以从处理对象的图像中检测出多个人脸图像。在检测出了多个人脸图像的情况下，人脸检测部12也可以确定各个人脸图像的位置，并将多个人脸图像的位置输出到上述各部。

特征检测部13根据从图像取得部11获取的处理对象的图像以及从人脸检测部12获取的人脸图像的位置，检测该人脸图像的人脸的各个特征的位置。具体地说，特征检测部13例如检测眼睛（内眼角、外眼角等）、口（口端点、口的中心点等）、以及鼻子（鼻子的顶点等）等的人脸的器官的特征、以及人脸的轮廓等的特征（特征点），并确定它们的位置。特征的位置可以示出特征点的坐标，也可以示出包含特征的区域。各个特征的检测可利用公知的技术来进行。特征检测部13将检测出的人脸的特征的位置输出到适合与否判定部14、口图像标准化部15、以及皮肤代表色确定部17。另外，特征检测部13也可以确定多个人脸图像的特征的位置，并将多个人脸图像的特征的位置输出到上述各部。

适合与否判定部14根据从图像取得部11获取的处理对象的图像、从人脸检测部12获取的人脸图像的位置、以及从特征检测部13获取的人脸的特征的位置，判定该人脸图像是否适合进行校正处理。例如，适合与否判定部14将横向的人脸图像以及人脸照得过小的人脸图像等判定为不适合。具体的判定方法将在后面叙述。另外，当处理对象的图像中包含有多个人脸图像的情况下，适合与否判定部14可以针对各个人脸图像判定是否适合进行校正处理，也可以确定更加适合进行校正处理的规定数目（例如一个）的人脸图像。适合与否判定部14将表示判定为适合作为处理对象的人脸图像的信息输出到口图像标准化部15、皮肤代表色确定部17、以及候选颜色确定部18。

口图像标准化部15从图像取得部11、人脸检测部12、以及特征检测部13分别获取处理对象的图像、人脸图像的位置、以及人脸的特征的位置。口图像标准化部15基于获取到的信息，针对由适合与否判定部14判定为适合作为处理对象的人脸图像，提取成为处理对象的人脸图像的口区域的图像。为了使后面的图像处理中的计算变得容易，口图像标准化部15对图像尺寸进行标准化使得处理对象的图像的口区域成为规定的大小。具体地说，口图像标准化部15为了使口的左右的端点位于规定的坐标，根据需要对处理对象的人脸图像进行旋转以及放大/缩小，并从处理对象的人脸图像中裁出规定尺寸的口区域（包含口的区域）。图2的（a）是表示标准化后的口区域的图像的图像。另外，在对处理对象的人脸图像进行放大/缩小时，也可以根据需要采用任意方法对原来的像素之间的点的像素值进行插补。口图像标准化部15将标准化后的口区域的图像（口图像）输出到平滑化部16以及图像校正部21。

平滑化部16对从口图像标准化部15获取到的口图像进行平滑化。具体地说，平滑化部16对口图像应用高斯滤波器等，生成平滑化后的口图像。图2的（b）是表示平滑化后的口区域的图像的图像。通过利用平滑化后的口图像，排除噪声，从而能够准确地确定唇等的期望的区域。另外，标准化后的口图像以及平滑化后的口图像是彩色的图像，但在图2中示出了基于其亮度值（Y值）的明暗。平滑化部16将平滑化后的口图像输出到候选颜色确定部18、唇区域确定部20、以及图像校正部21。

皮肤代表色确定部17从图像取得部11、人脸检测部12、以及特征检测部13分别获取处理对象的图像、人脸图像的位置、以及人脸的特征的位置。皮肤代表色确定部17基于获取到的信息，针对由适合与否判定部14判定为适合作为处理对象的人脸图像，确定成为处理对象的人脸图像的皮肤的代表色。可以将人脸区域的一部分的颜色例如人脸区域的中心部分（鼻子附近）的平均色、中央值或者最频值的颜色等作为皮肤的代表色。此外，也可以将人脸区域整体的平均色等作为皮肤的代表色。此外，也可以求人脸的某个区域的平均色，并在该区域中去除色调与该平均色不同的（CbCr平面中的与该平均色之间的角度大于阈值的）像素和/或在该区域中与该平均色之间的色差大的（YCbCr颜色空间中的与该平均色之间的距离大于阈值的）像素，从而将根据剩余的像素算出的平均色作为代表色。此外，皮肤代表色确定部17求肤色的离散程度。皮肤代表色确定部17将皮肤的代表色输出到候选颜色确定部18以及唇代表色确定部19。皮肤代表色确定部17将肤色的离散程度输出到唇代表色确定部19。

候选颜色确定部18确定成为唇色的候选的多个候选颜色。候选颜色确定部18在口图像中设定多个区域，并确定各个区域的代表色而设为候选颜色。图3是表示口图像中的多个区域的图。图中的×标记表示由特征检测部13检测出的口端点。具体地说，候选颜色确定部18进行以下的处理。候选颜色确定部18将口图像的水平方向的中央的规定的区域分割为沿纵（垂直）方向排列的多个区域。候选颜色确定部18将分割后的各个区域的代表色（平均色或者中央值或最频值的颜色等）作为唇色的多个候选颜色来确定。认为这样分割后的区域的至少一个是包含主要为唇的部分的区域。从而，认为多个候选颜色的至少一个适合作为唇色的代表色。但是，各个区域的设定（分割）方法不限于上述，只要在认为存在唇的两个口端点之间设定多个区域即可。此外，对于分割后的多个区域的大小没有限制，也可以将各个像素作为多个区域。另外，为了在排除图像的噪声等之后确定候选颜色，候选颜色确定部18利用平滑化后的口图像来确定候选颜色。但是，不限于此，候选颜色确定部18也可以利用没有被平滑化的口图像来确定候选颜色。此外，候选颜色确定部18将分割后的区域的颜色的离散程度作为对应的候选颜色的离散程度来求。候选颜色确定部18将多个候选颜色输出到唇代表色确定部19。候选颜色确定部18将候选颜色的离散程度输出到唇代表色确定部19。

唇代表色确定部19基于皮肤的代表色，从多个候选颜色中确定唇的代表色。唇代表色确定部19根据皮肤的代表色与各个候选颜色之间的色调以及饱和度之差，将与皮肤的代表色之间的差异大的候选颜色确定为唇的代表色。唇代表色确定部19在如YCbCr颜色空间或者L*a*b*颜色空间那样的通过亮度（或者明度）与色调以及饱和度来表现颜色的颜色空间中进行处理。唇代表色确定部19不使用亮度（或者明度）的信息，基于颜色空间中的表示色调以及饱和度的CbCr平面（色调饱和度平面）的信息，针对各个候选颜色求作为唇色的程度，并确定CbCr平面中的唇的代表色。用于确定唇的代表色的详细的处理在后面叙述。唇代表色确定部19将已确定的CbCr平面中的唇的代表色输出到唇区域确定部20以及图像校正部21。

图4是在CbCr平面中将成为唇色的候选的颜色的范围简化示出的图。认为唇色是与皮肤的代表色有一定程度不同的颜色。因此，在CbCr平面中，与皮肤的代表色距离近的范围A的颜色最好从唇色的候选中去除。此外，认为唇色与皮肤的代表色在色调上不同。因此，在CbCr平面中，色调接近皮肤的代表色的范围B的颜色最好从唇色的候选中去除。此外，由于被摄体的嘴巴张开而在口图像中包含有牙齿的情况下，在多个候选颜色中可能存在表示牙齿的颜色的发白的颜色。为了从唇的候选中去除牙齿的颜色，饱和度小的范围C的颜色最好从唇色的候选中去除。认为唇色的候选存在于范围A、范围B、范围C的外侧的范围中。另外，在图4中，将与皮肤的代表色距离近且色调接近皮肤的代表色的范围设为肤色范围，将饱和度小的范围设为白范围，将既不是肤色范围也不是白范围的范围设为唇色候选范围。

唇区域确定部20基于平滑化后的口图像以及唇的代表色，确定口图像中作为唇的区域。唇区域确定部20根据CbCr平面中与唇的代表色之间在色调以及饱和度上的差异，将与唇的代表色相似的颜色的区域确定为唇区域。用于确定唇区域的详细的处理在后面叙述。另外，为了在排除图像的噪声等之后确定唇区域，唇区域确定部20利用平滑化后的口图像来确定唇区域。但是，不限于此，唇区域确定部20也可以利用没有被平滑化的口图像。唇区域确定部20将表示已确定的唇区域的信息以及表示唇候选区域的信息等输出到图像校正部21。

图像校正部21基于校正处理的指示、标准化后的口图像、平滑化后的口图像以及唇的代表色，进行口图像中的外观的校正，生成校正后的口图像。口图像的校正方法在后面叙述。图像校正部21将校正后的口图像输出到合成部22。

合成部22将校正后的口图像还原为进行标准化之前的原来的尺寸（根据需要对校正后的口图像进行旋转以及放大/缩小），并合成到处理对象的图像中，生成校正后的图像。从而，得到在处理对象的图像中唇等的外观被校正了的图像。合成部22将校正后的图像输出到显示控制部23。另外，合成部22也可以将校正后的图像输出到图像存储装置4而使其进行存储。

显示控制部23将校正后的图像输出到显示装置5，并控制显示装置5以便显示校正后的图像。

<图像处理流程>

以下，说明数字照相机1中的图像校正处理的流程。

用户经由指示输入装置2从例如在拍摄后被存储到图像存储装置4的图像中选择处理对象的图像。此外，用户经由指示输入装置2从多个候选中选择要对处理对象的图像实施的校正处理的种类（唇彩校正或者牙齿美白校正等）。指示输入装置2将包含所指定的校正处理的种类的信息的校正处理的指示输出到图像处理装置6的图像取得部11。

图5是表示图像处理装置6中的唇色确定处理以及唇区域确定处理的流程的流程图。

图像取得部11如果收到来自指示输入装置2的校正处理的指示，则从图像存储装置4取得成为处理对象的图像（S1）。

人脸检测部12检测在成为处理对象的图像中包含的人脸图像，并确定该人脸图像的位置（S2）。人脸检测部12也可以检测处理对象的图像中包含的多个人脸图像。

特征检测部13检测在已检测的人脸图像中包含的人脸的特征的位置（S3）。特征检测部13例如检测眼睛（内眼角、外眼角等）、口（口端点、口的中心点等）、以及鼻子（鼻子的顶点等）等的人脸的器官的特征（特征点），并确定它们的位置。另外，特征检测部13也可以检测人脸的轮廓等的特征。

适合与否判定部14基于这些检测出的人脸的特征的位置，判定该人脸图像是否适合进行校正处理（S4）。例如，适合与否判定部14预先存储预先根据多个人脸图像样本学习眼睛、鼻子、口等的人脸的器官的各个特征的周边的亮度分布的特征而制作的人脸模型。适合与否判定部14通过比较人脸模型与检测出的人脸图像，从而确定人脸图像中检测出的特征的可靠度以及人脸的朝向。

例如，当检测出的特征的可靠度低于规定的阈值时，没有准确地检测出人脸的特征的可能性高，因此存在无法适当地对口或者唇等进行校正处理的可能性。因此，当检测出的特征的可靠度低于规定的阈值时，适合与否判定部14判定为该人脸图像不适合进行校正处理。

此外，当检测出的人脸的朝向相对于正面大幅偏离的情况下（人脸的朝向不在规定的范围内的情况，例如人脸的朝向相对于正面大于规定的角度（例如30°）的情况），存在无法适当地进行校正处理的可能性。这时，适合与否判定部14判定为该人脸图像不适合进行校正处理。

此外，当人脸图像过于小的情况下（例如检测出的口的双方的端点之间的距离小于规定的阈值（例如100像素）的情况），存在无法适当地进行校正处理的可能性，因此适合与否判定部14判定为该人脸图像不适合进行校正处理。

在判定为不适合进行校正处理时（步骤S4中为“否”），则结束对于该人脸图像的处理。

当判定为适合进行校正处理时（S4中为“是”），接着皮肤代表色确定部17针对被判定为适合作为处理对象的人脸图像，确定成为处理对象的人脸图像的皮肤的代表色（S5）。这里，将人脸区域的中心部分（鼻子附近）的平均色设为皮肤的代表色。此外，皮肤代表色确定部17求肤色的离散程度（标准偏差）。具体地说，对已求得平均色的区域（鼻子附近）的像素的像素值在颜色空间的Cb轴上的方差σbs²、Cr轴上的方差σrs²、以及色调的方差σps²。

口图像标准化部15提取成为处理对象的人脸图像的口区域的图像，并生成对图像尺寸进行了标准化以便让处理对象的图像的口区域成为规定的大小的口图像（S6）。具体地说，口图像标准化部15为了使口的左右的端点位于规定的坐标，根据需要使处理对象的人脸图像进行旋转以及放大/缩小，并从处理对象的人脸图像中裁出规定尺寸的口区域。

平滑化部16对标准化后的口图像进行平滑化（S7）。

候选颜色确定部18将口图像的水平方向的中央的规定的区域分割为沿纵方向排列的多个区域，并将分割后的各个区域的代表色确定为唇色的多个候选颜色（S8）。这里，针对各个区域，将该区域的平均色设为候选颜色。

另外，皮肤的代表色以及多个候选颜色也可以不包含亮度的信息。在以下的处理中，不使用亮度（Y），在CbCr平面中使用皮肤的代表色以及多个候选颜色来进行唇色的代表色以及唇区域的确定。

唇代表色确定部19针对各个候选颜色，求其是唇色的程度（唇色程度）（S9）。认为口图像的唇色是与肤色不同的颜色，并且是与肤色不同的色调。此外，认为口图像的唇色与通常会照得发白的牙齿也是不同的颜色。与皮肤的代表色在CbCr平面中的距离越大，与皮肤的代表色在色调上的差异越大，饱和度越大，设为唇色程度越大。

具体地说，唇代表色确定部19针对各个候选颜色，将根据候选颜色与皮肤的代表色在CbCr平面中的距离而变大的第1非肤色程度（不是肤色的程度）作为唇色程度的权重来求得。唇代表色确定部19针对各个候选颜色，将根据候选颜色与皮肤的代表色在色调上的差异而变大的第2非肤色程度作为唇色程度的权重来求得。唇代表色确定部19针对各个候选颜色，将根据候选颜色的饱和度而变大的非牙齿颜色程度（不是牙齿的颜色的程度）作为唇色程度的权重来求得。

与CbCr平面中的距离相应的唇色程度的权重Wa（第1非肤色程度）可通过下式来求解。

[数1]

$\mathrm{Wa}=1-\exp \{-\frac{{(\mathrm{Cbs}-\mathrm{Cb})}^2+{(\mathrm{Crs}-\mathrm{Cr})}^2}{\mathrm{\&sigma;}{\mathrm{bs}}^2+{\mathrm{\&sigma;rs}}^2}\}\&CenterDot;\&CenterDot;\&CenterDot;\left(1\right)$

这里，Cbs、Crs分别是皮肤的代表色（平均色）的Cb分量以及Cr分量，Cb、Cr分别是候选颜色的Cb分量以及Cr分量。此外，σbs、σrs分别是颜色空间的Cb轴上的肤色的标准偏差、Cr轴上的肤色的标准偏差。图6的（a）是表示候选颜色和皮肤的代表色在CbCr平面中的距离与权重Wa之间的关系的图。根据式（1），若候选颜色和皮肤的代表色在CbCr平面中的距离小，则权重Wa接近0，候选颜色和皮肤的代表色在CbCr平面中的距离越大，则权重Wa越大且接近1。图6的（b）与图2的（b）对应，是表示代替候选颜色而将口图像的各个像素的像素值代入式（1）后计算了权重Wa的结果的图像。示出亮处的权重Wa大，暗处的权重Wa小。据此，可知唇的区域的权重Wa大。但是，牙齿的区域的权重Wa也是大的。

与色调的差异相应的唇色程度的权重Wb（第2非肤色程度）可通过下式求得。

[数2]

$\mathrm{Wb}=1+\mathrm{\&alpha;}-\exp \{-\frac{{(\mathrm{Ps}-P)}^2}{\mathrm{\&sigma;}{\mathrm{ps}}^2}\}\&CenterDot;\&CenterDot;\&CenterDot;\left(2\right)$

这里，Ps是皮肤的代表色（平均色）的色调，由CbCr平面中的相位的角度来示出。此外，P是候选颜色的色调。此外，σps是肤色的色调的标准偏差。此外，α是用于即使候选颜色的色调与皮肤的代表色的色调相同也不让权重Wb成为0的规定的常数。图7的（a）是表示候选颜色和皮肤的代表色在CbCr平面中的色调与权重Wb之间的关系的图。根据式（2），若候选颜色和皮肤的代表色的色调差异小，则权重Wb接近α，候选颜色和皮肤的代表色的色调差异越大，权重Wb越大且接近1+α。图7的（b）与图2的（b）对应，是表示代替候选颜色而将口图像的各个像素的像素值代入式（2）后计算了权重Wb的结果的图像。示出亮处的权重Wb大，暗处的权重Wb小。据此，可知唇的区域的权重Wb大。但是，牙齿的一部分区域的权重Wb也是大的。

与饱和度相应的唇色程度的权重Wc（非牙齿颜色程度）可通过下式求得。

[数3]

$\mathrm{Wc}=1-\exp \{-\frac{{\mathrm{Cb}}^2+{\mathrm{Cr}}^2}{c}\}\&CenterDot;\&CenterDot;\&CenterDot;\left(3\right)$

这里，Cb、Cr分别是候选颜色的Cb分量以及Cr分量。此外，c是规定的常数。式（3）中的exp的分子表示饱和度。根据式（3），若候选颜色的饱和度小，则权重Wc接近0，候选颜色的饱和度越大，权重Wc越大且接近1。图8与图2的（b）对应，是表示代替候选颜色而将口图像的各个像素的像素值代入式（3）后计算了权重Wc的结果的图像。示出亮处的权重Wc大，暗处的权重Wc小。据此，可知唇的区域的权重Wc大。另一方面，可知发白的颜色的牙齿的一部分区域的权重Wc小。此外，照片中容易被照暗的口中的一部分的权重Wc也是小的。

在通过照明等在一个图像中的皮肤上产生了浓淡时，通常，即使是同一人物的皮肤，在颜色空间或者CbCr平面中的从皮肤的平均色至皮肤的各点的颜色的距离有时也会变大。即，肤色在颜色空间或者CbCr平面中的方差有时会变大。另一方面，色调不太会根据照明等的条件而变化。因此，针对一部分皮肤与唇，即使在与CbCr平面中的距离相应的权重Wa的值成为相同程度的情况下，也能够根据与色调的差异相应的权重Wb来判别肤色与唇色。

此外，在由于口红等而一个图像中的唇色与肤色为相同色调的情况下，针对皮肤和唇，与色调的差异相应的权重Wb的值有时会成为相同程度。在这样的情况下，可通过与CbCr平面中的距离相应的权重Wa来判别肤色和唇色。

此外，从牙齿的区域获得的候选颜色，与CbCr平面中的距离相应的权重Wa以及与色调的差异相应的权重Wb都可能变大。认为牙齿的颜色通常发白且饱和度小，相对地唇色的饱和度大，因此能够根据与饱和度相应的权重Wc来判别牙齿的颜色和唇色。此外，在口中作为影子而照得暗的部位等的饱和度也会变低，因此能够根据与饱和度相应的权重Wc，与唇色进行区分。

唇代表色确定部19针对各个候选颜色，将第1非肤色程度Wa和第2非肤色程度Wb和非牙齿颜色程度Wc的乘积作为唇色程度D1来求解。

[数4]

D1=Wa×Wb×Wc  …(4)

图9与图2的（b）相对应，是表示代替候选颜色而根据口图像的各个像素的像素值计算了唇色程度D1的结果的图像。示出明处的唇色程度D1大，暗处的唇色程度D1小。认为该唇色程度D1大的候选颜色为唇色的可能性高。在图9所示的例子中，从唇区域获得的候选颜色的唇色程度D1最大。唇代表色确定部19将唇色程度D1最大的候选颜色作为唇色的第1候选（第1选择候选颜色）来选择。另一方面，当图像的牙齿上附着了颜色而导致牙齿区域的颜色的饱和度不小的情况，或者，CbCr平面中的唇色与肤色的差异小的情况下，有可能会将牙齿的颜色作为第1选择候选颜色来选择。

因此，在本实施方式中，从剩余的候选颜色中选择与第1选择候选颜色在基于色调/饱和度的差异大的第2候选（第2选择候选颜色），并将第1选择候选颜色和第2选择候选颜色中的其中一个确定为唇色。

唇代表色确定部19针对除第1选择候选颜色以外的其他各个候选颜色，求根据候选颜色和第1选择候选颜色在CbCr平面中的距离而变大的权重Wd（不是第1选择候选颜色的程度）（S10）。相应于与第1选择候选颜色的距离的权重Wd可通过下式来求解。

[数5]

$\mathrm{Wd}=1-\exp \{-\frac{{(\mathrm{Cbd}-\mathrm{Cb})}^2+{(\mathrm{Crd}-\mathrm{Cr})}^2}{{\mathrm{\&sigma;bd}}^2+{\mathrm{\&sigma;rd}}^2}\}\&CenterDot;\&CenterDot;\&CenterDot;\left(5\right)$

这里，Cbd、Crd分别是第1选择候选颜色的Cb分量以及Cr分量，Cb、Cr分别是候选颜色的Cb分量以及Cr分量。此外，σbd、σrd分别是颜色空间的Cb轴上的第1选择候选颜色的标准偏差（第1选择候选颜色的区域的各个像素的Cb分量的标准偏差）、Cr轴上的第1选择候选颜色的标准偏差（第1选择候选颜色的区域的各个像素的Cr分量的标准偏差）。第1选择候选颜色的标准偏差可根据与选择候选颜色对应的区域（候选颜色确定部18分割的区域）的各个像素的像素值求得。根据式（5），若第1选择候选颜色与其他的候选颜色在CbCr平面中的距离小，则权重Wd接近0，第1选择候选颜色与其他的候选颜色在CbCr平面中的距离越大，权重Wd越大且接近1。图10与图2的（b）相对应，是表示代替候选颜色而将口图像的各个像素的像素值代入式（5）后计算了权重Wd的结果的图像。示出明处的权重Wd大，暗处的权重Wd小。但是，在图10所示的例子中，作为第1选择候选颜色而选择了从唇区域得到的候选颜色。因此，唇区域的像素的权重Wd小。

唇代表色确定部19针对各个候选颜色，将唇色程度D1与权重Wd的乘积作为候选评价值D2来求解。

[数6]

D2=D1×Wd  …(6)

图11与图2的（b）相对应，是表示代替候选颜色而根据口图像的各个像素的像素值计算了候选评价值D2的结果的图像。示出明处的候选评价值D2大，暗处的候选评价值D2小。唇代表色确定部19将候选评价值D2最大的候选颜色作为唇色的第2候选（第2选择候选颜色）来选择。据此，认为假如作为第1选择候选颜色而选择了牙齿的颜色的情况下，作为第2选择候选颜色而选择从唇的区域得到的候选颜色。由于权重Wd，第1选择候选颜色和第2选择候选颜色成为从不同的区域（人脸的不同部位）得到的候选颜色的可能性高。通过从多个候选颜色中选择不同颜色的两个候选颜色作为选择候选颜色，使得在其中一个选择候选颜色中包含适合作为唇色的候选颜色。

唇代表色确定部19从第1以及第2选择候选颜色中将更像是唇色的选择候选颜色确定为唇的代表色（S11）。根据到S10为止的处理，作为第1以及第2选择候选颜色而选择了从唇的区域得到的候选颜色和从牙齿的区域得到的候选颜色的可能性高。因此，唇代表色确定部19将第1以及第2选择候选颜色中饱和度更大的一方确定为唇的代表色。另外，唇代表色确定部19可以确定唇的代表色的亮度Y，也可以不确定亮度Y。至少确定唇的代表色的色调以及饱和度（或者Cb分量以及Cr分量）即可。

另外，也可以如下决定唇的代表色。唇代表色确定部19也可以根据唇色程度D1来选择一个第1选择候选颜色，并将其确定为唇色。此外，唇代表色确定部19也可以根据唇色程度D1来选择多个第1选择候选颜色，并从其中将饱和度大的颜色确定为唇的代表色。此外，唇代表色确定部19也可以根据唇色程度D1来选择第1选择候选颜色，根据候选评价值D2来选择多个第2选择候选颜色，并从第1选择候选颜色以及多个第2选择候选颜色中将饱和度最大的颜色确定为唇的代表色。或者，唇代表色确定部19也可以从第1以及各个第2选择候选颜色中将其色调最接近规定的色调的颜色确定为唇的代表色。由于嘴唇红的前提大多是成立的，因此例如规定的色调设为接近典型的唇色即红色的色调即可。

唇区域确定部20针对口图像的各个像素，求与唇的代表色之间的相似程度（S12）。认为与唇的代表色相似的颜色的区域是唇的区域。唇区域确定部20根据唇的代表色与各个像素的颜色在色调以及饱和度上的差异，确定与唇的代表色相似的区域。具体地说，唇区域确定部20针对各个像素，求与各个像素的颜色和唇的代表色在CbCr平面中的距离相应的第1唇色相似度We、以及与各个像素的颜色和唇的代表色在色调上的差异相应的第2唇色相似度Wf。

与CbCr平面中的距离相应的第1唇色相似度We可通过下式来求解。

[数7]

$\mathrm{We}=\exp \{-\frac{{(\mathrm{Cbl}-\mathrm{Cb})}^2+{(\mathrm{Crl}-\mathrm{Cr})}^2}{\mathrm{\&sigma;}{\mathrm{bl}}^2+{\mathrm{\&sigma;rl}}^2}\}\&CenterDot;\&CenterDot;\&CenterDot;\left(7\right)$

这里，Cbl、Crl分别是唇的代表色的Cb分量以及Cr分量，Cb、Cr分别是各个像素的颜色的Cb分量以及Cr分量。此外，σbl、σrl分别是颜色空间的Cb轴上的唇色的标准偏差、Cr轴上的唇色的标准偏差。唇色的标准偏差能够根据与唇的代表色（最终被确定为唇的代表色的候选颜色）对应的区域（候选颜色确定部18分割的区域）的各个像素的颜色而求得。图12的（a）是表示各个像素的颜色和唇的代表色在CbCr平面中的距离与第1唇色相似度We之间的关系的图。根据式（7），若各个像素的颜色和唇的代表色在CbCr平面中的距离小，则第1唇色相似度We接近1，各个像素的颜色和唇的代表色在CbCr平面中的距离越大，第1唇色相似度We越小且接近0。图12的（b）与图2的（b）相对应，是表示将口图像的各个像素的颜色代入式（7）后计算了第1唇色相似度We的结果的图像。示出明处的第1唇色相似度We大，暗处的第1唇色相似度We小。据此，可知唇的区域的第1唇色相似度We大。但是，唇的区域的一部分由于照明等而照得发光且饱和度小，因此第1唇色相似度We较小。此外，当唇上有影子等情况下，第1唇色相似度We也有可能变小。

与色调的差异相应的第2唇色相似度Wf可通过下式求解。

[数8]

$\mathrm{Wf}=\exp \{-\frac{{(\mathrm{Pl}-P)}^2}{\mathrm{\&sigma;p}{l}^2}\}\&CenterDot;\&CenterDot;\&CenterDot;\left(8\right)$

这里，Pl是唇的代表色的色调，通过CbCr平面中的相位的角度示出。此外，P是各个像素的颜色的色调。此外，σpl是唇色的色调的标准偏差。图13的（a）是表示各个像素的颜色和唇的代表色在CbCr平面中的色调与第2唇色相似度Wf之间的关系的图。根据式（8），若各个像素的颜色和唇的代表色在色调上的差异小，则第2唇色相似度Wf接近1，各个像素的颜色和唇的代表色在色调上的差异越大，第2唇色相似度Wf越小且接近0。图13的（b）与图2的（b）相对应，是表示将口图像的各个像素的颜色代入式（8）后计算了第2唇色相似度Wf的结果的图像。示出明处的第2唇色相似度Wf大，暗处的第2唇色相似度Wf小。据此，可知唇的区域的第2唇色相似度Wf大。

与色调的差异相应的第2唇色相似度Wf相比于第1唇色相似度We，不易受到照明等的影响，能够获得稳定且精度高的结果。另一方面，由于唇被涂抹上口红或者唇彩等，因此可能是各种颜色。当唇上被涂抹了与肤色相同色调的口红的情况下，难以通过与色调的差异相应的第2唇色相似度Wf准确地确定唇的区域。因此，当唇色的色调与肤色的色调相似的情况下，第1唇色相似度We可成为用于判定唇的区域的更好的指标。

唇区域确定部20基于第1唇色相似度We以及第2唇色相似度Wf，从口图像中确定成为唇的候选的区域（唇候选区域、第1唇区域）（S13）。可以说唇候选区域是具有与唇的代表色相似的颜色的区域。在本实施方式中，唇区域确定部20将第1唇色相似度We以及第2唇色相似度Wf的至少其中一方的值大的像素判别为唇候选区域。具体地说，唇区域确定部20针对各个像素，将第1唇色相似度We与规定的阈值进行比较，并将第1唇色相似度We大于该阈值的像素分类为唇候选区域。此外，唇区域确定部20针对各个像素，将第2唇色相似度Wf与另一阈值进行比较，并将第2唇色相似度Wf大于该阈值的像素分类为唇候选区域。图14与图2的（b）相对应，是表示被分类为唇候选区域的像素的图像。明处表示唇候选区域。图14所示的图像对应于将图12的（b）所示的图像以及图13的（b）所示的图像分别基于阈值进行二值化且取和的结果。

另外，唇区域确定部20也可以仅使用第1唇色相似度We以及第2唇色相似度Wf的其中一方来确定唇候选区域。此外，唇区域确定部20也可以将第1唇色相似度We大于阈值且第2唇色相似度Wf大于另一阈值的像素确定为唇候选区域。该情况下，表示唇候选区域的图像对应于将图12的（b）所示的图像以及图13的（b）所示的图像分别进行二值化且取积的结果。此外，唇区域确定部20也可以针对各个像素，在进行二值化之前取第1唇色相似度We以及第2唇色相似度Wf的和或者积，并通过其结果来确定唇候选区域。此外，唇区域确定部20也可以将1-（1-We）×（1-Wf）大于规定的阈值的像素确定为唇候选区域。唇区域确定部20也可以根据唇候选区域的分布，将能够明显判断为不是唇部的部位从唇候选区域中排除。

唇区域确定部20从口图像的唇候选区域确定模型化后的唇区域（第2唇区域）（S14）。确定模型化后的唇区域的方法有多种，可以采用成为模型的函数（高阶函数等）来近似口图像的唇候选区域的边界，也可以对唇候选区域的空间分布拟合预先准备好的唇形状模型从而确定，也可以基于预先准备好的唇形状模型并通过分割（segmentation）技术来确定唇区域。唇形状模型是通过函数或者范围等规定像是唇的唇形状的模型，也可以由表示唇的范围的规定的步骤来定义。

以下说明在本实施方式中进行的确定模型化后的唇区域的具体处理。图15的（a）以及图15的（b）与图14对应，是表示根据表示唇候选区域的图像来确定模型化后的唇区域的步骤的图像。在水平方向上取x轴，纵（垂直）方向上取y轴。首先，针对上唇，确定模型化后的唇区域。根据已知的左右的口端点的位置来确定口的水平方向上的中央的x坐标（x0）。此外，在水平方向中央（x坐标=x0）中，根据连续纵方向分布的上唇的唇候选区域的上端以及下端的位置，估计上唇区域的纵方向的中心位置（y坐标y0）。

以坐标（x0，y0）作为中心位置，将规定尺寸的矩形设定为搜索块（图15的（a））。另外，优选搜索块的纵方向尺寸大以包含上唇的候选区域的上端以及下端。在初始位置的搜索块中，求在搜索块中包含的唇候选区域的像素的重心位置，并将该重心位置的y坐标设为x坐标=x0中的上唇的唇区域在纵方向的中心位置（y坐标=y1）。

接着，使搜索块向口端点侧移动Δx，以坐标（x1，y1）作为中心位置来设定搜索块（图15的（b））。x1=x0+Δx。求移动后的搜索块中包含的唇候选区域的像素的重心位置，并将该重心位置的y坐标设为x坐标=x1中的上唇的唇区域在纵方向的中心位置（y坐标=y2）。

通过这样将搜索块依次偏离至口端点的附近而进行重心的计算，从而可得到表示上唇的唇区域在纵方向的中心位置的多个点的坐标（（x0，y1）、（x1，y2）、…）。可以直到搜索块到达规定的位置（例如口端点）为止继续处理，也可以直到唇候选区域中止的位置为止继续处理。例如，通过求连接用于表示上唇的唇区域在纵方向的中心位置的多个点的曲线（二次曲线或者更高阶的曲线等），从而可得到表示上唇的唇区域在纵方向的中心位置的曲线。另外，表示下唇的唇区域在纵方向的中心位置的多个点也可以同样地获得。

唇区域确定部20将以表示唇区域在纵方向的中心位置的各个点为中心的、纵方向的规定宽度的范围确定为模型化后的唇区域。在本实施方式中，可以说以表示唇区域在纵方向的中心位置的各个点为中心的、纵方向的规定宽度的范围是表示像是唇的形状的唇形状模型。图16与图15的（a）对应，是表示模型化后的唇区域的图像。明处表示唇区域。通过从唇候选区域将模型化后的唇形状的区域确定为唇区域，从而能够排除噪声等而确定像是唇的唇区域。另外，在图16所示的例子中，硬是从唇区域去除了口端点附近，以便在以后的唇的校正处理中不至于将校正处理进行至口端点附近的皮肤。

另外，在口的水平方向中央附近，也可以将连续纵方向分布的唇候选区域的上端至下端的距离作为模型化后的唇区域的纵方向宽度。此外，唇区域确定部20也可以求连接表示唇区域在纵方向的中心位置的各个点的曲线，并将该曲线的纵方向的规定宽度的区域确定为模型化后的唇区域。此外，唇区域确定部20也可以基于表示唇区域在纵方向的中心位置的各个点来确定唇区域，使得越是接近口端点侧唇区域的纵方向宽度越小。这样确定的唇区域将成为更加自然的模型的唇形状。

唇区域确定部20如此确定唇区域。另外，唇区域确定部20也可以将唇候选区域的像素确定为唇区域。此外，唇区域确定部20也可以只将唇候选区域并且是模型化后的唇区域的区域（取了图14的图像的区域和图16的图像的区域的乘积的区域）确定为唇区域。以上，唇色确定处理以及唇区域确定处理完成。

接着，对于已确定的唇区域进行唇彩校正。为了看上去像是涂抹了唇彩而加强唇的光泽。为此，增大唇的一部分区域的亮度，并使唇区域的颜色变化在整体上平滑。具体地说，准备用于对唇区域的一部分像素增加了亮度的光泽图像，并将光泽图像叠加（合成）到对唇区域进行了平滑化后的口图像上，从而使唇区域平滑，且加强唇的一部分的光泽。

图17是表示图像处理装置6中的校正处理的流程的流程图。

图像校正部21对于图16所示的唇区域的各个像素位置，求用于进行唇的图像校正的权重（校正权重Wg）（S21）。例如，在唇区域的中心附近更强地实施光泽增强的校正，在唇区域的周边部附近则更弱地实施光泽增强的校正，从而进行自然的外观的图像校正。

具体地说，图像校正部21针对上下的各个唇设定校正权重Wg，使得越是唇区域的水平方向的中心位置则权重大，越是唇区域的水平方向的外侧（口端点侧）则权重减小。此外，图像校正部21针对上下的各个唇设定校正权重Wg，使得越是唇区域的纵方向的中心位置权重越大，越是唇区域的纵方向的端部权重越小。例如，使得在唇区域的水平方向的中心位置且纵方向的中心位置上校正权重成为1，在唇区域的水平方向的中心位置且纵方向的唇区域的端部上校正权重成为0。此外，在唇区域的水平方向的外侧端且纵方向的中心位置上校正权重成为0.5，在唇区域的水平方向的外侧端且纵方向的唇区域的端部上校正权重成为0。其之间的校正权重例如可以使其线性变化。图18是表示在各水平位置下的校正权重Wg的图。纵轴表示唇区域的纵方向上的位置，横轴表示各个位置的校正权重Wg。此外，左侧的曲线对应于唇区域的水平方向的中心的位置，右侧的曲线对应于唇区域的水平方向的外侧的位置。在各个水平位置中，在唇区域的宽度中心上校正权重Wg大。此外，在水平方向的中心上校正权重Wg大。图19与图16对应，是表示校正权重Wg的图像。示出明处的校正权重Wg大。可知相对于图16所示的唇区域，图19所示的校正权重Wg在看起来更像是唇的区域上其校正权重更大。另外，也可以由唇区域确定部20进行该处理，并且唇区域确定部20将对图19所示的图像进行了二值化后的结果确定为唇区域。

图像校正部21基于校正权重Wg、唇候选区域、第1唇色相似度We、以及第2唇色相似度Wf，确定在唇区域中进行光泽（亮度）的校正的光泽校正区域（S22）。具体地说，图像校正部21针对各个像素，将校正权重Wg（图19）、唇候选区域（图16）、第1唇色相似度We（图12的（b））、以及第2唇色相似度Wf（图13的（b））的乘积作为校正部分评价值D3来求解。图20与图19对应，是表示校正部分评价值D3的图像。明处表示校正部分评价值D3的值大。图像校正部21将校正部分评价值D3的值大于规定的阈值的区域（像素）确定为光泽校正的对象即光泽校正区域。

为了进行自然的外观的光泽校正，即使在光泽校正区域中，针对最亮的一部分部位（区域）也要进行校正使得亮度进一步增大。这里，针对在光泽校正区域中具有最大亮度的像素的周边像素，增大其亮度。为此，以下的处理中，准备用于增加唇区域的一部分像素的亮度的光泽图像。

图像校正部21对于平滑化后的口图像，仅提取在光泽校正区域中包含的像素（S23）。图21与图2的（b）对应，是表示提取出的像素的亮度的图像。示出提取出的像素的亮度在明处大而在暗处小。另外，没有被提取的像素的位置则发黑示出。图像校正部21以提取出的像素中具有最大的亮度的像素为中心，对各个像素的亮度值乘以同心圆状的权重。同心圆状的权重，其中心为1，越是远离中心则越小。在图21中，具有最大亮度的像素位于图中所示的圆的中心。

图22是对已提取的像素的亮度值乘以权重后的结果的、基于已提取的各个像素的亮度值的直方图。

图像校正部21针对提取出的像素，对已乘上权重的各个像素的亮度值大的上位的规定比例的像素，生成亮度大的光泽图像（S24）。图23与图21对应，是表示只具有亮度分量的光泽图像的图像。在图21所示的图像中将具有最大亮度的像素作为中心，对应的光泽图像的像素具有大的亮度。例如，图像校正部21针对在已提取的像素的亮度值上乘以权重后的亮度值包含在上位4%的像素，生成如亮度变大的光泽图像。即，对图21所示的图像调整色调曲线以便让图22所示的直方图的上位4%所包含的像素的亮度值在校正后变大，从而生成光泽图像。

图24的（a）是表示对于已提取的各个像素（图21）的第1色调曲线的图，图24的（b）是表示对于已提取的各个像素的第2色调曲线的图。图24的（a）、图24的（b）中的横轴表示输入亮度，纵轴表示基于色调曲线的输出亮度，作为参考而叠加显示了图22的直方图。另外，假设亮度值取0～255的值。在第1色调曲线中，对于已提取的各个像素的亮度值校正输出亮度，使得其中具有最高的亮度值的像素的亮度成为128，并且除亮度值的上位4%以外的所有像素的亮度成为0。并且，在第1色调曲线中，针对亮度值的上位4%的像素，校正输出亮度使得亮度根据其亮度值从0到128线性变化。在第2色调曲线中，对于已提取的各个像素的亮度值，线性改变输出亮度使得最大输入亮度255成为最大输出亮度127。将图21所示的图像（已提取的各个像素）的亮度值以第1色调曲线进行了调整的图像和将图21所示的图像（已提取的各个像素）的亮度值以第2色调曲线进行了调整的图像相加，并将对相加后的图像（最大亮度255）乘以规定的校正程度（例如，0.1）后的图像作为光泽图像（图23）来生成。由于规定的校正程度，光泽图像的最大亮度例如成为25左右。光泽图像的亮度值成为对于口图像的亮度的校正值。

图像校正部21针对各个像素的亮度值，合成图2的（a）所示的标准化后的口图像、图2的（b）所示的平滑化后的口图像、以及图23所示的光泽图像，并生成校正后的口图像（S25）。具体地说，图像校正部21针对各个像素，将对平滑化后的口图像（图2的（b））的亮度值乘以图19所示的校正权重Wg后的结果、对标准化后的口图像（图2的（a））的亮度值乘以权重（1-Wg）后的结果、以及光泽图像（图23）的亮度值的三者之和设为校正后的口图像的亮度值。图25是表示标准化后的口图像、平滑化后的口图像以及光泽图像的合成处理的图。校正后的口图像的各个像素的亮度值Yc通过下式求解。

[数9]

Yc=Wg×Yf+(1-Wg)×Yn+Yg  …(9)

这里，Yf表示平滑化后的口图像的像素的像素值，Yn表示标准化后的口图像的像素的像素值，Yg表示光泽图像的像素的像素值。另外，校正权重Wg取从0到1的值。此外，当加法运算的结果的亮度值Yc超过最大亮度255时，将该像素的亮度值设为255。通过针对唇区域合成平滑化后的口图像，从而使唇区域的亮度变化平滑，通过对唇区域合成光泽图像，从而能够增强唇区域的光泽。另外，这里，图像校正部21对色调以及饱和度不进行校正。

接着，合成部22将校正后的口图像还原为进行标准化之前的原来的尺寸（根据需要对校正后的口图像进行旋转以及放大/缩小），并合成到处理对象的图像（人脸图像）上，生成校正后的图像（S26）。这样，可得到处理对象的图像中的唇等的外观被校正了的图像。

图26的（a）是表示校正前的人脸图像的一部分的图像，图26的（b）是表示校正后的人脸图像的一部分的图像。可知上下唇整体的外观变得平滑，下唇的一部分的光泽被增强。另外，在图26的（b）中还应用了要在实施方式2中说明的牙齿美白处理的校正。

显示控制部23使校正处理后的图像显示到显示装置5，并结束校正处理。

<本实施方式的优点>

根据本实施方式的图像处理装置6，基于包含唇和皮肤在内的口图像的除亮度以外的色调以及饱和度的信息，确定可能是各种颜色的唇的代表色，并且能够基于已确定的唇的代表色来准确地确定唇区域。然后，通过对已确定的唇区域进行校正处理，从而能够对图像中的人物的唇实施适当的校正处理。

在以往的图像处理中，认为利用亮度的信息来检测唇的区域是理所当然的。那是因为具有基于亮度来检测唇的区域的优点。作为其理由，可举出以下几点。

第1，基于亮度的方法还能够应用于灰阶图像。

第2，通常，口图像的Y分量与Cb分量以及Cr分量相比，边缘清晰，若利用Y分量则容易检测出唇等的边缘。图27的（a）与图2的（a）对应，是表示标准化后的口图像的Cb分量的值的图像，图27的（b）与图2的（a）对应，是表示标准化后的口图像的Cr分量的值的图像。明处表示各个分量的值大。若表示CbCr分量的图27的（a）以及图27的（b）与表示亮度Y的图2的（a）相比，表示亮度Y的图像的一方能够更加鲜明地区分唇的边缘。

如此，在以往，当照明条件等好的情况下，能够基于亮度来确定唇的区域以及唇色。另一方面，当照明条件等差的情况下（局部有阴影的情况或者照明过强的情况等），若像以往那样基于亮度来确定唇的区域以及唇色，则误检测会增多，有时无法准确地确定唇的区域以及唇色。

此外，当唇色（色调等）为已知的情况下，从以往开始就根据色调或者饱和度来确定唇的区域。此外，与采用通常的方法来检测人脸中宽范围分布的肤色的情况不同，大多数难以采用同样的方法来检测如唇这样的人脸中的窄区域的颜色。

相对地，根据本实施方式的图像处理装置6，当唇色并非已知且唇的区域也非已知的情况下，能够确定唇的代表色并确定唇的区域。图像处理装置6根据色调和饱和度中的差异，将与肤色以及牙齿的颜色不同的（差异大的）候选颜色确定为唇的代表色。因此，即使因阴影、照明或者化妆等导致图像中的皮肤与唇为相同色调的情况下，或者，图像中的肤色根据场所而大不同的情况下，也能够准确地区分皮肤以及牙齿与唇，能够确定唇的代表色。此外，由于考虑肤色的方差等而求各个候选颜色为唇色的程度，因此能够求出更加适合的唇色程度。这里，色调以及饱和度中的差异是指两个颜色的色调饱和度平面（CbCr平面）中的不同，包括色调的不同、饱和度的不同、以及色调饱和度平面中的距离等。

此外，图像处理装置6根据与肤色在色调以及饱和度上的差异而选择多个候选颜色，并从其中选择更像是唇色的（例如饱和度大）候选颜色作为唇的代表色。因此，能够更加准确地确定唇的代表色。

此外，图像处理装置6根据唇的代表色与各个像素在色调和饱和度上的差异，将与唇的代表色相似的区域确定为唇区域。在比较亮的照明环境下拍摄的图像时，有时唇的一部分会发白。唇的发白的光亮区域的饱和度小，另一方面唇的其他区域的饱和度大，因此光亮区域和除此以外的唇区域的颜色在CbCr平面中的距离变大。但是，由于光亮区域的色调也不会变化，因此通过考虑色调从而连光亮区域也能够准确地判定为唇区域。另一方面，即使在皮肤和唇为相同色调的情况下，通过考虑唇的代表色和各个像素在CbCr平面中的距离，从而也能够准确地确定唇区域。

此外，图像处理装置6基于与唇的代表色相似的像素（后候选区域的像素）的空间分布，应用规定的唇形状的模型等，将构成像唇的形状的像素和/或位于像唇的位置的像素确定为模型化后的唇区域。在唇以外存在与唇的代表色相似的区域时，需要从唇候选区域中仅判别出唇的区域。因此，通过使唇形状的模型与唇候选区域相合（拟合），从而能够从唇候选区域中只将位于像唇的位置的像素确定为唇区域。此外，即使因照明条件等导致唇的一部分与唇的代表色不相似的情况下，也能够在使唇形状的模型与唇候选区域相合时将唇形状的模型中包含的像素确定为唇区域。从而，在拍摄时由于闪得发白而导致失去了色调/饱和度的信息的唇的区域也能够准确地确定为唇区域。

这样，根据本实施方式的图像处理装置6，对于在不良条件下拍摄的图像也能够准确地确定唇的代表色并确定唇区域。

[实施方式2]

在本实施方式中，说明作为校正处理而进行牙齿美白校正的情况。另外，为了便于说明，针对与在实施方式1中说明的附图具有相同功能的构件/结构附上相同标号并省略其详细的说明。以下，参照附图详细说明本实施方式。

<数字照相机的结构>

图28是表示本实施方式的数字照相机30的概略结构的方框图。数字照相机30包括指示输入装置2、拍摄装置3、图像存储装置4、显示装置5、以及图像处理装置31。

<图像处理装置的结构>

图像处理装置31除了实施方式1的图像处理装置6的结构之外，包括口内部区域确定部32、牙齿候选颜色确定部33、以及牙齿代表色确定部34。

口内部区域确定部32从唇区域确定部20获取表示唇区域的信息，将唇区域确定部20确定的上唇区域以及下唇区域之间的区域确定为口内部区域。通过唇区域确定部20准确地确定上下唇的区域，从而能够确定口图像中包含牙齿的口内部的区域。另外，当上下唇区域之间没有空间时，不进行牙齿美白校正。口内部区域确定部32将表示已确定的口内部区域的信息输出到牙齿候选颜色确定部33。

牙齿候选颜色确定部33基于表示口内部区域的信息、以及从平滑化部16获取的平滑化后的口图像，确定成为牙齿颜色的候选的多个牙齿候选颜色。牙齿候选颜色确定部33从口图像的口内部区域所包含的多个区域中确定各个区域的代表色并设为牙齿候选颜色。例如，牙齿候选颜色确定部33如图3所示那样将口图像分割为多个区域。其中，将口内部区域所包含的各个区域的代表色（平均色或者中央值或最频值的颜色等）确定为牙齿颜色的多个候选颜色（牙齿候选颜色）。认为这样分割后的区域中的至少一个是主要包含牙齿的区域。从而，期待在多个牙齿候选颜色中存在适合作为牙齿颜色的代表色的颜色。但是，各个区域的设定（分割）方法不限于上述。所分割的多个区域的大小没有限制，也可以将各个像素作为多个区域。另外，为了在排除图像的噪声等之后确定牙齿候选颜色，牙齿候选颜色确定部33利用平滑化后的口图像来确定牙齿候选颜色。但是，不限于此，牙齿候选颜色确定部33也可以利用没有进行平滑化的口图像来确定牙齿候选颜色。此外，牙齿候选颜色确定部33将分割后的区域的颜色的离散程度作为对应的牙齿候选颜色的离散程度来求解。牙齿候选颜色确定部33将多个牙齿候选颜色以及牙齿候选颜色的离散程度输出到牙齿代表色确定部34。此外，牙齿候选颜色确定部33将牙齿候选颜色的离散程度输出到图像校正部21。

牙齿代表色确定部34从多个牙齿候选颜色中确定牙齿颜色的程度大的牙齿的代表色。具体地说，牙齿代表色确定部34将饱和度最小的牙齿候选颜色确定作为牙齿的代表色。牙齿代表色确定部34将牙齿的代表色输出到图像校正部21。

图像校正部21基于校正处理的指示、标准化后的口图像、平滑化后的口图像、唇的代表色以及牙齿的代表色，进行口图像中的外观的校正，并生成校正后的口图像。口图像的校正方法在后面叙述。图像校正部21将校正后的口图像输出到合成部22。

<图像处理流程>

以下，说明数字照相机30中的图像校正处理的流程。另外，用于确定唇区域为止的处理（图5所示的处理）与实施方式1相同。

图29是表示图像处理装置31中的口内区域确定处理以及校正处理（牙齿美白处理）的流程的流程图。图像处理装置31通过增大牙齿的区域的亮度，从而将图像中的牙齿校正为看起来闪得发白。

首先，口内部区域确定部32将唇区域确定部20确定的上唇区域以及下唇区域之间的区域确定为口内部区域（S31）。具体地说，将图16所示的上下唇区域所夹持的区域设为口内部区域。认为在口图像的口内部区域中包含有牙齿的区域。

牙齿候选颜色确定部33将口图像的口内部区域的至少一部分分割为多个区域，并将分割后的各个区域的代表色确定为牙齿颜色的多个候选颜色（牙齿候选颜色）（S32）。这里，针对各个区域，将该区域的平均色设为牙齿候选颜色。

牙齿代表色确定部34比较各个牙齿候选颜色的饱和度，将饱和度最小的牙齿候选颜色确定为牙齿的代表色（S33）。

图像校正部21对于口内部区域的各个像素位置，求用于进行牙齿的图像校正的权重（校正权重Wh）（S34）。例如，认为口内部区域的接近口端点的区域在口的内部大多成为阴影。因此，美白牙齿的校正处理针对口内部区域的水平方向的中央附近更加重点地进行即可。由此，进行自然的外观的图像校正。

具体地说，图像校正部21设定校正权重Wh，使得越是口内部区域的水平方向的中心位置权重越大，越是口内部区域的水平方向的外侧（口端点侧）权重越小。例如，使得在口内部区域的水平方向的中心位置上校正权重成为1，在口内部区域的水平方向的外侧端上校正权重成为0。其之间的校正权重例如可以使其线性变化。图30与图16对应，是表示口内部区域以及口内部区域的校正权重Wh的图像。明处表示校正权重Wh大。

图像校正部21针对口内部区域的各个像素，求与牙齿的代表色之间的相似程度（S35）。具体地说，图像校正部21求与各个像素的颜色和牙齿的代表色在颜色空间中的距离相应的牙齿颜色相似度Wi。

与颜色空间中的距离相应的牙齿颜色相似度Wi可通过下式求解。

[数10]

$\mathrm{Wi}=\exp \{-\frac{{(\mathrm{Yt}-Y)}^2+{(\mathrm{Cbt}-\mathrm{Cb})}^2+{(\mathrm{Crt}-\mathrm{Cr})}^2}{{\mathrm{\&sigma;yt}}^2+{\mathrm{\&sigma;bt}}^2+\mathrm{\&sigma;}{\mathrm{rt}}^2}\}\&CenterDot;\&CenterDot;\&CenterDot;\left(10\right)$

这里，Yt、Cbt、Crt分别是牙齿的代表色的亮度Y分量、Cb分量、Cr分量，Y、Cb、Cr分别是各个像素的颜色的Y分量、Cb分量、Cr分量。此外，σyt、σbt、σrt分别是颜色空间的Y轴上的牙齿颜色的标准偏差、Cb轴上的牙齿颜色的标准偏差、Cr轴上的牙齿颜色的标准偏差。牙齿颜色的标准偏差可根据与牙齿的代表色（最终被确定为牙齿的代表色的牙齿候选颜色）对应的区域（牙齿候选颜色确定部33分割的区域）的各个像素的颜色来求。另外，暗的像素与牙齿的区域的发白的像素同样地，色调以及饱和度减小。因此，在求牙齿颜色相似度Wi时考虑亮度Y，使暗的像素的牙齿颜色相似度Wi降低。图31与图2的（b）对应，是表示将口图像的各个像素的颜色代入到式（10）后计算了牙齿颜色相似度Wi的结果的图像。示出明处的牙齿颜色相似度Wi大，暗处的牙齿颜色相似度Wi小。据此，可知牙齿的区域的牙齿颜色相似度Wi大。口内部区域中牙齿以外的区域，即牙龈或口的里面、以及舌头等，其牙齿颜色相似度Wi小。

为了进行自然的外观的牙齿光泽校正，在以下的处理中，准备用于增加牙齿区域的像素的亮度的牙齿光泽图像。

图像校正部21针对口内部区域，基于口内部区域的校正权重Wh、牙齿颜色相似度Wi、第1牙齿颜色相似度We、以及第2牙齿颜色相似度Wf，生成牙齿光泽图像（S36）。具体地说，针对各个像素，取口内部区域的校正权重Wh以及牙齿颜色相似度Wi的乘积，并对其结果乘以（1-We）以及（1-Wf），并将进一步乘以规定的校正程度（例如20）后的图像作为牙齿光泽图像来生成。

图32与图12的（b）对应，是表示各个像素的（1-We）的值的图像。图33与图13的（b）对应，是表示各个像素的（1-Wf）的值的图像。图34与图31对应，是表示牙齿光泽图像的图像。亮处表示其值大。另外，口内部区域的校正权重Wh、牙齿颜色相似度Wi、第1唇色相似度We、以及第2唇色相似度Wf取0到1的值。例如当校正程度为20时，牙齿光泽图像的各个像素取0到20的值。牙齿光泽图像的各个像素的值成为对口图像进行校正时的亮度的校正值。另外，通过取口内部区域的校正权重Wh和牙齿颜色相似度Wi之积，从而能够增大口内部区域中作为牙齿的区域的水平方向中央附近的校正的权重。

图像中张着嘴但看不到牙齿的情况下，有时会将舌头等的颜色确定为牙齿的代表色。认为舌头的颜色与唇色相似。在这样的情况下，通过考虑（1-We）以及（1-Wf）以便不对舌头的颜色亮化校正，从而能够不校正与唇相似的色调/饱和度的区域（例如舌头）。

图像校正部21针对各个像素的亮度值，对图2的（a）所示的标准化后的口图像、以及图34所示的牙齿光泽图像进行合成，生成校正后的口图像（S37）。具体地说，图像校正部21针对各个像素，将标准化后的口图像（图2的（a））的亮度值与牙齿光泽图像（图34）的亮度值之和设为校正后的口图像的亮度值。此外，当加法运算的结果的亮度值超过最大亮度255时，将该像素的亮度值设为255。

合成部22将校正后的口图像合成到处理对象的图像（人脸图像）。以后的处理与实施方式1相同。

如果比较图26的（a）和图26的（b），则可知在图26的（b）所示的用于表示校正后的人脸图像的一部分的图像中，牙齿的尤其是水平方向的中央区域的亮度提高了。

<本实施方式的优点>

根据本实施方式的图像处理装置31，能够基于唇区域准确地确定口内部区域。并且，通过对口内部区域中是牙齿的程度大的区域进行校正处理，从而能够对图像中的人物的牙齿实施适当的校正处理。

此外，在图34所示的牙齿光泽图像中，明处表示是牙齿的程度大的部位。因此，可以说牙齿光泽图像示出了牙齿的区域。如此，根据本实施方式，能够准确地确定牙齿的区域。

[其他变形例]

本发明的图像处理装置是从包含人物的口的人脸图像中确定唇的特征的图像处理装置，包括：皮肤代表色确定部，确定上述人脸图像的皮肤的代表色；候选颜色确定部，在上述人脸图像中，设定多个区域使得至少其中一个区域包含唇的一部分，并将各个区域的代表色确定为候选颜色；以及唇代表色确定部，根据上述皮肤的代表色与各个候选颜色在色调以及饱和度中的差异，从上述多个候选颜色确定唇的代表色。

本发明的图像处理方法是从包含人物的口的人脸图像中确定唇的特征的图像处理方法，包括：皮肤代表色确定步骤，确定上述人脸图像的皮肤的代表色；候选颜色确定步骤，在上述人脸图像中，设定多个区域使得至少其中一个区域包含唇的一部分，并将各个区域的代表色确定为候选颜色；以及唇代表色确定步骤，根据上述皮肤的代表色与各个候选颜色在色调以及饱和度中的差异，从上述多个候选颜色确定唇的代表色。

根据上述结构，基于包含唇和皮肤的人脸图像在色调以及饱和度上的差异，从候选颜色中确定唇的代表色。因此，能够将可能是各种颜色的唇的代表色与肤色相区分而准确地确定。这里，色调以及饱和度中的差异是指两个颜色在色调饱和度平面中的不同，包括色调的不同、饱和度的不同、以及色调饱和度平面中的距离等。

此外，上述唇代表色确定部也可以根据上述皮肤的代表色与各个候选颜色在除亮度或明度以外的色调以及饱和度中的差异，确定上述唇的代表色。

当照明条件等不佳时（唇的周边局部有阴影时，或者照明过强时等），如果像以往那样基于亮度来确定唇的区域以及唇色，则误检测变多，有时无法准确地确定唇的区域以及唇色。

根据上述结构，不利用亮度或者明度的信息，根据色调以及饱和度中的差异来确定上述唇的代表色。因此，即使在因阴影、照明或者化妆等而导致图像中的皮肤和唇为相同色调的情况下，此外，即使在图像中的肤色根据场所而大不同的情况下，也能够准确地区分皮肤和唇，并且能够准确地确定唇的代表色。

此外，上述唇代表色确定部也可以根据颜色空间的色调饱和度平面中的各个候选颜色与上述皮肤的代表色之间的距离、各个候选颜色与上述皮肤的代表色在色调上的差异、各个候选颜色的饱和度的大小，确定上述唇的代表色。

此外，上述唇代表色确定部的结构也可以是针对各个候选颜色求第1权重、第2权重和第3权重，并求基于上述第1权重、上述第2权重、以及上述第3权重的唇色程度，并且将上述唇色程度大的上述候选颜色确定为上述唇的代表色，其中，上述第1权重与颜色空间的色调饱和度平面中的该候选颜色和上述皮肤的代表色之间的距离相应，上述第2权重与该候选颜色和上述皮肤的代表色在色调上的差异相应，上述第3权重与该候选颜色的饱和度的大小相应，上述第1权重在颜色空间的色调饱和度平面中的上述候选颜色和上述皮肤的代表色之间的距离越大时权重越大，上述第2权重在上述候选颜色和上述皮肤的代表色在色调上的差异越大时权重越大，上述第3权重在上述候选颜色的饱和度越大时权重越大，上述唇色程度根据上述第1权重、上述第2权重、以及上述第3权重而变大。

根据上述结构，能够根据色调饱和度平面中的各个候选颜色和上述皮肤的代表色之间的距离、各个候选颜色和上述皮肤的代表色在色调上的差异来区分皮肤和唇。此外，能够通过各个候选颜色的饱和度的大小来区分牙齿和唇。因此，能够将皮肤或者牙齿与唇进行区分并准确地确定唇的代表色。

此外，上述唇代表色确定部也可以针对各个候选颜色求第1权重、第2权重和第3权重，并求基于上述第1权重、上述第2权重、以及上述第3权重的唇色程度，并且选择上述唇色程度大的上述候选颜色作为第1选择候选颜色，其中，上述第1权重与颜色空间的色调饱和度平面中的该候选颜色和上述皮肤的代表色之间的距离相应，上述第2权重与该候选颜色和上述皮肤的代表色在色调上的差异相应，上述第3权重与该候选颜色的饱和度的大小相应，上述第1权重在颜色空间的色调饱和度平面中的上述候选颜色和上述皮肤的代表色之间的距离越大时权重越大，上述第2权重在上述候选颜色和上述皮肤的代表色在色调上的差异越大时权重越大，上述第3权重在上述候选颜色的饱和度越大时权重越大，上述唇色程度根据上述第1权重、上述第2权重、以及上述第3权重而变大，上述唇代表色确定部针对除上述第1选择候选颜色以外的各个候选颜色，求与颜色空间的色调饱和度平面中的该候选颜色和上述第1选择候选颜色之间的距离相应的第4权重，并求基于上述唇色程度以及上述第4权重的候选评价值，并且从除上述第1选择候选颜色以外的各个候选颜色中选择上述候选评价值大的上述候选颜色作为至少一个第2选择候选颜色，上述第4权重在颜色空间的色调饱和度平面中的上述候选颜色和上述第1选择候选颜色之间的距离越大时权重越大，上述候选评价值根据上述唇色程度以及上述第4权重而变大，上述唇代表色确定部在被选择作为第1选择候选颜色或者第2选择候选颜色的上述候选颜色中，将饱和度最大的或者色调最接近规定的色调的上述候选颜色确定为上述唇的代表色。

根据上述结构，根据色调饱和度平面中的各个候选颜色和上述皮肤的代表色之间的距离、各个候选颜色和上述皮肤的代表色在色调上的差异、各个候选颜色的饱和度的大小，选择与肤色大不相同的候选颜色作为第1选择候选颜色。此外，针对除第1选择候选颜色以外的各个候选颜色，根据色调饱和度平面中的该候选颜色和上述第1选择候选颜色之间的距离，从除第1选择候选颜色以外的各个候选颜色中，选择与第1选择候选颜色大不相同的候选颜色作为第2选择候选颜色。并且，在被选择作为第1选择候选颜色或者第2选择候选颜色的上述候选颜色中，将饱和度最大的或者色调最接近规定的色调的上述候选颜色确定为唇的代表色。

从而，根据肤色在色调以及饱和度上的差异来选择多个候选颜色，并从其中选择更像唇色的（例如饱和度大的或者色调接近红色的）候选颜色作为唇的代表色。因此，即使在皮肤和唇色相似的情况下，也能够防止错误地将牙齿的颜色设为唇的代表色，能够将皮肤或者牙齿与唇相区分并且更加准确地确定唇的代表色。

此外，上述图像处理装置的结构也可以包括：唇区域确定部，根据与上述唇的代表色在色调以及饱和度上的差异，将具有与上述唇的代表色相似的颜色的区域确定为第1唇区域。

在比较亮的照明环境下拍摄的图像时，有时唇的一部分会发白，唇的局部存在明亮的区域，因此如果利用亮度来判别区域则有时会进行错误检测。

根据上述结构，即使局部为明亮的区域，也能够通过考虑色调来准确地判定为唇区域。另一方面，即使在皮肤和唇为相同色调的情况下，根据上述结构，通过考虑唇的代表色和各个区域（例如像素）的颜色在色调饱和度平面中的距离，也能够准确地确定唇区域。由此，基于所确定的唇的代表色，能够准确地确定唇区域。

此外，上述唇区域确定部也可以将具有在颜色空间的色调饱和度平面中离上述唇的代表色的距离为第1阈值以下和/或与上述唇的代表色在色调上的差异为第2阈值以下的颜色的区域确定为上述第1唇区域。

此外，上述唇区域确定部也可以使规定唇的形状的规定的唇形状模型与上述第1唇区域相合，并将相合后的上述唇形状模型所示的区域确定为第2唇区域。

作为与唇的代表色相似的区域的第1唇区域，可能包含有与皮肤或者口中的唇的代表色相似的不是唇的像素（噪声）。

根据上述结构，基于作为与唇的代表色相似的区域的第1唇区域，使规定了像唇的唇形状的唇形状模型的形状和/或位置与第1唇区域相合。相合后的唇形状模型所示的区域，成为除上述噪声的像素以外的像唇的像素的集合。因此，能够只将处于更像唇的位置上的像素确定为（第2）唇区域。此外，在拍摄时由于闪得发白而导致失去了色调/饱和度的信息的唇的区域也能够准确地确定为唇区域。

此外，上述唇区域确定部也可以基于上述第1唇区域，针对多个水平位置确定上唇或者下唇在纵方向上的中心点，并将以各个中心点作为中心的纵方向的规定宽度的区域确定为第2唇区域。

根据上述结构，确定上唇或者下唇在纵方向上的中心点，并且能够基于各个重心点将更像唇的区域确定为第2唇区域。

（程序以及记录介质）

另外，上述图像处理装置也可以将一部分通过计算机来实现，该情况下，通过使计算机作为上述各个部来工作从而使计算机实现上述图像处理装置的控制程序、以及记录了上述控制程序的计算机可读取的记录介质也纳入本发明的范畴。

图像处理装置6/31的各个块尤其是图像取得部11、人脸检测部12、特征检测部13、适合与否判定部14、口图像标准化部15、平滑化部16、皮肤代表色确定部17、候选颜色确定部18、唇代表色确定部19、唇区域确定部20、图像校正部21、合成部22、显示控制部23、口内部区域确定部32、牙齿候选颜色确定部33、以及牙齿代表色确定部34可以通过硬件构成，也可以如下那样利用CPU（中央处理单元）并由软件实现。

即，图像处理装置6/31具备执行用于实现各个功能的控制程序的命令的CPU、存储了上述程序的ROM（只读存储器）、展开上述程序的RAM（随机存取存储器）、存储上述程序以及各种数据的存储器等的存储装置（记录介质）等。并且，本发明的目的也可以通过以下方式来实现，即将以计算机可读取的方式记录了实现上述功能的软件即图像处理装置6/31的控制程序的程序代码（执行形式程序、中间代码程序、源程序）的记录介质提供给上述图像处理装置6/31，并由该计算机（或者CPU或MPU（微处理器单元））读出记录介质中所记录的程度代码而执行。

作为上述记录介质，例如可使用磁带或盒式带等的带系列、包含软（注册商标）盘/硬盘等的磁盘或CD-ROM（光盘只读存储器）/MO（磁光）/MD（迷你盘）/DVD（数字视频盘）/CD-R（可记录CD）等的光盘的盘系列、IC卡（包含存储卡）/光卡等的卡系列、或者掩膜ROM/EPROM（可擦可编程只读存储器）/EEPROM（电可擦可编程只读存储器）/闪速ROM等的半导体存储器系列等。

此外，也可以将图像处理装置6/31构成为能够与通信网络连接，并经由通信网络提供上述程序代码。作为该通信网路，不特别限定，例如可利用互联网、内部网、外部网、LAN（局域网）、ISDN（综合服务数字网）、VAN（增值网络）、CATV（有线电视）通信网、虚拟专用网（virtual private network）、电话线路网、移动体通信网、卫星通信网等。此外，作为构成通信网络的传输介质，不特别限定，例如，无论是IEEE（电气和电子工程师协会）1394、USB、电力线传输、线缆TV线路、电话线、ADSL（非对称数字用户环线）线路等的有线，还是IrDA（红外线数据协会）或遥控器那样的红外线、蓝牙（注册商标）、802.11无线、HDR（高数据网）、便携式电话网、卫星线路、地波数字网等的无线都可以利用。

本发明不限于上述的各个实施方式，在权利要求所示的范围内可进行各种变更，通过适当组合不同的实施方式中分别公开的技术手段而得到的实施方式也包含在本发明的技术范围内。

工业上的可利用性

本发明能够利用于具备图像处理装置的数字照相机等。

标号说明

1、30 数字照相机

2 指示输入装置

3 拍摄装置

4 图像存储装置

5 显示装置

6、31 图像处理装置

11 图像取得部（指示接收部）

12 人脸检测部

13 特征检测部

14 适合与否判定部

15 口图像标准化部

16 平滑化部

17 皮肤代表色确定部

18 候选颜色确定部

19 唇代表色确定部

20 唇区域确定部

21 图像校正部

22 合成部

23 显示控制部

32 口内部区域确定部

33 牙齿候选颜色确定部

34 牙齿代表色确定部

Claims (11)

1.一种图像处理装置，从包含人物的口的人脸图像中确定唇的特征，该图像处理装置的特征在于，包括：

皮肤代表色确定部，确定上述人脸图像的皮肤的代表色；

候选颜色确定部，在上述人脸图像中，设定多个区域使得至少其中一个区域包含唇的一部分，并将各个区域的代表色确定为候选颜色；以及

唇代表色确定部，根据上述皮肤的代表色与各个候选颜色在色调以及饱和度中的差异，从上述多个候选颜色确定唇的代表色。

2.如权利要求1所述的图像处理装置，其特征在于，

上述唇代表色确定部根据上述皮肤的代表色与各个候选颜色在除亮度或明度以外的色调以及饱和度中的差异，确定上述唇的代表色。

3.如权利要求1或2所述的图像处理装置，其特征在于，

上述唇代表色确定部根据颜色空间的色调饱和度平面中的各个候选颜色与上述皮肤的代表色之间的距离、各个候选颜色与上述皮肤的代表色在色调上的差异、各个候选颜色的饱和度的大小，确定上述唇的代表色。

4.如权利要求1至3的任一项所述的图像处理装置，其特征在于，

上述唇代表色确定部针对各个候选颜色求第1权重、第2权重和第3权重，并求基于上述第1权重、上述第2权重、以及上述第3权重的唇色程度，并且将上述唇色程度大的上述候选颜色确定为上述唇的代表色，其中，上述第1权重与颜色空间的色调饱和度平面中的该候选颜色和上述皮肤的代表色之间的距离相应，上述第2权重与该候选颜色和上述皮肤的代表色在色调上的差异相应，上述第3权重与该候选颜色的饱和度的大小相应，

上述第1权重在颜色空间的色调饱和度平面中的上述候选颜色和上述皮肤的代表色之间的距离越大时权重越大，上述第2权重在上述候选颜色和上述皮肤的代表色在色调上的差异越大时权重越大，上述第3权重在上述候选颜色的饱和度越大时权重越大，上述唇色程度根据上述第1权重、上述第2权重、以及上述第3权重而变大。

5.如权利要求1或2所述的图像处理装置，其特征在于，

上述唇代表色确定部针对各个候选颜色求第1权重、第2权重和第3权重，并求基于上述第1权重、上述第2权重、以及上述第3权重的唇色程度，并且选择上述唇色程度大的上述候选颜色作为第1选择候选颜色，其中，上述第1权重与颜色空间的色调饱和度平面中的该候选颜色和上述皮肤的代表色之间的距离相应，上述第2权重与该候选颜色和上述皮肤的代表色在色调上的差异相应，上述第3权重与该候选颜色的饱和度的大小相应，

上述第1权重在颜色空间的色调饱和度平面中的上述候选颜色和上述皮肤的代表色之间的距离越大时权重越大，上述第2权重在上述候选颜色和上述皮肤的代表色在色调上的差异越大时权重越大，上述第3权重在上述候选颜色的饱和度越大时权重越大，上述唇色程度根据上述第1权重、上述第2权重、以及上述第3权重而变大，

上述唇代表色确定部针对除上述第1选择候选颜色以外的各个候选颜色，求与颜色空间的色调饱和度平面中的该候选颜色和上述第1选择候选颜色之间的距离相应的第4权重，并求基于上述唇色程度以及上述第4权重的候选评价值，并且从除上述第1选择候选颜色以外的各个候选颜色中选择上述候选评价值大的上述候选颜色作为至少一个第2选择候选颜色，

上述第4权重在颜色空间的色调饱和度平面中的上述候选颜色和上述第1选择候选颜色之间的距离越大时权重越大，上述候选评价值根据上述唇色程度以及上述第4权重而变大，

上述唇代表色确定部在被选择作为第1选择候选颜色或者第2选择候选颜色的上述候选颜色中，将饱和度最大的或者色调最接近规定的色调的上述候选颜色确定为上述唇的代表色。

6.如权利要求1至5的任一项所述的图像处理装置，其特征在于，包括：

唇区域确定部，根据与上述唇的代表色在色调以及饱和度上的差异，将具有与上述唇的代表色相似的颜色的区域确定为第1唇区域。

7.如权利要求6所述的图像处理装置，其特征在于，

上述唇区域确定部将具有在颜色空间的色调饱和度平面中离上述唇的代表色的距离为第1阈值以下和/或与上述唇的代表色在色调上的差异为第2阈值以下的颜色的区域确定为上述第1唇区域。

8.如权利要求6或7所述的图像处理装置，其特征在于，

上述唇区域确定部使规定唇的形状的规定的唇形状模型与上述第1唇区域相合，并将相合后的上述唇形状模型所示的区域确定为第2唇区域。

9.如权利要求6或7所述的图像处理装置，其特征在于，

上述唇区域确定部基于上述第1唇区域，针对多个水平位置确定上唇或者下唇在纵方向上的中心点，并将以各个中心点作为中心的纵方向的规定宽度的区域确定为第2唇区域。

10.一种图像处理方法，从包含人物的口的人脸图像中确定唇的特征，该图像处理方法的特征在于，包括：

皮肤代表色确定步骤，确定上述人脸图像的皮肤的代表色；

候选颜色确定步骤，在上述人脸图像中，设定多个区域使得至少其中一个区域包含唇的一部分，并将各个区域的代表色确定为候选颜色；以及

唇代表色确定步骤，根据上述皮肤的代表色与各个候选颜色在色调以及饱和度中的差异，从上述多个候选颜色确定唇的代表色。

11.一种图像处理装置的控制程序，用于从包含人物的口的人脸图像中确定唇的特征，该控制程序使计算机执行以下步骤：

皮肤代表色确定步骤，确定上述人脸图像的皮肤的代表色；

候选颜色确定步骤，在上述人脸图像中，设定多个区域使得至少其中一个区域包含唇的一部分，并将各个区域的代表色确定为候选颜色；以及

唇代表色确定步骤，根据上述皮肤的代表色与各个候选颜色在色调以及饱和度中的差异，从上述多个候选颜色确定唇的代表色。

Images