CN104380339B - 图像处理装置、图像处理方法、以及介质 - Google Patents

Abstract

图像处理装置通过对原图像进行处理，生成在原图像所表现的对象体的一部分部位涂敷了化妆涂料的情况下的化妆图像。构成涂料涂敷层的各个像素的颜色范围通过对应于构成原图像所表现的对象体的各个像素的代表色与化妆涂料的颜色之比而将构成上述对象体的一部分部位的像素的颜色范围扩大而得到。涂料涂敷层的像素的值通过将原图像中的在位置上相对应的像素的像素值向涂料涂敷层的颜色范围进行映射而得到。

Description

图像处理装置、图像处理方法、以及介质

技术领域

本发明是属于图像处理技术的技术领域的发明。

背景技术

所谓图像处理技术是这样的技术：从由相机等取得的图像数据提取所希望的部位的部位图像，将构成该部位图像的各个像素比特值改写，将改写后的部位图像合成到原始的图像中，由此进行图像的加工。生成涂敷了化妆品或颜料(paint)的情况下的涂改图像的化妆模拟器是作为该图像处理技术的应用而广为人知的设备之一。

利用化妆模拟器，在计算机上通过图像处理对脸图像将化妆品或颜料涂敷在脸上，虚拟地实现虚拟的涂敷后的脸。用于化妆模拟器的图像处理中，有以下方法：将成为处理对象的部位的原始颜色置换为目标涂敷色的手法，向成为处理对象的部位合成目标涂敷色的手法等。

现有技术文献

专利文献

专利文献1：日本专利第3723349号公报

发明内容

发明要解决的课题

在将化妆模拟器作为化妆品的促销器材进行推销的情况、或者作为打印俱乐部(print club)等单体娱乐设备进行销售的情况下，将涂敷了化妆品或颜料的情况下的脸以何种程度真实地再现成为将企业导向成功的关键。

但是，近年来的化妆品业界的技术革新非常显著，含有具有各种各样的光学特性的组成物的新制品充斥在市场中。这样的化妆品多通过向涂敷部位照射环境光而强调唇的质感或形成独特的对比度。在以往的化妆模拟器的涂敷色的置换及涂敷色的合成中，具有无法进行这样的质感强调和对比度表现、难以跟上化妆品的进步的问题。

若涂敷了化妆品的涂敷后的图像与实际体验了涂敷的图像之间的差距较大，则作为化妆品的促销器材而言是不合格的，无法得到化妆品厂商的信赖。虽然在作为促销对象的涂料是化妆品的假定下提出了技术课题，但该假定只不过是在说明上述技术课题时选择身边的题材而已，本申请中设为对象的技术课题不限定于上述的例子的情况。上述技术课题是在想要对一些客体涂敷具有各种各样的光学特性的涂料的情况下必然会发生的，在不久的将来，在想要将上述技术实用化时，上述技术课题是本申请的技术领域的技术人员必须直面的技术壁垒。

本发明的目的在于，提供一种能够将涂敷具有各种各样的光学特性的化妆涂料并照射环境光的状态更真实地再现的图像处理装置。

用于解决课题的手段

上述课题能够通过以下单元来解决，即：从原图像所表现的对象体指定应涂敷化妆涂料的部位的指定单元；生成由具有以化妆涂料的样本色为代表色的颜色范围的多个像素构成的涂料涂敷层的生成单元；以及向原图像合成涂料涂敷层的合成单元。

这是因为，构成涂料涂敷层的多个像素的颜色范围通过对应于构成应涂敷化妆涂料的原图像的部位的多个像素的代表值与化妆涂料的样本色像素的值之比，将构成上述对象体的一部分部位的多个像素的颜色范围扩大而得到，涂料涂敷层的像素的值通过将原图像的在位置上相对应的像素的像素值向涂料涂敷层的颜色范围进行映射而得到。

发明效果

涂料涂敷层的颜色范围可通过将原图像的颜色范围扩大而得到，因此涂料涂敷层中以更丰富的色度表现对象物的部位。此外，涂料涂敷层的像素比特值通过将原图像的在位置上相对应的像素的像素比特值映射于扩大后的颜色范围而得到，因此对象物的部位本来兼具的曲面美得以进一步强调，此外，通过照射环境光而产生的对比度的再现成为可能。部位是唇的情况下，通过口红的涂敷，唇的立体感进一步突出，因此能够进一步对用户宣传涂料涂敷层的功能。

由于伴随着以化妆品为代表的涂料的进步的真实的化妆模拟器得以实现，因此能够获得化妆品厂商的较强的信赖，能够大大扩展化妆模拟器的用途。

附图说明

图1(a)将对HSV的各像素成分的通道图像加上的差分是平稳的差分的情况下的图像处理进行算式化来表示。图1(b)将对有关各像素成分的通道图像加上的差分具有范围的情况下的图像处理进行算式化来表示。

图2(a)表示平板(tablet)终端的外观。图2(b)表示发挥作为化妆模拟器的处理时的初始画面。

图3表示用户使用平板终端100中的相机102而想要拍摄自身图像的情况。

图4(a)表示化妆前的用户的自身图像，图4(b)表示化妆后的用户的自身图像。

图5(a)表示由图像处理装置利用的平板终端的硬件资源。图5(b)表示储存器(storage)6的记录内容。图5(c)表示用户001目录，图5(d)表示物品(item)001目录的结构。

图6是对构成图像处理装置的硬件构成要素或软件构成要素添写了构成要素间的数据流的图。

图7(a)表示脸图像face(RGBs)的构成和比特分配(bit assign)。图7(b)是表示图7(a)的唇图像(HCLs)的构成和比特分配的图。图7(c)是表示口红涂敷层(HCLs)的构成和比特分配的图。

图8是具体表示图像处理装置的图像处理的过程的图。

图9(a)表示对象部位即唇部位的L成分的分布，图9(b)表示口红涂敷层的对象部位即唇部位的L成分的分布。

图10(a)和图10(b)是示意性地表示图像处理装置进行的颜色的颜色范围扩大的概念的图。

图11(a)表示在唇部位存在于第i个的像素的变换过程，图11(b)表示在化妆后的唇部位将存在于第i个的像素用rmap[i]进行变换的过程。

图12是表示第1实施方式中的整体顺序的流程图。

图13(a)是表示唇的有效掩模制作的处理详请的流程。图13(b)是表示唇的颜色范围算出的处理顺序的流程图。图13(c)是表示口红涂敷层的生成顺序的流程图。

图14(a)是将颜色范围计算具体化的流程图。图14(b)是表示范围映射(rangemap)计算的详细处理顺序的流程图。

图15(a)是表示口红涂敷层的L通道的颜色范围生成顺序的流程图。图15(b)是表示口红涂敷层的L通道生成的处理顺序的流程图。

图16是有关L通道的合成处理的流程图。

图17是表示第2实施方式的图像处理装置的内部结构的图。

图18(a)是将H通道的颜色范围计算具体化的流程图。图18(b)是表示颜色范围映射计算的详细处理顺序的流程图。

图19(a)是表示口红涂敷层的H通道的颜色范围生成的处理顺序的流程图。图19(b)是表示口红涂敷层的H通道生成的处理顺序的流程图。

图20是有关H通道的合成处理的流程图。

图21(a)是将C通道的颜色范围计算具体化的流程图。图21(b)是表示颜色范围映射计算S42的详细处理顺序的流程图。

图22(a)是表示口红涂敷层的C通道的颜色范围生成顺序的流程图。图22(b)是表示口红涂敷层的C通道生成的处理顺序的流程图。

图23是有关C通道的合成处理的流程图。

图24(a)表示第3实施方式的储存器6的目录结构。图24(b)表示在样本文件中保存的范围映射样本的一例。图24(c)表示通过样本文件实现的唇的强光(high light)和阴影。

图25是表示利用样本文件的口红涂敷层的生成顺序的流程图。

图26(a)表示通过定位点(anchor point)和补充线形成的唇的轮廓线。图26(b)表示通过降低沿着补充线存在的像素的加权系数而生成的唇的阴影。图26(c)表示使补充线的曲率变化的过程。

图27是表示嘴角部分强调的处理顺序的流程图。

图28表示与模式切换相应的3个阶段。

图29(a)表示在帧图像Fx和帧图像Fx+m中检测出的特征点群。图29(b)表示规定帧图像Fx与帧图像Fx+m之间的特征点的变换的变换矩阵。

图30(a)表示帧图像Fx、帧图像Fx+m中存在的多个特征点。图30(b)表示变换矩阵的一例。图30(c)表示对静止图像描绘手涂图像的情况。

图31表示动作模式从确认模式切换为操作模式的情况下，到作为确认模式的基础(base)的静止图像确定为止的经过。

图32是表示以运动图像为对象的化妆的处理顺序的流程图。

具体实施方式

(实施方式的序章)

发明者们在实施本发明时直面了各种各样的技术壁垒。以下，对直到克服该技术壁垒为止的进展进行描述。

含有衍射颜料的口红中，因环境照明而被照亮的强光部分闪耀而夺目，涂敷了口红的区域平缓地扩展，以朝向凹处降低亮度这样的耀眼的对比度，使见者着迷。

另一方面，通过图像处理技术实施了化妆的表情的再现中，将作为处理对象的部位的像素比特值改写为其他像素比特值的方法是常见的，该方法难以再现利用上述的光学效果使部位本来具有的美感突出的状态。为了克服该实施壁垒，发明者们选择了专利文献1所记载的现有技术作为研究开发的基础。

专利文献1所记载的口红色变换系统，生成在图像中出现的唇上涂敷了口红的涂敷后部位图像。具体而言，从构成原始的脸图像的像素中提取唇区域，对构成唇区域的像素的像素值加上作为差分的涂改偏差，得到在唇上涂敷了口红的图像。该图像处理中，进行将作为图像处理的对象的脸图像从RGB颜色空间向HSV颜色空间变换的RGB→HSV变换、和将实施了像素处理的脸图像从HSV颜色空间向RGB颜色空间变换的HSV→RGB变换。

此外，涂改偏差通过计算唇色的平均、将所计算的平均值作为唇的代表色、并计算唇的代表色与目标口红色之差而得到。针对原始的唇图像的强光部分和有影的部位，将HSV颜色空间的饱和度(S)、亮度(V)、通道的涂改偏差加法停止。通过仅实施色调(H)通道的加法，能够进一步表现原始的对比度感。同样，在颜色与肤色相近的区域，将口红与唇的差分的加法停止。将以该专利文献1为基础的图像处理算式化来表示，则如图1(a)那样。

图1(a)将对HSV的各像素成分的通道(channel)图像加上的差分为平稳(flat)的差分的情况下的图像处理进行算式化来表示。图1(a)的算式表达依照以下的规则。图1中的四边形是被算符，表示作为算式的运算对象的图像或层。小的四边形是固定值，表示算式的运算中使用的颜色的像素比特值。圆圈记号是算式的算符，表示对构成图像或层的各个像素的像素比特值执行的运算的种类。这里，“层”是指一部分或全部的像素成为全透明或半透明以供与其他图像合成的图像。依照该规则可知：图1(a)中的装置结构规定了基于由唇部位的平均值与口红色之间的减法运算(1)、构成唇部位的图像的H通道、S通道、V通道与差分之间的加法运算(2)构成的算式的运算。

lip1表示指定了唇区域的脸图像的一部分。脸图像中的轮廓线edg1由圆圈标记的定位部(anchor)和将定位部间连结的补充线构成，仅将脸图像中的唇包围。图中的H通道是指通过将构成唇的HSV的像素成分中的H成分抽出而得到的图像。同样，S通道、V通道是指通过将构成唇的HSV的像素成分中的S成分、V成分抽出而得到的图像。

差分运算sub1用于对H通道、S通道、V通道分别进行唇区域的平均值与口红色之间的减法运算。

加算运算pls1、2、3用于对H通道、S通道、V通道分别进行通过减法运算得到的H通道、S通道、V通道的各自的差分即ΔH、ΔS、ΔV、与脸图像中的唇的H通道、S通道、V通道之间的加法运算。

该图1(a)中，图像整体中差分是平稳的，成为最大值的像素比特值的像素和成为最小值的像素比特值的像素均被加上相同值，所以图像整体的颜色的变动幅度、所谓颜色范围与原始图像的颜色范围同等。这样，无法演绎通过口红的涂敷而强调对比度感的感觉，作为虚拟地涂敷化妆涂料的化妆模拟器的功能而言还有不足。

此外，根据专利文献1所记载的现有技术，对于原始图像中存在强光的部位和有影的部位，将亮度、饱和度通道的涂改偏差的加法运算停止，从而具有在进行色调、饱和度、亮度3个通道加法运算的部分和仅色调通道进行加法运算的部分的边界发生不连续面而导致的不自然感明显这样的实施上的壁垒。

对用于克服该实施上的壁垒的途径进行说明。为了生成涂敷了口红的状态的唇图像，将本申请中新提出的图像处理算式化，则如图1(b)那样。

图1(b)将对有关各像素成分的通道图像加上的差分具有范围的情况下的图像处理进行算式化来表示。可知图1(b)中的算式规定了由口红色与唇部位的颜色范围之间的乘法运算(1)、和构成唇部位图像的色调(H)通道、饱和度(C)通道、亮度(L)通道与差分之间的α混合(blend)(2)构成的运算处理。图中的L通道是指通过将构成唇的HCL的像素成分中的L成分抽出而得到的图像。同样，H通道、C通道是指通过将构成唇的HCL的像素成分中的H成分、C成分抽出而得到的图像。按图像所包含的多个通道的每个通道，算出与口红之间的差分，将该差分按每个通道相加这一点是与图1(a)的装置结构之间的共通点。差异在于以下。

第1，差分计算不同。差分计算的差异是指，在图1(a)的装置中，对H通道、C通道、V通道分别相加的差分通过唇色与口红色之间的减法运算而得到，相对于此，在图1(b)的装置中，对H通道、C通道、L通道分别相加的差分通过对由唇区域和唇的平均值得到的带范围的层乘以口红色而得到。图中的乘法运算mul1进行该带范围的层与口红色之间的乘法运算。图1(b)中ΔL的带范围的层将脸、唇用单色(monotone)表示。ΔC的带范围的层以脸整体为灰色而唇为白色的负(negative)图像那样的形式来表示脸图像。但是，对于H通道的层，层是否具有范围(range)是任意的，成为差分的层也可以是“平稳”的。因而，图1(b)中，假设H通道的层是平稳的层。

第2，差分的内容不同。图1(a)的装置的差分通过减法运算而算出，所以图1(a)的装置中的差分成为在图像平面整体中固定的平稳的差分，相对于此，图1(b)的装置的差分的不同点在于：是从唇区域和唇的平均值得到的带范围的层，各像素的值根据平面位置而不同，具有一定的数值范围。

第3，层合成不同。合成的差异是指，图1(a)的装置的合成对构成唇部位的图像的H通道、S通道、V通道分别加上平稳的层的值，相对于此，图1(b)中的合成通过以脸图像的C通道及L通道、与对C通道及L通道具有范围的层之间的α混合为代表的合成运算来进行。图中的α混合bd1、bd2、bd3是该合成运算的一例，意味着这样的运算：对脸图像的C通道、L通道乘以α值，另一方面，对具有针对C通道、L通道的范围的层乘以α的反转值(1-α)并进行加法运算。作为α混合的对象的HCL的各个像素成分的层由于具有颜色范围，所以化妆后的图像鲜明地表现唇的质感。

(第1实施方式)

本实施方式公开了对在HCL空间中构成各像素的H成分、C成分、L成分之中的L成分所构成的L通道的图像进行图像处理的化妆模拟器的实施方式。该化妆模拟器利用平板终端的硬件资源，具体实现上述图像处理装置的构成要件。

图2(a)表示平板终端的外观。平板终端在面对用户的面具有触摸面板显示器101，在该触摸面板显示器的上侧端部存在自拍相机102。

自拍是指拍摄对平板终端主体进行操作的用户，通过该平板终端，拍摄用户的自身图像。在化妆模拟器中，将该自身图像在触摸面板显示器上显示，通过接受对该自身图像的操作而使用户实现虚拟的化妆。作为化妆对象的自身图像包含构成相机在静止图像模式下拍摄的静止图像数据、在运动图像模式下拍摄的运动图像的多个帧图像数据。

由于化妆前后的自身图像显示在自身之前的触摸面板5上，所以平板终端成为具有化妆功能的数字化镜面(digital mirror)，用户观察镜中映出的自身的脸而能够确认化妆模拟后的自身的脸。这里，“数字化镜面”是指通过对相机所拍摄的人图像进行图像处理来实现与用户及平板终端所处的环境相适应的化妆的功能。例如，在平板终端置于屋外的情况下，通过对自身图像进行与该环境光相适应的图像处理，对该自身图像实施与该屋外的环境光相适应的化妆。由此，能够在视觉上确认如果平板终端和用户在黄昏的光下则在该状态下化妆后的自己看起来如何，以及如果平板终端和用户在夜间街头的街灯的光下则在该状态下化妆后的自己看起来如何。

图2(b)在触摸面板5上表示发挥作为化妆模拟器的处理时的初始画面。包括：接受成为化妆模拟器的对象的部位的选择的按钮bn1，和用于使相机102开始用户的拍摄的按钮bn2。

图3表示用户使用平板终端100中的相机102而想要拍摄自身图像的情况。图2(b)中，在平板终端100和用户所在的室内，存在室内照明200、光点(spot)照明201，室内照明200的照明以及光点照明201的照明成为环境光。由该环境光照出的用户的姿态成为化妆模拟器的对象。

化妆模拟器启动时，口红、腮红等化妆物品及样本色与自身图像、推荐的化妆信息一起，显示在触摸面板上。通过对触摸面板上显示的自身图像的触摸或拖曳，能够选择化妆物品。这里，化妆物品是指在化妆模拟器中能够虚拟地使用的化妆品，由单色的样本色像素的RGB值、将该RGB值进行变换而得到的HCL值、以及波长参数来规定。波长参数是通过波长来确定化妆涂料(化妆品)的物理特性、光学特性的参数。在利用波长参数的情况下，图像处理装置通过利用构成原始的唇的像素的RGB值或HCL值和波长参数进行预先确定的运算，得到表示涂敷了口红的状态下的像素的RGB值或HCL值。将这样得到的RGB值或HCL值作为对象来进行以后的处理。

根据本实施方式的化妆模拟器，将以口红为代表的化妆物品作为单一色的颜色样本进行模型化，与化妆物品对应的代表色数据文件通过保存该模型化后的单一色的RGB值以及HCL值，规定在化妆中能够使用怎样的化妆物品。通过规定单色的样本色像素的RGB值以及HCL值，从而规定用户利用与化妆物品对应的化妆品而如何被化妆。应向唇涂敷的口红涂敷层的生成中，样本色像素的L成分的值成为口红涂敷层应取得的颜色范围的代表性值。化妆物品以自身的样本色像素的L成分值为代表性值，用形成某一定的数值范围的多个像素形成唇，从而生成口红涂敷层。

图4(a)表示化妆前的用户的自身图像，图4(b)表示化妆后的用户的自身图像。图4(a)、(b)的GUI成为共通的画面结构。该共通的画面结构是指这样的画面结构：在上侧存在用于自身图像显示的窗口，在其右下存在用于选择化妆物品的工具，在左下存在用于选择色环的工具箱。在工具箱中，作为多个化妆物品而一览显示多个口红，用户通过触摸某个商品而能够选择想要化妆体验的化妆物品。此外，在平板终端上，一览显示用于色环的颜色样本。在涂敷口红后的唇部位，唇区域的涂敷色成为唇区域的颜色分布的代表性颜色。由此，口红的颜色被作为口红涂敷后的唇区域的代表色来进行处理。

图4(b)表示选择口红并且选择涂改色而执行了化妆后的化妆脸图像。

该化妆后的自身图像是从原始的自身图像的脸图像中指定唇部位的区域、并将该唇部位用所选择的口红物品涂改后合成到原始的脸图像中而得到的。为了进行该处理，图像处理装置在选择口红时从作为自身图像的脸图像提取唇部位的特征点，从而利用轮廓线对部位进行区域指定，并且，通过使用所选择的化妆物品，生成表示涂敷了口红的唇部位的口红涂敷层，并合成到人图像中。这里，“脸图像”是自身图像，并且是指成为脸部件的特征的脸的特征点在一定水平以上而被检测出的图像。自身图像且成为人的手部件的特征的脸的特征点在一定水平以上而被检测出的图像称为“手图像”。自身图像且成为脸部件的特征的脸的特征点以及成为手足、躯干的特征的特征点在一定水平以上而被检测出的图像称为“全身图像”。

图像处理装置进行与用户的化妆物品的选择和应涂敷部位的选择相对应的化妆处理，使处理结果显示在触摸面板5的画面上。由于能够实时地反映用户的化妆结果，所以用户能够轻松地确认化妆模拟结果，能够减轻试用化妆品的麻烦。

以上是对图像处理装置的外观构成以及使用方面的说明。虽然对图像处理装置的使用方面举出了具体例，但以图像处理装置的构成为焦点继续说明。图5(a)表示由图像处理装置利用的平板终端的硬件资源。平板终端的硬件结构能够对通过相机而取得的拍摄图像进行处理。

具体而言，平板终端的硬件由以下构成：摄像元件电路1，对由相机102的摄像光学系统形成的被摄体像实施光电变换，输出影像信号；摄像控制电路2，进行相机102的摄像光学系统即聚焦透镜、变焦透镜、快门/光圈的曝光控制；输入像素存储器3，保存作为处理对象的自身图像数据；平面存储器(plane memory)4，保存图像，作为对输入像素存储器3所保存的自身图像数据的化妆处理的处理结果；触摸面板5，由LCD、PDP、有机EL元件构成，显示原始的自身图像或化妆后的自身图像；由非易失存储器、组装型盘构成的储存器(storage)6；介质控制电路7，用于将平面存储器所保存的图像数据写入储存器6并根据需要进行读出；坐标检测电路8，在有触摸操作、掠过(flick)操作的情况下，检测操作涉及的坐标；GUI控制电路9，按照由坐标检测电路8检测出的坐标而输出事件，进行GUI的更新；以及图像处理装置10，执行用于化妆的图像处理。

平板终端中的GUI由窗口、滚动条、无线(radio)按钮、文本框(textbox)、下拉菜单等各种各样的控件(widget)构成。为了使它们的状态变化，在发生了用户进行的画面触摸的情况下，事件控制电路9输出与其触摸坐标相关的事件，使各控件的状态变化。通过该控件的状态变化，向用户提供利用了GUI的会话操作环境。

图5(b)表示储存器6的记录内容。如该图所示，在储存器6中，在根目录之下，存在被摄体目录和化妆条件目录。在该被摄体目录之下，存在对各个用户固有的目录(用户001目录，用户002目录，用户003目录)。另一方面，化妆条件目录是规定化妆的条件的目录，具有在化妆中应使用的多个化妆物品所对应的多个物品目录(物品001目录，物品002目录，物品003目录)。通过指定在该化妆条件目录之下存在的多个物品目录中的某个物品目录，附加化妆的条件。

图5(c)表示用户001目录、物品001目录的构成。用户001目录是用户目录中存在的每个用户的多个目录中的用户001所对应的目录。如该图5(c)所示，在用户001目录下，保存原图像文件和化妆图像文件，原图像文件是保存由相机102的拍摄得到的原本的自身图像数据的文件，化妆图像文件是保存对自身图像实施由图像处理装置进行的化妆而得到的化妆图像数据的文件。物品001目录是在化妆条件目录下存在的每个商品物品的多个目录中的商品物品001所对应的目录。在这里，保存作为化妆物品的口红等的商品照片、保存着CM影像的商品图像文件、表示用商品物品涂敷的颜色的RGB值的代表色数据文件、以及表示商品物品的操作的手册(manual)文件。

图6是对构成图像处理装置的硬件构成要素或软件构成要素添写了构成要素间的数据流的图。如该图所示，图像处理装置由唇区域提取部11、颜色空间变换部12a、12b、暂时存储器13、唇颜色范围算出部14、口红涂敷图像层生成部15、合成处理部16、颜色空间逆变换部17构成。图像处理装置的输入是RGB颜色空间的脸图像和目标涂敷色的RGB值，输出是对脸图像的唇区域涂敷了目标涂敷色的RGB图像。

用于化妆的图像处理的对象包括未化妆的唇、已涂敷了口红的唇双方。将已涂敷了口红的唇作为图像处理的对象的情况下，该口红带来的光学特性在化妆了的脸图像中也得到反映，因此该情况下也能够实现真实的化妆。

以下，对主要的处理要素和处理的流程进行说明。

唇区域提取部11利用脸检测和脸组成部分检测，从输入的自身图像检测脸的特征点，并且提取规定唇部位的特征点，生成将特征点间连结的轮廓线，输出用该轮廓线指定了唇部位的区域的脸图像lip(RGBs)。作为规定唇部位的特征点的提取方法，例如能够采用基于颜色的分割(segmentation)、边缘检测或基于脸模型的组成部分检测等各种各样的方法。在第1实施方式的图像处理装置中，作为一例而利用基于脸组成部分检测的唇区域检测。对应于唇部位的区域指定，制作使被唇的特征点包围的区域作为有效区域而进行屏蔽(mask)的掩模数据(mask data)。

颜色空间变换部12将指定了唇部位的区域的脸图像lip(RGBs)的颜色空间(RGB，YUV等)向处理中间颜色空间进行变换，将变换结果保存在暂时存储器13中。作为处理中间颜色空间，可以举出以色调(H)、饱和度(C)、亮度(L)表现的HCL颜色空间。

唇颜色范围算出部14根据指定了唇部位的区域的脸图像lip(HCLs)，算出表示特定像素成分即L成分的变动幅度的最小值、最大值、平均值，根据该最小值、最大值、平均值，确定L成分的颜色范围。并且，输出将所计算的平均值与L通道中的各像素之比对应于像素位置进行显示的范围映射(range map)。

口红涂敷层生成部15生成口红涂敷层，作为应向原自身图像中指定了区域的部位即唇合成的层。口红涂敷层的生成中，口红涂敷层生成部15根据变换为HCL空间的作为目标涂敷色的口红的代表色、和唇颜色范围算出部14输出的唇的最小值、最大值、平均值，算出涂敷了口红的唇的适当的平均值、最小值、最大值。并且，根据涂敷了口红的唇的最大值、最小值、平均值和唇的范围映射，得到口红涂敷层。

合成处理部16将由口红涂敷层生成部15生成的口红涂敷层的L通道、和在暂时存储器中保存的指定了唇部位区域的脸图像lip(HCLs)的L通道进行合成，输出涂敷了口红的脸图像maked#face(HCLs)。合成处理中，例如有α混合、乘法运算、加法运算、柔光(softlight)等。为了实现更高精度的涂敷，使用仅使对唇区域的合成有效的掩模。这是为了限定成为合成对象的像素。

颜色空间逆变换部17将涂敷口红后的脸图像maked#face(HCLs)从处理中间颜色空间向器件能够显示的颜色空间(RGB，YUV等)进行逆变换，得到脸图像maked#face(RGBs)。

说明了图像处理装置的内部结构，以成为图像处理装置的处理对象的图像数据为焦点继续说明。

图7(a)表示脸图像face(RGBs)。如该图所示，脸图像face(RGBs)例如是SD画质(640×480)、1K的FullHD画质(1920×1080)、4K画质(7680×4320)这样的分辨率的图像，FullHD画质的情况下，由横1920个×纵1080个像素数据构成。

图中的asg1表示一个像素比特值的比特分配。如该图所示，一个像素数据的比特长是32比特，由8比特的红色(R)成分的灰度比特、8比特的绿色(G)成分的灰度比特、8比特的蓝色(B)成分的灰度比特、8比特的透明度(α)成分的灰度比特构成。图中的ext1表示包含被指定了区域的唇的矩形像素群即唇图像的提取。该矩形像素群由纵N像素×横M像素构成。该M、N是包含唇的最小的矩形的纵像素数、横像素数，是可变量。图中的asg2表示构成唇的图像(RGBs)的1个像素的像素比特值。该像素比特值也由8比特的红色(R)成分的灰度比特、8比特的绿色(G)成分的灰度比特、8比特的蓝色(B)成分的灰度比特、8比特的透明度(α)成分的灰度比特构成。

图7(b)表示将(a)的唇部位的图像(RGBs)的像素比特值从RGB形式变换为HCL形式从而得到的唇图像(HCLs)。箭头asg3表示该唇图像(HCLs)的一个像素数据的比特分配。如该图所示，一个像素数据的比特长是32比特，由8比特的色调(H)成分的比特、8比特的饱和度(C)成分的比特值、8比特的亮度(L)成分的灰度比特、8比特的透明度(α)成分的比特值构成。

图7(c)表示与唇图像(HCLs)重合的口红涂敷层(HCLs)。箭头asg4表示该口红涂敷层(HCLs)的一个像素数据的比特分配。如该图所示，一个像素数据的比特长是32比特，由8比特的色调(H)成分的比特、8比特的饱和度(C)成分的比特值、8比特的亮度(L)成分的灰度比特、8比特的透明度(α)成分的比特值构成。

图8是具体表示图像处理装置的图像处理的过程的图。图中的gn1表示以脸图像face(HCLs)为对象的掩模数据的生成。该掩模数据中，唇部分为白，其以外的部分为黑。图中的us1表示口红涂敷层的生成时的脸图像的唇部位的使用。图中的us2表示口红涂敷层的生成时的口红的使用。箭头oby1表示以口红涂敷层、掩模数据和唇为对象的合成的合成顺序。箭头us3表示合成时的掩模数据的引用，us4表示合成时的口红涂敷层的引用。aw3表示经过了该合成的最终的化妆图像的完成。

为了使生成的口红的图像给人眼带来与原图像的颜色相似的感觉，输入的口红的代表色aveStick与口红的颜色范围rangeL’之间的关系尽可能维持原来的唇的代表色aveLip与唇的颜色范围rangeL之间的关系。也就是说，唇代表色aveLip－最大值Lmax间的距离a与唇代表色aveLip－最小值Lmin间的距离b之比a/b，相对于口红代表色aveStick－最大值L’max间的距离a’与口红代表色aveStick－最小值L’min间的距离b’之比a’/b而言，维持a/b＝a’/b’的关系。

具体的计算方法在下述的算式说明中明确。

如(式1)所示，为了涂改色的对比度调整、饱和度调整而设置颜色范围调整系数β。本实施方式中，举出了利用涂改色与原来颜色的关系作为颜色范围调整系数的例子，但颜色范围调整系数β有时也从装置外部提供。

[式1]

(式2)是原来颜色的颜色范围rangeL的计算式。求出原来颜色的最小值Lmin、最大值Lmax的差作为颜色范围rangeL。

[式2]

rangeL＝Lmax-Lmin

(式3)是用上述的距离a、距离b和rangeL正规化得到的ka＝a/rangeL、kb＝b/rangeL的比率的计算式。

[式3]

(式3-1)a＝Lmax-aveLip

(式3-2)b＝aveLip-Lmin

(式3-3)

(式3-4)

(式4)是满足上述条件a/b＝a’/b’的目标口红颜色范围rangeL’以及最小值L’min、最大值L’max的计算式。

[式4]

(式4-1)rangeL’＝rangeL*β

(式4-2)L’max＝rangeL’*ka+aveStick

(式4-3)L’min＝L’max-rangeL’

图像处理装置中，将构成图像的像素以行(line)单位进行扫描并处理。将在该行单位的扫描时第i个处理的像素设为像素[i]，将该像素[i]的H成分、C成分、L成分记作H[i]、C[i]、L[i]。

在希望范围的正规化的情况下，口红涂敷图像的第i个的像素值L′[i]如(式5)所示那样，根据当前像素的范围映射的数据rmap[i]和口红的颜色范围rangeL’、口红涂敷图像的颜色的最小值L’min来计算。

[式5]

L’[i]＝L’min+rmap[i]*rangeL’

在不使范围映射正规化而使唇的图像维持原样的情况下，能够用(式6)的算式计算唇的各像素值。

[式6]

L’[i]＝aveLip+(L[i]-aveLip)*β

图9(a)、(b)将作为对象部位的唇部位的L成分的分布、和作为口红涂敷层的对象部位的唇部位的L成分的分布进行对比并表示。图9(a)的X轴、Y轴是图像的水平方向、垂直方向，高度方向表示各像素的L成分的大小。图中的分布曲线cv1、cv2是将对象物的z坐标即L成分映射到Y-Z平面、X-Z平面从而得到的曲线。该曲线的最大值是Lmin，最大值是Lmax，Lmin、Lmax规定涂改前的唇部位的L成分的分布范围。此外，图中的(xi，yi)是指构成唇部位的像素中的位于第i个的像素的xy坐标。该xi、yi的Z轴的L成分成为L[i]。图中的唇部位的立体形状shp1通过将唇部位的像素的L成分的值在Z轴上进行绘制而形成。设L成分的像素的平均值为aveLip的情况下，表示aveLip的直线在高度方向上的中间部分的位置横切分布曲线。

图9(b)的X轴、Y轴是图像的水平方向、垂直方向，高度方向表示各像素的L成分的大小。图中的分布曲线cv3、cv4是将对象物的z坐标即L成分映射到Y-Z平面、X-Z平面从而得到的曲线。该曲线的最小值是L’min，最大值是L’max，L'min、L’max规定涂改后的唇部位的亮度成分的数值范围。此外，图中的(xi，yi)是指构成唇部位的像素中的位于第i个的像素的xy坐标。该xi、yi的Z轴的值即L成分成为L’(i)。图中的唇部位的立体形状shp2通过将唇部位的像素的L成分的值在Z轴上进行绘制而形成。设L成分的像素的平均值为aveStick的情况下，表示aveStick的直线在高度方向上的某一部分横切分布曲线。

将图9(b)与图9(a)进行比较，可知分布曲线的变动幅度变大。这表示用更大的数值范围的L成分来表现唇的质感、对比度。

图10(a)、(b)是示意地表示图像处理装置进行的颜色的颜色范围扩大的概念的图。图10(a)的cont1是用户的原来的人图像中的下唇的对比度。cont2是化妆后的脸图像中的下唇的部位的对比度。如引出线pu1所示，cont1形成从Lmin到Lmax的rangeL的颜色范围。对照地，如引出线pu2所示，cont2形成从L'min到L'max的rangeL'的颜色范围。由于下唇的同一部位的颜色范围大大扩大，所以可知口红涂敷后的唇以大的数值范围的L成分来表现。扩大前的原始的唇部位的颜色范围rangeL、扩大后的颜色范围rangeL’存在于Z轴上。以原来的唇部位和口红涂敷层进行比较，则口红涂敷层的aveStick存在于比唇部位的aveLip高的位置。

图10(b)是对图10(a)所示的原来的脸图像的颜色范围、和化妆后的脸图像的颜色范围添写了式1～式4的算式的含义而得到的图。式1的β表示颜色范围的比率，式2表示原来的脸图像的颜色范围的长度，式3－1、3－2表示颜色范围中的从Lmax到Lave的距离、从Lave到Lmin的距离。式4－1～4－3表示颜色范围的上限、下限、颜色范围的长度。

如图10(b)所示，L’max与aveStick之间的差分是Lmax与aveLip之间的差分的β倍。rangeL’是rangeL的β倍。由于β是aveStick与aveLip之比，所以可知rangeL’以及aveStick与L’max之间的差分是将rangeL以及aveLip与Lmax之间的差分以aveStick与aveLip之比扩大后的值。并且，L’min由于是从该L’max中减去rangeL’而得到的，所以成为与aveStick与aveLip之比相对应的值。

接着，对像素的L成分的从脸图像向口红涂敷层的映射进行说明。在从存在于rangeL的颜色范围的像素向rangeL'的颜色范围的映射中，具有rangeL的最大值即Lmax的像素的L[i]成为L'max。具有rangeL的最小值即Lmin的像素的L[i]成为L'min。

这样，在原始的唇中成为强光或阴影部分的部分在口红涂敷后也成为强光或阴影部分。对于剩余的像素进行映射，以使得在原图像中，相对于该像素所具有的rangeL的比例在rangeL'中也得以维持。

图11(a)、(b)表示将在原始的唇部位中存在于第i个的像素从原始的唇部位的颜色范围向口红涂敷后的唇部位的颜色范围进行映射的处理过程。

图11(a)、(b)中共通的像素值决定的方针如以下那样。即，确定L'[i]，以使得以通过L'[i]和L'max的直线为一边、以X轴、Y轴为其他二边的直角三角形是与通过L[i]和Lmax、形成Z轴和θ[i]的三角形相似的形状。

图11(a)的近侧表示L[i]与L’[i]的关系。直线line1是通过Lmax和L[i]的直线。直线line2是通过L'max和L'[i]的直线。

作为line1的倾斜度的θ表示相对于X轴或Y轴的L[i]的变化量。line2也同样。L’[i]由于存在于aveStick+(L[i]－aveLip)×β的位置，所以通过aveStick和L’[i]的直线line2的倾斜度与通过aveLip和L[i]的直线line1的倾斜度相同。这是因为，aveStick是对aveLip乘以β而得到的，L’[i]与aveStick之间的差分等于对L[i]与aveLip之间的差分乘以β而得到的值。

由于L[i]与L’[i]的不同只不过在于相对于aveLip的差分成为β，因此即使将L[i]映射到口红涂敷层的颜色范围，口红色的颜色范围中的L’[i]的定位也与唇部位的颜色范围的定位同样。

通过重复以上的决定，对于构成口红涂敷层的各个像素，确定L'[i]。这样，口红涂敷层的Z坐标的值根据XY坐标而不同，口红涂敷层被规定为Z轴方向具有范围的“带范围的层”。通过将该口红涂敷层与原来的脸图像合成，用户的自身图像中的唇的薄厚及对比度得以再现。

由于line1的倾斜度和line2的倾斜度变得相等，从而涂改后的各个像素的L成分在颜色范围中所占的比例等于在涂改前的颜色范围中各个L成分所占的比例。该关系由于对涂改后的唇部位的全部像素成立，因此唇部位的各个像素所表现的微妙的皮肤的感觉在化妆后的唇中以丰富的L成分得以表现。

图11(b)的远侧表示rmap(i)的含义。如该图所示，rmap[i]表示L[i]－Lmin间的差分与Lmax－Lmin间的差分之比。另一方面，近侧表示式6的含义。这里，第i个像素的L成分即L'[i]通过对rangeL’乘以表示上述比率的rmap[i]并加上Lmin而算出。由于L’[i]是对原始的唇部位的颜色范围中的L[i]的比例rmap[i]乘以rangeL’并加上作为偏移(offset)的Lmin而得到的，因此L’[i]对Xi或Yi的变化量等于L[i]对Xi或Yi的变化量。图11(b)中，通过Lmax和L[i]的直线的倾斜度与通过L’max和L’[i]的直线的倾斜度相等。该关系对构成唇部位的全部像素成立。由于该关系对涂改后的唇部位的全部像素成立，因此唇部位的各个像素所表现的微妙的皮肤的感觉在化妆后的自身图像中以丰富的L成分得以表现。

说明了本实施方式的rangeL'、L'max、Lmax的计算，下面说明本实施方式的这些计算与专利文献1所记载的口红涂敷层的计算相比如何优异。与专利文献1所记载的口红涂敷相比，在专利文献1中，应向唇相加的层是平稳的，该层的值通过唇的L成分与口红的L成分之间的减法运算而算出，因此应向L成分相加的差分为ΔL＝aveLip－aveStick。对构成唇的各个像素的值加上该ΔL，则口红涂敷层的L'max成为Lmax+ΔL，L'min成为Lmin+ΔL，口红涂敷层的颜色范围的L'max、L'min与原始的唇的Lmax、Lmin相比，提高了ΔL。由于唇的颜色范围的最小值、最大值一律变高，所以与原图像相比立体感降低。此外，由于对Lmin加上ΔL，所以唇中成为阴影的部分会变亮ΔL。

专利文献1中，为了避免阴影变亮，将唇的阴影部分、强光部分的L成分改写停止，但这样会产生在实施方式的序章中所描述那样的、颜色的连续性受损、发生飞白(白飛び)的问题。对此，根据本实施方式，通过L'max－rangeL的计算而算出L'max，因此颜色范围的最小值不会变高。化妆图像中，原图像中的唇的对比度得以维持或强调。此外，唇中成为阴影的部分和其以外的部分之间的不协调也不会发生。进而，本实施方式中，经式1～式5的变换，从原图像的L[i]得到化妆后图像的L'[i]。此时，原图像的L[i]与化妆后图像的L'[i]在颜色空间中的距离收容于0到255的范围，因此L'[i]的颜色范围得以调整而不会成为飞白。另外，关于口红，出现了带来磨砂(マット)效果(如年长者的化妆那样，得到看起来粉嫩的肌肤)的化妆品。对于带来磨砂效果的化妆品，也可以变更式1～式5以使rangeL'变得更窄。

至此描述的图像处理装置的构成要素的处理内容能够一般化为与各种各样的外部事象和装置的内部参数相应的针对硬件资源的处理步骤。图12～图16的流程图表示这样的一般化的处理步骤。

图12是第1实施方式的唇部位的特征点提取的流程图。图12的流程图是最上位的处理、即相当于主程序的处理，作为该流程图的下位的流程图，有图13～图16的流程图。首先，在步骤S1中，对输入图像执行脸检测。步骤S2判断是否找到了脸。若找到脸，则步骤S3进一步进行详细的脸组成部分检测，输出每个脸组成部分的特征点。步骤S4中，为了大致确定处理对象区域，通过生成规定唇的轮廓形状的轮廓线而进行唇的区域指定。步骤S5中，制作掩模数据。该掩模数据是将非唇部分例如肌肤、牙齿的区域用0屏蔽的数据。另一方面，在没找到脸的情况下，跳过步骤S3～步骤S5，转移到步骤S6。

步骤S6中，根据原自身图像中的唇的颜色范围和输入的口红的代表色，生成口红的颜色范围。步骤S7中，根据生成的口红的颜色范围、和唇的颜色范围映射，生成口红涂敷层。步骤S8中，将口红涂敷层合成于脸图像。

图13(a)是表示上述的唇的有效掩模制作处理的详细流程。本流程图所示的处理顺序是子程序化的处理顺序，在子程序调用时，在接受脸图像的指定为自变量的基础上执行本流程图所示的处理，在执行该处理后，作为返回值而返回掩模数据。图13(a)中的变量j是指示数据结构中存在的多个信息要素中的、成为处理对象的要素的变量。因而，在以后的流程图中，将在循环的第j圈的处理中成为处理对象的像素掩模记作mask[j]。

本流程图中，在步骤S10中选择1个成为处理对象的像素[j]后执行步骤S11。步骤S11中，对处理对象的像素属于唇部位的内侧还是外侧进行检查。步骤S12中，判断成为处理对象的像素是否是区域内。是区域内的情况下(S12中“是”)，在步骤S13中将掩模值(mask[j])设定为1.0。另一方面，是区域外的情况下(S12中“否”)，在步骤S14中将掩模值(mask[j])设定为0.0。并且，在步骤S15中，判断区域中是否存在未处理的像素，若存在，则返回步骤S10。若对所有的像素的处理完成，则执行掩模模糊处理(S16)，结束处理。

该有效掩模制作处理的目的在于：区分唇和非唇部分(牙齿、皮肤、背景等)，限定合成处理部16的处理范围，仅对必要的区域进行合成。此外，有如下优点：通过细致地确定唇的区域，能够更正确地算出唇的代表色aveLip。

假定通过上述的脸组成部分检测而检测出的特征点所包围的区域是唇部位。该情况下，若在唇部位的区域内，则当前像素的掩模值mask[j]是1.0，反之若在区域外则mask[j]为0.0。整个区域的检查结束后，作为后处理，实施掩模的模糊处理(步骤S16)。通过使有效掩模模糊，涂改了颜色的部分和未涂改的部分之间的边界不醒目，有流畅地从涂改色向原来的颜色衔接的效果。

图13(b)是唇的颜色范围算出顺序的上位流程图。对于输入的唇的图像，在步骤S21中，通过计算L通道的最小值、最大值、平均值而得到颜色范围。在步骤S22中，计算表示L通道的分布的颜色范围映射。

图13(c)是表示口红涂敷层的生成顺序的流程图。在步骤S23中，生成涂敷了口红的唇的颜色范围，在步骤S24中，根据唇的颜色范围、范围映射，生成口红涂敷层。

接下来，对第1实施方式的唇的颜色范围算出顺序的流程图进行说明。

图14(a)是将颜色范围计算具体化的流程图。图14(a)、(b)中的变量i是指示在数据结构中存在的多个信息要素中的、成为处理对象的要素的变量。因而，在以后的流程图中，将在循环的第i圈的处理中成为处理对象的像素的L成分和像素掩模记作L[i]、mask[i]。

步骤S31中，将成为处理对象的下个像素设为L[i]。步骤S32中，通过判断像素[i]的掩模的值mask[i]是否大于阈值insideTH，检查当前的像素是唇的区域内的像素还是唇的区域外(皮肤、牙齿等)的像素。这里，阈值insideTH是0.0～1.0的值。若像素[i]的掩模的值mask[i]大于阈值insideTH，则在步骤S33中将区域内的像素数count增加，在步骤S34中进行Lmax和Lmin的更新。Lmin的更新通过Lmin＝min(L[i],Lmin)的执行而进行。这里，min(,)是返回2个自变量中的较小者的函数，通过Lmin＝min(L[i],Lmin)的执行，L[i]、Lmin中的较小者被设定为Lmin。Lmax的更新通过Lmax＝max(L[i],Lmax)的执行而进行。这里，max(,)是返回2个自变量中的较大者的函数，通过Lmax＝max(L[i],Lmax)的执行，L[i]、Lmax中的较大者被设定为Lmax。

步骤S35中，通过对sumL加上L[i]而更新sumL。步骤S36中，判断是否对循环中的全部像素进行了处理。若存在未处理的像素，则返回步骤S31。若不再有未处理的像素，则步骤S36为“否”，在步骤S37中进行sumL/count的计算，从而得到aveLip，将Lmax1，Lmin1，aveLip返回。

图14(b)是表示颜色范围映射计算S42的详细处理顺序的流程图。步骤S41中，将成为处理对象的下个像素设为L[i]，在步骤S42中，算出当前像素值和最小值的差分L[i]-Lmin与最大值和最小值的差分Lmax-Lmin之比，作为关于像素L[i]的范围映射rmap[i]。步骤S43中，判断对于区域中存在的全部像素是否进行了上述的处理，若对全部像素进行了上述的处理，则将rmap[i]返回。若剩余有未处理的像素，则转移到步骤S41，对未处理的像素进行范围映射的算出。

图15(a)是表示口红涂敷层的亮度成分的颜色范围生成顺序的流程图。步骤S51中，通过aveStick/aveLip的计算而算出比率β，步骤S52中，通过从Lmax中减去Lmin，得到rangeL。步骤S53中，将对rangeL乘以β而得到的值作为RangeL'。步骤S54中，通过(Lmax－aveLip)/rangeL的计算求出系数ka，步骤S55中，通过将对RangeL'乘以系数ka而得到的值与aveStick相加而得到L'max。步骤S56中，将从L'max减去RangeL'而得到的值作为L'min。通过以上的处理，若得到L'max、L'min，则将L'max、L'min返回。

图15(b)是表示口红涂敷层的亮度成分生成的处理顺序的流程图。图15(b)中的变量i是指示脸图像中存在的多个像素中的成为处理对象的像素的变量。因而，以后的流程图中，将在循环的第i圈的处理中成为处理对象的像素的L成分和像素掩模记作L[i]、mask[i]。本流程图从循环lp1起构成。循环lp1规定对唇部位的全部变量重复步骤S61～步骤S64的循环结构。步骤S61中，取得第i个像素的L成分的值即L[i]，在步骤S62中，判断是否使用范围映射。若使用范围映射，则在步骤S63中，通过L'min+rmap[i]×RangeL'的计算得到L'[i]。

若不使用范围映射，则在步骤S64中，通过aveStick+(L[i]-aveLip)×β的计算得到L'[i]。

图16是表示第1实施方式中的合成处理的处理顺序的流程图。图16中的变量i是指示数据结构中存在的多个信息要素中的成为处理对象的要素的变量。因而，以后的流程图中，将在循环的第i圈的处理中成为处理对象的像素的L成分记作L[i]，将化妆后的图像的、在循环的第i圈的处理中成为处理对象的像素的L成分记作L'[i]，将像素掩模记作mask[i]。步骤S71判断构成区域的全部的像素的处理是否已完成。若结束，则结束本流程图的处理并返回。若剩余有未处理的像素，则在步骤S72中将构成唇部位的下个像素设为L[i]，在步骤S73中将构成口红涂敷层的下个像素设为L'[i]。并且，在步骤S74中，计算将唇区域的各像素L[i]和对应的口红的像素值L’[i]合成的结果gousei(L[i]，L’[i])。然后，对作为该计算结果的gousei(L[i]，L’[i])实施掩模处理。图中的gousei(L[i]，L’[i])×mask[i]+L[i]×(1-mask[i])将该掩模处理算式化。

合成处理gousei能够使用α混合、乘法运算、加法运算、强光等。使用α混合的情况下，将当前像素的有效掩模数据mask[j]作为α值，对合成的结果gousei(L[i]，L’[i])和涂敷前的像素值L[i]实施α混合，作为最终结果outL[i]进行输出，从而实现上述掩模处理。

通过将有效掩模数据mask[i]设为α混合的参数，从而在非唇部分即mask[j]＝0.0的部分，涂敷停止，能够仅对唇的区域涂敷口红。若以上的处理结束，则将在上述的过程中算出的Lmin、Lmax、aveLip、L'min、L'max、aveStick保存在中间(メタ)数据文件中，与每个用户的目录的化妆图像文件相对应地记录。这是为了将化妆的条件作为日志(log)而留下。

如以上那样，根据本实施方式，根据脸图像的代表色与口红的涂敷色之比，扩大原来的唇的颜色范围，从而得到化妆后的脸图像的颜色范围，以维持原来的脸图像中的各像素的L成分与颜色范围之比的方式，将原来的脸图像的唇的像素的L成分映射于化妆后的脸图像的颜色范围，因此，以不损害拍摄环境下的环境光的照射方式的形态，将唇色涂改为口红色。对唇涂敷了口红的状态以自然的感觉再现，因此能够突出作为化妆物品的口红的魅力。

(第2实施方式)

第1实施方式中，将构成唇的H、C、L通道中的L通道作为颜色范围变换和像素比特值映射的对象，但本实施方式中，对H通道、C通道也进行颜色范围变换和像素比特值映射。用于这一改良的图像处理装置的结构如图17。图17中，对于与图6相同的构成要素使用相同的符号并省略说明。

将图17的图像处理装置与第1实施方式所示的图像处理装置进行比较，则存在以下的差异。

第1，唇颜色范围算出部14的输出不同。该唇颜色范围算出部14的输出的差异是指，第1实施方式的唇颜色范围算出部14输出Lmax、Lmin、aveLip，相对于此，第2实施方式中，除了Lmax、Lmin、aveLip以外，还输出关于H通道的Hmax、Hmin、Have，关于C通道的Cmax、Cmin、Cave。

第2，由口红涂敷层生成部15生成的口红涂敷层的通道不同。口红涂敷层的通道的差异是指，第1实施方式中的口红涂敷层生成部15受理Lmax、Lmin、aveLip，生成L’max、L’min、aveStick，相对于此，第2实施方式的口红涂敷层生成部15，除了Lmax、Lmin、aveLip以外还受理关于H通道的Hmax、Hmin、Have、关于C通道的Cmax、Cmin、Cave，除了L’max、L’min、aveStick以外，还生成关于H通道的H’max、H’min、H’ave、关于C通道的C’max、C’min、C’ave。

第3，进行与脸图像的合成的构成要件不同。进行该合成的构成要件的差异是指，作为第1实施方式的合成主体，在第1实施方式中，仅存在将口红涂敷层的L通道与脸图像的L通道进行合成的合成处理部16，相对于此，在第2实施方式中，除了进行口红涂敷层和脸图像的L通道彼此的合成的第1合成处理部61以外，合成处理部16还由进行口红涂敷层和脸图像的H通道彼此的合成的第2合成处理部62、进行口红涂敷层和脸图像的C通道彼此的合成的第3合成处理部63构成。

通过对色调、饱和度、L通道使用不同的合成处理部61、62、63，实现每个通道的独立的调整，能够对合成图像赋予特殊的效果，例如对比度强调、鲜明度调整、涂改色的色调逆转等。以上是构成要件的差异。

接着，对处理顺序的差异进行说明。

处理顺序的差异是指，在第1实施方式中，对L通道执行颜色范围计算、颜色范围映射计算、颜色范围生成、口红涂敷层生成、口红涂敷层与脸图像的合成(图14～图16)，相对于此，第2实施方式中，不仅对L通道，而且对H通道、C通道也执行颜色范围计算、颜色范围映射计算、颜色范围生成、口红涂敷层生成、口红涂敷层脸图像的合成。图18～图20是表示关于H通道的颜色范围计算顺序、颜色范围映射计算顺序、颜色范围生成顺序、口红涂敷层生成顺序、口红涂敷层脸图像的合成顺序的流程图。图21～图23是表示关于C通道的颜色范围计算顺序、颜色范围映射计算顺序、颜色范围生成顺序、口红涂敷层生成顺序、口红涂敷层脸图像的合成顺序的流程图。这些流程图与第1实施方式的流程图的差别只不过是处理对象的差别，即：在第1实施方式中，将颜色范围计算、颜色范围映射计算、颜色范围生成、口红涂敷层生成、口红涂敷层脸图像的合成的对象设为L通道，而在第2实施方式中，将颜色范围计算、颜色范围映射计算、颜色范围生成、口红涂敷层生成、口红涂敷层脸图像的合成的对象设为H通道、C通道。由于这些流程图的差别只不过是处理对象的差别，所以附加同一参照标记而省略说明。

这里，如在(实施方式的序章)叙述的那样，在用户可选择的化妆物品的样本色之中，存在如黄色那样H成分的颜色范围的同一性的范围窄、对H成分加上某些值则颜色的同一性丧失的颜色。作为其对策，在第2实施方式中，将可选择的化妆物品分别具有何种程度的颜色范围的同一性预先存储。并且，当用户选择了化妆物品时，判断所选择的化妆物品的样本色的同一性的宽窄，如果化妆物品的颜色范围的同一性宽，则进行关于上述那样的H成分的Hmin、Hmax、Have的计算，并相应计算H'min、H'max、H'ave。

如黄色那样，若化妆物品的颜色范围的同一性窄，则不进行关于上述那样的H成分的Hmin、Hmax、Have、H'min、H'max、H'ave的计算。这样，关于H成分，受限制地执行Hmin、Hmax、Have、H'min、H'max、H'ave的计算，因此能够保证化妆图像的品位。

如以上那样，根据本实施方式，对原来的脸图像中的多个种类的像素成分的通道图像即H通道、C通道、L通道分别进行合成处理，因此能够将体验者的唇涂改成富有立体感的丰满的唇。

(第3实施方式)

涉及用于对化妆脸图像赋予用户喜好的强光或阴影的改良。与第1实施方式相比，第3实施方式的图像处理装置存在以下的差异。

第1，范围映射的取得方法不同。第1实施方式中的范围映射的取得，根据成为处理对象的图像来制作范围映射，相对于此，本实施方式中，对记录介质进行访问，将保存了与化妆物品对应的范围映射的样本文件读出，从而实现范围映射的取得。

第2，范围映射的值不同。该范围映射的差异是指，第1实施方式的范围映射中的各像素的值是通过用各像素的差分(L[i]-Lmin)除以颜色范围(Lmax-Lmin)而得到的值，相对于此，关于本实施方式的范围映射中的各像素的值，范围映射样本中的各像素的值通过从0.0到1.0的加权值而被赋予。

第3，利用了范围的化妆脸图像的像素比特值的计算方法不同。第1实施方式中的第i个像素的像素比特值L[i]通过对rmap[i]乘以化妆脸图像的颜色范围rangeL’并加上Lmin而算出，相对于此，本实施方式中的第i个像素的像素比特值L[i]通过将范围映射样本按照用户的唇的大小进行定标(scaling)、对定标后的范围映射样本中的第i个加权值乘以化妆脸图像的颜色范围rangeL’并加上Lmin而算出。

接着，对本实施方式特有的图像处理装置的结构进行说明。

在图像处理装置能够访问的记录介质中，与多个化妆物品分别对应地记录着样本文件。这些样本文件是像素的值在平面上如何分布的分布形态的样本，根据所选择的化妆物品，将适当的样本文件读出。

说明本实施方式中的储存器的改良。图24(a)表示第3实施方式的储存器6的目录结构。储存器的差异是指，在第1实施方式中，在与各物品对应的目录下保存着商品图像文件、代表色数据文件、手册文件，相对于此，在本实施方式中，除了这些构成要件以外，还将保存了范围映射的样本的样本文件作为商品物品的一构成要件来保存。样本文件中保存的范围映射样本是根据对应的化妆物品的光学特性而定制了亮度分布的样本。

图24(b)表示在样本文件中保存的范围映射样本的一例。该图的图像数据中，背景部分成为权重0的像素，前景部分由加权系数具有非零的权重的像素构成。该具有非零的权重的像素形成唇的形状，作为嘴角部分的左右的两侧、以及上下唇的边界部分成为0.1这样的低值。另一方面，下唇、上唇的鼓起的部分和被照明所照的部分成为0.9这样的高值。这用于表现由于被室内的照明所照而导致的强光。图24(c)表示通过样本文件实现的唇的强光和阴影。该图中的强光high1、high2是通过图24(b)的样本文件中的值0.9的设定而被提供的。此外，阴影shd1、shd2是通过图24(b)的样本文件中的值0.1的设定而被提供的。

导入样本文件的意义如下。作为近年来的化妆物品业界的趋势，出现了具有各种各样的光学特性的商品。

在口红中，有除了着色剂以外还含有反射颜料、扩散颜料、多层干涉颜料等组成物的口红。着色剂具有针对来自外部的刺激的感应性。反射颜料进行金属反射。衍射颜料为了产生光的衍射效果或珍珠光泽效果而含有衍射颜料。扩散颜料通过吸光现象产生光。多层干涉颜料通过多层的堆积和反射指数，产生比扩散颜料的颜色强度大的颜色强度。

为了表现这样的光学特性的差别，准备强光的量及位置、影的形状及位置不同的多个样本文件，将它们分别作为化妆物品的各个构成要件。根据化妆物品的选择而读出样本文件，进行像素比特值的映射，从而能够表现唇的光学特性的差别。

图25是表示利用样本文件的化妆脸图像的生成顺序的流程图。步骤S91中，从与所选择的化妆物品对应的样本文件将范围映射样本读出(步骤S91)，算出范围映射样本的纵像素数与唇的纵像素数之比(步骤S92)，算出范围映射样本的横像素数与唇的横像素数之比(步骤S93)。与所算出的比率相应地将范围映射样本的纵像素数、横像素数扩大(步骤S94)，转移到步骤S95～步骤S99的循环。该循环中，将变量i用1进行初始化(步骤S95)，取得范围映射样本中位于第i个的加权值value[i](步骤S96)，进行对value[i]乘以rangeL'并加上L'min的运算(步骤S97)，判断i是否达到最大数N(步骤S98)。若没有达到最大数，将变量i增加(步骤S99)，返回步骤S96。

如以上那样，根据本实施方式，像素值在平面上如何分布的平面分布的图案被样本化，以样本文件的形态记录在记录介质中，因此图像处理装置通过将与所希望的化妆形态相应的样本文件读出，能够享受化妆的各种各样的变化。

(第4实施方式)

本实施方式是根据唇的轮廓形状而使对各像素赋予的加权值变化的实施方式。

与第1实施方式相比，加权系数的赋予方式不同。加权系数的赋予方式的差异是指，在第1实施方式中，将来自aveLip的各像素的像素比特值的相对值作为应该对aveLip乘以的加权系数，在本实施方式中，对构成唇的像素中的存在于嘴角部分的像素赋予低的权重。嘴角是指上唇和下唇的接合部、唇的两侧的部位。唇的轮廓由定位点和补充线形成。图26(a)表示由定位点和补充线形成的唇部位的轮廓线。

图26(a)中，嘴角的左侧部分X坐标最小，以左端的定位点Xmin为基准，由从该定位点朝向右上的补充线left1以及从定位点朝向右下的补充线left2确定嘴角的左侧部分。

嘴角的右侧部分X坐标最大，以右端的定位点Xmax为基准，由从该定位点朝向左上的补充线right1以及从定位点朝向左下的补充线right2确定嘴角的右侧部分。

上下唇的边界由从左侧的定位点Xmin朝向右侧的定位点Xmax的一系列的补充线列bord1、2、3、4确定。

若确定了构成左右两侧和上下唇的边界的多个补充线，则使沿着这些补充线而存在的像素的加权系数较低。这样，能够合适地表现唇的两侧及上下的边界部分的廓影(silhouette)。图26(b)表示通过使沿着补充线而存在的像素的加权系数较低而生成的唇的阴影。

本实施方式中，沿着定位部间的补充线而使像素比特值较低，因此能够根据唇的形状改变沿着嘴角的影的形状。

图26(c)表示使补充线的曲率变化的过程。图26(c)的bar是从定位点拉出的操作棒，能够以定位点为轴逆时针旋转。图26(c)的左侧表示旋转前，右侧表示旋转后。通过以定位点为基点使棒顺时针、逆时针旋转，使补充线变化为贝塞尔(Bezier)曲线，使该贝塞尔曲线的曲率变化，随之能够使唇的阴影形状变化。

图27是表示嘴角部分的强调处理的处理顺序的流程图。确定X坐标最大的定位点Xmax(步骤S101)，将从定位点Xmax朝向左上的补充线和朝向左下的补充线作为右侧的嘴角部分(步骤S102)。接着，确定X坐标最小的定位点Xmin(步骤S103)，将从定位点Xmin朝向右上的补充线和朝向右下的补充线作为左侧的嘴角部分(步骤S104)。接着，确定从Xmin朝向Xmax的补充线的集合(步骤S105)，将所确定的补充线的集合作为上下唇的边界线(步骤S106)。将存在于右侧嘴角部分、左侧嘴角部分、上下唇的边界周边的像素赋予比较低的权重(步骤S107)。

如以上那样，根据本实施方式，在提取规定唇的轮廓形状的特征点时，根据用于将该唇的轮廓包围的定位点间的补充线，检测相当于唇的右侧、左侧、上下唇的边界的部位，将位于这些部位的周边的唇区域的像素赋予较低的权重，因此能够使唇的轮廓形状显著，能够使化妆看起来美观。

(第5实施方式)

本实施方式涉及实现以运动图像为对象的化妆操作的改良。

本实施方式与第1实施方式相比，像素值变换的对象不同。该不同之处在于，第1实施方式的像素值变换以一个静止图像为对象，相对于此，本实施方式的像素值变换以构成运动图像的多个帧图像的各个帧图像为对象来进行。

第2，化妆的方法不同。不同之处在于，第1实施方式的化妆利用用户选择的口红物品，改变利用特征点指定了区域的唇的颜色，相对于此，本实施方式的化妆通过由用户利用化妆物品进行手涂，改变脸的任意部位的颜色。

第3，像素值变换的对象不同。不同之处在于，第1实施方式的像素值变换以通过特征点指定了区域的唇部位为对象，相对于此，本实施方式的像素值变换以接受手涂操作的范围为对象。本实施方式中，由于以构成运动图像的多个帧图像为处理对象，所以存在将多个帧图像中的1个作为静止图像来固定以供化妆操作的操作模式、将各个帧图像作为运动图像来再现以供化妆后的确认的确认模式。图28表示与模式切换相应的3个阶段。

左侧的阶段ph1是一边观看所输入的运动图像的各个帧图像一边选择作为操作基础的帧图像的阶段。在该阶段，如第1段所示，模式成为操作模式，在触摸面板上依次显示构成运动图像的各个帧图像。通过对画面的触摸，1个帧图像被捕获，作为化妆操作的对象的静止图像确定。

正中间的阶段ph2是接受以通过帧图像的捕获而得到的静止图像为基础的化妆操作的阶段。ph2的第1段表示模式被设定为操作模式。第2段表示进行化妆操作的情况。该第2段中的帧图像Fx是作为操作模式的对象而用于静止图像显示的帧图像。该情况是这样的情况，即：在显示器上显示作为静止图像而捕获的作为自身图像的帧图像Fx，用手指在该显示器的表面上描摹。通过该手指描摹操作，眉毛的手涂图像、腮红的手涂图像、口红的手涂图像被合成于静止图像。

右端的阶段ph3表示在操作模式下的手涂操作的执行后、再次进行向确认模式的切换的情况。这里，帧图像Fx+m是指在确认模式下显示的运动图像中的任意的一个帧图像。在该阶段，后续的帧中，在脸的与眉、颊、唇相应的部位，映射有眉毛的手涂图像、腮红的手涂图像、口红的手涂图像。

本实施方式中，若进行化妆物品的手涂，则对于化妆物品的代表色和进行了手涂的部位，算出Lmin、Lmax、aveLip，并且对于在手涂中选择的化妆物品算出aveStick。并且，根据aveLip和aveStick求出比率β，向进行了手涂的化妆物品的颜色范围，映射进行了手涂的部位的像素比特值。

由于对于后续的帧图像进行该手涂图像的映射，因此用户能够通过自己做出的化妆，视觉确认自己运动的样子。

上述的手涂图像的映射通过从各帧提取规定各部位的轮廓的特征点、并求出将帧图像中存在的特征点的群变换为其他帧图像的特征点的变换矩阵来进行。

从帧图像Fx、帧图像Fx+m中，检测由多个特征点构成的特征点群。这些特征点用于规定对象物中的部位的轮廓形状。图像处理装置通过在设定为静止图像的帧图像Fx和后续的帧图像Fx+m中进行对应点搜索，进行特征点的对应。这里，帧图像间的对应点搜索通过对各像素算出基于亮度值等的相关值并检测该相关值最高的像素来进行。若对静止图像中表示的某个部位进行基于手涂的化妆操作，则向后续的帧图像中的通过对应点搜索而与操作所涉及的部位建立了对应的部位，映射操作所涉及的手涂图像。

图29(a)表示在帧图像Fx和帧图像Fx+m中检测出的特征点群。

图29(a)中的特征点群gp1、gp2、gp3、gp4将帧图像Fx中的脸图像的代表性部位(眉、唇、颊)包围，规定该部位的轮廓形状。图中的特征点群gp11、gp12、gp13、gp14将帧图像Fx+m中的脸图像的代表性部位包围，规定该部位的轮廓形状。箭头sr1、sr2、sr3、sr4示意性地表示通过帧图像Fx中的特征点和帧图像Fx+m中的特征点来进行的对应点搜索的过程。通过该对应点搜索，规定帧图像Fx中的规定眉的特征点群和帧图像Fx+m中的规定眉的特征点群之间的对应关系。

图29(b)表示规定帧图像Fx与帧图像Fx+m之间的特征点的变换的变换矩阵。图29(b)中的H1、H2、H3、H4表示规定相对应的部位间的特征点变换的变换矩阵。利用这些变换矩阵，将通过对帧图像Fx的手涂操作而得到的手涂图像向帧图像Fx+m映射。由此，手涂图像与表示帧图像Fx+m的特征点的表现方式相应地变形显示。

图30(a)表示帧图像Fx、帧图像Fx+m中存在的多个特征点。

在图30(a)的上段左侧存在的多个特征点i1、i2、i3、i4····i8用于规定帧Fx的脸图像中的眉毛的形状的特征。在图30(a)的上段右侧存在的多个特征点j1、j2、j3、j4····j8用于规定帧Fx+m的脸图像中的眉毛的形状的特征。图30(b)表示变换矩阵的一例。图30(b)中的变换矩阵H是将帧图像Fx中的特征点i1、i2、i3、i4····i8变换为帧图像Fx+m的特征点j1、j2、j3、j4····j8的矩阵，由8×8的矩阵成分构成。

当确定了作为基础的静止图像时，从该静止图像提取脸的各部位的特征点，并且，每当后续的各个帧图像成为处理图像，则新的处理图像提取特征点。并且，求出在静止图像的特征点和新成为处理图像的帧图像的特征点之间规定两者的关系的变换矩阵，通过该变换矩阵将手涂图像向各帧图像映射。由此对后续的帧图像实施化妆。

图30(c)表示对静止图像描绘手涂图像的情况。图中的轨迹trk1是手指对在触摸面板上描绘的脸进行描摹的轨迹，该轨迹被确定为手涂图像。正中间的箭头cv1示意地表示利用图30所示的变换矩阵H的手涂图像的变换。图中的手涂图像trk2表示经过利用该变换矩阵的变换而在帧Fx+m的脸图像中合成的手涂图像。如以上那样，通过进行利用变换矩阵的变换，通过用手指描摹静止图像中的脸图像而得到的手涂图像被映射于帧Fx+m的帧图像。

图31表示动作模式从确认模式切换到操作模式的情况下，成为确认模式的基础的静止图像的确定经过。第1段表示动作模式的设定的转变，第2段表示从相机102实时输入的帧图像，第3段表示根据特征点提取的脸部件检测，第4段表示对于画面可接受的操作。时间点t1表示动作模式从确认模式切换到操作模式的时间点。

帧图像Ft1是在该时间点捕获的帧图像。由于该帧图像是捕捉到对GUI进行操作的瞬间的用户的图像，因此用户的视线偏离，脸不朝向正面。在特征点检测中，若判断出视线方向不正常，则在第4段中，做出脸部件检测NG(错误)的判断结果。

帧图像Ft5是捕捉到用户闭眼的瞬间的帧图像。通过特征点检测，若判断出用户的眼睛闭上，则如第3段所示那样，脸部件检测为NG。

帧Ft9是捕捉到用户正朝向相机正面的帧图像。通过特征点提取，若判断出用户朝向正面且眼睛睁开，则脸部件检测为OK，帧Ft7成为操作模式的基础而接受用户的手涂操作。

图32是表示以运动图像为对象的化妆的处理顺序的流程图。将当前模式设定为操作模式(步骤S201)，转移到步骤S202～步骤S203的循环。该循环中，对构成所输入的运动图像的各个帧图像进行显示(S202)，判断是否发生了向静止图像基础的确认模式的切换(步骤S203)。如果发生了模式切换，则将帧图像作为静止图像捕获(步骤S204)，转移到由步骤S205～步骤S206构成的循环。该循环中，对以下进行判断：是否发生了对化妆物品的触摸(步骤S205)，是否发生了对静止图像中的脸的触摸(步骤S206)，是否发生了向确认模式的切换(步骤S207)。若步骤S205为“是”，则在步骤S208中选择所触摸的化妆物品。若发生对脸图像的触摸，则确定所触摸的部位(步骤S209)，判断手指涂敷操作是否正在继续(步骤S210)。若正在继续，则将随着操作的手涂图像的描绘继续(步骤S211)。若操作结束，则将至此的操作所描绘的手涂图像确定并保持(步骤S212)。

若发生从操作模式向确认模式的切换，则步骤S207成为“是”，转移到步骤S213。步骤S213等待后续的帧图像的输入(步骤S213)，若输入，则从后续的帧图像提取脸的特征点，按照该特征点，确定帧图像中的映射部位(步骤S214)。然后，向该帧图像的映射部位，映射手涂图像(步骤S215)。最后，使映射了手涂图像的帧图像再现(步骤S216)，返回步骤S213。

如以上那样，根据本实施方式，能够从构成运动图像的多个帧图像之中选择作为化妆基础的静止图像，对该静止图像进行基于涂料的手涂的化妆，通过该手涂，在后续的帧图像中，合成由该手涂得到的手涂图像。用户能够看到化妆后的自己运动的样子，所以会感觉想要购买化妆涂料并尝试使用，能够实现化妆物品的促销。

(第6实施方式)

本实施方式公开了在范围映射的值及L'[i]的计算中利用SIMD(SingleInstruction Multi Data：单指令多数据)处理器的改良。

SIMD处理器包含n个处理部(processing element)、n输入-n输出选择器。各处理部包含算术运算单元和寄存器堆(register file)。

算术运算单元具备由桶式移位器(barrel shifter)、寄存器、乘法器、加法器构成的积和运算器，通过该积和运算器，能够高速进行平滑化处理等数字信号处理。

n输入-n输出选择器同时执行n个输入输出。n输入-n输出选择器中的各个输入输出将某个处理部内的寄存器堆作为输入源，将某个处理部内的运算单元作为输出目的地，由单一的命令规定。n个处理部内的算术运算单元用于执行以寄存器堆中保存的要素为操作数(operand)的运算。由于n个处理部中的各个处理部中存在算术运算单元，所以并列执行n个运算。

各处理部内的寄存器堆包含多个寄存器。由于该寄存器堆存在于n个处理部中的各个处理部中，所以在N为16的情况下，在图像处理装置中，由纵16×横16的要素构成的矩阵由纵16×横16的寄存器保持。

n输入-n输出选择器用于将在水平方向上存在的n个像素的像素比特值供给到n个处理部中的某个处理部的算术运算单元、寄存器堆。

图14(a)的步骤S34中的min(,)函数的动作通过以下动作实现，即：SIMD处理器选择唇图像中的任意2个像素，比较所选出的2个像素的L成分，将较小者作为Lmin保存。具体而言，通过以下来实现：通过由选择器选择的处理部的水平方向的输入输出将2个像素的L成分供给到1个处理部的算术运算单元，该算术运算单元进行两者的比较，将较小者作为Lmin回写到寄存器中，对所保存的Lmin和其他像素的L成分重复同样的处理。

图14(a)的步骤S34中的max(,)函数的动作通过以下动作实现，即：SIMD处理器选择唇图像中的任意2个像素，比较所选出的2个像素的L成分，将较大者作为Lmax保存。具体而言，通过以下来实现：通过由该选择器选择的处理部的水平方向的输入输出将2个像素的L成分供给到1个处理部的算术运算单元，该算术运算单元进行两者的比较，将较大者作为Lmax回写到寄存器中，对所保存的Lmax和其他像素的L成分重复同样的处理。

由于n输入-n输出选择器能够将在水平方向上存在的n个像素的L成分供给到1个处理部，因此，通过执行将在水平方向上存在的n个像素的L成分供给到1个处理部的算术运算单元、并由该算术运算单元对所供给的各像素的L成分进行积和运算这样的动作，在第1实施方式中，能够高速进行图14(a)的步骤S35所示的SUM的计算。通过将其除以像素数，能够高速进行作为唇部位的平均值的aveLip的计算。

图15(b)的流程图所示的L'[i]的计算如以下那样进行。SIMD处理器中包含的n个处理部将范围映射中在水平方向上存在的n个像素的像素比特值并行地读出，并供给到n个处理部中的各个处理部。各处理部的算术运算单元进行对原来的脸图像的第i个像素的值L[i]与aveLip之间的差分乘以β并加上aveStick这样的乘法加法处理，将运算结果作为化妆后的脸图像的像素写入存储器中。由此，得到化妆后的脸图像。

关于图14(b)所示的rmap[i]的计算，将存储器中保存的原来的脸图像中在水平方向上存在的横向n个的像素的L成分并行地读出，并保存在各处理部内的寄存器堆中。各处理部的算术运算单元执行从L[i]中减去Lmin的减法运算、和对该减法运算结果乘以1/(Lmax－Lmin)的乘法运算，将运算结果作为范围映射的各像素的值写入存储器中。由此得到范围映射。

利用rmap[i]的L'[i]的计算如以下那样进行。SIMD处理器中包含的n个处理部将范围映射中在水平方向上存在的n个rmap的值并行地读出，并供给到n个处理部中的各个处理部。

处理部的算术运算单元进行对范围映射的第i个值即rmap[i]乘以rangeL'并加上Lmin这样的乘法加法处理，将运算结果作为化妆后的脸图像的像素比特值写入存储器中。由此，得到化妆后的脸图像。

＜备考＞

以上，说明了在本申请的申请时间点申请人所知的最佳实施方式，以下所示的技术话题能够加以进一步的改良和变更实施。应注意到：是否如各实施方式所示那样来实施或是实施这些改良、变更都是任意的，由实施者主观决定。

(化妆涂料的变更)

化妆涂料不限于将化妆品虚拟化而得到的物品。也可以是彩色隐形眼镜、耳环、耳钉鼻钉。将包含化妆的对象部位的对象物设为人的脸，但也可以设为手。此外，涂料也可以是甲油。此外，化妆的对象物也可以不是人而是宠物。进而，图像处理装置进行的化妆也可以是汽车的装扮。

(色彩变更的制作)

化妆模拟器也可以具备根据口红物品制作色彩变更的功能。该色彩变更通过在选择口红工具后选择色彩样本、并将唇物品的涂敷色的H成分、C成分置换为该色彩样本的H成分、C成分来制作。

(处理对象的适用范围)

各实施方式所公开的装置的内部结构、流程图、动作例中，将“对象体的一部分部位”这一用语的下位概念之一的“人脸的唇”作为处理对象。同样，各实施方式所公开的装置的内部结构、流程图、动作例中，将“化妆涂敷材料”这一用语的下位概念之一的“口红”作为处理对象。但是，也可以将该用语所包含的其他下位概念作为处理对象。这是因为，处理对象是多个下位概念中哪个概念只不过是数据素材的内容的区别，并不会给装置的结构和处理内容带来变化。

(颜色空间变换部2、颜色空间逆变换部7的变换对象)

在颜色空间变换部2、颜色空间逆变换部7中，对成为变换对象的颜色空间说明了RGB、HCL，但作为HCL颜色空间的替代，也可以使用其他的色调、饱和度、亮度的3通道颜色空间，例如HSV、HSL等。

(范围映射的适用范围)

在范围映射中，也可以使用当前像素值与平均值的比率L[i]/Lave。

(第5实施方式的变更)

在第2实施方式中，选择构成运动图像的多个帧图像的某1个，进行基于手涂的化妆，但也可以通过从各帧图像自动提取初始画面中用户选择的部位，并用化妆品涂改各帧图像中的该部位来实现化妆。

(算式1～5所记载的运算处理的安装)

式1至式5的算式不是意味着数学概念，只不过意味着在计算机上执行的数值运算，因此当然可以加以必要的改变以使计算机实现。例如，当然可以实施用于将数值以整数型、固定小数点型、浮动小数点型进行处理的饱和运算、正值化运算。进而，各实施方式所示的基于算式的运算处理中，与常数的乘法运算能够通过利用常数ROM的ROM乘法器实现。常数ROM中，被乘数与常数之积的值被预先计算并保存。例如，被乘数为16比特长的情况下，该被乘数按每4比特被划分为4个，该4比特部分与常数之积，即常数的0～15的倍数保存在上述的常数ROM中。上述的1段的4比特与常数16比特之积为20比特长，上述的4个常数保存在同一地址，因此20×4＝80比特长成为一句话的比特长。如上所述那样，由于可由ROM乘法器实现，因此本说明书中所称的“运算处理”不是意味着仅仅是纯粹的算术运算，还包含根据被算符的值将ROM等记录介质中保存的运算结果读出这样的记录介质的读出。

(向网络的应用)

平板和图像处理装置可以经由网络连接。该情况下，图像处理装置经由网络取得由显示装置的相机拍摄的自身图像(原来的图像数据)，进行化妆处理。并且，将作为化妆结果的图像向外部装置输出，以供显示。

(多个用户对应)

图像处理装置可以对通过拍摄多个用户而得到的多个用户的人物像实施用于化妆的图像处理。该情况下，必须处理许多人物像，因此优选通过能够将不确定多数的用户的脸图像作为大数据(big data)进行处理的、云网络的服务器(云服务器)使图像处理装置动作。云网络中，若命令化妆开始，则管理程序(hypervisor)在云服务器中启动客户操作系统(客户OS)。这样启动了客户OS后，将从企业内部存在的内部网络进行图像处理装置的构成要件的处理的应用程序加载到云服务器。通过该加载，对大数据执行之前的实施方式所述的处理。

(程序代码的具体化)

上述的各装置具体而言是由微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。上述RAM或硬盘单元中，存储着计算机程序。上述微处理器按照上述计算机程序进行动作，从而各装置实现其功能。这里，计算机程序为了实现规定的功能而将表示对计算机的指令的命令代码组合多个而构成。

(集成电路的具体化)

构成上述的各装置的构成要素的一部分或全部可以由1个系统LSI(Large ScaleIntegration：大规模集成电路)构成。系统LSI是将多个构成部在1个芯片上集成而制造的超多功能LSI，具体而言，是包含微处理器、ROM、RAM等而构成的计算机系统。上述RAM中，存储有计算机程序。上述微处理器按照上述计算机程序进行动作，从而系统LSI实现其功能。集成电路的结构(architecture)由以下构成：由被预编程序的DMA主电路(mastercircuit)等构成，执行流处理全体的前端处理电路(1)；由SIMD处理器等构成，执行信号处理全体的信号处理电路(2)；进行像素处理、图像重叠、大小调整(resize)、图像格式变换AV输出处理全体的后端电路(3)；作为与驱动器(drive)、网络之间的接口的媒体接口电路(4)；用于存储器访问的从电路(slave circuit)，即响应于前端部、信号处理部、后端部的请求，实现包(packet)和数据的读写的存储器控制电路(5)。这里，若着眼于封装的种类，则系统LSI中，有QFP(方形扁平阵列)、PGA(插针网格阵列)这样的种类。QFP是在封装的四侧面安装有插针(pin)的系统LSI。PGA是在底面整体安装有大量插针的系统LSI。

(单体模块化)

上述的构成各装置的构成要素的一部分或全部可以由可对各装置装拆的IC卡或单体的模块构成。上述IC卡或上述模块是由微处理器、ROM、RAM等构成的计算机系统。上述IC卡或上述模块可以含有上述的超多功能LSI。微处理器按照计算机程序进行动作，从而上述IC卡或上述模块实现其功能。该IC卡或该模块可以具有耐篡改性。

(程序化)

本发明也可以是上述所示的方法。此外，也可以是通过计算机实现这些方法的计算机程序，也可以是由上述计算机程序构成的数字信号。此外，本发明也可以将上述计算机程序或上述数字信号记录到计算机可读取的记录介质、例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)光盘)、半导体存储器等中而得到。此外，也可以是在这些记录介质中记录的上述数字信号。

此外，本发明也可以将上述计算机程序或上述数字信号经由电气通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等进行传输。

进而，本发明也可以是具备微处理器和存储器的计算机系统，上述存储器存储上述计算机程序，上述微处理器按照上述计算机程序进行动作，通过将上述程序或上述数字信号记录转移到上述记录介质中，或者通过将上述程序或上述数字信号经由上述网络等转移，也可以由独立的其他计算机系统实施。

使计算机执行图12～图16的处理、图17～图23的处理的程序代码能够如下那样制作。首先，软件开发者使用编程语言，记述用于实现各流程图、功能性构成要素的源程序。在该记述中，软件开发者按照编程语言的语法，利用class结构体、变量、排列变量、外部函数的调用，记述实现各流程图、功能性构成要素的源程序。

所记述的源程序作为文件提供给编译器。编译器翻译这些源程序，生成目标程序。

编译器的翻译由语法解析、优化、资源分配、代码生成这样的过程构成。语法解析中，进行源程序的字句解析、语法解析以及含义解析，将源程序变换为中间程序。优化中，对中间程序进行基本块化、控制流解析、数据流解析这样的操作。资源分配中，为了实现对成为目标的处理器的命令集的适应，将中间程序中的变量分配给成为目标的处理器具有的寄存器或存储器。代码生成中，将中间程序内的各中间命令变换为程序代码，得到目标程序。

这里，所生成的目标程序由使计算机执行各实施方式所示的流程图的各步骤、功能性构成要素的各个顺序的1个以上的程序代码构成。这里，程序代码如处理器的本地代码、JAVA(注册商标)字节码那样，有各种各样的种类。程序代码的各步骤的实现有各种各样的形态。能够利用外部函数实现各步骤的情况下，调用该外部函数的调用语句成为程序代码。此外，实现1个步骤的程序代码有时也归属于不同的目标程序。也可以用命令种类受限的RISC处理器将算术运算命令、逻辑运算命令、分支命令等组合，从而实现流程图的各步骤。当生成了目标程序，编程器(programmer)对其启动连接程序(linker)。连接程序将这些目标程序、关联的库程序(libraryprogram)分配给存储器空间，将它们结合为1个，生成加载(load)模块。这样生成的加载模块是以计算机的读取为前提的模块，使计算机执行各流程图所示的处理顺序、功能性构成要素的处理顺序。也可以将该计算机程序记录在非暂时性计算机可读取的记录介质中提供给用户。

(组合)

也可以将上述实施方式及上述变形例分别组合。

(技术思想的体系化)

从第1实施方式至第6实施方式所示的图像处理装置的具体形态提取的技术思想创作形成以下的1.、2.、3.、4.·····的体系。该体系中，1.是作为上述体系的基础的基本形态，2.、3.～是其派生的形态。

(1.基本形态)

这里，成为上述体系的基础的图像处理装置，具备：指定单元，从原图像中表现的对象体指定应涂敷化妆涂料的部位；生成单元，生成涂料涂敷层，该涂料涂敷层由具有以化妆涂料的样本色为代表色的颜色范围的多个像素构成；合成单元，向原图像合成涂料涂敷层。

该图像处理装置的特征在于，构成涂料涂敷层的多个像素的颜色范围通过根据构成应涂敷化妆涂料的原图像的部位的多个像素的代表值、与化妆涂料的样本色像素的值之间的比率、将构成上述对象体的一部分部位的多个像素的颜色范围扩大而得到，涂料涂敷层的像素的值通过将原图像的在位置上相对应的像素的像素值向涂料涂敷层的颜色范围进行映射而得到。

涂敷后的部位图像的颜色范围通过将原图像的颜色范围扩大而得到，涂料涂敷层的像素比特值通过将原图像的在位置上相对应的像素的像素比特值向扩大后的颜色范围进行映射而得到，因此构成涂料涂敷层的多个像素的像素比特值以按照原始图像中成为对象的部位的形状的对比度得以强调的形态表现在涂料涂敷层中。通过该对比度强调，能够真实地再现在成为对象的部位涂敷具有光学特性的化妆涂料并照射环境光的状态。

这里，成为涂敷的对象的部位是指，图像中表现的建筑物、生物、交通工具、静物、人体的表面区域中的一部分。

对象体是人体的情况下的化妆涂料中，有口红、发胶、甲油、眼影等。对象体是建筑物、交通工具、静物的情况下的化妆涂料中，有油漆、喷塗料、荧光塗料等。若对这些下位概念描述实施方式，则说明繁琐因此是不希望的。因此，设涂敷的对象是人体的唇，设口红为化妆涂料，进行了对实施方式的说明。

(2.涂敷涂料的部位的下位概念化)

此外，在上述的基本形态中，为了消除强光存在的部位或有影的部位与其以外的部位之间的连接处的不自然感，能够将部位图像设为以下的图像。

这用于将第1实施方式中的代表色的选择一般化。具体而言，上述原图像中由指定单元指定的部位包含被环境光所照而产生的强光部分的像素和环境光被遮挡而产生的阴影部分的像素，构成上述原图像部位的多个像素的代表值通过对包含强光部分的像素和阴影部分的像素的多个像素实施统计处理而算出。

专利文献1所记载的现有技术中，将对强光或成为影的部分的改写停止，相对于此，上述方式的图像处理装置中，通过扩大颜色范围，将强光或成为影的部分也作为像素比特值的改写的对象，因此，本发明中，原始图像中强光存在的部位或有影的部位与其以外的部位之间的连接处部分不会变得不自然。此外，决定代表色时，通过不将强光和阴影排除在外而对包含它们的多个像素群实施统计处理从而得到代表色，因此通过进行了涂敷的涂料涂敷层，能够带来自然的对比度变化。这里，上述统计处理广泛包含平均计算、加权平均计算、离散计算、偏差计算等。

(3.映射的具体化)

生成单元的映射能够展开得更具体。这是第1实施方式中的利用范围映射的算式(式5)的一般化。具体而言，图像处理装置进一步取得表示在与原图像对应的平面坐标系中像素的值怎样分布的分布映射，生成单元的映射通过将分布映射所示的在位置上相对应的值用作加权系数而将颜色范围加权、并对加权后的值赋予偏移而进行。

分布映射显示在涂敷后的图像中像素应怎样分布，涂料涂敷层的像素比特值的决定受该分布映射所控制，因此涂料涂敷层中的明亮度的分布更真实地得以表现。

(4.加权值、偏移的具体化)

分布映射中表示的加权值、偏移能够更具体地展开。这是基于第1实施方式所示的rmap[i]*rangeL'、L'min的限定。

具体而言，由上述分布映射表示的各像素位置的值是将构成应涂敷涂料的原图像的部位的多个像素之中在位置上相对应的像素的像素值与构成该部位的颜色的下限值之间的差分、利用该部位的颜色范围正规化了的值，上述偏移是涂改色的颜色范围的下限值。由于分布映射的值是将像素比特值与颜色范围之间的差分正规化后的值，所以通过对其乘以颜色范围长，从而涂料涂敷层的相应部位具有更接近于实物的明亮度分布。由此，能够实现被误认为实物那样的化妆模拟。

(5.分布映射的取得方法)

对于如何取得分布映射，能够更具体地展开。即，将范围映射作为样本文件取得。

具体而言，图像处理装置能够访问的记录介质中，记录有样本文件，样本文件是像素的值在平面上如何分布的分布形态的样本，生成单元的分布映射的取得通过从记录介质读出样本文件而进行。像素比特值如何分布的、平面分布的图案被样本化，以样本文件的形态记录在记录介质中，因此图像处理装置通过将与所希望的化妆形态相应的样本文件读出，能够享受化妆的各种各样的变更。

(6.运算式的具体化)

像素比特值的变换能够展开为利用比特运算的具体的变换。这是第1实施方式中的式6的一般化。具体而言，上述变换通过对表示构成应涂敷涂料的原图像的部位的在位置上相对应的多个像素的像素值在构成该部位的多个像素的颜色范围整体中占多少比例的相对值乘以规定的系数，并加上偏移而得到。乘以加权系数并加上偏移这一处理可通过利用移位寄存器的积和运算电路等实现硬件化。通过该硬件化，实现对多个像素的处理的并列化、流水线(pipe line)化。

(7.相对值、加权系数、偏移的具体化)

6.的形态中的相对值、加权系数、偏移能够展开为更下位概念的内容。这是基于式6的L[i]-Lave)、β、L'ave的限定，上述相对值是将应涂敷涂料的原图像的部位中的代表色的像素的值与构成该部位的在位置上相对应的多个像素的像素值之间的差分，用构成该部位的像素的颜色范围长正规化了的值，上述规定的系数是表示该部位的多个像素的颜色范围长，上述偏移是构成该部位的颜色的颜色范围的下限值。上述的相对值表示作为对象的像素的像素比特值与原图像中的代表色相差如何悬殊，因此通过将该相对值向涂料涂敷层的颜色范围映射，与涂料涂敷层的颜色范围的下限值相加，从而涂料涂敷层中的部位能够再现不损害原图像中的照明的照射方式的真实质感。

(8.颜色范围的上限、下限的具体化)

这里，涂料涂敷层的颜色范围的上限、下限能够展开为更下位概念的内容。该下位概念是基于第1实施方式中的Lmin、Lmax的限定，具体而言，涂料涂敷范围的颜色范围的上限值通过如下方式计算，即：对构成应涂敷涂料的原图像的部位的多个像素的代表值与该部位的颜色范围的上限值之间的差分、与构成该部位的像素的颜色范围的范围长之比，乘以涂料涂敷层的颜色范围的范围长，并加上涂料的样本色的像素的值。

涂料涂敷范围的颜色范围的下限值通过从涂料涂敷范围的颜色范围的上限值中减去涂料涂敷范围的颜色范围的范围长而算出。涂料涂敷层的颜色范围的上限通过对从原图像的代表色到原图像的上限的差分与原图像的颜色范围的范围长之比乘以涂料涂敷层的范围长而确定，因此原图像与代表色之间的差分适当地反映于涂料涂敷层的颜色范围。进而，涂料涂敷层的颜色范围的下限通过从这样确定的上限中减去涂料涂敷层的颜色范围长而确定，因此变暗的部分的变暗方式也与原图像的代表色和涂料涂敷层的代表色之比相对应。由此，能够真实地再现对所拍摄的用户的脸涂敷了化妆涂料的状态。

(9.成为图像处理的对象的像素成分)

颜色范围能够展开为更下位概念的内容。该下位概念是将颜色范围是HCL的个别规定这一情况一般化的概念。具体而言，应涂敷上述涂料的原图像的部位的颜色范围是构成该部位的像素所含的多个种类的像素成分中的特定种类的像素成分的数值范围，应涂敷涂料的原图像的部位包含多个通道图像，构成涂料涂敷层的像素的值通过将由特定种类的像素成分构成的通道图像的各个像素向涂料涂敷层的颜色范围进行映射而得到。由于对构成像素的多个种类的像素成分中的特定的像素成分算出颜色范围，因此在构成像素的多个像素成分中有不希望变换的像素成分的情况下，将该像素成分排除在处理之外，从而能够维持与原图像的同一性。

(10.合成的形态)

合成单元的合成的方法能够展开为更下位概念的内容。该下位概念是将合成参数是HCL的个别规定这一情况一般化的概念。具体而言，上述图像处理装置按每个成分种类具有合成参数，上述合成单元的合成如以下这样进行，即：将涂料涂敷层所含的多个通道图像中的特定种类的图像的像素成分、和上述多个通道图像中的特定种类的图像的像素成分，利用与特定种类对应的合成参数进行加权，并彼此相加。由于使应向原图像的像素、涂料涂敷层的像素分别赋予的加权系数按每个像素成分变化，因此例如能够得到色调成分、饱和度成分、亮度成分中的饱和度成分、亮度成分得以强调的形态的涂料涂敷层。

(11.像素成分的具体化)

多个种类的像素成分能够展开为更下位概念的内容。该下位概念是指：上述多个种类的像素成分是色调、饱和度、亮度，特定种类的像素成分是色调、饱和度、亮度中的某1个、或者2个以上的组合。通过以色调成分、饱和度成分、亮度成分中的饱和度成分、亮度成分作为颜色范围生成的对象并作为映射、合成的对象，能够得到维持色调成分的同一性的自然形态的化妆图像。

(12.构成要件的追加)

图像处理装置中，能够追加任意的构成要件。具体而言，上述图像处理装置具备：第1变换单元，将构成应涂敷涂料的原图像的部位中的各个像素的第1、第2、第3像素成分变换为色调成分，饱和度成分，亮度成分；第2变换单元，将构成合成了涂料涂敷层的部位的像素的色调成分、饱和度成分、亮度成分变换为第1、第2、第3像素成分。能够将由RGB的像素成分构成的原来的脸图像、由YCrCb的像素成分构成的原图像作为化妆的对象，因此能够将来自各种各样的类型的相机的图像输入作为化妆的对象进行利用。

(13.应降低加权的部位)

能够更具体地规定应降低加权的部位。其下位概念是指将嘴角形状的权重一般化的概念。具体而言，应涂敷涂料的部位是唇，指定单元指定作为图像处理的对象的部位时，生成规定被指定的部位的轮廓形状的轮廓形状线，上述生成单元，在决定构成涂料涂敷层的各个像素的颜色范围时，从规定唇的轮廓形状的轮廓形状线中，确定规定唇的嘴角部分的形状的嘴角形状线，将构成唇的多个像素中的位于被确定的嘴角形状线的周边的像素的像素权重降低。通过在成为嘴角的唇的两侧以及上下唇的边界将加权系数设定得较低从而可带来阴影，因此唇的轮廓醒目而美观。

(14.作为图像处理方法的壁垒克服)

在希望以方法发明方面来实施的情况下，该方面的方法是通过对原图像进行图像处理、从而生成表示在原图像中表现的对象体的一部分部位涂敷了化妆涂料的状态的化妆图像的计算机系统的图像处理方法，从原图像中表现的对象体指定应涂敷化妆涂料的部位，并生成由具有以化妆涂料的样本色为代表色的颜色范围的多个像素构成的涂料涂敷层，涂料涂敷层是对原图像合成的图像。

构成涂料涂敷层的多个像素的颜色范围通过对应于构成应涂敷化妆涂料的原图像的部位的多个像素的代表值与化妆涂料的样本色像素的值之比，将构成上述对象体的一部分部位的多个像素的颜色范围扩大而得到，涂料涂敷层的像素值通过将原图像的在位置上相对应的像素的像素值向涂料涂敷层的颜色范围进行映射而得到。该方法的形态能够实施上述那样的2.至13.的改良。该图像处理方法能够在企业内的用户或者终端用户使用的情况下使用，因此能够扩展属于本申请的技术范围的方法发明的用途。

计算机系统广泛包括由客户端计算机、服务器计算机形成的计算机系统、在云服务器中加载应用的形态的云网络计算机系统、计算机彼此进行对等连接的计算机系统、计算机作为网格(grid)发挥功能而进行分散处理的网格计算机系统。“终端装置”广泛包括用鼠标、键区(keypad)等指点设备(pointing device)操作的便携式电脑(laptop personalcomputer)、笔记本电脑、智能手机、平板终端、出纳机终端。若对这些所有下位概念叙述实施方式则说明繁琐从而并不优选。因此，在第1实施方式中，假设平板终端是终端装置。

(15.程序的壁垒克服)

在希望以实施程序的方面来实施的情况下，该方面的程序是使计算机执行通过对原图像进行图像处理、从而生成表示在原图像中表现的对象体的一部分部位涂敷了化妆涂料的状态的化妆图像的处理的程序，包含程序代码，该程序代码使计算机执行以下：从原图像中表现的对象体指定应涂敷化妆涂料的部位，生成由具有以化妆涂料的样本色为代表色的颜色范围的多个像素构成的涂料涂敷层。

涂料涂敷层是对原图像合成的图像，构成涂料涂敷层的多个像素的颜色范围通过对应于构成应涂敷化妆涂料的原图像的部位的多个像素的代表值与化妆涂料的样本色像素的值之比，将构成上述对象体的一部分部位的多个像素的颜色范围扩大而得到。

涂料涂敷层的像素的值通过将原图像中的在位置上相对应的像素的像素值向涂料涂敷层的颜色范围进行映射而得到。该程序的形态能够实施上述那样的2.至13.的改良。由于能够通过网络提供商服务器、各种记录介质来分发程序，因此能够将本发明的用途扩展到一般的计算机软件及线上服务的业界。

工业实用性

本发明涉及脸图像的图像处理领域，特别是作为使用颜色信息向脸图像涂敷口红的化妆模拟用的图像处理装置而有用。

附图标记说明

11 唇的区域提取部

12 颜色空间变换部

13 暂时存储器

14 唇颜色范围算出部

15 口红涂敷层生成部

16 合成处理部

17 颜色空间逆变换部

Claims (14)

1.一种图像处理装置，通过对原图像进行图像处理，生成表示在原图像所表现的对象体的一部分部位涂敷了化妆涂料的状态的化妆图像，其特征在于，

具备：

指定单元，从原图像所表现的对象体指定应涂敷化妆涂料的部位；

生成单元，生成由具有以化妆涂料的样本色为代表色的颜色范围的多个像素构成的涂料涂敷层；以及

合成单元，向原图像合成涂料涂敷层；

构成涂料涂敷层的多个像素的颜色范围，通过对应于构成应涂敷化妆涂料的原图像的部位的多个像素的代表值与化妆涂料的样本色像素的值之比，将构成上述对象体的一部分部位的多个像素的颜色范围扩大而得到；

涂料涂敷层的像素的值通过将原图像的在位置上相对应的像素的像素值向涂料涂敷层的颜色范围进行映射而得到，

上述生成单元在生成上述涂料涂敷层时，取得表示在与原图像对应的平面坐标系中像素的值如何分布的分布映射，

上述生成单元的映射通过以下来进行：将分布映射所表示的在位置上相对应的值用作加权系数而将颜色范围加权，对加权后的值赋予偏移。

2.如权利要求1记载的图像处理装置，其特征在于，

上述原图像中由指定单元指定的部位包含因被环境光照射而产生的强光部分的像素、和因环境光被遮蔽而产生的阴影部分的像素；

构成上述原图像部位的多个像素的代表值通过对包含强光部分的像素和阴影部分的像素的多个像素实施统计处理而算出。

3.如权利要求1记载的图像处理装置，其特征在于，

上述分布映射所表示的各像素位置的值，是将构成应涂敷涂料的原图像的部位的多个像素中在位置上相对应的像素的像素值与构成该部位的颜色的下限值之间的差分，用该部位的颜色范围进行了正规化的值，

上述偏移是涂改色的颜色范围的下限值。

4.如权利要求1记载的图像处理装置，其特征在于，

在图像处理装置能够访问的记录介质中记录有样本文件，样本文件是像素的值在平面上如何分布这样的分布形态的样本，

生成单元的分布映射的取得通过将样本文件从记录介质读出来进行。

5.如权利要求1记载的图像处理装置，其特征在于，

上述映射通过以下得到：对表示构成应涂敷涂料的原图像的部位的多个像素中在位置上相对应的像素的像素值在构成该部位的多个像素的颜色范围整体中占多少比例的相对值，乘以规定的系数，并加上偏移。

6.如权利要求5记载的图像处理装置，其特征在于，

上述相对值是将应涂敷涂料的原图像的部位的代表色的像素的值与构成该部位的多个像素中在位置上相对应的像素的像素值之间的差分用构成该部位的像素的颜色范围长进行了正规化的值，上述规定的系数是表现该部位的多个像素的颜色范围长，上述偏移是构成该部位的颜色的颜色范围的下限值。

7.如权利要求1记载的图像处理装置，其特征在于，

涂料涂敷范围的颜色范围的上限值通过以下算出：对构成应涂敷涂料的原图像的部位的多个像素的代表值与该部位的颜色范围的上限值之间的差分、与构成该部位的像素的颜色范围的范围长之比，乘以涂料涂敷层的颜色范围的范围长，并加上涂料的样本色的像素的值；

涂料涂敷范围的颜色范围的下限值通过从涂料涂敷范围的颜色范围的上限值中减去涂料涂敷范围的颜色范围的范围长而算出。

8.如权利要求1记载的图像处理装置，其特征在于，

上述应涂敷涂料的原图像的部位的颜色范围是构成该部位的像素所含的多个种类的像素成分中的特定种类的像素成分的数值范围，

应涂敷涂料的原图像的部位包含多个通道图像，

构成涂料涂敷层的像素的值通过将由特定种类的像素成分构成的通道图像的各个像素向涂料涂敷层的颜色范围进行映射而得到。

9.如权利要求8记载的图像处理装置，其特征在于，

上述图像处理装置按每个成分种类而具有合成参数，

上述合成单元的合成通过以下进行：

将涂料涂敷层所含的多个通道图像中的特定种类的通道图像的像素成分、和上述多个通道图像中的特定种类的通道图像的像素成分，用与特定种类对应的合成参数进行加权，并彼此相加。

10.如权利要求8记载的图像处理装置，其特征在于，

上述多个种类的像素成分是色调、饱和度、亮度，特定种类的像素成分是色调、饱和度、亮度中的某1个或者2个以上的组合。

11.如权利要求1记载的图像处理装置，其特征在于，

上述图像处理装置具备：

第1变换单元，将构成应涂敷涂料的原图像的部位中的各个像素的第1、第2、第3像素成分变换为色调成分、饱和度成分、亮度成分；以及

第2变换单元，将构成合成了涂料涂敷层的部位的像素的色调成分、饱和度成分、亮度成分变换为第1、第2、第3像素成分。

12.如权利要求1记载的图像处理装置，其特征在于，

应涂敷涂料的部位是唇，

指定单元，在指定作为图像处理的对象的部位时，生成规定被指定的部位的轮廓形状的轮廓形状线，

上述生成单元，在决定构成涂料涂敷层的各个像素的颜色范围时，从规定唇的轮廓形状的轮廓形状线中，确定规定唇的嘴角部分的形状的嘴角形状线，将构成唇的多个像素中的位于所确定的嘴角形状线的周边的像素的像素权重降低。

13.一种图像处理方法，是通过对原图像进行图像处理从而生成表示在原图像所表现的对象体的一部分部位涂敷了化妆涂料的状态的化妆图像的计算机系统中的图像处理方法，其特征在于，

包含以下工序：

从原图像所表现的对象体指定应涂敷化妆涂料的部位；以及

生成由具有以化妆涂料的样本色为代表色的颜色范围的多个像素构成的涂料涂敷层，

涂料涂敷层是向原图像合成的图像，

构成涂料涂敷层的多个像素的颜色范围，通过对应于构成应涂敷化妆涂料的原图像的部位的多个像素的代表值与化妆涂料的样本色像素的值之比，将构成上述对象体的一部分部位的多个像素的颜色范围扩大而得到；

涂料涂敷层的像素的值通过将原图像中的在位置上相对应的像素的像素值向涂料涂敷层的颜色范围进行映射而得到，

在生成上述涂料涂敷层时，取得表示在与原图像对应的平面坐标系中像素的值如何分布的分布映射，

生成上述涂料涂敷层时的映射通过以下来进行：将分布映射所表示的在位置上相对应的值用作加权系数而将颜色范围加权，对加权后的值赋予偏移。

14.一种存储如下程序的、计算机能够读取的介质，该程序使计算机执行通过对原图像进行图像处理而生成表示在原图像所表现的对象体的一部分部位涂敷了化妆涂料的状态的化妆图像的处理，其特征在于，

上述程序使计算机执行以下步骤：

从原图像所表现的对象体指定应涂敷化妆涂料的部位；以及

生成由具有以化妆涂料的样本色为代表色的颜色范围的多个像素构成的涂料涂敷层；

涂料涂敷层是向原图像合成的图像，

构成涂料涂敷层的多个像素的颜色范围通过对应于构成应涂敷化妆涂料的原图像的部位的多个像素的代表值与化妆涂料的样本色像素的值之比，将构成上述对象体的一部分部位的多个像素的颜色范围扩大而得到；

涂料涂敷层的像素的值通过将原图像的在位置上相对应的像素的像素值向涂料涂敷层的颜色范围进行映射而得到，

在生成上述涂料涂敷层时，取得表示在与原图像对应的平面坐标系中像素的值如何分布的分布映射，

生成上述涂料涂敷层时的映射通过以下来进行：将分布映射所表示的在位置上相对应的值用作加权系数而将颜色范围加权，对加权后的值赋予偏移。