CN1906631A - 化妆模拟程序、化妆模拟装置及化妆模拟方法 - Google Patents

Abstract

本发明的目的在于提供一种涉及化妆模拟的技术，即便是不具备专业知识的人，也能够通过简便的操作高品质且高速地得到模拟图像。具有以下部分：第1图像作成部(20)，以包含在基准图像中的n张图层图像为基础，作成各像素的透明度被归一化的n张归一化透明度图层图像；第2图像作成部(30)，使用图层图像的色成分，对于帧图像施行色变换处理，作成n张色变换图层图像；网格设定部(50)，在帧图像和make pattern图像上分别设定网格；图像变形部(60)，算出两图像上设定的网格顶点的差，以此差为基础，使归一化透明度图层图像中的化妆要素图像变形为与帧图像的脸部区域相适应；合成部(70)，根据α混合合成色变换图层图像和各帧图像。

Description

化妆模拟程序、化妆模拟装置及化妆模拟方法

                                 技术领域

本发明涉及对人物的脸部虚拟地施行化妆的化妆模拟技术。

                                 背景技术

一直以来，已知有使用手写板装置(pen tablet)等输入装置和安装了市售图像修整(retouch)处理软件(例如，adobe公司的photoshop等)的市售电脑，根据用户的描画指令，进行如同用刷子涂敷化妆之类的描画处理，对脸部的静止图像虚拟地施行化妆的方法。

又，人们知道这样的技术，对脸部动态图像的各帧图像(frame)，检测口及眼睛的位置，根据检测出的位置，指定施行口红、脸颊等化妆的区域，通过对指定的区域进行着色，可对脸部的动态图像实时地进行化妆模拟。(专利文献1日本国专利特开2003-44837号公报)

                                 发明内容

但是，利用上述对静止图像虚拟地施行化妆的方法所作成的模拟图像，只不过是在脸部图像上指定了区域决定了化妆的涂敷区域(化妆要素图像)，没有做到这一步，即将所涉及的图像应用于同一人物表情不同的图像，或者，应用于其他人的图像。

又，专利文献1所记载的发明，用数学公式定义化妆要素图像，根据脸部表情的变化，调整数学公式的参数，从而得到模拟图像，但是所述参数的调整需要数学和程序等的专业知识。因此，存在着这样的问题，即，对于不具有专业知识但多少有心画画的用户就难以利用简略化了的操作得到模拟图像。又，还存在着这样的问题，当化妆要素图像由自由曲线构成的情况下，参数的调整非常复杂，即使是具有数学和程序知识的熟练人员也要花费很大的精力来调整参数。还存在着这样的问题，由于化妆图像是由数学公式所定义的，运算需要花费大量的时间。进而，由于是用数学公式近似模拟化妆要素图像，故难以得到像实际涂敷了化妆这样的高品质图像。

本发明是为解决上述课题而作出的，其目的在于提供一种有关化妆模拟的技术，即使不是具备专业知识的人，也可以通过简便的操作高质量且高速地得到模拟图像。

本发明的化妆模拟程序，其特征在于，利用由n(n为正整数)张图层图像和1张脸部图像构成的基准图像，令计算机执行化妆模拟，所述基准图像是根据通过操作装置输入的来自用户的描画指令预先作成的，所述n张图层图像各自分别包含由同一颜色构成的至少1种化妆要素图像，令计算机作用为：第1图像作成单元，分别对所述n张图层图像，根据各图层图像的各像素所设定的透明度，作成与所述n张图层图像分别对应的n张第1图像；对象图像获取单元，获取包含模拟对象人物的脸部图像的模拟对象图像；网格设定单元，在所述基准图像中包含的脸部图像区域中设定网格，并在所述模拟对象图像中包含的脸部图像区域中设定网格；变形单元，对于分别设定在所述基准图像及所述模拟对象图像中的网格，对它们对应的顶点的位置进行差分计算，根据算出的差分量，这样进行变形，使得包含于各个所述n张第1图像中的化妆要素图像，适合于所述模拟对象图像中包含的脸部图像区域；第2图像作成单元，对所述模拟对象图像执行指定的色变换处理，所述色变换处理利用所述n张图层图像的色成分，由此作成分别与所述n张图层图像对应的n张第2图像；合成单元，根据所述n张第1图像，决定所述n张第2图像及所述模拟对象图像各自的透明度，利用所决定的透明度，合成所述模拟对象图像及所述n张第2图像。

利用本发明的化妆模拟程序，对由n张图层图像和1张脸部图像构成的基准图像，基于构成基准图像的各图层图像的透明度，作成n张第1图像，对基准图像和模拟对象图像的各自的脸部区域设定网格。然后，算出在基准图像的脸部区域设定的网格与在模拟对象图像的脸部区域设定的网格相对应的顶点之间的位置差分，根据所述差分，将包含在各个n张第1图像中的化妆要素图像变形为与模拟对象图像中的脸部领域相适应。

利用各图层图像的色成分变换模拟对象图像，作成第2图像，根据第1图像，决定第2图像和模拟对象图像的透明度，根据被决定的透明度，合成第2图像和模拟对象图像。

这里，基准图像是指，对某个人的脸部图像，通过使用photoshop(注册商标)等图像作成软件以及手写板装置等操作装置经简单的操作而作成的图像。以基准图像为基础，对模拟对象图像施行化妆，形成高品质的化妆模拟图像。因此，用户通过简单的操作就能高速地获取高品质的化妆模拟图像。

又，由于基准图像是由n张图层图像构成，可以很容易地进行这样的变更，诸如从施行了虚拟化妆的模拟对象图像删去一部分的化妆要素图像，或，改变一部分化妆要素图像的颜色之类。

                                 附图说明

【图1】是表示本发明实施形态的化妆模拟装置的硬件构成的方框图。

【图2】是表示化妆模拟装置的功能框图。

【图3】是表示化妆模拟装置的动作的流程图。

【图4】是表示化妆模拟装置的动作的流程图。

【图5】是用来说明公式(1)和公式(2)的图。

【图6】是说明特征点的提取处理的图。

【图7】表示初期网格的一例。

【图8】表示刚刚对网格的浮动顶点赋予一定高度成分后，使用基准图像上设定的网格，(a)表示从Z方向看的网格，(b)表示从斜方向看的网格。

【图9】表示对网格各顶点1次应用公式(7)和公式(8)的运算后的使用基准图像上设定的网格，(a)表示从Z方向看的网格，(b)表示从斜方向看的网格。

【图10】表示对网格的各顶点5次应用公式(7)和公式(8)的运算后的使用基准图像上设定的网格，(a)表示从Z方向看的网格，(b)表示从斜方向看的网格。

【图11】表示对网格的各顶点10次应用公式(7)和公式(8)的运算后的使用基准图像上设定的网格，(a)表示从Z方向看的网格，(b)表示从斜方向看的网格。

【图12】表示对网格的各顶点20次应用公式(7)和公式(8)的运算后的使用基准图像上设定的网格，(a)表示从Z方向看的网格，(b)表示从斜方向看的网格。

【图13】表示对网格的各顶点30次应用公式(7)和公式(8)的运算后的使用基准图像上设定的网格，(a)表示从Z方向看的网格，(b)表示从斜方向看的网格。

【图14】表示对网格的各顶点60次应用公式(7)和公式(8)的运算后的使用基准图像上设定的网格，(a)表示从Z方向看的网格，(b)表示从斜方向看的网格。

【图15】是表示对产生多边形重叠的图像，合成化妆要素图像时的一例的画面图。

【图16】是表示在使用基准图像的脸部区域设定的网格的图。

【图17】是表示在帧图像的脸部区域设定的网格的图。

【图18】是表示化妆要素图像被变形的样子的图，(a)表示变形前，(b)表示变形后。

【图19】是表示根据合成部合成的图像的一例的图。

【图20】是表示基准位置检测部详细组成的框图。

【图21】是表示基准位置检测部工作的流程图。

【图22】是表示施行形貌处理后的图像的图。

【图23】是表示左右眼相关值滤镜的图，(a)表示左眼相关值滤镜，(b)表示右眼相关值滤镜。

【图24】是表示全局模式图像和左及右眼局域模式图像的图，(a)表示全局模式图像，(b)表示左及右眼局域模式图像。

【图25】是表示脸部图像的一例的图，(a)表示脸部不倾斜的情况，(b)表示脸部倾斜的情况。

【图26】是表示左及右眼相关值图像的一例的图，(a)表示左眼相关值，(b)表示右眼相关值。

【图27】是表示由移动部移动后的左右眼相关值图像的图，(a)表示左眼相关值图像，(b)表示右眼相关值图像。

【图28】是表示最大值滤镜的处理结果的图，(a)表示施行了最大值滤镜处理后的左眼相关值图像，(b)表示施行了最大值滤镜处理后的右眼相关值图像。

【图29】是表示脸部中心评价图像的图。

【图30】表示施行脸部中心评价图像的滤镜处理后的合成图像。

【图31】基准图像作成模式中化妆模拟装置的功能框图。

【图32】表示基准图像作成模式中化妆模拟装置的动作的流程图。

                               具体实施方式

以下，参照附图对本发明实施形态的化妆模拟装置进行说明。图1是表示本发明实施形态的化妆模拟装置的硬件构成的方框图。

图1所示的化妆模拟装置，由通常的计算机等构成，具有输入装置1、ROM(只读存储器)2、CPU(中央处理器)3、RAM(随机存取存储器)4、外部存储装置5、显示装置6、记录介质驱动装置7、输入输出接口(I/F)9。各模块被连接在内部的总线上，通过该总线输入输出各种数据，在CPU3的控制下，执行各种处理。

输入装置1，由键盘、鼠标和手写板装置(pen tablet)等构成，供操作者输入各种数据和操作指令等用。

ROM2存储BIOS(Basic Input/Output System)等系统程序等。RAM4，用作CPU3的工作领域等。

外部存储装置5由硬盘驱动器等构成，存储指定的OS(Operating System)以及后述的化妆模拟程序。

显示装置6，由液晶显示装置、CRT(阴极射线管)等构成，在CPU3的控制下，显示各种图像。

记录介质驱动装置7，由CD-ROM驱动器、软盘驱动器等构成。本实施形态中，将记录化妆模拟程序的CD-ROM、软盘等计算机可读记录介质8装入记录介质驱动装置7，通过安装，将化妆模拟程序装入外部存储装置5。

也可以事先将化妆模拟程序存放在与互联网相连的WEB服务器上，通过从WEB服务器下载该化妆模拟程序，将化妆模拟程序安装在计算机上。又，还可以，令计算机获取脸部的动态图像，向WEB服务器发送，在WEB服务器上执行化妆模拟的处理，将该处理结果向个人计算机发送，如同这样，用WEB服务器和计算机分散运行化妆模拟程序。

动态图像摄像机10a，通过输入输出端口(I/F)9连接至总线上，例如通过CCD平面传感器，以指定的帧速率获取各种动态图像，输出至计算机。

静止图像照像机11a，通过输入输出I/F9连接至总线上，例如通过CCD平面传感器，获取各种静止图像，输出至计算机。

本化妆模拟装置具有化妆模拟模式和基准图像作成模式，化妆模拟模式中，以用户事先作成的基准图像为基础对动态图像执行化妆模拟，基准图像作成模式中，作成上述基准图像。首先，对化妆模拟模式进行说明。

(化妆模拟模式)

图2表示化妆模拟模式中化妆模拟装置的功能框图。该化妆模拟装置具有基准图像获取部10、第1图像作成部20、第2图像作成部30、对象图像获取部40、网格设定部50、图像变形部60、合成部70、及显示部80。它们的功能，通过CPU3执行化妆模拟程序等来实现。

基准图像获取部10具有基准图像存储部11、操作部12、初期设定部13、及使用基准图像存储部14。基准图像存储部11由外部存储装置5构成，用来存储在基准图像作成模式中作成的一种或多种基准图像。

基准图像由N(N为正整数)张图层图像(layer image)和1张脸部图像构成。脸部图像是指用静止图像照像机11a对某个人物进行拍照获取的图像。各个图层图像中包含1种化妆要素图像。这里，化妆要素图像是指口红、脸颊(腮红)、眼影等表示各化妆要素的形状和颜色的图像。

化妆要素图像是，通过操作输入装置1，使用photoshop(注册商标)等画图软件由用户所描画作成的图像。基准图像作成模式中，每作成1种化妆要素图像，就作成一个图层图像，所以一张图层图像中包含1种化妆要素图像。本实施形态中，对于1种化妆要素图像，设定一个颜色。

图层图像的各像素由色成分和透明度构成，色成分包括R(红)、G(绿)、B(蓝)的值。由于1种化妆要素图像由1种颜色构成，因此1张图层图像的色成分，对于全部像素具有同样的R、G、B值。即，1张层图像的色成分由1种R、G、B值表示。

透明度表示图层图像对脸部图像的混合率。透明度显示最大值(100％)的情况下，只显示图层图像，不显示脸部图像。另一方面，透明度显示最小值(0％)值时，不显示图层图像，只显示脸部图像。

具体地，假设第i(1＝i＝n)号图层图像的某一像素的透明度为a_i，那么脸部图像的对应的像素的透明度为1-a_i。另外，透明度根据化妆要素图像描画时的手写板输入的轨迹和笔压等设定。

脸部图像由R、G、B值构成的色成分构成。脸部图像的各像素的色成分与图层图像不同，对于每一像素具有不同的R、G、B值。虽然对于脸部图像自身，没有设定透明度，但根据n张图层图像的透明度来规定脸部图像的透明度。

操作部12由输入装置1构成，用来让用户输入各种操作指令。

初期设定部13是，根据通过操作部12输入的来自用户的操作指令，从存储在基准图像存储部11内的多种基准图像中，设定用于化妆模拟的1种基准图像。设定的基准图像作为使用基准图像，存储在使用基准图像存储部14中。

又，使用基准图像中，当执行删除某一个或几个图层图像的指令时，从使用基准图像将该图层图像删除，更新使用基准图像。又，使用基准图像中，对于某一个图层图像，执行色指定时，该图层图像的色成分的值被改变为指定色的值。以下，使用基准图像包括n(n＝N)张图层图像。使用基准图像存储部14由RAM构成，存储使用基准图像。

第1图像作成部20具有透明度图层图像作成部21、透明度归一化部22、和归一化透明度图层图像存储部23。透明度图层图像作成部21，根据构成图层图像的各像素的透明度，作成与n张图层图像各自相对应的n张透明度图层图像。图层图像由于每个像素具有不同的透明度，所以可认为透明度图层图像是根据透明度浓淡显示化妆要素图像的图像。

透明度归一化部22，对根据透明度图层图像作成部21作成的透明度图层图像的各像素，通过执行公式(1)的运算，对各像素进行归一化(normalized)，作成归一化透明度图层图像。又，透明度归一化部22，通过对脸部图像的各像素执行公式(2)的运算，对脸部图像的透明度进行归一化。

【数1】

${\mathrm{\β}}_i=\frac{{{\mathrm{\α}}_i}^2}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_j}$ …式(1)

$\mathrm{\γ}=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_i(1-{\mathrm{\α}}_i)}{\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\α}}_j}$ …式(2)

其中，α_i表示第i阶层的透明度图层图像的各像素的透明度。β_i表示被归一化后的透明度图层图像的各像素的透明度。γ表示被归一化后的脸部图像的各像素的透明度。公式(1)和公式(2)的分母表示某像素中从第1到第n阶层的透明度图层图像的透明度之和。

归一化透明度图层图像存储部23由RAM4构成，存储由透明度归一化部22作成的归一化透明度图层图像和脸部图像的透明度。

第2图像作成部30，具有色图层作成部31、色变换处理部32和色变换图层图像存储部33。色图层作成部31，根据图层图像中设定的色成分，作成分别对应于n张图层图像的n个色图层。图层图像的色成分，由1种R、G、B值构成，因此色图层是由一种R、G、B值构成的数据。

色变换处理部32，把构成由帧图像提取部42提取的1帧图像的各像素的R、G、B值变换成HSV表色系，同时，把n张色图层的各自的R、G、B值变换成HSV表色系后，执行公式(3)～公式(5)所示的色变换处理，将得到的图像进一步变换为R、G、B表色系，从而作成n张色变换图层图像。HSV表色系是指各像素用色相(H)、彩色度(S)和强度(V)表示的表色系。

H_r＝H_c                …式(3)

S_r＝0.8×S_f+0.2×S_c  …式(4)

V_r＝0.8×V_f+0.2×V_c  …式(5)

其中，H_c、S_c、V_c表示色图层的H、S、V值，S_f、V_f表示帧图像的某个像素H、S、V值，H_r、S_r、V_r表示色变换处理后的各像素的HSV值。色变换图层图像存储部33由RAM4构成，存储由色变换处理部32作成的n张色变换图层图像。

对象图像获取部40，具有动态图像获取部41和帧图像提取部42。动态图像获取部41由动态图像摄像机10a构成，获取人脸部的动态图像。被拍摄的人是应用化妆模拟的人，可以是使用基准图像中的模特，也可以是别的人。帧图像提取部42从动态图像获取部41获取的动态图像顺次提取1帧图像。

网格设定部(mesh setting unit)50具有顶点提取部51、52、初期网格存储部53、和顶点移动部54、55。顶点提取部51具有基准位置检测部511和特征点提取部512。

基准位置检测部511将使用基准图像所包含脸部图像中脸部区域的眉间作为基准位置检测。特征点提取部512利用基准位置检测部511所检测出的基准位置，从使用基准图像提取特征点。特征点是指表示眼球、眉头、眼内侧、眼外侧、鼻头、和上下唇的基部(分叉处)等预先确定的特征处的点。

顶点提取部52具有基准位置检测部521和特征点提取部522。基准位置检测部521作为基准位置检测帧图像提取部42所提取的帧图像的脸部区域的眉间。特征点提取部522采用与基准位置检测部512同样的手法，利用基准位置检测部521所检测的基准位置，从帧图像提取特征点。

初期网格存储部53存储在人脸部区域设定的网格的原型即初期网格。所述初期网格是根据某人的脸部图像预先做好的，在脸部区域网格的各顶点被设定成，使得一部分网格的顶点位于上述特征点。以下，将初期网格各顶点中位于特征点的顶点称为“特征顶点”，将特征顶点以外的网格顶点称为“浮动顶点”。又，虽然本实施形态中使用三角形的多边形作为构成网格的多边形，但并不局限于此，也可以使用四边形、五边形等多边形。又，初期网格利用共享软件Metasekoia(日文：メタセコイア)作成。

顶点移动部54，根据特征顶点的移动量移动浮动顶点，使得满足这样的限制条件，即将初期网格的特征顶点移动到从使用基准图像抽出的对应特征点处后，初期网格的各顶点之间的距离保持一定(长度制约)，且构成网格的多边形不产生重叠；在使用基准图像的脸部图像的脸部区域上设定网格。关于这种网格的各顶点的移动的详细情况将在后文叙述。

顶点移动部55按照与顶点移动部54同样的手法，在帧图像的脸部区域设定网格。

图像变形部60具有坐标计算部61、坐标变换表存储部62、和化妆要素图像变形部63。坐标计算部61，根据在帧图像脸部区域设定的网格和在使用基准图像的脸部图像的脸部区域设定的网格两者相对应的顶点之间的位置差算出个顶点的矢量差，作成坐标变换表，该坐标变换表中，网格的各顶点和各顶点的矢量差之间被赋予关联。

坐标变换表存储部62由RAM4构成，存储由坐标计算部61作成的坐标变换表。

化妆要素图像变形部63，将使用基准图像中所设定的网格对n张归一化透明度图层图像分别进行设定，将所设定的网格的各个顶点按照在坐标变换表中所记载的矢量差移动，使n张归一化透明度图层图像内的化妆要素图像变形。

合成部70，将包含由化妆要素变形部63变形的化妆要素图像的n张归一化透明度图层图像的各像素的透明度(上述β_i)作为色变换图层图像各像素的α值，将脸部图像经归一化的各像素的透明度(上述γ)作为帧图像的各像素的α值，通过α混合(α-blending)，合成帧图像和n张色变换图层图像。α混合如公式(6)所示。

【数2】

$\stackrel{\→}{C_r}=\mathrm{\γ}\stackrel{\→}{C_f}+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_i\stackrel{\→}{C_i}$ …式(6)

其中，矢量C_r表示合成后的R、G、B值。矢量C_f表示帧图像各像素的R、G、B值。矢量C_i表示色变换图层图像的各像素的R、G、B值。又，β_i由公式(1)表示，γ由公式(2)表示。

显示部80，由显示装置6构成，显示由合成部70所合成的图像，即，显示执行虚拟化妆后的脸部的动态图像。

本实施形态中，第1图像作成部20相当于第1图像作成单元，第2图像作成部30相当于第2图像作成单元，帧图像提取部42相当于对象图像获取单元，网格设定部50相当于网格设定单元，图像变形部60相当于图像变形单元，合成部70相当于合成单元，使用基准图像相当于基准图像。

(化妆模拟装置的动作)

接着，根据图3和图4所示的流程图，说明本化妆模拟装置的动作。

首先，在步骤1中，初期设定部13，把由用户选择的1种基准图像定为使用基准图像，存储在使用基准图像存储部14中。此时，由初期设定部13将存储在基准图像存储部11中的基准图像的一览图像显示于显示部80。然后，将由用户从一览图像中点击了的基准图像决定为使用基准图像。

进而，如果由用户发出了操作指令：构成使用基准图像的n张图层图像中某一图层图像不使用于化妆模拟，则初期设定部13就将该图层图像从使用基准图像中删除，更新使用基准图像。这时，更新后的使用基准图像显示于显示部80。

又，如果由用户发出了操作指令：用于化妆模拟的n张图层图像中，对某一图层图像指定色，此时就将该图层图像的色成分的值变更为指定色的值，更新使用基准图像。这时，更新后的使用基准图像显示于显示部80。

又，用户对化妆要素图像的颜色进行变更的，即，点击显示部80所显示的包含在使用基准图像内的化妆要素图像后，从显示部80所显示的用于指定颜色的色托盘(color pallet)中点击所希望的颜色。

步骤2中，透明度图层图像作成部21，从使用基准图像存储部14读出使用基准图像，作成与包含在读出的使用基准图像中的n张图层图像分别对应的n个透明度图层图像。

在步骤3中，色图层作成部31，从使用基准图像存储部14读出使用基准图像，作成与包含在读出的使用基准图像中的n张图层图像分别对应的n个色图层。

在步骤4中，透明度图层图像作成部21，对n张透明度图层图像分别应用公式(1)，对构成各个透明度图层图像的各像素的透明度进行归一化，作成n张归一化透明度图层图像，同时，使用公式(2)，对构成包含在基准图像中的脸部图像的各像素的透明度进行归一化。

图5是用来说明公式(1)和公式(2)的图。图5中，表示分别对应于图层1～n的条形图，各条形图，表示第i阶层透明度图层图像的透明度α_i和第i阶层脸部图像的透明度(1-α_i)之间的关系。例如，图层1的条形图中，右侧的区域R1表示第1阶层透明度图层图像的透明度，左侧区域R2表示第1阶层脸部图像的透明度。

各个条形图的右侧所示的数学公式，表示各透明度图层图像的透明度α_i与第1阶层至第n阶层透明度图层图像的透明度α₁～α_n之和的比。将这个比乘以透明度α_i可以得到上述公式(1)。

又，如果用各个条形图右侧所示的各透明度图层图像的透明度α_i的比率去乘上脸部图像的透明度1-α_i，取1至n的总和，则可得到上述式(2)。β_i和γ具有∑β_i+γ＝1的关系。其中，∑β_i＝β₁+β₂+…+β_n。关于归一化的理由将在后面叙述。

图3所示的步骤5中，基准位置检测部511，从使用基准图像所含的脸部图像中检测出眉间。关于该处理的详细情况将在后文叙述。图6是说明特征点的提取处理的图。图6中，ME1～ME4表示化妆要素图像。这里，如图6所示，眉间RP被从脸部图像中检测出。

图3所示的步骤S6中，特征点提取部522使用日本专利特开2003-44837号公报所记载的方法从使用基准图像所含的脸部图像中，提取表示人物背景的背景区域、表示人物头发的头发区域、和表示人物脸部的脸部区域。这里，如图6所示，背景区域BC、头发区域HC、以及脸部区域FC被提取出来。

图3所示的步骤S7中，特征点提取部522对从使用基准图像所含的脸部图像中提取出来的脸部区域执行边缘提取处理，根据被提取的边缘和之前检测出的眉间RP之间的关系，确定脸部和眼等脸部器官的轮廓。这里，如图6所示，脸部的轮廓E1、眉的轮廓E2、眼的轮廓E3、以及口的轮廓E4被确定。

图3所示的步骤S8中，特征点提取部512从确定的脸部、眉、眼和口的轮廓E1～E4检测出特征点。这种情况下，如图6所示，在脸部的轮廓E1中，通过检测倾斜的拐点，检测出8个特征点P11～P18。将这些特征点总体称呼时，表示为特征点TP。又，在眉的轮廓E2中，通过检测端部，将眉梢和眉头的位置作为特征点P21和P22检测。进而，在眼的轮廓E3中，通过检测端部，将眼梢和眼内侧角的位置作为特征点P31和P32检测出。进而，在口的轮廓E4中，通过检测端部，将上唇和下唇的唇角作为特征点P41和P42检测出。

作为检测的脸部器官的轮廓，并不仅仅限定于脸部、眉毛、眼睛、和口的轮廓E1～E4，也可以确定其他的脸部器官，例如鼻子等的轮廓，也可省略上述4种脸部器官中某一脸部器官的轮廓。又，特征点也不局限于图6所示的那些特征点，也可以检测其他的特征点，图示的特征点中，也可省略一部分的特征点。

图3所示的步骤9中，顶点移动部54使初期网格的特征顶点向使用据准图像的对应特征点移动。图7是表示初期网格的一例的图。如图7所示，初期网格由多个三角形的多边形构成。初期网格的各个顶点由调整顶点TP’和浮动顶点FP’构成。

特征顶点TP’位于脸部、眉毛、眼睛和口的轮廓E1～E4上。脸部的轮廓E1’上，设定了8个特征顶点P11’～P18’。在眉毛的轮廓E2’上设定特征顶点P21’和P22’，分别设定在眉梢和眉头的位置。在眼睛的轮廓E3’上设定特征顶点P31’和P32’，分别设定在眼梢和眼内侧角的位置。在口的轮廓E4’上设定特征顶点P41’和P42’，分别设定在上下唇的唇角位置。

顶点移动部54，将这个初期网格重叠在图6所示的使用基准图像上，将初期网格的特征顶点TP’向使用基准图像的对应特征点TP移动。接着，顶点移动部54给予初期网格的浮动顶点FP’一定的高度成分(Z成分)成为3维数据，通过对于浮动顶点FP’反复进行公式(7)和公式(8)的运算，使浮动顶点FP’移动。藉此，对于使用基准图像这样设定网格，使得满足上述长度制约，且，构成网格的多边形不会产生重叠。

【数3】

${\stackrel{\→}{P^{,}}}_i=\stackrel{\→}{P_i}-\mathrm{\λ}\left(\right|\stackrel{\→}{P_i}-\stackrel{\text{\→}}{P_j}|-l_{\mathrm{ij}})(\stackrel{\→}{P_i}-\stackrel{\→}{P_j})$ …式(7)

${\stackrel{\→}{P^{,}}}_j=\stackrel{\→}{P_j}+\mathrm{\λ}\left(\right|\stackrel{\→}{P_i}-\stackrel{\text{\→}}{P_j}|-l_{\mathrm{ij}})(\stackrel{\→}{P_i}-\stackrel{\→}{P_j})$ …式(8)

其中，矢量P_i表示网格顶点的坐标。矢量P_j表示与矢量P_i邻接的网格顶点的坐标。矢量P_i’表示进行了运算的矢量P_i。P_j’表示进行了运算的矢量P_j。l_jj表示连接初期网格中矢量P_i和矢量P_j的线的长度。λ表示常数。

图8表示，在刚刚使初期网格的特征顶点TP’向着使用基准图像对应的移动对象位置移动，并给予浮动顶点一定的高度成分后的使用基准图像上设定的网格，(a)表示从Z方向看的网格，(b)表示从斜方向看的网格。如(b)所示，可以看出，各个浮动顶点FP’在z方向上延迟一定的距离。又，可以看出，各个特征顶点位于XY平面上。网格设定部50对于各顶点依次应用于式(7)及式(8)的运算。

图9表示，在对图8所示的各个顶点，应用一次公式(7)和公式(8)的运算后的使用基准图像上设定的网格，(a)表示从Z方向看的网格，(b)表示从斜方向看的网格。如图9(b)所示，可以看出，各浮动顶点FP’，与图8(b)的情况相比，Z成分的值稍微有些变小。又，如图9(a)所示，可以看出，各个浮动顶点FP’，与图8(b)的情况相比，构成网格的多边形的重叠多少有些改善。

图10～图14表示，在对图8所示的各个浮动顶点FP’分别应用5次、10次、20次、30次、60次时后的使用基准图像上设定的网格，图10～图14的任何一个图中，(a)表示从Z方向看的网格，(b)表示从斜方向看的网格。如图10(b)～图14(b)所示，如果对各顶点增加公式(7)和公式(8)的运算次数，各浮动顶点FP’高度成分的值整体降低，可以看出，到了如图14(b)所示，应用60次公式(5)的运算后的网格，各浮动顶点FP’的高度成分就基本变为0。又，同时，可以看出，如图10(a)～图14(a)所示，随着应用公式(7)和公式(8)运算的次数的增大，构成网格的多边形的重叠就消除了。

即使在不导入高度的图像平面上，只要在满足长度制约条件下使初期网格变形，则在一定程度上也能在均衡地保持变形前网格各顶点的位置关系的状态下在脸部区域设定网格。

然而，在不导入高度的图像平面上只强调长度制约而使初期网格变形，则构成网格的多边形产生重叠的可能性变高。所述多边形的重叠，在脸部区域的尺寸比初期网格的尺寸小的情况下发生。这可以打比方为，将实际的布片缩小为比本来的尺寸小，而铺在地上时产生的褶皱。

图15是表示对构成网格的多边形产生重叠的图像，合成化妆要素图像时的一例的画面图。可以看出，图15中，口红的轮廓K1不再是沿着口的轮廓的形状，还有，口红K2从唇越出。这样，构成网格的多边形产生重叠的话，对脸部图像化妆要素图像就会合成得不自然。

因此，顶点移动部54给予各顶点高度成分，用公式(7)和公式(8)三维地算出浮动顶点的位置，藉此，防止对使用基准图像的网格重叠设定。

图16是表示在使用基准图像的脸部区域设定的网格的图。如图16所示，可以看出，构成网格的多边形没有发生重叠，在脸部区域网格均衡地设定。又，可以看出，网格的顶点位于脸部、眉、眼睛、和口的轮廓E1～E4上。

在图3所示的步骤10中，动态图像获取部41获取人物脸部的动态图像。步骤S11中，帧图像提取部42，从由动态图像获取部41获取的动态图像提取1张帧图像。帧图像提取部42，可以一张一张地提取帧图像，也可以以特定的镜头间隔间隔地提取。

图4中所示的步骤S12中，基准位置检测部521，与步骤S5同样地从帧图像检测眉间。图17是表示在帧图像脸部区域设定的网格的图。可以看出，图17所示的帧图像，与图6中所示的使用基准图像相比脸部的朝向发生变化。此时，如图17所示，眉间RP被检测出。

步骤S13中，特征点提取部522，与步骤S6同样，在帧图像的背景区域提取背景区域BC、头发区域HC、以及脸部区域FC。步骤S14中，特征点提取部522与步骤S7同样，在帧图像的脸部区域执行边缘提取处理，确定脸部、眉、眼和口的轮廓E1～E4(参考图17)。

步骤S15中，特征点提取部522，与步骤S8同样，从确定的脸部、眉、眼睛、和口的轮廓E1～E4中提取特征点TP(图17中省略)。

在步骤S16中，顶点移动部54与步骤S9同样，使初期网格的特征顶点TP’向着帧图像的特征点TP移动。此时，如图17所示，可知即使相对使用基准图像脸部的朝向发生了变化的情况下，也不发生多边形的重叠而在脸部区域均衡地设定网格。

步骤S17中，坐标计算部61，算出在使用基准图像上设定的网格以及帧图像上设定的网格所对应的顶点之间的位置差，作成坐标变换表，存储在坐标变换表存储部62中。所述坐标变换表随每个帧图像而更新。

步骤S18中，化妆要素图像变形部63，参照坐标变换表，使归一化透明度图层图像中所含的化妆要素发生变形。图18是表示化妆要素图像被变形的样子的图，(a)表示变形前，(b)表示变形后。如图18(a)所示，描画了化妆要素图像G1的多边形PR1，如(b)所示，被变形为多边形PR2，随之，化妆要素图像G1被变形为化妆要素图像G2。

图4所示的步骤S19中，色变换处理部32，对于步骤S11中提取的帧图像，和色图层作成部31所作成的色图层，执行公式(3)～公式(5)所示的色变换处理，作成n张色变换图层图像。作成的n张色变换图层图像存储在色变换图层图像存储部33中。

步骤S20中，合成部70使用公式(6)合成帧图像和由色变换处理部32所作成的色变换图层图像。

接着，对透明度归一化部22归一化透明度α_i和透明度1-α_i的理由进行说明。公式(9)～公式(11)表示α混合的通用数学式。

【数4】

$\stackrel{\→}{C_r}=(1-{\mathrm{\α}}_1)\stackrel{\→}{C_f}+{\mathrm{\α}}_1{\stackrel{\→}{C}}_1$ …式(9)

$\stackrel{\→}{C_r}=\{(1-{\mathrm{\α}}_1)\stackrel{\→}{C_f}+{\mathrm{\α}}_1\stackrel{\→}{C_i}\}(1-{\mathrm{\α}}_2)+{\mathrm{\α}}_2{\stackrel{\→}{C}}_2$ …式(10)

$=(1-{\mathrm{\α}}_1)(1-{\mathrm{\α}}_2)\stackrel{\→}{C_f}+{\mathrm{\α}}_1(1-{\mathrm{\α}}_2)\stackrel{\→}{C_1}+{\mathrm{\α}}_2\stackrel{\→}{C_2}$

$\stackrel{\→}{C_r}=\left\{\underset{i=1}{\overset{n}{\mathrm{\Π}}}(1-{\mathrm{\α}}_i)\right\}\stackrel{\→}{C_f}+\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\left[\right\{{\mathrm{\α}}_j\underset{j=i+1}{\overset{n}{\mathrm{\Π}}}(1-{\mathrm{\α}}_j)\}\stackrel{\→}{C_j}$ …式(11)

其中，矢量Cr表示合成后的各像素的R、G、B值。矢量C_f表示使用基准图像中所含脸部图像的各像素的R、G、B值。矢量Ci表示第i阶层(i＝1～n)的色变换图层图像的各像素的R、G、B值。又，公式(9)表示将1张色变换图层图像合成为脸部图像的情况。如果按公式(11)所示替换色变换层的顺序的话，公式(11)的第2项对应于替换变为不同的值，因此矢量Cr的值依赖于色变换层的顺序。

因此，本化妆模拟装置，为了做到即使改变色变换图层图像的顺序，矢量Cr的值也都是同样的，使用公式(1)和公式(2)对归一化透明度图层图像的各像素的透明度α_i和脸部图像各像素的透明度1-α_i进行归一化而成为β_i和γ。然后，使β_i为色变换图层图像的α值，使γ为脸部图像的α值，防止了矢量Cr的值依赖于图层的顺序。

步骤S21中，显示部80表示根据合成部70合成的图像。图19是表示根据合成部70合成的图像的一例。如图19所示，可知图6所示的化妆要素图像ME1～ME4以适应脸部变化的变形，合适地显示在帧图像上。图6和图7中所示的化妆要素图像ME1～ME4，只是一例，也可包含其他的化妆要素图像，也可省略某一化妆要素图像。

图4所示的步骤S22中，帧图像提取部42，判断全帧图像的提取是否完成，当全帧图像的提取完成时(步骤S22中YES)，结束处理。另一方面，在步骤S22中，全帧图像的提取没有完成时(步骤S22中NO)，提取下一张帧图像(步骤23)、处理返回步骤S12。

这样，利用本化妆模拟装置，通过操作手写板装置等使得由用户事先做好的基准图像中所含的化妆要素图像以适应于帧图像的变形而表示在帧图像上，所以，用户只要进行像操作手写板装置等操作装置这样的简略化的操作，就可以高速地得到如同实际地涂敷了化妆一样的高品质的化妆模拟图像。又，由于是基于图层图像执行模拟的，故可以容易地进行诸如从基准图像删去一部分的化妆要素图像，或者，改变一部分的化妆要素图像的颜色这类设定。

进而，由于归一化了透明度图层图像各像素的透明度和脸部图像各像素的透明度，不依赖于图层顺序的α混合变为可能。进而，由于这样在基准图像和帧图像的脸部区域上设定网格，即满足初期网格的长度制约，且，构成网格的多边形不产生重叠，因此，能够以谐调自然的状态在帧图像上显示化妆要素图像。

(基准位置检测部的详细构成)

下面，说明基准位置检测部511、521的详细构成。图20是表示基准位置检测部511、521详细构成的框图。以下，由于基准位置检测部511、521是同一的，因此只说明基准位置检测部511。基准位置检测部具有形貌(morphology)处理部101、分辨率降低处理部102、相关值图像生成部103、移动部104、重叠部105、检测部106。

形貌处理部101，对帧图像施行过由最大值滤镜进行的过滤处理后，施行由最小值滤镜进行的过滤处理，从所得到的图像减去对应的帧图像，生成形貌(morphology)图像。这里，使用了最小滤镜的过滤处理是指，在注目像素和围绕注目像素的8个近旁像素中，采用最小的辉度作为注目像素的辉度的处理。

分辨率降低处理部102，将形貌图像划分为由特定行特定列的像素构成的块(block)，施行将各块的像素数据的平均值、中间值等代表值设为各块辉度的分辨率降低处理，使形貌图像的分辨率降低。

相关值图像生成部103，对于分辨率降低后的形貌图像，施行利用左眼相关值滤镜的过滤处理，生成表示与左眼局域模式图像的相关的左眼相关值图像，同时，对于施行了降低分辨率处理的形貌图像，施行利用右眼相关值滤镜的过滤处理，生成表示与右眼局域模式图像的相关的右眼相关值图像。

移动部104，使左眼相关值图像和右眼相关值图像向特定方向移动特定距离，以便使左眼相关值图像中表示左眼的区域和右眼相关值图像中表示右眼的区域向眉间移动。

重叠部105，对由移动部104所移动的右眼相关值图像和左眼相关值图像，施行使用最大值滤镜的过滤处理后，通过将对应像素的相关值相乘，重叠右眼相关值图像和左眼相关值图像，成为一张合成图像。又，重叠部105，将合成图像乘以脸部中心评价图像。

检测部106，在合成图像中，检测辉度比特定值高的区域，将该区域中心的坐标作为眉间检测出。

(基准位置检测部的动作)

下面，使用图21所示的流程图，说明基准位置检测部511的动作。基准位置检测部521，除处理对象是帧图像以外，进行与基准位置检测部511同样的处理，因此省略基准位置检测部521的说明。

在步骤S201中，形貌处理部101对脸部图像施行形貌处理。此时，如图22所示，从脸部图像将表示眼的轮廓、鼻梁、眉毛、唇等脸部特征部分的图像提取出来。图22中，黑的部分表示辉度高，白色部分表示辉度低。又，图22虽然以黑白两值表示，但实际上是浓淡图像。

步骤S202中，分辨率降低处理部102，对形貌图像进行分辨率降低处理。藉此，形貌图像，相对于脸部图像的像素为纵×横＝360×240，成为纵×横＝30×20。该尺寸为假定1个像素是1个瞳孔大小。

在步骤S203中，相关值图像生成部103，对分辨率降低后的相关值图像，施行使用了左及右眼相关值滤镜的过滤处理，生成左眼相关值图像及右眼相关值图像。图23是表示左眼及右眼相关值滤镜的图，(a)表示左眼相关值滤镜，(b)表示右眼相关值滤镜。比较(a)和(b)可知，左眼及右眼相关值滤镜存在线对称的关系。又，在左眼及右眼相关值滤镜中，P为注目像素。

相关值图像生成部103，将进行过分辨率降低处理的形貌图像的各像素作为注目像素，使用左右眼相关值滤镜，进行Max(P，Q)×5-(A+B+C+D+E)…公式(1)的运算，通过求出各个注目像素的相关值，生成左眼及右眼相关值图像。该滤镜是检测相对周围辉度高的区域的滤镜。

图24是表示全模式图像和左眼及右眼全模式图像的图，(a)表示全模式图像，(b)表示左眼及右眼全模式图像。全模式图像GP和左眼及右眼全模式图像RP1、RP2中，由划上了阴影线的四边形构成的区域M1、M2分别对应于左眼的瞳及右眼的瞳。又，全模式图像GP中所示的O表示全图像的中心，对应于眉间。又，左眼及右眼的全模式图像RP1、RP2中所示的O1、O2对应于左眼及右眼的瞳孔的中心。

图25是表示脸部图像的一例的图，(a)是表示脸部不倾斜的情况，(b)是表示脸部倾斜的情况。

这里，以全模式图像GP为基准图像，通过模式匹配，从(a)、(b)所示的脸部图像检测含有两眼的区域R1，以检测到的区域R1为基础，考虑检测眉间的处理。如(a)所示，脸部不倾斜的情况下，由于可提取区域R1，因此能够从区域R1检测眉间。但是，如(b)所示，脸部倾斜的情况下，由于难以检测区域R1，因此不能检测到眉间。因此，本图像处理装置，将全模式图像GP分为左眼及右眼局域模式图像RP1、RP2，通过分别检测两个图像，由此即使对脸部倾斜的帧图像，也能够检测眉间。

公式(1)中，因为MAX(P，Q)的公式中含有Q，所以可以进一步提高脸部倾斜情况下的瞳的检测精度。

图26是表示左眼及右眼相关值图像的一例的图，(a)表示左眼相关值图像，(b)表示右眼相关值图像。(a)和(b)中，根据颜色的浓度表示相关值，颜色越浓相关值越高。在(a)所表示的左眼相关值图像中，可以看出，对应于左眼的区域R3的相关值算出来很高。又，在(b)所表示的左眼相关值图像中，可以看出，对应于右眼的区域R4的相关值算出来很高。

图21所示的步骤S204中，移动部104，通过对左眼相关值图像的各像素的坐标，加上图24中所示的矢量差D1，将左眼相关值图像移动相当于矢量差D1的份量，同时，对右眼相关值图像的各像素的坐标加上图24所示的矢量差D2，使右眼相关值图像移动相当于矢量差D2的份量。矢量差D1，是以全模式图像GP的中心O和区域M1的中心O1为起始点，以全模式图像GP的中心O为终点的矢量，又，矢量差D2，是以区域M2的中心O2为起始点，以全模式图像GP的中心O为终点的矢量。这里，矢量差D1、D2，由于能够根据与全模式图像GP相对应的左眼及右眼局域模式图像RP1、RP2的相对位置关系来决定，因此矢量差D1、D2预先存储于存储装置。

图27是表示由移动部104所移动的左眼及右眼相关值图像的图，(a)表示左眼相关值图像，(b)表示右眼相关值图像。如(a)所示，可以看出，表示左眼的区域R3被移动至相当于眉间的位置。又，如(b)所示，可以看出，表示右眼的区域R4被移动至相当于眉间的位置。

在图21所示的步骤S205中，重叠部105，对移动了矢量差D1相当的左眼相关值图像和移动了矢量差D2相当的右眼相关值图像，施行最大值滤镜过滤处理。图28是表示最大值滤镜处理结果的图，(a)表示施行了使用最大值滤镜的过滤处理的左眼相关值图像，(b)表示表示施行了使用最大值滤镜的过滤处理的右眼相关值图像。如图28(a)、(b)所示，可以看出，图27(a)、(b)中表示左眼和右眼的区域R3、R4的范围变大，成为区域R5、R6，表示左眼和右眼的区域R3、R4更加确实地重叠。

在图21所示的步骤S206中，重叠部105，将左眼及右眼相关值图像的对应像素的相关值相乘，重叠两图像，生成1张合成图像，对所述合成图像，乘以脸部中心评价图像(步骤S207)，进行使合成图像中相当于眉间位置附近的相关值变得更高的处理。藉此，与表示左眼和右眼的图像以外的图像的相关值之差被显著表示。

图29是表示脸部中心评价图像的图。如图29所示，脸部中心评价图像，是在纵方向平行设定长轴的椭圆状图像，随着颜色变浓而辉度变高。所述椭圆，假定了脸部的形状，相当于眉间的位置的辉度最大，从周围向相当于眉间的位置辉度逐渐变高。图30是表示通过脸部中心评价图像施行过滤处理后的合成图像的图。如图30所示，可以看出，与左眼和右眼对应的图像以外的图像被除去。

在步骤S208中，检测部106，在施行了通过脸部中心评价图像的过滤处理后的合成图像中，判断相关值是否存在比指定的值高的区域，当存在比所定值大的区域时(步骤S208中YES)，将检测区域的中心位置作为眉间检测(步骤S209)。另一方面，相关值不能检测出比所定值大的区域的情况下，就判断为不含眉间，或将辉度平均值最大的区域的中心作为眉间。

这样，利用基准位置检测部512、522，生成表示通过基于左眼和右眼相关值滤镜的过滤处理的对应于左眼及右眼局域模式图像RP1、RP2的关系的左眼及右眼相关值图像。藉此，与生成表示全模式图像GP全体的相关的图像相比，即使在引起脸部图像旋转、放大、缩小等的变形的情况下，也可以得到表示高相关的相关值图像。然后，两图像移动矢量差D1，D2，施行使用最大值滤镜的过滤处理，重叠。藉此，即使是脸部图像引起上述变形的情况下，也可在相当于眉间的位置得到高度相关的合成图像。因此，能够高速且高精度地检测眉间。

(基准图像作成模式)

接着，说明基准图像作成模式。图31是基准图像作成模式中化妆模拟装置的功能框图。基准图像作成模式中的化妆模拟装置，具有基准图像存储部11、静止图像获取部301、操作部302、图层图像作成部303、透明度图层图像作成部304、色图层作成部305、透明度归一化部306、归一化图层图像作成部304、色图层作成部305、透明度归一化部306、归一化透明度图层图像存储部307、色变换处理部308、色变换图层图像存储部309、合成部310、显示部311、以及基准图像作成部312。

静止图像获取部301包括静止图摄像机11a，获取作为基准图像模特的人的脸部静止图像。操作部302包括输入装置1，用于输入来自用户的各种操作指令。

图层图像作成部303，每一次由用户在脸部静止图像上描画1种化妆要素图像，则做成包含该化妆要素的1张图层图像。图层图像如上所述，包括由R、G、B构成的色成分和各像素的透明度。透明度表示图层图像对静止图像的透明度。

透明度图层图像作成部304，与图2所示的透明度图层图像作成部21一样，以图层图像的透明度为基础，作成与图层图像的各个阶层相对应的透明度图层图像。色图层作成部305，与色图层作成部31一样，以图层图像的颜色成分为基础，作成与图层图像的各个阶层相对应的色图层。

透明度归一化图层部306，与图2所示的透明度归一化图层部22一样，对透明度图层图像的各像素，施行上述公式(1)的运算，作成归一化透明度图层图像，同时，对静止图像的各像素，施行公式(2)的运算，归一化静止图像各像素的透明度。

归一化透明度图层图像存储部307，由RAM4构成，存储归一化透明度图层图像和被归一化的脸部图像各像素的透明度。色变换处理部308，与色变换处理部32同样，将色图层的R、G、B值和静止图像各像素的R、G、B值分别变换为HSV表色系后，通过施行上述公式(3)～(5)所示的色变换处理，将得到的图像进一步变换为R、G、B表色系，从而作成与图层图像的各个阶层相对应的色变换图层图像。

色变换图层图像存储部309，由RAM4构成，存储利用色变化处理部308所作成的色变换图层图像。

合成部310，与图2所示合成部70同样，将归一化透明度图层图像各像素的透明度作为色变换图层图像各像素的α值，通过α-混合合成色变换图层图像和静止图像。

显示部311，由显示装置6构成，显示由合成部310合成的图像。基准图像作成部312，将由图层图像作成部303所作成的图层图像和由静止图像获取部获取的静止图像，作为基准图像存储在基准图像存储部11中。

接着，用图32所示的流程图说明基准图像作成模式中的化妆模拟装置的操作。首先，在步骤S301中，静止图像获取部301获取成为基准图像模特的人的脸部的静止图像。此时，例如，如图6所示的人的脸部的静止图像被获取。

在步骤S302中，图层图像作成部303，通过操作部302，接受用户化妆要素图像的描画输入，在步骤S303中，每接受1种化妆要素图像的描画输入，作成包含各化妆要素图像的图层图像。

此时，图层图像作成部303，将利用静止图像获取部301所获取的静止图像由显示部311显示，在被显示的静止图像上接受使用手写板等描画的化妆要素图像。被接受的化妆要素图像由显示部311所显示。又，1种化妆要素图像的输入是否结束了由用户的指示进行判断。

在这个阶段，显示部311上，由透明度和单色的色成分所表示的化妆要素图像在静止图像上只是互相重合的图像得到显示，化妆要素图像以存在不谐调的不自然状态显示。

在步骤S304中，一旦由用户输入指示，将在步骤S303中作成的图层图像与静止图像合成(步骤S304中YES)，则处理进入步骤S306。另一方面，在步骤S304中，如果不输入将图层图像与静止图像合成的指令的情况下(步骤S304中NO)，则处理移至步骤S305。

在步骤S305中，用户指令结束基准作成模式时(步骤S305中YES)，则处理结束。另一方面，在步骤S305中，如果用户不指令结束基准作成模式(步骤S305中NO)，则处理返回至步骤302。

在步骤S306中，透明度图层图像作成部304，以图层图像的透明度为基础，作成对应于图层图像的各阶层的透明度图层图像。在步骤S307中，色图层作成部305，以图层图像的色成分为基础，作成对应于图层图像的各阶层的色图层。

在步骤S308中，透明度归一化部306，归一化透明度图层图像的各像素的透明度，作成归一化透明度图层图像，存储在归一化透明度图层图像存储部307中，同时，归一化静止图像的各像素的透明度，存储在归一化透明度图层图像存储部307中。

在步骤S309中，色变换处理部308，以色图层和静止图像为基础，作成对应于图层图像的各阶层的色变换图层图像，存储在色变换图层图像存储部309。

在步骤S310中，合成部310，将静止图像和色变换图层图像根据α混合合成。在步骤S311中，显示部311显示由合成部310所合成的图像。此时，在步骤S302的阶段，在静止图像上以谐调自然的状态显示的化妆要素图像，以谐调自然的状态被显示在静止图像上。

在步骤S312中，若由用户指令作成基准图像(步骤S312中YES)，则移至步骤S313，基准图像作成部312，将由图层图像作成部303作成的图层图像和由静止图像获取部301获取的静止图像进行合成，作成基准图像，存储在基准图像存储部11中，结束基准图像作成模式。

另一方面，在步骤S312中，若没有用户指令作成基准图像(步骤S312中NO)，则处理返回S302。

本发明也可以采用以下的方式。

(1)虽然在上述实施方式中是通过将化妆模拟程序安装在计算机上，使计算机作为化妆模拟装置发挥功能，但是并不局限于此，也可以使用专门的硬件回路，构成化妆模拟装置。

(2)虽然在上述实施方式中，图层图像包含1种化妆要素图像，但是并不局限于此，也可以包含色成分一致的多个化妆要素图像。

(3)虽然在上述实施方式中，静止图像是由静止图像照像机11a获取的，但是并不局限于此，也可以通过动态图像摄像机所拍摄的动态图像的1帧图像作为静止图像来获得。藉此，静止图像照像机11a就不需要了。

(总结)

(1)一种化妆模拟程序，其特征在于，利用由n(n为正整数)张图层图像和1张脸部图像构成的基准图像，令计算机执行化妆模拟，所述基准图像是根据通过操作装置输入的来自用户的描画指令预先作成的，所述n张图层图像各自分别包含由同一颜色构成的至少1种化妆要素图像，令计算机作用为：第1图像作成单元，分别对所述n张图层图像，根据各图层图像的各像素所设定的透明度，作成与所述n张图层图像分别对应的n张第1图像；对象图像获取单元，获取包含模拟对象人物的脸部图像的模拟对象图像；网格设定单元，在所述基准图像中包含的脸部图像区域中设定网格，并在所述模拟对象图像中包含的脸部图像区域中设定网格；变形单元，对于分别设定在所述基准图像及所述模拟对象图像中的网格，对它们对应的顶点的位置进行差分计算，根据算出的差分量，这样进行变形，使得包含于各个所述n张第1图像中的化妆要素图像，适合于所述模拟对象图像中包含的脸部图像区域；第2图像作成单元，对所述模拟对象图像执行指定的色变换处理，所述色变换处理利用所述n张图层图像的色成分，由此作成分别与所述n张图层图像对应的n张第2图像；合成单元，根据所述n张第1图像，决定所述n张第2图像及所述模拟对象图像各自的透明度，利用所决定的透明度，合成所述模拟对象图像及所述n张第2图像。

根据这样的构成，用户就能够利用简便的操作高速地获取虚拟地施行了高品质化妆的化妆模拟图像。又，能够容易地进行这样的变更，诸如从虚拟地施行了化妆的模拟对象图像删除一部分化妆要素图像，或改变一部分化妆要素图像的颜色之类。

(2)又，理想地，所述第1图像作成单元，根据所述图层图像中设定的各像素的透明度，作成透明度图层图像，对所作成的透明度图层图像的各像素的透明度进行归一化，将获取的图像作为所述第1图像，所述合成单元，通过α混合，合成所述模拟对象图像和所述第2图像。

根据这样的构成，由于透明度图层图像的各像素的透明度被归一化，因此，合成单元，即使图层图像的顺序改变，也能够生成同样的图像。

(3)理想地，所述第2图像作成单元，将各图层图像的色成分及所述模拟对象图像的各自的色成分从RGB表色系变换成HSV表色系，对变换后的两种色成分执行公式(A)～公式(C)所示的色变换处理，将得到的图像从HSV表色系变换成RGB表色系，作成所述第2图像。

H_r＝H_c                …公式(A)

S_r＝0.8×S_f+0.2×S_c  …公式(B)

V_r＝0.8×V_f+0.2×V_c  …公式(C)

其中，H_c、S_c、V_c表示图层图像色成分的HSV值，S_f、V_f表示模拟对象图像的各像素的HSV值，H_r、S_r、V_r表示第2图像的各像素的HSV值。

根据这样的构成，能够在一定程度维持模拟对象图像的明度·彩度的情况下，改变化妆要素图像的色相，因此，能够在模拟对象图像上以自然的状态表现化妆要素图像。

(4)理想地，所述网格设定单元具有：初期网格存储单元，存储各顶点由设定在脸部特征位置上的特征顶点和其他浮动顶点构成的初期网格；基准位置检测单元，从分别包含于各所述模拟对象图像及所述基准图像的脸部区域检测指定的基准位置；特征点提取单元，根据由所述基准位置检测单元检测的基准位置，分别从各所述模拟对象图像及所述基准图像提取与所述特征顶点对应的特征点；顶点移动单元，令所述特征顶点移动至由所述特征点提取单元提取的对应特征点，同时令所述浮动顶点这样移动，使得该初期网格各顶点间的距离得以保持。

根据这样的构成，能够在初期网格顶点之间的位置关系得以均衡地保持的状态下，在基准图像和模拟对象图像上设定网格。

(5)理想地，所述顶点移动单元，将所述初期网格的各顶点作为被赋予了正交于图像面的高度成分的三维数据，对所述浮动顶点赋予一定高度成分，令所述特征顶点位于所述图像面上，对所述各顶点，以规定次数执行公式(D)和公式(E)所示的运算，由此移动所述浮动顶点。

【数学式5】

${\stackrel{\→}{P^{,}}}_i=\stackrel{\→}{P_i}-\mathrm{\λ}\left(\text{|}\stackrel{\→}{P_i}\text{-}\stackrel{\→}{P_j}\text{|-}{l}_{\mathrm{ij}}\right)(\stackrel{\→}{P_i}-\stackrel{\→}{P_j})$ …式(D)

${\stackrel{\→}{P^{,}}}_j=\stackrel{\→}{P_j}+\mathrm{\λ}\left(\text{|}\stackrel{\→}{P_i}\text{-}\stackrel{\→}{P_j}\text{|-}{l}_{\mathrm{ij}}\right)(\stackrel{\→}{P_i}-\stackrel{\→}{P_j})$ …式(E)

其中，矢量P_i表示网格顶点的坐标，P_j表示与矢量P_j相邻的网格的顶点坐标，矢量P_i’表示进行了运算后的矢量P_i，矢量P_j’表示进行了运算后的矢量P_j，I_ij表示连接矢量P_i和P_j的线的长度，λ表示常数。

根据这样的构成，能够在保持初期网格的各顶点之间的距离的同时，防止构成网格的多边形发生重叠。

(6)理想地，所述基准位置检测单元，利用构成眼区域图像的左眼断片图像及右眼断片图像，将所述基准图像及所述模拟对象图像各自的眉间作为所述基准位置检测，所述眼区域图像由包含左右的眼及眉间的区域形成，具有：相关值图像生成单元，生成表示左眼断片图像与脸部的相关关系的左眼相关值图像，并生成表示右眼眼断片图像与脸部的相关关系的右眼相关值图像；相关值图像移动单元，根据左眼断片图像及右眼眼断片图像对所述眼区域图像的相对位置关系，移动左眼及右眼相关值图像，使得所述左眼相关值图像内显示较高相关关系的区域和所述右眼相关值图像内显示较高相关关系的区域两者在眉间重叠；相关值图像重叠单元，重叠由所述相关值图像移动单元移动了的左眼及右眼相关值图像；眉间检测单元，在由所述相关值图像重叠单元重叠了的左眼及右眼相关值图像中，检测相关值高于所规定的值的区域，由此检测出眉间。

根据这样的构成，表示构成眼部区域图像的左眼断片图像和脸部图像之间关系的左眼相关值图像被生成，同时，表示构成眼部区域图像的右眼断片图像和脸部图像之间关系的右眼相关值图像被生成。这里，不是使用眼部区域图像，而是使用眼部区域图像断片图像的左眼及右眼断片图像，生成左眼及右眼相关值图像，因此，在脸部区域相对于眼部区域发生旋转、放大等变形的情况下，左眼和右眼相关值图像，与眼部区域图像和脸部图像相关值图像相比，成为显示高度相关的图像。

然后，移动使得左眼和右眼相关值图像的各自表示高度相关的区域在眉间重叠，左眼和右眼相关值图像被重叠。然后，在被重叠的两个相关值图像中，检测比所定值相关值高的区域，检测出眉间。

这里，各个左眼及右眼断片图像，在检测出左眼和右眼的情况下，两个相关值图像表示出高度相关，因此，如果移动各相关值图像使得相关值高的区域重叠，则重叠得到的图像表示出更高的相关性。

另一方面，各个左眼及右眼断片图像，在没有检测出左眼和右眼的情况下，左眼或右眼相关值图像不表示高度相关，因此，重叠得到的左眼和右眼相关值图像不表示高度相关。

因此，如果从通过重叠左眼和右眼相关值而得到的图像检测出表示高度相关的区域，那么就有可能检测出眉间。因此，对于眼部区域图像，即使脸部图像被放大、缩小、旋转等，也能够高精度地检测出眉间。进而，因为不需要像特开2003-216931号公报所记载的发明那样经过两次算出相关的复杂处理，因此可以高速检测出眉间。

(7)理想地，所述相关值图像生成单元，对所述脸部图像施行形貌处理，生成所述左眼及右眼相关值图像。

根据这样的构成，对脸部图像施行使相对于周围辉度较低的图像得到强调的形貌处理，左眼及右眼的图像得到强调，从施行了形貌处理的脸部图像生成左眼及右眼相关值图像，因此，能够得到比较正确地表示左眼、右眼断片图像和脸部图像之间相关的相关值图像。

(8)理想地，所述相关值图像生成单元，对施行了所述形貌处理的图像，进一步施行降低分辨率的处理，生成所述相关值图像。

根据这样的构成，由于对施行了所述形貌处理的脸部图像，进一步施行降低分辨率的处理，能够高速生成左眼和右眼相关值图像，同时能够简化后面的处理。

(9)理想地，所述相关值图像重叠单元，通过将由所述相关值图像移动单元移动了的左眼及右眼相关值图像的对应的像素数据相乘，将两相关值图像重叠。

根据这样的构成，左眼及右眼相关值图像的对应像素数据被相乘，左眼及右眼相关值图像被重叠，因此，能够得到较显著地表示相关高的区域和相关低的区域之间的差的左眼及右眼相关值，能够提高检测精度。

(10)理想地，所述相关值图像重叠单元，对由所述相关值图像移动单元移动了的左眼及右眼相关值图像，施行将表示较高相关关系的区域扩大的处理，重叠所述左眼及右眼相关值图像。

根据这样的构成，由于对左眼及右眼相关值图像施行将表示高度相关的区域进行扩大的处理，两相关值图像被重叠，因此，即使在左眼及右眼断片图像被设定为小的情况下、或对眼部区域图像右眼及左眼发生很大变形的情况下，也能够以良好的精度使表示高度相关的区域重叠。

(11)理想地，所述相关值图像重叠单元，对由所述相关值图像移动单元移动了的左眼及右眼相关值图像，施行将表示较高相关关系的区域的相关值进一步提高的处理。

根据这样的构成，由于进行了提高眉间附近的相关值的处理，左眼及右眼所对应的区域和其他区域之间的相关值的差变得显著，能够比较准确地检测出眉间。

(12)理想地，所述模拟对象图像，是动态图像中的各帧图像。

根据这样的构成，能够对动态图像施行化妆模拟。

(13)本发明的化妆模拟装置，其特征在于，利用由n(n为正整数)张图层图像和1张脸部图像构成的基准图像，执行化妆模拟，所述基准图像是根据通过操作装置输入的来自用户的描画指令预先作成的，所述n张图层图像各自分别包含由同一颜色构成的至少1种化妆要素图像，具有：第1图像作成单元，分别对所述n张图层图像，根据各图层图像的各像素所设定的透明度，作成与所述n张图层图像分别对应的n张第1图像；对象图像获取单元，获取包含模拟对象人物的脸部图像的模拟对象图像；网格设定单元，在所述基准图像中包含的脸部图像区域中设定网格，并在所述模拟对象图像中包含的脸部图像区域中设定网格；变形单元，对于分别设定在所述基准图像及所述模拟对象图像中的网格，对它们对应的顶点的位置进行差分计算，根据算出的差分量，这样进行变形，使得包含于各个所述n张第1图像中的化妆要素图像，适合于所述模拟对象图像中包含的脸部图像区域；第2图像作成单元，对所述模拟对象图像执行指定的色变换处理，所述色变换处理利用所述n张图层图像的色成分，由此作成分别与所述n张图层图像对应的n张第2图像；合成单元，根据所述n张第1图像，决定所述n张第2图像及所述模拟对象图像各自的透明度，利用所决定的透明度，合成所述模拟对象图像及所述n张第2图像。

根据这样的构成，用户就能够通过简便的操作高速得到虚拟地施行了高品质化妆的化妆模拟图像。又，能够容易地从虚拟地施行了化妆的模拟对象图像中删除一部分的化妆要素图像，或者，改变一部分化妆要素图像的颜色。

(14)本发明所涉及的化妆模拟方法，其特征在于，一种化妆模拟方法，其特征在于，利用由n(n为正整数)张图层图像和1张脸部图像构成的基准图像，令计算机执行化妆模拟，所述基准图像是根据通过操作装置输入的来自用户的描画指令预先作成的，所述n张图层图像各自分别包含由同一颜色构成的至少1种化妆要素图像，所述计算机具有第1图像作成单元、对象图像获取单元、网格设定单元、变形单元、第2图像作成单元及合成单元，所述化妆模拟方法包括：所述第1图像作成单元分别对所述n张图层图像，根据各图层图像的各像素所设定的透明度，作成与所述n张图层图像分别对应的n张第1图像的步骤；所述对象图像获取单元获取包含模拟对象人物的脸部图像的模拟对象图像的步骤；所述网格设定单元在所述基准图像中包含的脸部图像区域中设定网格，并在所述模拟对象图像中包含的脸部图像区域中设定网格的步骤；所述变形单元对分别设定在所述基准图像及所述模拟对象图像中的网格对应的顶点的位置进行差分计算，根据算出的差分量，这样进行变形，使得包含于各个所述n张第1图像中的化妆要素图像，适应于所述模拟对象图像中包含的脸部图像区域的步骤；所述第2图像作成单元对所述模拟对象图像执行指定的色变换处理，所述色变换处理利用所述n张图层图像的色成分，由此作成分别与所述n张图层图像对应的n张第2图像的步骤；所述合成单元根据所述n张第1图像，决定所述n张第2图像及所述模拟对象图像各自的透明度，利用所决定的透明度，合成所述模拟对象图像及所述n张第2图像的步骤。根据这样的构成，用户通过简便的操作就可以高速获取虚拟地施行了高品质化妆的化妆模拟图像。又，可以容易地进行如下的变更，诸如从虚拟地施行了化妆的模拟对象图像删除一部分化妆要素图像，或者，改变一部分化妆要素图像的颜色之类。

Claims (14)

1.一种化妆模拟程序，利用包含n(n为正整数)张图层图像和1张脸部图像的基准图像，令计算机执行化妆模拟，其中，所述基准图像是根据通过操作装置输入的来自用户的描画指令预先作成的，所述n张图层图像各自分别包含由同一颜色构成的至少1种化妆要素图像，其特征在于，令计算机作用为：

第1图像作成单元，分别对所述n张图层图像，根据各图层图像的各像素所设定的透明度，作成与所述n张图层图像分别对应的n张第1图像；

对象图像获取单元，获取包含模拟对象人物的脸部图像的模拟对象图像；

网格设定单元，在所述基准图像中包含的脸部图像区域中设定网格，并在所述模拟对象图像中包含的脸部图像区域中设定网格；

变形单元，计算所述基准图像及所述模拟对象图像所设定的各个网格所对应的顶点的位置的差分，根据算出的差分量，将包含于各个所述n张第1图像中的化妆要素图像变形为适合于所述模拟对象图像中包含的脸部图像区域；

第2图像作成单元，通过对所述模拟对象图像执行利用了所述n张图层图像的色成分的指定的色变换处理，作成分别与所述n张图层图像对应的n张第2图像；

合成单元，根据所述n张第1图像，决定所述n张第2图像及所述模拟对象图像各自的透明度，利用所决定的透明度，合成所述模拟对象图像及所述n张第2图像。

2.如权利要求1所述的化妆模拟程序，其特征在于，

所述第1图像作成单元，根据所述图层图像中设定的各像素的透明度，作成透明度图层图像，对所作成的透明度图层图像的各像素的透明度进行归一化，将获取的图像作为所述第1图像，

所述合成单元，通过α混合，合成所述模拟对象图像和所述第2图像。

3.如权利要求2所述的化妆模拟程序，其特征在于，

所述第2图像作成单元，将各图层图像的色成分及所述模拟对象图像的各自的色成分从RGB表色系变换成HSV表色系，对变换后的两种色成分执行公式(A)～公式(C)所示的色变换处理，将得到的图像从HSV表色系变换成RGB表色系，作成所述第2图像；

H_I＝H_C    ...公式(A)

S_I＝0.8×S_f+0.2×S_C    ...公式(B)

V_r＝0.8×V_f+0.2×V_c  ...公式(C)

这里，Hc、Sc、Vc表示图层图像色成分的HSV值，S_f、V_f表示模拟对象图像各像素的HSV值，Hr、Sr、Vr表示第2图像各像素的HSV值。

4.如权利要求1～3中任一项所述的化妆模拟程序，其特征在于，所述网格设定单元包括：

初期网格存储单元，存储由各顶点构成的初期网格，其中所述各顶点包含在脸部特征位置上设定的特征顶点和其他浮动顶点；

基准位置检测单元，从分别包含于各所述模拟对象图像及所述基准图像的脸部区域检测指定的基准位置；

特征点提取单元，根据由所述基准位置检测单元检测的基准位置，分别从各所述模拟对象图像及所述基准图像提取与所述特征顶点对应的特征点；

顶点移动单元，令所述特征顶点移动至由所述特征点提取单元提取的对应特征点，并令所述浮动顶点这样移动，使得该初期网格各顶点间的距离得以保持。

5.如权利要求4所述的化妆模拟程序，其特征在于，

所述顶点移动单元，将所述初期网格的各顶点作为被赋予了正交于图像面的高度成分的三维数据，对所述浮动顶点赋予一定高度成分，令所述特征顶点位于所述图像面上，对所述各顶点，通过以规定次数执行公式(D)和公式(E)所示的运算，使所述浮动顶点移动；

【数1】

$\stackrel{\→}{{P\text{'}}_i}=\stackrel{\→}{P_i}-\mathrm{\λ}\left(\right|\stackrel{\→}{P_i}-\stackrel{\→}{P_j}|-1_{\mathrm{ij}})(\stackrel{\→}{P_i}-\stackrel{\→}{P_j})$ …式(D)

$\stackrel{\→}{{P\text{'}}_j}=\stackrel{\→}{P_j}+\mathrm{\λ}\left(\right|\stackrel{\→}{P_i}-\stackrel{\→}{P_j}|-1_{\mathrm{ij}})(\stackrel{\→}{P_i}-\stackrel{\→}{P_j})$ …式(E)

这里，矢量P_i表示网格顶点的坐标，矢量P_j表示与矢量P_i邻接的网格顶点的坐标，矢量P_i’表示实施运算后的矢量P_i，P_j’表示实施运算后的矢量P_j，1_ij表示连接矢量P_i和矢量P_j的线的长度，λ表示常数。

6.如权利要求4所述的化妆模拟程序，其特征在于，所述基准位置检测单元，利用构成眼区域图像的左眼断片图像及右眼断片图像，将所述基准图像及所述模拟对象图像各自的眉间作为所述基准位置检测，所述眼区域图像由包含左右的眼及眉间的区域形成，包括：

相关值图像生成单元，生成表示左眼断片图像与脸部的相关关系的左眼相关值图像，并生成表示右眼断片图像与脸部的相关关系的右眼相关值图像；

相关值图像移动单元，根据左眼断片图像及右眼眼断片图像对所述眼区域图像的相对位置关系，移动左眼及右眼相关值图像，使得所述左眼相关值图像内显示较高相关关系的区域和所述右眼相关值图像内显示较高相关关系的区域两者在眉间重叠；

相关值图像重叠单元，重叠由所述相关值图像移动单元移动了的左眼及右眼相关值图像；

眉间检测单元，在由所述相关值图像重叠单元重叠了的左眼及右眼相关值图像中，通过检测相关值高于所规定的值的区域检测出眉间。

7.如权利要求6所述的化妆模拟程序，其特征在于，

所述相关值图像生成单元，对所述脸部图像施行形貌处理，生成所述左眼及右眼相关值图像。

8.如权利要求7所述的化妆模拟程序，其特征在于，

所述相关值图像生成单元，对施行了所述形貌处理的图像，进一步施行降低分辨率的处理，生成所述相关值图像。

9.如权利要求6所述的化妆模拟程序，其特征在于，

所述相关值图像重叠单元，通过将由所述相关值图像移动单元移动了的左眼及右眼相关值图像的对应的像素数据相乘，将两相关值图像重叠。

10.如权利要求9所述的化妆模拟程序，其特征在于，

所述相关值图像重叠单元，对由所述相关值图像移动单元移动了的左眼及右眼相关值图像，施行将表示较高相关关系的区域扩大的处理，重叠所述左眼及右眼相关值图像。

11.如权利要求10所述的化妆模拟程序，其特征在于，

所述相关值图像重叠单元，对由所述相关值图像移动单元移动了的左眼及右眼相关值图像，施行将表示较高相关关系的区域的相关值进一步提高的处理。

12.如权利要求1所述的化妆模拟程序，其特征在于，

所述模拟对象图像，是动态图像中的各帧图像。

13.一种化妆模拟装置，利用包含n(n为正整数)张图层图像和1张脸部图像的基准图像，执行化妆模拟，其中，所述基准图像是根据通过操作装置输入的来自用户的描画指令预先作成的，所述n张图层图像各自分别包含由同一颜色构成的至少1种化妆要素图像，其特征在于包括：

第1图像作成单元，分别对所述n张图层图像，根据各图层图像的各像素所设定的透明度，作成与所述n张图层图像分别对应的n张第1图像；

对象图像获取单元，获取包含模拟对象人物的脸部图像的模拟对象图像；

网格设定单元，在所述基准图像中包含的脸部图像区域中设定网格，并在所述模拟对象图像中包含的脸部图像区域中设定网格；

变形单元，计算所述基准图像及所述模拟对象图像所设定的各个网格所对应的顶点的位置的差分，根据算出的差分量，将包含于各个所述n张第1图像中的化妆要素图像变形为适合于所述模拟对象图像中包含的脸部图像区域；

第2图像作成单元，通过对所述模拟对象图像执行利用了所述n张图层图像的色成分的指定的色变换处理，作成分别与所述n张图层图像对应的n张第2图像；

合成单元，根据所述n张第1图像，决定所述n张第2图像及所述模拟对象图像各自的透明度，利用所决定的透明度，合成所述模拟对象图像及所述n张第2图像。

14.一种化妆模拟方法，利用包含n(n为正整数)张图层图像和1张脸部图像的基准图像，令计算机执行化妆模拟，其中，所述基准图像是根据通过操作装置输入的来自用户的描画指令预先作成的，所述n张图层图像各自分别包含由同一颜色构成的至少1种化妆要素图像，所述计算机具有第1图像作成单元、对象图像获取单元、网格设定单元、变形单元、第2图像作成单元及合成单元，

所述化妆模拟方法包括：

所述第1图像作成单元分别对所述n张图层图像，根据各图层图像的各像素所设定的透明度，作成与所述n张图层图像分别对应的n张第1图像的步骤；

所述对象图像获取单元获取包含模拟对象人物的脸部图像的模拟对象图像的步骤；

所述网格设定单元在所述基准图像中包含的脸部图像区域中设定网格，并在所述模拟对象图像中包含的脸部图像区域中设定网格的步骤；

所述变形单元计算所述基准图像及所述模拟对象图像所设定的各个网格所对应的顶点的位置差分，根据算出的差分量，将包含于各个所述n张第1图像中的化妆要素图像变形为适合于所述模拟对象图像中包含的脸部图像区域的步骤；

所述第2图像作成单元通过对所述模拟对象图像执行利用了所述n张图层图像的色成分的指定的色变换处理，作成分别与所述n张图层图像对应的n张第2图像的步骤；

所述合成单元根据所述n张第1图像，决定所述n张第2图像及所述模拟对象图像各自的透明度，利用所决定的透明度，合成所述模拟对象图像及所述n张第2图像的步骤。

Images