CN105210110A - 美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序 - Google Patents

Abstract

提供一种能够准确地提取用于使使用者的面部更接近于目标面部图像的美容方法的美容辅助装置。具备：摄像部(2)，对被化妆者的面部图像进行摄像；输入部(20)，输入目标面部图像；合成面部图像生成部(12)，生成对所述被化妆者的面部图像应用相互不同的妆扮方法而得到的多个合成面部图像；相似度判定部(22)，判定所述目标面部图像与所述多个合成面部图像的相似度；以及妆扮方法提取部(24)，提取对由所述相似度判定部(22)判断为相似度高的所述合成面部图像应用的妆扮方法。

Description

美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序

技术领域

本发明涉及针对被化妆者等使用者进行与美容方法相关的建议的美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序。

背景技术

近年来，化妆品的种类、用途涉及多方面。化妆品本身除了作为以往的销售系统的面对面销售之外，还通过超市、便利店等来大量地销售，被化妆者能够更加简易并且大量获得各种化妆品。针对这样的多品种的化妆品，被化妆者从附加于化妆品的产品信息、时尚杂志、因特网等获得与化妆品、妆扮方法相关的信息，在自己进行化妆时进行有效利用。但是，仅通过这样的信息，无法适当地判断实际实施的化妆与被化妆者设为目标的形象是否接近。

对此，例如在专利文献1中公开了如下技术：根据对被化妆者所期望的面部进行摄影而得到的样本图像来确定化妆方法，将所确定的化妆方法应用于被化妆者的面部图像，从而生成样板化妆面部图像，针对每个化妆步骤，进行被化妆者的面部图像与样板化妆面部图像的评价，根据评价结果来提示化妆建议。

另外，在专利文献2中公开了如下技术：从面部图像中提取2个独立的特征量(构成面部的眼睛、鼻子这样的面部部分的配置是离心的还是向心的、以及面部部分的形状是曲线的还是直线的指标)，根据在2维的评价轴上绘制的评价轴上的4个象限，按特征或者按印象地对面部进行分类。

现有技术文献

专利文献

专利文献1：日本专利第3408524号公报

专利文献2：日本专利第3614783号公报

发明内容

发明所要解决的课题

在专利文献1公开的技术中，在被化妆者的面部与设为化妆目标的样本图像中显现的面部图像(下面，称为“目标面部图像”)的整体的形态、构成面部的眼睛、鼻子这样的部分(下面，称为“面部部分”)的形态、相对的位置关系相似的情况下(作为极端的例子，在同卵双胞胎那样的情况下)，通过实施根据目标面部图像确定的化妆方法，作为结果，认为被化妆者的面部与目标面部图像接近。然而，在被化妆者与目标面部图像的形态不同的情况下，通常，即使实施相同的化妆，两者的印象也不相同的情况较多。即，未进行基于人的感性的评价，所以存在即使进行在形状上、测色上完全相同的化妆，两者的气氛也不同(作为人的感觉，两者的相似度低)这样的课题。而且，难以直观地掌握气氛不同的程度，其结果，被化妆者在想要得到目标面部图像所具备的例如“可爱”这样的感觉上的特性的情况下，需要反复试验。

另外，在专利文献1中，能够根据目标面部图像来确定妆扮方法是前提。然而，如上所述，化妆品的种类涉及多方面，存在实际上难以仅根据图像信息来确定妆扮方法这样的课题。

另一方面，在专利文献2公开的技术中，虽然按特征或者按印象来对被化妆者进行分类，但仅仅停留于确认化妆的方向性。与这样的化妆的方向性相关的信息对于能够根据被化妆者的面部的形态而自如地应用各种妆扮方法的美容师等来说，被认为是有用的。然而，存在即使针对一般的被化妆者提供了“为了看起来更女性化，向心地配置面部部分，将各部分的形状设为曲线状即可”这样的信息，也难以掌握例如“看起来女性化”这样的感性上的项目是否通过化妆而达到了以及在多大程度上达到了等这样的课题。

另外，在专利文献2中，将面部的特征分类成4个象限，在每个象限中规定给人的印象，其结果，各象限中包含的印象非常广泛。因此，将专利文献2的技术应用于机械学习，即使作为针对化妆的评价项目来学习各象限具有的印象，在该学习中也会包含对被化妆者来说不需要的评价项目。具体来说，例如即使被化妆者想要针对“可爱”这样的评价项目来评价化妆结果，在包括“可爱”的象限中也包括了“朴素”那样的实质上不同的评价项目。因此，作为机械学习的结果，即使是被判断为类似的面部图像，在被化妆者的感觉上也不类似，即存在在学习结果与被化妆者的认识之间产生背离这样的课题。

本发明是为了解决这样的现有技术的课题而提出的，其主要目的在于，提供一种美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序，能够可靠地提取用于使使用者的面部更接近于目标面部图像的美容方法，并且将使用者的面部图像与目标面部图像的差异显示为基于人的感觉的评价项目的等级值，在使用者实施美容方法之后能够直观地识别在多大程度上接近于目标面部图像。

用于解决课题的技术方案

本发明涉及一种美容辅助装置，具有：摄像单元，对使用者的面部图像进行摄像；输入单元，输入目标面部图像；合成面部图像生成单元，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像；相似度判定单元，判定所述目标面部图像与所述多个合成面部图像的相似度；以及美容方法提取单元，提取对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法。

由此，根据对使用者的面部图像应用相互不同的美容方法而得到的合成面部图像与目标面部图像的相似度，能够提供更准确的美容方法。

另外，本发明一种美容辅助装置，具备：摄像单元，对使用者的面部图像进行摄像；输入单元，输入目标面部图像；合成面部图像生成单元，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像；相似度判定单元，判定所述目标面部图像与所述多个合成面部图像的相似度；评价单元，针对所述使用者的面部图像与所述目标面部图像，关于规定的评价项目而输出等级值；以及显示单元，显示对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法以及所述等级值。

由此，根据对使用者的面部图像应用相互不同的妆扮方法而得到的合成面部图像与目标面部图像的相似度，能够提供更接近于目标面部图像的妆扮方法，并且能够将使用者的面部图像与目标面部图像的不同作为基于人的感性的评价项目而用具体的数值显示。

另外，在本发明中，所述相似度判定单元具备：特征量提取单元，从所述目标面部图像与所述多个合成面部图像中提取规定的特征量；以及投影单元，将所述特征量投影到与基于人的感性的分别不同的评价项目对应起来的部分空间中，根据将从所述目标面部图像与所述合成面部图像中得到的所述特征量投影到所述部分空间而得到的坐标间的欧氏距离，来判定所述部分空间中的相似度，进而，根据与分别不同的评价项目对应起来的所述部分空间中的相似度，来判定所述目标面部图像与所述合成面部图像的相似度。

由此，在相似度的判定中使用基于人的感性的评价项目，所以，在使用者的面部与目标面部图像的形态不同的情况下，也能够可靠地判定相似度。

另外，在本发明中，所述评价单元具有：特征量提取单元，从所述目标面部图像与所述多个合成面部图像中提取规定的特征量；投影单元，将所述特征量投影到与基于人的感性的分别不同的评价项目对应起来的部分空间中；以及等级推测单元，根据在所述多个部分空间中通过所述投影单元进行投影而得到的所述特征量的坐标，来针对每个所述规定的评价项目而推测所述等级值。

由此，将基于人的感性的分别不同的评价项目判定为等级值，所以，在使用者的面部图像与目标面部图像之间，例如关于“可爱”这样的感性上的项目，能够作为数值来进行评价。

另外，在本发明中，所述摄像单元在规定的时机下对所述使用者的面部图像重复进行摄像并更新，所述评价单元针对被更新的所述使用者的面部图像，输出所述等级值，所述显示单元显示被更新的所述使用者的面部图像与所述等级值。

由此，随着使用者执行美容方法，更新使用者的面部图像与等级值，能够直观地判断相对于目标面部图像而当前的美容方法的状况有多大程度的进展。

另外，在本发明中，所述显示单元在具有与所述规定的评价项目对应的轴的雷达图上，显示所述等级值。

由此，关于多个评价项目，同时显示使用者的面部图像与目标面部图像的等级值，从而能够更直观地掌握两者的关系。

另外，本发明构成为还具备属性推测单元，该属性推测单元根据所述使用者的面部图像，推测年龄和性别中的至少一方，所述相似度判定单元依照所述属性推测单元的推测结果，决定投影所述特征量的所述部分空间。

由此，根据由属性推测单元推测到的年龄、性别的差异来选择基于人的感性的评价项目，所以能够实现仅使用对使用者来说有用的评价项目的相似度的判定。

另外，在本发明中，将所述规定的特征量设为N维向量，将所述部分空间设为维数比所述N维小的空间。

由此，在维数更小的部分空间中，从维数N的特征量空间中仅对有用的轴进行取舍选择，关于特定的评价项目的判别能力(分辨率)在实际上提高，所以，能够实质上提高相似度的精度。

另外，本发明具备妆扮方法存储部，该妆扮方法存储部存储所述相互不同的美容方法，所述妆扮方法存储部由可重写型的数据库构成。

由此，能够根据反映了最新的流行、季节的化妆品信息来生成合成面部图像。

另外，本发明具备合成面部图像存储部，该合成面部图像存储部存储通过所述合成面部图像生成单元生成的多个合成面部图像，所述合成面部图像生成单元在所述妆扮方法存储部的内容被更新时，对成为图像合成时的基础的基本面部图像应用被更新的妆扮方法而生成所述合成面部图像，并存储到所述合成面部图像存储部中。

由此，能够据反映了最新的流行、季节的化妆品信息来生成合成面部图像，并且在同一被化妆者想要在与不同的目标面部图像之间判定相似度的情况下，能够再利用暂时制作的合成面部图像。

另外，本发明涉及一种美容辅助系统，具有：摄像单元，对使用者的面部图像进行摄像；输入单元，输入目标面部图像；数据库，储存有美容方法以及与所述美容方法对应的图像调整参数；合成面部图像生成单元，对所述数据库进行访问而取得所述美容方法以及所述图像调整参数，并且参照所述图像调整参数，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像；相似度判定单元，判定所述目标面部图像与所述多个合成面部图像的相似度；以及美容方法提取单元，从所述数据库提取对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法。

由此，根据对使用者的面部图像应用相互不同的美容方法而得到的合成面部图像与目标面部图像的相似度，能够提供更准确的美容方法。

另外，本发明涉及一种美容辅助系统，包括：信息终端，具备对使用者的面部图像进行摄像的摄像单元以及输入目标面部图像的输入单元；以及服务器，具备数据库、合成面部图像生成单元以及相似度判定单元，其中所述数据库储存有美容方法以及与所述美容方法对应的图像调整参数，所述合成面部图像生成单元对所述数据库进行访问而取得所述美容方法以及所述图像调整参数，并且参照所述图像调整参数生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，所述相似度判定单元判定所述多个合成面部图像相对于所述目标面部图像的相似度，所述信息终端经由网络向所述服务器发送所述使用者的面部图像以及所述目标面部图像，并从所述服务器取得对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法。

由此，使用者通过从智能手机、平板终端等信息终端访问到服务器，能够简单地获取准确的与美容方法相关的信息。

另外，本发明涉及一种美容辅助系统，具备：摄像单元，对使用者的面部图像进行摄像；输入单元，输入目标面部图像；数据库，储存有美容方法以及与所述美容方法对应的图像调整参数；合成面部图像生成单元，对所述数据库进行访问而取得所述美容方法以及所述图像调整参数，并且参照所述图像调整参数，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像；相似度判定单元，判定所述目标面部图像与所述多个合成面部图像的相似度；评价单元，针对所述使用者的面部图像以及所述目标面部图像，关于规定的评价项目而输出等级值；以及显示单元，显示对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法与所述等级值。

由此，根据对使用者的面部图像应用相互不同的妆扮方法而得到的合成面部图像与目标面部图像的相似度，能够提供更接近于目标面部图像的妆扮方法，并且能够将使用者的面部图像与目标面部图像的不同作为基于人的感性的评价项目而用具体的数值显示。

另外，本发明涉及一种美容辅助系统，包括：信息终端，具备对使用者的面部图像进行摄像的摄像单元以及输入目标面部图像的输入单元；以及服务器，具备数据库、合成面部图像生成单元、相似度判定单元以及评价单元，其中所述数据库储存有美容方法以及与所述美容方法对应的图像调整参数，所述合成面部图像生成单元对所述数据库进行访问而取得所述美容方法以及所述图像调整参数，并且参照所述图像调整参数生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，所述相似度判定单元判定所述多个合成面部图像相对于所述目标面部图像的相似度，所述评价单元针对所述使用者的面部图像以及所述目标面部图像，关于规定的评价项目而输出等级值，所述信息终端经由网络向所述服务器发送所述使用者的面部图像以及所述目标面部图像，并从所述服务器取得对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法与所述等级值并进行显示。

由此，使用者通过从智能手机、平板终端等信息终端访问到服务器，能够简单地获取准确的与美容方法相关的信息，并将其显示在信息终端。

另外，本发明涉及一种美容辅助方法，对使用者的面部图像进行摄像，输入目标面部图像，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，判定所述目标面部图像与所述多个合成面部图像的相似度，提取对判断为所述相似度高的所述合成面部图像应用的美容方法。

由此，根据对使用者的面部图像应用相互不同的美容方法而得到的合成面部图像与目标面部图像的相似度，能够提供更准确的美容方法。

另外，本发明涉及一种美容辅助方法，对使用者的面部图像进行摄像，输入目标面部图像，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，判定所述目标面部图像与所述多个合成面部图像的相似度，针对所述使用者的面部图像与所述目标面部图像，关于规定的评价项目而输出等级值，显示对判断为所述相似度高的所述合成面部图像应用的美容方法以及所述等级值。

由此，根据对使用者的面部图像应用相互不同的妆扮方法而得到的合成面部图像与目标面部图像的相似度，能够提供更接近于目标面部图像的妆扮方法，并且能够作为基于人的感性的评价项目而用具体的数值显示使用者的面部图像与目标面部图像的不同。

另外，本发明涉及一种美容辅助程序，输入使用者的面部图像与目标面部图像，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，判定所述目标面部图像与所述多个合成面部图像的相似度，提取对判断为所述相似度高的所述合成面部图像应用的美容方法。

由此，在安装了美容辅助程序的专用机、客户端服务器系统的终端、智能手机、平板终端等中，根据对使用者的面部图像应用相互不同的美容方法而得到的合成面部图像与目标面部图像的相似度，能够提供更准确的美容方法。

另外，本发明涉及一种美容辅助程序，输入使用者的面部图像与目标面部图像，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，判定所述目标面部图像与所述多个合成面部图像的相似度，针对所述使用者的面部图像与所述目标面部图像，关于规定的评价项目而输出等级值，显示对判断为所述相似度高的所述合成面部图像应用的美容方法以及所述等级值。

由此，在安装了美容辅助程序的专用机、客户端服务器系统的终端、智能手机、平板终端等中，根据对使用者的面部图像应用相互不同的妆扮方法而得到的合成面部图像与目标面部图像的相似度，能够提供更接近于目标面部图像的妆扮方法，并且能够将使用者的面部图像与目标面部图像的不同作为基于人的感性的评价项目而用具体的数值显示。

发明效果

根据本发明，能够根据对使用者的面部图像应用相互不同的妆扮方法而得到的合成面部图像与目标面部图像的相似度来提供更接近于目标面部图像的妆扮方法，并且能够将使用者的面部图像与目标面部图像的不同作为基于人的感性的评价项目而用具体的数值显示。

附图说明

图1是示出本发明的第1实施方式的美容辅助装置的结构的结构框图。

图2是说明在本发明的第1实施方式的美容辅助装置中判定相似度的过程的流程图。

图3是说明在本发明的第1实施方式的美容辅助装置中判定相似度的过程的流程图。

图4是说明生成合成面部图像时的图像处理对象的说明图。

图5是说明在本发明的第1实施方式的美容辅助装置中生成合成面部图像的过程的说明图。

图6是说明本发明的第1实施方式的美容辅助装置中在特征量空间中绘制特征量的过程的说明图。

图7是说明在本发明的第1实施方式的美容辅助装置中将特征量投影到部分空间的过程的说明图。

图8是示出基于人的感性的评价项目的内容(感觉上的特性)的表。

图9是说明美容辅助装置中向被化妆者显示等级值的过程的流程图。

图10(a)～(c)是示出与基于人的感性的评价项目对应的部分空间与回归模型的关系的说明图，图10(d)是说明在雷达图中显示了关于各评价项目的等级值的状态的说明图。

图11是说明显示部中的显示内容的例子的说明图。

图12是说明在本发明的第2实施方式的美容辅助装置中判定相似度的过程的流程图。

图13是示出本发明的第3实施方式的美容辅助装置的结构的结构框图。

图14是示出本发明的第4实施方式的美容辅助装置的结构的结构框图。

具体实施方式

(第1实施方式)

图1是示出本发明的第1实施方式的美容辅助装置1的结构的结构框图。下面，使用图1，关于第1实施方式的美容辅助装置1，首先说明结构以及功能。此外，在本实施方式中，以自己进行化妆的被化妆者作为使用者来利用本装置的情况为例进行说明，但在化妆以外的美容方法中也能够采用同样的结构。

在图1中，美容辅助装置1由摄像部(摄像单元)2、目标面部图像输入部(输入单元)20、图像处理部3、存储部4、显示部(显示单元)5以及用户界面6构成。

摄像部2具备例如由CCD(ChargeCoupledDeviceImageSensor)、CMOS(ComplementaryMetalOxideSemiconductor)构成的摄像元件，例如以15fps(FramesPerSecond)的周期对图像进行摄像而输出图像数据。例如在摄像部2中内置的图像处理电路(未图示)对由摄像部2进行摄像而得到的图像数据实施去马赛克、颜色校正、白平衡校正、γ校正等公知的图像处理来作为前处理。

其后，针对前处理后的图像数据，参照在存储部4中储存的数据，通过图像处理部3来执行各种处理。此外，成为图像处理的对象的图像数据可以在由图像处理部3的各结构要素实施了规定的处理之后，暂时储存到未图示的存储器中，起动接下来的结构要素，也可以以各结构要素作为管线进行动作的方式构成硬件、软件。

此外，在图1中记载了2个显示部5，但这是因为记载上的制约，实际上被设为1个。

在存储部4中，作为数据库，构筑了属性推测模型存储部4a、评价项目存储部4b、妆扮方法存储部4c、合成面部图像存储部4d、投影矩阵/回归模型存储部4e。此外，在投影矩阵/回归模型存储部4e中存储的投影矩阵与回归模型是分别不同的数据。

其中，妆扮方法存储部4c以及合成面部图像存储部4d是可重写型的，在这一点上与其他数据库不同。其他的是预先存储所使用的数据的读取专用的数据库。如在后面说明的那样，合成面部图像通过合成面部图像生成部(合成面部图像生成单元)12参照在妆扮方法存储部4c中储存的数据来生成，所生成的合成面部图像被存储在合成面部图像存储部4d中。根据生成合成面部图像的模式，存在被化妆者的合成面部图像的数据量变大的情况。

另外，如后面所述，在合成面部图像与目标面部图像之间，进行相似度的判定，在得到最佳的妆扮方法时，可以删除合成面部图像，也可以将暂时生成的合成面部图像转用到以后。即，在同一被化妆者判定与其他目标面部图像的相似度的情况下，如果预先保存所生成的合成面部图像，则不需要每次都生成合成面部图像。

据此，需要使合成面部图像存储部4d的数据容量大于其他数据库。因此，合成面部图像存储部4d由作为所谓的大容量存储装置的硬盘驱动器构成，在装置结构上，在处理多个被化妆者的数据的情况下，通过由多台构成并且实现了可靠性、数据转送的高速化的RAID(RedundantArraysofInexpensiveDisks，磁盘冗余阵列)来构成硬盘驱动器即可。

此外，在下面的说明中，在合成面部图像存储部4d中储存了合成面部图像来作为图像数据，但作为代替，也可以储存通过在后面说明的特征量提取部25提取到的特征量。

下面，说明图像处理部3的结构。如果清楚地说明第1实施方式的美容辅助装置1的图像处理部3的功能，则针对在由摄像部2进行摄像而得到的图像中包括的被化妆者的面部图像，由合成面部图像生成部12生成应用(即，模拟)各种妆扮方法而得到的图像(下面，称为“合成面部图像”)，由相似度判定部22判定与目标面部图像的相似度，由妆扮方法提取部24提取在生成相似度最高的合成面部图像时使用的妆扮方法，并将该妆扮方法显示在显示部5中。下面，进行详细说明。

在面部检测部10中，从由摄像部2进行摄像而得到的图像中检测面部图像，在包括面部图像的情况下，将其切出并输出到面部部分检测部11。面部部分检测部11从面部图像中检测眼睛、鼻子、嘴这样的面部部分。

由面部检测部10切出的面部图像也被送出到属性推测部(属性推测单元)27。在属性推测部27中，根据在属性推测模型存储部4a中存储的属性推测模型，从面部图像推测年龄、性别、人种等属性。将该推测结果发送到评价项目决定部28。然后，评价项目决定部28根据推测结果，来决定在根据评价项目存储部4b中存储的“基于人的感性的分别不同的评价项目”来判定相似度时使用的评价项目。此外，在下面的说明中，将“基于人的感性的分别不同的评价项目”称为“基于人的感性的评价项目”，或者简称为“评价项目”。

目标面部图像输入部20用于被化妆者在化妆之前输入“想要通过化妆来变成这样的面部”这样的目标面部图像。该目标面部图像可以由被化妆者用数码相机等来第三者的面部进行摄影并经由移动性存储介质等引入，也可以是通过因特网检索女演员等的面部照片而得到的图像，也可以是捕捉通过摄像部2直接进行摄影得到的动态图像而得到的图像。这样，第1实施方式的美容辅助装置1由于作为图像的输入源而允许所有的来源，所以在被引入到目标面部图像输入部20的时间点的图像中，还包括对上述的相似度的判定完全没有贡献而应该从最开始排除的部分。因此，通过目标面部图像输入部20引入的图像被送到面部检测部21并进行面部检测而仅提取面部部分。此外，在图1中，面部检测部21与面部检测部10分别独立地设置，但它们也可以构成为1个。

接下来，说明相似度判定部(相似度判定单元)22的结构。相似度判定部22由特征量提取部(特征量提取单元)25、部分空间投影部(投影单元)26以及欧氏距离(Euclidiandistance)计算部29构成，上述的在合成面部图像存储部4d中储存的合成面部图像以及由面部检测部21切出的目标面部图像被输入到相似度判定部22的特征量提取部25。

特征量提取部25从所输入的合成面部图像中提取Gabor特征或者LBP(LocalBinaryPattern)这样的局部的特征量。另外，特征量提取部25关于目标面部图像，也同样地提取局部的特征量。这样提取到的特征量通常构成高维(N维)向量。

由特征量提取部25提取到的特征量通过部分空间投影部26被投影到规定的部分空间。此处所说的部分空间是指维度比特征量构成的N维向量小的向量空间，在第1实施方式中，是与上述的基于人的感性的评价项目直接对应的向量空间。通过使用该部分空间，能够单独地求出部分空间中的合成面部图像与目标面部图像的相似度、合成面部图像、目标面部图像的等级值(分数)。关于部分空间的制作方法等，在后面说明。

另外，部分空间投影部26将合成面部图像以及目标面部图像的特征量投影到与由评价项目决定部28根据通过属性推测部27推测到的性别/年龄等决定的评价项目对应的部分空间。其结果，决定部分空间中的合成面部图像以及目标面部图像的坐标值。此外，投影是生成构成特征量的N维向量中的比之更少的维度的向量的操作，例如在将投影后的维数设为N1的情况下，相当于对N维向量乘以具有N1×N的矩阵尺寸的矩阵。

欧氏距离计算部29根据被投影到部分空间的合成面部图像以及目标面部图像的坐标值，来计算坐标间的距离。然后，妆扮方法提取部(妆扮方法提取单元)24根据欧氏距离计算部29的输出，来选择多种妆扮方法中的能够得到最接近目标面部图像的合成面部图像的方法，并显示在显示部5中。

接下来，说明评价部(评价单元)40的结构。评价部40由特征量提取部25、部分空间投影部26以及等级推测部(等级推测单元)41构成。特征量提取部25以及部分空间投影部26与已经说明的相同，所以省略说明。等级推测部41访问到投影矩阵/回归模型存储部4e，根据合成面部图像或者目标面部图像的特征量，使用评价项目回归模型来取得各评价项目中的它们的等级值，并显示在显示部5中。

接下来，说明整体控制部7。美容辅助装置1作为控制上述的各结构要素的动作的硬件，具备作为未图示的运算装置的CPU(CentralProcessingUnit)或者MPU(Micro-ProcessingUnit)、ASIC(ApplicationSpecificIntegratedCircuit)、工作存储器、程序存储器、在这些结构要素间交换数据的并行/串行总线等公知的结构。

此外，不需要通过硬件来构成图1所示的功能框的全部，也可以适当地安装上述的运算装置等以及使它进行动作的软件，进而，也可以将以下所示的结构要素的全部安装到一般的带相机笔记本PC(PersonalComputer)、智能手机、平板终端等中。

另外，在美容辅助装置1中设置有用户界面6。用户界面6具体来说由键盘、鼠标、触摸面板这样的输入设备构成，被化妆者通过操作用户界面6，经由整体控制部7对美容辅助装置1提供指示。作为该指示的具体例，可列举例如目标面部图像输入部20中的图像的选择指示。

图2、图3是说明在本发明的第1实施方式的美容辅助装置1中判定相似度的过程的流程图。下面，在图2、图3中并用图1，说明第1实施方式的美容辅助装置1的动作、以及由美容辅助装置1使用的图像处理算法。此外，在说明时，关于重要的要点，每次都追加附图来进行说明。

图2、图3所示的流程图由P1、P2、P3这3个程序模块构成，TM1、TM2、TM3表示同步点。即，程序P2至少在程序P1的步骤到达TM1之前执行即可，程序P3至少在程序P1的步骤最初到达TM3之前执行即可。此外，程序P3通过连接符号A与程序P1结合。

首先从程序P1的处理开始说明。首先，由摄像部2对包括被化妆者的面部的图像进行摄像(步骤ST101)。既可以使用用户界面6来捕捉按动态图像进行摄影而得到的图像，也可以从开始作为静止画面来进行摄影。

进行摄像而得到的图像数据在实施了上述的前处理之后，通过面部检测部10来进行面部检测，判断面部检测是否成功(步骤ST102)。

作为面部检测的一般的方法，能够使用基于统计上的学习的模型识别技术。该技术中，鉴别器的参数基于预先提供的学习用样本来决定。作为鉴别器，公知例如使用神经网络、支持向量机、贝叶斯估计等的方法。这些方法通常由如下技术构成：从输入图像中提取用于鉴别的特征量的特征选择技术、构筑将提取到的特征量作为输入来判定是否是对象物的鉴别器的鉴别器构筑技术、以及使用构筑的鉴别器来判定在图像窗口内是否存在面部的技术。

作为判定面部是否存在的技术，公知例如使用4方向面特征与线形判别分析的方法。在该技术中，针对通过图像内的肤色信息、运动信息来设定的探索区域，通过使用4方向面特征的模板，来进行输入图像的扫描探索，通过线形判别分析检测在面部以及头部的模型中鉴别的区域。

此处，4方向面特征是工程学地模拟了脑的视觉皮质的特征量，具有相对于边缘的形状变动有稳健性、计算成本低这样的特征。4方向面特征是将各像素的边缘梯度分配到4个方向面来表现的特征，被公知为将所谓的Gabor特征简化的那样的特征。

另外，线形判别分析是指关于作为判别对象的2个以上的群集而求出使类内方差最小并使类间方差最大那样的投影矩阵的方法。并且，是指如下的总体方法：通过由线形判别分析得到的映射矩阵，来将所输入的特征量投影到判别空间，将与判别类别的平均向量的距离最小的类别作为鉴别结果。一般来说，在这些面部识别技术中，能够计算识别的可靠度，所以通过将所输出的可靠度的值与规定的阈值进行比较来判定面部检测是否成功即可。

如果面部检测成功(步骤ST102中的“是”)，则前进到步骤ST104，如果不成功(步骤ST102中的“否”)，则进行摄像部2中的电荷累积时间、帧频这样的参数调整、面部检测的阈值调整(步骤ST103)，再次对被化妆者进行摄影(步骤ST101)。当然，如果不需要再次的摄像(例如，在能够通过图像的对比度调整、γ值来进行修正的情况下)，则也可以在前处理的阶段修正图像而执行面部检测。另外，输出按照可靠度来确定面部识别失败的原因的代码，参照它来进行参数调整，从而能够以少的试验次数对适于面部识别的图像进行摄影。

此外，即使在步骤ST102中面部检测成功，包括面部的面部框架的框架尺寸、面部框架内的面部的朝向、面部的位置也是各种各样的，在该状态下无法评价与其他面部图像的类似性。因此，需要进行归一化，以使得面部收敛于规定的面部框架内。作为该方法，公知例如针对所检测到的面部框架进行眼睛的检测并基于眼睛的位置来对面部图像实施仿射变换而对面部进行归一化的方法、或者对所检测到的面部框架应用AAM(ActiveShapeModel，主动行状模型)并对面部框架实施仿射变换而对面部进行归一化的方法。通过实施这些处理，所检测到的面部框架全部被统一尺寸(例如100×100个像素)，被归一化成使得面部存在于面部框架的中心。

在从这样由摄像部2进行摄影而得到的图像中进行面部检测之后，由面部部分检测部11进行眼睛、鼻子、嘴这样的面部部分位置的检测，判断面部部分位置的检测是否成功(步骤ST104)。在面部部分检测部11中，例如，通过四方向面特征与松弛匹配法，能够减少对人物的差异、面部的朝向的依赖性地进行眼睛、鼻子、嘴这样的面部部分的检测。

作为能够应用于第1实施方式的其他技术，公知使用Haar-like特征来检测面部与各面部部分的方法。此时，首先，以在面部部分当中最容易检测的鼻子作为基准，根据相对的位置关系推测各面部部分的候补区域。进而，也可以在该候补区域附近，进行使用HOG(HistogramofOrientedGradient，方向梯度直方图)特征量的模板匹配，对面部部分位置进行微调整。此外，HOG特征量是指对预先规定的局部区域(单元，cell)的亮度的梯度方向进行直方图化的方法，在进行了几何学变换的情况下也容易提取特征量，并且针对照明的变动也具有稳健性。

在面部部分判定中也能够计算检测的可靠度，所以通过将可靠度与规定的阈值进行比较，能够判定面部部分检测是否成功。如果面部部分检测成功(步骤ST104中的“是”)，则前进到步骤ST106，如果失败(步骤ST104中的“否”)，则进行与摄像相关的参数调整(步骤ST105)，再次对被化妆者进行摄影(步骤ST101)。此外，步骤ST105的处理与步骤ST103相同，所以，省略详细的说明。

接下来，合成面部图像生成部12对妆扮方法存储部4c进行访问来读入图像调整参数(步骤ST106)，其后，生成合成面部图像(步骤ST107)。

图4是说明生成合成面部图像时的图像处理对象的说明图。下面，在图4中并用图1来详细说明图像处理对象以及图像合成时使用的图像调整参数的内容。

在图4中，AR1～AR6分别表示要进行化妆的对象部位(范围)。具体来说，AR1表示面部整体，AR2表示描眉的范围，AR3表示附加眼影的范围，AR4表示画眼线的范围，AR5表示涂腮红的范围，AR6表示涂唇膏的范围。其中，AR2～AR5原本出现在面部的左右，但省略其中一方地描绘。

合成面部图像是模拟对这些对象部位分别进行了化妆的状态而生成的，在第1实施方式中，区分为简易模式与详细模式这2种来设定所实施的化妆的内容。

在简易模式中，在AR1中，使用两种颜色的化妆品(粉底)中的某一种(将其颜色设为FAC1、FAC2)。在AR2中，使用三种颜色的化妆品中的某一种(将其颜色设为EBC1～EBC3)。在AR3中，使用三种颜色的化妆品中的某一种(将其颜色设为ESC1～ESC3)。在AR4中，使用两种颜色的化妆品中的某一种(将其颜色设为ELC1、ELC2)。在AR5中，使用四种颜色的化妆品中的某一种(将其颜色设为CEC1～CEC4)。在AR6中，使用四种颜色的化妆品中的某一种(将其颜色设为LPC1～LPC4)。组合了它们的妆扮方法存在2×3×3×2×4×4＝576种。此外，在下面的说明中，将FAC1、LPC1这样的表示颜色的标记简称为“颜色记号”。

另一方面，在详细模式中，在AR1中，使用六种颜色的化妆品中的某一种(颜色记号为FAC1～FAC6)。在AR2中，使用三种颜色的化妆品中的某一种(颜色记号为EBC1～EBC3)，在AR2中以细、标准、粗这三种中的某一种来描眉。在AR3中，使用18种颜色的化妆品中的某一种(颜色记号为ESC1～ESC18)，在AR3中以细、标准、粗这三种中的某一种来附加眼影。在AR4中，使用两种颜色中的某一种(颜色记号为ELC1、ELC2)。在AR5中，在脸颊上·脸颊下·整个脸颊这3个位置中的某一处使用四种颜色中的某一种(颜色记号为CEC1～CEC4)。在AR6中，使用8种颜色中的某一种(颜色记号为LP1～LP8)。组合了它们的妆扮方法存在6×(3×3)×(18×3)×2×(4×3)×8＝559872种。

在妆扮方法存储部4c中，作为与一种妆扮方法对应的图像调整参数，存储有颜色记号、与颜色记号对应的具体的化妆品名称、与使用这些化妆品来进行化妆时的肌肤的颜色的变化(准确地说，亮度、彩度、色相变化)相关的信息(颜色变化信息)、以及在AR2中画出的眉毛等的形状信息(与细、标准、粗对应的图像数据)、化妆的顺序等。

进而，在上述的颜色变化信息中，包括根据由摄像部2进行摄像而得到的被化妆者的面部图像的肤色的亮度、彩度、色相来调整作为模拟的化妆的效果的颜色调整因子。颜色调整因子例如作为L*a*b*表色系中的修正率而被导入，它考虑了例如即使对具有与粉底的颜色接近的肌肤颜色的人附加同色的粉底效果也小的情况等。另外，化妆从技术上看是指在肌肤的上涂覆粉体或者液体等的行为，所以通过援用例如电子照片记录技术领域中的在具有特定的颜色分量(肤色)的记录介质上重叠包括特定颜料或者染料的粉体调色剂或者液体墨水的情况下的层状模型，能够提高由化妆所引起的亮度(浓度)、色相、彩度变化的预测精度。

另外，在上述的形状信息中，包括与面部部分的大小相应的缩放调整因子。该调整因子例如从另外检测到的面部图像中根据眼睛的水平方向的大小，来调整眼线、眉毛的水平方向尺寸、倾斜等。

图5是说明本发明的第1实施方式的美容辅助装置1中生成合成面部图像的过程的说明图。下面，使用图1、图2、图5来继续进行说明。合成面部图像生成部12从作为数据库的妆扮方法存储部4c中取得颜色变化信息、形状信息、颜色调整因子、缩放调整因子、化妆的顺序这样的图像调整参数，参照通过面部部分检测部11检测到的各面部部分的位置，根据被化妆者的面部图像与图像调整参数的值，来生成合成面部图像(步骤ST107)。然后，执行该处理，直到生成上述的AR1～AR6的全部的组合的合成面部图像、即在简易模式的情况下的576种、在详细模式的情况下的559872种合成面部图像为止(步骤ST108中的“是”)。然后，所生成的合成面部图像被保存在合成面部图像存储部4d中。

更具体来说，如图5所示，例如在合成面部图像1中，针对AR1应用FAC1，针对AR2应用EBC2，针对AR3应用ESC1，针对AR4应用ELC2，针对AR5应用CEC2，针对AR6应用LPC3来生成合成面部图像。进而，关于AR1～AR6的全部的组合来执行该操作，生成合成面部图像1～合成面部图像M(在简易模式中，M＝576)。

此外，在下面的说明中，在提到“妆扮方法”时，意味着在生成一个合成面部图像时针对AR1～AR6实施的妆扮的组合模型。即，合成面部图像分别对应于相互不同的妆扮方法。

图6是说明在本发明的第1实施方式的美容辅助装置1中在特征量空间中绘制特征量的过程的说明图。

下面，使用图1、图2、图6来继续进行说明。接下来，特征量提取部25取出在合成面部图像存储部4d暂时储存的被化妆者的合成面部图像，进行特征量提取并绘制在特征量空间中(步骤ST109)。

在第1实施方式中，作为特征量，使用Gabor特征量、或者LBP(LocalBinaryPattern)。Gabor特征量通过用高斯函数将sin/cos函数局部化而得到的Gabor滤波器来提取。即，通过针对图像数据在Gabor滤波器中进行卷积运算，能够提取边缘以及该边缘的亮度值(强度)。关于该特征量，由于提取局部的特征，所以不易受到照明变动的影响。

另外，LBP特征量将进行关注像素与其周围8个像素的亮度值的比较而得到的位列设为特征量。能够根据该特征量来提取在局部区域中存在的边缘。该LBP被公知为也不易受到照明变动的影响、进而计算成本小的方法。另外，LBP是位列、即数值，所以也可以针对图像预先提取LBP的数值，把将该数值设为等级并将其出现频率设为频数的直方图用作特征量。具体来说，将合成面部图像分割成多个块，在各块内生成LBP特征量的直方图，把将它们连结而得到的向量用作最终的LBP特征量向量即可。

这样，Gabor特征量、LBP特征量在原本边缘不存在的地方出现边缘的情况下(眼影、眼线、腮红等)，能够提取其变化。特别是，Gabor特征量在使得原本边缘存在的部位的边缘更加明显的情况(眼线、嘴唇等)、由于粉底而面部整体的亮度值变化的情况下，也能够提取该变化。

通过这些操作，将各种图像从亮度向量变换成特征量向量，并绘制到图6所示的特征量空间。此外，特征量空间没有反映在后面说明的基于人的感性的评价项目。然而，特征量空间经由上述的特征量来表示整体的外观，也可以称为“外观的空间”。因此，在特征量空间中，绘制了从2个图像中提取到的特征量的坐标相接近的情况无非是2个图像的外观相似。

此外，在第1实施方式中，将合成面部图像如上所述地归一化为100×100像素，从该归一化图像中得到Gabor特征量或者LBP特征量。

图7是说明在本发明的第1实施方式的美容辅助装置1中将特征量投影到部分空间的过程的说明图，图8是示出基于人的感性的评价项目的内容(感觉上的特性)的表。

下面，使用图2、图7、图8来继续进行说明。在步骤ST110中，将上述的特征量向量投影到与基于人的感性的评价项目对应的部分空间。

此处，如图8所示，在第1实施方式中，例如，关于～20岁的女性，将“女性化”、“可爱”、“孩子气”设定为评价项目。然后，关于20岁～30岁的女性，将“女性化”、“可爱”、“时髦(chic)”、“妩媚(coquette)”、“性感”这5种设定为评价项目。

下面，详细说明图7所示的与“女性化”、“可爱”等对应的部分空间的制作方法。首先，通过统计上的学习方法，来预先求出与作为评价项目的“可爱”等对应的部分空间。例如，在生成“可爱”的部分空间的情况下，预先针对M个学习用面部图像提取上述的Gabor特征量、或者LBP特征量，另一方面，根据人的主观，预先赋予“可爱”的值y(标签信息。例如是1～10那样的等级值，表示数值越大则“可爱”的程度越大)。

此处，如果预先从M个学习用面部图像中提取与上述的特征量相同的特征量向量，则得到学习向量·标签的集合(式1)。

[式1]

｛(X_i，y_i)，i＝1，...，M｝···(1)

此处，将特征量向量x的维数设为N。

一般来说，特征量向量x为高维度的向量，所以需要进行从维数N中仅取舍选择有用的轴的操作(降维)。在特征量向量x不具有标签信息的情况下，一般广泛使用主成分分析(PCA：PrincipleComponentAnalysis)，但如上所述，在特征量向量x如“可爱”值y那样具有标签信息的情况下，费舍尔线形判别分析(FDA：FisherDiscriminantAnalysis)、局部费舍尔线形判别分析(LFDA：LocalFisherDiscriminantAnalysis)等是有用的。

此处，线形判别分析是指基于标签信息来将特征量向量x进行分类归并、并且投影到各群集的类内方差变小并且类间方差变大那样的低维空间的方法。将该低维空间称为维数N的空间的部分空间。

根据向量·标签的集合(式1)，使用线形判别分析来计算投影矩阵W，将该投影矩阵W预先储存到存储部4的投影矩阵/回归模型存储部4e中。对全部的评价项目执行该操作。即，生成基于人的感性的评价项目的个数的投影矩阵W。然后，在步骤ST110中，在将从合成面部图像中得到的特征量投影到与各评价项目对应的部分空间时使用该投影矩阵W。通过将特征量投影到部分空间，特征量被绘制到部分空间的坐标。

以上，关于程序P1，说明了步骤ST101～步骤ST110，在下面，为了方便说明，说明图3所示的程序P3的处理。程序P3进行输入目标面部图像并取得其特征量的处理。

在程序P3中，设想使用具有图像传感器的未图示的摄像部来取得目标面部图像，首先从作为摄像部的目标面部图像输入部20输入目标面部图像(步骤ST301)。接下来，从所输入的图像中检测面部并判断面部检测是否成功(步骤ST302)。如果面部检测不成功(步骤ST302中的“否”)，则进行参数调整(步骤ST303)，再次进行目标面部图像的摄影(步骤ST301)。此外，步骤ST301～步骤ST303的过程与程序P1的步骤ST101～步骤ST103相同，例如进行这些步骤中说明的参数调整即可。

接下来，将所取得的目标面部图像保存在未图示的存储器中(步骤ST304)，对目标面部图像提取特征量，并将其保存(步骤ST305)。然后，将该特征量作为向量来处理，并投影到与已经说明的评价项目对应的部分空间，并将其保存(步骤ST306)。但是，在执行ST306时，需要评价项目是确定的，所以，等待在程序P2的ST204中决定评价项目后，进行ST306的执行。关于此处提取的特征量以及评价项目、部分空间，与在程序P1的步骤ST109、步骤ST110中说明的完全相同，所以省略说明。通过以上所述，程序P3的处理结束，处理通过连接符号A交接到程序P1。

此外，如上所述，关于目标面部图像的输入源，允许所有的来源，认为各个目标面部图像的摄像时的照明条件不同的情况较多。对此，在第1实施方式中使用的Gabor特征量、LBP特征量是局部的统计量，所以能够减小照明的影响。

下面，回到图2的程序P1，说明步骤ST111以后的处理。此外，在说明时参照图7。

通过上述的步骤ST305来取得目标面部图像的特征量空间中的坐标(即，特征量向量自身)，通过步骤ST306来取得将目标面部图像的特征量向量投影(绘制)到与各评价项目对应的部分空间的坐标。

在步骤ST111中，对于作为评价项目之一的例如“可爱”的部分空间，欧氏距离计算部29取出将被化妆者的1张合成面部图像的特征量向量投影到部分空间而得到的向量P以及将目标面部图像的特征量向量投影到部分空间而得到的向量Q，使用(式2)来进行计算它们的欧氏距离d(P，Q)。

[式2]

$d(P,Q)=\sqrt{\underset{i=1}{\overset{n}{\Σ}}{(y_i-x_i)}^2}...\left(2\right)$

此外，在(式2)中，n表示部分空间的维数，y_i表示向量P的第i轴的值，x_i表示向量Q的第i轴的值。

即，如图7所示，在“可爱”的部分空间中，计算合成面部图像1的坐标位置与目标面部图像的坐标位置的距离。距离越近，则2个图像在“可爱”部分空间中越类似。然后，在步骤ST111中，在与各评价项目、即“女性化”、“性感”、“妩媚”这样的其他评价项目对应的部分空间中，也同样地求出合成面部图像1与目标面部图像的坐标间距离。通过该处理，针对一个合成面部图像对预先确定的多个评价项目计算相似度。

此外，相似度也可以直接使用欧氏距离，在这种情况下，两者越类似，则相似度的值越小。但是，如果这样处理的话，与人的感觉相反，所以例如如果在欧氏距离＝0时预先进行相似度为100那样的数值变换，则能够实现与人的感觉的一致性。此外，在下面的说明中，也将欧氏距离小的情况表现为相似度高。

这样，计算对于全部的评价项目的相似度，而对于合成面部图像与目标面部图像的“综合的相似度”，例如可以使用各评价项目的相似度的平均值。即，在第1实施方式中，对基于人的感性的评价项目的各评价项目进行图像间的相似，综合各评价项目的相似度地判定相似度。

接下来，在步骤ST112中，评价是否对于全部的合成面部图像完成了上述的处理，如果没完成(步骤ST112中的“否”)，则回到步骤ST109，从合成面部图像存储部4d取得接下来的合成面部图像并重复上述的处理。由此，对全部的评价项目，计算全部的合成面部图像与目标面部图像的相似度。在对全部的合成面部图像完成相似度(综合的相似度)的计算的情况下(步骤ST112中的“是”)，妆扮方法提取部24确定在相对于目标面部图像生成综合的相似度最高的合成面部图像时使用的妆扮方法(下面，称为“最佳的妆扮方法”)，对妆扮方法存储部4c进行访问而取出妆扮方法的具体的内容(使用的化妆品、化妆的顺序等)，将其保存在规定的存储器区域中(步骤ST113)。到此，程序P1的处理结束。

下面，说明程序P2的处理。在第1实施方式中，上述的基于人的感性的评价项目根据推测被化妆者的性别与年龄的结果来决定。

程序P2在至少在程序P1中面部检测成功(步骤ST102中的“是”)的时机以后起动。此外，被化妆者的面部图像已经被归一化。首先，从被化妆者的面部图像中提取特征量(步骤ST201)。性别、年龄能够着眼于例如眼睛、嘴、面部的轮廓、皱纹等来推测，作为特征量，能够利用例如4方向面特征。

接下来，对属性推测模型存储部4a进行访问而读入属性推测模型(步骤ST202)。下面，说明属性推测模型的制作方法，但为了简单起见，仅说明性别的推测。首先，通过统计上的学习方法来预先求出与“性别”对应的属性推测模型。在学习“性别”的属性推测模型的情况下，如先前作为部分空间的制作方法说明的那样，预先对M个学习用面部图像提取已经说明的Gabor特征量、或者LBP特征量等，另一方面，根据人的主观，赋予表示“性别”即“男性”或者“女性”的值y(标签信息)。

其后，学习针对输入x的输出y(性别)的属性判定模型。作为学习方法，公知例如线形判别分析、SVM(SupportVectorMachine)、AdaBoost等。

此外，作为属性推测模型的学习中使用的面部数据库，例如，公知NIST(NationalInstituteofStandardsandTechnology)、FERET(TheFacialRecognitionTechnology)。特别是在将日本女性的面部设为推测的对象的情况下，能够利用JAFFE(JapaneseFemaleFacialExpression)面部数据库。

接下来，执行年龄、性别推测(步骤ST203)。具体来说，使用从所检测到的被化妆者的面部图像中提取到的特征量(特征量向量)来对属性推测模型进行访问，从而直接地输出年龄、性别。此外，一般来说，属性推测模型是函数的一种，将“性别”“年龄”等值与属性推测模型定义的空间的坐标对应起来。由此，通过将特征量向量输入到属性推测模型，能够立即得到性别、年龄。

然后，根据对属性推测模型进行访问而得到的年龄、性别，来访问评价项目存储部4b，决定相似度判定等中使用的评价项目，并保存在规定的存储器区域中(步骤ST204)。此外，可以使用用户界面6，由被化妆者任意地确定相似度判定中使用的评价项目，另外，也可以是能够任意地选择输出后述的等级值的评价项目。到此，程序P2的处理结束。然后，所保存的评价项目在已经说明的步骤ST110中被参照，在与之对应的部分空间中进行相似度的计算。

此外，以上说明的属性推测模型根据所输入的面部图像推测人的性别与年龄，但除此之外，还可以判别例如人种(高加索人种、蒙古人种、黑色人种)。然后，也可以根据这样的人种的属性来决定评价项目。

此外，在此前的说明中，说明了用于判定对被化妆者的面部图像应用各种妆扮方法而得到的合成面部图像与目标面部图像的相似度的结构以及处理。另一方面，对于被化妆者来说，如果能够与相似度独立地实时判定例如关于“可爱”这样的评价项目的目标面部图像的等级值与化妆前的等级值、以及进行化妆的被化妆者的等级值，则使用便利性提高。

图9是说明在美容辅助装置1中向被化妆者显示等级值的过程的流程图。该流程图所示的程序P4既可以在例如使用图2来说明的程序P1结束的时间点起动，也可以由被化妆者任意地起动。

下面，使用图9与图1来说明针对各评价项目实时地显示等级值、妆扮方法、目标面部图像、被化妆者的面部图像的过程。此外，等级值通过评价部40来赋予。

首先，取出在程序P1的步骤ST113中保存的最佳的妆扮方法的具体的内容(步骤ST401)。接下来，读入在程序P2的步骤ST204中保存的评价项目、或者被化妆者任意地选择的评价项目(步骤ST402)。接下来，对投影矩阵/回归模型存储部4e进行访问，读入预先在投影矩阵/回归模型存储部4e中存储的各评价项目的回归模型(步骤ST403)。

下面，说明回归模型的制作方法。首先，通过统计上的学习方法，来预先求出图8所示的与各评价项目(“女性化”、“性感”、“可爱”等)对应的部分空间中的回归模型。例如，在学习“可爱”的回归模型的情况下，如先前作为部分空间的制作方法说明的那样，预先对M个学习用面部图像提取已经说明的Gabor特征量、或者LBP特征量等，另一方面，根据人的主观，预先赋予“可爱”的值y(标签信息)。

其后，在通过上述的线形判别分析求出评价项目“可爱”的投影矩阵J之后，在投影了特征量向量之后的低维空间中，学习针对输入x的输出y(等级值)的回归模型。作为学习方法，公知例如线形回归、贝叶斯线形回归、SVR(SupportVectorRegression，支持向量回归)等。这样，通过使用回归模型，在输入了未知的特征量向量的情况下，能够推测等级值。此外，在第1实施方式中，除回归模型之外，还可以使用例如神经网络等来推测等级值。

根据被化妆者的面部图像，由特征量提取部25提取特征量(特征量向量)，通过部分空间投影部26与投影矩阵J相乘，从而生成投影向量，使用该投影向量(坐标)，由等级推测部41访问回归模型，从而直接地输出与所输入的特征量对应的例如“可爱”的等级值。此外，一般来说，回归模型是函数的一种，将“可爱”等各评价项目的等级值与回归模型定义的空间的坐标对应起来。由此，将和各回归模型对应的投影矩阵J与特征量向量相乘，并输入到回归模型，从而能够立即得到关于评价项目的等级值。在这样的结构中，部分空间投影部26包含等级推测部41，如果将它们结合起来，则作为回归模型投影部发挥功能。

接下来，读入在已经说明的程序P3的步骤ST304中保存的目标面部图像(步骤ST404)。接下来，读入在程序P3的步骤ST305保存的目标面部图像的特征量(步骤ST405)。接下来，通过部分空间投影部26将所读入的特征量输入到各评价项目的回归模型(步骤ST406)，从而针对每个评价项目得到等级值。此外，该过程中的数据路径在图1中未示出，但具体来说，整体控制部7从未图示的存储器读入目标面部图像的特征量，将其直接转交到部分空间投影部26，由此被执行。

接下来，将在步骤ST404中读入的目标面部图像、以及在步骤ST401读入的最佳的妆扮方法的具体的内容显示在显示部5中(步骤ST407)。

接下来，将针对在步骤ST406中求出的目标面部图像(准确地说，其特征量)的各评价项目的等级值绘制到显示于显示部5中的雷达图上(步骤ST408)。

接下来，由摄像部2对想要进行化妆的被化妆者进行摄影(步骤ST409)。

接下来，与已经在步骤ST102中说明的同样地，由面部检测部10检测被化妆者的面部，判定面部检测是否成功(步骤ST410)。如果面部判定失败(步骤ST410中的“否”)，则调整摄像参数(步骤ST411)，再次对被化妆者进行摄影(步骤ST409)。另一方面，如果面部检测成功，则接下来由特征量提取部25提取被化妆者的面部图像的特征量(步骤ST412)。关于所提取的特征量，与程序P1的步骤ST109相同，所以省略说明。此外，也可以在连续帧之间追踪(跟踪)面部区域。

接下来，部分空间投影部26将所得到的特征量作为特征量向量，与针对每个评价项目而制作的投影矩阵J相乘，并输入到回归模型(步骤ST413)。在应评价的全部评价项目中进行该操作，从而对于全部的评价项目提取被化妆者的当前的(例如，化妆中的)等级值。

接下来，将在步骤ST409中得到的被化妆者的面部图像显示在显示部5中(步骤ST414)。

接下来，将在步骤ST413中得到的各评价项目的等级值绘制到在显示部5中显示的雷达图上(步骤ST415)。

如果步骤ST415结束，则在空出规定的间隔期间之后，回到步骤ST409，再次进行被化妆者的面部图像的摄影。此外，上述的步骤ST409～步骤ST415构成无限循环，但也可以构成为当在间隔期间中检测到用户界面6的键输入等的情况下从该循环脱离。通过该循环，摄像部2在规定的时机对被化妆者的面部图像重复进行摄像并更新，评价部40对于被更新的被化妆者的面部图像输出等级值，显示部5实时地显示被更新的被化妆者的面部图像与等级值。

图10(a)～(c)是示出与基于人的感性的评价项目对应的部分空间与回归模型的关系的说明图，图10(d)是说明将关于各评价项目的等级值显示在雷达图中的状态的说明图。

图10(a)示出了评价项目“女性化”的部分空间与在该部分空间内被学习的“女性化”回归模型的关系，图10(b)示出了评价项目“性感”的部分空间与在该部分空间内被学习的“性感”回归模型的关系，图10(c)示出了评价项目“时髦”的部分空间与在该部分空间内被学习的“时髦”回归模型的关系。图10(a)～(c)除了表示等级值的坐标轴之外还示出了3轴，但部分空间是多维空间，一般来说，坐标轴的数量(维数)很庞大。在各图中，回归模型由曲线来表现，但实际上是存在于多维空间的超平面或者超曲面。

下面，为了简单起见，对图10(a)进行说明。此处，关于在曲线上附加的2点，黑圆是将目标面部图像的特征量投影到“女性化”部分空间而得到的坐标，示出了该坐标处的等级值是9点。阴影填充圆是将被化妆者的面部图像的特征量同样地投影而得到的坐标，示出了该坐标处的等级值是5点。图10(b)、(c)也一样。即，在各部分空间中，通过参照等级值的轴，能够确定目标面部图像以及被化妆者面部图像的等级值。

将其绘制到图10(d)所示的那样的雷达图上。雷达图被设定为越靠中心则等级越低并且越靠外侧则等级越高，从中心向外地设置的5个轴分别表示评价项目。在图10(d)中，用双点划线表示在各评价项目中连接了目标面部图像的等级值的线，用单点划线表示连接了被化妆者的面部图像的等级值的线。

如在上述的程序P4的步骤ST409～步骤ST415中说明的那样，被化妆者的面部图像被周期性地摄影，每次判定各评价项目中的等级值，所以被化妆者进行化妆而被化妆者的面部图像越类似于目标面部图像，则图10(d)的雷达图的各评价项目的值越大(或者越小)，理想的是占据目标面部图像的大致等同的范围。在该雷达图中特征性的事项即使是成为化妆的样板的目标面部图像，各评价项目的等级值也不限于取最大的值，终归是由回归模型决定的值。这无非是关于各评价项目以有限的学习为限度来确定绝对基准。

由此，被化妆者能够直观地理解自己喜好的妆扮的方向性具有什么样的特性(即，雷达图上的分布偏向哪个评价项目)。另外，如果存在被化妆者选择各评价项目中的等级值整体都高的评价项目的情况，则认为根据当天的心情想要进行更“可爱”、“女性化”这种感觉上的形像的化妆的情况较多。这样，被化妆者理想的化妆由于各种事由而变化，但本发明能够充分地应对这样的被化妆者的广泛需求。

图11是说明显示部5中的显示内容的例子的说明图。如图11所示，在第1实施方式中，在显示部5中显示在已经说明的步骤ST404中取得的目标面部图像、在步骤ST409中进行摄影而得到的被化妆者的面部图像、以及在步骤ST401中取得的最佳的妆扮方法，在步骤ST406及以及步骤ST413中将特征量输入到回归模型而得到的等级值被绘制到雷达图上。此处，关于妆扮方法，可以不仅显示上述的颜色记号，还显示用于实现该颜色记号的颜色的化妆品名称，另外，当在详细模式下制作合成面部图像的情况下，也可以与其一并地显示眉毛、眼影的形状。

并且，如在程序P4中说明的那样，周期性地重复进行被化妆者的面部图像的摄影，根据被更新的面部图像，被绘制到雷达图上的等级值实时地时刻变化。

此外，以上说明的程序P1～程序P4例如能够作为应用软件来发布，在安装到智能手机、平板终端等信息终端的硬件上进行动作。关于图1所示的各结构要素，例如在智能手机中，摄像部2对应于内置相机，显示部5对应于由有机EL、液晶构成的显示面板，目标面部图像输入部20对应于安装内置相机或者移动性存储介质等的界面，图像处理部3对应于CPU以及外围系统，存储部4对应于SSD(SolidStateDrive)、硬盘驱动器等大容量存储装置。

(第2实施方式)

图12是说明在本发明的第2实施方式的美容辅助装置1中判定相似度的过程的流程图。在第1实施方式中，程序P2被控制成到设置于步骤ST109与步骤ST110之间的同步点TM1为止完成处理。另一方面，在第2实施方式中，程序P2被控制成到设置于步骤ST104与步骤ST106之间的同步点TM2为止完成处理，这一点是大的特征。

如已经说明的那样，程序P2通过推测被化妆者的性别、年龄等属性，来决定评价项目。在第2实施方式中，在生成合成面部图像之前，进行评价项目的决定。通过采用该处理，在生成合成面部图像时，能够反映属性推测的结果。如上所述，在属性推测中，例如能够推测人种，所以能够根据所推测到的人种来从妆扮方法存储部4c中选择基于不同的化妆品的群的妆扮方法，能够生成更准确的合成面部图像。当然，在生成合成面部图像时，也能够构成为不仅根据人种，还根据性别、年龄来选择不同的妆扮方法。

(第3实施方式)

图13是示出本发明的第3实施方式的美容辅助装置1的结构的结构框图。在第1实施方式中，存储在合成面部图像的生成中利用的妆扮方法的妆扮方法存储部4c、合成面部图像存储部4d、投影矩阵/回归模型存储部4e、合成面部图像生成部12、相似度判定部22、等级推测部41、妆扮方法提取部24都设置在美容辅助装置1中。另一方面，在第3实施方式中，将上述的结构要素配置在美容辅助装置1的外部这一点是大的特征。

在图13中，美容辅助装置1具备界面42，构成为能够经由它而因特网等访问到外部网络100。服务器45(一般来说，在与美容辅助装置1不同的地方)经由界面43而连接于该外部网络100。即，图13示出了利用所谓的云的美容辅助系统的结构。在该系统中，将在第1实施方式中说明的图像处理部3的主要结构要素设置于服务器45。

服务器45作为数据库，具备妆扮方法存储部4c、合成面部图像存储部4d以及投影矩阵/回归模型存储部4e。服务器45还具备构成相似度判定部22的特征量提取部25、部分空间投影部26与欧氏距离计算部29、以及附随于这些结构要素的等级推测部41、妆扮方法提取部24。并且，等级推测部41输出的等级值以及妆扮方法提取部24输出的“最佳的妆扮方法”经由服务器45的界面43、外部网络100、界面42而被引入到美容辅助装置1，并将它们显示在显示部5中。这些结构要素通过控制部48来控制其总体动作。当然，也可以直接利用作为计算机系统的服务器来实现这些全部的结构要素。

图13所示的数据路径虽然经由界面42、外部网络100与界面43来暂时集中，但图像数据、图像处理后的数据、各种参数等与图1所示的结构同样地在各结构要素之间传送。

如在第1实施方式中说明的那样，合成面部图像是按简易模式或者详细模式这2种设定来生成的。特别是在详细模式中，所合成的面部图像的数量多达例如559872种。并且，所生成的合成面部图像本身只要不追加、删除、修正新的妆扮方法(即，只要不进行对妆扮方法造成影响的化妆品的销售等)就不变。这样，储存所生成的合成面部图像的合成面部图像存储部4d通常具有作为参照用(读取专用)的数据库的性质。

然而，作为实际问题，化妆品具有流行性，并且根据季节，所使用的化妆品也变化，所以，控制部48经由外部网络100而依次获得新的化妆品信息，根据该化妆品信息来对多种妆扮方法进行重建，并且，更新妆扮方法存储部4c的内容。

此处，在合成面部图像存储部4d中，除了存储对多种妆扮方法进行模拟而得到的合成面部图像之外，还存储了成为图像合成时的基础的基本面部图像(未实施任何妆扮方法的被化妆者的面部图像)。因此，如果在市场上更新化妆品，则控制部48在经由外部网络100而确认了被化妆者的意向之后，对基本面部图像应用更新的妆扮方法来新生成合成面部图像，将其储存到合成面部图像存储部4d中。即，妆扮方法存储部4c以及合成面部图像存储部4d构成可重写型的数据库。通过这样，在同一被化妆者想要在与不同的目标面部图像之间判定相似度那样的情况下，不需要重新生成合成面部图像。此外，也可以代替合成面部图像而存储提取到的特征量。

当然，也可以使合成面部图像存储部4d始终为空的状态，仅在被化妆者使用美容辅助装置时，将被验者的合成面部图像保存到合成面部图像存储部4d。然后，也可以在根据相似度判定来决定了最佳的妆扮方法之后，全部放弃在合成面部图像存储部4d中保持的合成面部图像。通过这样，动态地运用合成面部图像存储部4d，所以能够减小合成面部图像存储部4d的存储容量。

这样，在第3实施方式中，通过将执行图像处理运算的服务器45与美容辅助装置1分开，使处理在网络上分散，能够分散数据库破坏等风险，并且在云侧执行处理负担大的运算，能够提供基于云计算的服务。

如以上说明的那样，通过第3实施方式，被化妆者能够始终利用最新的化妆品，进行接近于目标面部图像的化妆。另外，通过在美容辅助装置1的外部构筑好这样的数据库以及执行图像处理运算的主体，被化妆者只要具有例如智能手机、平板终端这样的信息终端，就能够通过经由外部网络100而与服务器45连接来享受美容辅助的服务。

(第4实施方式)

图14是示出本发明的第4实施方式的美容辅助装置1的结构的结构框图。在第1实施方式中，通过相互不同的妆扮方法来生成的合成面部图像与目标面部图像的相似度，是将从两者中提取到的特征量投影到与基于人的感性的评价项目对应的部分空间，并根据部分空间中的欧氏距离来求出的。并且，通过由部分空间投影部26将从被化妆者的面部图像与目标面部图像中提取到的特征量输入到各评价项目的回归模型，求出各评价项目的等级值。在第4实施方式中，其中构成为在特征量空间中计算合成面部图像与目标面部图像的相似度这一点是大的特征。

根据由摄像部2进行摄影而得到的被化妆者的面部图像以及相互不同的妆扮方法生成合成面部图像并根据该合成面部图像来取得特征量的过程、以及根据由目标面部图像输入部20输入的目标面部图像来取得特征量的过程与第1实施方式相同，所以省略说明。

如在第1实施方式中说明的那样，从合成面部图像以及目标面部图像中提取的特征量表示多维向量。因此，能够将由特征量提取部25提取到的这些特征量不经由部分空间投影部26而直接传送到欧氏距离计算部29，使用(式2)来求出两特征量的欧氏距离。由此，在图3所示的“外观的空间”中，能够计算合成面部图像与目标面部图像的相似度。针对全部的合成面部图像进行该操作，在妆扮方法提取部24中，提取生成欧氏距离最小的合成面部图像的妆扮方法。

这样在第4实施方式中，与各个评价项目无关联地根据整体的外观来判定相似度，与例如被化妆者选择多个评价项目那样的情况相比较，能够降低计算成本。因此，根据使用的评价项目的数量来确定将特征量空间与部分空间中的哪一个用于相似度计算即可。

并且，在这种情况下，基于被化妆者的面部图像与目标面部图像的等级值的推测也通过部分空间投影部26与等级推测部41来独立地进行，所以在使用美容辅助装置1时，不会产生特别的制约。

以上，作为第1实施方式～第4实施方式，说明了本发明的美容辅助装置、美容辅助系统、美容辅助方法、美容辅助程序。在这些说明中，作为计算相似度的对象，示例了应用相互不同的妆扮方法而得到的合成面部图像与目标面部图像，作为计算等级值的对象，示例了被化妆者的面部图像(化妆中的面部图像)与目标面部图像，但本发明不仅应用于对面部实施的妆扮的领域，也能够应用于例如头发整理、美容整形这样的领域。

产业利用性

本发明的美容辅助装置、美容辅助系统、美容辅助方法、美容辅助程序由于在被化妆者进行化妆时能够可靠地提取最佳的妆扮方法，所以能够适当地利用于进行美容辅助的专用机、用于进行美容辅助的终端设备与服务器、安装有美容辅助程序的计算机、智能手机、平板终端等。

标号说明

1美容辅助装置

2摄像部(摄像单元)

3图像处理部

4存储部

4a属性推测模型存储部

4b评价项目存储部

4c妆扮方法存储部

4d合成面部图像存储部

4e投影矩阵/回归模型存储部

5显示部(显示单元)

6用户界面

7整体控制部

10面部检测部

11面部部分检测部

12合成面部图像生成部(合成面部图像生成单元)

20目标面部图像输入部(输入单元)

21面部检测部

22相似度判定部(相似度判定单元)

24妆扮方法提取部(妆扮方法提取单元)

25特征量提取部(特征量提取单元)

26部分空间投影部(投影单元)

27属性推测部(属性推测单元)

28评价项目决定部

29欧氏距离计算部

40评价部(评价单元)

41等级推测部(等级推测单元)

45服务器

Claims (18)

1.一种美容辅助装置，其特征在于，具有：

摄像单元，对使用者的面部图像进行摄像；

输入单元，输入目标面部图像；

合成面部图像生成单元，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像；

相似度判定单元，判定所述目标面部图像与所述多个合成面部图像的相似度；以及

美容方法提取单元，提取对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法。

2.一种美容辅助装置，其特征在于，具备：

摄像单元，对使用者的面部图像进行摄像；

输入单元，输入目标面部图像；

合成面部图像生成单元，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像；

相似度判定单元，判定所述目标面部图像与所述多个合成面部图像的相似度；

评价单元，针对所述使用者的面部图像与所述目标面部图像，关于规定的评价项目而输出等级值；以及

显示单元，显示对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法以及所述等级值。

3.根据权利要求1或2所述的美容辅助装置，其特征在于，

所述相似度判定单元具备：

特征量提取单元，从所述目标面部图像与所述多个合成面部图像中提取规定的特征量；以及

投影单元，将所述特征量投影到与基于人的感性的分别不同的评价项目对应起来的部分空间中，

根据将从所述目标面部图像与所述合成面部图像中得到的所述特征量投影到所述部分空间而得到的坐标间的欧氏距离，来判定所述部分空间中的相似度，进而，根据与分别不同的评价项目对应起来的所述部分空间中的相似度，来判定所述目标面部图像与所述合成面部图像的相似度。

4.根据权利要求2所述的美容辅助装置，其特征在于，

所述评价单元具有：

特征量提取单元，从所述目标面部图像与所述多个合成面部图像中提取规定的特征量；

投影单元，将所述特征量投影到与基于人的感性的分别不同的评价项目对应起来的部分空间中；以及

等级推测单元，根据在所述多个部分空间中通过所述投影单元进行投影而得到的所述特征量的坐标，来针对每个所述规定的评价项目而推测所述等级值。

5.根据权利要求2或4所述的美容辅助装置，其特征在于，

所述摄像单元在规定的时机下对所述使用者的面部图像重复进行摄像并更新，

所述评价单元针对被更新的所述使用者的面部图像，输出所述等级值，

所述显示单元显示被更新的所述使用者的面部图像与所述等级值。

6.根据权利要求5所述的美容辅助装置，其特征在于，

所述显示单元在具有与所述规定的评价项目对应的轴的雷达图上，显示所述等级值。

7.根据权利要求3或4所述的美容辅助装置，其特征在于，

还具备：属性推测单元，根据所述使用者的面部图像，推测年龄和性别中的至少一方，

所述相似度判定单元依照所述属性推测单元的推测结果，决定投影所述特征量的所述部分空间。

8.根据权利要求3、4、7中的任一项所述的美容辅助装置，其特征在于，

将所述规定的特征量设为N维向量，

将所述部分空间设为维数比所述N维小的空间。

9.根据权利要求1至8中的任一项所述的美容辅助装置，其特征在于，

具备：妆扮方法存储部，存储所述相互不同的美容方法，

所述妆扮方法存储部由可重写型的数据库构成。

10.根据权利要求9所述的美容辅助装置，其特征在于，

具备：合成面部图像存储部，存储通过所述合成面部图像生成单元生成的多个合成面部图像，

所述合成面部图像生成单元在所述妆扮方法存储部的内容被更新时，对成为图像合成时的基础的基本面部图像应用被更新的妆扮方法而生成所述合成面部图像，并存储到所述合成面部图像存储部中。

11.一种美容辅助系统，其特征在于，具有：

摄像单元，对使用者的面部图像进行摄像；

输入单元，输入目标面部图像；

数据库，储存有美容方法以及与所述美容方法对应的图像调整参数；

合成面部图像生成单元，对所述数据库进行访问而取得所述美容方法以及所述图像调整参数，并且参照所述图像调整参数，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像；

相似度判定单元，判定所述目标面部图像与所述多个合成面部图像的相似度；以及

美容方法提取单元，从所述数据库提取对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法。

12.一种美容辅助系统，其特征在于，包括：

信息终端，具备对使用者的面部图像进行摄像的摄像单元以及输入目标面部图像的输入单元；以及

服务器，具备数据库、合成面部图像生成单元以及相似度判定单元，其中所述数据库储存有美容方法以及与所述美容方法对应的图像调整参数，所述合成面部图像生成单元对所述数据库进行访问而取得所述美容方法以及所述图像调整参数，并且参照所述图像调整参数生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，所述相似度判定单元判定所述多个合成面部图像相对于所述目标面部图像的相似度，

所述信息终端经由网络向所述服务器发送所述使用者的面部图像以及所述目标面部图像，并从所述服务器取得对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法。

13.一种美容辅助系统，其特征在于，具备：

摄像单元，对使用者的面部图像进行摄像；

输入单元，输入目标面部图像；

数据库，储存有美容方法以及与所述美容方法对应的图像调整参数；

合成面部图像生成单元，对所述数据库进行访问而取得所述美容方法以及所述图像调整参数，并且参照所述图像调整参数，生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像；

相似度判定单元，判定所述目标面部图像与所述多个合成面部图像的相似度；

评价单元，针对所述使用者的面部图像以及所述目标面部图像，关于规定的评价项目而输出等级值；以及

显示单元，显示对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法与所述等级值。

14.一种美容辅助系统，其特征在于，包括：

信息终端，具备对使用者的面部图像进行摄像的摄像单元以及输入目标面部图像的输入单元；以及

服务器，具备数据库、合成面部图像生成单元、相似度判定单元以及评价单元，其中所述数据库储存有美容方法以及与所述美容方法对应的图像调整参数，所述合成面部图像生成单元对所述数据库进行访问而取得所述美容方法以及所述图像调整参数，并且参照所述图像调整参数生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，所述相似度判定单元判定所述多个合成面部图像相对于所述目标面部图像的相似度，所述评价单元针对所述使用者的面部图像以及所述目标面部图像，关于规定的评价项目而输出等级值，

所述信息终端经由网络向所述服务器发送所述使用者的面部图像以及所述目标面部图像，并从所述服务器取得对由所述相似度判定单元判断为相似度高的所述合成面部图像应用的美容方法与所述等级值并进行显示。

15.一种美容辅助方法，其特征在于，

对使用者的面部图像进行摄像，

输入目标面部图像，

生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，

判定所述目标面部图像与所述多个合成面部图像的相似度，

提取对判断为所述相似度高的所述合成面部图像应用的美容方法。

16.一种美容辅助方法，其特征在于，

对使用者的面部图像进行摄像，

输入目标面部图像，

生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，

判定所述目标面部图像与所述多个合成面部图像的相似度，

针对所述使用者的面部图像与所述目标面部图像，关于规定的评价项目而输出等级值，

显示对判断为所述相似度高的所述合成面部图像应用的美容方法以及所述等级值。

17.一种美容辅助程序，其特征在于，

输入使用者的面部图像与目标面部图像，

生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，

判定所述目标面部图像与所述多个合成面部图像的相似度，

提取对判断为所述相似度高的所述合成面部图像应用的美容方法。

18.一种美容辅助程序，其特征在于，

输入使用者的面部图像与目标面部图像，

生成对所述使用者的面部图像应用相互不同的美容方法而得到的多个合成面部图像，

判定所述目标面部图像与所述多个合成面部图像的相似度，

针对所述使用者的面部图像与所述目标面部图像，关于规定的评价项目而输出等级值，

显示对判断为所述相似度高的所述合成面部图像应用的美容方法以及所述等级值。