CN109310196A - 化妆辅助装置以及化妆辅助方法 - Google Patents

化妆辅助装置以及化妆辅助方法 Download PDF

Info

Publication number
CN109310196A
CN109310196A CN201780037788.5A CN201780037788A CN109310196A CN 109310196 A CN109310196 A CN 109310196A CN 201780037788 A CN201780037788 A CN 201780037788A CN 109310196 A CN109310196 A CN 109310196A
Authority
CN
China
Prior art keywords
image
face
makeup
user
project
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780037788.5A
Other languages
English (en)
Other versions
CN109310196B (zh
Inventor
西千枝
浅井理惠子
竹下幸子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109310196A publication Critical patent/CN109310196A/zh
Application granted granted Critical
Publication of CN109310196B publication Critical patent/CN109310196B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007—Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

化妆辅助装置(100)具有：图像取得部(101)，其取得用户面部图像、目标面部图像、安排面部图像；图像决定部(103)，其在从用户面部图像提取到的面部特征量与从目标面部图像提取到的面部特征量的差量值在阈值以下的情况下，采用目标面部图像中所确定的每个脸部部位的化妆项目，在差量值比阈值大的情况下，对于在所述目标面部图像与所述安排面部图像中具有不同的特征的一部分脸部部位，采用安排面部图像中所确定的化妆项目；以及信息生成部(104)，其生成将使用所采用的化妆项目时的步骤提示给用户的化妆步骤信息，并向预定装置输出。

Description

化妆辅助装置以及化妆辅助方法
技术领域
本公开涉及辅助用户化妆的化妆辅助装置以及化妆辅助方法。
背景技术
例如当用户在化妆品售卖处等地方让店员帮忙给脸化妆(makeup)后又想自己在自己的脸上化此妆时，有时会无法很好地再现(重现)。另外，例如在用户再次光顾化妆品售卖处等并让与上述店员不同的店员帮忙化上述妆的情况下，有时也无法很好地再现。
于是，考虑利用将表示化了妆时的妆的状态的图像重叠于面部(脸部)图像来生成模拟(simulation)图像的技术(例如参照专利文献1)。与面部图像重叠的图像(以下称为“化妆部位图像”)例如可列举表示眼影(eye shadow)、腮红(cheek)这样的化妆项目(item)的图像。
例如，设置于化妆品售卖处等的店铺终端生成表示店员推荐的妆的模拟图像，并将该模拟图像发送到智能手机等用户终端。由此，用户能一边查看显示于用户终端的模拟图像一边自己化妆，因此妆的再现性提高。另外，模拟图像能保存于店铺终端从而在店员之间共享，因此在用户再次到店里让店员帮忙化上述妆的情况下，妆的再现性也会提高。
现有技术文献
专利文献1：日本专利第1715357号公报
发明内容
化妆部位图像通过对模特的面部图像中的各脸部部位(例如眉、眼睑、脸颊、唇等)进行各种化妆项目的描绘来制作。然而，在用户的面部与模特的面部之间所有脸部部位的特征都相同是罕见的。在选择了与特征不同的脸部部位对应的化妆部位图像的情况下，该化妆部位图像按照用户的脸部部位的特征变形来显示。其结果，可能会导致变为表示整个面部并不协调的不自然的妆的模拟图像。
于是，本公开的一个技术方案提供能够给用户提示整个面部协调的自然的妆的化妆辅助装置。
本公开的化妆辅助装置具有：图像取得部，其取得用户面部图像、目标(target)面部图像和安排(arrange)面部图像，所述目标面部图像是按每个脸部部位确定了具有预定形状和预定颜色的化妆项目的图像，所述安排面部图像是与目标面部图像相比一部分脸部部位的特征不同的按每个脸部部位确定了具有预定形状和预定颜色的化妆项目的图像；图像决定部，其在从用户面部图像提取到的面部特征量与从目标面部图像提取到的面部特征量的差量值在阈值以下的情况下，采用目标面部图像中所确定的每个脸部部位的化妆项目，在差量值比阈值大的情况下，对于上述一部分脸部部位采用安排面部图像中所确定的化妆项目，对于其他脸部部位采用目标面部图像中所确定的化妆项目；以及信息生成部，其生成将使用所采用的化妆项目时的步骤提示给用户的化妆步骤信息，并向预定装置输出。
此外，这些总括性的或具体的技术方案既可以通过系统、方法、集成电路、计算机程序或记录介质来实现，也可以通过系统、装置、方法、集成电路、计算机程序和记录介质的任意组合来实现。
根据本公开，能够给用户提示整个面部协调的自然的妆。
附图说明
图1是表示本公开涉及的化妆辅助系统以及化妆辅助装置的构成的一例的框图。
图2是表示本公开涉及的化妆辅助装置的整体工作的一例的流程图。
图3是表示本公开涉及的化妆部位图像表(table)的一例的图。
图4是表示本公开涉及的化妆辅助装置的化妆部位图像决定处理的流程的一例的流程图。
图5是对本公开涉及的特征量比较处理的具体例进行说明的图。
图6是表示本公开涉及的化妆步骤信息的显示例的图。
图7是表示本公开涉及的模板数据生成处理的流程的一例的流程图。
图8是表示本公开涉及的安排数据生成处理的流程的一例的流程图。
图9是对本公开涉及的特征量比较处理的具体例进行说明的图。
图10是对本公开涉及的特征量比较处理的具体例进行说明的图。
具体实施方式
以下，参照附图，对本公开的一个实施方式详细进行说明。
(得到发明的见解)
化妆模拟系统中所使用的化妆部位图像例如通过专业的化妆师等对模特的面部图像按每个脸部部位(例如眉、眼睑、脸颊、唇等)描绘各种化妆项目(例如描眉(eyebrow)、眼影、腮红、唇膏(口红)等)来制作。如此制作出的化妆部位图像在化妆模拟系统中由用户或者化妆品售卖处等的店员来选择，并与用户的面部图像重叠而显示。
然而，在用户的面部与模特的面部之间所有脸部部位的特征都相同是罕见的。在与所选择的化妆部位图像对应的脸部部位的特征不同于用户的脸部部位的特征的情况下，化妆模拟系统将所选择的化妆部位图像按照用户的脸部部位的特征变形来显示。其结果，会导致显示出表示整个面部并不协调的不自然的妆的模拟图像。
于是，在本发明中，要使得能够给用户提示整个面部协调的自然的妆。
＜系统构成＞
首先，使用图1，对包括本实施方式涉及的化妆辅助装置的化妆辅助系统的构成进行说明。
图1是表示化妆辅助系统以及化妆辅助装置的一例的框图。
图1所示的化妆辅助系统1例如配置于工厂、化妆品销售店铺、美容院、医疗机构、整理仪容的化妆室、活动会场以及个人住宅等。
如图1所示，化妆辅助系统1包括化妆辅助装置100、拍摄装置200、显示装置300、操作装置400、存储装置500以及终端装置600。
化妆辅助装置100是辅助用户化妆的装置，例如配置于工厂、化妆品销售店铺、美容院、医疗机构、整理仪容的化妆室、活动会场以及个人住宅等。化妆辅助装置100既可以是台式装置，也可以是也能够容易搬运的便携式装置。将会在后面对化妆辅助装置100的构成进行说明。
拍摄装置200拍摄用户正面的面部。在此，所拍摄的面部例如是没有化妆的面部。此外，以下将拍摄到没有化妆的用户的正面面部的静态图像称为“用户面部图像”。
拍摄装置200将用户面部图像向化妆辅助装置100输出。
显示装置300显示重叠有化妆部位图像的用户面部图像或者重叠有化妆部位图像的目标面部图像等。
化妆部位图像指的是表示化妆项目的形状以及颜色的图像。化妆项目例如可列举描眉、眼影、眼线(eye line)、睫毛膏(mascara)、腮红、唇膏等。
目标面部图像指的是，拍摄到用户选作“想变成的脸”的模特的没有化妆的正面面部的静态图像。模特不限于专业模特，例如也可以是普通人。可以将对多个模特的正面面部进行拍摄而得到的多个静态图像作为目标面部图像预先存储于存储装置500。再者，也可以通过拍摄装置200或者网络取得成为目标面部图像的静态图像并存储于存储装置500。
此外，以下将重叠有化妆部位图像的用户面部图像称为“化妆后用户面部图像”，将重叠有化妆部位图像的目标面部图像称为“化妆后目标面部图像”。此外，化妆后用户面部图像也可以称为“模拟图像”。
操作装置400受理由用户进行的各种操作(例如后述的化妆后目标面部图像的选择操作等)，将操作的内容通知给化妆辅助装置100。
存储装置500例如设置于网络上的服务器装置(图略)，存储各种信息。例如，存储装置500存储化妆部位图像表(详情后述。参照图3)。另外例如，存储装置500按每个用户(用户识别信息)存储化妆步骤信息(详情后述)等。再者，存储装置500存储多个目标面部图像以及多个化妆后目标面部图像。这些化妆后目标面部图像既可以预先存储于存储装置500，也可以为通过网络等取得并使之存储。
终端装置600例如是由用户使用的智能手机和/或平板电脑等用户终端。终端装置600能够与化妆辅助装置100通信。
此外，拍摄装置200、显示装置300、操作装置400和存储装置500中的至少一个装置也可以设置于化妆辅助装置100。
＜装置的构成＞
接着，使用图1，对化妆辅助装置100的构成进行说明。
如图1所示，化妆辅助装置100具有图像取得部101、图像解析部102、图像决定部103以及信息生成部104。
虽然省略了图示，但化妆辅助装置100例如具有CPU(Central Processing Unit)、保存有控制程序的ROM(Read Only Memory)等存储介质、RAM(Random Access Memory)等工作用存储器以及通信电路。在该情况下，CPU执行控制程序由此实现图1所示的各部分的功能。
图像取得部101从拍摄装置200取得用户面部图像，使存储装置500存储该用户面部图像并且向图像解析部102输出该用户面部图像。存储于存储装置500的用户面部图像与用户识别信息相关联。
图像解析部102在从图像取得部101接收到用户面部图像时，从该用户面部图像提取面部特征量。例如，图像解析部102提取多个面部特征点(参照图5、图9、图10)，基于这些面部特征点来提取脸部部位(例如眼睛、眼睑、脸颊、鼻子、嘴唇、前额、下巴等)的形状以及位置等。另外例如，图像解析部102提取用户的头发、皮肤、瞳孔、嘴唇的颜色。
此外，作为面部特征点的提取方法以及脸部部位的提取方法，可以采用已知的分类方法、模式识别方法、聚类(clustering)方法以及最优化方法。作为已知的分类方法，例如可列举决策树分析、神经网络(包括深度学习)以及朴素贝叶斯(Naive Bayes)。作为已知的模式识别方法，例如可列举神经网络(包括深度学习)以及支持向量机(support vectormachine：SVM)。作为已知的聚类方法，例如可列举k近邻法(k-NN，k-Nearest Neighbor)、k-means以及分级聚类。另外，作为已知的最优化方法，例如可列举遗传算法。
图像解析部102将表示提取到的面部特征量的面部特征信息向图像决定部103输出。面部特征信息例如包含提取到的各脸部部位的形状以及位置(面部特征点)、头发、皮肤、瞳孔、嘴唇的颜色(RGB、辉度)等内容。
图像决定部103在从图像解析部102接收到面部特征信息时，将该面部特征信息与用户识别信息相关联而使存储装置500存储。
而且，图像决定部103从存储装置500取得多个化妆后目标面部图像，并使显示装置300显示。关于图像决定部103中的处理的详情，将会在后面使用图4等进行说明。
在此，用户进行从作为选项显示出的多个化妆后目标面部图像中选择所期望的图像的操作(化妆后目标面部图像的选择操作)。例如，用户选择与自己希望化的妆的形象(image)相符的化妆后目标面部图像。此外，作为选项显示的化妆后目标面部图像既可以是对模特的面部图像重叠了化妆部位图像而得到的图像，或者也可以是拍摄到实际化了妆的模特的面部的照片的图像。此外，用户能够手动从化妆后目标面部图像的一览中选择与自己想变成的形象相近的化妆后目标面部图像。或者，也可以让用户选择如“双眼皮”“长脸”“棱角分明(sharp)的印象”这样的表示“想变成的脸”的形象的关键字，并从后述的化妆部位图像表中的目标面部图像以及安排面部图像中提取最相近的来作为“想变成的脸”。
当操作装置400受理了由用户进行的化妆后目标面部图像的选择操作时，图像决定部103进行化妆部位图像决定处理。化妆部位图像决定处理指的是，基于用户所选择的化妆后目标面部图像、和与该化妆后目标面部图像相关联的至少一个以上的安排面部图像(详情后述)来决定向用户提示的各化妆部位图像(化妆项目)的处理。关于化妆部位图像决定处理，将会在后面使用图3、图4进行说明。
而且，图像决定部103向信息生成部104输出决定结果信息，该决定结果信息包含通过化妆部位图像决定处理所决定的各化妆部位图像、与各化妆部位图像对应的化妆项目的名称的信息(以下称为“项目名信息”)、和各化妆项目的使用方法(例如各化妆项目的使用顺序、各化妆项目的往皮肤上涂抹的方法等)的信息(以下称为“化妆手法信息”)。
此外，化妆手法信息例如也可以包含表示刷子(brush，化妆刷)等的笔压的信息、表示涂抹方向的信息、表示晕色程度的信息、表示化妆部位图像的制作者(化妆项目的描绘者)的注释(comment)的信息等。
信息生成部104在从图像决定部103接收到决定结果信息时，基于该决定结果信息和从存储装置500取得的用户面部图像生成化妆步骤信息，并向终端装置600输出。化妆步骤信息包含将使用各化妆部位图像所示的化妆项目时的步骤等提示给用户的内容。将会在后面对化妆步骤信息的详情进行说明。
＜装置的工作＞
接着，使用图2，对化妆辅助装置100的整体工作(化妆步骤信息的生成工作)进行说明。
图2是表示化妆辅助装置100的整体工作的一例的流程图。
在步骤S101中，图像取得部101从拍摄装置200取得用户面部图像。而且，图像取得部101将用户面部图像向图像解析部102输出。另外，图像取得部101将用户面部图像与用户识别信息相关联而使存储装置500存储。
在步骤S102中，图像解析部102从自图像取得部101接收到的用户面部图像提取面部特征量。而且，图像解析部102将表示提取到的面部特征量的面部特征信息向图像决定部103输出。
在步骤S103中，图像决定部103从存储装置500取得多个化妆后目标面部图像，使显示装置300将它们作为选项进行显示。关于图像决定部103中的处理的详情，将会在后面使用图4等进行说明。
在步骤S104中，当操作装置400受理了由用户进行的化妆后目标面部图像的选择操作时，图像决定部103进行后述的化妆部位图像决定处理。而且，图像决定部103向信息生成部104输出决定结果信息，该决定结果信息包含通过化妆部位图像决定处理所决定的各化妆部位图像、项目名信息和化妆手法信息。
在步骤S105中，信息生成部104基于从存储装置500取得的用户面部图像和从图像决定部103接收到的决定结果信息，生成化妆步骤信息。而且，信息生成部104将化妆步骤信息向终端装置600输出。
以上，对化妆辅助装置100的整体工作的一例进行了说明。
接着，使用图3、图4，对化妆辅助装置100的化妆部位图像决定处理(图2的步骤S104)的一例进行说明。
图3是表示化妆部位图像决定处理中使用的化妆部位图像表的一例的图。图4是表示化妆辅助装置100的化妆部位图像决定处理的流程的一例的流程图。
首先，参照图3，对化妆部位图像表进行说明。
如图3所示，化妆部位图像表对一个模板数据相关联地登记有多个安排数据(图3的例子中为三个安排数据)。
模板数据例如包含目标面部图像10、化妆部位图像11～15、面部特征信息。
目标面部图像10是没有化妆的模特的正面面部的面部图像(静态图像)。目标面部图像10被重叠化妆部位图像11～15而成为化妆后目标面部图像，并如上所述作为选项显示于显示装置300。
化妆部位图像11是表示给眉毛(脸部部位的一例)描的眉(化妆项目的一例)的形状和颜色的图像。
化妆部位图像12是表示给眼睛(脸部部位的一例)画的眼影(化妆项目的一例)的形状和颜色的图像。
化妆部位图像13是表示给眼睛(脸部部位的一例)画的眼线(化妆项目的一例)的形状和颜色的图像。
化妆部位图像14是表示给眼睛(脸部部位的一例)刷的睫毛膏(化妆项目的一例)的形状和颜色的图像。
化妆部位图像15是表示给脸颊(脸部部位的一例)涂的腮红(化妆项目的一例)的形状和颜色的图像。
此外，在此虽然列举化妆部位图像11～15表示化妆项目的形状和颜色的情况为例，但是也可以将化妆部位图像11～15设为仅表示形状的图像，而以其他途径登记表示化妆部位图像11～15的颜色的信息。
面部特征信息是表示从目标面部图像10提取到的面部特征量的信息。在图3的例子中，例示了脸部部位(例如轮廓、眼睛、嘴巴)的形状、肤色、发色，但不限定于这些，也可以包含脸部部位的位置、嘴唇的颜色等。另外，在图3的例子中，为便于说明，用语句表示了面部特征量的内容，但也可以登记表示面部特征量的值(例如面部特征点的坐标、RGB值、辉度值等)。在此，“轮廓”指的是除了头发部分的面部外周的形状，设为是与眼睛、鼻子、嘴巴、脸颊等其他脸部部位一起构成面部的脸部部位。
此外，虽然省略了图示，但是模板数据中除了图3所示的之外还包含化妆手法信息。如上所述，化妆手法信息指的是表示各化妆项目的使用方法(例如，各化妆项目的使用顺序、使用各化妆项目的往皮肤上涂抹的方法等)的信息。另外，模板数据中也可以包含关于各化妆项目附加地输入的附加信息(详情后述)等。
关于模板数据的制作处理，将会在后面使用图7进行说明。
各安排数据也与模板数据同样地包含面部图像(以下称为“安排面部图像”)、各种化妆部位图像、各种面部特征信息。安排面部图像指的是，与目标面部图像相比拍摄到一部分脸部部位的特征不同的模特的正面面部(没有化妆的面部)的图像。
例如在第1安排数据中，作为与目标面部图像10相比眼睛(眼睫毛根部)的形状不同的面部图像，登记有安排面部图像20。另外，在第1安排数据中，作为与眼睛(眼睫毛根部)对应的眼线的化妆部位图像，登记有与模板数据的化妆部位图像13不同形状的化妆部位图像23。
另外，例如在第2安排数据中，作为与目标面部图像10相比眉毛和眼睛(睫毛)的形状不同的面部图像，登记有安排面部图像30。另外，在第2安排数据中，作为与眉毛对应的描的眉的化妆部位图像，登记有与模板数据的化妆部位图像11不同形状的化妆部位图像31。另外，在第2安排数据中，作为与眼睛(睫毛)对应的睫毛膏的化妆部位图像，登记有与模板数据的化妆部位图像14不同形状的化妆部位图像34。
另外，例如在第3安排数据中，作为与目标面部图像10相比眼睛(眼睫毛根部)和脸颊(轮廓的脸颊部分)的形状不同的面部图像，登记有安排面部图像40。另外，在第3安排数据中，作为与眼睛(眼睫毛根部)对应的眼线的化妆部位图像，登记有与模板数据的化妆部位图像13不同形状的化妆部位图像43。另外，在第3安排数据中，作为与脸颊(轮廓的脸颊部分)对应的腮红的化妆部位图像，登记有与模板数据的化妆部位图像15不同形状的化妆部位图像45。
此外，虽然省略了图示，但是与模板数据同样地，各安排数据中也包含化妆手法信息。另外，各安排数据中也可以包含附加信息(详情后述)等。
另外，在图3的例子中，将安排数据的数量设为三个，但不限定于此。然而，为了决定更适合用户面部特征的化妆部位图像，安排数据的数量越多越好。
关于安排数据的制作处理，将会在后面使用图8进行说明。
这种化妆部位图像表例如按每一个目标面部图像(一个模板数据)制作一个。由此，化妆部位图像表根据作为选项提示给用户的化妆后目标面部图像的数量来制作。
以上，对化妆部位图像表进行了说明。
接着，参照图4，对化妆部位图像决定处理的流程进行说明。在化妆部位图像决定处理中，按化妆部位图像表中所登记的化妆部位图像(化妆项目)的每个种类，决定登记于模板数据和安排数据中的某一方的化妆部位图像。
在步骤S201中，图像决定部103对于第i脸部部位算出第1差量值。
i是化妆部位图像表中所登记的脸部部位的种类的数量。在图3的化妆部位图像表的情况下，登记有眉毛(i＝1)、眼睑(i＝2)、眼睫毛根部(i＝3)、睫毛(i＝4)、脸颊(i＝5)这五种脸部部位。
第1差量值指的是，表示从用户面部图像提取到的关于第i脸部部位的特征量与从目标面部图像提取到的关于第i脸部部位的特征量的差量的值。例如在脸部部位为眼睛的情况下(例如在决定眼影的图像、眼线的图像、睫毛膏的图像的情况下)，进行比较用户面部图像中的眼睛的形状与目标面部图像中的眼睛的形状的处理。使用图5对该具体例进行说明。
图5例如表示从用户面部图像提取到的左眼周边的面部特征点的一例。在图5中，图像决定部103计算由上眼睑的面部特征点51、外眼角的面部特征点52、内眼角的面部特征点53这三个点构成的三角形的相似度。虽然省略图示，但同样地，在目标面部图像中，图像决定部103也计算由上眼睑的面部特征点、外眼角的面部特征点、内眼角的面部特征点这三个点构成的三角形的相似度。然后，图像决定部103计算算出的两个相似度的差量。
此外，由比较特征量实现的算出第1差量值的方法不限定于用图5说明的方法。将会在后面说明其他例子。
在步骤S202中，图像决定部103判定第1差量值是否在预先确定的阈值以下。该阈值例如是被比较的两个脸部部位的特征能够视为相似的上限值。
在第1差量值比阈值大的情况下(步骤S202：否)，流程前进至步骤S205。关于步骤S205之后，将会在后面进行说明。
当第1差量值在阈值以下的情况下(步骤S202：是)，流程前进至步骤S203。
在步骤S203中，图像决定部103对于第i脸部部位采用与目标面部图像相关联的化妆部位图像。例如在图3中，在i＝1的情况下(脸部部位为眉毛的情况下)，图像决定部103采用与目标面部图像10相关联的化妆部位图像11(描眉的图像)。
在步骤S204中，图像决定部103判定是否对所有脸部部位都采用了化妆部位图像。
在对所有脸部部位都采用了化妆部位图像的情况下(步骤S204：是)，结束一系列处理。
另一方面，在没有对所有脸部部位采用化妆部位图像的情况下，换言之，在留有尚未采用化妆部位图像的脸部部位的情况下(步骤S204：否)，流程返回至步骤S201。
在步骤S202中，第1差量值比阈值大时(步骤S202：否)，成为用户面部图像中的第i脸部部位的特征与目标面部图像中的第i脸部部位的特征不相似这一情况。在该情况下，图像决定部103从与模板数据相关联的安排数据中选择与第i脸部部位对应的化妆部位图像。
在步骤S205中，图像决定部103选择第j个安排面部图像。
j是化妆部位图像表中所登记的安排面部图像的数量。在图3的化妆部位图像表的情况下，登记有安排面部图像20、30、40这三个。
在步骤S206中，图像决定部103对于第i脸部部位算出第2差量值。在此，图像决定部103将算出的第2差量值临时地进行存储。
第2差量值指的是，表示从用户面部图像提取到的关于第i脸部部位的特征量与从第j个安排面部图像提取到的关于第i脸部部位的特征量的差量的值。例如在脸部部位为眼睛的情况下，比较用户面部图像中的眼睛的形状与第j个安排面部图像中的眼睛的形状。关于该具体例，与上述使用图5的说明是同样的，因此省略此处的说明。
在步骤S207中，图像决定部103判定第2差量值是否在预先确定的阈值以下。该阈值例如与在步骤S202中使用的阈值相同。
在第2差量值比阈值大的情况下(步骤S207：否)，流程前进至步骤S205。
当第2差量值在阈值以下的情况下(步骤S207：是)，流程前进至步骤S208。
在步骤S208中，图像决定部103判定是否选择了所有安排面部图像。
在尚未选择所有安排面部图像的情况下(步骤S208：否)，流程前进至步骤S205。
在选择了所有安排面部图像的情况下(步骤S208：是)，流程前进至步骤S209。
在步骤S209中，图像决定部103对于第i脸部部位采用与第2差量值为最小的安排面部图像相关联的化妆部位图像。例如在图3中，在i＝3的情况下(脸部部位为眼睛(眼睫毛根部)的情况下)，图像决定部103采用化妆部位图像23和化妆部位图像43某一方中的、与第2差量值较小一方的安排面部图像相关联的化妆部位图像(眼线的图像)。
此外，在步骤S209中，多个第2差量值为最小的情况下，也可以基于预定加权来选择安排面部图像，并从该安排面部图像中采用化妆部位图像。将会在后面对本例进行说明。
在步骤S209之后，流程前进至步骤S204。
此外，如已经说明的那样，在图4所示的化妆部位图像决定处理结束后，图像决定部103将包含所采用的各化妆部位图像、项目名信息以及化妆手法信息等的决定结果信息向信息生成部104输出。
如此，在化妆部位图像决定处理中，当在用户面部图像和目标面部图像中预定脸部部位的特征相似的情况下，采用对应于该脸部部位而与目标面部图像相关联的化妆部位图像。另一方面，当在用户面部图像和目标面部图像中预定脸部部位的特征不相似的情况下，采用对应于该脸部部位而与安排面部图像相关联的化妆部位图像。由此，采用与用户的各脸部部位的特征相适的化妆部位图像，因此能够给用户提示整个面部协调的自然的妆。
以上，对化妆部位图像决定处理的一例进行了说明。
接着，对由信息生成部104生成的化妆步骤信息的一例进行说明。
信息生成部104基于从存储装置500取得的用户面部图像和从图像决定部103接收到的决定结果信息，生成化妆步骤信息。决定结果信息至少包含由化妆部位图像决定处理所决定的各化妆部位图像、表示与各化妆部位图像对应的化妆项目的名称的项目名信息、和表示各化妆项目的使用方法(例如各化妆项目的使用顺序、各化妆项目的往皮肤上涂抹的方法等)的化妆手法信息。
例如，信息生成部104生成画面信息作为化妆手法信息的一例，并向终端装置600输出。画面信息显示于终端装置600的显示部(图略)。
对终端装置600中的画面信息的显示例进行说明。图6是表示画面信息的显示例的图。
如图6所示，按每种化妆项目来显示与用户面部图像70重叠的化妆部位图像71、项目名信息72、表示化妆项目的使用顺序的使用顺序信息73、表示化妆项目的往皮肤上涂抹的方法的涂抹方法信息74。此外，虽然省略了图示，但也可以以预定样式显示化妆手法信息所包含的各种信息(例如表示刷子等的笔压的信息、表示涂抹方向(移动刷子等的方向)的信息、表示晕色程度的信息、表示化妆项目的描绘者的注释的信息等)。
另外，如图6所示，也可以按每种化妆项目显示出产品信息75、建议信息76。产品信息75例如是表示化妆项目的型号和/或化妆项目的特征等的信息。建议信息76是表示对使用化妆项目时的建议的信息。产品信息75以及建议信息76是附加信息的一例，例如由化妆品售卖处等的店员输入，登记在化妆部位图像表中。在该情况下，向信息生成部104输出的决定结果信息中包含产品信息75以及建议信息76。
此外，虽然在图6中省略了图示，但是也可以将对用户面部图像70重叠了所有化妆部位图像(在图6的例子中为描眉的图像、眼影的图像、腮红的图像、唇膏的图像)的化妆后用户面部图像(模拟图像)作为化妆后面部样本来显示。
如此，由于画面信息中包含化妆项目的使用顺序和/或涂抹方法等详细内容，因此用户通过参照显示于终端装置600的图6的画面信息来化妆，能够再现所期望的妆。
此外，化妆步骤信息(例如画面信息)中也可以除了图6所示的各种信息以外例如还包含表示妆的形象的信息、用户识别信息、能够识别画面信息的信息、能够识别化妆项目的信息等。
以上，对化妆步骤信息的一例进行了说明。
接着，使用图7，对模板数据的制作处理的一例进行说明。
图7是表示模板数据的制作处理的流程的流程图。
在步骤S301中，图像取得部101例如取得由拍摄装置200拍摄到的目标面部图像。而且，图像取得部101将目标面部图像向图像解析部102输出。
在步骤S302中，图像解析部102从目标面部图像提取面部特征量。而且，图像解析部102将表示提取到的面部特征量的面部特征信息和目标面部图像向图像决定部103输出。
在步骤S303中，图像决定部103使显示装置300显示从图像解析部102接收到的目标面部图像。
在此，化妆部位图像的制作者(化妆项目的描绘者。例如专业化妆师)进行在显示出的目标面部图像上以预定形状和预定颜色描绘各种化妆项目的操作。另外，根据需要，制作者进行输入关于所描绘的化妆项目的注释的操作。
操作装置400受理上述操作，将表示描绘的内容和/或注释等的描绘信息向图像决定部103输出。描绘信息所包含的描绘的内容例如是各化妆项目被描绘的顺序、各化妆项目的形状和颜色、各化妆项目的晕色程度、各化妆项目的位置、各化妆项目被描绘时的笔压、各化妆项目被描绘时的涂抹方向等。
在步骤S304中，图像决定部103基于从操作装置400接收到的描绘信息，提取各化妆部位图像。
在步骤S305中，图像决定部103基于从操作装置400接收到的描绘信息，提取化妆手法信息。
另外，例如在由制作者描绘了各种化妆项目后，根据需要，例如化妆品售卖处等的店员进行输入附加信息的操作。附加信息例如是图6所示的产品信息75以及建议信息76等。
操作装置400受理上述操作，将附加信息向图像决定部103输出。
在步骤S306中，图像决定部103从操作装置400取得附加信息。
在步骤S307中，图像决定部103对目标面部图像关联面部特征信息、各化妆部位图像、化妆手法信息以及附加信息从而制作模板数据。而且，图像决定部103使存储装置500存储制作出的模板数据。
以上，对模板数据的制作处理的一例进行了说明。
接着，使用图8，对安排数据的制作处理的一例进行说明。
图8是表示安排数据的制作处理的流程的流程图。
在步骤S401中，图像取得部101例如取得由拍摄装置200拍摄到的安排面部图像。而且，图像取得部101将安排面部图像向图像解析部102输出。
在此所取得的安排面部图像如上所述是与目标面部图像的面部特征量相比有一部分面部特征量不同的图像。例如，图像取得部101从拍摄装置200取得对与目标面部图像的预定脸部部位(例如眼睛)的特征相比其脸部部位的特征不同的模特进行拍摄而得到的面部图像作为安排面部图像。
此外，也可以从预先准备在存储装置500中的多个面部图像中取得满足预定条件的图像作为安排面部图像。将会在后面对本例进行说明。
在步骤S402中，图像解析部102从安排面部图像提取面部特征量。而且，图像解析部102将表示提取到的面部特征量的面部特征信息和安排面部图像向图像决定部103输出。
在步骤S403中，图像决定部103使显示装置300显示从图像解析部102接收到的安排面部图像。
在此，化妆部位图像的制作者(化妆项目的描绘者。例如专业化妆师)进行在显示出的安排面部图像上以预定形状和预定颜色描绘各种化妆项目的操作。另外，根据需要，制作者进行输入关于所描绘的化妆项目的注释的操作。
此外，在步骤S403中，也可以对安排面部图像重叠目标面部图像的各化妆部位图像而显示。在此，重叠显示的化妆部位图像是对应于具有与安排面部图像的面部特征量的差量在阈值以下的面部特征量的脸部部位的图像。由此，在安排面部图像中，对于具有与目标面部图像的面部特征量的差量比阈值大的面部特征量的脸部部位，不显示化妆部位图像。在该情况下，制作者仅在安排面部图像中对没有显示化妆部位图像的脸部部位描绘化妆项目即可。因此，制作者无需描绘所有化妆项目，节省工夫(劳力和时间)。
操作装置400受理上述操作，将表示描绘的内容和/或注释等的描绘信息向图像决定部103输出。描绘信息所包含的内容与上述模板数据的制作处理中说明的内容是同样的，因此省略此处的说明。
步骤S404～步骤S406中的各处理与图7的步骤S304～步骤S306是同样的，因此省略此处的说明。
在步骤S407中，图像决定部103对安排面部图像关联面部特征信息、各化妆部位图像、化妆手法信息以及附加信息从而制作安排数据。
在步骤S408中，图像决定部103将制作出的安排数据与模板数据关联从而制作化妆部位图像表，并使存储装置500进行存储。
在将多个安排数据关联于模板数据的情况下，反复进行图8所示的流程即可。由此，例如制作出图3所示的化妆部位图像表。
以上，对安排数据的制作处理的一例进行了说明。
＜本实施方式的效果＞
如上所述，本实施方式的化妆辅助装置100具有：图像取得部101，其取得用户面部图像、目标面部图像和安排面部图像，所述目标面部图像是按每个脸部部位确定了预定形状和预定颜色的化妆项目的图像，所述安排面部图像是与目标面部图像相比一部分脸部部位的特征不同的按每个脸部部位确定了预定形状和预定颜色的化妆项目的图像；图像决定部103，其在从用户面部图像提取到的面部特征量与从目标面部图像提取到的面部特征量的差量值在阈值以下的情况下，采用目标面部图像中所确定的化妆项目，在差量值比阈值大的情况下，采用安排面部图像中所确定的化妆项目；以及信息生成部104，其生成将使用所采用的化妆项目时的步骤提示给用户的化妆步骤信息，并向预定装置输出。
即，根据本实施方式的化妆辅助装置100，当在用户面部图像与目标面部图像中预定脸部部位的特征相似的情况下，将与该脸部部位对应的化妆部位图像决定为与目标面部图像相关联的图像，当在用户面部图像与目标面部图像中预定脸部部位的特征不相似的情况下，将对于该脸部部位的化妆部位图像决定为与安排面部图像相关联的图像。由此，由于采用与用户的各脸部部位的特征相适的化妆部位图像，因此能够给用户提示整个面部协调的自然的妆。
＜本实施方式的变形例＞
以上，对本发明的实施方式进行了说明，但本发明不限定于上述说明，可以进行各种变形。以下，对各变形例进行说明。
(变形例1)
在上述实施方式中，作为脸部部位的特征量的比较处理的一例，使用图5并列举比较眼睛形状的情况为例进行了说明，但不限定于此。
例如，也可以比较用户面部图像与目标面部图像中的轮廓的形状。在该情况下，如图9所示，图像决定部103对于面部的横向宽度w1(面部特征点54与面部特征点55之间的距离)的长度、面部的纵向宽度w2(面部特征点55与面部特征点56之间的距离)的长度、和连结下巴的面部特征点57、右脸颊的面部特征点58、左脸颊的面部特征点59而成的倒三角形t1的形状(相似度)，比较用户面部图像与目标面部图像，计算各自的第1差量值。
而且，当与面部的横向宽度w1、面部的纵向宽度w2、倒三角形t1各自相关的第1差量值在预定阈值以下的情况下，图像决定部103判定为在用户面部图像与目标面部图像中轮廓相同(或者相似)，采用与目标面部图像相关联的化妆部位图像(例如表示腮红、高光、修容等与轮廓对应的化妆项目的图像)。
此外，上述轮廓形状的比较处理不仅适用于比较用户面部图像与目标面部图像的情况，而且也能够适用于比较用户面部图像与安排面部图像的情况。
(变形例2)
在上述实施方式以及变形例1中，作为脸部部位的特征量的比较处理的一例，使用图5、图9并列举比较脸部部位(眼睛、轮廓)的形状的情况为例进行了说明，但不限定于此。
例如，也可以比较用户面部图像与目标面部图像中的脸部部位间的相对关系。在该情况下，如图10所示，图像决定部103对于外眼角的面部特征点60与眉峰的面部特征点61之间的距离L(眼睑上下方向的宽度)的长度，比较用户面部图像与目标面部图像，计算第1差量值。
而且，当与距离L有关的第1差量值在预定阈值以下的情况下，图像决定部103判定为在用户面部图像与目标面部图像中眼睛(眼睑)相同(或者相似)，采用与目标面部图像相关联的化妆部位图像(例如表示眼影等与眼睑对应的化妆项目的图像)。
此外，上述轮廓形状的比较处理不仅适用于比较用户面部图像与目标面部图像的情况，而且也能够适用于比较用户面部图像与安排面部图像的情况。
另外，在上述说明中，作为脸部部位间的相对关系的一例，列举脸部部位间(眉与眼之间)的距离为例进行了说明，但不限定于此。例如，也可以将相对于面部纵向宽度或者横向宽度的各脸部部位的位置之比、或者脸部部位的大小的比率等作为比较对象。
另外，也可以将上述脸部部位间的相对关系(例如，脸部部位间的距离、相对于面部纵向宽度或者横向宽度的各脸部部位的位置之比、脸部部位的大小的比率等)利用于化妆部位图像决定处理(例如图4的步骤S209)中的加权。例如也可以为，当在用户面部图像与多个安排面部图像中进行预定脸部部位的形状的比较(例如用图5、图9说明的处理)的结果为多个第2差量值相同的情况下，图像决定部103从与脸部部位间的相对关系有关的第2差量值较小一方的安排面部图像中采用化妆部位图像。
(变形例3)
在上述实施方式中，图像决定部103也可以比较从用户面部图像提取到的头发、皮肤、嘴唇等的颜色信息(例如色调、饱和度、明度)与目标面部以及安排面部的颜色信息，将表示预定化妆项目(例如粉底、遮瑕、描眉、腮红、唇膏等)的化妆部位图像的颜色决定/变更为差量值变为阈值以上或者最小的面部图像所设定的颜色。
(变形例4)
在上述实施方式中，列举化妆辅助装置100从拍摄装置200取得安排面部图像的情况为例进行了说明，但不限定于此。
例如，化妆辅助装置100也可以从存储于存储装置500的多个面部图像中取得具有相对于目标面部图像的预定脸部部位(例如轮廓)的面部特征量的差量成为最大的脸部部位(例如轮廓)的面部特征量的面部图像，作为安排面部图像。
另外，例如也可以，化妆辅助装置100受理设定每个脸部部位的面部特征量的差量大小的操作，基于该设定来取得安排面部图像。例如，化妆辅助装置100受理关于轮廓的第2差量在阈值以下且关于轮廓以外的脸部部位(例如眼睛、鼻子、嘴唇等)的第2差量比阈值大这一内容的设定。在该情况下，化妆辅助装置100从存储于存储装置500的多个面部图像中取得满足所设定的条件的安排面部图像。所设定的条件能够由化妆辅助装置100的用户任意设定。
(变形例5)
在上述实施方式中，如图6所示，列举对表示两眼睁开的状态的用户面部图像重叠眼影的化妆部位图像而显示的情况为例进行了说明，但不限定于此。
例如，也可以除了两眼睁开的状态的用户面部图像之外还预先拍摄单眼闭合的状态的用户面部图像，并对后者的用户面部图像的眼睑(闭着眼的一方)重叠眼影的化妆部位图像而显示。该化妆部位图像是表示对闭合眼睛的状态的眼睑所描绘的眼影的图像。
此外，眼影的化妆部位图像既可以使用与闭合眼睛的状态对应的图像以及与睁开眼睛的状态对应的图像，也可以使用基于面部特征点变形由此与闭合眼睛的状态和睁开眼睛的状态双方对应的图像。
(变形例6)
在上述实施方式中，如图6所示，列举与用户面部图像重叠的各化妆部位图像是表示化妆项目的形状和颜色的图像的情况为例进行了说明，但也可以是仅表示化妆项目的形状的图像。仅表示化妆项目的形状的图像例如是用虚线或者实线表示化妆项目外周的图像。
(变形例7)
在上述实施方式中，列举通过静态图像将化妆步骤信息进行画面显示的情况为例进行了说明，但也可以除了静态图像的画面显示之外还使用声音或者动态图像等来将化妆步骤信息的预定内容通知给用户。
(变形例8)
在上述实施方式中，列举在图4所示的化妆部位图像决定处理(例如图4的步骤S209)中从第2差量值成为最小的安排面部图像中采用化妆部位图像的情况为例进行了说明，但在多个第2差量值成为最小的情况下，也可以将与用户有关的信息(以下称为“用户关联信息”)利用于加权，选择成为化妆部位图像的采用对象的安排面部图像。
用户关联信息例如包含用户的化妆喜好(化妆项目的颜色的种类、化妆项目的颜色的浓淡等)、用户的化妆项目(化妆品)的购买历史记录、用户当前所保持的化妆项目(化妆品)等内容。
例如也可以，在图4的步骤S209中，当多个第2差量值成为最小的情况下，化妆辅助装置100选择与用户关联信息所示的内容相符的(例如颜色的种类以及颜色的浓淡相似的)安排面部图像，并从该安排面部图像中采用化妆部位图像。
(变形例9)
在上述实施方式中，也可以，例如化妆品售卖处等的店员通过手动操作对在化妆部位图像决定处理中所决定的化妆部位图像加以安排。安排的内容例如是所决定的预定化妆部位图像的形状、颜色或者位置的变更、除所决定的化妆部位图像以外的化妆部位图像的追加等。化妆辅助装置100在生成化妆步骤信息时使其反映安排的内容。
此外，化妆辅助装置100也可以使存储装置500按每个用户存储表示安排的内容的信息(以下称为“安排信息”)。例如在对一个用户多次进行了相同的安排(例如眼影的化妆部位图像的颜色的变更)的情况下，化妆辅助装置100基于多个安排信息来学习安排的倾向。而且，化妆辅助装置100也可以在下次化妆部位图像决定处理(图4的步骤S209)中，当多个第2差量值成为最小的情况下，选择与学习出的倾向相符的(例如颜色的种类以及颜色的浓淡相似的)安排面部图像，并从该安排面部图像中采用化妆部位图像。
(变形例10)
在上述实施方式中，在由于一个用户多次利用化妆辅助装置100因此对该用户生成多个化妆步骤信息的情况下，化妆辅助装置100也可以使存储装置500按每个用户存储多个化妆步骤信息。
化妆辅助装置100基于多个化妆步骤信息，选择所采用的各化妆部位图像的特征(例如颜色的种类、颜色的浓淡等)。而且，化妆辅助装置100也可以在下次化妆部位图像决定处理(图4的步骤S209)中，当多个第2差量值成为最小的情况下，选择与学习出的特征相符的(例如颜色的种类以及颜色的浓淡相似的)安排面部图像，并从该安排面部图像中采用化妆部位图像。
(变形例11)
在上述实施方式中，用户也可以在基于化妆步骤信息实际化了妆之后，将表示其感想等的反馈信息输入到终端装置600，例如发送给存储装置500。
反馈信息例如包含化妆步骤信息(例如涂抹方法信息74)所参考的化妆项目、用户所中意的化妆项目和/或产品(型号或者商品名)等内容。
例如也可以，在图4的步骤S209中，当多个第2差量值成为最小的情况下，化妆辅助装置100选择与反馈信息所表示的内容相符的(例如颜色的种类以及颜色的浓淡相似的)安排面部图像，并从该安排面部图像中采用化妆部位图像。
此外，在关于一个用户有多个反馈信息存储于存储装置500的情况下，化妆辅助装置100也可以基于多个反馈信息学习用户的喜好(例如各化妆项目的颜色的种类、浓淡等)。而且，化妆辅助装置100也可以在下次化妆部位图像决定处理(图4的步骤S209)中，当多个第2差量值成为最小的情况下，选择与学习出的用户的喜好相符的(例如颜色的种类以及颜色的浓淡相似的)安排面部图像，并从该安排面部图像中采用化妆部位图像。
在此，作为用户发送反馈信息的一种手段，也可以使得用户能够向社交网络服务(SNS)发布反馈信息。为了促进用户进行投稿，例如也可以使图6的化妆步骤信息包含向facebook、Twitter(注册商标)、Instagram、GooglePlus等SNS链接的链接信息。在用户向SNS投稿时，也可以对投稿内容自动嵌入哈希标签。由此，能够在此后收集投稿信息，并分析受用户欢迎的化妆设计和/或受欢迎的商品。
(变形例12)
在变形例8中说明的用户关联信息除了上述内容之外例如也可以包含如用户的年龄、性别、国籍、居住地、籍贯、皮肤烦恼、理想的皮肤状态、在医疗机构(皮肤科、美容皮肤科、美容整形外科等)接受治疗的历史记录(医疗机构名、治疗日期、治疗地方等)这样的内容。
这些内容例如由店铺、医疗机构等的相关人员或者用户自身从预定终端(例如化妆辅助装置100、终端装置600等)输入。而且，包含被输入的内容的用户关联信息从预定终端发送到存储装置500，并在存储装置500中与用户识别信息相关联而存储。
而且，化妆辅助装置100例如也可以在生成了化妆步骤信息时，将用户关联信息(例如国籍、年龄、性别等)与所生成的化妆步骤信息关联并向预定装置(例如化妆品的开发公司和/或销售店铺)输出。根据这些信息的关联，可知晓什么样属性的用户喜欢化什么样的妆。因此，能够应用于化妆品的开发、待客时的建议和/或商品的推荐等。
(变形例13)
在上述实施方式中，列举化妆辅助装置100既进行模板数据和安排数据(化妆部位图像表)的制作处理又进行化妆步骤信息的生成处理的情况为例进行了说明，但模板数据和安排数据(化妆部位图像表)的制作处理也可以在除化妆辅助装置100以外的装置中进行。
(变形例14)
化妆辅助装置100的构成要素(图像取得部101、图像解析部102、图像决定部103、信息生成部104)的一部分也可以与其他构成要素在物理上隔离。在该情况下，隔离开的构成要素彼此需要分别具备用于相互进行通信的通信部。例如，化妆辅助装置100的功能的一部分也可以云(cloud)化。
(变形例15)
另外，图6的化妆步骤信息所记载的产品信息75中也可以包含有各产品的购买网站的链接信息。由此，用户能够从化妆步骤信息中选择任意的产品信息来显示产品购买网站，并在线购买产品。此时，用户并非从产品信息直接访问产品购买网站，而是从产品信息经由购买网站访问信息取得网站来访问产品购买网站。在购买网站访问信息取得网站中，记录各用户从化妆步骤信息访问产品购买网站这一情况。由此，多个用户的对产品购买网站的访问信息被记录并被累积，因此能够分析特定用户的喜好的产品、受多个用户欢迎的产品和/或趋势。
(变形例16)
由图1的信息生成部104生成的化妆步骤信息既可以在与化妆辅助装置100物理连接的终端装置600中显示，也可以在没有与化妆辅助装置100物理连接的另外的终端装置(以下称为显示终端)中显示。即使在显示终端没有与化妆辅助装置100物理连接的情况下，也能够通过各种各样的无线通信的方法进行网络连接。作为在没有与化妆辅助装置100物理连接的显示终端中显示化妆步骤信息的方法，也可以，信息生成部104将生成的化妆步骤信息上传到云上，显示终端访问并取得云上的化妆步骤信息进行显示。在该情况下，作为显示终端用于访问化妆步骤信息的方法，也可以，通过用电子邮件将访问化妆步骤信息的URL通知给显示终端、或者在显示终端读取QR码(注册商标)，使得显示终端取得化妆步骤信息的链接。
＜本公开的归纳＞
本公开的化妆辅助装置具有：图像取得部，其取得用户面部图像、目标面部图像和安排面部图像，所述目标面部图像是按每个脸部部位确定了具有预定形状和预定颜色的化妆项目的图像，所述安排面部图像是与目标面部图像相比一部分脸部部位的特征不同的按每个脸部部位确定了具有预定形状和预定颜色的化妆项目的图像；图像决定部，其在从用户面部图像提取到的面部特征量与从目标面部图像提取到的面部特征量的差量值在阈值以下的情况下，采用目标面部图像中所确定的每个脸部部位的化妆项目，在差量值比所述阈值大的情况下，对于一部分脸部部位采用安排面部图像中所确定的化妆项目，对于其他脸部部位采用目标面部图像中所确定的化妆项目；以及信息生成部，其生成将使用所采用的化妆项目时的步骤提示给用户的化妆步骤信息，并向预定装置输出。
此外，在上述化妆辅助装置中，图像决定部，判定从用户面部图像提取到的关于预定脸部部位的面部特征量与从目标面部图像提取到的关于预定脸部部位的面部特征量的第1差量值是否在阈值以下，当第1差量值在阈值以下的情况下，采用在目标面部图像中对预定脸部部位所确定的化妆项目，当第1差量值比阈值大的情况下，判定从用户面部图像提取到的关于预定脸部部位的面部特征量与从安排面部图像提取到的关于预定脸部部位的面部特征量的第2差量值是否在阈值以下，当第2差量值在阈值以下的情况下，采用在安排面部图像中对预定脸部部位所确定的化妆项目。
另外，在上述化妆辅助装置中，图像取得部取得多个安排面部图像，图像决定部判定从用户面部图像提取到的关于预定脸部部位的面部特征量与从多个安排面部图像的每一个提取到的关于预定脸部部位的面部特征量的第2差量值是否在阈值以下，并采用对阈值以下的第2差量值中的最小值的安排面部图像所确定的化妆项目。
另外，在上述化妆辅助装置中，图像取得部取得多个安排面部图像，图像决定部判定从用户面部图像提取到的关于预定脸部部位的面部特征量与从多个安排面部图像的每一个提取到的关于预定脸部部位的面部特征量的第2差量值是否在阈值以下，并采用对第2差量值在阈值以下的安排面部图像中的预先被加权了的所述安排面部图像所确定的化妆项目。
另外，在上述化妆辅助装置中，加权基于表示用户的属性的信息、表示用户的化妆喜好的信息或者表示从用户面部图像提取到的预定脸部部位间的相对关系的信息来设定。
另外，在上述化妆辅助装置中，图像决定部生成将所采用的化妆项目的图像与用户面部图像重叠而得到的模拟图像，并向预定显示装置输出。
另外，在上述化妆辅助装置中，化妆步骤信息至少包含所采用的化妆项目的名称的信息、该化妆项目的使用方法的信息、将该化妆项目的图像与所述用户面部图像重叠而得到的模拟图像。
另外，在上述化妆辅助装置中，化妆项目的图像是表示预先确定的化妆项目的形状与颜色的图像和仅表示预先确定的化妆项目的形状的图像中的某一个。
本公开的化妆辅助方法包括：取得用户面部图像、目标面部图像和安排面部图像，所述目标面部图像是按每个脸部部位确定了具有预定形状和预定颜色的化妆项目的图像，所述安排面部图像是与目标面部图像相比一部分脸部部位的特征不同的按每个脸部部位确定了具有预定形状和预定颜色的化妆项目的图像；在从用户面部图像提取到的面部特征量与从目标面部图像提取到的面部特征量的差量值在阈值以下的情况下，采用目标面部图像中所确定的每个脸部部位的化妆项目，在差量值比阈值大的情况下，对于上述一部分脸部部位采用安排面部图像中所确定的化妆项目，对于其他脸部部位采用目标面部图像中所确定的化妆项目；生成将使用所采用的化妆项目时的步骤提示给用户的化妆步骤信息。
产业上的可利用性
本公开涉及的化妆辅助装置以及化妆辅助方法作为辅助用户化妆的化妆辅助装置以及化妆辅助方法是有用的。
标号说明
1化妆辅助系统；100化妆辅助装置；101图像取得部；102图像解析部；103图像决定部；104信息生成部；200拍摄装置；300显示装置；400操作装置；500存储装置；600终端装置。

Claims (9)

1.一种化妆辅助装置，具有：
图像取得部，其取得用户面部图像、目标面部图像和安排面部图像，所述目标面部图像是按每个脸部部位确定了具有预定形状和预定颜色的化妆项目的图像，所述安排面部图像是与所述目标面部图像相比一部分脸部部位的特征不同的按每个脸部部位确定了具有预定形状和预定颜色的化妆项目的图像；
图像决定部，其在从所述用户面部图像提取到的面部特征量与从所述目标面部图像提取到的面部特征量的差量值在阈值以下的情况下，采用所述目标面部图像中所确定的每个所述脸部部位的所述化妆项目，在所述差量值比所述阈值大的情况下，对于所述一部分脸部部位采用所述安排面部图像中所确定的所述化妆项目，对于其他脸部部位采用所述目标面部图像中所确定的所述化妆项目；以及
信息生成部，其生成将使用所采用的所述化妆项目时的步骤提示给用户的化妆步骤信息，并向预定装置输出。
2.根据权利要求1所述的化妆辅助装置，
所述图像决定部，
判定从所述用户面部图像提取到的关于预定脸部部位的面部特征量与从所述目标面部图像提取到的关于所述预定脸部部位的面部特征量的第1差量值是否在所述阈值以下，
当所述第1差量值在所述阈值以下的情况下，采用在所述目标面部图像中对所述预定脸部部位所确定的所述化妆项目，
当所述第1差量值比所述阈值大的情况下，判定从所述用户面部图像提取到的关于所述预定脸部部位的面部特征量与从所述安排面部图像提取到的关于所述预定脸部部位的面部特征量的第2差量值是否在所述阈值以下，
当所述第2差量值在所述阈值以下的情况下，采用在所述安排面部图像中对所述预定脸部部位所确定的所述化妆项目。
3.根据权利要求2所述的化妆辅助装置，
所述图像取得部取得多个所述安排面部图像，
所述图像决定部判定从所述用户面部图像提取到的关于所述预定脸部部位的面部特征量与从所述多个安排面部图像的每一个提取到的关于所述预定脸部部位的面部特征量的所述第2差量值是否在所述阈值以下，并采用对所述阈值以下的所述第2差量值中的最小值的所述安排面部图像所确定的所述化妆项目。
4.根据权利要求2所述的化妆辅助装置，
所述图像取得部取得多个所述安排面部图像，
所述图像决定部判定从所述用户面部图像提取到的关于所述预定脸部部位的面部特征量与从所述多个安排面部图像的每一个提取到的关于所述预定脸部部位的面部特征量的所述第2差量值是否在所述阈值以下，并采用对所述第2差量值在所述阈值以下的所述安排面部图像中的预先被加权了的所述安排面部图像所确定的所述化妆项目。
5.根据权利要求4所述的化妆辅助装置，
所述加权基于表示所述用户的属性的信息、表示所述用户的化妆喜好的信息或者表示从所述用户面部图像提取到的预定脸部部位间的相对关系的信息来设定。
6.根据权利要求1所述的化妆辅助装置，
所述图像决定部生成将所采用的所述化妆项目的图像与所述用户面部图像重叠而得到的模拟图像，并向预定显示装置输出。
7.根据权利要求1所述的化妆辅助装置，
所述化妆步骤信息至少包含所采用的所述化妆项目的名称的信息、该化妆项目的使用方法的信息、将该化妆项目的图像与所述用户面部图像重叠而得到的模拟图像。
8.根据权利要求7所述的化妆辅助装置，
所述化妆项目的图像是表示预先确定的所述化妆项目的形状与颜色的图像和仅表示预先确定的所述化妆项目的形状的图像中的某一个。
9.一种化妆辅助方法，包括：
取得用户面部图像、目标面部图像和安排面部图像，所述目标面部图像是按每个脸部部位确定了具有预定形状和预定颜色的化妆项目的图像，所述安排面部图像是与所述目标面部图像相比一部分脸部部位的特征不同的按每个脸部部位确定了具有预定形状和预定颜色的化妆项目的图像；
在从所述用户面部图像提取到的面部特征量与从所述目标面部图像提取到的面部特征量的差量值在阈值以下的情况下，采用所述目标面部图像中所确定的每个所述脸部部位的化妆项目，在所述差量值比所述阈值大的情况下，对于所述一部分脸部部位采用所述安排面部图像中所确定的所述化妆项目，对于其他脸部部位采用所述目标面部图像中所确定的所述化妆项目；
生成将使用所采用的所述化妆项目时的步骤提示给用户的化妆步骤信息。
CN201780037788.5A 2016-07-14 2017-06-01 化妆辅助装置以及化妆辅助方法 Expired - Fee Related CN109310196B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016139500 2016-07-14
JP2016-139500 2016-07-14
PCT/JP2017/020453 WO2018012136A1 (ja) 2016-07-14 2017-06-01 メイクアップ支援装置およびメイクアップ支援方法

Publications (2)

Publication Number Publication Date
CN109310196A true CN109310196A (zh) 2019-02-05
CN109310196B CN109310196B (zh) 2021-08-10

Family

ID=60952570

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780037788.5A Expired - Fee Related CN109310196B (zh) 2016-07-14 2017-06-01 化妆辅助装置以及化妆辅助方法

Country Status (5)

Country Link
US (1) US10799010B2 (zh)
EP (1) EP3485762A4 (zh)
JP (1) JP6956389B2 (zh)
CN (1) CN109310196B (zh)
WO (1) WO2018012136A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833340A (zh) * 2020-07-21 2020-10-27 北京百度网讯科技有限公司 图像检测方法、装置、电子设备及存储介质

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
JP6753276B2 (ja) * 2016-11-11 2020-09-09 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN109299636A (zh) * 2017-07-25 2019-02-01 丽宝大数据股份有限公司 可标示腮红区域的身体信息分析装置
CN109426767A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 眼线描绘指引装置及其方法
CN109165571B (zh) 2018-08-03 2020-04-24 北京字节跳动网络技术有限公司 用于插入图像的方法和装置
US11253045B2 (en) 2019-07-18 2022-02-22 Perfect Mobile Corp. Systems and methods for recommendation of makeup effects based on makeup trends and facial analysis
US20220277542A1 (en) * 2019-08-21 2022-09-01 L'oreal A computing device, method and apparatus for recommending at least one of a makeup palette or a hair coloration scheme
JP7413691B2 (ja) * 2019-09-24 2024-01-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US11636391B2 (en) * 2020-03-26 2023-04-25 International Business Machines Corporation Automatic combinatoric feature generation for enhanced machine learning
KR20210070377A (ko) * 2020-04-29 2021-06-14 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 이미지 처리 방법 및 장치
JP7308317B1 (ja) * 2022-03-04 2023-07-13 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
JP7308318B1 (ja) * 2022-03-04 2023-07-13 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
CN101779218A (zh) * 2007-08-10 2010-07-14 株式会社资生堂 化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序
CN102184108A (zh) * 2011-05-26 2011-09-14 成都江天网络科技有限公司 一种利用计算机程序进行虚拟化妆的方法及化妆模拟程序
CN103995911A (zh) * 2013-02-15 2014-08-20 北京银万特科技有限公司 基于智能信息终端的美容选配方法与系统
CN104205168A (zh) * 2013-02-01 2014-12-10 松下电器产业株式会社 化妆辅助装置、化妆辅助方法、以及化妆辅助程序
CN105210110A (zh) * 2013-02-01 2015-12-30 松下知识产权经营株式会社 美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序
US20160058158A1 (en) * 2013-04-17 2016-03-03 Panasonic Intellectual Property Management Co., Ltd. Image processing method and image processing device
JP2016081441A (ja) * 2014-10-22 2016-05-16 パナソニックＩｐマネジメント株式会社 美容支援装置、美容支援システムおよび美容支援方法
CN106780768A (zh) * 2016-11-29 2017-05-31 深圳市凯木金科技有限公司 一种远程实时3d模拟化妆系统及其方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5772484A (en) 1980-10-22 1982-05-06 Toshiba Corp Conversational design device
JP4128680B2 (ja) * 1998-12-28 2008-07-30 花王株式会社 化粧アドバイスシステム
JP2002324126A (ja) * 2001-04-25 2002-11-08 Sharp Corp メイクアップアドバイス情報供給システム
JP2012181688A (ja) * 2011-03-01 2012-09-20 Sony Corp 情報処理装置、情報処理方法、情報処理システムおよびプログラム
JP2014149677A (ja) * 2013-02-01 2014-08-21 Panasonic Corp 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
GB2518589B (en) * 2013-07-30 2019-12-11 Holition Ltd Image processing
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
US10324739B2 (en) * 2016-03-03 2019-06-18 Perfect Corp. Systems and methods for simulated application of cosmetic effects

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102440A1 (ja) * 2007-02-21 2008-08-28 Tadashi Goino 化粧顔画像生成装置及び方法
CN101779218A (zh) * 2007-08-10 2010-07-14 株式会社资生堂 化妆模拟系统、化妆模拟装置、化妆模拟方法以及化妆模拟程序
CN102184108A (zh) * 2011-05-26 2011-09-14 成都江天网络科技有限公司 一种利用计算机程序进行虚拟化妆的方法及化妆模拟程序
CN104205168A (zh) * 2013-02-01 2014-12-10 松下电器产业株式会社 化妆辅助装置、化妆辅助方法、以及化妆辅助程序
CN105210110A (zh) * 2013-02-01 2015-12-30 松下知识产权经营株式会社 美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序
CN103995911A (zh) * 2013-02-15 2014-08-20 北京银万特科技有限公司 基于智能信息终端的美容选配方法与系统
US20160058158A1 (en) * 2013-04-17 2016-03-03 Panasonic Intellectual Property Management Co., Ltd. Image processing method and image processing device
JP2016081441A (ja) * 2014-10-22 2016-05-16 パナソニックＩｐマネジメント株式会社 美容支援装置、美容支援システムおよび美容支援方法
CN106780768A (zh) * 2016-11-29 2017-05-31 深圳市凯木金科技有限公司 一种远程实时3d模拟化妆系统及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833340A (zh) * 2020-07-21 2020-10-27 北京百度网讯科技有限公司 图像检测方法、装置、电子设备及存储介质
CN111833340B (zh) * 2020-07-21 2024-03-26 阿波罗智能技术(北京)有限公司 图像检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20190104827A1 (en) 2019-04-11
EP3485762A1 (en) 2019-05-22
US10799010B2 (en) 2020-10-13
CN109310196B (zh) 2021-08-10
JPWO2018012136A1 (ja) 2019-04-25
WO2018012136A1 (ja) 2018-01-18
JP6956389B2 (ja) 2021-11-02
EP3485762A4 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
CN109310196A (zh) 化妆辅助装置以及化妆辅助方法
KR102203355B1 (ko) 상품 체험에 따른 체험정보 추출 시스템 및 방법
CN104203042B (zh) 化妆辅助装置、化妆辅助方法、以及记录介质
Fu et al. Age synthesis and estimation via faces: A survey
Kyriakou et al. Fairness in proprietary image tagging algorithms: A cross-platform audit on people images
KR102619221B1 (ko) 머신 구현 안면 건강 및 미용 보조기
CN109840825A (zh) 基于用户的物理特征的推荐系统
CN105426850A (zh) 一种基于人脸识别的关联信息推送设备及方法
US11978242B2 (en) Systems and methods for improved facial attribute classification and use thereof
KR102316723B1 (ko) 인공지능을 이용한 신체 맞춤형 코디 시스템
CN107153805A (zh) 定制化美妆辅助装置和方法
CN108846792A (zh) 图像处理方法、装置、电子设备及计算机可读介质
WO2018029963A1 (ja) メイクアップ支援装置およびメイクアップ支援方法
JP2023081971A (ja) 深層学習を使用して個人用の製品推奨を提供するためのシステムおよび方法
CN106952143A (zh) 美容用品智能推荐系统、装置和方法
CN116830073A (zh) 数字彩妆调色板
CN108596646B (zh) 一种融合人脸属性分析的服装搭配推荐方法
CN109376661A (zh) 用于输出信息的方法和装置
Dantcheva et al. Assessment of female facial beauty based on anthropometric, non-permanent and acquisition characteristics
CN115408611A (zh) 菜单推荐方法、装置、计算机设备和存储介质
Dembani et al. UNSUPERVISED FACIAL EXPRESSION DETECTION USING GENETIC ALGORITHM.
CN106528925A (zh) 基于美颜应用的美颜指导方法、装置及终端设备
KR102532561B1 (ko) 개인 스타일에 대한 컨설팅 데이터를 제공하는 방법
Abdullah et al. Hybrid Based Model Face Shape Classification Using Ensemble Method for Hairstyle Recommender System
CN110169646A (zh) 一种美发服务系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1261761

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210810