CN114742608A - 化妆品呈现装置和化妆品呈现方法 - Google Patents

化妆品呈现装置和化妆品呈现方法 Download PDF

Info

Publication number
CN114742608A
CN114742608A CN202210267300.0A CN202210267300A CN114742608A CN 114742608 A CN114742608 A CN 114742608A CN 202210267300 A CN202210267300 A CN 202210267300A CN 114742608 A CN114742608 A CN 114742608A
Authority
CN
China
Prior art keywords
cosmetic
makeup
color
image
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210267300.0A
Other languages
English (en)
Inventor
田中义照
阮风
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN114742608A publication Critical patent/CN114742608A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供化妆品呈现装置和化妆品呈现方法。化妆品呈现装置具有：获取部，其获取表示用户化妆前的脸部图像的第一图像、以及表示用户化妆后的脸部图像的第二图像；估计部，其将所获取到的第一图像与第二图像进行比较，来估计用户的化妆颜色；提取部，其基于化妆品数据库及与所估计出的化妆颜色有关的信息，来提取至少一个具有在颜色空间中与所估计出的化妆颜色相同、或在颜色空间中与所估计出的化妆颜色的距离小于规定值的颜色的化妆品作为类似化妆品；以及通信部，其将与所提取出的至少一个类似化妆品有关的信息发送到终端。

Description

化妆品呈现装置和化妆品呈现方法
本申请是申请日为2017年9月22日、申请号为201780081287.7、发明名称为“化妆品呈现系统、化妆品呈现方法以及化妆品呈现服务器”的申请的分案申请。
技术领域
本公开涉及一种用于检索与用户所持的化妆品类似的化妆品并向用户呈现该类似的化妆品的化妆品呈现系统、化妆品呈现方法以及化妆品呈现服务器。
背景技术
作为与通过图像处理来针对拍摄人的脸部所得到的图像实施虚拟的化妆(makeup)的虚拟化妆有关的技术，例如在专利文献1中，在设置于店铺的专用终端、智能电话等个人所拥有的用户终端的应用程序中，呈现用户选择化妆品制造商提供的化妆品并使用所选择的该化妆品对用户的脸部虚拟地实施化妆(makeup)所得到的图像处理后的图像。
在专利文献1所记载的技术中，计算从3原色的脸部图像中提取出的唇部区域的代表性颜色的像素的色相、彩度、明度的平均值，并计算想要重涂的目标口红颜色与代表性颜色的像素的平均值之间的重涂偏差。并且，对唇部区域的各像素的色相、彩度、明度加上重涂偏差来计算新的像素的色相、彩度、明度，并变换为用于3原色显示的像素。由此，以接近人的眼睛的特性的色相、彩度、明度的方式得到重涂口红颜色后的脸部图像。
用户在例如店铺的专用终端、智能电话等用户终端的应用程序中，一边查看化妆品的照片一边研究购买哪个化妆品。
另一方面，有时想要使用自己所持的化妆品或者与该化妆品同类(类似)的化妆品(下面有时称作“类似化妆品”)。
但是，在店铺的专用终端、用户终端的应用程序中，也有时用户手头的化妆品(换言之，非常适合该用户的肌肤、且该用户自己称心的化妆品)或类似化妆品没有被登记到数据库中。在该情况下，无法找出用户想要的化妆品，对用户而言使用便利性不佳。另外，一般而言，在化妆品的购买中，如果不实际试涂，则无法获知该化妆品的显色是否如用户自己所想象的颜色那样。
本公开的目的在于，提取一个以上的与用户所持的化妆品类似的类似化妆品，并将一个以上的类似化妆品的提取结果呈现在用户终端，从而提高用户选择化妆品时的便利性。
现有技术文献
专利文献
专利文献1：日本特开2000-11145号公报
发明内容
关于本公开的化妆品呈现系统，服务器与具有显示部的终端以能够进行通信的方式连接，其中，终端具有：摄像部，其分别拍摄表示用户化妆前的脸部图像的第一图像、以及表示用户化妆后的脸部图像的第二图像；指示部，其用于受理与用户进行的化妆的类型或区域有关的信息的指定；以及第一通信部，其将所拍摄到的第一图像及第二图像同所指定的与化妆的类型或区域有关的信息相关联地发送到服务器，服务器具有：估计部，其基于从第一通信部发送来的第一图像、第二图像、以及与用户进行的化妆的类型或区域有关的信息，来估计用户进行的化妆的化妆颜色；提取部，其基于化妆品数据库及与所估计出的化妆颜色有关的信息，来提取至少一个具有所估计出的化妆颜色的类似化妆品；以及第二通信部，其将与所提取出的至少一个类似化妆品有关的信息发送到终端，终端将从第二通信部发送来的与至少一个类似化妆品有关的信息显示于显示部。
另外，本公开的化妆品呈现方法是化妆品呈现系统中的化妆品呈现方法，在化妆品呈现系统中，服务器与具有显示部的终端以能够进行通信的方式连接，在所述化妆品呈现方法中，终端分别拍摄表示用户化妆前的脸部图像的第一图像、以及表示用户化妆后的脸部图像的第二图像，终端受理与用户进行的化妆的类型或区域有关的信息的指定，终端将所拍摄到的第一图像及第二图像同所指定的与化妆的类型或区域有关的信息相关联地发送到服务器，服务器基于从终端发送来的第一图像、第二图像、以及与用户进行的化妆的类型或区域有关的信息，来估计用户进行的化妆的化妆颜色，服务器基于化妆品数据库及与所估计出的化妆颜色有关的信息，来提取至少一个具有所估计出的化妆颜色的类似化妆品，服务器将与所提取出的至少一个类似化妆品有关的信息发送到终端，终端将从服务器发送来的与至少一个类似化妆品有关的信息显示于显示部。
另外，本公开的化妆品呈现服务器是与具有显示部的终端以能够进行通信的方式连接的化妆品呈现服务器，具有：通信部，其接收从终端发送来的表示用户化妆前的脸部图像的第一图像、表示用户化妆后的脸部图像的第二图像、以及与用户进行的化妆的类型或区域有关的信息；估计部，其基于所接收到的第一图像、第二图像、以及与用户进行的化妆的类型或区域有关的信息，来估计用户进行的化妆的化妆颜色；以及提取部，其基于化妆品数据库及与所估计出的化妆颜色有关的信息，来提取至少一个具有所估计出的化妆颜色的类似化妆品，其中，通信部将与所提取出的至少一个类似化妆品有关的信息发送到终端，并使该信息显示于终端的显示部。
另外，本公开的化妆品呈现方法是使用了化妆品呈现服务器的化妆品呈现方法，其中，该化妆品呈现服务器与具有显示部的终端之间以能够进行通信的方式连接，在该化妆品呈现方法中，接收从终端发送来的表示用户化妆前的脸部图像的第一图像、表示用户化妆后的脸部图像的第二图像、以及与用户进行的化妆的类型或区域有关的信息，基于所接收到的第一图像、第二图像、以及与用户进行的化妆的类型或区域有关的信息，来估计用户进行的化妆的化妆颜色的步骤，基于化妆品数据库及与所估计出的化妆颜色有关的信息，来提取至少一个具有所估计出的化妆颜色的类似化妆品，将与所提取出的至少一个类似化妆品有关的信息发送到终端，并使该信息显示于终端的显示部。
根据本公开，能够提取一个以上的与用户所持的化妆品类似的类似化妆品，并能够将一个以上的类似化妆品的提取结果呈现在用户终端，从而能够提高用户选择化妆品时的便利性。
附图说明
图1是示出本实施方式的化妆品呈现系统的系统结构的一例的框图。
图2是示出本实施方式的用户终端的硬件结构的一例的框图。
图3是示出本实施方式的化妆品检索服务器的硬件结构的一例的框图。
图4是示出本实施方式的化妆品检索服务器的处理器内的软件功能的详细结构的一例的框图。
图5是详细地说明本实施方式的用户终端同化妆品检索服务器之间的与类似化妆品的检索有关的动作过程的第一例的时序图。
图6是详细地说明本实施方式的用户终端同化妆品检索服务器之间的与类似化妆品的检索有关的动作过程的第二例的时序图。
图7是示出本实施方式的用户终端中显示的初始画面的图。
图8是示出本实施方式的用户终端中显示的局部区域选择画面的图。
图9是示出本实施方式的用户终端中显示的检索结果列表画面的图。
图10是示出本实施方式的用户终端中显示的检索结果列表画面的图。
具体实施方式
下面，适当地参照附图来详细地说明具体地公开了本发明所涉及的化妆品呈现系统、化妆品呈现方法以及化妆品呈现服务器的实施方式(下面称作“本实施方式”)。但是，有时省略不必要的详细说明。例如，有时省略已经被熟知的事项的详细说明、对实质上相同的结构的重复说明。这是为了避免下面的说明过于冗长，使本领域技术人员理解本发明。此外，附图和下面的说明是为了使本领域技术人员充分地理解本公开而提供的，并不意图由此对权利要求书所记载的主题进行限定。
参照图1来说明本实施方式的化妆品呈现系统100的系统结构。图1是示出本实施方式的化妆品呈现系统100的系统结构的一例的框图。在下面的说明中，将化妆品呈现系统100的利用者简称为“用户”，例示女性用户来进行说明。
图1所示的化妆品呈现系统100构成为包括：作为用户所持的终端的一例的用户终端10、作为服务器或化妆品呈现服务器的一例的化妆品检索服务器50、化妆品数据库(DB：Database)60、化妆品购买服务器70以及购买历史记录数据库(DB)80。以下，将化妆品数据库记载为“化妆品DB”，将购买历史记录数据库记载为“购买历史记录DB”。既可以是化妆品DB 60与化妆品检索服务器50经由网络NW1以能够进行通信的方式连接，也可以是化妆品DB60被设置于化妆品检索服务器50内。既可以是购买历史记录DB 80与化妆品购买服务器70经由网络NW2以能够进行通信的方式连接，也可以是购买历史记录DB 80被设置于化妆品购买服务器70内。
网络NW1、NW2是使用有线构成的网络，例如是LAN(Local Area Network：局域网)通信网络。另外，网络NW1、NW2也可以是使用无线构成的网络，化妆品DB 60与化妆品检索服务器50之间、以及购买历史记录DB 80与化妆品购买服务器70之间能够进行无线通信即可，该无线通信方式可以是任何方式。
用户终端10是用户以可携带方式所持的能够进行无线通信的终端，例如是便携式电话、智能电话或平板终端。此外，用户终端10也可以不具有电话功能。用户终端10与化妆品检索服务器50及化妆品购买服务器70以能够进行无线通信的方式连接。
本实施方式的化妆品呈现系统100的动作概要如下。
用户终端10拍摄并获取用户进行化妆之前的脸部图像(第一图像的一例，以下称作“裸肌脸部图像”)以及用户使用手头的化妆品(也就是说，是非常适合用户的肌肤、且该用户自己称心的化妆品。以下相同。)实际进行化妆之后的脸部图像(第二图像的一例，以下称作“化妆脸部图像”)。用户终端10向化妆品检索服务器50发送至少包括裸肌脸部图像和化妆后脸部图像的化妆品检索委托。用户终端10接收并显示从化妆品检索服务器50发送来的检索结果列表，来作为由化妆品检索服务器50根据化妆品检索委托参照化妆品DB 60来进行检索所得到的结果。在检索结果列表中存在用户称心的化妆品的情况下，用户终端10向化妆品检索服务器50发送使用该化妆品的虚拟化妆(VMU：Virtual Makeup)的处理委托(以下称作“VMU处理委托”)。用户终端10接收并显示从化妆品检索服务器50发送来的虚拟化妆处理后的脸部图像(以下称作“VMU脸部图像”)，来作为由化妆品检索服务器50根据VMU处理委托对裸肌脸部图像进行虚拟化妆处理所得到的结果。
另外，在用户看到显示器15中显示的检索结果列表和VMU脸部图像的结果是找到了想要购买的化妆品的情况下，用户终端10按照用户的购买操作，将成为其购买对象的化妆品的购买申请发送到化妆品购买服务器70。由此，用户能够在用户终端10的显示器15上确认由化妆品检索服务器50提取出的、与自己手头的化妆品同类(类似)的化妆品，或者能够根据需要进行购买。
化妆品检索服务器50当接收到从用户终端10发送来的化妆品检索委托数据时，基于化妆品检索委托中包含的裸肌脸部图像和化妆脸部图像，来估计用户化妆所使用的化妆品(例如用户手头的化妆品)的化妆颜色。在后面叙述化妆颜色的估计方法。化妆品检索服务器50基于与所估计出的化妆颜色有关的信息和化妆品DB 60，来检索(提取)一个以上的具有所估计出的化妆颜色的类似化妆品，将检索结果(提取结果)作为检索结果列表发送到用户终端10。另外，化妆品检索服务器50当接收到从用户终端10发送来的VMU处理委托时，基于VMU处理委托中包含的与化妆品有关的信息，来对用户的裸肌脸部图像实施虚拟化妆处理，并将其结果(也就是说，VMU脸部图像)发送到用户终端10。
化妆品DB 60登记并保持多个与化妆品有关的信息。与化妆品有关的信息例如是化妆品的制造商名称、化妆品的名称、化妆品的颜色(也就是说，涂抹时与肌肤合成的颜色)、化妆品的类型(例如，粉底(Foundation)、唇膏(Lip)、腮红(Cheek)、眼影(Eyeshadow)、睫毛膏(Mascara)。以下相同。)、化妆品的价格(例如，作为销售价格的基准的制造商建议零售价格)，但不限定于这些，这是不言而喻的。
化妆品购买服务器70当接收到从用户终端10发送来的化妆品的购买申请时，对与作为该购买申请的对象的化妆品的购买有关的各种手续(例如，结账手续)进行处理，将其处理结果写入并登记到购买历史记录DB中。
购买历史记录DB 80登记并保持通过化妆品购买服务器70完成了与购买有关的各种手续之后的化妆品的购买历史记录。购买历史记录例如为成为购买对象的化妆品的识别编号、用户终端10的识别编号、购买者的姓名或住址，但不限定于这些，这是不言而喻的。
图2是示出本实施方式的用户终端10的硬件结构的一例的框图。图2所示的用户终端10构成为包括摄像机部11、处理器12、存储器13、操作输入部14、显示器15以及通信部16。也可以由操作输入部14和显示器15构成能够探测用户的操作(例如，触摸、点击)的触摸面板TP。图2所示的用户终端10既可以具有电话功能，也可以不具有电话功能。
作为摄像部的一例的摄像机部11例如使用镜头、图像传感器以及信号处理部构成。镜头用于使从用户终端10入射的光在图像传感器中以能够拍摄的方式成像。图像传感器例如使用CCD(Charge Coupled Device：电荷耦合器件)或CMOS(Complementary MetalOxide Semiconductor：互补金属氧化物半导体)构成。图像传感器通过对经由镜头成像的光进行光电转换来进行摄像，将通过摄像所得到的光学像的电信号输出到信号处理部。信号处理部使用图像传感器的输出(也就是说，光学像的电信号)来施加已有的图像处理，由此生成构成满足规定形式(例如H.264)的影像的RGB图像或YUV图像。摄像机部11使用上述的镜头、图像传感器以及信号处理部，来拍摄并获取用户的裸肌脸部图像和用户的化妆脸部图像，并将用户的裸肌脸部图像和用户的化妆脸部图像输出到处理器12。
处理器12例如使用CPU(Central Processing Unit：中央处理单元)、MPU(MicroProcessing Unit：微型处理单元)或DSP(Digital Signal Processor：数字信号处理器)构成。处理器12进行用于对用户终端10的各部的动作统一进行控制的信号处理、与其它各部之间的数据的输入输出处理、数据的运算处理以及数据的存储处理。
处理器12生成化妆品检索委托数据，并将化妆品检索委托数据输出到通信部16，其中，该化妆品检索委托数据包括用户的裸肌脸部图像及化妆脸部图像、后述的与裸肌脸部图像中的裸肌区域及化妆脸部图像中的化妆区域有关的信息、以及检索参数(参照后述)。此外，也可以是，在显示器15中显示了用户的裸肌脸部图像和化妆脸部图像的画面中借助操作输入部14选择了用户实际进行了化妆的化妆品的类型的情况下，处理器12确定出用户实际进行了化妆的区域(也就是说，化妆区域)，将该确定出的化妆区域信息以包含在上述的检索委托数据中的方式生成。
在显示器15中显示的检索结果列表中选择了某一类似化妆品的情况下，处理器12生成具有与所选择的类似化妆品有关的信息以及使用该类似化妆品的虚拟化妆的处理请求的数据(以下，称作“VMU处理委托请求数据”)，并将该数据输出到通信部16。
存储器13包括作为处理器12进行动作(处理)时的工作存储器来进行动作的RAM(Random Access Memory：随机存取存储器)、以及存储用于使处理器12进行动作的程序和数据(例如各种应用程序)的ROM(Read Only Memory：只读存储器)。另外，存储器13包括半导体存储器(例如快闪存储器)，该半导体存储器用于即使在用户终端10的电源被切断的情况下，也存储、保持例如由处理器12生成的数据。
作为指示部的一例的操作输入部14受理用户在显示于显示器15的各种画面上进行的操作(例如触摸、点击)。操作输入部14根据用户的操作，来受理例如与用户对自己的脸部进行了的化妆的类型或化妆的区域有关的信息的指定，并将该与化妆的类型或化妆的区域有关的信息输出到处理器12。
作为显示部的一例的显示器15例如使用LCD(Liquid Crystal Display：液晶显示器)或有机EL(Electro luminescence：电致发光)构成，显示器15根据用户的操作，来显示以能够执行的方式安装于用户终端10的各种应用程序的画面。
作为第一通信部的一例的通信部16与化妆品检索服务器50或化妆品购买服务器70之间使用规定的无线通信方式(无线LAN、例如Wifi(注册商标))来进行信息、数据的发送和接收。
图3是示出本实施方式的化妆品检索服务器50的硬件结构的一例的框图。图3所示的化妆品检索服务器50构成为包括数据蓄积部51、处理器52、存储器53、化妆品DB接口55以及通信部56。
数据蓄积部51例如使用快闪存储器、HDD(Hard Disk Drive：硬盘驱动器)或SSD(Solid State Drive：固态驱动器)构成，用于蓄积作为处理器52的处理结果的各种数据。
处理器52例如使用CPU、MPU或DSP构成。处理器52进行用于对处理器52的各部的动作统一进行控制的信号处理、与其它各部之间的数据的输入输出处理、数据的运算处理以及数据的存储处理。参照图4来在后面叙述处理器52的动作(处理)的详细内容。
存储器53包括：RAM，其作为处理器52进行动作(处理)时的工作存储器来进行动作；ROM，其存储用于使处理器52进行动作的程序和数据(例如，能够执行与来自用户终端10的请求相应的化妆品的检索处理、与来自用户终端10的请求相应的虚拟化妆处理的应用程序)。
化妆品DB接口55是用于化妆品检索服务器50与化妆品DB 60之间的通信的接口，将来自处理器52的信息或数据传递给化妆品DB 60来进行查询，或者将来自化妆品DB 60的应答结果的信息或数据传递给处理器52。
作为第二通信部的一例的通信部56与化妆品DB 60之间使用规定的通信方式(例如有线的LAN通信方式或无线的无线LAN通信方式)来进行信息、数据的发送和接收。另外，通信部56与用户终端10之间使用规定的无线通信方式(无线LAN、例如Wifi(注册商标))来进行信息、数据的发送和接收。
图4是示出本实施方式的化妆品检索服务器50的处理器52内的软件功能的详细结构的一例的框图。处理器52具有区域确定部521、化妆颜色估计部522、化妆颜色检索部523以及化妆合成部524。在存储器53中预先存储能够分别执行区域确定部521、化妆颜色估计部522、化妆颜色检索部523以及化妆合成部524的各处理的程序及数据。处理器52通过从存储器53中读出这些程序和数据并执行这些程序和数据，来在处理器52内构成区域确定部521、化妆颜色估计部522、化妆颜色检索部523以及化妆合成部524，并通过处理器52与存储器53的协作来执行各部的动作(处理)。
区域确定部521获取从用户终端10发送来的化妆品检索委托数据。化妆品检索委托数据例如具有裸肌脸部图像及化妆脸部图像的各数据、与化妆品的类型或化妆的区域有关的信息(例如，与用户实际进行化妆时使用的化妆品(也就是说，用户手头的化妆品)的类型有关的信息、或者与用户实际进行了化妆的区域有关的信息。以下相同。)。
区域确定部521使用获取到的这些信息、数据，来确定用户实际进行了化妆的区域(也就是说，化妆区域)，并剪切在各个图像中确定出的化妆区域的图像。区域确定部521将通过该剪切得到的图像(也就是说，作为裸肌脸部图像的化妆区域的图像(以下称作“裸肌区域图像”)以及作为化妆脸部图像的化妆区域的图像(以下称作“化妆区域图像”))输出到化妆颜色估计部522。另外，区域确定部521将与所确定的化妆区域有关的信息(也就是说，化妆区域信息)输出到化妆合成部524。
区域确定部521例如基于与化妆品的类型有关的信息(例如唇膏)、以及裸肌脸部图像与化妆脸部图像之差，来在用户的脸部图像中确定出被用户实际进行了化妆的区域(也就是说，化妆区域)。但是，区域确定部521中的化妆区域的确定方法不限定于上述的使用裸肌脸部图像与化妆脸部图像之差的方法，这是不言而喻的。此外，区域确定部521将粉底的化妆区域确定为整个脸部，将唇膏的化妆区域确定为唇部，将腮红的化妆区域确定为脸颊，将眼影的化妆区域确定为眼睛的上下的一部分区域，并且将睫毛膏的化妆区域确定为眼睛的上下的睫毛。
此外，在从用户终端10发送来的检索委托数据中包含有化妆区域信息的情况下，区域确定部521也可以省去确定裸肌脸部图像及化妆脸部图像的各数据中的化妆区域的确定处理，剪切出裸肌脸部图像中的与化妆区域信息对应的裸肌区域图像、以及化妆脸部图像中的与化妆区域信息对应的化妆区域图像后输出到化妆颜色估计部522。
作为估计部的一例的化妆颜色估计部522获取从区域确定部521输出的裸肌区域图像、化妆区域图像、以及从用户终端10发送来的化妆品检索委托数据中包含的与化妆品的类型有关的信息。化妆颜色估计部522基于裸肌区域图像、化妆区域图像、以及与化妆品的类型有关的信息，来估计用户化妆所使用的化妆品(例如用户手头的化妆品)的化妆颜色B。化妆颜色估计部522将所估计出的化妆颜色B输出到化妆颜色检索部523。
在此，对化妆颜色估计部522中的化妆颜色B的估计方法进行说明。
化妆颜色估计部522使用按被用户进行化妆的每个局部(也就是说，作为化妆对象的部位)预先决定的颜色的混合率α，按照数式(1)来估计(计算)例如用户使用手头的化妆品进行化妆时对用户的裸肌涂抹的颜色(也就是说，化妆品的显色)。在数式(1)中，B表示化妆颜色(也就是说，用户使用手头的化妆品进行化妆时对用户的裸肌涂抹的颜色，换言之，是涂抹化妆品时被合成的颜色)，A表示原来的肌肤的颜色(也就是说，化妆前的裸肌的化妆区域内的颜色)，C表示化妆后的颜色(也就是说，化妆后的化妆区域内的颜色)。α为混合率，例如，在唇膏的情况下，α＝0.9，在腮红的情况下，α＝0.67，α为根据化妆品的类型而不同的值。但是，α的值是一个例子。
[数1]
Figure BDA0003552329440000121
也就是说，化妆颜色估计部522能够考虑用户的肌肤的颜色(更具体地说，用户使用手头的化妆品实际进行了化妆的化妆前后的图像(具体地说，是裸肌区域图像和化妆区域图像))和化妆品的类型，来具体地估计用户手头的化妆品的显色(也就是说，化妆颜色B)。
作为提取部的一例的化妆颜色检索部523基于与由化妆颜色估计部522估计出的化妆颜色B有关的信息以及从用户终端10发送来的化妆品检索委托数据中包含的检索参数，参照化妆品DB 60，来检索一个以上的与化妆颜色B相同或类似的类似化妆品。化妆颜色检索部523提取该检索结果来作为检索结果列表并分别输出到化妆合成部524和通信部56。在此，类似化妆品表示具有与化妆颜色B相同的颜色或类似的(也就是说，非常近似)颜色的化妆品。此外，类似的(也就是说，非常近似的)颜色设为例如HSL颜色空间中的颜色(H)与化妆颜色B之间的距离小于规定的阈值(预定值)的颜色。此外，在从用户终端10发送来的检索委托数据中不包含检索参数的情况下，化妆颜色检索部523基于与由化妆颜色估计部522估计出的化妆颜色B有关的信息，参照化妆品DB 60，来检索与化妆颜色B相同或类似的类似化妆品。
在此，关于检索参数，不限于用户请求与化妆颜色B相同颜色的化妆品的情况，根据需要，还包括接近化妆颜色B的颜色、明度比化妆颜色B的明度大或小的颜色、彩度比化妆颜色B的彩度大或小的颜色来作为化妆品检索服务器50的检索对象，因此检索参数是由用户终端10指定的参数。检索参数包括例如HSL颜色空间(此外，也可以是CIELCH颜色空间、HSV颜色空间、LAB颜色空间。以下相同。)中的颜色(H)与化妆颜色B之间的距离近的颜色、明度比化妆颜色B的明度(L)大或)小的颜色、以及彩度比化妆颜色B的彩度大或小的颜色。
化妆合成部524获取从用户终端10发送来的化妆品检索委托数据中包含的裸肌脸部图像及化妆脸部图像、与由区域确定部521确定出的化妆区域有关的信息、与由化妆颜色检索部523提取出的一个以上的类似化妆品的化妆颜色有关的信息(也就是说，检索结果列表)、与从用户终端10发送来的VMU处理委托请求数据中包含的选择类似化妆品有关的信息。选择类似化妆品例如是在用户终端10中显示出包括与一个以上的类似化妆品有关的信息的检索结果列表数据之后通过用户的操作选择出的某一个类似化妆品。作为图像处理部的一例的化妆合成部524生成使用选择类似化妆品来对裸肌脸部图像的化妆区域施加虚拟化妆处理所得到的VMU脸部图像。化妆合成部524生成将所生成的该VMU脸部图像与裸肌脸部图像相对应地以左右对称的方式相连所得到的左右对称脸部图像的数据(以下称作“VMU处理数据”)，并将该左右对称脸部图像的数据输出到通信部56。
接下来，参照图5、图7～图9来说明本实施方式的化妆品呈现系统100的动作过程的第一例。图5是详细地说明本实施方式的用户终端10同化妆品检索服务器50之间的与类似化妆品的检索有关的动作过程的第一例的时序图。图7是示出本实施方式的用户终端10中显示的初始画面GM1的图。图8是示出本实施方式的用户终端10中显示的局部区域选择画面GM2的图。图9是示出本实施方式的用户终端10中显示的检索结果列表画面GM3的图。
作为说明图5的前提，在用户终端10显示有图7所示的初始画面GM1。图7～图9所示的各种显示画面例如是能够在本实施方式的化妆品呈现系统100中利用的化妆品呈现应用程序中显示的画面。化妆品呈现应用程序预先以能够执行的方式被安装在用户终端10中。当通过用户的操作启动化妆品呈现应用程序时，图7所示的初始画面GM1被显示于用户终端10的显示器15。
图7所示的初始画面GM1具有脸部图像显示区域FC1、菜单按钮显示区域MU1以及检索结果列表显示区域RST1。
在脸部图像显示区域FC1显示用户的脸部图像，或者显示后述的摄像机摄影按钮BT1和静止图像按钮BT2。
在菜单按钮显示区域MU1中显示图像获取按钮BT3、化妆选择区域AR1、检索按钮BT4以及选项区域BR1。
图像获取按钮BT是用于通过按下该图像取入按钮BT来在脸部图像显示区域FC1中显示摄像机摄影按钮BT1和静止图像按钮BT2的按钮。
在化妆选择区域AR1中显示用于指定用户对脸部进行了化妆的区域或用户对脸部进行了化妆的化妆品的类型的多个候选(例如，粉底、唇膏、腮红、眼影、睫毛膏)。另外，在化妆选择区域AR1中还显示用于使显示裸肌脸部图像NF1的实际无化妆区和显示化妆脸部图像RMU1的实际有化妆区进行左右反转来进行显示的按钮。
检索按钮BT4是用于在用户使用手头的化妆品进行了化妆时向化妆品检索服务器50请求检索与该化妆品相同或类似的化妆品(也就是说，类似化妆品)的按钮。
选项区域BR1显示用于根据用户的希望来指定成为检索类似化妆品时的选项的项目(具体地说，化妆品的颜色的明亮度(明度)和鲜艳度(彩度))的滑动条(slide bar)。能够通过用户对以由化妆品检索服务器50估计出的化妆颜色B(参照数式(1))为中心的滑动条进行的操作(例如拖动操作)来对明亮度、鲜艳度进行增减调整。
在检索结果列表显示区域RST1中显示从化妆品检索服务器50发送来的类似化妆品的检索结果列表数据(参照图9)。
在图5中，用户终端10例如当探测到用户的按下初始画面GM1的图像获取按钮BT3的操作时，在脸部图像显示区域FC1中显示摄像机摄影按钮BT1和静止图像按钮BT2。用户终端10当探测到用户的按下摄像机摄影按钮BT1的操作时，启动摄像机应用程序。用户终端10在摄像机应用程序中分别拍摄并获取用户进行化妆之前的脸部图像(裸肌脸部图像)、以及使用用户手头的化妆品(也就是说，非常适合用户的肌肤、且该用户自己称心的化妆品)实际进行化妆之后的脸部图像(化妆脸部图像)(S1)。
此外，在步骤S1中，也可以是，用户终端10当探测到用户的按下静止图像按钮BT2而取代按下摄像机摄影按钮BT1的操作时，读出在存储器13内存储、保持的静止图像的数据，来使用户选择上述的裸肌脸部图像和化妆脸部图像中的至少一者(S1)。
用户终端10当在步骤S1中获取到裸肌脸部图像和化妆脸部图像时，在初始画面GM1的脸部图像显示区域FC1例如显示将裸肌脸部图像的帧的左半部分的尺寸的图像与化妆脸部图像的帧的右半部分的尺寸的图像以左右对称的方式相连所得到的左右对称脸部图像。用户终端10当在脸部图像显示区域FC1显示将裸肌脸部图像的帧的左半部分的尺寸的图像与化妆脸部图像的帧的右半部分的尺寸的图像以左右对称的方式相连所得到的左右对称脸部图像时，从图7的初始画面GM1切换显示为图8的局部区域选择画面GM2。在图8所示的局部区域选择画面GM2中，在实际无化妆区显示裸肌脸部图像NF1的帧的左半部分(1/2)的尺寸的图像，在实际有化妆区显示化妆脸部图像RMU1的帧的右半部分(1/2)的尺寸的图像。
在步骤S1之后，用户终端10在图8所示的局部区域选择画面GM2受理在裸肌脸部图像和化妆脸部图像中用户进行了化妆的区域的指定(S2)。在此，例如设为在用户进行了涂抹腮红这一化妆的情况下，通过用户的操作指定了实际无化妆区的裸肌脸部图像NF1中的脸颊部分CK1以及实际有化妆区的化妆脸部图像RMU1中的脸颊部分CK2。用户终端10根据步骤S2的指定来获取表示脸颊部分CK1的位置的信息(例如，在裸肌脸部图像中的坐标)以及表示脸颊部分CK2的位置的信息(例如，在化妆脸部图像中的坐标)。此外，表示脸颊部分CK1的位置的信息(例如，在裸肌脸部图像中的坐标)以及表示脸颊部分CK2的位置的信息(例如，在化妆脸部图像中的坐标)也可以在化妆品检索服务器50中确定。
另外，也可以是，用户终端10例如在图8所示的局部区域选择画面GM2上选择用户实际进行了的化妆的化妆品的类型(例如腮红)，并且通过用户的操作来在显示器15上直接指定在化妆品检索服务器50的处理中使用裸肌脸部图像NF1和化妆脸部图像RMU1中的哪个区。由此，在用户进行稍微复杂的化妆或用户独特的化妆的情况下，例如眼影化妆时在内眼角部分和外眼角部分进行层叠涂抹等，用户终端10能够准确地获取与用户进行了化妆的区域(化妆区域)有关的信息，从而能够提高化妆品检索服务器50中的估计化妆颜色B的估计精度。
另外，在图8所示的局部区域选择画面GM2上通过对选项区域BR1的明度和彩度中的至少一个的滑动条进行调整而指定了选项区域BR1的明度和彩度中的至少一个的情况下，用户终端10获取与所指定的明度和彩度中的至少一个有关的信息来作为检索参数(S3)。此外，在选项区域BR1的明度和彩度都没有被用户指定的情况下，省去步骤S3的处理。
用户终端10生成化妆品检索委托数据，该化妆品检索委托数据包括在步骤S1中获取到的裸肌脸部图像及化妆脸部图像、在步骤S2中获取到的与化妆区域(也就是说，裸肌脸部图像中的用户进行了化妆的该区域、化妆脸部图像中的用户进行了化妆的该区域)有关的信息、根据需要在步骤S3中获取到的与检索选项有关的信息、以及对化妆品检索服务器50的检索请求。化妆品检索委托数据是用于在用户使用手头的化妆品进行了化妆时向化妆品检索服务器50请求是否存在具有与该化妆品的显色相同或类似的显色的化妆品的检索委托的数据，以下相同。用户终端10将化妆品检索委托数据发送到化妆品检索服务器50(S4)。
化妆品检索服务器50接收在步骤S4中从用户终端10发送来的化妆品检索委托数据。化妆品检索服务器50基于化妆品委托检索数据中包含的裸肌脸部图像、化妆脸部图像、以及与化妆区域有关的信息，来分别剪切并获取用户进行了化妆的部分的裸肌区域图像和化妆区域图像(T1)。
化妆品检索服务器50基于在步骤T1中获取到的裸肌区域图像及化妆区域图像、从用户终端10发送来的化妆品检索委托数据中包含的与化妆品的类型有关的信息，来估计用户在化妆中使用的化妆品(例如用户手头的化妆品)的化妆颜色B(T2)。
化妆品检索服务器50基于与在步骤T2中估计出的化妆颜色B有关的信息、以及从用户终端10发送来的化妆品检索委托数据中包含的检索参数，参照化妆品DB 60，来检索一个以上的与化妆颜色B相同或类似的类似化妆品(T3)。
化妆品检索服务器50提取通过步骤T3的检索提取出的检索结果(也就是说，与一个以上的类似化妆品有关的信息)来作为检索结果列表数据。化妆品检索服务器50生成按每个类似化妆品将类似化妆品的名称、类似化妆品的制造商名称印刷到以该类似化妆品的颜色为背景颜色的规定尺寸的图标上所生成的类似化妆品图标，来作为与一个以上的类似化妆品有关的信息(T4)。
化妆品检索服务器50将在步骤T4中生成的检索结果列表数据回复给用户终端10(T5)。
用户终端10接收从化妆品检索服务器50回复来的检索结果列表数据，在显示器15显示在检索结果列表显示区域RST1中显示了检索结果列表数据的检索结果列表画面GM3(参照S5、图9)。在图9的检索结果列表画面GM3的检索结果列表显示区域RST1中显示有多个(例如6个)类似化妆品各自的类似化妆品图标LP1、LP2、LP3、LP4、LP5、LP6。用户终端10能够通过用户的操作来以沿左右方向滚动的方式显示类似化妆品图标LP6以外的类似化妆品图标。
类似化妆品图标LP1具有类似化妆品的制造商名称为“xxx”、类似化妆品的名称为“yyy0”的唇膏的颜色来作为背景颜色，在表示是被登记到用户的收藏夹中的化妆品的星形的标记中加入了复选标记(check)MK1。被登记到用户的收藏夹中的化妆品的列表以关联有该化妆品的制造商名称和该化妆品的名称的方式显示于收藏夹区AR2。并且，用户终端10当探测到通过用户的操作选择了收藏夹区AR2中示出的化妆品中的某一个化妆品并按下了购买按钮时，能够生成所选择的化妆品的购买申请，并将该购买申请发送到化妆品购买服务器70。由此，如果在被登记到收藏夹区AR2中的化妆品中存在称心的化妆品，则用户能够随时经由化妆品购买服务器70来购买该称心的化妆品。
另外，也可以是，在通过用户的操作选择了收藏夹区AR2中的某一个化妆品的情况下，用户终端10生成使用所选择的该化妆品的虚拟化妆的处理委托(后述的VMU处理委托请求数据)，并将该虚拟化妆的处理委托发送到化妆品检索服务器50。由此，用户终端10能够通过用户的简单的操作来将用户使用收藏夹区AR2中登记的化妆品所得到的VMU脸部图像显示于显示器15。
类似化妆品图标LP2具有类似化妆品的制造商名称为“xxx”、类似化妆品的名称为“yyy1”的唇膏的颜色来作为背景颜色。
类似化妆品图标LP3具有类似化妆品的制造商名称为“xxx”、类似化妆品的名称为“yyy2”的唇膏的颜色来作为背景颜色。
类似化妆品图标LP4具有类似化妆品的制造商名称为“xxx”、类似化妆品的名称为“yyy3”的唇膏的颜色来作为背景颜色。
类似化妆品图标LP5具有类似化妆品的制造商名称为“xxx”、类似化妆品的名称为“yyy4”的唇膏的颜色来作为背景颜色。
类似化妆品图标LP6具有类似化妆品的制造商名称为“xxx”、类似化妆品的名称为“yyy5”的唇膏的颜色来作为背景颜色。
此外，用户终端10在接收到从化妆品检索服务器50回复来的检索结果列表数据时，作为检索结果列表画面的另一例，也可以将图10所示的检索结果列表画面GM4显示于显示器15。图10是示出本实施方式的用户终端10中显示的检索结果列表画面GM4的图。
在图10的检索结果列表画面GM4中，与图7的初始画面GM1、图8的局部区域选择画面GM2、图9的检索结果列表画面GM3不同，在除检索结果列表显示区域RST1以外的其它区域中，将裸肌脸部图像NF1的帧的左半部分的尺寸的图像与化妆脸部图像RMU1的帧的右半部分的尺寸的图像以左右对称的方式相连所得到的左右对称脸部图像同每个类似化妆品的类似化妆品图标以一对一地对应的方式显示出与类似化妆品的提取数N(1以上的整数)个相应的个数。另外，在图10中，表示是被登记到用户的收藏夹中的化妆品的星形的标记被叠加示出于左右对称脸部图像上。在图10中，与图9同样地，对类似化妆品(制造商名称：xxx、名称：yyy0)的标记赋予复选标记MK1。
在用户终端10的显示器15中显示有图9的检索结果列表画面GM3或图10的检索结果列表画面GM4时，假设通过用户的操作选择了某一类似化妆品(S6)。用户终端10生成使用所选择的类似化妆品的VMU处理委托请求数据，并将该VMU处理委托请求数据发送到化妆品检索服务器50(S7)。
化妆品检索服务器50当接收到从用户终端10发送来的VMU处理委托请求数据时，使用根据VMU处理委托请求数据中包含的与类似化妆品有关的信息确定出的化妆品的颜色(化妆颜色)，来对在步骤T1中剪切出的裸肌区域图像实施虚拟化妆处理(T6)。化妆品检索服务器50将包括虚拟化妆处理后的VMU脸部图像的VMU处理数据回复给用户终端10(T7)。
用户终端10当接收到从化妆品检索服务器50发送来的VMU处理数据时，将显示器15中正在显示的检索结果列表画面GM3或检索结果列表画面GM4中的至少一个的用户的裸肌脸部图像切换显示为VMU处理数据中包含的VMU脸部图像(S8)。此外，关于步骤S8以后的处理，将用户终端10的步骤S6→步骤S7→化妆品检索服务器50的步骤T6→步骤T7→用户终端10的步骤S8共计5个处理设为一组，根据在用户终端10中选择的类似化妆品的个数来被同样地反复进行。
图6是详细地说明本实施方式的用户终端10同化妆品检索服务器50之间的与类似化妆品的检索有关的动作过程的第二例的时序图。在图6的说明中，对与图5所示的处理相同的处理标注相同的步骤编号，并省略或简化说明。
在图6中，在步骤S1之后，用户终端10在图8所示的局部区域选择画面GM2受理用户实际进行了化妆的化妆品的类型(例如唇膏)的指定(S2A)。
用户终端10生成化妆品检索委托数据，该化妆品检索委托数据包括在步骤S1中获取到的裸肌脸部图像及化妆脸部图像、在步骤S2A中获取到的与化妆品的类型有关的信息(例如，唇膏)、根据需要在步骤S3中获取到的与检索可选有关的信息、以及向化妆品检索服务器50发送的检索请求。用户终端10将化妆品检索委托数据发送到化妆品检索服务器50(S4)。
化妆品检索服务器50接收在步骤S4中从用户终端10发送来的化妆品检索委托数据。化妆品检索服务器50基于化妆品委托检索数据中包含的裸肌脸部图像、化妆脸部图像、以及与化妆品的类型有关的信息(例如，唇膏)，来确定裸肌脸部图像及化妆脸部图像中的用户进行了化妆的部分(T1A)。并且，化妆品检索服务器50基于确定用户进行了化妆的部分的确定结果，来从裸肌脸部图像和化妆脸部图像中分别剪切并获取裸肌区域图像和化妆区域图像(T1A)。步骤T1A之后的处理与图5相同，因此省略说明。
根据以上所述，在本实施方式的化妆品呈现系统100中，用户终端10分别拍摄表示用户化妆前的脸部图像的裸肌脸部图像(第一图像的一例)以及表示用户化妆后的脸部图像的化妆脸部图像(第二图像的一例)，并获取与用户进行的化妆的类型或区域有关的信息。用户终端10将所拍摄到的裸肌脸部图像及化妆脸部图像同所指定的与化妆的类型或区域有关的信息相关联地发送到化妆品检索服务器50。化妆品检索服务器50基于从用户终端10发送来的裸肌脸部图像、化妆脸部图像、以及与用户进行的化妆的类型或区域有关的信息，来估计用户进行的化妆的化妆颜色B。化妆品检索服务器50基于化妆品数据库60及与所估计出的化妆颜色B有关的信息，来检索并提取至少一个具有所估计出的化妆颜色B的类似化妆品，将与所提取出的至少一个类似化妆品有关的信息作为检索结果列表数据回复给用户终端10。用户终端10将从化妆品检索服务器50发送来的与至少一个类似化妆品有关的信息显示于显示器15。
由此，化妆品检索服务器50能够提取一个以上的与用户所持的化妆品(也就是说，非常适合用户的肌肤、且该用户自己称心的化妆品)类似的类似化妆品，并能够在用户终端10呈现一个以上的类似化妆品的提取结果。因而，根据化妆品呈现系统100，在用户正在考虑想要与所持的化妆品同样的化妆品的情况下，能够高效地搜索并选择出适合该用户的肤色或化妆时的显色的化妆品，从而能够提高用户搜索化妆品时、选择化妆品时的便利性。关于化妆品，原本能够通过商品目录等确认化妆时的显色(也就是说，化妆品的颜色)，但是用户如果不实际涂抹，则无法准确地获知该化妆时的显色与化妆品本身的颜色是否相同。根据本实施方式，化妆品检索服务器50能够基于用户的裸肌(化妆前)的裸肌脸部图像和化妆后的化妆脸部图像，来估计用户用手头的化妆品实际进行了化妆时的颜色(化妆颜色B)，在此基础上，提取与该化妆颜色B相同或类似的类似化妆品，因此能够与化妆品制造商(换言之，是品牌)无关地搜索出符合用户的希望的一个类似化妆品，从而能够提高用户选择化妆品时的便利性。
另外，用户终端10根据对显示器15中显示的类似化妆品的任一个类似化妆品的选择，来将使用所选择的一个类似化妆品的虚拟化妆的处理请求发送到化妆品检索服务器50。化妆品检索服务器50使用所选择的一个类似化妆品，来对用户的裸肌脸部图像施加虚拟化妆。化妆品检索服务器50将包括被施加虚拟化妆得到的VMU脸部图像(第一处理图像的一例)的VMU处理数据发送到用户终端10。用户终端10将从化妆品检索服务器50发送来的VMU处理数据中包含的VMU脸部图像显示于显示器15。由此，用户通过在用户终端10的显示器15中显示的一个以上的检索结果列表(也就是说，类似化妆品)中选择自己称心的类似化妆品这一简单的操作，就能够确认用所选择的该类似化妆品对自己的裸肌脸部图像虚拟地进行了化妆时的图像，能够勾起用户购买该类似化妆品的购买欲望。
另外，用户终端10将用户进行的化妆的化妆品的化妆颜色的明度或彩度的信息以与同化妆的类型或区域有关的信息一起包含在化妆品检索委托数据中发送到化妆品检索服务器50。化妆品检索服务器50基于与所估计出的化妆颜色B有关的信息、化妆品数据库60、以及化妆颜色的明度或彩度的信息，来提取至少一个与所估计出的化妆颜色B相同或类似的类似化妆品。由此，用户能够简单地委托化妆品检索服务器50检索考虑了化妆完成时的平衡的类似化妆品，该类似化妆品包括以自己在化妆时使用的化妆品的显色为基准对明亮度、明度中的一方或两方的调整。另外，用户能够在显示器15上针对自化妆品检索服务器50的检索结果列表数据从考虑了化妆完成时的平衡的类似化妆品的列表中选择称心的化妆品，其中，该类似化妆品包括以自己在化妆时使用的化妆品的显色为基准对明亮度、明度中的一方或两方的调整，因此能够增大考虑购买化妆品的用户在选择化妆品时的选择范围(也就是说，可能成为购买对象的化妆品的候选个数)。
另外，用户终端10在显示器15显示从化妆品检索服务器50发送来的与至少一个类似化妆品有关的信息的检索结果列表画面GM3中，显示将裸肌脸部图像NF1的帧的左半部分或右半部分的尺寸的图像与化妆脸部图像RMU1的帧的右半部分或左半部分的尺寸的图像相连所得到的左右对称脸部图像(参照图9)。由此，由于裸肌脸部图像NF1和化妆脸部图像RMU1以左右对称的方式显示于显示器15，因此用户能够一边将裸肌脸部图像NF1与化妆脸部图像RMU1进行对比，一边一目了然地比较例如实施了化妆的部位的化妆时的显色、光泽的良好度等。
另外，化妆品检索服务器50提取多个与所估计出的化妆颜色B相同或类似的类似化妆品，并将与多个类似化妆品有关的信息发送到用户终端10。用户终端10将一个左右对称脸部图像同与多个类似化妆品有关的信息相关联地显示于显示器15(参照图9)。由此，由于裸肌脸部图像NF1与化妆脸部图像RMU1以左右对称的方式显示于显示器15，且多个类似化妆品的检索结果显示于同一显示器15，因此用户能够一边将裸肌脸部图像NF1、化妆脸部图像RMU1以及多个类似化妆品进行对比，一边一目了然地判断哪个类似化妆品与实际的化妆时的显色相似。
另外，化妆品检索服务器50提取多个与所估计出的化妆颜色B相同或类似的类似化妆品，并将与多个类似化妆品有关的信息发送到用户终端10。在将由化妆品检索服务器50提取出的类似化妆品的个数设为N(N：2以上的整数)的情况下，用户终端10将与不同的类似化妆品有关的信息叠加于N个左右对称脸部图像中的各个左右对称脸部图像来显示于显示器15(参照图10)。由此，用户能够在同一显示器15所显示的检索结果列表画面GM4中对比地观察将使用多个类似化妆品中的各个类似化妆品施加虚拟化妆得到的VMU脸部图像与化妆脸部图像以左右对称的方式相连所得到的图像，因此能够高效地选择自分称心的类似化妆品。
另外，用户终端10将以类似化妆品的化妆颜色为背景颜色的规定尺寸的图标(例如类似化妆品图标LP1、LP2、LP3、LP4、LP5、LP6)作为与类似化妆品有关的信息显示于显示器15。由此，用户能够根据类似化妆品图标的背景颜色来简单且一目了然地确认由化妆品检索服务器50提取出的一个以上的类似化妆品的颜色，从而能够提高用户选择化妆品时的便利性。
以上，参照附图说明了各种实施方式，但本发明不限定于上述的例子，这是不言而喻的。显而易见的是，本领域技术人员在权利要求书所记载的范围内能够想到各种变更例或修正例，并且应当了解的是，这些变更例或修正例也当然属于本发明的技术范围。另外，也可以在不脱离发明的主旨的范围内将上述实施方式中的各结构要素任意地进行组合。
在上述的本实施方式中，在通过用户的操作在用户终端10中选择了某个类似化妆品的情况下使用该类似化妆品对用户的裸肌脸部图像实施了虚拟化妆处理的是化妆品检索服务器50。但是，也可以是，在通过用户的操作选择了某个类似化妆品的情况下，由用户终端10自己使用该类似化妆品对用户的裸肌脸部图像实施虚拟化妆处理，并将该虚拟化妆处理后的脸部图像显示于显示器15。由此，即使在用户终端10与化妆品检索服务器50之间的通信环境恶劣的情况下，用户也能够通过从用户终端10选择任一类似化妆品，而迅速地确认虚拟化妆处理后的图像，从而用户的使用便利性进一步提高。
产业上的可利用性
本公开作为提取一个以上的与用户所持的化妆品类似的类似化妆品并在用户终端呈现一个以上的类似化妆品的提取结果，从而能够提高用户选择化妆品时的便利性的化妆品呈现系统、化妆品呈现方法以及化妆品呈现服务器是有用的。
附图标记说明
10：用户终端；11：摄像机部(摄像部)；12、52：处理器；13、53：存储器；14：操作输入部(指示部)；15：显示器(显示部)；16、56：通信部；50：化妆品检索服务器；51：数据蓄积部；55：化妆品DB接口；60：化妆品数据库(化妆品DB)；70：化妆品购买服务器；80：购买历史记录数据库(购买历史记录DB)；100：化妆品呈现系统；521：区域确定部；522：化妆颜色估计部；523：化妆颜色检索部；524：化妆合成部；GM1：初始画面；GM2：局部区域选择画面；GM3、GM4：检索结果列表画面；TP：触摸面板。

Claims (8)

1.一种化妆品呈现装置，其具有：
获取部，其获取表示用户化妆前的脸部图像的第一图像、以及表示所述用户化妆后的脸部图像的第二图像；
估计部，其将所获取到的所述第一图像与所述第二图像进行比较，来估计所述用户的化妆颜色；
提取部，其基于化妆品数据库及与所估计出的所述化妆颜色有关的信息，来提取至少一个具有在颜色空间中与所估计出的化妆颜色相同、或在颜色空间中与所估计出的化妆颜色的距离小于规定值的颜色的化妆品作为类似化妆品；以及
通信部，其将与所提取出的至少一个所述类似化妆品有关的信息发送到终端。
2.根据权利要求1所述的化妆品呈现装置，其特征在于，
所述化妆品呈现装置受理使用从至少一个所述类似化妆品中选择出的类似化妆品的虚拟化妆的处理请求，
所述化妆品呈现装置还具有使用所选择出的所述类似化妆品来对所述第一图像施加虚拟化妆的图像处理部，
所述化妆品呈现装置将实施所述虚拟化妆所得到的第一处理图像发送到所述终端，
所述终端显示从所述化妆品呈现装置发送来的所述第一处理图像。
3.根据权利要求1所述的化妆品呈现装置，其特征在于，
所述化妆品呈现装置获取所述用户的化妆颜色的明度或彩度的信息，
所述化妆品呈现装置基于与所估计出的所述化妆颜色有关的信息、所述化妆品数据库、以及所述化妆颜色的明度或彩度的信息，来提取至少一个具有在颜色空间中与所估计出的化妆颜色相同、或在颜色空间中与所估计出的化妆颜色的距离小于规定值的颜色的化妆品作为类似化妆品。
4.根据权利要求1所述的化妆品呈现装置，其特征在于，
所述终端在显示从所述化妆品呈现装置发送来的与至少一个所述类似化妆品有关的信息的画面中显示左右对称脸部图像，该左右对称脸部图像是将所述第一图像的帧的左半部分或右半部分的尺寸的图像与所述第二图像的帧的右半部分或左半部分的尺寸的图像相连所得到的图像。
5.根据权利要求4所述的化妆品呈现装置，其特征在于，
所述化妆品呈现装置提取多个所述类似化妆品，将与多个所述类似化妆品有关的信息发送到所述终端，
所述终端将一个所述左右对称脸部图像同与多个所述类似化妆品有关的信息相关联地进行显示。
6.根据权利要求4所述的化妆品呈现装置，其特征在于，
所述化妆品呈现装置提取多个所述类似化妆品，将与多个所述类似化妆品有关的信息发送到所述终端，
在将由所述化妆品呈现装置提取出的所述类似化妆品的个数设为N的情况下，所述终端将与不同的所述类似化妆品有关的信息叠加于N个所述左右对称脸部图像中的各个左右对称脸部图像来进行显示，其中，N为2以上的整数。
7.根据权利要求1所述的化妆品呈现装置，其特征在于，
所述终端将以所述类似化妆品的化妆颜色为背景颜色的规定尺寸的图标作为与所述类似化妆品有关的信息进行显示。
8.一种化妆品呈现方法，在所述化妆品呈现方法中，
获取表示用户化妆前的脸部图像的第一图像、以及表示所述用户化妆后的脸部图像的第二图像，
将所述第一图像与所述第二图像进行比较，来估计所述用户的化妆颜色，
基于化妆品数据库及与所估计出的所述化妆颜色有关的信息，来提取至少一个具有在颜色空间中与所估计出的化妆颜色相同、或在颜色空间中与所估计出的化妆颜色的距离小于规定值的颜色的化妆品作为类似化妆品，
将与所提取出的至少一个所述类似化妆品有关的信息发送到终端。
CN202210267300.0A 2016-12-28 2017-09-22 化妆品呈现装置和化妆品呈现方法 Pending CN114742608A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016256842A JP6986676B2 (ja) 2016-12-28 2016-12-28 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ
JP2016-256842 2016-12-28
CN201780081287.7A CN110121728B (zh) 2016-12-28 2017-09-22 化妆品呈现系统、化妆品呈现方法以及化妆品呈现服务器
PCT/JP2017/034236 WO2018123165A1 (ja) 2016-12-28 2017-09-22 化粧品提示システム、化粧品提示方法、及び化粧品提示サーバ

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201780081287.7A Division CN110121728B (zh) 2016-12-28 2017-09-22 化妆品呈现系统、化妆品呈现方法以及化妆品呈现服务器

Publications (1)

Publication Number Publication Date
CN114742608A true CN114742608A (zh) 2022-07-12

Family

ID=62710304

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210267300.0A Pending CN114742608A (zh) 2016-12-28 2017-09-22 化妆品呈现装置和化妆品呈现方法
CN201780081287.7A Active CN110121728B (zh) 2016-12-28 2017-09-22 化妆品呈现系统、化妆品呈现方法以及化妆品呈现服务器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780081287.7A Active CN110121728B (zh) 2016-12-28 2017-09-22 化妆品呈现系统、化妆品呈现方法以及化妆品呈现服务器

Country Status (4)

Country Link
US (1) US11478062B2 (zh)
JP (1) JP6986676B2 (zh)
CN (2) CN114742608A (zh)
WO (1) WO2018123165A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113511B2 (en) * 2017-02-01 2021-09-07 Lg Household & Health Care Ltd. Makeup evaluation system and operating method thereof
JP7238317B2 (ja) * 2018-10-04 2023-03-14 カシオ計算機株式会社 塗布システム
CN112997477A (zh) * 2018-10-29 2021-06-18 索尼集团公司 显示装置和显示控制方法
US10866716B2 (en) * 2019-04-04 2020-12-15 Wheesearch, Inc. System and method for providing highly personalized information regarding products and services
JP7463774B2 (ja) * 2020-03-13 2024-04-09 カシオ計算機株式会社 メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム
JP7229612B1 (ja) * 2022-10-12 2023-02-28 株式会社Kireii 化粧品類情報システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3723349B2 (ja) 1998-06-18 2005-12-07 株式会社資生堂 口紅色変換システム
JP5324031B2 (ja) * 2006-06-20 2013-10-23 花王株式会社 美容シミュレーションシステム
JP5227212B2 (ja) * 2009-02-09 2013-07-03 株式会社 資生堂 肌色測定装置、肌色測定プログラム、メイクアップシミュレーション装置及びメイクアップシミュレーションプログラム
JP6111528B2 (ja) * 2012-04-13 2017-04-12 カシオ計算機株式会社 画像処理装置及び画像処理方法並びにプログラム
JP6008698B2 (ja) * 2012-11-06 2016-10-19 花王株式会社 顔画像分析装置及び顔画像分析方法
JP6198555B2 (ja) * 2012-11-13 2017-09-20 株式会社オカダ電子 画像比較機能を備えた顧客管理システム、画像比較機能を備えた顧客管理システムを利用したゴルフレッスン支援システム
CN103049500A (zh) * 2012-12-10 2013-04-17 东莞宇龙通信科技有限公司 一种利用云端服务器实现化妆指导的方法及系统
EP2953090A4 (en) * 2013-02-01 2016-05-25 Panasonic Ip Man Co Ltd MAKEUP AID, MAKEUP AID, MAKEUP ASSISTANCE AND MAKEUP ASSISTANCE
JP5991536B2 (ja) * 2013-02-01 2016-09-14 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP2014149677A (ja) 2013-02-01 2014-08-21 Panasonic Corp 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
JP2013178789A (ja) * 2013-04-01 2013-09-09 Kao Corp 美容シミュレーションシステム
US20150356661A1 (en) * 2014-06-09 2015-12-10 Jillianne Rousay Cosmetic matching and recommendations
JP6055160B1 (ja) * 2016-07-08 2016-12-27 株式会社オプティム 化粧品情報提供システム、化粧品情報提供装置、化粧品情報提供方法、及びプログラム

Also Published As

Publication number Publication date
JP6986676B2 (ja) 2021-12-22
US11478062B2 (en) 2022-10-25
JP2018109842A (ja) 2018-07-12
WO2018123165A1 (ja) 2018-07-05
CN110121728B (zh) 2022-04-12
US20200214427A1 (en) 2020-07-09
CN110121728A (zh) 2019-08-13

Similar Documents

Publication Publication Date Title
CN110121728B (zh) 化妆品呈现系统、化妆品呈现方法以及化妆品呈现服务器
US10264870B2 (en) Makeup application assistance device, makeup application assistance system, and makeup application assistance method
US9369638B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
US10249211B2 (en) Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US8976160B2 (en) User interface and authentication for a virtual mirror
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
KR20200101209A (ko) 워치 페이스 이미지를 결정하기 위한 방법 및 그 전자 장치
EP3028177A1 (en) Devices, systems and methods of virtualizing a mirror
CN113034219A (zh) 虚拟着装方法、装置、设备及计算机可读存储介质
JP5726421B2 (ja) 携帯端末機
JP6497030B2 (ja) 撮影システム、情報処理装置、撮影方法、プログラム、記憶媒体
JP2018005091A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP6601747B2 (ja) メイクアップ支援システム、及びメイクアップ支援方法
JP2017123006A (ja) 携帯情報端末及びプログラム
JP6296305B2 (ja) メイクアップ支援装置、メイクアップ支援方法およびメイクアップ支援プログラム
JP5925947B1 (ja) まつげエクステ評価装置、まつげエクステ評価方法、まつげエクステ評価システム、及びプログラム
US20240185530A1 (en) Information interaction method, computer-readable storage medium and communication terminal
CN109862286B (zh) 图像显示方法、装置、设备和计算机存储介质
JP2019113978A (ja) 動線分析システム、動線分析システムの制御方法、およびプログラム
JP6578742B2 (ja) 業務システム
JP2015164309A (ja) 携帯端末機
JP6132249B2 (ja) メイクアップ支援装置、メイクアップ支援方法およびメイクアップ支援プログラム
CN115486088A (zh) 信息交互方法、计算机可读存储介质、通信终端
CN115941912A (zh) 视觉色彩补偿方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination