CN110235169A - 化妆评价系统及其动作方法 - Google Patents

化妆评价系统及其动作方法 Download PDF

Info

Publication number
CN110235169A
CN110235169A CN201880008880.3A CN201880008880A CN110235169A CN 110235169 A CN110235169 A CN 110235169A CN 201880008880 A CN201880008880 A CN 201880008880A CN 110235169 A CN110235169 A CN 110235169A
Authority
CN
China
Prior art keywords
makeup
image
score
evaluation
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880008880.3A
Other languages
English (en)
Other versions
CN110235169B (zh
Inventor
金相伊
权度赫
黄度植
金兑性
朴斗贤
房基勋
鱼泰浚
全耀翰
黄世媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG H&H Co Ltd
Original Assignee
LG Household and Health Care Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Household and Health Care Ltd filed Critical LG Household and Health Care Ltd
Priority claimed from PCT/KR2018/001412 external-priority patent/WO2018143707A1/ko
Publication of CN110235169A publication Critical patent/CN110235169A/zh
Application granted granted Critical
Publication of CN110235169B publication Critical patent/CN110235169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/02Furniture or other equipment specially adapted for hairdressers' rooms and not covered elsewhere
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0254Targeted advertisements based on statistics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0076Body hygiene; Dressing; Knot tying
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及对图像所包含的脸部的化妆进行评价的化妆评价系统及其动作方法,该化妆评价系统包括:移动终端,其拍摄脸部图像,将拍摄的脸部图像传送到化妆服务器;及化妆服务器,其存储有化妆分数数据,当从移动终端接收到脸部图像时,对脸部图像中的至少一个以上的脸部区域进行检测,并基于化妆分数数据而计算检测出的各个脸部区域的化妆分数,将计算的化妆分数传送到移动终端。

Description

化妆评价系统及其动作方法
技术领域
本发明涉及化妆评价系统及其动作方法。
背景技术
随着美容业(beauty industry)的发展,使用者对化妆品、化妆(make-up)等的关注越来越多。由此,使用者对化妆品、化妆等的要求也越来越多样化。
另一方面,由于使用者每个人的皮肤颜色、脸型、耳目口鼻的长相等不同,因此适合每个人的化妆也是不同的。因此,使用者在选择适合自己的化妆时会产生困扰。使用者想知道在化妆之后有没有化好妆、需要补充哪些部分。
根据这样的趋势,近年来研发了对使用者的脸部实施假想的化妆的应用(application)等。在该情况下,虽然能够激发使用者的好奇心和兴趣,但需要由个人来判断使用者适合何种化妆。即,难以提供适合每个使用者的定制型服务。例如,在当前提供的美容(beauty)服务的情况下,不包括化妆专家的协助或即便有化妆专家的协助,也基于有限的数据。因此,难以提供对每个使用者的定制型服务。
另一方面,近年来,机器学习(Machine Learning,ML)技术,特别地,深度学习(Deep Learning,DL)技术的利用领域。
机器学习技术是指,通过诸多数据而提取特征,当接收到新的数据时,计算机能够自行根据特征而进行分类的技术。
深度学习技术是机器学习技术的一部分。深度学习技术是指,基于用于构成人工智能的人工神经网络ANN(Artificial Neural Networks),在大数据中发现图形,如由人来分辨事物一样,由计算机对数据进行分类的技术。
认为,通过将深度学习技术运用于化妆服务,能够基于更客观的数据而对使用者提供定制型化妆。
发明内容
技术课题
本发明提供一种对使用者的化妆进行评价的化妆评价系统及其动作方法。
本发明提供一种分析照片中的化妆,并用数值来提供化妆的优异性的化妆评价系统及其动作方法。
更具体地,本发明提供一种通过基于化妆专家的评价的具有可靠性的分数数据来评价化妆的化妆评价系统及其动作方法。
本发明提供一种构建有通过机器学习技术而自动地评价化妆的数据库的化妆评价系统及其动作方法。
本发明提供一种针对使用者的脸部各个部位评价化妆的化妆评价系统及其动作方法。
解决课题的手段
本发明的实施例的化妆评价系统包括:移动终端,其拍摄脸部图像,将拍摄的脸部图像传送到化妆服务器;及化妆服务器,其存储有化妆分数数据,当从移动终端接收到脸部图像时,对脸部图像中的至少一个以上的脸部区域进行检测,并基于化妆分数数据而计算检测出的各个脸部区域的化妆分数,将计算的化妆分数传送到移动终端,当从移动终端接收到化妆主题时,化妆服务器按照化妆主题而计算化妆分数,根据所检测出的脸部区域的形状及化妆主题而计算出不同的化妆分数。
发明效果
根据本发明的实施例,具有如下效果:能够向使用者提供更可靠的化妆评价服务。具体地,根据本发明的实施例,具有如下效果:能够提供与实际的化妆专家的评价类似的化妆评价服务。
根据本发明的实施例,具有如下优点:可检测脸部的各个区域并运用算法来评价化妆。更具体地,由于每个使用者的脸部的大小、形状等不同,因此即便进行相同的化妆,对有些人适合,对有些人不适合。因此,在本发明中特别地具有如下优点:提取脸部各个部位区域,对提取的区域运用算法,由此考虑使用者的脸部特性而执行化妆评价,因此可实现精密的化妆评价。
根据本发明的实施例,具有如下优点:提取脸部的各个部位区域,对所提取的每个区域运用不同的算法,针对每个部位可评价是否化好妆,并且可评价综合了脸部各个部位的整体上的化妆分数。
根据本发明的实施例,具有如下优点:能够利用区域的RGB值而更准确地识别脸部区域。
根据本发明的实施例,具有如下优点:利用与显示部的特性等和无关地表示相同的值的Lab值而评价化妆,从而能够与移动终端的模型等这样的评价介质无关地进行客观的化妆评价。
根据本发明的实施例,具有如下优点:不仅可单纯地评价化妆的颜色,而且还可进行色彩谐调、颜色的均匀性等细致的化妆评价。
附图说明
图1是示出本发明的实施例的化妆评价系统的结构的框图。
图2是用于对本发明的实施例的移动终端进行说明的框图。
图3是用于对本发明的第1实施例的化妆服务器进行说明的框图。
图4是示出本发明的第1实施例的化妆评价系统的动作方法的梯形图。
图5是用于对本发明的第1实施例的化妆服务器接收图像数据的方法进行说明的例示图。
图6是用于对本发明的第1实施例的化妆分数数据进行说明的例示图。
图7至图8是用于对调整本发明的第1实施例的化妆分数数据的方法进行说明的例示图。
图9是用于对根据本发明的第1实施例而生成的化妆评价数据库进行说明的图。
图10是用于对传送本发明的第1实施例的化妆评价请求信号的画面进行说明的例示图。
图11是用于对由本发明的第1实施例的化妆服务器分析脸部图像的方法进行说明的例示图。
图12是用于对由本发明的第1实施例的化妆分析部分析脸部图像的化妆的方法进行说明的例示图。
图13是用于对本发明的第1实施例的重新生成的化妆评价数据库进行说明的例示图。
图14a至图14b是用于对本发明的第1实施例的化妆分数画面进行说明的例示图。
图15是用于对本发明的第1实施例的化妆主题对化妆评价产生的影响进行说明的图。
图16是用于对本发明的第1实施例的各个区域的分数窗口进行说明的图。
图17是用于对本发明的第1实施例的化妆的平衡评价进行说明的图。
图18是用于对本发明的第1实施例的无化妆评价结果进行说明的图。
图19是用于对本发明的第2实施例的化妆服务器进行说明的框图。
图20是示出本发明的第2实施例的化妆评价系统的动作方法的梯形图。
图21至图25是用于对评价本发明的第2实施例的眉毛项时所运用的评价算法进行说明的图。
图26是用于对显示本发明的第2实施例的眉毛项的评价结果的方法进行说明的例示图。
图27至图28是用于对在评价本发明的第2实施例的黑眼圈项时所运用的评价算法进行说明的图。
图29是用于对显示本发明的第2实施例的黑眼圈项的评价结果的方法进行说明的例示图。
图30至图34是用于对在评价本发明的第2实施例的色彩谐调项时所运用的评价算法进行说明的图。
图35是用于对显示本发明的第2实施例的色彩谐调项的评价结果的方法进行说明的例示图。
图36是用于对在评价本发明的第2实施例的嘴唇项时所运用的评价算法进行说明的图。
图37是用于对显示本发明的第2实施例的嘴唇项的评价结果的方法进行说明的例示图。
图38是用于对在评价本发明的第2实施例的瑕疵项时所运用的评价算法进行说明的图。
图39是用于对显示本发明的第2实施例的瑕疵项的评价结果的方法进行说明的例示图。
图40是用于对显示本发明的第2实施例的化妆评价结果的方法进行说明的例示图。
具体实施方式
下面,参照附图,对本说明书中所公开的实施例进行详细说明,与附图标记无关地,对于相同或类似的结构要素赋予相同的标记并省略对此的重复说明。下面的说明中所使用的对结构要素的接尾词“模块”及“部”仅考虑说明书撰写上的便利性而赋予或混用,其本身不具有彼此区别的意思或作用。另外,在对本说明书所公开的实施例进行说明时,在判断为对相关的公知技术的具体说明导致本说明书中公开的实施例的要旨不清楚的情况下,省略其详细的说明。另外,附图用于帮助容易理解本说明书中公开的实施例,本说明书所公开的技术思想不限于附图,而是包括本发明的思想及技术范围中包括的所有变更、均等物乃至替代物。
第1、第2等这样的包括序数的术语可用来说明各种结构要素,但上述结构要素不限于上述术语。上述术语仅用于将一个结构要素与其他结构要素区别开。
在提到某一结构要素与其他结构要素“连接”或“接入”时,既可以理解为直接连接或接入到其他的结构要素,也可以理解为在中间存在其他结构要素。相反地,在提到某一结构要素与其他结构要素“直接连接”或“直接接入”时,应理解为在中间不存在结构要素。
在文中未明确表示的情况下,单数的表述包括复数的表述。
在本申请中,“包括”或“具备”等术语用来指定在说明书上记载的特征、数字、步骤、动作、结构要素、部件或它们的组合的存在,并非预先排除一个或其以上的其他特征或数字、步骤、动作、结构要素、部件或它们的组合的存在或附加可能性。
下面,参照图1至图40,对本发明的实施例的化妆(make-up)评价系统及其动作方法进行说明。
首先,图1是示出本发明的实施例的化妆评价系统的结构的框图。
参照图1,本发明的实施例的化妆评价系统由移动终端10、应用服务器200及化妆服务器100构成。
移动终端10可请求化妆评价。移动终端10可对至少一个化妆图像请求化妆评价,并显示化妆评价结果。
应用服务器200作为在用于化妆评价的应用操作中利用的结构要素,可存储有用于化妆评价的应用操作中所需的信息。
通过执行化妆评价应用,应用服务器200可与移动终端10及化妆服务器100中的至少一个以上之间收发信号及数据。
化妆服务器100可存储有化妆评价中所需的数据。例如,化妆服务器100可存储有用于识别脸部的各个部位的数据、用于评价化妆的评价算法等。
化妆服务器100可基于所存储的数据而评价化妆或将化妆评价中所需的信息传送到移动终端10或应用服务器200。化妆服务器100将包括化妆的评价结果信息的评价结果信号传送到移动终端10。
移动终端10、应用服务器200及化妆服务器100彼此之间可收发信号。
移动终端10向应用服务器200传送化妆评价请求信号,当接收到化妆评价请求信号时,应用服务器200将与接收到的化妆评价请求信号对应的化妆图像传送到化妆服务器100。
根据一个实施例,当接收到化妆评价请求信号时,化妆服务器100可基于所存储的数据而评价所接收的图像的化妆,并将评价结果传送到应用服务器200。应用服务器200可向移动终端10传送评价结果。
但是,根据实施例,应用服务器200和化妆服务器100可以不分离成独立的服务器,而是作为一个服务器而与移动终端10之间收发信号。例如,应用服务器200可包括在化妆服务器100。在该情况下,移动终端10可向化妆服务器100传送化妆评价请求信号,化妆服务器100评价化妆而向移动终端10传送评价结果数据。
根据另一实施例,当接收到化妆评价请求信号时,化妆服务器100将与所接收的化妆评价请求信号相关的数据传送到移动终端10,移动终端10基于所接收的数据而对化妆进行评价。
本说明书中说明的移动终端10可包括手机、智能手机(smartphone)、计算机(computer)、笔记本计算机(notebookcomputer)、平板个人电脑(tablet PC)、穿戴式设备(wearabledevice)、数字TV、数字标牌、销售如化妆品等美容相关产品的商场中所具备的显示装置、家庭或商场等中具备的智能镜子等。
图2是用于对本发明的实施例的移动终端进行说明的框图。
移动终端10可包括无线通信部11、输入部12、照相机13、显示部14、存储器15、电源供给部16及控制部17。这样,图2所示的结构要素为为了帮助理解本发明的移动终端而例示的结构要素,移动终端可具备比以上列举的结构要素更多或更少的结构要素。
下面,对移动终端10的各个结构要素进行更具体的说明。
无线通信部11可包括可实现移动终端10与其他移动终端10之间或移动终端100与外部服务器之间的无线通信的一个以上的模块。具体地,无线通信部11可包括广播接收模块、移动通信模块、无线因特网模块、近距离通信模块、位置信息模块中的至少一个以上模块。
无线通信部11可与其他移动终端10或外部服务器之间收发信号。例如,无线通信部11可与应用服务器200及化妆服务器100中的至少一个以上的服务器之间收发信号。
输入部12可从使用者接收数据或命令等。输入部可通过按键(mechanical key)、触摸键(touch key)、语音识别等而接收输入信号。可将通过输入部12而接收的数据或命令处理为控制命令而传递到其他结构要素。
照相机13可接收影像信号输入。影像信号包括照片这样的静止图像、视频等。因此,照相机13可通过拍摄照片、视频等而接收影像信号输入。例如,照相机13对使用者的脸部图像进行拍摄。
显示部14显示(输出)由移动终端10所处理的信息。例如,显示部14作为向使用者提供的内容,将通过无线通信部11而接收或通过输入部12而被输入的内容等显示到画面。另外,显示部14可显示在移动终端10中驱动的应用程序的画面信息。
或者,显示部14可显示通过照相机13而正在拍摄或已拍摄的图像。例如,显示部14可显示通过照相机13而拍摄的脸部图像。
另外,显示部14可显示基于所拍摄的脸部图像而评价化妆的结果信息。
另一方面,显示部151与触摸传感器彼此构成层结构或形成为一体型,从而实现触摸屏。这样的触摸屏起到输入部12的功能,并且提供移动终端10与使用者之间的输出接口。
存储器15存储有支持移动终端10的各种功能的数据。存储器15存储有在移动终端10中驱动的多个应用程序(application program)或应用(application)、用于进行移动终端10的动作的数据、指令。这样的应用程序中的至少一部分可通过无线通信而从外部服务器下载。或者,这样的应用程序中的至少一部分为了移动终端10的基本功能(例如,接听拨打电话功能、短信收发功能)而在出厂时已存在于移动终端10上。
另一方面,这样的应用程序中的至少一个应用程序可以是用于进行化妆评价的应用。
电源供给部16被施加外部的电源或内部的电源而向移动终端10所包含的各个结构要素供给电源。这样的电源供给部190可包括电池,电池为内置型电池或可更换形态的电池。
控制部17对移动终端10的整体动作进行控制。具体地,控制部17对构成移动终端10的各个结构要素的动作或与应用程序相关的动作进行控制。控制部17对通过上述结构要素而输入或输出的信号、数据、信息等进行处理或驱动存储于存储器15的应用程序,从而可提供或处理适合使用者的信息或功能。控制部17对上述结构要素中的至少一部分进行控制或将至少两个以上彼此组合而使它们进行动作。
为了实现下面所说明的各种实施例的移动终端的动作、控制或控制方法,可使通过图2而说明的上述结构要素中的至少一部分彼此协作而动作。另外,移动终端的动作、控制或控制方法通过存储于存储器15的至少一个应用程序的驱动而在移动终端上得以实现。
接着,图3是对本发明的第1实施例的化妆服务器进行说明的框图。
化妆服务器100可由化妆数据库管理部110、化妆评价部120、控制部130及无线通信部140构成。
首先,对化妆数据库管理部110进行说明。
化妆数据库管理部110可由化妆主题获得部111、化妆图像获得部112、分数数据生成部113、化妆评价数据库114及化妆分数学习部115构成。
化妆主题获得部111通过数据分析或使用者输入而确定化妆主题。化妆中重要的是整体的平衡(balance)。另外,根据时代的流动等,所流行的化妆也不同。因此,化妆主题获得部111可分析在网上存在的数据而获得化妆主题。或者,化妆主题获得部111可从使用者接收化妆主题输入而获得化妆主题。
化妆图像获得部112接收成为化妆评价的基础的多个化妆图像数据。具体地,化妆图像获得部112可接收根据化妆主题而区分的多个化妆图像数据。另外,化妆图像获得部112可与各个主题的化妆图像一起获得无化妆(no make-up)图像。
通过化妆图像获得部112而接收的化妆图像存储于化妆评价数据库114。
分数数据生成部113生成包括化妆图像及与此对应的化妆分数的化妆分数数据。可通过化妆图像获得部112而接收化妆分数数据的化妆图像。基于化妆专家的评价而形成化妆分数数据的化妆分数。具体地,可基于化妆专家的用于化妆评价的输入,生成化妆分数数据。例如,可由化妆专家针对各个脸部图像而输入化妆分数。另外,化妆分数还可包括通过机器学习而由化妆服务器100自行计算的分数。
另外,分数数据生成部113为了降低化妆评价系统的误差率而调整(tuning)化妆分数数据。另外,分数数据生成部113为了确保化妆评价系统的客观性而可校正化妆分数数据的可靠度。
化妆评价数据库114存储通过分数数据生成部113而生成的化妆分数数据。也可对化妆分数数据进行调整或进行可靠度校正。
另外,化妆评价数据库114可同时存储有通过分数数据生成部113而生成的化妆分数数据和关于新的图像而计算的分数数据。利用存储这样的化妆分数数据的化妆评价数据库114,化妆分数学习部115可机器学习化妆分数计算方法。
化妆分数学习部115基于化妆评价数据库114而机器学习化妆分数计算方法。具体地,化妆分数学习部115机器学习与实际的化妆专家进行评价的方法类似地计算化妆分数的方法。
接着,对化妆评价部120进行具体说明。
化妆评价部120可由脸部图像获得部121、化妆分析部122及化妆分数输出部123构成。
脸部图像获得部121接收成为化妆评价的对象的脸部图像。具体地,脸部图像获得部121通过无线通信部140而接收成为化妆评价的对象的脸部图像。
化妆分析部122对由脸部图像获得部121接收的脸部图像的化妆进行分析。化妆分析部122对脸部图像所包含的脸部各个区域的化妆进行分析。例如,化妆分析部122通过比较脸部图像和化妆分数数据所包含的图像数据的方法来分析化妆。即,化妆分析部122通过化妆分数数据的统计性数值而分析化妆。具体方法将后述。
化妆分数输出部123基于化妆分析结果而计算脸部图像的化妆分数。化妆分数输出部123计算化妆综合分数和各个脸部区域的分数。
控制部130控制化妆服务器100的整体动作。具体地,控制部130对化妆数据库管理部110、化妆评价部120及无线通信部140的动作进行控制。
无线通信部140可与外部之间收发数据。例如,无线通信部140从移动终端10或应用服务器200接收图像数据。无线通信部140可将所接收的图像数据传递到化妆数据库管理部110或传递到化妆评价部120。
另一方面,以下说明的实施例例如可在利用软件、硬件或它们的组合而计算机或与此类似的装置可读取的记录介质内实现。
接着,参照图4,对本发明的第1实施例的化妆评价系统的动作方法进行说明。图4是示出本发明的第1实施例的化妆评价系统的动作方法的梯形图。
首先,化妆服务器100的化妆主题获得部111可确定化妆的主题(S101)。
根据本发明的一个实施例,化妆主题获得部111可通过无线通信而确定化妆的主题。
具体地,化妆主题获得部111可从网上获得美容相关数据。美容相关数据包括化妆相关关键词、上传的化妆相关内容、化妆产品的销售量等。化妆主题获得部111将获得的美容相关数据按照各个化妆主题进行分析,并基于数据量而确定化妆的主题。例如,化妆主题获得部111可按照数据量从多到少的顺序获得3种化妆风格,并将所获得的3种化妆种类确定为化妆主题。
通过这样的方法,化妆主题获得部111能够容易地获得近年来流行的化妆的主题。
根据本发明的另一实施例,化妆主题获得部111可通过接收输入信号而确定化妆主题。
具体地,使用者可将任意的化妆主题输入到化妆服务器100。化妆主题获得部111获得与所输入的数据对应的化妆主题,由此能够确定化妆主题。
通过这样的方法,能够将实体流行的化妆的主题反映到化妆服务器100。
化妆主题获得部111通过第1或第2实施例而确定至少一个以上的化妆主题。例如,化妆主题获得部111可确定A妆、B妆及C妆。A妆可以是自然妆(natural),B妆可以是可爱妆(lovely),C妆可以是烟熏妆(smoky),但这仅为例示。
上述说明的确定化妆主题的实施例仅为例示,化妆主题获得部111还可通过其他方法来确定化妆主题。
另一方面,化妆主题获得部111在获得化妆主题时还一起获得化妆基准。化妆基准可表示按照各个化妆主题而区分化妆的至少一个以上的特征。化妆基准在之后的图像数据接收步骤及化妆分析步骤中可被用作指导准则(guide line)。
接着,化妆图像获得部112可接收与确定的化妆主题对应的图像数据(S103)。
化妆图像获得部112可从外部接收与化妆主题对应的图像数据。例如,化妆图像获得部112可从外部存储介质、移动终端或外部服务器等接收与化妆主题对应的图像数据。
化妆图像获得部112可按照各个化妆主题而接收多个化妆图像数据。例如,化妆图像获得部112可接收与A妆对应的图像数据、与B妆对应的图像数据及与C妆对应的图像数据。
另一方面,化妆图像获得部112可按照组进行分类而接收图像数据。即,化妆图像获得部112可从分类为多个组的各个组接收各个化妆主题的图像数据。
接着,图5是用于对由本发明的实施例的化妆服务器接收图像数据的方法进行说明的例示图。
图5所示的图像分类表500示出通过化妆图像获得部112而接收的图像数据的分布。A1至A5、B1至B5、C1至C5及D1至D5表示所接收的图像数据的集合。
特别地,A1、A2、B1、B2、C1、C2、D1及D2作为与第1组对应的图像数据的集合,是为了构成化妆评价数据库的下位圈(下、中下)而接收的图像数据的集合。
A3、A4、B3、B4、C3、C4、D3及D4作为与第2组对应的图像数据的集合,是为了构成化妆评价数据库的中位圈(中、中上)而接收的图像数据的集合。
A5、B5、C5、D5作为与第3组对应的图像数据的集合,是为了构成化妆评价数据库的上位圈(上)而接收的图像数据的集合。
这样,化妆图像获得部112可获得分数段不同的第1至第3组中所包含的每个人的A妆图像、B妆图像、C妆图像及无化妆图像。A妆图像、B妆图像、C妆图像分别是成为各个化妆主题评价的基础的图像数据。无化妆图像可以是在化妆分析步骤中利用于最低分处理的图像数据。
第1组表示普通人,第2组表示美容相关业界人,第3组表示化妆专家,但这仅为例示。
这样,在按照各个化妆主题及组而去人来接收图像数据的情况下,能够更准确地进行化妆分析。另外,具有提供如下指导准则的效果:该指导准则能够考虑对化妆分析产生影响的控制变量即照片角度、照明等而准确地分析化妆来进行评价。
另一方面,化妆图像获得部112能够接收A妆、B妆及C妆以外的化妆图像。即,化妆图像获得部112能够获得与确定的化妆主题不同的主题的化妆图像。这是对与化妆的完成度无关地脱离主题或打破平衡(balance)的化妆进行0分处理的图像数据。
重新对图4进行说明。
分数数据生成部113可基于接收的图像数据而生成化妆分数数据(S105)。
分数数据生成部113可生成包括所接收的图像数据及与各个图像数据对应的分数的分数数据。即,分数数据生成部113能够将图像数据进行分数数据化。
接着,图6是用于对本发明的第1实施例的化妆分数数据进行说明的例示图。
图6所示的化妆分数数据600包括图像数据及与各个图像数据对应的分数。与图像数据对应的分数可根据区域而被细分化。例如,如图6所示,各个图像数据可包括基底(base)区域、眉毛(eyebrow)区域、眼睛(eye)区域、嘴唇(lip)区域、腮及眼影(blush&shading)区域各自的分数。但是,各个区域仅为例示。
图6所示的化妆分数数据600仅图示与A妆对应的2个图像数据及与此对应的分数,但分数数据生成部113生成包括在步骤S103中接收的所有图像数据在内的分数数据。
分数数据生成部113可通过接收与各个图像数据对应的各个区域分数输入而生成分数数据。例如,至少一位以上的化妆专家可将图像数据的各个区域分数输入到化妆服务器100。分数数据生成部113可基于输入到化妆服务器100的分数数据而生成化妆分数数据。图6所示的化妆分数数据表示为5、3.5、4等的数值,但这仅为例示,化妆分数数据可分为上、中上、中、中下、下等。
化妆分数数据600表示各个化妆主题的化妆的特征。具体地,化妆分数数据600即便是相同的化妆图像,也根据化妆的主题而表示不同的分数。另外,即便在进行了相同的化妆的情况下,根据图像所包含的脸型、眼形等而得到不同的分数。因此,化妆分数数据600包括多个化妆图像数据,并包括根据化妆主题而区分的各个区域分数。
当利用化妆分数数据600时,在与化妆主题无关的化妆图像数据的情况下,将与此对应的分数计算为0分。
这样,当接收化妆图像而进行分数数据化时,可生成基于专家的评价的分数数据。由此,提高对化妆评价的可靠性。另外,能够构建化妆相关大数据。
重新对图4进行说明。
分数数据生成部113可调整化妆分数数据(S107)。
分数数据生成部113为了提高所生成的化妆分数数据的可靠度而可调整化妆分数数据。具体地,分数数据生成部113在多个脸部图像的摄影角度或照明不同的情况下,可调整分数数据,以计算出相同的化妆分数。调整化妆分数数据的方法可以如下。
关于在上述的步骤S103中接收的第1图像数据,化妆图像获得部112可再接收与第1图像数据对应的第2图像数据。第2图像数据作为与第1图像数据不同的图像数据,可包括新创建的化妆图像及新拍摄的无化妆图像。即,第2图像数据与第1图像数据相比,在由相同人执行的化妆这一点上相同,但第2图像数据可表示通过摄影角度或照明等而识别为不同的化妆的图像数据。
因此,分数数据生成部113可调整化妆分数数据,以通过第1图像数据而计算的分数和通过第2图像数据而计算的分数相同。
接着,参照图7至图8,以调整化妆分数数据的动作为例进行说明。
图7至图8是用于对调整本发明的第1实施例的化妆分数数据的方法进行说明的例示图。
首先,参照图7,第1图像数据71和第2图像数据72是被化成相同的妆的图像。但是,第1图像数据71和第2图像数据72是由不同的摄影角度拍摄的情况。分数数据生成部113可调整化妆分数数据,以通过第1图像数据71而计算的分数和通过第2图像数据72而计算的分数相同。
例如,分数数据生成部113可将第1图像数据71和第2图像数据72形成为一个组并进行调整,以计算出相同的分数。或者,分数数据生成部113通过图像数据调整而进行调节,以通过第1图像数据71而计算的分数和通过第2图像数据72而计算的分数相同。
接着,参照图8,第1图像数据81为化妆图像数据,第2图像数据82为相同人的无化妆图像数据。在该情况下,分数数据生成部113可调整化妆分数数据,以对第2图像数据82计算的分数成为最低分。
具体地,分数数据生成部113可分别识别第1图像数据81和第2图像数据82的化妆。在如第1图像数据81这样识别出化妆的情况下,分数数据生成部113可计算基于化妆分数数据600而识别的化妆的分数。相反地,在如第2图像数据82这样未识别出化妆的情况下,分数数据生成部113可调整化妆分数数据,以计算出最低分。
这样,分数数据生成部113可调整化妆分数数据,以反映图像数据和摄影角度、摄影当时的照明、无化妆的识别等,从而能够提高化妆评价系统的质量。
重新对图4进行说明。
分数数据生成部113可校正化妆分数数据的可靠度(S109)。
控制部130接收未包含在化妆分数数据中的新的图像数据。分数数据生成部113判断是否基于化妆分数数据而无误差地计算出对所接收的新的图像数据的分数。下面,对校正化妆分数数据的可靠度的具体方法进行说明。
根据本发明的一个实施例,分数数据生成部113计算与新的图像对应的化妆分数,可从化妆分数数据获得与新的图像类似的图像。
分数数据生成部113可判断与新的图像对应的分数与化妆分数数据所包含的类似图像的分数之间是否被计算为预定的误差率以内。分数数据生成部113可基于判断结果而校正化妆分数数据所包含的相关图像数据的分数。
或者,根据本发明的另一实施例,分数数据生成部113可获得与基于化妆分数数据而计算的新的图像对应的化妆分数即第1分数。另外,分数数据生成部113可获得化妆专家为了进行化妆评价而输入的与新的图像对应的化妆分数即第2分数。
分数数据生成部113可对关于相同的图像而获得的第1分数和第2分数进行比较。比较结果,分数数据生成部113可判断第1分数与第2分数之差是否为预定的范围以上。
在第1分数与第2分数之差为预定的范围以上的情况下,分数数据生成部113从化妆专家接收与比较结果对应的反馈。
反馈包括第1分数与第2分数之间的差距理由。例如,反馈包括用于修改第1分数或第2分数的信息、图像识别信息或化妆专家的意见信息。
分数数据生成部113基于所接收的反馈而校正化妆分数数据所包含的图像数据的分数。
用于校正化妆分数的可靠度的方法还可包括上述例示的第1至第2实施例之外的其他方法。
通过这样校正化妆分数,本发明具有降低化妆分数数据的误差率,提高可靠度的效果。
控制部130可存储化妆分数数据(S111)。
控制部130可存储所生成的化妆分数数据。另外,可存储调整或校正可靠度的化妆分数数据。
首先,对本发明的一个实施例的化妆评价数据库进行说明。
如通过图6而所说明,本发明的一个实施例的化妆评价数据库可按照各个脸部图像而存储化妆分数数据。由此,化妆评价数据库可形成为排列有化妆脸部图像和与此对应的各个区域的分数。
接着,参照图9,对本发明的另一实施例的化妆评价数据库进行说明。
如图9所示,本发明的另一实施例的化妆评价数据库以将脸部区域和分数区分而排列部分图像的方式进行存储。由此,化妆评价数据库可形成为,区分脸部区域,按照各个脸部区域而将分数细分化,对细分化的脸部区域的分数排列部分图像。
上述说明的化妆评价数据库为例示的,可以与此不同的形态生成。
重新对图4进行说明。
化妆服务器100生成化妆评价数据库而评价化妆图像。
首先,移动终端10向应用服务器200传送脸部图像(S113),应用服务器200可将从移动终端10接收的脸部图像传送到化妆服务器100(S113)。
化妆服务器100的无线通信部140可从应用服务器200接收脸部图像。
移动终端10可通过化妆评价应用而向应用服务器200传送化妆评价请求信号。移动终端10可显示用于传送化妆评价请求信号的画面。
图10是用于对传送本发明的第1实施例的化妆评价请求信号的画面进行说明的例示图。
移动终端10的显示部14可显示如图10所示的化妆评价请求画面。
参照图10,化妆评价请求画面可包括化妆主题项目1001、脸部图像选择图标1002、脸部图像窗口1003及评价图标1004。
化妆主题项目1001是用于选择化妆主题的项目。化妆评价可根据化妆主题而不同。因此,移动终端10的控制部17可通过化妆主题项目1001而设定化妆主题。
脸部图像选择图标1002是用于选择想要请求化妆评价的脸部图像的项目。根据本发明的一个实施例,移动终端10的控制部17可控制显示部14,以当接收到选择脸部图像选择图标1002的命令时,显示利用照相机13的摄影画面。照相机13可对化妆的脸部进行拍摄。控制部17可将拍摄的脸部图像显示到脸部图像窗口1003。
根据本发明的另一实施例,当接收到选择脸部图像选择图标1002的命令时,移动终端10的控制部17可显示存储于存储器15的至少一个以上的静止图像。或者,控制部17可在存储于存储器15的静止图像中识别包括脸部的图像,显示包括至少一个以上的脸部的静止图像。控制部17可接收在显示于显示部14的至少一个以上的静止图像中选择任一个脸部图像的命令。控制部17可将选择的脸部图像显示于脸部图像窗口1003。
脸部图像窗口1003是预先显示请求化妆评价的脸部图像的窗口。可将通过照相机13而拍摄或存储于存储器15的任一个脸部图像显示于脸部图像窗口1003。使用者可通过脸部图像窗口1003而确认是否为想要请求化妆评价的脸部。
评价图标1004是用于执行化妆评价请求的图标。当接收到选择评价图标1004的命令时,控制部17向应用服务器200传送化妆评价请求信号。即,控制部17可控制无线通信部11,以将包括脸部图像的化妆评价请求信号传送到应用服务器200。
应用服务器200可向化妆服务器100传送化妆评价请求信号。由此,化妆服务器100的无线通信部140可从应用服务器200接收包括脸部图像的化妆请求信号。
根据实施例,移动终端10可向化妆服务器100直接传送化妆评价请求信号。
化妆评价请求信号除了脸部图像之外,还可包括化妆主题、使用者信息等。
重新对图4进行说明。
化妆服务器100的化妆分析部122可对所接收的脸部图像的化妆进行分析(S115)。
脸部图像获得部121可从无线通信部140接收脸部图像。化妆分析部122可对脸部图像获得部121所接收的脸部图像的化妆进行分析。
下面,图11是用于对由本发明的第1实施例的化妆服务器分析脸部图像的方法进行说明的例示图。
化妆分析部122为了分析化妆而检测脸部的各个区域。具体地,根据本发明的一个实施例,化妆分析部122可对接收的脸部图像进行预处理。化妆分析部122可将预处理的脸部图像分割为多个区域,将分割的各个区域与已存储的脸部区域图像进行比较而检测眼睛、鼻子、嘴等。
根据本发明的另一实施例,化妆分析部122可利用预训练模型(pre-trainedmodel)而识别脸部的各个区域。预训练模型利用了以往的卷积神经网络(Convolutional Neural Network,CNN)模型的一部分。可将预训练模型利用于脸部照片学习而识别眼睛、鼻子、嘴等。当利预训练模型时,可缓解在使用于分析的数据的量少的情况下产生的过拟合(overfitting)的问题。
如图11所示,化妆分析部122可识别脸部图像1100的眼睛区域1151、1152、鼻子区域1153及嘴区域1154、1155。化妆分析部122可基于识别的眼睛区域、鼻子区域及嘴区域而分析化妆评价区域。即,化妆分析部122可分析脸部图像1100的基底妆、眉毛妆、眼睛妆、嘴唇妆、腮及眼影妆。
接着,图12是对由本发明的第1实施例的化妆分析部分析脸部图像的化妆的方法进行说明的例示图。
化妆分析部122可将从移动终端10接收的脸部图像与化妆评价数据库114所包含的多个图像进行比较。化妆分析部122可从化妆评价数据库114提取至少一个以上的与脸部图像类似的图像数据。
特别地,化妆分析部122可提取与按照化妆各个区域接收的脸部图像类似的图像数据。具体地,化妆分析部122提取包括与脸部图像的基底类似的基底的至少一个以上的图像数据,并提取包括与脸部图像的眉毛类似的眉毛的至少一个以上的图像数据。
化妆分析部122可获得与提取的图像数据对应的分数,可生成如图12所示的化妆分析图形1200。化妆分析图形1200表示提取的图像数据的分数分布。
具体地,化妆分析部122关于所提取的基底类似的至少一个以上的图像数据,可使获得的分数映射到基底区域1201的分数区域。同样地,化妆分析部122关于所提取的眉毛类似的至少一个以上的图像数据,可使获得的分数映射到眉毛区域1202的分数区域。化妆分析部122可使分数映射到眼睛区域1203、嘴唇区域1204、腮及眼影区域1205全部而生成化妆分析图形1200。
化妆分析部122这样生成化妆分析图形1200而分析脸部图像的化妆。但这仅为例示,化妆分析部122可通过其他方法而分析化妆。
重新对图4进行说明。
化妆服务器100的化妆分数输出部123可基于化妆分析结果而计算脸部图像的化妆分数(S117)。
化妆分数输出部123可基于化妆分析图形1200而计算脸部图像的化妆分数。
具体地,化妆分数输出部123可获得在化妆分析图形1200中按照各个区域而映射的分数最多的分数来进行计算。
例如,参照图12,化妆分数输出部123可获得5分的基底区域1201的分数、9分的眉毛区域1202的分数、3分的眼睛区域1203的分数、4.5分的嘴唇区域1203的分数、8分的腮及眼影区域1205的分数而进行计算。
化妆服务器100的化妆分数学习部115可学习脸部图像及与此对应的化妆分数(S119)。
化妆分数学习部115可机器学习脸部图像及与此对应的化妆分数。特别地,化妆分数学习部115可利用深度学习(Deep Learning)技术而学习化妆分数计算方法。
深度学习技术作为机器学习技术的一部分,利用将输入与输出之间的人工神经元分别层叠多层而连接的人工神经网络手法。
即,化妆分数学习部115可利用已存储的化妆分数数据及计算的化妆分数而对化妆分数计算方法进行机器学习。
特别地,化妆分数学习部115利用卷积神经网络(CNN)而对脸部图像及与此对应的化妆分数进行学习。卷积神经网络由一个或多个卷积层和其上面的一般的人工神经网络层构成,并且还利用权重值和采样层(pooling layer)。卷积神经网络通过这样的结构,能够充分地利用二维结构的输入数据。
化妆分数学习部115可利用卷积神经网络,在现有化妆评价数据库114中追加新识别的脸部图像的特征而机器学习化妆分数计算方法。
因此,化妆分数学习部115可在现有的基于化妆专家的用于化妆评价的输入而生成的化妆分数数据中追加新计算的脸部图像的分数,由此机器学习化妆分数计算方法。
这样,当化妆分数学习部115学习化妆分数时,在存在新的化妆图像的情况下,能够与实际化妆专家的评价类似地进行评价。由此,能够向使用者提供更可靠的化妆评价服务。
可控制化妆分数学习部115,以将学习的化妆分数存储到化妆评价数据库。
接着,图13是用于对本发明的第1实施例的重新生成的化妆评价数据库进行说明的例示图。
对利用上述说明的一个实施例的化妆评价数据库114而重新生成的化妆评价数据库进行说明。
如图13所示,化妆评价数据库114存储有现有的基于化妆专家的评价的数据1301,并且还可存储有新计算的脸部图像分数数据1302。
控制部130在化妆评价数据库114中追加新计算的脸部图像分数数据,从而能够计算更客观的化妆分数。
重新对图4进行说明。
化妆服务器100的无线通信部140可将计算的化妆分数传送到应用服务器200(S120),应用服务器200可将接收的化妆分数传送到移动终端10(S121)。
移动终端10的无线通信部11可从应用服务器200接收化妆分数。根据实施例,移动终端10可从化妆服务器100直接接收化妆分数。
移动终端10的显示部14显示接收的化妆分数。
接着,图14a至图14b、图15至图18是用于对本发明的各种实施例的化妆分数进行说明的图。
首先,图14a至图14b是用于对本发明的一个实施例的化妆分数画面进行说明的例示图。
显示部14可如图14a至图14b所示地显示化妆评价结果画面。具体地,图14a所示的化妆分数画面显示以通过使用者而选择的化妆主题进行评价的化妆分数,图14b所示的化妆分数画面显示以最高分数评价的各个化妆主题的化妆分数。
首先,对构成化妆评价结果画面的各个结构要素进行说明。
化妆评价结果画面可包括脸部图像窗口1401、化妆主题窗口1402、综合分数窗口1403、各个区域分数窗口1404及化妆再评价图标1405。
脸部图像窗口1401包括通过化妆服务器100而分析的脸部图像。由此,使用者能够再确认想要得到评价的脸部图像是否良好地被评价。
化妆主题窗口1402显示作为化妆的评价的基础的化妆主题。即便是相同的脸部图像,但根据化妆主题,化妆评价也会不同。因此,显示使用者是否正确地选择化妆主题。
综合分数窗口1403显示将脸部图像的化妆评价结果综合的分数。例如,综合分数窗口1403可显示各个脸部区域分数的平均值。由此,使用者能够将自己的化妆结果作为一个指标来确认。
各个区域分数窗口1404显示将脸部图像分为各个区域而评价化妆的结果。由此,使用者能够容易地得知应对哪一区域补妆。
化妆再评价图标1405是利用新的脸部图像而接收化妆评价的图标。控制部17可通过接收用于选择化妆再评价图标1405的命令来显示如图10所示的化妆评价请求画面。
移动终端10这样显示化妆评价结果画面,从而能够提供与化妆专家的评价类似的评价服务。
如图14a所示,根据本发明的一个实施例,移动终端10能够显示以所选择的化妆主题评价的化妆评价结果画面。
具体地,当接收到由使用者选择的化妆主题时,化妆服务器100可根据所选择的主题而计算脸部图像的化妆分数。在该情况下,移动终端10可在化妆主题窗口1402显示通过使用者而选择的化妆主题,在综合分数窗口1403及各个区域分数窗口1404显示按照所选择的化妆主题获得的分数。
根据本发明的另一实施例,如图14b所示,移动终端10可在评价为最高分数的化妆主题显示化妆评价结果画面。
具体地,化妆服务器100可按照各个化妆主题而计算至少一个以上的脸部图像的化妆分数。化妆服务器100能够获得按照各个化妆主题而计算的分数中表示最高分数的化妆主题。化妆服务器100可将按照各个化妆主题的化妆分数全部传送到移动终端10或仅将最高分数及与最高分数对应的化妆主题传送到移动终端10。
在该情况下,移动终端10可在化妆主题窗口1402显示评价为最高分数的化妆主题,在综合分数窗口1402及各个区域分数窗口1404显示评价为最高分数的各个化妆主题的分数。
根据本发明的又一实施例,移动终端10可同时显示通过使用者而选择的化妆主题的分数和评价为最高分数的化妆主题的分数。
接着,图15是用于对化妆主题对本发明的第1实施例的化妆评价带来的影响进行说明的图。
与图14a至图14b中所说明的情况同样地,移动终端10的显示部14可显示化妆评价结果画面。
与图14a至图14b相比,图15的化妆评价结果画面是将相同的脸部图像作为对象,但是化妆主题不同的情况下的化妆评价结果画面。即,与图14a至图14b相比,脸部图像窗口1501包括相同的脸部图像,但化妆主题1502不同。
由此可知,化妆评价结果不同。即,可确认,与图14a至图14b相比,综合分数窗口1503和各个区域分数窗口1404显示不同的分数。
由此,可预想到如下效果:使用者不仅能够学习化妆技巧,还能够学习与化妆主题相符的化妆。
接着,图16是用于对本发明的第1实施例的各个区域分数窗口进行说明的图。
各个区域分数窗口1604显示基于化妆主题的各个区域的分数。因此,各个区域分数窗口1604根据化妆区域而显示不同的分数。特别地,与任一个脸部区域相关地,当判断为与化妆主题完全地不同的化妆时,可存在0分处理的区域。
由此,具有对使用者引导各个脸部区域的化妆的效果。
接着,图17是用于对本发明的第1实施例的化妆的平衡评价进行说明的图。
参照图17可确认,综合分数1703表示0分,但各个区域分数窗口1704的各个区域不是0分。这表示脸部整体的化妆不能实现平衡(balance)。即,化妆评价系统不仅能够评价各个脸部区域化妆,而且还能够评价脸部的整体的化妆平衡。
接着,图18是用于对本发明的第1实施例的无化妆评价结果进行说明的图。
参照图18,综合分数窗口1803及各个区域分数窗口1804均表示最低分。这是脸部图像窗口1801的脸部被判断为无化妆的情况。这样,将与无化妆的脸部对应的分数计算为最低分,从而能够提高化妆评价系统的可靠度。
接着,图19是用于对本发明的第2实施例的化妆服务器进行说明的框图。
化妆服务器100可由化妆数据库管理部110、化妆评价部120、控制部130及无线通信部140构成。
首先,对化妆数据库管理部110进行说明。
化妆数据库管理部110可存储有与化妆评价相关的各种数据。
化妆数据库管理部110可存储有为了评价化妆而运用于脸部区域的至少一个以上的评价算法。在此,脸部区域作为图像所包含的脸部区域,可表示通过后述的区域检测部124而检测出的脸部区域。另外,脸部区域可包括包含整个脸部的区域和构成脸部的脸部各部位区域。例如,脸部区域可包括整个脸部区域、眉毛区域、眼睛区域、鼻子区域、腮区域、额头区域、下巴区域及嘴唇区域等中的至少一个以上区域。
评价算法可以是利用构成图像所包含的脸部区域的至少一个以上的像素的RGB值的算法。即,图像可以是表现为RGB值的图像,评价算法是利用构成脸部区域的像素的RGB值的算法。
另外,评价算法可以是将构成图像所包含的脸部区域的至少一个以上的像素的RGB值变换成Lab颜色值,并利用所变换的Lab颜色值的算法。即,评价算法可以是将表现为RGB值的图像变换成Lab色空间,通过Lab颜色值而评价化妆的算法。Lab颜色值不会根据输出介质而导致颜色改变,因此在运用利用Lab颜色值的评价算法时,与输出介质无关地可进行一贯的评价,可确保化妆评价的可靠性。
另外,化妆数据库管理部110可存储有在化妆评价中使用的分数表(参照图34)。具体地,分数表可包括多个第1样品颜色和多个第2样品颜色。在此,第1样品颜色可以是代表皮肤颜色的样品颜色,第2样品颜色可以是代表嘴唇颜色、腮颜色或眼影颜色的样品颜色。
多个第1样品颜色分别映射于多个第2样品颜色的各个颜色,一对第1样品颜色和第2样品颜色被映射分数数据。即,分数表由映射到多个第1样品颜色中的一个颜色和多个第2样品颜色中的一个颜色的分数数据构成。
这样的分数表可用于评价化妆的色彩谐调的情况。例如,化妆分析部122在使用者的脸部区域检测第1颜色和第2颜色,并基于第1颜色和第2颜色而评价化妆的色彩谐调。具体地,化妆分析部122可在多个第1样品颜色中检索与第1颜色相同的颜色,并在多个第2样品颜色中检索与第2颜色相同的颜色,获得被映射到检索的一对颜色的分数来评价色彩谐调。
另外,根据一个实施例,分数表可以是基于化妆专家的用于化妆评价的输入而生成的表。即,分数表可以是化妆专家预先对颜色组合输入了分数的表。
后述的化妆分析部122可利用基于化妆专家的用于化妆评价的输入而生成的表来评价化妆的情况下,可向使用者提供具有专业性的化妆评价结果。由此,能够提高化妆评价系统的可靠度。
接着,对化妆评价部120进行具体说明。
化妆评价部120可由区域检测部124及化妆分析部122构成。
区域检测部124可获得照片或视频所包含的脸部图像。具体地,区域检测部124可通过无线通信部140而接收照片或视频,对照片或视频中的成为化妆评价的对象的脸部图像进行检测。
另外,区域检测部124对脸部图像中的脸部的各个区域进行检测。例如,区域检测部124可检测眉毛区域、眼睛区域、鼻子区域、腮区域、嘴区域及下巴区域中的至少一个以上区域。
例如,区域检测部124通过脸部识别(face recognition)算法而检测脸部和脸部的各个部位。
另外,区域检测部124在进行脸部识别时可通过深度学习技术而更准确地识别脸部及脸部部位。
化妆分析部122对区域检测部124所获得的脸部区域及脸部的各个区域的化妆进行分析。例如,化妆分析部122对于脸部区域及脸部的各个区域,可基于存储于化妆数据库管理部110的分数表及评价算法而分析化妆。具体的方法将后述。
根据实施例,化妆分析部122基于化妆分析结果而计算脸部图像的化妆分数。例如,化妆分析部122可分别计算化妆综合分数和各个脸部区域分数。
控制部130对化妆服务器100的整体动作进行控制。具体地,控制部130可对化妆数据库管理部110、化妆评价部120及无线通信部140的动作进行控制。
无线通信部140可与外部之间收发数据。例如,无线通信部140可从移动终端10或应用服务器200接收图像数据。无线通信部140可将接收的图像数据传递到化妆数据库管理部110或化妆评价部120。
另一方面,以下说明的实施例例如在利用软件、硬件或它们的组合而在计算机或与此类似的装置可读取的记录介质内实现。
接着,图20是示出本发明的第2实施例的化妆评价系统的动作方法的梯形图。
图20中,为了便于说明,假设移动终端10与化妆服务器100之间收发信号,图1中说明的应用服务器200包括在化妆服务器100中。
移动终端10的控制部17可获得图像(S11)。
控制部17可通过无线通信部11或照相机13而获得图像。无线通信部11可从外部接收图像。照相机13可对照片或视频进行拍摄而获得图像。
使用者可将为了获得化妆评价而化妆后的脸部图像传送或输入到移动终端10。例如,使用者可将存储于外部的图像传送到移动终端10或用移动终端10的照相机13来对化妆的脸部进行拍摄。
移动终端10的控制部17可接收化妆评价请求命令(S11)。
控制部17可通过输入部12而接收化妆评价请求命令。输入部12可在接收到选择至少一个以上的图像的命令之后接收化妆评价请求命令。
使用者可在选择想要获得化妆评价的图像之后将化妆评价请求输入到输入部12。
另外,控制部17在接收化妆评价请求命令时可通过输入部12而还接收化妆主题选择命令。化妆主题包括自然妆(natural)、可爱妆(lovely)或烟熏妆(smoky)等。可根据化妆主题,化妆评价不同。因此,为了进行更准确的化妆评价,控制部17在接收化妆评价请求命令的情况下还可一起接收选择化妆主题的命令。
移动终端10的控制部17可向化妆服务器100传送化妆评价请求信号(S15)。
控制部17可进行控制,以通过无线通信部11而向化妆服务器100传送化妆评价请求信号。
化妆评价请求信号可包括图像数据。即,控制部17可将包括与在步骤S11中获得的图像对应的图像数据的化妆评价请求信号传送到化妆服务器100。
化妆评价请求信号是请求与根据图像数据得到的图像所包含的脸部对应的化妆评价的信号。
化妆服务器100的无线通信部140可接收化妆评价请求信号。
化妆服务器100的控制部130可分析化妆评价请求信号所包含的图像数据。具体地,化妆评价请求信号所包含的图像数据是为了图像传送而调制后的数据。控制部130将化妆评价请求信号所包含的图像数据恢复成图像。
化妆服务器100的控制部130对通过化妆评价请求信号而接收的图像中的预定的区域进行检测(S17)。
控制部130预先设定成为化妆评价的对象的至少一个以上的评价项。控制部130对图像中的与评价项对应的至少一个以上的区域进行检测。
例如,控制部130将眉毛(eyebrow)项、黑眼圈(dark circle)项、色彩谐调(hueharmony)项、嘴唇(lip)项及瑕疵(blemish)项中的至少一个以上设定为成为化妆评价的对象的评价项。但是,上述排列的评价项仅为便于说明而例示的项,因此无需不限于此。
控制部130可对接收的图像中的用于评价眉毛项的眉毛区域、用于评价黑眼圈项的黑眼圈区域、用于评价色彩谐调项的色彩谐调区域、用于评价嘴唇项的嘴唇区域及用于评价瑕疵项的瑕疵区域中的至少一个以上的区域进行检测。
此时,眉毛区域、黑眼圈区域等这样的各个区域不限于该部位,根据各个区域评价算法而包括至少一个以上的部位。例如,眉毛区域不限于眉毛部位,可包括眉毛部位及鼻子部位等。这是因为即便评价眉毛区域,但也并非仅评价眉毛的形状、颜色等,而是考虑眉毛部位和整个脸部的谐调等而进行评价。关于与各个区域对应的检测部位,将通过后述的各个区域的评价算法而进行详细说明。
控制部130可在检测出的至少一个以上的区域运用各个区域评价算法而进行评价(S19)。
控制部130可根据检测出的区域而运用不同的评价算法。例如,控制部130可在眉毛区域运用第1评价算法,在黑眼圈区域运用第2评价算法。
这样,根据本发明的实施例,并非在检测出的多个区域运用相同的评价算法而进行一贯的评价,而是根据检测出的区域而运用各自不同的评价算法,从而更精密地评价化妆。
接着,对将控制部130运用于在步骤S17中检测出的各个区域的至少一个以上的评价算法进行说明。
首先,图21至图25是用于对在评价本发明的第2实施例的眉毛项时运用的评价算法进行说明的图,图26是用于对显示本发明的第2实施例的眉毛项的评价结果的方法进行说明的例示图。
根据本发明的实施例,化妆服务器100的化妆数据库管理部110可存储有用于评价眉毛项的评价算法。控制部130可在步骤S17中通过区域检测部124而检测眉毛区域,在通过化妆分析部122而检测出的眉毛区域运用评价算法。
用于评价眉毛项的评价算法可包括多个算法,各个算法可对眉毛项进行不同的评价。例如,用于评价眉毛项的评价算法可包括评价眉毛长度的算法、评价水平程度的算法、评价眉毛前长度的算法及评价眉毛颜色的均匀性的算法等。
化妆分析部122在对眉毛区域运用评价算法时,可对眉毛长度、水平程度、眉毛前长度及眉毛颜色的均匀性均进行分析及评价。
参照图21,对控制部130评价眉毛区域的眉毛长度的方法进行说明。
区域检测部124在图像中可检测出作为任一个眼睛的外侧端的第1地点501和鼻子的外侧端即第2地点502。此时,区域检测部124在检测右侧眼睛的外侧端地点的情况下可检测鼻子的右侧端,在检测左侧眼睛的外侧端地点的情况下可检测鼻子的左侧端。
化妆分析部122可获得将第1地点501和第2地点502连接的直线510。
化妆分析部122可检测眉毛的外侧端即第3地点503,计算第3地点503与直线510的距离d1。
化妆分析部122能够通过计算的距离d1而判断眉毛长度的适当性。例如,当计算的距离d1为第1距离以下时,化妆分析部122可将眉毛长度判断为‘短’,当计算的距离d1为比第1距离长且第2距离以下时,化妆分析部122可将眉毛长度判断为‘适当’,当计算的距离d1比第2距离长时,化妆分析部122可将眉毛长度判断为‘长’。但是,这样的判断方法仅为例示,因此不需限于此。
参照图22,对控制部130评价眉毛区域的水平程度的方法进行说明。
区域检测部124在图像中可检测以任一个眉毛为基准的眉毛的内侧端即第1地点601和同一眉毛的外侧端即第2地点602。
区域检测部124可获得连接第1地点601和第2地点602的直线610,并计算直线与水平线620的角度θ。
化妆分析部122可通过计算的角度θ而判断眉毛的水平程度的适当性。
例如,当计算的角度θ为第1角度以下时,化妆分析部122可将眉毛的水平程度判断为‘直线型’,当计算的角度θ大于第1角度且第2角度以下时,化妆分析部122可将眉毛的水平程度判断为‘一般型’,当计算的角度θ大于第2角度时,化妆分析部122可将眉毛的水平程度判断为‘拱形’。但是,这样的判断方法仅为例示,因此无需限于此。
另外,化妆分析部122可根据‘直线型’,‘一般型’或‘拱形’这样的眉毛的水平程度而判断眉毛类型,根据判断的各自类型而计算眉毛形状的分数。例如,可预先存储根据眉毛类型的眉毛形状的数据,化妆分析部122可将基于判断的眉毛类型的眉毛形状数据与在图像中获得的眉毛形状的数据进行比较,比较结果以所存储的数据与从图像中获得的数据之差越小、则将眉毛分数计算为越高的方式确定分数。
参照图23,对控制部130评价眉毛区域的眉毛前长度的方法进行说明。
区域检测部124对图像中的以任一个眉毛为基准的眉毛的内侧端即第1地点701和鼻子的外侧端即第2地点702进行检测。此时,在检测右侧眉毛的内侧端地点的情况下,区域检测部124可检测鼻子的右侧端,并在检测左侧眉毛的内侧端地点的情况下,区域检测部124可检测鼻子的左侧端。
化妆分析部122可获得以垂直方向经过第2地点702的直线710,并获得直线710与第1地点701之间的距离d2。
化妆分析部122可通过计算的距离d2而判断眉毛前长度的适当性。例如,当计算的距离d2为第1距离以下时,化妆分析部122可将眉毛前长度判断为‘短’,当计算的距离d2比第1距离长且第2距离以下时,化妆分析部122可将眉毛前长度判断为‘适当’,当计算的距离d2比第2距离长时,化妆分析部122可将眉毛前长度判断为‘长’。但是,这样的判断方法仅为例示,因此不限于此。
根据图21至图23中说明的方法,可进行反映每个人的不同的眼睛的大小、鼻子的大小等的化妆评价。即,关于眉毛,并非一贯地判断为5cm时比较适当,而是考虑人的眼睛的长度、鼻子的长度、眉毛的位置等根据每个使用者不同的脸部特性而进行化妆的评价。
参照图24至图25,对控制部130评价眉毛区域的眉毛颜色的均匀性的方法进行说明。眉毛颜色的均匀性可以是表示眉毛的颜色是否被化妆成均匀的项目。
控制部130为了判断眉毛颜色的均匀性而可执行眉毛判断动作。
区域检测部124在眉毛中可检测第1地点801至第5地点805。具体地,区域检测部124可检测眉毛的外侧端即第1地点801和眉毛的内侧端即第2地点802,并可检测眉毛中的第1地点801与第2地点802的中间地点即第3地点803,检测眉毛中的第1地点801与第3地点803的中间地点即第4地点804和第2地点802与第3地点803的中间地点即第5地点805。
如图24的(a)所示,化妆分析部122可获得连接第1地点801至第5地点805的曲线810。
如图24的(b)所示,化妆分析部122可根据曲线810而在曲线的各个地点处获得垂直线820,在垂直线820处提取影像的值。在此,影像的值可包括RGB值,垂直线820可以是具备规定长度的直线。
化妆分析部122在沿着垂直线820而提取的RGB值中获得最大值,将具备最大值和从最大值在一定比例以内的影像的值的地点判断为眉毛。例如,化妆分析部122在提取的影像的值为40、41、120、122、126、43、40的情况下获得最大值126,将自126位于20%以内的影像的值即120及122的地点和126的地点判断为眉毛。
化妆分析部122可在图像的灰色通道(gray channel)、红色通道(red channel)及蓝色通道(blue channel)中分别进行上述说明的眉毛判断动作。
在图25的(a)为原始图像的情况下,化妆分析部122在灰色通道(gray channel)中执行眉毛判断动作,并如图25的(b)所示地可将第1区域901判断为眉毛。另外,化妆分析部122在红色通道(red channel)中执行眉毛判断动作,且如图25的(c)所示地,可将第2区域902判断为眉毛。
化妆分析部122可检测第1区域901和第2区域902的类似度。化妆分析部122可通过第1区域901与第2区域902重叠的区域的宽度而检测类似度。即,当第1区域901与第2区域902重叠的区域的宽度越宽,化妆分析部122可将类似度计算为越高,重叠的区域的宽度越窄,化妆分析部122可将类似度计算为越低。
化妆分析部122可通过计算的类似度而判断眉毛均匀性。例如,当计算的类似度为第1基准值以下时,化妆分析部122可将眉毛均匀性判断为‘不均匀’,当计算的类似度超过第2基准值时,化妆分析部122可将眉毛均匀性判断为‘均匀’。但是,这样的判断方法仅为例示,无需不限于此。
另一方面,在红色通道(red channel)中判断为眉毛的第2区域902的宽度为基准宽度以下的情况下,化妆分析部122可在蓝色通道(blue channel)图像中执行眉毛判断动作,由此如图25的(d)所示地可将第3区域903判断为眉毛。化妆分析部122检测第1区域901和第3区域903的类似度,从而能够如上所示地判断眉毛均匀性。
无线通信部140可在评价化妆之后将评价结果信号传送到移动终端10,移动终端10的显示部14可显示评价结果。
图26是示出对眉毛项的化妆评价结果的例示图。显示部14可显示关于眉毛长度、水平程度、眉毛前长度及眉毛均匀性的评价结果。但是,图26中所示的显示评价结果的方法仅为例示。
接着,图27至图28是用于对评价本发明的第2实施例的黑眼圈项时运用的评价算法进行说明的图,图29是用于对显示本发明的实施例的黑眼圈项的评价结果的方法进行说明的例示图。
区域检测部124在眼睛区域可检测多个地点。例如,区域检测部124在眼睛区域可检测第1地点1101至第4地点1104,第1地点1101可以是眼睛的外侧端地点,第2地点1102可以是眼睛的内侧端地点,第3地点1103可以是眼睛的上侧端地点,第4地点1104可以是眼睛的下侧端地点。
化妆分析部121可检测连接第1地点1101及第2地点1102的直线距离而计算眼睛的水平距离l1,可检测连接第3地点1103及第4地点1104的直线距离而计算眼睛的垂直距离l2。
化妆分析部121可基于第1地点1101至第4地点1104、水平距离l1及垂直距离l2而获得基准线1110。例如,化妆分析部121可在自第3地点1103向下隔开垂直距离l2的位置处获得具备与水平距离l1的规定比率对应的长度的基准线1110。基准线1110的长度可以为水平距离l1的80%,但这仅为例示。
参照图28,化妆分析部121可在基准线1110的左侧1/3区域1111的RGB值中提取最大值,可在基准线1110的右侧1/3区域1112的RGB值中提取最大值,可在基准线1110的中央1/2区域1113的RGB值中提取最小值。
化妆分析部121可在提取的两个最大值中获得较小的值,计算所获得的较小的值与上述提取的最小值之差。化妆分析部121可基于计算的差异而评价黑眼圈的深浅程度。
根据本发明,通过第1至第4地点(1101至1104)与眼睛的距离而检测黑眼圈对象区域,在黑眼圈对象区域通过两侧的RGB值而获得周边皮肤色,通过中间的RGB值而在眼睛下方获得最深的部分的颜色,从而能够更精密地检测黑眼圈的深浅程度。即并非单纯地检测黑眼圈,而是能够评价是否化妆成与周边皮肤颜色类似地很好地覆盖黑眼圈。
接着,图30至图34是用于对评价本发明的第2实施例的色彩谐调项时运用的评价算法进行说明的图,图35是用于对显示本发明的第2实施例的色彩谐调项的评价结果的方法进行说明的例示图。
首先,控制部130可控制为提取皮肤颜色。具体地,参照图30的(a),区域检测部124可对图像所包含的脸部中的鼻子区域3001进行检测。特别地,区域检测部124可检测鼻梁等区域。化妆分析部122可提取与鼻子区域3001所包含的多个地点对应的多个RGB颜色值,可计算提取的RGB颜色值的平均值。化妆分析部122可将与计算的RGB平均值对应的颜色提取为皮肤颜色。
化妆分析部122可将提取的皮肤颜色分布到Lab颜色空间,检测与提取的皮肤颜色最接近的颜色,并将检测出的颜色确定为皮肤颜色。如图30的(b)所示,化妆数据库管理部110存储有多个代表皮肤颜色,化妆分析部122可在所存储的代表颜色中获得与检测出的皮肤颜色最接近的颜色,将获得的颜色确定为皮肤颜色。例如,在图30中将化妆分析部122可将s5确定为皮肤颜色。
接着,控制部130进行控制,以提取嘴唇颜色。具体地,参照图31的(a),区域检测部124可对图像所包含的脸部中的嘴唇区域3101进行检测。特别地,区域检测部124可检测下嘴唇区域。化妆分析部122可提取与嘴唇区域3101所包含的多个地点对应的多个RGB颜色值,计算所提取的RGB颜色值的平均。化妆分析部122可将与计算的RGB平均值对应的颜色作为嘴唇颜色而提取。
化妆分析部122可将提取的嘴唇颜色分布到Lab颜色空间而检测与提取的嘴唇颜色最接近的颜色,将检测出的颜色确定为嘴唇颜色。如图31的(b)所示,化妆数据库管理部110存储有多个代表嘴唇颜色,化妆分析部122可在多个代表嘴唇颜色中获得与检测出的嘴唇颜色最接近的颜色,并将获得的颜色确定为嘴唇颜色。例如,在图31中化妆分析部122可将l7确定为嘴唇颜色。
接着,控制部130可进行控制,以提取腮颜色。具体地,参照图32的(a),区域检测部124可对图像所包含的脸部中的腮区域3201进行检测。腮区域3201可将左侧腮区域和右侧腮区域均包含。
在提取腮颜色的情况下,化妆分析部122可执行障碍去除动作。在此,障碍去除动作是用于将通过头发等而遮住腮区域而错误地确定腮颜色的情况最小化的动作。在执行障碍去除动作的情况下,化妆分析部122可将图像变换为灰色(gray)图像,然后将影像的值小于规定基准值的区域去除,例如规定基准值可以为0.35,但这仅为例示,不限于此。化妆分析部122可提取与除了在腮区域3201中去除的区域之外的剩余区域对应的多个RGB颜色值,并可计算所提取的RGB颜色值的平均值。化妆分析部122可将与计算的RGB平均值对应的颜色作为腮颜色而提取。
化妆分析部122可将提取的腮颜色分布到Lab颜色空间而检测与提取的腮颜色最接近的颜色,将检测出的颜色确定为腮颜色。如图32的(b)所示,化妆数据库管理部110存储有多个代表腮颜色,化妆分析部122可在多个代表腮颜色中获得与检测出的腮颜色最接近的颜色,并将获得的颜色确定为腮颜色。例如,在图32中化妆分析部122可将b8确定为腮颜色。
另一方面,化妆分析部122可在腮区域3201中将Lab颜色空间中a值大的值确定为代表腮颜色。
接着,控制部130可进行控制,以提取眼影颜色。
具体地,参照图33,区域检测部124对图像所包含的脸部中的眼睛上方区域3301进行检测。眼睛上方区域3301可将左侧眼睛上方区域和右侧眼睛上方区域均包含。
化妆分析部122在提取眼影颜色的情况下可执行如上所述的障碍去除动作。化妆分析部122可提取与除了在眼睛上方区域3301中通过障碍去除动作而去除的区域之外的剩余区域对应的多个RGB颜色值,并计算所提取的RGB颜色值的平均。化妆分析部122可将与计算的RGB平均值对应的颜色作为眼影颜色而提取。特别地,化妆分析部122可分别提取左侧眼影颜色和右侧眼影颜色。化妆分析部122可基于提取的眼影颜色而确定代表眼影颜色。
根据一个实施例,化妆分析部122可根据化妆主题而通过不同的方法来确定代表眼影颜色。在化妆主题为自然妆(natural)或可爱妆(lovely)的情况下,化妆分析部122可将在提取的左侧眼影颜色和右侧眼影颜色中的在Lab颜色空间中a值大的值确定为代表眼影颜色。在化妆主题为烟熏妆(smoky)的情况下,化妆分析部122可将在提取的左侧眼影颜色和右侧眼影颜色中的在Lab颜色空间中L值小的值确定为代表眼影颜色。这是因为根据化妆主题而推荐的眼影颜色不同,并且根据化妆主题而通过不同的方法来确定代表眼影颜色,从而不仅能够评价是否化好妆,而且还能够评价是否按照主题而化好妆。
接着,对用确定的皮肤颜色、嘴唇颜色、腮颜色及眼影颜色评价色彩谐调的方法进行说明。
化妆数据库管理部110可包括多个第1样品颜色和多个第2样品颜色,并可存储有对由多个第1样品颜色中的任一种颜色和多个第2样品颜色中的任一种颜色构成的一对样品颜色映射分数数据的分数表。
例如,参照图34的(a),化妆数据库管理部110可存储有使多个皮肤颜色映射到多个嘴唇颜色、并显示有与此对应的分数的皮肤-嘴唇分数表。化妆分析部122在皮肤-嘴唇分数表中检索确定的皮肤颜色和确定的嘴唇颜色,可获得被映射到检索的皮肤颜色和嘴唇颜色的分数,可将获得的分数判断为皮肤&嘴唇谐调分数。
同样地,参照图34的(b),化妆数据库管理部110可存储有使多个皮肤颜色映射到多个腮颜色并显示与此对应的分数的皮肤-腮分数表。化妆分析部122在皮肤-腮分数表中检索确定的皮肤颜色和确定的腮颜色,可获得被映射到检索的皮肤颜色和腮颜色的分数,可将获得的分数判断为皮肤&腮谐调分数。
接着,对判断皮肤&眼影谐调分数的方法进行说明。化妆分析部122可计算通过图33而说明的方法确定的代表眼影颜色与皮肤颜色之差。具体地,化妆分析部122可分别计算代表眼影颜色与皮肤颜色的a值之差和L值之差,基于计算的a值之差和L值之差而判断分数。同样地,化妆分析部122可按照化妆主题而判断出不同的分数。
这样,在眼影的情况下,化妆分析部122可以以与嘴唇颜色及腮的情况不同地判断与皮肤的色彩谐调分析。这是因为,腮或嘴唇即便化妆主题不同,但具有颜色系列类似的倾向,但在眼影的情况下,根据化妆主题,颜色系列完全地不同。由此,在判断化妆的色彩谐调项时能够更精密地评价色彩谐调。
另一方面,化妆分析部122在提取皮肤颜色、嘴唇颜色、腮颜色及眼影颜色中的至少一个以上颜色时,在不能提取颜色的皮肤颜色的情况下,可判断为0分。
无线通信部140可在评价色彩谐调项之后将评价结果信号传送到移动终端10,移动终端10的显示部14可显示评价结果。
图30是示出对色彩谐调项的化妆评价结果的例示图。显示部14可显示对皮肤&嘴唇谐调、皮肤&腮谐调及皮肤&眼影谐调的评价结果。但是,图30所示的显示评价结果的方法仅为例示。
接着,图36是用于对评价本发明的第2实施例的嘴唇项时运用的评价算法进行说明的图,图37是用于对显示本发明的第2实施例的嘴唇项的评价结果的方法进行说明的例示图。
区域检测部124可对图像所包含的脸部中的嘴唇区域2001进行检测。检测出的嘴唇区域可以如图36的(a)所示。
化妆评价部120关于嘴唇区域2001的化妆而能够评价嘴唇均匀性和嘴唇干燥度。在此,嘴唇均匀性表示嘴唇颜色的均匀性,可以是表示是否将嘴唇均匀地化妆的项目。嘴唇干燥度是表示是否将嘴唇化成湿润的状态的项目。
首先,对化妆评价部120评价嘴唇均匀性的方法进行说明。化妆分析部122可将检测出的嘴唇区域2001变换为Lab颜色空间,在L空间的影像中通过设定临界值而在嘴唇区域中获得反射区域的影像。例如,化妆分析部122可对位于L空间的影像中的由L值包含在预定的范围内的像素构成的区域进行检测,将检测出的区域确定为反射区域。
图36的(b)是示出通过化妆分析部122而确定的反射区域的例示图。阶段1中反射区域2002的大小最大,越靠近阶段5,反射区域2002的大小越减少。
化妆分析部122可在如图36的(a)所示的图像中计算嘴唇区域的大小,且可在图36的(b)所示的图像中计算所检测出的反射区域的大小。
化妆分析部122可计算反射区域的大小相对于嘴唇区域的大小的比率。化妆分析部122可基于计算的大小的比率而评价嘴唇的均匀性。即,在阶段1中图示的嘴唇的情况下,化妆分析部122可将嘴唇的均匀性评价为较高,越靠近阶段5,可将嘴唇的均匀性评价为越低。
类似地,化妆评价部120能够评价嘴唇干燥度。
化妆分析部122检测嘴唇区域,可获得如图36的(a)所示的嘴唇区域图像2001。
化妆分析部122可获得在获得的嘴唇区域图像中运用了高通滤波器(high passfilter)的滤波图像。化妆分析部122在滤波图像中的位于R空间的图像中通过临界值的设定而获得表示嘴唇区域的纵皱纹的掩蔽(mask)图像。即,化妆分析部122可对嘴唇区域中的由R值包含在预定的范围内的像素构成的区域进行检测,并将所检测出的区域确定为皱纹区域2002。皱纹区域2002可以与图36的(b)中所示的示例类似地阶段性地获得。
化妆分析部122可在图36的(a)所示的图像中计算嘴唇区域的大小,且可图36的(b)所示的图像中计算皱纹区域2002的大小。
化妆分析部122可计算皱纹区域的大小相对于嘴唇区域的大小的比率。化妆分析部122可基于计算的大小的比率而评价嘴唇的干燥度。即,化妆分析部122在阶段1所示的嘴唇的情况下计算为较大的比率,可将嘴唇的干燥度评价为较高,并随着靠近阶段5而将比率计算为较低,可将嘴唇的干燥度评价为较低。
图36中对反射区域2002和皱纹区域2002相同的情况进行了说明,但这是为了便于说明而举出的一个例示,在一个图像中可将反射区域2002和皱纹区域2002检测为不同区域,由此能够评价不同的嘴唇均匀性和嘴唇干燥度。
但是,上述的嘴唇项评价方法仅为例示,因此无需限于此。
无线通信部140可在评价嘴唇项之后将评价结果信号传送到移动终端10,移动终端10的显示部14可显示评价结果。
图37是显示对嘴唇项的化妆评价结果的例示图。显示部14显示对嘴唇均匀性的评价结果。显示部14可分别显示与嘴唇均匀性对应的分数和与嘴唇干燥度对应的分数。但是,图37所示的显示评价结果的方法仅为例示。
接着,图38是用于对评价本发明的第2实施例的瑕疵项时运用的评价算法进行说明的图,图3是用于对显示本发明的第2实施例的瑕疵项的评价结果的方法进行说明的例示图。
影像检测部121可获得图像,并检测所获得的图像中包含的脸部区域。例如,影像检测部121可以如图38的(a)所示地检测脸部区域。
影像检测部121可对检测出的脸部区域中的腮区域2201进行检测,腮区域2201可包括左侧腮区域和右侧腮区域。例如,影像检测部121可以如图38的(b)所示地对脸部区域中的腮区域2201进行检测。
影像检测部121可对检测出的脸部区域中的下巴区域2202进行检测。化妆分析部122可将下巴区域2202所包含的所有像素变换为Lab空间,在变换的Lab空间中计算L、a及b各自的平均值而计算皮肤的平均Lab值。
化妆分析部122可将平均Lab值变换为RGB值而计算皮肤的RGB平均值。
接着,化妆分析部122可设定瑕疵对象区域。具体地,化妆分析部122将包含脸部区域的图像变换为Lab颜色空间,并获得与变换的Lab与上述计算的皮肤的平均Lab值之差对应的差距(gap)图像。
化妆分析部122可获得与以差距图像所包含的多个像素的各个像素为基准位于旁边(左侧或右侧)的像素之间的差对应的左右差距图像,并获得与以差距图像所包含的多个像素的各个像素为基准位于上方或下方的像素之间的差对应的上下差距图像。
化妆分析部122可获得与将左右差距图像的像素值的平方和上下差距图像的像素值的平方之和对应的颜色差图像。化妆分析部122可在颜色差图像中获得由像素值比预定的临界值大的地点构成的对象区域。
如图38的(d)所示,化妆分析部122可将在对象区域中执行形态学运算(morphological operation)而聚集(clustering)的区域设定为瑕疵对象区域2203。
化妆分析部122可在瑕疵对象区域2203中获得像素值相差预定的临界值以上的异质性点2213、2223、2233。特别地,如图38的(e)所示,化妆分析部122可将在腮区域2201内部获得的异质性点2213、2223识别为瑕疵。
化妆分析部122可分别检测腮区域2201的大小、识别为瑕疵的异质性点2213、2223的大小,并计算异质性点2213、2223的大小相对于腮区域2201的大小的比率。化妆分析部122可基于计算的大小比率而评价皮肤均匀性。例如,可以为,化妆分析部122在大小比率在第1基准值(例如,0%)到第2基准值(例如,5%)之间时确定为5分,大小比率在第2基准值(例如,5%)到第3基准值(例如,10%)之间时确定为3分,大小比率在第3基准值(例如,10%)到第4基准值(例如,20%)之间时确定为1分。
皮肤均匀性表示对脸部的皮肤颜色是否均匀地化妆,是表示是否以良好地遮盖瑕疵、痦子或皱纹等缺点的方式化好妆的指标。
无线通信部140可在评价瑕疵项之后将评价结果信号传送到移动终端10,移动终端10的显示部14可显示评价结果。
图39是显示关于瑕疵项的化妆评价结果的例示图。显示部14可显示对瑕疵的评价结果。但是,图39所示的显示评价结果的方法仅为例示。
重新对图20进行说明。
化妆服务器100可将评价了化妆的评价结果信号传送到移动终端10(S21)。
这样,可将按照眉毛项、黑眼圈项、色彩谐调项、嘴唇项、瑕疵项等每个具体评价项评价的分数相加而导出化妆总分。根据实施例,可按照每个化妆主题而将各个具体评价项影响总分的比率设定为不同。例如,可以为,在化妆主题为自然妆的情况下,将黑眼圈项的分数反映为60%,将剩余眉毛项、色彩谐调项、嘴唇项、瑕疵项的分数分别反映为10%的比率而计算总分,在化妆主题为烟熏妆的情况下,将色彩谐调项反映为35%,将嘴唇项反映为40%,将眉毛项反映为15%,将黑眼圈项反映为5%,将瑕疵项反映为5%的比率来计算总分。
移动终端10的显示部14可基于接收的评价结果信号而显示化妆评价结果(S23)。
显示部14可以显示如图40所示的化妆结果。
即,显示部14可显示关于各个化妆评价项的分数和总分。
或者,显示部14可以如图26、图29、图35、图37及图39所示这样显示化妆评价结果。特别地,当选择图40所示的多个评价项中的任一个项时,显示部14可显示如图26、图29、图35、图37或图39所示的评价结果作为对选择的项的具体评价结果。
另一方面,以上对由化妆服务器100执行化妆评价的情况进行了说明,但这仅为便于说明的例示。也可以由移动终端10获得图像而直接执行化妆评价,在该情况下,可从化妆服务器100接收与化妆评价相关的数据。
另一方面,以上分为图3至图18的第1实施例和图19至图40的第2实施例而对化妆评价系统进行了说明,但这仅为便于说明的例示,本发明不限于此。即,通过图3至图18而说明的第1实施例的化妆评价系统及其动作方法可与通过图19至图40而说明的第2实施例的化妆评价系统及其动作方法组合而构成。
例如,化妆分析部122可将图6所示的化妆分数数据和通过图21至图25而说明的算法一并运用而输出化妆分数。
另外,显示部14可将第1实施例的化妆结果画面和第2实施例的化妆结果画面组合而显示。
上述的本发明可实现为记录有程序的介质中的由计算机可读取的代码。由计算机可读取的介质包括存储有通过计算机系统而能够读出的数据的所有种类的记录装置。作为计算机可读取的介质的例子,有HDD(Hard Disk Drive:硬盘驱动器)、SSD(Solid StateDisk:固态硬盘)、SDD(Silicon Disk Drive:硅磁盘驱动器)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等。另外,上述计算机还可包括移动终端的控制部180。因此,关于上述的详细的说明在所有的方面不应进行限定性的解释,而应作为例示而考虑。本发明的范围应通过对所附的权利要求的合理的解释来确定,本发明的等价范围内的所有变更均包括在本发明的范围中。

Claims (1)

1.一种化妆评价系统,其包括:
移动终端,其拍摄脸部图像,将上述拍摄的脸部图像传送到化妆服务器;及
化妆服务器,其存储有化妆分数数据,当从上述移动终端接收到上述脸部图像时,对上述脸部图像中的一个以上的脸部区域进行检测,基于上述化妆分数数据而计算上述检测出的各个脸部区域的化妆分数,将上述计算的化妆分数传送到上述移动终端,
当从上述移动终端接收到化妆主题时,上述化妆服务器按照上述化妆主题而计算上述化妆分数,
根据上述检测出的脸部区域的形状及上述化妆主题而计算出不同的上述化妆分数。
CN201880008880.3A 2017-02-01 2018-02-01 化妆评价系统及其动作方法 Active CN110235169B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0014403 2017-02-01
KR1020170014403A KR101872635B1 (ko) 2017-02-01 2017-02-01 메이크업 자동 평가 시스템 및 그의 동작 방법
PCT/KR2018/001412 WO2018143707A1 (ko) 2017-02-01 2018-02-01 메이크업 평가 시스템 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
CN110235169A true CN110235169A (zh) 2019-09-13
CN110235169B CN110235169B (zh) 2022-12-06

Family

ID=62780967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880008880.3A Active CN110235169B (zh) 2017-02-01 2018-02-01 化妆评价系统及其动作方法

Country Status (3)

Country Link
EP (1) EP3579176A4 (zh)
KR (1) KR101872635B1 (zh)
CN (1) CN110235169B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369559A (zh) * 2020-04-16 2020-07-03 福州海豚世纪科技有限公司 妆容评估方法、装置、化妆镜和存储介质
CN111539882A (zh) * 2020-04-17 2020-08-14 华为技术有限公司 辅助化妆的交互方法、终端、计算机存储介质
CN113837019A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113511B2 (en) 2017-02-01 2021-09-07 Lg Household & Health Care Ltd. Makeup evaluation system and operating method thereof
KR102330368B1 (ko) * 2018-02-01 2021-11-23 주식회사 엘지생활건강 메이크업 평가 시스템 및 그의 동작 방법
WO2020170845A1 (ja) * 2019-02-22 2020-08-27 株式会社 資生堂 情報処理装置、及び、プログラム
KR102465455B1 (ko) * 2019-03-08 2022-11-10 주식회사 에이아이네이션 스코어 분포 예측을 통한 사용자 취향별 뷰티 평가 인공지능 장치 및 방법
KR102465453B1 (ko) * 2019-03-08 2022-11-10 주식회사 에이아이네이션 가상화장 합성 처리 인공지능 장치 및 방법
KR102465454B1 (ko) * 2019-03-08 2022-11-10 주식회사 에이아이네이션 얼굴의 특징 인식을 통한 뷰티 평가 인공지능 장치 및 방법
WO2024058468A1 (ko) * 2022-09-16 2024-03-21 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR102527638B1 (ko) * 2022-12-01 2023-05-02 서원대학교산학협력단 시각 장애인을 위한 점자 메이크업 팔레트

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324126A (ja) * 2001-04-25 2002-11-08 Sharp Corp メイクアップアドバイス情報供給システム
JP2008217586A (ja) * 2007-03-06 2008-09-18 Keio Gijuku 化粧支援システム
US20150050624A1 (en) * 2013-02-01 2015-02-19 Panasonic Corporation Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US20150086945A1 (en) * 2013-02-01 2015-03-26 Panasonic Corporation Makeup application assistance device, makeup application assistance system, and makeup application assistance method
WO2015127394A1 (en) * 2014-02-23 2015-08-27 Northeastern University System for beauty, cosmetic, and fashion analysis
JP2016151490A (ja) * 2015-02-18 2016-08-22 株式会社桃谷順天館 メイクアップの評価方法、メイクアップの評価システム、及びメイクアップ製品の推奨方法
KR20160144277A (ko) * 2015-06-08 2016-12-16 (주)엘앤케이랩 코디 서비스 제공 시스템, 서버, 사용자 기기 및 이를 이용한 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105210110A (zh) * 2013-02-01 2015-12-30 松下知识产权经营株式会社 美容辅助装置、美容辅助系统、美容辅助方法以及美容辅助程序

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324126A (ja) * 2001-04-25 2002-11-08 Sharp Corp メイクアップアドバイス情報供給システム
JP2008217586A (ja) * 2007-03-06 2008-09-18 Keio Gijuku 化粧支援システム
US20150050624A1 (en) * 2013-02-01 2015-02-19 Panasonic Corporation Makeup application assistance device, makeup application assistance method, and makeup application assistance program
US20150086945A1 (en) * 2013-02-01 2015-03-26 Panasonic Corporation Makeup application assistance device, makeup application assistance system, and makeup application assistance method
WO2015127394A1 (en) * 2014-02-23 2015-08-27 Northeastern University System for beauty, cosmetic, and fashion analysis
JP2016151490A (ja) * 2015-02-18 2016-08-22 株式会社桃谷順天館 メイクアップの評価方法、メイクアップの評価システム、及びメイクアップ製品の推奨方法
KR20160144277A (ko) * 2015-06-08 2016-12-16 (주)엘앤케이랩 코디 서비스 제공 시스템, 서버, 사용자 기기 및 이를 이용한 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369559A (zh) * 2020-04-16 2020-07-03 福州海豚世纪科技有限公司 妆容评估方法、装置、化妆镜和存储介质
CN111539882A (zh) * 2020-04-17 2020-08-14 华为技术有限公司 辅助化妆的交互方法、终端、计算机存储介质
CN113837019A (zh) * 2021-08-31 2021-12-24 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质
CN113837019B (zh) * 2021-08-31 2024-05-10 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR101872635B1 (ko) 2018-06-29
CN110235169B (zh) 2022-12-06
EP3579176A4 (en) 2020-12-30
EP3579176A1 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
CN110235169A (zh) 化妆评价系统及其动作方法
US11748980B2 (en) Makeup evaluation system and operating method thereof
US10799010B2 (en) Makeup application assist device and makeup application assist method
CN102081918B (zh) 一种视频图像显示控制方法及视频图像显示器
WO2021147920A1 (zh) 一种妆容处理方法、装置、电子设备及存储介质
JP6850723B2 (ja) 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム
CN106599881A (zh) 学生状态的确定方法、装置及系统
CN105721936B (zh) 一种基于情景感知的智能电视节目推荐系统
CN110119672A (zh) 一种嵌入式疲劳状态检测系统及方法
CN107944093A (zh) 一种口红配色选择方法、电子设备及存储介质
CN111008971B (zh) 一种合影图像的美学质量评价方法及实时拍摄指导系统
CN109584153A (zh) 修饰眼部的方法、装置和系统
US11776187B2 (en) Digital makeup artist
CN109542233A (zh) 一种基于动态手势和人脸识别的灯具控制系统
CN108319937A (zh) 人脸检测方法及装置
CN112819718A (zh) 图像处理方法及装置、电子设备及存储介质
US11961169B2 (en) Digital makeup artist
CN116830073A (zh) 数字彩妆调色板
KR102066892B1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
KR20180089879A (ko) 메이크업 자동 평가 시스템 및 그의 동작 방법
KR20200107486A (ko) 가상화장 합성 처리 장치
KR102330368B1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
KR20200107480A (ko) 가상화장 합성 처리 장치 및 방법
KR20200107482A (ko) 가상화장 합성 처리 장치
CN116991240A (zh) 一种基于人工智能识别和增强现实技术的美妆护肤镜以及美妆护肤方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40010539

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant