CN108804972A - 唇彩指引装置及方法 - Google Patents

唇彩指引装置及方法 Download PDF

Info

Publication number
CN108804972A
CN108804972A CN201710286388.XA CN201710286388A CN108804972A CN 108804972 A CN108804972 A CN 108804972A CN 201710286388 A CN201710286388 A CN 201710286388A CN 108804972 A CN108804972 A CN 108804972A
Authority
CN
China
Prior art keywords
lip
vertical height
gloss
peak
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710286388.XA
Other languages
English (en)
Inventor
沈轼荣
季敏昶
蔡承轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cal Comp Big Data Inc
Original Assignee
Cal Comp Big Data Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cal Comp Big Data Inc filed Critical Cal Comp Big Data Inc
Priority to CN201710286388.XA priority Critical patent/CN108804972A/zh
Priority to US15/627,372 priority patent/US10446052B2/en
Priority to KR1020170093013A priority patent/KR20180120550A/ko
Priority to EP17186086.9A priority patent/EP3396587A1/en
Priority to JP2017165103A priority patent/JP6753829B2/ja
Publication of CN108804972A publication Critical patent/CN108804972A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D34/00Containers or accessories specially adapted for handling liquid toiletry or cosmetic substances, e.g. perfumes
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D40/00Casings or accessories specially adapted for storing or handling solid or pasty toiletry or cosmetic substances, e.g. shaving soaps or lipsticks
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D34/00Containers or accessories specially adapted for handling liquid toiletry or cosmetic substances, e.g. perfumes
    • A45D2034/002Accessories
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D40/00Casings or accessories specially adapted for storing or handling solid or pasty toiletry or cosmetic substances, e.g. shaving soaps or lipsticks
    • A45D2040/0006Accessories
    • AHUMAN NECESSITIES
    • A45HAND OR TRAVELLING ARTICLES
    • A45DHAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D2044/007Devices for determining the condition of hair or skin or for selecting the appropriate cosmetic or hair treatment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Cosmetics (AREA)

Abstract

本发明提供了一种唇彩指引装置,以导引使用者画上唇彩。此唇彩指引装置包括图像获取单元、处理单元及显示单元。图像获取单元用以获取使用者脸部图像,此脸部图像包括使用者的唇部。处理单元用以接收脸部图像,并依据脸部图像获取多个唇部特征点。处理单元并依据唇部特征点以及上下唇之间的预设比例进行运算以获得上唇彩指引区块及下唇彩指引区块。显示单元显示使用者唇部图像及与其对应的上唇彩指引区块及下唇彩指引区块,并导引使用者对所述上唇彩指引区块及下唇彩指引区块进行化妆。本发明并提供了适用于此唇彩指引装置的唇彩指引方法。

Description

唇彩指引装置及方法
技术领域
本发明涉及一种脸部特征识别技术,尤其涉及一种基于唇形识别的唇彩指引装置与其方法。
背景技术
爱美是女人的天性,许多女性会通过化妆的方式增添脸部的特色。然而,化妆的技巧并非与生俱来的,化妆者可以经过多次教导,并进行多次练习后以提升化妆的效果。
若想要学习化妆,学习者目前可从网络上获得图像来学习。然而,通过图像来学习的化妆方法仍然在实作时会发生偏差。因此,如何通过现代化设备来学习化妆,便是厂商想要实现的技术问题。
发明内容
本发明提供一种唇彩指引装置及唇彩指引方法,以依据使用者的脸部图像计算并显示出唇彩指引区块,使得使用者可以依唇彩指引装置提供的提示来上妆,以提供便利地互动化妆教学。
本发明的唇彩指引装置,包括图像获取单元、处理单元以及显示单元。图像获取单元获取使用者脸部图像,其中,此脸部图像至少包括使用者的唇部。处理单元用以接收脸部图像,并依据脸部图像获取多个唇部特征点。此外,处理单元并依据唇部特征点以及上下唇之间的预设比例进行运算,以获得上唇彩指引区块以及下唇彩指引区块。显示单元显示了使用者唇部图像及与其对应的上唇彩指引区块以及下唇彩指引区块,并导引使用者对上唇彩指引区块及下唇彩指引区块进行化妆。
本发明的唇彩指引方法,包括步骤获取使用者脸部图像,依据使用者脸部图像以获取多个唇部特征点,依据唇部特征点以及上下唇之间的预设比例进行运算,以获得上唇彩指引区块及下唇彩区块,以及显示脸部图像及与其对应的上唇彩指引区块及下唇彩指引区块,并导引使用者对上唇彩指引区块及下唇彩指引区块进行化妆。
基于上述,本发明所提供的唇彩指引装置及唇彩指引方法可以依据使用者的唇部图像计算并显示出上唇彩指引区块及下唇彩指引区块,以让使用者能够知晓于自己的唇部画唇彩的区域,使得使用者在化妆时能够明确地知悉如何通过不同的上妆部位获得不同的唇形。藉此,即使使用者不谙化妆,也可以依照唇彩指引装置提供的提示来上妆,以提供便利地互动化妆教学。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1示出本发明实施例的唇彩指引装置的显示界面示意图。
图2示出本发明实施例的唇彩指引装置的系统方块图。
图3示出了本发明第一实施例的唇彩指引区块的示意图。
图4示出了本发明第二实施例的唇彩指引区块的示意图。
图5示出了本发明第三实施例的唇彩指引区块的示意图。
图6示出本发明一实施例的第二唇彩指引区块的示意图。
图7示出本发明一实施例的唇彩指引方法的流程图。
图8示出本发明一实施例所述获得唇彩指引区块的流程图。
附图标记说明
100:化妆指引装置
110:图像获取单元
120:显示单元
130:处理单元
A1~A4:唇彩指引区块
h1~h3:唇部高度
LP0~LP7:唇部特征点
S710~S740:执行唇彩指引方法的步骤
S832~S836:获得唇彩指引区块的步骤
具体实施方式
图1示出本发明实施例的唇彩指引装置的显示界面示意图,图2示出本发明实施例的唇彩指引装置的系统方块图。请同时参考图1及图2,在本范例实施例中,唇彩指引装置100具有图像获取单元110、多媒体显示单元120以及处理单元130。
图像获取单元110是用以获取使用者的脸部图像,且此脸部图像包括唇部图像。图像获取单元110例如为内嵌式的摄影机、相机,或者是以外接方式连接的手机、相机等,本发明不以此为限。
显示单元120可即时地显示多媒体信息以及使用者的脸部图像,例如,在显示单元120中显示使用者的脸部图像以及提供使用者多种唇形及唇彩的选项,以供使用者选取。在本范例实施例中,显示单元120可以为设置在具有高反射率的材质(如,镜子)后方,并结合有机发光二极体(Organic Light-Emitting Diode,OLED)所制成的显示器。如此一来,使用者可通过镜子来看到自己脸部,显示单元120也可显示相关信息在镜子上以供使用者参阅及触控选取,本发明并不以此为限。本发明实施例的唇彩指引装置100可以是设置在化妆台上的设备,唇彩指引装置100的屏幕可以设置于镜子后方,其显示的文字或图像可以穿透镜子而让使用者观看。在其他实施例中,此唇彩指引装置100也可以是智能手机、平板电脑…等消费型电子产品,或是与可携式镜子结合而成的携带型镜盒。
处理单元130是依据图像获取单元110所获取的使用者脸部图像进行计算,以获取与使用者脸部相关的多个使用者的脸部特征点。特别是,脸部图像还具有唇部图像,因此,处理单员可以
举例来说,在本范例实施例的一实际情形中,处理单元130可以为中央处理器(central processing unit,CPU)、微处理器(Microprocessor)、特殊应用积体电路(Application Specific Integrated Circuits,ASIC)、可程序化逻辑装置(ProgrammableLogic Device,PLD)或其它类似装置。处理单元130用以运行提供唇彩指示区块的必要的各种软体程序和/或指令集。在本范例实施例中,处理单元130是运行套用Dlib数据库的脸部检测系统(Dlib Face Landmark),以检测并分析使用者脸部的194个脸部特征点。在其他的情形中,也可以仅分析使用者脸部119个脸部特征点,或者使用其他检测脸部特征点的算法来获取使用者的脸部特征点。
在本实施例中,当使用者面对镜子并化妆时,在显示单元120中即会显示使用者的脸部及唇部图像,并且即时的分析脸部特征点。为了提供便利地互动化妆指引装置,在本发明中,还基于使用者的唇部位置而在显示单元120中显示唇彩指引区块,以提示使用者示出唇彩的位置与方式。藉此,使用者可以经由显示单元120所显示的唇彩指引区块的导引,而在使用者自身脸上嘴唇的位置画上唇彩。须说明的是,唇彩指引区块的显示方式为显示于唇周围的框线。然而,唇彩指引区块的显示方式并不以本发明为限,在其他的实施例中,唇彩指引区块的显示方式可以直接以使用者的唇部为基准,调整唇部的显示区块,并以调整后的使用者的唇部显示区块作为唇彩指引区块。
请参考图3,图3示出了本发明实施例的唇彩指引区块的示意图。在图像获取单元110获取使用者唇部图像后,处理单元130会依据此使用者唇部图像,以获取使用者的多个唇部特征点。处理单元130所获取的使用者的唇部特征点至少包括左右两侧唇角LP0、LP1、上唇唇峰LP2、LP3、下唇唇峰LP4以及位于上下唇部交界处,并分别与上唇唇峰LP2、LP3以及下唇唇峰LP4垂直的特征点LP5、LP6、LP7。
处理单元130所获取的使用者唇部特征点并不限于此,在其他的实施例中,处理单元130所获取的脸部特征点可以多达119、194个点等不同的实施态样。其中,唇部特征点可以例如为43个特征点。举例来说,在119点的实施例中,处理单元会将每一个脸部的特征点都进行标号,例如,处理单元130将所有脸部特征点编成0~118号,其中,唇部特征点为58~100号。并且,嘴角LP0、LP1分别为第58及100号,上唇唇峰LP2、LP3分别为第63及66号,下唇唇峰LP4为第78号,而位于上下唇交界处的特征点LP5、LP6、LP7分别为第91、94及95号。然而,本发明并不限于此。
在获取了唇部特征点之后,处理单元130会依据唇部特征点的位置、使用者欲选择的唇形以及上下唇高度的预设比例调整唇部特征点,以分别获得上唇彩指引区块A1以及下唇彩指引区块A2。以下将详述处理单元130如何获得上唇彩指引区块A1以及下唇彩指引区块A2。
首先,处理单元130会依据左上唇唇峰LP2以及唇部特征点LP5计算两点之间的垂直高度h1,此垂直高度h1即视为使用者的上唇高度。须先说明的是,在其他的实施例中,处理单元130也可以依据右上唇唇峰LP3以及唇部特征点LP6计算两点之间的垂直高度h3,并将垂直高度h3视为使用者的上唇高度。也就是说,处理单元130可以选择使用者的左上唇唇峰LP2所对应的垂直高度h1或者是右上唇唇峰LP3对应的垂直高度h3视为使用者的上唇高度。或者,在又一实施例中,处理单元130也可以同时以垂直高度h1及h3分别视为左唇与右唇的高度,并分别对左边嘴唇与右边嘴唇微调。为了说明并简化起见,下述的实施例皆使用左上唇唇峰LP2及其对应的垂直高度h1进行说明,即上唇高度为h1。然而,对于右上唇唇峰LP3及其对应的垂直高度h3,或者是同时以左上唇唇峰LP2及右上唇唇峰LP3以及其对应的垂直高度h1及h3分别视为左唇与右唇的高度,都可以相同的方式计算调整上唇部指引区块A1,此处即不再赘述。
除了上唇高度h1外,处理单元130也会计算使用者的下唇高度h2。具体来说,处理单元130计算使用者下唇唇峰LP4以及唇部特征点LP7间的垂直距离h2,此垂直距离h2即视为使用者的下唇高度。并且,于获取了使用者上唇高度h1与下唇高度h2后,处理单元130会依据预设比例调整上唇彩指引区块A1以及下唇彩指引区块A2所显示的位置。
以图3的实施例进行说明,使用者选择的唇形为上唇高度h1与下唇高度h2的高度相同,也就是上唇高度h1与下唇高度h2的预设比例为1:1。在计算并调整使用者唇部特征点,以获得上唇彩指引区块A1及下唇彩指引区块A2的过程中,当处理单元130判断使用者上唇高度h1与下唇高度h2的比例不符合预设比例,即上唇高度h1与下唇高度h2的比例不等于1:1,处理单元130即会调整使用者的唇部特征点的位置,使得显示单元120所显示的上下唇高度比例符合预设比例。
具体来说,当处理单元130判断上下唇高度比例须进行调整时,例如,当使用者的上唇高度h1大于下唇高度h2时,处理单元130会以下唇高度h2为基准,而以垂直的方式向下调整上唇的特征点LP2、LP3,以使上唇高度h1与下唇高度h2相等。或者是,当使用者的上唇高度h1小于下唇高度h2时,处理单元130会以下唇高度h2为基准而以垂直的方式向上调整上唇的特征点LP2、LP3,使得上唇与下唇的高度比例相同。须说明的是,当处理单元130以下唇高度h2为基准而调整上唇特征点时,处理单元130可以同时调整与上唇唇峰LP2、LP3邻近的唇部特征点。例如,处理单元130可以将左上唇唇峰LP2至左唇角LP1沿线的唇部特征点,以等比例的方式同时往上或往下调整唇部特征点的位置。或者是,处理单元130也可依据使用者所选择的曲线的比例进一步调整唇部特征点的水平与垂直位置,本发明并不限于此。
在其他实施例中,处理单元130也可以以上唇高度h1为基准而调整下唇的唇部特征点,使得下唇与上唇的高度比例相同。举例来说,当上唇高度h1大于下唇高度h2时,处理单元130会向下调整下唇的特征点,以使下唇高度h2变大,使得下唇与上唇的高度相同。
此外,当使用者的上唇高度与下唇高度比例相近时,处理单元130则不会调整上唇与下唇的高度。在本实施例中,若上唇高度h1与下唇高度h2的差异在5个画素内,处理单元130即判断上唇高度h1与下唇高度h2的高度相同。然而,本发明并不限于此。
请接着参考图4,图4示出了本发明第二实施例的唇彩指引区块的示意图。在图4的实施例中,获取使用者上唇高度h1与下唇高度h2的方法与图3相同,在此即不赘述。不同的地方在于,在图4的实施例中,使用者所选择的唇形是上薄下厚。依据美妆完美比例,系统预设于上薄下厚的唇形中,上唇高度h1与下唇高度h2的预设比例为1:1.5,因此预设比例为目前医学美容界当中认知上的最佳上下唇型比例,然本发明并不限于此。在本发明其他实施例中,使用者可以依据自身需求或前往场合的不同来适度地调整上下唇高度的预设比例。本实施例可依据使用者选择的妆容来适度地协助调整上下唇型比例。
相似于图3,当使用者的上唇高度h1与下唇高度h2不符合预设比例时,处理单元130会以下唇高度h2为基准而调整唇彩指引区块中A1上唇的特征点所在的位置,使得上唇高度h1与下唇高度h2的比例符合预设比例,即上唇高度h1:下唇高度h2=1:1.5。然而在其他实施例中,处理单元130也可以以上唇高度h1为基准而调整下唇h2的特征点,使得上唇的高度h1与下唇的高度h2比例符合预设比例1:1.5,本发明并不限于此。
此外,在另一实施例中,处理单元130也可以依据上唇高度h1与下唇高度h2相对于预设比例中,较小的半唇作为调整的基准。举例来说,当处理单元130获取上唇高度h1以及下唇高度h2后,会同时将上唇高度h1以及下唇高度h2除以上唇高度h1,也即,使得计算后的上唇高度变成1。此时,若计算后的下唇高度h2小于1.5,则以下唇高度h2为基准,调整上唇的特征点。相反地,若计算后的下唇高度h2大于1.5,即表示上唇高度相较于预设比例是比较小的,因此则以上唇高度h1为基准,调整下唇的特征点。基此,以使唇彩指引装置所提供的唇彩指引区块A1可以让使用者所示出的唇彩不超过使用者实际唇部的范围,使得使用者的唇部形状可以于视觉上维持较小的形状。
请接着参考图5,图5示出了本发明第三实施例的唇彩指引区块的示意图。在图5的实施例中,获取使用者上唇高度h1与下唇高度h2的方法与图3相同,在此即不赘述。不同的地方在于,在图5的实施例中,使用者所选择的唇形是上厚下薄。依据美妆完美比例,系统针对上厚下薄唇形所预设的上下唇高度的预设比例为1.5:1,然本发明并不限于此。在本发明其他实施例中,使用者可以依据自身的需求调整上下唇高度的比例。
相似于图3,当使用者的上唇高度h1与下唇高度h2不符合预设比例时,处理单元130会以下唇高度h2为基准而调整唇彩指引区块A1中上唇的特征点所在的位置,使得上唇高度h1与下唇高度h2的比例符合预设比例,即上唇高度h1:下唇高度h2=1:1.5。然而在其他实施例中,处理单元130也可以以上唇高度h1为基准而调整下唇h2的特征点,使得上唇高度h1:下唇高度h2=1:1.5。并且,在又一实施例中,处理单元130也可以动态的调整此基准,本发明并不限于此。详细调整的方法已于图3以及图4的说明中揭示,此处即不再赘述。
请参考图6,图6示出了本发明一实施例的唇彩指引区块。在本发明的一实施例中,当处理单元130判断上唇彩指引区块A1或者下唇彩指引区块A2小于使用者真实的唇部时,处理单元130更进一步指示显示单元120显示位于使用者唇部区块与唇彩指引区块A1之间的第三上唇彩指引区块A3以及第四下唇彩指引区块。藉此,使用者可以于自己的唇部中,对应第二上唇彩指引区块A3以及第二下唇彩指引区块A4的位置画上修饰的唇彩或遮瑕膏,以使使用者能够更精准的示出出所选的唇型。
另外,当处理单元130判断唇彩指引区块A1大于使用者实际的唇部区块时,使用者可以于自己的唇部中,对应上唇彩指引区块A1以及下唇彩指引区块A2的外围画上唇彩的轮廓,使用者并于该唇彩指引区块A1中涂上自己喜欢的唇彩。
图7示出了本发明一范例实施例的唇彩指引方法的流程图。请同时参考图2、图3及图7,当使用者欲通过唇彩指引装置100提供画唇彩的指引时,首先,在步骤S710中,图像获取单元110会先获取使用者脸部图像,此脸部图像并包括使用者的唇部图像。图像获取单元110并将获取到的使用者脸部图像传送至处理单元130。接着,在步骤S720中,处理单元130会计算被获取的使用者脸部图像,以获取多个使用者唇部特征点FP0~FP7。并且,在步骤S730中,处理单元130会依据唇部特征点以及预设比例进行运算并调整使用者唇部特征点FP0~FP7,以获得对应使用者脸部的上唇彩指引区块A1以及下唇彩指引区块A2。最后,处理单元130会将图像获取单元110获取的使用者脸部图像以及处理单元130计算出的上唇彩指引区块A1及下唇彩指引区块A2传送至显示单元120,并且于步骤S740中,处理单元130会指示显示单元120显示使用者脸部图像、上唇彩指引区块A1及下唇彩指引区块A2。
值得一提的是,在本范例实施例中,由于执行唇彩指引方法是以即时的方式获取使用者图像并计算唇彩指引区块A1,因此,步骤S710至步骤S740会不断的重复执行,直至使用者停止操作为止。
此外,本范例实施例的唇彩指引方法可以依据使用者选取的选项而调整唇彩指引区块区块的样式,例如:上薄下厚或上厚下薄。或者是,使用者也可以于显示单元120中点选唇彩的颜色、质地,并于显示单元120中预览。在其他的范例实施例中,处理单元130并可依据使用者选择的颜色、质地微调唇彩指引区块A1及唇彩指引区块A2,并于显示单元120中显示。
图8示出获得唇彩指引区块的细部流程图。请同时参考图3及图8,在此范例实施例中,在执行步骤S730,处理单元130依据使用者唇部特征点以及预设比例进行运算,以获得唇彩指引区块A1时,首先,在步骤S832中,处理单元130依据上唇唇峰与下唇唇峰计算使用者的上唇高度h1与下唇高度h2。其中,处理单元130可以先计算使用者的上唇高度h1,也可以先计算使用者的下唇高度h2,本发明并不限制处理单元130计算的先后顺序。而上唇高度h1与下唇高度h2详细的计算方法已于图3中所揭示,此处即不再赘述。
接着,在步骤S834,处理单元130进一步计算使用者上唇高度h1与下唇高度h2的比例,并判断此比例是否符合预设比例。并且,当使用者上唇高度h1与下唇高度h2的比例不符合预设比例时,在步骤S836中,处理单元130会进一步调整唇部的特征点,以获得符合预设比例的上唇彩指引区块A1及下唇彩指引区块A2。详细的调整方式已于图3至图5中所揭示,此处即不再赘述。
执行完S836后,由于处理单元130已计算出上唇彩指引区块A1及下唇彩指引区块A2。因此,处理单元130会将图像获取单元110获取的使用者图像以及处理单元130计算出的上唇彩指引区块A1及下唇彩指引区块A2传送至显示单元120,并于步骤S740中,处理单元130会指示显示单元120显示使用者脸部图像、上唇彩指引区块A1及下唇彩指引区块A2。
此外,若于步骤S834中,处理单元130判断使用者上唇高度h1与下唇高度h2的比例符合预设比例,则直接执行步骤S740,处理单元130会指示显示单元120中显示使用者图像以及上唇彩指引区块A1及下唇彩指引区块A2。
通过图7及图8的流程,处理单元130可以计算出上唇彩指引区块A1及下唇彩指引区块A2。因此,使用者即可于显示单元120中看到被计算出的上唇彩指引区块A1及下唇彩指引区块A2,并于自己的脸上对应上唇彩指引区块A1及下唇彩指引区块A2的部分画上唇彩。
综上所述,本发明所提供的唇彩指引装置及唇彩指引方法可以依据使用者的脸部图像计算并显示出唇彩指引区块,以让使用者在化妆时能够明确地知悉适合自己的唇彩的位置,并对应地画上唇彩。藉此,即使使用者不谙化妆,也可以依照唇彩指引装置提供的提示来上妆,以提供便利地互动化妆教学。
虽然本发明已以实施例揭示如上,然其并非用以限定本发明,任何所属技术领域中技术人员,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视权利要求所界定者为准。

Claims (10)

1.一种唇彩指引装置,包括:
图像获取单元,所述图像获取单元获取使用者的脸部图像,所述脸部图像至少包括使用者的唇部;
处理单元,用以接收所述脸部图像,依据所述脸部图像获取多个唇部特征点,依据所述唇部特征点以及上下唇之间的预设比例进行运算以获得上唇彩指引区块以及下唇彩指引区块;以及
显示单元,显示所述脸部图像及与其对应的所述上唇彩指引区块以及所述下唇彩指引区块,并导引使用者依据所述上唇彩指引区块以及所述下唇彩指引区块进行化妆。
2.根据权利要求1所述的唇彩指引装置,其中所述唇部特征点至少包括左唇角、右唇角、左上唇唇峰、右上唇唇峰、下唇唇峰以及对应所述左上唇唇峰的第一特征点以及对应所述下唇唇峰的第二特征点,其中,所述第一特征点与所述第二特征点位于上唇与下唇交界处,
所述处理单元依据所述左上唇唇峰与所述第一特征点计算第一垂直高度,并且依据所述下唇唇峰与所述第二特征点计算第二垂直高度,
所述处理单元判断所述第一垂直高度与所述第二垂直高度是否符合所述预设比例,
当所述第一垂直高度与所述第二垂直高度不符合所述预设比例时,所述处理单元依据所述第一垂直高度与所述第二垂直高度调整所述多个唇部特征点,以获取所述上唇彩指引区块以及所述下唇彩指引区块。
3.根据权利要求2所述的唇彩指引装置,当所述第一垂直高度与所述第二垂直高度不符合所述预设比例时,处理单元依据所述第一垂直高度调整所述多个唇部特征点中对应所述第二垂直高度的唇部特征点,或者依据所述第二垂直高度调整所述多个唇部特征点中对应所述第一垂直高度的唇部特征点。
4.根据权利要求1所述的唇彩指引装置,所述预设比例为所述第一垂直高度与所述第二垂直高度为1:1.5、1.5:1或1:1其中之一。
5.根据权利要求1所述的唇彩指引装置,其中所述唇部特征点至少包括左唇角、右唇角、左上唇唇峰、右上唇唇峰、下唇唇峰以及对应所述右上唇唇峰的第三特征点以及对应所述下唇唇峰的第二特征点,其中,所述第三特征点与所述第二特征点位于上唇与下唇交界处,
所述处理单元依据所述右上唇唇峰与所述第三特征点计算第三垂直高度,并且依据所述下唇唇峰与所述第二特征点计算第二垂直高度,
所述处理单元判断所述第三垂直高度与所述第二垂直高度是否符合所述预设比例,
当所述第三垂直高度与所述第二垂直高度不符合所述预设比例时,所述处理单元依据所述第三垂直高度与所述第二垂直高度调整所述多个唇部特征点,以获取所述上唇彩指引区块以及所述下唇彩指引区块。
6.一种唇彩指引方法,包括:
获取使用者脸部图像;
处理单元,用以接收所述脸部图像,依据所述脸部图像获取多个唇部特征点,依据所述唇部特征点以及上下唇之间的预设比例进行运算,以获得上唇彩指引区块以及下唇彩指引区块;以及
显示单元,显示所述脸部图像及与其对应的所述上唇彩指引区块以及下唇彩指引区块,并导引使用者依据所述上唇彩指引区块及所述下唇彩指引区块进行化妆。
7.根据权利要求6所述的唇彩指引方法,所述唇部特征点至少包括左唇角、右唇角、左上唇唇峰、右上唇唇峰、下唇唇峰以及对应所述左上唇唇峰的第一特征点以及对应所述下唇唇峰的第二特征点,其中,所述第一特征点与所述第二特征点位于上唇与下唇交界处,还包括:
依据所述左上唇唇峰与所述第一特征点计算第一垂直高度,并且依据所述下唇唇峰与所述第二特征点计算第二垂直高度,
所述处理单元判断所述第一垂直高度与所述第二垂直高度是否符合所述预设比例,
当所述第一垂直高度与所述第二垂直高度不符合所述预设比例时,依据所述第一垂直高度与所述第二垂直高度调整所述多个唇部特征点,以获取所述上唇彩指引区块以及所述下唇彩指引区块。
8.根据权利要求7所述的唇彩指引方法,其中当所述第一垂直高度与所述第二垂直高度不符合所述预设比例时,是依据所述第一垂直高度调整所述多个唇部特征点中对应所述第二垂直高度的唇部特征点,或者依据所述第二垂直高度调整所述多个唇部特征点中对应所述第一垂直高度的唇部特征点。
9.根据权利要求6所述的唇彩指引方法,所述预设比例为所述第一垂直高度与所述第二垂直高度的比例为1:1.5、1.5:1或1:1其中之一。
10.根据权利要求6所述的唇彩指引方法,其中所述唇部特征点至少包括左唇角、右唇角、左上唇唇峰、右上唇唇峰、下唇唇峰以及对应所述右上唇唇峰的第三特征点以及对应所述下唇唇峰的第二特征点,其中,所述第三特征点与所述第二特征点位于上唇与下唇交界处,所述方法还包括:
依据所述右上唇唇峰与所述第三特征点计算第三垂直高度,并且依据所述下唇唇峰与所述第二特征点计算第二垂直高度,
所述处理单元判断所述第三垂直高度与所述第二垂直高度是否符合所述预设比例,
当所述第三垂直高度与所述第二垂直高度不符合所述预设比例时,依据所述第三垂直高度与所述第二垂直高度调整所述多个唇部特征点,以获取所述上唇彩指引区块以及所述下唇彩指引区块。
CN201710286388.XA 2017-04-27 2017-04-27 唇彩指引装置及方法 Pending CN108804972A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201710286388.XA CN108804972A (zh) 2017-04-27 2017-04-27 唇彩指引装置及方法
US15/627,372 US10446052B2 (en) 2017-04-27 2017-06-19 Lip gloss guide and method thereof
KR1020170093013A KR20180120550A (ko) 2017-04-27 2017-07-21 립 글로스 가이드 장치 및 그 방법
EP17186086.9A EP3396587A1 (en) 2017-04-27 2017-08-14 Lip gloss guide device and method thereof
JP2017165103A JP6753829B2 (ja) 2017-04-27 2017-08-30 リップ・グロス案内装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710286388.XA CN108804972A (zh) 2017-04-27 2017-04-27 唇彩指引装置及方法

Publications (1)

Publication Number Publication Date
CN108804972A true CN108804972A (zh) 2018-11-13

Family

ID=59772361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710286388.XA Pending CN108804972A (zh) 2017-04-27 2017-04-27 唇彩指引装置及方法

Country Status (5)

Country Link
US (1) US10446052B2 (zh)
EP (1) EP3396587A1 (zh)
JP (1) JP6753829B2 (zh)
KR (1) KR20180120550A (zh)
CN (1) CN108804972A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308944A (zh) * 2019-07-29 2021-02-02 丽宝大数据股份有限公司 仿真唇妆的扩增实境显示方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190244274A1 (en) * 2018-02-06 2019-08-08 Perfect Corp. Systems and methods for recommending products based on facial analysis
WO2021049824A1 (en) 2019-09-12 2021-03-18 Samsung Electronics Co., Ltd. Method and electronic device for applying beauty effect setting
US11922540B2 (en) 2020-02-14 2024-03-05 Perfect Mobile Corp. Systems and methods for segment-based virtual application of facial effects to facial regions displayed in video frames
US11404086B2 (en) 2020-02-14 2022-08-02 Perfect Mobile Corp. Systems and methods for segment-based virtual application of makeup effects to facial regions displayed in video frames
CN111553219A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种数据处理方法及智能设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103605975A (zh) * 2013-11-28 2014-02-26 小米科技有限责任公司 一种图像处理的方法、装置及终端设备
US20150145882A1 (en) * 2013-04-08 2015-05-28 Panasonic Intellectual Property Corporation Of America Image processing device, image processing method, and program, capable of virtual reproduction of makeup application state
CN106293362A (zh) * 2015-05-20 2017-01-04 福建省辉锐电子技术有限公司 一种引导式化妆设备
CN106294820A (zh) * 2016-08-16 2017-01-04 深圳市金立通信设备有限公司 一种指导化妆的方法及终端

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5043323B2 (ja) * 2005-10-06 2012-10-10 株式会社 資生堂 化粧情報提供システム
JP5261586B2 (ja) * 2007-08-10 2013-08-14 株式会社 資生堂 メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2009064423A (ja) * 2007-08-10 2009-03-26 Shiseido Co Ltd メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
JP2009053981A (ja) * 2007-08-28 2009-03-12 Kao Corp 化粧シミュレーション装置
JP2010211308A (ja) * 2009-03-06 2010-09-24 Fujifilm Corp メイクアップアドバイス装置、メイクアップアドバイス方法及びプログラム
EP2462535A2 (fr) * 2009-08-04 2012-06-13 Vesalis Procédé de traitement d'image pour corriger une image cible en fonction d'une image de reference et dispositif de traitement d'image correspondant
US10083345B2 (en) 2015-05-05 2018-09-25 Myongsu Choe Makeup supporting methods for creating and applying a makeup guide content to makeup user's face on a real-time basis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150145882A1 (en) * 2013-04-08 2015-05-28 Panasonic Intellectual Property Corporation Of America Image processing device, image processing method, and program, capable of virtual reproduction of makeup application state
CN103605975A (zh) * 2013-11-28 2014-02-26 小米科技有限责任公司 一种图像处理的方法、装置及终端设备
CN106293362A (zh) * 2015-05-20 2017-01-04 福建省辉锐电子技术有限公司 一种引导式化妆设备
CN106294820A (zh) * 2016-08-16 2017-01-04 深圳市金立通信设备有限公司 一种指导化妆的方法及终端

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308944A (zh) * 2019-07-29 2021-02-02 丽宝大数据股份有限公司 仿真唇妆的扩增实境显示方法

Also Published As

Publication number Publication date
KR20180120550A (ko) 2018-11-06
JP2018185782A (ja) 2018-11-22
US20180315337A1 (en) 2018-11-01
EP3396587A1 (en) 2018-10-31
JP6753829B2 (ja) 2020-09-09
US10446052B2 (en) 2019-10-15

Similar Documents

Publication Publication Date Title
CN108804972A (zh) 唇彩指引装置及方法
US10019779B2 (en) Browsing interface for item counterparts having different scales and lengths
US11450075B2 (en) Virtually trying cloths on realistic body model of user
US10092220B2 (en) System and method for motion capture
CN108875462A (zh) 眉毛造型指引装置及其方法
KR102172988B1 (ko) 아이라이너-착용 가이드 장치 및 방법
US9378412B2 (en) Systems and methods for ergonomic measurement
CN106201173B (zh) 一种基于投影的用户交互图标的交互控制方法及系统
US20210035336A1 (en) Augmented reality display method of simulated lip makeup
CN108804975A (zh) 唇彩指引装置及方法
US10026176B2 (en) Browsing interface for item counterparts having different scales and lengths
CN105975447A (zh) 一种字体调整方法及装置
KR20180070293A (ko) 개인별 컬러 매칭 장치 및 방법
KR20170090057A (ko) 화장품 테스트 시스템 및 방법
CN109572239A (zh) 一种美甲装置的打印方法、系统、美甲设备和介质
CN108874113A (zh) 电子化妆镜装置及其背景转换方法
CN109891459B (zh) 图像处理装置及图像处理方法
US10607503B2 (en) Blush guide device and method thereof
CN117689782B (zh) 一种生成海报图像的方法、装置、设备及存储介质
CN115311704A (zh) 一种图像显示方法、装置及智能化妆镜
WO2017155893A1 (en) Browsing interface for item counterparts having different scales and lengths

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181113