CN108985873A - 化妆品推荐方法、存储有程序的记录介质、为实现其的计算机程序以及化妆品推荐系统 - Google Patents

化妆品推荐方法、存储有程序的记录介质、为实现其的计算机程序以及化妆品推荐系统 Download PDF

Info

Publication number
CN108985873A
CN108985873A CN201810542130.6A CN201810542130A CN108985873A CN 108985873 A CN108985873 A CN 108985873A CN 201810542130 A CN201810542130 A CN 201810542130A CN 108985873 A CN108985873 A CN 108985873A
Authority
CN
China
Prior art keywords
face
cosmetics
pattern
recommended method
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810542130.6A
Other languages
English (en)
Inventor
千弘锡
千永锡
沈淑熙
金在成
卞龙进
朴相郧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wei Ni Co Of Co
Original Assignee
Wei Ni Co Of Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wei Ni Co Of Co filed Critical Wei Ni Co Of Co
Publication of CN108985873A publication Critical patent/CN108985873A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0611—Request for offers or quotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种化妆品推荐方法、存储有程序的记录介质、为实现其的计算机程序以及化妆品推荐系统，更详细而言，提供一种以提取自影像的人脸要素信息为根据提供适合的化妆样式和对应于化妆样式的化妆品信息的化妆品推荐方法、存储有用于实现其的程序的记录介质、为实现其而存储于介质的计算机程序以及化妆品推荐系统。

Description

化妆品推荐方法、存储有程序的记录介质、为实现其的计算机 程序以及化妆品推荐系统
技术领域
本发明涉及一种化妆品推荐方法、存储有用于实现其的程序的记录介质、为实现其而存储于介质的计算机程序以及化妆品推荐系统，更详细而言，涉及一种以提取自影像的人脸要素信息为根据提供适合的化妆样式和对应于化妆样式的化妆品信息的化妆品推荐方法、存储有用于实现其的程序的记录介质、为实现其而存储于介质的计算机程序以及化妆品推荐系统。
背景技术
通常，彩妆多用于使用粉底、粉、眉笔、眼影、口红、腮红、眼线笔、睫毛膏等彩妆化妆材料隐藏人脸缺点并保持优点来将形象形成为每个人想要的样式的形象。
近来，种类繁多的基础及彩妆化妆品被快速开发而上市，随着通信技术的发达和智能手机的大众化，互联网的使用呈日益活跃的趋势，化妆品产品相关信息正以庞大的量蓄积在互联网上。
很多人在要购买化妆品产品时参考别的人上传至互联网上的评论或检索化妆品产品销售公司上传的化妆品产品购买相关信息，即品牌名、价格、产品的外观、包装、使用方法、制造化妆品产品时所使用的成分等，并查找自己想要的化妆品。
例如，要购买化妆品产品的消费者在博客(Blog)、商城、自由市场、化妆品公司网站等地方检索化妆品产品，并看着化妆品的产品名、品牌名、价格、购买人的评论等再购买化妆品产品。
因此，化妆品产品消费者将时间消费在选择应在庞大的信息中选择何种化妆品产品来购买。尤其，在当今信息过剩的时代，迟迟犹豫不决的人群，即“选择困难症”人群日益增多。这在化妆品产品选择中也同样如此，因此出现了提供为每个化妆品产品消费者定制的信息的必要性。
这些问题是由于互联网上存在的对化妆品的客观性的信息(例如，价格、容量、成分、产品说明等)散落在各自不同的化妆品产品品牌名网站上，且消费者在购买前最依赖的消费者的主观性信息(产品用后评价等)因商业性的信息未被正常筛选就提供至消费者而发生的问题。
然而，由于化妆品产品市场上存在多种品牌名、诸多产品类型以及类似产品，因而市场本身很大，关于化妆品产品种类和对其的信息也繁多，且根据用户的皮肤状态，适合的化妆品颜色和化妆色调也有可能不同，因而存在难以准确地选择用户想要的色调的化妆品的问题。
即，存在难以在如此种类繁多的化妆品中选择一款适合自己的化妆品的问题。
韩国注册专利10-1703418中公开了一种利用皮肤特性和化妆品取向编码和产品评价的化妆品定制推荐和销售方法。
现有技术文献
专利文献
韩国注册专利10-1703418(注册日期：2017年01月31日)
发明内容
技术问题
因此，本发明为解决如上所述的问题而提出，本发明的目的在于，提供一种以提取自影像的人脸要素信息为根据提供适合的化妆样式和对应于化妆样式的化妆品信息的化妆品推荐方法、存储有用于实现其的程序的记录介质、为实现其而存储于介质的计算机程序以及化妆品推荐系统。
本发明的实施例的目的不限于上面提及的目的，本发明所属于技术领域中的一般的技术人员将从下面的记载中清楚地理解未提及的另一些目的。
技术方案
为达成如上所述的目的的本发明的一实施例的化妆品推荐方法是一种化妆品推荐方法，以由包括计算机的运算处理单元执行的程序形态实现，其特征在于，包括：影像获取步骤(S10)，利用摄像头获取影像信息；人脸检测步骤(S20)，所述运算处理单元从在所述影像获取步骤(S10)中获取的所述影像信息中检测人脸信息；人脸要素信息获取步骤(S30)，所述运算处理单元根据在所述人脸检测步骤(S20)中检测的人脸信息和个人色彩理论来获取包括脸型、肤色、瞳色以及发色中的脸型和肤色的人脸要素信息；样式提供步骤(S50)，所述运算处理单元提供适合在所述人脸要素信息获取步骤(S30)中获取的人脸要素信息的化妆样式；以及化妆品提供步骤(S60)，所述运算处理单元提供适用于在样式提供步骤(S50)中提供的化妆样式的化妆品信息。
此外，所述化妆品推荐方法的特征在于，在所述影像获取步骤(S10)，利用设置于提供预先设定的摄影环境的场所的摄像头。
此外，所述化妆品推荐方法的特征在于，所述人脸检测步骤(S20)包括：人脸检测前处理步骤(S21)，利用基于对所述影像获取步骤(S10)中获取的所述影像信息相加或减去在具有预先设定的多个大小和形态的四边形内所指定的区域的像素之和而得的结果值检测人脸的哈尔特征来(Haar-like Feature)检测人脸；人脸对齐步骤(S22)，校正在所述人脸检测前处理步骤(S21)中检测的人脸的照明影响、噪音、人脸的角度以及大小；以及特征提取步骤(S23)，基于在所述人脸对齐步骤(S22)中校正的人脸影像或对所述校正的人脸影像罩上掩膜后分别乘输入影像的像素值和掩膜的权重值后，将其和适用为输出影像的像素值而生成的卷积人脸影像，提取特征，在所述样式提供步骤(S50)，对在所述特征提取步骤(S23)中提取的特征与存储于人脸类型DB、化妆品产品DB以及个人色彩DB的信息进行比较来提供化妆样式。
此外，所述化妆品推荐方法的特征在于，在所述样式提供步骤(S50)，输出将由用户输入的请求事项适用于在所述人脸检测步骤(S20)中获取的人脸信息的化妆模拟结果。
此外，所述化妆品推荐方法的特征在于，在所述化妆品提供步骤(S60)，提供在所述样式提供步骤(S50)中提供的化妆样式中消费者所选择的化妆样式的产品。
此外，所述化妆品推荐方法的特征在于，在所述化妆品提供步骤(S60)，进一步介绍体验化妆样式的化妆品的体验馆。
此外，所述化妆品推荐方法的特征在于，在所述人脸检测步骤(S20)与样式提供步骤(S50)之间包括用户输入步骤(S40)，由所述运算处理单元提供自我诊断问题，并接收由用户输入的答案，在所述样式提供步骤(S50)，还考虑在所述用户输入步骤(S40)中输入的追加事项来提供化妆样式。
此外，根据本发明的一实施例，其特征在于，提供一种存储有用于实现所述化妆品推荐方法的程序的计算机能够读取的记录介质。
此外，根据本发明的一实施例，其特征在于，提供一种为实现所述化妆品推荐方法而存储于计算机可读取的记录介质的程序。
与此同时，根据本发明的一实施例，其特征在于，提供一种化妆品推荐系统，其包括自助服务机100，其存储有用于实现所述化妆品推荐方法的程序，且具备摄像头。
发明的效果
根据本发明的一实施例的化妆品推荐方法、存储有用于实现其的程序的记录介质、为实现其而存储于介质的计算机程序以及化妆品推荐系统，具有无需用户的选择或判断也能够以提取自影像的人脸要素信息为根据介绍适合用户的化妆方法(化妆样式)以及化妆品的效果。
此外，利用设置于提供预先设定的摄影环境的场所的摄像头获取影像，从而能够使根据所获取的影像的照明和摄像头设定有可能发生的差异最小化而介绍更准确的化妆方法(化妆样式)和化妆品的效果。
此外，提供反映了用户的请求事项的化妆模拟结果，从而具有能够预先确认何种样式适合用户的效果。
此外，进一步介绍体验对应于化妆样式的化妆品的体验馆，从而具有帮助体验和购买同时进行，以能够实现实质性的消费，而不仅仅止于信息提供的层面的效果。
此外，包括用户输入步骤而加强能够更准确地判断瞳色、发色或瞳色和发色的根据，从而具有能够介绍更准确的化妆方法(化妆样式)和化妆品的效果。
附图说明
图1是本发明的一实施例的化妆品推荐方法的流程图。
图2是示出本发明的一实施例的化妆品推荐方法的影像获取步骤至人脸要素信息获取步骤的影像的例示图。
图3是示出使用于本发明的一实施例的化妆品推荐方法的颜色类型的例示图。
图4是示出适用了使用于本发明的一实施例的化妆品推荐方法的颜色类型的肤色的例示图。
图5是根据使用于本发明的一实施例的化妆品推荐方法的颜色类型来分为16个组的例示图。
图6是示出根据本发明的一实施例的化妆品推荐方法，在同一品牌内介绍属于SP集中型类型的化妆品的例示图。
图7是使图2的人脸检测步骤更具体化的流程图。
图8是示出使用于本发明的一实施例的化妆品推荐方法的哈尔特征的代表性的4个种类和利用其来比较属于何种哈尔特征的例示图。
图9是被划分为自助服务机体验区、测试区、购买区而能够解决至化妆品介绍-化妆品体验-化妆品购买的体验型O2O(Offline To Online，线下到线上)商店的例示图。
图10是在图1中追加了用户输入步骤和购买步骤的流程图。
图11是示出本发明的一实施例的化妆品推荐系统中包括的自助服务机的例示图。
符号说明
S10-影像获取步骤，S20-人脸检测步骤，S21-人脸检测前处理步骤，S22-人脸对齐步骤，S23-特征提取步骤，S30-人脸要素信息获取步骤，S40-用户输入步骤，S50-化妆品提供步骤，S60-样式提供步骤，S70-购买步骤，100-自助服务机。
具体实施方式
本发明可以追加多种变更，且可以具有多种实施例，一些特定实施例将例示于附图，并进行详细说明。但是，这并用于将本发明限定于特定的实施方式，而是应理解为包括落入本发明的思想和技术范围内的所有变更、均等物以及替代物。
当提及某种构成要素“连结”或“连接”于另一构成要素时，应理解为也有可能是直接连结或连接于该另一构成要素，但中间也有可能存在别的构成要素。
相反，当提及某种构成要素“直接连结”或“直接连接”于另一构成要素时，应理解为中间不存在别的构成要素。
在本说明书中使用的术语仅为说明特定的实施例而使用，而并不意图限定本发明。除非上下文中明确另行定义，单数的表达方式包括复数的表达方式。在本申请中，“包括”或“具有”等术语应理解为用于指定说明书上记载的特征、数字、工程、动作、构成要素、部件或这些的组合的存在，而并不预先排除一个或一个以上的其他特征或数字、工程、动作、构成要素、部件或这些的组合的存在或可附加性。
除非另行定义，包括技术术语或科技术语在内，此处所使用的所有术语应理解为具有与本发明所属技术领域中的一般的技术人员所通常理解的含义相同的含义。如在通常使用的词典中已定义的术语应解释为具有与相关技术的上下文中具有的含义一致的含义，除非本申请中有明确定义，不解释为理想的或过于形式性的含义。
下面，参照附图进一步详细说明本发明。在此之前，本说明书和权利要求书中使用的术语或词语不应解释为通常的或词典性的意义，而是应本着发明人可以为用最优的方法说明自己的发明而适当定义术语的概念的原则来解释为符合本发明的技术思想的意义和概念。此外，就所使用的技术术语和科学术语而言，若无另行定义，则具有该发明所属技术领域中的一般的技术人员所通常理解的含义。在以下说明和附图中，将省略对有可能不必要地使本发明的要旨不清楚的公知功能和结构的说明。接下来将要介绍的附图是为能够向本领域的一般的技术人员充分传递本发明的思想而作为示例提供的。因此，本发明不限于以下所提示的附图，也可以以其他形态具体化。此外，贯穿整体说明书，相同的参照符号表示相同的构成要素。需要注意的是，就图中相同的构成要素而言，无论在何处，尽量用相同的符号表示。
图1是本发明的一实施例的化妆品推荐方法的流程图，图2是示出本发明的一实施例的化妆品推荐方法的影像获取步骤至人脸要素信息获取步骤的影像的例示图，图3是示出使用于本发明的一实施例的化妆品推荐方法的颜色类型的例示图，图4是示出适用了使用于本发明的一实施例的化妆品推荐方法的颜色类型的肤色的例示图，图5是根据使用于本发明的一实施例的化妆品推荐方法的颜色类型来分为16个组的例示图，图6是示出根据本发明的一实施例的化妆品推荐方法，在同一品牌内介绍属于SP集中型类型的化妆品的例示图，图7是使图2的人脸检测步骤更具体化的流程图，图8是示出使用于本发明的一实施例的化妆品推荐方法的哈尔特征的代表性的4个种类和利用其来比较属于何种哈尔特征的例示图，图9是被划分为自助服务机体验区、测试区、购买区而能够解决至化妆品介绍-化妆品体验-化妆品购买的体验型O2O(Offline To Online，线下到线上)商店的例示图，图10是在图1中追加了用户输入步骤和购买步骤的流程图，图11是示出本发明的一实施例的化妆品推荐系统中包括的自助服务机的例示图。
如图1所图示，本发明的一实施例的化妆品推荐方法是一种化妆品推荐方法，以由包括计算机的运算处理单元执行的程序形态构成，所述化妆品推荐方法包括：影像获取步骤(S10)、人脸检测步骤(S20)、人脸要素信息获取步骤(S30)、样式提供步骤(S50)以及化妆品提供步骤(S60)。
在影像获取步骤(S10)，利用摄像头获取影像信息。(参照图2的(A))。
在所述影像获取步骤(S10)中获取的影像信息可以是图片、视频等，当然，此时，作为为获取所述影像信息而使用的摄像头，只要是能够获取影像信息的设备，则任何设备均可使用，例如数码相机、便携式摄像机、网络摄像头、CCTV等。
在人脸检测步骤(S20)，所述运算处理单元从在所述影像获取步骤(S10)中获取的所述影像信息中识别人脸信息。(参照图2的(B))
在所述人脸检测步骤(S20)，在所述影像信息中识别人的人脸，是一种告知影像(Image)中人脸所存在的位置的技术。
就人脸检测的算法性基本结构而言，在为检测多种大小的人脸而生成金字塔影像后，逐个像素地移动来用自适应增强(Adaboost)等分类器决定规定大小(例：20x20像素)的对应区域是不是人脸。
在人脸要素信息获取步骤(S30)，所述运算处理单元根据在所述人脸检测步骤(S20)中检测的人脸信息和个人色彩理论来获取包括脸型、肤色、瞳色和发色中的脸型和肤色的人脸要素信息。(参照图2的(C)和(D))。
即，在所述人脸要素信息获取步骤(S30)，可以对在所述人脸检测步骤(S20)中检测的人脸信息适用个人色彩理论来判断肤色、瞳色和发色，且可以根据在所述人脸检测步骤(S20)中检测的人脸信息判断脸型。
此时，就肤色而言，可以测量人脸当中面积最宽的部分而适用。
个人色彩(Personal color)理论是说明所有基础色均可以分类为黄色基调和蓝色基调两种，且分为两种颜色而使用时，可以协调地配色的理论。
20世纪初，瑞士画家，同时也是德国包豪斯的教授约翰·伊顿发现当与特定皮肤、发色结合而使用特定颜色时，肖像画看起来更好。此后，制作了基于四季的4个调色板，这使得学生们能够描绘更具魅力的肖像画。
之后，罗伯特多尔(Robert Dorr，1905～79)在研究配色原理时，通过“色键程序(Color Key Program)”，将蓝色底色(undertone)区分为键I(KeyI)，将黄色底色区分为键Ⅱ(KeyⅡ)，并提出了由各自适合的170个颜色构成的调色板。
心里学家卡洛尔·杰克逊(Carole Jackson，1932～)因在叫作《美丽本色(ColorMe Beautiful)》的著述中将人的形象分类为4种，并通过颜色调色板提出时装时尚彩妆而在1980年代大受欢迎。在现代社会，随着外貌和形象、个性越来越重要，人们积极开展个人色彩的诊断和运用。
个人色彩(Personal color)是个人所具有的固有的身体颜色，通常指肤色、发色、瞳色。肤色由血红素的红色、黑色素的褐色、胡萝卜素的黄色合在一起而决定，发色根据呈黑褐色的真黑色素(eumelanin)、呈黄红色的褐黑素(pheomelanin)的分布和量而定。瞳色根据虹膜中的黑色素的色彩和血管分布程度而决定。
在样式提供步骤(S50)，提供适合于所述运算处理单元在所述人脸要素信息获取步骤(S30)中获取的人脸要素信息的化妆样式。
在所述样式提供步骤(S50)，可以提供与在人脸要素信息获取步骤(S30)中获取的人脸要素信息匹配的化妆样式。
在提供化妆样式前，可以确定对用户的颜色类型，并可以以肤色、瞳色和发色为一种类型的集中型(4个组)、为两种类型的2个区域-分散型(8个组)、为三种类型的3个区域-分散型(4个组)区分对应于颜色类型的组(group)，可以共区分16个组(group)。
即，在所述样式提供步骤(S50)，确定对用户的颜色类型(图3至图4)，并以此为根据区分对应于颜色类型的组(group)(参照图5)，并可以提供与相应组(group)匹配的化妆样式。
当给定任意的颜色时，为查找颜色类型，需利用色空间(color space)。
色空间(color space)是三次元地表现色彩表示体系(color system)的空间概念。色彩表示体系的所有颜色均在该色空间内用三次元坐标来表示。
此处，色彩表示体系(color system)指RGB、CMYK、HSV、CIERGB、CIEXYZ、CIELAB、CIELUV等色彩体系。近来，在设计学界或产业界研究色彩设计或视觉设计，或者在摄像头、扫描仪、显示器、彩色打印机等彩色影像装备开发和应用阶段，为重现准确的颜色，必须运用色空间。
由于每个色坐标系具有3D坐标系，因而可以定义欧几里得距离(Euclid eandistance)。此处，欧几里得距离是计算两点间的距离时通常使用的方法。此时，可以将所测量的颜色的坐标设为待I时比较的n个颜色类型的代表色的坐标此时，可以从I分别获得的欧几里得距离为此处，若找到中具有最小值的index，则能够判断所测量的颜色属于具有的代表色的颜色类型。
在使用HSV的情况下，一个颜色可以被表现于具有色相(Hue)、饱和度(Saturation)、亮度(Value)的3D圆锥坐标系上。由此，能够求I，并可以以此为基础得出此时，找出使最低的并可以判断所测量的颜色属于具有的代表色的颜色类型。
此处，由于RGB、CMYK、HSV的色坐标系未考虑人的识别，在人看起来，颜色并未均等地配置。根据色彩学，将人所识别的颜色以均等的距离配置的色空间(color space)称为uniform color space(均匀色空间)，代表性的有CIE 1964、CIE 1976 L*a*b*color space(色空间)等。
即，取代HSV地，可以使用CIE 1976 L*a*b*坐标系。在这种情况下，L*是表示亮度的值、a*是表示更接近红、绿中的哪一个的值，b*是表示更接近黄、蓝中的哪一个的值，可以利用L*a*b*3D坐标系表现任意的颜色。即，可以利用其判断通过与HSV相同的过程输入的颜色属于哪个颜色类型。
在化妆品提供步骤(S60)，所述运算处理单元提供适用于在样式提供步骤(S50)中提供的化妆样式的化妆品信息。
即，在化妆品提供步骤(S60)，提供对完成在样式提供步骤(S50)中提供的化妆样式所需要的化妆品的信息。(参照图6)
此时，所提供的化妆品信息可以根据唇、腮、眼等涂化妆品的部位来提供多个化妆品信息，或根据口红、腮红、眼影、粉底、眉笔等化妆品的种类来提供多个化妆品信息，或根据进行化妆的顺序来提供多个化妆品信息。
即，本发明的一实施例的化妆品推荐方法无需用户的选择或判断也能够以所获取的影像为根据介绍适合用户的化妆方法(化妆样式)和化妆品。
本发明的一实施例的化妆品推荐方法的影像获取步骤(S10)的特征可以在于，利用设置于提供预先设定的摄影环境的场所的摄像头。
即，在所述影像获取步骤(S10)，可以利用设置于另行配备的摄影场所的摄像头来获取影像。
这是因为，由于根据照明、角度、表情、发型、配饰、摄像头设定等，所获取的影像存在差异，因而为了使这种差异最小化而统一用于获取最优的人脸影像的照明和摄像头的设定。
此外，优选在相应的场所，使进行去除人脸角度、表情、发型、配饰等用于获取最优的人脸影像的介绍以视觉、听觉或视听觉的方式进行。
如图7所图示，本发明的一实施例的化妆品推荐方法的人脸检测步骤(S20)的特征可以在于，包括人脸检测前处理步骤(S21)、人脸对齐步骤(S22)以及特征提取步骤(S23)，在所述样式提供步骤(S50)，对在所述特征提取步骤(S23)中提取的特征与存储于人脸类型DB、化妆品产品DB以及个人色彩DB的信息进行比较来提供化妆样式。
在人脸检测前处理步骤(S21)，利用基于对所述影像获取步骤(S10)中获取的所述影像信息相加或减去在具有预先设定的多个大小和形态的四边形内所指定的区域的像素之和而得的结果值检测人脸的哈尔特征(Haar-like Feature)来检测人脸。
哈尔特征(Haar-like Feature)由维奥拉(Viola)和琼斯(Jones)适用于人脸检测，利用简单的和分图像来表现特征值。由于其可以根据位置、模样大小表现诸多形态，因而所生成的特征值具有能够较好地容纳人脸的特征的优点。由于该特征的计算方式由简单的和构成，运算速度快，因而能够进行与在视频中相同的实时处理。此外，哈尔特征在人脸区域检测时对流动的人脸的特性也展现出较强的检测性能。
图8示出了哈尔特征的代表性的4种类和利用其来比较属于哪种哈尔特征的例。图8中，(a)和(b)为两个四边形形状，特征值通过求亮的部分的所有像素(pixel)值的和暗的部分的所有像素值的和，并用两个和之间的差来表现。(c)用外侧亮的部分的所有像素值的和与中间暗的部分的所有像素值的和与差求出，(d)用向对角的方向配置的亮的部分和暗的部分的所有像素值的和与差求出。
维奥拉(Viola)和琼斯(Jones)将用于人脸检测的子窗口的基本大小设为24×24。这表示在24×24的像素内可以有具有4个种类的模样的所有可能的大小的特征。若制作以4个特征从最初8×8的大小以1为单位逐个增加横、竖大小来检查直到24×24大小的影像内的所有位置的特征，则根据下式共可以构成93,636个特征集合。
若以更一般化的定义表示，则可以如下式表示：
像素(x，y)上的积分图像
i(x，y)：像素(x，y)上的亮度值。
即，是将直到像素(x，y)的所有亮度值(intensity value)相加的值。若利用该积分影像(Integral Image)，则在计算Haar-feature时，只需简单通过加法和加减法就能计算。
在人脸对齐步骤(S22)，校正在所述人脸检测前处理步骤(S21)中检测的人脸的照明影响、噪音、人脸的角度和大小。
在所述人脸检测前处理步骤(S21)中检测的人脸由于多种照明和旋转，若直接输入至识别器，识别率将变得很低，因而可以在所述人脸对齐步骤(S22)中执行减少照明影响，去除杂音，恒定地调整人脸的角度，并恒定地调整人脸大小的校正。
此时，为校正人脸的角度和人脸的大小，可以检测人脸的要素(眼、鼻、口)或特征(哈尔特征)的位置而以该位置为根据，通过分类器比较与其他人脸特征的相似度来进行校正。
在特征提取步骤(S23)，基于在所述人脸对齐步骤(S22)中校正的人脸影像或对所述校正的人脸影像罩上掩膜后分别乘输入影像的像素值和掩膜的权重值后，将其和适用为输出影像的像素值而生成的卷积人脸影像，提取特征。
即，在所述特征提取步骤(S23)，可以在人脸对齐步骤(S22)中校正的人脸影像中提取特征，或以对在所述人脸对齐步骤(S22)中校正的人脸影像罩上掩膜后分别乘输入影像的像素值和掩膜的权重值后，将其和适用为输出影像的像素值而生成的卷积人脸影像为根据提取特征。
影像处理中所谓的卷积指利用具有权重值的掩膜进行影像处理，指对输入影像罩上掩膜后分别乘输入影像的像素值和掩膜的权重值后，将其和定为输出影像的像素值。
称使用于影像处理的掩膜为滤波器、窗体或内核。
通常，掩膜的大小用n*n表示，n为单数。
掩膜的大小越大，输入影像中周边像素的贡献度越大，因而对输出影像的像素值产生较大的影响，但由于计算量大，处理时间增加。
通常，大多使用3*3或5*5掩膜。
在基于掩膜的影像处理中，从输入影像的左侧上端角落开始向右侧逐个像素地移动掩膜来执行卷积作业。
若一个行结束，则再移动至一个像素下方后，重新从左侧向又侧移动来执行卷积，若到达右侧下端角落，则结束卷积的执行。
本发明的一实施例的化妆品推荐方法的样式提供步骤(S50)的特征可以在于，输出将由用户输入的请求事项适用于在所述人脸检测步骤(S20)中获取的人脸信息的化妆模拟结果。
此时，由用户输入的请求事项是选自皮肤类型(油性、中性)、看上去希望的年龄(演绎20多岁化妆等)，风格(性感、高傲、端庄文雅等)、心情(幸福、忧郁等)、要出席的活动(婚礼、周岁宴、同学会、户外玩水、运动会等)、季节(适合冬季的化妆等)、天气、温度、湿度、颜色(粉色系等)、亮度(亮色调、暗色调等)、化妆方法(烟熏、打阴影等)、模仿艺人化妆(在特定电视剧中出场的洪吉同等)的一个或多个。
此处，当然，天气、温度和湿度也可以通过传感器来获取。
例如，属于弹簧集中型组(图5的集中型左侧第一个组)的用户去户外玩水时希望演绎性感的20多岁造型，则若作为看起来希望的年龄输入20度多岁，作为风格输入性感的造型，作为要出席的活动输入户外玩水，则可以输出将与之匹配的化妆方法适用于在所述人脸检测步骤(S20)中获取的人脸信息的化妆模拟结果。
本发明的一实施例的化妆品推荐方法的化妆品提供步骤(S60)的特征可以在于，提供在所述样式提供步骤(S50)提供的化妆样式中对应于消费者所选择的化妆样式的化妆品信息。
所述样式提供步骤(S50)可以提供多种造型，此时，消费者可以在所提供的化妆样式中选择任一个，从而，所述化妆品提供步骤(S60)可以提供对应于该化妆样式的化妆品信息。
此时，化妆品信息可以如图6所示提供对多种化妆品的信息。
本发明的一实施例的化妆品推荐方法的化妆品提供步骤(S60)的特征可以在于，进一步介绍体验化妆样式的化妆品的体验馆(参照图9)。
即，在所述化妆品提供步骤(S60)，进一步介绍能够体验相应化妆品的体验馆，以帮助确认是否能够化妆成在所述样式提供步骤(S50)中推荐的化妆样式，或体验是否为适合本人的化妆品。
这是为了能够进行实质性的消费，而不仅仅止于简单的信息提供层面，起到帮助能够同时进行对应于化妆样式的化妆品的介绍、体验和购买的作用。
如图10所图示，本发明的一实施例的化妆品推荐方法的特征可以在于，在所述人脸检测步骤(S20)与样式提供步骤(S50)之间包括用户输入步骤(S40)，由所述运算处理单元提供(显示等)自我诊断问题，并由用户输入答案，在所述样式提供步骤(S50)，还考虑在所述用户输入步骤(S40)中输入的追加事项来提供化妆样式。
所述用户输入步骤(S40)用于补充瞳色、发色等，瞳色、发色或瞳色和发色可以通过进一步接收对自我诊断问题所输入的答案来判断。
对瞳色的自我诊断问题中可以使用问瞳孔颜色(褐色、黑色)、瞳孔的亮度(亮？深？)、瞳孔与眼白的对比感(强烈？柔和？)等的问题等。
对发色的自我诊断问题中可以使用头发的颜色(褐色、黑色)、质感(偏薄而柔顺？偏厚而强韧且较硬？)等的问题等。
此处，至于发色，如图2所图示，由于人脸信息(人脸区域)中头发所占部分较少，或染发后过段时间会混有多种颜色，因而优选额外接收对自我诊断问题所输入的答案来判断。
换言之，脸型和肤色可以以在所述人脸检测步骤(S20)中检测的人脸信息为根据来判断，而瞳色、发色或瞳色和发色可以额外接收对自我诊断问题所输入的答案来判断。
本发明的一实施例的化妆品推荐方法可以包括购买步骤(S70)，由所述运算处理单元利用电子结算系统进行在所述产品提示步骤(S60)中提示的产品中被用户选择的化妆品的购买。(参照图10)
所述购买步骤(S70)使在线结算成为可能，进行在所述产品提示步骤(S60)中提示的化妆品中被用户输入购买决策的化妆品的在线购买。
以上尽管对本发明的一实施例的化妆品推荐方法进行了说明，显而易见地，存储有用于实现化妆品推荐方法的程序的计算机能够读取的记录介质和存储于用于实现化妆品推荐方法的计算机能够读取的记录介质的程序也可以实现。
即，本领域的一般的技术人员能够容易理解上述化妆品推荐方法也可以通过有型地实现用于实现其的命令语的程序而包括在能够通过计算机读取的记录介质内而提供。换言之，可以实现为能够通过多种计算机单元执行的程序命令形态而记录于计算机能够读取的记录介质中。所述计算机能够读取的记录介质可以单独地或组合而包括程序命令、数据文件、数据结构等。记录于所述计算机能够读取的记录介质的程序命令可以是为本发明特殊设计并构成的或公知于计算机软件领域的一般的技术人员而能够使用的。所述计算机能够读取的记录介质的例中包括诸如硬盘、软盘、磁带的磁介质(magnetic media)、诸如CD-ROM、DVD的光学记录介质(optical media)、光软盘(floptical disk)的磁光介质(magneto-optical media)以及诸如ROM、RAM、闪速存储器、USB存储器等特殊构成为存储并执行程序命令的硬件装置。程序命令的例中除了诸如由编译器制作的机器语言代码外，还包括能够使用解释器等被计算机执行的高级语言代码。所述硬件装置可以构成为为执行本发明的动作而作为一个以上的软件模块来工作，反之亦然。
如图11所图示，本发明的一实施例的化妆品推荐系统包括自助服务机100，其存储有用于实现化妆品推荐方法的程序，且具备摄像头。
所述自助服务机100执行以下操作：①在通过摄像头获取的影像中识别用户的人脸；②以人脸信息和个人色彩理论为根据与存储于个人色彩DB的信息进行比较来判断肤色、瞳色以及发色中的肤色；③获取脸型、肤色、瞳色以及发色中包括脸型和肤色的人脸要素信息；④对存储于脸要素信息DB、化妆品产品DB以及个人色彩DB的信息进行比较来提供(显示)适合人脸要素信息的化妆样式；以及⑤提供(显示)适合所提供的化妆样式的推荐化妆品信息。
此时，所述自助服务机100可以向用户终端传输能够提供的信息。
由此，使用户能够携带用户终端访问体验馆(体验区)和化妆品销售卖场来通过用户终端确认从自助服务机100提供的信息，从而能够基于从自助服务机100提供的信息在进行化妆品的介绍、体验以及购买的期间内维持介绍服。
显而易见地，本发明不限于上述实施例，适用范围可以多种多样，在不脱离权利要求书中请求的本发明的要旨的前提下，可以实施多种变形。

Claims (10)

1.一种化妆品推荐方法，以由包括计算机的运算处理单元执行的程序形态实现，其特征在于，包括：
影像获取步骤(S10)，利用摄像头获取影像信息；
人脸检测步骤(S20)，所述运算处理单元从在所述影像获取步骤(S10)中获取的所述影像信息中检测人脸信息；
人脸要素信息获取步骤(S30)，所述运算处理单元根据在所述人脸检测步骤(S20)中检测的人脸信息和个人色彩理论来获取包括脸型、肤色、瞳色以及发色中的脸型和肤色的人脸要素信息；
样式提供步骤(S50)，所述运算处理单元提供适合在所述人脸要素信息获取步骤(S30)中获取的人脸要素信息的化妆样式；以及
化妆品提供步骤(S60)，所述运算处理单元提供适用于在样式提供步骤(S50)中提供的化妆样式的化妆品信息。
2.根据权利要求1所述的化妆品推荐方法，其特征在于，
在所述影像获取步骤(S10)，利用设置于提供预先设定的摄影环境的场所的摄像头。
3.根据权利要求1所述的化妆品推荐方法，其特征在于，
所述人脸检测步骤(S20)包括：
人脸检测前处理步骤(S21)，利用基于对所述影像获取步骤(S10)中获取的所述影像信息相加或减去在具有预先设定的多个大小和形态的四边形内所指定的区域的像素之和而得的结果值检测人脸的哈尔特征(Haar-like Feature)来检测人脸；
人脸对齐步骤(S22)，校正在所述人脸检测前处理步骤(S21)中检测的人脸的照明影响、噪音、人脸的角度以及大小；以及
特征提取步骤(S23)，基于在所述人脸对齐步骤(S22)中校正的人脸影像或对所述校正的人脸影像罩上掩膜后分别乘输入影像的像素值和掩膜的权重值后，将其和适用为输出影像的像素值而生成的卷积人脸影像，提取特征，
在所述样式提供步骤(S50)，对在所述特征提取步骤(S23)中提取的特征与存储于人脸类型DB、化妆品产品DB以及个人色彩DB的信息进行比较来提供化妆样式。
4.根据权利要求1所述的化妆品推荐方法，其特征在于，
在所述样式提供步骤(S50)，输出将由用户输入的请求事项适用于在所述人脸检测步骤(S20)中获取的人脸信息的化妆模拟结果。
5.根据权利要求1所述的化妆品推荐方法，其特征在于，
在所述化妆品提供步骤(S60)，提供在所述样式提供步骤(S50)提供的化妆样式中对应于消费者所选择的化妆样式的产品。
6.根据权利要求1所述的化妆品推荐方法，其特征在于，
在所述化妆品提供步骤(S60)，进一步介绍体验化妆样式的化妆品的体验馆。
7.根据权利要求1所述的化妆品推荐方法，其特征在于，
所述化妆品推荐方法在所述人脸检测步骤(S20)与样式提供步骤(S50)之间包括用户输入步骤(S40)，由所述运算处理单元提供自我诊断问题，并接收由用户输入的答案，
在所述样式提供步骤(S50)，还考虑在所述用户输入步骤(S40)中输入的追加事项来提供化妆样式。
8.一种计算机能够读取的记录介质，其特征在于，
存储有用于实现选自权利要求1至7中的任一项所记载的化妆品推荐方法的程序。
9.一种程序，其特征在于，
存储于计算机可读取的记录介质，用于实现选自权利要求1至7中的任一项所记载的化妆品推荐方法。
10.一种化妆品推荐系统，其特征在于，
包括自助服务机(100)，其存储有用于实现选自权利要求1至7中的任一项所记载的化妆品推荐方法的程序，且具备摄像头。
CN201810542130.6A 2017-05-30 2018-05-30 化妆品推荐方法、存储有程序的记录介质、为实现其的计算机程序以及化妆品推荐系统 Withdrawn CN108985873A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0066795 2017-05-30
KR1020170066795A KR20180130778A (ko) 2017-05-30 2017-05-30 화장품 추천 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체, 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램 및 화장품 추천 시스템

Publications (1)

Publication Number Publication Date
CN108985873A true CN108985873A (zh) 2018-12-11

Family

ID=64542355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810542130.6A Withdrawn CN108985873A (zh) 2017-05-30 2018-05-30 化妆品推荐方法、存储有程序的记录介质、为实现其的计算机程序以及化妆品推荐系统

Country Status (2)

Country Link
KR (1) KR20180130778A (zh)
CN (1) CN108985873A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11253045B2 (en) 2019-07-18 2022-02-22 Perfect Mobile Corp. Systems and methods for recommendation of makeup effects based on makeup trends and facial analysis
CN117517595A (zh) * 2024-01-04 2024-02-06 三立慧评(北京)检测技术有限公司 一种化妆品测试方法、装置、电子设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102289824B1 (ko) 2019-08-07 2021-08-13 문은빈 인플루언서와의 정보 공유를 통해 화장품 색상을 추천하는 시스템 및 방법
KR102087211B1 (ko) * 2019-09-02 2020-03-10 오늘새빛 개인의 특장점을 반영한 맞춤형 메이크업 진단 서비스 제공 시스템
KR102356023B1 (ko) * 2019-12-17 2022-01-25 강인하 제품과 사용자의 매칭을 위한 전자 장치 및 이를 포함하는 매칭 시스템
KR102396376B1 (ko) * 2020-07-16 2022-05-10 (주) 코코리색채연구소 멜라닌 지수 및 헤모글로빈 지수를 기초로 한 화장품 추천 방법 및 그 디바이스
KR102289628B1 (ko) * 2021-04-29 2021-08-17 주식회사 피엘컬러 퍼스널 컬러 진단 시스템
KR102445747B1 (ko) * 2021-11-05 2022-09-21 주식회사 룰루랩 피부 분석에 기초하여 토탈 큐레이션 서비스를 제공하기 위한 방법 및 장치
KR20240053777A (ko) 2022-10-18 2024-04-25 우지연 페이스 차트 제공 방법 및 시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090131674A (ko) * 2009-11-24 2009-12-29 길재영 뷰티체험실을 이용한 화장품 판매 관리시스템
CN103236066A (zh) * 2013-05-10 2013-08-07 苏州华漫信息服务有限公司 一种基于人脸特征分析的虚拟试妆方法
CN103995911A (zh) * 2013-02-15 2014-08-20 北京银万特科技有限公司 基于智能信息终端的美容选配方法与系统
US8855974B2 (en) * 2010-11-12 2014-10-07 Electronics And Telecommunications Research Institute System and method for recommending sensitive make-up based on skin tone of user
CN104881660A (zh) * 2015-06-17 2015-09-02 吉林纪元时空动漫游戏科技股份有限公司 基于gpu加速的人脸表情识别及互动方法
KR20150131658A (ko) * 2014-05-15 2015-11-25 수원대학교산학협력단 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법
CN105303150A (zh) * 2014-06-26 2016-02-03 腾讯科技（深圳）有限公司 实现图像处理的方法和系统
US20160078282A1 (en) * 2014-09-16 2016-03-17 Samsung Electronics Co., Ltd. Method and apparatus for extracting image feature
CN106108523A (zh) * 2016-08-22 2016-11-16 陈云 一种便携式智能化妆镜、化妆辅助系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090131674A (ko) * 2009-11-24 2009-12-29 길재영 뷰티체험실을 이용한 화장품 판매 관리시스템
US8855974B2 (en) * 2010-11-12 2014-10-07 Electronics And Telecommunications Research Institute System and method for recommending sensitive make-up based on skin tone of user
CN103995911A (zh) * 2013-02-15 2014-08-20 北京银万特科技有限公司 基于智能信息终端的美容选配方法与系统
CN103236066A (zh) * 2013-05-10 2013-08-07 苏州华漫信息服务有限公司 一种基于人脸特征分析的虚拟试妆方法
KR20150131658A (ko) * 2014-05-15 2015-11-25 수원대학교산학협력단 2방향 2차원 주성분분석 알고리즘 및 다항식 방사형 기저함수 기반 신경회로망을 이용한 야간 얼굴 인식 방법
CN105303150A (zh) * 2014-06-26 2016-02-03 腾讯科技（深圳）有限公司 实现图像处理的方法和系统
US20160078282A1 (en) * 2014-09-16 2016-03-17 Samsung Electronics Co., Ltd. Method and apparatus for extracting image feature
CN104881660A (zh) * 2015-06-17 2015-09-02 吉林纪元时空动漫游戏科技股份有限公司 基于gpu加速的人脸表情识别及互动方法
CN106108523A (zh) * 2016-08-22 2016-11-16 陈云 一种便携式智能化妆镜、化妆辅助系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
向顺灵 马海英: ""一种改进的AAM头部姿态估计算法"", 《中小企业管理与科技》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11253045B2 (en) 2019-07-18 2022-02-22 Perfect Mobile Corp. Systems and methods for recommendation of makeup effects based on makeup trends and facial analysis
CN117517595A (zh) * 2024-01-04 2024-02-06 三立慧评(北京)检测技术有限公司 一种化妆品测试方法、装置、电子设备及存储介质
CN117517595B (zh) * 2024-01-04 2024-03-26 三立慧评(北京)检测技术有限公司 一种化妆品测试方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR20180130778A (ko) 2018-12-10

Similar Documents

Publication Publication Date Title
CN108985873A (zh) 化妆品推荐方法、存储有程序的记录介质、为实现其的计算机程序以及化妆品推荐系统
Marszalec et al. Physics-based face database for color research
KR101140533B1 (ko) 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법
Gross Face databases
CN104205168B (zh) 化妆辅助装置、化妆辅助方法、以及化妆辅助程序
JP7020626B2 (ja) メイクアップ評価システム及びその動作方法
US8725560B2 (en) Method and system for simulated product evaluation via personalizing advertisements based on portrait images
JP2020526809A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
CN103945104B (zh) 信息处理方法及电子设备
US7392204B1 (en) Method for selecting cosmetics
US11010894B1 (en) Deriving a skin profile from an image
Eckert et al. Facial cosmetics database and impact analysis on automatic face recognition
CN103597518A (zh) 生成反映玩家外观的化身
JP2010507854A (ja) ビデオイメージシーケンスを仮想シミュレーションする方法及び装置
US9965778B2 (en) System and method for the indication of modification region boundaries on facial images
CN110110671B (zh) 一种性格分析方法、装置及电子设备
Park et al. An automatic virtual makeup scheme based on personal color analysis
KR101987189B1 (ko) 메이크업 제안 키오스크
CN109035151A (zh) 图像处理装置、图像处理方法和存储介质
JP6740329B2 (ja) 顔特徴分析および個人向けアドバイスの送達のための方法およびシステム
Varshovi Facial makeup detection using HSV color space and texture analysis
CN108416813A (zh) 一种色彩提取优化的设计方法
JP6128357B2 (ja) メイクアップ支援装置およびメイクアップ支援方法
Hsiao et al. An intelligent skin‐color capture method based on fuzzy C‐means with applications
CN106485206A (zh) 基于化妆的视频图片结合的教学方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20181211

WW01 Invention patent application withdrawn after publication