CN109685713A - 化妆模拟控制方法、装置、计算机设备及存储介质 - Google Patents
化妆模拟控制方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN109685713A CN109685713A CN201811349076.XA CN201811349076A CN109685713A CN 109685713 A CN109685713 A CN 109685713A CN 201811349076 A CN201811349076 A CN 201811349076A CN 109685713 A CN109685713 A CN 109685713A
- Authority
- CN
- China
- Prior art keywords
- makeup
- image
- user
- information
- cosmetics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000002537 cosmetic Substances 0.000 claims abstract description 67
- 238000004088 simulation Methods 0.000 claims abstract description 40
- 230000003287 optical effect Effects 0.000 claims abstract description 31
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 37
- 238000003062 neural network model Methods 0.000 claims description 27
- 230000007613 environmental effect Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 18
- 210000003128 head Anatomy 0.000 description 30
- 238000013527 convolutional neural network Methods 0.000 description 29
- 210000004709 eyebrow Anatomy 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000006854 communication Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 239000003086 colorant Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 235000012459 muffins Nutrition 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种化妆模拟控制方法、装置、计算机设备及存储介质,包括:获取用户图像信息以及所选择的化妆品信息,图像信息包括过滤了第一环境光参数的第一用户头像信息,化妆品信息包括化妆品型号;从预设数据库中提取与化妆品型号相映射的颜色参数以及使用的相对位置;将颜色参数叠加至过滤了第一环境光参数的第一用户头像信息的相应位置以得到模拟化妆图像。本申请通过对人体进行图像拍摄,可识别出人体的面部轮廓以及五官、肤色,同时读取拍摄装置的采集的环境光,以及拍摄装置的拍摄参数,对图像进行处理,还原出最真实的人体的肤色,在叠加了化妆品的颜色后以达到最贴近用户肤色化妆效果的图片,提高模拟化妆的真实性和准确性。
Description
技术领域
本发明涉及计算机应用技术领域,具体而言,本发明涉及一种化妆模拟控制方法、装置、计算机设备及存储介质。
背景技术
目前,在销售化妆品的时候,都是通过用户选择试用产品,自己根据需要在脸上进行试验,进行对比,这样很耽误时间,当需要试验多款产品的时候,需要一个个地使用,并清理干净后,再试验另外一个,整个妆容试验时间比较长。且使用这种方式进行化妆品试验时,前一个化妆品试用完毕,擦除后很容易被忘记效果,很难对比出到底哪个比较适合。
现有技术中,有对于化妆品的模拟使用系统,通过拍摄用户的头像信息,将所选择的化妆品的颜色叠加至所识别的头像中。但是,这种方式仅仅是将化妆品的颜色很生硬地叠加至所采集的图像中的对应的位置,得出的数据不准确,比如用户当前拍摄的状态为摄像机曝光状态下拍摄的的照片,此时检测的肤色比真实的肤色要白,而使用化妆品后得出的图像效果比实际上使用后的要白,照片与实际效果相差很大。
发明内容
本发明的目的旨在至少能解决上述的技术缺陷之一,公开一种能够忽略环境光线,提供最接近用户肤色,最准确的模拟化妆图像,以及对适合用户的化妆产品进行推荐的模拟化妆控制方法。
为了达到上述目的,本发明公开一种化妆模拟控制方法,包括:
获取用户图像信息以及所选择的化妆品信息,所述图像信息包括过滤了第一环境光参数的第一用户头像信息,所述化妆品信息包括化妆品型号;
从预设数据库中提取与所述化妆品型号相映射的颜色参数以及使用的相对位置;
将所述颜色参数叠加至过滤了第一环境光参数的第一用户头像信息的相应位置以得到模拟化妆图像。
可选的,所述第一用户头像信息包括人脸五官及肤色,所述用户图像信息的获取方法包括:
将摄像装置拍摄的实时图像输入到神经网络模型中;
识别所述用户头像信息中的人脸五官、肤色;
过滤第一环境光参数以得到用户的原始肤色。
可选的,还包括:
获取用户对所述模拟化妆图像相似度评价分值;
当所述评价分值达到预设阈值时,将所述用户图像信息以及模拟化妆图像作为样本输入到所述神经网络模型中作为训练样本。
可选的,还包括:
获取实际化妆后的真实化妆图像以及化妆品型号,输入神经网络模型中以作为训练样本,所述真实化妆图像包括第二环境光参数和第二用户头像信息。
可选的,所述模拟化妆图像包括过滤了环境光参数的第一模拟图像和添加了环境光参数的第二模拟图像。
可选的,还包括:
根据所述预设数据库中的预设化妆规则输出所述模拟化妆图像的匹配分值。
可选的,还包括:
根据所述预设数据库中的预设化妆规则以及用户图像信息输出化妆品推荐信息。
另一方面,本申请还公开一种化妆模拟控制装置,其特征在于,包括:
获取模块:被配置为执行获取用户图像信息以及所选择的化妆品信息,所述图像信息包括过滤了第一环境光参数的第一用户头像信息,所述化妆品信息包括化妆品型号;
处理模块:被配置为执行从预设数据库中提取与所述化妆品型号相映射的颜色参数以及使用的相对位置;
执行模块:被配置为执行将所述颜色参数叠加至过滤了第一环境光参数的第一用户头像信息的相应位置以得到模拟化妆图像。
可选的,所述第一用户头像信息包括人脸五官及肤色,还包括:
输入模块:被配置为执行将摄像装置拍摄的实时图像输入到神经网络模型中;
识别模块:被配置为执行识别所述用户头像信息中的人脸五官、肤色;
过滤模块:被配置为执行过滤第一环境光参数以得到用户的原始肤色。
可选的,还包括:
评价获取模块:被配置为执行获取用户对所述模拟化妆图像相似度评价分值;
第一样本输入模块:被配置为当所述评价分值达到预设阈值时,将所述用户图像信息以及模拟化妆图像作为样本输入到所述神经网络模型中作为训练样本。
可选的,还包括:
第二样本输入模块:被配置为执行获取实际化妆后的真实化妆图像以及化妆品型号,输入神经网络模型中以作为训练样本,所述真实化妆图像包括第二环境光参数和第二用户头像信息。
可选的,所述模拟化妆图像包括过滤了环境光参数的第一模拟图像和添加了环境光参数的第二模拟图像。
可选的,还包括:根据所述预设数据库中的预设化妆规则输出所述模拟化妆图像的匹配分值。
可选的,还包括:根据所述预设数据库中的预设化妆规则以及用户图像信息输出化妆品推荐信息。
本申请还公开一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述任一项所述的化妆模拟控制方法的步骤。
本申请还公开一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述任一项所述的化妆模拟控制方法的步骤。
本发明的有益效果是:自动模拟化妆的方法,通过对人体进行图像拍摄,可识别出人体的面部轮廓以及五官、肤色,同时读取拍摄装置的采集的环境光,以及拍摄装置的拍摄参数,对图像进行处理,还原出最真实的人体的肤色,在叠加了化妆品的颜色后以达到最贴近用户肤色化妆效果的图片,提高模拟化妆的真实性和准确性。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明化妆模拟控制方法流程图;
图2为本发明用户图像信息的获取方法流程图;
图3为本发明卷积神经网络模型的训练方法流程图;
图4为本发明获取用户的反馈信息作为训练样本的方法流程图;
图5为本发明化妆模拟控制方法装置框图;
图6为本发明计算机设备基本结构框图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,执行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(Personal Communications Service,个人通信系统),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System,全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
具体的,请参阅图1,本发明公开一种化妆模拟控制方法,包括:
S1000、获取用户图像信息以及所选择的化妆品信息,所述图像信息包括过滤了第一环境光参数的第一用户头像信息,所述化妆品信息包括化妆品型号;
用户图像信息为通过摄像装置获取的带有人体头部的图像信息,所述图像信息包括过滤了第一环境光参数的第一用户头像信息,所述第一环境光参数为当前拍摄状态下外界环境光的参数,第一环境光参数可以通过摄像装置的感光元件来获取。
摄像装置可以为单独的具有图像处理能力的摄像设备,移动设备上自带的摄像部件或者与计算机连接和配合使用的摄像头。摄像装置可以安装在任意位置上,用户站在摄像装置可拍摄的范围内,则可获取用户图像信息,需要说明的是,为了能够获取用户正脸五官的相关信息,用户的脸部应当在预设范围内朝向摄像装置,以便于准确读取用户的脸部特征。
第一用户头像信息包括人脸五官及肤色,人脸五官为人体的脸庞、额头、眼睛、鼻子、嘴巴、耳朵及其相对位置,肤色为人脸五官上各个位置的颜色分布,需要说明的是,此时的肤色为在外界环境光照射下的皮肤颜色,当在光线较强的情况下,肤色较亮,瑕疵可能也较少,当在光线较暗的情况下,肤色较暗,环境光对肤色的影响很大,不能真实反映用户的肤色,因此需要识别出当前的第一环境光参数,并在获取的肤色上去除该第一环境光的影响得到原始肤色。
进一步的,请参阅图2,用户图像信息的获取方法包括:
S1100、将摄像装置拍摄的实时图像输入到神经网络模型中;
拍摄装置拍摄的实时图像包括抓取的单张图片,或者是拍摄的视频,从视频中自动识别符合预设条件的图片帧作为目标图片,具体的,抓取的单张图片为包括用户正脸的图片,同样,在本实施例中,预设条件为图形中包括人体正脸部分。
上述单张图片的获取以及目标图片的获取可以通过人工调整摄像装置的拍摄角度而获取的带有用户正脸的图片,在一些实施例中,还可以是通过摄像装置任意抓取以及通过摄像装置拍摄视频,将上述图像素材输入到神经网络模型中,由神经网络模型选取最适合的图像,并提取出人脸。
神经网络在这里是指人工神经网络,其具有自学习功能。例如实现图像识别时,只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络,网络就会通过自学习功能,慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测,其应用前途是很远大的。另外,其具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。还具有高速寻找优化解的能力。寻找一个复杂问题的优化解,往往需要很大的计算量,利用一个针对某问题而设计的反馈型人工神经网络,发挥计算机的高速运算能力,可能很快找到优化解。基于以上有点,本申请采用训练好的神经网络模型来识别人体头像信息。
神经网络包括深度神经网络、卷积神经网络、循环神经网络、深度残差网络等,本申请以卷积神经网络为例进行说明,卷积神经网络是一种前馈神经网络,人工神经元可以响应周围单元,可以进行大型图像处理。卷积神经网络包括卷积层和池化层。卷积神经网络(CNN)中卷积的目的在于将某些特征从图像中提取出来。卷积神经网络的基本结构包括两层,其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征。一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;其二是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射是一个平面,平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数,使得特征映射具有位移不变性。此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层,这种特有的两次特征提取结构减小了特征分辨率。
卷积神经网络主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于卷积神经网络的特征检测层通过训练数据进行学习,所以在使用卷积神经网络时,避免了显式的特征抽取,而隐式地从训练数据中进行学习;再者由于同一特征映射面上的神经元权值相同,所以网络可以并行学习,这也是卷积网络相对于神经元彼此相连网络的一大优势。
一幅彩色图像在计算机中的存储形式为一个三维的矩阵,三个维度分别是图像的宽、高和RGB(红绿蓝色彩值)值,而一幅灰度图像在计算机中的存储形式为一个二维矩阵,两个维度分别是图像的宽、高。无论是彩色图片的三维矩阵还是灰度图像的二维矩阵,矩阵中的每个元素取值范围为【0,255】,但是含义不同,彩色图像的三维矩阵可以拆分成R、G、B三个二维矩阵,矩阵中的元素分别代表图像相应位置的R、G、B亮度。灰度图像的二维矩阵中,元素则代表图像相应位置的灰度值。而二值图像可视为灰度图像的一个简化,它将灰度图像中所有高于某个阈值的原始转化为1,否则为0,故二值图像矩阵中的元素非0则1,二值图像足以描述图像的轮廓,二卷积操作的一个重要作用就是找到图像的边缘轮廓。
通过将图像转换成二值图像,再通过卷积核的过滤得到图像物体的边缘特征,再经过池化实现图像的降维以便于得到,明显的图像特征。通过模型训练,以识别出所述图像中图像特征。
本申请中,用户头像信息作为待拍摄的画面图像的一个特征,可通过卷积神经网络训练得到的第一神经网络模型获得,但是,还可以是其他的神经网络,比如DNN(深层神经网络)、RNN(循环神经网络)等网络模型训练而成。无论何种神经网络进行训练,采用这种机器学习的模式来获取用户头像信息的方法的原理基本一致,以卷积神经网络模型的训练方法为例,请参阅图3,卷积神经网络模型的训练方法如下:
S1110、获取标记有分类判断信息的训练样本数据;
训练样本数据是整个训练集的构成单位,训练集是由若干个训练样本训练数据组成的。训练样本数据是由多种不同物体的数据以及对各种不同物体进行标记的分类判断信息组成的。分类判断信息是指人们根据输入卷积神经网络模型的训练方向,通过普适性的判断标准和事实状态对训练样本数据做出的人为的判断,也就是人们对卷积神经网络模型输出数值的期望目标。如,在一个训练样本数据中,人工识别出该图像信息数据中的物体与预存储的图像信息中的物体为同一个,则标定该物体分类判断信息为与预存储的目标物体图像相同。
S1120、将所述训练样本数据输入卷积神经网络模型获取所述训练样本数据的模型分类参照信息;
将训练样本集依次输入到卷积神经网络模型中,并获得卷积神经网络模型倒数第一个全连接层输出的模型分类参照信息。
模型分类参照信息是卷积神经网络模型根据输入的物体图像而输出的激励数据,在卷积神经网络模型未被训练至收敛之前,分类参照信息为离散性较大的数值,当卷积神经网络模型未被训练至收敛之后,分类参照信息为相对稳定的数据。
S1130、通过止损函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致;
止损函数是用于检测卷积神经网络模型中模型分类参照信息,与期望的分类判断信息是否具有一致性的检测函数。当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时,需要对卷积神经网络模型中的权重进行校正,以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。
S1140、当所述模型分类参照信息与所述分类判断信息不一致时,反复循环迭代的更新所述卷积神经网络模型中的权重,至所述比对结果与所述分类判断信息一致时结束。
当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时,需要对卷积神经网络模型中的权重进行校正,以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。
这里的训练样本是挑选出的不同肤色的人在同一场景下,化妆前的正脸图像和使用了某型号的化妆品后的正脸图像,学习训练出该型号化妆品在不同肤色和环境光变化下的变化。
进一步的,上述训练样本可以是针对不同型号的化妆品专门收集的化妆前和化妆后的对比图片,通过这些专门收集的图像对神经网络模型进行训练。为了能够采集更多的图像,并逐步进行完善,在实际门店销售中,设置图片收集功能,采集用户实际化妆后的真实化妆图像以及化妆品型号,输入神经网络模型中以作为进一步的训练样本,所述真实化妆图像包括第二环境光参数和第二用户头像信息。训练样本数据越多,神经网络模型输出的结果越准确。
S1200、识别所述用户头像信息中的人脸五官、肤色;
通过步骤S1100中神经网络模型的计算,则可得出人脸五官和肤色,人脸五官通过神经网络模型提取人脸特征点则可获得,肤色为通过识别RGB颜色值也可获得,不同的人其脸部的五官的大小、形状和呈现的颜色均有区别,即使是长得很像的双胞胎,也会在某些五官上有细微的差别,比如五官的相对位置,眉毛或者眼睛轮廓的形状等等。且不同人,其脸部的皮肤也可能不一样,某些人可能脸颊会泛红,有些人黑眼圈比较严重,眼睛周围的颜色比较深,等等,通过神经网络模型,将这些数据一一采集并进行记录。
S1300、过滤环境光参数以得到用户的原始肤色。
无论化妆前还是化妆后,人脸上的肤色被人看到或者通过拍照后呈现出来的都会受到环境光的影响。由于摄像装置的感光元件可以识别和感应外界环境光,则可在当前拍摄的图像的基础上,过滤由摄像装置获取的第一环境光参数,以得到用户原始的肤色。只有在原始的肤色上进行模拟化妆,才能得到最贴近用户实际的化妆效果。
若需要查看在不同环境光上的效果,则可以选择添加对应的环境光,以得到用户化妆后在不同的光线场合下的化妆效果,使模拟化妆更符合用户真实情况。
S2000、从预设数据库中提取与所述化妆品型号相映射的颜色参数以及使用的相对位置;
当获取了第一用户头像信息后,实际进行模拟化妆时,需要对所选择的型号的化妆品的颜色进行提取并添加至第一用户头像信息中。在本实施例中,设置有预设数据库,预设数据库中包括各种化妆品的型号、使用的区域以及颜色值,当获取了用户选择的化妆品型号信息后,从预设数据库中找出与该化妆品型号相映射的使用部位和颜色值。
S3000、将所述颜色参数叠加至过滤了第一环境光参数的第一用户头像信息的相应位置以得到模拟化妆图像。
步骤S2000获取了相关的化妆品型号对应的颜色值和所应用的区域后,将该颜色值叠加到对应的第一用户头像信息中,在步骤S1000中通过神经网络模型可以识别出五官的具体位置,且可以提取出用户的真实肤色,因此将化妆品的颜色值添加至真实肤色状态下人脸对应的区域即可完成模拟化妆。
需要说明的是,颜色参数的叠加还包括面积以及叠加的形状,比如当用户选择的化妆品是深棕色的眉笔时,需要进行颜色叠加的部位是眉毛部位,眉毛部分添加颜色需要按照所选择的眉形来进行颜色添加。在一实施例中,通过用户选择眉形,当识别出用户的眉毛位置后,在该眉毛位置添加对应颜色的眉形并上装。在另一实施例中,可通过神经网络模型识别出用户的眉毛区域,眉毛区域包括眉头、眉峰和眉尾,这三个区域的相对位置以及宽度可构成眉毛形状,根据用户的眉形按照预设眉毛化妆规则,给用户眉毛上妆。预设眉毛化妆规则为,根据用户现有的眉形进行眉毛上妆,但是,当用户的眉形不明显时,可根据用户五官的相对位置,从数据库中匹配预设的眉形,比如常见的脸型包括:椭圆脸、长型脸、方型脸、圆型脸、梨形脸和菱形脸,其中长型脸适合平直略带弧度的眉型,方型脸适合呈上升趋势的眉形,菱形脸适合平直略长的眉形,圆脸适合上扬趋势,略短粗的拱形状的眉形,基于此,匹配用户的脸型以及眉毛的相对位置,按照与之匹配的眉形进行上妆。
同样的,对于不同的化妆品,对应的色彩值叠加区域不一样,比如粉饼类的,叠加区域在全脸,而口红类的,叠加区域在嘴唇位置,眼影类的叠加区域在眼皮位置和眼角,腮红类的叠加区域在脸颊的颧骨区域。不同化妆品对应不同上妆位置,同一类型化妆品,不同人脸型适合不同形状和位置区域,在预设数据库中匹配相关脸型和适合的化妆位置和形状即可。
进一步的,所述模拟化妆图像包括过滤了环境光参数的第一模拟图像和添加了环境光参数的第二模拟图像。即第一模拟图像为将第一环境光参数过滤后,保留原始肤色和叠加了化妆品颜色值的图像,第二模拟图像为添加了环境光参数的图像,就是在第一模拟图像的基础上添加了环境光参数的图像,其中,添加的环境光可以是第一环境光,还可以是其他的模拟环境光,比如用户选择查看在室外晴天状态下的效果时,选择对应的场景,当前显示界面自动叠加室外晴天状态的环境光参数,当用户选择晚上室内的效果时,当前显示界面自动叠加晚上室内的环境光参数,使用户足不出户立马看到在不同场景下的化妆效果。
进一步的,请参阅图4,还可以通过获取用户的反馈信息,对输出化妆效果的神经网进行训练,具体包括:
S4000、获取用户对所述模拟化妆图像相似度评价分值;
用户对上述的化妆效果进行查看后,可自行通过试用装进行验证,查看是否效果一致,或者用户根据对自身的了解,判断化妆后的效果是否真实,并对该模拟化妆图像进行评分,评分为用户输入的分值,或者所选择的分值。
S5000、当所述评价分值达到预设阈值时,将所述用户图像信息以及模拟化妆图像作为样本输入到所述神经网络模型中作为训练样本。
当用户的分值达到某一预设阈值时,可以认为是用户满意该结果,故可将获取的用户化妆前图片和模拟化妆后的图片输入到神经网络模型中作为训练样本,以增加训练样本的数量,提高图像识别准确度。
进一步的,当用户评价图像相似度过低时,可通过工作人员或者用户输入相似度低的原因和部位,也可进一步进行分析对比以协助提高图像识别准确度。
进一步的,本申请还可根据所述预设数据库中的预设化妆规则输出所述模拟化妆图像的匹配分值,预设化妆规则为根据当前主流的化妆技巧指定的化妆规则。比如上述示例中眉形的获取方式,根据不同脸型,不同原始肤色,适用不同形状的眉形以及眉笔颜色,在数据库中存储不同脸型,不同原始肤色的人群脸部各个位置所适用的化妆品色号,当用户获取了自己挑选的化妆品型号,生成模拟化妆图像后,还可根据预设化妆规则给出匹配度分值,供用户参考。
进一步的,本申请还可根据所述预设数据库中的预设化妆规则以及用户图像信息输出化妆品推荐信息。本实施例中,根据用户的脸型和原始肤色,匹配预设化妆规则,并推荐更适合用户使用的化妆品推荐信息,以协助用户购买到适合自己的化妆品,整个过程通过人机交互完成,节省了导购人员的时间,提高了工作效率,节省人力成本。
本申请的有益效果为:
1)进行自动模拟化妆,通过对人体进行图像拍摄,可识别出人体的面部轮廓以及五官、肤色,同时读取拍摄装置的采集的环境光参数,以及拍摄装置的拍摄参数,对图像进行处理,还原出最真实的人体的肤色,在叠加了化妆品的颜色后以达到最贴近用户肤色化妆效果的图片;
2)采用神经网络模型来识别人体的轮廓、五官以及肤色,精确度更高;
3)可通过显示装置对比化妆前和化妆后的效果,并进行保存,方便用户实施对比多个化妆产品的化妆效果。
另一方面,请参阅图5,本申请还公开一种化妆模拟控制装置,其特征在于,包括:
获取模块1000:被配置为执行获取用户图像信息以及所选择的化妆品信息,所述图像信息包括过滤了第一环境光参数的第一用户头像信息,所述化妆品信息包括化妆品型号;
处理模块2000:被配置为执行从预设数据库中提取与所述化妆品型号相映射的颜色参数以及使用的相对位置;
执行模块3000:被配置为执行将所述颜色参数叠加至过滤了第一环境光参数的第一用户头像信息的相应位置以得到模拟化妆图像。
进一步的,所述第一用户头像信息包括人脸五官及肤色,还包括:
输入模块:被配置为执行将摄像装置拍摄的实时图像输入到神经网络模型中;
识别模块:被配置为执行识别所述用户头像信息中的人脸五官、肤色;
过滤模块:被配置为执行过滤第一环境光参数以得到用户的原始肤色。
进一步的,还包括:
评价获取模块:被配置为执行获取用户对所述模拟化妆图像相似度评价分值;
第一样本输入模块:被配置为当所述评价分值达到预设阈值时,将所述用户图像信息以及模拟化妆图像作为样本输入到所述神经网络模型中作为训练样本。
进一步的,还包括:
第二样本输入模块:被配置为执行获取实际化妆后的真实化妆图像以及化妆品型号,输入神经网络模型中以作为训练样本,所述真实化妆图像包括第二环境光参数和第二用户头像信息。
进一步的,所述模拟化妆图像包括过滤了环境光参数的第一模拟图像和添加了环境光参数的第二模拟图像。
进一步,还包括:根据预设数据库中的预设化妆规则输出所述模拟化妆图像的匹配分值。
进一步,还包括:根据预设数据库中的预设化妆规则以及用户图像信息输出化妆品推荐信息。
本发明实施例提供计算机设备基本结构框图请参阅图6。
该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中,该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种化妆模拟控制方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行一种化妆模拟控制方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
计算机设备通过接收关联的客户端发送的提示行为的状态信息,即关联终端是否开启提示以及用户是否关闭该提示任务。通过验证上述任务条件是否达成,进而向关联终端发送对应的预设指令,以使关联终端能够根据该预设指令执行相应的操作,从而实现了对关联终端的有效监管。同时,在提示信息状态与预设的状态指令不相同时,服务器端控制关联终端持续进行响铃,以防止关联终端的提示任务在执行一段时间后自动终止的问题。
本发明还提供一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行上述任一实施例所述化妆模拟控制方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种化妆模拟控制方法,其特征在于,包括:
获取用户图像信息以及所选择的化妆品信息,所述图像信息包括过滤了第一环境光参数的第一用户头像信息,所述化妆品信息包括化妆品型号;
从预设数据库中提取与所述化妆品型号相映射的颜色参数以及使用的相对位置;
将所述颜色参数叠加至过滤了第一环境光参数的第一用户头像信息的相应位置以得到模拟化妆图像。
2.根据权利要求1所述的化妆模拟控制方法,其特征在于,所述第一用户头像信息包括人脸五官及肤色,所述用户图像信息的获取方法包括:
将摄像装置拍摄的实时图像输入到神经网络模型中;
识别所述用户头像信息中的人脸五官、肤色;
过滤第一环境光参数以得到用户的原始肤色。
3.根据权利要求2所述的化妆模拟控制方法,其特征在于,还包括:
获取用户对所述模拟化妆图像相似度评价分值;
当所述评价分值达到预设阈值时,将所述用户图像信息以及模拟化妆图像作为样本输入到所述神经网络模型中作为训练样本。
4.根据权利要求2所述的化妆模拟控制方法,其特征在于,还包括:
获取实际化妆后的真实化妆图像以及化妆品型号,输入神经网络模型中以作为训练样本,所述真实化妆图像包括第二环境光参数和第二用户头像信息。
5.根据权利要求1所述的化妆模拟控制方法,其特征在于,所述模拟化妆图像包括过滤了环境光参数的第一模拟图像和添加了环境光参数的第二模拟图像。
6.根据权利要求1所述的化妆模拟控制方法,其特征在于,还包括:
根据所述预设数据库中的预设化妆规则输出所述模拟化妆图像的匹配分值。
7.根据权利要求1所述的化妆模拟控制方法,其特征在于,还包括:
根据所述预设数据库中的预设化妆规则以及用户图像信息输出化妆品推荐信息。
8.一种化妆模拟控制装置,其特征在于,包括:
获取模块:被配置为执行获取用户图像信息以及所选择的化妆品信息,所述图像信息包括过滤了第一环境光参数的第一用户头像信息,所述化妆品信息包括化妆品型号;
处理模块:被配置为执行从预设数据库中提取与所述化妆品型号相映射的颜色参数以及使用的相对位置;
执行模块:被配置为执行将所述颜色参数叠加至过滤了第一环境光参数的第一用户头像信息的相应位置以得到模拟化妆图像。
9.一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项权利要求所述的化妆模拟控制方法的步骤。
10.一种存储有计算机可读指令的存储介质,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述的化妆模拟控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811349076.XA CN109685713B (zh) | 2018-11-13 | 2018-11-13 | 化妆模拟控制方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811349076.XA CN109685713B (zh) | 2018-11-13 | 2018-11-13 | 化妆模拟控制方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109685713A true CN109685713A (zh) | 2019-04-26 |
CN109685713B CN109685713B (zh) | 2024-05-10 |
Family
ID=66185359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811349076.XA Active CN109685713B (zh) | 2018-11-13 | 2018-11-13 | 化妆模拟控制方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109685713B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110400254A (zh) * | 2019-07-24 | 2019-11-01 | 深圳乐信软件技术有限公司 | 一种口红试妆方法及装置 |
CN110796673A (zh) * | 2019-10-31 | 2020-02-14 | Oppo广东移动通信有限公司 | 图像分割方法及相关产品 |
CN111583163A (zh) * | 2020-05-07 | 2020-08-25 | 厦门美图之家科技有限公司 | 基于ar的人脸图像处理方法、装置、设备及存储介质 |
CN111881850A (zh) * | 2020-07-30 | 2020-11-03 | 云知声智能科技股份有限公司 | 口红试色方法、装置及设备 |
CN113674177A (zh) * | 2021-08-25 | 2021-11-19 | 咪咕视讯科技有限公司 | 一种人像唇部的自动上妆方法、装置、设备和存储介质 |
CN115577183A (zh) * | 2022-11-09 | 2023-01-06 | 网娱互动科技(北京)股份有限公司 | 一种化妆方案推荐方法和系统 |
CN117596741A (zh) * | 2023-12-08 | 2024-02-23 | 东莞莱姆森科技建材有限公司 | 一种自动调整光线的智能镜控制方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101226587A (zh) * | 2007-01-15 | 2008-07-23 | 中国科学院自动化研究所 | 图像采集装置及应用该装置的人脸识别系统和方法 |
CN103180872A (zh) * | 2010-10-29 | 2013-06-26 | 欧姆龙株式会社 | 图像处理装置、图像处理方法及控制程序 |
US9104908B1 (en) * | 2012-05-22 | 2015-08-11 | Image Metrics Limited | Building systems for adaptive tracking of facial features across individuals and groups |
CN106682958A (zh) * | 2016-11-21 | 2017-05-17 | 汕头市智美科技有限公司 | 一种虚拟试妆方法及装置 |
CN108229415A (zh) * | 2018-01-17 | 2018-06-29 | 广东欧珀移动通信有限公司 | 信息推荐方法、装置、电子设备及计算机可读存储介质 |
CN108320264A (zh) * | 2018-01-19 | 2018-07-24 | 上海爱优威软件开发有限公司 | 一种模拟化妆的方法及终端设备 |
CN108564526A (zh) * | 2018-03-30 | 2018-09-21 | 北京金山安全软件有限公司 | 一种图像处理方法、装置、电子设备及介质 |
CN108764024A (zh) * | 2018-04-09 | 2018-11-06 | 平安科技(深圳)有限公司 | 人脸识别模型的生成装置、方法及计算机可读存储介质 |
-
2018
- 2018-11-13 CN CN201811349076.XA patent/CN109685713B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101226587A (zh) * | 2007-01-15 | 2008-07-23 | 中国科学院自动化研究所 | 图像采集装置及应用该装置的人脸识别系统和方法 |
CN103180872A (zh) * | 2010-10-29 | 2013-06-26 | 欧姆龙株式会社 | 图像处理装置、图像处理方法及控制程序 |
US9104908B1 (en) * | 2012-05-22 | 2015-08-11 | Image Metrics Limited | Building systems for adaptive tracking of facial features across individuals and groups |
CN106682958A (zh) * | 2016-11-21 | 2017-05-17 | 汕头市智美科技有限公司 | 一种虚拟试妆方法及装置 |
CN108229415A (zh) * | 2018-01-17 | 2018-06-29 | 广东欧珀移动通信有限公司 | 信息推荐方法、装置、电子设备及计算机可读存储介质 |
CN108320264A (zh) * | 2018-01-19 | 2018-07-24 | 上海爱优威软件开发有限公司 | 一种模拟化妆的方法及终端设备 |
CN108564526A (zh) * | 2018-03-30 | 2018-09-21 | 北京金山安全软件有限公司 | 一种图像处理方法、装置、电子设备及介质 |
CN108764024A (zh) * | 2018-04-09 | 2018-11-06 | 平安科技(深圳)有限公司 | 人脸识别模型的生成装置、方法及计算机可读存储介质 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110400254A (zh) * | 2019-07-24 | 2019-11-01 | 深圳乐信软件技术有限公司 | 一种口红试妆方法及装置 |
CN110796673A (zh) * | 2019-10-31 | 2020-02-14 | Oppo广东移动通信有限公司 | 图像分割方法及相关产品 |
CN111583163A (zh) * | 2020-05-07 | 2020-08-25 | 厦门美图之家科技有限公司 | 基于ar的人脸图像处理方法、装置、设备及存储介质 |
CN111583163B (zh) * | 2020-05-07 | 2023-06-13 | 厦门美图之家科技有限公司 | 基于ar的人脸图像处理方法、装置、设备及存储介质 |
CN111881850A (zh) * | 2020-07-30 | 2020-11-03 | 云知声智能科技股份有限公司 | 口红试色方法、装置及设备 |
CN113674177A (zh) * | 2021-08-25 | 2021-11-19 | 咪咕视讯科技有限公司 | 一种人像唇部的自动上妆方法、装置、设备和存储介质 |
CN113674177B (zh) * | 2021-08-25 | 2024-03-26 | 咪咕视讯科技有限公司 | 一种人像唇部的自动上妆方法、装置、设备和存储介质 |
CN115577183A (zh) * | 2022-11-09 | 2023-01-06 | 网娱互动科技(北京)股份有限公司 | 一种化妆方案推荐方法和系统 |
CN117596741A (zh) * | 2023-12-08 | 2024-02-23 | 东莞莱姆森科技建材有限公司 | 一种自动调整光线的智能镜控制方法及系统 |
CN117596741B (zh) * | 2023-12-08 | 2024-05-14 | 东莞莱姆森科技建材有限公司 | 一种自动调整光线的智能镜控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109685713B (zh) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109685713A (zh) | 化妆模拟控制方法、装置、计算机设备及存储介质 | |
CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
CN110348387B (zh) | 一种图像数据处理方法、装置以及计算机可读存储介质 | |
CN109325443B (zh) | 一种基于多实例多标签深度迁移学习的人脸属性识别方法 | |
CN109558832A (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
CN106056064B (zh) | 一种人脸识别方法及人脸识别装置 | |
WO2020103700A1 (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
CN107742107A (zh) | 人脸图像分类方法、装置及服务器 | |
CN110059741A (zh) | 基于语义胶囊融合网络的图像识别方法 | |
CN107545536A (zh) | 一种智能终端的图像处理方法及图像处理系统 | |
CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
CN109711356B (zh) | 一种表情识别方法和系统 | |
CN109410168A (zh) | 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法 | |
US11966829B2 (en) | Convolutional artificial neural network based recognition system in which registration, search, and reproduction of image and video are divided between and performed by mobile device and server | |
CN111008971B (zh) | 一种合影图像的美学质量评价方法及实时拍摄指导系统 | |
CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
CN109584153A (zh) | 修饰眼部的方法、装置和系统 | |
CN109145871A (zh) | 心理行为识别方法、装置与存储介质 | |
WO2024001095A1 (zh) | 面部表情识别方法、终端设备及存储介质 | |
CN110472582A (zh) | 基于眼部识别的3d人脸识别方法、装置和终端 | |
CN110096991A (zh) | 一种基于卷积神经网络的手语识别方法 | |
CN112668486A (zh) | 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体 | |
CN115049814A (zh) | 采用神经网络模型的护眼灯智能调节方法 | |
CN110363111A (zh) | 基于镜头失真原理的人脸活体检测方法、装置及存储介质 | |
CN110428404A (zh) | 一种基于人工智能的辅助培养与辅助鉴赏的制定系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |