CN111626130A - 肤色识别方法、装置、电子设备及介质 - Google Patents

肤色识别方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN111626130A
CN111626130A CN202010344827.XA CN202010344827A CN111626130A CN 111626130 A CN111626130 A CN 111626130A CN 202010344827 A CN202010344827 A CN 202010344827A CN 111626130 A CN111626130 A CN 111626130A
Authority
CN
China
Prior art keywords
color
dimension
feature map
image
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010344827.XA
Other languages
English (en)
Inventor
周勤
孙冲
李琛
戴宇荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010344827.XA priority Critical patent/CN111626130A/zh
Publication of CN111626130A publication Critical patent/CN111626130A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种肤色识别方法、装置、电子设备及介质。该方法包括：获取待处理的人脸图像，提取人脸图像的人脸特征图，将人脸特征图输入预训练的神经网络模型中，神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像，获取神经网络模型输出的人脸图像对应的肤色。由于神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像，预训练的神经网络模型输出的肤色排除了明度干扰，因此本申请实施例的技术方案使用该预训练的神经网络模型对人脸特征图进行处理，能够提高肤色识别的准确性。

Description

肤色识别方法、装置、电子设备及介质
技术领域
本申请涉及通信技术领域，特别涉及一种肤色识别方法、装置、电子设备及介质。
背景技术
随着社会智能化的快速发展，基于人工智能的人脸识别的应用逐渐得到普及。人脸识别通过提取待识别人脸的特征点，将识别到的特征点与内存中的特征点进行比较，以识别出人的身份。
现有的人脸识别通常选取五官及轮廓作为特征点，而忽略了肤色这一关键特征，如果能够识别出人脸的肤色，将会大大提高人脸识别的准确性。
发明内容
本申请旨在提供一种肤色识别方法、装置、电子设备及介质，能够识别出人脸图像对应的肤色，进而提高人脸识别的准确性。
根据本申请实施例的一个方面，提供了一种肤色识别方法，包括：获取待处理的人脸图像；提取人脸图像的人脸特征图；将人脸特征图输入预训练的神经网络模型中，神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像；获取神经网络模型输出的人脸图像对应的肤色。
根据本申请实施例的一个方面，提供了一种肤色识别装置，包括：获取模块，配置为获取待处理的人脸图像；提取模块，配置为提取所述人脸图像的人脸特征图；输入模块，配置为将所述人脸特征图输入预训练的神经网络模型中，所述神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像；输出模块，配置为获取所述神经网络模型输出的所述人脸图像对应的肤色。
在本申请的一些实施例中，基于前述方案，所述提取模块配置为：提取所述人脸图像的纹理特征图，并提取所述人脸图像的颜色特征图；将所述纹理特征图和所述颜色特征图进行融合，得到所述人脸特征图。
在本申请的一些实施例中，基于前述方案，所述提取模块配置为：获取所述人脸图像中的各个像素点在第一维度的颜色空间中对应的第一维度颜色特征；将所述各个像素点对应的第一维度颜色特征投影至第二维度的颜色空间中，得到所述各个像素点对应的第二维度颜色特征，所述第二维度高于所述第一维度；基于所述各个像素点对应的第二维度颜色特征，确定所述颜色特征图。
在本申请的一些实施例中，基于前述方案，所述提取模块配置为：基于所述第一维度与所述第二维度之间的映射矩阵，将所述各个像素点对应的第一维度颜色特征映射至所述第二维度的颜色空间中。
在本申请的一些实施例中，基于前述方案，所述提取模块配置为：基于所述各个像素点对应的第二维度颜色特征，计算所述各个像素点在所述第二维度的颜色空间的每个维度中的颜色属性概率；基于所述各个像素点在所述每个维度中的颜色属性概率，确定所述颜色特征图。
在本申请的一些实施例中，基于前述方案，所述提取模块配置为：基于所述各个像素点在所述每个维度中的颜色属性概率确定所述各个像素点的颜色属性，或者基于所述各个像素点在所述每个维度中的颜色属性概率以及所述各个像素点的邻域像素的颜色属性，确定所述各个像素点的颜色属性；基于所述各个像素点的颜色属性，生成所述颜色特征图。
在本申请的一些实施例中，基于前述方案，所述提取模块配置为：分别获取所述人脸图像中各个像素点在指定颜色空间中对应的每个维度的特征值，得到所述各个像素点对应的多个特征值；根据所述各个像素点对应的多个特征值，以及特征值区间与颜色属性之间的对应关系，确定所述人脸图像中各个像素点的颜色属性；基于所述各个像素点的颜色属性，生成所述人脸图像的颜色特征图。
在本申请的一些实施例中，基于前述方案，所述提取模块还配置为：在根据所述各个像素点对应的多个特征值，以及特征值与颜色属性之间的对应关系，确定所述人脸图像中各个像素点的颜色属性之前，将所述指定颜色空间中的每个维度的值域划分为多个区间，分别从所述每个维度对应的多个区间中选取一个区间进行随机组合，得到所述指定颜色空间对应的多个区间组合；根据各个所述区间组合在所述指定颜色空间中对应的颜色属性，生成区间组合与颜色属性之间的对应关系，根据所述区间组合与颜色属性之间的对应关系确定所述特征值区间与颜色属性之间的对应关系。
在本申请的一些实施例中，基于前述方案，所述提取模块还配置为：在将所述纹理特征图和所述颜色特征图进行融合之前，将所述纹理特征图的尺寸和所述颜色特征图的尺寸调整为相同的尺寸。
在本申请的一些实施例中，基于前述方案，所述肤色识别装置，还包括训练模块，所述训练模块用于：调整各个样本图像的明度，得到所述各个样本图像在添加了不同的明度干扰之后得到的图像；基于所述各个样本图像在添加了不同的明度干扰之后得到的图像，生成训练样本集；使用所述训练样本集对所述神经网络模型进行训练。
在本申请的一些实施例中，基于前述方案，所述训练模块配置为：将所述各个样本图像转换到HSV颜色空间，得到所述各个样本图像对应的HSV图像；对所述各个样本图像对应的HSV图像的明度分量添加不同的明度干扰，以生成所述各个样本图像在添加了不同的明度干扰之后得到的图像。
在本申请的一些实施例中，基于前述方案，所述训练模块配置为：随机调整所述各个样本图像对应的HSV图像的明度分量的明度值。
根据本申请实施例的一个方面，提供了一种计算机可读程序介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上任一项所述的方法。
根据本申请实施例的一个方面，提供了一种电子装置，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上任一项所述的方法。
在本申请的一些实施例所提供的技术方案中，通过将人脸图像的人脸特征图输入预训练的神经网络模型中，由该预训练的神经网络模型根据人脸特征图中包含的特征识别人脸图像对应的肤色，而该神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像，使得预训练得到的神经网络模型在不同的明度干扰下，都能根据人脸特征图中的特征准确识别出人脸图像对应的肤色，提高了肤色识别的抗干扰能力及鲁棒性，进而能够提高肤色识别的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并于说明书一起用于解释本申请的原理。
图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图；
图2示意性示出了根据本申请的一个实施例的肤色识别方法的流程图；
图3示意性示出了本申请的一个实施例的提取人脸图像的人脸特征图的过程的流程图；
图4示意性示出了本申请的一个实施例的提取人脸图像的颜色特征图的过程的流程图；
图5示意性示出了本申请的一个实施例的确定各个像素点的颜色属性的过程的流程图；
图6示意性示出了本申请的一个实施例的提取人脸图像的颜色特征图的过程的流程图；
图7示意性示出了根据本申请的一个实施例的得到人脸特征图的过程的流程图；
图8示意性示出了根据本申请的一个实施例的肤色识别方法的流程图；
图9示意性示出了根据本申请的一个实施例的得到预训练的神经网络模型的方法的流程图；
图10示意性示出了根据本申请的一个实施例的肤色识别装置的框图；
图11是根据一示例性实施例示出的一种电子装置的硬件图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机中的肤色识别技术，具体通过如下实施例进行说明:
图1示出了可以应用本申请实施例的技术方案的示例性系统架构100的示意图。
如图1所示，系统架构100可以包括终端设备101(终端设备可以为智能手机、平板电脑、便携式计算机、台式计算机中的一种或多种)、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
应该理解，图1中的终端设备101、网络102和服务器103的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备101、网络102和服务器103。比如服务器103可以是多个服务器组成的服务器集群等。
在本申请的一个实施例中，终端设备101获取待处理的人脸图像，终端设备101将人脸图像通过网络102发送给服务器103，服务器103通过提取人脸图像的人脸特征图，将提取的人脸特征图输入预训练的神经网络模型中，由该预训练的神经网络模型根据人脸特征图中包含的特征识别人脸图像对应的肤色，而该神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像，使得预训练得到的神经网络模型在不同的明度干扰下，都能根据人脸特征图中的特征准确识别出人脸图像对应的肤色，提高了肤色识别的抗干扰能力及鲁棒性，进而能够提高肤色识别的准确性。
在本申请的一个实施例中，终端设备101获取待处理的人脸图像，终端设备101将人脸图像通过网络102发送给服务器103，服务器103通过提取人脸图像的人脸特征图，将人脸特征图输入预训练的神经网络模型中，该神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像，由该预训练的神经网络模型根据人脸特征图中包含的特征识别人脸图像对应的肤色，可以提高肤色识别的准确性，服务器103在识别出人脸图像对应的肤色之后，还可以进一步对人脸图像进行人脸识别，识别出的准确的肤色可以提高人脸识别的准确性。
在本申请的一个实施例中，终端设备101可以通过网络102从服务器103中下载待处理的人脸图像，服务器103中的待处理的人脸图像可以是其他终端上传的。终端设备101通过提取人脸图像的人脸特征图，将人脸特征图输入预训练的神经网络模型中，由该预训练的神经网络模型根据人脸特征图中包含的特征识别人脸图像对应的肤色，而该神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像，使得预训练得到的神经网络模型在不同的明度干扰下，都能根据人脸特征图中的特征准确识别出人脸图像对应的肤色，提高了肤色识别的抗干扰能力及鲁棒性，进而能够提高肤色识别的准确性。
需要说明的是，本申请实施例所提供的肤色识别方法一般由服务器103执行，相应地，肤色识别装置一般设置于服务器103中。但是，在本申请的其它实施例中，终端设备101也可以与服务器103具有相似的功能，从而执行本申请实施例所提供的肤色识别方法。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图2示意性示出了根据本申请的一个实施例的肤色识别方法的流程图，该肤色识别方法的执行主体可以是服务器，比如可以是图1中所示的服务器103。
参照图2所示，该肤色识别方法至少包括步骤S210至步骤S240，详细介绍如下：
在步骤S210中，获取待处理的人脸图像。
在本申请的一个实施例中，可以从具有多个元素的图像中获取待处理的人脸图像。多个元素中可以包括建筑物、植物、人穿着的服饰等多种元素。
在本申请的一个实施例中，可以从具有多个元素的图像中检测待处理的人脸图像所在的区域，根据检测到的人脸特征所在的区域分割具有多个元素的图像，从而得到人脸图像。
在本申请的一个实施例中，人脸图像中也可以包括人的脖子、手、手臂、脚踝等裸露在外面的皮肤，通过识别人裸露在外面的皮肤来识别人的肤色。
在步骤S220中，提取人脸图像的人脸特征图。
在本申请的一个实施例中，人脸特征图中可以包括人脸的纹理特征、颜色特征、形状特征等多种面部特征，根据融合了多种特征的人脸特征图识别肤色，能够使获得的识别结果更加准确。
在本申请的一个实施例中，人脸的纹理特征可以包括颜色信息、边缘信息、梯度信息、提取的特征信息等。
在本申请的一个实施例中，纹理特征中的颜色信息表示了人脸图像中不同区域的亮度、颜色属性存在着变化，比如，人脸图像中眼睛区域的亮度要低于周围区域，眼珠是灰黑色、棕色、蓝色或绿色等，嘴唇的颜色和肤色之间存在着一定的差别，因此通过颜色信息能够确定人脸图像中五官所在的区域，由于鼻子、嘴巴、眉毛等较为立体的五官附近的皮肤肤色与位于脸颊上的皮肤肤色不同，因此通过纹理特征中的颜色信息确定出皮肤相对于人脸图像中五官的位置，能够使人脸图像对应的肤色的识别更加准确。
在本申请的一个实施例中，人脸的边缘信息可以包括人脸中五官的边缘特征、人脸轮廓的边缘特征、人脸图像的边缘特征等。人脸的边缘信息可以通过检测人脸图像中像素灰度是否有阶跃变化来得到。根据五官的边缘特征能够确定五官的位置和五官之间的距离，确定人脸图像中五官所在的区域，能够帮助识别人脸图像对应的肤色。对于平面图像来说，由于光源角度的问题，位于人脸图像边缘的肤色与位于人脸图像中心的肤色不同，因此，获得人脸的边缘信息，能够更准确的识别人脸图像对应的肤色。
在本申请的一个实施例中，人脸的梯度信息表示了人脸图像的灰度变化明显程度，能够用于获得人脸图像的边缘信息、皮肤平滑程度和人脸图像的立体程度，可以根据人脸图像的边缘信息、皮肤平滑程度和人脸图像的立体程度识别人脸图像对应的肤色。
在该实施例中，在人脸图像的边缘位置，边缘灰度值变化较大，梯度信息中的梯度值较大；在人脸图像中的平滑位置，灰度值变化较小，梯度信息中的梯度值也相应较小，边缘位置与平滑位置的梯度值差别越大，边缘位置的灰度变化越明显，边缘位置所在平面与平滑位置所在平面之间的夹角越大，因此，可以根据人脸的梯度信息获得人脸图像的边缘信息、皮肤平滑程度、人脸图像的立体程度。
在本申请的一个实施例中，根据人脸的梯度信息来识别皮肤的平滑程度时，可以识别到人脸图像的毛孔的深度、细纹的深度、疤痕大小、痘痘大小等。人脸油脂分泌旺盛时，油脂被氧化后附着在皮肤上，会造成毛孔粗大加深、皮肤变黄导致肤色变深；人脸油脂分别特别少时，皮肤由于皮脂的缺少容易产生细纹，因此，可以确认毛孔较深的人脸图像对应的肤色比毛孔较浅的人脸图像对应的肤色更深，细纹较多的人脸图像对应的肤色比细纹较少的人脸图像对应的肤色更浅。
在本申请的一个实施例中，根据人脸的梯度信息来识别人脸图像的立体程度时，可以识别到眉骨高度、眼窝深度、鼻梁高度、鼻头形状、嘴唇厚度、颧骨明显程度等。由于黄种人、白种人和黑种人的人脸图像的立体程度均不同，可以根据人脸图像的立体程度进行肤色识别。
在该实施例中，黄种人的五官较白种人和黑种人的五官更加平缓，黄种人通常眉骨比较平缓、眼窝较浅、鼻梁粗扁、鼻头圆且鼻翼紧凑、嘴唇不薄不厚、颧腮较为饱满颧骨不明显；白种人通常眉骨突出，眼窝深陷，鼻梁高鼻根直，鼻形较尖锐，嘴唇较薄，颧骨较为明显；黑种人通常眉骨突出，眼窝深陷、鼻梁宽大、鼻头圆而宽大，嘴唇较厚，颧骨较为明显，因此，可以根据人脸图像的立体程度进行肤色识别。
在本申请的一个实施例中，提取的特征信息可以是人脸图像中对肤色识别有影响的其他特征信息，可以将人脸图像中耳廓皮肤的灰度和脸颊皮肤的灰度之间的差值作为提取的特征信息，由于化妆、皮肤过敏等原因，识别脸颊或额头等区域的皮肤肤色可能不准确，而耳廓的皮肤一般不会化妆也很少过敏，可以通过参考耳廓的皮肤的灰度和脸颊皮肤的灰度之间的差值来排除化妆或过敏等对肤色识别的干扰。
在本申请的一个实施例中，人脸的颜色特征可以包括人脸的颜色属性，颜色属性可以包括黑色、白色、灰色、红色、黄色、绿色、青色、蓝色、紫色、棕色、橘色、粉色等。其中，灰色还可以包括冰灰色等；红色还可以包括玫瑰红、铁锈红、番茄红、鲑肉色、西瓜红等；黄色还可以包括芥末黄、南瓜色、奶油色、金色等；绿色还可以包括海绿色、橄榄绿、冬青绿、黄绿色、浅苔绿等；蓝色还可以包括水晶蓝、铃兰等；紫色还可以包括兰花紫、柔倒挂金钟紫、冰紫色、薰衣草紫等；棕色还可以包括驼色、金棕色、咖啡棕、红棕色等；粉色还可以包括粉红色、冰粉色、雾粉色、肉桂粉、珊瑚粉、桃色等。
在本申请的一个实施例中，人脸的形状特征可以包括人脸的五官形状或轮廓形状等，由于位于人脸图像中不同位置的皮肤肤色不同，在识别人脸图像的肤色时，通过人脸的形状特征能够判断出皮肤所在的位置，从而能够更准确的识别人脸图像对应的肤色。
继续参考图2，在步骤S230中，将人脸特征图输入预训练的神经网络模型中，神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像。
在本申请的一个实施例中，神经网络模型可以是BP(Back Propagation)神经网络、径向基函数(RBF-Radial Basis Function)神经网络、感知器神经网络、线性神经网络、自组织神经网络、反馈神经网络等。
在本申请的一个实施例中，神经网络模型可以是反馈神经网络中的卷积神经网络模型，卷积神经网络模型使用针对图像识别的分层识别结构，分层识别出人脸特征图的颜色、亮度、边缘、角点、直线、纹理、几何形状等特征，因此，使用能够提取人脸特征图中不同特征的卷积神经网络模型进行肤色识别，能够准确的判断出人脸图像对应的肤色。
在本申请的一个实施例中，卷积神经网络模型可以是LeNet模型、AlexNet模型、GoogleNet模型、VGG模型或ResNets模型。
在本申请的一个实施例中，预训练的神经网络模型的结构可以包括输入层、卷积层、归一化层、激活层、池化层、全连接层等，其中，卷积层可以对人脸特征图进行降维和特征抽取；归一化层可以标准化提取的特征，进而加快神经网络模型的处理速度；激活层可以为归一化后的特征加入非线性因素，方便提取特征；池化层可以进一步对特征进行抽取和降维，全连接层能够将池化层的输出值送至分类器，由分类器输出人脸图像对应的肤色。
在本申请的一个实施例中，分类器可以是softmax分类器。
在本申请的一个实施例中，可以将卷积神经网络中的全连接层替换为全卷积层，可以有效的对卷积神经网络中的数据进行降维，减少卷积神经网络处理的数据量，加快肤色识别的速度。
在本申请的一个实施例中，可以将卷积神经网络中的全连接层替换为两层全卷积层，可以更好的对卷积神经网络中的数据进行降维。
在本申请的一个实施例中，神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像，可以对训练样本集中的同一个样本图像添加多个不同的明度干扰，对不同的样本图像添加的明度干扰可以相同也可以不同，可以随机为各个样本图像添加不同的明度干扰。
在该实施例中，通过对同一个图像添加不同的明度干扰，可以使预训练的神经网络模型学习到同一肤色的样本图像在添加不同的明度干扰时的特征，从而使预训练的神经网络模型能够在人脸图像接受不同的光照时，都能准确识别出人脸图像对应的肤色。
继续参考图2，在步骤S240中，获取神经网络模型输出的人脸图像对应的肤色。
在本申请的一个实施例中，神经网络模型输出的肤色可以包括白色、平均色、深色、黑色等多种颜色。
在图2的实施例中，通过获取待识别的人脸图像，提取人脸图像的人脸特征图，人脸特征图中包含能够代表人脸图像的特征，将人脸特征图输入预训练的神经网络模型中，预训练的神经网络模型根据人脸特征图中包含的特征识别人脸图像对应的肤色，神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像，进而使预训练得到的神经网络模型在不同的明度干扰下，都能根据人脸特征图中的特征准确识别出人脸图像对应的肤色，获取神经网络模型输出的人脸图像对应的肤色，将神经网络模型输出的肤色作为该人脸图像的肤色识别结果。由于神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像，预训练的神经网络模型输出的肤色排除了明度干扰，因此，使用预训练的神经网络模型对人脸特征图进行处理，能够提高肤色识别的准确性。
在本申请的一个实施例中，在图2的步骤S220中，提取人脸图像的人脸特征图的过程，可以包括如图3所示的步骤S310至步骤S320，图3示意性示出了本申请的一个实施例的提取人脸图像的人脸特征图的过程的流程图，详细介绍如下：
在步骤S310中，提取人脸图像的纹理特征图，并提取人脸图像的颜色特征图。
在本申请的一个实施例中，可以将人脸图像输入卷积神经网络中，卷积神经网络分层提取人脸图像的特征，可以获取卷积神经网络模型中用于提取纹理特征的卷积层的输出，将用于提取纹理特征的卷积层的输出作为人脸图像的纹理特征图。
在本申请的一个实施例中，可以获取卷积神经网络模型中位于输入层之后的第一层卷积层的输出作为人脸图像的纹理特征图，也可以获取卷积神经网络模型中位于输入层之后的第二层卷积层的输出作为人脸图像的纹理特征图。发明人通过比较卷积神经网络模型中不同卷积层的输出得知，卷积神经网络模型中位于输入层之后的第一层卷积层的输出和第二层卷积层的输出中包含的纹理特征，相比于卷积神经网络模型中其它层的卷积层的输出包含的纹理特征更多，其中，第一层卷积层的输出中包含的纹理特征比第二层卷积层的输出中包含的纹理特征更多，因此，使用卷积神经网络模型中位于输入层之后的第一层卷积层的输出作为人脸图像的纹理特征图，更加有利于对人脸图像的肤色进行识别。
在本申请的一个实施例中，可以将人脸图像输入用于处理人脸特征图的预训练的卷积神经网络模型中，以提取纹理特征图。也可以将人脸图像输入其他卷积神经网络模型中来提取纹理特征图。
在本申请的一个实施例中，可以将人脸图像输入卷积神经网络模型中，获取卷积神经网络模型中用于提取颜色特征的卷积层的输出，将用于提取颜色特征的卷积层的输出作为人脸图像的颜色特征图。
在本申请的一个实施例中，可以使用PLSA(Program for InternationalStudentAssessment，概率隐式语义分析)方法提取人脸图像的颜色特征图。
在本申请的一个实施例中，可以获取人脸图像在多种颜色空间中的颜色特征，得到人脸图像的颜色特征图。多种颜色空间可以包括RGB(Red、Green、Blue，红、绿、蓝)颜色空间、YUV(Luminance、Chrominance，明度、色度)颜色空间、YIQ(Luminance、In-phase、Quadrature-phase，明度、从橙色到青色的色调、从紫色到黄绿的色调)颜色空间、HSV(Hue、Saturation、Value，色调、饱和度、明度)颜色空间、HSI(HueSaturationIntensity，色调、饱和度、明度)颜色空间、Lab颜色空间(Lab color space，颜色对立颜色空间)、CMYK(Cyan、Magenta、Yellow，Black，青色、品红色、黄色、黑色)颜色空间等。
在本申请的一个实施例中，提取人脸图像的颜色特征图的过程，可以包括如图4所示的步骤S410至步骤S430，图4示意性示出了本申请的一个实施例的提取人脸图像的颜色特征图的过程的流程图，详细介绍如下：
在步骤S410中，获取人脸图像中的各个像素点在第一维度的颜色空间中对应的第一维度颜色特征。
在本申请的一个实施例中，第一维度的颜色空间可以为一维、二维、三维、四维等多种维度的颜色空间。
在本申请的一个实施例中，第一维度的颜色空间为三维颜色空间时，第一维度的颜色空间可以是RGB颜色空间、YUV颜色空间、YIQ颜色空间、HSV颜色空间、HSI颜色空间、Lab颜色空间等。
在本申请的一个实施例中，第一维度的颜色空间为四维颜色空间时，第一维度的颜色空间可以是CMYK颜色空间等。
在本申请的一个实施例中，若第一维度的颜色空间是RGB(颜色空间，则第一维度颜色特征可以是人脸图像的RGB值，其中，R(Red，红)值为各个像素点对应的红色分量的值；G(Green，绿)值为各个像素点对应的绿色分量的值；B(Blue，蓝)值为各个像素点对应的蓝色分量的值。
在本申请的一个实施例中，若第一维度的颜色空间是YUV颜色空间，则第一维度颜色特征可以是人脸图像的YUV值，其中，Y(Luminance，明度)值为各个像素点对应的明度分量的值；U、V(Chrominance，色度)值为各个像素点对应的色度分量的值。
在本申请的一个实施例中，若第一维度的颜色空间是YIQ颜色空间，则第一维度颜色特征可以是人脸图像的YIQ值，其中，Y(Luminance，明度)值为各个像素点对应的明度分量的值；I(In-phase)值为各个像素点对应的从橙色到青色的色度分量的值、Q(Quadrature-phase)值为各个像素点对应的从紫色到黄绿的色度分量的值。
在本申请的一个实施例中，若第一维度的颜色空间是HSV颜色空间，则第一维度颜色特征可以是人脸图像的HSV值，其中，H(Hue，色调)值为各个像素点对应的色相分量的值；S(Saturation，饱和度)值为各个像素点对应的饱和度分量的值；V(Value，明度)值为各个像素点对应的明度分量的值。
在本申请的一个实施例中，若第一维度的颜色空间是HSI颜色空间，则第一维度颜色特征可以是人脸图像的HSI值，其中，H(Hue，色调)值为各个像素点对应的色相分量的值；S(Saturation，饱和度)值为各个像素点对应的饱和度分量的值；I(Intensity，明度)值为各个像素点对应的明度分量的值。
在本申请的一个实施例中，若第一维度的颜色空间是Lab颜色空间，则第一维度颜色特征可以是人脸图像的Lab值，其中，L值为各个像素点对应的亮度分量的值；a值和b值表示颜色对立维度。
在本申请的一个实施例中，若第一维度的颜色空间是CMYK颜色空间，则第一维度颜色特征可以是人脸图像的CMYK值，其中，C(Cyan，青色)值为各个像素点对应的青色分量的值；M(Magenta，品红色)值为各个像素点对应的品红色分量的值；Y(Yellow，黄色)值为各个像素点对应的黄色分量的值；K(Black，黑色)值为各个像素点对应的黑色分量的值。
继续参照图4，在步骤S420中，将各个像素点对应的第一维度颜色特征投影至第二维度的颜色空间中，得到各个像素点对应的第二维度颜色特征，第二维度高于第一维度。
在本申请的一个实施例中，第二维度可以是二维、三维、四维、五维、六维、七维、八维、九维、十维、十一维、十二维等多种维度。
在本申请的一个实施例中，可以基于第一维度与第二维度之间的映射矩阵，将各个像素点对应的第一维度颜色特征映射至第二维度的颜色空间中。
在该实施例中，某种颜色在第一维度中的表示方法是第一维度颜色特征，该种颜色在第二维度中的表示方法是第二维度颜色特征。在第一维度的颜色空间和第二维度的颜色空间都存在同一种颜色，可以根据同一种颜色的第一维度颜色特征和第二维度颜色特征，得到第一维度与第二维度之间的映射矩阵。
在该实施例中，使用映射矩阵进行空间转换可以简化符号、简化证明、增强空间转换的可解释性。
在本申请的一个实施例中，第一维度与第二维度之间的映射矩阵的维度可以为第二维度，从而使得到的第二维度颜色特征的维度为第二维度，从而提取到更高维度的颜色特征。
在本申请的一个实施例中，第二维度的颜色空间可中的每一个维度可以对应一种颜色属性，第二空间中的多个维度可以分别对应多种颜色属性。
在本申请的一个实施例中，第二维度可以是十一维，第二维度的颜色空间中的十一个维度可以分别对应黑色、蓝色、棕色、灰色、绿色、橘色、粉红色、紫色、红色、白色、黄色十一种颜色属性，各个像素点对应的第二维度颜色特征可以为各个像素点对应各个颜色属性的分量值。
在本申请的一个实施例中，各个像素点对应的第二维度颜色特征可以为各个像素点对应各个颜色属性的概率。
继续参照图4，在步骤S430中，基于各个像素点对应的第二维度颜色特征，确定颜色特征图。
在图4的实施例中，通过将第一维度颜色空间的特征投影至比第一维度更高的第二维度中，获得的第二维度颜色特征由于维度更高，能够体现出更多的颜色特征。
在本申请的一个实施例中，如果第二维度颜色特征为各个像素点对应的不同维度的分量值时，可以基于各个像素点对应的不同维度的分量值，在第二维度的颜色空间中表示出各个像素点，以生成颜色特征图。
在本申请的一个实施例中，如果第二维度的颜色空间中的每一个维度对应一种颜色属性，各个像素点对应的第二维度颜色特征为各个像素点对应的不同颜色属性的分量值时，可以基于各个像素点对应的不同颜色属性的分量值，在第二维度的颜色空间中表示出各个像素点，将每个像素点都在同一第二维度的颜色空间中进行表示，以生成颜色特征图。
在本申请的一个实施例中，可以基于各个像素点对应的第二维度颜色特征，计算各个像素点在第二维度的颜色空间的每个维度中的颜色属性概率；基于各个像素点在每个维度中的颜色属性概率，确定颜色特征图。
在本申请的一个实施例中，如果第二维度的颜色空间中的每一个维度对应一种颜色属性，各个像素点对应的第二维度颜色特征为各个像素点对应的不同颜色属性的分量值时，可以将每个像素点对应的不同颜色属性的分量值求和得到总分量值，计算每个像素点对应的每个颜色属性的分量值占总分量值的百分比，将得到的百分比作为每个像素点在与每种颜色属性对应的维度中的颜色属性概率。
在本申请的一个实施例中，可以基于各个像素点在每个维度中的颜色属性概率确定各个像素点的颜色属性，进而可以根据各个像素点的颜色属性，确定颜色特征图。
在本申请的一个实施例中，可以将各个像素点对应的最大颜色属性概率的维度对应的颜色属性，作为各个像素点的颜色属性。
在本申请的一个实施例中，可以根据各个像素点在各个维度的颜色属性概率，对各个像素点的颜色属性进行过滤，只保留达到设定值的颜色属性概率对应的颜色属性，进而提取出各个像素点的主要的颜色特征，以帮助进行人脸图像的肤色识别。
在本申请的一个实施例中，可以基于各个像素点在每个维度中的颜色属性概率以及各个像素点的邻域像素的颜色属性，确定各个像素点的颜色属性；基于各个像素点的颜色属性，生成颜色特征图。
在本申请的一个实施例中，基于各个像素点在每个维度中的颜色属性概率以及各个像素点的邻域像素的颜色属性，确定各个像素点的颜色属性的过程，可以包括如图5所示的步骤S510至S570，图5示意性示出了本申请的一个实施例的确定各个像素点的颜色属性的过程的流程图，详细介绍如下：
在步骤S510中，基于各个像素点的颜色属性概率确定各个像素点的第一颜色属性；
在步骤S520中，对于每一个像素点，获取该像素点邻域像素的第一颜色属性；
在步骤S530中，判断该像素点的第一颜色属性与其邻域像素的第一颜色属性是否完全相同；
在步骤S540中，若该像素点的第一颜色属性与其邻域像素的第一颜色属性完全相同，则将该像素点的第一颜色属性作为该像素点的颜色属性；
在步骤S550中，若该像素点的第一颜色属性与其邻域像素的第一颜色属性不完全相同，则确认是否该像素点位于人脸图像的边缘区域；
在步骤S560中，若该像素点的第一颜色属性与其邻域像素的第一颜色属性不完全相同，且该像素点位于人脸图像的边缘区域，则将该像素点的第一颜色属性作为该像素点的颜色属性；
在步骤S570中，若该像素点的第一颜色属性与其邻域像素的第一颜色属性不完全相同，且该像素点不位于人脸图像的边缘区域，则统计其邻域像素中具有相同第一颜色属性的像素的数量，选取具有相同第一颜色属性的像素中像素数量最多的第一颜色属性，作为该像素点的颜色属性。
在图5所示的实施例中，通过各个像素点的邻域像素的颜色属性对各个像素点的颜色属性进行校正，可以避免单个像素点颜色属性识别错误，也可以避免人脸图像中的杂色干扰肤色识别，增强了肤色识别的准确性。同时，在对各个像素点的颜色属性进行校正时，考虑了位于人脸图像的边缘区域的像素变化，防止在校正颜色属性时丢失边缘区域的特征，进一步增强了肤色识别的准确性。
在本申请的一个实施例中，基于各个像素点的颜色属性概率确定各个像素点的第一颜色属性的过程，可以参照上述实施例中基于各个像素点的颜色属性概率确定各个像素点的颜色属性的过程。
在本申请的一个实施例中，第一颜色属性可以是如上所述的多种颜色属性中的一种或几种。
在本申请的一个实施例中，可以将各个像素点以其对应的颜色属性进行显示，以得到颜色特征图。
在本申请的一个实施例中，若某个像素点对应多种颜色属性时，可以获取多种颜色属性对应的比例，将多种颜色属性按照其比例进行混合，使用混合后的颜色属性显示该像素点。
在本申请的一个实施例中，提取人脸图像的颜色特征图的过程，可以包括如图6所示的步骤S610至步骤S620，图6示意性示出了本申请的一个实施例的提取人脸图像的颜色特征图的过程的流程图，详细介绍如下：
在步骤S610中，分别获取人脸图像中各个像素点在指定颜色空间中对应的每个维度的特征值，得到各个像素点对应的多个特征值；
在步骤S620中，根据各个像素点对应的多个特征值，以及特征值区间与颜色属性之间的对应关系，确定人脸图像中各个像素点的颜色属性，基于各个像素点的颜色属性，生成人脸图像的颜色特征图。
在图6所示的实施例中，由于每种颜色属性都能在指定的颜色空间中表示出来，将指定颜色空间与颜色属性进行对应，可以直接通过各个像素点在指定颜色空间中对应的特征值，确定各个像素点的颜色属性，可以更加方便的确定各个像素点的颜色属性。
在本申请的一个实施例中，图6中的指定颜色空间可以是RGB颜色空间、YUV颜色空间、HSV颜色空间、HSI颜色空间、颜色-对立空间等。
在本申请的一个实施例中，可以将指定颜色空间中的每个维度的值域划分为多个区间，分别从每个维度对应的多个区间中选取一个区间进行随机组合，得到指定颜色空间对应的多个区间组合；根据各个区间组合在指定颜色空间中对应的颜色属性，生成区间组合与颜色属性之间的对应关系，根据区间组合与颜色属性之间的对应关系，确定特征值区间与颜色属性之间的对应关系。
在本申请的一个实施例中，若指定颜色空间是RGB颜色空间，则可以获取RGB颜色空间的每个维度的值域0-255，可以以设定步长对值域0-255进行划分，得到每个维度对应的多个区间。分别从每个维度对应的多个区间中选取一个区间进行随机组合，将每种组合的特征值在RGB颜色空间中进行显示，将每种组合和其显示出的颜色属性进行对应，得到特征值区间与颜色属性之间的对应关系。
在本申请的一个实施例中，可以以8个步长对值域0-255进行划分，那么一共分为256/8＝32个区间，RGB颜色空间一共有三个维度，分别从每个维度对应的32个区间中选取一个区间进行随机组合，则有32*32*32＝32786种组合，在RGB颜色空间中将32786种组合和每种组合显示出的颜色属性进行对应，得到特征值区间与颜色属性之间的对应关系。
在本申请的一个实施例中，可以是多种组合对应同一种颜色属性。
提取颜色特征图后，继续参照图3，在步骤S320中，将纹理特征图和颜色特征图进行融合，得到人脸特征图。
在本申请的一个实施例中，可以在融合之前，可以将纹理特征图的尺寸和颜色特征图的尺寸调整为相同的尺寸，可以使纹理特征图和颜色特征图更好的融合。
在本申请的一个实施例中，可以按照纹理特征图的尺寸调整颜色特征图的尺寸，以使颜色特征图的尺寸与纹理特征图的尺寸一致。
在本申请的一个实施例中，可以纹理特征图的尺寸和颜色特征图的尺寸调整为指定的尺寸。
在本申请的一个实施例中，可以在使用人脸图像提取颜色特征图之前，基于纹理特征图的尺寸调整人脸图像的尺寸，以使得到的颜色特征图的尺寸与纹理特征图相同，同时，由于尺寸是在提取颜色特征图之前调整的，颜色特征图中包含的颜色特征不会因为尺寸调整受到干扰。
在该实施例中，纹理特征图的尺寸可以是在提取纹理特征图之前设定的尺寸，也可以是在提取纹理特征图之后，根据提取的纹理特征图量得的尺寸。
在本申请的一个实施例中，可以在融合之前，调整纹理特征图或颜色特征图的维度，以使颜色特征图的尺寸与纹理特征图的维度一致，以方便纹理特征图和颜色特征图的融合。
在本申请的一个实施例中，可以采用级联(contact)融合方法，对纹理特征图和颜色特征图进行融合。使用级联融合方法可以不调整纹理特征图或颜色特征图的维度，可以使融合得到的人脸特征图包含更多的人脸图像的特征。
在本申请的一个实施例中，在图3的步骤S320中，将纹理特征图和颜色特征图进行融合，得到人脸特征图的过程可以如图7所示，首先获取输入的待处理的图像，裁剪待处理的图像得到人脸图像，人脸图像的尺寸记为c×w×h，其中，c为人脸图像的维度、w为人脸图像的宽度、h为人脸图像的高度；获取人脸图像的纹理特征图，将纹理特征图的尺寸记为N×w'×h'，其中，N为纹理特征图的维度、w'为纹理特征图的宽度、h'为纹理特征图的高度，将人脸图像的尺寸调整为c×w'×h'，使人脸图像的尺寸与纹理特征图的尺寸一致，基于调整后的人脸图像获取人脸图像的颜色特征图，将颜色特征图的尺寸记为M×w'×h'，将纹理特征图和颜色特征图进行级联融合，得到的人脸特征图尺寸为(M+N)×w'×h'。
在图3的实施例中，根据融合了多种特征的人脸特征图进行肤色识别，能够更准确的识别出人脸图像对应的肤色。根据上述记载可知，卷积神经网络也能够提取出人脸图像的纹理特征和颜色特征，但是因为纹理特征和颜色特征对肤色识别的影响较大，在使用卷积神经网络之前，先对人脸图像的纹理特征和颜色特征进行提取，将包含纹理特征和颜色特征的人脸特征图输入卷积神经网络中，使卷积神经网络能够获得更多的纹理特征和颜色特征，从而能够更准确的识别人脸图像对应的肤色。
图8示意性示出了根据本申请的一个实施例的肤色识别方法的流程图，该肤色识别方法的执行主体可以是服务器，比如可以是图1中所示的服务器103。
参照图8所示，该肤色识别方法至少包括步骤S810至步骤S890，详细介绍如下：
在步骤S810中，获取待处理的图像；
在步骤S820中，检测待处理的图像中待识别肤色的人脸图像所在区域，基于待识别肤色的人脸图像所在区域对待处理的图像进行裁剪，得到待识别肤色的人脸图像；
在步骤S830中，将待识别肤色的人脸图像输入预训练的全卷积神经网络模型中，全卷积神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像；
在步骤S840中，获取预训练的全卷积神经网络模型用于提取纹理特征的卷积层的输出，作为人脸图像的纹理特征图；
在步骤S850中，获取纹理特征图的尺寸，基于纹理特征图的尺寸调整人脸图像的尺寸，以使纹理特征图的尺寸与人脸图像的尺寸一致；
在步骤S860中，基于调整尺寸后的人脸图像，提取人脸图像的颜色特征图；
在步骤S870中，将纹理特征图和颜色特征图进行融合得到人脸特征图；
在步骤S880中，将人脸特征图输入至全卷积神经网络模型中用于提取纹理特征的卷积层之后的全卷积神经网络模型中，全卷积神经网络模型中在分类器之前有两个全卷积层；
在步骤S890中，获取全卷积神经网络模型输出的人脸图像对应的肤色。
在图8的实施例中，通过对待处理的图像中的人脸图像进行人脸特征图的提取，提取的特征图包括纹理特征和颜色特征，使用排除了明度干扰的全卷积神经网络模型对人脸特征图进行肤色识别，能够准确的识别出人脸图像对应的肤色。
图9示意性示出了根据本申请的一个实施例的得到预训练的神经网络模型的方法的流程图，该得到预训练的神经网络模型的方法的执行主体可以是服务器，比如可以是图1中所示的服务器103。
参照图9所示，该到预训练的神经网络模型的方法至少包括步骤S910至步骤S930，详细介绍如下：
在步骤S910中，调整各个样本图像的明度，得到各个样本图像在添加了不同的明度干扰之后得到的图像。
在本申请的一个实施例中，可以将各个样本图像转换到HSV颜色空间，得到各个样本图像对应的HSV图像；对各个样本图像对应的HSV图像的明度分量添加不同的明度干扰，以生成各个样本图像在添加了不同的明度干扰之后得到的图像。
在本申请的一个实施例中，若各个样本图像是RGB颜色空间的图像时，可以通过下述公式将RGB颜色空间的样本图像转换到HSV颜色空间：
Figure BDA0002469689010000211
Figure BDA0002469689010000212
v＝max(r,g,b)
其中，r为样本图像在RGB颜色空间中对应R分量的特征值，g为样本图像在RGB颜色空间中对应G分量的特征值，b为样本图像在RGB颜色空间中对应B分量的特征值。
在本申请的一个实施例中，可以将各个样本图像转换到YIQ颜色空间，得到各个样本图像对应的YIQ图像；对各个样本图像对应的YIQ图像的明度分量添加不同的明度干扰，以生成各个样本图像在添加了不同的明度干扰之后得到的图像。
在本申请的一个实施例中，可以将各个样本图像转换到YUV颜色空间，得到各个样本图像对应的YUV图像；对各个样本图像对应的YUV图像的明度分量添加不同的明度干扰，以生成各个样本图像在添加了不同的明度干扰之后得到的图像。
在本申请的一个实施例中，可以将各个样本图像转换到HSI颜色空间，得到各个样本图像对应的HSI图像；对各个样本图像对应的HSI图像的明度分量添加不同的明度干扰，以生成各个样本图像在添加了不同的明度干扰之后得到的图像。
在本申请的一个实施例中，可以随机调整各个样本图像对应的HSV图像、YIQ图像、YUV图像或HSI图像的明度分量的明度值。
继续参考图9，在步骤S920中，基于各个样本图像在添加了不同的明度干扰之后得到的图像，生成训练样本集。
在本申请的一个实施例中，可以对同一个样本图像添加多个不同的明度干扰，可以随机为各个样本图像添加不同的明度干扰，对不同的样本图像添加的明度干扰可以相同也可以不同。
在本申请的一个实施例中，V可以根据公式V＝Vr(V∈[0,1])进行变化，其中，r为指数因子，以进行随机为各个样本图像添加不同的明度干扰。
在步骤S930中，使用训练样本集对神经网络模型进行训练，得到预训练的神经网络模型。
在图9所示的实施例中，通过对同一个图像添加不同的明度干扰，可以使预训练的神经网络模型学习到同一肤色的样本图像在添加不同的明度干扰时的特征，从而使预训练的神经网络模型能够在人脸图像接受不同的光照时，都能准确识别出人脸图像对应的肤色。
在本申请的一个实施例中，使用本申请的肤色识别方法识别人脸图像的肤色时，无论人脸图像的光照情况如何，都能准确识别出人脸图像对应的肤色。使用本申请的肤色识别方法识别背对光源的平均色肤色的人脸图像，即使肉眼看起来平均色肤色的人脸图像的肤色接近黑色，本申请的肤色识别方法仍能准确识别出人脸图像的肤色为平均色；使用本申请的肤色识别方法识别背对光源的黑色肤色的人脸图像，即使肉眼看起来黑色肤色的人脸图像的肤色接近平均色，本申请的肤色识别方法仍能准确识别出人脸图像的肤色为黑色。可见，使用本申请的肤色识别方法，能够准确的识别出人脸图像对应的肤色。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的肤色识别方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的肤色识别方法的实施例。
图10示意性示出了根据本申请的一个实施例的肤色识别装置的框图。
参照图10所示，根据本申请的一个实施例的肤色识别装置1000，包括获取模块1001、提取模块1002和、输入模块1003和输出模块1004。
根据本申请实施例的一个方面，基于前述方案，获取模块1001配置为获取待处理的人脸图像；提取模块1002配置为提取人脸图像的人脸特征图；输入模块1003配置为将人脸特征图输入预训练的神经网络模型中，神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像；输出模块1004配置为获取神经网络模型输出的人脸图像对应的肤色。
在本申请的一些实施例中，基于前述方案，提取模块1002配置为：提取人脸图像的纹理特征图，并提取人脸图像的颜色特征图；将纹理特征图和颜色特征图进行融合，得到人脸特征图。
在本申请的一些实施例中，基于前述方案，提取模块1002配置为：获取人脸图像中的各个像素点在第一维度的颜色空间中对应的第一维度颜色特征；将各个像素点对应的第一维度颜色特征投影至第二维度的颜色空间中，得到各个像素点对应的第二维度颜色特征，第二维度高于第一维度；基于各个像素点对应的第二维度颜色特征，确定颜色特征图。
在本申请的一些实施例中，基于前述方案，提取模块1002配置为：基于第一维度与第二维度之间的映射矩阵，将各个像素点对应的第一维度颜色特征映射至第二维度的颜色空间中。
在本申请的一些实施例中，基于前述方案，提取模块1002配置为：基于各个像素点对应的第二维度颜色特征，计算各个像素点在第二维度的颜色空间的每个维度中的颜色属性概率；基于各个像素点在每个维度中的颜色属性概率，确定颜色特征图。
在本申请的一些实施例中，基于前述方案，提取模块1002配置为：基于各个像素点在每个维度中的颜色属性概率确定各个像素点的颜色属性，或者基于各个像素点在每个维度中的颜色属性概率以及各个像素点的邻域像素的颜色属性，确定各个像素点的颜色属性；基于各个像素点的颜色属性，生成颜色特征图。
在本申请的一些实施例中，基于前述方案，提取模块1002配置为：分别获取人脸图像中各个像素点在指定颜色空间中对应的每个维度的特征值，得到各个像素点对应的多个特征值；根据各个像素点对应的多个特征值，以及特征值区间与颜色属性之间的对应关系，确定人脸图像中各个像素点的颜色属性；基于各个像素点的颜色属性，生成人脸图像的颜色特征图。
在本申请的一些实施例中，基于前述方案，提取模块1002还配置为：在根据各个像素点对应的多个特征值，以及特征值与颜色属性之间的对应关系，确定人脸图像中各个像素点的颜色属性之前，将指定颜色空间中的每个维度的值域划分为多个区间，分别从每个维度对应的多个区间中选取一个区间进行随机组合，得到指定颜色空间对应的多个区间组合；根据各个区间组合在指定颜色空间中对应的颜色属性，生成区间组合与颜色属性之间的对应关系，根据区间组合与颜色属性之间的对应关系确定特征值区间与颜色属性之间的对应关系。
在本申请的一些实施例中，基于前述方案，提取模块1002还配置为：在将纹理特征图和颜色特征图进行融合之前，将纹理特征图的尺寸和颜色特征图的尺寸调整为相同的尺寸。
在本申请的一些实施例中，基于前述方案，肤色识别装置，还包括训练模块1005，训练模块1005用于：调整各个样本图像的明度，得到各个样本图像在添加了不同的明度干扰之后得到的图像；基于各个样本图像在添加了不同的明度干扰之后得到的图像，生成训练样本集；使用训练样本集对神经网络模型进行训练。
在本申请的一些实施例中，基于前述方案，训练模块1005配置为：将各个样本图像转换到HSV颜色空间，得到各个样本图像对应的HSV图像；对各个样本图像对应的HSV图像的明度分量添加不同的明度干扰，以生成各个样本图像在添加了不同的明度干扰之后得到的图像。
在本申请的一些实施例中，基于前述方案，训练模块1005配置为：随机调整各个样本图像对应的HSV图像的明度分量的明度值。
所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图11来描述根据本申请的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于：上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130、显示单元1140。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1110执行，使得所述处理单元1110执行本说明书上述“实施例方法”部分中描述的根据本申请各种示例性实施方式的步骤。
存储单元1120可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1121和/或高速缓存存储单元1122，还可以进一步包括只读存储单元(ROM)1123。
存储单元1120还可以包括具有一组(至少一个)程序模块1125的程序/实用工具1124，这样的程序模块1125包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1130可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1100也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1100交互的设备通信，和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且，电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1100使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。
根据本申请一个实施例，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。
根据本申请一个实施例，本申请的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (15)

1.一种肤色识别方法，其特征在于，包括：
获取待处理的人脸图像；
提取所述人脸图像的人脸特征图；
将所述人脸特征图输入预训练的神经网络模型中，所述神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像；
获取所述神经网络模型输出的所述人脸图像对应的肤色。
2.根据权利要求1所述的肤色识别方法，其特征在于，所述提取所述人脸图像的人脸特征图，包括：
提取所述人脸图像的纹理特征图，并提取所述人脸图像的颜色特征图；
将所述纹理特征图和所述颜色特征图进行融合，得到所述人脸特征图。
3.根据权利要求2所述的肤色识别方法，其特征在于，所述提取所述人脸图像的颜色特征图，包括：
获取所述人脸图像中的各个像素点在第一维度的颜色空间中对应的第一维度颜色特征；
将所述各个像素点对应的第一维度颜色特征投影至第二维度的颜色空间中，得到所述各个像素点对应的第二维度颜色特征，所述第二维度高于所述第一维度；
基于所述各个像素点对应的第二维度颜色特征，确定所述颜色特征图。
4.根据权利要求3所述的肤色识别方法，其特征在于，所述将所述各个像素点对应的第一维度颜色特征投影至第二维度的颜色空间中，包括：
基于所述第一维度与所述第二维度之间的映射矩阵，将所述各个像素点对应的第一维度颜色特征映射至所述第二维度的颜色空间中。
5.根据权利要求3所述的肤色识别方法，其特征在于，所述基于所述各个像素点对应的第二维度颜色特征，确定所述颜色特征图，包括：
基于所述各个像素点对应的第二维度颜色特征，计算所述各个像素点在所述第二维度的颜色空间的每个维度中的颜色属性概率；
基于所述各个像素点在所述每个维度中的颜色属性概率，确定所述颜色特征图。
6.根据权利要求5所述的肤色识别方法，其特征在于，所述基于所述各个像素点在所述每个维度中的颜色属性概率，确定所述颜色特征图，包括：
基于所述各个像素点在所述每个维度中的颜色属性概率确定所述各个像素点的颜色属性，或者基于所述各个像素点在所述每个维度中的颜色属性概率以及所述各个像素点的邻域像素的颜色属性，确定所述各个像素点的颜色属性；
基于所述各个像素点的颜色属性，生成所述颜色特征图。
7.根据权利要求2所述的肤色识别方法，其特征在于，所述提取所述人脸图像的颜色特征图，包括：
分别获取所述人脸图像中各个像素点在指定颜色空间中对应的每个维度的特征值，得到所述各个像素点对应的多个特征值；
根据所述各个像素点对应的多个特征值，以及特征值区间与颜色属性之间的对应关系，确定所述人脸图像中各个像素点的颜色属性；
基于所述各个像素点的颜色属性，生成所述人脸图像的颜色特征图。
8.根据权利要求7所述的肤色识别方法，其特征在于，在根据所述各个像素点对应的多个特征值，以及特征值与颜色属性之间的对应关系，确定所述人脸图像中各个像素点的颜色属性之前，所述方法还包括：
将所述指定颜色空间中的每个维度的值域划分为多个区间，分别从所述每个维度对应的多个区间中选取一个区间进行随机组合，得到所述指定颜色空间对应的多个区间组合；
根据各个所述区间组合在所述指定颜色空间中对应的颜色属性，生成区间组合与颜色属性之间的对应关系，根据所述区间组合与颜色属性之间的对应关系确定所述特征值区间与颜色属性之间的对应关系。
9.根据权利要求2所述的肤色识别方法，其特征在于，在将所述纹理特征图和所述颜色特征图进行融合之前，所述方法还包括：
将所述纹理特征图的尺寸和所述颜色特征图的尺寸调整为相同的尺寸。
10.根据权利要求1所述的肤色识别方法，其特征在于，所述方法还包括：
调整各个样本图像的明度，得到所述各个样本图像在添加了不同的明度干扰之后得到的图像；
基于所述各个样本图像在添加了不同的明度干扰之后得到的图像，生成训练样本集；
使用所述训练样本集对所述神经网络模型进行训练。
11.根据权利要求10所述的肤色识别方法，其特征在于，所述调整各个样本图像的明度，得到所述各个样本图像在添加了不同的明度干扰之后得到的图像，包括：
将所述各个样本图像转换到HSV颜色空间，得到所述各个样本图像对应的HSV图像；
对所述各个样本图像对应的HSV图像的明度分量添加不同的明度干扰，以生成所述各个样本图像在添加了不同的明度干扰之后得到的图像。
12.根据权利要求11所述的肤色识别方法，其特征在于，对所述各个样本图像对应的HSV图像的明度分量添加不同的明度干扰，包括：
随机调整所述各个样本图像对应的HSV图像的明度分量的明度值。
13.一种肤色识别装置，其特征在于，包括:
获取模块，用于获取待处理的人脸图像；
提取模块，用于提取所述人脸图像的人脸特征图；
输入模块，用于将所述人脸特征图输入预训练的神经网络模型中，所述神经网络模型的训练样本集中包含有各个样本图像在添加了不同的明度干扰之后得到的图像；
输出模块，用于获取所述神经网络模型输出的所述人脸图像对应的肤色。
14.一种电子设备，其特征在于，包括:
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至12中任一项所述的方法。
15.一种计算机程序介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1至12中任一项所述的方法。
CN202010344827.XA 2020-04-27 2020-04-27 肤色识别方法、装置、电子设备及介质 Pending CN111626130A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010344827.XA CN111626130A (zh) 2020-04-27 2020-04-27 肤色识别方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010344827.XA CN111626130A (zh) 2020-04-27 2020-04-27 肤色识别方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN111626130A true CN111626130A (zh) 2020-09-04

Family

ID=72271770

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010344827.XA Pending CN111626130A (zh) 2020-04-27 2020-04-27 肤色识别方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN111626130A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489049A (zh) * 2020-12-04 2021-03-12 山东大学 基于超像素和svm的成熟番茄果实的分割方法及系统
CN115359041A (zh) * 2022-10-13 2022-11-18 南通启锦智能科技有限公司 一种基于机器学习的电子元器件识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489049A (zh) * 2020-12-04 2021-03-12 山东大学 基于超像素和svm的成熟番茄果实的分割方法及系统
CN115359041A (zh) * 2022-10-13 2022-11-18 南通启锦智能科技有限公司 一种基于机器学习的电子元器件识别方法

Similar Documents

Publication Publication Date Title
JP7200139B2 (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
WO2019100282A1 (zh) 一种人脸肤色识别方法、装置和智能终端
CN109558832A (zh) 一种人体姿态检测方法、装置、设备及存储介质
JP2020522807A (ja) セルフィーを撮影するためにユーザをガイドするためのシステム及び方法
CN111476849B (zh) 对象颜色识别方法、装置、电子设备以及存储介质
CN103914699A (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
CN113344836B (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
KR20230097157A (ko) 개인화된 3d 헤드 모델 변형을 위한 방법 및 시스템
CN103562964A (zh) 图像处理装置、信息生成装置、图像处理方法、信息生成方法、控制程序及记录介质
CN116997933A (zh) 用于构造面部位置图的方法和系统
WO2019142127A1 (en) Method and system of creating multiple expression emoticons
EP4239573A1 (en) Method for detecting and segmenting the lip region
JP2024506170A (ja) 個人化された３ｄ頭部モデルおよび顔モデルを形成するための方法、電子装置、およびプログラム
JP2024503794A (ja) ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム
CN111626130A (zh) 肤色识别方法、装置、电子设备及介质
Park et al. An automatic virtual makeup scheme based on personal color analysis
Rahman et al. An automatic face detection and gender classification from color images using support vector machine
US20190347469A1 (en) Method of improving image analysis
CN113298841B (zh) 一种肤质油份分型方法、计算机设备、系统及存储介质
Prinosil et al. Automatic hair color de-identification
Cahyono et al. Using Convolutional Neural Network to Improve Decision Making in Cosmetic Purchases
CN111062862A (zh) 基于颜色的数据增强方法和系统及计算机设备和存储介质
Florea et al. Eye color classification for makeup improvement
Sowmiya et al. Facial Expression Recognition Using Static Facial Images
US20240054680A1 (en) Method, apparatus and program for providing personal color diagnosis platform using image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028905

Country of ref document: HK

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200904