CN110348358A - 一种肤色检测系统、方法、介质和计算设备 - Google Patents

一种肤色检测系统、方法、介质和计算设备 Download PDF

Info

Publication number
CN110348358A
CN110348358A CN201910597091.4A CN201910597091A CN110348358A CN 110348358 A CN110348358 A CN 110348358A CN 201910597091 A CN201910597091 A CN 201910597091A CN 110348358 A CN110348358 A CN 110348358A
Authority
CN
China
Prior art keywords
detection
facial
face
key point
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910597091.4A
Other languages
English (en)
Other versions
CN110348358B (zh
Inventor
周泽生
丛林
姜波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201910597091.4A priority Critical patent/CN110348358B/zh
Publication of CN110348358A publication Critical patent/CN110348358A/zh
Application granted granted Critical
Publication of CN110348358B publication Critical patent/CN110348358B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明的实施方式提供了一种肤色检测系统、方法、介质和计算设备。该系统包括：检测模块被配置为对待检测图像进行特征提取并检测得到初始肤色区域；监督模块被配置为从待检测图像中获取面部关键点信息，基于面部关键点信息生成监督信息，其中监督信息用于确定出待检测图像所包含的检测干扰区域；检测校正模块被配置为根据监督信息从初始肤色区域中筛除检测干扰区域得到目标检测区域。通过基于面部关键点生成的监督信息，将检测干扰区域从初始肤色区域中筛除得到目标检测区域，由于用于检测的目标检测区域更精准，因而使得肤色检测精度和肤色检测质量大幅提升，大大改善用户体验，又有助于扩展肤色检测的应用场景，适应于不同应用场景。

Description

一种肤色检测系统、方法、介质和计算设备
技术领域
本发明的实施方式涉及软件领域，更具体地，本发明的实施方式涉及一种肤色检测系统、方法、介质和计算设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着人工智能、增强现实技术的高速发展，人脸交互产品出现日渐普及。肤色检测，尤其是人脸皮肤区域检测问题，成为人脸识别、人脸交互、人像美化等一系列交互产品实现的核心问题之一。
目前，肤色检测方案主要是通过将图像的RGB空间转换到其他颜色空间如优化彩色视频信号(YUV)空间等来实现的，但是这种肤色检测方案往往会导致肤色检测的精度低，检测结果质量差，且无法自适应于不同应用场景(或情况)，比如光照变换场景，或不同被采集者存在皮肤差异的情况。因此，亟待设计一种改进的肤色检测方案，用以解决目前肤色检测方案存在的上述问题。
发明内容
由于目前肤色检测方案的肤色检测精度低、质量差，且无法自适应于不同应用场景，影响用户体验的问题。因此非常需要一种改进的肤色检测的技术方案，以解决上述技术问题。
在本上下文中，本发明的实施方式期望提供一种肤色检测系统、方法、介质和计算设备。
在本发明实施方式的第一方面中，提供了一种肤色检测方法，包括：。
检测模块，被配置为对待检测图像进行特征提取并检测得到初始肤色区域；
监督模块，被配置为从待检测图像中获取面部关键点信息；基于面部关键点信息生成监督信息，其中监督信息用于确定出待检测图像所包含的检测干扰区域；
检测校正模块，被配置为根据监督信息从初始肤色区域中筛除检测干扰区域得到目标检测区域。
在一种可能的设计中，面部关键点信息包括面部关键点的位置信息；
监督模块在从待检测图像中获取面部关键点信息时，具体用于：从待检测图像中识别出多个面部区域；
从多个面部区域中选取置信度最高的面部区域；
对置信度最高的面部区域进行关键点回归处理得到面部关键点的位置信息。
在一种可能的设计中，监督模块在基于面部关键点信息生成监督信息时，具体用于：
基于多个面部关键点的位置信息进行闭合处理得到检测干扰区域；
根据检测干扰区域生成面部掩码信息，面部掩码信息用于确定检测干扰区域在待检测图像中所处的区域范围。
在一种可能的设计中，面部掩码信息包括面部掩码图；监督模块在根据检测干扰区域生成面部掩码信息时，具体用于：
基于检测干扰区域对待检测图像进行二值化处理得到面部掩码图。
在一种可能的设计中，检测校正模块具体用于：
对面部掩码图进行取反处理；
基于取反处理后的面部掩码图，通过点乘处理将面部掩码图对应的检测干扰区域从初始肤色区域中筛除得到目标检测区域。
在一种可能的设计中，目标检测区域包括以下面部区域之一或组合：面部皮肤、眼部、唇部、眉毛区域。
在一种可能的设计中，还包括系统参数更新模块，被配置为参数评估单元和参数更新单元，其中
参数评估单元，用于获取面部关键点信息与训练样本中的真实面部关键点信息之间的差异情况作为第一差异信息；和/或，获取初始肤色区域与训练样本中的真实肤色信息之间的差异情况作为第二差异信息；
参数评估单元，还用于基于预设权重对第一差异信息和/或第二差异信息进行评估得到系统参数评估结果；
参数更新单元，用于根据系统参数评估结果对肤色检测系统进行反向传播，以更新检测模块的模型参数和/或监督模块的模型参数。
在一种可能的设计中，若参数评估单元基于预设权重仅对第二差异信息进行评估得到系统参数评估结果，则参数更新单元在根据系统参数评估结果对肤色检测系统进行反向传播时，具体用于：
对检测模块进行反向传播以更新检测模块的模型参数。
在一种可能的设计中，训练样本还包括光照条件信息和/或不同人种对应的真实肤色信息；
参数更新单元还用于：根据光照条件信息和/或不同人种对应的真实肤色信息对肤色检测系统进行反向传播。
在本发明实施方式的第二方面中，提供了一种肤色检测方法，应用于如第一方面任一的肤色检测系统，包括：
对待检测图像进行特征提取并检测得到初始肤色区域；
从待检测图像中获取面部关键点信息；
基于面部关键点信息生成监督信息，其中监督信息用于确定出待检测图像所包含的检测干扰区域；
根据监督信息从初始肤色区域中筛除检测干扰区域得到目标检测区域。
在一种可能的设计中，面部关键点信息包括面部关键点的位置信息；
从待检测图像中获取面部关键点信息，包括：
从待检测图像中识别出多个面部区域；
从多个面部区域中选取置信度最高的面部区域；
对置信度最高的面部区域进行关键点回归处理得到面部关键点的位置信息。
在一种可能的设计中，基于面部关键点信息生成监督信息，包括：
基于多个面部关键点的位置信息进行闭合处理得到检测干扰区域；
根据检测干扰区域生成面部掩码信息，面部掩码信息用于确定检测干扰区域在待检测图像中所处的区域范围。
在一种可能的设计中，面部掩码信息包括面部掩码图；根据检测干扰区域生成面部掩码信息，包括：
基于检测干扰区域对待检测图像进行二值化处理得到面部掩码图。
在一种可能的设计中，根据监督信息从初始肤色区域中筛除检测干扰区域得到目标检测区域，包括：
对面部掩码图进行取反处理；
基于取反处理后的面部掩码图，通过点乘处理将面部掩码图对应的检测干扰区域从初始肤色区域中筛除得到目标检测区域。
在一种可能的设计中，目标检测区域包括以下面部区域之一或组合：面部皮肤、眼部、唇部、眉毛区域。
在本发明实施方式的第三方面中，提供了一种介质，该介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行第二方面中任一实施例的方法。
在本发明实施方式的第四方面中，提供了一种计算设备，包括处理单元、存储器以及输入/输出(In/Out，I/O)接口；存储器，用于存储处理单元执行的程序或指令；处理单元，用于根据存储器存储的程序或指令，执行第二方面中任一实施例的方法；I/O接口，用于在处理单元的控制下接收或发送数据。
本发明的实施方式提供的技术方案，通过基于面部关键点生成的监督信息，将检测干扰区域从初始肤色区域中筛除得到目标检测区域，从而可以实现在排除检测干扰区域的目标检测区域进行肤色检测，由于用于检测的目标检测区域更精准，因而使得肤色检测精度和肤色检测质量大幅提升，大大改善用户体验。本技术方案还能够依据不同检测要求选取不同面部关键点生成相应的监督信息，扩展肤色检测的应用场景，适应于不同应用场景。
附图说明
通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：
图1示意性地示出了根据本发明实施方式的一种肤色检测系统的结构示意图；
图2示意性地示出了根据本发明实施方式的另一种肤色检测系统的结构示意图；
图3示意性地示出了根据本发明实施例的一种待检测图像的示意图；
图4示意性地示出了根据本发明实施例的一种面部关键点的示意图；
图5示意性地示出了根据本发明实施例的一种肤色检测方法的流程示意图；
图6示意性地示出了根据本发明实施例的一种介质的结构示意图；
图7示意性地示出了根据本发明实施例的一种计算设备的结构示意图；
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本发明的实施方式，提出了一种音频播放方法、介质、装置和计算设备。
在本文中，需要理解的是，所涉及的几个概念的含义如下：
深度学习(deep learning)：通过深度神经网络来发掘数据的高层特征表示，从而更准确地表征数据分布的特性。
端到端(end-to-end)：系统中不再有独立的模块，输入数据，输出需要的结果。比如语音识别系统中不再有独立的声学模型、发音词典、语言模型等模块，而是从输入端(语音波形或特征序列)到输出端(单词或字符序列)直接用一个神经网络相连，让这个神经网络来承担原先所有模块的功能。在本发明实施例中可以理解为肤色检测系统是从输入端(待检测图像)到输出端(肤色检测结果，即目标检测区域)直接采用一个神经网络相连。
损失函数(loss function)：用于衡量神经网络中的预测值与训练样本中的真实值的差值信息。神经网络训练过程中，通过优化Loss函数使得预测值接近真实值。
特征图：在每个卷积层，数据都是以三维形式存在的。你可以把它看成许多个二维图片叠在一起，其中每一个称为一个特征图。在输入层，如果是灰度图片，那就只有1个特征图；如果是彩色图片，一般就是3个特征图(红绿蓝)。层与层之间会有若干个卷积核，上一层的每个特征图跟每个卷积核做卷积，都会产生下一层的一个特征图。
此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
发明概述
本发明人发现，目前肤色检测方案是通过将图像的RGB空间转换到其他颜色空间如优化彩色视频信号空间等来实现的，但是这种肤色检测方案往往会导致肤色检测精度低、质量差，且无法自适应于不同应用场景，影响用户体验的问题。
为了克服技术存在的问题，本发明中提出了一种肤色检测系统、方法、介质和计算设备。该肤色检测系统包括检测模块、监督模块和检测校正模块，其中检测模块被配置为对待检测图像进行特征提取并检测得到初始肤色区域；监督模块被配置为从待检测图像中获取面部关键点信息；基于面部关键点信息生成监督信息，监督信息用于确定出待检测图像所包含的检测干扰区域；检测校正模块被配置为根据监督信息从初始肤色区域中筛除检测干扰区域得到目标检测区域。
上述肤色检测系统通过基于面部关键点生成的监督信息，将检测干扰区域从初始肤色区域中筛除得到目标检测区域，从而可以实现在排除检测干扰区域的目标检测区域进行肤色检测，由于用于检测的目标检测区域更精准，因而使得肤色检测精度和肤色检测质量大幅提升，大大改善用户体验。该肤色检测系统还能够依据不同检测要求选取不同面部关键点生成相应的监督信息，扩展肤色检测的应用场景，适应于不同应用场景。可以理解的是，方法、介质和计算设备的原理与系统类似，此处不再赘述。
在介绍了本发明的基本原理之后，下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
本发明实施例可以应用于图像检测场景，尤其是面部图像检测场景。本发明实施例涉及的图像检测场景例如可以是人脸交互应用中的肤色检测场景、图像美化场景、视频美化场景、或者自拍美妆场景，本发明实施例并不限定。
本发明的肤色检测方案的应用场景示意图中，用户可以通过终端设备进行图像采集，所述终端设备可以在屏幕上显示目标检测区域，并且还可以通过摄像头(图像采集设备)等数据采集设备采集用户的面部图像用以通过所述肤色检测方案对用户的面部图像进行检测。可以理解的是，所述目标检测区域可以是终端设备从服务器下载的，并且对终端设备采集到的数据进行分析处理(即执行所述肤色检测方案)的也可以是服务器。实际的应用过程中，服务器可以存在多级，也即可以是接收服务器接收终端设备发送的图像数据，并将接收到的图像数据发送到处理服务器，处理服务器对接收到的视频数据根据本发明的肤色检测方法进行处理，得到用户的目标检测区域并反馈至所述终端设备进行展示。
示例性系统
下面结合应用场景，参考附图来描述根据本发明示例性实施方式的用于肤色检测的系统。需要注意的是，上述应用场景仅是为了便于理解本发明的精神和原理而示出，本发明的实施方式在此方面不受任何限制。相反，本发明的实施方式可以应用于适用的任何场景。
本发明实施例提供了一种肤色检测系统，如图1所示，该肤色检测系统至少包括：
检测模块101，被配置为对待检测图像进行特征提取并检测得到初始肤色区域；
监督模块102，被配置为从待检测图像中获取面部关键点信息；基于面部关键点信息生成监督信息，其中该监督信息用于确定出待检测图像所包含的检测干扰区域；
检测校正模块103，被配置为根据监督信息从初始肤色区域中筛除检测干扰区域得到目标检测区域。
图1示出的肤色检测系统，通过基于面部关键点生成的监督信息，将检测干扰区域从初始肤色区域中筛除得到目标检测区域，从而可以实现在排除检测干扰区域的目标检测区域进行肤色检测，由于用于检测的目标检测区域更精准，因而使得肤色检测精度和肤色检测质量大幅提升，大大改善用户体验。该肤色检测系统还能够依据不同检测要求选取不同面部关键点生成相应的监督信息，扩展肤色检测的应用场景，适应于不同应用场景。
本发明实施例涉及的待检测图像有多种，例如待检测图像可以是如图片、视频帧等形式的图像信息，也可以是通过各种光学输入方式由印刷品转化成的图像信息，还可以是其他形式的图像信息，本发明实施例并不限定。待检测图像比如是图3示出的人脸图片。当待检测图像为视频时，一种可能的实现方式中，在对待检测图像进行特征提取并检测得到初始肤色区域之前，从该视频中提取得到图像帧。
本发明实施例也不限定获取待检测图像的方法，比如获取待检测图像的方法包括但不限于拍摄、扫描、通过网络搜索并下载图像资源或其他现有技术中的图像获取方式。
本发明实施例涉及的所述目标检测区域包括但不限于面部皮肤、眼部、唇部、眉毛区域中的一个或组合。通过设置目标检测区域有助于扩展肤色检测系统的应用场景，提高肤色检测系统的灵活性和扩展度，例如对面部皮肤的美化场景，对眼部和唇部虚拟美妆的场景。
下面针对图1示出的肤色检测系统中的各模块进行说明。
检测模块101被配置为对待检测图像进行特征提取并检测得到初始肤色区域。
具体而言，本发明实施例中，检测模块101还包括具有特征提取功能的模块和/或功能层，通过上述具有特征提取功能的模块和/或功能层对待检测图像进行图像特征提取处理。
本发明实施例的一种可能的实现方式中，在检测模块101检测得到初始肤色区域之前，还具体配置为获取自适应尺寸的待检测图像，其中自适应尺寸可以为设定尺寸，比如256x256、112x112，自适应尺寸也可以是按照设定比例缩放得到的，此情况下自适应尺寸与该待检测图像的原尺寸的长宽比相同。在获取自适应尺寸的待检测图像后，将该待检测图像依次通过检测模块101中的多组卷积激活模块和池化层，其中每组卷积激活模块包含三组卷积层和非线性激活层；进一步的，三组卷积层的卷积核可以相同，例如三组卷积层的卷积核均为3x3。通过上述检测模块101中的多组卷积激活模块的卷积处理和池化层的池化处理，检测模块101可以从该待检测图像中提取深层次的图像特征并得到特征图，从而提高肤色检测的准确性。可以理解的是，卷积层用于对待检测图像进行特征提取，从而通过构建多个卷积层的深度学习模型(即检测模块101)来获取更深层次的图像特征；激活层用于为检测模块101加入非线性因素，以提升模型的表征能力；池化层则用于对图像特征进行压缩，这样有助于减少神经网络的计算复杂度。可选的，检测模块101从该待检测图像中提取深层次的图像特征并得到特征图之后，还采用检测模块101中的反卷积层将经由卷积处理和池化处理后的特征图还原为该待检测图像的原尺寸。
检测模块101还包括判断单元，所述判断单元用于判断待检测图像中每一像素所表征的面部区域，相应的，检测模块101基于判断结果确定初始肤色区域。例如目标检测区域为面部皮肤，且判断单元为二分类器时，判断单元用于判断该待检测图像中每一像素所表征的面部区域是否属于面部皮肤，如果是则该面部区域的初始肤色检测标签输出为“1”，反之则该面部区域的初始肤色检测标签输出为“0”，从而检测模块101将该待检测图像中所有初始肤色检测标签为“1”的面部区域作为初始肤色区域。需要注意的是，此处二分类器输出的初始肤色检测标签用于表示该面部区域是否属于面部皮肤，比如属于面部皮肤的面部区域的初始肤色检测标签为“1”，不属于面部皮肤的面部区域的初始肤色检测标签为“0”。
监督模块102，被配置为从待检测图像中获取面部关键点信息；
具体而言，面部关键点信息包括但不限于面部关键点的位置信息。例如图4示出的面部关键点示意图中的68个面部关键点，这些面部关键点的位置信息包括这些面部关键点的位置坐标。
本模块的一种实现方式中，监督模块102从待检测图像中识别出多个面部区域，从多个面部区域中选取置信度最高的面部区域，对置信度最高的面部区域进行关键点回归处理得到面部关键点的位置信息。可选的，监督模块102还配置为从待检测图像中获取面部关键点信息之后，基于待检测图像的原始尺寸信息对面部关键点信息进行尺寸变换。例如在尺寸为32x32的特征图上的两个面部关键点的坐标分别为(8，16)和(16，16)，而原始尺寸为256x256，则这两个面部关键点的坐标经过尺寸变换为(64，128)和(128，128)。进一步的，监督模块102可以基于经由卷积处理和池化处理后的特征图识别出多个面部区域。
以面部区域为人脸框为例，监督模块102基于待检测图像识别出多个人脸框，从这多个人脸框中选取置信度最高的人脸框并在该人脸框内进行关键点回归处理，输出一个136维的列向量，该列向量即为68个面部关键点的横、纵坐标，将该68个面部关键点的横、纵坐标进行尺寸变换得到这68个面部关键点在待检测图像中的位置坐标。一种实施例中，通过RNet模型去除非人脸框，并采用ONet和非极大值抑制操作从多个人脸框中选取置信度最高的人脸框。
监督模块102还被配置基于面部关键点信息生成监督信息，其中该监督信息用于确定出待检测图像所包含的检测干扰区域；
本模块的一种实现方式中，监督模块102基于多个面部关键点的位置信息进行闭合处理得到检测干扰区域，根据检测干扰区域生成面部掩码信息，该面部掩码信息用于确定检测干扰区域在待检测图像中所处的区域范围。
具体而言，面部掩码信息包括但不限于面部掩码图。在根据检测干扰区域生成面部掩码信息的情况下，监督模块102被具体配置为基于检测干扰区域对待检测图像进行二值化处理得到面部掩码图。
例如目标检测区域为面部皮肤，此情况下，监督模块102从多个面部关键点中选取属于非面部皮肤的面部关键点，并基于选取的面部关键点的位置信息进行闭合处理得到检测干扰区域，比如图4示出的面部关键点示意图中的眼、唇、眉毛等多个检测干扰区域。监督模块102基于这多个检测干扰区域对待检测图像进行二值化处理，即将检测干扰区域内的图像标签输出为“1”，检测干扰区域外的图像标签输出为“0”。这样有助于降低检测干扰区域对肤色检测过程的干扰，提高肤色检测的准确性。需要注意的是，此处面部掩码图中的图像标签表示该图像区域是否属于检测干扰区域，比如属于检测干扰区域的图像标签为“1”，不属于检测干扰区域的图像标签为“0”。
检测校正模块103，被配置为根据监督信息从初始肤色区域中筛除检测干扰区域得到目标检测区域。
本模块的一种实现方式中，检测校正模块103对面部掩码图进行取反处理，基于取反处理后的面部掩码图采用点乘处理将该面部掩码图对应的检测干扰区域从所述初始肤色区域中筛除得到所述目标检测区域。一种实施例中，仍以目标检测区域为面部皮肤为例，此情况下检测干扰区域为不属于面部皮肤的面部区域，比如眼、唇、眉毛等，通过如下公式(1)实现将面部掩码图与初始肤色区域进行点乘处理：
Isegmentation_result_optimized＝Isegmentation_result⊙(1-Ifacial_mask_location) (1)；
其中，Isegmentation_result表示初始肤色区域，Isegmentation_result中属于面部皮肤的图像区域的初始肤色检测标签值为“1”，不属于面部皮肤的图像区域的初始肤色检测标签值为“0”；Ifacial_mask_location表示面部掩码图，Ifacial_mask_location中属于检测干扰区域的图像区域的标签为“1”，不属于检测干扰区域的图像区域的标签为“0”；Isegmentation_result_optimized为点乘处理的计算结果，即目标检测区域，Isegmentation_result_optimized中属于面部皮肤的图像区域的最终检测标签值为“1”，不属于面部皮肤的图像区域的最终检测标签值为“0”。
具体的，检测校正模块103通过对面部掩码图Ifacial_mask_location进行取反处理，即(1-Ifacial_mask_location)，使得属于检测干扰区域的图像区域的标签值由“1”变为“0”，不属于检测干扰区域的图像区域的标签值由“0”变为“1”。经过对面部掩码图Ifacial_mask_location的取反处理，将取反处理后的(1-Ifacial_mask_location)与初始肤色区域Isegmentation_result逐一粒度相乘得到目标检测区域，从而将检测干扰区域内的初始肤色检测标签值置零，实现了对检测干扰区域的遮罩处理，有助于提升肤色检测的精度。
为了进一步提升肤色检测系统的检测性能，本发明实施例还提供了一种肤色检测系统，参见图2，该肤色检测系统至少包括检测模块101、监督模块102、检测校正模块103以及系统参数更新模块；其中检测模块101、监督模块102、检测校正模块103与上文所描述的检测模块101、监督模块102、检测校正模块103类似，相似之处相互参见，此处不再赘述。该系统参数更新模块被配置为参数评估单元201和参数更新单元202。具体的该系统参数更新模块的一种实现方式为：
参数评估单元201被配置为执行如下一种操作或组合：获取面部关键点信息与训练样本中的真实面部关键点信息之间的差异情况作为第一差异信息，获取目标检测区域与训练样本中的真实肤色信息之间的差异情况作为第二差异信息；基于预设权重对第一差异信息和/或第二差异信息进行评估得到系统参数评估结果；具体而言，系统参数评估结果可以通过如下公式(2)至(4)实现：
Lossfs＝αLossSegmentation+βLosslandmarks (2)
Losslandmarks＝|fp(x，y)-fr(x，y)|2 (4)；
其中，公式(2)中的α和β为预设权重，Lossfs为系统参数评估结果，Losslandmarks用于表示第一差异信息，Losssegmentation用于表示第二差异信息。公式(3)中，pn和rn分别代表目标检测区域的标签信息和训练样本的真实肤色信息，如果该图像区域属于面部皮肤，则该图像区域的标签为1，如果该图像区域不属于面部皮肤，则该图像区域的标签为0，ε是计算Losssegmentation的平滑系数，用于防止分母为0的极端情况，一般设定为1e-4。公式(4)中，fp(x，y)和fr(x，y)分别为面部关键点的坐标信息和训练样本中的真实面部关键点信息。
参数更新单元202被配置为根据系统参数评估结果对肤色检测系统进行反向传播，以更新检测模块101的模型参数和/或监督模块102的模型参数。具体而言，基于Lossfs对肤色检测系统进行反向传播以降低Lossfs，提高肤色检测系统的准确性。
进一步的，若参数评估单元201基于预设权重仅对第二差异信息进行评估得到系统参数评估结果，则参数更新单元202在根据所述系统参数评估结果对所述肤色检测系统进行反向传播时，对所述检测模块101进行反向传播以更新检测模块101的模型参数。这样通过禁止第二差异信息向监督模块102进行反向传播，这样有助于避免第二差异信息对监督模块102训练过程的干扰，降低训练复杂度，提高监督模块102的训练速度。
可选的，训练样本还包括光照条件信息和/或不同人种对应的真实肤色信息。此情况下参数更新单元202还被配置为根据光照条件信息和/或不同人种对应的真实肤色信息对肤色检测系统进行反向传播，从而通过扩大训练样本的多样性，提升肤色检测系统对于不同应用场景的适应性，以及对于不同检测对象的检测准确度。
图1示出的肤色检测系统，通过基于面部关键点生成的监督信息，将检测干扰区域从初始肤色区域中筛除得到目标检测区域，从而可以实现在排除检测干扰区域的目标检测区域进行肤色检测，由于用于检测的目标检测区域更精准，因而使得肤色检测精度和肤色检测质量大幅提升，大大改善用户体验。该肤色检测系统还能够依据不同检测要求选取不同面部关键点生成相应的监督信息，扩展肤色检测的应用场景，适应于不同应用场景。
示例性方法
在介绍了本发明示例性实施方式的系统之后，接下来，介绍本发明提供了示例性实施的方法。本发明提供的肤色检测方法可以适用于图1对应的实施例提供的任一项肤色检测系统。参见图5，该肤色检测方法至少包括：
S501、对待检测图像进行特征提取并检测得到初始肤色区域；
S502、从待检测图像中获取面部关键点信息；
S503、基于面部关键点信息生成监督信息，其中监督信息用于确定出待检测图像所包含的检测干扰区域；
S504、根据监督信息从初始肤色区域中筛除检测干扰区域得到目标检测区域。
可选的，面部关键点信息包括面部关键点的位置信息。S502中从待检测图像中获取面部关键点信息的一种实现方式，具体为：从待检测图像中识别出多个面部区域；从多个面部区域中选取置信度最高的面部区域；对置信度最高的面部区域进行关键点回归处理得到面部关键点的位置信息。
可选的，S503中基于面部关键点信息生成监督信息的一种实现方式包括以下步骤：基于多个面部关键点的位置信息进行闭合处理得到检测干扰区域；根据检测干扰区域生成面部掩码信息，面部掩码信息用于确定检测干扰区域在待检测图像中所处的区域范围。
可选的，面部掩码信息包括但不限于面部掩码图。根据检测干扰区域生成面部掩码信息，包括：基于检测干扰区域对待检测图像进行二值化处理得到面部掩码图。
可选的，S504中根据监督信息从初始肤色区域中筛除检测干扰区域得到目标检测区域的一种实现方式，具体为：对面部掩码图进行取反处理；基于取反处理后的面部掩码图，通过点乘处理将面部掩码图对应的检测干扰区域从初始肤色区域中筛除得到目标检测区域。
可选的，目标检测区域包括但不限于面部皮肤、眼部、唇部、眉毛区域中的面部区域之一或组合。
示例性介质
在介绍了本发明示例性实施方式的方法和系统之后，接下来，参考图6，本发明提供了一种示例性介质，该介质存储有计算机可执行指令，该计算机可执行指令可用于使所述计算机执行图5对应的本发明示例性实施方式中任一项所述的方法。
示例性计算设备
在介绍了本发明示例性实施方式的方法、介质和装置之后，接下来，参考图7，介绍本发明提供的一种示例性计算设备70，该计算设备70包括处理单元701、存储器702、总线703、外部设备704、I/O接口705以及网络适配器706，该存储器702包括随机存取存储器(random access memory，RAM)7021、高速缓存存储器7022、只读存储器(Read-OnlyMemory，ROM)7023以及至少一片存储单元7024构成的存储单元阵列7025。其中该存储器702，用于存储处理单元701执行的程序或指令；该处理单元701，用于根据该存储器702存储的程序或指令，执行图5对应的本发明示例性实施方式中任一项所述的方法；该I/O接口705，用于在该处理单元701的控制下接收或发送数据。
应当注意，尽管在上文详细描述中提及了装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种肤色检测系统，其特征在于，包括：
检测模块，被配置为对待检测图像进行特征提取并检测得到初始肤色区域；
监督模块，被配置为从所述待检测图像中获取面部关键点信息；基于所述面部关键点信息生成监督信息，其中所述监督信息用于确定出所述待检测图像所包含的检测干扰区域；
检测校正模块，被配置为根据所述监督信息从所述初始肤色区域中筛除所述检测干扰区域得到目标检测区域。
2.如权利要求1所述的肤色检测系统，其中，所述面部关键点信息包括所述面部关键点的位置信息；
所述监督模块在从所述待检测图像中获取面部关键点信息时，具体用于：从所述待检测图像中识别出多个面部区域；
从所述多个面部区域中选取置信度最高的面部区域；
对所述置信度最高的面部区域进行关键点回归处理得到所述面部关键点的位置信息。
3.如权利要求1或2所述的肤色检测系统，其中，所述监督模块在基于所述面部关键点信息生成监督信息时，具体用于：
基于多个面部关键点的位置信息进行闭合处理得到检测干扰区域；
根据所述检测干扰区域生成面部掩码信息，所述面部掩码信息用于确定所述检测干扰区域在所述待检测图像中所处的区域范围。
4.如权利要求3所述的肤色检测系统，其中，所述面部掩码信息包括面部掩码图；所述监督模块在根据所述检测干扰区域生成面部掩码信息时，具体用于：
基于所述检测干扰区域对所述待检测图像进行二值化处理得到所述面部掩码图。
5.如权利要求4所述的肤色检测系统，其中，所述检测校正模块具体用于：
对所述面部掩码图进行取反处理；
基于取反处理后的所述面部掩码图，通过点乘处理将所述面部掩码图对应的检测干扰区域从所述初始肤色区域中筛除得到所述目标检测区域。
6.如权利要求1至5任一所述的肤色检测系统，其中，所述目标检测区域包括以下面部区域之一或组合：面部皮肤、眼部、唇部、眉毛区域。
7.如权利要求1至6任一所述的肤色检测系统，其中，还包括系统参数更新模块，被配置为参数评估单元和参数更新单元，其中
所述参数评估单元，用于获取所述面部关键点信息与训练样本中的真实面部关键点信息之间的差异情况作为第一差异信息；和/或，获取所述目标检测区域与训练样本中的真实肤色信息之间的差异情况作为第二差异信息；
所述参数评估单元，还用于基于预设权重对第一差异信息和/或第二差异信息进行评估得到系统参数评估结果；
所述参数更新单元，用于根据所述系统参数评估结果对所述肤色检测系统进行反向传播，以更新所述检测模块的模型参数和/或所述监督模块的模型参数。
8.一种肤色检测方法，其特征在于，应用于如权利要求1至7任一所述的肤色检测系统，包括：
对待检测图像进行特征提取并检测得到初始肤色区域；
从所述待检测图像中获取面部关键点信息；
基于所述面部关键点信息生成监督信息，其中所述监督信息用于确定出所述待检测图像所包含的检测干扰区域；
根据所述监督信息从所述初始肤色区域中筛除所述检测干扰区域得到目标检测区域。
9.一种介质，其特征在于，用于实现如权利要求1至7任一项所述的肤色检测系统，所述介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求8所述的方法。
10.一种计算设备，其特征在于，用于实现如权利要求1至7任一项所述的肤色检测系统，所述计算设备包括处理单元、存储器以及I/O接口；
所述存储器，用于存储所述处理单元执行的程序或指令；
所述处理单元，用于根据所述存储器存储的程序或指令，执行权利要求8所述的方法；
所述I/O接口，用于在所述处理单元的控制下接收或发送数据。
CN201910597091.4A 2019-07-03 2019-07-03 一种肤色检测系统、方法、介质和计算设备 Active CN110348358B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910597091.4A CN110348358B (zh) 2019-07-03 2019-07-03 一种肤色检测系统、方法、介质和计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910597091.4A CN110348358B (zh) 2019-07-03 2019-07-03 一种肤色检测系统、方法、介质和计算设备

Publications (2)

Publication Number Publication Date
CN110348358A true CN110348358A (zh) 2019-10-18
CN110348358B CN110348358B (zh) 2021-11-23

Family

ID=68178107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910597091.4A Active CN110348358B (zh) 2019-07-03 2019-07-03 一种肤色检测系统、方法、介质和计算设备

Country Status (1)

Country Link
CN (1) CN110348358B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310616A (zh) * 2020-02-03 2020-06-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN111913435A (zh) * 2020-07-30 2020-11-10 浙江科技学院 一种基于堆积沙漏网络的单/多目标关键点定位方法
WO2021218729A1 (zh) * 2020-04-26 2021-11-04 华为技术有限公司 以增强现实方式显示皮肤细节的方法及电子设备
US11417078B2 (en) 2020-02-03 2022-08-16 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, and storage medium

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090196475A1 (en) * 2008-02-01 2009-08-06 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
CN105787878A (zh) * 2016-02-25 2016-07-20 杭州格像科技有限公司 一种美颜处理方法及装置
CN105809089A (zh) * 2014-12-29 2016-07-27 中国科学院深圳先进技术研究院 复杂背景下的多人脸检测方法及装置
US20170076142A1 (en) * 2015-09-15 2017-03-16 Google Inc. Feature detection and masking in images based on color distributions
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107392166A (zh) * 2017-07-31 2017-11-24 北京小米移动软件有限公司 肤色检测方法、装置及计算机可读存储介质
CN107798314A (zh) * 2017-11-22 2018-03-13 北京小米移动软件有限公司 肤色检测方法及装置
CN108121952A (zh) * 2017-12-12 2018-06-05 北京小米移动软件有限公司 人脸关键点定位方法、装置、设备及存储介质
CN108121951A (zh) * 2017-12-11 2018-06-05 北京小米移动软件有限公司 特征点定位方法及装置
CN108229296A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 人脸皮肤属性识别方法和装置、电子设备、存储介质
US20180330479A1 (en) * 2016-01-30 2018-11-15 Samsung Electronics Co., Ltd. Device for and method of enhancing quality of an image
CN109063588A (zh) * 2018-07-11 2018-12-21 深圳合纵视界技术有限公司 一种基于人脸框提取图像中人脸部肤色的方法
CN109345480A (zh) * 2018-09-28 2019-02-15 广州云从人工智能技术有限公司 一种基于图像修复模型的人脸自动去痘方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090196475A1 (en) * 2008-02-01 2009-08-06 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
CN105809089A (zh) * 2014-12-29 2016-07-27 中国科学院深圳先进技术研究院 复杂背景下的多人脸检测方法及装置
US20170076142A1 (en) * 2015-09-15 2017-03-16 Google Inc. Feature detection and masking in images based on color distributions
US20180330479A1 (en) * 2016-01-30 2018-11-15 Samsung Electronics Co., Ltd. Device for and method of enhancing quality of an image
CN105787878A (zh) * 2016-02-25 2016-07-20 杭州格像科技有限公司 一种美颜处理方法及装置
CN107239736A (zh) * 2017-04-28 2017-10-10 北京智慧眼科技股份有限公司 基于多任务级联卷积神经网络的人脸检测方法及检测装置
CN107392166A (zh) * 2017-07-31 2017-11-24 北京小米移动软件有限公司 肤色检测方法、装置及计算机可读存储介质
CN108229296A (zh) * 2017-09-30 2018-06-29 深圳市商汤科技有限公司 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN107798314A (zh) * 2017-11-22 2018-03-13 北京小米移动软件有限公司 肤色检测方法及装置
CN108121951A (zh) * 2017-12-11 2018-06-05 北京小米移动软件有限公司 特征点定位方法及装置
CN108121952A (zh) * 2017-12-12 2018-06-05 北京小米移动软件有限公司 人脸关键点定位方法、装置、设备及存储介质
CN109063588A (zh) * 2018-07-11 2018-12-21 深圳合纵视界技术有限公司 一种基于人脸框提取图像中人脸部肤色的方法
CN109345480A (zh) * 2018-09-28 2019-02-15 广州云从人工智能技术有限公司 一种基于图像修复模型的人脸自动去痘方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YOONSIK KIM 等: "CONVOLUTIONAL NEURAL NETWORKS AND TRAINING STRATEGIES FOR SKIN DETECTION", 《2017 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *
张巧运: "基于深度学习及密度峰值聚类的皮肤检测算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
杨红玲 等: "基于肤色检测与卷积神经网络的手势识别", 《微型机与应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310616A (zh) * 2020-02-03 2020-06-19 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2021155632A1 (zh) * 2020-02-03 2021-08-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
TWI766286B (zh) * 2020-02-03 2022-06-01 大陸商北京市商湯科技開發有限公司 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒介
US11417078B2 (en) 2020-02-03 2022-08-16 Beijing Sensetime Technology Development Co., Ltd. Image processing method and apparatus, and storage medium
CN111310616B (zh) * 2020-02-03 2023-11-28 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
WO2021218729A1 (zh) * 2020-04-26 2021-11-04 华为技术有限公司 以增强现实方式显示皮肤细节的方法及电子设备
CN111913435A (zh) * 2020-07-30 2020-11-10 浙江科技学院 一种基于堆积沙漏网络的单/多目标关键点定位方法

Also Published As

Publication number Publication date
CN110348358B (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN110348358A (zh) 一种肤色检测系统、方法、介质和计算设备
CN105608447B (zh) 对人体面部微笑表情深度卷积神经网络的检测方法
CN109086711B (zh) 人脸特征分析方法、装置、计算机设备和存储介质
CN110659582A (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和系统
KR20200118076A (ko) 생체 검출 방법 및 장치, 전자 기기 및 저장 매체
CN108647625A (zh) 一种表情识别方法及装置
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
CN113723385B (zh) 视频处理方法及装置、神经网络的训练方法及装置
CN109472209A (zh) 一种图像识别方法、装置和存储介质
CN108764143A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
CN113591763A (zh) 人脸脸型的分类识别方法、装置、存储介质及计算机设备
CN113095156A (zh) 一种基于逆灰度方式的双流网络签名鉴定方法及装置
CN110532838A (zh) 对象检测装置和方法及存储介质
Rahim et al. Dynamic hand gesture based sign word recognition using convolutional neural network with feature fusion
CN113673465A (zh) 图像检测方法、装置、设备及可读存储介质
CN112818774A (zh) 一种活体检测方法及装置
CN105354833B (zh) 一种阴影检测的方法和装置
CN114332446B (zh) 在物理世界下具有旋转鲁棒性的图像对抗样本生成方法
CN114005156A (zh) 人脸替换方法、系统、终端设备及计算机存储介质
CN114757336A (zh) 深度学习模型对抗攻击敏感频带检测方法及相关装置
Marjusalinah et al. Classification of finger spelling American sign language using convolutional neural network
CN111967389A (zh) 基于深度双路径学习网络的人脸属性识别方法及系统
CN111598144A (zh) 图像识别模型的训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant