CN110796039B - 一种面部瑕疵检测方法、装置、电子设备及存储介质 - Google Patents

一种面部瑕疵检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110796039B
CN110796039B CN201910979099.7A CN201910979099A CN110796039B CN 110796039 B CN110796039 B CN 110796039B CN 201910979099 A CN201910979099 A CN 201910979099A CN 110796039 B CN110796039 B CN 110796039B
Authority
CN
China
Prior art keywords
information
image
flaw
facial
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910979099.7A
Other languages
English (en)
Other versions
CN110796039A (zh
Inventor
秦文煜
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910979099.7A priority Critical patent/CN110796039B/zh
Publication of CN110796039A publication Critical patent/CN110796039A/zh
Application granted granted Critical
Publication of CN110796039B publication Critical patent/CN110796039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本公开是关于一种面部瑕疵检测方法、装置、电子设备及存储介质，涉及图像处理技术领域，用于解决检测人体面部瑕疵特征的准确性较低的问题。该方法包括：获取待检测的面部图像；通过训练后的面部检测模型对待检测的面部图像进行降采样处理，并对降采样处理后的面部图像进行深层特征提取，获得针对待检测的面部图像的第一图像特征信息；对待检测的面部图像进行浅层特征提取处理，获得针对待检测的面部图像的第二图像特征信息；将第一图像特征信息和第二特征图像信息进行级联处理，获得目标特征图像信息；并对目标特征图像信息进行检测处理，获得待检测的面部图像的瑕疵特征的信息。该方法可以提高对面部瑕疵检测的准确性，还提高检测瑕疵的效率。

Description

一种面部瑕疵检测方法、装置、电子设备及存储介质
技术领域
本公开涉及图像处理技术领域，尤其涉及一种面部瑕疵检测方法、装置、电子设备及存储介质。
背景技术
目前，相关技术中，对人体面部存在的瑕疵(例如痘、痣、斑等)的检测，一般都是采用边缘检测算法来对人体面部图像进行检测。然而，现有的边缘检测算法是采用阈值二值化的方式直接对采集到的面部图像进行检测，检测输出后的图像中仅可以看到面部图像中一些凸起的大致轮廓，而无法精准的确认是否为瑕疵，且由于人体面部图像中存在头发、眉毛、睫毛、胡须等毛发，以及皱纹、法令纹等褶皱，从而导致检测的大致轮廓可能也会有影响。
可见，相关技术中存在检测人体面部瑕疵特征的准确性较低。
发明内容
本公开提供一种面部瑕疵检测方法、装置、电子设备及存储介质，以解决相关技术中存在检测人体面部瑕疵特征的准确性较低的技术问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种面部瑕疵检测方法，包括：
获取待检测的面部图像；
通过训练后的面部检测模型对所述待检测的面部图像进行降采样处理，并对降采样处理后的面部图像进行深层特征提取，获得针对所述待检测的面部图像的第一图像特征信息，以及对所述待检测的面部图像进行浅层特征提取处理，获得针对所述待检测的面部图像的第二图像特征信息；
通过训练后的面部检测模型将所述第一图像特征信息和所述第二特征图像信息进行级联处理，获得目标特征图像信息；
通过训练后的面部检测模型对所述目标特征图像信息进行检测处理，获得所述待检测的面部图像的瑕疵特征的信息；其中，所述瑕疵特征用于表征所述面部图像中除固有特征外的其它特征。
在一种可能的实施方式中，所述通过训练后的面部检测模型对所述目标特征图像信息进行检测处理，获得所述待检测的面部图像的瑕疵特征的信息，包括：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息；
根据所述目标瑕疵特征信息确定所述瑕疵特征的检测框位置信息，以将所述检测框位置信息作为所述待检测的面部图像的瑕疵特征的位置信息。
在一种可能的实施方式中，所述通过训练后的面部检测模型对所述目标特征图像信息进行检测处理，获得所述待检测的面部图像的瑕疵特征的信息，包括：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息，并根据所述目标瑕疵特征信息确定所述目标特征图像信息中瑕疵特征的检测框信息；
对所述检测框中的每一个像素进行分割处理，获得所述检测框的前景像素信息和背景像素信息；
将所述检测框的前景像素信息进行组合处理，获得所述瑕疵特征的形状信息。
在一种可能的实施方式中，所述通过训练后的面部检测模型对所述目标特征图像信息进行检测处理，获得所述待检测的面部图像的瑕疵特征的信息，包括：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息，并根据所述目标瑕疵特征信息确定所述目标特征图像信息中瑕疵特征的检测框信息；
对所述检测框中的瑕疵特征进行分类处理，获得针对所述检测框中瑕疵特征的分类预测集，其中，所述分类预测集中包括所述瑕疵特征的类别信息和与所述瑕疵特征的类别信息对应的概率值；
若所述瑕疵特征的第一类别信息对应的概率值满足第一预设条件，则确定所述待检测的面部图像中所述瑕疵特征的类别为第一类别。
在一种可能的实施方式中，对所述待检测的面部图像进行降采样处理，并对降采样处理后的面部图像进行深层特征提取，获得针对所述待检测的面部图像的第一图像特征信息，包括：
将所述待检测的面部图像进行降采样处理，获得第一处理图像；
将所述第一处理图像进行深层特征提取处理，获得第一处理图像的特征图序列，并对所述特征图序列进行反卷积处理并将所述反卷积处理后的结果相加，以获得针对所述待检测的面部图像的第一图像特征信息。
在一种可能的实施方式中，所述训练后的面部检测模型通过以下方式训练得到，包括：
确定多个含有面部瑕疵特征的面部图像中的瑕疵特征的位置、形状、类别信息，并对多个含有面部瑕疵特征的面部图像中的瑕疵特征进行标注，以获得待训练的多个含有瑕疵标注信息的面部图像；
将所述待训练的多个含有瑕疵标注信息的面部图像输入到预设面部检测模型中进行训练，获得多个输出结果，并将所述输出结果与所述瑕疵标注信息进行比对，以获得多个比对结果；
根据所述多个比对结果，对所述预设的面部检测模型进行调整，以得到训练后的面部检测模型。
在一种可能的实施方式中，根据所述多个比对结果，对所述预设的面部检测模型进行训练，以得到训练后的面部检测模型，包括：
确定整体损失函数；
在对所述预设面部检测模型进行训练之后，通过所述整体损失函数对训练后的所述预设面部检测模型进行收敛检验；
当确定所述训练后的所述预设面部检测模型已收敛，则获得所述训练后的面部检测模型。
在一种可能的实施方式中，确定整体损失函数，包括：
确定通过所述预设面部检测模型检测多个所述瑕疵特征的位置信息的预测值，并根据所述预测值和与所述预测值对应的标注信息的差值，获得第一损失函数；
确定通过所述预设面部检测模型检测多个所述瑕疵特征的形状信息的预测值，并根据所述形状信息的预测值和与所述预测值对应的标注信息的差值，获得第二损失函数；以及，
确定通过所述预设面部检测模型检测多个所述瑕疵特征的类别信息的预测值，并根据所述类别信息的预测值和与所述预测值对应的标注信息的差值，获得第三损失函数；
将所述第一损失函数、所述第二损失函数以及所述第三损失函数进行加权计算，获得整体损失函数。
根据本公开实施例的第二方面，提供一种面部瑕疵检测装置，所述装置包括：
获取单元，被配置为执行获取待检测的面部图像；
处理单元，被配置为执行通过训练后的面部检测模型对所述待检测的面部图像进行降采样处理，并对降采样处理后的面部图像进行深层特征提取，获得针对所述待检测的面部图像的第一图像特征信息，以及对所述待检测的面部图像进行浅层特征提取处理，获得针对所述待检测的面部图像的第二图像特征信息；
所述处理单元，还被配置为执行通过训练后的面部检测模型将所述第一图像特征信息和所述第二特征图像信息进行级联处理，获得目标特征图像信息；
检测单元，被配置为执行通过训练后的面部检测模型对所述目标特征图像信息进行检测处理，获得所述待检测的面部图像的瑕疵特征的信息；其中，所述瑕疵特征用于表征所述面部图像中除固有特征外的其它特征。
在一种可能的实施方式中，所述检测单元，被配置为执行：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息；
根据所述目标瑕疵特征信息确定所述瑕疵特征的检测框位置信息，以将所述检测框位置信息作为所述待检测的面部图像的瑕疵特征的位置信息。
在一种可能的实施方式中，所述检测单元，被配置为执行：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息，并根据所述目标瑕疵特征信息确定所述目标特征图像信息中瑕疵特征的检测框信息；
对所述检测框中的每一个像素进行分割处理，获得所述检测框的前景像素信息和背景像素信息；
将所述检测框的前景像素信息进行组合处理，获得所述瑕疵特征的形状信息。
在一种可能的实施方式中，所述检测单元，被配置为执行：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息，并根据所述目标瑕疵特征信息确定所述目标特征图像信息中瑕疵特征的检测框信息；
对所述检测框中的瑕疵特征进行分类处理，获得针对所述检测框中瑕疵特征的分类预测集，其中，所述分类预测集中包括所述瑕疵特征的类别信息和与所述瑕疵特征的类别信息对应的概率值；
若所述瑕疵特征的第一类别信息对应的概率值满足第一预设条件，则确定所述待检测的面部图像中所述瑕疵特征的类别为第一类别。
在一种可能的实施方式中，所述处理单元，被配置为执行：
将所述待检测的面部图像进行降采样处理，获得第一处理图像；
将所述第一处理图像进行深层特征提取处理，获得第一处理图像的特征图序列，并对所述特征图序列进行反卷积处理并将所述反卷积处理后的结果相加，以获得针对所述待检测的面部图像的第一图像特征信息。
在一种可能的实施方式中，所述装置还被配置为执行：
确定多个含有面部瑕疵特征的面部图像中的瑕疵特征的位置、形状、类别信息，并对多个含有面部瑕疵特征的面部图像中的瑕疵特征进行标注，以获得待训练的多个含有瑕疵标注信息的面部图像；
将所述待训练的多个含有瑕疵标注信息的面部图像输入到预设面部检测模型中进行训练，获得多个输出结果，并将所述输出结果与所述瑕疵标注信息进行比对，以获得多个比对结果；
根据所述多个比对结果，对所述预设的面部检测模型进行调整，以得到训练后的面部检测模型。
在一种可能的实施方式中，所述装置还被配置为执行：
确定整体损失函数；
在对所述预设面部检测模型进行训练之后，通过所述整体损失函数对训练后的所述预设面部检测模型进行收敛检验；
当确定所述训练后的所述预设面部检测模型已收敛，则获得所述训练后的面部检测模型。
在一种可能的实施方式中，所述装置还被配置为执行：
确定通过所述预设面部检测模型检测多个所述瑕疵特征的位置信息的预测值，并根据所述预测值和与所述预测值对应的标注信息的差值，获得第一损失函数；
确定通过所述预设面部检测模型检测多个所述瑕疵特征的形状信息的预测值，并根据所述形状信息的预测值和与所述预测值对应的标注信息的差值，获得第二损失函数；以及，
确定通过所述预设面部检测模型检测多个所述瑕疵特征的类别信息的预测值，并根据所述类别信息的预测值和与所述预测值对应的标注信息的差值，获得第三损失函数；
将所述第一损失函数、所述第二损失函数以及所述第三损失函数进行加权计算，获得整体损失函数。
根据本公开实施例的第三方面，提供一种电子设备，所述电子设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第四方面，提供一种存储介质，当存储介质中的指令由计算机设备的处理器执行时，使得计算机设备能够执行本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，当所述计算机程序产品在计算机设备上运行时，使得计算机设备能够执行本公开实施例上述第一方面以及第一方面涉及的任一可能涉及的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
在本公开实施例中，可以获取待检测的面部图像，然后通过训练后的面部检测模型对待检测的面部图像进行降采样处理，并对降采样处理后的面部图像进行深层特征提取，获得针对待检测的面部图像的第一图像特征信息；以及，对待检测的面部图像进行浅层特征提取处理，获得针对待检测的面部图像的第二图像特征信息；再通过训练后的面部检测模型将第一图像特征信息和第二特征图像信息进行级联处理，获得目标特征图像信息；从而通过训练后的面部检测模型对目标特征图像信息进行检测处理，进而可以获得待检测的面部图像的瑕疵特征的信息。
也就是说，本公开实施例中，通过训练后的面部检测模型可以先对待检测的面部图像进行处理，从而获得目标特征图像，这样的话，可以尽可能的获取到待检测的面部图像的较全的特征信息，为后续确定待检测的面部图像的瑕疵特征的信息提供基础，进一步地，再通过训练后的面部检测模型对目标特征图像进行检测，从而获得待检测的面部图像的瑕疵特征的信息。
并且，本公开实施例中，由于训练后的面部检测模型可以用于检测面部图像中的瑕疵特征，也就是利用机器学习的方式来模拟替代人工的数据分析和方式构建，尽量消除由于分析人员的分析能力限制和主观性而导致的误判和分析不全面而导致的负面影响，从而可以在一定程度上提高分析和检测的准确性，提高瑕疵检测的有效性和检测效率。
进一步地，本公开中的检测方式是在对除固定特征(例如眼睛、鼻子、嘴巴等特征)外的特征进行检测，这样的话，可以避免由于检测到不完整的固定特征而误检测为瑕疵的情况出现。也就是说，通过面部检测模型对面部图像进行检测处理之后，可以确定该面部是否有斑、痘痘等瑕疵特征，从而提高瑕疵检测的准确性。
本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或通过实施本公开而了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的面部瑕疵检测应用场景图；
图2为根据一示例性实施例示出的电子设备的结构示意图；
图3是根据一示例性实施例示出的训练面部检测模型方法的流程图；
图4是根据一示例性实施例示出的面部瑕疵检测方法的流程图；
图5是根据一示例性实施例示出的面部瑕疵检测装置的结构框图；
图6为根据一示例性实施例示出的电子设备的另一结构示意图；
图7为根据一示例性实施例示出的电子设备的另一结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
如前所述，相关技术中存在对面部图像进行是否存在瑕疵检测的时候，仅仅可以检测出面部图像中凸起部分的大致轮廓，而无法准确的确定该凸起是否为瑕疵，即该凸起是否为人体的面部缺陷，例如痘痘、痘印、雀斑、疤痕等等。也就是说，这样确定出的瑕疵的准确性比较低。
鉴于此，本公开实施例提供一种面部瑕疵检测方法，通过该方法可以通过机器学习的方式检测待检测的面部图像中除固有特征外的瑕疵特征，这样的方式，可以使得检测的结果准确性较高。
介绍完本公开实施例的设计思想之后，下面对本公开实施例中的面部瑕疵检测的技术方案适用的应用场景做一些简单介绍，需要说明的是，本公开实施例描述的应用场景是为了更加清楚的说明本公开实施例的技术方案，并不构成对于本公开实施例提供的技术方案的限定，本领域普通技术人员可知，随着新应用场景的出现，本公开实施例提供的技术方案对于类似的技术问题，同样适用。
在本公开实施例中，该技术方案可以应用于医美等对人体面部瑕疵具有检测需求的任一场景，本公开实施例中不做限制。在具体实施过程中，请参见图1所示的一种应用场景示意图，图1包括包含面部图像采集单元的采集设备和电子设备两部分，需要说明的是，图1中仅以三个包含面部采集单元的采集设备(即采集设备1、采集设备2以及采集设备3)和一个电子设备示出，在具体实施过程中，可以是多个包含面部图像采集单元的采集设备与1个电子设备之间进行交互，也可以是多个包含面部图像采集单元的采集设备和多个电子设备之间进行交互。
在本公开实施例中，采集设备可以预先采集多个含有面部瑕疵特征的面部图像，然后将前述采集的面部图像发送给电子设备，电子设备可以采用前述的多个面部图像进行面部检测模型训练，从而获得训练后的面部检测模型，进而可以使用训练后的面部检测模型对采集设备发送的待检测的面部图像进行检测，获得待检测的面部图像的瑕疵特征的信息。
为进一步说明本公开实施例提供的面部瑕疵检测的方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本公开实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本公开实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的应用环境)。
本公开实施例提供一种面部瑕疵检测方法，该方法可以应用于前述的任一电子设备。请参见图2，本公开实施例中的电子设备包括接收器、数据生成器和发送器，以及还包括面部瑕疵分析器。其中，接收器用于接收其它设备发送给该电子设备的信息，例如接收采集设备发送的待训练的多个含有面部瑕疵特征的面部图像，面部瑕疵分析器可以对含有面部瑕疵特征的面部图像进行分析，例如根据接收器所接收的待训练的多个含有面部瑕疵特征的面部图像对面部图像的瑕疵特征进行分析，进而得到分析结果，面部瑕疵分析器可以将分析结果发送给数据生成器，使得数据生成器可以按照获得的数据生成规则生成面部瑕疵特定数据和面部固有特征数据，然后通过发送器向其它设备发送生成的面部瑕疵特定数据，或者是将面部瑕疵特定数据和面部固有特征数据存储在电子设备中，以为下次的面部图像检测提供数据。
在具体实施过程中，图2所示的电子设备可以是笔记本电脑、个人电脑、手机、个人数字助理(Personal Digital Assistant，PDA)、个人计算机等终端设备，或者也可以是服务器，该服务器例如是个人计算机、大中型计算机、计算机集群，等等。
以下结合图4所示的方法流程图对本公开实施例中的面部瑕疵检测的方法进行说明，图4所示的各步骤可以由如图2所示的电子设备执行。
在本公开实施例中，可以确定待训练的多个含有面部瑕疵特征的面部图像，再使用这些待训练的面部图像对面部检测模型进行训练，以得到训练后的面部检测模型，然后再通过训练后的面部检测模型检测新的待检测的面部图像，在介绍面部瑕疵检测方法之前，以下先介绍本公开实施例中获得训练预设的面部检测模型的过程，请参见图3，图3为本公开实施例中获得训练后的面部检测模型的流程示意图。
在步骤S301中，获得待训练的多个含有瑕疵标注信息的面部图像。
在本公开实施例中，可以通过前述的采集设备采集多个含有面部瑕疵特征的面部图像，然后采集设备将采集的多个含有面部瑕疵特征的面部图像发送给电子设备，电子设备的接收器接收多个面部图像，并将前述的多个面部图像发送给面部瑕疵分析器，从而可以确定待训练的多个含有面部瑕疵特征的面部图像。
在具体的实施过程中，可以是采面部痘印严重的面部图像，还可以是采集雀斑较多的面部图像，还可以是采集疤痕较多的面部图像，然后将前述的具有某一类瑕疵特征较多的多个面部图像作为待训练的面部图像；还可以是将采集的包含多个类别的瑕疵特征的多个面部图像作为待训练的面部图像。需要说明的是，本公开实施例中确定的多个含有面部瑕疵特征的面部图像中包括各种不同情况的男生和女生的面部图像，具体的数目和选择标准本公开实施例中不做限制。
在本公开实施例中，当确定待训练的多个含有面部瑕疵特征的面部图像之后，还可以确定前多个含有面部瑕疵特征的面部图像中的瑕疵特征的位置、形状、类别信息，然后对多个含有面部瑕疵特征的面部图像中的瑕疵特征进行标注，从而可以获得待训练的多个含有瑕疵标注信息的面部图像。也就是说，在保障训练样本的多样性的基础上，还对训练样本进行瑕疵特征的信息的标注处理，这样的话，可以使得确定出的训练样本尽可能的满足多种实际需求，进而提高采用该训练样本的预设的面部检测模型的训练的准确性。
例如，确定的待训练的含有面部瑕疵特征的面部图像为100个，则可以先确定前述的100个面部图像中的瑕疵特征的位置、形状以及类别信息，然后可以采用人工标注的方式对100图像中的瑕疵特征的具体的位置、形状以及类别进行标注，从而可以获得100个待训练的含有瑕疵标注信息的面部图像。
在具体的实施过程中，可以通过电子设备中面部瑕疵分析器对待训练的多个含有面部瑕疵特征的面部图像中的瑕疵特征进行分析，从而可以获得瑕疵特征的位置、形状、类别信息即分析结果，然后可以将分析结果发送给数据生成器，数据生成器生成相对应的数据，从而可以对数据进行统计，确定带有瑕疵特征的面部图像中瑕疵特征的信息，然后可以根据瑕疵特征的信息对面部检测模型进行训练，得到训练后的面部检测模型。
在本公开实施例中，可以对待训练的面部图像中的瑕疵特征进行标注以实现瑕疵特征分类，即根据具体的瑕疵特征信息去大致分为痘、痣、伤疤、雀斑等等类别的瑕疵特征。
在具体的实施过程中，对确定的待训练的一张面部图像，可以采用手动标记处理的方式将瑕疵特征的检测框确定出来，然后可以再给每个检测框记录一个标签，从而可以确定出除固有特征外的瑕疵特征的信息，还可以给瑕疵进行分类，即标注瑕疵的类别信息，例如检测框1，痘类瑕疵；检测框2，痣类瑕疵。进一步地，可以将瑕疵类别信息和检测框对应标注称为标签，并将确定的多个标签和待训练的面部图像一起进行训练，得到训练后的面部检测模型。
在步骤S302中，将待训练的多个含有瑕疵标注信息的面部图像输入到预设面部检测模型中进行训练，获得多个输出结果，并将输出结果与瑕疵标注信息进行比对，以获得多个比对结果。
在本公开实施例中，可以将前述具体确定的多个含有瑕疵标注信息的面部图像作为待训练的面部图像，通过待训练的多个含有瑕疵标注信息的面部图像，对设置的面部检测模型进行训练，可以得到训练后的面部检测模型。
在本公开实施例中，可以将待训练的多个含有瑕疵标注信息的面部图像输入到预设面部检测模型中进行训练，可以获得多个输出结果，然后可以将输出结果与瑕疵标注信息进行比对，从而可以获得多个比对结果。
在步骤S303中，根据多个比对结果，对预设的面部检测模型进行调整，以得到训练后的面部检测模型。
在本公开实施例中，当获得多个比对结果之后，可以根据多个比对结果，对预设的面部检测模型进行训练，从而可以得到训练后的面部检测模型，具体的，可以确定整体损失函数，然后在对预设面部检测模型进行训练之后，通过整体损失函数对训练后的预设面部检测模型进行收敛检验，当确定训练后的预设面部检测模型已收敛，则可以获得训练后的面部检测模型，当确定训练后的预设面部检测模型未收敛，则继续对预设面部检测模型进行训练，直到确定对预设训练模型进行训练后的模型收敛，则确定获得训练后的面部检测模型。
在公开实施例中，确定整体损失函数的具体过程如下：
可以确定通过预设面部检测模型检测多个瑕疵特征的位置信息的预测值，并根据预测值和与预测值对应的标注信息的差值，获得第一损失函数；以及，确定通过预设面部检测模型检测多个瑕疵特征的形状信息的预测值，并根据形状信息的预测值和与预测值对应的标注信息的差值，获得第二损失函数；以及，确定通过预设面部检测模型检测多个瑕疵特征的类别信息的预测值，并根据类别信息的预测值和与预测值对应的标注信息的差值，获得第三损失函数。需要说明的是，在本公开实施例中，获得第一损失函数、第二损失函数以及第三损失函数的顺序进行限制，例如可以是同时获得，也可以是先获得第三损失函数，然后再获得第一损失函数以及第二损失函数。
进一步地，在获得第一损失函数、第二损失函数以及第三损失函数之后，可以将第一损失函数、第二损失函数以及第三损失函数进行加权计算，获得整体损失函数。
在具体的实施过程中，第一损失函数、第二损失函数以及第三损失函数的权值可以根据具体的训练进行确定调整，本公开实施例不做限制。
也就是说，在本公开实施例中，可以通过待训练的多个含有面部瑕疵特征的面部图像对设置的面部检测模型进行训练，从而获得训练后的面部检测模型，通过前述的训练方式，可以知晓训练后的面部检测模型可以实现对瑕疵特征的位置、形状以及类别的检测。进一步地，由于是采用比较均衡，且数量较大的面部图像对设置的面部检测模型进行训练，从而可以使得训练后的面部检测模型的检测结果的准确性较高。
进一步地，在本公开实施例中，当获得训练后的面部检测模型之后，可以根据该模型对待检测的面部图像进行检测，具体的，请参见如图4所示的流程图。
在步骤S401中，获取待检测的面部图像。
在步骤S402中，通过训练后的面部检测模型对待检测的面部图像进行降采样处理，并对降采样处理后的面部图像进行深层特征提取，获得针对待检测的面部图像的第一图像特征信息；以及，对待检测的面部图像进行浅层特征提取处理，获得针对待检测的面部图像的第二图像特征信息。
在步骤S403中，通过训练后的面部检测模型将第一图像特征信息和第二特征图像信息进行级联处理，获得目标特征图像信息。
在本公开实施例中，可以通过前述的采集设备采集待检测的面部图像，然后将该待检测的面部图像直接发送给电子设备，从而电子设备可以获取到待检测的面部图像。
在本公开实施例中，为了检测分辨率大小不同的目标特征，可以对待检测的图像进行分辨率不同的缩放处理，然后将缩放处理后的分辨率不同的图像进行提取，然后可以获得图像特征全面的信息。需要说明的是，在本公开实施例中，可以采用浅层架构的即具有更扁平的拓扑结构的提取网络，来进行浅层特征的提取，可以采用深层架构的即具有多个分层拓扑层的提取网络，来进行深层特征的提取。例如可以将浅层架构的提取网络理解为只有一层拓扑结构的网络，将深层架构的提取网络理解为具有三层拓扑结构的网络。
在本公开实施例中，可以通过训练后的面部检测模型对待检测的面部图像进行降采样处理，并对降采样处理后的面部图像进行深层特征提取，获得针对待检测的面部图像的第一图像特征信息，具体的，可以是将待检测的面部图像进行降采样处理，获得第一处理图像，然后将第一处理图像进行特征提取处理，获得第一处理图像的特征图序列，并对特征图序列进行反卷积处理并将前述反卷积处理后的结果相加，从而获得针对待检测的面部图像的第一图像特征信息。
在具体实施过程中，前述的对图像进行降采样处理的方式例如可以通过VGG16、InceptionV1、InceptionV2、resnet、Inception-resnet等特征提取网络进行处理。
在本公开实施例中，还可以通过训练后的面部检测模型在对待检测的面部图像进行深层特征提取处理的同时，可以对待检测的面部图像进行浅层特征提取处理，也就是说，可以对待检测的面部图像进行并行的特征提取处理。
在本公开实施例中，当通过训练后的面部检测模型对待检测的面部图像进行处理，获得针对待检测的面部图像的第一图像特征信息和第二图像特征信息之后，还可以通过训练后的面部检测模型将第一图像特征信息和第二特征图像信息进行级联处理，获得目标特征图像信息。
在本公开实施例中，采用前述的方式对待检测的面部图像进行处理，可以利用低分辨率面部图像的处理高效性，来获得面部图像中深层次的特征。进一步的，还可以利用高分辨率面部来补充特征细节，进而将这些特征结合起来去为后续的瑕疵特征的检测。这样的话，可以获得比较多的特征信息，从而使得采用前述的训练后的面部检测模型进行检测时，获得的瑕疵特征的信息更为准确。
在步骤S404中，通过训练后的面部检测模型对待检测的面部图像进行检测处理，获得待检测的面部图像的瑕疵特征的信息。
在本公开实施例中，在采用前述的方式训练面部检测模型之后，可以将待检测的面部图像输入训练后的面部检测模型，对待检测的面部图像进行检测处理，获得待检测的面部图像的瑕疵特征的信息。
在一种可能的实施方式中，可以通过训练后的面部检测模型获得目标特征图像信息中除固有特征外的目标瑕疵特征信息，然后根据目标瑕疵特征信息确定瑕疵特征的检测框位置信息，从而可以将检测框位置信息作为待检测的面部图像的瑕疵特征的位置信息。
也就是说，在本公开实施例中，通过训练后的面部检测模型可以将固有特征和瑕疵特征分别对应检测，然后可以通过直接确定瑕疵特征信息的检测框位置信息，确定出待检测的面部图像的瑕疵特征的位置信息，这样的方式，由于是将固有特征和瑕疵特征分离检测出，从而避免检测出的瑕疵特征为固有特征，从而提升确定的瑕疵特征的位置信息的准确性。
在一种可能的实施方式中，可以通过前述的训练后的面部检测模型来确定目标特征图像信息中瑕疵特征的检测框位置信息，然后可以对检测框中的每一个像素进行分割处理，获得检测框的前景像素信息和背景像素信息，并将检测框的前景像素信息进行组合处理，获得瑕疵特征的形状信息。
在本公开实施例中，通过对瑕疵特征的检测框的像素分割处理的方式，可以确定出检测框的前景像素信息和背景像素信息，从而可以准确的确定出瑕疵特征的形状信息，具体的，可以理解为通过像素分割处理的方式，将检测框中的瑕疵和皮肤区别开来，从而可以确定检测框中的瑕疵的形状。这样的方式，可以较为准确的确定出瑕疵的形状。
在一种可能的实施方式中，可以通过训练后的面部检测模型对确定目标特征图像信息中瑕疵特征的检测框位置信息，然后对检测框中的瑕疵特征进行分类处理，获得针对待检测的面部图像中瑕疵特征的分类预测集，其中，分类预测集中包括瑕疵特征的类别信息和与瑕疵特征的类别信息对应的概率值，从而当瑕疵特征的第一类别信息对应的概率值满足第一预设条件，则可以确定待检测的面部图像中瑕疵特征的类别为第一类别。
在本公开实施例中，通过训练后的面部检测模型对待检测的面部图像进行分类处理，可以获得面部图像中瑕疵特征的分类预测集，然后可以根据分类预测集中的信息和第一预设条件，确定瑕疵特征的类别信息。
例如，通过训练后的面部检测模型检测出的瑕疵特征的分类预测集为雀斑，10％；痘印70％；疤痕，4％；且第一预设条件瑕疵特征的类别信息对应的概率值为中的最大值，则可以确定痘印对应的概率值满足第一预设条件，从而可以确定出待检测的面部图像中瑕疵特征的类别为痘印。
需要说明的是，在本公开实施例中，通过训练后的面部检测模型对目标特征图像信息进行检测处理时，可以是一次性对目标特征图像信息中的瑕疵特征的位置信息、形状信息以及类别信息进行检测，获得目标特征图像信息中的瑕疵特征的位置、形状以及类别信息，也可以是仅仅获得目标特征图像信息中瑕疵特征的位置信息、形状信息以及类别信息中的至少一种信息，本公开实施例中不做限制。另外，在对目标特征图像信息中瑕疵特征的形状信息以及类别信息进行检测时，可以是基于确定的位置信息的检测框信息进行检测，也可以是直接通过训练后的模型重新确定检测框信息进行检测，本公开实施例中不做限定。
在一种可能的实施方式中，当确定出待检测的面部图像中的瑕疵特征的位置、形状以及类别信息之后，还可以输出提示信息，提示信息用于提示待检测的面部图像中存在瑕疵特征以及瑕疵特征类别信息、形状信息以及位置信息。通过该方式，可以及时通知用户面部图像的瑕疵特征的信息，进一步地，还可以确定具有针对性的治疗方案，从而将面部图像中的瑕疵特征进行相应的处理。
本公开实施例中，可以确定待训练的多个含有面部瑕疵特征的面部图像，再使用这些待训练的面部图像对面部检测模型进行训练，以得到训练后的面部检测模型，然后再通过训练后的面部检测模型检测模新的待检测的面部图像，由于面部检测模型可以用于检测面部图像中的瑕疵特征，也就是利用机器学习的方式来模拟替代人工的数据分析和方式构建，尽量消除由于分析人员的分析能力限制和主观性而导致的误判和分析不全面而导致的负面影响，从而可以在一定程度上提高分析和检测的准确性，提高瑕疵检测的有效性和检测效率。
并且，在进行机器学习时，是利用待训练的多个包含面部瑕疵特征的面部图像对面部检测模型进行训练学习，由于多个包含面部瑕疵特征的面部图像能够客观地反映出瑕疵的具体信息，所以通过待训练的多个包含面部瑕疵特征的面部图像进行模型训练学习的方式能够确保模型训练的准确性，使得训练后的预测防护模型能够尽量完整检测出人体面部瑕疵特征的信息。
进一步地，本公开中的检测方式是在对除固定特征(例如眼睛、鼻子、嘴巴等特征)外的特征进行检测，这样的话，可以避免由于检测到不完整的固定特征而误检测为瑕疵的情况出现。也就是说，通过面部检测模型对面部图像进行检测处理之后，可以确定该面部是否有斑、痘痘等瑕疵特征，从而提高瑕疵检测的准确性。
基于同一发明构思，本公开实施例提供了一种面部瑕疵检测装置，该面部瑕疵检测装置能够实现前述的面部瑕疵检测方法对应的功能。该面部瑕疵检测装置可以是硬件结构、软件模块、或硬件结构加软件模块。该面部瑕疵检测装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图5所示，该面部瑕疵检测装置包括获取单元501、处理单元502以及检测单元503。其中：
获取单元501，被配置为执行获取待检测的面部图像；
处理单元502，被配置为执行通过训练后的面部检测模型对所述待检测的面部图像进行降采样处理，并对降采样处理后的面部图像进行深层特征提取，获得针对所述待检测的面部图像的第一图像特征信息，以及对所述待检测的面部图像进行浅层特征提取处理，获得针对所述待检测的面部图像的第二图像特征信息；
所述处理单元502，还被配置为执行通过训练后的面部检测模型将所述第一图像特征信息和所述第二特征图像信息进行级联处理，获得目标特征图像信息；
检测单元503，被配置为执行通过训练后的面部检测模型对所述目标特征图像信息进行检测处理，获得所述待检测的面部图像的瑕疵特征的信息；其中，所述瑕疵特征用于表征所述面部图像中除固有特征外的其它特征。
在一种可能的实施方式中，所述检测单元503，被配置为执行：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息；
根据所述目标瑕疵特征信息确定所述瑕疵特征的检测框位置信息，以将所述检测框位置信息作为所述待检测的面部图像的瑕疵特征的位置信息。
在一种可能的实施方式中，所述检测单元503，被配置为执行：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息，并根据所述目标瑕疵特征信息确定所述目标特征图像信息中瑕疵特征的检测框信息；
对所述检测框中的每一个像素进行分割处理，获得所述检测框的前景像素信息和背景像素信息；
将所述检测框的前景像素信息进行组合处理，获得所述瑕疵特征的形状信息。
在一种可能的实施方式中，所述检测单元503，被配置为执行：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息，并根据所述目标瑕疵特征信息确定所述目标特征图像信息中瑕疵特征的检测框信息；
对所述检测框中的瑕疵特征进行分类处理，获得针对所述检测框中瑕疵特征的分类预测集，其中，所述分类预测集中包括所述瑕疵特征的类别信息和与所述瑕疵特征的类别信息对应的概率值；
若所述瑕疵特征的第一类别信息对应的概率值满足第一预设条件，则确定所述待检测的面部图像中所述瑕疵特征的类别为第一类别。
在一种可能的实施方式中，所述处理单元502，被配置为执行：
将所述待检测的面部图像进行降采样处理，获得第一处理图像；
将所述第一处理图像进行深层特征提取处理，获得第一处理图像的特征图序列，并对所述特征图序列进行反卷积处理并将所述反卷积处理后的结果相加，以获得针对所述待检测的面部图像的第一图像特征信息。
在一种可能的实施方式中，所述装置还被配置为执行：
确定多个含有面部瑕疵特征的面部图像中的瑕疵特征的位置、形状、类别信息，并对多个含有面部瑕疵特征的面部图像中的瑕疵特征进行标注，以获得待训练的多个含有瑕疵标注信息的面部图像；
将所述待训练的多个含有瑕疵标注信息的面部图像输入到预设面部检测模型中进行训练，获得多个输出结果，并将所述输出结果与所述瑕疵标注信息进行比对，以获得多个比对结果；
根据所述多个比对结果，对所述预设的面部检测模型进行调整，以得到训练后的面部检测模型。
在一种可能的实施方式中，所述装置还被配置为执行：
确定整体损失函数；
在对所述预设面部检测模型进行训练之后，通过所述整体损失函数对训练后的所述预设面部检测模型进行收敛检验；
当确定所述训练后的所述预设面部检测模型已收敛，则获得所述训练后的面部检测模型。
在一种可能的实施方式中，所述装置还被配置为执行：
确定通过所述预设面部检测模型检测多个所述瑕疵特征的位置信息的预测值，并根据所述预测值和与所述预测值对应的标注信息的差值，获得第一损失函数；
确定通过所述预设面部检测模型检测多个所述瑕疵特征的形状信息的预测值，并根据所述形状信息的预测值和与所述预测值对应的标注信息的差值，获得第二损失函数；以及，
确定通过所述预设面部检测模型检测多个所述瑕疵特征的类别信息的预测值，并根据所述类别信息的预测值和与所述预测值对应的标注信息的差值，获得第三损失函数；
将所述第一损失函数、所述第二损失函数以及所述第三损失函数进行加权计算，获得整体损失函数。
前述的如图4所示面部瑕疵检测方法的实施例涉及的各步骤的所有相关内容均可以援引到本公开实施例中的面部瑕疵检测装置所对应的功能模块的功能描述，在此不再赘述。
本公开实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本公开各个实施例中的各功能单元可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
基于同一发明构思，本公开实施例还提供一种电子设备，如图6所示，本公开实施例中的电子设备包括至少一个处理器601，以及与至少一个处理器601连接的存储器602和通信接口603，本公开实施例中不限定处理器601与存储器602之间的具体连接介质，图6中是以处理器601和存储器602之间通过总线600连接为例，总线600在图6中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线600可以分为地址总线、数据总线、控制总线等，为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本公开实施例中，存储器602存储有可被至少一个处理器601执行的指令，至少一个处理器601通过执行存储器602存储的指令，可以执行前述的面部瑕疵检测方法中所包括的步骤。
其中，处理器601是电子设备的控制中心，可以利用各种接口和线路连接整个故障检测设备的各个部分，通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的数据，计算设备的各种功能和处理数据，从而对计算设备进行整体监控。可选的，处理器601可包括一个或多个处理单元，处理器601可集成应用处理器和调制解调处理器，其中，处理器601主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。在一些实施例中，处理器601和存储器602可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。
处理器601可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本公开实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本公开实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。通信接口603是能够用于进行通信的传输接口，可以通过通信接口603接收数据或者发送数据。
参见图7所示的电子设备的进一步地的结构示意图，该电子设备还包括帮助电子设备内的各个器件之间传输信息的基本输入/输出系统(I/O系统)701、用于存储操作系统702、应用程序703和其他程序模块704的大容量存储设备705。
基本输入/输出系统701包括有用于显示信息的显示器706和用于用户输入信息的诸如鼠标、键盘之类的输入设备707。其中显示器706和输入设备707都通过连接到系统总线600的基本输入/输出系统701连接到处理器601。所述基本输入/输出系统701还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备705通过连接到系统总线600的大容量存储控制器(未示出)连接到处理器601。所述大容量存储设备705及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说，大容量存储设备705可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
根据本公开的各种实施例，该计算设备包还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该计算设备可以通过连接在所述系统总线600上的通信接口603连接到网络708，或者说，也可以使用通信接口603来连接到其他类型的网络或远程计算机系统(未示出)。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器602，上述指令可由装置的处理器601执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在一些可能的实施方式中，本公开提供的面部瑕疵检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本公开各种示例性实施方式的面部瑕疵检测方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (14)

1.一种面部瑕疵检测方法，其特征在于，所述方法包括：
获取待检测的面部图像；
通过训练后的面部检测模型对所述待检测的面部图像进行降采样处理，并对降采样处理后的面部图像进行深层特征提取，获得针对所述待检测的面部图像的第一图像特征信息，以及对所述待检测的面部图像进行浅层特征提取处理，获得针对所述待检测的面部图像的第二图像特征信息；
通过训练后的面部检测模型将所述第一图像特征信息和所述第二图像特征信息进行级联处理，获得目标特征图像信息；
通过训练后的面部检测模型对所述目标特征图像信息进行检测处理，获得所述待检测的面部图像的瑕疵特征的信息；其中，所述瑕疵特征用于表征所述面部图像中除固有特征外的其它特征；
其中，所述通过训练后的面部检测模型对所述目标特征图像信息进行检测处理，获得所述待检测的面部图像的瑕疵特征的信息，至少包括：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息；
根据所述目标瑕疵特征信息确定所述瑕疵特征的检测框位置信息，以将所述检测框位置信息作为所述待检测的面部图像的瑕疵特征的位置信息；
所述通过训练后的面部检测模型对所述目标特征图像信息进行检测处理，获得所述待检测的面部图像的瑕疵特征的信息，还包括：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息，并根据所述目标瑕疵特征信息确定所述目标特征图像信息中瑕疵特征的检测框信息；
对所述检测框信息中的瑕疵特征进行分类处理，获得针对所述检测框中瑕疵特征的分类预测集，其中，所述分类预测集中包括所述瑕疵特征的类别信息和与所述瑕疵特征的类别信息对应的概率值；
若所述瑕疵特征的第一类别信息对应的概率值满足第一预设条件，则确定所述待检测的面部图像中所述瑕疵特征的类别为第一类别。
2.如权利要求1所述的方法，其特征在于，所述通过训练后的面部检测模型对所述目标特征图像信息进行检测处理，获得所述待检测的面部图像的瑕疵特征的信息，还包括：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息，并根据所述目标瑕疵特征信息确定所述目标特征图像信息中瑕疵特征的检测框信息；
对所述检测框信息中的每一个像素进行分割处理，获得所述检测框的前景像素信息和背景像素信息；
将所述检测框的前景像素信息进行组合处理，获得所述瑕疵特征的形状信息。
3.如权利要求1所述的方法，其特征在于，对所述待检测的面部图像进行降采样处理，并对降采样处理后的面部图像进行深层特征提取，获得针对所述待检测的面部图像的第一图像特征信息，包括：
将所述待检测的面部图像进行降采样处理，获得第一处理图像；
将所述第一处理图像进行深层特征提取处理，获得第一处理图像的特征图序列，并对所述特征图序列进行反卷积处理并将所述反卷积处理后的结果相加，以获得针对所述待检测的面部图像的第一图像特征信息。
4.如权利要求1所述的方法，其特征在于，所述训练后的面部检测模型通过以下方式训练得到，包括：
确定多个含有面部瑕疵特征的面部图像中的瑕疵特征的位置、形状、类别信息，并对多个含有面部瑕疵特征的面部图像中的瑕疵特征进行标注，以获得待训练的多个含有瑕疵标注信息的面部图像；
将所述待训练的多个含有瑕疵标注信息的面部图像输入到预设面部检测模型中进行训练，获得多个输出结果，并将所述输出结果与所述瑕疵标注信息进行比对，以获得多个比对结果；
根据所述多个比对结果，对所述预设的面部检测模型进行调整，以得到训练后的面部检测模型。
5.如权利要求4所述的方法，其特征在于，根据所述多个比对结果，对所述预设的面部检测模型进行训练，以得到训练后的面部检测模型，包括：
确定整体损失函数；
在对所述预设面部检测模型进行训练之后，通过所述整体损失函数对训练后的所述预设面部检测模型进行收敛检验；
当确定所述训练后的所述预设面部检测模型已收敛，则获得所述训练后的面部检测模型。
6.如权利要求5所述的方法，其特征在于，确定整体损失函数，包括：
确定通过所述预设面部检测模型检测多个所述瑕疵特征的位置信息的预测值，并根据所述预测值和与所述预测值对应的标注信息的差值，获得第一损失函数；
确定通过所述预设面部检测模型检测多个所述瑕疵特征的形状信息的预测值，并根据所述形状信息的预测值和与所述预测值对应的标注信息的差值，获得第二损失函数；以及，
确定通过所述预设面部检测模型检测多个所述瑕疵特征的类别信息的预测值，并根据所述类别信息的预测值和与所述预测值对应的标注信息的差值，获得第三损失函数；
将所述第一损失函数、所述第二损失函数以及所述第三损失函数进行加权计算，获得整体损失函数。
7.一种面部瑕疵检测装置，其特征在于，所述装置包括：
获取单元，被配置为执行获取待检测的面部图像；
处理单元，被配置为执行通过训练后的面部检测模型对所述待检测的面部图像进行降采样处理，并对降采样处理后的面部图像进行深层特征提取，获得针对所述待检测的面部图像的第一图像特征信息，以及对所述待检测的面部图像进行浅层特征提取处理，获得针对所述待检测的面部图像的第二图像特征信息；
所述处理单元，还被配置为执行通过训练后的面部检测模型将所述第一图像特征信息和所述第二图像特征信息进行级联处理，获得目标特征图像信息；
检测单元，被配置为执行通过训练后的面部检测模型对所述目标特征图像信息进行检测处理，获得所述待检测的面部图像的瑕疵特征的信息；其中，所述瑕疵特征用于表征所述面部图像中除固有特征外的其它特征；
其中，所述检测单元，被配置为执行：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息；
根据所述目标瑕疵特征信息确定所述瑕疵特征的检测框位置信息，以将所述检测框位置信息作为所述待检测的面部图像的瑕疵特征的位置信息；
所述检测单元，还被配置为执行：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息，并根据所述目标瑕疵特征信息确定所述目标特征图像信息中瑕疵特征的检测框信息；
对所述检测框中的瑕疵特征进行分类处理，获得针对所述检测框中瑕疵特征的分类预测集，其中，所述分类预测集中包括所述瑕疵特征的类别信息和与所述瑕疵特征的类别信息对应的概率值；
若所述瑕疵特征的第一类别信息对应的概率值满足第一预设条件，则确定所述待检测的面部图像中所述瑕疵特征的类别为第一类别。
8.如权利要求7所述的装置，其特征在于，所述检测单元，还被配置为执行：
获得所述目标特征图像信息中除固有特征外的目标瑕疵特征信息，并根据所述目标瑕疵特征信息确定所述目标特征图像信息中瑕疵特征的检测框信息；
对所述检测框中的每一个像素进行分割处理，获得所述检测框的前景像素信息和背景像素信息；
将所述检测框的前景像素信息进行组合处理，获得所述瑕疵特征的形状信息。
9.如权利要求7所述的装置，其特征在于，所述处理单元，被配置为执行：
将所述待检测的面部图像进行降采样处理，获得第一处理图像；
将所述第一处理图像进行深层特征提取处理，获得第一处理图像的特征图序列，并对所述特征图序列进行反卷积处理并将所述反卷积处理后的结果相加，以获得针对所述待检测的面部图像的第一图像特征信息。
10.如权利要求7所述的装置，其特征在于，所述装置还包括训练单元，所述训练单元被配置为执行：
确定多个含有面部瑕疵特征的面部图像中的瑕疵特征的位置、形状、类别信息，并对多个含有面部瑕疵特征的面部图像中的瑕疵特征进行标注，以获得待训练的多个含有瑕疵标注信息的面部图像；
将所述待训练的多个含有瑕疵标注信息的面部图像输入到预设面部检测模型中进行训练，获得多个输出结果，并将所述输出结果与所述瑕疵标注信息进行比对，以获得多个比对结果；
根据所述多个比对结果，对所述预设的面部检测模型进行调整，以得到训练后的面部检测模型。
11.如权利要求10所述的装置，其特征在于，所述训练单元还被配置为执行：
确定整体损失函数；
在对所述预设面部检测模型进行训练之后，通过所述整体损失函数对训练后的所述预设面部检测模型进行收敛检验；
当确定所述训练后的所述预设面部检测模型已收敛，则获得所述训练后的面部检测模型。
12.如权利要求11所述的装置，其特征在于，所述训练单元还被配置为执行：
确定通过所述预设面部检测模型检测多个所述瑕疵特征的位置信息的预测值，并根据所述预测值和与所述预测值对应的标注信息的差值，获得第一损失函数；
确定通过所述预设面部检测模型检测多个所述瑕疵特征的形状信息的预测值，并根据所述形状信息的预测值和与所述预测值对应的标注信息的差值，获得第二损失函数；以及，
确定通过所述预设面部检测模型检测多个所述瑕疵特征的类别信息的预测值，并根据所述类别信息的预测值和与所述预测值对应的标注信息的差值，获得第三损失函数；
将所述第一损失函数、所述第二损失函数以及所述第三损失函数进行加权计算，获得整体损失函数。
13.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现根据权利要求1-6中任一项所述的面部瑕疵检测方法。
14.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行根据权利要求1-6中任一项所述的面部瑕疵检测方法。
CN201910979099.7A 2019-10-15 2019-10-15 一种面部瑕疵检测方法、装置、电子设备及存储介质 Active CN110796039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910979099.7A CN110796039B (zh) 2019-10-15 2019-10-15 一种面部瑕疵检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910979099.7A CN110796039B (zh) 2019-10-15 2019-10-15 一种面部瑕疵检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110796039A CN110796039A (zh) 2020-02-14
CN110796039B true CN110796039B (zh) 2021-04-27

Family

ID=69440371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910979099.7A Active CN110796039B (zh) 2019-10-15 2019-10-15 一种面部瑕疵检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110796039B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914656A (zh) * 2020-07-06 2020-11-10 浙江大华技术股份有限公司 一种人员行为检测方法、装置、电子设备及存储介质
CN114494071A (zh) * 2022-01-28 2022-05-13 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质
CN115661486B (zh) * 2022-12-29 2023-04-07 有米科技股份有限公司 图像特征的智能提取方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886307A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像检测方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7010607B1 (en) * 1999-09-15 2006-03-07 Hewlett-Packard Development Company, L.P. Method for training a communication link between ports to correct for errors
US20130289381A1 (en) * 2011-11-02 2013-10-31 Seno Medical Instruments, Inc. Dual modality imaging system for coregistered functional and anatomical mapping
CN104318262A (zh) * 2014-09-12 2015-01-28 上海明穆电子科技有限公司 通过人脸照片更换皮肤的方法及系统
CN106228158A (zh) * 2016-07-25 2016-12-14 北京小米移动软件有限公司 图片检测的方法和装置
CN107316295A (zh) * 2017-07-02 2017-11-03 苏州大学 一种基于深度神经网络的织物瑕疵检测方法
CN108038857B (zh) * 2017-12-25 2018-10-12 北京航空航天大学 一种基于语义信息与边缘约束的前景目标检测方法
US10346969B1 (en) * 2018-01-02 2019-07-09 Amazon Technologies, Inc. Detecting surface flaws using computer vision
CN108460403A (zh) * 2018-01-23 2018-08-28 上海交通大学 一种图像中多尺度特征融合的目标检测方法与系统
CN110163858A (zh) * 2019-05-27 2019-08-23 成都数之联科技有限公司 一种铝型材表面缺陷检测与分类方法及系统
CN110335270B (zh) * 2019-07-09 2022-09-13 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886307A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像检测方法及系统

Also Published As

Publication number Publication date
CN110796039A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN110796039B (zh) 一种面部瑕疵检测方法、装置、电子设备及存储介质
CN103065134B (zh) 一种具有提示信息的指纹识别装置和方法
CN111046959A (zh) 模型训练方法、装置、设备和存储介质
CN109670437B (zh) 年龄预估模型训练方法、面部图像识别方法及装置
JP2018534694A (ja) 物体検出のためのサブカテゴリ認識機能付き畳み込みニューラルネットワーク
WO2020133442A1 (zh) 一种识别文本的方法及终端设备
CN108960163A (zh) 手势识别方法、装置、设备和存储介质
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN111310826B (zh) 样本集的标注异常检测方法、装置及电子设备
Vanetti et al. Gas meter reading from real world images using a multi-net system
CN110889437B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111552837A (zh) 基于深度学习的动物视频标签自动生成方法、终端及介质
CN110796069B (zh) 一种行为检测方法、系统、设备及机器可读介质
US11893773B2 (en) Finger vein comparison method, computer equipment, and storage medium
CN113763348A (zh) 图像质量确定方法、装置、电子设备及存储介质
CN113255516A (zh) 活体检测方法、装置和电子设备
CN110728193B (zh) 一种脸部图像丰富度特征的检测方法及设备
CN113177554B (zh) 甲状腺结节识别与分割方法、系统、存储介质及设备
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN113139452A (zh) 基于目标检测的使用手机行为的检测方法
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN112686122A (zh) 人体及影子的检测方法、装置、电子设备、存储介质
CN113743434A (zh) 一种目标检测网络的训练方法、图像增广方法及装置
CN116309459A (zh) 基于改进网络的肺结节检测方法、装置、设备和存储介质
CN110796071A (zh) 行为检测方法、系统、机器可读介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant