CN111695463A - 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法 - Google Patents

人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法 Download PDF

Info

Publication number
CN111695463A
CN111695463A CN202010477045.3A CN202010477045A CN111695463A CN 111695463 A CN111695463 A CN 111695463A CN 202010477045 A CN202010477045 A CN 202010477045A CN 111695463 A CN111695463 A CN 111695463A
Authority
CN
China
Prior art keywords
facial
impurity
face
feature map
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010477045.3A
Other languages
English (en)
Other versions
CN111695463B (zh
Inventor
陈仿雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Original Assignee
Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shuliantianxia Intelligent Technology Co Ltd filed Critical Shenzhen Shuliantianxia Intelligent Technology Co Ltd
Priority to CN202010477045.3A priority Critical patent/CN111695463B/zh
Publication of CN111695463A publication Critical patent/CN111695463A/zh
Application granted granted Critical
Publication of CN111695463B publication Critical patent/CN111695463B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明实施例涉及人工智能技术领域，公开了一种人脸面部杂质检测模型的训练方法，该方法包括：获取训练样本集，训练样本集包括面部杂质的面部杂质标注信息以及人脸多区域的面部杂质严重等级标注信息；将训练样本集输入改进型yolov3模型，输出训练样本集中人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息；基于多尺度融合反馈损失函数，计算面部杂质损失及面部杂质严重等级损失，得到改进型yolov3模型的总损失；若总损失大于预设阈值，则调整改进型yolov3模型的参数，继续训练，直至使得总损失小于等于预设阈值，得到人脸面部杂质检测模型。通过上述方式，本发明实施例实现了有效提升面部杂质检测的准确度的有益效果。

Description

人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法
技术领域
本发明实施例涉及人工智能技术领域，具体涉及一种人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法、人脸面部杂质检测模型的训练装置、人脸面部杂质检测装置、电子设备及计算机介质。
背景技术
目前，随着移动通信技术的快速发展以及人民生活水平的提升，各种智能终端已广泛应用于人民的日常工作和生活，使得人们越来越习惯于使用APP等软件，这使得美颜自拍、拍照测肤等此类功能的APP需求也变得越来越多，用户希望此类APP能够自动分析出人脸的面部状态，如面部的痘痘、斑、痣等面部杂质，此外，用于检测面部状态的各种测肤仪器以及面部自动化修复设备，其需要确定面部杂质的具体位置，从而进行自动化的修复。然而，目前大多数测肤仪器或面部自动化修复系统，大部分采用图像二值化处理，并通过连通域来获取面部杂质区域，其检测面部状态的过程繁琐、智能化低、准确率低且易受光照强度、亮度等因素干扰，不利于用户的体验，同时面部杂质有效信息小，特征不够明显，传统的图像处理算法很难满足需求。
发明内容
鉴于上述问题，本发明实施例提供了一种人脸面部杂质检测方法，用于解决现有技术中存在的面部杂质检测准确度低、易受环境影响、鲁棒性低等的问题。
根据本发明实施例的一个方面，提供了一种人脸面部杂质检测模型的训练方法，所述方法包括：
获取训练样本集，所述训练样本集包括对人脸图像中面部杂质的面部杂质标注信息以及对人脸图像中人脸多个区域的面部杂质严重等级标注信息；
将所述训练样本集输入预设的改进型yolov3模型，输出所述训练样本集中人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息；
基于预设的多尺度融合反馈损失函数，根据所述训练样本集中人脸图像的面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息分别计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到所述改进型yolov3模型的总损失，所述多尺度融合反馈损失函数为融合了面部杂质损失和面部杂质严重等级的损失函数；
若所述总损失大于预设阈值，则调整所述改进型yolov3模型的参数，将所述训练样本集输入所述改进型yolov3模型继续训练，直至使得所述总损失小于等于所述预设阈值，得到人脸面部杂质检测模型。
在一种可选的方式中，所述面部杂质标注信息包括面部杂质标注框信息及面部杂质标注类别信息，所述人脸多个区域的面部杂质严重等级标注信息包括人脸多个区域的面部杂质严重等级标注标签；所述面部杂质预测信息包括面部杂质预测框信息及面部杂质预测类别信息，所述人脸多个区域的面部杂质严重等级预测信息包括人脸多个区域的面部杂质严重等级预测标签；
所述基于预设的多尺度融合反馈函数，根据所述面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到所述改进型yolov3模型的总损失，进一步包括：
基于预设的多尺度融合反馈函数，根据所述面部杂质标注框信息及所述面部杂质预测框信息计算面部杂质预测框的位置偏移损失；
基于预设的多尺度融合反馈函数，根据所述面部杂质标注类别信息及所述面部杂质预测类别信息计算面部杂质分类损失；
基于预设的多尺度融合反馈函数，根据所述面部杂质标注类别信息及所述面部杂质预测类别信息计算面部杂质的置信度损失；
基于预设的多尺度融合反馈函数，根据所述严重等级标注标签及所述严重等级预测标签计算人脸多个区域的面部杂质严重等级标签损失；
根据所述位置偏移损失、所述面部杂质分类损失、所述置信度损失以及所述面部杂质严重等级标签损失，得到所述总损失。
在一种可选的方式中，所述多尺度融合反馈损失函数为：
Figure BDA0002516176920000021
其中，λobj为面部杂质预测框的位置偏移权重，α为面部杂质类别的置信度损失权重，β为面部杂质严重的程度类别权重，Twidth和Theight分别为面部杂质标注框的宽度值和高度值，Tr和Pr分别为面部杂质标注框的坐标参数和面部杂质预测框的坐标参数，K为面部杂质预测类别个数，Tclass为面部杂质标注类别，Pclass为面部杂质预测类别，Tconf为面部杂质标注类别信息的置信度，Pconf为面部杂质预测框信息的置信度，Tlabel为面部杂质严重等级标注标签，Plabel为面部杂质严重等级预测标签。
在一种可选的方式中，所述改进型yolov3模型包括特征提取网络，其中，所述特征提取网络包括：
第一特征提取模块，用于接收训练样本集中的人脸图像，并对所述训练样本集中的人脸图像进行特征提取，以得到第一尺度特征图；
第二特征提取模块，用于对所述第一尺度特征图进行特征提取，以得到第二尺度特征图；
第三特征提取模块，用于对所述第二尺度特征图进行特征提取，以得到第三尺度特征图；
第一连接模块，用于将所述第一尺度特征图进行采样后，得到第一采样特征图，并将所述第一采样特征图输入所述第三特征提取模块；
第三特征提取模块，还用于接收所述第一采样特征图，将所述第一采样特征图及第三尺度特征图进行融合，得到第一融合特征图；
第四特征提取模块，用于对所述第一融合特征图进行特征提取，以得到第四尺度特征图；
第二连接模块，用于对所述第一尺度特征图进行采样后，得到第二采样特征图，并将所述第二采样特征图输入所述第四特征提取模块；
第三连接模块，用于对所述第二尺度特征图进行采样，得到第三采样特征图，并将所述第三采样特征图输入所述第四特征提取模块；
第四特征提取模块，还用于接收所述第二采样特征图及所述第三采样特征图，并将所述第四尺度特征图、第二采样特征图、第三采样特征图进行融合，得到第二融合特征图；
第五特征提取模块，用于对所述第二融合特征图进行特征提取，以得到第五尺度特征图；
所述第一融合特征图、所述第二融合特征图以及所述第五尺度特征图被用于确定所述人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息。
在一种可选的方式中，所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块及第五特征提取模块均包括卷积核及类残差神经网络，其中，所述类残差神经网络包括第一卷积层及与第一卷积层相加的第二卷积层，所述第一卷积层包括CBL单元，所述CBL单元包括卷积核、BN层及激活函数；
所述第一连接模块、第二连接模块及第三连接模块均包括卷积核及采样单元。
根据本发明实施例的另一方面，提供了一种人脸面部杂质检测方法，包括：
获取待检测的人脸图像；
将所述待检测的人脸图像输入至人脸面部杂质检测模型，其中，所述人脸面部杂质检测模型通过上述的人脸面部杂质检测模型的训练方法训练得到；
输出人脸图像中的面部杂质检测结果。
根据本发明实施例的另一方面，提供了一种人脸面部杂质检测模型的训练装置，包括：
训练样本集获取模块，用于获取训练样本集，所述训练样本集包括对人脸图像中面部杂质的面部杂质标注信息以及对人脸图像中人脸多个区域的面部杂质严重等级标注信息；
训练模块，用于将所述训练样本集输入预设的改进型yolov3模型，输出所述训练样本集中人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息；
损失计算模块，用于基于预设的多尺度融合反馈损失函数，根据所述训练样本集中人脸图像的面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息分别计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到所述改进型yolov3模型的总损失，所述多尺度融合反馈损失函数为融合了面部杂质损失和面部杂质严重等级的损失函数；
参数调整模块，用于若所述总损失大于预设阈值，则调整所述改进型yolov3模型的参数，将所述训练样本集输入所述改进型yolov3模型继续训练，直至使得所述总损失小于等于所述预设阈值，得到人脸面部杂质检测模型。
根据本发明实施例的另一方面，提供一种人脸面部杂质检测装置，包括：
输入模块，用于获取待检测的人脸图像；
检测模块，用于将所述待检测的人脸图像输入至人脸面部杂质检测模型，其中，所述人脸面部杂质检测模型通过如上述的人脸面部杂质检测模型的训练方法或上述的人脸面部杂质检测模型的训练装置训练得到；
输出模块，用于输出人脸图像中的面部杂质检测结果。
根据本发明实施例的另一方面，提供了一种电子设备，包括：
处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述的面部杂质检测模型的训练方法或上述的人脸面部杂质检测方法的操作。
根据本发明实施例的又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使得电子设备执行上述的面部杂质检测模型的训练方法或上述的人脸面部杂质检测方法的操作。
本发明实施例通过对人脸划分多个区域，并对每个人脸区域的面部杂质严重程度进行标签标注，利用人脸多个区域的面部杂质严重程度的检测结果，构建多尺度融合反馈损失函数，根据该多尺度融合反馈损失函数来调整人脸面部杂质检测模型的参数并进行训练，若人脸区域的严重等级预测不准确，说明该模型预测的人脸区域的面部杂质数量不准确，则相应地面部杂质的预测不准确，通过将人脸面部杂质严重程度的因子考虑进去，调整模型参数进行训练，使得得到的人脸面部杂质检测模型对检测面部杂质的准确度高、能够更加有效地提升面部杂质检测的准确度和召回率，降低面部杂质的漏检率。
更加地，通过对yolov3模型进行结构改造，构造特征提取网络，改进特征提取模块的结构，并在特征提取网络中增加了连接模块，能够在不额外增加模型参数的情况下，更好地进行深层网络特征和浅层网络特征进行融合，可有效降低模型大小，提高模型的预测准确率。
上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的人脸面部杂质检测模型的训练方法的流程示意图；
图2为本发明实施例提供的人脸面部杂质检测模型的训练方法中人脸图像划分的多个人脸区域示意图；
图3为本发明实施例提供的改进型yolov3模型的特征提取网络模型的整体结构示意图；
图4为本发明实施例提供的改进型yolov3模型的特征提取网络模型中各个特征提取模块的结构示意图；
图5示出了本发明实施例提供的改进型yolov3模型的特征提取网络模型中各个特征融合模块的结构示意图；
图6示出了本发明实施例提供的人脸面部杂质检测方法的流程示意图；
图7示出了本发明实施例提供的人脸面部杂质检测模型的训练装置的结构示意图；
图8示出了本发明实施例提供的人脸面部杂质检测装置的结构示意图；
图9示出了本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
yolov3是YOLO的第三代，是一种基于深度学习的目标检测网络模型，能够直接对输入图像应用算法并输出类别和相应的定位。它将物体检测作为回归问题进行求解，使用单个网络完成整个检测的方法，大大提升了同类目标检测算法的速度。yolov3网络模型参考了SSD和ResNet的网络模块，设计出了包含53个卷积层的特征提取网络Darknet-53，具有较高的检测速度和检测准确率。本发明利用yolov3特征提取网络模型的特性，并对yolov3进行的特征提取网络进行改造，使其能够适用于本发明的脸部区域面部杂质检测方法。
图1示出了本发明脸部区域面部杂质检测模型的训练方法实施例的流程图，该方法由电子设备执行。如图1所示，该方法包括以下步骤：
步骤S110：获取训练样本集，所述训练样本集包括对人脸图像中面部杂质的面部杂质标注信息以及对人脸图像中人脸多个区域的面部杂质严重等级标注信息。
其中，获取多个应用场景、多个拍摄质量以及不同等级面部杂质严重程度的人脸图像。其中，面部杂质可以是面部痘痘、斑、痣、痤疮等杂质中的一种。本实施例中，以面部杂质为痘痘为例进行说明。
分别对所述人脸图像进行标注框标注，以及人脸多个区域的面部杂质严重等级标签标注。
具体地，对人脸图像中的面部杂质进行面部杂质标注框的标注，获得带面部杂质标注框的人脸图像，并保存面部杂质标注信息，所述面部杂质标注信息包括面部杂质标注框信息及面部杂质标注类别信息，该面部杂质标注框信息包括：人脸图像的面部杂质标注框的坐标参数、面部杂质标注框宽度值、面部杂质标注框高度值，其中，坐标参数包括中心点坐标、面部杂质标注框的左上角坐标。面部杂质标注类别信息为是否为面部杂质的标注信息。
对人脸多个区域的面部杂质严重等级标注框进行标注的具体过程为：将多个应用场景、多个拍摄质量以及不同等级面部杂质严重程度的人脸图像划分为多个人脸区域。如图2所示，可将人脸图像划分为四个区域：额头区域、左脸区域、右脸区域、下巴区域。对根据该多个人脸区域的面部杂质严重程度对该多个人脸区域进行面部杂质严重等级标签标注，得到多个人脸区域的面部杂质严重等级标注信息。该多个人脸区域的面部杂质严重等级标注信息为面部杂质严重等级标注标签，该标签包括无、轻、中、重四个标签类别。其中，该面部杂质严重等级标注信息中还包括面部杂质的数量。
本实施例中，可将面部杂质标注信息、人脸区域的面部杂质严重等级标注信息存储在xml文件中，得到由多个xml文件组成文件夹，其中每个xml文件的名称与其对应人脸图像的名称相同。所述带面部杂质标注框及多个人脸区域的面部杂质严重等级标签的人脸图像和其对应的xml文件中的标注信息共同构成训练样本集。
对样本图像进行标注时，可以通过人工的方式进行标注，或者通过现有的其他标注方法进行标注，本发明实施例对此不作限定。本实施例中，还包括获取测试样本集，通过上述相同的方式对人脸图像进行标注框标注得到测试样本集及训练验证样本集，此处不再赘述。训练样本集与验证样本集组成训练验证样本集，其中，训练验证样本集比例为70％，测试样本集比例为30％。本实施例中，训练验证样本集分为80％训练样本集和20％的验证样本集。其中，训练样本集和验证样本集应用在模型训练过程中，测试样本集应用在模型训练完成后，对模型进行验证。通过设置这3个样本集使得训练后的模型预测更准确。
可以理解的，可先对人脸图像中的面部杂质进行标注框标注，再对人脸多个区域的面部杂质严重等级进行标注框标注，也可先对人脸多个区域的面部杂质严重等级进行标注框标注，再对面部杂质进行标注框标注。
其中，本实施例中在获取训练样本集后，还包括对所述训练样本集进行预处理和数据增强，得到增强后的训练样本集。所述预处理和数据增强包括：增加样本多样性和剔除无效样本，如：对于增加不同光照条件下的人脸图像，可通过调整白平衡等手段对人脸图像进行调节，使得图片更加多样性。此外，预处理时，还包括对训练样本集中的人脸图像尺寸进行标准化调节，本实施例中，将预处理后的训练样本集中人脸图片的尺寸调整为416*416。
步骤S120：将所述训练样本集输入预设的改进型yolov3模型，输出所述训练样本集中人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息。
本步骤中，在将所述训练样本集输入所述改进型yolov3模型，输出所述训练样本集中人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息之前，还包括初始化改进型yolov3模型的锚点框(anchor box)，其中，anchor box为卷积神经网络用于目标识别过程中的检测窗口。
具体地，根据所述训练样本集初始化改进型yolov3模型的锚点框。其中，通过对训练样本集的人脸图像中的面部杂质标注框进行聚类，从而初始化改进型yolov3模型的锚点框。具体地，获取面部杂质标注框的坐标信息中的面部杂质标注框的高度值和面部杂质标注框的宽度值，得到面部杂质标注框的尺寸，采用k-means聚类算法对训练样本集的各个人脸图像的面部杂质标注框尺寸进行聚类，得到改进型yolov3模型的锚点框的尺寸，也即锚点框的宽和高。通过对训练样本集的标注框进行聚类，从而使得锚点框的尺寸可以适应本实施例中脸部杂质这种较小的特征。
本实施例中，改进型yolov3模型设置有9类锚点框，根据面部杂质的标注框进行聚类后，得到anchor box的尺寸分别为(28,29)、(35,37)、(42,42)、(45,54)、(52,47)、(56,60)、(68,68)、(84,87)、(114,117)。将上述锚点框3个作为一组，共3组，每组分别对应用于52*52及13*13、26*26的三种不同尺度的特征图上面部杂质的预测。
本实施例中，在将所述训练样本集输入所述改进型yolov3模型，输出所述训练样本集中人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息之前，还包括构造改进型yolov3模型的特征提取网络。其中，改进型yolov3模型包括特征提取网络及多尺度预测模块。人脸图像经过特征提取网络后输出三个尺寸的预测特征图，三个尺寸的预测特征图分别为52*52尺寸的第一尺度预测特征图，26*26尺寸的第二尺度预测特征图，及13*13尺寸的第三尺度预测特征图。多尺度预测模块具有3条预测支路，根据3组锚点框分别对三个尺寸的预测特征图进行面部杂质及多个人脸区域面部杂质严重等级的预测。其中，第一预测分支Yolo_1对52*52尺寸的第一尺度预测特征图进行面部杂质及多个人脸区域面部杂质严重等级的预测；第二预测分支Yolo_2对26*26尺寸的第二尺度预测特征图进行面部杂质及多个人脸区域面部杂质严重等级的预测；第三预测分支Yolo_3对13*13尺寸的第三尺度预测特征图进行面部杂质及多个人脸区域面部杂质严重等级的预测。
下面具体阐述本实施例中改进型yolov3模型的特征提取网络的结构。该改进型yolov3模型的特征提取网络模型包括依次连接的多个特征提取模块以及连接所述多个特征提取模块的连接模块。具体地，请参阅图3和图4，本实施例中，依次连接的多个特征提取模块分别为第一特征模块、第二特征模块、第三特征提取模块、第四特征提取模块及第五特征提取模块，连接模块包括与第一特征提取模块及第三特征提取模块连接的第一连接模块、与第一特征提取模块及第四特征提取模块连接的第二连接模块、与第二特征提取模块及第四特征提取模块连接的第三连接模块。
具体地，第一特征提取模块，用于接收训练样本集中的人脸图像，并对所述训练样本集中的人脸图像进行特征提取，以得到第一尺度特征图。其中，训练样本集中的人脸图像为416*416人脸图像，第一尺度特征图为208*208尺度的特征图。第一特征提取模块为Resblock-1结构，具体地，请参阅图4，Resblock-1结构为zeropadding+conv_3*3_2+Res，也即包括1个零填充模块、1个大小为3*3步长为2的卷积核、1个类残差神经网络。其中，zeropadding为零填充，在输入矩阵的边缘使用零值进行填充，从而对输入图像矩阵的边缘进行滤波，零填充使得特征图的大小可以控制，使用零填充的也叫做泛卷积。conv_3*3_2表示卷积核大小为3*3、步长为1的卷积计算。Res为类残差神经网络，采用了类似残差神经网络ResNet设计网络模块的思想，具体地，Res包括两个卷积层：第一卷积层为conv1*1_1、CBL、CBL，第二卷积层为conv1*1_1，第一卷积层的特征与第二卷积层的特征相加，从而使得两个特征进行融合。CBL的内部模块由conv3*3_1卷积核、BN层、激活函数构成。其中，激活函数为LeakyRelu(正则化和激励)。
第二特征提取模块，用于对所述第一尺度特征图进行特征提取，以得到第二尺度特征图。其中，第二尺度特征图为104*104尺度的特征图。第二特征提取模块为Resblock_2结构，Resblock-2结构为zeropadding+conv_3*3_2+2个Res，也即包括1个零填充模块、1个大小为3*3步长为2的卷积核conv_3*3_2、2个类残差神经网络Res。
第三特征提取模块，用于对所述第二尺度特征图进行特征提取，以得到第三尺度特征图。其中，所述第三尺度特征图为52*52尺度的特征图。第三特征提取模块为Resblock_5结构，Resblock_5结构具体包括zeropadding+conv_3*3_2+5个Res，也即包括1个零填充模块、1个大小为3*3步长为2的卷积核conv_3*3_2、5个类残差神经网络Res。
第一连接模块，用于将所述第一尺度特征图进行采样后，得到第一采样特征图，并将所述第一采样特征图输入所述第三特征提取模块。第一连接模块采用的是下采样或上采样的方式对第一尺度特征图进行提取，提取第一尺度特征图的浅层特征，输出与第三尺寸特征图的尺寸相同的第一采样特征图。本实施例中，进行4倍下采样，也即，第一采样特征图为52*52尺寸。请参阅图5，第一连接模块为link_block结构，link_block结构包括卷积核及Down_sampling(下采样)单元，具体地，包括依次连接的resblock结构、第一卷积核、Down_sampling单元、第二卷积核，其中，第一卷积核和第二卷积核均为conv_1*1卷积核。
第三特征提取模块，还用于接收所述第一采样特征图，将所述第一采样特征图及第三尺度特征图进行融合，得到第一融合特征图。本实施例中，第三特征提取模块通过将第三尺度特征图与第一采样特征图相加，从而实现第三尺度特征图与第一采样特征图的融合，得到尺度为52*52的第一融合特征图。该第三特征提取模块输出的第一融合特征图，一方面作为多尺度预测模块的第一预测分支Yolov_1输入，一方面作为第四特征提取模块的输入。
第四特征提取模块，用于接收第一融合特征图，并对所述第一融合特征图进行特征提取，以得到第四尺度特征图。第四特征提取模块为Resblock_5结构，Resblock_5结构具体包括zeropadding+conv_3*3_2+5个Res，也即包括1个零填充模块、1个大小为3*3步长为2的卷积核conv_3*3_2、5个类残差神经网络Res。
第二连接模块，用于对第一尺度特征图进行采样后，得到第二采样特征图，并将所述第二采样特征图输入所述第四特征提取模块。第二连接模块的结构与第一连接模块相同，仅仅是采样的倍数不同，此处不再赘述。第二连接模块采用8倍下采样，第二采样特征图的尺寸与第四尺寸特征图尺寸相同，均为26*26尺寸。
第三连接模块，用于对第二尺度特征图进行采样，得到第三采样特征图，并将所述第三采样特征图输入所述第四特征提取模块。第三连接模块的结构与第一连接模块相同，仅仅是采样的倍数不同，此处不再赘述。第三连接模块采用4倍下采样，第三采样特征图的尺寸与第四尺寸特征图尺寸相同，均为26*26尺寸。
第四特征提取模块，还用于接收所述第二采样特征图及所述第三采样特征图，并将所述第四尺度特征图、第二采样特征图、第三采样特征图进行融合，得到第二融合特征图。本实施例中，第四特征提取模块通过将第四尺度特征图与第二采样特征图、第三采样特征图相加，从而实现第四尺度特征图与第二采样特征图及第三采样特征图的融合，得到尺度为26*26的第二融合特征图。该第二融合特征图，一方面作为多尺度预测模块的第二预测分支Yolov_2的输入，一方面作为第五特征提取模块的输入。
第五特征提取模块，用于对所述第二融合特征图进行特征提取，以得到第五尺度特征图。该第五尺度特征图为13*13尺度的特征图，其作为多尺度预测模块的第三预测分支Yolov_3的输入。
本实施例通过设置特征提取模块及连接模块，改进特征提取模块的结构，并在特征提取网络中增加了连接模块，将不同尺度的特征图进行concatenation(相加融合)操作，将连接模块连接不同的特征提取模块输出的特征图进行融合，从而更好地获取浅层特征与深层语义特征的融合，使得无需增加更多的参数，在满足算法有效性的同时，更好地进行深层网络特征和浅层网络特征进行融合，可有效降低模型大小，更适应人脸面部杂质类的小目标的特征检测，提高模型的预测准确率。
其中，yolov3模型的原理为多尺度预测，分别在3个尺度上进行预测。本实施例的改进型yolov3模型对训练样本集中的人脸图像进行面部杂质检测及人脸多区域的面部杂质等级检测，通过将训练样本集中的人脸图像输入该特征提取网络，即可得到三个不同尺度的特征图。将该不同尺度的特征图分别输入多尺度预测模块，根据3组锚点框分别对不同尺度的特征图进行面部杂质及人脸多区域面部杂质严重等级的预测，得到预测后的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息。
具体地，本实施例中，在获取到第一融合特征图、第二融合特征图及第五尺度特征图后，将该第一融合特征图输入第一预测分支进行面部杂质预测及人脸多个区域面部杂质严重等级的预测；将该第二融合特征图输入第二预测分支进行面部杂质预测及人脸多个区域面部杂质严重等级的预测；将该第五尺度特征图输入第三预测分支进行面部杂质预测及人脸多个区域面部杂质严重等级的预测。其中，根据预先设置的锚点框，预先在3个不同尺度的特征图(13*13，26*26，52*52)的每个网格设置3个先验框，也即每个尺度的特征图分别使用3个锚点框来进行预测。由于第五尺度特征图的尺度最小，为13*13，其感受野最大故应用最大的锚点框(68,68)、(84,87)、(114,117)，该3个锚点框作为一组，来检测较大的面部杂质。第二融合特征图尺度中等，使用(45,54)、(52,47)、(56,60)尺寸的锚点框，以检测中等大小的面部杂质。第一融合特征图的尺度最大，具有较小的感受野，使用(28,29)、(35,37)、(42,42)尺寸的锚点框，以检测较小的面部杂质。预测后得到面部杂质预测信息、人脸多个区域的面部杂质严重等级预测信息、预测置信度及带面部杂质预测框的人脸图像。其中，面部杂质预测信息包括面部杂质预测框信息、面部杂质预测类别及预测框置信度，其中面部杂质预测框信息包括面部杂质预测框的宽度值、面部杂质预测框的高度值、面部杂质预测框的坐标参数。人脸多个区域的面部杂质严重等级预测信息包括人脸多个区域的面部杂质严重程度预测等级预测标签。带面部杂质预测框的人脸图像为大小分别为13*13，26*26，52*52的特征图，总共输出有13*13*3+26*26*3+52*52*3＝10647个面部杂质预测框。具体的预测过程与现有的yolov3模型的预测过程相同，此处不再赘述。
步骤130：基于预设的多尺度融合反馈损失函数，根据所述面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到多尺度融合反馈损失函数。
本实施例中，为了更好利用脸部四个区域面部杂质的严重程度的检测结果，构建多尺度融合反馈损失函数，该多尺度融合反馈损失函数为融合了面部杂质损失和面部杂质严重等级的损失函数，使得模型在训练过程中，能够根据严重等级的人脸区域的预测结果判断改进型yolov3模型的总损失，调整改进型yolov3模型参数，使得损失函数达到最优值，从而使得模型的训练。其中，该多尺度融合的损失函数包括训练样本集中人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失。
本实施例中，该面部杂质损失包括面部杂质预测框的位置偏移损失、面部杂质分类损失、面部杂质置信度损失，此过程采用现有的yolov3的损失计算过程。在获取到预测后的面部杂质预测信息及带面部杂质预测框的人脸图像后，可以根据其面部杂质预测信息中的面部杂质预测框信息、面部杂质预测类别，以及训练样本集的xml文件中的面部杂质标注框信息、面部杂质标注类别信息，分别来计算面部杂质预测框的位置偏移损失、面部杂质分类损失、预测框的置信度损失。
具体地，根据面部杂质标注框信息及对应的面部杂质预测框信息计算面部杂质预测框的位置偏移损失。其中，根据面部杂质标注框的宽度值、面部杂质标注框的高度值、面部杂质预测框的宽度值、面部杂质预测框的高度值及面部杂质预测框的坐标参数，来计算面部杂质预测框的偏移量损失。其位置偏移损失函数LossM为：
Figure BDA0002516176920000111
其中，Twidth和Theight分别为面部杂质标注框的宽度值和高度值，Tr和Pr分别为面部杂质标注框的坐标参数和面部杂质预测框的坐标参数。其面部杂质预测框的坐标参数、宽度值及高度值可在预测过程中通过映射运算得到。(x,y)表示锚点框的位置，w及h分别表示锚点框的宽度值和高度值。
根据面部杂质标注类别信息及对应的面部杂质预测类别信息计算面部杂质分类损失。其分类损失函数LossL为：
Figure BDA0002516176920000112
其中，k为面部杂质预测类别个数，Tclass为面部杂质标注类别，Pclass为面部杂质预测类别。
根据所述面部杂质标注类别信息及对应的面部杂质预测类别信息计算面部杂质置信度损失。其面部杂质置信度损失函数Lossz为：
Lossz＝(Tconf-Pconf)2
其中，Tconf为面部杂质标注信息的置信度，也即面部杂质标注框包含面部杂质的置信度，Pconf为面部杂质预测信息的置信度，指的是该面部杂质预测框中包括面部杂质的置信度，该面部杂质标注框的置信度及面部杂质预测框为面部杂质的置信度可在预测过程中得到。
通过上述步骤，计算得到面部杂质的损失后，本实施例还将面部杂质严重等级因子添加至损失函数中，计算人脸多个区域的面部杂质严重等级损失，根据所述面部杂质严重等级标注标签及所述面部杂质严重等级预测标签计算人脸多个区域的面部杂质严重等级标签损失Losss。
Figure BDA0002516176920000121
其中，Tlabel为面部杂质严重等级标注标签，Plabel为面部杂质严重等级预测标签。
从而，通过对位置偏移损失、面部杂质分类损失、预测框的置信度损失及人脸多个区域的面部杂质严重等级损失进行加权计算，得到改进型yolov3模型的总损失。其中，多尺度融合反馈函数为：
Figure BDA0002516176920000122
其中，λobj为面部杂质预测框的位置偏移权重，α为面部杂质类别的置信度损失权重，β为面部杂质严重的程度类别权重，Twidth和Theight分别为面部杂质标注框的宽度值和高度值，Tr和Pr分别为面部杂质标注框的坐标参数和面部杂质预测框的坐标参数，k为面部杂质预测类别个数，Tclass为面部杂质标注类别，Pclass为面部杂质预测类别，Tconf为面部杂质标注信息的置信度，Pconf为面部杂质预测信息的置信度，Tlabel为面部杂质严重等级标注标签，Plabe1为面部杂质严重等级预测标签。本实施例中，λobj取值为1，α取值在0.2-0.5之间，β取值在0.5-0.8之间。
步骤140：若所述总损失大于预设阈值，则调整所述改进型yolov3模型的参数，将所述训练样本集输入所述改进型yolov3模型继续训练，直至使得总损失小于等于所述预设阈值，得到人脸面部杂质检测模型。
其中，面部杂质严重等级越高，说明面部杂质数量越多，若预测的面部杂质严重等级信息大于面部杂质严重等级标注信息，如可能由于面部杂质数量较多，使得预测框数量较多，从而将很多预测框本身误认为是面部杂质，导致面部杂质的预测出的结果较多，则该多尺度融合反馈损失函数中的人脸多个区域的面部杂质严重等级损失越大，说明该改进型yolov3模型的预测不准确。在得到训练样本集中的人脸图像输入改进型yolov3模型训练后，根据输出的预测面部杂质预测框的宽度值、面部杂质预测框的高度值及面部杂质预测框的坐标参数及严重等级预测标签，以及训练样本集中的面部杂质标注及人脸多区域的面部杂质严重等级标注信息，计算得到改进型yolov3模型的多尺度融合反馈损失函数。若该多尺度融合反馈损失函数的值(也即总损失)较大，高于预设阈值，则说明该改进型yolov3模型的预测较为不准确。则根据预测结果优化改进型yolov3模型的参数，如，在将很多预测框本身误认为是面部杂质的情况，则调小锚点框的尺寸，并将训练样本集中的人脸图像输入调整参数后的改进型yolov3模型重新进行训练，重复上述步骤，直至损失函数最小或收敛，从而得到训练后的人脸面部杂质检测模型。
其中，本实施例中对于改进型yolov3模型参数的优化，采用adam算法优化模型参数，迭代次数设置为500次，初始化学习率设置为0.001，权重衰减设置为0.0005，每50次迭代，学习率衰减为原来的1/10。其中，在训练过程中，通过验证样本集对模型训练过程中得到的模型进行验证，如不满足准确率要求，则采用验证样本集进一步进行模型的训练。
本实施例中，还包括以下步骤：将测试样本集输入训练完成的面部杂质检测模型以对面部杂质检测模型进行测试。
本发明实施例通过对人脸划分多个区域，并对每个人脸区域的面部杂质严重程度进行标签标注，利用人脸多个区域的面部杂质严重程度的检测结果，构建多尺度融合反馈损失函数，根据该多尺度融合反馈损失函数对人脸面部杂质检测模型进行训练，若每一人脸区域的严重等级预测不准确，说明该模型预测的每一人脸区域的面部杂质数量不准确，则相应地面部杂质的预测不准确，通过将人脸面部杂质严重程度的因子考虑进去，调整模型参数进行训练，使得得到的人脸面部杂质检测模型对检测面部杂质的准确度高、能够更加有效地提升面部杂质检测的准确度和召回率，降低面部杂质的漏检率。
更加地，通过对yolov3模型进行结构改造，一方面构造特征提取网络，改进特征提取模块的结构，并在特征提取网络中增加了连接模块，能够在不额外增加模型参数的情况下，更好地进行深层网络特征和浅层网络特征进行融合，可有效降低模型大小，提高模型的预测准确率。
请参阅图6，示出了本发明实施例提供的人脸面部杂质检测方法的流程示意图。该方法由电子设备执行。如图6所示，该方法包括以下步骤：
步骤210：获取待检测的人脸图像。其中，本实施例获取待检测的人脸图像后，可预先将待检测的人脸图像预处理该人脸面部杂质检测模型的输入尺寸，如本实施例中，该人脸面部杂质检测模型的输入尺寸为该人脸面部杂质检测模型的输入尺寸，则将待检测的人脸图像预处理为416*616尺寸的人脸图像。
步骤220：将所述待检测的人脸图像输入至人脸面部杂质检测模型，其中，所述人脸面部杂质检测模型通过上述的人脸面部杂质检测模型的训练方法训练得到。该人脸面部杂质检测模型的训练过程可与上述实施例中的具体训练过程训练相同，此处不再赘述。
其中，在将待检测的人脸图像输入该人脸面部杂质检测模型中之前，还需要对待检测的人脸图像进行预处理，本实施例中，将待检测的人脸图像预处理为416*416尺度的待检测人脸图像，再输入该人脸面部杂质检测模型中。该人脸面部杂质检测模型中的特征提取网络对该待检测的人脸图像进行特征提取，得到对应的三个尺度的特征图，然后将该三个尺度的特征图分别输入其多尺度预测模块的三个预测分支，从而得到三个尺度的面部杂质检测结果，面部杂质检测结果包括带面部杂质预测框的待检测人脸图像以及面部杂质预测框信息。
步骤230：输出人脸图像中的面部杂质检测结果。其中，面部杂质的检测结果为对待检测人脸图像中面部杂质有效区域的预测结果。所述标注结果可以是标注在待检测人脸图像上的目标面部杂质预测框。
本发明实施例通过对人脸划分多个区域，并对每个人脸区域的面部杂质严重程度进行标签标注，利用人脸多个区域的面部杂质严重程度的检测结果，构建多尺度融合反馈损失函数，根据该多尺度融合反馈损失函数对人脸面部杂质检测模型进行训练，若每一人脸区域的严重等级预测不准确，说明该模型预测的每一人脸区域的面部杂质数量不准确，则相应地面部杂质的预测不准确，通过将人脸面部杂质严重程度的因子考虑进去，调整模型参数进行训练，使得得到的人脸面部杂质检测模型对检测面部杂质的准确度高、能够更加有效地提升面部杂质检测的准确度和召回率，降低面部杂质的漏检率。
更加地，通过对yolov3模型进行结构改造，一方面构造特征提取网络，改进特征提取模块的结构，并在特征提取网络中增加了连接模块，能够在不额外增加模型参数的情况下，更好地进行深层网络特征和浅层网络特征进行融合，可有效降低模型大小，提高模型的预测准确率。
图7示出了本发明实施例提供的人脸面部杂质检测模型的训练装置的结构示意图。如图7所示，该装置300包括：训练样本集获取模块310、训练模块320和损失计算模块330、参数调整模块340。
训练样本集获取模块310，用于所述训练样本集包括对人脸图像中面部杂质的面部杂质标注信息以及对人脸图像中人脸多个区域的面部杂质严重等级标注信息。
训练模块320，用于将所述训练样本集输入预设的改进型yolov3模型，输出所述训练样本集中人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息。
损失计算模块330，用于基于预设的多尺度融合反馈函数，根据所述训练样本集中人脸图像的面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息分别计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到改进型yolov3模型的总损失，所述多尺度融合反馈损失函数为融合了面部杂质损失和面部杂质严重等级的损失函数。
参数调整模块340，用于若所述总损失大于预设阈值，则调整所述改进型yolov3模型的参数，将所述训练样本集输入所述改进型yolov3模型继续训练，直至使得所述多尺度融合反馈损失函数小于等于所述预设阈值，得到人脸面部杂质检测模型。
在一种可选的方式中，所述面部杂质标注信息包括面部杂质标注框信息及面部杂质标注类别信息，所述人脸多个区域的面部杂质严重等级标注信息包括人脸多个区域的面部杂质严重等级标注标签；所述面部杂质预测信息包括面部杂质预测框信息及面部杂质预测类别信息，所述人脸多个区域的面部杂质严重等级预测信息包括人脸多个区域的面部杂质严重等级预测标签；
所述基于预设的多尺度融合反馈函数，根据所述面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到多尺度融合反馈损失函数，进一步包括：
基于预设的多尺度融合反馈函数，根据所述面部杂质标注框信息及所述面部杂质预测框信息计算面部杂质预测框的位置偏移损失；
基于预设的多尺度融合反馈函数，根据所述面部杂质标注类别信息及所述面部杂质预测类别信息计算面部杂质分类损失；
基于预设的多尺度融合反馈函数，根据所述面部杂质标注类别信息及所述面部杂质预测类别信息计算面部杂质的置信度损失；
基于预设的多尺度融合反馈函数，根据所述严重等级标注标签及所述严重等级预测标签计算人脸多个区域的面部杂质严重等级标签损失；
根据所述位置偏移损失、所述面部杂质分类损失、所述置信度损失以及所述面部杂质严重等级标签损失，得到所述总损失。
在一种可选的方式中，所述多尺度融合反馈损失函数为：
Figure BDA0002516176920000151
其中，λobi为面部杂质预测框的位置偏移权重，α为面部杂质的置信度损失权重，β为面部杂质严重的程度类别权重，Twidth和Theight分别为面部杂质标注框的宽度值和高度值，Tr和Pr分别为面部杂质标注框的坐标参数和面部杂质预测框的坐标参数k为面部杂质预测类别个数，Tclass为面部杂质标注类别，Pclass为面部杂质预测类别，Tconf为面部杂质标注信息的置信度，Pconf为面部杂质预测信息的置信度，Tlabel为面部杂质严重等级标注标签，Plabel为面部杂质严重等级预测标签。
在一种可选的方式中，所述改进型yolov3模型还包括特征提取网络，其中，所述特征提取网络包括：
第一特征提取模块，用于接收训练样本集中的人脸图像，并对所述训练样本集中的人脸图像进行特征提取，以得到第一尺度特征图；
第二特征提取模块，用于对所述第一尺度特征图进行特征提取，以得到第二尺度特征图；
第三特征提取模块，用于对所述第二尺度特征图进行特征提取，以得到第三尺度特征图；
第一连接模块，用于将所述第一尺度特征图进行采样后，得到第一采样特征图，并将所述第一采样特征图输入所述第三特征提取模块；
第三特征提取模块，还用于接收所述第一采样特征图，将所述第一采样特征图及第三尺度特征图进行融合，得到第一融合特征图；
第四特征提取模块，用于对所述第一融合特征图进行特征提取，以得到第四尺度特征图；
第二连接模块，用于对所述第一尺度特征图进行采样后，得到第二采样特征图，并将所述第二采样特征图输入所述第四特征提取模块；
第三连接模块，用于对所述第二尺度特征图进行采样，得到第三采样特征图，并将所述第三采样特征图输入所述第四特征提取模块；
第四特征提取模块，还用于接收所述第二采样特征图及所述第三采样特征图，并将所述第四尺度特征图、第二采样特征图、第三采样特征图进行融合，得到第二融合特征图；
第五特征提取模块，用于对所述第二融合特征图进行特征提取，以得到第五尺度特征图；
所述第一融合特征图、所述第二融合特征图以及所述第五尺度特征图被用于确定所述人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息。
一种可选的方式中，所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块及第五特征提取模块均包括卷积核及类残差神经网络，其中，所述类残差神经网络包括第一卷积层及与第一卷积层相加的第二卷积层，所述第一卷积层包括CBL单元，所述CBL单元由卷积核、BN层及激活函数构成；
所述第一连接模块、第二连接模块及第三连接模块均包括卷积核及采样单元。
该人脸面部杂质检测模型的训练装置300的具体工作过程与上述人脸面部杂质检测模型的训练方法的具体训练步骤相同，此处不再赘述。
本发明实施例通过对人脸划分多个区域，并对每个人脸区域的面部杂质严重程度进行标签标注，利用人脸多个区域的面部杂质严重程度的检测结果，构建多尺度融合反馈损失函数，根据该多尺度融合反馈损失函数对人脸面部杂质检测模型进行训练，若每一人脸区域的严重等级预测不准确，说明该模型预测的每一人脸区域的面部杂质数量不准确，则相应地面部杂质的预测不准确，通过将人脸面部杂质严重程度的因子考虑进去，调整模型参数进行训练，使得得到的人脸面部杂质检测模型对检测面部杂质的准确度高、能够更加有效地提升面部杂质检测的准确度和召回率，降低面部杂质的漏检率。
更加地，通过对yolov3模型进行结构改造，一方面构造特征提取网络，改进特征提取模块的结构，并在特征提取网络中增加了连接模块，能够在不额外增加模型参数的情况下，更好地进行深层网络特征和浅层网络特征进行融合，可有效降低模型大小，提高模型的预测准确率。
图8示出了本发明实施例提供的人脸面部杂质检测装置的结构示意图。如图8所示，该装置400包括：输入模块410、检测模块420、输出模块430。
输入模块410，用于获取待检测的人脸图像；
检测模块420，用于将所述待检测的人脸图像输入至人脸面部杂质检测模型，其中，所述人脸面部杂质检测模型通过如上述的人脸面部杂质检测模型的训练方法或上述的人脸面部杂质检测模型的训练装置训练得到。
输出模块430，用于输出人脸图像中的面部杂质检测结果。
在一种可选的方式中，所述面部杂质标注信息包括面部杂质标注框信息及面部杂质标注类别信息，所述人脸多个区域的面部杂质严重等级标注信息包括人脸多个区域的面部杂质严重等级标注标签；所述面部杂质预测信息包括面部杂质预测框信息及面部杂质预测类别信息，所述人脸多个区域的面部杂质严重等级预测信息包括人脸多个区域的面部杂质严重等级预测标签；
所述基于预设的多尺度融合反馈损失函数，根据所述面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到改进型yolov3模型的总损失，包括：
基于预设的多尺度融合反馈损失函数，根据所述面部杂质标注框信息及所述面部杂质预测框信息计算面部杂质预测框的位置偏移损失；
基于预设的多尺度融合反馈损失函数，根据所述面部杂质标注类别信息及所述面部杂质预测类别信息计算面部杂质分类损失；
基于预设的多尺度融合反馈损失函数，根据所述面部杂质标注类别信息置信度及所述面部杂质预测类别信息置信度计算面部杂质类别的置信度损失；
基于预设的多尺度融合反馈损失函数，根据所述严重等级标注标签及所述严重等级预测标签计算人脸多个区域的面部杂质严重等级标签损失；
根据所述位置偏移损失、所述面部杂质分类损失、所述置信度损失以及所述面部杂质严重等级标签损失，得到所述总损失。
在一种可选的方式中，所述多尺度融合反馈损失函数为：
Figure BDA0002516176920000181
其中，λobj为面部杂质预测框的位置偏移权重，α为面部杂质的置信度损失权重，β为面部杂质严重的程度类别权重，Twidth和Theight分别为面部杂质标注框的宽度值和高度值，Tr和Pr分别为面部杂质标注框的坐标参数和面部杂质预测框的坐标参数，k为面部杂质预测类别个数，Tclass为面部杂质标注类别，Pclass为面部杂质预测类别，Tconf为面部杂质标注信息的置信度，Pconf为面部杂质预测信息的置信度，Tlabel为面部杂质严重等级标注标签，Plabel为面部杂质严重等级预测标签。
在一种可选的方式中，所述改进型yolov3模型包括特征提取网络，其中，所述特征提取网络包括：
第一特征提取模块，用于接收训练样本集中的人脸图像，并对所述训练样本集中的人脸图像进行特征提取，以得到第一尺度特征图；
第二特征提取模块，用于对所述第一尺度特征图进行特征提取，以得到第二尺度特征图；
第三特征提取模块，用于对所述第二尺度特征图进行特征提取，以得到第三尺度特征图；
第一连接模块，用于将所述第一尺度特征图进行采样后，得到第一采样特征图，并将所述第一采样特征图输入所述第三特征提取模块；
第三特征提取模块，还用于接收所述第一采样特征图，将所述第一采样特征图及第三尺度特征图进行融合，得到第一融合特征图；
第四特征提取模块，用于对所述第一融合特征图进行特征提取，以得到第四尺度特征图；
第二连接模块，用于对所述第一尺度特征图进行采样后，得到第二采样特征图，并将所述第二采样特征图输入所述第四特征提取模块；
第三连接模块，用于对所述第二尺度特征图进行采样，得到第三采样特征图，并将所述第三采样特征图输入所述第四特征提取模块；
第四特征提取模块，还用于接收所述第二采样特征图及所述第三采样特征图，并将所述第四尺度特征图、第二采样特征图、第三采样特征图进行融合，得到第二融合特征图；
第五特征提取模块，用于对所述第二融合特征图进行特征提取，以得到第五尺度特征图；
所述第一融合特征图、所述第二融合特征图以及所述第五尺度特征图被用于确定所述人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息。
一种可选的方式中，所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块及第五特征提取模块均包括卷积核及类残差神经网络，其中，所述类残差神经网络包括第一卷积层及与第一卷积层相加的第二卷积层，所述第一卷积层包括CBL单元，所述CBL单元包括卷积核、BN层及激活函数；所述第一连接模块、第二连接模块及第三连接模块均包括卷积核及采样单元。
该人脸面部杂质检测装置400的具体工作过程与上述人脸面部杂质检测方法的具体步骤相同，此处不再赘述。
本发明实施例通过对人脸划分多个区域，并对每个人脸区域的面部杂质严重程度进行标签标注，利用人脸多个区域的面部杂质严重程度的检测结果，构建多尺度融合反馈损失函数，根据该多尺度融合反馈损失函数对人脸面部杂质检测模型进行训练，若每一人脸区域的严重等级预测不准确，说明该模型预测的每一人脸区域的面部杂质数量不准确，则相应地面部杂质的预测不准确，通过将人脸面部杂质严重程度的因子考虑进去，调整模型参数进行训练，使得得到的人脸面部杂质检测模型对检测面部杂质的准确度高、能够更加有效地提升面部杂质检测的准确度和召回率，降低面部杂质的漏检率。
更加地，通过对yolov3模型进行结构改造，一方面构造特征提取网络，改进特征提取模块的结构，并在特征提取网络中增加了连接模块，能够在不额外增加模型参数的情况下，更好地进行深层网络特征和浅层网络特征进行融合，可有效降低模型大小，提高模型的预测准确率。
图9示出了本发明电子设备实施例的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。
如图9所示，该电子设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。处理器502，用于执行程序510，具体可以执行上述人脸面部杂质检测模型的训练方法或人脸面部杂质检测方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机可执行指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以被处理器502调用使电子设备执行以下操作：
获取训练样本集，所述训练样本集包括对人脸图像中面部杂质的面部杂质标注信息以及对人脸图像中人脸多个区域的面部杂质严重等级标注信息；
将所述训练样本集输入所述改进型yolov3模型，输出所述训练样本集中人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息；
基于预设的多尺度融合反馈损失函数，根据所述训练样本集中人脸图像的面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息分别计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到所述改进型yolov3模型的总损失，所述多尺度融合反馈损失函数为融合了面部杂质损失和面部杂质严重等级的损失函数；
若所述总损失大于预设阈值，则调整所述改进型yolov3模型的参数，将所述训练样本集输入所述改进型yolov3模型继续训练，直至使得所述总损失小于等于所述预设阈值，得到人脸面部杂质检测模型；或
获取待检测的人脸图像；
将所述待检测的人脸图像输入至人脸面部杂质检测模型，其中，所述人脸面部杂质检测模型通过上述的人脸面部杂质检测模型的训练方法训练得到；
输出人脸图像中的面部杂质检测结果。
在一种可选的方式中，所述面部杂质标注信息包括面部杂质标注框信息及面部杂质标注类别信息，所述人脸多个区域的面部杂质严重等级标注信息包括人脸多个区域的面部杂质严重等级标注标签；所述面部杂质预测信息包括面部杂质预测框信息及面部杂质预测类别信息，所述人脸多个区域的面部杂质严重等级预测信息包括人脸多个区域的面部杂质严重等级预测标签；
所述基于预设的多尺度融合反馈函数，根据所述面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到所述改进型yolov3模型的总损失，包括：
基于预设的多尺度融合反馈函数，根据所述面部杂质标注框信息及所述面部杂质预测框信息计算面部杂质预测框的位置偏移损失；
基于预设的多尺度融合反馈函数，根据所述面部杂质标注类别信息及所述面部杂质预测类别信息计算面部杂质分类损失；
基于预设的多尺度融合反馈函数，根据所述面部杂质标注类别信息及所述面部杂质预测类别信息计算面部杂质的置信度损失；
基于预设的多尺度融合反馈函数，根据所述严重等级标注标签及所述严重等级预测标签计算人脸多个区域的面部杂质严重等级标签损失；
根据所述位置偏移损失、所述面部杂质分类损失、所述置信度损失以及所述面部杂质严重等级标签损失，得到所述总损失。
在一种可选的方式中，所述多尺度融合反馈损失函数为：
Figure BDA0002516176920000211
其中，λobj为面部杂质预测框的位置偏移权重，α为面部杂质置信度损失权重，β为面部杂质严重的程度类别权重，Twidth和Theight分别为面部杂质标注框的宽度值和高度值，Tr和Pr分别为面部杂质标注框的坐标参数和面部杂质预测框的坐标参数，K为面部杂质预测类别个数，Tclass为面部杂质标注类别，Pclass为面部杂质预测类别，Tconf为面部杂质标注信息的置信度，Pconf为面部杂质预测信息的置信度，Tlabel为面部杂质严重等级标注标签，Plabel为面部杂质严重等级预测标签。
在一种可选的方式中，所述改进型yolov3模型包括特征提取网络，其中，所述特征提取网络包括：
第一特征提取模块，用于接收训练样本集中的人脸图像，并对所述训练样本集中的人脸图像进行特征提取，以得到第一尺度特征图；
第二特征提取模块，用于对所述第一尺度特征图进行特征提取，以得到第二尺度特征图；
第三特征提取模块，用于对所述第二尺度特征图进行特征提取，以得到第三尺度特征图；
第一连接模块，用于将所述第一尺度特征图进行采样后，得到第一采样特征图，并将所述第一采样特征图输入所述第三特征提取模块；
第三特征提取模块，还用于接收所述第一采样特征图，将所述第一采样特征图及第三尺度特征图进行融合，得到第一融合特征图；
第四特征提取模块，用于对所述第一融合特征图进行特征提取，以得到第四尺度特征图；
第二连接模块，用于对所述第一尺度特征图进行采样后，得到第二采样特征图，并将所述第二采样特征图输入所述第四特征提取模块；
第三连接模块，用于对所述第二尺度特征图进行采样，得到第三采样特征图，并将所述第三采样特征图输入所述第四特征提取模块；
第四特征提取模块，还用于接收所述第二采样特征图及所述第三采样特征图，并将所述第四尺度特征图、第二采样特征图、第三采样特征图进行融合，得到第二融合特征图；
第五特征提取模块，用于对所述第二融合特征图进行特征提取，以得到第五尺度特征图；
所述第一融合特征图、所述第二融合特征图以及所述第五尺度特征图被用于确定所述人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息。
一种可选的方式中，所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块及第五特征提取模块均包括卷积核及类残差神经网络，其中，所述类残差神经网络包括第一卷积层及与第一卷积层相加的第二卷积层，所述第一卷积层包括CBL单元，所述CBL单元包括卷积核、BN层及激活函数；
所述第一连接模块、第二连接模块及第三连接模块均包括卷积核及采样单元。
该电子设备的具体工作过程与上述人脸面部杂质检测模型的训练方法或人脸面部杂质检测方法的具体步骤相同，此处不再赘述。
本发明实施例通过对人脸划分多个区域，并对每个人脸区域的面部杂质严重程度进行标签标注，利用人脸多个区域的面部杂质严重程度的检测结果，构建多尺度融合反馈损失函数，根据该多尺度融合反馈损失函数对人脸面部杂质检测模型进行训练，若每一人脸区域的严重等级预测不准确，说明该模型预测的每一人脸区域的面部杂质数量不准确，则相应地面部杂质的预测不准确，通过将人脸面部杂质严重程度的因子考虑进去，调整模型参数进行训练，使得得到的人脸面部杂质检测模型对检测面部杂质的准确度高、能够更加有效地提升面部杂质检测的准确度和召回率，降低面部杂质的漏检率。
更加地，通过对yolov3模型进行结构改造，一方面构造特征提取网络，改进特征提取模块的结构，并在特征提取网络中增加了连接模块，能够在不额外增加模型参数的情况下，更好地进行深层网络特征和浅层网络特征进行融合，可有效降低模型大小，提高模型的预测准确率。
本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有至少一可执行指令，该可执行指令在电子设备上运行时，使得所述电子设备执行上述任意方法实施例中的人脸面部杂质检测模型的训练方法或人脸面部杂质检测方法。
可执行指令具体可以用于使得电子设备执行以下操作：
获取训练样本集，所述训练样本集包括对人脸图像中面部杂质的面部杂质标注信息以及对人脸图像中人脸多个区域的面部杂质严重等级标注信息；
将所述训练样本集输入所述改进型yolov3模型，输出所述训练样本集中人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息；
基于预设的多尺度融合反馈函数，根据所述训练样本集中人脸图像的面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息分别计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到所述改进型yolov3模型的总损失；
若所述改进型yolov3模型的总损失大于预设阈值，则调整所述改进型yolov3模型的参数，将所述训练样本集输入所述改进型yolov3模型继续训练，直至使得所述改进型yolov3模型的总损失小于等于所述预设阈值，得到人脸面部杂质检测模型，或
获取待检测的人脸图像；
将所述待检测的人脸图像输入至人脸面部杂质检测模型，其中，所述人脸面部杂质检测模型通过上述的人脸面部杂质检测模型的训练方法训练得到；
输出人脸图像中的面部杂质检测结果。
在一种可选的方式中，所述面部杂质标注信息包括面部杂质标注框信息及面部杂质标注类别信息，所述人脸多个区域的面部杂质严重等级标注信息包括人脸多个区域的面部杂质严重等级标注标签；所述面部杂质预测信息包括面部杂质预测框信息及面部杂质预测类别信息，所述人脸多个区域的面部杂质严重等级预测信息包括人脸多个区域的面部杂质严重等级预测标签；
所述基于预设的多尺度融合反馈函数，根据所述面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到所述改进型yolov3模型的总损失，包括：
基于预设的多尺度融合反馈函数，根据所述面部杂质标注框信息及所述面部杂质预测框信息计算面部杂质预测框的位置偏移损失；
基于预设的多尺度融合反馈函数，根据所述面部杂质标注类别信息及所述面部杂质预测类别信息计算面部杂质分类损失；
基于预设的多尺度融合反馈函数，根据所述面部杂质标注类别信息及所述面部杂质预测类别信息计算面部杂质的置信度损失；
基于预设的多尺度融合反馈函数，根据所述严重等级标注标签及所述严重等级预测标签计算人脸多个区域的面部杂质严重等级标签损失；
根据所述位置偏移损失、所述面部杂质分类损失、所述置信度损失以及所述面部杂质严重等级标签损失，得到所述总损失。
在一种可选的方式中，所述多尺度融合反馈损失函数为：
Figure BDA0002516176920000241
其中，λobj为面部杂质预测框的位置偏移权重，α为面部杂质标签的置信度损失权重，β为面部杂质严重的程度类别权重，Twidth和Theight分别为面部杂质标注框的宽度值和高度值，Tr和Pr分别为面部杂质标注框的坐标参数和面部杂质预测框的坐标参数，K为面部杂质预测类别个数，Tclass为面部杂质标注类别，Pclass为面部杂质预测类别，Tconf为面部杂质标注框包含面部杂质的置信度，Pconf为面部杂质预测框包括面部杂质的置信度，Tlabel为面部杂质严重等级标注标签，Plabel为面部杂质严重等级预测标签。
在一种可选的方式中，所述改进型yolov3模型包括特征提取网络，其中，所述特征提取网络包括：
第一特征提取模块，用于接收训练样本集中的人脸图像，并对所述训练样本集中的人脸图像进行特征提取，以得到第一尺度特征图；
第二特征提取模块，用于对所述第一尺度特征图进行特征提取，以得到第二尺度特征图；
第三特征提取模块，用于对所述第二尺度特征图进行特征提取，以得到第三尺度特征图；
第一连接模块，用于将所述第一尺度特征图进行采样后，得到第一采样特征图，并将所述第一采样特征图输入所述第三特征提取模块；
第三特征提取模块，还用于接收所述第一采样特征图，将所述第一采样特征图及第三尺度特征图进行融合，得到第一融合特征图；
第四特征提取模块，用于对所述第一融合特征图进行特征提取，以得到第四尺度特征图；
第二连接模块，用于对所述第一尺度特征图进行采样后，得到第二采样特征图，并将所述第二采样特征图输入所述第四特征提取模块；
第三连接模块，用于对所述第二尺度特征图进行采样，得到第三采样特征图，并将所述第三采样特征图输入所述第四特征提取模块；
第四特征提取模块，还用于接收所述第二采样特征图及所述第三采样特征图，并将所述第四尺度特征图、第二采样特征图、第三采样特征图进行融合，得到第二融合特征图；
第五特征提取模块，用于对所述第二融合特征图进行特征提取，以得到第五尺度特征图；
所述第一融合特征图、所述第二融合特征图以及所述第五尺度特征图被用于确定所述人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息。
一种可选的方式中，所述第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块及第五特征提取模块均包括卷积核及类残差神经网络，其中，所述类残差神经网络包括第一卷积层及与第一卷积层相加的第二卷积层，所述第一卷积层包括CBL单元，所述CBL单元包括卷积核、BN层及激活函数；所述第一连接模块、第二连接模块及第三连接模块均包括卷积核及采样单元。
该介质中各个具体步骤的具体实现过程与上述人脸面部杂质检测模型的训练方法或人脸面部杂质检测方法的具体步骤相同，此处不再赘述。
本发明实施例通过对人脸划分多个区域，并对每个人脸区域的面部杂质严重程度进行标签标注，利用人脸多个区域的面部杂质严重程度的检测结果，构建多尺度融合反馈损失函数，根据该多尺度融合反馈损失函数对人脸面部杂质检测模型进行训练，若每一人脸区域的严重等级预测不准确，说明该模型预测的每一人脸区域的面部杂质数量不准确，则相应地面部杂质的预测不准确，通过将人脸面部杂质严重程度的因子考虑进去，调整模型参数进行训练，使得得到的人脸面部杂质检测模型对检测面部杂质的准确度高、能够更加有效地提升面部杂质检测的准确度和召回率，降低面部杂质的漏检率。
更加地，通过对yolov3模型进行结构改造，一方面构造特征提取网络，改进特征提取模块的结构，并在特征提取网络中增加了连接模块，能够在不额外增加模型参数的情况下，更好地进行深层网络特征和浅层网络特征进行融合，可有效降低模型大小，提高模型的预测准确率。
本发明实施例提供一种人脸面部杂质检测模型的训练装置，用于执行上述人脸面部杂质检测模型的训练方法。
本发明实施例提供一种人脸面部杂质检测装置，用于执行上述人脸面部杂质检测方法。
本发明实施例提供了一种计算机程序，所述计算机程序可被处理器调用使电子设备执行上述任意方法实施例中的人脸面部杂质检测模型的训练方法或人脸面部杂质检测方法。
本发明实施例提供了一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令在计算机上运行时，使得所述计算机执行上述任意方法实施例中的人脸面部杂质检测模型的训练方法或人脸面部杂质检测方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明实施例也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。

Claims (10)

1.一种人脸面部杂质检测模型的训练方法，其特征在于，所述方法包括：
获取训练样本集，所述训练样本集包括人脸图像中面部杂质的面部杂质标注信息以及人脸图像中人脸多个区域的面部杂质严重等级标注信息；
将所述训练样本集输入预设的改进型yolov3模型，输出所述训练样本集中人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息；
基于预设的多尺度融合反馈损失函数，根据所述训练样本集中人脸图像的面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息分别计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到所述改进型yolov3模型的总损失，所述多尺度融合反馈损失函数为融合了面部杂质损失和面部杂质严重等级的损失函数；
若所述总损失大于预设阈值，则调整所述改进型yolov3模型的参数，将所述训练样本集输入所述改进型yolov3模型继续训练，直至使得所述总损失小于等于所述预设阈值，得到人脸面部杂质检测模型。
2.根据权利要求1所述的方法，其特征在于，所述面部杂质标注信息包括面部杂质标注框信息及面部杂质标注类别信息，所述人脸多个区域的面部杂质严重等级标注信息包括人脸多个区域的面部杂质严重等级标注标签；所述面部杂质预测信息包括面部杂质预测框信息及面部杂质预测类别信息，所述人脸多个区域的面部杂质严重等级预测信息包括人脸多个区域的面部杂质严重等级预测标签；
所述基于预设的多尺度融合反馈函数，根据所述面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到所述改进型yolov3模型的总损失，包括：
基于预设的多尺度融合反馈函数，根据所述面部杂质标注框信息及所述面部杂质预测框信息计算面部杂质预测框的位置偏移损失；
基于预设的多尺度融合反馈函数，根据所述面部杂质标注类别信息及所述面部杂质预测类别信息计算面部杂质分类损失；
基于预设的多尺度融合反馈函数，根据所述面部杂质标注类别信息及所述面部杂质预测类别信息计算面部杂质的置信度损失；
基于预设的多尺度融合反馈函数，根据所述严重等级标注标签及所述严重等级预测标签计算人脸多个区域的面部杂质严重等级标签损失；
根据所述位置偏移损失、所述面部杂质分类损失、所述置信度损失以及所述面部杂质严重等级标签损失，得到所述总损失。
3.根据权利要求2所述的方法，其特征在于，所述多尺度融合反馈损失函数为：
Figure FDA0002516176910000021
其中，λobj为面部杂质预测框的位置偏移权重，α为面部杂质的置信度损失权重，β为面部杂质严重的程度类别权重，Twidth和Theight分别为面部杂质标注框的宽度值和高度值，Tr和Pr分别为面部杂质标注框的坐标参数和面部杂质预测框的坐标参数，k为面部杂质预测类别个数，Tclass为面部杂质标注类别，Pclass为面部杂质预测类别，Tconf为面部杂质标注类别信息的置信度，Pconf为面部杂质预测信息的置信度，Tlabel为面部杂质严重等级标注标签，Plabel为面部杂质严重等级预测标签。
4.根据权利要求1所述的方法，其特征在于，所述改进型yolov3模型包括特征提取网络，其中，所述特征提取网络包括：
第一特征提取模块，用于接收所述训练样本集中的人脸图像，并对所述训练样本集中的人脸图像进行特征提取，以得到第一尺度特征图；
第二特征提取模块，用于对所述第一尺度特征图进行特征提取，以得到第二尺度特征图；
第三特征提取模块，用于对所述第二尺度特征图进行特征提取，以得到第三尺度特征图；
第一连接模块，用于将所述第一尺度特征图进行采样后，得到第一采样特征图，并将所述第一采样特征图输入所述第三特征提取模块；
第三特征提取模块，还用于接收所述第一采样特征图，将所述第一采样特征图及第三尺度特征图进行融合，得到第一融合特征图；
第四特征提取模块，用于对所述第一融合特征图进行特征提取，以得到第四尺度特征图；
第二连接模块，用于对所述第一尺度特征图进行采样后，得到第二采样特征图，并将所述第二采样特征图输入所述第四特征提取模块；
第三连接模块，用于对所述第二尺度特征图进行采样，得到第三采样特征图，并将所述第三采样特征图输入所述第四特征提取模块；
第四特征提取模块，还用于接收所述第二采样特征图及所述第三采样特征图，并将所述第四尺度特征图、第二采样特征图、第三采样特征图进行融合，得到第二融合特征图；
第五特征提取模块，用于对所述第二融合特征图进行特征提取，以得到第五尺度特征图；
所述第一融合特征图、所述第二融合特征图以及所述第五尺度特征图被用于确定所述人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息。
5.根据权利要求4所述的方法，其特征在于，所述第一特征提取模块、所述第二特征提取模块、所述第三特征提取模块、所述第四特征提取模块及所述第五特征提取模块均包括卷积核及类残差神经网络，其中，所述类残差神经网络包括第一卷积层及与第一卷积层相加的第二卷积层，所述第一卷积层包括CBL单元，所述CBL单元包括卷积核、BN层及激活函数；
所述第一连接模块、所述第二连接模块及所述第三连接模块均包括卷积核及采样单元。
6.一种人脸面部杂质检测方法，其特征在于，所述方法包括：
获取待检测的人脸图像；
将所述待检测的人脸图像输入至人脸面部杂质检测模型，其中，所述人脸面部杂质检测模型通过如权利要求1-5任一项所述的人脸面部杂质检测模型的训练方法训练得到；
输出人脸图像中的面部杂质检测结果。
7.一种人脸面部杂质检测模型的训练装置，其特征在于，所述装置包括：
训练样本集获取模块，用于获取训练样本集，所述训练样本集包括对人脸图像中面部杂质的面部杂质标注信息以及对人脸图像中人脸多个区域的面部杂质严重等级标注信息；
训练模块，用于将所述训练样本集输入预设的改进型yolov3模型，输出所述训练样本集中人脸图像的面部杂质预测信息及人脸多个区域的面部杂质严重等级预测信息；
损失计算模块，用于基于预设的多尺度融合反馈损失函数，根据所述训练样本集中人脸图像的面部杂质标注信息、人脸多个区域的面部杂质严重等级标注信息、所述面部杂质预测信息及所述人脸多个区域的面部杂质严重等级预测信息分别计算所述人脸图像的面部杂质损失及人脸多个区域的面部杂质严重等级损失，以得到所述改进型yolov3模型的总损失，所述多尺度融合反馈损失函数为融合了面部杂质损失和面部杂质严重等级的损失函数；
参数调整模块，用于若所述总损失大于预设阈值，则调整所述改进型yolov3模型的参数，将所述训练样本集输入所述改进型yolov3模型继续训练，直至使得所述总损失小于等于所述预设阈值，得到人脸面部杂质检测模型。
8.一种人脸面部杂质检测装置，其特征在于，所述装置包括：
输入模块，用于获取待检测的人脸图像；
检测模块，用于将所述待检测的人脸图像输入至人脸面部杂质检测模型，其中，所述人脸面部杂质检测模型通过如权利要求1-5任一项所述的人脸面部杂质检测模型的训练方法或权利要求7所述的人脸面部杂质检测模型的训练装置训练得到；
输出模块，用于输出人脸图像中的面部杂质检测结果。
9.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-5任意一项所述的面部杂质检测模型的训练方法或权利要求6所述的人脸面部杂质检测方法的操作。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一可执行指令，所述可执行指令在电子设备上运行时，使得电子设备执行如权利要求1-5任意一项所述的面部杂质检测模型的训练方法或权利要求6所述的人脸面部杂质检测方法的操作。
CN202010477045.3A 2020-05-29 2020-05-29 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法 Active CN111695463B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010477045.3A CN111695463B (zh) 2020-05-29 2020-05-29 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010477045.3A CN111695463B (zh) 2020-05-29 2020-05-29 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法

Publications (2)

Publication Number Publication Date
CN111695463A true CN111695463A (zh) 2020-09-22
CN111695463B CN111695463B (zh) 2022-07-26

Family

ID=72478959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010477045.3A Active CN111695463B (zh) 2020-05-29 2020-05-29 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法

Country Status (1)

Country Link
CN (1) CN111695463B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807472A (zh) * 2021-11-19 2021-12-17 智道网联科技(北京)有限公司 分级目标检测方法及装置
CN114022907A (zh) * 2021-12-27 2022-02-08 东北农业大学 一种基于深度学习的猪只体表测温装置及方法
CN115761815A (zh) * 2023-01-10 2023-03-07 合肥中科类脑智能技术有限公司 人体检测模型的训练方法及人体检测方法、设备、介质
CN117274266A (zh) * 2023-11-22 2023-12-22 深圳市宗匠科技有限公司 痘痘严重程度的分级方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110294A (zh) * 2011-02-21 2011-06-29 中国农业大学 病鱼的鱼体图像处理方法及系统
CN109271970A (zh) * 2018-10-30 2019-01-25 北京旷视科技有限公司 人脸检测模型训练方法及装置
WO2019095118A1 (zh) * 2017-11-14 2019-05-23 深圳和而泰智能控制股份有限公司 一种皮肤瑕疵点分类方法及电子设备
US20190182408A1 (en) * 2017-12-13 2019-06-13 Canon Kabushiki Kaisha Image processing apparatus, method therefor, and storage medium
CN110009630A (zh) * 2019-04-15 2019-07-12 中国医学科学院皮肤病医院 一种基于深度学习的皮肤目标区域自动检测方法
CN110059635A (zh) * 2019-04-19 2019-07-26 厦门美图之家科技有限公司 一种皮肤瑕疵检测方法及装置
CN110211094A (zh) * 2019-05-06 2019-09-06 平安科技（深圳）有限公司 黑眼圈智能判断方法、装置及计算机可读存储介质
US20200151425A1 (en) * 2018-04-12 2020-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image Processing Method, Image Processing Device, Computer Readable Storage Medium and Electronic Device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110294A (zh) * 2011-02-21 2011-06-29 中国农业大学 病鱼的鱼体图像处理方法及系统
WO2019095118A1 (zh) * 2017-11-14 2019-05-23 深圳和而泰智能控制股份有限公司 一种皮肤瑕疵点分类方法及电子设备
US20190182408A1 (en) * 2017-12-13 2019-06-13 Canon Kabushiki Kaisha Image processing apparatus, method therefor, and storage medium
US20200151425A1 (en) * 2018-04-12 2020-05-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image Processing Method, Image Processing Device, Computer Readable Storage Medium and Electronic Device
CN109271970A (zh) * 2018-10-30 2019-01-25 北京旷视科技有限公司 人脸检测模型训练方法及装置
CN110009630A (zh) * 2019-04-15 2019-07-12 中国医学科学院皮肤病医院 一种基于深度学习的皮肤目标区域自动检测方法
CN110059635A (zh) * 2019-04-19 2019-07-26 厦门美图之家科技有限公司 一种皮肤瑕疵检测方法及装置
CN110211094A (zh) * 2019-05-06 2019-09-06 平安科技（深圳）有限公司 黑眼圈智能判断方法、装置及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕思凡: "人脸皮肤图像特征检测", 《信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807472A (zh) * 2021-11-19 2021-12-17 智道网联科技(北京)有限公司 分级目标检测方法及装置
CN113807472B (zh) * 2021-11-19 2022-02-22 智道网联科技(北京)有限公司 分级目标检测方法及装置
CN114022907A (zh) * 2021-12-27 2022-02-08 东北农业大学 一种基于深度学习的猪只体表测温装置及方法
CN115761815A (zh) * 2023-01-10 2023-03-07 合肥中科类脑智能技术有限公司 人体检测模型的训练方法及人体检测方法、设备、介质
CN117274266A (zh) * 2023-11-22 2023-12-22 深圳市宗匠科技有限公司 痘痘严重程度的分级方法、装置、设备及存储介质
CN117274266B (zh) * 2023-11-22 2024-03-12 深圳市宗匠科技有限公司 痘痘严重程度的分级方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111695463B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN111695463B (zh) 人脸面部杂质检测模型的训练方法、人脸面部杂质检测方法
CN111126258A (zh) 图像识别方法及相关装置
CN111160269A (zh) 一种人脸关键点检测方法及装置
CN111814794A (zh) 文本检测方法、装置、电子设备及存储介质
CN114092833B (zh) 遥感图像分类方法、装置、计算机设备和存储介质
CN113780296A (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
CN111967464B (zh) 一种基于深度学习的弱监督目标定位方法
CN111160114B (zh) 手势识别方法、装置、设备及计算机可读存储介质
CN110516541A (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN112651490B (zh) 人脸关键点检测模型的训练方法及设备、可读存储介质
CN114463637A (zh) 一种基于深度学习的冬小麦遥感识别分析方法和系统
CN113255607A (zh) 基于多模型融合的遥感房屋检测方法及装置
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN112446322A (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN111507288A (zh) 图像检测方法、装置、计算机设备和存储介质
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN116503677B (zh) 一种湿地分类信息提取方法、系统、电子设备及存储介质
CN111079807B (zh) 一种地物分类方法及装置
CN110210314B (zh) 人脸检测方法、装置、计算机设备及存储介质
CN109508582A (zh) 遥感影像的识别方法及装置
CN111797769A (zh) 一种小目标敏感的车辆检测系统
CN117152484A (zh) 改进YOLOv5s的小目标布匹瑕疵检测方法
CN112699809B (zh) 痘痘类别识别方法、装置、计算机设备及存储介质
CN114332915A (zh) 人体属性检测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant