CN112507996A - 一种主样本注意力机制的人脸检测方法 - Google Patents

一种主样本注意力机制的人脸检测方法 Download PDF

Info

Publication number
CN112507996A
CN112507996A CN202110160332.6A CN202110160332A CN112507996A CN 112507996 A CN112507996 A CN 112507996A CN 202110160332 A CN202110160332 A CN 202110160332A CN 112507996 A CN112507996 A CN 112507996A
Authority
CN
China
Prior art keywords
loss function
sample
anchor frame
candidate
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110160332.6A
Other languages
English (en)
Other versions
CN112507996B (zh
Inventor
闫超
黄俊洁
韩强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Dongfang Tiancheng Intelligent Technology Co ltd
Original Assignee
Chengdu Dongfang Tiancheng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Dongfang Tiancheng Intelligent Technology Co ltd filed Critical Chengdu Dongfang Tiancheng Intelligent Technology Co ltd
Priority to CN202110160332.6A priority Critical patent/CN112507996B/zh
Publication of CN112507996A publication Critical patent/CN112507996A/zh
Application granted granted Critical
Publication of CN112507996B publication Critical patent/CN112507996B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种主样本注意力机制的人脸检测方法，利用网络模型提取训练图像的特征图信息，然后由锚框筛选模块在特征图的每一特征点上利用预测坐标值偏移量生成预测锚框集合，并将预测锚框分为候选正样本和候选负样本，分别对候选正样本和候选负样本进行排序；使用损失函数计算损失值，所述损失函数分为类别分类损失函数和位置回归损失函数，并根据候选正样本和候选负样本的排名结果赋予重要程度不同的损失值权重，利用主样本注意力机制将权重偏向主样本。本发明在模型训练过程中强调主样本的重要性，抑制不重要样本对模型学习的影响，从而提升了模型的性能，具有较好的实用性。

Description

一种主样本注意力机制的人脸检测方法
技术领域
本发明属于人脸检测的技术领域，具体涉及一种主样本注意力机制的人脸检测方法。
背景技术
人脸检测技术是目标检测领域中重要研究之一，是人脸验证、表情识别、年龄识别、智能监控等应用的基础。人脸检测技术分为单阶段算法和两阶段算法，前者主要思路是预先设定固定尺寸的锚框生成候选区域，再对候选区域进行分类、位置回归，类似滑动窗口机制，模型训练更加稳定，定位精度更高，代表算法有R-CNN、Faster R-CNN，而后者去除了候选区域部分的计算，直接在特征图上回归得到目标的位置，这类算法检测速度更快，代表算法有YOLOV3、SSD。然而，单阶段或者两阶段的目标检测算法大多数都采用区域的方法，通常将候选区域的分类问题和定位问题分开处理的，但是在目标附近预测出的结果的类别应该具有更高的置信度，所以分类与定位应该是相关联的。
目前，目标检测领域比较关注如何有效地使用困难样本提高检测器的性能，衍生出许多实现这个想法的方法，比如在线难例挖掘算法（Online Hard Example Mining，OHEM）以及焦点损失函数（Focal Loss）。在线难例挖掘算法使用损失值来选取难例，难例指的是损失值较高的假阳性样本，该算法使模型训练时偏重学习这些难例样本，从而提高检测精度。而焦点损失函数改进了类别分类损失函数，重新给每种样本赋予不同的权重比例，加重困难样本的损失值占比，从而指导模型学习到困难样本，达到解决样本不平衡的问题。虽然这些采样策略一定程度上是有效的，但是处理过程中平等、独立地对待所有样本，并没有学习到样本之间的关系。
综上所述，现有的人脸检测方法存在两个问题：1）将分类和定位这两个问题分开处理；2）平等、独立地对待所有样本，忽略样本互相的影响关系。因此，本发明提出一种简单而有效的人脸检测方法，采用偏重关注主要样本的采样策略解决样本不均匀的问题，将分类和定位问题进行联合训练，大幅度提高检测精度，增加模型的检测性能。
发明内容
本发明的目的在于提供一种主样本注意力机制的人脸检测方法，旨在解决上述问题。
本发明主要通过以下技术方案实现：
一种主样本注意力机制的人脸检测方法，包括以下步骤：
步骤S100：收集自然场景中包含人脸的图像数据，构成训练集；
步骤S200：利用网络模型提取训练图像的特征图信息，然后由锚框筛选模块在特征图的每一特征点上利用预测坐标值偏移量生成预测锚框集合，并将预测锚框分为候选正样本和候选负样本，分别对候选正样本和候选负样本进行排序；
步骤S300：最后使用损失函数计算损失值，所述损失函数分为类别分类损失函数和位置回归损失函数，并根据候选正样本和候选负样本的排名结果赋予重要程度不同的损失值权重，利用主样本注意力机制将权重偏向主样本；优化损失值并设置相关超参数，迭代计算，直至损失值收敛；
所述损失函数的计算公式如下：
Figure 573524DEST_PATH_IMAGE001
其中：
Figure 395986DEST_PATH_IMAGE002
为类别分类损失函数，
Figure 131861DEST_PATH_IMAGE003
为位置回归损失函数，
Figure 658658DEST_PATH_IMAGE004
为类别分类损失函数计算的批处理大小，
Figure 327536DEST_PATH_IMAGE005
为位置回归损失函数计算的批处理大小，
（s=1）表示只有正样本才进行位置回归损失值计算。
为了更好地实现本发明，进一步地，所述类别分类损失函数采用二元交叉熵损失函数，并根据样本在所处的集合中的排序设定损失值权重，为不同重要性的样本分配对应的损失权重，计算公式如下：
Figure 320900DEST_PATH_IMAGE006
其中：
BCE为二元交叉熵损失函数，
Figure 809650DEST_PATH_IMAGE007
是归一化之后的排序，
Figure 546662DEST_PATH_IMAGE008
为集合中排名的最大值；
Figure 70047DEST_PATH_IMAGE009
为预测锚框在所属集合中的排名；
Figure 827788DEST_PATH_IMAGE010
为将集合的排名转化成的权重值；
β和γ分别为设定的调节权重值的参数；
将
Figure 69413DEST_PATH_IMAGE010
归一化成
Figure 100002_DEST_PATH_IMAGE011
，
Figure 78958DEST_PATH_IMAGE012
为真实类别标签，
Figure 100002_DEST_PATH_IMAGE013
为预测为某类的概率值，
公式（4）中的i为正样本，j为负样本，
若预测锚框与真实边界框之间的距离交并比值大于阈值，则真实类别标签
Figure 315904DEST_PATH_IMAGE012
为1，否则
Figure 651070DEST_PATH_IMAGE012
为0。
为了更好地实现本发明，进一步地，位置回归损失函数采用分类感知回归损失函数，将分类和定位回归构成正相关，同时优化分类和位置回归分支，计算预测锚框坐标偏移量与真实坐标偏移量之间的损失值，计算公式如下：
Figure 379992DEST_PATH_IMAGE014
其中：
Figure 100002_DEST_PATH_IMAGE015
为通用的平滑L1损失函数，
Figure 786702DEST_PATH_IMAGE016
为用调节因子计算之后的类别概率值，
n为类别概率值为
Figure 284680DEST_PATH_IMAGE016
的样本总数量，
Figure 100002_DEST_PATH_IMAGE017
为根据类别概率值归一化之后得到的回归损失权重值，
Figure 649802DEST_PATH_IMAGE018
为真实坐标偏移量，
Figure 100002_DEST_PATH_IMAGE019
为预测坐标偏移量；
Figure 600441DEST_PATH_IMAGE020
为锚框的类别概率值，
b和k均为调节因子。
为了更好地实现本发明，进一步地，所述类别分类损失函数采用二元交叉熵损失函数，所述位置回归损失函数采用分类感知回归损失函数。
为了更好地实现本发明，进一步地，所述步骤S200包括以下步骤：
步骤S210：首先利用预测坐标偏移量和锚框尺寸计算得到预测锚框集合；
步骤S220：然后计算预测锚框与真实边界框之间的距离交并比，若预测锚框的距离交并比大于等于阈值则为候选正样本，若预测锚框的距离交并比小于阈值则为候选负样本；
步骤S230：通过距离交并比值对候选正样本进行排序得到预测正样本集合，利用非极大值抑制算法对候选负样本进行排序得到预测负样本集合。
为了更好地实现本发明，进一步地，所述步骤S220中的阈值为0.5。
为了更好地实现本发明，进一步地，所述步骤S200中的网络模型采用ResNet-20网络结构，所述网络模型的主干网络由从前至后依次设置的卷积层、批归一化层、激活函数层、残差块组成，所述残差块由从前至后依次设置的卷积层、批归一化层、激活函数层、特征相加层组成。
为了更好地实现本发明，进一步地，所述网络模型的主干网络设置有8个残差块。
为了更好地实现本发明，进一步地，所述的激活函数层采用参数修正线性单元层。
为了更好地实现本发明，进一步地，使用K-means算法在样本上聚类得到锚框的尺寸，计算锚框与真实边界框之间的坐标偏移量，称为真实坐标偏移量。
所述的主样本注意力机制是一种设定的样本采样和模型训练策略，是在训练时将模型参数权重倾向关注主要样本的一种学习机制，主要表现在使用样本排序设定分类损失权重，以及在分类感知回归损失函数中。
本发明采用主样本注意力机制解决样本不均匀的问题，将分类和定位问题进行联合训练，大幅度提高检测精度，增加模型的检测性能。本发明中的主样本是指对模型性能影响最多的主要样本。本发明提出的人脸检测方法采用主样本注意力机制训练人脸检测模型，偏重关注对模型性能影响最多的主要样本，为不同样本分配重要程度不同的损失权重值，是一种有效的学习策略，与此同时，将分类问题和定位问题相结合优化模型，使模型的定位能力更加精准，减少模型误检情况。
本发明的有益效果：
（1）本发明提出利用主样本注意力机制学习训练人脸检测模型，分别对候选正样本和候选负样本进行排序，并根据排名结果赋予重要程度不同的损失值权重，在模型训练过程中强调主样本的重要性，抑制不重要样本对模型学习的影响，从而提升了模型的性能。与此同时，将分类任务和定位人脸联合学习，大大提高了定位的精度性；
（2）本发明提出了使用距离交并比区分正负样本，能在预测锚框与真实边界框之间存在包含关系时更准确、更快地区分正负样本，并且使用距离交并比对正样本进行排序更加客观，排除使用传统交并比时出现的重合度不同但交并比值一样，导致定位模糊的情况。
附图说明
图1为本发明整体网络结构示意图；
图2为本发明的流程图；
图3为锚框筛选模块的流程图。
具体实施方式
实施例1：
一种主样本注意力机制的人脸检测方法，包括以下步骤：
步骤S100：收集自然场景中包含人脸的图像数据，构成训练集；
步骤S200：利用网络模型提取训练图像的特征图信息，然后由锚框筛选模块在特征图的每一特征点上利用预测坐标值偏移量生成预测锚框集合，并将预测锚框分为候选正样本和候选负样本，分别对候选正样本和候选负样本进行排序；
步骤S300：最后使用损失函数计算损失值，所述损失函数分为类别分类损失函数和位置回归损失函数，并根据候选正样本和候选负样本的排名结果赋予重要程度不同的损失值权重，利用主样本注意力机制将权重偏向主样本；优化损失值并设置相关超参数，迭代计算，直至损失值收敛；
所述损失函数的计算公式如下：
Figure DEST_PATH_IMAGE021
其中：
Figure 217367DEST_PATH_IMAGE002
为类别分类损失函数，
Figure 569851DEST_PATH_IMAGE003
为位置回归损失函数，
Figure 512399DEST_PATH_IMAGE004
为类别分类损失函数计算的批处理大小，
Figure 543809DEST_PATH_IMAGE005
为位置回归损失函数计算的批处理大小，
（s=1）表示只有正样本才进行位置回归损失值计算。
进一步地，如图2所示，收集自然场景中包含人脸的图像数据，构成训练集和测试集，根据聚类结果得到锚框尺寸，得到锚框与真实边界框之间的坐标偏移量。将训练集按批处理大小输入到网络模型中训练，利用网络的主干部分提取训练集的特征图信息，然后由锚框筛选模块在特征图的每一个特征点上利用预测坐标偏移量生成预测锚框集合，并将预测锚框分为候选正样本和候选负样本，再分别进行排序，得到预测正样本和预测负样本集合，最后使用损失函数进行损失值计算，利用优化策略优化参数，得到最优的模型。
进一步地，所述的优化策略是使用随机梯度下降法优化模型参数权重，其相关超参数有学习率、批处理大小、总迭代次数、L2惩罚项衰减率，分别设为0.001、128、50000、0.001。
本发明利用主样本注意力机制训练人脸检测模型，将模型权重倾向于正样本中最重要的样本，解决正负样本不均匀的问题，大大提高模型性能。
实施例2：
本实施例是在实施例1的基础上进行优化，所述类别分类损失函数采用二元交叉熵损失函数，并根据样本在所处的集合中的排序设定损失值权重，为不同重要性的样本分配对应的损失权重，计算公式如下：
Figure 964426DEST_PATH_IMAGE022
其中：
Figure 436995DEST_PATH_IMAGE007
是归一化之后的排序，
Figure 878341DEST_PATH_IMAGE008
为集合中排名的最大值；
Figure 803572DEST_PATH_IMAGE009
为预测锚框在所属集合中的排名；
Figure 27880DEST_PATH_IMAGE010
为将集合的排名转化成的权重值；
β和γ分别为设定的调节权重值的参数；
将
Figure 823797DEST_PATH_IMAGE010
归一化成
Figure 108148DEST_PATH_IMAGE011
，
Figure 520675DEST_PATH_IMAGE012
为真实类别标签，
Figure 17515DEST_PATH_IMAGE013
为预测为某类的概率值，
公式（4）中的i为正样本，j为负样本，
若预测锚框与真实边界框之间的距离交并比值大于阈值，则真实类别标签
Figure 199098DEST_PATH_IMAGE012
为1，否则
Figure 388771DEST_PATH_IMAGE012
为0。正负样本权重值计算和归一化计算方式一样。
本实施例的其他部分与实施例1相同，故不再赘述。
实施例3：
本实施例是在实施例1或2的基础上进行优化，所述位置回归损失函数采用分类感知回归损失函数，将分类和定位回归构成正相关，同时优化分类和位置回归分支，计算预测锚框坐标偏移量与真实坐标偏移量之间的损失值，计算公式如下：
Figure DEST_PATH_IMAGE023
其中：
Figure 616490DEST_PATH_IMAGE015
为通用的平滑L1损失函数，
Figure 182600DEST_PATH_IMAGE016
为用调节因子计算之后的类别概率值，
n为类别概率值为
Figure 218690DEST_PATH_IMAGE016
的样本总数量，
Figure 579264DEST_PATH_IMAGE017
为根据类别概率值归一化之后得到的回归损失权重值，
Figure 966383DEST_PATH_IMAGE018
为真实坐标偏移量，
Figure 398501DEST_PATH_IMAGE019
为预测坐标偏移量；
Figure 289097DEST_PATH_IMAGE020
为锚框的类别概率值，
b和k均为调节因子。
本实施例的其他部分与上述实施例1或2相同，故不再赘述。
实施例4：
本实施例是在实施例1-3任一个的基础上进行优化，如图3所示，所述步骤S200包括以下步骤：
步骤S210：首先利用预测坐标偏移量和锚框尺寸计算得到预测锚框集合；
步骤S220：然后计算预测锚框与真实边界框之间的距离交并比，若预测锚框的距离交并比大于等于阈值则为候选正样本，若预测锚框的距离交并比小于阈值则为候选负样本；
步骤S230：通过距离交并比值对候选正样本进行排序得到预测正样本集合，利用非极大值抑制算法对候选负样本进行排序得到预测负样本集合。
进一步地，所述步骤S220中的阈值为0.5。
如图3所示，锚框筛选模块先利用预测坐标偏移量和锚框尺寸计算得到预测锚框，然后计算预测锚框和真实边界框之间的距离交并比，大于阈值的设为候选正样本，小于阈值的设为候选负样本。距离交并比计算公式如下：
Figure 86151DEST_PATH_IMAGE024
其中交并比IOU的计算公式如下：
Figure 288463DEST_PATH_IMAGE025
其中：
b为预测锚框B的中心点，
Figure DEST_PATH_IMAGE026
为真实边界框
Figure 461955DEST_PATH_IMAGE027
的中心点，
Figure DEST_PATH_IMAGE028
为欧式距离计算公式，
C为B和
Figure 800533DEST_PATH_IMAGE029
的最小外接矩形的对角线距离。
进一步地，阈值Dt=0.5。
利用距离交并比值对候选正样本进行排序，而负样本需先使用非极大抑制算法排序。最后生成候选正样本集合和候选负样本集合输出。
本发明提出利用主样本注意力机制学习训练人脸检测模型，分别对候选正样本和候选负样本进行排序，并根据排名结果赋予重要程度不同的损失值权重，在模型训练过程中强调主样本的重要性，抑制不重要样本对模型学习的影响，从而提升了模型的性能。与此同时，将分类任务和定位人脸联合学习，大大提高了定位的精度性。
本实施例的其他部分与上述实施例1-3任一个相同，故不再赘述。
实施例5：
本实施例是在实施例1-4任一个的基础上进行优化，如图1所示，所述步骤S200中的网络模型采用ResNet-20网络结构，所述网络模型的主干网络由从前至后依次设置的卷积层、批归一化层、激活函数层、残差块组成，所述残差块由从前至后依次设置的卷积层、批归一化层、激活函数层、特征相加层组成。图1中的C为卷积层、BN为批标准化层、PR为参数修正线性单元层、Res_block为残差块。
进一步地，所述网络模型的主干网络设置有8个残差块。
进一步地，所述的激活函数层采用参数修正线性单元层。
如图1所示，使用ResNet-20网络结构，从前至后将卷积层、批归一化层、激活函数层、特征相加层组成残差块；从前至后将卷积层、批归一化层、激活函数层、残差块按预先设定的组合方式构建成人脸检测模型的主干网络部分。
本发明提出利用主样本注意力机制学习训练人脸检测模型，分别对候选正样本和候选负样本进行排序，并根据排名结果赋予重要程度不同的损失值权重，在模型训练过程中强调主样本的重要性，抑制不重要样本对模型学习的影响，从而提升了模型的性能。与此同时，将分类任务和定位人脸联合学习，大大提高了定位的精度性。
本实施例的其他部分与上述实施例1-4任一个相同，故不再赘述。
实施例6：
本实施例是在实施例1的基础上进行优化，使用K-means算法在样本上聚类得到锚框的尺寸，计算锚框与真实边界框之间的坐标偏移量，称为真实坐标偏移量。聚类得到的锚框尺寸为：
[68×24，64×30，72×34，80×38，84×40，88×43，96×47，100×50，106×58]。
本实施例的其他部分与上述实施例1相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (10)

1.一种主样本注意力机制的人脸检测方法，其特征在于，包括以下步骤：
步骤S100：收集自然场景中包含人脸的图像数据，构成训练集；
步骤S200：利用网络模型提取训练图像的特征图信息，然后由锚框筛选模块在特征图的每一特征点上利用预测坐标值偏移量生成预测锚框集合，并将预测锚框分为候选正样本和候选负样本，分别对候选正样本和候选负样本进行排序；
步骤S300：最后使用损失函数计算损失值，所述损失函数分为类别分类损失函数和位置回归损失函数，并根据候选正样本和候选负样本的排名结果赋予重要程度不同的损失值权重，利用主样本注意力机制将权重偏向主样本；优化损失值并设置相关超参数，迭代计算，直至损失值收敛；
所述损失函数的计算公式如下：
Figure DEST_PATH_IMAGE001
其中：
Figure DEST_PATH_IMAGE002
为类别分类损失函数，
Figure DEST_PATH_IMAGE003
为位置回归损失函数，
Figure DEST_PATH_IMAGE004
为类别分类损失函数计算的批处理大小，
Figure DEST_PATH_IMAGE005
为位置回归损失函数计算的批处理大小，
（s=1）表示只有正样本才进行位置回归损失值计算。
2.根据权利要求1所述的一种主样本注意力机制的人脸检测方法，其特征在于，所述类别分类损失函数采用二元交叉熵损失函数，并根据样本在所处的集合中的排序设定损失值权重，为不同重要性的样本分配对应的损失权重，计算公式如下：
Figure DEST_PATH_IMAGE006
其中：
BCE为二元交叉熵损失函数，
Figure DEST_PATH_IMAGE007
是归一化之后的排序，
Figure DEST_PATH_IMAGE008
为集合中排名的最大值；
Figure DEST_PATH_IMAGE009
为预测锚框在所属集合中的排名；
Figure DEST_PATH_IMAGE010
为将集合的排名转化成的权重值；
β和γ分别为设定的调节权重值的参数；
将
Figure 93975DEST_PATH_IMAGE010
归一化成
Figure DEST_PATH_IMAGE011
，
Figure DEST_PATH_IMAGE012
为真实类别标签，
Figure DEST_PATH_IMAGE013
为预测为某类的概率值，
公式（4）中的i为正样本，j为负样本，
若预测锚框与真实边界框之间的距离交并比值大于阈值，则真实类别标签
Figure 339012DEST_PATH_IMAGE012
为1，否则
Figure 118749DEST_PATH_IMAGE012
为0。
3.根据权利要求1所述的一种主样本注意力机制的人脸检测方法，其特征在于，所述位置回归损失函数采用分类感知回归损失函数，将分类和定位回归构成正相关，同时优化分类和位置回归分支，计算预测锚框坐标偏移量与真实坐标偏移量之间的损失值，计算公式如下：
Figure DEST_PATH_IMAGE014
其中：
Figure DEST_PATH_IMAGE015
为通用的平滑L1损失函数，
Figure DEST_PATH_IMAGE016
为用调节因子计算之后的类别概率值，
n为类别概率值为
Figure 248379DEST_PATH_IMAGE016
的样本总数量，
Figure DEST_PATH_IMAGE017
为根据类别概率值归一化之后得到的回归损失权重值，
Figure DEST_PATH_IMAGE018
为真实坐标偏移量，
Figure DEST_PATH_IMAGE019
为预测坐标偏移量；
Figure DEST_PATH_IMAGE020
为锚框的类别概率值，
b和k均为调节因子。
4.根据权利要求1-3任一项所述的一种主样本注意力机制的人脸检测方法，其特征在于，所述类别分类损失函数采用二元交叉熵损失函数，所述位置回归损失函数采用分类感知回归损失函数。
5.根据权利要求1所述的一种主样本注意力机制的人脸检测方法，其特征在于，所述步骤S200包括以下步骤：
步骤S210：首先利用预测坐标偏移量和锚框尺寸计算得到预测锚框集合；
步骤S220：然后计算预测锚框与真实边界框之间的距离交并比，若预测锚框的距离交并比大于等于阈值则为候选正样本，若预测锚框的距离交并比小于阈值则为候选负样本；
步骤S230：通过距离交并比值对候选正样本进行排序得到预测正样本集合，利用非极大值抑制算法对候选负样本进行排序得到预测负样本集合。
6.根据权利要求5所述的一种主样本注意力机制的人脸检测方法，其特征在于，所述步骤S220中的阈值为0.5。
7.根据权利要求1所述的一种主样本注意力机制的人脸检测方法，其特征在于，所述步骤S200中的网络模型采用ResNet-20网络结构，所述网络模型的主干网络由从前至后依次设置的卷积层、批归一化层、激活函数层、残差块组成，所述残差块由从前至后依次设置的卷积层、批归一化层、激活函数层、特征相加层组成。
8.根据权利要求7所述的一种主样本注意力机制的人脸检测方法，其特征在于，所述网络模型的主干网络设置有8个残差块。
9.根据权利要求7所述的一种主样本注意力机制的人脸检测方法，其特征在于，所述的激活函数层采用参数修正线性单元层。
10.根据权利要求3所述的一种主样本注意力机制的人脸检测方法，其特征在于，使用K-means算法在样本上聚类得到锚框的尺寸，计算锚框与真实边界框之间的坐标偏移量，称为真实坐标偏移量。
CN202110160332.6A 2021-02-05 2021-02-05 一种主样本注意力机制的人脸检测方法 Active CN112507996B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110160332.6A CN112507996B (zh) 2021-02-05 2021-02-05 一种主样本注意力机制的人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110160332.6A CN112507996B (zh) 2021-02-05 2021-02-05 一种主样本注意力机制的人脸检测方法

Publications (2)

Publication Number Publication Date
CN112507996A true CN112507996A (zh) 2021-03-16
CN112507996B CN112507996B (zh) 2021-04-20

Family

ID=74953117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110160332.6A Active CN112507996B (zh) 2021-02-05 2021-02-05 一种主样本注意力机制的人脸检测方法

Country Status (1)

Country Link
CN (1) CN112507996B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801069A (zh) * 2021-04-14 2021-05-14 四川翼飞视科技有限公司 一种人脸关键特征点检测装置、方法和存储介质
CN112949614A (zh) * 2021-04-29 2021-06-11 成都市威虎科技有限公司 一种自动分配候选区域的人脸检测方法及装置和电子设备
CN113128479A (zh) * 2021-05-18 2021-07-16 成都市威虎科技有限公司 一种学习噪声区域信息的人脸检测方法及装置
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
CN113239746A (zh) * 2021-04-26 2021-08-10 深圳市安思疆科技有限公司 电动车检测方法、装置、终端设备及计算机可读存储介质
CN113673510A (zh) * 2021-07-29 2021-11-19 复旦大学 一种结合特征点和锚框共同预测和回归的目标检测算法
CN113780277A (zh) * 2021-09-08 2021-12-10 浙江啄云智能科技有限公司 目标检测模型的训练方法、装置、电子设备及存储介质
CN113989493A (zh) * 2021-10-29 2022-01-28 平安科技（深圳）有限公司 基于atss的图像处理方法及其装置、电子设备、存储介质
CN114549392A (zh) * 2021-03-31 2022-05-27 正泰集团研发中心(上海)有限公司 太阳能电池片的色差检测方法、装置、设备和计算机介质
CN114677729A (zh) * 2022-03-21 2022-06-28 华南理工大学 一种用于人脸检测的自适应锚点匹配方法
CN114841244A (zh) * 2022-04-05 2022-08-02 西北工业大学 一种基于鲁棒采样和混合注意力金字塔的目标检测方法
CN114863136A (zh) * 2022-05-25 2022-08-05 中国人民解放军陆军炮兵防空兵学院 一种基于对角线网络的无锚框目标检测方法及系统
CN115965823A (zh) * 2023-02-13 2023-04-14 山东锋士信息技术有限公司 一种基于Focal损失函数的在线困难样本挖掘方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069290A (zh) * 2015-08-03 2015-11-18 同济大学 一种面向寄递数据的并行化关键节点发现方法
CN109977797A (zh) * 2019-03-06 2019-07-05 上海交通大学 基于排序损失函数的一阶目标检测器的优化方法
CN111401292A (zh) * 2020-03-25 2020-07-10 成都东方天呈智能科技有限公司 一种融合红外图像训练的人脸识别网络构建方法
CN111914782A (zh) * 2020-08-10 2020-11-10 河南威虎智能科技有限公司 人脸及其特征点的检测方法、装置、电子设备和存储介质
CN112016614A (zh) * 2020-08-27 2020-12-01 北京理工大学 光学图像目标检测模型的构建方法、目标检测方法及装置
CN112258431A (zh) * 2020-09-27 2021-01-22 成都东方天呈智能科技有限公司 基于混合深度可分离膨胀卷积的图像分类模型及其分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069290A (zh) * 2015-08-03 2015-11-18 同济大学 一种面向寄递数据的并行化关键节点发现方法
CN109977797A (zh) * 2019-03-06 2019-07-05 上海交通大学 基于排序损失函数的一阶目标检测器的优化方法
CN111401292A (zh) * 2020-03-25 2020-07-10 成都东方天呈智能科技有限公司 一种融合红外图像训练的人脸识别网络构建方法
CN111914782A (zh) * 2020-08-10 2020-11-10 河南威虎智能科技有限公司 人脸及其特征点的检测方法、装置、电子设备和存储介质
CN112016614A (zh) * 2020-08-27 2020-12-01 北京理工大学 光学图像目标检测模型的构建方法、目标检测方法及装置
CN112258431A (zh) * 2020-09-27 2021-01-22 成都东方天呈智能科技有限公司 基于混合深度可分离膨胀卷积的图像分类模型及其分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JACKPOP: "锚框：Anchor box 综述", 《HTTPS://ZHUANLAN.ZHIHU.COM/P/63024247》 *
ZHIYU TAN等: "Learning to Rank Proposals for Object Detection", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
东写西读李老湿: "机器学习超详细实践攻略（22）：三板斧干掉样本不均衡问题至2——对正负样本设置不同权重", 《HTTPS://BLOG.CSDN.NET/U013044310/ARTICLE/DETAILS/104006187》 *
邵逸岚: "零样本目标检测算法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549392B (zh) * 2021-03-31 2024-05-31 正泰集团研发中心(上海)有限公司 太阳能电池片的色差检测方法、装置、设备和计算机介质
CN114549392A (zh) * 2021-03-31 2022-05-27 正泰集团研发中心(上海)有限公司 太阳能电池片的色差检测方法、装置、设备和计算机介质
CN112801069A (zh) * 2021-04-14 2021-05-14 四川翼飞视科技有限公司 一种人脸关键特征点检测装置、方法和存储介质
CN113239746A (zh) * 2021-04-26 2021-08-10 深圳市安思疆科技有限公司 电动车检测方法、装置、终端设备及计算机可读存储介质
CN113239746B (zh) * 2021-04-26 2024-05-17 深圳市安思疆科技有限公司 电动车检测方法、装置、终端设备及计算机可读存储介质
CN112949614A (zh) * 2021-04-29 2021-06-11 成都市威虎科技有限公司 一种自动分配候选区域的人脸检测方法及装置和电子设备
CN113159216A (zh) * 2021-05-10 2021-07-23 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
CN113159216B (zh) * 2021-05-10 2023-04-28 上海电力大学 一种用于表面缺陷检测的正样本扩充方法
CN113128479B (zh) * 2021-05-18 2023-04-18 成都市威虎科技有限公司 一种学习噪声区域信息的人脸检测方法及装置
CN113128479A (zh) * 2021-05-18 2021-07-16 成都市威虎科技有限公司 一种学习噪声区域信息的人脸检测方法及装置
CN113673510A (zh) * 2021-07-29 2021-11-19 复旦大学 一种结合特征点和锚框共同预测和回归的目标检测算法
CN113673510B (zh) * 2021-07-29 2024-04-26 复旦大学 一种结合特征点和锚框共同预测和回归的目标检测方法
CN113780277B (zh) * 2021-09-08 2023-06-30 浙江啄云智能科技有限公司 目标检测模型的训练方法、装置、电子设备及存储介质
CN113780277A (zh) * 2021-09-08 2021-12-10 浙江啄云智能科技有限公司 目标检测模型的训练方法、装置、电子设备及存储介质
CN113989493A (zh) * 2021-10-29 2022-01-28 平安科技（深圳）有限公司 基于atss的图像处理方法及其装置、电子设备、存储介质
CN114677729A (zh) * 2022-03-21 2022-06-28 华南理工大学 一种用于人脸检测的自适应锚点匹配方法
CN114841244A (zh) * 2022-04-05 2022-08-02 西北工业大学 一种基于鲁棒采样和混合注意力金字塔的目标检测方法
CN114841244B (zh) * 2022-04-05 2024-03-12 西北工业大学 一种基于鲁棒采样和混合注意力金字塔的目标检测方法
CN114863136A (zh) * 2022-05-25 2022-08-05 中国人民解放军陆军炮兵防空兵学院 一种基于对角线网络的无锚框目标检测方法及系统
CN115965823A (zh) * 2023-02-13 2023-04-14 山东锋士信息技术有限公司 一种基于Focal损失函数的在线困难样本挖掘方法及系统

Also Published As

Publication number Publication date
CN112507996B (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
CN112507996B (zh) 一种主样本注意力机制的人脸检测方法
CN108564129B (zh) 一种基于生成对抗网络的轨迹数据分类方法
CN109190442B (zh) 一种基于深度级联卷积神经网络的快速人脸检测方法
CN110796186A (zh) 基于改进的YOLOv3网络的干湿垃圾识别分类方法
CN110969191B (zh) 基于相似性保持度量学习方法的青光眼患病概率预测方法
CN108304316B (zh) 一种基于协同迁移的软件缺陷预测方法
CN111161879B (zh) 一种基于大数据的疾病预测系统
CN111832608A (zh) 一种基于单阶段检测模型yolov3的铁谱图像多磨粒识别方法
CN116226629B (zh) 一种基于特征贡献的多模型特征选择方法及系统
CN112001788A (zh) 一种基于rf-dbscan算法的信用卡违约欺诈识别方法
CN108762503A (zh) 一种基于多模态数据采集的人机交互系统
CN111860587A (zh) 一种用于图片小目标的检测方法
CN117315380B (zh) 一种基于深度学习的肺炎ct图像分类方法及系统
CN103886030A (zh) 基于代价敏感决策树的信息物理融合系统数据分类方法
CN108877947A (zh) 基于迭代均值聚类的深度样本学习方法
CN111144462B (zh) 一种雷达信号的未知个体识别方法及装置
CN115310491A (zh) 一种基于深度学习的类不平衡磁共振全脑数据分类方法
Sharma et al. Enhancing wheat crop resilience: An efficient deep learning framework for the detection and classification of rust disease
Kyeremateng-Boateng et al. Computing confidence score for neural network predictions from latent features
Tiruneh et al. Feature selection for construction organizational competencies impacting performance
CN111985432B (zh) 一种基于贝叶斯定理和自适应权值调整的多模态数据融合方法
CN117493998A (zh) 一种基于大数据的问卷调查事件智能分类管理方法及系统
Wangli et al. Foxtail Millet ear detection approach based on YOLOv4 and adaptive anchor box adjustment
CN112950035A (zh) 一种改进d-s算法的医疗机构服务质量测度方法
CN117195027A (zh) 基于成员选择的簇加权聚类集成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant