CN112257581A - 一种人脸检测方法、装置、介质及设备 - Google Patents

一种人脸检测方法、装置、介质及设备 Download PDF

Info

Publication number
CN112257581A
CN112257581A CN202011134859.3A CN202011134859A CN112257581A CN 112257581 A CN112257581 A CN 112257581A CN 202011134859 A CN202011134859 A CN 202011134859A CN 112257581 A CN112257581 A CN 112257581A
Authority
CN
China
Prior art keywords
face
splicing
network
result
residual error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011134859.3A
Other languages
English (en)
Inventor
姚志强
周曦
钟南昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Yuncongkaifeng Technology Co Ltd
Original Assignee
Guangzhou Yuncongkaifeng Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yuncongkaifeng Technology Co Ltd filed Critical Guangzhou Yuncongkaifeng Technology Co Ltd
Priority to CN202011134859.3A priority Critical patent/CN112257581A/zh
Publication of CN112257581A publication Critical patent/CN112257581A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸检测方法，包括：获取待检测的人脸图像；利用基于神经网络的人脸质量属性模型对所述待检测的人脸图像进行人脸质量属性标记，得到带有人脸质量属性标记的人脸图像；利用基于神经网络的人脸检测模型对带有人脸质量属性标记的人脸图像进行人脸检测得到人脸参数。本发明将质量属性和人脸检测混合为单一的模型，即在人脸检测网络输出增加一个人脸质量属性的输出分支，这样同时完成检测和质量任务，并且资源消耗几乎没有增加。

Description

一种人脸检测方法、装置、介质及设备
技术领域
本发明涉及人脸检测技术领域，具体涉及一种人脸检测方法、装置、介质及设备。
背景技术
人脸检测是一种应用非常广的目标检测。安防、金融、教育、交通等几乎所有行业对人脸检测都有需求。从传统的boosting检测技术发展到早已成熟的基于deep learning的技术如ssd、yolo、retinanet等，准确率和召回率都有了质的飞跃。
人脸检测作为人脸识别系统的首要技术前提，经常结合跟踪、质量评估、关键点与对齐等算法模块构成一个人脸抓拍系统，对监控画面的人脸进行检测跟踪并选出最佳人脸进行人脸识别。有了更好的deep learning技术支持，必然会推动对性能的巨大需求，其背后的动力因素是成本。虽然deep learning带来了准确率和召回率的双重收益。但是实际应用里面在准确率基本满足的前提下，单核cpu或者单个gpu所能支持的运算频率(后续用处理视频帧率FPS表示)越高，相应的技术实现就受青睐，即越容易推广。
然而目前绝大部分的人脸抓拍系统里面，算法模块流程基本上是“检测->跟踪->关键点->对齐->质量评估(质量分、角度、模糊度、亮度等属性)->选最佳人脸”的过程。该过程对每个视频帧做人脸检测，并且每个检测到的人脸都要进行后续的模块计算，消耗极大。即使是单个Tesla T4，最多也只能接入10路视频流，更别说让FPS超越显卡的解码上限了，自然人脸抓拍应用的成本就居高不下了。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人脸检测方法、装置、介质及设备，用于解决现有技术中的至少一个缺陷。
为实现上述目的及其他相关目的，本发明提供一种人脸检测方法，包括：
获取待检测的人脸图像；
利用基于神经网络的人脸质量属性模型对所述待检测的人脸图像进行人脸质量属性标记，得到带有人脸质量属性标记的人脸图像；
利用基于神经网络的人脸检测模型对带有人脸质量属性标记的人脸图像进行人脸检测得到人脸参数。
可选地，所述人脸质量属性模型包括依次连接的卷积层、多个依次连接的残差层、全连接层、回归层。
可选地，所述人脸检测模型包括骨干网络、颈部网络和头部网络；所述骨干网络根据对人脸图像进行特征提取，所述颈部网络用于对骨干网络提取的特征进行特征变换，所述头部网络用于对颈部网络输出的变换特征进行人脸检测；
所述骨干网包括依次连接的卷积模块、残差模块，所述残差模块包括多个依次连接的多级残差层，所述多级残差层中包括k级依次连接的目标残差层；
所述颈部网络对第k级目标残差层的输出进行上采样，将上采样的结果与第k-1级目标残差层的输出进行拼接，得到第k-1个拼接特征图；接着对第k-1个拼接特征图进行上采样，再将采样结果与第k-2级目标残差层的输出进行拼接，得到第k-2个拼接特征图；依次类推，直至得到第1个拼接特征图；
所述颈部网络对第1个拼接特征图进行下采样，将下采样的结果与对第2个拼接特征图进行上采样的结果进行拼接，得到第1个拼接结果；接着对第1个拼接结果进行下采样，将下采样的结果与对第3个拼接特征图进行上采样的结果进行拼接，得到第2个拼接结果；依此类推，直至得到第k个拼接结果；其中，k为大于2的整数；
所述头部网络包括多个检测头，每一个检测头根据一个拼接结果进行人脸检测。
可选地，所述人脸质量属性包括人脸质量分、人脸角度、清晰度、亮度。
可选地，所述人脸参数包括人脸框的位置、人脸框的高度与宽度、人脸框的置信度、类别得分、人脸质量分、人脸角度、清晰度、亮度。
为实现上述目的及其他相关目的，本发明提供一种人脸检测装置，包括：
图像获取模块，用于获取待检测的人脸图像；
人脸质量属性标记模块，用于利用基于神经网络的人脸质量属性模型对所述待检测的人脸图像进行人脸质量属性标记，得到带有人脸质量属性标记的人脸图像；
人脸检测模块，用于利用基于神经网络的人脸检测模型对带有人脸质量属性标记的人脸图像进行人脸检测得到人脸参数。
可选地，所述人脸质量属性模型包括依次连接的卷积层、多个依次连接的残差层、全连接层、回归层。
可选地，所述人脸检测模型包括骨干网络、颈部网络和头部网络；所述骨干网络根据对人脸图像进行特征提取，所述颈部网络用于对骨干网络提取的特征进行特征变换，所述头部网络用于对颈部网络输出的变换特征进行人脸检测；
所述骨干网包括依次连接的卷积模块、残差模块，所述残差模块包括多个依次连接的多级残差层，所述多级残差层中包括k级依次连接的目标残差层；
所述颈部网络对第k级目标残差层的输出进行上采样，将上采样的结果与第k-1级目标残差层的输出进行拼接，得到第k-1个拼接特征图；接着对第k-1个拼接特征图进行上采样，再将采样结果与第k-2级目标残差层的输出进行拼接，得到第k-2个拼接特征图；依次类推，直至得到第1个拼接特征图；
所述颈部网络对第1个拼接特征图进行下采样，将下采样的结果与对第2个拼接特征图进行上采样的结果进行拼接，得到第1个拼接结果；接着对第1个拼接结果进行下采样，将下采样的结果与对第3个拼接特征图进行上采样的结果进行拼接，得到第2个拼接结果；依此类推，直至得到第k个拼接结果；其中，k为大于2的整数；
所述头部网络包括多个检测头，每一个检测头根据一个拼接结果进行人脸检测。
可选地，所述人脸质量属性包括人脸质量分、人脸角度、清晰度、亮度。
可选地，所述人脸参数包括人脸框的位置、人脸框的高度与宽度、人脸框的置信度、类别得分、人脸质量分、人脸角度、清晰度、亮度。
为实现上述目的及其他相关目的，本发明提供一种设备，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行一个或多个所述的方法。
为实现上述目的及其他相关目的，本发明提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行一个或多个所述的方法。
如上所述，本发明的一种人脸检测方法、装置、介质及设备，具有以下有益效果：
本发明将质量属性和人脸检测混合为单一的模型，即在人脸检测网络输出增加一个人脸质量属性的输出分支，这样同时完成检测和质量任务，并且资源消耗几乎没有增加。在人脸训练阶段利用一个实现训练好的人脸质量属性模型对输入图像进行在线人脸质量标注，即在在线增强后对人脸进行质量评估得到的质量属性作为混合单一模型输出的质量属性的真值(ground truth)。测试阶段在解析完原始的检测boxes和box scores外，再直接读取相应的质量属性值即可。混合单一模型训练不仅使得人脸抓拍系统资源占用大大降低，并且质量属性的引入同时会使得检测网络学习到更丰富的语义，增强了原始boxes检测的鲁棒性。
图附说明
图1为本发明一实施例一种人脸检测方法的流程图；
图2为本发明一实施例人脸质量属性模型的结构示意图；
图3为本发明一实施例人脸检测模型的结构示意图；
图4为本发明一实施例一种人脸检测方法的流程图；
图5为本发明一实施例一种人脸检测装置的结构示意图；
图6为本发明一实施例中终端设备的硬件结构示意图；
图7为本发明一实施例中终端设备的硬件结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1、4所示，一种人脸检测方法，包括：
S11获取待检测的人脸图像；
S12利用基于神经网络的人脸质量属性模型对所述待检测的人脸图像进行人脸质量属性标记，得到带有人脸质量属性标记的人脸图像；其中，所述人脸质量属性包括人脸质量分、人脸角度、清晰度、亮度；
S13利用基于神经网络的人脸检测模型对带有人脸质量属性标记的人脸图像进行人脸检测得到人脸参数。其中，所述人脸参数包括人脸框的位置(x、y)、人脸框的高度width与宽度height、人脸框的置信度confidence、类别得分class score、人脸质量分qualityscore、人脸角度angle、清晰度clearness、亮度brightness。
在一实施例中，人脸质量属性模型可以被叫作Residual-ATTR，用于在线标注人脸属性。所述人脸质量属性模型包括依次连接的卷积层conv、多个依次连接的残差层Residual block0/Residual block1/Resnet-block2、全连接层FC、回归层regression。具体地，如图2所示，人脸质量属性模型包括1个卷积层、3个残差层、1个全连接层和1个回归层，最后通过回归层输出人脸质量属性：人脸质量分、人脸角度、清晰度、亮度。
在一实施例中，在将人脸图像输入到人脸质量属性模型之前，需要对人脸图像进行在线人脸增强。
在一实施例中，使用Residual block构造骨干网络backbone，接入SSD(SingleShot MultiBox Detector，一种单阶段的物体检测网络结构)检测网络的颈部网络necks和头部网络heads，其中的颈部网络neck改造为PAFPN，构造一个residual-SSD检测网络。在Residual-SSD的颈部网络necks部分，增加人脸质量属性的heads输出，并设定为regression输出，该人脸检测模型称为Residual-SSD-ATTR。
在所述人脸检测模型中，所述骨干网络根据对人脸图像进行特征提取，所述颈部网络用于对骨干网络提取的特征进行特征变换，所述头部网络用于对颈部网络输出的变换特征进行人脸检测；
所述骨干网包括依次连接的卷积模块conv、残差模块，所述残差模块包括多个依次连接的多级残差层Residual block0/Residual block1，所述多级残差层中包括k级依次连接的目标残差层Residual block1；
所述颈部网络对第k级目标残差层的输出进行上采样，将上采样的结果与第k-1级目标残差层的输出进行拼接，得到第k-1个拼接特征图；接着对第k-1个拼接特征图进行上采样，再将采样结果与第k-2级目标残差层的输出进行拼接，得到第k-2个拼接特征图；依次类推，直至得到第1个拼接特征图；
所述颈部网络对第1个拼接特征图进行下采样，将下采样的结果与对第2个拼接特征图进行上采样的结果进行拼接，得到第1个拼接结果；接着对第1个拼接结果进行下采样，将下采样的结果与对第3个拼接特征图进行上采样的结果进行拼接，得到第2个拼接结果；依此类推，直至得到第k个拼接结果；其中，k为大于2的整数；
其中，上采样或下采样的手段包括线性插值、最近邻以及卷积等操作。在一实施例中，下采样使用卷积，上采样使用线性插值。
其中，通过利用颈部网络提取骨干网络不同阶段的不同特征图，对不同特征图进行融合，从而增强了原始特征图，提高了模型准确性。
所述头部网络包括多个检测头，每一个检测头根据一个拼接结果进行人脸检测。
具体地，如图3所示，卷积模块包括了1个卷积层，残差模块包括了5个残差层，其中，后4个残差层作为目标残差层。
从最后一个残差层开始，对第4目标残差层的输出进行上采样，得到采样结果，将采样结果和第3目标残层的输出进行拼接，得到第3个拼接特征图；对第3个拼接特征图进行上采样，然后将上采样的结果与第2目标残差层的输出进行拼接，得到第2个拼接特征图；对第2个拼接特征图进行上采样，将采样的结果与第1个残差层的输出进行拼接，得到第1个拼接特征图；
接着，对第1个拼接特征图进行下采样，对第2个拼接特征图进行上采样，将下采样的结果与上采样的结果进行拼接，得到第1个拼接结果；接着对第1个拼接结果进行下采样，对第3个接拼特征图进行上采样，将下采样的结果与上采样的结果拼接，得到第2个拼接结果；对第2个拼接结果进行下采样，对第1个拼接特征图进行下采样，将下采关的结果与上采样的结果进行拼接，得到第3个拼接结果。
第1个拼接特征图作为第1个检测头head0的输入，通过第1个检测头输出人脸参数；
第1个拼接结果作为第2个检测头head1的输入，通过第2个检测头输出人脸参数；
第2个拼接结果作为第3个检测头head2的输入，通过第3个检测头输出人脸参数；
第3个拼接结果作为第4个检测头head3的输入，通过第4个检测头输出人脸参数。
如图3所示，其中heads的输出的维度中，如第一个head 136x136x3x10，前两个数字表示特征图的宽高分别为136和136像素；第三个数字表示anchors(检测网络输出特征图每个点位设定的参考box)的个数为3；第四个数字表示不同特征含义的个数为10，包含x、y、width、height、confidence、class score、quality score、angle、clearness、brightness。
本发明充分利用deep learning灵活的特征层组合，将人脸检测与人脸质量属性混合为单一模型，方便抓拍系统集成；检测与质量属性混合为单一模型，至少能带来了50％的性能提升，降低一半以上的资源消耗，使FPS超越解码能力，应用成本大幅度下降；同时在训练阶段能提供更强的语义学习使得原始的检测boxes和box score具有更强的鲁棒性。
如图5所示，一种人脸检测装置，包括：
图像获取模块51，用于获取待检测的人脸图像；
人脸质量属性标记模块52，用于利用基于神经网络的人脸质量属性模型对所述待检测的人脸图像进行人脸质量属性标记，得到带有人脸质量属性标记的人脸图像；
人脸检测模块53，用于利用基于神经网络的人脸检测模型对带有人脸质量属性标记的人脸图像进行人脸检测得到人脸参数。
在一实施例中，所述人脸质量属性模型包括依次连接的卷积层、多个依次连接的残差层、全连接层、回归层。
在一实施例中，所述人脸检测模型包括骨干网络、颈部网络和头部网络；所述骨干网络根据对人脸图像进行特征提取，所述颈部网络用于对骨干网络提取的特征进行特征变换，所述头部网络用于对颈部网络输出的变换特征进行人脸检测；
所述骨干网包括依次连接的卷积模块、残差模块，所述残差模块包括多个依次连接的多级残差层，所述多级残差层中包括k级依次连接的目标残差层；
所述颈部网络对第k级目标残差层的输出进行上采样，将上采样的结果与第k-1级目标残差层的输出进行拼接，得到第k-1个拼接特征图；接着对第k-1个拼接特征图进行上采样，再将采样结果与第k-2级目标残差层的输出进行拼接，得到第k-2个拼接特征图；依次类推，直至得到第1个拼接特征图；
所述颈部网络对第1个拼接特征图进行下采样，将下采样的结果与对第2个拼接特征图进行上采样的结果进行拼接，得到第1个拼接结果；接着对第1个拼接结果进行下采样，将下采样的结果与对第3个拼接特征图进行上采样的结果进行拼接，得到第2个拼接结果；依此类推，直至得到第k个拼接结果；其中，k为大于2的整数；
所述头部网络包括多个检测头，每一个检测头根据一个拼接结果进行人脸检测。
在一实施例中，所述人脸质量属性包括人脸质量分、人脸角度、清晰度、亮度。
在一实施例中，所述人脸参数包括人脸框的位置、人脸框的高度与宽度、人脸框的置信度、类别得分、人脸质量分、人脸角度、清晰度、亮度。
在本实施例中，该装置实施例与前述的方法实施例相对应，具体功能和技术效果参照上述实施例即可，此处不再赘述。
本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts GroupAudio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。
图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。
可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。
在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。
图7为本申请的一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。
由上可知，在图7实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (12)

1.一种人脸检测方法，其特征在于，包括：
获取待检测的人脸图像；
利用基于神经网络的人脸质量属性模型对所述待检测的人脸图像进行人脸质量属性标记，得到带有人脸质量属性标记的人脸图像；
利用基于神经网络的人脸检测模型对带有人脸质量属性标记的人脸图像进行人脸检测得到人脸参数。
2.根据权利要求1所述的人脸检测方法，其特征在于，所述人脸质量属性模型包括依次连接的卷积层、多个依次连接的残差层、全连接层、回归层。
3.根据权利要求1所述的人脸检测方法，其特征在于，所述人脸检测模型包括骨干网络、颈部网络和头部网络；所述骨干网络根据对人脸图像进行特征提取，所述颈部网络用于对骨干网络提取的特征进行特征变换，所述头部网络用于对颈部网络输出的变换特征进行人脸检测；
所述骨干网包括依次连接的卷积模块、残差模块，所述残差模块包括多个依次连接的多级残差层，所述多级残差层中包括k级依次连接的目标残差层；
所述颈部网络对第k级目标残差层的输出进行上采样，将上采样的结果与第k-1级目标残差层的输出进行拼接，得到第k-1个拼接特征图；接着对第k-1个拼接特征图进行上采样，再将采样结果与第k-2级目标残差层的输出进行拼接，得到第k-2个拼接特征图；依次类推，直至得到第1个拼接特征图；
所述颈部网络对第1个拼接特征图进行下采样，将下采样的结果与对第2个拼接特征图进行上采样的结果进行拼接，得到第1个拼接结果；接着对第1个拼接结果进行下采样，将下采样的结果与对第3个拼接特征图进行上采样的结果进行拼接，得到第2个拼接结果；依此类推，直至得到第k个拼接结果；其中，k为大于2的整数；
所述头部网络包括多个检测头，每一个检测头根据一个拼接结果进行人脸检测。
4.根据权利要求1所述的人脸检测方法，其特征在于，所述人脸质量属性包括人脸质量分、人脸角度、清晰度、亮度。
5.根据权利要求3所述的人脸检测方法，其特征在于，所述人脸参数包括人脸框的位置、人脸框的高度与宽度、人脸框的置信度、类别得分、人脸质量分、人脸角度、清晰度、亮度。
6.一种人脸检测装置，其特征在于，包括：
图像获取模块，用于获取待检测的人脸图像；
人脸质量属性标记模块，用于利用基于神经网络的人脸质量属性模型对所述待检测的人脸图像进行人脸质量属性标记，得到带有人脸质量属性标记的人脸图像；
人脸检测模块，用于利用基于神经网络的人脸检测模型对带有人脸质量属性标记的人脸图像进行人脸检测得到人脸参数。
7.根据权利要求6所述的人脸检测装置，其特征在于，所述人脸质量属性模型包括依次连接的卷积层、多个依次连接的残差层、全连接层、回归层。
8.根据权利要求6所述的人脸检测装置，其特征在于，所述人脸检测模型包括骨干网络、颈部网络和头部网络；所述骨干网络根据对人脸图像进行特征提取，所述颈部网络用于对骨干网络提取的特征进行特征变换，所述头部网络用于对颈部网络输出的变换特征进行人脸检测；
所述骨干网包括依次连接的卷积模块、残差模块，所述残差模块包括多个依次连接的多级残差层，所述多级残差层中包括k级依次连接的目标残差层；
所述颈部网络对第k级目标残差层的输出进行上采样，将上采样的结果与第k-1级目标残差层的输出进行拼接，得到第k-1个拼接特征图；接着对第k-1个拼接特征图进行上采样，再将采样结果与第k-2级目标残差层的输出进行拼接，得到第k-2个拼接特征图；依次类推，直至得到第1个拼接特征图；
所述颈部网络对第1个拼接特征图进行下采样，将下采样的结果与对第2个拼接特征图进行上采样的结果进行拼接，得到第1个拼接结果；接着对第1个拼接结果进行下采样，将下采样的结果与对第3个拼接特征图进行上采样的结果进行拼接，得到第2个拼接结果；依此类推，直至得到第k个拼接结果；其中，k为大于2的整数；
所述头部网络包括多个检测头，每一个检测头根据一个拼接结果进行人脸检测。
9.根据权利要求6所述的人脸检测装置，其特征在于，所述人脸质量属性包括人脸质量分、人脸角度、清晰度、亮度。
10.根据权利要求8所述的人脸检测装置，其特征在于，所述人脸参数包括人脸框的位置、人脸框的高度与宽度、人脸框的置信度、类别得分、人脸质量分、人脸角度、清晰度、亮度。
11.一种设备，其特征在于，包括：
一个或多个处理器；和
其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-5中一个或多个所述的方法。
12.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-5中一个或多个所述的方法。
CN202011134859.3A 2020-10-21 2020-10-21 一种人脸检测方法、装置、介质及设备 Pending CN112257581A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011134859.3A CN112257581A (zh) 2020-10-21 2020-10-21 一种人脸检测方法、装置、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011134859.3A CN112257581A (zh) 2020-10-21 2020-10-21 一种人脸检测方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN112257581A true CN112257581A (zh) 2021-01-22

Family

ID=74263728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011134859.3A Pending CN112257581A (zh) 2020-10-21 2020-10-21 一种人脸检测方法、装置、介质及设备

Country Status (1)

Country Link
CN (1) CN112257581A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661614A (zh) * 2022-12-09 2023-01-31 江苏稻源科技集团有限公司 一种基于轻量化YOLO v1的目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276455A1 (en) * 2017-03-27 2018-09-27 Samsung Electronics Co., Ltd. Apparatus and method for image processing
CN108875556A (zh) * 2018-04-25 2018-11-23 北京旷视科技有限公司 用于人证核验的方法、装置、系统及计算机存储介质
CN110866466A (zh) * 2019-10-30 2020-03-06 平安科技（深圳）有限公司 一种人脸识别方法、装置、存储介质和服务器
CN111274848A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 一种图像检测方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180276455A1 (en) * 2017-03-27 2018-09-27 Samsung Electronics Co., Ltd. Apparatus and method for image processing
CN108875556A (zh) * 2018-04-25 2018-11-23 北京旷视科技有限公司 用于人证核验的方法、装置、系统及计算机存储介质
CN111274848A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 一种图像检测方法、装置、电子设备及存储介质
CN110866466A (zh) * 2019-10-30 2020-03-06 平安科技（深圳）有限公司 一种人脸识别方法、装置、存储介质和服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡萝卜怪兽: ""基于YOLOV4的人脸口罩佩戴检测方法"", 《知乎》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661614A (zh) * 2022-12-09 2023-01-31 江苏稻源科技集团有限公司 一种基于轻量化YOLO v1的目标检测方法
CN115661614B (zh) * 2022-12-09 2024-05-24 江苏稻源科技集团有限公司 一种基于轻量化YOLO v1的目标检测方法

Similar Documents

Publication Publication Date Title
KR102173123B1 (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
CN112200318B (zh) 一种目标检测方法、装置、机器可读介质及设备
CN111539412B (zh) 一种基于ocr的图像分析方法、系统、设备及介质
US20140210857A1 (en) Realization method and device for two-dimensional code augmented reality
CN112052792B (zh) 一种跨模型人脸识别方法、装置、设备及介质
CN112200062A (zh) 一种基于神经网络的目标检测方法、装置、机器可读介质及设备
CN112200187A (zh) 一种目标检测方法、装置、机器可读介质及设备
WO2021115091A1 (zh) 一种文本识别方法及装置
CN112101252B (zh) 一种基于深度学习的图像处理方法、系统、设备及介质
CN112016502B (zh) 安全带检测方法、装置、计算机设备及存储介质
CN111310725A (zh) 一种对象识别方法、系统、机器可读介质及设备
CN110781856A (zh) 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN116935449A (zh) 指纹图像匹配模型训练方法、指纹匹配方法及相关介质
CN112580472A (zh) 一种快速轻量的人脸识别方法、装置、机器可读介质及设备
CN115757725A (zh) 问答处理方法、装置、计算机设备及存储介质
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN111582353B (zh) 一种图像特征检测方法、系统、设备以及介质
CN112257581A (zh) 一种人脸检测方法、装置、介质及设备
CN117894036A (zh) 基于边缘设备的行人目标检测方法、装置、设备及介质
KR20200127928A (ko) 전자장치에서 이미지 내의 특정 객체를 인식하기 위한 방법 및 장치
CN111710011B (zh) 一种漫画生成方法、系统、电子设备及介质
CN111626233B (zh) 一种关键点标注方法、系统、机器可读介质及设备
CN111818364B (zh) 视频融合方法、系统、设备及介质
CN112347982A (zh) 基于视频的无监督难例数据挖掘方法、装置、介质及设备
CN112668509B (zh) 社交关系识别模型的训练方法、识别方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122