CN109145854A - 一种基于级联卷积神经网络结构的人脸检测方法 - Google Patents

一种基于级联卷积神经网络结构的人脸检测方法 Download PDF

Info

Publication number
CN109145854A
CN109145854A CN201811015651.2A CN201811015651A CN109145854A CN 109145854 A CN109145854 A CN 109145854A CN 201811015651 A CN201811015651 A CN 201811015651A CN 109145854 A CN109145854 A CN 109145854A
Authority
CN
China
Prior art keywords
convolutional neural
convolution
image
window
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811015651.2A
Other languages
English (en)
Inventor
杨万扣
李天煌
周路宽
孙长银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201811015651.2A priority Critical patent/CN109145854A/zh
Publication of CN109145854A publication Critical patent/CN109145854A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于级联卷积神经网络的人脸检测方法，涉及模式识别、机器学习、图像处理等技术领域，该方法分为三个阶段，第一个阶段：将低分辨率的候选窗口输入浅层卷积神经网络用于快速筛选大量背景窗口；第二个阶段：将通过第一阶段的候选窗口，调整成不同尺度的图像金字塔；第三个阶段：将图像金字塔中对应分辨率的图像分别输入网络的两个分支，用于最终人脸分类和边界框回归。训练过程中，针对困难样本在线训练，采用软‑非极大值抑制算法对数据集进行多尺度测试，在PASCAL FACE和FDDB两个公开数据集上与其他方法进行结果对比，验证了方法的有效性。

Description

一种基于级联卷积神经网络结构的人脸检测方法
技术领域
本发明一种基于级联卷积神经网络结构的人脸检测方法，涉及模式识别、机器学习、图像处理等技术领域。
背景技术
人脸检测技术最初起源于人脸识别，是计算机视觉领域中一个核心并且历史悠久的研究分支，是人脸相关应用里至关重要的第一步。在近几十年里，人脸检测已经引起了人们的高度重视，被认为是图像分析中成功的应用之一。面孔是复杂的、多维的、有意义的视觉刺激，开发一个面部识别的计算模型是困难的。计算机通过运用一定的搜索匹配方法在给定的图像中检测出是否包含人脸，并确定人脸所在的具体位置、大小、姿态的过程就是指人脸检测，同时其被认为是人脸相关研究应用的前提和基础，用它来辅助人们完成对生物特征的识别，将是一件具有重大研究价值和意义的事情。
人脸检测是许多后续人脸分析相关应用的关键步骤，例如人脸对齐、人脸识别、人脸跟踪等。人脸检测效果的优劣对后续相关应用的性能起着决定性作用，它也属于目标检测的一种特定情况。人脸检测的最终目的就是在给定任意图像中判断是否有人脸的存在，若存在人脸，需要定位其具体的位置，并用矩形框示意。虽然这对于人类而言似乎是一项毫不费力的工作，但是于计算机来说，则是十分艰巨而又繁杂的，它不同于人的大脑神经，可以通过视网膜上的成像条件反射的进行分析，立马得出我们想要的结果。计算机要在输入的图像中搜索到人脸的具体位置十分具有挑战性，由于每个人的相貌不同，人脸成像的角度(如1.1节所提到的pitch、yaw、roll三个维度)，相关的挑战还可以归因于姿态，尺度，面部表情，遮挡和照明条件的变化，这些都给计算机的检测带来了极大的困难。
随着环境应用的复杂化以及卷积神经网络的飞速发展，其在各种视觉任务中都有出色的表现，例如人脸识别，目标分类和物体检测。特别是文章训练了一个叫做AlexNet的八层神经网络，并且显示深度卷积神经网络在大规模图像分类任务中可以显著优于其他方法。对于目标检测任务，提出的R-CNN方法使用图像分割技术，选择性搜索[51]，找到候选图像区域，并且使用AlexNet的版本对候选图像进行分类，调整PASCAL VOC数据集中的目标对象。目前，采用卷积神经网络结构进行人脸检测存在以下问题：一、现有的人脸检测算法大多采用滑动窗口的方法扫描图片，滑动窗口的数量过多容易导致计算量较大，从而影响检测速度；二、传统的卷积神经网络各网络层的权值均采用随机初始化的方式，容易造成网络收敛慢、训练时间长的问题。
针对上述两个问题，本文采用一种新的级联结构进行候选框筛选和特征提取，改进的结构中，通过将传统的CNN中的大卷积核变换成一个个小的卷积核，对每个级联阶段进行困难样本挖掘，联合训练，使用软-非极大值抑制法对图像进行多尺度检测，得到精度更高的模型，提高网络模型的泛化能力。
发明内容
本发明提出一种级联卷积神经网络，该方法首先将低分辨率的窗口(12*12)输入四层卷积神经网络(Proposal network，PN)快速排除大量非人脸窗口，然后训练分类阈值，将通过第一阶段的候选窗口，调整成不同尺度的图像金字塔。将图像金字塔中对应分辨率的图像分别输入网络的两个分支(Multi-scale network，MSN-24代表输入为24*24的分支，MSN-48同上)用于MSN-24窗口的卷积特征(概率分布)与MSN-48的融合，对不同的阶段进行困难样本挖掘，进行联合在线训练，采用软-非极大值抑制算法对数据集进行多尺度测试，最后完成人脸分类和边界框回归两个任务，实现人脸检测。
一种基于级联卷积神经网络的人脸检测方法，所述方法包括以下阶段：
第一阶段：先将低分辨率的窗口12*12输入四层卷积神经网络即Proposalnetwork，PN，快速排除大量非人脸窗口；
第二阶段：将通过第一阶段的候选窗口，调整成不同尺度的图像金字塔；将图像金字塔中对应分辨率的图像分别输入网络的两个分支用于MSN-24窗口的卷积特征(概率分布)与MSN-48的融合；
第三阶段：将图像金字塔中对应分辨率的图像分别输入网络的两个分支，用于最终人脸分类和边界框回归。
作为本发明的一种改进，所述第三阶段中，针对样本的损失值进行排序，将损失值较大的困难样本进行联合在线训练，采用软-非极大值抑制算法对数据集进行多尺度测试，最后完成人脸分类和边界框回归两个任务，实现人脸检测。
作为本发明的一种改进，第二阶段中，每个训练样本首先以间隔为5构建图像金字塔，最小的图片是原图的1/25，通过在训练样本上以步长为8滑动提取候选窗口，正样本选择与ground-truth的重叠率大于0.8的候选窗口；而负样本选择与ground-truth的重叠率最大不超过0.5的候选窗口，用于网络模型的训练。
作为本发明的一种改进，所述第一阶段中，PN是一个四层卷积神经网络，主要用来生成候选窗和边框回归向量，首先将输入图片调整到12*12的尺寸，然后通过一个3*3的卷积核，步长大小为1，得到一个10*10的特征图，用2*2的池化模板最大值池化该特征图得到5*5大小的图片；然后依次再通过3*3的卷积核做两次卷积，最后通过边界框回归校正候选窗，然后使用非极大值抑制(NMS)合并重叠的候选框。
作为本发明的一种改进，MSN由两个分支MSN-24，MSN-48通过卷积特征融合而成，通过PN的候选窗口，将图像金字塔中对应分辨率的图像输入到该网络，通过一个3*3大小，步长为1的卷积核，得到22*22大小的特征图；然后运用3*3的池化模板，步长为2对窗口最大值池化，得到大小为11*11的卷积特征，再对改特征图进行相同卷积操作，得到4*4*46的卷积特征，最后进行两层卷积，得到一个1*1的96维卷积特征，我们可以它看成特征图上对应特征点的概率分布；分支MSN-48卷积步骤与上一层类似。通过训练分类阈值，将分类置信度高于阈值的MSN-24卷积层特征与MSN-48对应的特征融合，形成一个1*1*288大小的新卷积特征，通过全卷积训练，完成人脸分类和边界框回归。
作为本发明的一种改进，所述第三阶段中，在每次训练的循环(batch)中，计算候选区域损失函数大小，然后将这些候选区域按照损失值进行排序，挑选出损失大小前百分之七十的目标区域作为困难样本，忽略剩下百分之三十的简单样本。困难样本挖掘不仅可以增强深层次的网络对困难样本的判别能力，同时也减少了训练时间。
作为本发明的一种改进，所述第二阶段将通过第一阶段的候选窗口，调整成不同尺度的图像金字塔中的缩放因子为0.814。
因为卷积层中所有的卷积步长都小于卷积核的大小，这就意味着滑动窗口在滑动过程中产生的窗口之间相互影响，原本不存在人脸区域的地方可能因受到存在人脸的区域而误检。因此为了准确检测到不同大小的人脸，需要将输入的原始图片调整成不同尺度大小的图像金字塔，然后在不同层次金字塔之间对图像进行缩放，重新生成Heat-map，本发明中缩放因子为0.814时，检测效果最好，通过降低与检测框M有重叠的相邻检测框的检测分数，取代直接删除该窗口，对NMS算法有效改进。越是与M高度重叠的检测框，越有可能出现False positive结果，它们的分数衰减应该更严重，而非全部抑制
本方案主要通过两项任务来训练人脸检测器：人脸和非人脸的分类以及边界框回归。
(1)人脸分类：将学习目标表述为一个二分类问题。对于每个样本xi，我们首先计算一个二维向量其中代表着样本xi在第j个池化层的特征，代表第j个池化层的非线性转换函数，其公式如下(1)所示。
然后运用非线性激活函数计算样本xi可能为人脸的概率其中代表着的第一个元素，一样，计算公式如下(2)所示。
利用交叉熵函数来计算损失，如下(3)：
其中pi代表着由网络计算出的样本xi可能为人脸的概率；符号
(2)边界框回归：最后的每个候选窗口，将预测边界框和ground truth做比较(例如边框的左上角坐标和长宽大小)。学习目标可以被归纳为回归问题，我们对每个样本xi，将运用欧几里得距离计算损失，具体计算公式如下(4)所示
其中是网络计算得出的目标结果；是ground-truth的坐标(一共包含四个坐标：左上角的横纵坐标以及检测窗口的高度和宽度)，
(3)联合训练：级联的缺点是不太好直接联合训练，而这恰恰破坏了卷积神经网络可以端到端训练的性质，由于传统的级联训练往往是单步求解最优，得到的结果可能没有多步联合最优的效果好，所以本实验通过反向传播进行联合训练。针对本级联结构，整个框架学习目标函数可以由式(5)表示，针对背景图片我们只计算将另一个的损失设置为0。
其中N是训练样本的个数，αj代表着任务的重要程度，本实验将在训练PN时使用参数αdet＝1，αbox＝0.5，在训练MSN时使用参数αdet＝0.5，αbox＝1，其中代表着样本类型。
相对于现有技术，本发明的有益效果如下：
1.本发明提供的基于级联卷积网络结构人脸检测方法，通过利用多分辨率的人脸特征信息，快速排除大量非人脸窗口的同时，在多种困难场景下准确定位人脸；
2.本发明提供的基于级联卷积网络结构人脸检测方法，与基于特征提取加分类器分类的人脸检测方法和传统的卷积网络人脸检测方法进行了对比，对输入图像的要求较低，在背景复杂的情况下有一定的抗干扰力，在保持一定的检测速度下，在公开数据集上进行了效果验证。
附图说明：
图1是算法总体结构框图；
图2是PN结构框图；
图3是MSN结构框图。
具体实施方式：
下面结合附图和实例对本发明进行详细的叙述。
在本发明中，将输入图片进行缩放得到不同的尺度，从而形成图像金字塔，具有尺度不变性。图像检测过程一共分为三个阶段，第一个阶段为提案网络(PN)，用低像素浅层卷积神经网络结构，快速排除大量候选背景窗口，如图2所示；第二阶段将通过第一阶段的候选窗口调整成不同大小的图像金字塔，对应输入到第三个阶段。第三阶段为多尺度结合网络(MSN)，将两个分支的多尺度卷积特征融合，增强对困难样本的判别能力，训练得到二维人脸概率分布向量和四维边界框回归向量，结构如图3所示。
PN是一个小型四层全卷积网络，主要用来生成候选窗(Region Proposal)和边框回归向量(Bounding Box Regression Vectors)。首先将输入图片调整(resize)到12*12的尺寸，然后通过一个3*3的卷积核，步长大小为1，得到一个10*10的特征图，用2*2的池化模板最大值池化该特征图得到5*5大小的图片。然后依次再通过3*3的卷积核做两次卷积，最后输出一个二维向量和一个四维向量。其中二维向量代表是否为人脸的概率大小，四维向量代表人脸边框(Bounding Box)的四个位置信息(分别是左上角的横纵坐标，矩形框的长和宽)。通过边界框回归校正候选窗，然后使用非极大值抑制(NMS)合并重叠的候选框。检测图像中人脸个数有限，其余的候选窗口均为背景图像，由此可知，训练过程中，正样本的数量极其有限，而负样本趋于无穷。为了避免检测器决策偏向负样本特征，不能所有负样本用于训练，需要保证正负样本比的平衡性，而本网络正好在检测的开始就快速筛选了大量背景窗口，适合被引入神经网络的一个或多个层次，和Faster R-CNN中的RPN一脉相承。
MSN由两个分支MSN-24，MSN-48通过卷积特征融合而成。通过PN的候选窗口，将图像金字塔中对应分辨率的图像输入到该网络，通过一个3*3大小，步长为1的卷积核，得到22*22大小的特征图；然后运用3*3的池化模板，步长为2对窗口最大值池化，得到大小为11*11的卷积特征，再对特征图进行相同卷积操作，得到4*4*46的卷积特征，最后进行两层卷积，得到一个1*1的96维卷积特征，我们可以它看成特征图上对应特征点的概率分布。分支MSN-48卷积步骤与上一层类似，由于输入图像像素较高，处理数据量大，在第三层卷积时，同时添加了一个池化层，与上一层进行同样的卷积操作，最终得到一个1*1*192维的卷积特征，本实验通过训练阈值，将分类置信度高于阈值的MSN-24卷积层特征与MSN-48对应的特征融合，形成一个1*1*288大小的新卷积特征，完成人脸分类和边界框回归。
本发明在训练过程中自适应的进行困难样本挖掘。实验训练了两个不同的网络模型进行对比(有和没有困难样本挖掘)。表1显示了两个测试集(PASCAL FACE、FDDB)上的实验结果，实验结果表明，困难样本在线训练有助于提高检测性能，平均可以带来1.5％的性能提高。
表1困难样本挖掘在不同数据集中的表现
对于每一张图，整个CNN只需要前向计算一次生成特征图即可，然后根据特征图的位置映射到原始输入图片上，实际上卷积网络也相当于实现了滑动窗口，滑动步长为卷积层步长的乘积。但是因为卷积层中所有的卷积步长都小于卷积核的大小，这就意味着滑动窗口在滑动过程中产生的窗口之间相互影响，原本不存在人脸区域的地方可能因受到存在人脸的区域而误检。因此为了准确检测到不同大小的人脸，就需要将原始图片缩放到不同尺寸，重新生成Heat-map，最后将不同大小的人脸候选框通过非极大值抑制法进行人脸候选框过滤，得到最终结果。为了找出最佳尺寸缩放系数，本实验通过改变缩放因子f，观察检测精度和召回率之间的关系。实验结果如表2所示，从结果中可以看出，不同的缩放程度，对实验结果都有一定的影响，其中当参数f＝0.814时，检测效果最好，而当缩放因子再逐渐增加(f＝0.917)，或者逐渐减小时(f＝0.782、0.607)，效果就开始有所下降。
表2尺寸大小对检测器精度和召回率的影响
f Average Precision
0.912 90.8％
0.814 93.9％
0.782 92.7％
0.607 89.5％
本发明中PN产生大量候选区域窗口和MSN重新确定窗口的过程中，都要用到非极大值抑制进行后处理，通常将检测框按得分排序，然后保留得分最高的候选框，同时删除与该框重叠面积大于一定比例的其它框。在这种情况下，如果一个真实物体在重叠区域出现，则将导致对该物体的检测失败并降低了算法的平均检测率(Average Precision)。如果按照传统的NMS进行处理，首先选中得分最高的检测框，然后其他较低分数的检测框就可能会因为与之重叠面积过大而被删掉。其次，NMS的阈值也不太容易确定，如果设置偏小，其他框会因为和最高得分检测框重叠面积较大而被删掉，如果设置过高又容易增大误检。所以本发明采用软-非极大值抑制法(Soft-NMS)，不删除所有重叠大于阈值的框，而是降低其置信度，通过一个基于与重叠程度相关的函数降低相邻检测框的分数而非彻底剔除。虽然分数被降低，但相邻的检测框仍在物体检测的序列中。
本发明采用的Soft-NMS，通过降低与最高分检测框(M)有重叠的相邻检测框的检测分数，对NMS算法有效改进。越是与M高度重叠的检测框，越有可能出现错误正样本(Falsepositive)，它们的分数衰减应该更严重。因此，本发明运用两种改进的分数重置函数进行实验，一种是线性加权法，如公式6所示：
M为当前得分最高框，bi为待处理框，bi和M的IoU越大，bi的得分Si就下降的越厉害。当相邻检测框与M的重叠度超过重叠阈值Nt后，检测框的检测分数呈线性衰减。在这种情况下，与M相邻很近的检测框衰减程度很大，而远离M的检测框并不受影响。另一种是高斯加权法，如公式7所示：
Soft-NMS不仅和传统NMS一样具有重叠阈值参数Nt，高斯加权法中还有参数σ。本发明基于所提出的级联卷积神经网络针对两种非极大值抑制方法在Pascal Faces数据集上进行性能对比。我们在不同参数设置下比较了传统的NMS和两种Soft-NMS(G代表高斯加权，L代表线性加权)对检测效果的影响，将Nt分别设置为0.3，0.5，0.7，在Pascal Faces数据集上进行验证实验，并记录表现最好的参数σ大小。结果如下表1所示，可以看出，基于Soft-NMS的方法基本可以获得平均1％的性能提升，其中当Nt＝0.5，σ＝0.6时，取得最好效果，且该方法不增加额外的训练和计算负担。
表3三种NMS在不同阈值下PASCAL FACE上的表现
本发明将所提出的人脸检测算法在Pascal Faces和FDDB两个人脸数据集进行测试，并与一些经典流行算法进行了比较。下表4中展示了本算法在Pascal Faces数据集上的检测结果。其中对比的方法有本文所提出的算法Ours、Faceness、DDFD、HeadHunter、DPM的人脸检测结果。可以看出本文提出的方法相比Faceness、DDFD超过将近两个百分点，同时和两个商业系统(Picasa和Face++)的人脸检测结果比较也具有一定的优势。
表4 Pascal数据集结果
Method Average Precision
Ours 93.92％
Faceness 92.11％
DDFD 91.79％
DPM 90.29*
HeadHunter 89.63％
本方法在FDDB数据集上通过两种不同的评估方法得出的检测结果，及与一些其他流行方法的对比。对比的方法包含有Faceness、DDFD、Cascade CNN、DP2MFD、CCF、HeadHunter和第三章本文提出改进的ACF-DPF-Ours等。FDDB数据集离散分数的检测结果为93.4％；相比其他卷积神经网络(Faceness：90.3％、DDFD：84％、Cascade CNN：85.6％)的效果有一定的效果提升，而对于一些经典方法(DP2MFD：91.3％、Yanet：85.2％、ACF-DPF-Ours：85.41％)和将卷积特征和传统特征相结合的方法CCF：85.9％效果要显著提高；FDDB数据集连续分数的检测结果为69.5％，本方法连续的得分和其他较深的卷积神经网络相比没有较大优势，但对于经典的传统特征加分类器的方法效果显著提高。在连续得分中，效果仍不Jointcascade，经分析主要原因是Joint cascade在训练时不仅人脸框标注结果和额外的人脸关键点信息，训练模型大，时间更长。
需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述基础上进行的等同替换或者替代均属于本发明的保护范围。

Claims (7)

1.一种基于级联卷积神经网络的人脸检测方法，其特征在于，所述方法包括以下阶段：
第一阶段：先将低分辨率的窗口12*12输入四层卷积神经网络即Proposal network，PN，快速排除大量非人脸窗口；
第二阶段：将通过第一阶段的候选窗口，调整成不同尺度的图像金字塔；将图像金字塔中对应分辨率的图像分别输入网络的两个分支用于MSN-24窗口的卷积特征(概率分布)与MSN-48的融合；
第三阶段：将图像金字塔中对应分辨率的图像分别输入网络的两个分支，用于最终人脸分类和边界框回归。
2.根据权利要求1所述的基于级联卷积神经网络的人脸检测方法，其特征在于,所述第三阶段中，针对样本的损失值进行排序，将损失值较大的困难样本进行联合在线训练，采用软-非极大值抑制算法对数据集进行多尺度测试，最后完成人脸分类和边界框回归两个任务，实现人脸检测。
3.根据权利要求2所述的基于级联卷积神经网络的人脸检测方法，其特征在于，第二阶段中，每个训练样本首先以间隔为5构建图像金字塔，最小的图片是原图的1/25，通过在训练样本上以步长为8滑动提取候选窗口，正样本选择与ground-truth的重叠率大于0.8的候选窗口；而负样本选择与ground-truth的重叠率最大不超过0.5的候选窗口，用于网络模型的训练。
4.根据权利要求2或3所述的基于级联卷积神经网络的人脸检测方法，其特征在于，所述第一阶段中，PN是一个四层卷积神经网络，主要用来生成候选窗和边框回归向量，首先将输入图片调整到12*12的尺寸，然后通过一个3*3的卷积核，步长大小为1，得到一个10*10的特征图，用2*2的池化模板最大值池化该特征图得到5*5大小的图片；然后依次再通过3*3的卷积核做两次卷积，最后通过边界框回归校正候选窗，然后使用非极大值抑制(NMS)合并重叠的候选框。
5.根据权利要求4所述的基于级联卷积神经网络的人脸检测方法，其特征在于，MSN由两个分支MSN-24，MSN-48通过卷积特征融合而成，通过PN的候选窗口，将图像金字塔中对应分辨率的图像输入到该网络，通过一个3*3大小，步长为1的卷积核，得到22*22大小的特征图；然后运用3*3的池化模板，步长为2对窗口最大值池化，得到大小为11*11的卷积特征，再对改特征图进行相同卷积操作，得到4*4*46的卷积特征，最后进行两层卷积，得到一个1*1的96维卷积特征。
6.根据权利要求5所述的基于级联卷积神经网络的人脸检测方法，其特征在于，所述第三阶段中，在每次训练的循环(batch)中，计算候选区域损失函数大小，然后将这些候选区域按照损失值进行排序，挑选出损失大小前百分之七十的目标区域作为困难样本，忽略剩下百分之三十的简单样本。
7.根据权利要求6所述的基于级联卷积神经网络的人脸检测方法，其特征在于，所述第二阶段将通过第一阶段的候选窗口，调整成不同尺度的图像金字塔中的缩放因子为0.814。
CN201811015651.2A 2018-08-31 2018-08-31 一种基于级联卷积神经网络结构的人脸检测方法 Pending CN109145854A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811015651.2A CN109145854A (zh) 2018-08-31 2018-08-31 一种基于级联卷积神经网络结构的人脸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811015651.2A CN109145854A (zh) 2018-08-31 2018-08-31 一种基于级联卷积神经网络结构的人脸检测方法

Publications (1)

Publication Number Publication Date
CN109145854A true CN109145854A (zh) 2019-01-04

Family

ID=64826101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811015651.2A Pending CN109145854A (zh) 2018-08-31 2018-08-31 一种基于级联卷积神经网络结构的人脸检测方法

Country Status (1)

Country Link
CN (1) CN109145854A (zh)

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447053A (zh) * 2019-01-09 2019-03-08 江苏星云网格信息技术有限公司 一种基于双重限制注意力神经网络模型的人脸识别方法
CN109815868A (zh) * 2019-01-15 2019-05-28 腾讯科技（深圳）有限公司 一种图像目标检测方法、装置及存储介质
CN109886128A (zh) * 2019-01-24 2019-06-14 南京航空航天大学 一种低分辨率下的人脸检测方法
CN109886159A (zh) * 2019-01-30 2019-06-14 浙江工商大学 一种非限定条件下的人脸检测方法
CN110046595A (zh) * 2019-04-23 2019-07-23 福州大学 一种基于级联式多尺度的密集人脸检测方法
CN110084221A (zh) * 2019-05-08 2019-08-02 南京云智控产业技术研究院有限公司 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
CN110163368A (zh) * 2019-04-18 2019-08-23 腾讯科技（深圳）有限公司 基于混合精度的深度学习模型训练方法、装置及系统
CN110175504A (zh) * 2019-04-08 2019-08-27 杭州电子科技大学 一种基于多任务级联卷积网络的目标检测和对齐方法
CN110197136A (zh) * 2019-05-13 2019-09-03 华中科技大学 一种基于动作边界概率的级联动作候选框生成方法与系统
CN110210314A (zh) * 2019-05-06 2019-09-06 深圳市华付信息技术有限公司 人脸检测方法、装置、计算机设备及存储介质
CN110309816A (zh) * 2019-07-12 2019-10-08 南京邮电大学 一种由粗到精的新生儿面部检测方法与系统
CN110472494A (zh) * 2019-06-21 2019-11-19 深圳壹账通智能科技有限公司 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN110490052A (zh) * 2019-07-05 2019-11-22 山东大学 基于级联多任务学习的人脸检测及人脸属性分析方法及系统
CN110852285A (zh) * 2019-11-14 2020-02-28 腾讯科技（深圳）有限公司 对象检测方法、装置、计算机设备和存储介质
CN110991305A (zh) * 2019-11-27 2020-04-10 厦门大学 一种遥感图像下的飞机检测方法及存储介质
CN111008608A (zh) * 2019-12-11 2020-04-14 湖南大学 一种基于深度学习的夜间车辆检测方法
CN111047655A (zh) * 2020-01-10 2020-04-21 北京盛开互动科技有限公司 基于卷积神经网络的高清摄像机布料疵点检测方法
CN111144475A (zh) * 2019-12-22 2020-05-12 上海眼控科技股份有限公司 车厢座位的确定方法、装置、电子设备及可读存储介质
CN111160292A (zh) * 2019-12-31 2020-05-15 上海易维视科技有限公司 人眼检测方法
CN111274981A (zh) * 2020-02-03 2020-06-12 中国人民解放军国防科技大学 目标检测网络构建方法及装置、目标检测方法
CN111310718A (zh) * 2020-03-09 2020-06-19 成都川大科鸿新技术研究所 一种遮挡人脸图像高准确率检测对比方法
CN111401215A (zh) * 2020-03-12 2020-07-10 杭州涂鸦信息技术有限公司 一种多类别目标检测的方法及系统
CN111401276A (zh) * 2020-03-20 2020-07-10 广东光速智能设备有限公司 一种安全帽佩戴识别方法及系统
CN111488766A (zh) * 2019-01-28 2020-08-04 北京京东尚科信息技术有限公司 目标检测方法和装置
CN111507248A (zh) * 2020-04-16 2020-08-07 成都东方天呈智能科技有限公司 一种低分辨热力图的人脸额头区域检测与定位方法及其系统
CN111582454A (zh) * 2020-05-09 2020-08-25 北京百度网讯科技有限公司 生成神经网络模型的方法和装置
CN111582208A (zh) * 2020-05-13 2020-08-25 北京字节跳动网络技术有限公司 用于生成生物体姿态关键点信息的方法和装置
CN111597933A (zh) * 2020-04-30 2020-08-28 北京的卢深视科技有限公司 人脸识别方法和装置
CN111626160A (zh) * 2020-05-15 2020-09-04 辽宁工程技术大学 一种基于区域式渐进校准网络的角度变化下人脸检测方法
CN111626993A (zh) * 2020-05-07 2020-09-04 武汉科技大学 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
CN111860077A (zh) * 2019-04-30 2020-10-30 北京眼神智能科技有限公司 人脸检测方法、装置、计算机可读存储介质及设备
CN111860331A (zh) * 2020-07-21 2020-10-30 北京北斗天巡科技有限公司 无人机在安防未知域的人脸识别系统
CN111898406A (zh) * 2020-06-05 2020-11-06 东南大学 基于焦点损失和多任务级联的人脸检测方法
CN111914665A (zh) * 2020-07-07 2020-11-10 泰康保险集团股份有限公司 一种人脸遮挡检测方法、装置、设备及存储介质
CN112085126A (zh) * 2020-09-30 2020-12-15 浙江大学 一种侧重于分类任务的单样本目标检测方法
CN112837281A (zh) * 2021-01-27 2021-05-25 湘潭大学 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN113160175A (zh) * 2021-04-23 2021-07-23 杭州迪英加科技有限公司 一种基于级联网络的肿瘤淋巴管浸润检测方法
CN113496173A (zh) * 2020-04-07 2021-10-12 北京君正集成电路股份有限公司 一种级联的人脸检测最后一级的检测方法
WO2021223073A1 (en) * 2020-05-06 2021-11-11 Polycom Communications Technology (Beijing) Co. Ltd. Fast and accurate face detection system for long-distance detection
CN113723400A (zh) * 2021-08-23 2021-11-30 中南大学 一种基于红外图像的电解槽极板故障识别方法、系统、终端及可读存储介质
CN113888513A (zh) * 2021-09-30 2022-01-04 电子科技大学 一种基于深度神经网络模型的钢筋检测计数方法
CN116775938A (zh) * 2023-08-15 2023-09-19 腾讯科技（深圳）有限公司 解说视频检索方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148079A1 (en) * 2014-11-21 2016-05-26 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
CN107688786A (zh) * 2017-08-30 2018-02-13 南京理工大学 一种基于级联卷积神经网络的人脸检测方法
CN107871134A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160148079A1 (en) * 2014-11-21 2016-05-26 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
CN107871134A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN107688786A (zh) * 2017-08-30 2018-02-13 南京理工大学 一种基于级联卷积神经网络的人脸检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李天煌: "基于级联卷积神经网络的人脸检测研究", 《基于级联结构的人脸检测若干方法研究》 *

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447053A (zh) * 2019-01-09 2019-03-08 江苏星云网格信息技术有限公司 一种基于双重限制注意力神经网络模型的人脸识别方法
CN109815868A (zh) * 2019-01-15 2019-05-28 腾讯科技（深圳）有限公司 一种图像目标检测方法、装置及存储介质
CN109815868B (zh) * 2019-01-15 2022-02-01 腾讯科技（深圳）有限公司 一种图像目标检测方法、装置及存储介质
CN109886128A (zh) * 2019-01-24 2019-06-14 南京航空航天大学 一种低分辨率下的人脸检测方法
CN111488766A (zh) * 2019-01-28 2020-08-04 北京京东尚科信息技术有限公司 目标检测方法和装置
CN109886159A (zh) * 2019-01-30 2019-06-14 浙江工商大学 一种非限定条件下的人脸检测方法
CN110175504A (zh) * 2019-04-08 2019-08-27 杭州电子科技大学 一种基于多任务级联卷积网络的目标检测和对齐方法
CN110163368A (zh) * 2019-04-18 2019-08-23 腾讯科技（深圳）有限公司 基于混合精度的深度学习模型训练方法、装置及系统
CN110163368B (zh) * 2019-04-18 2023-10-20 腾讯科技（深圳）有限公司 基于混合精度的深度学习模型训练方法、装置及系统
CN110046595A (zh) * 2019-04-23 2019-07-23 福州大学 一种基于级联式多尺度的密集人脸检测方法
CN110046595B (zh) * 2019-04-23 2022-08-09 福州大学 一种基于级联式多尺度的密集人脸检测方法
CN111860077A (zh) * 2019-04-30 2020-10-30 北京眼神智能科技有限公司 人脸检测方法、装置、计算机可读存储介质及设备
CN110210314A (zh) * 2019-05-06 2019-09-06 深圳市华付信息技术有限公司 人脸检测方法、装置、计算机设备及存储介质
CN110084221A (zh) * 2019-05-08 2019-08-02 南京云智控产业技术研究院有限公司 一种基于深度学习的带中继监督的序列化人脸关键点检测方法
CN110197136B (zh) * 2019-05-13 2021-01-12 华中科技大学 一种基于动作边界概率的级联动作候选框生成方法与系统
CN110197136A (zh) * 2019-05-13 2019-09-03 华中科技大学 一种基于动作边界概率的级联动作候选框生成方法与系统
CN110472494A (zh) * 2019-06-21 2019-11-19 深圳壹账通智能科技有限公司 脸部特征提取模型训练方法、脸部特征提取方法、装置、设备及存储介质
CN110490052A (zh) * 2019-07-05 2019-11-22 山东大学 基于级联多任务学习的人脸检测及人脸属性分析方法及系统
CN110309816A (zh) * 2019-07-12 2019-10-08 南京邮电大学 一种由粗到精的新生儿面部检测方法与系统
CN110852285A (zh) * 2019-11-14 2020-02-28 腾讯科技（深圳）有限公司 对象检测方法、装置、计算机设备和存储介质
CN110852285B (zh) * 2019-11-14 2023-04-18 腾讯科技（深圳）有限公司 对象检测方法、装置、计算机设备和存储介质
CN110991305A (zh) * 2019-11-27 2020-04-10 厦门大学 一种遥感图像下的飞机检测方法及存储介质
CN110991305B (zh) * 2019-11-27 2023-04-07 厦门大学 一种遥感图像下的飞机检测方法及存储介质
CN111008608A (zh) * 2019-12-11 2020-04-14 湖南大学 一种基于深度学习的夜间车辆检测方法
CN111008608B (zh) * 2019-12-11 2023-08-01 湖南大学 一种基于深度学习的夜间车辆检测方法
CN111144475A (zh) * 2019-12-22 2020-05-12 上海眼控科技股份有限公司 车厢座位的确定方法、装置、电子设备及可读存储介质
CN111160292B (zh) * 2019-12-31 2023-09-22 上海易维视科技有限公司 人眼检测方法
CN111160292A (zh) * 2019-12-31 2020-05-15 上海易维视科技有限公司 人眼检测方法
CN111047655B (zh) * 2020-01-10 2024-05-14 北京盛开互动科技有限公司 基于卷积神经网络的高清摄像机布料疵点检测方法
CN111047655A (zh) * 2020-01-10 2020-04-21 北京盛开互动科技有限公司 基于卷积神经网络的高清摄像机布料疵点检测方法
CN111274981A (zh) * 2020-02-03 2020-06-12 中国人民解放军国防科技大学 目标检测网络构建方法及装置、目标检测方法
CN111310718A (zh) * 2020-03-09 2020-06-19 成都川大科鸿新技术研究所 一种遮挡人脸图像高准确率检测对比方法
CN111401215B (zh) * 2020-03-12 2023-10-31 杭州涂鸦信息技术有限公司 一种多类别目标检测的方法及系统
CN111401215A (zh) * 2020-03-12 2020-07-10 杭州涂鸦信息技术有限公司 一种多类别目标检测的方法及系统
CN111401276B (zh) * 2020-03-20 2024-05-17 广东光速智能设备有限公司 一种安全帽佩戴识别方法及系统
CN111401276A (zh) * 2020-03-20 2020-07-10 广东光速智能设备有限公司 一种安全帽佩戴识别方法及系统
CN113496173B (zh) * 2020-04-07 2023-09-26 北京君正集成电路股份有限公司 一种级联的人脸检测最后一级的检测方法
CN113496173A (zh) * 2020-04-07 2021-10-12 北京君正集成电路股份有限公司 一种级联的人脸检测最后一级的检测方法
CN111507248A (zh) * 2020-04-16 2020-08-07 成都东方天呈智能科技有限公司 一种低分辨热力图的人脸额头区域检测与定位方法及其系统
CN111597933A (zh) * 2020-04-30 2020-08-28 北京的卢深视科技有限公司 人脸识别方法和装置
CN111597933B (zh) * 2020-04-30 2023-07-14 合肥的卢深视科技有限公司 人脸识别方法和装置
WO2021223073A1 (en) * 2020-05-06 2021-11-11 Polycom Communications Technology (Beijing) Co. Ltd. Fast and accurate face detection system for long-distance detection
CN111626993A (zh) * 2020-05-07 2020-09-04 武汉科技大学 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
CN111582454B (zh) * 2020-05-09 2023-08-25 北京百度网讯科技有限公司 生成神经网络模型的方法和装置
CN111582454A (zh) * 2020-05-09 2020-08-25 北京百度网讯科技有限公司 生成神经网络模型的方法和装置
CN111582208A (zh) * 2020-05-13 2020-08-25 北京字节跳动网络技术有限公司 用于生成生物体姿态关键点信息的方法和装置
CN111582208B (zh) * 2020-05-13 2023-07-21 抖音视界有限公司 用于生成生物体姿态关键点信息的方法和装置
CN111626160B (zh) * 2020-05-15 2023-10-03 辽宁工程技术大学 一种基于区域式渐进校准网络的角度变化下人脸检测方法
CN111626160A (zh) * 2020-05-15 2020-09-04 辽宁工程技术大学 一种基于区域式渐进校准网络的角度变化下人脸检测方法
CN111898406A (zh) * 2020-06-05 2020-11-06 东南大学 基于焦点损失和多任务级联的人脸检测方法
CN111898406B (zh) * 2020-06-05 2022-04-29 东南大学 基于焦点损失和多任务级联的人脸检测方法
CN111914665A (zh) * 2020-07-07 2020-11-10 泰康保险集团股份有限公司 一种人脸遮挡检测方法、装置、设备及存储介质
CN111914665B (zh) * 2020-07-07 2023-06-20 泰康保险集团股份有限公司 一种人脸遮挡检测方法、装置、设备及存储介质
CN111860331A (zh) * 2020-07-21 2020-10-30 北京北斗天巡科技有限公司 无人机在安防未知域的人脸识别系统
CN112085126B (zh) * 2020-09-30 2023-12-12 浙江大学 一种侧重于分类任务的单样本目标检测方法
CN112085126A (zh) * 2020-09-30 2020-12-15 浙江大学 一种侧重于分类任务的单样本目标检测方法
CN112837281B (zh) * 2021-01-27 2022-10-28 湘潭大学 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN112837281A (zh) * 2021-01-27 2021-05-25 湘潭大学 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN113160175A (zh) * 2021-04-23 2021-07-23 杭州迪英加科技有限公司 一种基于级联网络的肿瘤淋巴管浸润检测方法
CN113723400A (zh) * 2021-08-23 2021-11-30 中南大学 一种基于红外图像的电解槽极板故障识别方法、系统、终端及可读存储介质
CN113888513A (zh) * 2021-09-30 2022-01-04 电子科技大学 一种基于深度神经网络模型的钢筋检测计数方法
CN116775938B (zh) * 2023-08-15 2024-05-17 腾讯科技（深圳）有限公司 解说视频检索方法、装置、电子设备及存储介质
CN116775938A (zh) * 2023-08-15 2023-09-19 腾讯科技（深圳）有限公司 解说视频检索方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN109145854A (zh) 一种基于级联卷积神经网络结构的人脸检测方法
Zhou et al. TSNet: Three-stream self-attention network for RGB-D indoor semantic segmentation
CN110135243B (zh) 一种基于两级注意力机制的行人检测方法及系统
Zhao et al. Defocus blur detection via multi-stream bottom-top-bottom fully convolutional network
CN112818862B (zh) 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN109635694B (zh) 一种行人检测方法、装置、设备及计算机可读存储介质
CN109711262B (zh) 一种基于深度卷积神经网络的智能挖掘机行人检测方法
CN104778476B (zh) 一种图像分类方法
CN105893946A (zh) 一种正面人脸图像的检测方法
CN112884712B (zh) 一种显示面板缺陷分类的方法及相关装置
CN107145889A (zh) 基于具有RoI池化的双CNN网络的目标识别方法
CN108564598B (zh) 一种改进的在线Boosting目标跟踪方法
CN110991274B (zh) 一种基于混合高斯模型和神经网络的行人摔倒检测方法
CN107633226A (zh) 一种人体动作跟踪识别方法及系统
CN107808376A (zh) 一种基于深度学习的举手检测方法
CN107909081A (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
CN110082821A (zh) 一种无标签框微地震信号检测方法及装置
Saqib et al. Person head detection in multiple scales using deep convolutional neural networks
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN109325507A (zh) 一种结合超像素显著性特征与hog特征的图像分类算法和系统
CN105701466A (zh) 快速的全角度人脸跟踪方法
CN110414483A (zh) 一种基于深度神经网络和随机森林的人脸识别方法及系统
CN112329771B (zh) 一种基于深度学习的建筑材料样本识别方法
CN109886159A (zh) 一种非限定条件下的人脸检测方法
CN110188811A (zh) 基于赋范梯度特征与卷积神经网络的水下目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104

RJ01 Rejection of invention patent application after publication