CN109614929A - 基于多粒度代价敏感卷积神经网络的人脸检测方法及系统 - Google Patents

基于多粒度代价敏感卷积神经网络的人脸检测方法及系统 Download PDF

Info

Publication number
CN109614929A
CN109614929A CN201811510433.6A CN201811510433A CN109614929A CN 109614929 A CN109614929 A CN 109614929A CN 201811510433 A CN201811510433 A CN 201811510433A CN 109614929 A CN109614929 A CN 109614929A
Authority
CN
China
Prior art keywords
face
granularity
convolutional neural
neural networks
cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811510433.6A
Other languages
English (en)
Inventor
于治楼
袭肖明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN201811510433.6A priority Critical patent/CN109614929A/zh
Publication of CN109614929A publication Critical patent/CN109614929A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于多粒度代价敏感卷积神经网络的人脸检测方法及系统，属于计算机视觉技术领域。本发明的基于多粒度代价敏感卷积神经网络的人脸检测方法，该方法中采用快速区域卷积神经网络为基本框架，在快速区域卷积神经网络框架中加入多粒度转换单元，将不同人脸的重要性引入到目标函数中，通过优化目标函数，获得多粒度转换卷积神经网络的参数，从而得到人脸检测模型。该发明的基于多粒度代价敏感卷积神经网络的人脸检测方法能够增强被遮挡人脸在训练过程中的重要程度，从而提高被遮挡人脸被检测出的准确性，具有很好的推广应用价值。

Description

基于多粒度代价敏感卷积神经网络的人脸检测方法及系统
技术领域
本发明涉及计算机视觉技术领域，具体提供一种基于多粒度代价敏感卷积神经网络的人脸检测方法及系统。
背景技术
随着深度学习的出现，生物识别技术已取得了巨大的突破。在诸如指纹、虹膜等生物特征中，人脸由于其非接触性等优点已成为一种极具潜力的生物特征。在多用户同时识别场景下，多用户的人脸检测是重要基础。然而，该类场景可能存在大量人脸，且远景下的人脸较小，使得可用信息较少，从而降低了人脸检测的精度。因此，如何针对大量用户人脸的同时检测场景下的问题，设计精确的人脸检测方法，使其能够准确地对人脸进行正确检测，对于提高产品竞争力，降低企业成本具有重要的意义。
发明内容
本发明的技术任务是针对上述存在的问题，提供一种能够增强被遮挡人脸在训练过程中的重要程度，从而提高被遮挡人脸被检测出的准确性的基于多粒度代价敏感卷积神经网络的人脸检测方法。
本发明进一步的技术任务是提供一种基于多粒度代价敏感卷积神经网络的人脸检测系统。
为实现上述目的，本发明提供了如下技术方案：
一种基于多粒度代价敏感卷积神经网络的人脸检测方法，该方法中采用快速区域卷积神经网络为基本框架，在快速区域卷积神经网络框架中加入多粒度转换单元，将不同人脸的重要性引入到目标函数中，通过优化目标函数，获得多粒度转换卷积神经网络的参数，从而得到人脸检测模型。
所述多粒度转换单元能够进行粒度转换，将小李杜转换成大力度，从而将远景的小人量转换为近景的大人量，增加了小人量的信息量。此外，通过与原始图像比较，减少了需要检测人脸的数目，降低了人脸检测的难度。该方法能够增强被遮挡人脸在训练过程中的重要程度，从而提高被遮挡人脸被检测出的准确性。
作为优选，所述方法在快速区域卷积神经网络框架中加入多粒度转换单元，将多粒度转换单元的输出图像输入到快速区域卷积神经网络的region proposal层，学习候选的proposal，同时，将多粒度转换单元的输出输入到卷积层获取局部特性，经过池化层进行采样，得到鲁棒的特性，将鲁棒特性与region proposal层学习获取的候选特征进行融合，将融合后的特征输入到ROI pooling层，获得固定大小长度的特征，将特征输出到目标函数，通过优化目标函数，获得多粒度转换卷积神经网络的参数，得到人脸检测模型。
作为优选，引入人脸代价，在训练时，设置图像中每个人脸的代价权重，初始化权重公式如公式(1)所示：
其中，x表示用户人脸，表量q表示未被遮挡的人脸个数，变量p表示被遮挡的人脸的个数，ΩC表示被遮挡的人脸集合，ΩB表示未被遮挡的人脸集合。
一般来说，被遮挡的人脸个数要小于未被遮挡的人脸个数，根据公式(1)计算，被遮挡人脸的权重大于未被遮挡的人脸的权重。
作为优选，在每次迭代优化中，不断更新权重，权重更新公式如公式(2)所示：
其中，变量un-1表示人脸x上一轮迭代的权重，acc表示被上轮迭代中人脸检测的正确率，Ωerr表示上轮迭代中误检的人脸集合，Ωacc表示上轮迭代中正确检测的人脸集合。
一般来说，人脸检测的训练精度大于百分之五十，因此，根据公式(2)，误检的人脸权重大于正确检测出的人脸权重。
作为优选，利用随机梯度方法优化公式(3)，通过优化参数w完成训练，
Min ui(yi-wTxi)2+||w||2(3)
其中，yi是第i个人脸的类别标记，xi是第i个人脸学习出的最终特征。
基于多粒度代价敏感卷积神经网络的人脸检测系统，该系统包括快速区域卷积神经网络，在快速区域卷积神经网络中加入多粒度转换单元，将多粒度转换单元的输出图像输入到快速区域卷积神经网络的region proposal层，学习候选的proposal，同时，将多粒度转换单元的输出输入到卷积层获取局部特性，经过池化层进行采样，得到鲁棒的特性，将鲁棒特性与region proposal层学习获取的候选特征进行融合，将融合后的特征输入到ROIpooling层，通过全连接层输出结果。
利用该基于多粒度代价敏感卷积神经网络的人脸检测系统进行基于多粒度代价敏感卷积神经网络的人脸检测方法中，在快速区域卷积神经网络框架中加入多粒度转换单元，将多粒度转换单元的输出图像输入到快速区域卷积神经网络的region proposal层，学习候选的proposal，同时，将多粒度转换单元的输出输入到卷积层获取局部特性，经过池化层进行采样，得到鲁棒的特性，将鲁棒特性与region proposal层学习获取的候选特征进行融合，将融合后的特征输入到ROI pooling层，获得固定大小长度的特征，将特征输出到目标函数，通过优化目标函数，获得多粒度转换卷积神经网络的参数，得到人脸检测模型。其中，引入人脸代价，在训练时，设置图像中每个人脸的代价权重，初始化权重公式如公式(1)所示：
其中，x表示用户人脸，表量q表示未被遮挡的人脸个数，变量p表示被遮挡的人脸的个数，ΩC表示被遮挡的人脸集合，ΩB表示未被遮挡的人脸集合。
一般来说，被遮挡的人脸个数要小于未被遮挡的人脸个数，根据公式(1)计算，被遮挡人脸的权重大于未被遮挡的人脸的权重。
在每次迭代优化中，不断更新权重，权重更新公式如公式(2)所示：
其中，变量un-1表示人脸x上一轮迭代的权重，acc表示被上轮迭代中人脸检测的正确率，Ωerr表示上轮迭代中误检的人脸集合，Ωacc表示上轮迭代中正确检测的人脸集合。
一般来说，人脸检测的训练精度大于百分之五十，因此，根据公式(2)，误检的人脸权重大于正确检测出的人脸权重。
利用随机梯度方法优化公式(3)，通过优化参数w完成训练，
Minui(yi-wTxi)2+||w||2 (3)
其中，yi是第i个人脸的类别标记，xi是第i个人脸学习出的最终特征。
作为优选，所述多粒度转换单元包括多粒度转换层和多粒度提取层，在多粒度转换层中设置一个卷积mask。
作为优选，所述多粒度转换层的卷积mask由0和1构成。其中，1的个数决定了获取人脸的粒度大小，通过使用mask卷积，可获得不同大小的区域，在该区域中存在不同粒度的人脸。
作为优选，所述多粒度提取层根据多粒度转换层的结果，将非0的元素提取出来，得到不同粒度大小的人脸。
与现有技术相比，本发明的基于多粒度代价敏感卷积神经网络的人脸检测方法及系统具有以下突出的有益效果：
(一)通过该基于多粒度代价敏感卷积神经网络的人脸检测方法能够进行粒度转换，将小粒度转换成大粒度。从而将远景的小人脸转换为近景的大人脸，增加了小人脸的信息量；
(二)该基于多粒度代价敏感卷积神经网络的人脸检测方法中相比较原始图像，减少了需要检测人脸的数目，降低了人脸检测的难度；
(三)本发明提出的基于代价敏感的目标函数，能够增强被遮挡人脸在训练过程中的重要程度，从而提高被遮挡人脸被检测出的准确性，具有良好的推广应用价值。
附图说明
图1是本发明所述基于多粒度代价敏感卷积神经网络的人脸检测方法的流程图；
图2是本发明所述基于多粒度代价敏感卷积神经网络的人脸检测系统的多粒度转换单元的示意图。
具体实施方式
下面将结合附图和实施例，对本发明的基于多粒度代价敏感卷积神经网络的人脸检测方法及系统作进一步详细说明。
实施例
如图1所示，本发明的基于多粒度代价敏感卷积神经网络的人脸检测方法，在快速区域卷积神经网络框架中加入多粒度转换单元，将多粒度转换单元的输出图像输入到快速区域卷积神经网络的region proposal层，学习候选的proposal，同时，将多粒度转换单元的输出输入到卷积层获取局部特性，经过池化层进行采样，得到鲁棒的特性，将鲁棒特性与region proposal层学习获取的候选特征进行融合，将融合后的特征输入到ROI pooling层，获得固定大小长度的特征，将特征输出到目标函数，通过优化目标函数，获得多粒度转换卷积神经网络的参数，得到人脸检测模型。
为了提高对诸如遮挡等这类难以检测人脸的检测准确性，引入人脸代价，在训练时，设置图像中每个人脸的代价权重，初始化权重公式如公式(1)所示：
其中，x表示用户人脸，表量q表示未被遮挡的人脸个数，变量p表示被遮挡的人脸的个数，ΩC表示被遮挡的人脸集合，ΩB表示未被遮挡的人脸集合。
一般来说，被遮挡的人脸个数要小于未被遮挡的人脸个数，根据公式(1)计算，被遮挡人脸的权重大于未被遮挡的人脸的权重。
在每次迭代优化中，不断更新权重，权重更新公式如公式(2)所示：
其中，变量un-1表示人脸x上一轮迭代的权重，acc表示被上轮迭代中人脸检测的正确率，Ωerr表示上轮迭代中误检的人脸集合，Ωacc表示上轮迭代中正确检测的人脸集合。
一般来说，人脸检测的训练精度大于百分之五十，因此，根据公式(2)，误检的人脸权重大于正确检测出的人脸权重。
利用随机梯度方法优化公式(3)，通过优化参数w完成训练，
Minui(yi-wTxi)2+||w||2 (3)
其中，yi是第i个人脸的类别标记，xi是第i个人脸学习出的最终特征。
本发明的基于多粒度代价敏感卷积神经网络的人脸检测系统，在在快速区域卷积神经网络中加入多粒度转换单元，将多粒度转换单元的输出图像输入到快速区域卷积神经网络的region proposal层，学习候选的proposal，同时，将多粒度转换单元的输出输入到卷积层获取局部特性，经过池化层进行采样，得到鲁棒的特性，将鲁棒特性与regionproposal层学习获取的候选特征进行融合，将融合后的特征输入到ROI pooling层，通过全连接层输出结果。如图2所示，多粒度转换单元包括多粒度转换层和多粒度提取层，在多粒度转换层中设置一个卷积mask。多粒度转换层的卷积mask由0和1构成。其中，1的个数决定了获取人脸的粒度大小，通过使用mask卷积，可获得不同大小的区域，在该区域中存在不同粒度的人脸。多粒度提取层根据多粒度转换层的结果，将非0的元素提取出来，得到不同粒度大小的人脸。
以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (9)

1.基于多粒度代价敏感卷积神经网络的人脸检测方法，其特征在于：该方法中采用快速区域卷积神经网络为基本框架，在快速区域卷积神经网络框架中加入多粒度转换单元，将不同人脸的重要性引入到目标函数中，通过优化目标函数，获得多粒度转换卷积神经网络的参数，从而得到人脸检测模型。
2.根据权利要求1所述的基于多粒度代价敏感卷积神经网络的人脸检测方法，其特征在于：所述方法在快速区域卷积神经网络框架中加入多粒度转换单元，将多粒度转换单元的输出图像输入到快速区域卷积神经网络的region proposal层，学习候选的proposal，同时，将多粒度转换单元的输出输入到卷积层获取局部特性，经过池化层进行采样，得到鲁棒的特性，将鲁棒特性与region proposal层学习获取的候选特征进行融合，将融合后的特征输入到ROI pooling层，获得固定大小长度的特征，将特征输出到目标函数，通过优化目标函数，获得多粒度转换卷积神经网络的参数，得到人脸检测模型。
3.根据权利要求1或2所述的基于多粒度代价敏感卷积神经网络的人脸检测方法，其特征在于：引入人脸代价，在训练时，设置图像中每个人脸的代价权重，初始化权重公式如公式(1)所示：
其中，x表示用户人脸，表量q表示未被遮挡的人脸个数，变量p表示被遮挡的人脸的个数，ΩC表示被遮挡的人脸集合，ΩB表示未被遮挡的人脸集合。
4.根据权利要求3所述的基于多粒度代价敏感卷积神经网络的人脸检测方法，其特征在于：在每次迭代优化中，不断更新权重，权重更新公式如公式(2)所示：
其中，变量un-1表示人脸x上一轮迭代的权重，acc表示被上轮迭代中人脸检测的正确率，Ωerr表示上轮迭代中误检的人脸集合，Ωacc表示上轮迭代中正确检测的人脸集合。
5.根据权利要求4所述的基于多粒度代价敏感卷积神经网络的人脸检测方法，其特征在于：利用随机梯度方法优化公式(3)，通过优化参数w完成训练，
Min ui(yi-wTxi)2+||w||2 (3)
其中，yi是第i个人脸的类别标记，xi是第i个人脸学习出的最终特征。
6.基于多粒度代价敏感卷积神经网络的人脸检测系统，其特征在于：该系统包括快速区域卷积神经网络，在快速区域卷积神经网络中加入多粒度转换单元，将多粒度转换单元的输出图像输入到快速区域卷积神经网络的region proposal层，学习候选的proposal，同时，将多粒度转换单元的输出输入到卷积层获取局部特性，经过池化层进行采样，得到鲁棒的特性，将鲁棒特性与region proposal层学习获取的候选特征进行融合，将融合后的特征输入到ROI pooling层，通过全连接层输出结果。
7.根据权利要求6所述的基于多粒度代价敏感卷积神经网络的人脸检测系统，其特征在于：所述多粒度转换单元包括多粒度转换层和多粒度提取层，在多粒度转换层中设置一个卷积mask。
8.根据权利要求6或7所述的基于多粒度代价敏感卷积神经网络的人脸检测系统，其特征在于：所述多粒度转换层的卷积mask由0和1构成。
9.根据权利要求8所述的基于多粒度代价敏感卷积神经网络的人脸检测系统，其特征在于：所述多粒度提取层根据多粒度转换层的结果，将非0的元素提取出来，得到不同粒度大小的人脸。
CN201811510433.6A 2018-12-11 2018-12-11 基于多粒度代价敏感卷积神经网络的人脸检测方法及系统 Pending CN109614929A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811510433.6A CN109614929A (zh) 2018-12-11 2018-12-11 基于多粒度代价敏感卷积神经网络的人脸检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811510433.6A CN109614929A (zh) 2018-12-11 2018-12-11 基于多粒度代价敏感卷积神经网络的人脸检测方法及系统

Publications (1)

Publication Number Publication Date
CN109614929A true CN109614929A (zh) 2019-04-12

Family

ID=66007181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811510433.6A Pending CN109614929A (zh) 2018-12-11 2018-12-11 基于多粒度代价敏感卷积神经网络的人脸检测方法及系统

Country Status (1)

Country Link
CN (1) CN109614929A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188757A (zh) * 2019-06-03 2019-08-30 济南浪潮高新科技投资发展有限公司 基于重要性加权的肿瘤检测模型构建方法及构建系统
CN111738099A (zh) * 2020-05-30 2020-10-02 华南理工大学 基于视频图像场景理解的人脸自动检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991408A (zh) * 2017-04-14 2017-07-28 电子科技大学 一种候选框生成网络的生成方法及人脸检测方法
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
CN107844769A (zh) * 2017-11-01 2018-03-27 济南浪潮高新科技投资发展有限公司 一种复杂场景下的车辆检测方法及系统
CN107909053A (zh) * 2017-11-30 2018-04-13 济南浪潮高新科技投资发展有限公司 一种基于等级学习级联卷积神经网络的人脸检测方法
CN108846380A (zh) * 2018-04-09 2018-11-20 北京理工大学 一种基于代价敏感卷积神经网络的人脸表情识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
CN106991408A (zh) * 2017-04-14 2017-07-28 电子科技大学 一种候选框生成网络的生成方法及人脸检测方法
CN107844769A (zh) * 2017-11-01 2018-03-27 济南浪潮高新科技投资发展有限公司 一种复杂场景下的车辆检测方法及系统
CN107909053A (zh) * 2017-11-30 2018-04-13 济南浪潮高新科技投资发展有限公司 一种基于等级学习级联卷积神经网络的人脸检测方法
CN108846380A (zh) * 2018-04-09 2018-11-20 北京理工大学 一种基于代价敏感卷积神经网络的人脸表情识别方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188757A (zh) * 2019-06-03 2019-08-30 济南浪潮高新科技投资发展有限公司 基于重要性加权的肿瘤检测模型构建方法及构建系统
CN111738099A (zh) * 2020-05-30 2020-10-02 华南理工大学 基于视频图像场景理解的人脸自动检测方法
CN111738099B (zh) * 2020-05-30 2023-11-07 华南理工大学 基于视频图像场景理解的人脸自动检测方法

Similar Documents

Publication Publication Date Title
CN104615983B (zh) 基于递归神经网络和人体骨架运动序列的行为识别方法
CN108734208B (zh) 基于多模态深度迁移学习机制的多源异构数据融合系统
CN104573359B (zh) 一种基于任务难度与标注者能力的众包标注数据整合方法
CN105488456B (zh) 基于自适应阈值调整拒识子空间学习的人脸检测方法
CN107330357A (zh) 基于深度神经网络的视觉slam闭环检测方法
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN107862261A (zh) 基于多尺度卷积神经网络的图像人群计数方法
CN116226691B (zh) 用于手势姿态感知的智能戒指数据处理方法
CN104598885B (zh) 街景图像中的文字标牌检测与定位方法
CN105550678A (zh) 基于全局显著边缘区域的人体动作特征提取方法
CN106096535A (zh) 一种基于双线性联合cnn的人脸验证方法
CN106056628A (zh) 基于深度卷积神经网络特征融合的目标跟踪方法及系统
CN110457982A (zh) 一种基于特征迁移学习的作物病害图像识别方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN108021889A (zh) 一种基于姿态外形和运动信息的双通道红外行为识别方法
CN104700120A (zh) 一种基于自适应熵投影聚类算法的fMRI特征提取及分类方法
CN104881682B (zh) 一种基于保局映射与主成分分析的图像分类方法
CN107909053B (zh) 一种基于等级学习级联卷积神经网络的人脸检测方法
CN102169631A (zh) 基于流形学习的交通拥堵事件协同检测方法
CN107590427A (zh) 基于时空兴趣点降噪的监控视频异常事件检测方法
CN106874867A (zh) 一种融合肤色及轮廓筛选的人脸自适应检测与跟踪方法
CN104408470A (zh) 基于平均脸预学习的性别检测方法
CN110348494A (zh) 一种基于双通道残差神经网络的人体动作识别方法
CN109614929A (zh) 基于多粒度代价敏感卷积神经网络的人脸检测方法及系统
CN109034012A (zh) 基于动态图像和视频子序列的第一人称视角手势识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190412

RJ01 Rejection of invention patent application after publication