CN108446617A - 抗侧脸干扰的人脸快速检测方法 - Google Patents

抗侧脸干扰的人脸快速检测方法 Download PDF

Info

Publication number
CN108446617A
CN108446617A CN201810194209.4A CN201810194209A CN108446617A CN 108446617 A CN108446617 A CN 108446617A CN 201810194209 A CN201810194209 A CN 201810194209A CN 108446617 A CN108446617 A CN 108446617A
Authority
CN
China
Prior art keywords
face
training
picture
detection method
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810194209.4A
Other languages
English (en)
Other versions
CN108446617B (zh
Inventor
黄翰
李子龙
郝志峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201810194209.4A priority Critical patent/CN108446617B/zh
Publication of CN108446617A publication Critical patent/CN108446617A/zh
Priority to PCT/CN2018/115770 priority patent/WO2019169895A1/zh
Priority to US16/979,186 priority patent/US11263434B2/en
Application granted granted Critical
Publication of CN108446617B publication Critical patent/CN108446617B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种抗侧脸干扰的人脸快速检测方法，用户选择一张普通的图片，利用深度神经网络提取图片特征后，确定人脸的确切位置。本发明提供一种人脸检测的训练方法，使用纯数据驱动的方式，使用普通人脸图片和人脸边界框作为输入，使用镜像对称与高斯滤波进行数据扩增，使用迁移学习与难例挖掘增强训练效果。本发明在读入人脸图片后，先将图片缩放，然后放入深度神经网络中提取特征，并产生多个人脸似然框和人脸似然框的置信度得分，最后采用非极大值抑制的方式选取最合适的人脸似然框。本发明对人脸照片的角度没有特定的要求，并且对于侧面人脸的检测效果依然非常明显。另外，本发明检测方法简单，采用端到端的检测方式，可应用于实时环境。

Description

抗侧脸干扰的人脸快速检测方法
技术领域
本发明属于计算机智能监控视频处理技术领域，涉及一种抗侧脸干扰的人脸快速检测方法。
背景技术
监控视频，作为智能监控系统的核心部分，一直受到广泛的关注。随着建设完备公共安全系统的呼声越来越高，城市中的监控摄像头开始呈爆炸式增长。在现有的人力资源情况下，仅凭人力检索动辄十几路的监控视频，甚至是在海量视频库中进行检索，这将浪费大量的时间。因此将视频监控自动化，充分发挥视频监控的自主性和实时性，解放人工劳动力，这对安防领域乃至人们生活水平的提高有着至关重要的作用。为了满足辅助甚至是自动检索或监控视频摄像的需求，很多自动/半自动算法应运而生。
但目前世面上的检测算法，例如人脸检测算法，很难满足市场的需求，其面对人脸检测任务时，往往不能有效地解决模糊，遮挡，过小，亦或是检测速度过慢等问题。而本发明处理速度快，检测率高，可以充分解决模糊、遮挡以及人脸过小问题，能够有效辅助安防人员的工作。
发明内容
针对现有人脸检测方法的缺点，本发明提出一种抗侧脸干扰的人脸快速检测方法，可以有效地克服人脸遮挡、过小、模糊导致的人脸不能被检测等问题，而且采用卷积神经网络以及共享参数的策略，可以大大地提高检测速度。为了达到上述目的，本发明采用以下技术方案：
本发明抗侧脸干扰的人脸快速检测方法，包含数据收集与预处理阶段、预训练与训练阶段和检测阶段，具体步骤如下：
(a)数据收集与预处理阶段，收集实际应用场景下的人脸图像，并对收集到的人脸图像进行标定，生成原始训练集；
(b)数据收集与预处理阶段，对步骤(a)中收集到的人脸图像进行镜像对称、高斯滤波处理，生成综合扩增训练集；
(c)预训练和训练阶段，使用类别数为M的非人脸普通物体的图片作为数据以SoftMax Loss或log-likehood loss的方式来预训练一个物体检测的多分类模型；
(d)预训练和训练阶段，将步骤(c)中训练得到的模型参数来以迁移学习的方式初始化人脸检测模型的部分参数,并将原始的网络模型改为二分类模型；
(e)预训练和训练阶段，将步骤(b)中的得到的扩充训练集作为输入训练集，训练得到检测阶段将要使用的模型，训练采用端到端的方式，包含了候选区域提取、人脸检测特征提取及特征分类的功能；
(f)测试阶段该人脸检测方法可以在测试时方便的调节输入图片的缩放尺度以适应满足精确度、资源消耗和检测时间的要求。
作为优选的技术方案，所述步骤(a)包括下述步骤：
(a-1)使用步骤(a)中收集到的人脸图像，使用矩形框对图像中的人脸进行标定，标定时要求矩形框上至额头发际线最高点，下至下巴最低点，左右至脸颊；
(a-2)记录矩形框的左上角点在图像中的位置(x0,y0)与矩形框的宽高(w,h),得出矩形框右下角坐标(x1,y1)其中，x1＝x0+w，y1＝y0+h。
作为优选的技术方案，所述步骤(b)包括下述步骤：
(b-1)对步骤(a)中进行标定的图片做镜像对称，设原标定框左上角坐标为(x0，y0)，右下角坐标(x1,y1)，图片宽W，高H；则经过镜像对称后的标定框左上角坐标为(x’0＝W-x’0，y’0＝y0)，右下角坐标(x’1＝W-x’1，y’1＝y0)，得到镜像扩增训练集；
(b-2)对步骤(b-1)中得到的镜像扩增训练集进行高斯滤波，其中，卷积核大小为9*9，sigma值为5，得到高斯滤波扩增训练集；
(b-3)对步骤(b-1)中得到的镜像扩增训练集和步骤(b-2)中得到的高斯滤波扩增训练集进行整合，整合过程中，人为的进行数据筛选工作：
A.对于存在单张人脸图片使用多数表决的方式，如果2人认为这为一张人脸图片，则将其保留；否则，将其删除；最终，将所有被保留的图片作为综合扩增训练集；
B.对于存在多张人脸的图片，如果存在被认为是人脸但没有被标记的情况，也将其人为剔除，最终将所有保留的图片作为综合扩增训练集。
作为优选的技术方案，所述步骤(c)包括下述步骤：
(c-1)使用类别数为20的非人脸普通物体的图片作为预训练数据；
(c-2)使用ResNet-50对预训练数据集进行训练，并将分类类别从1000类调整为21类，其中20类为上述普通物体，1类为背景。
(c-3)为了预训练模型能充分的收敛，我们使用“multistep”的策略进行训练，第一步的步长为200000，第二步的步长为400000，总的迭代次数为800000次。
作为优选的技术方案，所述步骤(d)包括下述步骤：
(d-1)使用步骤(c)中预训练得到的模型，以迁移学习的方式初始化人脸检测模型的部分参数；
(d-2)使用区域全卷积神经网络作为训练的主体框架，并将该框架分类数量修改为2分类。
作为优选的技术方案，所述步骤(e)包括下述步骤：
(e-1)使用整张人脸图像作为训练图像，与对应的人脸矩形框坐标一并作为网络的输入；
(e-2)定义网络结构，整个网络包含似然窗口提取子网络和基于区域的全卷积网络；
(e-3)采用端到端的多任务训练方式，使用难例挖掘的方式，训练得到完整的人脸检测模型。
作为优选的技术方案，所述步骤(e-2)中，
所述似然窗口提取子网络用于从待测图像中提取出人脸似然区域，具体做法是将最后一个卷积层的每个位置以三种尺度和三种长宽比的组合方式映射回原图像区域，三种尺度面积分别为[128*128，256*256，512*512]，三种长宽比分别为[1:1，1:2，2:1]，以该种方式映射的图像区域可覆盖原图像的所有目标区域；
所述基于区域的全卷积网络用于判别RPN提供的候选区域是否为人脸并对人脸的位置作进一步调整。
作为优选的技术方案，所述步骤(f)包括下述步骤：
(f-1)在测试时，输入尺度参数，其中包含最小缩放边接口和最大缩放边接口；
(f-2)该算法根据输入尺度参数对输入图片自动放缩到合适大小，并进行分类，输出位置信息和类别信息。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明在读入人脸图片后，先将图片缩放，然后放入深度神经网络中提取特征，并产生多个人脸似然框和人脸似然框的置信度得分，最后采用非极大值抑制的方式选取最合适的人脸似然框。
2、本发明提供的抗侧脸干扰的人脸快速检测方法选择人脸的脸部主要区域(上至发际线最高点、下至下巴最低点、左右各至耳朵与脸颊的分界线)作为检测目标，并通过镜像对称、高斯滤波的方式人为扩增训练图片，因此可以在很大程度上克服人脸部分遮挡、过小、模糊等导致的人脸无法被检测的问题。
3、本发明对人脸照片的角度没有特定的要求，并且对于侧面人脸的检测效果依然非常明显。
4、本发明检测方法简单，采用端到端的检测方式，可应用于实时环境。
附图说明
图1为本发明公开的一种抗侧脸干扰的人脸快速检测方法整体流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例
本实施例抗侧脸干扰的人脸快速检测方法，包括数据收集与预处理阶段、预训练与训练阶段、检测阶段。
数据收集与预处理阶段首先采集应用场景下的人脸图像并标注图像中的人脸部位，然后将这些人脸样本做镜像对称和高斯滤波生成扩增训练集。
模型训练分为两个步骤：1)以普通20分类物体的图像作为训练输入，并采用SoftMax Loss的方式来训练一个21分类(多余一类为背景)模型作为预训练模型；2)用步骤1)预训练得到的模型参数来以“迁移学习”的方式来初始化人脸检测模型的部分参数，并将分类器改为2分类(一类为人脸，一类为背景)。该人脸检测模型作为最后阶段使用的模型，采用端到端的训练方式，包含了人脸似然提取、人脸特征提取及特征分类的功能。
如图1所示，本实施例的主要步骤如下：
(a)数据收集与预处理阶段，收集实际应用场景下的人脸图像，并对收集到的人脸图像进行标定，生成原始训练集；
步骤(a)属于数据收集与预处理阶段，主要目的是收集并标定数据生成原始训练集，其采用的矩形框标定方法具有简单易用，降低人力消耗，并易于进行步骤(b)的数据扩增等特点。
步骤(a)包括以下步骤:
(a-1)使用1(a)中收集到的数据，使用矩形框对图像中的人脸进行标定，要求矩形框上至额头发际线最高点，下至下巴最低点，左右至脸颊；
(a-2)记录矩形框的左上角点在图像中的位置(x0,y0)与矩形框的宽高(w,h),则可以得出矩形框右下角坐标(x1,y1)其中，x1＝x0+w,y1＝y0+h。
(b)数据收集与预处理阶段，对原始训练集进行镜像对称、高斯滤波，生成综合扩增训练集；
步骤(b)属于数据收集与预处理阶段，主要目的是通过镜像对称和高斯滤波的方式对步骤(a)中收集并标定好的数据进行增广以解决训练数据不足和模糊数据较少的问题。高斯滤波是一种线性平滑滤波，通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个卷积扫描图像中的每一个像素，用卷积确定的邻域内像素的加权平均灰度值去替代卷积中心像素点的值。
步骤(b)包括以下步骤：
(b-1)对步骤a中产生的原始训练集中图片、人脸标定做镜像对称。设原始训练集中，标定框左上角坐标为(x0,y0),右下角坐标(x1,y1),图片宽W,高H；则经过镜像对称后的标定框左上角坐标为(x’0＝W-x’0,y’0＝y0),右下角坐标(x’1＝W-x’1,y’1＝y0)，得到镜像扩增训练集。
(b-2)对步骤a中产生的原始训练集、步骤(b-1)中得到的镜像扩增训练集整合到一起，对整合得到的训练集做高斯滤波。其中，卷积核大小为9*9，sigma值为5，得到高斯滤波扩增训练集。
(b-3)将步骤a中产生的原始训练集、步骤(b-1)中得到的镜像扩增训练集、步骤(b-2)中得到的高斯滤波扩增训练集整合到一起，得到综合扩增训练集。
(c)预训练和训练阶段，使用多类别非人脸普通物体图片为预训练数据预训练一个物体检测的多分类模型；
步骤(c)属于预训练与训练阶段，主要目的是使用普通物体进行预训练，以提高训练阶段模型的收敛速度。
步骤(c)主要包括以下步骤：
(c-1)使用类别数为20的非人脸普通物体的图片作为预训练数据；
(c-2)定义网络结构，网络的整体部分与人脸检测网络移植，方便将预训练得到的网络参数使用迁移学习的方式，迁移到人脸检测网络中美去，然后使用公式(1)作为损失函数。公式(1)的作用是将二维的逻辑回归推广到多维，在训练时，针对每个类别，都有其独自的损失值。使用区域全卷积神经网络(Region-based Fully Convolutional Networks，RFCN)对预训练数据集进行训练，并将分类类别调整为21，其中20类为上述普通物体，1类为背景。
(d)预训练和训练阶段，将原始的网络模型改为二分类模型，并以步骤(c)中预训练模型初始化部分二分类模型参数；
步骤(d)属于预训练与训练阶段，其使用步骤(c)中预训练得到的模型作为预训练模型，并将原始分类器模型从21分类改为2分类。
步骤(d)主要包括以下步骤：
(d-1)使用权利要求1(c)中预训练得到的模型，以迁移学习的方式初始化人脸检测模型的部分参数。
(d-2)使用区域全卷积神经网络(Region-based Fully ConvolutionalNetworks，RFCN)作为训练的主体框架，并将该框架分类数量修改为2分类。
(e)预训练和训练阶段，将综合扩增训练集作为输入训练集，训练得到检测阶段将要使用的模型；
步骤(e)属于预训练与训练阶段，其使用步骤(b)中得到的综合扩增训练集作为输入训练集，训练得到检测阶段将要使用的模型，训练采用端到端的方式，包含了候选区域提取、人脸检测特征提取及特征分类的功能。
步骤(e)主要包括以下步骤：
(e-1)使用整张人脸图像作为训练图像，与对应的人脸矩形框坐标一并作为网络的输入；
(e-2)定义网络结构，整个网络包含似然窗口提取子网络(RegionProposalNetwork，RPN)和基于区域的全卷积网络(Region-Based Fully ConvolutionalNetwork，RFCN)。RPN的作用是从待测图像中提取出人脸似然区域，具体做法是将最后一个卷积层的每个位置以三种尺度和三种长宽比的组合方式映射回原图像区域，三种尺度面积分别为[128*128，256*256，512*512]，三种长宽比分别为[1:1，1:2，2:1]，以该种方式映射的图像区域基本可以覆盖原图像的所有目标区域。RFCN的作用是判别RPN提供的候选区域是否为人脸并对人脸的位置作进一步调整。为了提高运算速度并保持较高的检测准确率，本发明使用卷积层替代全连接层作为分类层和坐标回归层。
(e-3)采用端到端的多任务训练方式，使用难例挖掘(Hard Example Mining)的方式，训练得到完整的人脸检测模型。难例挖掘，在目标检测中我们会事先标记标定框，然后在算法中会生成一系列似然，这些似然有跟标记的标定框重合的也有没重合的，那么重合度(IOU)超过一定阈值(通常0.5)的则认定为是正样本，以下的则是负样本。然后扔进网络中训练。然而这也许会出现一个问题那就是正样本的数量远远小于负样本，这样训练出来的分类器的效果总是有限的，会出现许多假阳性，把其中得分较高的这些假阳性视为难例，既然挖掘出了这些难例，就把这些扔进网络再训练一次，从而加强分类器判别假阳性的能力。
(f)测试阶段,根据测试集数据特点，调节输入图片的缩放尺度以满足检测精度、资源消耗、检测时间的要求，并进行测试。
步骤(f)属于测试阶段，其使用步骤(e)中训练得到的模型，可以通过调节尺度参数的方式，对人脸检测速度、资源消耗、准确率做出权衡。当缩放尺度较大时，人脸检测速度较慢，消耗资源较高，但准确率会提升；而当缩放尺度较小时，人脸检测速度较快，消耗资源较少，但准确率会降低。用户应该根据实际检测要求调节缩放尺度参数。
步骤(f)主要包括以下步骤：
(f-1)在测试时，输入尺度参数，其中包含最小缩放边接口min_len和最大缩放边max_len接口。设原图片边长为W0、H0，经过缩放后的图片边长为W1、H1,则W1、H1的值如下所示：
如果min_len*MAX(W0,H0)>max_len：
否则：
则：min_scale2≤W1*H1≤max_scale2，即可以保证将进行尺度缩放后的图片缩放到固定的面积区间内，保证时间、资源消耗在固定范围内。
(f-2)该算法对缩放好的图片，并进行分类，输出位置信息和类别信息。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (8)

1.抗侧脸干扰的人脸快速检测方法，其特征在于，包含数据收集与预处理阶段、预训练与训练阶段和检测阶段，具体步骤如下：
(a)数据收集与预处理阶段，收集实际应用场景下的人脸图像，并对收集到的人脸图像进行标定，生成原始训练集；
(b)数据收集与预处理阶段，对步骤(a)中收集到的人脸图像进行镜像对称、高斯滤波处理，生成综合扩增训练集；
(c)预训练和训练阶段，使用类别数为M的非人脸普通物体的图片作为数据以SoftMaxLoss或log-likehood loss的方式来预训练一个物体检测的多分类模型；
(d)预训练和训练阶段，将步骤(c)中训练得到的模型参数来以迁移学习的方式初始化人脸检测模型的部分参数,并将原始的网络模型改为二分类模型；
(e)预训练和训练阶段，将步骤(b)中的得到的扩充训练集作为输入训练集，训练得到检测阶段将要使用的模型，训练采用端到端的方式，包含了候选区域提取、人脸检测特征提取及特征分类的功能；
(f)测试阶段该人脸检测方法可以在测试时方便的调节输入图片的缩放尺度以适应满足精确度、资源消耗和检测时间的要求。
2.根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(a)包括下述步骤：
(a-1)使用步骤(a)中收集到的人脸图像，使用矩形框对图像中的人脸进行标定，标定时要求矩形框上至额头发际线最高点，下至下巴最低点，左右至脸颊；
(a-2)记录矩形框的左上角点在图像中的位置(x0,y0)与矩形框的宽高(w,h),得出矩形框右下角坐标(x1,y1)其中，x1＝x0+w，y1＝y0+h。
3.根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(b)包括下述步骤：
(b-1)对步骤(a)中进行标定的图片做镜像对称，设原标定框左上角坐标为(x0，y0)，右下角坐标(x1,y1)，图片宽W，高H；则经过镜像对称后的标定框左上角坐标为(x’0＝W-x’0，y’0＝y0)，右下角坐标(x’1＝W-x’1，y’1＝y0)，得到镜像扩增训练集；
(b-2)对步骤(b-1)中得到的镜像扩增训练集进行高斯滤波，其中，卷积核大小为9*9，sigma值为5，得到高斯滤波扩增训练集；
(b-3)对步骤(b-1)中得到的镜像扩增训练集和步骤(b-2)中得到的高斯滤波扩增训练集进行整合，整合过程中，人为的进行数据筛选工作：
A.对于存在单张人脸图片使用多数表决的方式，如果2人认为这为一张人脸图片，则将其保留；否则，将其删除；最终，将所有被保留的图片作为综合扩增训练集；
B.对于存在多张人脸的图片，如果存在被认为是人脸但没有被标记的情况，也将其人为剔除，最终将所有保留的图片作为综合扩增训练集。
4.根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(c)包括下述步骤：
(c-1)使用类别数为20的非人脸普通物体的图片作为预训练数据；
(c-2)使用ResNet-50对预训练数据集进行训练，并将分类类别从1000类调整为21类，其中20类为上述普通物体，1类为背景。
(c-3)为了预训练模型能充分的收敛，我们使用“multistep”的策略进行训练，第一步的步长为200000，第二步的步长为400000，总的迭代次数为800000次。
5.根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(d)包括下述步骤：
(d-1)使用步骤(c)中预训练得到的模型，以迁移学习的方式初始化人脸检测模型的部分参数；
(d-2)使用区域全卷积神经网络作为训练的主体框架，并将该框架分类数量修改为2分类。
6.根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(e)包括下述步骤：
(e-1)使用整张人脸图像作为训练图像，与对应的人脸矩形框坐标一并作为网络的输入；
(e-2)定义网络结构，整个网络包含似然窗口提取子网络和基于区域的全卷积网络；
(e-3)采用端到端的多任务训练方式，使用难例挖掘的方式，训练得到完整的人脸检测模型。
7.根据权利要求6所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(e-2)中，
所述似然窗口提取子网络用于从待测图像中提取出人脸似然区域，具体做法是将最后一个卷积层的每个位置以三种尺度和三种长宽比的组合方式映射回原图像区域，三种尺度面积分别为[128*128，256*256，512*512]，三种长宽比分别为[1:1，1:2，2:1]，以该种方式映射的图像区域可覆盖原图像的所有目标区域；
所述基于区域的全卷积网络用于判别RPN提供的候选区域是否为人脸并对人脸的位置作进一步调整。
8.根据权利要求1所述抗侧脸干扰的人脸快速检测方法，其特征在于，所述步骤(f)包括下述步骤：
(f-1)在测试时，输入尺度参数，其中包含最小缩放边接口和最大缩放边接口；
(f-2)该算法根据输入尺度参数对输入图片自动放缩到合适大小，并进行分类，输出位置信息和类别信息。
CN201810194209.4A 2018-03-09 2018-03-09 抗侧脸干扰的人脸快速检测方法 Active CN108446617B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810194209.4A CN108446617B (zh) 2018-03-09 2018-03-09 抗侧脸干扰的人脸快速检测方法
PCT/CN2018/115770 WO2019169895A1 (zh) 2018-03-09 2018-11-15 抗侧脸干扰的人脸快速检测方法
US16/979,186 US11263434B2 (en) 2018-03-09 2018-11-15 Fast side-face interference resistant face detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810194209.4A CN108446617B (zh) 2018-03-09 2018-03-09 抗侧脸干扰的人脸快速检测方法

Publications (2)

Publication Number Publication Date
CN108446617A true CN108446617A (zh) 2018-08-24
CN108446617B CN108446617B (zh) 2022-04-22

Family

ID=63194403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810194209.4A Active CN108446617B (zh) 2018-03-09 2018-03-09 抗侧脸干扰的人脸快速检测方法

Country Status (3)

Country Link
US (1) US11263434B2 (zh)
CN (1) CN108446617B (zh)
WO (1) WO2019169895A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376713A (zh) * 2018-12-11 2019-02-22 天地伟业技术有限公司 一种嵌入式人脸检测设备
CN109658349A (zh) * 2018-11-16 2019-04-19 聚时科技(上海)有限公司 一种针对监督学习应用的图像增强方法及其应用
CN110189255A (zh) * 2019-05-29 2019-08-30 电子科技大学 基于两级检测的人脸检测方法
WO2019169895A1 (zh) * 2018-03-09 2019-09-12 华南理工大学 抗侧脸干扰的人脸快速检测方法
CN112381032A (zh) * 2020-11-24 2021-02-19 华南理工大学 抗人体姿态干扰的室内无人值守快速检测方法
CN112580408A (zh) * 2019-09-30 2021-03-30 杭州海康威视数字技术股份有限公司 深度学习模型训练方法、装置及电子设备
CN113065533A (zh) * 2021-06-01 2021-07-02 北京达佳互联信息技术有限公司 一种特征提取模型生成方法、装置、电子设备和存储介质
CN113689324A (zh) * 2021-07-06 2021-11-23 清华大学 一种基于二分类标签的人像物件的自动增删方法及装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880168A (zh) * 2019-10-08 2020-03-13 西安医学院 一种基于机器视觉的纸病识别分类方法
CN110852352B (zh) * 2019-10-22 2022-07-29 西北工业大学 一种用于目标检测深度神经网络模型训练的数据增强方法
CN110853019B (zh) * 2019-11-13 2023-02-24 西安工程大学 一种用于安检检测识别管制刀具的方法
CN111553227A (zh) * 2020-04-21 2020-08-18 东南大学 基于任务指导的轻量级人脸检测方法
CN111652927B (zh) * 2020-05-11 2023-12-19 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN114005150B (zh) * 2020-07-28 2024-05-03 北京君正集成电路股份有限公司 一种可量化的前端人脸检测的设计方法
CN112085701B (zh) * 2020-08-05 2024-06-11 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN112465803B (zh) * 2020-12-11 2024-10-15 桂林慧谷人工智能产业技术研究院 一种结合图像增强的水下海参检测方法
CN112991200B (zh) * 2021-02-08 2024-02-02 中国科学院西安光学精密机械研究所 一种红外图像自适应增强的方法与装置
CN113076886A (zh) * 2021-04-09 2021-07-06 深圳市悦保科技有限公司 一种猫的面部个体识别装置和方法
CN113468954B (zh) * 2021-05-20 2023-04-18 西安电子科技大学 基于多通道下局部区域特征的人脸伪造检测方法
CN113361395B (zh) * 2021-06-04 2023-01-17 中山大学 一种基于多任务学习模型的ai换脸视频检测方法
CN113887270B (zh) * 2021-06-24 2024-10-01 安徽农业大学 基于改进YOLOv4-tiny模型口罩佩戴检测方法
CN113762084A (zh) * 2021-08-09 2021-12-07 江苏大学 基于RetinaXNet的建筑夜景灯光异常检测方法
CN114444293B (zh) * 2022-01-21 2023-06-23 南京森林警察学院 一种基于迁移学习的类干涉信号解相方法
CN115861940B (zh) * 2023-02-24 2023-04-28 珠海金智维信息科技有限公司 基于人体跟踪及识别技术的工作场景行为评估方法及系统
CN116843988B (zh) * 2023-06-26 2024-01-30 中国信息通信研究院 一种基于深度学习的目标检测方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013479A1 (en) * 2003-07-16 2005-01-20 Rong Xiao Robust multi-view face detection methods and apparatuses
US9131128B2 (en) * 2011-09-28 2015-09-08 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
CN105512620A (zh) * 2015-11-30 2016-04-20 北京天诚盛业科技有限公司 用于人脸识别的卷积神经网络的训练方法和装置
CN105912990A (zh) * 2016-04-05 2016-08-31 深圳先进技术研究院 人脸检测的方法及装置
CN106529447A (zh) * 2016-11-03 2017-03-22 河北工业大学 一种小样本人脸识别方法
CN106599863A (zh) * 2016-12-21 2017-04-26 中国科学院光电技术研究所 一种基于迁移学习技术的深度人脸识别方法
US20170236057A1 (en) * 2016-02-16 2017-08-17 Carnegie Mellon University, A Pennsylvania Non-Profit Corporation System and Method for Face Detection and Landmark Localization
WO2017143951A1 (zh) * 2016-02-23 2017-08-31 芋头科技（杭州）有限公司 一种表情反馈方法及智能机器人
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法
US20170344808A1 (en) * 2016-05-28 2017-11-30 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194114B2 (en) * 2002-10-07 2007-03-20 Carnegie Mellon University Object finder for two-dimensional images, and system for determining a set of sub-classifiers composing an object finder
JP4406547B2 (ja) * 2003-03-03 2010-01-27 富士フイルム株式会社 Ｉｄカード作成装置、ｉｄカード、顔認証端末装置、顔認証装置およびシステム
CN106096535B (zh) 2016-06-07 2020-10-23 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种基于双线性联合cnn的人脸验证方法
CN107491726B (zh) * 2017-07-04 2020-08-04 重庆邮电大学 一种基于多通道并行卷积神经网络的实时表情识别方法
CN108446617B (zh) * 2018-03-09 2022-04-22 华南理工大学 抗侧脸干扰的人脸快速检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050013479A1 (en) * 2003-07-16 2005-01-20 Rong Xiao Robust multi-view face detection methods and apparatuses
US9131128B2 (en) * 2011-09-28 2015-09-08 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
CN105512620A (zh) * 2015-11-30 2016-04-20 北京天诚盛业科技有限公司 用于人脸识别的卷积神经网络的训练方法和装置
US20170236057A1 (en) * 2016-02-16 2017-08-17 Carnegie Mellon University, A Pennsylvania Non-Profit Corporation System and Method for Face Detection and Landmark Localization
WO2017143951A1 (zh) * 2016-02-23 2017-08-31 芋头科技（杭州）有限公司 一种表情反馈方法及智能机器人
CN105912990A (zh) * 2016-04-05 2016-08-31 深圳先进技术研究院 人脸检测的方法及装置
US20170344808A1 (en) * 2016-05-28 2017-11-30 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition
CN106529447A (zh) * 2016-11-03 2017-03-22 河北工业大学 一种小样本人脸识别方法
CN106599863A (zh) * 2016-12-21 2017-04-26 中国科学院光电技术研究所 一种基于迁移学习技术的深度人脸识别方法
CN107145867A (zh) * 2017-05-09 2017-09-08 电子科技大学 基于多任务深度学习的人脸及人脸遮挡物检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIFENG DAI，ETC: "R-FCN:Object Detection via Region-based Fully Convolutional Networks", 《HTTPS://ARXIV.ORG/PDF/1605.06409V2.PDF》 *
YITONG WANG，ETC: "Detecting Faces Using Region-based Fully Convolutional Networks", 《HTTPS://ARXIV.ORG/PDF/1709.05256.PDF》 *
李子龙 等: "基于JointBoost I2C距离度量的图像分类方法", 《华南理工大学学报（自然科学版）》 *
温雯等: "面向专业文献知识实体类型的抽取和标注", 《中文信息学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019169895A1 (zh) * 2018-03-09 2019-09-12 华南理工大学 抗侧脸干扰的人脸快速检测方法
US11263434B2 (en) 2018-03-09 2022-03-01 South China University Of Technology Fast side-face interference resistant face detection method
CN109658349A (zh) * 2018-11-16 2019-04-19 聚时科技(上海)有限公司 一种针对监督学习应用的图像增强方法及其应用
CN109376713A (zh) * 2018-12-11 2019-02-22 天地伟业技术有限公司 一种嵌入式人脸检测设备
CN110189255A (zh) * 2019-05-29 2019-08-30 电子科技大学 基于两级检测的人脸检测方法
CN112580408A (zh) * 2019-09-30 2021-03-30 杭州海康威视数字技术股份有限公司 深度学习模型训练方法、装置及电子设备
CN112580408B (zh) * 2019-09-30 2024-03-12 杭州海康威视数字技术股份有限公司 深度学习模型训练方法、装置及电子设备
CN112381032A (zh) * 2020-11-24 2021-02-19 华南理工大学 抗人体姿态干扰的室内无人值守快速检测方法
CN112381032B (zh) * 2020-11-24 2024-03-22 华南理工大学 抗人体姿态干扰的室内无人值守快速检测方法
CN113065533A (zh) * 2021-06-01 2021-07-02 北京达佳互联信息技术有限公司 一种特征提取模型生成方法、装置、电子设备和存储介质
CN113689324A (zh) * 2021-07-06 2021-11-23 清华大学 一种基于二分类标签的人像物件的自动增删方法及装置
CN113689324B (zh) * 2021-07-06 2024-04-26 清华大学 一种基于二分类标签的人像物件的自动增删方法及装置

Also Published As

Publication number Publication date
US20200410212A1 (en) 2020-12-31
WO2019169895A1 (zh) 2019-09-12
CN108446617B (zh) 2022-04-22
US11263434B2 (en) 2022-03-01

Similar Documents

Publication Publication Date Title
CN108446617A (zh) 抗侧脸干扰的人脸快速检测方法
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN102214291B (zh) 一种快速准确的基于视频序列的人脸检测跟踪方法
CN109543632A (zh) 一种基于浅层特征融合引导的深层网络行人检测方法
CN112560675B (zh) Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法
CN101359365A (zh) 一种基于最大类间方差和灰度信息的虹膜定位方法
CN113011357A (zh) 基于时空融合的深度伪造人脸视频定位方法
CN101908153B (zh) 低分辨率图像处理中的头部姿态估计的方法
CN108108760A (zh) 一种快速人脸识别方法
Hebbale et al. Real time COVID-19 facemask detection using deep learning
CN109360179A (zh) 一种图像融合方法、装置及可读存储介质
CN110163567A (zh) 基于多任务级联卷积神经网络的课堂点名系统
CN105069745A (zh) 基于普通图像传感器及增强现实技术的带表情变脸系统及方法
CN113298018A (zh) 基于光流场和脸部肌肉运动的假脸视频检测方法及装置
CN109190456A (zh) 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
CN111274883A (zh) 基于多尺度hog特征和深层特征的合成素描人脸识别方法
CN106886763A (zh) 实时检测人脸的系统及其方法
CN112233017A (zh) 一种基于生成对抗网络的病态人脸数据增强方法
CN117079097A (zh) 一种基于视觉显著性的海面目标识别方法
CN113537173A (zh) 一种基于面部补丁映射的人脸图像真伪识别方法
CN114492634B (zh) 一种细粒度装备图片分类识别方法及系统
CN111126155A (zh) 一种基于语义约束生成对抗网络的行人再识别方法
CN113076860B (zh) 一种野外场景下的鸟类检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant