CN106485215B - 基于深度卷积神经网络的人脸遮挡检测方法 - Google Patents
基于深度卷积神经网络的人脸遮挡检测方法 Download PDFInfo
- Publication number
- CN106485215B CN106485215B CN201610861396.8A CN201610861396A CN106485215B CN 106485215 B CN106485215 B CN 106485215B CN 201610861396 A CN201610861396 A CN 201610861396A CN 106485215 B CN106485215 B CN 106485215B
- Authority
- CN
- China
- Prior art keywords
- deep convolutional
- neural network
- convolutional neural
- layer
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度卷积神经网络的人脸遮挡检测方法,包括:对输入图像进行分块,得到目标预选区域;构建第一深度卷积神经网络,通过训练包括第一深度卷积网络和与其连接的第一多层感知器的第一深度卷积神经网络得到所需参数,提取目标预选区域的特征并进行分类;根据提取的特征,通过第二多层感知器预测人头位置;将分类类别是人头的可信度和预测得到的人头位置通过非极大值抑制过滤去除重叠的重复检测框;联合原图分割得到人头块,构建基于多任务学习策略的第二深度卷积神经网络,判断该人头块的左眼、右眼、鼻子和嘴巴是否被遮挡。该方法能准确检测遮挡的人脸,并且判断其具体的遮挡部位,主要用于自动取款机前摄像机视频的犯罪预警。
Description
技术领域
本发明涉及一种人脸遮挡检测方法,具体地涉及一种基于深度卷积神经网络的人脸遮挡检测方法。
背景技术
自从20世纪70年代自动取款机(Automatic Teller Machine(ATM))被广泛引入,其一直是犯罪分子的目标。例如,骗子使用各种手段获取用户的卡号和密码。实时自动报警系统是解决此问题的最直接技术。因为,监控摄像机几乎被安装在所有的自动取款机上。然而,视频需要人工二十四小时监管,但是人的疲劳和分心将不可避免。因此,政商们急需一种用于自动取款机的人脸遮挡检测方法。
面遮挡检测已经研究了数年,也提出了一些方法,其中许多旨在加强自动取款机的安全性。但是其特征表达方法不能满足自动取款机场景下的复杂的情况。直到深度学习被提出。大量研究者将其应用于各种机器视觉问题,比如检测,分类和分割。深度卷积神经网络模型(deep convolutional neural network),作为深度学习最为成功的模型之一,其集特征提取与分类模型为一体,在有监督的机器学习任务上,具有良好的表现。
最近,目标检测最成功的方法是利用众所周知的滑动窗口(sliding window)模式.但是为了准确检测大小变化较大的目标时,此方法将导致后续分类器(classifier)计算量剧增。基于边缘的预选区域推荐器(EdgeBoxes)是一种主流的解决方法,其不仅计算快,推荐的区域少,而且几乎能确保所需目标一定在推荐结果中。
为了克服拟合深度学习模型时训练数据不足的问题,知识迁移(knowledgetransfer)技术的提出很好得缓解了此问题。
多任务学习(multi-task learning)策略共享任务间的信息,其不仅能分享任务间的信息,以达到同时提高每个任务的性能。
本发明因此而来。
发明内容
针对上述存在的缺陷,本发明的目的是提出了一种基于深度卷积神经网络的人脸遮挡检测方法。该方法能实现基于自动取款机视频场景下的人脸遮挡检测,并且提供具体的遮挡部位。同时,该方法载入通用的预训练模型减少了训练数据,使用基于边缘的预选区域推荐器降低了分类器在复杂场景下的计算复杂度,通过深度卷积神经网络提取了更具类别差异的特征,借用多任务学习策略共享多任务间的差异信息提高了每个任务的性能。
本发明的技术方案是:
一种基于深度卷积神经网络的人脸遮挡检测方法,包括以下步骤:
S01:对输入图像进行分块,得到目标预选区域;
S02:构建第一深度卷积神经网络,通过训练第一深度卷积神经网络得到所需参数,提取目标预选区域的特征并进行分类,所述第一深度卷积神经网络包括第一深度卷积网络和与其连接的第一多层感知器;
S03:根据步骤S02提取的特征,构建第二多层感知器,通过第二多层感知器预测人头位置;
S04:将分类类别是人头的可信度和预测得到的目标位置通过非极大值抑制过滤去除重叠的重复检测框;
S05:联合原图分割得到人头块,构建基于多任务学习策略的第二深度卷积神经网络,所述第二深度卷积神经网络包括第二深度卷积网络和四个并联的第三多层感知器,所述四个第三多层感知器分别用于判断该人头块的左眼、右眼、鼻子和嘴巴是否被遮挡。
优选的,所述步骤S01中通过基于边缘的预选区域推荐器对输入图像进行分块,通过计算滑窗窗口内边缘个数,打分并排序,过滤低分的候选框;所述基于边缘的预选区域推荐器的参数α为0.65,β为0.75,其中,α为区域推荐器扫框的密度,β为非最大值抑制的阈值。
优选的,所述步骤S02中训练第一深度卷积神经网络得到所需参数包括,第一深度卷积神经网络通过通用的数据库训练至收敛;然后载入人脸遮挡数据,继续训练至收敛;通过前传方法得到训练误差,通过反向传播方法更新各层的权重参数值。
优选的,所述第一深度卷积神经网络包括依次连接的卷积层、激活层、池化层、全连层、输出层和代价函数层;所述全连层为多层感知器中的一层;
所述卷积层表达式:
y=bc+wc*x (1)
式中x和y分别为输入和输出,wc为深度卷积网络的权重参数,bc为卷积神经网络权重的偏置参数;
所述激活层表达式:
y=fReLU(x)=max(x,0) (2)
式中x和y分别为输入和输出;
所述池化层表达式:
y=fmax(x)=max{xs,s}
式中,输出y由输入图像xs,s上大小为s×s的区域池化而成;
所述全连层表达式:
y=f(x)=bf+wf*x (3)
式中,wf是全连层中的权重参数,bf是偏置参数;
所述输出层表达式:
式中,xio是第io类的输入,K是总类数,yio是第io类的输出得分;
所述代价函数层表达式:
优选的,根据链式法则逐步反向传播误差,更新各层的权重参数值;反向传播表达式如下:
优选的,所述步骤S03包括,将人头的位置转换成一个连续值;训练一个包含四个输出的第二多层感知器直至收敛,分别预测人头最小外接框中心点坐标(xp,yp)和宽高(wid,hei),变换表达式如下:
优选的,所述步骤S04中非极大值抑制的面积重叠比例阈值为0.3。
优选的,所述步骤S05包括:
构建第二深度卷积神经网络;
运用知识迁移策略,载入步骤S02中最终收敛的第一深度卷积神经网络的参数至第二深度卷积神经网络的相应层中;
将分割得到的人头块加载入此第二深度卷积神经网络中,训练至收敛;
一个多层感知器完成一个任务,每个任务间分享自身的同异,多任务学习方法表达式:
式中Ljoint表示所有任务的代价总和值,θit和Lit表示任务it的权重和代价值,Nt为任务的总数,为4。
与现有技术相比,本发明的优点是:
该方法能实现基于自动取款机视频场景下的人脸遮挡检测,能准确检测遮挡的人脸,并且判断其具体的遮挡部位,主要用于自动取款机前摄像机视频的犯罪预警。
该方法载入通用的预训练模型减少了训练数据,使用基于边缘的预选区域推荐器降低了分类器在复杂场景下的计算复杂度,通过深度卷积神经网络提取了更具类别差异的特征,借用多任务学习策略共享多任务间的差异信息提高了每个任务的性能。
附图说明
下面结合附图及实施例对本发明作进一步描述:
图1为本发明基于深度卷积神经网络的人脸遮挡检测方法的流程图;
图2为人脸遮挡检测数据库;
图3为深度卷积神经网络模型(网络1)的结构图;
图4为基于多任务学习和深度卷积神经网络(网络2)的结构图;
图5为基于边缘的目标区域推荐器在人脸遮挡检测数据库中三组α和β值的测试性能;
图6为基于边缘的目标区域推荐器在人脸遮挡检测数据库中K的测试召回率;
图7为人头检测结果示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
如图1所示,本发明基于深度卷积神经网络的人脸遮挡检测方法,包括以下步骤:
步骤1基于边缘的预选区域推荐方法(EdgeBoxes)分块输入图像
对图2所示的输入图像采用基于边缘的预选区域推荐方法进行分块。其分块出来的区域几乎一定包含后续分类器需要的目标区域。基于边缘的预选区域推荐方法是一个不需要学习的方法,其结合滑窗,通过计算窗口内边缘个数进行打分排序来过滤掉低分的候选框。
步骤2基于深度卷积神经网络(depp convolutional neural networks)的特征提取和分类
深度卷积神经网络模型用于提取由步骤1推荐的区域的特征,同时,一个多层感知器紧连在卷积网络后。深度卷积网络和多层感知器连成一个整体,深度卷积神经网络抽取目标预选区域的特征,多层感知器依据以上所得特征区分预选区域是否为所需目标。但是此模型需要就所处理的不同问题学习出所需参数。
首先构建一个随机初始化的深度卷积网络和一个多层感知器命名为深度卷积网络1。为了缓解训练样本不足问题,根据知识迁移策略,这个随机初始的模型被一个通用的数据库训练至收敛。然后,载入人脸遮挡数据,继续训练此模型直至模型收敛。图3为深度卷积神经网络模型的结构图,其逐层依次连接。以下将以公式形式说明网络中的每层,其中包含卷积层、激活层、池化层、全连层、输出层和代价函数层。
1)卷积层表达式:
y=bc+wc*x (1)
式中x和y分别为输入和输出,wc为深度卷积网络的权重参数,bc为卷积神经网络权重的偏置参数。
2)激活层表达式:
y=fReLU(x)=max(x,0) (2)
式中x和y分别为输入和输出。
3)池化层表达式:
池化层表达式:
y=fmax(x)=max{xs,s}
式中,输出y由输入图像xs,s上大小为s×s的区域池化而成。
4)全连层表达式:
y=f(x)=bf+wf*x (3)
式中,wf是全连层中的权重参数,bf是偏置参数;由公式可知,全连层位为步骤S02中提到的多层感知器中的一层。
5)输出层表达式:
式中,xio是第io类的输入,K是总类数,yio是第io类的输出得分;
6)代价函数层表达式:
图3描述了此过程步骤2,卷积层1(Convolution 1)到池化层(Maxpooling 3)用于抽取特征,全连层1(FC 1)到全连层4(FC 4)用于分类;其中4层全连层构成一个层数为4的多层感知器。
为了训练模型,不仅需要以上的前传方法(feed forward)得到训练误差,还需要反向传播方法(back propagation)更新各层的权重参数值。本发明根据链式法则(chainrule),逐步反向传播误差,更新各层的权重参数值。反向传播表达式如下:
步骤3目标位置预测(bounding box prediction)
目标位置预测利用步骤2中提取的特征,运用多层感知器预测目标位置。大多由基于边缘的区域推荐器分块的区域都很靠近目标最小外接框。此问题可以当做回归(regression)问题来解决,将目标的位置转换成一个连续值;训练一个包含四个输出的多层感知器,分别预测目标最小外接框中心点坐标(xp,yp)和宽高(wid,hei),变换表达式如下:
训练此回归器的方式与步骤2中的前传方法和反向传播方法相同,因此,训练方式的表达式请参照步骤2。
步骤4非极大值抑制(NMS)去除重叠和重复的检测结果
至此,基于边缘的区域推荐器分块的区域都被计算了一个目标置信度和位置。但是对于每一个目标,有许多重叠了的重复区域。非极大值抑制根据置信度由高到底排序,两两比较临近的区域重叠比例(Intersection over Union of area(IoU)),去除重叠比例大于阈值的重复检测结果。最后,为每个目标得到唯一的、精确的位置。
步骤5基于多任务学习和深度卷积神经网络的遮挡位置分类
依据步骤4得到的目标位置,联合原图,分割得到目标块。然后,先构建一个随机初始化的深度卷积网络和四个多层感知器,命名为深度卷积网络2,四个多层感知器分别用于判断此人的左眼,右眼,鼻子和嘴巴是否被遮挡。接下来,运用知识迁移策略,载入步骤2中最终收敛的深度卷积神经网络1的参数到深度卷积神经网络2的相应层中,具体层数为卷积层1至池化层3。下一步,将以上分割得到的目标块加载入此网络中,训练此网络直至收敛。图4为深度卷积神经网络的结构图,其逐层依次连接。整个网络包含卷积层、激活层、池化层、全连层、输出层和代价函数层,网络中每层的公式形式说明与步骤2相同,详细公式请参照步骤2。
如图4,输入的是整张人头照片,输出为四个并联的多层感知器,一个多层感知器完成一个任务,每个任务间将分享自身的同异,最终达到每个任务都得到提升的效果。每个多层感知器利用同一个深度卷积神经网络提取的特征,这就是本发明使用的多任务学习方法。以下是多任务学习方法表达式:
式中Ljoint表示所有任务的代价总和值,θit和Lit表示任务it的权重和代价值,Nt为任务的总数,为4。
此步骤中使用的深度卷积神经网络与步骤2中相同,训练过程请参照步骤2。步骤2和步骤5中使用相同的网络结构不仅避免了重新设计一个网络的重复工作,也便于运用知识迁移策略,将收敛了的深度卷积网络1的参数载入随机初始化的深度卷积网络2中。但是,步骤2和步骤5中的深度卷积网络结构可以不同。
实施例:
步骤1:目标预选区域分块:
首先将图4所示数据库中人上半身图片随机分成8:1:1的三份,分别用于训练,验证和测试。
对640X640大小图片的人上身图片进行基于边缘的预选框分块。
基于边缘的目标区域推荐器中两个重要的参数是α和β,α控制区域推荐器扫框(sliding window)的密度,β是其非最大值抑制的阈值。这两个数值决定了目标区域推荐器的性能。为了均衡计算时间复杂度和计算空间复杂度,本具体实施例中α和β分别为0.65和0.75。图5展示了基于边缘的目标区域推荐器在图2所示的数据库中三组α和β值的测试性能。纵轴为召回率(Recall),召回率就是所有目标在推荐区域与手工标定的目标地点的重叠率大于阈值时有多少比例被推荐器分块出来了,理想的目标区域推荐器应该使得其为1,即所有目标的所在区域都被目标区域推荐器分块出来了。
基于边缘的目标区域推荐器为每个分块出来的区域计算一个可能是目标的值,从大到小排序所有块。然后选取前Ks个区域,送入后续处理。如图6所示,为了均衡计算的时间和空间复杂度,本发明中Ks被设置成500。
步骤2:深度卷积神经网络提取特征和分类:
首先构建一个深度卷积神经网络,命名为深度卷积网络1,网络的详细参数见表1。然后载入ILSCVR12(Imagenet Large Scale Visual Recognition 2012)训练之至模型收敛。
初始学习速率为0.01,若连续五次发生验证集错误率上升的情况,则把模型参数还原到五个循环之前,并把学习速度除以2,然后继续训练。梯度下降方法采用随机梯度下降法(stochastic gradient descent),批大小为128。
随后,将步骤1中计算的数据继续训练,验证和测试网络。训练时设置的参数与上述一致。
表1:深度卷积神经网络1详细参数
步骤3:目标位置预测(bounding box prediction)
保存深度卷积网络1中第7层的输出和步骤1中的相应预选框的位置(x,y,w,h),载入步骤2中确认是人头区域的特征,根据表达式7,8,9,10转换预选框位置,训练表2所示回归器直至收敛。
表2:回归器详细参数
步骤4非极大值抑制(NMS)去除重叠和重复的检测结果
将分类器确认是人头的分类可信度和回归得到的位置输入非极大值抑制,设置面积重叠比例(IoU)阈值为0.3,过滤重叠的重复检测框。
步骤1,2,3,4连在一起,从人上半身图像检测到人头图像。图7展示了部分检测结果。其中黑色框为人工标定的位置,灰色框为检测结果。
表3展示了本发明中的方法与知名的梯度直方图(HOG)结合支持向量机(SVM)的检测方法的性能比较,其表明了此方法是有效的。
表3:人头检测方法性能比较
步骤5基于多任务学习和深度卷积神经网络的遮挡位置分类
将以上步骤得到的人头图像随机分成8:1:1的三部分,分别用于训练,验证和测试后续步骤中的模型。
首先构建一个随机初始化的深度神经网络,命名为深度卷积网络2,详细参数见表4。然后,将步骤2中收敛了的深度卷积神经网络1的参数载入随机初始化的深度卷积神经网络2中,具体层数为卷积层1至池化层3。然后载入步骤5中准备好的人头图像训练深度卷积网络2直至模型收敛。
初始学习速率为0.01,若连续五次发生验证集错误率上升的情况,则把模型参数还原到五个循环之前,并把学习速度除以2,然后继续训练。梯度下降方法采用随机梯度下降法(stochastic gradient descent),批大小为128。设置表达式11中的θ为0.25,即每个任务对中的总代价的权重是相同的。
随后,将步骤5中计算的验证和测试数据用于验证和测试网络。
表4:深度卷积神经网络2详细参数
表5展示了本方法的检测结果,其充分说明了本方法的有效性。
左眼 | 右眼 | 鼻子 | 嘴巴 | 总计 | |
准确率 | 98.15% | 99.07% | 98.15% | 99.07% | 94.55% |
表5:基于多任务学习的深度卷积神经网络分类结果
表6比较了本发明中的方法与知名的基于海尔特征(Haar)的维奥拉-琼斯(Viola-Jones)人脸检测器的准确率,其进一步表明了本发明中方法的有效性。
表6:人脸遮挡分类方法性能比较。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (5)
1.一种基于深度卷积神经网络的人脸遮挡检测方法,其特点在于,包括以下步骤:
S01:对输入图像进行分块,得到目标预选区域;
S02:构建第一深度卷积神经网络,通过训练第一深度卷积神经网络得到所需参数,提取目标预选区域的特征并进行分类,所述第一深度卷积神经网络包括第一深度卷积网络和与其连接的第一多层感知器;根据链式法则逐步反向传播误差,更新各层的权重参数值;反向传播表达式如下:
所述第一深度卷积神经网络包括依次连接的卷积层、激活层、池化层、全连层、输出层和代价函数层;所述全连层为多层感知器中的一层;
所述卷积层表达式:
y=bc+wc*x (1)
式中x和y分别为输入和输出,wc为深度卷积网络的权重参数,bc为卷积神经网络权重的偏置参数;
所述激活层表达式:
y=fReLU(x)=max(x,0) (2)
式中x和y分别为输入和输出;
所述池化层表达式:
y=fmax(x)=max{xs,s}
式中,输出y由输入图像xs,s上大小为s×s的区域池化而成;
所述全连层表达式:
y=f(x)=bf+wf*x (3)
式中,wf是全连层中的权重参数,bf是偏置参数;
所述输出层表达式:
式中,xio是第io类的输入,K是总类数,yio是第io类的输出得分;
所述代价函数层表达式:
S03:根据步骤S02提取的特征,构建第二多层感知器,通过第二多层感知器预测人头位置;
S04:将分类类别是人头的可信度和预测得到的目标位置通过非极大值抑制过滤去除重叠的重复检测框;
S05:联合原图分割得到人头块,构建基于多任务学习策略的第二深度卷积神经网络,所述第二深度卷积神经网络包括第二深度卷积网络和四个并联的第三多层感知器,所述四个第三多层感知器分别用于判断该人头块的左眼、右眼、鼻子和嘴巴是否被遮挡;
所述第二深度卷积神经网络的构建方法包括:
构建第二深度卷积神经网络;
运用知识迁移策略,载入步骤S02中最终收敛的第一深度卷积神经网络的参数至第二深度卷积神经网络的相应层中,具体层数为卷积层1至池化层3;
将分割得到的人头块加载入此第二深度卷积神经网络中,训练至收敛;
一个多层感知器完成一个任务,每个任务间分享自身的同异,多任务学习方法表达式:
式中Ljoint表示所有任务的代价总和值,θit和Lit表示任务it的权重和代价值,Nt为任务的总数,为4。
2.根据权利要求1所述的基于深度卷积神经网络的人脸遮挡检测方法,其特征在于,所述步骤S01中通过基于边缘的预选区域推荐器对输入图像进行分块,通过计算滑窗窗口内边缘个数,打分并排序,过滤低分的候选框;所述基于边缘的预选区域推荐器的参数α为0.65,β为0.75,其中,α为区域推荐器扫框的密度,β为非最大值抑制的阈值。
3.根据权利要求1所述的基于深度卷积神经网络的人脸遮挡检测方法,其特征在于,所述步骤S02中训练第一深度卷积神经网络得到所需参数,包括,第一深度卷积神经网络通过通用的数据库训练至收敛;然后载入人脸遮挡数据,继续训练至收敛;通过前传方法得到训练误差,通过反向传播方法更新各层的权重参数值。
5.根据权利要求1所述的基于深度卷积神经网络的人脸遮挡检测方法,其特征在于,所述步骤S04中非极大值抑制的面积重叠比例阈值为0.3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610861396.8A CN106485215B (zh) | 2016-09-29 | 2016-09-29 | 基于深度卷积神经网络的人脸遮挡检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610861396.8A CN106485215B (zh) | 2016-09-29 | 2016-09-29 | 基于深度卷积神经网络的人脸遮挡检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106485215A CN106485215A (zh) | 2017-03-08 |
CN106485215B true CN106485215B (zh) | 2020-03-06 |
Family
ID=58268917
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610861396.8A Active CN106485215B (zh) | 2016-09-29 | 2016-09-29 | 基于深度卷积神经网络的人脸遮挡检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106485215B (zh) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107145867A (zh) * | 2017-05-09 | 2017-09-08 | 电子科技大学 | 基于多任务深度学习的人脸及人脸遮挡物检测方法 |
CN107330451B (zh) * | 2017-06-16 | 2020-06-26 | 西交利物浦大学 | 基于深度卷积神经网络的服装属性检索方法 |
US20190050714A1 (en) * | 2017-08-09 | 2019-02-14 | Ants Technology (Hk) Limited | Modular distributed artificial neural networks |
CN107633204B (zh) * | 2017-08-17 | 2019-01-29 | 平安科技(深圳)有限公司 | 人脸遮挡检测方法、装置及存储介质 |
CN107784270A (zh) * | 2017-09-08 | 2018-03-09 | 四川云图睿视科技有限公司 | 一种基于卷积神经网络的人脸检测方法及系统 |
CN107729822A (zh) * | 2017-09-27 | 2018-02-23 | 北京小米移动软件有限公司 | 对象识别方法及装置 |
CN107609536A (zh) * | 2017-09-29 | 2018-01-19 | 百度在线网络技术(北京)有限公司 | 信息生成方法和装置 |
CN107679490B (zh) * | 2017-09-29 | 2019-06-28 | 百度在线网络技术(北京)有限公司 | 用于检测图像质量的方法和装置 |
CN107590482A (zh) * | 2017-09-29 | 2018-01-16 | 百度在线网络技术(北京)有限公司 | 信息生成方法和装置 |
CN110008792B (zh) * | 2018-01-05 | 2021-10-22 | 比亚迪股份有限公司 | 图像检测方法、装置、计算机设备及存储介质 |
WO2019153175A1 (zh) * | 2018-02-08 | 2019-08-15 | 国民技术股份有限公司 | 基于机器学习的遮挡人脸识别系统、方法及存储介质 |
CN108446602B (zh) * | 2018-02-28 | 2021-08-20 | 中科视拓(北京)科技有限公司 | 一种用于人脸检测的装置和方法 |
CN108197618B (zh) * | 2018-04-08 | 2021-10-22 | 百度在线网络技术(北京)有限公司 | 用于生成人脸检测模型的方法和装置 |
CN108932304B (zh) * | 2018-06-12 | 2019-06-18 | 山东大学 | 基于跨模态的视频时刻定位方法、系统及存储介质 |
CN109146845A (zh) * | 2018-07-16 | 2019-01-04 | 中南大学 | 基于卷积神经网络的头颅影像标志点检测方法 |
CN109344899B (zh) * | 2018-09-30 | 2022-05-17 | 百度在线网络技术(北京)有限公司 | 多目标检测方法、装置和电子设备 |
CN109345770A (zh) * | 2018-11-14 | 2019-02-15 | 深圳市尼欧科技有限公司 | 一种孩童遗留车内报警系统及孩童遗留车内报警方法 |
EP3884422A4 (en) * | 2018-11-22 | 2022-07-27 | Polycom, Inc. | JOINT FACE AND UPPER BODY DETECTION USING MULTI-TASKING CASCADE CONVOLUTIONAL NETWORKS |
CN109800755A (zh) * | 2018-12-14 | 2019-05-24 | 中国科学院深圳先进技术研究院 | 一种基于多尺度特征的遥感影像小目标检测方法 |
CN109635755A (zh) * | 2018-12-17 | 2019-04-16 | 苏州市科远软件技术开发有限公司 | 人脸提取方法、装置及存储介质 |
CN109815843B (zh) * | 2018-12-29 | 2021-09-14 | 深圳云天励飞技术有限公司 | 图像处理方法及相关产品 |
CN109886226B (zh) * | 2019-02-27 | 2020-12-01 | 北京达佳互联信息技术有限公司 | 确定图像的特征数据的方法、装置、电子设备及存储介质 |
CN111695392B (zh) * | 2019-03-15 | 2023-09-15 | 嘉楠明芯(北京)科技有限公司 | 基于级联的深层卷积神经网络的人脸识别方法及系统 |
CN110263695B (zh) * | 2019-06-14 | 2021-07-16 | 北京达佳互联信息技术有限公司 | 人脸部位的位置获取方法、装置、电子设备及存储介质 |
CN112560557A (zh) * | 2019-09-25 | 2021-03-26 | 虹软科技股份有限公司 | 人数检测方法、人脸检测方法、装置及电子设备 |
CN112784650B (zh) * | 2019-11-11 | 2024-08-02 | 北京君正集成电路股份有限公司 | 一种提升目标检测效率的方法 |
CN111695432A (zh) * | 2020-05-19 | 2020-09-22 | 中国电子科技网络信息安全有限公司 | 一种视频监控场景下的人工智能人脸异常检测系统及方法 |
CN111914665B (zh) * | 2020-07-07 | 2023-06-20 | 泰康保险集团股份有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
CN113129306B (zh) * | 2021-05-10 | 2022-12-02 | 电子科技大学成都学院 | 一种基于深度学习的遮挡物体分割求解方法 |
CN113963428B (zh) * | 2021-12-23 | 2022-03-25 | 北京的卢深视科技有限公司 | 模型训练方法、遮挡检测方法、系统、电子设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740823A (zh) * | 2016-02-01 | 2016-07-06 | 北京高科中天技术股份有限公司 | 基于深度卷积神经网络的动态手势轨迹识别方法 |
CN105868689A (zh) * | 2016-02-16 | 2016-08-17 | 杭州景联文科技有限公司 | 一种基于级联卷积神经网络的人脸遮挡检测方法 |
-
2016
- 2016-09-29 CN CN201610861396.8A patent/CN106485215B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105740823A (zh) * | 2016-02-01 | 2016-07-06 | 北京高科中天技术股份有限公司 | 基于深度卷积神经网络的动态手势轨迹识别方法 |
CN105868689A (zh) * | 2016-02-16 | 2016-08-17 | 杭州景联文科技有限公司 | 一种基于级联卷积神经网络的人脸遮挡检测方法 |
Non-Patent Citations (5)
Title |
---|
Face Occlusion Detection Based on Multi-task Convolution Neural Network;Yizhang Xia 等;《2015 12th International Conference on Fuzzy Systems and Knowledge Discovery (FSKD)》;20151231;375-379 * |
Face Occlusion Detection Using Deep Convolutional Neural Networks;Yizhang Xia 等;《The 2015 11th International Conference on Natural Computation and the 2015 12th International Conference on Fuzzy Systems and Knowledge Discovery》;20151231;第1节第6段,第3节,第4.1节,第4.2节,第4.3节,图6-图8 * |
Region-Based Convolutional Networks for Accurate Object Detection and Segmentation;Ross Girshick 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20160131;第38卷(第1期);第7.3节 * |
基于卷积神经网络的人脸识别方法;陈耀丹 等;《东北师大学报(自然科学版)》;20160630;第48卷(第2期);70-76 * |
多任务学习及卷积神经网络在人脸识别中的应用;邵蔚元 等;《计算机工程与应用》;20160701;第52卷(第13期);32-37、88 * |
Also Published As
Publication number | Publication date |
---|---|
CN106485215A (zh) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106485215B (zh) | 基于深度卷积神经网络的人脸遮挡检测方法 | |
CN108664782B (zh) | 面部验证方法和设备 | |
CN110826519B (zh) | 人脸遮挡检测方法、装置、计算机设备及存储介质 | |
US20240161539A1 (en) | Facial verification method and apparatus | |
CN108416250B (zh) | 人数统计方法及装置 | |
US10726244B2 (en) | Method and apparatus detecting a target | |
US20190122072A1 (en) | Reverse neural network for object re-identification | |
EP3065085B1 (en) | Digital image processing using convolutional neural networks | |
CN111274916B (zh) | 人脸识别方法和人脸识别装置 | |
KR102554724B1 (ko) | 이미지 내 객체를 식별하기 위한 방법 및 상기 방법을 실행하기 위한 모바일 디바이스 | |
WO2021139324A1 (zh) | 图像识别方法、装置、计算机可读存储介质及电子设备 | |
CN109359666A (zh) | 一种基于多特征融合神经网络的车型识别方法及处理终端 | |
KR102707595B1 (ko) | 눈 검출 방법 및 장치 | |
CN110223322B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
KR102279399B1 (ko) | 복수의 비디오 프레임을 이용하여 cnn의 파라미터를 최적화하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치 | |
US10853642B2 (en) | Fusing multi-spectral images for identity authentication | |
US20180181796A1 (en) | Image processing method and apparatus | |
CN111709285A (zh) | 一种基于无人机的疫情防护监控方法、装置和存储介质 | |
US20170357847A1 (en) | Biologically inspired apparatus and methods for pattern recognition | |
CN105518709A (zh) | 用于识别人脸的方法、系统和计算机程序产品 | |
CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
US20220067432A1 (en) | Robustness assessment for face recognition | |
CN112926522B (zh) | 一种基于骨骼姿态与时空图卷积网络的行为识别方法 | |
CN113298024A (zh) | 一种基于轻量化神经网络的无人机对地小目标识别方法 | |
CN109993089A (zh) | 一种基于深度学习的视频目标去除及背景恢复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |