CN110210314B - 人脸检测方法、装置、计算机设备及存储介质 - Google Patents
人脸检测方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN110210314B CN110210314B CN201910372186.6A CN201910372186A CN110210314B CN 110210314 B CN110210314 B CN 110210314B CN 201910372186 A CN201910372186 A CN 201910372186A CN 110210314 B CN110210314 B CN 110210314B
- Authority
- CN
- China
- Prior art keywords
- image data
- feature
- different sizes
- neural network
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人脸检测方法、装置、计算机设备及存储介质,该方法包括获取图像数据;将图像数据进行图像金字塔操作,以得到多张不同尺寸的图像数据;将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征;其中,特征金字塔模型是通过对带有特征标签不同尺寸的图像数据通过卷积神经网络计算所得的。本发明通过对图像金字塔对图像数据进行缩放处理,以提高小尺寸的人脸的检测,利用特征金字塔模型对缩放处理后的图像数据进行特征提取,再对提取的特征进行不同程度的缩放,以形成人脸特征,结合图像金字塔以及特征金字塔模型可降低图像数据的漏检率,提高检测的准确度,且适用于大尺寸的人脸以及小尺寸的人脸的检测。
Description
技术领域
本发明涉及人脸检测方法,更具体地说是指人脸检测方法、装置、计算机设备及存储介质。
背景技术
人脸检测技术具有广泛意义,早期的人脸检测方法是利用人工提取特征,训练分类器,进行人脸检测。例如opencv源码中自带的人脸检测器就是利用haar特征进行的人脸检测。这类方法的缺点就是在环境变化强烈的时候检测效果不理想,例如弱光条件,人脸不全。从通用的目标检测算法中继承过来的人脸检测算法。例如利用faster-RCNN来检测人脸。效果不错,可以适应环境变化和人脸不全等问题,但是时间消耗很高。
目前针对于小尺寸的人脸,则采用图像金字塔或者特征金字塔进行人脸检测,图像金字塔是在图像初始阶段使用对图像进行不同等级的缩放,使得不同尺度的人脸能被检测,特征更加明显,代表算法为MTCNN;特征金字塔是使用神经网络提取图像特征,并在特征映射上实现多尺度,使得特征能响应不同的人脸,代表算法为SSD,上述的两种方式单独执行时存在检测准确度不高。
因此,有必要设计一种新的方法,实现降低漏检率,提高检测的准确度,且适用于大尺寸的人脸以及小尺寸的人脸的检测。
发明内容
本发明的目的在于克服现有技术的缺陷,提供人脸检测方法、装置、计算机设备及存储介质。
为实现上述目的,本发明采用以下技术方案:人脸检测方法,包括:
获取图像数据;
将图像数据进行图像金字塔操作,以得到多张不同尺寸的图像数据;
将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征;
其中,所述特征金字塔模型是通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算所得的。
其进一步技术方案为:所述特征金字塔模型是通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算所得的,包括:
获取带有特征标签不同尺寸的图像数据;
构建卷积神经网络;
将带有特征标签不同尺寸的图像数据输入所述卷积神经网络内进行卷积,以得到卷积结果;
对卷积结果进行下采样,以得到特征映射;
对特征映射进行分析,以得到特征位置信息;
将特征位置信息输入卷积神经网络的Loss函数层,以得到损失值;
根据损失值由所选择的Loss函数指导卷积神经网络进行学习,以得到特征金字塔模型。
其进一步技术方案为:所述获取带有特征标签不同尺寸的图像数据,包括:
获取不同尺寸的开源图像数据;
对开源图像数据进行标签标定;
将标签与开源图像数据进行打包,以形成带有特征标签不同尺寸的图像数据。
其进一步技术方案为:所述对特征映射进行分析,以得到特征位置信息,包括:
将多个特征映射进行合并,以得到中间数据;
将中间数据输入所述卷积神经网络内,以得到特征位置信息。
其进一步技术方案为:所述将中间数据输入所述卷积神经网络内,以得到特征位置信息,包括:
对中间数据的每个点构建不同尺寸的特征点;
利用卷积神经网络对特征点进行卷积处理,以得到特征位置信息。
其进一步技术方案为:所述将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征之后,还包括:
输出所述人脸特征。
本发明还提供了人脸检测装置,包括:
数据获取单元,用于获取图像数据;
缩放单元,用于将图像数据进行图像金字塔操作,以得到多张不同尺寸的图像数据;
检测单元,用于将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征。
其进一步技术方案为:所述装置还包括:
模型训练单元,用于通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算,以得到特征金字塔模型。
本发明还提供了一种计算机设备,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是:本发明通过对图像金字塔对图像数据进行缩放处理,以提高小尺寸的人脸的检测,利用特征金字塔模型对缩放处理后的图像数据进行特征提取,再对提取的特征进行不同程度的缩放,以形成人脸特征,结合图像金字塔以及特征金字塔模型可降低图像数据的漏检率,提高检测的准确度,且适用于大尺寸的人脸以及小尺寸的人脸的检测。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的人脸检测方法的应用场景示意图;
图2为本发明实施例提供的人脸检测方法的流程示意图;
图3为本发明实施例提供的人脸检测方法的子流程示意图;
图4为本发明实施例提供的人脸检测方法的子流程示意图;
图5为本发明实施例提供的人脸检测方法的子流程示意图;
图6为本发明实施例提供的人脸检测方法的子流程示意图;
图7为本发明实施例提供的图像金字塔的示意图;
图8为本发明另一实施例提供的人脸检测方法的流程示意图;
图9为本发明实施例提供的人脸检测装置的示意性框图;
图10为本发明另一实施例提供的人脸检测装置的示意性框图;
图11为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
请参阅图1和图2,图1为本发明实施例提供的人脸检测方法的应用场景示意图。图2为本发明实施例提供的人脸检测方法的示意性流程图。该人脸检测方法应用于服务器中。该服务器与终端进行交互,从终端获取图像数据后,先对图像数据进行缩放处理后,形成多张不同尺寸的图像数据,再由特征金字塔模型进行人脸特征检测,并将检测到的人脸特征输出终端。
图2是本发明实施例提供的人脸检测方法的流程示意图。如图2所示,该方法包括以下步骤S110至S130。
S110、获取图像数据。
在本实施例中,图像数据是指带有摄像功能的终端拍摄人脸所得的图像。
S120、将图像数据进行图像金字塔操作,以得到多张不同尺寸的图像数据。
在本实施例中,图像金字塔是对图像数据进行缩放处理的算法,如图7所示,一张图像缩放到不同的等级,其中第一等级表示最小尺寸,在此,定最小尺寸为100,最大尺寸定义为600,共分6个尺寸,图像金字塔是按照一定比例缩放的图像集合,这个比例是人为定义的,也可以依据实际情况进行修改。
图像金字塔属于传统算法的衍生,是深度学习向传统算法的借鉴。目标检测领域,被检测的目标往往由于相机位置、角度和被检测目标姿态等多方面原因,使得目标在图像中呈现大小不一、形态各异的现象。为了解决大小问题,可以考虑对原始图像进行不同程度的缩放,使得大目标的特征更加明显,小目标特征不至于被忽略的目的。可以提高召回率以及降低漏检率。
S130、将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征。
人脸特征是指所有出现在图像数据内的人脸相关的特征。
其中,所述特征金字塔模型是通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算所得的。
上述的特征金字塔模型先对对特征的提取,再对特征进行不同尺度的缩放。
在一实施例中,请参阅图3,上述的所述特征金字塔模型是通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算所得的步骤可包括步骤S131~S137。
S131、获取带有特征标签不同尺寸的图像数据。
在本实施例中,需要将带有特征标签的多个尺寸的图像数据作为样本数据集进行卷积神经网络的训练,以得到可以自动输出人脸特征的模型。
在一实施例中,请参阅图4,上述的步骤S131可包括步骤S1311~S1313。
S1311、获取不同尺寸的开源图像数据。
具体地,可从开源人脸关键点数据集网站(http://mmlab.ie.cuhk.edu.hk/projects/WIDERFace/)下载人脸检测数据集,在用图像金字塔对人脸检测数据集进行缩放处理后,形成多张不同尺寸的开源图像数据。
S1312、对开源图像数据进行标签标定。
在本实施例中,标签包括特征以及特征所在的位置信息。
S1313、将标签与开源图像数据进行打包,以形成带有特征标签不同尺寸的图像数据。
对开源图像数据和标签进行打包,生成LMDB文件、LEVELDB文件或其他格式,将标签与开源图像数据打包在一起,便于一起训练。
S132、构建卷积神经网络。
具体是构建卷积神经网络的基础网络,卷积神经网络属于特征提取器,根据Loss函数的指导,学习出具有强分辨能力的功能,并使用这个功能提取出目标位置和目标类别信息。卷积神经网络的最简组成部分包含:卷积、池化和激活函数,例如AlexNet,后期不断有其他的相关层出现,丰富网络提取不同特征的方法以及增强特征提取能力。在卷积神经网络的基础网络中,没有固定的单元,基础网络可以随意搭建和使用,只是在特征提取能力上和选择上有所不同而已,常规的基础网络,resnet(微软)、VGG(牛津大学)和inception(Google)结构都属于经典的网络架构,都能胜任检测任务。在卷积网络的发展中,由早期的大卷机核发展到现在较为常用的3*3卷积核,并有相关实验证明3*3具有一定优势。网络的预测其实是一组向量,如果在这一组向量的基础上再进行卷积即可得到每个位置的坐标和类别信息,通过在在向量的基础上添加卷积核loss反向传播的方式进行学习提取特征,对特征向量进行点乘,便可预测出坐标和置信度。
S133、将带有特征标签不同尺寸的图像数据输入所述卷积神经网络内进行卷积,以得到卷积结果。
将6个尺寸的带有特征标签的图像数据一次性送入卷积神经网络中,并都进行卷积,也就是积分运算。
S134、对卷积结果进行下采样,以得到特征映射。
卷积神经网络提取特征后,特征以多通道的形式存在,对特征进行下采样,将特征图构造成不同的尺寸,即在特征的基础上模拟特征金字塔,实现带有特征映射的金字塔,以达到小尺寸的人脸的检测。在f特征映射的前几级尺寸中富含小尺寸的人脸信息,进行逐级递减后,后面的特征映射包含大尺寸的人脸信息。
S135、对特征映射进行分析,以得到特征位置信息。
在本实施例中,特征位置信息是指特征所在的位置坐标等信息。
在一实施例中,请参阅图5,上述的步骤S135可包括步骤S1351~S1352。
S1351、将多个特征映射进行合并,以得到中间数据。
在本实施例中,中间数据是指将多个特征映射合并在一起以得到特征映射集合。
S1352、将中间数据输入所述卷积神经网络内,以得到特征位置信息。
下采样到特征映射为38时,将6个多通道的特征映射合并在一起,在进行一次1*1的卷积,得到尺寸为38的多通道特征映射。
在一实施例中,请参阅图6,上述的步骤S1352可包括步骤S1352a~S1352b。
S1352a、对中间数据的每个点构建不同尺寸的特征点;
S1352b、利用卷积神经网络对特征点进行卷积处理,以得到特征位置信息。
对不同等级的特征映射进行解析,提供人脸坐标位置,获得特征位置信息后,送入Loss函数层,获得损失值,并进行指导卷积升级网络进行学习。特征映射对图像数据的输入时有要求的,如果图像数据内的人脸过于小,将导致在卷积过程中,小尺寸的人脸信息丢失,即使特征映射进行多尺度也难以达到检测目的,所有图像数据的输入要根据实际情况进行调节,因此才会采用图像金字塔进行图像数据的缩放处理。
S136、将特征位置信息输入卷积神经网络的Loss函数层,以得到损失值。
在本实施例中,损失值是指卷积神经网络的输出值与特征标签之间的差值,
每次卷积神经网络的输出和真实值之间的一个误差,如果误差大,即损失值大,误差小,即损失值小,当损失值很小后,即可认为,卷积神经网络已经训练的很不错了,所以损失值可以反映出卷积神经网络训练和学习的好坏,利用损失值的大小进行反向传播,更新梯度。
S137、根据损失值由所选择的Loss函数指导卷积神经网络进行学习,以得到特征金字塔模型。
得到特征以及特征位置信息后,为了让网络进行学习,达到人脸检测的需求,选择合适的Loss函数指导网络进行学习,其中包含两部分,即分类Loss和回归Loss。其中回归Loss的目的是指导网络定位候选框的与实际目标候选框是否重合,并根据重合程度计算Loss大小。分类Loss是在回归Loss的基础上判断定位目标框中的目标是什么类别,进行分类,并计算Loss值。最终的总Loss就是分类Loss和回归Loss的权重和,也就是最终模型的输出是特征以及特征位置信息。
卷积神经网络在mxnet框架下实现,网络在4块P100,批处理大小在32的情况下进行,训练时间大约为25小时。
图像金字塔和特征金字塔模型属于同一种思想,即通过大小的丰富多而达到小目标检测能力,单独用其中一个能实现一定的效果,但是两者共用能保证较高的召回率,降低漏检率,保证小尺寸的目标的稳定检测。
上述的人脸检测方法,通过对图像金字塔对图像数据进行缩放处理,以提高小尺寸的人脸的检测,利用特征金字塔模型对缩放处理后的图像数据进行特征提取,再对提取的特征进行不同程度的缩放,以形成人脸特征,结合图像金字塔以及特征金字塔模型可降低图像数据的漏检率,提高检测的准确度,且适用于大尺寸的人脸以及小尺寸的人脸的检测。
图8是本发明另一实施例提供的一种人脸检测方法的流程示意图。如图8所示,本实施例的人脸检测方法包括步骤S210-S240。其中步骤S210-S230与上述实施例中的步骤S110-S140类似,在此不再赘述。下面详细说明本实施例中所增加的步骤S240。
S240、输出所述人脸特征。
将检测所得的人脸特征输出,并根据输出的人脸特征进行后续的操作,比如进行支付等。
图9是本发明实施例提供的一种人脸检测装置300的示意性框图。如图9所示,对应于以上人脸检测方法,本发明还提供一种人脸检测装置300。该人脸检测装置300包括用于执行上述人脸检测方法的单元,该装置可以被配置于服务器中。
具体地,请参阅图9,该人脸检测装置300包括:
数据获取单元301,用于获取图像数据;
缩放单元302,用于将图像数据进行图像金字塔操作,以得到多张不同尺寸的图像数据;
检测单元303,用于将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征。
在一实施例中,所述装置还包括:
模型训练单元,用于通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算,以得到特征金字塔模型。
在一实施例中,所述模型训练单元包括:
样本获取子单元,用于获取带有特征标签不同尺寸的图像数据;
网络构建子单元,用于构建卷积神经网络;
第一卷积子单元,用于将带有特征标签不同尺寸的图像数据输入所述卷积神经网络内进行卷积,以得到卷积结果;
下采样子单元,用于对卷积结果进行下采样,以得到特征映射;
分析子单元,用于对特征映射进行分析,以得到特征位置信息;
损失值获取子单元,用于将特征位置信息输入卷积神经网络的Loss函数层,以得到损失值;
学习子单元,用于根据损失值由所选择的Loss函数指导卷积神经网络进行学习,以得到特征金字塔模型。
在一实施例中,所述样本获取子单元包括:
开源图像获取模块,用于获取不同尺寸的开源图像数据;
标定模块,用于对开源图像数据进行标签标定;
打包模块,用于将标签与开源图像数据进行打包,以形成带有特征标签不同尺寸的图像数据。
在一实施例中,所述分析子单元包括:
合并模块,用于将多个特征映射进行合并,以得到中间数据;
数据处理模块,用于将中间数据输入所述卷积神经网络内,以得到特征位置信息。
在一实施例中,所述数据处理模块包括:
构建子模块,用于对中间数据的每个点构建不同尺寸的特征点;
卷积处理子模块,用于利用卷积神经网络对特征点进行卷积处理,以得到特征位置信息。
图10是本发明另一实施例提供的一种人脸检测装置300的示意性框图。如图10所示,本实施例的人脸检测装置300是上述实施例的基础上增加了输出单元304。
所述输出单元304,用于输出所述人脸特征。
需要说明的是,所属领域的技术人员可以清楚地了解到,上述人脸检测装置300和各单元的具体实现过程,可以参考前述方法实施例中的相应描述,为了描述的方便和简洁,在此不再赘述。
上述人脸检测装置300可以实现为一种计算机程序的形式,该计算机程序可以在如图11所示的计算机设备上运行。
请参阅图11,图11是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器。
参阅图11,该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505,其中,存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令,该程序指令被执行时,可使得处理器502执行一种人脸检测方法。
该处理器502用于提供计算和控制能力,以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境,该计算机程序5032被处理器502执行时,可使得处理器502执行一种人脸检测方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备500的限定,具体的计算机设备500可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器502用于运行存储在存储器中的计算机程序5032,以实现如下步骤:
获取图像数据;
将图像数据进行图像金字塔操作,以得到多张不同尺寸的图像数据;
将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征;
其中,所述特征金字塔模型是通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算所得的。
在一实施例中,处理器502在实现所述特征金字塔模型是通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算所得的步骤时,具体实现如下步骤:
获取带有特征标签不同尺寸的图像数据;
构建卷积神经网络;
将带有特征标签不同尺寸的图像数据输入所述卷积神经网络内进行卷积,以得到卷积结果;
对卷积结果进行下采样,以得到特征映射;
对特征映射进行分析,以得到特征位置信息;
将特征位置信息输入卷积神经网络的Loss函数层,以得到损失值;
根据损失值由所选择的Loss函数指导卷积神经网络进行学习,以得到特征金字塔模型。
在一实施例中,处理器502在实现所述获取带有特征标签不同尺寸的图像数据步骤时,具体实现如下步骤:
获取不同尺寸的开源图像数据;
对开源图像数据进行标签标定;
将标签与开源图像数据进行打包,以形成带有特征标签不同尺寸的图像数据。
在一实施例中,处理器502在实现所述对特征映射进行分析,以得到特征位置信息步骤时,具体实现如下步骤:
将多个特征映射进行合并,以得到中间数据;
将中间数据输入所述卷积神经网络内,以得到特征位置信息。
在一实施例中,处理器502在实现所述将中间数据输入所述卷积神经网络内,以得到特征位置信息步骤时,具体实现如下步骤:
对中间数据的每个点构建不同尺寸的特征点;
利用卷积神经网络对特征点进行卷积处理,以得到特征位置信息。
在一实施例中,处理器502在实现所述将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征步骤之后,还实现如下步骤:
输出所述人脸特征。
应当理解,在本申请实施例中,处理器502可以是中央处理单元(CentralProcessing Unit,CPU),该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegratedCircuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令,计算机程序可存储于一存储介质中,该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行,以实现上述方法的实施例的流程步骤。
因此,本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序,其中该计算机程序被处理器执行时使处理器执行如下步骤:
获取图像数据;
将图像数据进行图像金字塔操作,以得到多张不同尺寸的图像数据;
将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征;
其中,所述特征金字塔模型是通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算所得的。
在一实施例中,所述处理器在执行所述计算机程序而实现所述特征金字塔模型是通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算所得的步骤时,具体实现如下步骤:
获取带有特征标签不同尺寸的图像数据;
构建卷积神经网络;
将带有特征标签不同尺寸的图像数据输入所述卷积神经网络内进行卷积,以得到卷积结果;
对卷积结果进行下采样,以得到特征映射;
对特征映射进行分析,以得到特征位置信息;
将特征位置信息输入卷积神经网络的Loss函数层,以得到损失值;
根据损失值由所选择的Loss函数指导卷积神经网络进行学习,以得到特征金字塔模型。
在一实施例中,所述处理器在执行所述计算机程序而实现所述获取带有特征标签不同尺寸的图像数据步骤时,具体实现如下步骤:
获取不同尺寸的开源图像数据;
对开源图像数据进行标签标定;
将标签与开源图像数据进行打包,以形成带有特征标签不同尺寸的图像数据。
在一实施例中,所述处理器在执行所述计算机程序而实现所述对特征映射进行分析,以得到特征位置信息步骤时,具体实现如下步骤:
将多个特征映射进行合并,以得到中间数据;
将中间数据输入所述卷积神经网络内,以得到特征位置信息。
在一实施例中,所述处理器在执行所述计算机程序而实现所述将中间数据输入所述卷积神经网络内,以得到特征位置信息步骤时,具体实现如下步骤:
对中间数据的每个点构建不同尺寸的特征点;
利用卷积神经网络对特征点进行卷积处理,以得到特征位置信息。
在一实施例中,所述处理器在执行所述计算机程序而实现所述将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征步骤之后,还实现如下步骤:
输出所述人脸特征。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的。例如,各个单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,终端,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (6)
1.人脸检测方法,其特征在于,包括:
获取图像数据;
将图像数据进行图像金字塔操作,以得到多张不同尺寸的图像数据;
将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征;
其中,所述特征金字塔模型是通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算所得的;
所述特征金字塔模型是通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算所得的,包括:
获取带有特征标签不同尺寸的图像数据;
构建卷积神经网络;
将带有特征标签不同尺寸的图像数据输入所述卷积神经网络内进行卷积,以得到卷积结果;
对卷积结果进行下采样,以得到特征映射;
对特征映射进行分析,以得到特征位置信息;
将特征位置信息输入卷积神经网络的Loss函数层,以得到损失值;
根据损失值由所选择的Loss函数指导卷积神经网络进行学习,以得到特征金字塔模型;
所述对特征映射进行分析,以得到特征位置信息,包括:
将多个特征映射进行合并,以得到中间数据;
将中间数据输入所述卷积神经网络内,以得到特征位置信息;
所述将中间数据输入所述卷积神经网络内,以得到特征位置信息,包括:
对中间数据的每个点构建不同尺寸的特征点;
利用卷积神经网络对特征点进行卷积处理,以得到特征位置信息。
2.根据权利要求1所述的人脸检测方法,其特征在于,所述获取带有特征标签不同尺寸的图像数据,包括:
获取不同尺寸的开源图像数据;
对开源图像数据进行标签标定;
将标签与开源图像数据进行打包,以形成带有特征标签不同尺寸的图像数据。
3.根据权利要求1至2任一项所述的人脸检测方法,其特征在于,所述将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征之后,还包括:
输出所述人脸特征。
4.人脸检测装置,其特征在于,包括:
数据获取单元,用于获取图像数据;
缩放单元,用于将图像数据进行图像金字塔操作,以得到多张不同尺寸的图像数据;
检测单元,用于将多张不同尺寸的图像数据至特征金字塔模型进行检测,以得到人脸特征;
所述装置还包括:
模型训练单元,用于通过对带有特征标签不同尺寸的图像数据进行卷积神经网络计算,以得到特征金字塔模型;
所述模型训练单元包括:
样本获取子单元,用于获取带有特征标签不同尺寸的图像数据;
网络构建子单元,用于构建卷积神经网络;
第一卷积子单元,用于将带有特征标签不同尺寸的图像数据输入所述卷积神经网络内进行卷积,以得到卷积结果;
下采样子单元,用于对卷积结果进行下采样,以得到特征映射;
分析子单元,用于对特征映射进行分析,以得到特征位置信息;
损失值获取子单元,用于将特征位置信息输入卷积神经网络的Loss函数层,以得到损失值;
学习子单元,用于根据损失值由所选择的Loss函数指导卷积神经网络进行学习,以得到特征金字塔模型;
所述分析子单元包括:
合并模块,用于将多个特征映射进行合并,以得到中间数据;
数据处理模块,用于将中间数据输入所述卷积神经网络内,以得到特征位置信息;
数据处理模块包括:
构建子模块,用于对中间数据的每个点构建不同尺寸的特征点;
卷积处理子模块,用于利用卷积神经网络对特征点进行卷积处理,以得到特征位置信息。
5.一种计算机设备,其特征在于,所述计算机设备包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的方法。
6.一种存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时可实现如权利要求1至3中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910372186.6A CN110210314B (zh) | 2019-05-06 | 2019-05-06 | 人脸检测方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910372186.6A CN110210314B (zh) | 2019-05-06 | 2019-05-06 | 人脸检测方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110210314A CN110210314A (zh) | 2019-09-06 |
CN110210314B true CN110210314B (zh) | 2023-06-13 |
Family
ID=67785508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910372186.6A Active CN110210314B (zh) | 2019-05-06 | 2019-05-06 | 人脸检测方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110210314B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111178949B (zh) * | 2019-12-18 | 2023-07-28 | 中电金信软件有限公司 | 服务资源匹配参考数据确定方法、装置、设备和存储介质 |
CN112749626B (zh) * | 2020-12-10 | 2022-09-13 | 同济大学 | 一种面向dsp平台的快速人脸检测与识别方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107871134A (zh) * | 2016-09-23 | 2018-04-03 | 北京眼神科技有限公司 | 一种人脸检测方法及装置 |
CN108038474B (zh) * | 2017-12-28 | 2020-04-14 | 深圳励飞科技有限公司 | 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 |
CN108229381B (zh) * | 2017-12-29 | 2021-01-08 | 湖南视觉伟业智能科技有限公司 | 人脸图像生成方法、装置、存储介质和计算机设备 |
CN108647668A (zh) * | 2018-05-21 | 2018-10-12 | 北京亮亮视野科技有限公司 | 多尺度轻量级人脸检测模型的构建方法及基于该模型的人脸检测方法 |
CN109145854A (zh) * | 2018-08-31 | 2019-01-04 | 东南大学 | 一种基于级联卷积神经网络结构的人脸检测方法 |
CN109409210B (zh) * | 2018-09-11 | 2020-11-24 | 苏州飞搜科技有限公司 | 一种基于ssd框架的人脸检测方法及系统 |
CN109522883A (zh) * | 2018-12-28 | 2019-03-26 | 广州海昇计算机科技有限公司 | 一种人脸检测方法、系统、装置及存储介质 |
-
2019
- 2019-05-06 CN CN201910372186.6A patent/CN110210314B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110210314A (zh) | 2019-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10936911B2 (en) | Logo detection | |
US20190279014A1 (en) | Method and apparatus for detecting object keypoint, and electronic device | |
US11392792B2 (en) | Method and apparatus for generating vehicle damage information | |
US9349076B1 (en) | Template-based target object detection in an image | |
CN110363138A (zh) | 模型训练方法、图像处理方法、装置、终端及存储介质 | |
CN108229418B (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
CN111291825A (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
CN110222641B (zh) | 用于识别图像的方法和装置 | |
CN111291761B (zh) | 用于识别文字的方法和装置 | |
CN108229673B (zh) | 卷积神经网络的处理方法、装置和电子设备 | |
CN109086811A (zh) | 多标签图像分类方法、装置及电子设备 | |
CN113780201B (zh) | 手部图像的处理方法及装置、设备和介质 | |
CN113869282B (zh) | 人脸识别方法、超分模型训练方法及相关设备 | |
CN111027450A (zh) | 银行卡信息识别方法、装置、计算机设备及存储介质 | |
CN108229494B (zh) | 网络训练方法、处理方法、装置、存储介质和电子设备 | |
CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
CN110210314B (zh) | 人脸检测方法、装置、计算机设备及存储介质 | |
CN112541394A (zh) | 黑眼圈及鼻炎识别方法、系统及计算机介质 | |
CN114120454A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
CN112818946A (zh) | 年龄识别模型的训练、年龄识别方法、装置及电子设备 | |
CN112287905A (zh) | 车辆损伤识别方法、装置、设备及存储介质 | |
CN116309612A (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
CN112950652B (zh) | 机器人及其手部图像分割方法和装置 | |
CN115004241B (zh) | 基于深度学习的图像分割的移位不变损失 | |
CN112084874B (zh) | 一种物体检测方法、装置及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant after: Shenzhen Huafu Technology Co.,Ltd. Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant before: SHENZHEN HUAFU INFORMATION TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |