CN109086723B - 一种基于迁移学习的人脸检测的方法、装置以及设备 - Google Patents

一种基于迁移学习的人脸检测的方法、装置以及设备 Download PDF

Info

Publication number
CN109086723B
CN109086723B CN201810890473.1A CN201810890473A CN109086723B CN 109086723 B CN109086723 B CN 109086723B CN 201810890473 A CN201810890473 A CN 201810890473A CN 109086723 B CN109086723 B CN 109086723B
Authority
CN
China
Prior art keywords
data set
neural network
convolutional neural
target data
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810890473.1A
Other languages
English (en)
Other versions
CN109086723A (zh
Inventor
李莉
陈玮
廖广军
武垚欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN201810890473.1A priority Critical patent/CN109086723B/zh
Publication of CN109086723A publication Critical patent/CN109086723A/zh
Application granted granted Critical
Publication of CN109086723B publication Critical patent/CN109086723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于迁移学习的人脸检测的方法、装置、设备及计算机可读存储介质,包括:依据源数据集中的人脸图像的大小对采集到的目标数据集中的人脸图像进行归一化处理;对所述源数据集神经网络的迁移层直接迁移,对源数据集神经网络的非迁移层进行微调,得到所述目标数据集的卷积神经网络的网格结构;对目标数据集的确定网格结构后的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数;利用确定所述网格结构和所述目标网格参数后的所述目标数据的卷积神经网络,对所述目标数据集中真实人脸图像进行识别。本发明所提供的方法、装置、设备及计算机可读存储介质,可快速实现对数据集的卷积神经网络的重新设计和训练。

Description

一种基于迁移学习的人脸检测的方法、装置以及设备
技术领域
本发明涉及人脸识别技术领域,特别是涉及一种基于迁移学习的人脸检测的方法、装置、设备以及计算机可读存储介质。
背景技术
现代化信息社会,技术更新迭代迅速,保护个人隐私和信息财产安全越来越重要。传统的身份验证是通过钥匙、签名、印章、身份证、密码等方式。这些验证方式需要记忆,携带,不仅容易遗忘或丢失,而且容易破解,安全系数低。采用基于模式识别的人脸活体检测设备,方便快捷,识别率高,安全性强。但现有的人脸活体检测算法对真伪人脸的区分度仍然较差,且训练样本集较单一,即现有的训练样本集一般源于同一场景,图像采自同一设备,照片伪造模式相同,一旦出现新的伪造图像,应对不同场景,照片格式变化,对新的数据集的识别效果必然会变差,此时需要根据新的数据再次重新训练模型,必然耗费时间,且不能保证达到训练模型的检测效果。
现有的技术中训练神经网络时,训练采用的数据集一般为公开的某一数据集,这导致某一数据集下训练的模型不能在另外的数据集上得到很好的效果。此时,针对不同的数据集(新的伪造人脸图像),已有的方案需要对于新的数据集重新设计和训练神经网络,也就是说,神经网络层数,神经元数,参数都需要多次反复训练,反复修改,求取最优的网络结构和最优参数,收敛速度慢,所需的训练时间较长。
综上所述可以看出,如何减少新数据集设计和训练神经网络的时间是目前有待解决的问题。
发明内容
本发明的目的是提供一种基于迁移学习的人脸检测的方法、装置、设备以及计算机可读存储介质,已解决现有技术中对于新的数据集重新设计和训练神经网络需要较长的训练时间。
为解决上述技术问题,本发明提供一种基于迁移学习的人脸检测的方法,包括:依据源数据集中的人脸图像的大小对采集到的目标数据集中的人脸图像进行归一化处理;对所述源数据集的卷积神经网络的迁移部分进行直接迁移,并对所述源数据集的卷积神经网络的非迁移部分进行微调,从而得到所述目标数据集的卷积神经网络的网格结构;对所述目标数据集的确定网格结构后的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数;利用确定所述网格结构和所述目标网格参数后的所述目标数据的卷积神经网络,对所述目标数据集中真实人脸图像进行识别。
优选地,所述依据源数据集中的人脸图像的大小对采集到的目标数据集中的人脸图像进行归一化处理包括:
利用插值法和源数据集的Alexnet卷积神经网络中输入层内标准化图像尺寸,对采集到的目标数据集中的人脸图像进行归一化处理,以便于依据所述Alexnet卷积神经网络得到所述目标数据集的卷积神经网络。
优选地,所述对所述源数据集的卷积神经网络的迁移部分进行直接迁移,并对所述源数据集的卷积神经网络的非迁移部分进行微调,从而得到所述目标数据集的卷积神经网络的网格结构包括:
对所述Alexnet卷积神经网络中除最后三层以外的其他层进行直接迁移;对所述Alexnet卷积神经网络的全连接层、soft-max层和分类输出层进行微调,从而得到所述目标数据集的卷积神经网络的网格结构。
优选地,,所述对所述Alexnet卷积神经网络的全连接层、soft-max层和分类输出层进行微调包括:
将所述Alexnet卷积神经网络的全连接层的大小设置为所述目标数据集中的类别数目;将所述Alexnet卷积神经网络的soft-max层设置为所述目标数据集中每个类别概率似然值;将所述Alexnet卷积神经网络的分类输出层设置为所述目标数据集的类别数据。
优选地,所述对所述目标数据集的确定网格结构后的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数包括:
取所述目标数据集中的预设数量的样本作为训练集,将所述目标数据集中除预设数量的样本外的其他样本作为测试集,对所述目标数据集的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数。
优选地,所述目标数据集的卷积神经网络的网格参数包括:权重学习率,偏置学习率,批样本数,回合数以及初始学习率。
本发明还提供了一种基于迁移学习的人脸检测的装置,包括:
归一化模块,用于依据源数据集中的人脸图像的大小对采集到的目标数据集中的人脸图像进行归一化处理;
网络结构获取模块,用于对所述源数据集的卷积神经网络的迁移部分进行直接迁移,并对所述源数据集的卷积神经网络的非迁移部分进行微调,从而得到所述目标数据集的卷积神经网络的网格结构;
网络参数获取模块,用于对所述目标数据集的确定网格结构后的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数;
检测模块,用于利用确定所述网格结构和所述目标网格参数后的所述目标数据的卷积神经网络,对所述目标数据集中真实人脸图像进行识别。
优选地,所述归一化模块具体用于:利用插值法和源数据集Alexnet卷积神经网络中输入层内标准化图像尺寸,对采集到的目标数据集中的人脸图像进行归一化处理,以便于依据所述Alexnet卷积神经网络得到所述目标数据集的卷积神经网络。
本发明还提供了一种基于迁移学习的人脸检测的设备,包括:
存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现上述一种基于迁移学习的人脸检测的方法的步骤。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种基于迁移学习的人脸检测的方法的步骤。
本发明所提供的基于迁移学习的人脸检测的方法,依据源数据集中的人脸图像的大小对采集到的目表数据集中的人脸图像进行归一化处理,以便于对所述源数据的已经训练好的卷积神经网络进行迁移和微调,得到所述目标数据集的卷积神经网络。对所述源数据集的卷积神经网络的迁移层直接进行迁移;将所述源数据集的卷积神经网络的非迁移部分进行微调,从而得到所述目标数据集的卷积神经网络的网络结构。在获取所述目标数据集的卷积神经网络的网格结构后,在所述目标数据集中选取若干数据样本作为训练集,选取若干数据样本作为测试集,对已确定网络结构的目标数据集的卷积神经网络进行训练,从而获得所述目标数据集的卷积神经网络的目标网格参数,即最优网格参数后,得到所述目标数据集的卷积神经网络。利用所述卷积神经网络对所述目标数据集中的人脸图像进行检测,从而识别出真实的人脸图像来。
本发明所提供的基于迁移学习的人脸检测的方法,通过对神经网络特征层面的迁移,找到源数据集的卷积神经网络与所述目标数据集的卷积神经网络在特征层的相似,使的可迁移的数据大大增加;从而通过对所述源数据的卷积神经网络的迁移层的迁移以及对非迁移层的微调,确定所述目标数据集,即新的数据集的卷积神经网络的网络结构。在确定网络结构后,利用新数据集中的数据样本对所述新数据集的卷积神经网络进行训练,以便获得新的数据集的卷积神经网络的最优网络参数,从而确定了所述新数据集的卷积神经网络。本发明因减少了对神经网络各迁移层的训练过程和时间,大大减少了对神经网络各个层的训练过程和时间;并通过对神经网络非迁移层的微调,进一步的加快了新数据集的神经网络的训练时间,快速实现对所述新数据集的卷积神经网络的重新设计和训练。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于迁移学习的人脸检测的方法的第一种具体实施例的流程图;
图2为本发明所提供的基于迁移学习的人脸检测的方法的第二种具体实施例的流程图;
图3为由源数据集的卷积神经网络微调得到目标数据集的卷积神经网络的示意图;
图4为本发明实施例提供的一种基于迁移学习的人脸检测的装置的结构框图。
具体实施方式
本发明的核心是提供一种基于迁移学习的人脸检测的方法、装置、设备以及计算机可读存储介质,可快速实现对新数据集的卷积神经网络的重新设计和训练。
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1为本发明所提供的基于迁移学习的人脸检测的方法的第一种具体实施例的流程图;具体操作步骤如下:
步骤S101:依据源数据集中的人脸图像的大小对采集到的目标数据集中的人脸图像进行归一化处理;
在本实施例中,可以选择神经网络为已训练好的Alexnet卷积神经网络的数据集作为源数据集。所述Alexnet卷积神经网络的前面的层可以抽取边、角等一些泛化能力强的特征,随着网络的加深,层数越深,抽取特征越具有针对性。在本实施例中也可以选取其他的已训练成熟的深度学习网络作为源数据的卷积神经网络。所述Alexnet卷积神经网络中输入层采用的是227*227*3的具有“零输入”的标准化图片,由于采集到目标数据中的图片的尺寸大小都不一致,所以需要经过处理,使所有数据集的尺度归一化,都变成227*227*3的大小。
在本实施例中可以采用插值法对所述目标数据集中的图像进行缩放处理,所述插值法是利用函数f(x)在某区间中插入若干点的函数值;得出适当的特定函数,在这些点上取已知值,在区间的其他点上用这特定函数的值作为函数f(x)的近似值。对目标数据集中的原始图像的像素点进行加权求和,得到归一化后的像素值,设目标数据集中的原始图像像素点为(xi,yj),像素值为f(xi,yj),生成图像的像素值即为f'(x,y),则插值公式分为:
Figure BDA0001756819410000061
其中,W(x)为BiCubic函数。
需要说明的是,本实施例中可以采用近邻插值法,线性插值法,三次插值法和双三次插值法等插值法对所述目标数据集中的图像进行对归一化处理;也可以采用其他算法对所述目标数据集中的图像进行对归一化处理。
步骤S102:对所述源数据集的卷积神经网络的迁移部分进行直接迁移,并对所述源数据集的卷积神经网络的非迁移部分进行微调,从而得到所述目标数据集的卷积神经网络的网格结构;
对所述Alexnet卷积神经网络的迁移部分进行直接迁移,并对所述的非迁移部分进行微调,从而得到所述目标数据集的卷积神经网络的网格结构。
步骤S103:对所述目标数据集的确定网格结构后的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数;
步骤S104:利用确定所述网格结构和所述目标网格参数后的所述目标数据的卷积神经网络,对所述目标数据集中真实人脸图像进行识别。
在本实施例中,将已经训练好的Alexnet网络的多层及其参数作为初始值,直接迁移到新的网络,将少部分层进行微调,通过微调参数,构成具有识别新类别的神经网络,大大减少训练时间,大大提高收敛的速度,提高了训练的效率。
基于上述实施例,本实施例中对所述Alexnet神经网络除后三层外的网络层进行直接迁移,对所述后三层的网络层进行微调,得到所述目标数据集的卷积神经网络的网络结构。请参考图2,图2为本发明所提供的基于迁移学习的人脸检测的方法的第一种具体实施例的流程图;具体操作步骤如下:
步骤S201:将目标数据集中的人脸图像进行归一化处理,使所述目标数据集中的人脸图像的尺度均为227*227*3;
步骤S202:对所述Alexnet卷积神经网络中除最后三层以外的其他层进行直接迁移;
所述Alexnet卷积神经网络由25层组成,有8层可以学习的权重,5个卷积层和3个全连接层,alexnet卷积神经网络的输入为227*227*3,即输入分辨率为227×227的彩色图片,3意味着彩色图像的三个颜色通道RGB。
步骤S203:对所述Alexnet卷积神经网络的全连接层、soft-max层和分类输出层进行微调,从而得到所述目标数据集的卷积神经网络的网格结构;
如图3所示,在本实施例中对所述Alexnet卷积神经网络非迁移部分的全连接层、soft-max层和输出层的参数Wf,Ws,Wo进行微调,得到所述重新训练后的全连接层、soft-max层和输出层的参数Wf',Ws',Wo'。
所述Alexnet卷积神经网络的分类数目为1000,也就是最后的输出维数为1000,通过用全连接层,soft-max层和分类输出层替换后面三层,从而得到输出维数为2的新的卷积神经网络。
将所述全连接层设置成和最新检测任务中类别数目相同的大小,本实施例中所述目标数据集的类别数目为2,分别为真实人脸和伪造人脸。所述全连接层在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐含层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1x1的卷积;而前层是卷积层的全连接层可以转化为卷积核为h*w的全局卷积。h和w分别为前层卷积结果的高和宽。为了加快训练速度,在全连接层中加入权重学习率(Weight-Learn-Rate-Factor)值和偏置学习率(Bias-Learn-Rate-Factor)值。
所述Soft-max层可以理解为归一化,只计算出每个类别的概率似然值。所述目标数据集的图片分类两种,那经过soft-max层的输出就是一个2维的向量。向量中的第一个值就是当前图片属于第一类的概率值,向量中的第二个值就是当前图片属于第二类的概率值,这个2维的向量之和为1。将所述分类输出层设置为所述目标数据集的类别数据。
步骤S204:取所述目标数据集中的预设数量的样本作为训练集,将所述目标数据集中除预设数量的样本外的其他样本作为测试集,对所述目标数据集的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数;
在本实施例中所述目标数据集中包括真实人脸图像和伪造人脸图像。为了验证所述卷积神经网络的可迁移性,我们采集两个目标数据集对所述已确定网络结构的卷积神经网络进行训练。
在对所述目标数据集中的图像进行采集时,均可采用网络摄像头进行采集。选取15个受试者参加拍摄完成图像数据的采集,在图像捕捉过程中,受试者均要求观察网络摄像头的正面,且使用中立的表情和不明显的动作,眨眼或者头部动作,换句话说试着让真人脸看起来更接近伪造人脸。伪造人脸的获得方式是,首先用普通的佳能相机为每个受试者拍了一张高清晰度的照片,而脸部区域至少要占照片整个区域的2/3,然后将照片打印在相纸上,由受试者手持然后由摄像头获取的图片。手持相片时,将相片水平、上下、前后移动;沿垂直轴、水平轴深度翻转;沿水平轴、垂直轴向内或向外翻转等做不同的方向变化。
第一目标数据集是归一化人脸图像,经过灰度归一化和几何规一化处理,56M压缩的只含有人脸的图片,其中只包括额头、眼睛、鼻子、嘴巴和脸颊的真实人脸图像和伪造人脸图像,且真实人脸图像和伪造人脸图像均为灰度图。第二目标数据集是检测人脸图像,带有人脸图像输出的图像,有73M压缩,比较传统的头部图像,相比所述第一目标数据集加上头发、耳朵和脖子的一部分的真实人脸图像和伪造人脸图像,均是带有颜色的彩色图像。所述第二目标数据集是在原始图片上采用检测算法检测得到的完整人脸图。事实上所述第一目标数据集是在所述第二种目标数据集图像上经过尺度归一化处理得到的。
所述第一目标数据集和所述第二目标数据集中的图像都是由不同外形的人脸采集数据,其中包括性别不同,面部表情多种变化,是否戴眼镜,图片的明暗程度,光照条件也不同,背景人物场景的多种变化等多种数据集。
在确定所述目标数据集的卷积神经网络后,选取所述目标数据集中样本图像的70%数据集作为训练集,其余30%作为测试集,进行神经网络的训练。也可以选取80%数据集作为训练集,其余20%作为测试集,或者其他训练集和测试集的分配方法。
所述第一目标数据集,即经过归一化处理的真实人脸图像和伪造人脸图像,大小为64×64,图像中只包括额头、眼睛、鼻子、嘴巴和脸颊,而且均是灰度图。
通过卷积神经网络的训练,找到检测准确率最高时的最优参数。最先设定非迁移层权重学习率值和偏置学习率值都设为10,批样本数量(Mini-Batch-Size)设为50,回合数(Max-epoch)设为1,初始化学习率(Initial-Learn-Rate),即迁移层学习率设为0.0001并保持不变,此时得到的准确率(accuracy)为87.00%;训练非迁移层权重学习率和偏置学习率值,当赋值为5,其他值保持不变,得到的准确率为83.80%;赋值为20,得到的准确率为81.73%;将赋值5、10、20的准确率进行比较,判断非迁移层权重学习率和偏置学习率的最优参数在5到10之间,然而赋值为8时,准确率为76.77%;即确定非迁移层权重学习率和偏置学习率的最优参数数为10,此时,训练批样本数量,将批样本数量设为40,准确率为83.46%;将批样本数量设为60,准确率为74.02%,即批样本数量为50时,得到准确率的最大值;保持其他参数不变,训练回合数,设定值为2时,准确率为82.08%;设定值为3时,准确率为89.38%设定回合数为4时,准确率为80.23%,显然当回合数为3时,得到最大准确率89.38%。所以,最终确定非迁移层权重学习率和偏置学习率值为10,批样本数量为50,回合数为3,得到第一目标数据集的卷积神经网络的最优网络参数。具体参数对应情况见表1:
表1第一目标数据集的卷积神经网络的网络参数对照表
Figure BDA0001756819410000101
由于所述第一目标数据集最优的非迁移层权重学习率和偏置学习率值为10,批样本数量为50,回合数为3,初始化学习率设为0.0001并保持不变或微调,所以第二目标数据集的卷积神经网络首先采用该组参数进行训练,得到的准确率为82.56%。发现准确率并不是很高,需要进一步训练参数。将非迁移层权重学习率、偏置学习率和批样本数量的值均保持不变,修改回合数,设定为1,得到的准确率为82.14%;将批样本数量的值和回合数的值保持不变,确定非迁移层权重学习率和偏置学习率值的最优区间,当权重学习率和偏置学习率值改为5时,准确率为79.57%;当非迁移层权重学习率和偏置学习率值改为20时,得到的准确率为81.50%;均不如权重学习率和偏置学习率的值为10时准确率高,所以确定权重学习率和偏置学习率值为10。然后训练批样本数量的值,将批样本数量的值修改为60时,得到的准确率为81.13%;将批样本数量的值改为40时,得到的准确率为82.66%;继续修改批样本数量的值为30,准确率为84.62%;批样本数量的值修改为20,准确率为78.62%;最好结果的批样本数量的值应该在40至30之间。以上参数都是回合数的值为1时所测结果,修改回合数值,当批样本数量的值修改为20,回合数值为2时,得到的准确率为86.36%;当回合数值为3时,得到的准确率为79.89%;所以效果最好的回合数值为2;设定回合数值为2,批样本数量的值为30时,得到的准确率为89.59%;因为最好结果的批样本数量的值应该在40至30之间,修改批样本数量的值为35,得到的准确率为91.60%,即为最优的结果。具体参数对应情况见表2:
表2第二目标数据集的卷积神经网络的网络参数对照表
Figure BDA0001756819410000111
步骤S205:利用确定所述网格结构和所述目标网格参数后的所述目标数据的卷积神经网络,对所述目标数据集中真实人脸图像进行识别。
从以上两种数据集下的实验结果可以看出,对于第一目标数据集最优人脸检测结果的准确率是89.38%,第二目标数据集最好人脸检测结果的准确率是91.60%,两者相差不多,由此得出本实施例所提供的基于迁移学习的人脸检测的方法不受选用的人脸图像类型所影响,可以获取较高的检测率。另外,由于实施例中的卷积神经网络可以对任何已有的网络进行迁移训练,不需要重新设计网络结构,训练时间较短,且可迁移性高。
本实施例所提供的方法,首次将基于卷积神经网络的迁移学习方法应用到人脸活体检测中。相比于传统方式,本方案直接借助Alexnet深度学习模型对图片模式的特征提取,省去了重新设计网络的麻烦,只需要将已有的成熟的网络的参数针对新的数据集进行微调,便可以获得较高的检测率。并且本实施例所提供的方法还可以拓展到其他成熟网络在人脸活体检测上的应用。本实施例采用的Alexnet深度学习模型,其具备强大的图片特征提取能力,所以通过微调可以针对不同数据集获得了较高的检测率,其最大的优点在于训练的收敛速度更快。同样地,本实施例所提供的方法可以应用到其他成熟的深度学习模型,如Vgg、Googlenet、Resnet等。
请参考图4,图4为本发明实施例提供的一种基于迁移学习的人脸检测的装置的结构框图;具体装置可以包括:
归一化模块100,用于依据源数据集中的人脸图像的大小对采集到的目标数据集中的人脸图像进行归一化处理;
网络结构获取模块200,用于对所述源数据集的卷积神经网络的迁移部分进行直接迁移,并对所述源数据集的卷积神经网络的非迁移部分进行微调,从而得到所述目标数据集的卷积神经网络的网格结构;
网络参数获取模块300,用于对所述目标数据集的确定网格结构后的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数;
检测模块400,用于利用确定所述网格结构和所述目标网格参数后的所述目标数据的卷积神经网络,对所述目标数据集中真实人脸图像进行识别。
本实施例的基于迁移学习的人脸检测的装置用于实现前述的基于迁移学习的人脸检测的方法,因此基于迁移学习的人脸检测的装置中的具体实施方式可见前文中的基于迁移学习的人脸检测的方法的实施例部分,例如,归一化模块100,网络结构获取模块200,网络参数获取模块300,检测模块400,分别用于实现上述基于迁移学习的人脸检测的方法中步骤S101,S102,S103和S104,所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再赘述。
本发明具体实施例还提供了一种基于迁移学习的人脸检测的设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现上述一种基于迁移学习的人脸检测的方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种基于迁移学习的人脸检测的方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的基于迁移学习的人脸检测的方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (6)

1.一种基于迁移学习的人脸检测的方法,其特征在于,包括:
依据源数据集中的人脸图像的大小对采集到的目标数据集中的人脸图像进行归一化处理;
对所述源数据集的卷积神经网络的迁移部分进行直接迁移,并对所述源数据集的卷积神经网络的非迁移部分进行微调,从而得到所述目标数据集的卷积神经网络的网格结构;
对所述目标数据集的确定网格结构后的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数;
利用确定所述网格结构和所述目标网格参数后的所述目标数据的卷积神经网络,对所述目标数据集中真实人脸图像进行识别;
所述依据源数据集中的人脸图像的大小对采集到的目标数据集中的人脸图像进行归一化处理包括:
利用插值法和源数据集的Alexnet卷积神经网络中输入层内标准化图像尺寸,对采集到的目标数据集中的人脸图像进行归一化处理,以便于依据所述Alexnet卷积神经网络得到所述目标数据集的卷积神经网络;
所述对所述源数据集的卷积神经网络的迁移部分进行直接迁移,并对所述源数据集的卷积神经网络的非迁移部分进行微调,从而得到所述目标数据集的卷积神经网络的网格结构包括:
对所述Alexnet卷积神经网络中除最后三层以外的其他层进行直接迁移;
对所述Alexnet卷积神经网络的全连接层、soft-max层和分类输出层进行微调,从而得到所述目标数据集的卷积神经网络的网格结构;
所述对所述Alexnet卷积神经网络的全连接层、soft-max层和分类输出层进行微调包括:
将所述Alexnet卷积神经网络的全连接层的大小设置为所述目标数据集中的类别数目;
将所述Alexnet卷积神经网络的soft-max层设置为所述目标数据集中每个类别概率似然值;
将所述Alexnet卷积神经网络的分类输出层设置为所述目标数据集的类别数据。
2.如权利要求1所述的方法,其特征在于,所述对所述目标数据集的确定网格结构后的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数包括:
取所述目标数据集中的预设数量的样本作为训练集,将所述目标数据集中除预设数量的样本外的其他样本作为测试集,对所述目标数据集的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数。
3.如权利要求1所述的方法,其特征在于,所述目标数据集的卷积神经网络的网格参数包括:权重学习率,偏置学习率,批样本数,回合数以及初始学习率。
4.一种基于迁移学习的人脸检测的装置,其特征在于,包括:
归一化模块,用于依据源数据集中的人脸图像的大小对采集到的目标数据集中的人脸图像进行归一化处理;
网络结构获取模块,用于对所述源数据集的卷积神经网络的迁移部分进行直接迁移,并对所述源数据集的卷积神经网络的非迁移部分进行微调,从而得到所述目标数据集的卷积神经网络的网格结构;
网络参数获取模块,用于对所述目标数据集的确定网格结构后的卷积神经网络进行训练,得到所述目标数据集的卷积神经网络的目标网格参数;
检测模块,用于利用确定所述网格结构和所述目标网格参数后的所述目标数据的卷积神经网络,对所述目标数据集中真实人脸图像进行识别;
所述归一化模块具体用于:
利用插值法和源数据集Alexnet卷积神经网络中输入层内标准化图像尺寸,对采集到的目标数据集中的人脸图像进行归一化处理,以便于依据所述Alexnet卷积神经网络得到所述目标数据集的卷积神经网络;
所述对所述源数据集的卷积神经网络的迁移部分进行直接迁移,并对所述源数据集的卷积神经网络的非迁移部分进行微调,从而得到所述目标数据集的卷积神经网络的网格结构包括:
对所述Alexnet卷积神经网络中除最后三层以外的其他层进行直接迁移;
对所述Alexnet卷积神经网络的全连接层、soft-max层和分类输出层进行微调,从而得到所述目标数据集的卷积神经网络的网格结构;
所述对所述Alexnet卷积神经网络的全连接层、soft-max层和分类输出层进行微调包括:
将所述Alexnet卷积神经网络的全连接层的大小设置为所述目标数据集中的类别数目;
将所述Alexnet卷积神经网络的soft-max层设置为所述目标数据集中每个类别概率似然值;
将所述Alexnet卷积神经网络的分类输出层设置为所述目标数据集的类别数据。
5.一种基于迁移学习的人脸检测的设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至3任一项所述一种基于迁移学习的人脸检测的方法的步骤。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述一种基于迁移学习的人脸检测的方法的步骤。
CN201810890473.1A 2018-08-07 2018-08-07 一种基于迁移学习的人脸检测的方法、装置以及设备 Active CN109086723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810890473.1A CN109086723B (zh) 2018-08-07 2018-08-07 一种基于迁移学习的人脸检测的方法、装置以及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810890473.1A CN109086723B (zh) 2018-08-07 2018-08-07 一种基于迁移学习的人脸检测的方法、装置以及设备

Publications (2)

Publication Number Publication Date
CN109086723A CN109086723A (zh) 2018-12-25
CN109086723B true CN109086723B (zh) 2022-03-25

Family

ID=64834064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810890473.1A Active CN109086723B (zh) 2018-08-07 2018-08-07 一种基于迁移学习的人脸检测的方法、装置以及设备

Country Status (1)

Country Link
CN (1) CN109086723B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210468B (zh) * 2019-05-29 2022-12-16 电子科技大学 一种基于卷积神经网络特征融合迁移的文字识别方法
CN111383357A (zh) * 2019-05-31 2020-07-07 纵目科技(上海)股份有限公司 一种适应目标数据集的网络模型微调方法、系统、终端和存储介质
CN113138366B (zh) * 2020-01-17 2022-12-06 中国科学院声学研究所 一种基于深度迁移学习的单矢量水听器方位估计方法
CN111340217B (zh) * 2020-02-24 2023-08-01 南京星火技术有限公司 电子设备、神经网络训练装置和计算机可读介质
CN111680740A (zh) * 2020-06-04 2020-09-18 京东方科技集团股份有限公司 神经网络的训练方法、装置及用电负荷的判别方法、装置
CN111783985A (zh) * 2020-06-30 2020-10-16 Oppo广东移动通信有限公司 信息处理、模型处理方法及装置、设备、介质
CN112329617B (zh) * 2020-11-04 2022-10-21 中国科学院自动化研究所 基于单张源域样本的新场景人脸识别模型构建方法、系统
CN112633113A (zh) * 2020-12-17 2021-04-09 厦门大学 跨摄像头的人脸活体检测方法及系统
CN113205044B (zh) * 2021-04-30 2022-09-30 湖南大学 一种基于表征对比预测学习的深度伪造视频检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599863A (zh) * 2016-12-21 2017-04-26 中国科学院光电技术研究所 一种基于迁移学习技术的深度人脸识别方法
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN107545245A (zh) * 2017-08-14 2018-01-05 中国科学院半导体研究所 一种年龄估计方法及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657602A (zh) * 2017-08-09 2018-02-02 武汉科技大学 基于两次迁移卷积神经网络的乳腺结构紊乱识别方法
CN107909101B (zh) * 2017-11-10 2019-07-12 清华大学 基于卷积神经网络的半监督迁移学习字符识别方法及系统
CN108182427B (zh) * 2018-01-30 2021-12-14 电子科技大学 一种基于深度学习模型和迁移学习的人脸识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599863A (zh) * 2016-12-21 2017-04-26 中国科学院光电技术研究所 一种基于迁移学习技术的深度人脸识别方法
CN107545245A (zh) * 2017-08-14 2018-01-05 中国科学院半导体研究所 一种年龄估计方法及设备
CN107506740A (zh) * 2017-09-04 2017-12-22 北京航空航天大学 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法

Also Published As

Publication number Publication date
CN109086723A (zh) 2018-12-25

Similar Documents

Publication Publication Date Title
CN109086723B (zh) 一种基于迁移学习的人脸检测的方法、装置以及设备
Jourabloo et al. Face de-spoofing: Anti-spoofing via noise modeling
WO2020000908A1 (zh) 一种人脸活体检测方法及装置
JP4708909B2 (ja) デジタル画像の対象物検出方法および装置並びにプログラム
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
JP5010905B2 (ja) 顔認証装置
CN110569756B (zh) 人脸识别模型构建方法、识别方法、设备和存储介质
WO2020258667A1 (zh) 图像识别方法及装置、非易失性可读存储介质、计算机设备
US8548257B2 (en) Distinguishing between faces and non-faces
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN100423020C (zh) 一种基于结构主元分析的人脸识别方法
CN110998598A (zh) 对被操纵图像的检测
CN109977865B (zh) 一种基于人脸颜色空间和度量分析的欺诈检测方法
CN108416291B (zh) 人脸检测识别方法、装置和系统
CN108664843B (zh) 活体对象识别方法、设备和计算机可读存储介质
WO2022206319A1 (zh) 图像处理方法、装置、设备、存储介质计算机程序产品
CN105120167A (zh) 一种证照相机及证照拍摄方法
KR20180065889A (ko) 타겟의 검측 방법 및 장치
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
WO2022222575A1 (zh) 用于目标识别的方法和系统
WO2022222569A1 (zh) 一种目标判别方法和系统
CN111832405A (zh) 一种基于hog和深度残差网络的人脸识别方法
CN111222433A (zh) 自动人脸稽核方法、系统、设备及可读存储介质
US7620246B2 (en) Method and apparatus for image processing
CN112434647A (zh) 一种人脸活体检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant