CN108573243A - 一种基于深度卷积神经网络的低质量人脸的比对方法 - Google Patents

一种基于深度卷积神经网络的低质量人脸的比对方法 Download PDF

Info

Publication number
CN108573243A
CN108573243A CN201810392962.4A CN201810392962A CN108573243A CN 108573243 A CN108573243 A CN 108573243A CN 201810392962 A CN201810392962 A CN 201810392962A CN 108573243 A CN108573243 A CN 108573243A
Authority
CN
China
Prior art keywords
face
low quality
database
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810392962.4A
Other languages
English (en)
Inventor
王毅翔
方志刚
戚丹青
赵丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Smart Network Technology Co Ltd
Original Assignee
Shanghai Smart Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Smart Network Technology Co Ltd filed Critical Shanghai Smart Network Technology Co Ltd
Priority to CN201810392962.4A priority Critical patent/CN108573243A/zh
Publication of CN108573243A publication Critical patent/CN108573243A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的低质量人脸的比对方法，包括以下步骤：将人脸训练数据库里的每幅图像送入到构建的深度卷积神经网络中提取特征；将提取特征输入全连接层，通过仿射投影到低纬度空间的投影矩阵；将由投影矩阵计算所得的特征向量，通过二范数归一化球面损失函数训练；通过梯度下降法寻找全连接层和深度卷积神经网络中各滤波器的权重值，选择对比通过率最高的深度卷积神经网络；将待检测人脸图像的特征向量与低质量人脸测试数据库中的每一幅事实答案图像的特征向量进行余弦距离的计算，当余弦值小于阈值判断为同一人。本发明用于对低质量的人脸进行高效比对，使用更少的计算资源，并能兼顾人脸比对精度和比对速度。

Description

一种基于深度卷积神经网络的低质量人脸的比对方法
技术领域
本发明涉及一种人脸比对方法，尤其涉及一种基于深度卷积神经网络的低质量人脸的比对方法。
背景技术
如今，对于目标用户个人身份认证的应用无所不在，用于认证的各种识别技术在很多领域都有着巨大的市场需求，其中人脸识别因为具有自然，友好，用户受干扰少，方便等优势而有非常广阔的应用前景，如视频监控，门禁系统，安全检查以及用户身份确认等。
人脸比对是基于数字图像处理，计算机视觉和机器学习技术，利用计算机处理技术对目标人脸图像进行分析比对的过程。如今，人脸比对技术基本分为基于人造或浅层特征的比对和基于深度学习的人脸比对。在深度学习发展的大背景下，利用深度学习来训练神经网络模型基本成为首选，基于深度学习的人脸比对技术通常使用卷积神经网络结构，在参考文献【1】O.M.Parkhi,A.Vedaldi,A.Zisserman Deep Face Recognition BritishMachine Vision Conference,2015中有比较好的总结。
在基于卷积神经网络结构的人脸比对技术的应用中，质量越低的人脸数据相比于质量较高的人脸数据，要达到相似的比对效果，往往需要复杂度更高且计算资源要求更高的模型，这样极大限制了人脸比对技术应用范围，也降低了人脸比对技术可应用的灵活性。
发明内容
本发明所要解决的技术问题是提供一种基于深度卷积神经网络的低质量人脸的比对方法，能够用于对低质量的人脸进行高效比对，使用更少的计算资源，并能兼顾人脸比对精度和比对速度。
本发明为解决上述技术问题而采用的技术方案是提供一种基于深度卷积神经网络的低质量人脸的比对方法，包括如下步骤：S101)建立人脸训练数据库，低质量人脸验证数据库和低质量人脸测试数据库；S102)将人脸训练数据库里的每幅图像进行归一化处理，将处理完的数据张量输入到深度卷积神经网络加全连接层中提取特征；S103)通过球面损失函数，利用梯度下降法寻找全连接层中的权重值和深度卷积神经网络中各个滤波器的权重值，在训练过程中，同时全程记录低质量人脸识别验证数据库的统计结果；S104)训练完成后，根据训练中所统计的数据，选择比对精度最高的深度卷积神经网络模型作为第一阶段模型；S105)通过迁移学习复用第一阶段深度卷积神经网络模型以及第一阶段训练所得的所有权重值，通过二范数归一化球面损失函数，利用梯度下降法寻找全连接层中的权重值和深度卷积神经网络中各个滤波器的权重值，在训练过程中，同时全程记录低质量人脸识别验证数据库的统计结果；S106)训练完成后，根据训练中所统计的数据，选择比对精度最高的深度卷积神经网络模型作为最终模型；S107)将最终模型导入到将部署的目标嵌入式平台的测试程序中，将低质量人脸测试数据库中的待检测人脸图像输入程序，通过模型计算特征向量，将特征向量与低质量人脸测试数据库中的每一幅事实答案图像的特征向量进行余弦距离的计算，当余弦值小于阈值判断为同一人。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤S101包括：为每个人按照照片中人物的姿态，是否为单人照片，是否化妆以及照片的清晰程度，选取50到100张适合人脸比对的图片，建立基本人脸数据库；利用随机算法从基本人脸数据库中选出X人，作为低质量人脸验证预选数据库，从低质量人脸验证预选数据库中利用随机算法选出Y人，然后分别在每人的照片集中选取一对照片，所述一对照片中最少包含一张低质量照片，最终生成本低质量人脸验证数据库，X>Y>100；从基本人脸数据库中移除低质量人脸验证预选数据库，在剩下的人脸数据库中，利用随机算法从中选出X人，作为低质量人脸测试预选数据库；从低质量人脸测试预选数据库中，利用随机算法选出Y人，然后分别在每人的照片集中选取一对照片，一对照片中最少包含一张低质量照片，最终生成低质量人脸测试数据库；从基本人脸数据库中移除低质量人脸验证预选数据库和低质量人脸测试预选数据库，并将剩下的数据库作为人脸训练数据库。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述X的取值为2000，所述Y的取值为500。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤S102采用3通道的彩色人脸图像作为输入数据，输入图像大小为SxS，S的取值为160，120，112，96或80；输入前，所述彩色人脸图像RGB通道数据Cr,g,b在各自的通道上做归一化处理，处理公式为：
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤S102采用ResNet中的四阶段主干网络构架构建深度卷积神经网络，在每个阶段的输入层利用卷积层的步进机制代替池化层直接完成下采样，并在残差单元中去除批量归一化层。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤S102采用PReLU为激活函数，并在所有残差单元的卷积层去除偏置项，PReLU的公式为：
α为训练学习中得到的权重，xi为对应卷积层的第i个滤波器的输出。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤S102设定网络第一阶段卷积输入层卷积核的为3x3，设定网络第二阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为128，设定网络第三阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为256，设定网络第四阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为512；并在ResNet网络结构后增加卷积适配层，所述卷积适配层参数为滤波器核尺寸3x 3,滤波器数目256，卷积步进长度为1。
上述的基于深度卷积神经网络的低质量人脸的比对方法，其中，所述步骤S103训练深度卷积神经网络的第一阶段使用的损失函数是基于Softmax扩展的球面损失函数，Softmax公式如下：
其中m为训练时每次输入集的样本数，n为训练集样本总类别数，wj和bj为全连接层的对应类别的权重和偏置。
本发明对比现有技术有如下的有益效果：本发明提供的基于深度卷积神经网络的低质量人脸的比对方法，能够用于对低质量的人脸进行高效比对，使用更少的计算资源，并能兼顾人脸比对精度和比对速度。
附图说明
图1为本发明基于深度卷积神经网络的低质量人脸的比对流程示意图；
图2为本发明实施例1中的深度卷积神经网络的样图；
图3为本发明实施例2中的深度卷积神经网络的样图；
图4为本发明深度卷积神经网络中的残差单元的样图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
本发明使用更少的计算资源，针对低质量的人脸，兼顾人脸比对精度和比对速度。研究表明：人脸比对的精度与被训练的深度卷积神经网络和训练神经网络时使用的损失函数有着非常紧密的关系，模型计算复杂度以及容量与训练的深度卷积神经网络也有着非常紧密的关系。通过二范数归一化球面损失函数和对基于ResNet的深度卷积神经网络，参见文献【2】Kaiming He,Xiangyu Zhang,Shaoqing Ren,Jian Sun.Deep Residual Learningfor Image Recognition.arXiv:1512.03385，以及文献【3】Kaiming He,Xiangyu Zhang,Shaoqing Ren,Jian Sun.Identity Mappings in Deep Residual Networks.arXiv:1603.05027；在训练阶段最小化损失函数的输出值以达到有效地训练深度卷积神经网络的目的。
实施例1
本实施例提出了一种基于深度卷积神经网络的低质量人脸的高效比对方法，参见图1。具体过程如下：
S101：建立人脸训练数据库，建立低质量人脸验证数据库，建立低质量人脸测试数据库；
S102：将人脸训练数据库里的每幅图像进行归一化处理，将处理完的数据张量输入到构建的深度卷积神经网络加全连接层中提取特征；
S103：通过球面损失函数，利用梯度下降法寻找全连接层中的权重值和深度卷积神经网络中各个滤波器的权重值，在训练过程中，同时全程记录低质量人脸识别验证数据库的统计结果
S104：训练完成后，根据训练中所统计的数据，选择比对精度最高的深度卷积神经网络模型作为第一阶段模型；
S105：通过迁移学习，复用第一阶段深度卷积神经网络模型以及第一阶段训练所得的所有权重值，通过二范数归一化球面损失函数，利用梯度下降法寻找全连接层中的权重值和深度卷积神经网络中各个滤波器的权重值，在训练过程中，同时全程记录低质量人脸识别验证数据库的统计结果；
S106：训练完成后，根据训练中所统计的数据，选择比对精度最高的深度卷积神经网络模型作为最终模型；
S107：将最终模型导入到将部署的目标嵌入式平台的测试程序中，将低质量人脸测试数据库中的待检测人脸图像输入程序，通过模型计算特征向量，将特征向量与低质量人脸测试数据库中的每一幅事实答案图像的特征向量进行余弦距离的计算，当余弦值小于阈值判断为同一人。
下面对本发明的各步骤作进一步的展开描述。
步骤S101：为了建立此步骤中的三个数据库，首先建立一个基本人脸数据库，然后在基本人脸数据库的基础上，再分别建立人脸训练数据库，低质量人脸验证数据库和低质量人脸测试数据库；
基本人脸数据库的建立：由于互联网上丰富的名人照片资源，通过网络爬虫技术，利用公开的名人数据库，公开的名人照片数据库，必应和百度图片搜索引擎，是目前最好人脸数据库构建策略。收集整理20000名人的中文姓名和英文姓名，利用搜索引擎，每次查询取查询排名前200张图片，下载后，按照每个人名为一类进行存储，经过人工过滤，为每个人选取50到100张适合人脸比对的图片，选取标准按照照片中人物的姿态(在人脸可获取的条件下，姿态尽可能丰富)，是否为单人照片(尽量选择单人照片)，是否化妆(尽量选择无妆或者淡妆)，照片的清晰程度(尽量各种不同的清晰度都有覆盖)；
建立基本人脸数据库后，利用随机算法，随机地从中选出2000人，作为低质量人脸验证预选数据库，低质量人脸验证数据库都将从低质量人脸验证预选数据库中随机产生；
从低质量人脸验证预选数据库中，利用随机算法，随机地从中选出500人，然后分别在每人的照片集中选取一对照片，一对照片中最少包含一张低质量照片，最终生成本次实施例的低质量人脸验证数据库；
从基本人脸数据库中移除低质量人脸验证预选数据库，在剩下的人脸数据库中，利用随机算法，随机地从中选出2000人，作为低质量人脸测试预选数据库，低质量人脸测试数据库都将从低质量人脸测试预选数据库中随机产生；
从低质量人脸测试预选数据库中，利用随机算法，随机地从中选出500人，然后分别在每人的照片集中选取一对照片，一对照片中最少包含一张低质量照片，最终生成本次实施例的低质量人脸测试数据库；
从基本人脸数据库中移除低质量人脸验证预选数据库和低质量人脸测试预选数据库后，剩下的数据库，将其作为人脸训练数据库；
有能力收集更多数目的人和更多人脸数据，在构建基本人脸数据库时是没有具体数量限制的，但单人尽量控制在不要超过100张，以防止训练数据过度不平横。
步骤S102中构建的深度卷积神经网络构成参见图2：
输入层的输入数据为3通道的彩色人脸图像，输入图像大小为SxS，本实施例S＝112，S的其他建议值包括但不限于160，120，96，80；
输入输入层前，人脸图像RGB通道数据Cr,g,b必须在各自的通道上做归一化处理，处理公式为：
本发明构建的深度卷积神经网络使用了ResNet中的四阶段主干网络构架，但是在具体设计中去除掉批量归一化层和卷积神经网络中用来下采样的池化层，批量归一化层参见文献【4】S.Ioffe and C.Szegedy.Batch normalization:Accelerating deep networktraining by reducing internal covariate shift.arXiv:1502.03167；这样虽然提高的此深度卷积神经网络的训练难度，但是降低了整个模型训练的超参数空间，减少模型的参数总数量和提高了模型在推断时的速度。
本发明构建的深度卷积神经网络的第一阶段卷积输入层卷积核的为3x3，比现有选择的7x7的卷积核节省了五分之四的运算量；本发明去除卷积神经网络用来下采样的池化层，而在构建的深度卷积神经网络的每个阶段的输入层利用卷积层的步进机制直接完成下采样。
本发明在构建的深度卷积神经网络的残差单元，参见图4，去除了文献【3】和文献【4】建议的批量归一化层，这样除了节省了计算量，也不再需要确定批量归一化层用到的超参数，从而减少整个模型训练的超参数数量；
本发明使用PReLU(Parametric Rectified Linear Unit)为激活函数替换了参考文献【2】和参考文献【3】中使用的ReLU(Rectified Linear Unit)激活函数，
ReLU的公式为：
PReLU的公式为：
xi为对应卷积层的第i个滤波器的输出，α权重在训练中习得，实验证明在网络训练中学习到从滤波器提取的正负相位信息，可以提高算法的整体性能；
本发明构建的深度卷积神经网络的所有残差单元中的卷积层都不使用偏置项，这样使得模型更容易训练，也减少了模型的参数总量，同时提高了模型的推断速度；
本发明构建的深度卷积神经网络使用二阶段迁移学习训练法。
步骤S103中训练深度卷积神经网络的第一阶段使用的损失函数是基于Softmax扩展的球面损失函数，Softmax公式如下：
其中m为训练时每次输入集的样本数，n为训练集样本总类别数，wj和bj为全连接层的对应类别的权重和偏置；
球面损失函数公式如下：
由LossSoftmax公式，被处理成为||xi||cos(θj，i)，具体公式如下
其中bj＝0，wj通过二范数归一化使得||wj||＝1，||xi||为xi的二范数，再在xi与所属类向量的夹角乘上标量a来控制Softmax的难易度，最终得到了Losssphere。
步骤S105中训练深度卷积神经网络的第二阶段使用的损失函数是基于球面损失函数扩展的二范数归一化球面损失函数，这个损失函数解决了第一阶段模型对于低质量人脸比对准确率偏低的问题，二范数归一化球面损失函数的公式如下：
LossL2NormSphere公式中对Losssphere的||xi||进行归一化，使得||xi||＝1，由此直接使用标量s来代替归一化前的||xi||，实验表明二范数归一化球面损失函数可以比球面损失函数更加有效地提高对低质量图片的比对精度。
步骤S107中，余弦距离计算公式如下：
其中x1，x2分别为本发明创建的深度卷积神经网络结构计算得出的被比对照片的特征向量，当余弦距离小于阈值τ时，则可以判断比对照片为同一人所属，阈值τ根据实际应用中的需要进行设定，本发明对此不做具体限制。
综上所述，本发明通过上述步骤S101-步骤S107，简化深度卷积神经网络结构，提高人脸识别的精度，满足实际应用中的需求。
由于公开的大多数模型在业界常用的LFW(Labled Faces in Wild)的benchmark已经处于饱和状态，对生产环境中的深度卷积神经网络模型评估没有实际的指导作用，所以这里本发明只用步骤101中制作的低质量人脸测试数据库来评估比对结果。
实施例2
本实施例对实施例1中的方案进行一些调整和扩展，参见图3：
步骤201：使用实施例1中的网络结构，设定网络第二阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为128，设定网络第三阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为256，设定网络第四阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为512；
步骤202：在ResNet网络结构后增加卷积适配层，卷积适配层参数为滤波器核尺寸3x3,滤波器数目256，卷积步进长度为1，简写为k(3,3),256,s1；
步骤203：在卷积适配层后接入在实施例1中连接ResNet网络结构后的网络组件。
训练实施例2中创建的深度卷积神经网络，复用在实施例1中的步骤101所建立的训练库，验证库和测试库，训练步骤使用实施例1中从步骤102到步骤107的训练步骤。
本实施例展示了灵活地配置和扩展本发明创建的深度神经卷积网络，使用实施例1步骤S101中所建立的低质量人脸测试数据库来评估本实施例的比对结果，比对结果如下：
综上所述，本发明将人脸训练数据库里的图像经过深度卷积神经网络加全连接层，提取每幅图像的基本特征；通过二范数归一化球面损失函数，最小化二范数归一化球面损失函数的值，使用梯度下降法来进行训练，结合训练过程中的统计数据，选定在统计数据中比对精度最高的深度卷积神经网络模型为最终模型。本发明提供的技术方案，参数可控，计算简化，有效提取人脸图像的特征并进行比对的方法；具体有益效果如下：1)使用尽可能少的深度卷积神经网络组件构建简单结构的深度卷积神经网络，灵活地调整模型尺寸，来适应不同应用场景；2)使用较少的参数，有效降低了模型的尺寸同时降低了计算的复杂度；3)结合使用二范数归一化球面损失函数来训练深度卷积神经网络加全连接层的人脸比对模型，提高了针对低质量的人脸的比对准确率。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (8)

1.一种基于深度卷积神经网络的低质量人脸的比对方法，其特征在于，包括如下步骤：
S101)建立人脸训练数据库，低质量人脸验证数据库和低质量人脸测试数据库；
S102)将人脸训练数据库里的每幅图像进行归一化处理，将处理完的数据张量输入到深度卷积神经网络加全连接层中提取特征；
S103)通过球面损失函数，利用梯度下降法寻找全连接层中的权重值和深度卷积神经网络中各个滤波器的权重值，在训练过程中，同时全程记录低质量人脸识别验证数据库的统计结果；
S104)训练完成后，根据训练中所统计的数据，选择比对精度最高的深度卷积神经网络模型作为第一阶段模型；
S105)通过迁移学习复用第一阶段深度卷积神经网络模型以及第一阶段训练所得的所有权重值，通过二范数归一化球面损失函数，利用梯度下降法寻找全连接层中的权重值和深度卷积神经网络中各个滤波器的权重值，在训练过程中，同时全程记录低质量人脸识别验证数据库的统计结果；
S106)训练完成后，根据训练中所统计的数据，选择比对精度最高的深度卷积神经网络模型作为最终模型；
S107)将最终模型导入到将部署的目标嵌入式平台的测试程序中，将低质量人脸测试数据库中的待检测人脸图像输入程序，通过模型计算特征向量，将特征向量与低质量人脸测试数据库中的每一幅事实答案图像的特征向量进行余弦距离的计算，当余弦值小于阈值判断为同一人。
2.如权利要求1所述的基于深度卷积神经网络的低质量人脸的比对方法，其特征在于，所述步骤S101包括：
为每个人按照照片中人物的姿态，是否为单人照片，是否化妆以及照片的清晰程度，选取50到100张适合人脸比对的图片，建立基本人脸数据库；
利用随机算法从基本人脸数据库中选出X人，作为低质量人脸验证预选数据库，从低质量人脸验证预选数据库中利用随机算法选出Y人，然后分别在每人的照片集中选取一对照片，所述一对照片中最少包含一张低质量照片，最终生成本低质量人脸验证数据库，X>Y>100；
从基本人脸数据库中移除低质量人脸验证预选数据库，在剩下的人脸数据库中，利用随机算法从中选出X人，作为低质量人脸测试预选数据库；
从低质量人脸测试预选数据库中，利用随机算法选出Y人，然后分别在每人的照片集中选取一对照片，一对照片中最少包含一张低质量照片，最终生成低质量人脸测试数据库；
从基本人脸数据库中移除低质量人脸验证预选数据库和低质量人脸测试预选数据库，并将剩下的数据库作为人脸训练数据库。
3.如权利要求2所述的基于深度卷积神经网络的低质量人脸的比对方法，其特征在于，所述X的取值为2000，所述Y的取值为500。
4.如权利要求1所述的基于深度卷积神经网络的低质量人脸的比对方法，其特征在于，所述步骤S102采用3通道的彩色人脸图像作为输入数据，输入图像大小为SxS，S的取值为160，120，112，96或80；
输入前，所述彩色人脸图像RGB通道数据Cr,g,b在各自的通道上做归一化处理，处理公式为：
5.如权利要求1所述的基于深度卷积神经网络的低质量人脸的比对方法，其特征在于，所述步骤S102采用ResNet中的四阶段主干网络构架构建深度卷积神经网络，在每个阶段的输入层利用卷积层的步进机制代替池化层直接完成下采样，并在残差单元中去除批量归一化层。
6.如权利要求5所述的基于深度卷积神经网络的低质量人脸的比对方法，其特征在于，所述步骤S102采用PReLU为激活函数，并在所有残差单元的卷积层去除偏置项，PReLU的公式为：
α为训练学习中得到的权重值，xi为对应卷积层的第i个滤波器的输出。
7.如权利要求5所述的基于深度卷积神经网络的低质量人脸的比对方法，其特征在于，所述步骤S102设定网络第一阶段卷积输入层卷积核的为3x3，设定网络第二阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为128，设定网络第三阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为256，设定网络第四阶段卷积层输入层和残差单元类的卷积层的滤波器的数目为512；并在ResNet网络结构后增加卷积适配层，所述卷积适配层参数为滤波器核尺寸3x3,滤波器数目256，卷积步进长度为1。
8.如权利要求5所述的基于深度卷积神经网络的低质量人脸的比对方法，其特征在于，所述步骤S103训练深度卷积神经网络的第一阶段使用的损失函数是基于Softmax扩展的球面损失函数，Softmax公式如下：
其中m为训练时每次输入集的样本数，n为训练集样本总类别数，wj和bj为全连接层的对应类别的权重和偏置。
CN201810392962.4A 2018-04-27 2018-04-27 一种基于深度卷积神经网络的低质量人脸的比对方法 Pending CN108573243A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810392962.4A CN108573243A (zh) 2018-04-27 2018-04-27 一种基于深度卷积神经网络的低质量人脸的比对方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810392962.4A CN108573243A (zh) 2018-04-27 2018-04-27 一种基于深度卷积神经网络的低质量人脸的比对方法

Publications (1)

Publication Number Publication Date
CN108573243A true CN108573243A (zh) 2018-09-25

Family

ID=63575344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810392962.4A Pending CN108573243A (zh) 2018-04-27 2018-04-27 一种基于深度卷积神经网络的低质量人脸的比对方法

Country Status (1)

Country Link
CN (1) CN108573243A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493297A (zh) * 2018-11-01 2019-03-19 重庆中科云丛科技有限公司 低质量人脸图像增强方法、系统、设备及存储介质
CN109685106A (zh) * 2018-11-19 2019-04-26 深圳博为教育科技有限公司 一种图像识别方法、人脸考勤方法、装置以及系统
CN110163271A (zh) * 2019-05-13 2019-08-23 武汉大学 一种基于球面投影网格和球面卷积的全景影像目标检测方法
CN110211164A (zh) * 2019-06-05 2019-09-06 中德（珠海）人工智能研究院有限公司 基于神经网络学习基础图形的特征点算子的图片处理方法
CN110390282A (zh) * 2019-07-12 2019-10-29 西安格威西联科技有限公司 一种基于余弦中心损失的指静脉识别方法及系统
CN110956056A (zh) * 2018-09-26 2020-04-03 北京中科虹星科技有限公司 一种人脸活体检测方法及系统
CN110968735A (zh) * 2019-11-25 2020-04-07 中国矿业大学 一种基于球面相似度层次聚类的无监督行人重识别方法
CN111222638A (zh) * 2019-11-21 2020-06-02 湖南大学 一种基于神经网络的网络异常检测方法及装置
CN111260651A (zh) * 2018-11-30 2020-06-09 西安电子科技大学 一种基于深度迁移学习的胃部低质量mri图像分割方法
CN111611924A (zh) * 2020-05-21 2020-09-01 东北林业大学 一种基于深度迁移学习模型的蘑菇识别方法
WO2020186886A1 (zh) * 2019-03-18 2020-09-24 中国科学院深圳先进技术研究院 一种人脸识别模型的生成方法及设备
CN111862040A (zh) * 2020-07-20 2020-10-30 中移（杭州）信息技术有限公司 人像图片质量评价方法、装置、设备及存储介质
CN112329681A (zh) * 2020-11-13 2021-02-05 北京思比科微电子技术股份有限公司 一种应用于指纹识别的滤波方法
CN112800914A (zh) * 2021-01-20 2021-05-14 桂林电子科技大学 一种基于专家先验知识和ltp复杂光照下的人脸识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991439A (zh) * 2017-03-28 2017-07-28 南京天数信息科技有限公司 基于深度学习与迁移学习的图像识别方法
CN107203752A (zh) * 2017-05-25 2017-09-26 四川云图睿视科技有限公司 一种联合深度学习和特征二范数约束的人脸识别方法
CN107679451A (zh) * 2017-08-25 2018-02-09 百度在线网络技术（北京）有限公司 建立人脸识别模型的方法、装置、设备和计算机存储介质
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
CN106991439A (zh) * 2017-03-28 2017-07-28 南京天数信息科技有限公司 基于深度学习与迁移学习的图像识别方法
CN107203752A (zh) * 2017-05-25 2017-09-26 四川云图睿视科技有限公司 一种联合深度学习和特征二范数约束的人脸识别方法
CN107679451A (zh) * 2017-08-25 2018-02-09 百度在线网络技术（北京）有限公司 建立人脸识别模型的方法、装置、设备和计算机存储介质
CN107886064A (zh) * 2017-11-06 2018-04-06 安徽大学 一种基于卷积神经网络的人脸识别场景适应的方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956056A (zh) * 2018-09-26 2020-04-03 北京中科虹星科技有限公司 一种人脸活体检测方法及系统
CN109493297B (zh) * 2018-11-01 2020-08-18 重庆中科云从科技有限公司 低质量人脸图像增强方法、系统、设备及存储介质
CN109493297A (zh) * 2018-11-01 2019-03-19 重庆中科云丛科技有限公司 低质量人脸图像增强方法、系统、设备及存储介质
CN109685106A (zh) * 2018-11-19 2019-04-26 深圳博为教育科技有限公司 一种图像识别方法、人脸考勤方法、装置以及系统
CN111260651B (zh) * 2018-11-30 2023-11-10 西安电子科技大学 一种基于深度迁移学习的胃部低质量mri图像分割方法
CN111260651A (zh) * 2018-11-30 2020-06-09 西安电子科技大学 一种基于深度迁移学习的胃部低质量mri图像分割方法
WO2020186886A1 (zh) * 2019-03-18 2020-09-24 中国科学院深圳先进技术研究院 一种人脸识别模型的生成方法及设备
CN110163271A (zh) * 2019-05-13 2019-08-23 武汉大学 一种基于球面投影网格和球面卷积的全景影像目标检测方法
CN110211164A (zh) * 2019-06-05 2019-09-06 中德（珠海）人工智能研究院有限公司 基于神经网络学习基础图形的特征点算子的图片处理方法
CN110390282A (zh) * 2019-07-12 2019-10-29 西安格威西联科技有限公司 一种基于余弦中心损失的指静脉识别方法及系统
CN111222638A (zh) * 2019-11-21 2020-06-02 湖南大学 一种基于神经网络的网络异常检测方法及装置
CN111222638B (zh) * 2019-11-21 2023-05-12 湖南大学 一种基于神经网络的网络异常检测方法及装置
CN110968735A (zh) * 2019-11-25 2020-04-07 中国矿业大学 一种基于球面相似度层次聚类的无监督行人重识别方法
CN111611924A (zh) * 2020-05-21 2020-09-01 东北林业大学 一种基于深度迁移学习模型的蘑菇识别方法
CN111611924B (zh) * 2020-05-21 2022-03-25 东北林业大学 一种基于深度迁移学习模型的蘑菇识别方法
CN111862040A (zh) * 2020-07-20 2020-10-30 中移（杭州）信息技术有限公司 人像图片质量评价方法、装置、设备及存储介质
CN111862040B (zh) * 2020-07-20 2023-10-31 中移（杭州）信息技术有限公司 人像图片质量评价方法、装置、设备及存储介质
CN112329681A (zh) * 2020-11-13 2021-02-05 北京思比科微电子技术股份有限公司 一种应用于指纹识别的滤波方法
CN112800914A (zh) * 2021-01-20 2021-05-14 桂林电子科技大学 一种基于专家先验知识和ltp复杂光照下的人脸识别方法

Similar Documents

Publication Publication Date Title
CN108573243A (zh) 一种基于深度卷积神经网络的低质量人脸的比对方法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
Wang et al. A deep network solution for attention and aesthetics aware photo cropping
CN105138993B (zh) 建立人脸识别模型的方法及装置
CN107292813B (zh) 一种基于生成对抗网络的多姿态人脸生成方法
CN110349136A (zh) 一种基于深度学习的篡改图像检测方法
CN106022317A (zh) 人脸识别方法及装置
CN111091075B (zh) 人脸识别方法、装置、电子设备及存储介质
CN110415184B (zh) 一种基于正交元空间的多模态图像增强方法
CN107330359A (zh) 一种人脸对比的方法和装置
CN109145717A (zh) 一种在线学习的人脸识别方法
CN109214263A (zh) 一种基于特征复用的人脸识别方法
CN108197669B (zh) 卷积神经网络的特征训练方法及装置
CN104298973A (zh) 基于自编码器的人脸图像旋转方法
CN109639479A (zh) 基于生成对抗网络的网络流量数据增强方法及装置
WO2020253304A1 (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN110008961A (zh) 文字实时识别方法、装置、计算机设备及存储介质
CN108875907A (zh) 一种基于深度学习的指纹识别方法和装置
CN109344709A (zh) 一种人脸生成伪造图像的检测方法
CN109977832A (zh) 一种图像处理方法、装置及存储介质
CN113361387A (zh) 人脸图像融合方法及装置、存储介质及电子设备
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN116977463A (zh) 图像处理方法、装置、计算机设备、存储介质及产品
Wang et al. Distortion recognition for image quality assessment with convolutional neural network
CN108573241A (zh) 一种基于融合特征的视频行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180925