CN107871100B - 人脸模型的训练方法和装置、人脸认证方法和装置 - Google Patents

人脸模型的训练方法和装置、人脸认证方法和装置 Download PDF

Info

Publication number
CN107871100B
CN107871100B CN201610848965.5A CN201610848965A CN107871100B CN 107871100 B CN107871100 B CN 107871100B CN 201610848965 A CN201610848965 A CN 201610848965A CN 107871100 B CN107871100 B CN 107871100B
Authority
CN
China
Prior art keywords
face
training
model
certificate
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610848965.5A
Other languages
English (en)
Other versions
CN107871100A (zh
Inventor
王洋
张伟琳
陆小军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Eyecool Technology Co Ltd
Original Assignee
Beijing Eyecool Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Eyecool Technology Co Ltd filed Critical Beijing Eyecool Technology Co Ltd
Priority to CN201610848965.5A priority Critical patent/CN107871100B/zh
Priority to PCT/CN2017/102255 priority patent/WO2018054283A1/zh
Publication of CN107871100A publication Critical patent/CN107871100A/zh
Application granted granted Critical
Publication of CN107871100B publication Critical patent/CN107871100B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种人脸模型的训练方法和装置、人脸认证方法和装置，该训练方法包括：获取训练样本，所述训练样本包括训练图像数据和证件图像数据；根据所述训练图像数据和所述证件图像数据获得训练人脸图像和证件人脸图像；采用所述训练人脸图像训练人脸特征模型；采用配对的训练人脸图像和证件人脸图像，对所述人脸特征模型进行调整。本发明实施例通过识别信号预训练和认证信号微调的方法训练模型，解决样本数量不平衡的问题，提高了模型的性能，从而提高了人脸认证的准确率。

Description

人脸模型的训练方法和装置、人脸认证方法和装置
技术领域
本发明涉及生物数据的技术领域，特别是涉及一种人脸模型的训练方法、一种基于人脸模型的人脸认证方法、一种人脸模型的训练装置和一种基于人脸模型的人脸认证装置。
背景技术
随着第二代身份证、居住证等证件在金融、商业等领域的广泛应用，出现了越来越多如盗用证件、伪造证件等问题。
人脸认证在使用中具有用户配合度低、非接触、非强制等特点，人脸认证在金融、商业等领域辅助进行证件的验证。
但是，人脸认证也极易受到外界环境(如光照，姿态，表情等)的影响，并且，证件中的图像经过压缩，分辨率较低，与当前视频图像年龄差异大，背景差别明显。
目前，基于证件进行认证处理的方法主要是基于传统的统计学习和机器学习的方法，例如，MMP-PCA方法、LGBP-PCA-LDA方法、BSF-PCA-LDA方法等等。
这些人脸认证的方法采用的大多为人工设计(hand-crafted)特征，该特征对光照、姿态、年龄变化鲁棒性较差，并且，训练过程需要大量的证件照片和视频照片作为样本，但是，证件照片一般数量很少，往往只有一张，导致训练的模型性能较差，人脸认证的准确率较低。
发明内容
鉴于上述问题，为了解决上述特征鲁棒性较差、样本数量较多、模型性能差、人脸认证的准确率较低的问题，本发明实施例提出了一种人脸模型的训练方法、一种基于人脸模型的人脸认证方法和相应的一种人脸模型的训练装置、一种基于人脸模型的人脸认证装置。
为了解决上述问题，本发明实施例公开了一种人脸模型的训练方法，包括：
获取训练样本，所述训练样本包括训练图像数据和证件图像数据；
根据所述训练图像数据和所述证件图像数据获得训练人脸图像和证件人脸图像；
采用所述训练人脸图像训练人脸特征模型；
采用配对的训练人脸图像和证件人脸图像，对所述人脸特征模型进行调整。
本发明实施例还公开了一种基于人脸模型的人脸认证方法，所述人脸模型为如上述训练方法得到的人脸模型，所述人脸模型包括人脸特征模型，所述人脸认证方法包括：
当接收到人脸认证的指令时，采集目标图像数据；
在所述目标图像数据中提取目标人脸图像；
将所述目标人脸图像输入预先训练的人脸特征模型中提取目标人脸特征；
根据所述目标人脸特征与指定的证件图像数据进行认证处理。
本发明实施例还公开了一种人脸模型的训练装置，包括：
训练样本获取模块，用于获取训练样本，所述训练样本包括训练图像数据和证件图像数据；
样本人脸图像提取模块，用于根据所述训练图像数据和所述证件图像数据获得训练人脸图像和证件人脸图像；
人脸模型训练模块，用于采用所述训练人脸图像训练人脸特征模型；
人脸模型调整模块，用于采用配对的训练人脸图像和证件人脸图像，对所述人脸特征模型进行调整。
本发明实施例还公开了一种基于人脸模型的人脸认证装置，所述人脸模型为如上述训练装置得到的人脸模型，所述人脸模型包括人脸特征模型，所述人脸认证装置包括：
目标图像数据模块，用于在接收到人脸认证的指令时，采集目标图像数据；
目标人脸图像提取模块，用于在所述目标图像数据中提取目标人脸图像；
目标人脸特征提取模块，用于将所述目标人脸图像输入预先训练的人脸特征模型中提取目标人脸特征；
认证处理模块，用于根据所述目标人脸特征与指定的证件图像数据进行认证处理。
本发明实施例包括以下优点：
本发明实施例在训练图像数据和证件图像数据中提取训练人脸图像和证件人脸图像，采用训练人脸图像训练人脸特征模型，采用配对的训练人脸图像和证件人脸图像，对人脸特征模型进行调整，识别信号预训练和认证信号微调的方法训练模型，解决样本数量不平衡的问题，提高了模型的性能，从而提高了人脸认证的准确率。
并且，对人脸进行特征表达，不依赖于人工对特征的选择，并且对年龄，姿态和光照等因素表现出较好的鲁棒性。
附图说明
图1是本发明的一种人脸模型的训练方法实施例的步骤流程图；
图2是本发明实施例的一种训练样本的示例图；
图3是本发明的另一种人脸模型的训练方法实施例的步骤流程图；
图4是本发明实施例的一种卷积神经网络的处理流程图；
图5是本发明实施例的一种Inception的结构示例图；
图6是本发明的一种基于人脸模型的人脸认证方法实施例的步骤流程图；
图7A-图7D是本发明实施例的一种数据库的图像示例图；
图8是本发明实施例的一种测试ROC曲线对比图；
图9是本发明的一种人脸模型的训练装置实施例的结构框图；
图10是本发明的一种基于人脸模型的人脸认证装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1，示出了本发明的一种人脸模型的训练方法实施例的步骤流程图，具体可以包括如下步骤：
步骤101，获取训练样本。
在具体实现中，训练样本包括训练图像数据和证件图像数据。
其中，证件图像数据为某个证件中存储的图像数据，例如，二代身份证、居住证、驾驶证等等，证件图像数据一般经过高强度的压缩，分辨率低，而且，数量一般很少，通常一个证件只有一副，背景较为纯净(如白色、蓝色、红色等)。
训练图像数据为与证件图像数据不同的图像数据，如视频图像数据，训练图像数据一般未经过高强度的压缩，分辨率比证件图像数据高，而且，可以通过摄像头等方式采集，数量一般比证件图像数据多，背景较为复杂(如包含环境信息)。
例如，如图2所示，最左侧的图像数据为证件图像数据，其余的图像数据为训练图像数据。
步骤102，根据所述训练图像数据和所述证件图像数据获得训练人脸图像和证件人脸图像。
在训练图像数据和证件图像数据中一般具有用户的人脸，从其中提取训练人脸图像和证件人脸图像，进行人脸特征模型的训练。
在本发明的一个实施例中，步骤102可以包括如下子步骤：
子步骤S11，在所述训练图像数据和所述证件图像数据中分别进行人脸检测，确定训练人脸图像和证件人脸图像；
子步骤S12，在所述训练人脸图像和所述证件人脸图像中分别进行人脸特征点定位，确定训练眼睛数据和证件眼睛数据；
子步骤S13，将所述训练眼睛数据的位置和所述证件眼睛数据的位置与预设模板位置进行对齐；
子步骤S14，对除所述训练眼睛数据之外的训练人脸图像，根据所述训练眼睛数据的位置关系进行相似变换，获得归一化后的训练人脸图像；
子步骤S15，对除所述证件眼睛数据之外的证件人脸图像，根据所述证件眼睛数据的位置关系进行相似变换，获得归一化后的证件人脸图像。
在本发明实施例中，可以采取AdaBoost(自适应提升方法)对训练样本进行人脸检测，在检测出的人脸图像(即训练人脸图像和证件人脸图像)上采用coase-to-fine(CF，级联深度模型)方法对人脸图像进行定位，并利用定位后眼睛数据的位置坐标，采用相似变换进行归一化，例如，归一化后人脸图像的大小为100×100。
步骤103，采用所述训练人脸图像训练人脸特征模型。
在具体实现中，训练的人脸模型包括人脸特征模型，该人脸特征模型可以为用于提取人脸特征的模型。
在本发明的一个实施例中，步骤103可以包括如下子步骤：
子步骤S21，采用所述训练人脸图像基于人脸识别对所述人脸特征模型进行训练，以训练出所述模型参数的初始参数值。
对于卷积神经网络等神经网络模型来说，训练数据的数量和质量往往直接影响模型提取特征的能力和分类的效果。
但是，由于身份证等证件的证件图像数据多为单样本，即一个身份证中只存储有一副人脸图像，在构造数据集时，会出现训练图像数据与证件图像数据的数量不平衡的问题。
因此，本发明实施例采用识别信号预训练和认证信号微调的方法训练模型，从而解决样本数量不平衡的问题。
在具体实现中，可以通过随机梯度下降的方式训练人脸特征模型，minibatch(训练批次)大小为64，冲量为0.9，目标是通过双信号有监督训练得到人脸特征模型的模型参数θc。
在第一个阶段使用训练人脸图像进行识别信号有监督训练得到模型参数θid，该参数为第二个阶段的初始参数。
在本发明的一个实施例中，子步骤S21可以包括如下子步骤：
子步骤S211，随机提取训练人脸图像；
子步骤S212，将随机提取的训练人脸图像输入预置的人脸特征模型中提取训练人脸特征；
子步骤S213，计算所述训练人脸特征用于人脸识别时的第一损失率；
子步骤S214，判断所述第一损失率是否收敛；若否，则执行子步骤S215，之后，返回执行子步骤S216；
子步骤S215，以当前迭代的所述模型参数的参数值作为初始参数值；
子步骤S216，采用所述第一损失率计算第一梯度；
子步骤S217，采用所述第一梯度与预设的学习率对所述模型参数的参数值进行下降，返回执行子步骤S211。
第一个阶段的参数值初始化为服从高斯分布N(0，σ2)的随机参数，其中，
Figure GDA0002975257270000061
在第一阶段中，输入的训练数据集为{(xi，yi)，i＝1，2，…，N},其中xi表示训练人脸图像，yi是用户标签(即类别标签，表示属于哪个用户)。
在训练前，对人脸特征模型中的模型参数θid(其中，id表示初始参数值)、学习率η(t)、迭代次数t进行初始化，配置初始的值，如对学习率η(t)初始的值为0.1，t初始的值为0(t←0)。
训练过程如下：
在第t+1次迭代中(t←t+1)，从训练数据集中随机提取训练样本{(xi，yi)}。
计算前向过程，获得训练人脸特征:
fi＝Conv(xi，θid)
其中，Conv()表示人脸特征模型。
计算训练人脸特征用于人脸识别时的第一损失率，通过采用第一损失率对模型参数求偏导的方式计算第一梯度：
Figure GDA0002975257270000062
其中，IdentificationLoss表示训练人脸特征用于人脸识别时的第一损失率。
在具体实现中，通过多元回归的方式计算训练人脸特征fi属于预设的用户标签的概率。
采用概率计算训练人脸特征的用于人脸识别时的第一损失率IdentificationLoss。
Figure GDA0002975257270000071
其中，pi为目标的概率分布(即目标的用户标签的概率分布)，
Figure GDA0002975257270000072
为预测的概率分布(即预测的用户标签的概率分布)。
如果第一损失率未收敛(如多个连续的第一损失率之间的差异大于或等于预设的差异阈值)，则更新人脸特征模型的模型参数，进行下一轮迭代：
Figure GDA0002975257270000073
反之，如果第一损失率收敛(如多个连续的第一损失率之间的差异小于预设的差异阈值)，则结束训练，输出模型参数θid。
当然，除了第一损失率是否收敛作为迭代的判断条件之外，还可以采用其他条件作为迭代的判断条件，如第一梯度是否收敛、迭代的次数是否达到迭代阈值，等等，本发明实施例对此不加以限制。
步骤104，采用配对的训练人脸图像和证件人脸图像，对所述人脸特征模型进行调整。
在具体实现中，可以根据证件人脸图像的特性，对人脸特征模型进行适应性调整。
在本发明的一个实施例中，步骤104可以包括如下子步骤：
子步骤S31，采用所述配对的训练人脸图像和证件人脸图像基于人脸认证对所述人脸特征模型进行训练，以将所述模型参数从初始参数值调整为目标参数值。
第二阶段采用训练人脸图像和证件人脸图像配对样本进行认证信号有监督训练得到最终的模型参数θc＝θve。
在本发明的一个实施例中，子步骤S31可以包括如下子步骤：
子步骤S311，将属于同一用户的训练人脸图像和证件人脸图像进行配对；
子步骤S312，随机提取配对的训练人脸图像和证件人脸图像；
子步骤S313，将随机提取的、配对的训练人脸图像和证件人脸图像输入所述人脸特征模型中提取训练人脸特征和证件人脸特征；
子步骤S314，计算所述训练人脸特征和所述证件人脸特征用于人脸认证时的第二损失率；
子步骤S315，判断所述第二损失率是否收敛；若是，则执行子步骤S316，若否，则执行子步骤S317；
子步骤S316，以当前迭代的所述模型参数的参数值作为目标参数值；
子步骤S317，采用所述第二损失率计算第二梯度；
子步骤S318，采用所述第二梯度与预设的学习率对所述模型参数的参数值进行下降，返回执行子步骤S312。
在具体实现中，可以通过随机梯度下降的方式训练人脸特征模型。
在第二阶段中，输入的训练数据集为{(Xij，lij)，i＝1，2，…，M，j＝1，2，…，N},其中，Xij＝(xi，xj)表示一对训练人脸图像和证件人脸图像，lij为二进制标签，lij为分类标签，lij＝1表示训练人脸图像和证件人脸图像来源于同一个人，lij＝-1表示训练人脸图像和证件人脸图像来自于不同人。
例如，如图2所示，第一幅的证件人脸图像和第二幅的训练人脸图像可以配对，第一幅的证件人脸图像和第三幅的训练人脸图像可以配对，第一幅的证件人脸图像和第四幅的训练人脸图像可以配对，等等。
在调整前，对人脸特征模型中的模型参数θve(其中，ve为目标参数值)、学习率η(t)、迭代次数t进行初始化，配置初始的值，如θve＝θid，对学习率η(t)初始的值为0.1，t初始的值为0(t←0)。
调整过程如下：
在第t+1次迭代中(t←t+1)，从训练数据集中随机提取训练样本{(Xij,lij)}。
计算前向过程，获得训练人脸特征和证件人脸特征:
fij＝Conv(Xij,θve)
其中，Conv()表示人脸特征模型。
计算训练人脸特征和证件人脸特用于人脸认证时的第二损失率，通过采用第二损失率对模型参数求偏导的方式计算第二梯度：
Figure GDA0002975257270000091
其中，VerificationLoss表示人脸特征用于人脸认证时的第二损失率。
在具体实现中，可以计算训练人脸特征和证件人脸特征之间的距离。
采用距离计算训练人脸特征和证件人脸特征的用于人脸认证时的损失率VerificationLoss。
Figure GDA0002975257270000092
其中，
Figure GDA0002975257270000093
表示训练人脸特征fi和证件人脸特征fj之间的距离，σ表示权重，w表示斜率，b表示截距。
如果第二损失率未收敛(如多个连续的第二损失率之间的差异大于或等于预设的差异阈值)，则更新人脸特征模型的模型参数，进行下一轮迭代：
Figure GDA0002975257270000094
反之，如果第二损失率收敛(如多个连续的第二损失率之间的差异小于预设的差异阈值)，则结束调整，输出模型参数θc＝θve。
当然，除了第二损失率是否收敛作为迭代的判断条件之外，还可以采用其他条件作为迭代的判断条件，如第二梯度是否收敛、迭代的次数是否达到迭代阈值，等等，本发明实施例对此不加以限制。
本发明实施例在训练图像数据和证件图像数据中提取训练人脸图像和证件人脸图像，采用训练人脸图像训练人脸特征模型，采用配对的训练人脸图像和证件人脸图像，对人脸特征模型进行调整，识别信号预训练和认证信号微调的方法训练模型，解决样本数量不平衡的问题，提高了模型的性能，从而提高了人脸认证的准确率。
并且，对人脸进行特征表达，不依赖于人工对特征的选择，并且对年龄，姿态和光照等因素表现出较好的鲁棒性。
参照图3，示出了本发明的另一种人脸模型的训练方法实施例的步骤流程图，具体可以包括如下步骤：
步骤301，获取训练样本。
其中，所述训练样本包括训练图像数据和证件图像数据。
步骤302，在所述训练图像数据和所述证件图像数据中提取训练人脸图像和证件人脸图像。
步骤303，采用所述训练人脸图像训练人脸特征模型。
步骤304，采用配对的训练人脸图像和证件人脸图像，对所述人脸特征模型进行调整。
步骤305，采用配对的训练人脸图像和证件人脸图像，按照联合贝叶斯训练人脸认证模型。
在具体实现中，训练的人脸模型包括人脸认证模型，该人脸认证模型可以为用于计算人脸特征之间的相似度。
在本发明的一个实施例中，为进一步增强人脸特征的判别性并进行认证处理，可以采用训练人脸图像和证件人脸图像训练JointBayesian(JB，联合贝叶斯)分类器。
其中，联合贝叶斯是基于贝叶斯方法的一种分类器，通过两个后验概率的比值的对数对一对特征进行打分，可以增大类间误差，缩小类内误差。
在训练时，输入的训练数据集为{(fij，lij)}(i＝1，2，…，mi，j＝1，2，…，N),其中，fij＝Conv(xij；θconv)，Xij＝(xi，xj)表示一对训练人脸图像和证件人脸图像，Conv()表示人脸特征模型，lij为分类标签，lij＝1表示训练人脸图像和证件人脸图像来源于同一个人，lij＝-1表示训练人脸图像和证件人脸图像来自于不同人。
训练过程如下：
子步骤S41，初始化协方差矩阵Sμ和Sε:
Figure GDA0002975257270000111
Figure GDA0002975257270000112
子步骤S42，计算矩阵F和G：
F＝Sε -1
G＝-(miSμ+Sε)-1SμSε -1
子步骤S43，计算μi和εij:
Figure GDA0002975257270000113
Figure GDA0002975257270000114
子步骤S44，更新协方差矩阵Sμ和Sε:
Figure GDA0002975257270000115
Figure GDA0002975257270000116
子步骤S44，判断Sμ和Sε是否收敛，若是，则执行子步骤S45，若否，则返回执行子步骤S42。
子步骤S45，按照如下公式分别计算矩阵F,G和A:
F＝Sε -1
G＝-(2Sμ+Sε)-1SμSε -1
A＝(Sμ+Sε)-1-(F+G)
子步骤S46，输出人脸认证模型r(x1，x2)
Figure GDA0002975257270000117
在本发明实施例中，人脸特征模型包括卷积神经网络(Convolutional NeuralNetwork，CNN)、深层神经网络(Deep Neural Networks，DNN)等网路模型。
其中，卷积神经网络在人工神经网络中引入卷积结构，通过局部权重共享的方法，一方面可以减小计算量，另一方面可以抽取更加抽象的特征。
在具体实现中，卷积神经网络包括输入层、一个或多个卷积层、一个或多个采样层、输出层。
卷积神经网络的每一层一般由多个map组成，每个map由多个神经单元组成，同一个map的所有神经单元共用一个卷积核(即权重)，卷积核往往代表一个特征，比如某个卷积核代表一段弧，那么把这个卷积核在整个图片上滚一下，卷积值较大的区域就很有可能是一段弧。
输入层：输入层没有输入值，有一个输出向量，这个向量的大小就是分块人脸图像的大小，如一个100×100的矩阵。
卷积层：卷积层的输入要么来源于输入层，要么来源于采样层，卷积层的每一个map都有一个大小相同的卷积核。
采样层(subsampling，Pooling)：采样层是对上一层map的一个采样处理，采样方式是对上一层map的相邻小区域进行聚合统计。
在本发明实施例中，卷积神经网络的模型参数包括卷积核，其参数值为卷积核的值，即在人脸特征模型进行训练和调整时，可以对卷积核的值进行训练和调整。
参照图4，示出了本发明实施例的一种卷积神经网络的处理流程图，具体可以包括如下步骤：
步骤401，当所述卷积层属于第一深度范围时，采用指定的单个卷积核进行卷积操作。
在本发明实施例中，可以将人脸图像输入卷积神经网络中，人脸图像可以包括离线训练时的训练人脸图像、证件人脸图像，也可以包括在线人脸认证时的目标人脸图像，还可以包括其他人脸图像，等等。
在浅层(即第一深度范围)可以直接采用卷积核进行卷积，减少计算量。
在第一深度范围卷积完成之后，可以通过BN(BatchNormalization)算子、ReLU(Rectified LinearUnits)函数等方式进行规范化操作和激活操作。
步骤402，当所述卷积层属于第二深度范围时，采用分层线性模型Inception进行卷积操作。
其中，第二深度范围的层数大于第一深度范围的层数。
在本发明实施例中，在深层(即第二深度范围)可以采用Inception进行卷积，一方面，可以在计算量不变的情况下增加卷积神经网络的宽度和深度，从而增进卷积神经网络的性能；另一方面，由于使用不同大小的卷积核(如1×1、3×3、5×5)可以提取多尺度的人脸特征。
在本发明的一个实施例中，分层线性模型Inception包括并联的第一层、第二层、第三层、第四层，则在本发明实施例中，步骤402可以包括如下子步骤：
子步骤S51，在第一层中，采用指定的第一卷积核与第一步长对输入所述分层线性模型Inception的图像数据进行卷积操作，获得第一特征图像数据；
在第一层中，可以通过BN算子等方式对第一特征图像数据进行规范化操作。
需要说明的是，由于输入卷积神经网络的人脸图像可以是离线训练时的训练人脸图像、证件人脸图像，也可以是在线人脸认证时的目标人脸图像，因此，输入分层线性模型Inception的图像数据也在这几种情况中有所不同。
子步骤S52，在第二层中，采用指定的第二卷积核与第二步长对所述分层线性模型Inception的图像数据进行卷积操作，获得第二特征图像数据；
在第二层中，可以通过BN算子、ReLU函数等方式对第二特征图像数据进行规范化操作和激活操作。
子步骤S53，采用指定的第三卷积核与第三步长对所述第二特征图像数据进行卷积操作，获得第三特征图像数据；
在具体实现中，可以BN算子等方式对所述第三特征图像数据进行规范化操作。
子步骤S54，在第三层中，采用指定的第四卷积核与第四步长对输入所述分层线性模型Inception的图像数据进行卷积操作，获得第四特征图像数据；
在第三层中，可以通过BN算子、ReLU函数等方式对第四特征图像数据进行规范化操作和激活操作。
子步骤S55，采用指定的第五卷积核与第五步长对所述第四特征图像数据进行卷积操作，获得第五特征图像数据；
在具体实现中，可以通过BN算子等方式对第五特征图像数据进行规范化操作。
子步骤S56，在第四层中，采用指定的第六卷积核与第六步长对输入所述分层线性模型Inception的图像数据进行卷积操作，获得第六特征图像数据；
在第四层中，可以通过BN算子等方式对第六特征图像数据进行规范化操作。
子步骤S57，对所述第六特征图像数据进行最大化下采样操作，获得第七特征图像数据；
在本发明实施例中，可以通过ReLU函数等方式对第八特征图像数据激活操作。
子步骤S58，连接所述第一特征图像数据、所述第三特征图像数据、所述第五特征图像数据和所述第七特征图像数据，获得第八特征图像数据。
需要说明的是，第一卷积核、第二卷积核、第三卷积核、第四卷积核、第五卷积核、第六卷积核的大小可以相同，也可以不同；第一步长、第二步长、第三步长、第四步长、第五步长、第六步长的大小可以相同，也可以不同，本发明实施例对比不加以限制。
此外，在分层线性模型Inception中，第一层的处理(子步骤S51)，第二层的处理(子步骤S52与子步骤S53)，第三层的处理(子步骤S54与子步骤S55)，第四层的处理(子步骤S56与子步骤S57)可以并行执行，不分先后顺序。
为使本领域技术人员更好地理解本发明实施例，以下通过具体的示例来说明本发明实施例中的Inception。
如图5所示，对于输入的图像数据(如分块人脸图像)：
在第一层中，可以采用1×1的卷积核，以步长为1进行卷积操作，然后进行BN规范化。
在第二层中，可以采用1×1的卷积核，以步长为1进行卷积操作，然后进行BN规范化和ReLU激活。
再采用使用5×5的卷积核，以步长为1进行卷积操作，然后进行BN规范化。
在第三层中，可以采用1×1的卷积核，以步长为1进行卷积操作，然后进行BN规范化和ReLU激活。
再采用使用3×3的卷积核，以步长为1进行卷积操作，然后进行BN规范化。
在第四层中，可以采用1×1的卷积核，以步长为1进行卷积操作，再进行BN规范化，再进行最大化(Max)下采样。
将第一层至第四层输出的图像数据连接在一起，再进行ReLu激活，得到Inception的输出。
步骤403，在所述采样层中进行最大化下采样。
步骤404，根据所述卷积神经网络输出的多个图像数据获得特征向量，作为人脸图像的人脸特征。
需要说明的是，在本发明实施例中，步骤401、步骤402与步骤403之间并不具有固定的执行顺序，其执行顺序可以依据卷积神经网络的实际结构所决定。
为使本领域技术人员更好地理解本发明实施例，以下通过具体的示例来说明本发明实施例中的卷积神经网络。
表1
Figure GDA0002975257270000151
Figure GDA0002975257270000161
在本示例中，如表1所示，卷积神经网络的卷积层与采样层共17层，其中，第1、3、4、6、7、9、10、11、12、13、15、16层为卷积层，第1、3、4为浅层、第6、7、9、10、11、12、13、15、16深层；第2、5、8、14、17层为采样层。
卷积层1：
假设输入一帧归一化后100×100的灰度分块人脸图像，首先采用5×5的卷积核，以步长为2对其进行卷积，得到64幅50×50的特征图像，然后对这64幅50×50的特征图像先进行BN规范化，再进行ReLU激活。
采样层1：
对卷积层1输出的64幅50×50的特征图像进行步长为2的3×3最大化下采样，得到64幅14×14的特征图像。
卷积层2：
对采样层1输出的64幅14×14的特征图像采用1×1的卷积核，以步长为1进行卷积操作，得到64幅14×14的特征图像，然后对这64幅14×14的特征图像先进行BN规范化，再进行ReLU激活。
卷积层3
对卷积层2输出的64幅14×14的特征图像采用3×3的卷积核，以步长为1进行卷积操作，得到92幅14×14的特征图像，然后对这92幅14×14的特征图像先进行BN规范化，再进行ReLU激活。
采样层2
对卷积层3输出的92幅14×14的特征图像进行步长为1的3×3最大化下采样，得到92幅14×14的特征图像。
卷积层4
对采样层2输出的92幅14×14的特征图像，应用如图5所示的Inception进行如下操作，得到256幅14×14的特征图像：
步骤1，对采样层2输出的92幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到64幅14×14的特征图像，然后对这64幅14×14的特征图像进行BN规范化。
步骤2，对采样层2输出的92幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到96幅14×14的特征图像，然后对这96幅14×14的特征图像先进行BN规范化，再进行ReLU激活。
接着使用3×3的卷积核，以步长为1进行卷积操作，得到128幅14×14的特征图像，然后对这128幅14×14的特征图像进行BN规范化。
步骤3，对采样层2输出的92幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到16幅14×14的特征图像，然后对这16幅14×14的特征图像先进行BN规范化，再进行ReLU激活。
接着使用5×5的卷积核，以步长为1进行卷积操作，得到32幅14×14的特征图像，然后对这32幅14×14的特征图像进行BN规范化。
步骤4，对采样层2输出的92幅14×14的特征图像使用1×1的卷积核，以步长为1进行卷积操作，得到32幅14×14的特征图像，然后对这32幅14×14的特征图像进行BN规范化。
接着对这32幅14×14特征图像采用最大化下采样操作，得到32幅14×14的特征图像。
步骤5，将步骤1-步骤4输出的特征图像连接在一起，得到256幅14×14的特征图像，对连接后的256幅14×14的特征图像进行ReLu激活，得到卷积层4的输出。
对于卷积层5-卷积层12、采样层3-采样层5的操作，可以参考卷积层1-4、采样层1-2的过程。
最后，采样层15输出1024幅1×1的特征图像，将这1024幅1×1的特征图像顺序排列，拉成一个维度为1024维的特征向量，该向量即为一帧100×100的人脸图像通过该卷积网络运算的到的原始人脸特征。
参照图6，示出了本发明的一种基于人脸模型的人脸认证方法实施例的步骤流程图，所述人脸模型包括人脸特征模型，该方法具体可以包括如下步骤：
步骤601，当接收到人脸认证的指令时，采集目标图像数据。
在实际应用中，本发明实施例可以应用在人脸识别系统中，如门禁系统、监控系统、支付系统等等，对用户进行认证处理。
若在人脸识别系统中接收到人脸认证的指令时，可以通过摄像头等方式采集到目标图像数据。
步骤602，在所述目标图像数据中提取目标人脸图像。
在本发明的一个实施例中，步骤602可以包括如下子步骤：
子步骤S61，在所述目标图像数据中进行人脸检测，确定目标人脸图像；
子步骤S62，在所述目标人脸图像中进行人脸特征点定位，确定目标眼睛数据；
子步骤S63，将所述目标眼睛数据进行对齐；
子步骤S64，对除所述目标眼睛数据之外的目标人脸图像，根据所述目标眼睛数据的位置关系进行相似变换，获得归一化后的目标人脸图像。
在本发明实施例中，可以采取AdaBoost对目标图像数据进行人脸检测，在检测出的目标人脸图像上采用coase-to-fine方法对目标人脸图像进行定位，并利用定位后目标眼睛数据的位置坐标，采用相似变换进行归一化，例如，归一化后目标人脸图像的大小为100×100。
步骤603，将所述目标人脸图像输入预先训练的人脸特征模型中提取目标人脸特征。
应用本发明实施例，人脸特征模型可以通过如下方式进行训练：
子步骤6031，获取训练样本，所述训练样本包括训练图像数据和证件图像数据；
子步骤6032，在所述训练图像数据和所述证件图像数据中提取训练人脸图像和证件人脸图像；
子步骤6033，采用所述训练人脸图像训练人脸特征模型；
子步骤6034，采用配对的训练人脸图像和证件人脸图像，对所述人脸特征模型进行调整。
步骤604，根据所述目标人脸特征与指定的证件图像数据进行认证处理。
在本发明的一个实施例中，步骤604可以包括如下子步骤：
子步骤S71，获取指定的证件图像数据中证件人脸图像的证件人脸特征；
证件图像数据，可以为需要进行认证的用户证件中的图像数据。
例如，在支付系统中，指定提取账户所属用户的身份证的证件图像数据进行认证处理。
证件人脸图像的证件人脸特征可以预先提取，并存储在数据库中，待人脸认证时直接提取即可。
子步骤S72，将所述目标人脸特征和所述证件人脸特征输入按照联合贝叶斯训练的人脸认证模型，获得相似度；
在具体实现中，所述人脸模型还包括人脸认证模型，则可以将目标人脸特征和证件人脸特征输入按照联合贝叶斯训练的人脸认证模型，获得相似度。
应用本发明实施例，人脸认证模型可以通过如下方式进行训练：
子步骤S721，采用配对的训练人脸图像和证件人脸图像，按照联合贝叶斯训练人脸认证模型
子步骤S73，判断所述相似度是否大于或等于预设的相似度阈值；若是，则执行子步骤S74，若否，则执行子步骤S75；
子步骤S74，确定所述目标人脸图像和所述证件人脸图像属于同一个人；
子步骤S75，确定所述目标人脸图像和所述证件人脸图像不属于同一个人。
在本发明实施例中，可以预先设置一个相似度阈值T。
如果相似度≥T，则说明目标人脸图像与证件人脸图像较为相似，较大可能来自于同一个人，人脸认证成功。
如果相似度＜T，则说明目标人脸图像与证件人脸图像相距较远，较大可能来自于不同人，人脸认证失败。
在本发明实施例中，由于人脸特征模型和人脸认证模型的训练方法与人脸模型的训练方法实施例的应用基本相似，所以描述的比较简单，相关之处参见人脸模型的训练方法实施例的部分说明即可，本发明实施例在此不加以详述。
本发明实施例在训练时使用的数据库为如图7A所示的NEU_Web数据库。
在测试时使用的数据库分别是三个身份证数据库ID_454、ID_55和ID_229，即在训练时使用的数据库与在测试时使用的数据库没有重叠。
其中，如图7B所示，ID_454为在室内环境下采集的445人视频图像与相应的身份证图像构造的数据库，对光照、姿态和表情的变化有较强的控制。
如图7C所示，ID_55为55人的身份证数据库，该数据库每个人包含9张不同姿态、不同表情的视频照与相应的身份证照片。
如图7D所示，ID_229为银行使用场景下采集的身份证数据库，具有更为复杂的光照，姿态和表情变化。
计算在等误率为1％时，三个数据库上的认证率，如表2所示
表2二代身份证人脸认证率(FRR＝1％)
Figure GDA0002975257270000201
此外，本发明实施例分别对比EBGM、LGBP、BSF三种算法，在等误率为1％时，结果如表3所示，对应的ROC(receiver operating characteristic curve，受试者工作特征曲线)曲线如图8所示。
表3认证结果比较(FRR＝1％)
Figure GDA0002975257270000202
其中，曲线801为本发明实施例的ROC曲线，曲线802为BSF的ROC曲线，曲线803为LGBP的ROC曲线，曲线804为EBGM的ROC曲线。
由图8可见，本发明实施例的ROC曲线相比EBGM、LGBP、BSF三种算法于的ROC曲线更靠近左上角，即相比EBGM、LGBP、BSF三种算法，本发明实施例的人脸认证的准确性更高。
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
参照图9，示出了本发明的一种人脸模型的训练装置实施例的结构框图，具体可以包括如下模块：
训练样本获取模块901，用于获取训练样本，所述训练样本包括训练图像数据和证件图像数据；
样本人脸图像提取模块902，用于根据所述训练图像数据和所述证件图像数据获得训练人脸图像和证件人脸图像；
人脸模型训练模块903，用于采用所述训练人脸图像训练人脸特征模型；
人脸模型调整模块904，用于采用配对的训练人脸图像和证件人脸图像，对所述人脸特征模型进行调整。
在本发明的一个实施例中，所述样本人脸图像提取模块902包括：
样本人脸检测子模块，用于在所述训练图像数据和所述证件图像数据中分别进行人脸检测，确定训练人脸图像和证件人脸图像；
样本人脸定位子模块，用于在所述训练人脸图像和所述证件人脸图像中分别进行人脸特征点定位，确定训练眼睛数据和证件眼睛数据；
样本人脸对齐子模块，用于将所述训练眼睛数据的位置和所述证件眼睛数据的位置与预设模板位置进行对齐；
训练人脸归一化子模块，用于对除所述训练眼睛数据之外的训练人脸图像，根据所述训练眼睛数据的位置关系进行相似变换，获得归一化后的训练人脸图像；
证件人脸归一化子模块，用于对除所述证件眼睛数据之外的证件人脸图像，根据所述证件眼睛数据的位置关系进行相似变换，获得归一化后的证件人脸图像。
在本发明的一个实施例中，所述人脸模型训练模块903包括：
识别训练子模块，用于采用所述训练人脸图像基于人脸识别对预置的人脸特征模型进行训练，以训练出所述模型参数的初始参数值。
在本发明的一个实施例中，所述人脸模型调整模块904包括：
认证训练子模块，用于采用配对的训练人脸图像和证件人脸图像基于人脸认证对所述人脸特征模型进行训练，以将所述模型参数从初始参数值调整为目标参数值。
在本发明的一个实施例中，所述识别训练子模块包括：
第一随机取样单元，用于随机提取训练人脸图像；
第一样本人脸特征提取单元，用于将随机提取的训练人脸图像输入预置的人脸特征模型中提取训练人脸特征；
第一损失率计算单元，用于计算所述训练人脸特征用于人脸识别时的第一损失率；
第一收敛判断单元，用于判断所述第一损失率是否收敛；若是，则调用初始参数值设置单元，若否，则调用第一梯度计算模块；
初始参数值设置单元，用于以当前迭代的所述模型参数的参数值作为初始参数值；
第一梯度计算单元，用于采用所述第一损失率计算第一梯度；
第一梯度下降子模块，用于采用所述第一梯度与预设的学习率对所述模型参数的参数值进行下降，返回调用所述第一随机取样子模块。
在本发明的一个实施例中，所述第一损失率计算单元包括：
概率计算子单元，用于计算所述训练人脸特征属于预设的用户标签的概率；
人脸识别损失率计算子单元，用于采用所述概率计算所述训练人脸特征的用于人脸识别时的第一损失率。
在本发明的一个实施例中，所述认证训练子模块，包括：
数据配对单元，用于将属于同一用户的训练人脸图像和证件人脸图像进行配对；
第二随机取样单元，用于随机提取配对的训练人脸图像和证件人脸图像；
第二样本人脸特征提取单元，用于将随机提取的、配对的训练人脸图像和证件人脸图像输入所述人脸特征模型中提取训练人脸特征和证件人脸特征；
第二损失率计算单元，用于计算所述训练人脸特征和证件人脸特征用于人脸认证时的损失率；
第二收敛判断单元，用于判断所述第二损失率是否收敛；若是，则调用目标参数值设置单元，若否，则调用第二梯度计算单元；
目标参数值设置单元，用于以当前迭代的所述模型参数的参数值作为目标参数值；
第二梯度计算单元，用于采用所述第二损失率计算第二梯度；
第二梯度下降子模块，用于采用所述第二梯度与预设的学习率对所述模型参数的参数值进行下降，返回调用所述第二随机取样子模块。
在本发明的一个实施例中，所述第二损失率计算子模块包括：
距离计算单元，用于计算所述训练人脸特征和证件人脸特征之间的距离；
第二认证损失率计算单元，用于采用所述距离计算所述训练人脸特征和证件人脸特征的用于人脸认证时的第二损失率。
在本发明的一个实施例中，还包括：
人脸认证模型训练模块，用于采用配对的训练人脸图像和证件人脸图像，按照联合贝叶斯训练人脸认证模型。
在本发明的一个实施例中，所述人脸特征模型包括卷积神经网络，所述卷积神经网络包括一个或多个卷积层、一个或多个采样层，所述卷积神经网络的模型参数包括卷积核；
所述卷积神经网络包括：
浅层卷积模块，用于在所述卷积层属于第一深度范围时，采用指定的单个卷积核进行卷积操作；
深层卷积模块，用于在所述卷积层属于第二深度范围时，采用分层线性模型Inception进行卷积操作，其中，所述第二深度范围的层数大于所述第一深度范围的层数；
最大化下采样模块，用于在人所述采样层中，进行最大化下采样；
特征获得模块，用于根据所述卷积神经网络输出的多个图像数据获得特征向量，作为人脸图像的人脸特征。
在本发明的一个实施例中，所述卷积神经网络还包括：
第一卷积辅助模块，用于在第一深度范围卷积完成之后，进行规范化操作和激活操作。
在本发明的一个实施例中，所述分层线性模型Inception包括第一层、第二层、第三层、第四层；
所述深层卷积模块包括：
第一卷积子模块，用于在第一层中，采用指定的第一卷积核与第一步长对输入所述分层线性模型Inception的图像数据进行卷积操作，获得第一特征图像数据；
第二卷积子模块，用于在第二层中，采用指定的第二卷积核与第二步长对输入所述分层线性模型Inception的图像数据进行卷积操作，获得第二特征图像数据；
第三卷积子模块，用于采用指定的第三卷积核与第三步长对所述第二特征图像数据进行卷积操作，获得第三特征图像数据；
第四卷积子模块，用于在第三层中，采用指定的第四卷积核与第四步长对输入所述分层线性模型Inception的图像数据进行卷积操作，获得第四特征图像数据；
第五卷积子模块，用于采用指定的第五卷积核与第五步长对所述第四特征图像数据进行卷积操作，获得第五特征图像数据；
第六卷积子模块，用于在第四层中，采用指定的第六卷积核与第六步长对输入所述分层线性模型Inception的图像数据进行卷积操作，获得第六特征图像数据；
采样子模块，用于对所述第六特征图像数据进行最大化下采样操作，获得第七特征图像数据；
图像连接子模块，用于连接所述第一特征图像数据、所述第三特征图像数据、所述第五特征图像数据和所述第七特征图像数据，获得第八特征图像数据。
在本发明的一个实施例中，所述深层卷积模块还包括：
第二卷积辅助子模块，用于在第一层中，对所述第一特征图像数据进行规范化操作；
第三卷积辅助子模块，用于在第二层中，对所述第二特征图像数据进行规范化操作和激活操作；
第四卷积辅助子模块，用于对所述第三特征图像数据进行规范化操作；
第五卷积辅助子模块，用于在第三层中，对所述第四特征图像数据进行规范化操作和激活操作；
第六卷积辅助子模块，用于对所述第五特征图像数据进行规范化操作；
第七卷积辅助子模块，用于在第四层中，对所述第六特征图像数据进行规范化操作；
第八卷积辅助子模块，用于对所述第八特征图像数据激活操作。
参照图10，示出了本发明的一种基于人脸模型的人脸认证装置实施例的结构框图，人脸模型包括人脸特征模型，该装置具体可以包括如下模块：
目标图像数据模块1001，用于在接收到人脸认证的指令时，采集目标图像数据；
目标人脸图像提取模块1002，用于在所述目标图像数据中提取目标人脸图像；
目标人脸特征提取模块1003，用于将所述目标人脸图像输入预先训练的人脸特征模型中提取目标人脸特征；
认证处理模块1004，用于根据所述目标人脸特征与指定的证件图像数据进行认证处理；
在具体实现中，所述人脸模型调用如下模块训练：
训练样本获取模块，用于获取训练样本，所述训练样本包括训练图像数据和证件图像数据；
样本人脸图像提取模块，用于在所述训练图像数据和所述证件图像数据中提取训练人脸图像和证件人脸图像；
人脸模型训练模块，用于采用所述训练人脸图像训练人脸特征模型；
人脸模型调整模块，用于采用配对的训练人脸图像和证件人脸图像，对所述人脸特征模型进行调整。
在本发明的一个实施例中，所述目标人脸图像提取模块1002包括：
目标人脸检测子模块，用于在所述目标图像数据中进行人脸检测，确定目标人脸图像；
目标人脸定位子模块，用于在所述目标人脸图像中进行人脸特征点定位，确定目标眼睛数据；
目标人脸对齐子模块，用于将所述目标眼睛数据进行对齐；
目标人脸归一化子模块，用于对除所述目标眼睛数据之外的目标人脸图像，根据所述目标眼睛数据的位置关系进行相似变换，获得归一化后的目标人脸图像。
在本发明的一个实施例中，所述人脸模型还包括人脸认证模型，所述认证处理模块1004包括：
证件人脸特征获取子模块，用于获取指定的证件图像数据中证件人脸图像的证件人脸特征；
相似度计算子模块，用于将所述目标人脸特征和所述证件人脸特征输入按照联合贝叶斯训练的人脸认证模型，获得相似度；
相似度阈值判断子模块，用于判断所述相似度是否大于或等于预设的相似度阈值；若是，则调用第一确定子模块，若否，则调用第二确定子模块；
第一确定子模块，用于确定所述目标人脸图像和所述证件人脸图像属于同一个人；
第二确定子模块，用于确定所述目标人脸图像和所述证件人脸图像不属于同一个人。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种人脸模型的训练方法、一种基于人脸模型的人脸认证方法、一种人脸模型的训练装置和一种基于人脸模型的人脸认证装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种人脸模型的训练方法，其特征在于，包括：
获取训练样本，所述训练样本包括训练图像数据和证件图像数据；
根据所述训练图像数据和所述证件图像数据获得训练人脸图像和证件人脸图像；
采用所述训练人脸图像训练人脸特征模型；
采用配对的训练人脸图像和证件人脸图像，对所述人脸特征模型进行调整；
其中，所述采用配对的训练人脸图像和证件人脸图像，对所述人脸特征模型进行调整的步骤包括：
采用配对的训练人脸图像和证件人脸图像基于人脸认证对所述人脸特征模型进行训练，以将模型参数从初始参数值调整为目标参数值；
其中，所述采用配对的训练人脸图像和证件人脸图像基于人脸认证对所述人脸特征模型进行训练，以将模型参数从初始参数值调整为目标参数值的步骤包括：
将属于同一用户的训练人脸图像和证件人脸图像进行配对；
随机提取配对的训练人脸图像和证件人脸图像；
将随机提取的、配对的训练人脸图像和证件人脸图像输入所述人脸特征模型中提取训练人脸特征和证件人脸特征；
计算所述训练人脸特征和证件人脸特征用于人脸认证时的第二损失率；
判断所述第二损失率是否收敛；
若是，则以当前迭代的所述模型参数的参数值作为目标参数值；
若否，则采用所述第二损失率计算第二梯度；
采用所述第二梯度与预设的学习率对所述模型参数的参数值进行下降，返回执行所述随机提取配对的训练人脸图像和证件人脸图像的步骤。
2.根据权利要求1所述的方法，其特征在于，所述采用所述训练人脸图像训练人脸特征模型的步骤包括：
采用所述训练人脸图像基于人脸识别对预置的人脸特征模型进行训练，以训练出所述模型参数的初始参数值。
3.根据权利要求2所述的方法，其特征在于，所述采用所述训练人脸图像基于人脸识别对所述人脸特征模型进行训练，以训练出所述模型参数的初始参数值训练人脸图像的步骤包括：
随机提取训练人脸图像；
将随机提取的训练人脸图像输入预置的人脸特征模型中提取训练人脸特征；
计算所述训练人脸特征用于人脸识别时的第一损失率；
判断所述第一损失率是否收敛；
若是，则以当前迭代的所述模型参数的参数值作为初始参数值；
若否，则采用所述第一损失率计算第一梯度；采用所述第一梯度与预设的学习率对所述模型参数的参数值进行下降，返回执行所述随机提取训练人脸图像的步骤。
4.根据权利要求3所述的方法，其特征在于，所述计算所述训练人脸特征用于人脸识别时的第一损失率的步骤包括：
计算所述训练人脸特征属于预设的用户标签的概率；
采用所述概率计算所述训练人脸特征的用于人脸识别时的第一损失率。
5.根据权利要求1所述的方法，其特征在于，所述计算所述训练人脸特征和证件人脸特征用于人脸认证时的第二损失率的步骤包括：
计算所述训练人脸特征和证件人脸特征之间的距离；
采用所述距离计算所述训练人脸特征和证件人脸特征的用于人脸认证时的第二损失率。
6.根据权利要求1-4任一项所述的方法，其特征在于，还包括：
采用配对的训练人脸图像和证件人脸图像，按照联合贝叶斯训练人脸认证模型。
7.根据权利要求1-4任一项所述的方法，其特征在于，所述人脸特征模型包括卷积神经网络，所述卷积神经网络包括一个或多个卷积层、一个或多个采样层，所述卷积神经网络的模型参数包括卷积核；
所述卷积神经网络对输入的人脸图像的处理如下：
当所述卷积层属于第一深度范围时，采用指定的单个卷积核进行卷积操作；
当所述卷积层属于第二深度范围时，采用分层线性模型Inception进行卷积操作，其中，所述第二深度范围的层数大于所述第一深度范围的层数；
在所述采样层中，进行最大化下采样；
根据所述卷积神经网络输出的多个图像数据获得特征向量，作为人脸图像的人脸特征。
8.根据权利要求7所述的方法，其特征在于，所述分层线性模型Inception包括第一层、第二层、第三层、第四层；
所述采用分层线性模型Inception进行卷积操作的步骤包括：
在第一层中，采用指定的第一卷积核与第一步长对输入所述分层线性模型Inception的图像数据进行卷积操作，获得第一特征图像数据；
在第二层中，采用指定的第二卷积核与第二步长对输入所述分层线性模型Inception的图像数据进行卷积操作，获得第二特征图像数据；采用指定的第三卷积核与第三步长对所述第二特征图像数据进行卷积操作，获得第三特征图像数据；
在第三层中，采用指定的第四卷积核与第四步长对输入所述分层线性模型Inception的图像数据进行卷积操作，获得第四特征图像数据；采用指定的第五卷积核与第五步长对所述第四特征图像数据进行卷积操作，获得第五特征图像数据；
在第四层中，采用指定的第六卷积核与第六步长对输入所述分层线性模型Inception的图像数据进行卷积操作，获得第六特征图像数据；
对所述第六特征图像数据进行最大化下采样操作，获得第七特征图像数据；
连接所述第一特征图像数据、所述第三特征图像数据、所述第五特征图像数据和所述第七特征图像数据，获得第八特征图像数据。
9.一种基于人脸模型的人脸认证方法，其特征在于，所述人脸模型为如权利要求1-8任一项所述的训练方法得到的人脸模型，所述人脸模型包括人脸特征模型，所述人脸认证方法包括：
当接收到人脸认证的指令时，采集目标图像数据；
在所述目标图像数据中提取目标人脸图像；
将所述目标人脸图像输入预先训练的人脸特征模型中提取目标人脸特征；
根据所述目标人脸特征与指定的证件图像数据进行认证处理。
10.根据权利要求9所述的方法，其特征在于，所述人脸模型还包括人脸认证模型，所述根据所述目标人脸特征与指定的证件图像数据进行认证处理的步骤包括：
获取指定的证件图像数据中证件人脸图像的证件人脸特征；
将所述目标人脸特征和所述证件人脸特征输入按照联合贝叶斯训练的人脸认证模型，获得相似度；
判断所述相似度是否大于或等于预设的相似度阈值；
若是，则确定所述目标人脸图像和所述证件人脸图像属于同一个人；
若否，则确定所述目标人脸图像和所述证件人脸图像不属于同一个人。
11.一种人脸模型的训练装置，其特征在于，包括：
训练样本获取模块，用于获取训练样本，所述训练样本包括训练图像数据和证件图像数据；
样本人脸图像提取模块，用于根据所述训练图像数据和所述证件图像数据获得训练人脸图像和证件人脸图像；
人脸模型训练模块，用于采用所述训练人脸图像训练人脸特征模型；
人脸模型调整模块，用于采用配对的训练人脸图像和证件人脸图像，对所述人脸特征模型进行调整；
其中，所述人脸模型调整模块包括：
认证训练子模块，用于采用配对的训练人脸图像和证件人脸图像基于人脸认证对所述人脸特征模型进行训练，以将模型参数从初始参数值调整为目标参数值；
其中，所述认证训练子模块，包括：
数据配对单元，用于将属于同一用户的训练人脸图像和证件人脸图像进行配对；
第二随机取样单元，用于随机提取配对的训练人脸图像和证件人脸图像；
第二样本人脸特征提取单元，用于将随机提取的、配对的训练人脸图像和证件人脸图像输入所述人脸特征模型中提取训练人脸特征和证件人脸特征；
第二损失率计算单元，用于计算所述训练人脸特征和证件人脸特征用于人脸认证时的损失率；
第二收敛判断单元，用于判断所述第二损失率是否收敛；若是，则调用目标参数值设置单元，若否，则调用第二梯度计算单元；
目标参数值设置单元，用于以当前迭代的所述模型参数的参数值作为目标参数值；
第二梯度计算单元，用于采用所述第二损失率计算第二梯度；
第二梯度下降子模块，用于采用所述第二梯度与预设的学习率对所述模型参数的参数值进行下降，返回调用所述第二随机取样子模块。
12.一种基于人脸模型的人脸认证装置，其特征在于，所述人脸模型为如权利要求11所述的训练装置得到的人脸模型，所述人脸模型包括人脸特征模型，所述人脸认证装置包括：
目标图像数据模块，用于在接收到人脸认证的指令时，采集目标图像数据；
目标人脸图像提取模块，用于在所述目标图像数据中提取目标人脸图像；
目标人脸特征提取模块，用于将所述目标人脸图像输入预先训练的人脸特征模型中提取目标人脸特征；
认证处理模块，用于根据所述目标人脸特征与指定的证件图像数据进行认证处理。
CN201610848965.5A 2016-09-23 2016-09-23 人脸模型的训练方法和装置、人脸认证方法和装置 Active CN107871100B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201610848965.5A CN107871100B (zh) 2016-09-23 2016-09-23 人脸模型的训练方法和装置、人脸认证方法和装置
PCT/CN2017/102255 WO2018054283A1 (zh) 2016-09-23 2017-09-19 人脸模型的训练方法和装置、人脸认证方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610848965.5A CN107871100B (zh) 2016-09-23 2016-09-23 人脸模型的训练方法和装置、人脸认证方法和装置

Publications (2)

Publication Number Publication Date
CN107871100A CN107871100A (zh) 2018-04-03
CN107871100B true CN107871100B (zh) 2021-07-06

Family

ID=61689348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610848965.5A Active CN107871100B (zh) 2016-09-23 2016-09-23 人脸模型的训练方法和装置、人脸认证方法和装置

Country Status (2)

Country Link
CN (1) CN107871100B (zh)
WO (1) WO2018054283A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921782B (zh) * 2018-05-17 2023-04-14 腾讯科技（深圳）有限公司 一种图像处理方法、装置及存储介质
CN108805048B (zh) * 2018-05-25 2020-01-31 腾讯科技（深圳）有限公司 一种人脸识别模型的调整方法、装置和存储介质
CN110554780A (zh) * 2018-05-30 2019-12-10 北京搜狗科技发展有限公司 一种滑行输入的方法和装置
CN108846340B (zh) * 2018-06-05 2023-07-25 腾讯科技（深圳）有限公司 人脸识别方法、装置及分类模型训练方法、装置、存储介质和计算机设备
CN109034078B (zh) * 2018-08-01 2023-07-14 腾讯科技（深圳）有限公司 年龄识别模型的训练方法、年龄识别方法及相关设备
CN109389551B (zh) * 2018-10-08 2023-04-07 清华大学 中性表情正向人脸图片方法及装置
CN109543526B (zh) * 2018-10-19 2022-11-08 谢飞 基于深度差异性特征的真假面瘫识别系统
WO2020093303A1 (zh) * 2018-11-08 2020-05-14 北京比特大陆科技有限公司 基于人脸识别的处理方法、装置、设备及可读存储介质
CN111259698B (zh) * 2018-11-30 2023-10-13 百度在线网络技术（北京）有限公司 用于获取图像的方法及装置
CN111291765A (zh) * 2018-12-07 2020-06-16 北京京东尚科信息技术有限公司 用于确定相似图片的方法和装置
CN109766764A (zh) * 2018-12-17 2019-05-17 平安普惠企业管理有限公司 人脸识别数据处理方法、装置、计算机设备和存储介质
CN111353943B (zh) * 2018-12-20 2023-12-26 杭州海康威视数字技术股份有限公司 一种人脸图像恢复方法、装置及可读存储介质
CN110110611A (zh) * 2019-04-16 2019-08-09 深圳壹账通智能科技有限公司 人像属性模型构建方法、装置、计算机设备和存储介质
CN110059652B (zh) * 2019-04-24 2023-07-25 腾讯科技（深圳）有限公司 人脸图像处理方法、装置及存储介质
CN111860077A (zh) * 2019-04-30 2020-10-30 北京眼神智能科技有限公司 人脸检测方法、装置、计算机可读存储介质及设备
CN111783505A (zh) * 2019-05-10 2020-10-16 北京京东尚科信息技术有限公司 伪造人脸的识别方法、装置和计算机可读存储介质
CN110110811A (zh) * 2019-05-17 2019-08-09 北京字节跳动网络技术有限公司 用于训练模型的方法和装置、用于预测信息的方法和装置
CN112001204B (zh) * 2019-05-27 2024-04-02 北京君正集成电路股份有限公司 一种二次人脸检测的网络模型的训练方法
CN110232722B (zh) * 2019-06-13 2023-08-04 腾讯科技（深圳）有限公司 一种图像处理方法及装置
CN110353693A (zh) * 2019-07-09 2019-10-22 中国石油大学(华东) 一种基于WiFi的手写字母识别方法及系统
CN113569789B (zh) * 2019-07-30 2024-04-16 北京市商汤科技开发有限公司 图像处理方法及装置、处理器、电子设备及存储介质
CN112183213B (zh) * 2019-09-02 2024-02-02 沈阳理工大学 一种基于Intral-Class Gap GAN的面部表情识别方法
CN110929569B (zh) * 2019-10-18 2023-10-31 平安科技（深圳）有限公司 人脸识别方法、装置、设备及存储介质
CN110956615B (zh) * 2019-11-15 2023-04-07 北京金山云网络技术有限公司 图像质量评估模型训练方法、装置、电子设备及存储介质
CN112989869B (zh) * 2019-12-02 2024-05-07 深圳云天励飞技术有限公司 人脸质量检测模型的优化方法、装置、设备及存储介质
CN111091089B (zh) * 2019-12-12 2022-07-29 新华三大数据技术有限公司 一种人脸图像处理方法、装置、电子设备及存储介质
CN111062362B (zh) * 2019-12-27 2023-10-10 上海闻泰信息技术有限公司 人脸活体检测模型、方法、装置、设备及存储介质
CN111104988B (zh) * 2019-12-28 2023-09-29 Oppo广东移动通信有限公司 图像识别方法及相关装置
CN111325107B (zh) * 2020-01-22 2023-05-23 广州虎牙科技有限公司 检测模型训练方法、装置、电子设备和可读存储介质
CN111539246B (zh) * 2020-03-10 2023-04-07 西安电子科技大学 一种跨光谱人脸识别方法、装置、电子设备及其存储介质
CN113496174B (zh) * 2020-04-07 2024-01-23 北京君正集成电路股份有限公司 一种提升三级级联检测召回率和正确率的方法
CN111488857A (zh) * 2020-04-29 2020-08-04 北京华捷艾米科技有限公司 一种三维人脸识别模型训练方法及装置
CN111814553B (zh) * 2020-06-08 2023-07-11 浙江大华技术股份有限公司 人脸检测方法、模型的训练方法及其相关装置
CN111783607B (zh) * 2020-06-24 2023-06-27 北京百度网讯科技有限公司 人脸识别模型的训练方法、装置、电子设备及存储介质
CN111914658B (zh) * 2020-07-06 2024-02-02 浙江大华技术股份有限公司 一种行人识别方法、装置、设备及介质
CN111914908B (zh) * 2020-07-14 2023-10-24 浙江大华技术股份有限公司 一种图像识别模型训练方法、图像识别方法及相关设备
CN112651372A (zh) * 2020-12-31 2021-04-13 北京眼神智能科技有限公司 基于人脸图像的年龄判断方法及装置、电子设备、存储介质
CN112861079A (zh) * 2021-03-26 2021-05-28 中国科学技术大学 一种具有凭证识别功能的归一化方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102163285A (zh) * 2011-03-09 2011-08-24 北京航空航天大学 一种基于主动学习的跨域视频语义概念检测方法
US8379940B2 (en) * 2009-06-02 2013-02-19 George Mason Intellectual Properties, Inc. Robust human authentication using holistic anthropometric and appearance-based features and boosting
CN103679158A (zh) * 2013-12-31 2014-03-26 北京天诚盛业科技有限公司 人脸认证方法和装置
CN105069400A (zh) * 2015-07-16 2015-11-18 北京工业大学 基于栈式稀疏自编码的人脸图像性别识别系统
CN105138968A (zh) * 2015-08-05 2015-12-09 北京天诚盛业科技有限公司 人脸认证方法和装置
CN105138972A (zh) * 2015-08-11 2015-12-09 北京天诚盛业科技有限公司 人脸认证方法和装置
CN105426917A (zh) * 2015-11-23 2016-03-23 广州视源电子科技股份有限公司 一种元件分类方法及装置
CN105960647A (zh) * 2014-05-29 2016-09-21 北京旷视科技有限公司 紧凑人脸表示

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447532A (zh) * 2015-03-24 2016-03-30 北京天诚盛业科技有限公司 身份认证方法和装置
CN104751140A (zh) * 2015-03-30 2015-07-01 常州大学 一种基于深度学习sdae理论的三维人脸识别算法及其在金融领域应用
CN104751143B (zh) * 2015-04-02 2018-05-11 北京中盾安全技术开发公司 一种基于深度学习的人证核验系统及方法
CN105701482B (zh) * 2016-02-29 2019-02-05 公安部第一研究所 基于非平衡标签信息融合的人脸识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8379940B2 (en) * 2009-06-02 2013-02-19 George Mason Intellectual Properties, Inc. Robust human authentication using holistic anthropometric and appearance-based features and boosting
CN102163285A (zh) * 2011-03-09 2011-08-24 北京航空航天大学 一种基于主动学习的跨域视频语义概念检测方法
CN103679158A (zh) * 2013-12-31 2014-03-26 北京天诚盛业科技有限公司 人脸认证方法和装置
CN105960647A (zh) * 2014-05-29 2016-09-21 北京旷视科技有限公司 紧凑人脸表示
CN105069400A (zh) * 2015-07-16 2015-11-18 北京工业大学 基于栈式稀疏自编码的人脸图像性别识别系统
CN105138968A (zh) * 2015-08-05 2015-12-09 北京天诚盛业科技有限公司 人脸认证方法和装置
CN105138972A (zh) * 2015-08-11 2015-12-09 北京天诚盛业科技有限公司 人脸认证方法和装置
CN105426917A (zh) * 2015-11-23 2016-03-23 广州视源电子科技股份有限公司 一种元件分类方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Forestnet：一种结合深度学习和决策树集成的方法;黎旭荣;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160615;论文第28-31页 *

Also Published As

Publication number Publication date
CN107871100A (zh) 2018-04-03
WO2018054283A1 (zh) 2018-03-29

Similar Documents

Publication Publication Date Title
CN107871100B (zh) 人脸模型的训练方法和装置、人脸认证方法和装置
Zhan et al. Face detection using representation learning
Owusu et al. A neural-AdaBoost based facial expression recognition system
KR101185525B1 (ko) 서포트 벡터 머신 및 얼굴 인식에 기초한 자동 생체 식별
CN107871105B (zh) 一种人脸认证方法和装置
CN107679513B (zh) 图像处理方法、装置及服务器
US20180157892A1 (en) Eye detection method and apparatus
CN107871103B (zh) 一种人脸认证方法和装置
Zhang et al. Overview of currency recognition using deep learning
CN103400122A (zh) 一种活体人脸的快速识别方法
KR101117549B1 (ko) 얼굴 인식 시스템 및 그 얼굴 인식 방법
Ravi et al. Sign language recognition with multi feature fusion and ANN classifier
KR101676101B1 (ko) 동적보상퍼지신경네트워크(dcfnn)를 기반으로 한 얼굴인식 알고리즘
Kamarajugadda et al. Extract features from periocular region to identify the age using machine learning algorithms
Alom et al. Digit recognition in sign language based on convolutional neural network and support vector machine
Rakshit et al. Cross-resolution face identification using deep-convolutional neural network
CN110287973B (zh) 一种基于低秩鲁棒线性鉴别分析的图像特征提取方法
Sharanya et al. Online attendance using facial recognition
Karaaba et al. Machine learning for multi-view eye-pair detection
Ge et al. Learning multi-channel correlation filter bank for eye localization
Vidal et al. Dynamicboost: Boosting time series generated by dynamical systems
Angulu et al. Human age estimation using multi-frequency biologically inspired features (MF-BIF)
Nikisins Weighted multi-scale local binary pattern histograms for face recognition
Lu et al. Video analysis using spatiotemporal descriptor and kernel extreme learning machine for lip reading
Li et al. Multi-level Fisher vector aggregated completed local fractional order derivative feature vector for face recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 071800 Beijing Tianjin talent home (Xincheng community), West District, Xiongxian Economic Development Zone, Baoding City, Hebei Province

Patentee after: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Address before: 100085 20 / F, building 4, yard 1, shangdishi street, Haidian District, Beijing 2013

Patentee before: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Face model training method and device, face authentication method and device

Effective date of registration: 20220614

Granted publication date: 20210706

Pledgee: China Construction Bank Corporation Xiongxian sub branch

Pledgor: BEIJING EYECOOL TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000332