CN110414349A - 引入感知模型的孪生卷积神经网络人脸识别算法 - Google Patents

引入感知模型的孪生卷积神经网络人脸识别算法 Download PDF

Info

Publication number
CN110414349A
CN110414349A CN201910560416.1A CN201910560416A CN110414349A CN 110414349 A CN110414349 A CN 110414349A CN 201910560416 A CN201910560416 A CN 201910560416A CN 110414349 A CN110414349 A CN 110414349A
Authority
CN
China
Prior art keywords
learning rate
training
neural networks
convolutional neural
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910560416.1A
Other languages
English (en)
Inventor
徐先峰
张丽
蔡路路
段晨东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN201910560416.1A priority Critical patent/CN110414349A/zh
Publication of CN110414349A publication Critical patent/CN110414349A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种引入感知模型的孪生卷积神经网络人脸识别算法，首先引入孪生卷积神经网络作为整体网络结构模型，能有效减少外界干扰并避免过拟合，在此基础上为孪生卷积神经网络结构增加感知模型，既增加了网络宽度，达到信息跨通道连接的效果，又增加了网络对尺度的适应性且同时可以利用硬件密集矩阵优化的优势，实现更丰富的特征提取。同时，对整个训练过程辅以循环学习率策略优化算法，使得寻找最优学习率变得容易，且能加速模型收敛、提升网络性能，有效的实现了非限定性条件下的高精度人脸识别。本算法结构简单、对非限定性条件下的人脸识别具有较高鲁棒性、能够提高训练速度并提升人脸识别准确率，同时适用于小规模数据集。

Description

引入感知模型的孪生卷积神经网络人脸识别算法
技术领域
本发明属于图像识别技术领域，具体涉及一种引入感知模型的孪生卷积神经网络人脸识别算法。
背景技术
安防意识的提升促使人们对公共及个人安全需求不断攀升，如何准确快速的鉴定个人身份，保护信息安全，成为亟待解决的关键性社会问题。因此，多种生物特征识别技术应运而生，人脸识别技术由于其方便、快捷、非侵入性等优点而备受关注，研究成果丰富。总结经典的人脸识别算法可以发现，主成分分析法(PCA)通过矩阵变换降低原始数据特征空间维数，有效减少了计算复杂度，但当存在遮挡等外界因素干扰时，无法获取数据真实子空间结构，因此识别效果变差。支持向量机(SVM)方法采用非线性核函数映射来解决非线性问题，具有较强的泛化能力，且能很好地处理高维度的数据，但算法正比于样本数量的矩阵计算的复杂性，导致其无法适用于具有大规模训练样本的应用场合。随着深度学习技术的快速发展，基于卷积神经网络的人脸识别算法被广泛提出，此类算法通过端到端的自主学习，减少复杂干扰因素在特征提取过程中的影响，开发更具鲁棒性的特征表达，同时对高维数据和大规模训练样本处理无压力。其中，Chan等人提出的PCANet将子空间学习引入深度学习，将深度学习与传统的特征提取方法建立了联系，对光照变化和遮挡等表现出了很强的鲁棒性。DeepFace引入了3D人脸模型对有姿态的人脸分片仿射对齐，提高了识别精度。Google的FaceNet直接学习从图像到欧式空间的编码方法，使用距离的方式来进行模型的训练，在LFW数据集上平均分类达到99.63％的高精度，但DeepFace和FaceNet无论在训练还是使用时都需要相当巨大的计算量和数据集，在小规模数据集上并不适用。
人脸识别在生物特征识别领域具有重要的研究意义和广泛的应用前景。人脸识别的性能通常会受到一系列非可控因素的影响，限制了其在实际场合中的应用，因此，提高人脸识别系统对环境变化的鲁棒性成为亟需解决的问题。在实际应用中，识别对象往往是非限定性条件下的人脸图像，客观存在着光照、表情、姿态和遮挡等复杂干扰，导致人脸识别较为困难。
发明内容
本发明的目的是提供一种引入感知模型的孪生卷积神经网络人脸识别算法，以更好地对外界干扰鲁棒，提高数据集的处理速度并解决由于数据集较少而导致的过拟合等问题。
为了实现上述任务，本发明采用以下技术方案：
一种引入感知模型的孪生卷积神经网络人脸识别算法，包括以下步骤：
步骤1，构建训练数据集
将图像数据集中的人脸图像两两组合成正样本对和负样本对，并给每个样本对设置该样本对中的人脸图像是否属于同一类别的标签；其中正样本对由同一人的两张人脸图像随机组成，负样本对由不同人的两张人脸图像随机组成，正样本对与负样本对按1:1的比例生成训练数据集；
步骤2，建立引入感知模型的孪生卷积神经网络
采用一对结构相同的、权值共享的CNN网络组成孪生卷积神经网络，该网络的输入由一对图像(样本对)对和表示图像对是否属于同一类别的标签组成，通过共享权值结构提取所述一对图像的相同特征，并将图像的特征非线性投影到低维向量空间，根据提取的低维特征比较两幅图像是否属于同一类别；
所述的CNN网络中引入感知模型，使得CNN的网络结构从前至后依次包括两个卷积层、池化层、Inception模型、池化层、卷积层、输出层；
步骤3，确定网络训练过程中的算法为距离度量学习算法；
步骤4，确定循环学习率策略的上下边界及学习率调整方法；
步骤5，根据确定的距离度量算法、学习率调整方法，利用训练数据集训练引入感知模型的孪生卷积神经网络，保存训练后的网络模型用于人脸识别。
进一步地，所述的训练数据集中的图像分辨率为72×72。
进一步地，所述的Inception模型具有四个支路，第一支路依次包含三个卷积核大小分别为1×1、3×3、3×3的卷积层，第二支路依次包含一个池化层、一个卷积核大小为1×1的卷积层，第三支路依次包含两个卷积核大小分别为1×1、3×3的卷积层，第四支路包含一个卷积核大小为1×1的卷积层；四个支路最终连接至混合层，混合层的作用是对四个支路处理后的特征图按照深度链接起来，以混合成一张特征图。
进一步地，所述的距离度量学习算法，包括：
步骤3.1，首先，定义一对输入样本对(x1,x2)，当x1和x2属于同一个人时，标签y＝1；当x1和x2不属于同一人时，标签y＝0；将x1和x2输入孪生卷积神经网络，寻找参数权重W，偏置b，并利用可微的映射函数GW(x)将输入映射到目标空间，在目标空间使用距离参数定义相似性度量EW，如式1所示：
EW(x1,x2)＝||GW(x1)-GW(x2)|| 式1
步骤3.2，对于正样本对(x1,x2)和负样本对(x1,x2')，期望正样本对的相似性度量EW较小，负样本对的相似性度量EW较大，因此模型需要满足条件：对于任意正数m>0，有：
EW(x1,x2)+m<EW(x1,x2') 式2
式2中，m为设定阈值；定义可微分的代价函数如式3所示：
L(W,(y,x1,x2))＝(1-y)LG(EW(x1,x2)i)+yLI(EW(x1,x2)i) 式3
其中，LG和LI分别为只计算相同类别对图片和只计算不同类别对图片的损失函数，(x1,x2)i表示第i个样本对，y表示样本对的标签；进一步定义代价函数如式4所示：
其中，N为训练的样本对数；
当y＝0，损失为：
当y＝1，损失为：
进一步地，所述的确定循环学习率策略的上下边界，包括：
在网络学习之前，对训练数据集中的样本进行一次预训练以确定学习率的循环变化范围：首先根据经验给定一个学习率初始值，以此学习率开始训练样本对，在训练过程的每个批次中使学习率在学习率初始值的基础上以一定的速率线性增大，记录学习率和相应的训练损失值，绘制出损失值关于学习率的变化曲线，观察曲线，损失值下降最快的区域所对应的学习率范围为最优学习率的循环变化范围，其范围的上下界分别记为最大边界max_lr和最小边界min_lr。
进一步地，所述的学习率调整方法，包括：
在已确定的学习率的上下界范围内作正式训练并进行相应调整策略优化；在正式的训练过程中，使学习率在已确定的边界内随迭代次数的增加周期性变化，选择2个步长为一个循环周期，学习率LR从最小边界min_lr开始，在设定的第一个迭代步长中由初始值逐渐上升至最大边界max_lr，在下一个迭代步长中学习率由最大边界max_lr下降至最小边界min_lr，依次循环往复，完成训练。
进一步地，所述的学习率的更新方法为：
训练时，每经过一个批学习率更新一次，其更新的具体值由式7计算：
LR＝min_lr+(max_lr-min_lr)*f(0,(1-x)) 式7
其中，f函数表示在两个变量中取较大值，f1为取绝对值函数，f2为对浮点型数据向下取整函数，s为步长，b为变量，在[0,2s]范围内变化。
本发明具有以下技术特点：
1.与传统神经网络单输入不同，孪生卷积神经网络结构输入正样本对或负样本对，增大了数据集规模，有效减少过拟合问题。
2.对孪生卷积神经网络引入了Inception模块，提高了网络学习能力，实现更丰富特征的提取。
3.引入循环学习率策略，使得最优学习率的寻找变得简单方便，同时能够加速模型收敛，提高网络性能。
附图说明
图1(a)为正样本对示意图，图1(b)为负样本对示意图；
图2(a)为生成正样本对的示意图，图2(b)为生成负样本对的示意图；
图3为孪生卷积神经网络构架示意图；
图4为Inception模型结构图；
图5为引入Inception模型的CNN网络结构图；
图6为损失随学习率变化曲线图；
图7为学习率策略示意图；
图8(a)为不同学习率下Conv_结构损失收敛及相应局部放大图；
图8(b)为不同学习率下Conv_IN结构损失收敛及相应局部放大图。
具体实施方式
本发明公开了一种引入感知模型的孪生卷积神经网络人脸识别算法，具体包括以下步骤：
步骤1，构建训练数据集
将图像数据集中的人脸图像两两组合成正样本对和负样本对，并给每个样本对设置该样本对中的人脸图像是否属于同一类别的标签；其中正样本对由同一人的两张人脸图像随机组成，负样本对由不同人的两张人脸图像随机组成，最终正样本对的数量少于负样本对的数量，将负样本对随机删减使得正样本对与负样本对按1:1的比例生成训练数据集，如图2(a)、图2(b)所示。
由于卷积神经网络在非线性降维过程中，能够自动排除背景等因素的干扰，因此不需要对图像的背景、光照等做预处理。为降低计算量，将训练数据集中的图像分辨率降为72×72。
考虑到本方案所涉及的孪生卷积神经网络和一般采用单一深度网络结构的神经网络结构不同，后者只需要利用给定的分类标签对原始数据集进行训练即可，而前者需要对原始图像数据集处理成符合孪生神经网络所规定的训练模式，即训练数据集中所有图片必须以图1(a)和图1(b)所示的图像对的形式输入网络。
步骤2，建立引入感知模型的孪生卷积神经网络
采用一对结构相同的、权值共享的CNN网络组成孪生卷积神经网络，该网络的输入由一对图像(样本对)对和表示图像对是否属于同一类别的标签组成，通过共享权值结构提取所述一对图像的相同特征，并将图像的特征非线性投影到低维向量空间，根据提取的低维特征比较两幅图像是否属于同一类别；
所述的CNN网络中引入感知模型，使得CNN的网络结构从前至后依次包括两个卷积层、池化层、Inception模型、池化层、卷积层、输出层。
其中所述的Inception模型具有四个支路，第一支路依次包含三个卷积核大小分别为1×1、3×3、3×3的卷积层，第二支路依次包含一个池化层、一个卷积核大小为1×1的卷积层，第三支路依次包含两个卷积核大小分别为1×1、3×3的卷积层，第四支路包含一个卷积核大小为1×1的卷积层；四个支路最终连接至混合层Filter Concat，混合层的作用是对四个支路处理后的特征图按照深度链接起来，以混合成一张特征图。
经典的孪生网络，其CNN网络包含多个交替出现的卷积层和池化层。为了更好的实现特征提取，加深网络卷积层和池化层数量是深度学习技术的主流策略之一。但网络的加深可能会导致过拟合的出现、计算复杂度的增加以及梯度弥散问题，使得模型难以优化。
因此，本方案中提出了引入感知模型的孪生卷积神经网络结构，针对传统的CNN网络进行改进，在堆叠卷积层和池化层优势的基础上，引入Inception模型，既增加了网络宽度，达到信息跨通道连接的效果，又增加了网络对尺度的适应性且同时可以利用硬件密集矩阵优化的优势，实现更丰富的特征提取。
Inception模型由于不同支路的感受野不同，因此包含更多的尺度信息。不能方案的网络结构采用的Inception模型如图4所示，包含4条支路，引入1x1卷积核提高网络的表达能力，对输入进行有效降维,将整体结构作为一层特征提取层引入CNN网络结构并组成特征提取模块。引入Inception的CNN增加网络宽度的同时提升了网络对尺度的适应性，为识别正确率的提高提供了保证。图5为引入Inception模型的CNN网络结构。
步骤3，确定网络训练过程中的算法
本方案在网络训练过程中，使用距离度量学习算法，包括以下步骤：
步骤3.1，首先，定义一对输入样本对(x1,x2)，当x1和x2属于同一个人时，标签y＝1；当x1和x2不属于同一人时，标签y＝0；将x1和x2输入孪生卷积神经网络，寻找参数权重W，偏置b，并利用可微的映射函数GW(x)将输入映射到目标空间，在目标空间使用距离参数定义相似性度量EW，如式1所示：
EW(x1,x2)＝||GW(x1)-GW(x2)|| 式1
步骤3.2，对于正样本对(x1,x2)和负样本对(x1,x2')，期望正样本对的相似性度量EW较小，负样本对的相似性度量EW较大，因此模型需要满足条件：对于任意正数m>0，有：
EW(x1,x2)+m<EW(x1,x2') 式2
式2中，m为设定阈值；为了能够对孪生卷积神经网络进行训练，定义可微分的代价函数如式3所示：
L(W,(y,x1,x2))＝(1-y)LG(EW(x1,x2)i)+yLI(EW(x1,x2)i) 式3
其中，LG和LI分别为只计算相同类别对图片和只计算不同类别对图片的损失函数，(x1,x2)i表示第i个样本对，y表示样本对的标签；进一步定义代价函数如式4所示：
其中，N为训练的样本对数。
当y＝0，损失为：
即，原本不相似的样本对，如果距离度量小于阈值，损失减小，则EW增大，扩大图像距离。
当y＝1，损失为：
即原本相似的样本对，损失减小，则EW减小，图像距离进一步缩小。
显然，度量学习能够减少复杂干扰造成的相同身份人脸特征向量之间的差异，并增大不同身份人脸特征向量间的差异，从大量的训练人脸特征向量中，学习该特征空间的更鲁棒、更具可区分的距离度量，将原本在原始空间中分辨困难的数据进行维度规约，降低干扰影响，提升识别精度。
步骤4，确定循环学习率策略的上下边界及学习率调整方法
步骤4.1，确定循环学习率策略的上下边界
在网络学习之前，对训练数据集中的样本进行一次预训练以确定学习率的循环变化范围：首先根据经验给定一个非常小的学习率初始值，以此学习率开始训练样本对，在训练过程的每个批次中使学习率在初始学习率的基础上以非常低的速率线性增大，记录学习率和相应的训练损失值，绘制出损失值关于学习率的变化曲线，观察曲线，损失值下降最快的区域所对应的学习率范围为最优学习率的循环变化范围，其范围的上下界分别记为最大边界(max_lr)和最小边界(min_lr)。
循环学习率(Cyclical Learning Rate,CLR(是一种有效的学习率调整策略，为了加速网络模型收敛速度、减少训练时间并提高识别正确率，引入CLR优化策略，优化本方案中网络学习的学习率。其具体优化过程分为两步：学习率循环范围的确定和在此范围内学习率的具体调整。
本实施例中以CASIA-webface数据集为例，在前述步骤2建立的网络上进行训练。首先为学习率设置一个较小初始值，按照经验设置为1e-6，在训练过程的每个批次中使学习率在初始学习率的基础上以1e-5的增长速率线性增长，记录学习率与损失值并绘制其关系图，如图6所示。当学习率线性增大时损失值会随之减少，一旦学习率增大到一定程度损失值反而会上升，因此学习率周期性变化的范围选择为相应损失值快速下降的区间，具体为学习率下界min_lr：0.0002，学习率上界max_lr：0.0004。
步骤4.2，在学习率的上下边界内调整学习率
在已确定的学习率的上下界范围内(最大边界(max_lr)和最小边界(min_lr))作正式训练并进行相应调整策略优化。如图7所示，在正式的训练过程中，使学习率在已确定的边界内随迭代次数(iterations)的增加周期性变化，选择2个步长(s)为一个循环周期，学习率(Learning Rate,LR)从最小边界(min_lr)开始，在设定的第一个迭代步长(s)中由初始值逐渐上升至最大边界(max_lr)，在下一个迭代步长(s)中学习率由最大边界(max_lr)下降至最小边界(min_lr)，依次循环往复，完成训练。
训练时，每经过一个批(batch)学习率更新一次，其更新的具体值由式7计算。
LR＝min_lr+(max_lr-min_lr)*f(0,(1-x)) 式7
其中，f函数表示在两个变量中取较大值，f1为取绝对值函数，f2为对浮点型数据向下取整函数，s为步长，表示半个循环周期，一般设定为(2～10)*epoch，其中epoch的大小等于使用训练集中的全部样本除以批尺寸(batch_size)，b为变量，在[0,2s]范围内变化，表示此次训练为第b个batch，在训练迭代过程中通过LR值的计算对学习率更新从而提高识别准确率，加速模型收敛。
步骤5，网络训练
根据确定的距离度量算法、学习率调整方法，利用训练数据集训练引入感知模型的孪生卷积神经网络，保存训练后的网络模型用于人脸识别。
实验部分：
实验一，验证本算法的收敛性能
针对不同的学习率，对添加Inception模型的结构和未添加Inception模型的结构分别做损失收敛图比较，如图8(a)和图8(b)所示。为方便讨论，分别将不添加、添加Inception模型的网络结构记为Conv_和Conv_IN结构。观察图可知，在大约前5000次的迭代中，固定学习率与循环学习率策略对损失收敛情况表现大致相同，而在5000次迭代之后，循环学习率策略相较于固定学习率在迭代次数相同的情况下具有更低的损失值(见局部放大图)，且训练样本的损失降到相同值时，Conv_IN结构只需要训练5 000次左右，而Conv_结构需要训练15 000次，即循环学习率策略使模型收敛到更低的值，且加快了模型的收敛速度。
实验二，验证本算法的识别精度
为了进一步表明本算法的泛化性能，将上述基于CASIA-webface数据集确定的相同网络结构参数直接应用于Extended Yale B标准人脸数据库，并与其他经典PCA、PCA_SVM、CNN、LBP+DBN和NN+PCANet算法进行比较。最终实验结果如表1所示。
分析表1可知，PCA算法并不是通过训练来提取特征，因此本算法相较于PCA算法在识别正确率上有较大提升；SVM的核函数及其参数需人为选取，引起算法低效；CNN算法数据集规模较小，识别率较低；LBP+DBN算法，能够克服DBN不能学习到人脸图像局部结构特征的缺点，但当图像缺乏纹理特征时，其识别性能减弱；NN+PCANet具有高精度的识别准确率，但其并不擅长处理缺乏纹理变化的强光遮挡。
本算法在三大数据集所达到的高精度识别率，充分验证了其所具有的强泛化能力。
表1不同算法识别准确率比较

Claims (7)

1.一种引入感知模型的孪生卷积神经网络人脸识别算法，其特征在于，包括以下步骤：
步骤1，构建训练数据集
将图像数据集中的人脸图像两两组合成正样本对和负样本对，并给每个样本对设置该样本对中的人脸图像是否属于同一类别的标签；其中正样本对由同一人的两张人脸图像随机组成，负样本对由不同人的两张人脸图像随机组成，正样本对与负样本对按1:1的比例生成训练数据集；
步骤2，建立引入感知模型的孪生卷积神经网络
采用一对结构相同的、权值共享的CNN网络组成孪生卷积神经网络，该网络的输入由一对图像(样本对)对和表示图像对是否属于同一类别的标签组成，通过共享权值结构提取所述一对图像的相同特征，并将图像的特征非线性投影到低维向量空间，根据提取的低维特征比较两幅图像是否属于同一类别；
所述的CNN网络中引入感知模型，使得CNN的网络结构从前至后依次包括两个卷积层、池化层、Inception模型、池化层、卷积层、输出层；
步骤3，确定网络训练过程中的算法为距离度量学习算法；
步骤4，确定循环学习率策略的上下边界及学习率调整方法；
步骤5，根据确定的距离度量算法、学习率调整方法，利用训练数据集训练引入感知模型的孪生卷积神经网络，保存训练后的网络模型用于人脸识别。
2.如权利要求1所述的引入感知模型的孪生卷积神经网络人脸识别算法，其特征在于，所述的训练数据集中的图像分辨率为72×72。
3.如权利要求1所述的引入感知模型的孪生卷积神经网络人脸识别算法，其特征在于，所述的Inception模型具有四个支路，第一支路依次包含三个卷积核大小分别为1×1、3×3、3×3的卷积层，第二支路依次包含一个池化层、一个卷积核大小为1×1的卷积层，第三支路依次包含两个卷积核大小分别为1×1、3×3的卷积层，第四支路包含一个卷积核大小为1×1的卷积层；四个支路最终连接至混合层，混合层的作用是对四个支路处理后的特征图按照深度链接起来，以混合成一张特征图。
4.如权利要求1所述的引入感知模型的孪生卷积神经网络人脸识别算法，其特征在于，所述的距离度量学习算法，包括：
步骤3.1，首先，定义一对输入样本对(x1,x2)，当x1和x2属于同一个人时，标签y＝1；当x1和x2不属于同一人时，标签y＝0；将x1和x2输入孪生卷积神经网络，寻找参数权重W，偏置b，并利用可微的映射函数GW(x)将输入映射到目标空间，在目标空间使用距离参数定义相似性度量EW，如式1所示：
EW(x1,x2)＝||GW(x1)-GW(x2)|| 式1
步骤3.2，对于正样本对(x1,x2)和负样本对(x1,x2')，期望正样本对的相似性度量EW较小，负样本对的相似性度量EW较大，因此模型需要满足条件：对于任意正数m>0，有：
EW(x1,x2)+m<EW(x1,x2') 式2
式2中，m为设定阈值；定义可微分的代价函数如式3所示：
L(W,(y,x1,x2))＝(1-y)LG(EW(x1,x2)i)+yLI(EW(x1,x2)i) 式3
其中，LG和LI分别为只计算相同类别对图片和只计算不同类别对图片的损失函数，(x1,x2)i表示第i个样本对，y表示样本对的标签；进一步定义代价函数如式4所示：
其中，N为训练的样本对数；
当y＝0，损失为：
当y＝1，损失为：
5.如权利要求1所述的引入感知模型的孪生卷积神经网络人脸识别算法，其特征在于，所述的确定循环学习率策略的上下边界，包括：
在网络学习之前，对训练数据集中的样本进行一次预训练以确定学习率的循环变化范围：首先根据经验给定一个学习率初始值，以此学习率开始训练样本对，在训练过程的每个批次中使学习率在学习率初始值的基础上以一定的速率线性增大，记录学习率和相应的训练损失值，绘制出损失值关于学习率的变化曲线，观察曲线，损失值下降最快的区域所对应的学习率范围为最优学习率的循环变化范围，其范围的上下界分别记为最大边界max_lr和最小边界min_lr。
6.如权利要求1所述的引入感知模型的孪生卷积神经网络人脸识别算法，其特征在于，所述的学习率调整方法，包括：
在已确定的学习率的上下界范围内作正式训练并进行相应调整策略优化；在正式的训练过程中，使学习率在已确定的边界内随迭代次数的增加周期性变化，选择2个步长为一个循环周期，学习率LR从最小边界min_lr开始，在设定的第一个迭代步长中由初始值逐渐上升至最大边界max_lr，在下一个迭代步长中学习率由最大边界max_lr下降至最小边界min_lr，依次循环往复，完成训练。
7.如权利要求1所述的引入感知模型的孪生卷积神经网络人脸识别算法，其特征在于，所述的学习率的更新方法为：
训练时，每经过一个批学习率更新一次，其更新的具体值由式7计算：
LR＝min_lr+(max_lr-min_lr)*f(0,(1-x)) 式7
其中，f函数表示在两个变量中取较大值，f1为取绝对值函数，f2为对浮点型数据向下取整函数，s为步长，b为变量，在[0,2s]范围内变化。
CN201910560416.1A 2019-06-26 2019-06-26 引入感知模型的孪生卷积神经网络人脸识别算法 Pending CN110414349A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910560416.1A CN110414349A (zh) 2019-06-26 2019-06-26 引入感知模型的孪生卷积神经网络人脸识别算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910560416.1A CN110414349A (zh) 2019-06-26 2019-06-26 引入感知模型的孪生卷积神经网络人脸识别算法

Publications (1)

Publication Number Publication Date
CN110414349A true CN110414349A (zh) 2019-11-05

Family

ID=68359792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910560416.1A Pending CN110414349A (zh) 2019-06-26 2019-06-26 引入感知模型的孪生卷积神经网络人脸识别算法

Country Status (1)

Country Link
CN (1) CN110414349A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028277A (zh) * 2019-12-10 2020-04-17 中国电子科技集团公司第五十四研究所 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
CN111159250A (zh) * 2019-12-19 2020-05-15 电子科技大学 基于嵌套式深度孪生神经网络的移动端用户行为检测方法
CN111368931A (zh) * 2020-03-09 2020-07-03 第四范式（北京）技术有限公司 训练图像分类模型的方法及装置、计算机装置及存储介质
CN111506773A (zh) * 2020-03-24 2020-08-07 中国科学院大学 一种基于无监督深度孪生网络的视频去重方法
CN111930989A (zh) * 2020-09-22 2020-11-13 杭州雄迈集成电路技术股份有限公司 一种以图搜图方法
CN112434556A (zh) * 2020-10-20 2021-03-02 深圳市悦保科技有限公司 宠物鼻纹识别方法、装置、计算机设备及存储介质
CN112529328A (zh) * 2020-12-23 2021-03-19 长春理工大学 一种产品性能预测方法及系统
CN112766229A (zh) * 2021-02-08 2021-05-07 南京林业大学 基于注意力机制的人脸点云图像智能识别系统及方法
CN112801037A (zh) * 2021-03-01 2021-05-14 山东政法学院 一种基于连续帧间差异的人脸篡改检测方法
WO2021103675A1 (zh) * 2019-11-29 2021-06-03 百果园技术(新加坡)有限公司 神经网络的训练及人脸检测方法、装置、设备和存储介质
CN113177916A (zh) * 2021-04-21 2021-07-27 清华大学深圳国际研究生院 一种基于少样本学习方法的轻微高血压眼底辨别模型
CN113269137A (zh) * 2021-06-18 2021-08-17 常州信息职业技术学院 一种结合PCANet和遮挡定位的非配合人脸识别方法
CN113569620A (zh) * 2021-05-24 2021-10-29 惠州市德赛西威智能交通技术研究院有限公司 一种基于单目视觉的路面标记实例化识别的方法
CN113780461A (zh) * 2021-09-23 2021-12-10 中国人民解放军国防科技大学 基于特征匹配的鲁棒神经网络训练方法
CN113792574A (zh) * 2021-07-14 2021-12-14 哈尔滨工程大学 一种基于度量学习和教师学生模型的跨数据集表情识别方法
CN116994073A (zh) * 2023-09-27 2023-11-03 江西师范大学 一种自适应正负样本生成的图对比学习方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845421A (zh) * 2017-01-22 2017-06-13 北京飞搜科技有限公司 基于多区域特征与度量学习的人脸特征识别方法及系统
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法
US20190147602A1 (en) * 2017-11-13 2019-05-16 Qualcomm Technologies, Inc. Hybrid and self-aware long-term object tracking
CN109886141A (zh) * 2019-01-28 2019-06-14 同济大学 一种基于不确定性优化的行人再辨识方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845421A (zh) * 2017-01-22 2017-06-13 北京飞搜科技有限公司 基于多区域特征与度量学习的人脸特征识别方法及系统
US20190147602A1 (en) * 2017-11-13 2019-05-16 Qualcomm Technologies, Inc. Hybrid and self-aware long-term object tracking
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法
CN109886141A (zh) * 2019-01-28 2019-06-14 同济大学 一种基于不确定性优化的行人再辨识方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN SZEGEDY ET AL.: "Rethinking the Inception Architecture for Computer Vision", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
LN SMITH: "Cyclical learning rates for training neural networks", 《ARXIV.ORG》 *
SHUANGQUN LI ET AL.: "A Siamese inception architecture network for person re-identification", 《MACHINE VISION AND APPLICATIONS》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021103675A1 (zh) * 2019-11-29 2021-06-03 百果园技术(新加坡)有限公司 神经网络的训练及人脸检测方法、装置、设备和存储介质
CN111028277A (zh) * 2019-12-10 2020-04-17 中国电子科技集团公司第五十四研究所 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
CN111159250A (zh) * 2019-12-19 2020-05-15 电子科技大学 基于嵌套式深度孪生神经网络的移动端用户行为检测方法
CN111159250B (zh) * 2019-12-19 2023-02-21 电子科技大学 基于嵌套式深度孪生神经网络的移动端用户行为检测方法
CN111368931A (zh) * 2020-03-09 2020-07-03 第四范式（北京）技术有限公司 训练图像分类模型的方法及装置、计算机装置及存储介质
CN111368931B (zh) * 2020-03-09 2023-11-17 第四范式（北京）技术有限公司 确定图像分类模型的学习率的方法
CN111506773A (zh) * 2020-03-24 2020-08-07 中国科学院大学 一种基于无监督深度孪生网络的视频去重方法
CN111930989A (zh) * 2020-09-22 2020-11-13 杭州雄迈集成电路技术股份有限公司 一种以图搜图方法
CN112434556A (zh) * 2020-10-20 2021-03-02 深圳市悦保科技有限公司 宠物鼻纹识别方法、装置、计算机设备及存储介质
CN112529328B (zh) * 2020-12-23 2023-08-22 长春理工大学 一种产品性能预测方法及系统
CN112529328A (zh) * 2020-12-23 2021-03-19 长春理工大学 一种产品性能预测方法及系统
CN112766229A (zh) * 2021-02-08 2021-05-07 南京林业大学 基于注意力机制的人脸点云图像智能识别系统及方法
CN112766229B (zh) * 2021-02-08 2022-09-27 南京林业大学 基于注意力机制的人脸点云图像智能识别系统及方法
CN112801037A (zh) * 2021-03-01 2021-05-14 山东政法学院 一种基于连续帧间差异的人脸篡改检测方法
CN113177916A (zh) * 2021-04-21 2021-07-27 清华大学深圳国际研究生院 一种基于少样本学习方法的轻微高血压眼底辨别模型
CN113569620B (zh) * 2021-05-24 2024-09-13 惠州市德赛西威智能交通技术研究院有限公司 一种基于单目视觉的路面标记实例化识别的方法
CN113569620A (zh) * 2021-05-24 2021-10-29 惠州市德赛西威智能交通技术研究院有限公司 一种基于单目视觉的路面标记实例化识别的方法
CN113269137B (zh) * 2021-06-18 2023-10-31 常州信息职业技术学院 一种结合PCANet和遮挡定位的非配合人脸识别方法
CN113269137A (zh) * 2021-06-18 2021-08-17 常州信息职业技术学院 一种结合PCANet和遮挡定位的非配合人脸识别方法
CN113792574A (zh) * 2021-07-14 2021-12-14 哈尔滨工程大学 一种基于度量学习和教师学生模型的跨数据集表情识别方法
CN113792574B (zh) * 2021-07-14 2023-12-19 哈尔滨工程大学 一种基于度量学习和教师学生模型的跨数据集表情识别方法
CN113780461B (zh) * 2021-09-23 2022-08-05 中国人民解放军国防科技大学 基于特征匹配的鲁棒神经网络训练方法
CN113780461A (zh) * 2021-09-23 2021-12-10 中国人民解放军国防科技大学 基于特征匹配的鲁棒神经网络训练方法
CN116994073A (zh) * 2023-09-27 2023-11-03 江西师范大学 一种自适应正负样本生成的图对比学习方法和装置
CN116994073B (zh) * 2023-09-27 2024-01-26 江西师范大学 一种自适应正负样本生成的图对比学习方法和装置

Similar Documents

Publication Publication Date Title
CN110414349A (zh) 引入感知模型的孪生卷积神经网络人脸识别算法
CN109948425B (zh) 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN110532920B (zh) 基于FaceNet方法的小数量数据集人脸识别方法
CN107220277A (zh) 基于手绘草图的图像检索算法
CN108427921A (zh) 一种基于卷积神经网络的人脸识别方法
CN107358293A (zh) 一种神经网络训练方法及装置
CN105678231A (zh) 一种基于稀疏编码和神经网络的行人图片检测方法
CN107563407A (zh) 一种面向网络空间多模态大数据的特征表示学习系统
CN111582136B (zh) 表情识别方法及装置、电子设备、存储介质
CN105809672A (zh) 一种基于超像素和结构化约束的图像多目标协同分割方法
CN112733602B (zh) 关系引导的行人属性识别方法
CN109871892A (zh) 一种基于小样本度量学习的机器人视觉认知系统
CN104751175B (zh) 基于增量支持向量机的sar图像多类标场景分类方法
CN109325513A (zh) 一种基于海量单类单幅图像的图像分类网络训练方法
CN117079098A (zh) 一种基于位置编码的空间小目标检测方法
CN112883931A (zh) 基于长短期记忆网络的实时真假运动判断方法
CN111814705A (zh) 一种基于批次分块遮挡网络的行人再辨识方法
Wang et al. Accurate real-time ship target detection using Yolov4
CN111709977A (zh) 一种基于自适应单峰立体匹配成本滤波的双目深度学习方法
Bi et al. Critical direction projection networks for few-shot learning
Hou et al. A face detection algorithm based on two information flow block and retinal receptive field block
CN108038467B (zh) 一种镜像图与粗细层次结合的稀疏人脸识别方法
CN117611918A (zh) 基于层次神经网络的海洋生物分类方法
CN116797832A (zh) 一种基于混合深度学习模型的大球盖菇分级检测方法
CN109858543B (zh) 基于低秩稀疏表征和关系推断的图像可记忆度预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination