CN110414576A - 一种基于余弦中心损失的识别方法及一种卷积神经网络 - Google Patents

一种基于余弦中心损失的识别方法及一种卷积神经网络 Download PDF

Info

Publication number
CN110414576A
CN110414576A CN201910628939.5A CN201910628939A CN110414576A CN 110414576 A CN110414576 A CN 110414576A CN 201910628939 A CN201910628939 A CN 201910628939A CN 110414576 A CN110414576 A CN 110414576A
Authority
CN
China
Prior art keywords
layer
neural networks
convolutional neural
export
cosine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910628939.5A
Other languages
English (en)
Inventor
严如强
侯博瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Geweixi United Technology Co Ltd
Original Assignee
Xi'an Geweixi United Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Geweixi United Technology Co Ltd filed Critical Xi'an Geweixi United Technology Co Ltd
Priority to CN201910628939.5A priority Critical patent/CN110414576A/zh
Publication of CN110414576A publication Critical patent/CN110414576A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种基于余弦中心损失函数的生物特征识别方法，通过基于余弦中心损失的卷积神经网络提取生物图像的特征，并识别待识别用户的身份信息。将训练图像输入至卷积神经网络中训练，使用余弦中心损失函数作为卷积神经网络的损失函数，输出为训练图像的标签值，所述损失函数L如公式L＝Ls+λLac所示：其中，Ls表示softmax损失，Lac表示余弦中心损失，λ的取值范围为任意实数。本发明能够有效地提取生物特征，提高了对噪声的冗余性，明显改善生物特征识别系统的识别精度。

Description

一种基于余弦中心损失的识别方法及一种卷积神经网络
技术领域
本发明涉及生物特征识别，特别是涉及一种结合余弦中心损失和softmax损失作为损失函数的识别方法及一种用于训练图像的卷积神经网络。
背景技术
生物识别技术主要是指通过人类生物特征进行身份认证的一种技术，人类的生物特征通常具有可以测量或可自动识别和验证、遗传性或终身不变等特点，因此生物识别认证技术较传统认证技术存在较大的优势。常见的生物特征识别方法包括人脸识别、虹膜识别、指静脉识别、指纹识别、声音识别等。如何实现准确的识别是本领域技术人员一直在努力的方向。通过手工特征建立特征库，采取图像进行对比识别是常用的识别方法，目前基于手工特征的识别方普遍存在着以下缺陷：
1)训练图像获取困难，在现行数据库下难以建立有效的数学模型，提取合适的生物特征；
2)训练图像易受到噪声干扰进而影响到图像中与生物特征相关的分布；
3)生物特征样本的稀缺致使当前手工设计的生物特征缺乏特异性。
因此，目前基于手工特征的方法导致认证系统的识别性能有限。
同时，当前对于深度学习在生物特征识别方面的应用也存在极大的局限性，常常只能应用于大样本生物特征数据的识别及作为图像处理工具使用。传统的基于softmax函数的深度学习方法往往局限于提高样本的类间距离并以此分类样本，但是，这种做法忽视了样本的类内距离，使其往往需要大样本的生物特征数据用于训练，并没有充分发挥其强大的特征学习能力。对于当前生物特征数据库稀缺和小样本的问题，需要一类兼顾样本类内距离和类间距离的损失函数，在小样本生物特征数据的基础上提升生物特征深度学习识别模型的识别效果。
发明内容
本发明提供了一种基于余弦中心损失的识别方法及一种用于训练图像的卷积神经网络，可以大幅度提高生物特征识别系统的识别能力。
本发明的一个实施例提供了一种基于余弦中心损失的识别方法，将训练图像输入至卷积神经网络中训练，使用损失函数作为卷积神经网络的网络参数，输出为训练图像的标签值，所述损失函数L如公式(1)所示：
L＝Ls+λLac (1)
其中，Ls表示softmax损失，Lac表示余弦中心损失，λ的取值范围为任意实数。
本发明的一个实施例提供了一种卷积神经网络，用于训练图像，采用权利要求1-5所述的损失函数作为网络参数。
本发明提供的一种基于余弦中心损失的识别方法，以及用于训练图像的卷积神经网络，提出并应用了基于余弦中心损失的卷积神经网络，具有如下有益效果：
1)通过该网络的使用，可以大幅度提高生物特征识别系统的识别能力。
2)本发明提出的基于余弦中心损失的卷积神经网络，通过结合余弦中心损失和softmax损失指导卷积神经网络的训练，提高了对手生物特征的特征提取能力，提高了生物特征识别系统的安全性。
(3)本发明提出的基于余弦中心损失的卷积神经网络在提取手生物特征的编码值作为特征值后，可以采用余弦距离对编码值进行分类，从而有效地简化了手生物特征的识别流程。
附图说明
图1是本发明的基于余弦中心损失的卷积神经网络模型的一个实施例的示意图。
具体实施方式
为了更清楚地说明本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图及实施例对本发明作进一步说明，进行清楚、完整的描述，显然，所描述的实施例是本发明的部分实施例，而不是全部实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
在本发明的一个实施例中，基于余弦中心损失的识别方法，将训练图像输入至卷积神经网络中训练，使用损失函数作为卷积神经网络的网络参数，输出为训练图像的标签值，损失函数L如公式(1)所示：
L＝Ls+λLac (1)
其中，Ls表示softmax损失，Lac表示余弦中心损失，λ的取值范围为任意实数，一般用于平衡两种损失，使得二者能更好的发挥各自的作用。
卷积神经网络的损失函数由与余弦中心损失和softmax损失函数的组成。采用余弦中心损失函数减少训练图像的类内距离，使同一类的生物特征在特征空间内更靠近；同时采用softmax损失函数增大训练图像的类间距离，使不同类的生物特征在特征空间内更远离，统一训练卷积神经网络，完成训练后，选取卷积神经网络模型中处理输入图像，识别用户的生物特征信息。
采用余弦中心损失作为损失函数的一部分，可以减少训练图像的类内距离，使同一类的生物特征在特征空间内更靠近；同时采用softmax损失函数增大训练图像的类间距离，使不同类的生物特征在特征空间内更远离。
传统的softmax损失函数专注于增大样本的类间距离，使得样本间的区分度更高，但忽视了样本的类内距离。因此，在本发明的一个实施例中，假设卷积神经网络提取到的特征值为xi，即第yi类训练图像的第i个样本，卷积神经网络的权重为W，偏置为b，其中第i层的权重和偏置分别为Wi和bi，训练图像种类为N，批训练样本总数为n，则所述softmax损失函数如公式(2)所示：
在本发明的一个实施例中，假设样本中心向量为c， 为第yi类训练图像，样本特征向量为f,fi表示第i个样本的特征向量，为简化计算，将表示正则化后的向量v，Lac如公式(3)所示：
其中θi为第i个样本的中心向量与特征向量的夹角，其计算公式为(4)
当夹角θi范围为[0，π]时，cosθi与θi的值有一一对应的关系。因此中心向量与特征向量的夹角θi也能用于衡量两向量间的距离。事实上，cosθi的值越大，夹角θi的值越小，中心向量与特征向量越相似。而在神经网络优化过程中，需要得到的是损失函数的最小值，因此，在本发明的一个实施例中，在设计余弦中心损失的损失函数时，采用两个向量间的夹角来代替余弦值，作为优化目标。对于样本i，其余弦损失可以表示为：
其中夹角θi的范围为[0，π]。
余弦损失Lac相对于特征向量的偏导为：
其中夹角的范围为[0，π],结合公式(7)、(8),
在本发明的一个实施例中，公式(3)中，采用两个向量间的夹角来代替余弦值，作为优化目标，对于样本i，其余弦损失表示如公式(5)所示：
其中夹角θi的范围为[0，π]。
在本发明的一个实施例中，中心向量的更新策略如公式(6)所示：
当yi＝j时δ(yi＝j)＝1，否则δ(yi＝j)＝0。
在本发明的一个实施例中，用于训练图像的卷积神经网络，采用权利要求1-5所述的损失函数作为网络参数。
在本发明的一个实施例中，卷积神经网络由输入层，卷积层，最大池化层，全连接层和输出层组成。
在本发明的一个实施例中，卷积神经网络具体如下：
第一层输入层，输入层大小即为训练图像大小，48x144x1；
第二层为卷积层，卷积核大小为3×3，步长大小为2，输出32个特征图；
第三层为卷积层，卷积核大小为3×3，步长大小为2，输出32个特征图；
第四层为卷积层，卷积核大小为3×3，步长大小为2，输出32个特征图；
第五层是最大池化层，核大小为2×2，步长大小为2，输出32个特征图；第六层为卷积层，卷积核大小为3×3，步长大小为2，输出64个特征图；
第七层为卷积层，卷积核大小为3×3，步长大小为2，输出64个特征图；
第八层是最大池化层，核大小为2×2，步长大小为2，输出64个特征图；
第九层是卷积层，卷积核大小为3×3，步长大小为2，输出128个特征图；
第十层是卷积层，卷积核大小为3×3，步长大小为2，输出128个特征图；
第十一层是卷积层，卷积核大小为3×3，步长大小为2，输出128个特征图；
第十二层是最大池化层，核大小为2×2，步长大小为2，输出128个特征图。
最大池化层连接到节点个数为128的全连接层；所述输出层节点个数由待识别用户数决定。
在本发明的一个实施例中，卷积神经网络在训练过程中采用随机丢弃50％节点的方法防止神经网络过拟合。
在本发明的一个实施例中，假设卷积神经网络提取到的特征值为xi(即第yi类训练图像的第i个样本)，卷积神经网络的权重为W，偏置为b(其中第i层的权重和偏置分别为Wi和bi)，训练图像种类为N，批训练样本总数为n。则softmax损失函数如公式(4)所示：
传统的softmax损失函数专注于增大样本的类间距离，使得样本间的区分度更高，但忽视了样本的类内距离。余弦中心损失专注于减小样本的类内距离，进一步提高模型提取生物特征的能力。
在本发明的一个实施例中，假设样本中心向量为c， 为第yi类训练图像，样本特征向量为f,fi表示第i个样本的特征向量。为了简化计算，这里将表示正则化后的向量v，余弦中心损失为：
其中θi为第i个样本的中心向量与特征向量的夹角。
当夹角θi范围为[0，π]时，cosθi与θi的值有一一对应的关系。因此中心向量与特征向量的夹角θi也能用于衡量两向量间的距离。事实上，cosθi的值越大，夹角θi的值越小，中心向量与特征向量越相似。而在神经网络优化过程中，需要得到的是损失函数的最小值，因此，在设计余弦中心损失的损失函数时，采用两个向量间的夹角来代替余弦值，作为优化目标。对于样本i，其余弦损失可以表示为：
余弦损失Lac相对于特征向量的偏导为：
其中夹角的范围为[0，π],结合公式(6),
中心向量的更新策略为：
当yi＝j时δ(yi＝j)＝1，否则δ(yi＝j)＝0。
余弦中心损失的主要作用是指导卷积神经网络的特征提取能力，减少类内距离，使得同一类样本的特征在特征空间里的分布更为紧凑。同时为了更好的区分不同类的样本，softmax损失同样也得引入训练过程中，用以使得不同类样本的特征在特征空间的分布更稀疏。
λ的取值范围可以为全体实数，
如表1所示，在本发明的一个实施例中，卷积神经网络由输入层，卷积层，最大池化层，全连接层和输出层组成：
第一层输入层，输入层大小即为训练图像大小，48x144x1；
第二层为卷积层，卷积核大小为3×3，步长大小为2，输出32个特征图；
第三层为卷积层，卷积核大小为3×3，步长大小为2，输出32个特征图；
第四层为卷积层，卷积核大小为3×3，步长大小为2，输出32个特征图；
第五层是最大池化层，核大小为2×2，步长大小为2，输出32个特征图；
第六层为卷积层，卷积核大小为3×3，步长大小为2，输出64个特征图；
第七层为卷积层，卷积核大小为3×3，步长大小为2，输出64个特征图；
第八层是最大池化层，核大小为2×2，步长大小为2，输出64个特征图；
第九层是卷积层，卷积核大小为3×3，步长大小为2，输出128个特征图；
第十层是卷积层，卷积核大小为3×3，步长大小为2，输出128个特征图；
第十一层是卷积层，卷积核大小为3×3，步长大小为2，输出128个特征图；
第十二层是最大池化层，核大小为2×2，步长大小为2，输出128个特征图；
连接到节点个数为128的全连接层；输出层节点个数由待识别用户数决定。在训练过程中采用随机丢弃50％节点的方法防止神经网络过拟合。
表1：提出的卷积神经网络模型
注：N：待识别用户数
为了证明该方法的优越性，本实施例比较了传统纹理特征提取方法：基于Gabor滤波器和2DPCA的方法、基于滑动窗口滤波的方法，基于双重滑动窗口滤波方法的性能以及采用基于softmax损失函数的卷积神经网络方法(神经网络结构如表一所示)等方案的结果。在马来西亚手训练图像公开数据库FV_USM和山东大学大学指静脉数据库SDUMLA上进行实验，结果如表2所示。
表2.等误率对比
在FV_USM指静脉数据库上，基于Gabor滤波器和2DPCA的融合识别结果等误率为5.72％，基于滑动窗口滤波识别结果等误率为2.69％，基于双重滑动窗口滤波识别结果等误率为2.32％,在同一卷积神经网络结构下，使用基于softmax损失函数识别结果等误率为0.38％，使用本实施例提取特征识别等误率为0.29％。在SDUMLA手指静脉数据库中，基于Gabor滤波器和2DPCA的融合识别结果等误率为3.63％，基于滑动窗口滤波识别结果等误率为2.77％，基于双重滑动窗口滤波识别结果等误率为1.59％,在同一卷积神经网络结构下，使用基于softmax损失函数识别结果等误率为2.17％，使用本实施例提取特征识别等误率为2.04％。本实例方法中提取的特征更能表达手指静脉根本信息。所以使用本实例方法提取训练图像特征更加有效。
本发明的实施例提出基于余弦中心损失卷积神经网络的指静脉识别方法，同时使用两个数据库中的图像进行训练，在两个数据库上的识别率都比传统方法的识别率要高，证明了该方法确实可以获得更好的识别性能，对于不同场景采集的数据库依然适用。

Claims (10)

1.一种基于余弦中心损失的识别方法，其特征在于，将训练图像输入至卷积神经网络中训练，使用余弦中心损失函数作为卷积神经网络的损失函数，输出为训练图像的标签值，所述损失函数L如公式(1)所示：
L＝Ls+λLac (1)
其中，Ls表示softmax损失，Lac表示余弦中心损失，λ的取值范围为任意实数。
2.根据权利要求1所述的识别方法，其特征在于，假设所述卷积神经网络提取到的特征值为xi，即第yi类训练图像的第i个样本，卷积神经网络的权重为W，偏置为b，其中第i层的权重和偏置分别为Wi和bi，训练图像种类为N，批训练样本总数为n，则所述softmax损失函数如公式(2)所示：
。
3.根据权利要求1或2所述的识别方法，其特征在于，假设样本中心向量为c， 为第yi类训练图像，样本特征向量为f，fi表示第i个样本的特征向量，为简化计算，将表示正则化后的向量v，Lac如公式(3)所示：
其中θi为第i个样本的中心向量与特征向量的夹角，其计算公式为(4)
。
4.根据权利要求3所述的方法，其特征在于，公式(3)中，采用两个向量间的夹角来代替余弦值，作为优化目标，对于样本i，其余弦损失表示如公式(5)所示：
其中夹角θi的范围为[0，π]。
5.根据权利要求3所述的方法，其特征在于，所述中心向量的更新策略如公式(6)所示：
当yi＝j时δ(yi＝j)＝1，否则δ(yi＝j)＝0。
6.一种卷积神经网络，其特征在于，所述卷积神经网络采用权利要求1-5所述的损失函数作为网络参数。
7.根据权利要求6所述的卷积神经网络，其特征在于，所述卷积神经网络由输入层，卷积层，最大池化层，全连接层和输出层组成。
8.根据权利要求7所述的卷积神经网络，其特征在于，所述卷积神经网络具体如下：
第一层输入层，输入层大小即为训练图像大小，48×144×1；
第二层为卷积层，卷积核大小为3×3，步长大小为2，输出32个特征图；
第三层为卷积层，卷积核大小为3×3，步长大小为2，输出32个特征图；
第四层为卷积层，卷积核大小为3×3，步长大小为2，输出32个特征图；
第五层是最大池化层，核大小为2×2，步长大小为2，输出32个特征图；第六层为卷积层，卷积核大小为3×3，步长大小为2，输出64个特征图；
第七层为卷积层，卷积核大小为3×3，步长大小为2，输出64个特征图；
第八层是最大池化层，核大小为2×2，步长大小为2，输出64个特征图；
第九层是卷积层，卷积核大小为3×3，步长大小为2，输出128个特征图；
第十层是卷积层，卷积核大小为3×3，步长大小为2，输出128个特征图；
第十一层是卷积层，卷积核大小为3×3，步长大小为2，输出128个特征图；
第十二层是最大池化层，核大小为2×2，步长大小为2，输出128个特征图。
9.根据权利要求7或8所述的卷积神经网络，其特征在于，所述最大池化层连接到节点个数为128的全连接层；所述输出层节点个数由待识别用户数决定。
10.根据权利要求7或8所述的卷积神经网络，其特征在于，所述卷积神经网络在训练过程中采用随机丢弃50％节点的方法防止神经网络过拟合。
CN201910628939.5A 2019-07-12 2019-07-12 一种基于余弦中心损失的识别方法及一种卷积神经网络 Pending CN110414576A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910628939.5A CN110414576A (zh) 2019-07-12 2019-07-12 一种基于余弦中心损失的识别方法及一种卷积神经网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910628939.5A CN110414576A (zh) 2019-07-12 2019-07-12 一种基于余弦中心损失的识别方法及一种卷积神经网络

Publications (1)

Publication Number Publication Date
CN110414576A true CN110414576A (zh) 2019-11-05

Family

ID=68361243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910628939.5A Pending CN110414576A (zh) 2019-07-12 2019-07-12 一种基于余弦中心损失的识别方法及一种卷积神经网络

Country Status (1)

Country Link
CN (1) CN110414576A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597882A (zh) * 2020-04-03 2020-08-28 云知声智能科技股份有限公司 一种损失函数计算方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009520A (zh) * 2017-12-21 2018-05-08 东南大学 一种基于卷积变分自编码器神经网络的手指静脉识别方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009520A (zh) * 2017-12-21 2018-05-08 东南大学 一种基于卷积变分自编码器神经网络的手指静脉识别方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANKANG DENG等: "ArcFace: Additive Angular Margin Loss for Deep Face Recognition", 《JOURNAL OF LATEX CLASS FILES》 *
YANDONG WEN等: "A Discriminative Feature Learning Approach for Deep Face Recognition", 《SPRINGER》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111597882A (zh) * 2020-04-03 2020-08-28 云知声智能科技股份有限公司 一种损失函数计算方法及装置
CN111597882B (zh) * 2020-04-03 2022-10-14 云知声智能科技股份有限公司 一种损失函数计算方法及装置

Similar Documents

Publication Publication Date Title
CN109165566B (zh) 一种基于新型损失函数的人脸识别卷积神经网络训练方法
CN105426842B (zh) 基于支持向量机和表面肌电信号的多类手部动作识别方法
CN111414862B (zh) 基于神经网络融合关键点角度变化的表情识别方法
CN110515456A (zh) 基于注意力机制的脑电信号情感判别方法及装置
CN107886064A (zh) 一种基于卷积神经网络的人脸识别场景适应的方法
CN105138993A (zh) 建立人脸识别模型的方法及装置
CN105261367B (zh) 一种说话人识别方法
CN109344856B (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
CN110390282A (zh) 一种基于余弦中心损失的指静脉识别方法及系统
CN107657239A (zh) 掌纹图像性别分类方法及装置、计算机装置及可读存储介质
CN109190566A (zh) 一种融合局部编码与cnn模型手指静脉识别方法
Liu et al. Finger vein recognition with superpixel-based features
CN103440471B (zh) 基于低秩表示的人体行为识别方法
CN105117708A (zh) 人脸表情识别的方法和装置
CN101303730A (zh) 基于分类器集成的人脸识别系统及其方法
CN109977887A (zh) 一种抗年龄干扰的人脸识别方法
CN110414587A (zh) 基于渐进学习的深度卷积神经网络训练方法与系统
CN104166848B (zh) 一种应用于虹膜识别的匹配方法及系统
CN106951819A (zh) 基于稀疏概率分布和多阶段类别筛选的单样本人脸识别方法
CN107944366B (zh) 一种基于属性学习的手指静脉识别方法及装置
CN104504361B (zh) 基于方向特征的手掌静脉主方向特征提取方法
CN106650798A (zh) 一种结合深度学习与稀疏表示的室内场景识别方法
CN104615635B (zh) 基于方向特征的手掌静脉分类索引构建方法
CN104156628A (zh) 一种基于多核学习判别分析的舰船辐射信号识别方法
CN103745242A (zh) 一种跨设备生物特征识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105