CN111860424B - 一种可见光手掌识别模型的训练方法和装置 - Google Patents

一种可见光手掌识别模型的训练方法和装置 Download PDF

Info

Publication number
CN111860424B
CN111860424B CN202010750775.6A CN202010750775A CN111860424B CN 111860424 B CN111860424 B CN 111860424B CN 202010750775 A CN202010750775 A CN 202010750775A CN 111860424 B CN111860424 B CN 111860424B
Authority
CN
China
Prior art keywords
palm
visible light
data set
loss function
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010750775.6A
Other languages
English (en)
Other versions
CN111860424A (zh
Inventor
刘辉
杨奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Entropy Technology Co ltd
Original Assignee
Xiamen Entropy Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Entropy Technology Co ltd filed Critical Xiamen Entropy Technology Co ltd
Priority to CN202010750775.6A priority Critical patent/CN111860424B/zh
Publication of CN111860424A publication Critical patent/CN111860424A/zh
Application granted granted Critical
Publication of CN111860424B publication Critical patent/CN111860424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种可见光手掌识别模型的训练方法和装置，通过扩增后的可见光手掌数据集对第一卷积神经网络进行训练，得到训练好的第一卷积神经网络；将通过预置对抗生成网络生成的无标签可见光手掌数据集输入到训练好的第一卷积神经网络进行软标签预测，得到软标签可见光手掌数据集；结合扩增后的可见光手掌数据集和软标签可见光手掌数据集对第二卷积神经网络进行训练，得到可见光手掌识别模型，解决了现有的小规模可见光手掌数据集训练得到的手掌识别模型的识别精度不高，且继续采集大规模的可见光手掌图像需耗费大量的人力物力，工作量大、耗费时间长的技术问题。

Description

一种可见光手掌识别模型的训练方法和装置
技术领域
本申请涉及图像识别技术领域，尤其涉及一种可见光手掌识别模型的训练方法和装置。
背景技术
生物特征识别技术应用越来越广泛，例如门禁、支付等领域，生物特征识别技术采用的识别特征有人脸、指纹和手掌等。而现有的可见光手掌识别数据集的规模较小，在小规模可见光手掌数据集训练得到的手掌识别模型，存在识别精度不高的问题；而继续采集大规模的可见光手掌图像需耗费大量的人力物力，工作量大、且耗费时间长。
发明内容
本申请提供了一种可见光手掌识别模型的训练方法和装置，用于解决现有的小规模可见光手掌数据集训练得到的手掌识别模型的识别精度不高，且继续采集大规模的可见光手掌图像需耗费大量的人力物力，工作量大、耗费时间长的技术问题。
有鉴于此，本申请第一方面提供了一种可见光手掌识别模型的训练方法，包括：
对有标签可见光手掌数据集进行数据扩增，将扩增后的所述可见光手掌数据集中的手掌图像和对应的标签输入至第一卷积神经网络进行特征提取；
基于提取的特征向量和所述标签，通过第一损失函数计算网络损失，基于所述网络损失更新所述第一卷积神经网络的参数，直至所述第一卷积神经网络收敛，得到训练好的第一卷积神经网络；
将通过预置对抗生成网络生成的无标签可见光手掌数据集中的手掌图像输入至所述训练好的第一卷积神经网络进行软标签预测，得到软标签可见光手掌数据集，所述预置对抗生成网络通过有标签可见光手掌数据集训练得到；
结合扩增后的所述有标签可见光手掌数据集和所述软标签可见光手掌数据集训练第二卷积神经网络，通过第二损失函数计算得到的网络损失更新所述第二卷积神经网络的参数，直至所述第二卷积神经网络收敛，得到可见光手掌识别模型。
可选地，所述预置对抗生成网络包括鉴别器和生成器，所述预置对抗生成网络的配置过程为：
每训练一次所述鉴别器后，训练一次所述生成器，直至所述对抗生成网络收敛，得到所述预置对抗生成网络。
可选地，所述鉴别器的训练过程，包括：
将所述有标签可见光手掌数据集中的若干张真实的手掌图像和若干张假手掌图像分别输入至所述鉴别器，输出所述真实的手掌图像的分数和所述假图像的分数，所述假手掌图像通过所述生成器生成；
基于所述真实的手掌图像的分数和所述假图像的分数，通过真假图像分类损失函数计算真假图像分类损失；
计算所述真假图像分类损失相对于鉴别器参数的梯度，并基于梯度下降法更新所述鉴别器参数。
可选地，所述鉴别器的训练过程，还包括：
每训练第一预置次数的所述鉴别器后，通过梯度正则化损失函数计算所述真实的手掌图像的梯度正则化损失；
计算所述梯度正则化损失相对于所述鉴别器参数的梯度，并基于梯度下降法更新所述鉴别器参数。
可选地，所述生成器的训练过程，包括：
将获取的噪声数据输入所述生成器，输出所述假手掌图像；
根据所述假手掌图像的分数，通过非饱和分类损失函数计算非饱和分类损失，所述假手掌图像的分数通过所述鉴别器得到；
计算所述非饱和分类损失相对于生成器参数的梯度，并基于梯度下降法更新所述生成器参数。
可选地，所述生成器的训练过程，还包括：
每训练第二预置次数的所述鉴别器后，通过所述假手掌图像的路径正则化损失函数计算路径正则化损失；
基于所述路径正则化损失更新所述生成器参数。
可选地，所述通过所述假手掌图像的路径正则化损失函数计算路径正则化损失，包括：
将获取的噪声数据输入所述生成器，输出所述假手掌图像和对应的隐编码；
基于所述假手掌图像、所述假手掌图像对应的隐编码和当前路径正则化的平均路径长度，通过所述假手掌图像的路径正则化损失函数计算路径正则化损失，其中，所述路径正则化的平均路径长度的初始化值为0；
相应的，所述基于所述路径正则化损失更新所述生成器参数，包括：
计算所述路径正则化损失相对于所述生成器参数的梯度，基于梯度下降法更新所述生成器参数，并更新所述路径正则化的平均路径长度。
可选地，所述生成器的训练过程，还包括：
基于指数滑动平均算法对所述生成器参数进行指数滑动平均处理。
可选地，所述对有标签可见光手掌数据集进行数据扩增处理，包括：
对有标签可见光手掌数据集中的手掌图像进行对比度、亮度、色调或饱和度调整后，再进行旋转、平移、错切或透视扭曲处理，得到扩增后的所述有标签可见光手掌数据集中的手掌图像。
可选地，所述方法还包括：
将待验证可见光手掌图像输入至所述可见光手掌识别模型进行手掌特征提取后，对提取的所述手掌特征两两进行比对计算余弦相似度分数，并根据所述余弦相似度分数，通过ROC算法测评所述可见光手掌识别模型在FRR@FAR＝0下的错误率。
本申请第二方面提供了一种可见光手掌识别模型的训练装置，包括：
特征提取单元，用于对有标签可见光手掌数据集进行数据扩增，将扩增后的所述可见光手掌数据集中的手掌图像和对应的标签输入至第一卷积神经网络进行特征提取；
计算单元，用于基于提取的特征向量和所述标签，通过第一损失函数计算网络损失，基于所述网络损失更新所述第一卷积神经网络的参数，直至所述第一卷积神经网络收敛，得到训练好的第一卷积神经网络；
软标签预测单元，用于将通过预置对抗生成网络生成的无标签可见光手掌数据集中的手掌图像输入至所述训练好的第一卷积神经网络进行软标签预测，得到软标签可见光手掌数据集，所述预置对抗生成网络通过有标签可见光手掌数据集训练得到；
训练单元，用于结合扩增后的所述有标签可见光手掌数据集和所述软标签可见光手掌数据集训练第二卷积神经网络，通过第二损失函数计算得到的网络损失更新所述第二卷积神经网络的参数，直至所述第二卷积神经网络收敛，得到可见光手掌识别模型。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种可见光手掌识别模型的训练方法，包括：对有标签可见光手掌数据集进行数据扩增，将扩增后的可见光手掌数据集中的手掌图像和对应的标签输入至第一卷积神经网络进行特征提取；基于提取的特征向量和标签，通过第一损失函数计算网络损失，基于网络损失更新第一卷积神经网络的参数，直至第一卷积神经网络收敛，得到训练好的第一卷积神经网络；将通过预置对抗生成网络生成的无标签可见光手掌数据集中的手掌图像输入至训练好的第一卷积神经网络进行软标签预测，得到软标签可见光手掌数据集，预置对抗生成网络通过有标签可见光手掌数据集训练得到；结合扩增后的有标签可见光手掌数据集和软标签可见光手掌数据集训练第二卷积神经网络，通过第二损失函数计算得到的网络损失更新第二卷积神经网络的参数，直至第二卷积神经网络收敛，得到可见光手掌识别模型。
本申请中，对现有的小规模的有标签可见光手掌数据集进行数据扩增，采用扩展后的数据集训练第一卷积神经网络，避免小规模数据集训练得到的模型容易出现过拟合情况；通过有标签可见光手掌数据集训练得到的预置对抗生成网络生成无标签的可见光手掌图像，并通过训练好的第一卷积神经网络对无标签的可见光手掌图像进行软标签预测，得到软标签可见光手掌数据集，进一步扩增了可见光手掌图像的数量，避免了采集设备采集大规模可见光手掌图像，提高了获取可见光图像的速度；最后结合扩增后的有标签可见光手掌数据集和软标签可见光手掌数据集，得到扩充后的数据集，通过扩充后的数据集训练第二卷积神经网络得到可见光手掌识别模型，从而解决了现有的小规模可见光手掌数据集训练得到的手掌识别模型的识别精度不高，且继续采集大规模的可见光手掌图像需耗费大量的人力物力，工作量大、耗费时间长的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种可见光手掌识别模型的训练方法的一个流程示意图；
图2为本申请实施例提供的一种可见光手掌识别模型的训练方法的另一个流程示意图；
图3为本申请实施例提供的一种可见光手掌识别模型的训练装置的一个结构示意图。
具体实施方式
本申请提供了一种可见光手掌识别模型的训练方法和装置，用于解决现有的小规模可见光手掌数据集训练得到的手掌识别模型的识别精度不高，且继续采集大规模的可见光手掌图像需耗费大量的人力物力，工作量大、耗费时间长的技术问题。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的一种可见光手掌识别模型的训练方法的一个实施例，包括：
步骤101、对有标签可见光手掌数据集进行数据扩增，将扩增后的可见光手掌数据集中的手掌图像和对应的标签输入至第一卷积神经网络进行特征提取。
可以通过数据增强技术对有标签可见光手掌数据集进行数据扩增，得到扩增后的可见光手掌数据集。可以对扩增后的可见光手掌数据集进行预处理，包括裁剪、归一化等处理；将预处理后的扩增后的可见光手掌数据集中的手掌图像输入至第一卷积神经网络进行特征提取。其中，第一卷积神经网络可以是现有的残差网络、SENet模型或MdeNAS模型等，本申请实施例中优选采用MdeNAS模型，该模型具有较强的学习能力。
步骤102、基于提取的特征向量和标签，通过第一损失函数计算网络损失，基于网络损失更新第一卷积神经网络的参数，直至第一卷积神经网络收敛，得到训练好的第一卷积神经网络。
本申请实施例中的第一卷积神经网络的第一损失函数可以为：
Figure BDA0002609933820000061
其中，m是需要优化的不同类别特征之间的间隔，其优化的目标是让不同类别之间的特征的余弦夹角大于m即可，同类别的特征的余弦夹角最小化，优选s＝30，m＝0.5；第一损失函数的输入为手掌图像对应的特征向量和各类别中心的余弦夹角，输出度量学习的分类损失，将s(cosθ)定义为logit，当未输入标签时，第一损失函数返回m＝0时的logit。
Figure BDA0002609933820000062
为特征向量与第yi个类别中心的夹角，i为批随机梯度下降时批中的第i个索引，θj为特征向量与第j个类别中心的夹角，n为分类的类别总数量。
根据提取的特征向量和对应的标签，通过第一损失函数计算得到网络损失，计算网络损失相对于第一卷积神经网络参数的梯度，然后基于梯度下降法更新第一卷积神经网络的参数。通过第一损失函数优化，可以减少输入图像提取的特征向量与同类别中心向量的余弦距离，增大输入图像提取的特征向量与不同类别中心向量的余弦距离直到该余弦距离大于预设的间隔。
通过扩增后的有标签可见光手掌数据集对该第一卷积神经网络进行迭代训练，直至第一卷积神经网络收敛，得到训练好的第一卷积神经网络。可以理解的是，当迭代次数达到预设迭代次数时，即第一卷积神经网络收敛，例如设置预设迭代次数为21万次，当训练第一卷积神经网络的迭代次数达到21万次时，认为第一卷积神经网络收敛。其中，在训练的过程中，每迭代一定次数，例如每迭代5000次，可以对第一卷积神经网络进行验证，验证该网络在FRR@FAR＝0的错误率，若该错误率小于之前网络在验证集上的最小错误率，则更新当前验证集的最小错误率，并保存此时最佳的网络参数到文件中。
步骤103、将通过预置对抗生成网络生成的无标签可见光手掌数据集中的手掌图像输入至训练好的第一卷积神经网络进行软标签预测，得到软标签可见光手掌数据集，预置对抗生成网络通过有标签可见光手掌数据集训练得到。
通过有标签可见光手掌数据集预先训练得到预置对抗生成网络，通过该预置对抗生成网络可以生成大批量的无标签的可见光手掌图像，得到无标签可见光手掌数据集。
将无标签可见光手掌数据集中的无标签的手掌图像输入至训练好的第一卷积神经网络进行软标签预测。具体的，加载训练第一卷积神经网络时保存的最佳参数，对无标签的手掌图像进行与扩增后的可见光手掌数据集一样的预处理；将预处理后的无标签的手掌图像输入至训练好的第一卷积神经网络进行特征提取；将提取的特征向量输入第一损失函数，输出logittarget，即s(cosθ)，该logittarget为输入的无标签的手掌图像对应的软标签。通过训练好的第一卷积神经网络对无标签可见光手掌数据集中的无标签的手掌图像进行软标签预测，得到软标签可见光手掌数据集。
步骤104、结合扩增后的有标签可见光手掌数据集和软标签可见光手掌数据集训练第二卷积神经网络，通过第二损失函数计算得到的网络损失更新第二卷积神经网络的参数，直至第二卷积神经网络收敛，得到可见光手掌识别模型。
可以对软标签可见光手掌数据集进行数据扩增处理，得到扩增后的软标签可见光手掌数据集，再结合扩增后的有标签可见光手掌数据集和扩增后的软标签可见光手掌数据集，得到大规模可见光手掌数据集，通过扩充后的大规模可见光手掌数据集训练第二卷积神经网络。其中，第二卷积神经网络结构与第一卷积神经网络结构相同。具体的，将扩充后的可见光手掌图像和其对应的标签或软标签输入至第二卷积神经网络进行特征提取，基于提取的特征向量和对应的标签或软标签，通过第二损失函数计算得到网络损失，其中，第二损失函数为在第一损失函数的基础上增加了软标签的损失函数l3，即：
l2＝l1+l3；
Figure BDA0002609933820000081
P(x)＝softmax(logittarget/T)；
Q(x)＝softmax(logitstudent/T)；
Figure BDA0002609933820000082
其中，x为输入的手掌图像，X为结合扩增后的有标签可见光手掌数据集和软标签可见光手掌数据集得到的大规模可见光手掌数据集，logittarget为手掌图像x的软标签，logitstudent为第二卷积神经网络提取手掌图像x的特征向量输入第一损失函数，在第一损失函数的参数m＝0时计算得到的输出。
通过第二损失函数计算得到的网络损失进行反向传播，更新第二卷积神经网络的参数，直至第二卷积神经网络收敛，得到训练好的第二卷积神经网络，将训练好的第二卷积神经网络作为可见光手掌识别模型。可以理解的是，当迭代次数达到预设到达次数时，即第二卷积神经网络收敛。通过实验发现，在现有的小规模的有标签可见光手掌数据集训练得到手掌识别模型的识别精度，远不如在结合现有的小规模的有标签可见光手掌数据集和软标签可见光手掌数据集训练得到的手掌识别模型的精度。
本申请实施例中，对现有的小规模的有标签可见光手掌数据集进行数据扩增，采用扩展后的数据集训练第一卷积神经网络，避免小规模数据集训练得到的模型容易出现过拟合情况；通过有标签可见光手掌数据集训练得到的预置对抗生成网络生成无标签的可见光手掌图像，并通过训练好的第一卷积神经网络对无标签的可见光手掌图像进行软标签预测，得到软标签可见光手掌数据集，进一步扩增了可见光手掌图像的数量，避免了采集设备采集大规模可见光手掌图像，提高了获取可见光图像的速度；最后结合扩增后的有标签可见光手掌数据集和软标签可见光手掌数据集，得到扩充后的数据集，通过扩充后的数据集训练第二卷积神经网络得到可见光手掌识别模型，从而解决了现有的小规模可见光手掌数据集训练得到的手掌识别模型的识别精度不高，且继续采集大规模的可见光手掌图像需耗费大量的人力物力，工作量大、耗费时间长的技术问题。
以上为本申请提供的一种可见光手掌识别模型的训练方法的一个实施例，以下为本申请提供的一种可见光手掌识别模型的训练方法的另一个实施例。
为了便于理解，请参阅图2，本申请提供的一种可见光手掌识别模型的训练方法的一个实施例，包括：
步骤201、通过有标签可见光手掌数据集训练对抗生成网络得到预置对抗生成网络，并采用预置对抗生成网络生成预置数量的无标签的可见光手掌图像，得到无标签可见光手掌数据集。
采用有标签可见光手掌数据集训练对抗生成网络之前，可以对有标签可见光手掌数据集中的手掌图像进行预处理。具体的，通过归一化公式将对齐后的手掌图像的像素值归一化到[-1,1]，归一化公式为：
pi＝(pi/255-0.5)*2；
式中，pi为手掌图像的第i个像素点的像素值。
还可以在手掌图像的x轴和y轴两侧补充0像素，使得手掌图像为预置大小。例如，通过在手掌图像的x轴和y轴两侧补充0像素，使得手掌图像为256*256像素大小。
对抗生成网络包括一个生成器和鉴别器，采用有标签可见光手掌数据集训练对抗生成网络时，每训练一次鉴别器后，训练一次生成器，直至对抗生成网络收敛，得到预置对抗生成网络。其中，生成器的输入可以为高斯噪声，其输出为3通道彩色图像，还可以选择输出隐编码latents；鉴别器输入为3通道彩色图像，可以是生成器生成的图像或是数据集中的真实图像，输出为输入图像是真实图像的分数。
1、鉴别器的训练过程具体如下：
(1)、将有标签可见光手掌数据集中的若干张真实的手掌图像和若干张假手掌图像分别输入至鉴别器，输出假图像的分数，假手掌图像通过生成器生成。
从预处理后的有标签可见光手掌数据集中随机读取N张真实的手掌图像，通过生成器生成N张假手掌图像，分别输入至鉴别器，输出真实的手掌图像的分数和假手掌图像的分数。
(2)、基于真实的手掌图像的分数和假图像的分数，通过真假图像分类损失函数计算真假图像分类损失。
真假图像分类损失函数为：
lclass＝log(1+exp(-real_score))+log(1+exp(fake_score))；
式中，real_score为真实的手掌图像的分数，fake_score为假手掌图像的分数。
(3)、计算真假图像分类损失相对于鉴别器参数的梯度，并基于梯度下降法更新鉴别器参数。
(4)、每训练第一预置次数的鉴别器后，通过梯度正则化损失函数计算真实的手掌图像的梯度正则化损失。
可以是每训练鉴别器16次，通过梯度正则化损失函数，计算真实的手掌图像的梯度正则化损失。其中，梯度正则化损失函数为：
Figure BDA0002609933820000101
式中，real_image为真实的手掌图像，lgrad_regular为真实的手掌图像的梯度的惩罚项，即梯度正则化损失。
(5)、计算梯度正则化损失相对于鉴别器参数的梯度，并基于梯度下降法更新鉴别器参数。
2、鉴别器的训练过程具体如下：
(1)、将获取的噪声数据输入生成器，输出假手掌图像。
对输入生成器的噪声进行采样输入至生成器，得到假手掌图像。
(2)、根据假手掌图像的分数，通过非饱和分类损失函数计算非饱和分类损失，假手掌图像的分数通过鉴别器得到。
将得到的假手掌图像输入鉴别器得到假手掌图像的分数，根据假手掌图像的分数，通过非饱和分类损失函数计算非饱和分类损失lgen。其中，非饱和分类损失函数为：
lgen＝log(1+exp(-fake_score))。
(3)、计算非饱和分类损失相对于生成器参数的梯度，并基于梯度下降法更新生成器参数。
(4)、每训练第二预置次数的鉴别器后，通过假手掌图像的路径正则化损失函数计算路径正则化损失。
可以是每训练鉴别器4次后，优化生成器的路径正则化损失。具体的，对生成器输入的噪声进行采样得到噪声数据noise，即：
noise＝randn_like(fake_img)/sqrt(fake_img.height*fake_img.width)；
式中，randn_like(fake_img)函数为采样一个形状与fake_img一样的高斯噪声张量，fake_img.height为假手掌图像的高，fake_img.width为假手掌图像的宽。
将获取的噪声数据noise输入生成器，输出假手掌图像和对应的隐编码latents，隐编码为输入的噪声数据通过生成器中的全连接层处理得到；基于假手掌图像、假手掌图像对应的隐编码和当前路径正则化的平均路径长度，通过假手掌图像的路径正则化损失函数计算路径正则化损失，其中，路径正则化损失函数lpath_regular为：
Figure BDA0002609933820000113
其中，
Figure BDA0002609933820000111
其中，mean_path_length为路径正则化的平均路径长度，其初始化值为0。
(5)、基于路径正则化损失更新生成器参数。
计算路径正则化损失相对于生成器参数的梯度，基于梯度下降法更新生成器参数，并更新路径正则化的平均路径长度，即将path_mean的值赋值给mean_path_length。
(6)、基于指数滑动平均算法对生成器参数进行指数滑动平均处理。
指数滑动平均算法的公式为：
G_EMA＝0.999*G_EMA+0.001*G；
其中，G_EMA为已经进行指数滑动平均处理后的生成器参数，G为当前迭代得到的还未进行指数滑动平均处理的生成器参数。
3、直至训练鉴别器和生成器的迭代次数达到预置迭代次数，认为对抗生成网络收敛，得到训练好的对抗生成网络，将训练好的对抗生成网络作为预置对抗生成网络。
随机采用生成的高斯噪声得到噪声数据，将噪声数据输入至预置对抗生成网络，生成预置数量的无标签的可见光手掌图像，对生成的可见光手掌图像进行像素值调整，使得生成的可见光手掌图像的像素值调整到[0,255]，即：
pi＝(pi+1)/2*255。
步骤202、对有标签可见光手掌数据集进行数据扩增，将扩增后的可见光手掌数据集中的手掌图像和对应的标签输入至第一卷积神经网络进行特征提取。
对有标签可见光手掌数据集进行数据扩增，具体的，对有标签可见光手掌数据集中的手掌图像进行对比度、亮度、色调或饱和度调整后，再进行旋转、平移、错切或透视扭曲处理，得到扩增后的有标签可见光手掌数据集中的手掌图像。
步骤203、基于提取的特征向量和标签，通过第一损失函数计算网络损失，基于网络损失更新第一卷积神经网络的参数，直至第一卷积神经网络收敛，得到训练好的第一卷积神经网络。
步骤204、将通过预置对抗生成网络生成的无标签可见光手掌数据集中的手掌图像输入至训练好的第一卷积神经网络进行软标签预测，得到软标签可见光手掌数据集。
步骤205、结合扩增后的有标签可见光手掌数据集和软标签可见光手掌数据集训练第二卷积神经网络，通过第二损失函数计算得到的网络损失更新第二卷积神经网络的参数，直至第二卷积神经网络收敛，得到可见光手掌识别模型。
步骤203至步骤205的内容与步骤102至步骤104的内容一致，在此不再对步骤203至步骤205进行赘述。
步骤206、将待验证可见光手掌图像输入至可见光手掌识别模型进行手掌特征提取后，对提取的手掌特征两两进行比对计算余弦相似度分数，并根据余弦相似度分数，通过ROC算法测评可见光手掌识别模型在FRR@FAR＝0下的错误率。
在得到可见光手掌识别模型后，可以对该模型进行验证，将获取的待验证可见光手掌图像输入至可见光手掌识别模型进行手掌特征提取，对提取的手掌特征两两进行比对计算余弦相似度分数，并根据余弦相似度分数，通过ROC算法测评可见光手掌识别模型在FRR@FAR＝0下的错误率。
本申请实施例中对比了通过某可见光手掌数据集A训练得到的可见光手掌识别模型的ROC性能，以及结合扩增后的某可见光手掌数据集A和软标签可见光手掌数据集B训练得到的可见光手掌识别模型的ROC性能，请参考表1和表2，结果表明，结合扩增后的可见光手掌数据集和软标签可见光手掌数据集(A+B)训练得到的可见光手掌识别模型的ROC性能在FAR＝0处的FRR从30.40％降低到了24.71％，效果提升了5.69％。
表1基于A数据集训练得到的手掌识别模型的ROC性能
EER FAR＝1e-3 FAR＝1e-4 FAR＝1e-5 FAR＝1e-6 FAR＝0
FRR 1.5650％ 4.5587％ 9.3336％ 16.4697％ 23.7517％ 30.3959％
表2基于A+B数据集训练得到的手掌识别模型的ROC性能
EER FAR＝1e-3 FAR＝1e-4 FAR＝1e-5 FAR＝1e-6 FAR＝0
FRR 1.4285％ 3.8207％ 7.5260％ 12.8506％ 18.5585％ 24.7066％
以上为本申请提供的一种可见光手掌识别模型的训练方法的一个实施例，以下为本申请提供的一种可见光手掌识别模型的训练装置的一个实施例。
为了便于理解，请参阅图3，本申请提供的一种可见光手掌识别模型的训练装置的一个实施例，包括：
特征提取单元301，用于对有标签可见光手掌数据集进行数据扩增，将扩增后的可见光手掌数据集中的手掌图像和对应的标签输入至第一卷积神经网络进行特征提取；
计算单元302，用于基于提取的特征向量和标签，通过第一损失函数计算网络损失，基于网络损失更新第一卷积神经网络的参数，直至第一卷积神经网络收敛，得到训练好的第一卷积神经网络；
软标签预测单元303，用于将通过预置对抗生成网络生成的无标签可见光手掌数据集中的手掌图像输入至训练好的第一卷积神经网络进行软标签预测，得到软标签可见光手掌数据集，预置对抗生成网络通过有标签可见光手掌数据集训练得到；
训练单元304，用于结合扩增后的有标签可见光手掌数据集和软标签可见光手掌数据集训练第二卷积神经网络，通过第二损失函数计算得到的网络损失更新第二卷积神经网络的参数，直至第二卷积神经网络收敛，得到可见光手掌识别模型。
作为进一步地改进，还包括：
验证单元305，用于将待验证可见光手掌图像输入至可见光手掌识别模型进行手掌特征提取后，对提取的手掌特征两两进行比对计算余弦相似度分数，并根据余弦相似度分数，通过ROC算法测评可见光手掌识别模型在FRR@FAR＝0下的错误率。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种可见光手掌识别模型的训练方法，其特征在于，包括：
对有标签可见光手掌数据集进行数据扩增，将扩增后的所述可见光手掌数据集中的手掌图像和对应的标签输入至第一卷积神经网络进行特征提取；
基于提取的特征向量和所述标签，通过第一损失函数计算网络损失，基于所述网络损失更新所述第一卷积神经网络的参数，直至所述第一卷积神经网络收敛，得到训练好的第一卷积神经网络；
将通过预置对抗生成网络生成的无标签可见光手掌数据集中的手掌图像输入至所述训练好的第一卷积神经网络进行软标签预测，得到软标签可见光手掌数据集，所述预置对抗生成网络通过有标签可见光手掌数据集训练得到；
结合扩增后的所述有标签可见光手掌数据集和所述软标签可见光手掌数据集训练第二卷积神经网络，通过第二损失函数计算得到的网络损失更新所述第二卷积神经网络的参数，直至所述第二卷积神经网络收敛，得到可见光手掌识别模型；
其中，所述第一损失函数具体为：
Figure QLYQS_1
式中：
Figure QLYQS_2
为第一损失函数，/>
Figure QLYQS_3
为特征向量与第/>
Figure QLYQS_4
个类别中心的夹角，i为批随机梯度下降时批中的第i个索引，/>
Figure QLYQS_5
为特征向量与第j个类别中心的夹角，n为分类的类别总数量，m为需要优化的不同类别特征之间的间隔；其中，第一损失函数的输入为手掌图像对应的特征向量和各类别中心的余弦夹角，输出度量学习的分类损失，将/>
Figure QLYQS_6
定义为logit，当未输入标签时，第一损失函数返回m=0时的logit；
其中，第二损失函数具体为：
Figure QLYQS_7
式中：
Figure QLYQS_8
为第二损失函数，/>
Figure QLYQS_9
为第一损失函数，/>
Figure QLYQS_10
为软标签的损失函数；
其中，软标签的损失函数具体为：
Figure QLYQS_11
Figure QLYQS_12
Figure QLYQS_13
Figure QLYQS_14
式中：
Figure QLYQS_15
为软标签的损失函数，x为输入的手掌图像，X为结合扩增后的有标签可见光手掌数据集和软标签可见光手掌数据集得到的大规模可见光手掌数据集；logittarget为手掌图像x的软标签；logitstudent为第二卷积神经网络提取手掌图像x的特征向量输入第一损失函数，在第一损失函数的参数m=0时计算得到的输出。
2.根据权利要求1所述的可见光手掌识别模型的训练方法，其特征在于，所述预置对抗生成网络包括鉴别器和生成器，所述预置对抗生成网络的配置过程为：
每训练一次所述鉴别器后，训练一次所述生成器，直至所述对抗生成网络收敛，得到所述预置对抗生成网络。
3.根据权利要求2所述的可见光手掌识别模型的训练方法，其特征在于，所述鉴别器的训练过程，包括：
将所述有标签可见光手掌数据集中的若干张真实的手掌图像和若干张假手掌图像分别输入至所述鉴别器，输出所述真实的手掌图像的分数和所述假手掌图像的分数，所述假手掌图像通过所述生成器生成；
基于所述真实的手掌图像的分数和所述假手掌图像的分数，通过真假图像分类损失函数计算真假图像分类损失；
计算所述真假图像分类损失相对于鉴别器参数的梯度，并基于梯度下降法更新所述鉴别器参数。
4.根据权利要求3所述的可见光手掌识别模型的训练方法，其特征在于，所述鉴别器的训练过程，还包括：
每训练第一预置次数的所述鉴别器后，通过梯度正则化损失函数计算所述真实的手掌图像的梯度正则化损失；
计算所述梯度正则化损失相对于所述鉴别器参数的梯度，并基于梯度下降法更新所述鉴别器参数。
5.根据权利要求2所述的可见光手掌识别模型的训练方法，其特征在于，所述生成器的训练过程，包括：
将获取的噪声数据输入所述生成器，输出假手掌图像；
根据所述假手掌图像的分数，通过非饱和分类损失函数计算非饱和分类损失，所述假手掌图像的分数通过所述鉴别器得到；
计算所述非饱和分类损失相对于生成器参数的梯度，并基于梯度下降法更新所述生成器参数。
6.根据权利要求5所述的可见光手掌识别模型的训练方法，其特征在于，所述生成器的训练过程，还包括：
每训练第二预置次数的所述鉴别器后，通过所述假手掌图像的路径正则化损失函数计算路径正则化损失；
基于所述路径正则化损失更新所述生成器参数。
7.根据权利要求6所述的可见光手掌识别模型的训练方法，其特征在于，所述通过所述假手掌图像的路径正则化损失函数计算路径正则化损失，包括：
将获取的噪声数据输入所述生成器，输出所述假手掌图像和对应的隐编码；
基于所述假手掌图像、所述假手掌图像对应的隐编码和当前路径正则化的平均路径长度，通过所述假手掌图像的路径正则化损失函数计算路径正则化损失，其中，所述路径正则化的平均路径长度的初始化值为0；
相应的，所述基于所述路径正则化损失更新所述生成器参数，包括：
计算所述路径正则化损失相对于所述生成器参数的梯度，基于梯度下降法更新所述生成器参数，并更新所述路径正则化的平均路径长度。
8.根据权利要求7所述的可见光手掌识别模型的训练方法，其特征在于，所述生成器的训练过程，还包括：
基于指数滑动平均算法对所述生成器参数进行指数滑动平均处理。
9.根据权利要求1所述的可见光手掌识别模型的训练方法，其特征在于，所述对有标签可见光手掌数据集进行数据扩增处理，包括：
对有标签可见光手掌数据集中的手掌图像进行对比度、亮度、色调或饱和度调整后，再进行旋转、平移、错切或透视扭曲处理，得到扩增后的所述有标签可见光手掌数据集中的手掌图像。
10.根据权利要求1所述的可见光手掌识别模型的训练方法，其特征在于，所述方法还包括：
将待验证可见光手掌图像输入至所述可见光手掌识别模型进行手掌特征提取后，对提取的所述手掌特征两两进行比对计算余弦相似度分数，并根据所述余弦相似度分数，通过ROC算法测评所述可见光手掌识别模型在FRR@FAR=0下的错误率。
11.一种可见光手掌识别模型的训练装置，其特征在于，包括：
特征提取单元，用于对有标签可见光手掌数据集进行数据扩增，将扩增后的所述可见光手掌数据集中的手掌图像和对应的标签输入至第一卷积神经网络进行特征提取；
计算单元，用于基于提取的特征向量和所述标签，通过第一损失函数计算网络损失，基于所述网络损失更新所述第一卷积神经网络的参数，直至所述第一卷积神经网络收敛，得到训练好的第一卷积神经网络；
软标签预测单元，用于将通过预置对抗生成网络生成的无标签可见光手掌数据集中的手掌图像输入至所述训练好的第一卷积神经网络进行软标签预测，得到软标签可见光手掌数据集，所述预置对抗生成网络通过有标签可见光手掌数据集训练得到；
训练单元，用于结合扩增后的所述有标签可见光手掌数据集和所述软标签可见光手掌数据集训练第二卷积神经网络，通过第二损失函数计算得到的网络损失更新所述第二卷积神经网络的参数，直至所述第二卷积神经网络收敛，得到可见光手掌识别模型；
其中，所述第一损失函数具体为：
Figure QLYQS_16
式中：
Figure QLYQS_17
为第一损失函数，/>
Figure QLYQS_18
为特征向量与第/>
Figure QLYQS_19
个类别中心的夹角，i为批随机梯度下降时批中的第i个索引，/>
Figure QLYQS_20
为特征向量与第j个类别中心的夹角，n为分类的类别总数量，m为需要优化的不同类别特征之间的间隔；其中，第一损失函数的输入为手掌图像对应的特征向量和各类别中心的余弦夹角，输出度量学习的分类损失，将/>
Figure QLYQS_21
定义为logit，当未输入标签时，第一损失函数返回m=0时的logit；
其中，第二损失函数具体为：
Figure QLYQS_22
式中：
Figure QLYQS_23
为第二损失函数，/>
Figure QLYQS_24
为第一损失函数，/>
Figure QLYQS_25
为软标签的损失函数；
其中，软标签的损失函数具体为：
Figure QLYQS_26
Figure QLYQS_27
Figure QLYQS_28
Figure QLYQS_29
式中：
Figure QLYQS_30
为软标签的损失函数，x为输入的手掌图像，X为结合扩增后的有标签可见光手掌数据集和软标签可见光手掌数据集得到的大规模可见光手掌数据集；logittarget为手掌图像x的软标签；logitstudent为第二卷积神经网络提取手掌图像x的特征向量输入第一损失函数，在第一损失函数的参数m=0时计算得到的输出。
CN202010750775.6A 2020-07-30 2020-07-30 一种可见光手掌识别模型的训练方法和装置 Active CN111860424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010750775.6A CN111860424B (zh) 2020-07-30 2020-07-30 一种可见光手掌识别模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010750775.6A CN111860424B (zh) 2020-07-30 2020-07-30 一种可见光手掌识别模型的训练方法和装置

Publications (2)

Publication Number Publication Date
CN111860424A CN111860424A (zh) 2020-10-30
CN111860424B true CN111860424B (zh) 2023-07-11

Family

ID=72945151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010750775.6A Active CN111860424B (zh) 2020-07-30 2020-07-30 一种可见光手掌识别模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN111860424B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232332B (zh) * 2020-12-17 2021-04-13 四川圣点世纪科技有限公司 一种基于视频序列的非接触式手掌检测方法
CN117093858A (zh) * 2022-05-06 2023-11-21 维沃软件技术有限公司 模型训练处理方法、装置、终端及网络侧设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635668A (zh) * 2018-11-16 2019-04-16 华中师范大学 基于软标签集成卷积神经网络的人脸表情识别方法及系统
WO2019204824A1 (en) * 2018-04-20 2019-10-24 XNOR.ai, Inc. Improving image classification through label progression
CN110766044A (zh) * 2019-09-11 2020-02-07 浙江大学 一种基于高斯过程先验指导的神经网络训练方法
CN111428619A (zh) * 2020-03-20 2020-07-17 电子科技大学 基于有序回归和软标签的三维点云头部姿态估计系统和方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019204824A1 (en) * 2018-04-20 2019-10-24 XNOR.ai, Inc. Improving image classification through label progression
CN109635668A (zh) * 2018-11-16 2019-04-16 华中师范大学 基于软标签集成卷积神经网络的人脸表情识别方法及系统
CN110766044A (zh) * 2019-09-11 2020-02-07 浙江大学 一种基于高斯过程先验指导的神经网络训练方法
CN111428619A (zh) * 2020-03-20 2020-07-17 电子科技大学 基于有序回归和软标签的三维点云头部姿态估计系统和方法

Also Published As

Publication number Publication date
CN111860424A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
Gour et al. Residual learning based CNN for breast cancer histopathological image classification
Tang et al. Text-independent writer identification via CNN features and joint Bayesian
JP2022538866A (ja) 画像前処理のためのシステム及び方法
CN108985232A (zh) 人脸图像比对方法、装置、计算机设备及存储介质
CN106599941A (zh) 基于卷积神经网络与支持向量机的手写数字识别方法
CN108537168B (zh) 基于迁移学习技术的面部表情识别方法
CN111860424B (zh) 一种可见光手掌识别模型的训练方法和装置
CN111401156B (zh) 基于Gabor卷积神经网络的图像识别方法
CN114038037B (zh) 基于可分离残差注意力网络的表情标签修正和识别方法
CN109376717A (zh) 人脸对比的身份识别方法、装置、电子设备及存储介质
CN111260568B (zh) 基于多辨别器对抗网络的碑帖二值化背景噪声去除方法
Karunarathne et al. Recognizing ancient sinhala inscription characters using neural network technologies
Rehman Light microscopic iris classification using ensemble multi‐class support vector machine
Li et al. IC solder joint inspection via generator-adversarial-network based template
Khudeyer et al. Combination of machine learning algorithms and Resnet50 for Arabic Handwritten Classification
CN112837466B (zh) 票据识别方法、装置、设备以及存储介质
CN113516097A (zh) 一种基于改进EfficentNet-V2的植物叶片疾病识别方法
CN109241869A (zh) 答题卡分数识别方法、装置及终端设备
Khosravi et al. Recognition of Persian/Arabic handwritten words using a combination of convolutional neural networks and autoencoder (AECNN)
Thapa et al. Deep learning for breast cancer classification: Enhanced tangent function
Thuon et al. Improving isolated glyph classification task for palm leaf manuscripts
Gayathri et al. Optical Character Recognition in Banking Sectors Using Convolutional Neural Network
He et al. Visible spectral Iris segmentation via deep convolutional network
Jia et al. A lightweight handwriting recognition system based on an improved convolutional neural network
CN115424093A (zh) 一种识别眼底图像中细胞的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant