CN113486858A - 一种人脸识别模型训练方法、装置、电子设备及存储介质 - Google Patents

一种人脸识别模型训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113486858A
CN113486858A CN202110885130.8A CN202110885130A CN113486858A CN 113486858 A CN113486858 A CN 113486858A CN 202110885130 A CN202110885130 A CN 202110885130A CN 113486858 A CN113486858 A CN 113486858A
Authority
CN
China
Prior art keywords
classification
vector
face recognition
fuzzy
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110885130.8A
Other languages
English (en)
Other versions
CN113486858B (zh
Inventor
梁潇
王薷泉
韩泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Boguan Intelligent Technology Co Ltd
Original Assignee
Jinan Boguan Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Boguan Intelligent Technology Co Ltd filed Critical Jinan Boguan Intelligent Technology Co Ltd
Priority to CN202110885130.8A priority Critical patent/CN113486858B/zh
Publication of CN113486858A publication Critical patent/CN113486858A/zh
Application granted granted Critical
Publication of CN113486858B publication Critical patent/CN113486858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种人脸识别模型训练方法、装置及介质，方法包括：获取人脸图像及预设的模糊区分阈值；人脸图像带有目标类别；将人脸图像输入人脸识别网络，得到人脸图像的特征向量、分类向量及目标类别的预测概率；确定人脸识别网络中各类别的特征中心向量，并利用特征中心向量、目标类别及特征向量确定人脸图像的分类结果；根据分类结果，利用预测概率及模糊区分阈值计算调整系数，并利用调整系数调整分类向量；利用调整后的分类向量对人脸识别网络进行网络优化。本发明可利用基于分类结果、预测概率及模糊区分阈值的调整系数调整分类向量，确保人脸识别网络在进行网络优化时，可根据人脸图像的模糊程度调节训练强度，保障模糊人脸图像的训练效果。

Description

一种人脸识别模型训练方法、装置、电子设备及存储介质
技术领域
本发明涉及图像识别领域，特别涉及一种人脸识别模型训练方法、装置、电子设备及存储介质。
背景技术
在人脸识别网络的训练过程中，训练数据集中通常包含大量清晰的易识别样本以及小部分模糊的难识别样本，但是人脸识别网络在实际使用时的痛点往往是这些模糊样本。由于模糊样本的数量较小，当与大量清晰样本一起训练时，人脸识别网络倾向于整体损失函数更小，很容易偏向于大量的清晰样本，进而导致模糊样本无法得到很好的训练，影响人脸识别网络对模糊人脸的识别效果。
发明内容
本发明的目的是提供一种人脸识别模型训练方法、装置、电子设备及存储介质，可利用基于分类结果、预测概率及模糊区分阈值的调整系数调整分类向量，确保人脸识别网络在基于该分类向量进行网络优化时，能够根据人脸图像的模糊程度调节训练强度，进而保障模糊人脸图像的训练效果。
为解决上述技术问题，本发明提供一种人脸识别模型训练方法，包括：
获取人脸图像及预设的模糊区分阈值；所述人脸图像带有目标类别；
将所述人脸图像输入人脸识别网络，得到所述人脸图像的特征向量、分类向量及所述目标类别的预测概率；
确定所述人脸识别网络中各类别的特征中心向量，并利用所述特征中心向量、所述目标类别及所述特征向量确定所述人脸图像的分类结果；
根据所述分类结果，利用所述预测概率及所述模糊区分阈值计算调整系数，并利用所述调整系数调整所述分类向量；
利用调整后的分类向量对所述人脸识别网络进行网络优化。
可选地，在利用所述预测概率及所述模糊区分阈值计算调整系数之前，还包括：
确定所述人脸识别网络当前训练轮次的时期值；
利用所述时期值对所述模糊区分阈值进行更新，并利用更新后的模糊区分阈值执行所述利用所述预测概率及所述模糊区分阈值计算调整系数的步骤。
可选地，所述将所述人脸图像输入人脸识别网络，得到所述人脸图像的特征向量、分类向量及所述目标类别的预测概率，包括：
利用所述人脸识别网络的特征提取器对所述人脸图像进行特征提取，得到所述特征向量；
利用所述人脸识别网络的分类层对所述特征向量进行分类，得到所述分类向量；
对所述分类向量进行Softmax操作，得到所述目标类别的预测概率。
可选地，所述利用所述特征中心向量、所述目标类别及所述特征向量确定所述人脸图像的分类结果，包括：
利用所述特征中心向量，在所述各类别中确定与所述特征向量最近的、除所述目标类别之外的错误类别；
利用所述特征向量、所述目标类别的特征中心向量及预设间隔值计算正确类余弦相似度，并利用所述特征向量及所述错误类别的特征中心向量计算错误类余弦相似度；
当所述正确类余弦相似度大于等于所述错误类余弦相似度时，判定分类正确；
当所述正确类余弦相似度小于所述错误类余弦相似度时，判定分类错误。
可选地，所述利用调整后的分类向量对所述人脸识别网络进行网络优化，包括：
对所述调整后的分类向量进行Softmax操作，得到调整后的预测概率；
将所述调整后的预测概率输入损失函数的得到损失值，并利用所述损失值及反向传播算法对所述人脸识别网络进行网络优化。
可选地，所述根据所述分类结果，利用所述预测概率及所述模糊区分阈值计算调整系数，并利用所述调整系数调整所述分类向量，包括：
当确定所述分类结果为分类正确时，利用所述模糊区分阈值及所述预测概率计算所述调整系数，并判断所述调整系数是否大于1；
若是，则利用所述调整系数拉伸所述分类向量；
若否，则利用所述调整系数压缩所述分类向量。
可选地，所述根据所述分类结果，利用所述预测概率及所述模糊区分阈值计算调整系数，并利用所述调整系数调整所述分类向量，包括：
当确定所述分类结果为分类错误时，利用所述模糊区分阈值计算第二模糊区分阈值，并判断所述预测概率是否小于所述第二模糊区分阈值；
若是，则利用所述模糊区分阈值及所述预测概率计算拉伸调整系数，并利用所述拉伸调整系数拉伸所述分类向量；
若否，则利用所述模糊区分阈值及所述预测概率计算压缩调整系数，并利用所述压缩调整系数压缩所述分类向量。
本发明还提供一种人脸识别模型训练装置，包括：
获取模块，用于获取人脸图像及预设的模糊区分阈值；所述人脸图像带有目标类别；
网络模块，用于将所述人脸图像输入人脸识别网络，得到所述人脸图像的特征向量、分类向量及所述目标类别的预测概率；
分类结果确定模块，用于确定所述人脸识别网络中各类别的特征中心向量，并利用所述特征中心向量、所述目标类别及所述特征向量确定所述人脸图像的分类结果；
调整模块，用于根据所述分类结果，利用所述预测概率及所述模糊区分阈值计算调整系数，并利用所述调整系数调整所述分类向量；
优化模块，用于利用调整后的分类向量对所述人脸识别网络进行网络优化。
本发明还提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述所述的人脸识别模型训练方法。
本发明还提供一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上述所述的人脸识别模型训练方法。
本发明提供一种人脸识别模型训练方法，包括：获取人脸图像及预设的模糊区分阈值；所述人脸图像带有目标类别；将所述人脸图像输入人脸识别网络，得到所述人脸图像的特征向量、分类向量及所述目标类别的预测概率；确定所述人脸识别网络中各类别的特征中心向量，并利用所述特征中心向量、所述目标类别及所述特征向量确定所述人脸图像的分类结果；根据所述分类结果，利用所述预测概率及所述模糊区分阈值计算调整系数，并利用所述调整系数调整所述分类向量；利用调整后的分类向量对所述人脸识别网络进行网络优化。
可见，本发明在得到人脸图像的分类向量及目标类别的预测概率后，还额外利用模糊区分阈值计算了调整系数，并利用调整系数对分类向量进行了调整，而后才使用调整后的分类向量进行网络优化。模糊区分阈值用于区分人脸图像是否模糊，因此调整系数首先能够有效区分模糊的人脸图像及清晰的人脸图像；同时不同模糊程度的人脸图像具有不同的预测概率，因此调整系数还能够反映人脸图像的模糊程度，进而根据该程度自适应地对人脸图像的分类向量进行调整，确保人脸识别网络在网络优化过程中，能够利用调整后的分类向量，自适应地调整不同模糊程度的人脸图像的训练强度，进而确保模糊人脸图像的训练效果；此外，本发明的调整系数是根据人脸图像的分类结果进行计算的，因此本发明可根据人脸识别网络对不同模糊程度的人脸图像的分类类别以及预测概率，自适应调整每一图片的训练程度，确保人脸识别网络在面对各种模糊程度的人脸图像时，均能取得较好的训练效果。本发明还提供一种人脸识别模型训练装置、电子设备及存储介质，具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例所提供的一种人脸识别模型训练方法的流程图；
图2为本发明实施例所提供的另一种人脸识别模型训练方法的流程图；
图3为本发明实施例所提供的一种人脸识别模型训练装置的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在人脸识别网络的训练过程中，训练数据集中通常包含大量清晰的易识别样本以及小部分模糊的难识别样本，但是人脸识别网络在实际使用时的痛点往往是这些模糊样本。由于模糊样本的数量较小，当与大量清晰样本一起训练时，人脸识别网络倾向于整体损失函数更小，很容易偏向于大量的清晰样本，进而导致模糊样本无法得到很好的训练，影响人脸识别网络对模糊人脸的识别效果。有鉴于此，本发明提供一种人脸识别模型训练方法，可利用基于分类结果、预测概率及模糊区分阈值的调整系数调整分类向量，确保人脸识别网络在基于该分类向量进行网络优化时，能够根据人脸图像的模糊程度调节训练强度，进而保障模糊人脸图像的训练效果。请参考图1，图1为本发明实施例所提供的一种人脸识别模型训练方法的流程图，该方法可以包括：
S101、获取人脸图像及预设的模糊区分阈值；人脸图像带有目标类别。
可以理解的是，人脸识别网络为了通过人脸图像识别出具体的人，通常需要设置多个人脸目标的类别；而在对人脸图像进行识别时，人脸识别网络通常会计算该图像在各个类别中的对应的预测概率，进而根据该概率确定人脸图像所对应的目标类别。由于模糊图像相较于清晰图像，通常具有较低的概率，因此在本发明实施例中，单独设置了模糊区分阈值，该阈值可对预测概率进行比较，进而有效地区分出模糊图像及清晰图像，进而便可针对性地对模糊图像及清晰图像的训练强度进行调整。
需要说明的是，本发明实施例并不限定模糊区分阈值的具体数值，可根据实际应用需求进行调整。本发明实施例也不限定模糊区分阈值是否为固定值，还是为可自动调整的值。考虑到在训练后期时，无论是清晰图像还是模糊图像均具有较高的预测概率，因此模糊区分阈值也应当随着训练的轮数进行自适应调整，这样才可做到有效区分模糊图像及清晰图像。在人脸识别网络领域中，通常使用时期值(epoch)标识人脸识别网络的训练轮数，一个epoch通常标识所有训练样本在神经网络中都进行了一次正向传播和一次反向传播，因此可根据人脸识别网络当前的epoch值对模糊区分阈值进行更新。可以理解的是，模糊区分阈值应当随着epoch的增大而增大，同时应当带有一个初始值和一个结束值。本发明实施例并不限定初始值和结束值的具体数值，只要结束值大于初始值即可。本发明实施例也不限定如何确保模糊区分阈值随着epoch值的增大而从初始值靠近结束值，可参考单调递增函数的相关技术。
在一种可能的情况中，在利用预测概率及模糊区分阈值计算调整系数之前，还可以包括：
步骤11：确定人脸识别网络当前训练轮次的时期值；
步骤12：利用时期值对模糊区分阈值进行更新，并利用更新后的模糊区分阈值执行利用预测概率及模糊区分阈值计算调整系数的步骤。
下面以简单的例子介绍上述更新过程。假设人脸识别网络总共需要训练n个epoch，而模糊区分阈值q的初始值为0.5，结束值为0.9，此时便可利用如下公式更新模糊区分阈值q：
Figure BDA0003193757230000061
其中i为当前的Epoch值，qi和qi-1分别表示第i轮和第i-1轮的模糊区分阈值。
进一步，需要说明的是，本发明实施例并不限定人脸图像的具体尺寸及拍摄参数，可根据实际应用需求进行设置。本发明实施例也不限定人脸图像的具体数量，同样可根据实际应用需求进行调整。
S102、将人脸图像输入人脸识别网络，得到人脸图像的特征向量、分类向量及目标类别的预测概率。
可以理解的是，人脸识别网络通常具有提取人脸图像特征的特征提取器，以及进行分类操作的分类层。本发明实施例并不限定特征提取器及分类层的具体结构，可参考神经网络及分类网络的相关技术。可以理解的是，人脸图像的特征向量可通过特征提取器得到，而分类向量则由分类层对特征向量进行分类得到，最后，预测概率通常采用Softmax层对分类向量进行Softmax操作得到，其中Softmax为归一化指数函数。本发明实施例并不限定特征提取器、分类层及Softmax层的具体工作过程，可参考相关技术。
在一种可能的情况中，将人脸图像输入人脸识别网络，得到人脸图像的特征向量、分类向量及目标类别的预测概率，可以包括：
步骤21：利用人脸识别网络的特征提取器对人脸图像进行特征提取，得到特征向量；
步骤22：利用人脸识别网络的分类层对特征向量进行分类，得到分类向量；
步骤23：对分类向量进行Softmax操作，得到目标类别的预测概率。
S103、确定人脸识别网络中各类别的特征中心向量，并利用特征中心向量、目标类别及特征向量确定人脸图像的分类结果。
可以理解的是，人脸识别网络中各个类别由多个特征向量组成，而通过这些特征向量可唯一确定该类别中的特征中心向量。通常情况下，特征中心向量可由人脸识别网络的分类层在分类过程中计算得到，因此可直接向分类层获取上述特征中心向量。进一步，可通过人脸图像的特征向量与各类别特征中心向量的夹角，确定人脸图像与各类别的相似程度，而本发明实施例正是通过该夹角确定人脸图像是否分类正确。具体的，由于人脸图像设置有目标类别，因此可利用人脸图像的特征向量与目标类别的特征中心向量之间的夹角，确定人脸图像与目标类别的相似度；除此之外，还可利用各类别的特征中心向量，确定与人脸图像特征向量距离最近的、除目标类别之外最近的错误类别，进而利用人脸图像特征向量与错误类别的特征中心类别之间的夹角，确定人脸图像与错误类别的相似度，最后便可通过人脸图像与目标类别的相似度，以及人脸图像与错误类别的相似度，确定人脸图像是否被正确分类。上述相似度的值可以为夹角的大小，也可以为余弦相似度。当然，为了进行数据挖掘，也可以利用调整值对人脸图像与目标类别之间的余弦相似度进行调整，本发明实施例并不限定具体的调整方式，例如可通过如下方式进行调整：
Figure BDA0003193757230000081
Figure BDA0003193757230000082
Figure BDA0003193757230000083
Figure BDA0003193757230000084
其中f(·)表示margin函数，cos(·)表示余弦相似度，wy表示目标类别的特征中心向量，x表示人脸图像的特征向量，m1、m2、m3表示预设的调整值，m为m1、m2、m3的总称，θwy,x表示人脸图像的特征向量与目标类别的特征中心向量之间的夹角。
在一种可能的情况中，利用特征中心向量、目标类别及特征向量确定人脸图像的分类结果，包括：
步骤31：利用特征中心向量，在各类别中确定与特征向量最近的、除目标类别之外的错误类别；
步骤32：利用特征向量、目标类别的特征中心向量及预设间隔值计算正确类余弦相似度，并利用特征向量及错误类别的特征中心向量计算错误类余弦相似度；
需要说明的是，本发明实施例并不限定具体的预设间隔值(即上述的m1、m2、m3)，可根据实际应用需求进行设置。
步骤33：当正确类余弦相似度大于等于错误类余弦相似度时，判定分类正确；
步骤34：当正确类余弦相似度小于错误类余弦相似度时，判定分类错误。
S104、根据分类结果，利用预测概率及模糊区分阈值计算调整系数，并利用调整系数调整分类向量。
可以理解的是，分类结果共分为分类正确及分类错误两类，而两类的调整系数可采用不同的策略进行计算。
首先需要说明的是，人脸识别网络通常依照Softmax的损失函数调整训练强度，其中损失函数用于计算目标类别的预测概率与目标概率(即1)之间的损失值，但损失函数较小时，则训练力度较小，反之训练力度则较大。由于预测概率由分类向量经Softmax处理得到，因此仅需对分类向量进行拉伸或压缩，便可调整预测概率。
具体的，Softmax的基础公式如下：
Figure BDA0003193757230000091
其中pj(z)表示当前j类的概率，k表示所有类，zj表示j类在分类向量中的对应值，zk表示k类在分类向量中的对应值。若分类向量为(5,10)，那么第一个类的概率为：
Figure BDA0003193757230000092
即0.0067，第二个类的概率为：
Figure BDA0003193757230000093
即0.9933。若利用β＝0.8调整上述分类向量，则上述分类向量变为(4,8)，此时第一类的概率就变成0.018，第二类概率就变成了0.98；若利用β＝2调整上述分类向量，则上述分类向量变为(10,20)，第一个类的概率就会变成0.000045，第二个类的概率变成0.999955。若第二个类为正确类，那么当β小于1时，则对分类向量进行压缩，预测概率减小，则训练强度变大；当β大于1时，则对分类向量进行拉伸，预测概率变大，则训练强度变小。基于上述思路，便可对模糊图像的分类向量生成小于1的调整系数，以提升人脸识别网络对模糊图像的训练强度，而为清晰图像生成大于1的调整系数，以降低人脸识别网络对清晰图像的训练强度。
在一种可能的情况中，根据分类结果，利用预测概率及模糊区分阈值计算调整系数，并利用调整系数调整分类向量，包括：
步骤41：当确定分类结果为分类正确时，利用模糊区分阈值及预测概率计算调整系数，并判断调整系数是否大于1；
步骤42：若是，则利用调整系数拉伸分类向量；
步骤43：若否，则利用调整系数压缩分类向量。
进一步，对于分类错误的情况，也可基于上述思路为人脸图像计算调整系数。由于分类错误的部分图像的模糊程度太高，不适合进行训练，因此需要降低这些图像的训练强度，即需要拉伸这些图像的分类向量；而对于分类错误的其他图像而言，其模糊程度不高，可经过修正后达到分类正确的效果，因此需要压缩这些图像的分类向量。
在一种可能的情况中，根据分类结果，利用预测概率及模糊区分阈值计算调整系数，并利用调整系数调整分类向量，包括：
步骤51：当确定分类结果为分类错误时，利用模糊区分阈值计算第二模糊区分阈值，并判断预测概率是否小于第二模糊区分阈值；
步骤52：若是，则利用模糊区分阈值及预测概率计算拉伸调整系数，并利用拉伸调整系数拉伸分类向量；
步骤53：若否，则利用模糊区分阈值及预测概率计算压缩调整系数，并利用压缩调整系数压缩分类向量。
下面具体介绍上述调整系数的计算过程。调整系数β可利用如下公式进行计算：
Figure BDA0003193757230000101
p为一张图片被分类层确定为目标类别的预测概率，q为模糊区分阈值，当预测正确，即
Figure BDA0003193757230000102
时，此时利用
Figure BDA0003193757230000103
作为调整系数，若图片为清晰样本，则概率p大于q，即
Figure BDA0003193757230000104
大于1，因此调整系数拉伸了分类向量，减小了该图片的损失函数，若该图片为模糊图片，则概率p小于q，即
Figure BDA0003193757230000105
小于1，因此调整系数压缩了分类向量，增大了该图片的损失函数，使其获得更充分的训练。可见，
Figure BDA0003193757230000106
大于或小于1的程度，可反映图片清晰或者模糊的程度，进而可决定了损失函数增大或减小的程度，因此本方法可根据图像的模糊程度自适应地调节分类向量。相反，当预测错误，也就是
Figure BDA0003193757230000107
时，也可分成了两种情况。当
Figure BDA0003193757230000111
时，判断该样本为错误样本，即该图像具有错误标签或该图像极度模糊，并不适合于训练，此时应当要减小该图片的损失函数，即需要取一个大于1的调节系数，因此拉伸调节参数为
Figure BDA0003193757230000112
另一种情况，当
Figure BDA0003193757230000113
时，虽然为该图片很模糊，但可对其进行强化训练，达到正确分类的目的，因此可取一个小于1的调节系数，即压缩调节系数为
Figure BDA0003193757230000114
可使其更好地训练。需要说明的是，
Figure BDA0003193757230000115
即为第二模糊区分阈值，其中分母3为调参值。
S105、利用调整后的分类向量对人脸识别网络进行网络优化。
需要说明的是，网络优化基于损失函数，并利用反向传播算法进行优化。本发明并不限定具体的损失函数，例如可以为SV-softmax，也可以为Insightface，可根据实际的应用需求进行选择。本发明实施例也不限定具体的反向传播算法，可参考反向传播的相关技术。
在一种可能的情况中，利用调整后的分类向量对人脸识别网络进行网络优化，可以包括：
步骤61：对调整后的分类向量进行Softmax操作，得到调整后的预测概率；
步骤62：将调整后的预测概率输入损失函数的得到损失值，并利用损失值及反向传播算法对人脸识别网络进行网络优化。
下面基于具体的流程图介绍上述人脸识别网络训练方法。请参考图2，图2为本发明实施例所提供的另一种人脸识别网络训练方法的流程图。首先将标注有目标类别的人脸图像输入人脸识别网络的特征提取器进行特征提取，得到N维特征向量，其中N为表征向量的维度。随后将特征向量输入分类层进行分类，得到1×Num_class维分类向量，其中Num_class为目标类别的数量。对分类向量进行Softmax操作得到目标类别的预测概率，并根据预测概率，利用拉伸公式计算调整系数β(即上述实施例中所述的调整系数)。最后，利用调整系数对分类向量进行调节，并将调节后的分类向量输入至Softmax层中，进行网络优化。
为验证利用本方法训练的人脸识别网络能够有效提升对模糊人脸的识别准确率，本发明实施例基于由困难样本构建的人脸识别测试集，利用现有训练方式及本方法提供的训练方式训练人脸识别网络，并对训练后的人脸识别网络进行了识别测试。下表为对比实验结果，其中基线网络为使用传统Softmax训练的模型，方法一为使用Insightface训练的模型，方法二为使用SV-Insightface训练的模型，方法三为SV-Insightface+本文方法训练出来的模型，其结果如下：
表1 1％误识率下的人脸识别准确率(10万底库)
Figure BDA0003193757230000121
可见，利用本方法训练人脸识别网络，可有效提升人脸识别网络对模糊人脸图像的识别正确率。
基于上述实施例，本发明在得到人脸图像的分类向量及目标类别的预测概率后，还额外利用模糊区分阈值计算了调整系数，并利用调整系数对分类向量进行了调整，而后才使用调整后的分类向量进行网络优化。模糊区分阈值用于区分人脸图像是否模糊，因此调整系数首先能够有效区分模糊的人脸图像及清晰的人脸图像；同时不同模糊程度的人脸图像具有不同的预测概率，因此调整系数还能够反映人脸图像的模糊程度，进而根据该程度自适应地对人脸图像的分类向量进行调整，确保人脸识别网络在网络优化过程中，能够利用调整后的分类向量，自适应地调整不同模糊程度的人脸图像的训练强度，进而确保模糊人脸图像的训练效果；此外，本发明的调整系数是根据人脸图像的分类结果进行计算的，因此本发明可根据人脸识别网络对不同模糊程度的人脸图像的分类类别以及预测概率，自适应调整每一图片的训练程度，确保人脸识别网络在面对各种模糊程度的人脸图像时，均能取得较好的训练效果。
下面对本发明实施例提供的人脸识别模型训练装置、电子设备及存储介质进行介绍，下文描述的人脸识别模型训练装置、电子设备及存储介质与上文描述的人脸识别模型训练方法可相互对应参照。
请参考图3，图3为本发明实施例所提供的一种人脸识别模型训练装置的结构框图，该装置可以包括：
获取模块301，用于获取人脸图像及预设的模糊区分阈值；人脸图像带有目标类别；
网络模块302，用于将人脸图像输入人脸识别网络，得到人脸图像的特征向量、分类向量及目标类别的预测概率；
分类结果确定模块303，用于确定人脸识别网络中各类别的特征中心向量，并利用特征中心向量、目标类别及特征向量确定人脸图像的分类结果；
调整模块304，用于根据分类结果，利用预测概率及模糊区分阈值计算调整系数，并利用调整系数调整分类向量；
优化模块305，用于利用调整后的分类向量对人脸识别网络进行网络优化。
可选地，该装置还可以包括：
时期值确定模块，用于确定人脸识别网络当前训练轮次的时期值；
更新模块，用于利用时期值对模糊区分阈值进行更新，并利用更新后的模糊区分阈值执行利用预测概率及模糊区分阈值计算调整系数的步骤。
可选地，网络模块302，可以包括：
特征提取子模块，用于利用人脸识别网络的特征提取器对人脸图像进行特征提取，得到特征向量；
分类子模块，用于利用人脸识别网络的分类层对特征向量进行分类，得到分类向量；
预测子模块，用于对分类向量进行Softmax操作，得到目标类别的预测概率。
可选地，分类结果确定模块303，可以包括：
错误类别确定子模块，用于利用特征中心向量，在各类别中确定与特征向量最近的、除目标类别之外的错误类别；
相似度计算子模块，用于利用特征向量、目标类别的特征中心向量及预设间隔值计算正确类余弦相似度，并利用特征向量及错误类别的特征中心向量计算错误类余弦相似度；
第一判定子模块，用于当正确类余弦相似度大于等于错误类余弦相似度时，判定分类正确；
第二判定子模块，用于当正确类余弦相似度小于错误类余弦相似度时，判定分类错误。
可选地，优化模块305，可以包括：
概率计算子模块，用于对调整后的分类向量进行Softmax操作，得到调整后的预测概率；
优化子模块，用于将调整后的预测概率输入损失函数的得到损失值，并利用损失值及反向传播算法对人脸识别网络进行网络优化。
可选地，调整模块304，包括：
调整系数计算子模块，用于当确定分类结果为分类正确时，利用模糊区分阈值及预测概率计算调整系数，并判断调整系数是否大于1；
第一拉伸子模块，用于若是，则利用调整系数拉伸分类向量；
第一压缩子模块，用于若否，则利用调整系数压缩分类向量。
可选地，调整模块304，包括：
模糊判定子模块，用于当确定分类结果为分类错误时，利用模糊区分阈值计算第二模糊区分阈值，并判断预测概率是否小于第二模糊区分阈值；
第二拉伸子模块，用于若是，则利用模糊区分阈值及预测概率计算拉伸调整系数，并利用拉伸调整系数拉伸分类向量；
第二压缩子模块，用于若否，则利用模糊区分阈值及预测概率计算压缩调整系数，并利用压缩调整系数压缩分类向量。
本发明实施例还提供一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上述的人脸识别模型训练方法的步骤。
由于电子设备部分的实施例与人脸识别模型训练方法部分的实施例相互对应，因此电子设备部分的实施例请参见人脸识别模型训练方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的人脸识别模型训练方法的步骤。
由于存储介质部分的实施例与人脸识别模型训练方法部分的实施例相互对应，因此存储介质部分的实施例请参见人脸识别模型训练方法部分的实施例的描述，这里暂不赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的人脸识别模型训练方法、装置、电子设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种人脸识别模型训练方法，其特征在于，包括：
获取人脸图像及预设的模糊区分阈值；所述人脸图像带有目标类别；
将所述人脸图像输入人脸识别网络，得到所述人脸图像的特征向量、分类向量及所述目标类别的预测概率；
确定所述人脸识别网络中各类别的特征中心向量，并利用所述特征中心向量、所述目标类别及所述特征向量确定所述人脸图像的分类结果；
根据所述分类结果，利用所述预测概率及所述模糊区分阈值计算调整系数，并利用所述调整系数调整所述分类向量；
利用调整后的分类向量对所述人脸识别网络进行网络优化。
2.根据权利要求1所述的人脸识别模型训练方法，其特征在于，在利用所述预测概率及所述模糊区分阈值计算调整系数之前，还包括：
确定所述人脸识别网络当前训练轮次的时期值；
利用所述时期值对所述模糊区分阈值进行更新，并利用更新后的模糊区分阈值执行所述利用所述预测概率及所述模糊区分阈值计算调整系数的步骤。
3.根据权利要求1所述的人脸识别模型训练方法，其特征在于，所述将所述人脸图像输入人脸识别网络，得到所述人脸图像的特征向量、分类向量及所述目标类别的预测概率，包括：
利用所述人脸识别网络的特征提取器对所述人脸图像进行特征提取，得到所述特征向量；
利用所述人脸识别网络的分类层对所述特征向量进行分类，得到所述分类向量；
对所述分类向量进行Softmax操作，得到所述目标类别的预测概率。
4.根据权利要求1所述的人脸识别模型训练方法，其特征在于，所述利用所述特征中心向量、所述目标类别及所述特征向量确定所述人脸图像的分类结果，包括：
利用所述特征中心向量，在所述各类别中确定与所述特征向量最近的、除所述目标类别之外的错误类别；
利用所述特征向量、所述目标类别的特征中心向量及预设间隔值计算正确类余弦相似度，并利用所述特征向量及所述错误类别的特征中心向量计算错误类余弦相似度；
当所述正确类余弦相似度大于等于所述错误类余弦相似度时，判定分类正确；
当所述正确类余弦相似度小于所述错误类余弦相似度时，判定分类错误。
5.根据权利要求1所述的人脸识别模型训练方法，其特征在于，所述利用调整后的分类向量对所述人脸识别网络进行网络优化，包括：
对所述调整后的分类向量进行Softmax操作，得到调整后的预测概率；
将所述调整后的预测概率输入损失函数的得到损失值，并利用所述损失值及反向传播算法对所述人脸识别网络进行网络优化。
6.根据权利要求1至4任一项所述的人脸识别模型训练方法，其特征在于，所述根据所述分类结果，利用所述预测概率及所述模糊区分阈值计算调整系数，并利用所述调整系数调整所述分类向量，包括：
当确定所述分类结果为分类正确时，利用所述模糊区分阈值及所述预测概率计算所述调整系数，并判断所述调整系数是否大于1；
若是，则利用所述调整系数拉伸所述分类向量；
若否，则利用所述调整系数压缩所述分类向量。
7.根据权利要求6所述的人脸识别模型训练方法，其特征在于，所述根据所述分类结果，利用所述预测概率及所述模糊区分阈值计算调整系数，并利用所述调整系数调整所述分类向量，包括：
当确定所述分类结果为分类错误时，利用所述模糊区分阈值计算第二模糊区分阈值，并判断所述预测概率是否小于所述第二模糊区分阈值；
若是，则利用所述模糊区分阈值及所述预测概率计算拉伸调整系数，并利用所述拉伸调整系数拉伸所述分类向量；
若否，则利用所述模糊区分阈值及所述预测概率计算压缩调整系数，并利用所述压缩调整系数压缩所述分类向量。
8.一种人脸识别模型训练装置，其特征在于，包括：
获取模块，用于获取人脸图像及预设的模糊区分阈值；所述人脸图像带有目标类别；
网络模块，用于将所述人脸图像输入人脸识别网络，得到所述人脸图像的特征向量、分类向量及所述目标类别的预测概率；
分类结果确定模块，用于确定所述人脸识别网络中各类别的特征中心向量，并利用所述特征中心向量、所述目标类别及所述特征向量确定所述人脸图像的分类结果；
调整模块，用于根据所述分类结果，利用所述预测概率及所述模糊区分阈值计算调整系数，并利用所述调整系数调整所述分类向量；
优化模块，用于利用调整后的分类向量对所述人脸识别网络进行网络优化。
9.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的人脸识别模型训练方法。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的人脸识别模型训练方法。
CN202110885130.8A 2021-08-03 2021-08-03 一种人脸识别模型训练方法、装置、电子设备及存储介质 Active CN113486858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110885130.8A CN113486858B (zh) 2021-08-03 2021-08-03 一种人脸识别模型训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110885130.8A CN113486858B (zh) 2021-08-03 2021-08-03 一种人脸识别模型训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113486858A true CN113486858A (zh) 2021-10-08
CN113486858B CN113486858B (zh) 2024-01-23

Family

ID=77945142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110885130.8A Active CN113486858B (zh) 2021-08-03 2021-08-03 一种人脸识别模型训练方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113486858B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761411A (zh) * 2022-11-24 2023-03-07 北京的卢铭视科技有限公司 模型训练方法、活体检测方法、电子设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133238A (zh) * 2017-12-29 2018-06-08 国信优易数据有限公司 一种人脸识别模型训练方法和装置及人脸识别方法和装置
CN108986094A (zh) * 2018-07-20 2018-12-11 南京开为网络科技有限公司 用于人脸识别用训练图像库的数据自动更新方法
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN111275175A (zh) * 2020-02-20 2020-06-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、图像分类方法、设备和介质
CN111291672A (zh) * 2020-01-22 2020-06-16 广州图匠数据科技有限公司 一种联合图像文本识别和模糊判断方法、装置及存储介质
CN111476160A (zh) * 2020-04-07 2020-07-31 杭州视在科技有限公司 损失函数优化方法、模型训练方法、目标检测方法及介质
CN111738083A (zh) * 2020-05-20 2020-10-02 云知声智能科技股份有限公司 一种人脸识别模型的训练方法和装置
US20200357118A1 (en) * 2018-11-21 2020-11-12 Enlitic, Inc. Medical scan viewing system with enhanced training and methods for use therewith
CN112070744A (zh) * 2020-09-08 2020-12-11 济南博观智能科技有限公司 一种人脸识别的方法、系统、设备及可读存储介质
EP3767528A1 (en) * 2019-07-19 2021-01-20 UiPath, Inc. Retraining a computer vision model for robotic process automation
CN112329679A (zh) * 2020-11-12 2021-02-05 济南博观智能科技有限公司 一种人脸识别方法、系统、电子设备及存储介质
CN113066024A (zh) * 2021-03-19 2021-07-02 北京达佳互联信息技术有限公司 图像模糊检测模型的训练方法、图像模糊检测方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133238A (zh) * 2017-12-29 2018-06-08 国信优易数据有限公司 一种人脸识别模型训练方法和装置及人脸识别方法和装置
CN108986094A (zh) * 2018-07-20 2018-12-11 南京开为网络科技有限公司 用于人脸识别用训练图像库的数据自动更新方法
US20200357118A1 (en) * 2018-11-21 2020-11-12 Enlitic, Inc. Medical scan viewing system with enhanced training and methods for use therewith
EP3767528A1 (en) * 2019-07-19 2021-01-20 UiPath, Inc. Retraining a computer vision model for robotic process automation
CN110569721A (zh) * 2019-08-01 2019-12-13 平安科技（深圳）有限公司 识别模型训练方法、图像识别方法、装置、设备及介质
CN111291672A (zh) * 2020-01-22 2020-06-16 广州图匠数据科技有限公司 一种联合图像文本识别和模糊判断方法、装置及存储介质
CN111275175A (zh) * 2020-02-20 2020-06-12 腾讯科技（深圳）有限公司 神经网络训练方法、装置、图像分类方法、设备和介质
CN111476160A (zh) * 2020-04-07 2020-07-31 杭州视在科技有限公司 损失函数优化方法、模型训练方法、目标检测方法及介质
CN111738083A (zh) * 2020-05-20 2020-10-02 云知声智能科技股份有限公司 一种人脸识别模型的训练方法和装置
CN112070744A (zh) * 2020-09-08 2020-12-11 济南博观智能科技有限公司 一种人脸识别的方法、系统、设备及可读存储介质
CN112329679A (zh) * 2020-11-12 2021-02-05 济南博观智能科技有限公司 一种人脸识别方法、系统、电子设备及存储介质
CN113066024A (zh) * 2021-03-19 2021-07-02 北京达佳互联信息技术有限公司 图像模糊检测模型的训练方法、图像模糊检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘威;刘尚;白润才;周璇;周定宁;: "动态数据约简的神经网络分类器训练方法研究", 智能系统学报, no. 02 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115761411A (zh) * 2022-11-24 2023-03-07 北京的卢铭视科技有限公司 模型训练方法、活体检测方法、电子设备及存储介质
CN115761411B (zh) * 2022-11-24 2023-09-01 北京的卢铭视科技有限公司 模型训练方法、活体检测方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN113486858B (zh) 2024-01-23

Similar Documents

Publication Publication Date Title
CN109214337B (zh) 一种人群统计方法、装置、设备及计算机可读存储介质
CN109271958B (zh) 人脸年龄识别方法及装置
EP3848887A1 (en) Gan network-based vehicle damage image enhancement method and apparatus
CN111695421B (zh) 图像识别方法、装置及电子设备
CN107423306B (zh) 一种图像检索方法及装置
CN108664839B (zh) 一种图像处理方法和设备
CN110163265B (zh) 数据处理方法、装置及计算机设备
CN110102051B (zh) 游戏外挂的检测方法及装置
CN110458792B (zh) 人脸图像质量的评价方法及装置
CN111340233B (zh) 机器学习模型的训练方法及装置、样本处理方法及装置
WO2003053073A2 (en) Apparatus and method for detection of scene changes in motion video
CN114820394B (zh) 一种基于稳健参数估计的图像噪点滤波方法及装置
CN113486858A (zh) 一种人脸识别模型训练方法、装置、电子设备及存储介质
CN111126300B (zh) 一种人体图像检测方法、装置和电子设备及可读存储介质
JP2014063359A (ja) 信号処理装置および信号処理方法、出力装置および出力方法、並びにプログラム
CN114936975A (zh) 一种模型的训练方法、人脸识别方法、装置及介质
CN109002758B (zh) 人脸特征点定位方法、装置、设备及存储介质
CN111931754B (zh) 一种样本中目标物的识别方法、系统和可读存储介质
CN116523911B (zh) 一种建筑垃圾再生骨料生产监控系统
CN113763331A (zh) 冠状动脉优势型判定方法、装置、存储介质及电子设备
CN115862121B (zh) 基于多媒体资源库的人脸快速匹配方法
CN112801890A (zh) 一种视频处理方法、装置及设备
CN111353526A (zh) 一种图像匹配方法、装置以及相关设备
CN112529845B (zh) 图像质量值确定方法、装置、存储介质及电子装置
CN113554685A (zh) 遥感卫星运动目标检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant