CN117831106A - 人脸识别模型训练方法、装置、电子设备及存储介质 - Google Patents
人脸识别模型训练方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117831106A CN117831106A CN202311874111.0A CN202311874111A CN117831106A CN 117831106 A CN117831106 A CN 117831106A CN 202311874111 A CN202311874111 A CN 202311874111A CN 117831106 A CN117831106 A CN 117831106A
- Authority
- CN
- China
- Prior art keywords
- model
- sample selection
- training
- weight
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 184
- 238000000034 method Methods 0.000 title claims abstract description 77
- 239000003016 pheromone Substances 0.000 claims abstract description 96
- 230000006870 function Effects 0.000 claims description 132
- 238000004422 calculation algorithm Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 12
- 230000002238 attenuated effect Effects 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 24
- 238000013528 artificial neural network Methods 0.000 description 21
- 230000000694 effects Effects 0.000 description 14
- 241000257303 Hymenoptera Species 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 235000013305 food Nutrition 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 244000269722 Thea sinensis Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 235000009569 green tea Nutrition 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 241000411851 herbal medicine Species 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000554 iris Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种人脸识别模型训练方法、装置、电子设备及存储介质，属于人工智能技术领域。方法包括：将不同标签对应的样本选择权重初始化为相同值；基于样本选择权重选择人脸样本对第一模型进行训练，将基于第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新第一模型；在第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至第一模型收敛，记录第一模型收敛时不同标签对应的目标样本选择权重；基于目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。本申请实施例能够提高模型的训练效率。
Description
技术领域
本申请属于人工智能技术领域，尤其涉及一种人脸识别模型训练方法、装置、电子设备及存储介质。
背景技术
基于深度学习的人脸识别技术是一种利用深度学习理论进行模型训练并使用模型进行人脸特征提取的技术，由于深度神经网络强大的表征能力和近乎无限的知识容量扩展能力，使其在人脸识别领域的准确率大幅超越传统机器学习。
目前基于深度学习的人脸识别技术通常利用现有的人脸数据库，从中挑选人脸图像作为训练样本，设计并训练一个深度卷积神经网络模型，用于提取人脸特征，完成人脸识别的任务。
然而，当进行人脸识别模型的训练时，通常是随机选择样本，即所有样本选择权重一样，但实际训练过程中，不是所有样本对模型收敛的贡献度都一致，如果多次随机到对模型收敛的贡献度较低的样本，则会导致单次训练收敛的速度变慢，使得模型的训练效率较低。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种人脸识别模型训练方法、装置、电子设备及存储介质，以降低模型单次训练收敛的速度，提高模型的训练效率。
第一方面，本申请提供了一种人脸识别模型训练方法，包括：
将不同标签对应的样本选择权重初始化为相同值；其中，所述标签表示人脸样本的人脸属性；
基于样本选择权重选择人脸样本对第一模型进行训练，得到所述第一模型对应的第一损失函数值；
将基于所述第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新所述第一模型；
在所述第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至所述第一模型收敛，记录所述第一模型收敛时不同标签对应的目标样本选择权重；
基于所述目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。
根据本申请的人脸识别模型训练方法，通过将不同标签对应的样本选择权重初始化为相同值；其中，所述标签表示人脸样本的人脸属性；基于样本选择权重选择人脸样本对第一模型进行训练，得到所述第一模型对应的第一损失函数值；将基于所述第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新所述第一模型；在所述第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至所述第一模型收敛，记录所述第一模型收敛时不同标签对应的目标样本选择权重；基于所述目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。本申请实施例设计了一种基于蚁群算法的样本选择权重搜索方式，通过引入表示人脸属性的标签搜索优化样本选择权重，给予对模型收敛的贡献度高的标签更高的权重，使得模型收敛时，可以认为更高的样本选择权重的样本更适合其收敛，在模型训练时以更高概率选择权重更高的人脸样本训练，即用优化后的样本选择权重分布从头训练模型会更快收敛，从而降低单次训练时间，可以显著降低搜索时间，提高模型的训练效率。
根据本申请的一个实施例，所述第一信息素根据所述第一损失函数值乘以预设系数生成。
该实施例通过第一损失函数值乘以预设系数生成第一信息素，使得第一信息素能够根据每次迭代训练进行更新，从而使得样本选择权重优化效果更好。
根据本申请的一个实施例，所述将基于所述第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，包括：
将所述第一信息素加入至至少两个随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减至β1倍，以对所述样本选择权重进行更新。
在该实施例中，通过第一信息素对至少两个随机标签对应的样本选择权重进行更新，使得搜索过程中，对样本选择权重更新分布更广，减少随机性，加速最佳样本选择权重的搜索。
根据本申请的一个实施例，所述基于所述目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型，包括：
根据目标样本选择权重选择人脸样本对所述第二模型进行训练，基于蚁群算法搜索所述第二模型的网络结构，以确定所述网络结构中的参数值；
基于所述目标样本选择权重和所述网络结构中的参数值对第二模型进行训练，直至模型收敛，得到人脸识别模型。
在该实施例中，结合蚁群算法，通过神经网络架构搜索来寻找第二模型的最优神经网络结构，能够自动地找到最佳的神经网络结构，可以较高效率搜索出大小及性能合适的人脸识别模型。
根据本申请的一个实施例，所述根据目标样本选择权重选择人脸样本对所述第二模型进行训练，基于蚁群算法搜索所述第二模型的网络结构，以确定所述网络结构中的参数值，包括：
基于参数权重从预设的参数空间中随机选择网络结构的参数构建第二模型；其中，所述参数空间中包括同一参数的多个不同参数值，不同参数值的初始参数权重相同；
根据所述目标样本选择权重选择人脸样本对所述第二模型进行训练E轮，得到所述第二模型对应的第二损失函数曲线；
将基于所述第二损失函数曲线和所述第一模型对应的第一损失函数曲线的KL散度生成的第二信息素加入至随机参数值对应的参数权重中，再将不同参数值对应的参数权重进行衰减更新；
在所述KL散度大于或等于预设阈值的情况下，基于衰减更新后的参数权重从预设的参数空间中随机选择网络结构的参数构建第二模型，根据所述目标样本选择权重选择人脸样本对所述第二模型进行训练E轮，直至所述KL散度小于预设阈值，选择所述参数空间中参数权重最大的参数值作为所述网络结构中的参数值。
在该实施例中，结合了样本选择权重搜索过程中的第一损失函数曲线，以所述第二损失函数曲线和所述第一损失函数曲线的KL散度生成蚁群算法的信息素来更新参数权重，保证了样本选择权重与第二模型参数值的契合程度，使得搜索到的最佳参数值与样本选择权重相适应，进一步提高了人脸识别模型的性能。
根据本申请的一个实施例，所述KL散度根据以下方式计算得到：
在所述第一模型收敛的情况下，记录所述第一模型对应的第一损失函数曲线；
计算所述第二损失函数曲线与所述第一损失函数曲线在[0，E]区间段的KL散度。
在该实施例中，由于第二损失函数曲线为模型训练了E轮得到的曲线，因而找到所述第一损失函数曲线在[0，E]区间段，并计算第二损失函数曲线与所述第一损失函数曲线在[0，E]区间段的KL散度，能够使KL散度更加准确。
根据本申请的一个实施例，所述第二信息素根据以下公式计算得到：
Info＝-k*ln(KL_value+δT)+c
其中，Info表示第二信息素值，KL_value表示第二损失函数曲线和第一损失函数曲线的KL散度，T表示本次训练平均推理时间，k、δ、c为系数。
在该实施例中，第二信息素的计算不仅考虑到了第二损失函数曲线和第一损失函数曲线的KL散度，还考虑到了本次训练平均推理时间，KL散度和本次训练平均推理时间越大则表示本次训练效果较差，第二信息素值也就越小，保证了最佳参数权重搜索的准确性。
第二方面，本申请提供了一种人脸识别模型训练装置，包括：
初始化模块，用于将不同标签对应的样本选择权重初始化为相同值；其中，所述标签表示人脸样本的人脸属性；
第一训练模块，用于基于样本选择权重选择人脸样本对第一模型进行训练，得到所述第一模型对应的第一损失函数值；
权重更新模块，用于将基于所述第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新所述第一模型；
第二训练模块，用于在所述第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至所述第一模型收敛，记录所述第一模型收敛时不同标签对应的目标样本选择权重；
第三训练模块，用于基于所述目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。
根据本申请的人脸识别模型训练装置，通过将不同标签对应的样本选择权重初始化为相同值；其中，所述标签表示人脸样本的人脸属性；基于样本选择权重选择人脸样本对第一模型进行训练，得到所述第一模型对应的第一损失函数值；将基于所述第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新所述第一模型；在所述第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至所述第一模型收敛，记录所述第一模型收敛时不同标签对应的目标样本选择权重；基于所述目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。本申请实施例设计了一种基于蚁群算法的样本选择权重搜索方式，通过引入表示人脸属性的标签搜索优化样本选择权重，给予对模型收敛的贡献度高的标签更高的权重，使得模型收敛时，可以认为更高的样本选择权重的样本更适合其收敛，在模型训练时以更高概率选择权重更高的人脸样本训练，即用优化后的样本选择权重分布从头训练模型会更快收敛，从而降低单次训练时间，可以显著降低搜索时间，提高模型的训练效率。
第三方面，本申请提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的人脸识别模型训练方法。
第四方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的人脸识别模型训练方法。
第五方面，本申请提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如上述第一方面所述的人脸识别模型训练方法。
第六方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的人脸识别模型训练方法。
本申请实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
根据本申请的人脸识别模型训练方法，通过将不同标签对应的样本选择权重初始化为相同值；其中，所述标签表示人脸样本的人脸属性；基于样本选择权重选择人脸样本对第一模型进行训练，得到所述第一模型对应的第一损失函数值；将基于所述第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新所述第一模型；在所述第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至所述第一模型收敛，记录所述第一模型收敛时不同标签对应的目标样本选择权重；基于所述目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。本申请实施例设计了一种基于蚁群算法的样本选择权重搜索方式，通过引入表示人脸属性的标签搜索优化样本选择权重，给予对模型收敛的贡献度高的标签更高的权重，使得模型收敛时，可以认为更高的样本选择权重的样本更适合其收敛，在模型训练时以更高概率选择权重更高的人脸样本训练，即用优化后的样本选择权重分布从头训练模型会更快收敛，从而降低单次训练时间，可以显著降低搜索时间，提高模型的训练效率。
进一步的，在一些实施例中，通过第一损失函数值乘以预设系数生成第一信息素，使得第一信息素能够根据每次迭代训练进行更新，从而使得样本选择权重优化效果更好。
更进一步的，在一些实施例中，通过第一信息素对至少两个随机标签对应的样本选择权重进行更新，使得搜索过程中，对样本选择权重更新分布更广，减少随机性，加速最佳样本选择权重的搜索。
更进一步的，在一些实施例中，结合蚁群算法，通过神经网络架构搜索来寻找第二模型的最优神经网络结构，能够自动地找到最佳的神经网络结构，可以较高效率搜索出大小及性能合适的人脸识别模型。
更进一步的，在一些实施例中，结合了样本选择权重搜索过程中的第一损失函数曲线，以所述第二损失函数曲线和所述第一损失函数曲线的KL散度生成蚁群算法的信息素来更新参数权重，保证了样本选择权重与第二模型参数值的契合程度，使得搜索到的最佳参数值与样本选择权重相适应，进一步提高了人脸识别模型的性能。
再进一步的，在一些实施例中，由于第二损失函数曲线为模型训练了E轮得到的曲线，因而找到所述第一损失函数曲线在[0，E]区间段，并计算第二损失函数曲线与所述第一损失函数曲线在[0，E]区间段的KL散度，能够使KL散度更加准确。
再进一步的，在一些实施例中，第二信息素的计算不仅考虑到了第二损失函数曲线和第一损失函数曲线的KL散度，还考虑到了本次训练平均推理时间，KL散度和本次训练平均推理时间越大则表示本次训练效果较差，第二信息素值也就越小，保证了最佳参数权重搜索的准确性
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请实施例提供的人脸识别模型训练方法的流程示意图；
图2是本申请实施例提供的一个场景示例的示意图；
图3是本申请实施例的训练样本选择权重搜索流程示意图；
图4是本申请实施例的网络架构参数权重搜索流程示意图；
图5是本申请实施例提供的人脸识别模型训练装置的结构示意图；
图6是本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
人脸识别是一种以人的面部图像作为识别对象的生物特征身份识别技术。人脸作为人类身体上最直接的生物特征，由于其具有不易复刻的安全性和不易变化的稳定性，便成为众多生物特征识别方法中的常用手段。人脸识别相较于指纹、虹膜、语音和指静脉等识别方法，具有非入侵性、隐蔽性和直接性等优势。因此，人脸识别技术被广泛应用于金融、安检、视频监控、人机交互、电子商务和公安系统等领域，并且在5G和物联网领域也有着广泛的应用前景。
由于深度神经网络强大的表征能力和近乎无限的知识容量扩展能力，使其在人脸识别领域的准确率大幅超越传统机器学习，虽然深度学习在人脸识别领域的应用发展迅猛，而应对于复杂环境下的技术落地还并不理想。
当进行人脸识别模型的训练时，通常是随机选择样本，会遇到一些样本数量不平衡的情况，也就是说某些类别的样本数量比其他类别多很多，而不同样本对于模型收敛的贡献度可能是不一样的，如果多次随机到对模型收敛的贡献度较低的样本，则会导致单次训练收敛的速度变慢，使得模型的训练效率较低。
本申请考虑到如果基于蚁群算法依据不同样本对模型收敛的贡献度，为样本搜索适合的权重，对更有利于模型收敛的样本，给予更高权重，使得在模型训练过程中更高概率选则高权重的样本进行训练，则有望解决现有技术中随机选择样本导致的单次训练收敛的速度变慢，使得模型的训练效率较低的问题。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的人脸识别模型训练方法、装置、电子设备及存储介质进行详细地说明。
其中，人脸识别模型训练方法可应用于终端，具体可由，终端中的硬件或软件执行。
该终端包括但不限于具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话或平板电脑等便携式通信设备。还应当理解的是，在某些实施例中，该终端可以不是便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。
以下各个实施例中，描述了包括显示器和触摸敏感表面的终端。然而，应当理解的是，终端可以包括诸如物理键盘、鼠标和控制杆的一个或多个其它物理用户接口设备。
本申请实施例提供的人脸识别模型训练方法，该人脸识别模型训练方法的执行主体可以为电子设备或者电子设备中能够实现该人脸识别模型训练方法的功能模块或功能实体，本申请实施例提及的电子设备包括但不限于手机、平板电脑、电脑、相机和可穿戴设备等，下面以电子设备作为执行主体为例对本申请实施例提供的人脸识别模型训练方法进行说明。
如图1所示，该人脸识别模型训练方法包括：步骤110、步骤120、步骤130、步骤140和步骤150。
步骤110、将不同标签对应的样本选择权重初始化为相同值；其中，标签表示人脸样本的人脸属性。
在本申请实施例中，样本选择权重是指在模型训练中，对于不同的样本赋予不同的权重，送入训练的样本将根据该权重进行选择，以便更好地训练模型。样本选择权重可以用于解决数据不平衡的问题，即某些类别的样本数量较少，特别使对于模型收敛的贡献度大的样本数量较少，导致模型在预测这些类别时表现不佳的问题。
人脸属性可以有很多种，例如性别、表情、年龄等等，在本申请实施例中，可以根据人脸属性对人脸样本设置标签，例如，可以将人脸样本根据性别划分为男、女两类；根据年龄划分为老、中、青、少四类，则人脸样本的标签为男、女、老、中、青、少。当然，也可以根据标签划分为笑、哭，可以根据任意人脸属性对人脸样本进行划分，为人脸样本设置相应的标签，本申请实施例对此不作限定。
通过为人脸样本设置标签，可以在后续处理过程中确定哪些标签对应的人脸样本对模型收敛的贡献度较高，哪些对模型收敛的贡献度较低。对于模型收敛的贡献度较高对应的标签，可以设置较高的样本选择权重，使得在模型训练时以更高概率选择权重更高的人脸样本训练，对于模型收敛的贡献度较低对应的标签，可以设置较低的样本选择权重，使得在模型训练时以更低概率选择权重更高的人脸样本训练。
首先针对不同的标签，可以初始化样本选择权重设置为相同值，以人脸样本的标签为男、女、老、中、青、少为例，样本选择权重初始化结果如表1所示。
表1
| 标签 | 初始权重 |
| 男 | Sex_m |
| 女 | Sex_f |
| 老 | Age_o |
| 中 | Age_m |
| 青 | Age_y |
| 少 | Age_t |
其中，初始权重Sex_m、Sex_f、Age_o、Age_m、Age_y、Age_t相等。
步骤120、基于样本选择权重选择人脸样本对第一模型进行训练，得到第一模型对应的第一损失函数值。
在本申请实施例中，第一模型可以是一种深度神经网络，例如是一种大模型网络，该大模型网络能够处理海量数据、完成各种复杂的任务，因为模型大，所以效果会比较好，因此能够通过对大模型网络进行训练，然后确定各类标签下的人脸样本对于模型收敛的贡献度，并作为基准。
在本申请实施例中，可以根据样本选择权重选择一定数量的人脸样本送入大模型网络进行前向运算，根据网络的预测值与真实值之间的差异计算损失函数值。其中，损失函数可以是均方误差损失函数，也可以是交叉熵损失函数，还可以是对数损失函数。当然，损失函数还可以是其他类型的损失函数，或者多种损失函数的组合，本领域技术人员可以根据模型训练的需求选择合适的损失函数作为损失函数，本申请实施例对此不作限定。
步骤130、将基于第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新第一模型。
在本申请实施例中，可以通过蚁群算法来搜索得到各标签对应的样本选择权重分布，基于各标签对应的人脸样本对模型收敛的贡献度来确定各标签对应的样本选择权重。
蚁群算法是一种启发式算法，灵感来源于蚂蚁在寻找食物时的行为。在蚁群算法中，一群“人工蚂蚁”会在解空间中搜索最优解，通过模拟蚂蚁在寻找食物时释放信息素的行为来实现全局搜索和局部搜索的平衡，从而找到较好的解。
例如，若有一群蚂蚁，这群蚂蚁将沿着蚁巢和食物源之间的直线路径行驶。如果在蚁巢和食物源之间突然出现了一个障碍物，则到达蚁巢或食物源的蚂蚁将要做出决策，即向左行驶还是向右行驶。由于最初路上没有蚂蚁留下的信息素(信息素是蚂蚁之间交流的工具之一)，因此，蚂蚁朝着左右两个方向行驶的概率是相等的。但是当有蚂蚁走过时，蚂蚁将会在它行进的路上释放出信息素，并且这种信息素会以一定的速率散发掉。这样，该蚂蚁后面的蚂蚁会通过左方向和右方向的路径上信息素的浓度，做出决策，向左行驶还是向右行驶。很明显，随着时间的推移，沿着短边的路径上信息素将会越来越浓，从而吸引了越来越多的蚂蚁沿着这条路径行驶。
在本申请实施例中，最佳样本选择权重即为蚁群算法中的最短路径，为了找到该路径，每次更新的权重值就是信息素。可以基于第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，从而对样本选择权重进行更新。
在一些实施例中，可以将第一损失函数值Loss1乘以预设的系数ɑ1，得到信息素值“ɑ1Loss1”，然后将信息素值加入至随机标签对应的样本选择权重中进行更新。当然，信息素值还可以根据其他方式计算得到，例如将第一损失函数值Loss1乘以预设系数ɑ1后再加上或减去预设值，或者根据第一损失函数值Loss1，引入一些系数做其他的数学计算得到信息素值，本领域技术人员可以根据实际情况对如何根据第一损失函数值Loss1计算得到信息素作适应性修改，本申请实施例对此不作限定。
通过第一损失函数值乘以预设系数生成第一信息素，使得第一信息素能够根据每次迭代训练进行更新，从而使得样本选择权重优化效果更好。
在一些实施例中，可以将第一信息素加入值一个随机标签对应的样本选择权重中，以对样本选择权重进行更新，还可以将第一信息素加入至至少两个随机标签对应的样本选择权重中，以对样本选择权重进行更新。当然，如果将第一信息素对至少两个随机标签对应的样本选择权重进行更新，可以使得搜索过程中，对样本选择权重更新分布更广，减少随机性，加速最佳样本选择权重的搜索。
在将第一信息素加入至样本选择权重中后，可以引入系数β1，然后根据蚁群算法衰减步骤，将所有权重值衰减至β1倍。最后进行反向传播，更新第一模型的参数，完成一次迭代训练和一次搜索。例如，针对表1，表2展示了该次迭代后各标签的权重更新情况(例如这次随机选择“女”和“青”子类)。
表2
| 标签 | 更新权重 |
| 男 | Sex_m*β1 |
| 女 | (Sex_f+ɑ1Loss1)*β1 |
| 老 | Age_o*β1 |
| 中 | Age_m*β1 |
| 青 | (Age_y+ɑ1Loss1)*β1 |
| 少 | Age_t*β1 |
步骤140、在第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至第一模型收敛，记录第一模型收敛时不同标签对应的目标样本选择权重。
在本申请实施例中，通过蚁群算法搜索最佳样本选择权重需要对模型进行多次搜索和迭代，直至第一模型收敛。在完成一次迭代训练和一次搜索后，可以判断第一模型是否收敛，如果第一模型未收敛，则需要再进行一次迭代训练和搜索，利用前一次迭代训练衰减更新后的样本选择权重选择人脸样本对更新参数后的第一模型进行训练，在本次训练后再根据本次训练的第一损失函数值生成第一信息素，将第一信息素加入到随机标签对应的样本选择权重中，然后根据蚁群算法衰减步骤，将所有权重值衰减至β1倍。最后进行反向传播，更新第一模型的参数，再次完成一次迭代训练和一次搜索。
通过多次迭代训练和搜索，利用产生的第一信息素不断更新样本选择权重，直到第一模型收敛，此时可以记录第一模型收敛时不同标签对应的目标样本选择权重和和第一模型的第一损失函数曲线L1。
由于样本选择权重在每次训练迭代过程中都会进行更新，在模型收敛时，不同标签对应的样本选择权重有高有低，样本选择权重高的标签下的人脸样本对应模型收敛的贡献度更高，样本选择权重低的标签下的人脸样本对应模型收敛的贡献度更低，因此，在模型收敛时所得到的目标样本选择权重可以看作为模型训练的最优选择。
步骤150、基于目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。
传统人脸识别模型只关心图像内容是不是一个人，不关心男女老少，但是本申请通过引入男女老少等人脸属性的标签，通过样本选择权重干预样本选择过程，比如如果男性标签比女性标签权重高，则代表该批次训练数据集男性数据更有利于让模型习得不同人脸之间的区别，因此给男性分配更高权重，即更高概率选男性图片训练，可以让模型更快收敛。
在本申请实施例中，第二模型区别于第一模型，第一模型是用于通过各类标签下的人脸样本对模型收敛的贡献度来计算样本选择权重，所以第一模型是一种大模型网络，该大模型网络能够处理海量数据、完成各种复杂的任务，因为模型大，所以效果会比较好。而第二模型则是会在训练后应用在各类场景下，应用在各类硬件设备中，所以为了使第二模型更加容易的应用在各类场景下，应用在各类硬件设备中，第二模型的结构一般会比第一模型的结构简单，更加轻便。
根据本申请的人脸识别模型训练方法，通过将不同标签对应的样本选择权重初始化为相同值；其中，标签表示人脸样本的人脸属性；基于样本选择权重选择人脸样本对第一模型进行训练，得到第一模型对应的第一损失函数值；将基于第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新第一模型；在第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至第一模型收敛，记录第一模型收敛时不同标签对应的目标样本选择权重；基于目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。本申请实施例设计了一种基于蚁群算法的样本选择权重搜索方式，通过引入表示人脸属性的标签搜索优化样本选择权重，给予对模型收敛的贡献度高的标签更高的权重，使得模型收敛时，可以认为更高的样本选择权重的样本更适合其收敛，在模型训练时以更高概率选择权重更高的人脸样本训练，即用优化后的样本选择权重分布从头训练模型会更快收敛，从而降低单次训练时间，可以显著降低搜索时间，提高模型的训练效率。
在一些实施例中，基于目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型，包括：
根据目标样本选择权重选择人脸样本对第二模型进行训练，基于蚁群算法搜索第二模型的网络结构，以确定网络结构中的参数值；
基于目标样本选择权重和网络结构中的参数值对第二模型进行训练，直至模型收敛，得到人脸识别模型。
随着深度学习技术的发展，神经网络的结构变得越来越复杂，设计一个合适的网络结构也变得更加困难。传统的神经网络结构往往是由专家经验或者试错法来设计的，但这种方法往往不能保证找到最佳的结构，并且耗费的时间比较长，效率较低。
在该实施例中，可以通过神经网络架构搜索(Neural architecture searchwithreinforcement learning，NAS)确定第二模型的网络结构。神经网络架构搜索是一门专门研究如何可以不借助于人工的人工调试的方式就可以达到自动化设计高性能深度神经网络架构的技术。它不要求使用者具备丰富的专家经验，就能够设计出高性能的深度神经网络架构。NAS本质上是一个优化问题，通过合适的优化算法，对NAS进行求解，最终自动化得到一个神经网络的结构。
模型的网络结构是由各类参数确定的，通过NAS能够搜索得到各类参数的最佳参数值，从而确定第二模型的网络结构。例如，对于网络层结构，NAS可以探索不同类型的层(卷积层、全连接层、循环层等)以及它们的连接方式，以构建适应特定任务的网络结构；对于层的数量，NAS可以决定每个类型的层在网络中的数量，这有助于确定网络的深度；对于超参数，NAS也可以搜索超参数，如学习率、权重衰减等，这些超参数影响训练过程中的模型性能；对于激活函数，NAS可以搜索激活函数的类型，例如ReLU、Sigmoid、Tanh等；对于模型宽度，NAS可以决定每个层的节点数或过滤器数量，从而调整模型的宽度。对于跳跃连接，NAS可以搜索是否使用跳跃连接来帮助信息在网络中更快地传递；对于正则化方法，NAS可以确定在模型中使用哪些正则化方法，如Dropout、Batch Normalization等；对于优化器类型，NAS可以搜索不同类型的优化器，如SGD、Adam、RMSprop等。
在该实施例中，可以结合蚁群算法搜索第二模型的网络结构，以确定网络结构中的参数值。例如，在搜索第二模型的网络结构中，可以为同一参数设置不同的值作为搜索空间，蚁群算法中的最短路径即为最佳参数值，通过对不同的参数进行搜索，得到每种参数的最佳参数值，基于这些参数值得到第二模型的网络结构。
在该实施例中，结合蚁群算法，通过神经网络架构搜索来寻找第二模型的最优神经网络结构，能够自动地找到最佳的神经网络结构，可以较高效率搜索出大小及性能合适的人脸识别模型。
在一些实施例中，根据目标样本选择权重选择人脸样本对第二模型进行训练，基于蚁群算法搜索第二模型的网络结构，以确定网络结构中的参数值，包括：
基于参数权重从预设的参数空间中随机选择网络结构的参数构建第二模型；其中，参数空间中包括同一参数的多个不同参数值，不同参数值的初始参数权重相同；
根据目标样本选择权重选择人脸样本对第二模型进行训练E轮，得到第二模型对应的第二损失函数曲线；
将基于第二损失函数曲线和第一模型对应的第一损失函数曲线的KL散度生成的第二信息素加入至随机参数值对应的参数权重中，再将不同参数值对应的参数权重进行衰减更新；
在KL散度大于或等于预设阈值的情况下，基于衰减更新后的参数权重从预设的参数空间中随机选择网络结构的参数构建第二模型，根据目标样本选择权重选择人脸样本对第二模型进行训练E轮，直至KL散度小于预设阈值，选择参数空间中参数权重最大的参数值作为网络结构中的参数值。
在对第二模型的网络结构进行搜索前，需要定义搜索空间，然后再搜索空间中搜索最佳参数值。在该实施例中，首先可以将决定网络结构的各参数的参数空间离散化，并初始化为相同选择权重，如表3所示(这里以1个参数，并将其取值分成5份为例)。
表3
| 参数取值 | 初始权重 |
| Pv1 | Pv1_w |
| Pv2 | Pv2_w |
| Pv3 | Pv3_w |
| Pv4 | Pv4_w |
| Pv5 | Pv5_w |
然后根据各权重随机选择网络结构的参数构建第二模型，再根据步骤130得到的目标样本选择权重选择预设数量的人脸样本对第二模型进行训练E轮，其中E为正整数，可以根据实际情况将E设定为某个具体的数值，本申请实施例对此不作限定。
在该实施例中，最佳参数权重即为蚁群算法中的最短路径，为了找到该路径，每次更新的权重值就是信息素。在对第二模型训练E轮后可以得到第二模型对应的第二损失函数曲线L2，然后根据第二损失函数曲线L2来生成第二信息素，然后将第二信息素加入至随机参数值对应的参数权重中，从而更新参数权重。
具体的，生成第二信息素的过程可以与步骤130类似，将第二损失函数值Loss2乘以预设系数ɑ2，得到信息素值“ɑ2Loss2”，然后将信息素值加入至随机参数值对应的参数权重中进行更新。当然，信息素值还可以根据其他方式计算得到，例如将第二损失函数值Loss2乘以预设系数ɑ2后再加上或减去预设值，或者根据第一损失函数值Loss2，引入一些系数做其他的数学计算得到信息素值，本领域技术人员可以根据实际情况对如何根据第一损失函数值Loss2计算得到信息素作适应性修改，本申请实施例对此不作限定。
在该实施例中，还可以根据第二损失函数曲线和第一模型对应的第一损失函数曲线的KL散度(Kullback-Leibler Divergence)来生成第二信息素。具体的，首先可以计算第二损失函数曲线和第一损失函数曲线的KL散度KL(L2||L1)，得到值KL_value，然后将KL_value乘以预设系数-ɑ2，得到信息素值“-ɑ2KL_value”，然后将信息素值加入至随机参数值对应的参数权重中进行更新。当然，信息素值还可以根据其他方式计算得到，例如将KL_value乘以预设系数-ɑ2后再加上或减去预设值，或者根据KL_value，引入一些系数做其他的数学计算得到信息素值，本领域技术人员可以根据实际情况对如何根据KL_value计算得到信息素作适应性修改，本申请实施例对此不作限定。由于KL散度越大则表示本次训练效果较差，通过引入系数-ɑ2，使得KL散度越大时，生成的第二信息素越小，以适应蚁群算法的搜索。
在一些实施例中，在根据KL散度来生成第二信息素中，还可以引入训练的时间因素，本次训练平均推理时间越短，说明本次训练效果越好，本次训练所采用的参数值也越好。具体的，第二信息素可以根据以下公式计算得到：
Info＝-k*ln(KL_value+δT)+c
其中，Info表示第二信息素值，KL_value表示第二损失函数曲线和第一损失函数曲线的KL散度，T表示本次训练平均推理时间，k、δ、c为系数。
在该实施例中，第二信息素的计算不仅考虑到了第二损失函数曲线和第一损失函数曲线的KL散度，还考虑到了本次训练平均推理时间，KL散度和本次训练平均推理时间越大则表示本次训练效果较差，第二信息素值也就越小，保证了最佳参数权重搜索的准确性。
在一些实施例中，KL散度根据以下方式计算得到：
在第一模型收敛的情况下，记录第一模型对应的第一损失函数曲线；
计算第二损失函数曲线与第一损失函数曲线在[0，E]区间段的KL散度。
在该实施例中，由于第二损失函数曲线为模型训练了E轮得到的曲线，因而找到第一损失函数曲线在[0，E]区间段，并计算第二损失函数曲线与第一损失函数曲线在[0，E]区间段的KL散度，能够使KL散度更加准确。
在该实施例中，由于第二损失函数曲线为模型训练了E轮得到的曲线，因而找到第一损失函数曲线在[0，E]区间段，并计算第二损失函数曲线与第一损失函数曲线在[0，E]区间段的KL散度，能够使KL散度更加准确。
在一些实施例中，可以将第二信息素加入值一个随机参数值对应的参数权重中，以对参数权重进行更新，还可以将第二信息素加入至至少两个随机参数值对应的参数权重中，以对参数权重进行更新。当然，如果将第二信息素对至少两个随机参数值对应的参数权重中进行更新，可以使得搜索过程中，对参数权重更新分布更广，减少随机性，加速最佳参数权重的搜索。
在将第二信息素加入至随机参数值对应的参数权重后，可以引入系数β2，然后根据蚁群算法衰减步骤，将所有权重值衰减至β2倍，完成一次迭代训练和一次搜索。例如，针对表3，表4展示了该次迭代后各参数值的权重更新情况(例如这次随机选择Pv3)。
表4
| 参数取值 | 更新权重 |
| Pv1 | Pv1_w*β2 |
| Pv2 | Pv2_w*β2 |
| Pv3 | (Pv3_w+Info)*β2 |
| Pv4 | Pv4_w*β2 |
| Pv5 | Pv5_w*β2 |
在该实施例中，通过蚁群算法搜索最佳参数值需要对模型进行多次训练和搜索，直至第二损失函数曲线和第一损失函数曲线的KL散度小于预设阈值。在完成一次训练和搜索后，可以判断第二损失函数曲线和第一损失函数曲线的KL散度是否小于预设阈值，如果该KL散度大于或等于预设阈值，则需要再进行一次训练和搜索，利用前一次训练衰减更新后的参数权重从参数空间中选择参数值重新构建第二模型，然后根据目标样本选择权重选择人脸样本再次对第二模型进行训练E轮，在本次训练后再根据本次训练得到的第二损失函数曲线计算与第一损失函数曲线的KL散度，并基于该KL散度生成第二信息素，将第二信息素加入到随机参数值对应的参数权重中，然后根据蚁群算法衰减步骤，将所有权重值衰减至β2倍，再次完成一次训练和搜索。
通过多次训练和搜索，利用产生的第二信息素不断更新参数权重，直至第二损失函数曲线和第一损失函数曲线的KL散度小于预设阈值，选择此时各参数空间中参数权重最大的参数值作为构建第二模型网络结构的参数值。
在该实施例中，结合了样本选择权重搜索过程中的第一损失函数曲线，以第二损失函数曲线和第一损失函数曲线的KL散度生成蚁群算法的信息素来更新参数权重，保证了样本选择权重与第二模型参数值的契合程度，使得搜索到的最佳参数值与样本选择权重相适应，进一步提高了人脸识别模型的性能。
本申请还提供一个场景示例，以说明本申请实施例提供的人脸识别模型训练方法的应用过程。如图2所示，本场景示例包括步骤Step1-Step3。
Step1：搜索样本选择权重。将人脸样本根据性别划分为男、女两类；根据年龄划分为老、中、青、少四类。本步骤确定样本选择权重后，在后续人脸识别模型的训练步骤中送入训练的样本将根据该样本选择权重进行选择。即：在训练足够多轮次后，所有参与训练的样本中男、女各类比例，老、中、青、少各类比例将接近本步骤搜索得到的权重分布。
具体搜索步骤如图3所示，首先需要将人脸样本进行识别标注以及年龄、性别标注。初始化各类标签的样本选择权重为相同值，如上述表1所示。
根据表1中的权重选择一定数量人脸样本送入大模型网络进行前向运算，得到网络的损失函数Loss1值。引入系数ɑ1，将Loss1值乘以系数ɑ1后作为蚁群算法中的“信息素”加到选择的各类标签的初始权重中。引入系数β1，根据蚁群算法衰减步骤，将所有权重值衰减至β1倍。最后进行反向传播，更新大模型网络的参数，完成一次迭代训练和一次搜索。表2展示了该次迭代后各类标签的权重更新情况。
在完成一次迭代训练和一次搜索后判断大模型网络是否收敛，若未收敛，则需要再次对模型进行迭代训练，例如可以使用上一次迭代训练衰减更新后的样本选择权重选择人脸样本送入上一次迭代训练更新后的大模型网络中进行前向运算，再通过信息素更新样本选择权重，如此循环迭代，直至大模型网络收敛。当大模型网络收敛时，Step1完成，记录此时各类标签的样本选择权重和Loss曲线L1。此时各类标签的样本选择权重即为本次搜索得到的“最短路径”。
Step2：搜索确定最终模型的网络结构。此步骤流程如图4所示。首先将决定网络结构的各参数的参数空间离散化，并初始化为相同选择参数权重，如上述表3所示。
根据各参数权重随机选择网络参数，根据选择的参数值构建得到子模型，根据Step1样本权重进行人脸样本选择对子模型进行训练E轮，得到损失函数曲线L2，截取L1的[0，E]区间与L2计算KL散度KL(L2||L1)得到值KL_value，记录该次训练平均推理时间T，根据以下公式计算网络参数值的参数权重更新信息素值Info。
Info＝-k*ln(KL_value+δT)+c
将计算得到的信息素值更新到对应的选取参数权重上，然后将所有权重衰减β1倍，表4展示了该次迭代后各参数权重的更新情况。
在完成一次迭代后判断L1与L2的KL散度是否小于预设阈值，若大于或等于预设阈值，则需要再次进行迭代训练，例如可以根据衰减更新后的参数权重重新选择网络参数，根据选择的参数值重新构建子模型进行训练，再通过信息素更新参数权重，重复上述过程直到L1与L2的KL散度小于预设阈值，停止搜索。选择此时各参数空间中参数权重最大的参数值作为构建子模型的参数值，得到最终子模型。
Step3：使用Step2得到的最终子模型和Step1得到的样本选择权重重新训练模型直至收敛，至此得到最终人脸识别模型。
本申请实施例提供的人脸识别模型训练方法，执行主体可以为人脸识别模型训练装置。本申请实施例中以人脸识别模型训练装置执行人脸识别模型训练方法为例，说明本申请实施例提供的人脸识别模型训练装置。
本申请实施例还提供一种人脸识别模型训练装置。
如图5所示，该人脸识别模型训练装置包括：
初始化模块510，用于将不同标签对应的样本选择权重初始化为相同值；其中，标签表示人脸样本的人脸属性；
第一训练模块520，用于基于样本选择权重选择人脸样本对第一模型进行训练，得到第一模型对应的第一损失函数值；
权重更新模块530，用于将基于第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新第一模型；
第二训练模块540，用于在第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至第一模型收敛，记录第一模型收敛时不同标签对应的目标样本选择权重；
第三训练模块550，用于基于目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。
根据本申请的人脸识别模型训练装置，通过将不同标签对应的样本选择权重初始化为相同值；其中，标签表示人脸样本的人脸属性；基于样本选择权重选择人脸样本对第一模型进行训练，得到第一模型对应的第一损失函数值；将基于第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新第一模型；在第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至第一模型收敛，记录第一模型收敛时不同标签对应的目标样本选择权重；基于目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。本申请实施例设计了一种基于蚁群算法的样本选择权重搜索方式，通过引入表示人脸属性的标签搜索优化样本选择权重，给予对模型收敛的贡献度高的标签更高的权重，使得模型收敛时，可以认为更高的样本选择权重的样本更适合其收敛，在模型训练时以更高概率选择权重更高的人脸样本训练，即用优化后的样本选择权重分布从头训练模型会更快收敛，从而降低单次训练时间，可以显著降低搜索时间，提高模型的训练效率。
在一些实施例中，权重更新模块530，还用于：
将第一信息素加入至至少两个随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减至β1倍，以对样本选择权重进行更新。
在一些实施例中，第三训练模块550，还用于：
根据目标样本选择权重选择人脸样本对第二模型进行训练，基于蚁群算法搜索第二模型的网络结构，以确定网络结构中的参数值；
基于目标样本选择权重和网络结构中的参数值对第二模型进行训练，直至模型收敛，得到人脸识别模型。
在一些实施例中，第三训练模块550，还用于：
基于参数权重从预设的参数空间中随机选择网络结构的参数构建第二模型；其中，参数空间中包括同一参数的多个不同参数值，不同参数值的初始参数权重相同；
根据目标样本选择权重选择人脸样本对第二模型进行训练E轮，得到第二模型对应的第二损失函数曲线；
将基于第二损失函数曲线和第一模型对应的第一损失函数曲线的KL散度生成的第二信息素加入至随机参数值对应的参数权重中，再将不同参数值对应的参数权重进行衰减更新；
在KL散度大于或等于预设阈值的情况下，基于衰减更新后的参数权重从预设的参数空间中随机选择网络结构的参数构建第二模型，根据目标样本选择权重选择人脸样本对第二模型进行训练E轮，直至KL散度小于预设阈值，选择参数空间中参数权重最大的参数值作为网络结构中的参数值。
在一些实施例中，第三训练模块550，还用于：
在第一模型收敛的情况下，记录第一模型对应的第一损失函数曲线；
计算第二损失函数曲线与第一损失函数曲线在[0，E]区间段的KL散度。
本申请实施例中的人脸识别模型训练装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digitalassistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的人脸识别模型训练装置可以为具有操作系统的装置。该操作系统可以为微软(Windows)操作系统，可以为安卓(Android)操作系统，可以为IOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
在一些实施例中，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601、存储器602及存储在存储器602上并可在处理器601上运行的计算机程序，该程序被处理器601执行时实现上述人脸识别模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
本申请实施例还提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述人脸识别模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述人脸识别模型训练方法。
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述基于人脸识别模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。
Claims (10)
1.一种人脸识别模型训练方法，其特征在于，包括：
将不同标签对应的样本选择权重初始化为相同值；其中，所述标签表示人脸样本的人脸属性；
基于样本选择权重选择人脸样本对第一模型进行训练，得到所述第一模型对应的第一损失函数值；
将基于所述第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新所述第一模型；
在所述第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至所述第一模型收敛，记录所述第一模型收敛时不同标签对应的目标样本选择权重；
基于所述目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。
2.根据权利要求1所述的方法，其特征在于，所述第一信息素根据所述第一损失函数值乘以预设系数生成。
3.根据权利要求1所述的方法，其特征在于，所述将基于所述第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，包括：
将所述第一信息素加入至至少两个随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减至β1倍，以对所述样本选择权重进行更新。
4.根据权利要求1所述的方法，其特征在于，所述基于所述目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型，包括：
根据目标样本选择权重选择人脸样本对所述第二模型进行训练，基于蚁群算法搜索所述第二模型的网络结构，以确定所述网络结构中的参数值；
基于所述目标样本选择权重和所述网络结构中的参数值对第二模型进行训练，直至模型收敛，得到人脸识别模型。
5.根据权利要求4所述的方法，其特征在于，所述根据目标样本选择权重选择人脸样本对所述第二模型进行训练，基于蚁群算法搜索所述第二模型的网络结构，以确定所述网络结构中的参数值，包括：
基于参数权重从预设的参数空间中随机选择网络结构的参数构建第二模型；其中，所述参数空间中包括同一参数的多个不同参数值，不同参数值的初始参数权重相同；
根据所述目标样本选择权重选择人脸样本对所述第二模型进行训练E轮，得到所述第二模型对应的第二损失函数曲线；
将基于所述第二损失函数曲线和所述第一模型对应的第一损失函数曲线的KL散度生成的第二信息素加入至随机参数值对应的参数权重中，再将不同参数值对应的参数权重进行衰减更新；
在所述KL散度大于或等于预设阈值的情况下，基于衰减更新后的参数权重从预设的参数空间中随机选择网络结构的参数构建第二模型，根据所述目标样本选择权重选择人脸样本对所述第二模型进行训练E轮，直至所述KL散度小于预设阈值，选择所述参数空间中参数权重最大的参数值作为所述网络结构中的参数值。
6.根据权利要求5所述的方法，其特征在于，所述KL散度根据以下方式计算得到：
在所述第一模型收敛的情况下，记录所述第一模型对应的第一损失函数曲线；
计算所述第二损失函数曲线与所述第一损失函数曲线在[0，E]区间段的KL散度。
7.根据权利要求5所述的方法，其特征在于，所述第二信息素根据以下公式计算得到：
Info＝-k*ln(KL_value+δT)+c
其中，Info表示第二信息素值，KL_value表示第二损失函数曲线和第一损失函数曲线的KL散度，T表示本次训练平均推理时间，k、δ、c为系数。
8.一种人脸识别模型训练装置，其特征在于，包括：
初始化模块，用于将不同标签对应的样本选择权重初始化为相同值；其中，所述标签表示人脸样本的人脸属性；
第一训练模块，用于基于样本选择权重选择人脸样本对第一模型进行训练，得到所述第一模型对应的第一损失函数值；
权重更新模块，用于将基于所述第一损失函数值生成的第一信息素加入至随机标签对应的样本选择权重中，再将不同标签对应的样本选择权重进行衰减更新，并通过反向传播更新所述第一模型；
第二训练模块，用于在所述第一模型未收敛的情况下，基于衰减更新后的样本选择权重对更新后的第一模型进行训练，直至所述第一模型收敛，记录所述第一模型收敛时不同标签对应的目标样本选择权重；
第三训练模块，用于基于所述目标样本选择权重对第二模型进行训练，直至模型收敛，得到人脸识别模型。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311874111.0A CN117831106A (zh) | 2023-12-29 | 2023-12-29 | 人脸识别模型训练方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311874111.0A CN117831106A (zh) | 2023-12-29 | 2023-12-29 | 人脸识别模型训练方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117831106A true CN117831106A (zh) | 2024-04-05 |
Family
ID=90505538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311874111.0A Pending CN117831106A (zh) | 2023-12-29 | 2023-12-29 | 人脸识别模型训练方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117831106A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111339869A (zh) * | 2020-02-18 | 2020-06-26 | 北京拙河科技有限公司 | 一种人脸识别方法、装置、计算机可读存储介质及设备 |
| CN111401112A (zh) * | 2019-01-03 | 2020-07-10 | 北京京东尚科信息技术有限公司 | 人脸识别方法和装置 |
| CN112016501A (zh) * | 2020-09-04 | 2020-12-01 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置和计算机设备 |
| CN112200260A (zh) * | 2020-10-19 | 2021-01-08 | 厦门大学 | 一种基于丢弃损失函数的人物属性识别方法 |
| CN112329619A (zh) * | 2020-11-04 | 2021-02-05 | 济南博观智能科技有限公司 | 一种人脸识别方法、装置、电子设备及可读存储介质 |
| WO2023125654A1 (zh) * | 2021-12-29 | 2023-07-06 | 杭州海康威视数字技术股份有限公司 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
-
2023
- 2023-12-29 CN CN202311874111.0A patent/CN117831106A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111401112A (zh) * | 2019-01-03 | 2020-07-10 | 北京京东尚科信息技术有限公司 | 人脸识别方法和装置 |
| CN111339869A (zh) * | 2020-02-18 | 2020-06-26 | 北京拙河科技有限公司 | 一种人脸识别方法、装置、计算机可读存储介质及设备 |
| CN112016501A (zh) * | 2020-09-04 | 2020-12-01 | 平安科技（深圳）有限公司 | 人脸识别模型的训练方法、装置和计算机设备 |
| CN112200260A (zh) * | 2020-10-19 | 2021-01-08 | 厦门大学 | 一种基于丢弃损失函数的人物属性识别方法 |
| CN112329619A (zh) * | 2020-11-04 | 2021-02-05 | 济南博观智能科技有限公司 | 一种人脸识别方法、装置、电子设备及可读存储介质 |
| WO2023125654A1 (zh) * | 2021-12-29 | 2023-07-06 | 杭州海康威视数字技术股份有限公司 | 人脸识别模型的训练方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111931062B (zh) | 一种信息推荐模型的训练方法和相关装置 | |
| Gao et al. | Deep leaf‐bootstrapping generative adversarial network for structural image data augmentation | |
| CN109299396B (zh) | 融合注意力模型的卷积神经网络协同过滤推荐方法及系统 | |
| CN110175628A (zh) | 一种基于自动搜索与知识蒸馏的神经网络剪枝的压缩算法 | |
| CN112364976B (zh) | 基于会话推荐系统的用户偏好预测方法 | |
| CN114048331A (zh) | 一种基于改进型kgat模型的知识图谱推荐方法及系统 | |
| CN110362715B (zh) | 一种基于图卷积网络的未剪辑视频动作时序定位方法 | |
| WO2023065859A1 (zh) | 物品推荐方法、装置及存储介质 | |
| CN111582397B (zh) | 一种基于注意力机制的cnn-rnn图像情感分析方法 | |
| CN109933720B (zh) | 一种基于用户兴趣自适应演化的动态推荐方法 | |
| CN112417289B (zh) | 一种基于深度聚类的资讯信息智能推荐方法 | |
| CN112580728B (zh) | 一种基于强化学习的动态链路预测模型鲁棒性增强方法 | |
| CN114298851A (zh) | 基于图表征学习的网络用户社交行为分析方法、装置及存储介质 | |
| Bungert et al. | A Bregman learning framework for sparse neural networks | |
| CN114417427A (zh) | 一种面向深度学习的数据敏感属性脱敏系统及方法 | |
| CN113918834A (zh) | 融合社交关系的图卷积协同过滤推荐方法 | |
| CN116992151A (zh) | 一种基于双塔图卷积神经网络的在线课程推荐方法 | |
| Liao et al. | FERGCN: facial expression recognition based on graph convolution network | |
| Camci et al. | Qlp: Deep q-learning for pruning deep neural networks | |
| Zhang et al. | Knowledge graph driven recommendation model of graph neural network | |
| Zhou et al. | Towards real time team optimization | |
| CN111957053A (zh) | 游戏玩家匹配方法、装置、存储介质与电子设备 | |
| CN117115911A (zh) | 一种基于注意力机制的超图学习动作识别系统 | |
| Chang et al. | Semantic clusters based manifold ranking for image retrieval | |
| Hsu et al. | Using expectation maximization to find likely assignments for solving CSP's |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |