CN111340213A - 神经网络的训练方法、电子设备、存储介质 - Google Patents

Abstract

本申请公开了一种用于人脸优选的神经网络的训练方法、电子设备、存储介质。该方法包括：将带标签的训练人脸序列输入待训练的神经网络，得到训练人脸序列的输出结果，其中标签包括训练人脸序列的已知质量分数序列；对预测质量分数序列进行回归处理得到第一概率分布；利用第一概率分布与第二概率分布计算损失函数；调整神经网络的参数以缩小损失函数；重复执行上述过程直至满足预设的停止训练的条件。通过上述方式，能够对神经网络的参数进行训练。

Description

神经网络的训练方法、电子设备、存储介质

技术领域

本申请涉及图像处理领域，特别是涉及一种用于人脸优选的神经网络的训练方法、电子设备、存储介质。

背景技术

随着社会的进步和信息技术的发展，最近几年安防监控设备得到了广泛的普及，监控视频人脸识别技术也取得了很大的进步，然而在非限制环境的监控视频场景下，由于受到多种因素影响，比如人脸姿态、表情、模糊、亮度、遮挡等等，导致很多抓拍到的人脸图像质量低下，影响人脸识别系统的识别精度。

发明内容

本申请提供一种用于人脸优选的神经网络的训练方法、电子设备、存储介质，能够解决抓拍到的人脸影响人脸识别系统识别精度的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种用于人脸优选的神经网络的训练方法，该方法包括：将带标签的训练人脸序列输入待训练的神经网络，得到训练人脸序列的输出结果，其中标签包括训练人脸序列的已知质量分数序列，训练人脸序列的已知质量分数序列包括训练人脸序列中每张人脸图像的已知质量分数且排序与训练人脸序列相同，输出结果包括预测质量分数序列，预测质量分数序列包括训练人脸序列中每张人脸图像的预测质量分数且排序与训练人脸序列相同；对预测质量分数序列进行回归处理得到第一概率分布；利用第一概率分布与第二概率分布计算损失函数，第二概率分布是对已知质量分数序列进行回归处理得到的；调整神经网络的参数以缩小损失函数；重复执行上述过程直至满足预设的停止训练的条件。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该装置包括处理器，处理器用于执行指令以实现前述的方法。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种存储介质，存储有指令，指令被执行时实现前述的方法。

本申请的有益效果是：通过上述方案的实施，将由已知质量分数组成的已知质量分数序列作为人脸图像的标签，将标签和训练人脸序列一起输入神经网络，以得到对应的预测质量分数序列，并将通过已知质量分数和预测质量分数序列计算出来的序列交叉熵函数作为约束，对神经网络的参数进行优化，使得最终得到的神经网络能够对人脸图像的打分更加准确。

附图说明

图1是本申请用于人脸优选的神经网络的训练方法一实施例的流程示意图；

图2是本申请神经网络的结构示意图；

图3是本申请排序前的人脸序列图；

图4是本申请排序后的人脸序列图；

图5是本申请电子设备一实施例的结构示意图；

图6是申请存储介质一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

图1是本申请用于人脸优选的神经网络的训练方法一实施例的流程示意图。本实施例的执行主体为电子设备，电子设备可以为手机、电脑等设备。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：

S10：获取视频中的训练人脸序列。

训练人脸序列可以包括多个不同人的训练人脸序列。其中，可通过对视频中的人脸进行检测，然后对检测到的人脸进行跟踪得到不同人的不同人脸序列。

S20：将训练人脸序列中的人脸图像和样本图像输入预先训练好的深度学习网络，得到人脸序列中每张人脸图像和样本图像的特征相似度，并将特征相似度作为人脸图像的已知质量分数。

可选地，预先训练好的深度学习网络至少为VGG网络、DeepID网络、FaceNet网络、MobileNet网络中的两种。

本步骤具体可包括以下子步骤：

S21：分别将训练人脸序列中人脸图像和样本图像输入预先训练好的至少两种深度学习网络，得到每张人脸图像和样本图像的至少两个特征相似度。

样本图像可以为预先设定的标准人脸图像，分别将从训练人脸序列中取出一个训练人脸子序列和样本图像一起输入预先训练好的深度学习网络，其中，训练人脸子序列中包含同一个人的多张人脸图像，并且子序列中包含的人脸图像与样本图像均属于同一个人的人脸图像。将取出的子序列中的多张人脸图像与样本图像输入预先训练好的深度学习网络后，可以得到训练人脸子序列中每张人脸图像和样本图像之间的特征相似度，该特征相似度可以为人脸图像特征和样本图像特征之间的余弦距离，具体计算公式可以为：

其中s为对训练人脸序列图片和样本图片提取的特征数目，a_k为从训练子序列图片的第k个特征，b_k为样本图像的第k个特征。

S22：计算每张人脸图像和样本图像的至少两个特征相似度的平均值，并将至少两个特征相似度的平均值作为人脸图像的已知质量分数。

通过至少两个训练好的深度学习网络对人脸图像进行相似度计算可提高最终得到的特征相似度的准确性，还可免去繁琐耗时的人工计算，降低人力成本。并且，最终得到的特征相似度越大，代表该张人脸图像的质量越好。

S30：将带标签的训练人脸序列输入待训练的神经网络，得到训练人脸序列的输出结果。

其中，标签包括训练人脸序列的已知质量分数序列，训练人脸序列的已知质量分数序列包括训练人脸序列中每张人脸图像的已知质量分数且排序与训练人脸序列相同，输出结果包括预测质量分数序列，预测质量分数序列包括训练人脸序列中每张人脸图像的预测质量分数且排序与训练人脸序列相同。

带标签的训练人脸序列中可以包括训练人脸序列和标签。并且，带标签的训练人脸序列由多个带标签的训练人脸子序列组成，即带标签的训练人脸序列中包含多个人的人脸信息。具体而言，带标签的训练人脸序列

其包含m个人的人脸信息。其中，x⁽ⁱ⁾为第i个人的训练人脸序列(第i个训练人脸子序列)，其中

即第i个人的训练人脸子序列中包含n张人脸图像；y⁽ⁱ⁾标签，其中

即标签中包含x⁽ⁱ⁾中n张人脸图像的已知质量分数，其排列顺序与x⁽ⁱ⁾的排列顺序相同。

神经网络可包括四个卷积层、四个池化层、一个全连接层，可以对每个人脸序列中的每张人脸图像进行特征提取、池化、全连接等操作，以得到由每个人的人脸图像预测质量分数组成的预测质量分数序列。其中，第i个预测质量分数序列

包含x⁽ⁱ⁾中n张人脸图像的预测质量分数，其排列顺序与x⁽ⁱ⁾中人脸图像的排列顺序相同。

可选地，标签还包括已知类别列表，已知类别列表包括训练人脸序列中每张人脸图像的已知类别，输出结果还包括预测类别列表，预测类别列表包括训练人脸序列中每张人脸图像的预测类别。其中，第i个人的已知类别列表

包括x⁽ⁱ⁾中n张人脸图像的已知类别，已知类别可以为人脸图像的真实类别，其排列顺序可以与x⁽ⁱ⁾中人脸图像的排列顺序相同；第i个人的预测类别列表

包括x⁽ⁱ⁾中n张人脸图像的预测类别，其排列顺序可以与x⁽ⁱ⁾中人脸图像的排列顺序相同。当标签还包括已知类别列表时，在训练过程中，神经网络不仅对人脸图像进行打分以得到预测质量分数，还可对人脸图像进行分类，得到预测类别，这样可以进一步优化神经网络的参数，使最终得到的输出结果更加准确。

神经网络可以为轻量级卷积神经网络，可以减少网络参数和计算量，提高对输入的人脸图像进行打分或者分类的效率。下面对神经网络的结构进行举例说明。

如图2所示，神经网络包括四个卷积层(conv1、conv2、conv3、conv4)，四个池化层(pooling)、一个全连接层(fc1)。尺寸为80*80的人脸图像作为神经网络的输入，然后该人脸图像后经过卷积层、池化层、全连接层后，最后得到人脸图像的预测质量分数(score)和m个预测类别(classes)。其中，神经网络中的卷积层可包括卷积核大小为3*3的卷积单元和卷积核大小为1*1的卷积单元。

S40：对预测质量分数序列进行回归处理得到第一概率分布。

具体可根据softmax函数对预测质量分数序列进行回归处理得到第一概率分布

其计算公式如下：

其中

为第i个人的第j张人脸图像的预测概率函数。

S50：利用第一概率分布与第二概率分布计算损失函数。

第二概率分布是对已知质量分数序列进行回归处理得到的。

同理，可根据softmax函数对已知质量分数序列进行回归处理得到第二概率分布

可利用第一概率分布与第二概率分布计算第一损失函数，即利用第一概率分布与第二概率分布计算序列交叉熵函数，具体公式如下：

可选地，当标签还包括已知类别列表，对应神经网络输出结果还包括预测列表时，损失函数为第一损失函数和第二损失函数之和。第二损失函数为分类交叉熵函数。其可通过对预测类别列表进行回归处理，并根据回归处理后的预测类别列表以及回归处理后的已知类别列表计算得到。

具体而言，分别对预测类别列表、已知列表进行回归处理，计算公式如下：

从而得到预测类别列表的概率分布

以及已知列表的概率分布

并根据预测类别列表的概率分布和已知列表的概率分布计算得到分类交叉熵函数(第二损失函数)，计算公式如下：

对第一损失函数和第二损失函数求和，得到损失函数Loss＝L_c+L_s。

S60：判断是否满足预设的停止训练的条件。

停止训练的条件可以为损失函数收敛。

若不满足预设的停止训练的条件，执行S70，若满足预设的停止训练的条件，执行S80。

S70：调整神经网络的参数以缩小损失函数。

根据神经网络的输出结果调整神经网络的参数，以不断优化神经网络。本步骤执行之后跳转至S30。

S80：停止训练。

当最终计算出来的损失函数收敛时，神经网络当前的输出满足要求，可停止训练。

训练好的神经网络可用于对人脸图像进行打分。具体而言，可以将人脸序列输入训练好的神经网络，得到人脸序列对应的质量分数序列。质量分数序列中包括人脸序列中每张人脸图像对应的质量分数，因此还可以根据质量分数序列对人脸序列进行排序，排序后的人脸序列中每张人脸图像按照质量分数大小排序。

通过利用训练好的神经网络对人脸图像进行打分的方式，可省去通过人工打分的方式给人脸图像打分的麻烦，并且也可以避免人工打分存在的主观性，提高打分的效率和准确性。并且，在对人脸图像进行预测的过程中，输入神经网络的人脸图像可以仅带有已知质量分数标签，也可带有已知质量分数标签和已知类别标签。当其仅带有已知质量分数标签时，神经网络的输出结果仅为人脸序列和对应的预测质量分数序列。神经网络输出的人脸序列中人脸图像可根据质量分数从大到小依次排列。具体测试结果可参见图3-图4，其中图3为排序前人脸序列图，图4为排序后人脸序列图，图中的数字为对应人脸图像的预测质量分数。

通过上述方案的实施，将获取到的训练人脸序列及样本图像输入至少两种不同的深度学习网络，将至少两种训练好的深度学习网络计算出来的特征相似度的平均值作为最终特征相似度，能够提高最终得到的特征相似度的准确性，还可免去繁琐耗时的人工计算；将最终得到的特征相似度作为人脸图像的已知质量分数，将由已知质量分数组成的已知质量分数序列以及已知类别列表作为人脸图像的标签，将标签和训练人脸序列一起输入神经网络，以得到对应的预测质量分数序列和预测类别列表，并通过已知质量分数和预测质量分数序列计算出来的序列交叉熵函数、通过已知类别列表和预测类别列表计算出来的分类交叉熵函数作为约束，以优化神经网络的参数，使得最终得到的神经网络对待预测图像序列中人脸图像的打分更加准确，进而使得最终得到的人脸序列排序最优。

请参阅图5，图5是本申请电子设备一实施例的结构示意图。如图5所示，该电子设备500包括相互耦接的存储器510与处理器520，其中，存储器510存储有用于实现上述任一实施例的方法的指令；处理器520用于执行存储器510存储的指令以实现上述任一实施例的方法。其中，处理器520还可以称为CPU(Central Processing Unit，中央处理单元)。处理器520可能是一种集成电路芯片，具有信号的处理能力。处理器520还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

参阅图6，图6是申请存储介质一实施例的结构示意图。本申请实施例的存储介质600存储有指令，该指令被执行时实现上述方法。其中，该指令可以形成程序文件以软件产品的形式存储在上述存储介质中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种用于人脸优选的神经网络的训练方法，其特征在于，包括：

将带标签的训练人脸序列输入待训练的神经网络，得到所述训练人脸序列的输出结果，其中所述标签包括所述训练人脸序列的已知质量分数序列，所述训练人脸序列的已知质量分数序列包括所述训练人脸序列中每张人脸图像的已知质量分数且排序与所述训练人脸序列相同，所述输出结果包括预测质量分数序列，所述预测质量分数序列包括所述训练人脸序列中每张人脸图像的预测质量分数且排序与所述训练人脸序列相同；

对所述预测质量分数序列进行回归处理得到第一概率分布；

利用所述第一概率分布与第二概率分布计算损失函数，所述第二概率分布是对所述已知质量分数序列进行回归处理得到的；

调整所述神经网络的参数以缩小所述损失函数；

重复执行上述过程直至满足预设的停止训练的条件。

2.根据权利要求1所述的方法，其特征在于，所述标签还包括已知类别列表，所述已知类别列表包括所述训练人脸序列中每张所述人脸图像的已知类别，所述输出结果还包括预测类别列表，所述预测类别列表包括所述训练人脸序列中每张所述人脸图像的预测类别。

3.根据权利要求2所述的方法，其特征在于，所述损失函数为第一损失函数和第二损失函数之和，其中，所述第一损失函数为所述序列交叉熵函数，所述第二损失函数为分类交叉熵函数，所述序列交叉熵函数是利用所述第一概率分布与第二概率分布计算得到的。

4.根据权利要求3所述的方法，其特征在于，所述分类交叉熵函数的计算方式包括：

对所述预测类别列表进行回归处理；

根据回归处理后的预测类别列表以及回归处理后的所述已知类别列表计算所述分类交叉熵函数。

5.根据权利要求1所述的方法，其特征在于，所述将带标签的训练人脸序列输入待训练的神经网络之前，包括：

获取视频中的所述训练人脸序列；

将所述训练人脸序列中的所述人脸图像和样本图像输入预先训练好的深度学习网络，得到所述人脸序列中每张所述人脸图像和所述样本图像的特征相似度，并将所述特征相似度作为所述人脸图像的已知质量分数。

6.根据权利要求5所述的方法，其特征在于，所述将所述训练人脸序列和样本图像输入预先训练好的深度学习网络，得到所述每张人脸图像和所述样本图像的特征相似度，并将所述特征相似度作为所述人脸图像的已知质量分数包括：

分别将所述训练人脸序列中人脸图像和样本图像输入预先训练好的至少两种所述深度学习网络，得到所述每张人脸图像和所述样本图像的至少两个特征相似度；

计算所述每张人脸图像和所述样本图像的至少两个特征相似度的平均值，并将所述至少两个特征相似度的平均值作为所述人脸图像的已知质量分数。

7.根据权利要求6所述的方法，其特征在于，所述预先训练好的深度学习网络至少为VGG网络、DeepID网络、FaceNet网络、MobileNet网络中的两种。

8.一种神经网络的人脸图像打分方法，其特征在于，包括：

将人脸序列输入神经网络，得到排序后的人脸序列及所述人脸序列中每张人脸图像的质量分数，排序后的所述人脸序列中每张人脸图像按照质量分数大小排序，其中，所述神经网络是利用权利要求1-7中任一项所述的方法训练得到的。

9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，

所述处理器用于执行所述存储器存储的计算机指令以实现如权利要求1-8中任一项所述的方法。

10.一种存储介质，存储有指令，其特征在于，所述指令被执行时实现如权利要求1-8中任一项所述的方法。

Images