CN114067401A - 目标检测模型的训练及身份验证方法和装置 - Google Patents

Abstract

本公开实施例提供一种目标检测模型的训练及身份验证方法和装置，采用教师模型为各个锚框输出的第二分值与学生模型为各个锚框输出的第一分值之间的差异作为软标签来训练学生模型，从而使得学生模型能够学习教师模型给各个锚框打分的方式，进而提高了学生模型的目标检测准确度。

Description

目标检测模型的训练及身份验证方法和装置

技术领域

本公开涉及计算机视觉技术领域，尤其涉及目标检测模型的训练及身份验证方法和装置。

背景技术

知识蒸馏(Knowledge Distillation，KD)是指将已经训练好的教师模型获取的信息作为软标签(soft label)，用以对学生模型进行训练。在目标检测应用场景下，软标签一般是指样本图像中目标对象属于各类别的概率。然而，基于上述软标签训练出的学生模型的目标检测准确度较低。

发明内容

第一方面，本公开实施例提供一种目标检测模型的训练方法，所述方法包括：将样本图像集分别输入第一目标检测模型和训练好的第二目标检测模型，所述第一目标检测模型为学生模型，所述第二目标检测模型为教师模型，所述样本图像集中的每张样本图像均包括一种类别的样本对象；针对预先确定的多个锚框，获取所述第一目标检测模型为每张样本图像确定的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的所述每个锚框的第二分值，一个锚框的分值用于表征将所述锚框内的对象划分为所述样本对象的真实类别的置信度；基于各个锚框的第一分值与第二分值之间的差异，对所述第一目标检测模型进行训练。

在一些实施例中，所述获取所述第一目标检测模型为每张样本图像确定的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的所述每个锚框的第二分值，包括：针对每张样本图像，从所述多个锚框中过滤掉所述样本图像的背景区域对应的锚框，所述背景区域为所述样本图像中除所述样本对象以外的区域；获取所述第一目标检测模型为所述样本图像确定的过滤后的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的过滤后的所述每个锚框的第二分值。

在一些实施例中，所述基于各个锚框的第一分值与第二分值之间的差异，对所述第一目标检测模型进行训练，包括：获取各个第一分值的第一概率分布和各个第二分值的第二概率分布；基于所述第一概率分布和所述第二概率分布之间的差异建立损失函数；基于所述损失函数对所述第一目标检测模型进行训练。

在一些实施例中，所述获取各个第一分值的第一概率分布和各个第二分值的第二概率分布，包括：对每个目标分值进行指数运算，得到指数分值；对各个指数分值进行求和，得到总分值；基于每个目标分值与所述总分值的商确定所述目标分值的目标概率分布；其中，所述目标分值为所述第一分值，所述目标概率分布为所述第一概率分布；或者所述目标分值为所述第二分值，所述目标概率分布为所述第二概率分布。

在一些实施例中，所述样本图像集包括多个子集，每个子集中的样本图像包括一种类别的样本对象；所述基于各个锚框的第一分值与第二分值之间的差异，对所述第一目标检测模型进行训练，包括：基于为一个子集内的每张样本图像确定的各个锚框的第一分值与第二分值的差异，确定所述子集对应的总差异；基于各个子集对应的总差异，确定所述样本图像集对应的总差异；基于所述样本图像集对应的总差异对所述第一目标检测模型进行训练。

在一些实施例中，所述样本图像集中包括以下至少一种样本图像：亮度值在预设亮度范围之外的第一样本图像；包括尺寸在预设尺寸范围之外的目标对象的第二样本图像；包括被遮挡的目标对象的第三样本图像；包括的目标对象与背景区域的像素值之间的差异小于预设像素差异的第四样本图像。

第二方面，本公开实施例提供一种身份验证方法，所述方法包括：获取目标对象的人脸图像；通过预先训练的人脸检测模型对所述人脸图像进行人脸检测，得到人脸检测结果；所述人脸检测模型基于本公开任一实施例所述的目标检测模型的训练方法训练得到；基于所述人脸检测结果从所述人脸图像中分割出人脸区域图像；对所述人脸区域图像进行人脸识别，得到人脸识别结果；基于所述人脸识别结果对所述目标对象进行身份验证。

第三方面，本公开实施例提供一种目标检测模型的训练装置，所述装置包括：输入模块，用于将样本图像集分别输入第一目标检测模型和训练好的第二目标检测模型，所述第一目标检测模型为学生模型，所述第二目标检测模型为教师模型，所述样本图像集中的每张样本图像均包括一种类别的样本对象；获取模块，用于针对预先确定的多个锚框，获取所述第一目标检测模型为每张样本图像确定的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的所述每个锚框的第二分值，一个锚框的分值用于表征将所述锚框内的对象划分为所述样本对象的真实类别的置信度；训练模块，用于基于各个锚框的第一分值与第二分值之间的差异，对所述第一目标检测模型进行训练。

在一些实施例中，所述获取模块用于：针对每张样本图像，从所述多个锚框中过滤掉所述样本图像的背景区域对应的锚框，所述背景区域为所述样本图像中除所述样本对象以外的区域；获取所述第一目标检测模型为所述样本图像确定的过滤后的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的过滤后的所述每个锚框的第二分值。

在一些实施例中，所述训练模块用于：获取各个第一分值的第一概率分布和各个第二分值的第二概率分布；基于所述第一概率分布和所述第二概率分布之间的差异建立损失函数；基于所述损失函数对所述第一目标检测模型进行训练。

在一些实施例中，所述训练模块用于：对每个目标分值进行指数运算，得到指数分值；对各个指数分值进行求和，得到总分值；基于每个目标分值与所述总分值的商确定所述目标分值的目标概率分布；其中，所述目标分值为所述第一分值，所述目标概率分布为所述第一概率分布；或者所述目标分值为所述第二分值，所述目标概率分布为所述第二概率分布。

在一些实施例中，所述样本图像集包括多个子集，每个子集中的样本图像包括一种类别的样本对象；所述训练模块用于：基于为一个子集内的每张样本图像确定的各个锚框的第一分值与第二分值的差异，确定所述子集对应的总差异；基于各个子集对应的总差异，确定所述样本图像集对应的总差异；基于所述样本图像集对应的总差异对所述第一目标检测模型进行训练。

在一些实施例中，所述样本图像集中包括以下至少一种样本图像：亮度值在预设亮度范围之外的第一样本图像；包括尺寸在预设尺寸范围之外的目标对象的第二样本图像；包括被遮挡的目标对象的第三样本图像；包括的目标对象与背景区域的像素值之间的差异小于预设像素差异的第四样本图像。

第四方面，本公开实施例提供一种身份验证装置，所述装置包括：图像获取模块，用于获取目标对象的人脸图像；人脸检测模块，用于通过预先训练的人脸检测模型对所述人脸图像进行人脸检测，得到人脸检测结果；所述人脸检测模型基于本公开任一实施例所述的目标检测模型的训练装置训练得到；分割模块，用于基于所述人脸检测结果从所述人脸图像中分割出人脸区域图像；人脸识别模块，用于对所述人脸区域图像进行人脸识别，得到人脸识别结果；身份验证模块，用于基于所述人脸识别结果对所述目标对象进行身份验证。

第五方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法。

第六方面，本公开实施例提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法。

本公开实施例采用教师模型为各个锚框输出的第二分值与学生模型为各个锚框输出的第一分值之间的差异作为软标签来训练学生模型，从而使得学生模型能够学习教师模型给各个锚框打分的方式，进而提高了学生模型的目标检测准确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1是本公开实施例的教师模型与学生模型的对比示意图。

图2是本公开实施例的目标检测模型的训练方法的流程图。

图3是本公开实施例的锚框的示意图。

图4A是相关技术中的软标签的示意图。

图4B是本公开实施例的软标签的示意图。

图5A是本公开实施例的简单样本的检测结果的示意图。

图5B是本公开实施例的困难样本的检测结果的示意图。

图6是本公开另一实施例的目标检测模型的训练方法的流程图。

图7是本公开实施例的特征差异与预测差异的示意图。

图8是本公开实施例的身份验证方法的流程图。

图9是本公开实施例的目标检测模型的训练装置的框图。

图10是本公开另一实施例的目标检测模型的训练装置的框图。

图11是本公开实施例的身份验证装置的框图。

图12是本公开实施例的计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。

在一些实施例中，可以采用知识蒸馏的方式来训练目标检测模型。即，将一个已经训练好的目标检测模型作为教师模型，并将另一个待训练的目标检测模型作为学生模型，并将教师模型获取的信息作为软标签传递给学生模型，以使学生模型基于传递的软标签进行训练。其中，教师模型的规模一般大于学生模型的规模。例如，教师模型的网络层数、参数数量、量化位宽、推理时所占用的内存资源等中的至少一者大于学生模型。相应地，教师模型的目标检测准确度一般也大于学生模型。

目标检测模型一般是一个多任务模型，包括识别任务和回归任务。其中，识别任务用于识别图像中目标对象的类别。在相关技术中，一般会预先定义多个预设大小和预设位置的锚框，并通过识别算法确定各锚框中的对象所属类别的概率。例如，对于某个锚框A，可以确定该锚框A中的对象属于常见的多个类别中每个类别的概率。假设所述常见的多个类别包括“猫”、“狗”、“大象”，则可以分别确定该锚框A中的对象属于类别“猫”的概率、属于类别“狗”的概率以及属于类别“大象”的概率。回归任务用于对各锚框的偏置参数进行学习，所述偏置参数用于表征锚框的实际位置与该锚框的预设位置之间的偏移量。通过上述两个任务，可以确定图像中目标对象的位置和类别。例如，可以将所有锚框在各个类别下对应的概率值中的最大概率值所属的类别确定为目标对象的类别。假设预先定义的锚框包括锚框A1和锚框A2，其中，锚框A1中各对象属于“猫”、“狗”和“大象”的概率分别为{0.23，0.20，0.10}，锚框A2中各对象属于“猫”、“狗”和“大象”的概率分别为{0.45，0.30，0.02}，则可以将最大概率值0.45对应的类别“猫”确定为目标对象的类别，并将锚框A2的实际位置(预设位置+偏置参数)确定为目标对象的位置。

然而，以上述类别概率为软标签训练出的学生模型的目标检测准确度较低。为了解决上述问题，本公开对教师模型和学生模型做了对比。参见图1，是教师模型与学生模型的对比示意图。在进行目标检测时，教师模型和学生模型都会先对输入图像进行特征提取，得到输入图像的特征，再基于输入图像的特征进行分类和回归，其中，用于执行分类任务的特征记为m1，用于执行回归任务的特征记为m2，可以采用不同的头信息对不同任务对应的特征进行标识。基于特征m1和m2可以得到预测结果，其中包括类别预测结果以及锚框的偏置参数的预测结果。进一步地，从预测结果中选取最优的一者，作为最终的输出结果。

在上述过程中，教师模型与学生模型之间至少存在以下几种差异：

(1)特征差异，即，教师模型提取的特征与学生模型提取的特征之间存在差异。

(2)预测差异，即，教师模型与学生模型针对同一锚框输出的偏置参数以及类别之间可能存在差异。

(3)结果差异，即，教师模型与学生模型最终为目标对象确定的类别和/或位置可能存在差异。

通过对上述几个方面的差异进行研究，本公开发现，预测差异是导致结果差异的一个重要原因。即，正是由于教师模型与学生模型为每个锚框确定的类别和偏置参数可能不同，从而导致了学生模型最终检测出的类别和/或位置与教师模型存在差异。

基于上述发现，本公开提供一种目标检测模型的训练方法，如图2所示，所述方法包括：

步骤201：将样本图像集分别输入第一目标检测模型和训练好的第二目标检测模型，所述第一目标检测模型为学生模型，所述第二目标检测模型为教师模型，所述样本图像集中的每张样本图像均包括一种类别的样本对象；

步骤202：针对预先确定的多个锚框，获取所述第一目标检测模型为每张样本图像确定的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的所述每个锚框的第二分值，一个锚框的分值用于表征将所述锚框内的对象划分为所述样本对象的真实类别的置信度；

步骤203：基于各个锚框的第一分值与第二分值之间的差异，对所述第一目标检测模型进行训练。

本公开实施例的方法可以由服务器执行。可以将第一目标检测模型和训练好的第二目标检测模型先部署到服务器上，通过服务器对第一目标检测模型进行训练。训练后的第一目标检测模型可以部署到移动终端(例如手机、平板电脑等)或者边缘设备等资源受限的设备上运行。或者，本公开实施例的方法也可以由移动终端等资源受限的设备执行。可以将训练好的第二目标检测模型部署到服务器上，并将第一目标检测模型部署到移动终端上。然后，通过服务器将训练所需的信息(例如，上述第二特征图以及第二预测结果)发送至移动终端，再由移动终端对第一目标检测模型进行训练。

在步骤201中，样本图像集中可以包括一张或者多张样本图像，每张样本图像中均可包括至少一种类别的一个或多个样本对象，其中，一张样本图像可以包括一个或多个样本对象，同一张样本图像中的样本对象可以是同一类别也可以是不同类别的，样本对象中各个样本对象的类别可以预先标注。所述样本对象可以是任意类别的对象，例如，人、动物等活体，或者桌子、椅子、建筑物等非活体。样本图像中包括的样本对象的类别可以根据实际应用场景设置。例如，在车辆违章检测场景下，可以将各种车辆的图像确定为样本图像。在一些实施例中，样本图像集中包括多个子集，每个子集中包括至少一张样本图像，且不同的子集中的样本图像包括的样本对象的类别不同。例如，子集C1中的样本图像中包括的样本对象为车辆，子集C2中的样本图像中包括的样本对象为人，等等。为了使训练好的目标检测模型能够检测出多种对象，可以尽可能多地在样本图像集中加入包括各种不同类别的样本对象的样本图像。

样本图像集中的每张样本图像均可以分别输入第一目标检测模型和第二目标检测模型。其中，第一目标检测模型为待训练的模型，也即知识蒸馏中的学生模型。第二目标检测模型为已训练好的模型，也即知识蒸馏中的教师模型。

在步骤202中，可以预先确定多个锚框，图3示出了预先确定的锚框数量为4的情况。其中，A1到A4各表示一个锚框。可以看出，不同的锚框可以有不同的尺寸。这些锚框的数量、尺寸和位置都是预先定义好的，在对目标检测模型进行训练时，只要对各个锚框的偏置参数进行调整即可。

与相关技术中不同的是，本公开实施例并非确定一个锚框中的对象属于各个类别的概率，并对同一个锚框在各个类别下的概率进行局部对比，而是确定一个锚框中的对象属于样本对象的真实类别的置信度，并对各个锚框属于该真实类别的置信度进行全局对比。其中，所述置信度通过分值表示。图4A和图4B分别示出了局部对比方式和全局对比方式。在图4A所示的实施例中，教师模型会获取同一个锚框对应于各个类别下的概率值，例如，锚框A1对应于“长颈鹿”、“香蕉”、“马桶”的概率分别为0.28、0.03和0.02等，锚框A2对应于“长颈鹿”、“香蕉”、“马桶”的概率分别为0.33、0.08和0.01等，锚框A3对应于“长颈鹿”、“香蕉”、“马桶”的概率分别为0.45、0.03和0.12等。然后，可以将上述各个类别下的概率值作为软标签，传递给学生模型，以使学生模型学习到教师模型分别为锚框A1、锚框A2和锚框A3生成的各种信息。然而，在这种方式中，软标签中并不包括不同锚框的信息之间的相互关系。

而在图4B所示的实施例中，由于样本图像的真实类别是“长颈鹿”，因此，教师模型并不需要将对应于类别“香蕉”和类别“马桶”的概率传递给学生模型，而是直接将各个锚框对应于真实类别“长颈鹿”的概率(即置信度)传递给学生模型。其中，真实类别可以通过对样本图像进行标注得到。这样，学生模型可以学习到各个锚框在真实类别下的置信度的分布关系。

在一些实施例中，一张样本图像中通常除了样本对象之外，还可能包括一些背景区域。例如，图4B所示的样本图像中除了长颈鹿这一样本对象之外，还包括草地和树木这些背景区域。预先确定的多个锚框中，可能有部分锚框中的对象属于背景区域，这些背景区域对检测目标对象的帮助较小，因此，针对每张样本图像，还可以从所述多个锚框中过滤掉所述样本图像的背景区域对应的锚框。其中，图像中除样本对象所在区域以外的其他区域均可确定为背景区域。如果一个锚框的位置与预先标定的目标对象的真实锚框的位置差异大于预设差异阈值，则确定该锚框为背景区域对应的锚框。两个锚框之间的位置差异可以基于这两个锚框的交并比确定，交并比越小，则位置差异越大。例如，在一个锚框与真实锚框之间的交并比小于0.5的情况下，可以确定该锚框为背景区域对应的锚框。然后，可以获取所述第一目标检测模型为所述样本图像确定的过滤后的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的过滤后的所述每个锚框的第二分值。过滤后的各个锚框均为与样本图像中的样本对象相关的锚框，可以称为样本对象的正锚框。

由于不同的样本图像中样本对象的位置可能存在差异，因此，为每张样本图像确定的过滤后的多个锚框可能不同。例如，假设预先确定的多个锚框包括锚框A1到锚框A10，样本图像1对应的过滤后的锚框可包括锚框A1和A3，样本图像2对应的过滤后的锚框可包括锚框A3、A5和A8。从而针对样本图像1，可以确定锚框A1的第一分值与第二分值的差异，并确定锚框A3的第一分值与第二分值的差异。针对样本图像2，可以确定锚框A3的第一分值与第二分值的差异，确定锚框A5的第一分值与第二分值的差异，并确定锚框A8的第一分值与第二分值的差异。

在步骤203中，可以获取各个锚框的第一分值与第二分值之间的差异。由于目标检测模型为每个锚框输出的信息中都包括该锚框在多个类别中的每个类别下的概率，如图4A所示。因此，可以从各个类别下的概率中仅提取出样本对象的真实类别对应的概率，如图4B所示。

然后，可以基于各个锚框的第一分值与第二分值之间的差异，对所述第一目标检测模型进行训练。由于样本图像集中可能包括多个子集，不同子集中的样本图像包括不同类别的样本对象(每种类别的样本对象称为一种实例)。因此，可以先基于每个子集内的每张样本图像确定的各个锚框的第一分值与第二分值的差异，确定所述子集对应的总差异，然后基于各个子集对应的总差异，确定所述样本图像集对应的总差异，再基于所述样本图像集对应的总差异对所述第一目标检测模型进行训练。

例如，样本图像集包括子集1和子集2，其中，子集1中的样本图像包括类别为“猫”的样本对象，子集2中的样本图像包括类别为“狗”的样本对象。针对子集1中的每张样本图像，可以确定各个锚框对应于类别“猫”的第一分值与第二分值的总差异，针对子集2中的每张样本图像，可以确定各个锚框对应于类别“狗”的第一分值与第二分值的总差异。然后，基于子集1对应的总差异与子集2对应的总差异确定样本图像集对应的总差异，并基于所述样本图像集对应的总差异对所述第一目标检测模型进行训练。

在一些实施例中，可以获取各个第一分值的第一概率分布和各个第二分值的第二概率分布；基于所述第一概率分布和所述第二概率分布之间的差异建立损失函数；基于所述损失函数对所述第一目标检测模型进行训练。

具体来说，可以对每个目标分值进行指数运算，得到指数分值；对各个指数分值进行求和，得到总分值；基于每个目标分值与所述总分值的商确定所述目标分值的目标概率分布；其中，所述目标分值为所述第一分值，所述目标概率分布为所述第一概率分布；或者所述目标分值为所述第二分值，所述目标概率分布为所述第二概率分布。

对于特定实例j，其N个正锚框分别记为

其中i∈{1,,N}这N个正锚框在目标类别(即样本对象的真实类别)下对应的第一分值和第二分值分别记为

和

则所述第一概率分布

和所述第二概率分布

可分别记为：

上述第一概率分布为归一化的第一分值，第二概率分布为归一化的第二分值。两个概率分布之间的差异可以采用这两个概率分布之间的KL散度来确定，可以直接将KL散度确定为损失函数Loss_RM，具体如下：

其中，M为实例的总数，也即是子集的总数。本领域技术人员可以理解，上述KL散度仅为衡量两个概率分布之间的差异的一种可选方式，在其他实施例中，也可以采用其他方式衡量两个概率分布之间的差异，例如，采用L2损失函数。

在一些实施例中，除了上述损失函数之外，损失函数中还可以包括目标检测任务对应的损失函数。例如，回归任务可以采用L1损失函数或者交并比损失函数，识别任务可以采用交叉熵损失函数。可以通过对各个损失函数求和，得到最终用于训练第一目标检测模型的损失函数。

通过对比发现，学生模型与教师模型对于简单样本的输出结果之间的差异较小，而对于困难样本的输出结果之间的差异较大。参见图5A和图5B，可以看出，对于图5A中的简单样本，学生模型确定的目标对象的锚框与教师模型确定的目标对象的锚框是一致的，均与目标对象的真实包围框相匹配。而对于图5B中的简单样本，学生模型确定的目标对象的锚框与教师模型确定的目标对象的锚框是不一致的，其中，教师模型确定的目标对象的锚框与目标对象的真实包围框相匹配，而学生模型确定的目标对象的锚框与目标对象的真实包围框不匹配。因此，为了提高训练效果，可以在样本图像集中加入困难样本。在样本图像集包括多个子集的情况下，每个子集都可以包括困难样本。

在一些实施例中，困难样本包括亮度值在预设亮度范围之外的第一样本图像。一般来说，样本图像的亮度值在预设范围内的情况下，准确检测出样本图像中的目标对象的概率较高。因此，可以将亮度值在预设亮度范围之外的第一样本图像确定为困难样本。在一些实施例中，所述亮度值在预设亮度范围之外可以是亮度值小于预设亮度阈值。在一些实施例中，可以预先确定亮度值与检测准确度之间的关系，并基于所述关系确定预设亮度阈值。

在一些实施例中，困难样本包括尺寸在预设尺寸范围之外的目标对象的第二样本图像。样本图像中目标对象的尺寸也会对检测的准确度产生影响，例如，在目标对象尺寸过小的情况下，难以提取到足够的特征信息来确定目标对象的类别。因此，在一些实施例中，所述尺寸在预设尺寸范围之外可以是尺寸小于预设尺寸阈值。例如，可以将样本图像中目标对象所占的像素数量与样本图像的总像素数量的比值确定为样本图像中目标对象的尺寸，如果所述比值小于预设比例阈值，则确定目标对象的尺寸小于预设尺寸阈值。

在目标对象被遮挡的情况下，可能导致错误的识别结果。因此，在一些实施例中，困难样本包括被遮挡的目标对象的第三样本图像。在目标对象与背景区域像素值比较接近的情况下，也可能导致错误的识别结果。因此，在一些实施例中，困难样本包括的目标对象与背景区域的像素值之间的差异小于预设像素差异的第四样本图像。

除了上述列举的几种情况之外，困难样本还可以包括其他类型的样本图像，具体可以根据实际情况确定，此处不再一一列举。

在一些实施例中，对所述第一目标检测模型进行训练之后，还可以通过训练后的第一目标检测模型对待处理图像进行目标检测。本公开实施例采用教师模型为各个锚框输出的第二分值与学生模型为各个锚框输出的第一分值之间的差异作为软标签来训练学生模型，从而使得学生模型能够学习教师模型给各个锚框打分的方式，进而提高了学生模型的目标检测准确度。

在一些实施例中，进行知识蒸馏时，一般会让学生模型学习教师模型的特征提取能力，使学生模型与教师模型能够尽量提取出相同的特征。这一过程可以通过获取学生模型提取的特征与教师模型提取的特征之间的差异，并基于特征之间的差异建立损失函数来训练学生模型来实现。然而，本公开发现，让两个模型提取出相同的特征并不一定能够使两个模型获得相同的目标检测结果。这是因为，并非学生模型与教师模型中每个网络层输出的特征图都会用于对目标对象进行检测，而是只有尺寸较小的特征图会用于对目标对象进行检测。然而，在训练过程中，一个网络层输出的特征图即便没有用于对目标对象进行检测，也会花费较大的代价来训练这些网络层的参数。

参见图6，假设教师模型与学生模型在第4层、第5层和第6层网络层上会输出预测结果，基于两个模型的预测结果可以得到第4层、第5层和第6层网络层上的预测结果之间的差异，基于两个模型输出的特征图可以得到第4层、第5层和第6层网络层输出的特征之间的差异。其中，P_stu和F_stu分别表示学生模型输出的预测结果以及特征图，P_tea和F_tea分别表示教师模型输出的预测结果以及特征图。其中，特征图与预测结果的尺寸相同。对于同一区域(例如，图6中的圆形区域)的特征图与预测结果而言，可能存在该区域的预测结果之间的差异与特征之间的差异不匹配的情况。例如，该区域的特征之间的差异较小但预测结果之间的差异较大，或者该区域的特征之间的差异较大但预测结果之间的差异较小。

为了解决上述问题，本公开实施例还提供一种目标检测模型的训练方法，参见图7，所述方法包括：

步骤701：将样本图像分别输入第一目标检测模型和训练好的第二目标检测模型，所述第一目标检测模型为学生模型，所述第二目标检测模型为教师模型；

步骤702：获取所述第一目标检测模型的各个网络层输出的第一特征图以及所述第二目标检测模型的对应网络层输出的第二特征图之间的特征差异；

步骤703：获取所述第一目标检测模型的各个网络层输出的第一预测结果图以及所述第二目标检测模型的对应网络层输出的第二预测结果之间的预测差异，一个网络层输出的预测结果用于表征所述网络层输出的特征图上各个点的类别；

步骤704：基于每个网络层对应的预测差异对所述每个网络层对应的特征差异进行加权处理，得到所述每个网络层的加权特征差异；

步骤705：基于各个网络层的加权特征差异对所述第一目标检测模型进行训练。

在步骤701中，可以将样本图像集中的至少一张样本图像分别输入第一目标检测模型和训练好的第二目标检测模型。本实施例中所采用的样本图像集与图2所示的方法实施例中的样本图像集可以是相同的图像集，或者，也可以是同一个样本图像集中的不同子集。

在步骤702中，针对样本图像集中的每张样本图像，第一目标检测模型的多个网络层中的每个网络层可以输出该样本图像的第一特征图，第二目标检测模型的多个网络层中的每个网络层可以输出该样本图像的第二特征图。其中，不同的网络层输出的特征图可以具有不同的尺寸。在一些实施例中，尺寸小于预设尺寸阈值的特征图可用于对目标对象进行检测，尺寸大于或等于预设尺寸阈值的特征图可以仅用于对背景区域进行检测。

在一些实施例中，一个网络层的特征差异可以基于该网络层上各通道的特征差异之和确定。即，针对每个网络层，可以获取所述第一目标检测模型的所述网络层输出的第一特征图与所述第二目标检测模型的所述网络层输出的第二特征图在各个通道上的特征差异；对各个通道上的特征差异进行求和，得到所述网络层的特征差异。

假设F_stu表示第一目标检测模型的一个网络层输出的特征图，F_tea分别表示第二目标检测模型的同一网络层输出的特征图，则所述特征差异F_dif可记为：

其中，Q为正整数，表示所述网络层输出的特征图的通道数。不同的网络层输出的特征图的通道数可以相同，也可以不同。

在步骤703中，针对样本图像集中的每张样本图像，第一目标检测模型的多个网络层中的每个网络层可以输出该样本图像的第一预测结果，第二目标检测模型的多个网络层中的每个网络层可以输出该样本图像的第二预测结果。一个网络层的预测结果与该网络层的特征图可以具有相同的尺寸。

一个网络层的预测差异可以基于该网络层输出的各类别的预测差异之和来确定。即，针对每个网络层，可以获取所述第一目标检测模型的所述网络层输出的各类别对应的第一预测结果以及所述第二目标检测模型的所述网络层输出的各类别对应的第二预测结果；对各类别对应的第一预测结果与第二预测结果之间的差异求和，得到所述网络层的预测差异。

假设P_stu表示第一目标检测模型的一个网络层输出的第一预测结果，P_tea表示第二目标检测模型的同一网络层输出的第二预测结果，则预测差异P_dif可记为：

其中，C表示类别的总数。

在步骤704中，可以基于每个网络层对应的预测差异对所述每个网络层对应的特征差异进行加权处理。在实际应用中，在一个网络层输出的特征图尺寸超过一定阈值的情况下，该网络层一般只会基于该特征图对样本图像中的背景区域进行检测。由于背景区域的检测难度较低，因此，教师模型与学生模型对背景区域的预测结果一般是相同的，即，二者的预测差异比较小。而对于目标对象，两个模型的预测结果可能差别较大。通过本步骤的加权处理，能够为不对目标对象进行检测的网络层的特征差异赋予较小的权重，为对目标对象进行检测的网络层的特征差异赋予较大的权重，从而使得模型最终的预测结果与特征差异呈现正相关。这样，能够通过学生模型学习教师模型的特征提取能力来提高学生模型的目标检测准确度。

在一些实施例中，可以通过对所述每个网络层对应的预测差异与所述每个网络层对应的特征差异进行逐像素相乘相加的方式，得到所述每个网络层的加权特征差异。即，对于一个网络层，将该网络层的特征差异中第u行第v列的元素与该网络层的预测差异中第u行第v列的元素相乘，得到第u行第v列的相乘结果。再对各行各列的元素对应的相乘结果进行求和，得到该网络层的加权特征差异。

在步骤705中，可以对各个网络层的加权特征差异求和，得到所述第一目标检测模型与所述第二目标检测模型之间的总特征差异；基于所述总特征差异建立损失函数，基于所述损失函数对所述第一目标检测模型进行训练。损失函数Loss_PFI可记为：

其中，H_l和W_l分别表示第l个网络层输出的特征图的高度和宽度，

表示逐像素相乘相加操作。

在一些实施例中，还可以将多个损失函数之和确定为总损失函数，并采用所述总损失函数对第一目标检测模型进行训练。所述总损失函数Loss可记为：

Loss＝Loss_task+αLoss_RM+βLoss_PFI

其中，α和β表示权重，用于将各个损失函数限制在相同的尺度范围内。在一些实施例中，α和β分别为4和1.5。Loss_task表示目标检测任务所采用的损失函数，不同的应用场景下目标检测任务可以采用不同的损失函数。例如，目标检测任务中的回归任务可以采用L1损失函数或者交并比损失函数，目标检测任务中的识别任务可以采用交叉熵损失函数。Loss_RM可以基于各个锚框的第一分值与第二分值之间的差异得到。

本公开实施例通过采用两个模型之间的预测差异对两个模型之间的特征差异进行加权处理，得到加权特征差异，再基于加权特征差异对所述第一目标检测模型进行训练，使得两个模型之间的特征差异与预测差异呈正相关，因此，能够通过使第一目标检测模型学习第二目标检测模型的特征提取能力，来提高第一目标检测模型的目标检测准确度。

在一些实施例中，还可以通过训练好的第一目标检测模型对待处理图像进行目标检测。

参见图8，本公开实施例还提供一种身份验证方法，所述方法包括：

步骤801：获取目标对象的人脸图像；

步骤802：通过预先训练的人脸检测模型对所述人脸图像进行人脸检测，得到人脸检测结果；所述人脸检测模型基于本公开任一实施例所述的目标检测模型的训练方法训练得到；

步骤803：基于所述人脸检测结果从所述人脸图像中分割出人脸区域图像；

步骤804：对所述人脸区域图像进行人脸识别，得到人脸识别结果；

步骤805：基于所述人脸识别结果对所述目标对象进行身份验证。

上述方法可以由移动终端或者边缘设备等资源受限的设备执行。本公开实施例的方法可用于移动终端账户管理、门禁系统、银行开户、安防等应用场景。以移动终端账户管理的应用场景为例，目标对象为移动终端的用户，用户可以通过移动终端上的摄像头采集自身的人脸图像，该移动终端可以预先部署有人脸检测模型。摄像头可以将采集的人脸图像输入人脸检测模型，得到人脸检测结果，人脸检测结果中可以包括人脸图像中人脸的尺寸和位置等信息。然后，基于上述信息可以从人脸图像中分割出人脸区域图像，并进一步将分割出的人脸区域图像输入人脸识别模型进行识别。人脸识别模型可以部署在移动终端，也可以部署在服务器上。在通过服务器部署人脸识别模型的情况下，移动终端可以将人脸区域图像传输至服务器，并由服务器将人脸区域图像输入至人脸识别模型进行识别，得到人脸识别结果。人脸识别结果可用于表征目标对象是或者不是特定对象，所述特定对象可以是待登录的账户(例如，银行账户、微信账户等)的所有者。在进行身份验证时，如果人脸识别结果表征目标对象是特定对象，则判定身份验证通过；否则判定身份验证不通过。

由于上述身份验证方法中所采用的人脸检测模型是通过前述任一实施例所述的目标检测模型的训练方法训练得到的，因此，能够提高目标检测的准确度，从而能够提高身份验证的准确度。

除了上述应用场景之外，通过前述任一实施例所述的目标检测模型的训练方法训练后的第一目标检测模型还可用于地铁安检等应用场景。在该应用场景下，可以通过X光机获取待检测的物品的图像，并将物品的图像输入训练后的第一目标检测模型进行检测，得到检测结果，所述检测结果中可以包括图像中物品的尺寸和位置信息。然后，可以基于检测结果对物品进行识别，得到所述物品的类别。如果所述物品的类别属于指定类别，则输出报警信息。其中，所述指定类别可以是易燃、易爆等危险品对应的类别，例如，管制刀具、枪支、汽油等。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

参见图9，本公开实施例还提供一种目标检测模型的训练装置，所述装置包括：

输入模块901，用于将样本图像集分别输入第一目标检测模型和训练好的第二目标检测模型，所述第一目标检测模型为学生模型，所述第二目标检测模型为教师模型，所述样本图像集中的每张样本图像均包括一种类别的样本对象；

获取模块902，用于针对预先确定的多个锚框，获取所述第一目标检测模型为每张样本图像确定的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的所述每个锚框的第二分值，一个锚框的分值用于表征将所述锚框内的对象划分为所述样本对象的真实类别的置信度；

训练模块903，用于基于各个锚框的第一分值与第二分值之间的差异，对所述第一目标检测模型进行训练。

参见图10，本公开实施例还提供一种目标检测模型的训练装置，所述装置包括：

输入模块1001，用于将样本图像分别输入第一目标检测模型和训练好的第二目标检测模型，所述第一目标检测模型为学生模型，所述第二目标检测模型为教师模型；

第一获取模块1002，用于获取所述第一目标检测模型的各个网络层输出的第一特征图以及所述第二目标检测模型的对应网络层输出的第二特征图之间的特征差异；

第二获取模块1003，用于获取所述第一目标检测模型的各个网络层输出的第一预测结果图以及所述第二目标检测模型的对应网络层输出的第二预测结果之间的预测差异，一个网络层输出的预测结果用于表征所述网络层输出的特征图上各个点的类别；

加权模块1004，用于基于每个网络层对应的预测差异对所述每个网络层对应的特征差异进行加权处理，得到所述每个网络层的加权特征差异；

训练模块1005，用于基于各个网络层的加权特征差异对所述第一目标检测模型进行训练。

参见图11，本公开实施例还提供一种身份验证装置，所述装置包括：

第三获取模块1101，用于获取目标对象的人脸图像；

人脸检测模块1102，用于通过预先训练的人脸检测模型对所述人脸图像进行人脸检测，得到人脸检测结果；所述人脸检测模型基于本公开任一实施例所述的目标检测模型的训练装置训练得到；

分割模块1103，用于基于所述人脸检测结果从所述人脸图像中分割出人脸区域；

人脸识别模块1104，用于对所述人脸区域进行人脸识别，得到人脸识别结果；

身份验证模块1105，用于基于所述人脸识别结果对所述目标对象进行身份验证。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述任一实施例所述的方法。

图12示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1201、存储器1202、输入/输出接口1203、通信接口1204和总线1205。其中处理器1201、存储器1202、输入/输出接口1203和通信接口1204通过总线1205实现彼此之间在设备内部的通信连接。

处理器1201可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。处理器1201还可以包括显卡，所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。

存储器1202可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1202可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1202中，并由处理器1201来调用执行。

输入/输出接口1203用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1204用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1205包括一通路，在设备的各个组件(例如处理器1201、存储器1202、输入/输出接口1203和通信接口1204)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1201、存储器1202、输入/输出接口1203、通信接口1204以及总线1205，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例所述的方法。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (11)

1.一种目标检测模型的训练方法，其特征在于，所述方法包括：

将样本图像集分别输入第一目标检测模型和训练好的第二目标检测模型，所述第一目标检测模型为学生模型，所述第二目标检测模型为教师模型，所述样本图像集中的每张样本图像均包括一种类别的样本对象；

针对预先确定的多个锚框，获取所述第一目标检测模型为每张样本图像确定的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的所述每个锚框的第二分值，一个锚框的分值用于表征将所述锚框内的对象划分为所述样本对象的真实类别的置信度；

基于各个锚框的第一分值与第二分值之间的差异，对所述第一目标检测模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述获取所述第一目标检测模型为每张样本图像确定的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的所述每个锚框的第二分值，包括：

针对每张样本图像，从所述多个锚框中过滤掉所述样本图像的背景区域对应的锚框，所述背景区域为所述样本图像中除所述样本对象以外的区域；

获取所述第一目标检测模型为所述样本图像确定的过滤后的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的过滤后的所述每个锚框的第二分值。

3.根据权利要求1或2所述的方法，其特征在于，所述基于各个锚框的第一分值与第二分值之间的差异，对所述第一目标检测模型进行训练，包括：

获取各个第一分值的第一概率分布和各个第二分值的第二概率分布；

基于所述第一概率分布和所述第二概率分布之间的差异建立损失函数；

基于所述损失函数对所述第一目标检测模型进行训练。

4.根据权利要求3所述的方法，其特征在于，所述获取各个第一分值的第一概率分布和各个第二分值的第二概率分布，包括：

对每个目标分值进行指数运算，得到指数分值；

对各个指数分值进行求和，得到总分值；

基于每个目标分值与所述总分值的商确定所述目标分值的目标概率分布；

其中，所述目标分值为所述第一分值，所述目标概率分布为所述第一概率分布；或者所述目标分值为所述第二分值，所述目标概率分布为所述第二概率分布。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述样本图像集包括多个子集，每个子集中的样本图像包括一种类别的样本对象；所述基于各个锚框的第一分值与第二分值之间的差异，对所述第一目标检测模型进行训练，包括：

基于为一个子集内的每张样本图像确定的各个锚框的第一分值与第二分值的差异，确定所述子集对应的总差异；

基于各个子集对应的总差异，确定所述样本图像集对应的总差异；

基于所述样本图像集对应的总差异对所述第一目标检测模型进行训练。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述样本图像集中包括以下至少一种样本图像：

亮度值在预设亮度范围之外的第一样本图像；

包括尺寸在预设尺寸范围之外的目标对象的第二样本图像；

包括被遮挡的目标对象的第三样本图像；

包括的目标对象与背景区域的像素值之间的差异小于预设像素差异的第四样本图像。

7.一种身份验证方法，其特征在于，所述方法包括：

获取目标对象的人脸图像；

通过预先训练的人脸检测模型对所述人脸图像进行人脸检测，得到人脸检测结果；所述人脸检测模型基于权利要求1至6任意一项所述的方法训练得到；

基于所述人脸检测结果从所述人脸图像中分割出人脸区域图像；

对所述人脸区域图像进行人脸识别，得到人脸识别结果；

基于所述人脸识别结果对所述目标对象进行身份验证。

8.一种目标检测模型的训练装置，其特征在于，所述装置包括：

输入模块，用于将样本图像集分别输入第一目标检测模型和训练好的第二目标检测模型，所述第一目标检测模型为学生模型，所述第二目标检测模型为教师模型，所述样本图像集中的每张样本图像均包括一种类别的样本对象；

获取模块，用于针对预先确定的多个锚框，获取所述第一目标检测模型为每张样本图像确定的所述多个锚框中每个锚框的第一分值，并获取所述第二目标检测模型为每张样本图像确定的所述每个锚框的第二分值，一个锚框的分值用于表征将所述锚框内的对象划分为所述样本对象的真实类别的置信度；

训练模块，用于基于各个锚框的第一分值与第二分值之间的差异，对所述第一目标检测模型进行训练。

9.一种身份验证装置，其特征在于，所述装置包括：

第三获取模块，用于获取目标对象的人脸图像；

人脸检测模块，用于通过预先训练的人脸检测检测模型对所述人脸图像进行人脸检测，得到人脸检测结果；所述人脸检测模型基于权利要求8所述的装置训练得到；

分割模块，用于基于所述人脸检测结果从所述人脸图像中分割出人脸区域图像；

人脸识别模块，用于对所述人脸区域图像进行人脸识别，得到人脸识别结果；

身份验证模块，用于基于所述人脸识别结果对所述目标对象进行身份验证。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7任意一项所述的方法。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任意一项所述的方法。

Images