CN108229321A - 人脸识别模型及其训练方法和装置、设备、程序和介质 - Google Patents

Abstract

本发明实施例公开了一种人脸识别模型及其训练方法和装置、设备、程序和介质，其中，训练方法包括：检测监控视频中的人脸；对检测到的人脸的图像进行特征提取、并基于提取到的特征对检测到的人脸进行聚类；以聚类结果作为监督信息，以所述人脸的图像作为样本图像，对所述人脸识别模型进行训练，直至满足预设训练完成条件。本发明实施例实现了对人脸识别模型的增量训练，以实现动态提升人脸识别模型的性能和增量更新人脸识别模型，解决了需要不断增强人脸识别模型性能的问题。

Description

人脸识别模型及其训练方法和装置、设备、程序和介质

技术领域

本发明涉及计算机视觉技术，尤其是一种人脸识别模型及其训练方法和装置、设备、程序和介质。

背景技术

人脸识别是计算机视觉以及智能视频监控领域的核心技术。人脸识别模型是监控系统的基础模型。因此，人脸识别模型的性能决定了监控系统性能的好坏。

发明内容

本发明实施例提供一种用于训练人脸识别模型的技术方案。

根据本发明实施例的一个方面，提供的一种人脸识别模型的训练方法，包括：

检测监控视频中的人脸；

对检测到的人脸的图像进行特征提取、并基于提取到的特征对检测到的人脸进行聚类；

以聚类结果作为监督信息，以所述人脸的图像作为样本图像，对所述人脸识别模型进行训练，直至满足预设训练完成条件。

可选地，在本发明各方法实施例中，所述检测监控视频中的人脸之后，还包括：

对检测到的人脸进行转正，并截取转正后的人脸，获得转正后的人脸的图像；

所述对检测到的人脸的图像进行特征提取，包括：对转正后的人脸的图像进行特征提取。

可选地，在本发明各方法实施例中，还包括：

过滤掉图像质量不满足预设质量阈值的人脸的图像，获得图像质量满足预设质量阈值的人脸的图像；

所述对检测到的人脸的图像进行特征提取，包括：对所述图像质量满足预设质量阈值的人脸的图像进行特征提取。

可选地，在本发明各方法实施例中，所述监控视频包括一个；或者，

所述监控视频包括多个；分别针对多个监控视频，执行所述检测监控视频中的人脸，以及对检测到的人脸的图像进行特征提取、并基于提取到的特征对检测到的人脸进行聚类的操作。

可选地，在本发明各方法实施例中，所述检测监控视频中的人脸，包括：

检测所述监控视频中的人脸、并对检测到的人脸进行跟踪，跟踪到的同一用户的人脸形成人脸轨迹；

分别对跟踪到的各人脸轨迹分配用于标识该轨迹的轨迹标识。

可选地，在本发明各方法实施例中，还包括：

在训练集数据库中保存人脸的图像及其对应的监控视频标识、轨迹标识。

可选地，在本发明各方法实施例中，所述基于提取到的特征对检测到的人脸进行聚类，包括：

分别获取每个轨迹标识对应的人脸的图像的特征；

使用聚类算法，基于每个轨迹标识对应的人脸的特征对检测到的人脸进行聚类，获得聚类结果，所述聚类结果包括至少一个类别的人脸的图像。

可选地，在本发明各方法实施例中，所述分别获取每个轨迹标识对应的人脸的图像的特征，包括：

分别提取每个轨迹标识对应的一张人脸的图像的特征，作为每个轨迹标识对应的人脸的图像的特征；或者

分别提取每个轨迹标识对应的多张或全部人脸的图像的特征、并获取每个轨迹标识对应的多张或全部人脸的图像的特征的平均值，作为每个轨迹标识对应的人脸的图像的特征。

可选地，在本发明各方法实施例中，所述获得聚类结果之后，还包括：

去除所述聚类结果的各类别中属于噪音的人脸的图像。

可选地，在本发明各方法实施例中，所述以聚类结果作为监督信息，以所述人脸的图像作为样本图像，对所述人脸识别模型进行训练，包括：

将所述人脸的图像输入所述人脸识别模型，经所述人脸识别模型输出所述人脸的图像的分类结果；

比较所述分类结果与所述聚类结果之间的差异；

响应于所述分类结果与所述聚类结果之间的差异大于预设差异阈值，对所述人脸识别模型的参数值进行调整。

可选地，在本发明各方法实施例中，迭代执行所述以聚类结果作为监督信息，以所述人脸的图像作为样本图像，对所述人脸识别模型进行训练的操作，直至满足预设训练完成条件。

可选地，在本发明各方法实施例中，所述满足预设训练完成条件，包括：

所述分类结果与所述聚类结果之间的差异不大于预设差异阈值、和/或对所述人脸识别模型的训练次数达到预设次数。

根据本发明实施例的另一个方面，提供的一种人脸识别模型的训练装置，包括：

检测模块，用于检测监控视频中的人脸；

特征提取模块，用于对检测到的人脸的图像进行特征提取；

聚类模块，用于基于所述特征提取模块提取到的特征对检测到的人脸进行聚类，获得聚类结果；

训练模块，用于以所述聚类结果作为监督信息，以所述人脸的图像作为样本图像，对所述人脸识别模型进行训练，直至满足预设训练完成条件。

可选地，在本发明各装置实施例中，还包括：

转正模块，用于对所述检测模块检测到的人脸进行转正，并截取转正后的人脸，获得转正后的人脸的图像；

所述特征提取模块具体用于对转正后的人脸的图像进行特征提取。

可选地，在本发明各装置实施例中，还包括：

过滤模块，用于过滤掉图像质量不满足预设质量阈值的人脸的图像，获得图像质量满足预设质量阈值的人脸的图像；

所述特征提取模块具体用于对所述图像质量满足预设质量阈值的人脸的图像进行特征提取。

可选地，在本发明各装置实施例中，所述监控视频包括一个；或者，

所述监控视频包括多个；所述检测模块具体用于分别针对多个监控视频，执行所述检测监控视频中的人脸的操作。

可选地，在本发明各装置实施例中，所述检测模块具体用于：

检测所述监控视频中的人脸、并对检测到的人脸进行跟踪，跟踪到的同一用户的人脸形成人脸轨迹；

分别对跟踪到的各人脸轨迹分配用于标识该轨迹的轨迹标识。

可选地，在本发明各装置实施例中，还包括：

保存模块，用于在训练集数据库中保存人脸的图像及其对应的监控视频标识、轨迹标识。

可选地，在本发明各装置实施例中，所述聚类模块具体用于：

分别获取每个轨迹标识对应的人脸的图像的特征；

使用聚类算法，基于每个轨迹标识对应的人脸的特征对检测到的人脸进行聚类，获得聚类结果，所述聚类结果包括至少一个类别的人脸的图像。

可选地，在本发明各装置实施例中，所述聚类模块分别获取每个轨迹标识对应的人脸的图像的特征时，具体用于：

分别提取每个轨迹标识对应的一张人脸的图像的特征，作为每个轨迹标识对应的人脸的图像的特征；或者

分别提取每个轨迹标识对应的多张或全部人脸的图像的特征、并获取每个轨迹标识对应的多张或全部人脸的图像的特征的平均值，作为每个轨迹标识对应的人脸的图像的特征。

可选地，在本发明各装置实施例中，还包括：

去除模块，用于去除所述聚类结果的各类别中属于噪音的人脸的图像。

可选地，在本发明各装置实施例中，所述训练模块具体用于：

将所述人脸的图像输入所述人脸识别模型，经所述人脸识别模型输出所述人脸的图像的分类结果；

比较所述分类结果与所述聚类结果之间的差异；

响应于所述分类结果与所述聚类结果之间的差异大于预设差异阈值，对所述人脸识别模型的参数值进行调整。

可选地，在本发明各装置实施例中，所述满足预设训练完成条件，包括：

所述分类结果与所述聚类结果之间的差异不大于预设差异阈值、和/或对所述人脸识别模型的训练次数达到预设次数。

根据本发明实施例的再一个方面，提供一种本发明上述任一实施例所述的训练装置训练获得的人脸识别模型。

根据本发明实施例的再一个方面，提供的一种电子设备，包括：本发明上述任一实施例所述的人脸识别模型的训练装置或者人脸识别模型。

根据本发明实施例的再一个方面，提供的另一种电子设备，包括：

处理器和本发明上述任一实施例所述的人脸识别模型的训练装置；

在处理器运行所述人脸识别模型的训练装置时，本发明上述任一实施例所述的人脸识别模型的训练装置中的单元被运行。

根据本发明实施例的再一个方面，提供的又一种电子设备，包括：

处理器和本发明上述任一实施例所述的人脸识别模型；

在处理器运行所述人脸识别模型时，本发明上述任一实施例所述的人脸识别模型中的单元被运行。

根据本发明实施例的再一个方面，提供的再一种电子设备，包括：处理器和存储器；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行本发明上述任一实施例所述方法中各步骤的操作。

根据本发明实施例的再一个方面，提供的一种计算机程序，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现本发明上述任一实施例所述方法中各步骤的指令。

根据本发明实施例的再一个方面，提供的一种计算机可读介质，用于存储计算机可读取的指令，所述指令被执行时实现本发明上述任一实施例所述方法中各步骤的操作。

基于本发明上述实施例提供的人脸识别模型的训练方法和装置、设备、程序和介质，对从监控视频中检测到的人脸进行特征提取、并基于提取到的人脸的特征对检测到的人脸进行聚类，以聚类结果作为监督信息，以人脸的图像作为样本图像，对人脸识别模型进行训练，直至满足预设训练完成条件。本发明实施例利用视频监控中拍摄到的视频中的人脸的图像构成训练集，对人脸识别模型进行训练，解决了人脸识别中样本数据的来源问题；通过聚类方法对训练集进行聚类，以聚类结果作为监督信息，从而解决了大规模数据标注成本高、标注时间长的问题；以聚类结果作为监督信息，以训练集中人脸的图像作为样本图像，对人脸识别模型进行训练，从而实现了对人脸识别模型的增量训练，以实现动态提升人脸识别模型的性能和增量更新人脸识别模型，解决了需要不断增强人脸识别模型性能的问题。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明人脸识别模型的训练方法一个实施例的流程图。

图2为本发明人脸识别模型的训练方法另一个实施例的流程图。

图3为本发明人脸识别模型的训练方法又一个实施例的流程图。

图4为本发明人脸识别模型的训练装置一个实施例的结构示意图。

图5为本发明人脸识别模型的训练装置另一个实施例的结构示意图。

图6为本发明电子设备一个应用实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本发明实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

在实现本发明的过程中，发明人发现，当前的人脸识别模型主要是静态模型，通过预先设定好的样本数据集训练人脸识别模型。这种静态模型存在以下几个缺点：一方面，不能利用在实际使用中拍摄到的人脸数据，实际上这些人脸数据可能用于提升人脸识别模型的性能；另一方面，模型固定，不能够做到动态提升人脸识别模型的性能和增量更新模型。

图1为本发明人脸识别模型的训练方法一个实施例的流程图。如图1所示，该实施例人脸识别模型的训练方法包括：

102，检测监控视频中的人脸。

104，对检测到的人脸的图像进行特征提取、并基于提取到的特征对检测到的人脸进行聚类。

在本发明各实施例的一个可选的实施方式中，该操作102中的监控视频可以是一个，也可以是多个。其中，多个监控视频可以是由一个摄像头采集的视频流拆分成的多个监控视频，例如截取成固定时间段长度的视频片段，也可以是由多个摄像头采集的视频流分别对应的监控视频、或者分别截取成固定时间段长度的视频片段，多个监控视频可以按照时间分片保存，可以避免存储特别大的视频文件，并且可以通过本发明对多个监控视频进行并行处理，以提升处理速度。该监控视频为多个时，可以分别针对多个监控视频执行操作102～104，检测监控视频中的人脸、并对从多个监控视频检测到的人脸的图像进行特征提取，然后基于从多个监控视频提取到的所有人脸的特征进行聚类。

106，以聚类结果作为监督信息，以上述检测到的人脸的图像作为样本图像，对人脸识别模型进行训练，即：调整人脸识别模型的网络参数，该操作106可以迭代执行，直至满足预设训练完成条件。

其中的聚类结果即对输入的人脸图像聚类产生的类别，每一个类别对应于一个用户的人脸。

本发明各实施例中，人脸识别模型可以通过一个神经网络实现，神经网络包括多个网络层、多个网络参数，对人脸识别模型进行训练，即：调整人脸识别模型的网络参数的参数值。

其中，本发明各实施例人脸识别模型的训练方法的流程可以迭代执行，不断新增监控视频来完成对人脸识别模型的增量训练，可以不断增强人脸识别模型性能。

基于本发明上述实施例提供的人脸识别模型的训练方法，对从监控视频中检测到的人脸进行特征提取、并基于提取到的特征对检测到的人脸进行聚类，以聚类结果作为监督信息，以人脸的图像作为样本图像，对人脸识别模型进行训练，直至满足预设训练完成条件。本发明实施例利用视频监控中拍摄到的视频中的人脸的图像构成训练集，对人脸识别模型进行训练，解决了人脸识别中样本数据的来源问题；通过聚类方法对训练集进行聚类，以聚类结果作为监督信息，从而解决了大规模数据标注成本高、标注时间长的问题；以聚类结果作为监督信息，以训练集中人脸的图像作为样本图像，对人脸识别模型进行训练，从而实现了对人脸识别模型的增量训练，以实现动态提升人脸识别模型的性能和增量更新人脸识别模型，解决了需要不断增强人脸识别模型性能的问题。

在本发明各实施例的一个可选的实施方式中，操作102检测监控视频中的人脸，可以通过如下方式实现：

检测监控视频中的人脸、并对检测到的人脸进行跟踪，跟踪到的同一用户的人脸形成一个轨迹；

分别对跟踪到的各人脸轨迹分配用于标识该轨迹的轨迹标识(trackID)。

其中，从监控视频中检测到人脸后，可以获得相应的人脸检测框，根据从监控视频各帧图像中检测到的人脸检测框的大小和位置，可以确定同一用户(可以用户ID标识)的人脸，将同一用户的人脸归类到一起，形成一个人脸轨迹，不同用户的人脸形成不同的人脸轨迹，分配不同的轨迹标识。本发明各实施例中，可以通过一个深度学习算法人脸进行检测、跟踪。

另外，在本发明人脸识别模型的训练方法另一个实施例中，通过操作102检测监控视频中的人脸之后，还可以包括：

对检测到的人脸进行转正并截取转正后的人脸，获得转正后的人脸的图像。

相应地，该实施例的操作104中对检测到的人脸的图像进行特征提取，具体为：对转正后的人脸的图像进行特征提取。

在其中一种可选的实现方式中，例如可以通过如下方式对检测到的人脸进行转正：先确定每张人脸上的关键点(例如，眼睛中心、鼻尖等)的坐标，再将这些关键点通过仿射变换映射到相应的位置，从而完成人脸转正过程。本发明各实施例中，可以通过一个深度学习算法进行人脸转正。

进一步地，通过操作102检测监控视频中的人脸之后，还可以包括：过滤掉图像质量不满足预设质量阈值的人脸的图像，获得图像质量满足预设质量阈值的人脸的图像。相应地，该实施例的操作104中对检测到的人脸的图像进行特征提取，具体为：对过滤掉图像质量不满足预设质量阈值的人脸的图像进行特征提取。

示例性地，上述过滤掉图像质量不满足预设质量阈值的人脸的图像的操作可以在获得转正后的人脸的图像之后，对转正后的人脸执行；另外，也可以在对检测到的人脸进行转正之前执行，对检测到的人脸进行转正时，可以对过滤掉图像质量不满足预设质量阈值的人脸的图像后得到的人脸的图像进行转正。

进一步地，在本发明人脸识别模型的训练方法又一个实施例中，还可以包括：在训练集数据库中保存转正后的人脸的图像及其对应的监控视频标识(ID)和轨迹标识(trackid)，另外，还可以选择性地保存各图像的图像信息。

其中，轨迹标识唯一标识一个人脸轨迹。图像信息可以包括图像标识(ID)(例如图像名称、编号、监控视频ID+trackid等)、图像的修改时间、拍摄地点等，图像ID唯一标识一张图像；监控视频标识唯一标识一个监控视频文件；轨迹标识唯一标识一个轨迹。

在本发明各实施例的一个可选的实施方式中，操作104中基于提取到的特征对检测到的人脸进行聚类，可以包括：分别获取每个轨迹标识对应的人脸的图像的特征；使用聚类算法，基于每个轨迹标识对应的人脸的特征对检测到的人脸进行聚类，获得聚类结果。

在其中一个可选示例中，分别获取每个轨迹标识对应的人脸的图像的特征，可以包括：分别提取每个轨迹标识对应的一张人脸的图像的特征，作为每个轨迹标识对应的人脸的图像的特征；或者

分别提取每个轨迹标识对应的多张或全部人脸的图像的特征、并获取每个轨迹标识对应的多张或全部人脸的图像的特征的平均值，作为每个轨迹标识对应的人脸的图像的特征。

图2为本发明人脸识别模型的训练方法另一个实施例的流程图。如图2所示，该实施例人脸识别模型的训练方法包括：

202，检测监控视频中的人脸。

204，对检测到的人脸进行转正。

206，从监控视频中截取转正后的人脸，获得转正后的人脸的图像。

208，过滤掉图像质量不满足预设质量阈值的人脸的图像。

在本发明各实施例的一个可选示例中，可以通过一个基于深度学习的质量检测模型评价各图像的质量，将图像输入质量检测模型，经质量检测模型进行质量预测并输出该图像质量分数，可以设置一个合理的质量阈值，过滤掉质量较差的图像等，以提高后续聚类结果的准确性、从而提升人脸识别模型的训练效果。

其中，操作206或208可以择一执行；另外，二者也可以同时执行，或以任意先后顺序执行。

210，在训练集数据库中保存过滤后得到的人脸的图像及其图像信息、对应的监控视频标识、轨迹标识(trackID)，以及过滤后得到的人脸的图像进行特征提取。

在本发明各实施例的一个可选的实施方式中，该操作202中的监控视频可以是一个，也可以是多个。该监控视频为多个时，可以分别针对多个监控视频，执行操作202～210，然后基于提取到的所有人脸的特征执行操作212。

212，基于提取到的人脸的特征对检测到的人脸进行聚类。

214，以聚类结果作为监督信息，以上述检测到的人脸的图像作为样本图像，对人脸识别模型进行训练，该操作214可以迭代执行，直至满足预设训练完成条件。

其中，本发明各实施例人脸识别模型的训练方法的流程可以迭代执行，不断新增监控视频来完成对人脸识别模型的增量训练，可以不断增强人脸识别模型性能。

在本发明各实施例的一个可选的实施方式中，基于提取到的人脸的特征对检测到的人脸进行聚类，可以通过如下方式实现：使用聚类算法，例如k-means、层次聚类等聚类算法，基于提取到的人脸的特征对检测到的人脸进行聚类，获得聚类结果，该聚类结果包括至少一个类别的人脸的图像。

在本发明人脸识别模型的训练方法再一个实施例中，获得聚类结果之后，还可以包括：去除聚类结果中各类别中属于噪音的人脸的图像。

在一个可选示例中，去除聚类结果中各类别中属于噪音的人脸的图像时，可以通过计算各人脸的特征和聚类结果中所属类别中心之间的距离，去掉距离大于预设距离阈值的人脸，其中所属类别中心即该所属类别中所有人脸的特征的平均值，距离可以是余弦距离、马氏距离等。通过聚类算法得到的每个类别人脸的图像可以认为是同一个用户人脸的图像。由于进行人脸跟踪和聚类时，可能产生误差，因此同一个类别下的人脸的图像可能还有噪音，即：同一个类别下被归类错误的人脸，通过该实施例，可以清理各类别中属于噪音的人脸的图像，从而保证聚类结果的准确性。

在本发明各实施例的一个可选的实施方式中，以聚类结果作为监督信息，以人脸的图像作为样本图像，对人脸识别模型进行训练，可以包括：

将人脸的图像输入人脸识别模型，经人脸识别模型输出人脸的图像的分类结果；

比较分类结果与聚类结果之间的差异；

响应于分类结果与聚类结果之间的差异大于预设差异阈值，对人脸识别模型的参数值进行调整。

其中，上述以聚类结果作为监督信息，以人脸的图像作为样本图像，对人脸识别模型进行训练的操作可以是一个迭代执行的操作，直至满足预设训练完成条件。

在本发明各实施例的一个可选的实施方式中，满足预设训练完成条件，例如可以包括：

分类结果与聚类结果之间的差异不大于预设差异阈值、和/或对人脸识别模型的训练次数达到预设次数。

图3为本发明人脸识别模型的训练方法又一个实施例的流程图。如图3所示，该实施例人脸识别模型的训练方法包括：

302，检测监控视频中的人脸。

304，对检测到的人脸进行转正。

306，从监控视频中截取转正后的人脸，获得转正后的人脸的图像。

308，过滤掉图像质量不满足预设质量阈值的人脸的图像。

其中，操作306或308可以择一执行；另外，二者也可以同时执行，或以任意先后顺序执行。

310，在训练集数据库中保存过滤后得到的人脸的图像及其图像信息、对应的监控视频标识、轨迹标识(trackID)，以及对过滤后得到的人脸的图像进行特征提取。

在本发明各实施例的一个可选的实施方式中，该操作302中的监控视频可以是一个，也可以是多个。该监控视频为多个时，可以分别针对多个监控视频，执行操作302～310，然后基于提取到的所有人脸的特征执行操作312。

312，使用聚类算法，基于提取到的人脸的特征对检测到的人脸进行聚类，获得聚类结果，该聚类结果包括至少一个类别的人脸的图像。

314，去除聚类结果中各类别中属于噪音的人脸的图像。

316，以聚类结果作为监督信息，以上述检测到的人脸的图像作为样本图像，对人脸识别模型进行训练，该操作316可以迭代执行，直至满足预设训练完成条件，例如，分类结果与聚类结果之间的差异不大于预设差异阈值、和/或对人脸识别模型的训练次数达到预设次数。

可以通过迭代执行操作308、312、314的过程，直到产生质量较高的聚类结果。其中，聚类结果的质量可以通过两个质量衡量：同质性和完整性。其中，同质性表示聚类到同一个类别的人脸都属于同一个用户的人脸；完整性表示同一个用户的人脸都聚类到同一个类别。这两个指标都好，表示聚类结果的质量高。

通过本发明实施例人脸识别模型的训练方法对人脸识别模型进行训练或增量训练后，可以通过人脸监控的数据集测试训练得到的人脸识别模型的效果，确认人脸识别模型的识别性能有所提升后，利用训练得到的人脸识别模型对已在业务系统中投入使用的人脸识别模型进行更新。其中，测试训练得到的人脸识别模型的效果时，例如可以通过感受性(ROC)曲线指标来确定人脸识别模型的识别性能是否有提升，ROC曲线可以衡量在相同误报率下的准确率，ROC曲线指标提升，则说明人脸识别模型的识别效果提升。

本发明实施例可以在线上环境有大量视频数据的场景下，可以充分利用海量的线上视频数据来生成新的训练数据集，增量训练人脸识别模型，以在线上环境下不断提升人脸识别模型的性能；本发明实施例可以训练数据集中的图像进行聚类，以聚类结果作为监督信息，不需要人工干预和标注解决了大规模数据标注成本高、标注时间长的问题。

基于本发明各实施例人脸识别模型的训练方法训练得到的人脸识别模型，可用于智能视频分析、安防监控、人脸识别等场景。

本发明实施例提供的任一种人脸识别模型的训练方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本发明实施例提供的任一种人脸识别模型的训练方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本发明实施例提及的任一种人脸识别模型的训练方法。下文不再赘述。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图4为本发明人脸识别模型的训练装置一个实施例的结构示意图。该实施例的训练装置可用于实现本发明上述各训练方法实施例。如图4所示，该实施例的训练装置包括：检测模块，特征提取模块，聚类模块和训练模块。其中：

检测模块，用于检测监控视频中的人脸。

特征提取模块，用于对检测模块检测到的人脸的图像进行特征提取。

聚类模块，用于基于特征提取模块提取到的特征对检测到的人脸进行聚类，获得聚类结果。

训练模块，用于以聚类结果作为监督信息，以上述检测到的人脸的图像作为样本图像，对人脸识别模型进行训练，直至满足预设训练完成条件。

在本发明各实施例的其中一个可选示例中，训练模块具体用于将人脸的图像输入人脸识别模型，经人脸识别模型输出人脸的图像的分类结果；比较该分类结果与上述聚类结果之间的差异；响应于该分类结果与上述聚类结果之间的差异大于预设差异阈值，对人脸识别模型的参数值进行调整。

在本发明各实施例的其中一个可选示例中，满足预设训练完成条件，例如可以包括但不限于：分类结果与聚类结果之间的差异不大于预设差异阈值、和/或对人脸识别模型的训练次数达到预设次数。

基于本发明上述实施例提供的人脸识别模型的训练装置，对从监控视频中检测到的人脸进行特征提取、并基于提取到的人脸的特征对检测到的人脸进行聚类，以聚类结果作为监督信息，以人脸的图像作为样本图像，对人脸识别模型进行训练，直至满足预设训练完成条件。本发明实施例利用视频监控中拍摄到的视频中的人脸的图像构成训练集，对人脸识别模型进行训练，解决了人脸识别中样本数据的来源问题；通过聚类方法对训练集进行聚类，以聚类结果作为监督信息，从而解决了大规模数据标注成本高、标注时间长的问题；以聚类结果作为监督信息，以训练集中人脸的图像作为样本图像，对人脸识别模型进行训练，从而实现了对人脸识别模型的增量训练，以实现动态提升人脸识别模型的性能和增量更新人脸识别模型，解决了需要不断增强人脸识别模型性能的问题。

图5为本发明人脸识别模型的训练装置另一个实施例的结构示意图。如图5所示，与图4所示的实施例相比，该实施例的人脸识别模型的训练装置还包括：转正模块，用于对检测模块检测到的人脸进行转正，并截取转正后的人脸，获得转正后的人脸的图像。相应地，该实施例中，特征提取模块具体用于对转正后的人脸的图像进行特征提取。

再参见图5，在本发明人脸识别模型的训练装置的又一个实施例中，还可以包括过滤模块，用于过滤掉图像质量不满足预设质量阈值的人脸的图像，获得图像质量满足预设质量阈值的人脸的图像。相应地，该实施例中，特征提取模块具体用于对图像质量满足预设质量阈值的人脸的图像进行特征提取。

在本发明上述各装置实施例中，监控视频包括一个；或者，监控视频包括多个；检测模块具体用于分别针对多个监控视频，执行检测监控视频中的人脸的操作。

在本发明上述各人脸识别模型的训练装置实施例的一个可选示例中，检测模块具体用于：检测监控视频中的人脸、并对检测到的人脸进行跟踪，跟踪到的同一用户的人脸形成人脸轨迹；以及分别对跟踪到的各人脸轨迹分配用于标识该轨迹的轨迹标识。

另外，再参见图5，在本发明人脸识别模型的训练装置的又一个实施例中，还可以包括保存模块，用于在训练集数据库中保存人脸的图像及其对应的监控视频标识、轨迹标识。

在其中一个可选示例中，聚类模块具体用于：分别获取每个轨迹标识对应的人脸的图像的特征；以及使用聚类算法，基于每个轨迹标识对应的人脸的特征对检测到的人脸进行聚类，获得聚类结果，聚类结果包括至少一个类别的人脸的图像。

进一步示例性地，聚类模块分别获取每个轨迹标识对应的人脸的图像的特征时，具体用于：分别提取每个轨迹标识对应的一张人脸的图像的特征，作为每个轨迹标识对应的人脸的图像的特征；或者，分别提取每个轨迹标识对应的多张或全部人脸的图像的特征、并获取每个轨迹标识对应的多张或全部人脸的图像的特征的平均值，作为每个轨迹标识对应的人脸的图像的特征。

另外，再参见图5，在本发明人脸识别模型的训练装置的再一个实施例中，还可以包括去除模块，用于去除聚类结果的各类别中属于噪音的人脸的图像。

另外，本发明实施例还提供了一种基于本发明上述任一训练方法或训练装置训练获得的人脸识别模型。

另外，本发明实施例还提供了一种电子设备，包括：本发明上述任一实施例的人脸识别模型的训练装置或者人脸识别模型。

另外，本发明实施例还提供了另一种电子设备，包括：

处理器和上述任一实施例的人脸识别模型的训练装置；

在处理器运行人脸识别模型的训练装置时，上述任一实施例的人脸识别模型的训练装置中的单元被运行。

另外，本发明实施例还提供了又一种电子设备，包括：

处理器和上述任一实施例的人脸识别模型；

在处理器运行人脸识别模型时，上述任一实施例的人脸识别模型中的单元被运行。

另外，本发明实施例还提供了又再一种电子设备，其特征在于，包括：处理器和存储器；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述任一实施例的训练方法中各步骤的操作。

图6为本发明电子设备一个应用实施例的结构示意图。如图6所示，用于实现本发明实施例的电子设备包括中央处理单元(CPU)或者图形处理单元(GPU)，其可以根据存储在只读存储器(ROM)中的可执行指令或者从存储部分加载到随机访问存储器(RAM)中的可执行指令而执行各种适当的动作和处理。中央处理单元或者图形处理单元可与只读存储器和/或随机访问存储器中通信以执行可执行指令从而完成本发明实施例提供的人脸识别模型的训练方法对应的操作，例如：检测监控视频中的人脸；对检测到的人脸的图像进行特征提取、并基于提取到的特征对检测到的人脸进行聚类；以聚类结果作为监督信息，以所述人脸的图像作为样本图像，对人脸识别模型进行训练，直至满足预设训练完成条件。

此外，在RAM中，还可存储有系统操作所需的各种程序和数据。CPU、GPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

以下部件连接至I/O接口：包括键盘、鼠标等的输入部分；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，所述程序代码可包括对应执行本发明实施例提供的任一项人脸识别模型的训练方法步骤对应的指令，例如，检测监控视频中的人脸的指令；对检测到的人脸的图像进行特征提取、并基于提取到的特征对检测到的人脸进行聚类的指令；以聚类结果作为监督信息，以所述人脸的图像作为样本图像，对人脸识别模型进行训练，直至满足预设训练完成条件的指令。该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)或图形处理单元(GPU)执行时，执行本发明的方法中限定的上述功能。

另外，本发明实施例还提供了一种计算机程序，包括计算机可读代码，当计算机可读代码在设备上运行时，该设备中的处理器执行用于实现上述任一实施例的训练方法中各步骤的指令。

另外，本发明实施例还提供了一种计算机可读介质，用于存储计算机可读取的指令，该指令被执行时实现上述任一实施例的训练方法中各步骤的操作。

本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于装置实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种人脸识别模型的训练方法，其特征在于，包括：

检测监控视频中的人脸；

对检测到的人脸的图像进行特征提取、并基于提取到的特征对检测到的人脸进行聚类；

以聚类结果作为监督信息，以所述人脸的图像作为样本图像，对人脸识别模型进行训练，直至满足预设训练完成条件。

2.根据权利要求1所述的方法，其特征在于，所述检测监控视频中的人脸之后，还包括：

对检测到的人脸进行转正，并截取转正后的人脸，获得转正后的人脸的图像；

所述对检测到的人脸的图像进行特征提取，包括：对转正后的人脸的图像进行特征提取。

3.一种人脸识别模型的训练装置，其特征在于，包括：

检测模块，用于检测监控视频中的人脸；

特征提取模块，用于对检测到的人脸的图像进行特征提取；

聚类模块，用于基于所述特征提取模块提取到的特征对检测到的人脸进行聚类，获得聚类结果；

训练模块，用于以所述聚类结果作为监督信息，以所述人脸的图像作为样本图像，对所述人脸识别模型进行训练，直至满足预设训练完成条件。

4.一种基于权利要求1-2任一所述方法、或权利要求3所述装置训练获得的人脸识别模型。

5.一种电子设备，其特征在于，包括：权利要求3所述的人脸识别模型的训练装置或者权利要求4所述的人脸识别模型。

6.一种电子设备，其特征在于，包括：

处理器和权利要3所述的人脸识别模型的训练装置；

在处理器运行所述人脸识别模型的训练装置时，权利要求3所述的人脸识别模型的训练装置中的单元被运行。

7.一种电子设备，其特征在于，包括：

处理器和权利要4所述的人脸识别模型；

在处理器运行所述人脸识别模型时，权利要求4所述的人脸识别模型中的单元被运行。

8.一种电子设备，其特征在于，包括：处理器和存储器；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行权利要求1-2任一所述方法中各步骤的操作。

9.一种计算机程序，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1-2任一所述方法中各步骤的指令。

10.一种计算机可读介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时实现权利要求1-2任一所述方法中各步骤的操作。