CN113361456A

CN113361456A - 一种人脸识别方法和系统

Info

Publication number: CN113361456A
Application number: CN202110722314.2A
Authority: CN
Inventors: 任晋军
Original assignee: Beijing Moviebook Technology Corp ltd
Current assignee: Beijing Moviebook Technology Corp ltd
Priority date: 2021-06-28
Filing date: 2021-06-28
Publication date: 2021-09-07
Anticipated expiration: 2041-06-28
Also published as: CN113361456B

Abstract

本申请实施例公开了一种人脸识别方法和系统，所述方法包括：图形处理器对目标视频帧进行人脸检测，筛选出高于人脸检测置信度的人脸数据；根据所述人脸数据基于追踪算法计算追踪到的人脸数、追踪到的每张人脸ID、追踪到的人脸与检测到的人脸的对应关系；针对每张人脸进行追踪到的人脸的特征提取，得到每张人脸的被检测帧数据中提取到的特征点；根据提取到的特征点基于识别算法进行比较，确定出特征值相似度最高的人脸ID和对应的特征值相似度；根据所述特征值相似度、所述识别算法置信度和HASH判断是否是上次跟踪的人脸。通过追踪技术辅助实现视频中的人脸平滑识别。

Description

一种人脸识别方法和系统

技术领域

本申请实施例涉及计算机设计与应用技术领域，具体涉及一种人脸识别方法和系统。

背景技术

随着多媒体及AI技术的高速发展，人们对复杂媒体需求有了更高的认识，促使多媒体已经逐渐成为人们获取和传递信息、进行网络化自主学习的有效手段。因此，把AI视频信息提取和分析结果实时的显示到视频上的进行直播,给人们提供一个高科技感的视频直播效果,可以进一步提高了媒体表现力、提高了获取有用信息的能力。

但是在实际应用中，视频中要识别的人物可能会有一些转身动作等，无法检测到人的正脸，使得人脸识别在连续的视频中无法像人眼一样准确地识别人。

发明内容

为此，本申请实施例提供一种人脸识别方法和系统，主要是为了解决视频人脸场景下AI人脸平滑识别的问题。这里的平滑识别是指视频中要识别的人物可能会有一些转身等动作，视频中无法检测到人的正脸，使得人脸识别在连续的视频中无法像人眼一样识别人。为了解决这一问题，在传统的AI识别过程中加入了追踪，通过追踪技术来辅助实现人脸的平滑识别。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种人脸识别方法，所述方法包括：

图形处理器接收人脸识别请求消息，所述人脸识别请求消息携带目标视频帧；

对所述目标视频帧进行人脸检测，筛选出高于人脸检测置信度的人脸数据，所述人脸数据包括人脸位置信息、人脸特征点和人脸数；

根据所述人脸数据基于追踪算法计算追踪到的人脸数、追踪到的每张人脸ID、追踪到的人脸与检测到的人脸的对应关系；

针对每张人脸进行追踪到的人脸的特征提取，得到每张人脸的被检测帧数据中提取到的特征点；

根据提取到的特征点基于识别算法进行比较，确定出特征值相似度最高的人脸ID和对应的特征值相似度；

当所述特征值相似度小于所述识别算法置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在则判定所述人脸ID为上一帧已经跟踪到的人脸ID；

当所述特征值相似度大于等于所述识别算法的置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在时则进一步判断与上次跟踪的是否是相同的人脸；当不存在时则将所述人脸ID添加至HASH列表中；所述HASH列表为已经被追踪且识别的人脸ID的集合。

可选地，在接收人脸识别请求消息之前，所述方法还包括：

从数据库中读取注册成功的特征点和所述特征点对应的注册成功的人脸ID，并注册到图形处理器。

可选地，所述人脸检测置信度是根据人脸检测算法和实际应用场景人为配置的设定值，用于人脸检测算法初始化；

所述识别算法置信度是根据识别算法和实际应用场景人为配置的设定值，用于识别算法初始化。

可选地，在对追踪到的人脸进行特征提取之前，所述方法还包括：

对追踪到的每张人脸对应的检测到人脸的特征点，在原图上进行人脸裁剪纠正，得到剪裁纠正后的人脸。

根据本申请实施例的第二方面，提供了一种人脸识别系统，所述系统包括：

任务接收模块，用于接收人脸识别请求消息，所述人脸识别请求消息携带目标视频帧；

人脸检测模块，用于对所述目标视频帧进行人脸检测，筛选出高于人脸检测置信度的人脸数据，所述人脸数据包括人脸位置信息、人脸特征点和人脸数；

追踪算法计算模块，用于根据所述人脸数据基于追踪算法计算追踪到的人脸数、追踪到的每张人脸ID、追踪到的人脸与检测到的人脸的对应关系；

特征提取模块，用于针对每张人脸进行追踪到的人脸的特征提取，得到每张人脸的被检测帧数据中提取到的特征点；

识别算法计算模块，用于根据提取到的特征点基于识别算法进行比较，确定出特征值相似度最高的人脸ID和对应的特征值相似度；

判定模块，用于当所述特征值相似度小于所述识别算法置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在则判定所述人脸ID为上一帧已经跟踪到的人脸ID；

所述判定模块，还用于当所述特征值相似度大于等于所述识别算法的置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在时则进一步判断与上次跟踪的是否是相同的人脸；当不存在时则将所述人脸ID添加至HASH列表中；所述HASH列表为已经被追踪且识别的人脸ID的集合。

可选地，所述系统还包括：

注册模块，用于从数据库中读取注册成功的特征点和所述特征点对应的注册成功的人脸ID，并注册到人脸识别系统。

可选地，所述系统还包括：

修正模块，用于对追踪到的每张人脸对应的检测到的人脸的特征点，在原图上进行人脸裁剪纠正，得到剪裁纠正后的人脸。

根据本申请实施例的第三方面，提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行第一方面任一项所述的方法。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如第一方面任一项所述的方法。

综上所述，本申请实施例提供了一种人脸识别方法和系统，通过图形处理器接收人脸识别请求消息，所述人脸识别请求消息携带目标视频帧；对所述目标视频帧进行人脸检测，筛选出高于人脸检测置信度的人脸数据，所述人脸数据包括人脸位置信息、人脸特征点和人脸数；根据所述人脸数据基于追踪算法计算追踪到的人脸数、追踪到的每张人脸ID、追踪到的人脸与检测到的人脸的对应关系；针对每张人脸进行追踪到的人脸的特征提取，得到每张人脸的被检测帧数据中提取到的特征点；根据提取到的特征点基于识别算法进行比较，确定出特征值相似度最高的人脸ID和对应的特征值相似度；当所述特征值相似度小于所述识别算法置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在则判定所述人脸ID为上一帧已经跟踪到的人脸ID；当所述特征值相似度大于等于所述识别算法的置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在时则进一步判断与上次跟踪的是否是相同的人脸；当不存在时则将所述人脸ID添加至HASH列表中；所述HASH列表为已经被追踪且识别的人脸ID的集合。通过追踪技术辅助实现视频中的人脸平滑识别。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本申请实施例提供的一种人脸识别方法流程示意图；

图2为本申请实施例提供的一种人脸识别系统框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例主要是为了解决视频人脸场景下AI人脸平滑识别的问题。这里的平滑识别是指视频中要识别的人物可能会有一些转身等动作，视频中无法检测到人的正脸，使得人脸识别在连续的视频中无法像人眼一样识别人。为了解决这一问题，在传统的AI识别过程中加入了追踪，通过追踪技术来辅助实现人脸的平滑识别。

图1示出了本申请实施例提供的人脸识别方法流程示意图，所述方法包括如下步骤：

步骤101：图形处理器接收人脸识别请求消息，所述人脸识别请求消息携带目标视频帧；

步骤102：对所述目标视频帧进行人脸检测，筛选出高于人脸检测置信度的人脸数据，所述人脸数据包括人脸位置信息、人脸特征点和人脸数；

步骤103：根据所述人脸数据基于追踪算法计算追踪到的人脸数、追踪到的每张人脸ID、追踪到的人脸与检测到的人脸的对应关系；

步骤104：针对每张人脸进行追踪到的人脸的特征提取，得到每张人脸的被检测帧数据中提取到的特征点；

步骤105：根据提取到的特征点基于识别算法进行比较，确定出特征值相似度最高的人脸ID和对应的特征值相似度；

步骤106：当所述特征值相似度小于所述识别算法置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在则判定所述人脸ID为上一帧已经跟踪到的人脸ID；当所述特征值相似度大于等于所述识别算法的置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在时则进一步判断与上次跟踪的是否是相同的人脸；当不存在时则将所述人脸ID添加至HASH列表中；所述HASH列表为已经被追踪且识别的人脸ID的集合。

在一种可能的实施方式中，在步骤101之前，所述方法还包括：

在一种可能的实施方式中，所述人脸检测置信度是根据人脸检测算法和实际应用场景人为配置的设定值，用于人脸检测算法初始化；所述识别算法置信度是根据识别算法和实际应用场景人为配置的设定值，用于识别算法初始化。

在一种可能的实施方式中，在步骤104之前，所述方法还包括：对追踪到的每张人脸对应的检测到的人脸的特征点，在原图上进行人脸裁剪纠正，得到剪裁纠正后的人脸。

在本申请实施例中，主要涉及到的影响人脸平滑识别的因素主要有：

人脸检测的置信度：detect_confidence；人脸检测的人脸框位置：detect_box；人脸检测的人脸特征点：detect_feature；人脸检测到的人脸数：detect_face_num；追踪算法追踪到的人脸数：sort_face_num；追踪算法追踪到的追踪id：sort_id；追踪算法追踪到的人脸与检测到的人脸的对应关系：sort_detect_id；已经注册在数据库的人名id：reg_name_id；已经注册在数据库的特征点feature：reg_feature；被检测帧数据中提取到的特征点：rec_feature；识别算法的置信度：rec_confidence；识别算法比对的分数：rec_scores；识别算法输出的分数最高的人脸id：rec_name_id；已经被追踪且识别的hash列表：sort_list。

下面对具体的步骤进行详细说明：

步骤1：从数据库中读取提前注册好的特征点reg_feature(已经注册在数据库的特征点)和对应的reg_name_id(已经注册在数据库的人名id)，并注册到GPU；图形处理器(英语：Graphics Processing Unit，缩写：GPU)，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备(如平板电脑、智能手机等)上做图像和图形相关运算工作的微处理器。

步骤2：对目标视频帧数据进行人脸检测，得到高于人脸检测置信度(detect_confidence)的人脸位置信息(detect_box，人脸检测的人脸框位置)、人脸特征点(detect_feature，人脸检测的人脸特征点)、人脸数(detect_face_num，人脸检测到的人脸数)。其中，人脸检测置信度是根据算法和实际业务场景人为配置的一个值，算法初始化时要用到。

步骤3：把步骤2检测到的人脸位置信息(detect_box)和人脸数(detect_face_num)传入到追踪算法，追踪算法输出追踪到的人脸数(sort_face_num，追踪算法追踪到的人脸数)、针对每张人脸的追踪id(sort_id，追踪算法追踪到的追踪id)、追踪到的人脸与检测到的人脸的对应关系(sort_detect_id，追踪算法追踪到的人脸与检测到的人脸的对应关系)。

步骤4：对步骤3追踪到的每个人脸对应到检测到的人脸的特征信息(detect_feature，人脸检测的人脸特征点)在原图上的人脸裁剪纠正，得到剪裁纠正后的人脸。

步骤5：对步骤4中裁剪到的人脸进行特征提取，得到：rec_feature(被检测帧数据中提取到的特征点)。

步骤6：根据识别算法对步骤5中的识别特征进行比较，其中识别算法会返回的一个特征值相似度(分数)，确定出分数最高的注册名字ID：reg_name_id(识别算法输出的分数最高的人脸id：rec_name_id)、比对分数：rec_scores(识别算法比对的分数)。

步骤7：当rec_scores小于rec_confidence(识别算法的置信度)时，判断是否在sort_list(已经被追踪且识别的hash列表)，如果在，说明此人脸还是上帧已经跟踪到的人脸；如果不在，说明此人脸不是要关注的人；其中，识别算法的置信度是根据算法和实际业务场景人为配置的一个值，算法初始化时要用到。

当rec_scores大于等于rec_confidence时，说明此人脸是要关注的人脸；然后判断是否在sort_list，如果在列表，判断与上次跟踪的是不是同一个人，若不是，则更新sort_list，把此人信息添加到sort_list。

综上所述，本申请实施例提供了一种人脸识别方法，通过图形处理器接收人脸识别请求消息，所述人脸识别请求消息携带目标视频帧数据；对所述目标视频帧数据进行人脸检测，筛选出高于人脸检测置信度的人脸数据，所述人脸数据包括人脸位置信息、人脸特征点和人脸数；根据所述人脸数据基于追踪算法计算追踪到的人脸数、追踪到的每张人脸ID、追踪到的人脸与检测到的人脸的对应关系；针对每张人脸进行追踪到的人脸的特征提取，得到每张人脸的被检测帧数据中提取到的特征点；根据提取到的特征点基于识别算法进行比较，确定出特征值相似度最高的人脸ID和对应的特征值相似度；当所述特征值相似度小于所述识别算法置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在则判定所述人脸ID为上一帧已经跟踪到的人脸ID；当所述特征值相似度大于等于所述识别算法的置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在时则进一步判断与上次跟踪的是否是相同的人脸；当不存在时则将所述人脸ID添加至HASH列表中；所述HASH列表为已经被追踪且识别的人脸ID的集合。通过追踪技术辅助实现视频中的人脸平滑识别。

基于相同的技术构思，本申请实施例还提供了一种人脸识别系统，如图2所示，所述系统包括：

任务接收模块201，用于接收人脸识别请求消息，所述人脸识别请求消息携带目标视频帧；

人脸检测模块202，用于对所述目标视频帧进行人脸检测，筛选出高于人脸检测置信度的人脸数据，所述人脸数据包括人脸位置信息、人脸特征点和人脸数；

追踪算法计算模块203，用于根据所述人脸数据基于追踪算法计算追踪到的人脸数、追踪到的每张人脸ID、追踪到的人脸与检测到的人脸的对应关系；

特征提取模块204，用于针对每张人脸进行追踪到的人脸的特征提取，得到每张人脸的被检测帧数据中提取到的特征点；

识别算法计算模块205，用于根据提取到的特征点基于识别算法进行比较，确定出特征值相似度最高的人脸ID和对应的特征值相似度；

判定模块206，用于当所述特征值相似度小于所述识别算法置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在则判定所述人脸ID为上一帧已经跟踪到的人脸ID；

所述判定模块206，还用于当所述特征值相似度大于等于所述识别算法的置信度时，判断所述特征值相似度对应的人脸ID是否存在于HASH列表中，当存在时则进一步判断与上次跟踪的是否是相同的人脸；当不存在时则将所述人脸ID添加至HASH列表中；所述HASH列表为已经被追踪且识别的人脸ID的集合。

在一种可能的实施方式中，所述系统还包括：注册模块，用于从数据库中读取注册成功的特征点和所述特征点对应的注册成功的人脸ID，并注册到人脸识别系统。

在一种可能的实施方式中，所述系统还包括：修正模块，用于对追踪到的每张人脸对应的检测到的人脸的特征点，在原图上进行人脸裁剪纠正，得到剪裁纠正后的人脸。

基于相同的技术构思，本申请实施例还提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行所述的方法。

基于相同的技术构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行所述的方法。

本说明书中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。

需要说明的是，尽管在附图中以特定顺序描述了本发明方法的操作，但这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。

上述实施例阐明的单元、装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

以上所述的具体实施例，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施例而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims

1.一种人脸识别方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，在接收人脸识别请求消息之前，所述方法还包括：

3.如权利要求1所述的方法，其特征在于，所述人脸检测置信度是根据人脸检测算法和实际应用场景人为配置的设定值，用于人脸检测算法初始化；

4.如权利要求1所述的方法，其特征在于，在对追踪到的人脸进行特征提取之前，所述方法还包括：

对追踪到的每张人脸对应的检测到的人脸的特征点，在原图上进行人脸裁剪纠正，得到剪裁纠正后的人脸。

5.一种人脸识别系统，其特征在于，所述系统包括：

6.如权利要求5所述的系统，其特征在于，所述系统还包括：

7.如权利要求5所述的系统，其特征在于，所述人脸检测置信度是根据人脸检测算法和实际应用场景人为配置的设定值，用于人脸检测算法初始化；

8.如权利要求5所述的系统，其特征在于，所述系统还包括：

修正模块，用于对追踪到的每张人脸对应的检测到人脸的特征点，在原图上进行人脸裁剪纠正，得到剪裁纠正后的人脸。

9.一种设备，其特征在于，所述设备包括：数据采集装置、处理器和存储器；

所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行如权利要求1-4任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行如权利要求1-4任一项所述的方法。