CN113269125A - 一种人脸识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种人脸识别方法、装置、设备及存储介质。该方法包括：获取人脸识别图库，以及与待识别视频对应的视频人脸集合，人脸识别图库中包括至少一个人脸图像集合，人脸图像集合中各人脸图像具有相同身份标识号；根据视频人脸集合、人脸识别图库和预设识别条件，在视频人脸集合中确定至少一个候选视频人脸图像，并确定与各候选视频人脸图像对应的候选人脸图像集合；根据各候选人脸图像集合对应的身份标识号，在各候选视频人脸图像中确定目标视频人脸图像。本发明实施例的技术方案，解决了当人脸识别图库中具有多个相似人脸图像时，仅进行一次筛选在待识别视频中确定出的人脸图像识别结果准确性差的问题，提高了人脸图像识别的准确性。

Description

一种人脸识别方法、装置、设备及存储介质

技术领域

本发明实施例涉及人脸识别技术领域，尤其涉及一种人脸识别方法、装置、设备及存储介质。

背景技术

人脸识别是一项通过提取图片中的人脸特征来进行身份确认和识别的生物特征识别技术，在监控系统、访问控制、欺诈检测、身份认证和社交媒体等方面有着广泛的应用。

然而，相较于约束环境下的人脸单一、背景简单、直立正脸等相对理想的条件而言，位于非约束环境下，也即现实世界实际采集到的人脸图像常呈现高度可变性，头部姿态、年龄、光照、遮挡以及人脸表情常对人脸识别造成较大影响，而视频中的人脸图像即属于具有上述特征的人脸图像。

现有针对视频中人脸进行识别时，常通过确定视频中人脸图像特征与需要寻找的人脸图像特征间的特征向量距离，将特征向量距离小于预定阈值或特征距离最小的人脸图像确定为需要寻找的人脸图像。然而，在实际人脸图像识别过程中，常出现较为相似的多张人脸图像，使得确定出的多个特征向量距离大小相近，此时仅通过特征向量距离确定出的人脸图像识别结果准确性较差，难以满足用户在人脸图像识别中的需求。

发明内容

本发明提供一种人脸识别方法、装置、设备及存储介质，以在视频中针对特定人脸进行高精度识别，提升了对特定人脸的识别率，提高了人脸图像识别的准确性。

第一方面，本发明实施例提供了一种人脸识别方法，包括：

获取人脸识别图库，以及与待识别视频对应的视频人脸集合，人脸识别图库中包括至少一个人脸图像集合，人脸图像集合中各人脸图像具有相同身份标识号；

根据视频人脸集合、人脸识别图库和预设识别条件，在视频人脸集合中确定至少一个候选视频人脸图像，并确定与各候选视频人脸图像对应的候选人脸图像集合；

根据各候选人脸图像集合对应的身份标识号，在各候选视频人脸图像中确定目标视频人脸图像。

第二方面，本发明实施例还提供了一种人脸识别装置，包括：

人脸信息获取模块，用于获取人脸识别图库，以及与待识别视频对应的视频人脸集合，人脸识别图库中包括至少一个人脸图像集合，人脸图像集合中各人脸图像具有相同身份标识号；

候选人脸确定模块，用于根据视频人脸集合、人脸识别图库和预设识别条件，在视频人脸集合中确定至少一个候选视频人脸图像，并确定与各候选视频人脸图像对应的候选人脸图像集合；

目标人脸确定模块，用于根据各候选人脸图像集合对应的身份标识号，在各候选视频人脸图像中确定目标视频人脸图像。

第三方面，本发明实施例还提供了一种计算机设备，包括：

存储装置以及一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上述第一方面的人脸识别方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述第一方面所述的人脸识别方法。

本发明实施例提供的一种人脸识别方法、装置、设备及存储介质，通过获取人脸识别图库，以及与待识别视频对应的视频人脸集合，人脸识别图库中包括至少一个人脸图像集合，人脸图像集合中各人脸图像具有相同身份标识号；根据视频人脸集合、人脸识别图库和预设识别条件，在视频人脸集合中确定至少一个候选视频人脸图像，并确定与各候选视频人脸图像对应的候选人脸图像集合；根据各候选人脸图像集合对应的身份标识号，在各候选视频人脸图像中确定目标视频人脸图像。通过采用上述技术方案，在根据获取的待识别视频确定视频中包含的所有视频人脸的视频人脸集合后，首先根据预设识别条件以及获取的人脸识别图库，确定视频人脸集合中可能属于人脸识别图库中人脸的候选视频人脸图像，以及人脸识别图库中与候选视频人脸图像对应的候选人脸图像集合；然后再根据人脸识别图库中各人脸图像所对应的身份标识号，确定各候选人脸图像集合所对应的多个身份标识号，进而通过身份标识号对候选视频人脸图像进行二次筛选，最终确定目标视频人脸图像。解决了当人脸识别图库中具有多个相似人脸图像时，仅进行一次筛选在待识别视频中确定出的人脸图像识别结果准确性差的问题，可对相似人脸进行高精度识别，提高了人脸图像识别的准确性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明实施例一中的一种人脸识别方法的流程图；

图2是本发明实施例二中的一种人脸识别方法的流程图；

图3是本发明实施例三中的一种人脸识别装置的结构示意图；

图4是本发明实施例四中的一种计算机设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施例方式作进一步地详细描述。应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

在本发明的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。此外，在本发明的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

实施例一

图1为本发明实施例一提供的一种人脸识别方法的流程图，本实施例可适用于对视频中特定人脸进行识别的情况，该方法可以由人脸识别装置来执行，该人脸识别装置可以由软件和/或硬件来实现，该人脸识别装置可以配置在计算设备上，该计算机设备可以是两个或多个物理实体构成，也可以是一个物理实体构成。

如图1所示，本实施例一提供的一种人脸识别方法，具体包括如下步骤：

S101、获取人脸识别图库，以及与待识别视频对应的视频人脸集合。

其中，人脸识别图库中包括至少一个人脸图像集合，人脸图像集合中各人脸图像具有相同身份标识号。

在本实施例中，人脸识别图库可理解为由用户自定义设置的，由希望在待识别视频中确定出的目标人物的多张不同角度人脸图像组成的图像库。待识别视频可理解为需要被进行人脸识别的，将对其中与人脸识别图库中的目标人物进行识别的视频。视频人脸集合可理解为待识别视频中出现的所有人脸图像的集合。

需要明确的是，人脸识别图库中包括至少一个人脸图像集合，一个人脸图像集合对应着一个目标人物，同一个人脸图像集合中包括对应目标人物的多张不同角度人脸图像，且同一人脸图像集合中的各人脸图像具有相同的身份标识号。

具体的，在用户需要对视频中特定人物目标进行识别时，获取需要进行人脸识别的待识别视频，并将待识别视频中各视频帧作为独立的图片，提取各视频帧中对应的视频人脸图像，并根据所有视频人脸图像构成一个图像集合，将其确定为视频人脸集合。同时，获取用户根据需要进行识别的目标人物，构造的包含目标人物多张不同角度人脸图像的人脸识别图库，可选的，人脸识别图库中可包含多个目标人物的多组人脸图像，同一目标人物的人脸图像属于同一个人脸图像集合。

本发明实施例中，获取的人脸识别图像库中包括用户需要进行识别的目标人物的多个不同角度人脸图像，在根据人脸识别图像库对待识别视频中人物进行识别时，对于待识别视频中未处于人脸数单一、背景简单、直立正脸等理想条件下的视频人脸识别结果更加准确，使得视频人脸即使受到光线、遮挡及表情等影响也可被识别为目标人物，保证了人脸识别的高效准确。

S102、根据视频人脸集合、人脸识别图库和预设识别条件，在视频人脸集合中确定至少一个候选视频人脸图像，并确定与各候选视频人脸图像对应的候选人脸图像集合。

在本实施例中，预设识别条件可理解为预先设定的，用以判断视频人脸集合中视频人脸，是否与人脸识别图库中的人脸图像相似的判定条件，进而可根据判断结果确定候选视频人脸图像。可选的，预设识别条件可为相似度阈值，也即视频人脸与人脸图像间的相似度大于预设相似度阈值，则可认为视频人脸可能是人脸识别图库中存在的人脸，也即可认为视频人脸是需要被识别出的人脸。候选视频人脸图像可理解为根据预设识别条件在视频人脸集合中确定出的，可能属于人脸识别图库中对应目标人物的人脸的图像。候选人脸图像集合可理解为人脸识别图库中与候选视频人脸图像相似度较高的人脸图像的集合。

具体的，根据确定的视频人脸集合以及人脸识别图库，确定视频人脸集合中各视频人脸的视频人脸特征，以及人脸识别图库中各人脸图像的图库人脸特征，可通过视频人脸特征与图库人脸特征间的特征距离确定对应视频人脸与图库人脸间的相似度，根据确定出的相似度以及预设识别条件，将满足预设识别条件的视频人脸确定为候选视频人脸图像，并在确定好候选视频人脸图像后，将人脸识别图库中与候选视频人脸图像间相似度满足预设识别条件的人脸图像确定为候选人脸图像，并将各候选人脸图像的集合确定为候选人脸图像集合。

S103、根据各候选人脸图像集合对应的身份标识号，在各候选视频人脸图像中确定目标视频人脸图像。

在本实施例中，目标视频人脸图像可理解为用户希望识别出的目标人物在视频人脸集合中对应的人脸图像。需要明确的是，目标视频人脸图像可在待识别视频中多次出现。

具体的，由于人脸识别图库中的每个人脸图像均有自身对应的身份标识号，且属于相同人脸图像集合中的各人脸图像具有相同的身份标识号，因此在确定出候选视频人脸图像对应的候选人脸图像集合后，即可确定候选人脸图像集合中各候选人脸图像对应的身份标识号，进而可根据各身份标识号确定候选视频人脸图像所对应人物是否为用户希望识别的目标人物，并在确定出候选视频人脸图像对应的人物为目标人物后，将候选视频人脸图像确定为目标视频人脸图像。

本发明实施例通过获取人脸识别图库，以及与待识别视频对应的视频人脸集合，人脸识别图库中包括至少一个人脸图像集合，人脸图像集合中各人脸图像具有相同身份标识号；根据视频人脸集合、人脸识别图库和预设识别条件，在视频人脸集合中确定至少一个候选视频人脸图像，并确定与各候选视频人脸图像对应的候选人脸图像集合；根据各候选人脸图像集合对应的身份标识号，在各候选视频人脸图像中确定目标视频人脸图像。通过采用上述技术方案，在根据获取的待识别视频确定视频中包含的所有视频人脸的视频人脸集合后，首先根据预设识别条件以及获取的人脸识别图库，确定视频人脸集合中可能属于人脸识别图库中人脸的候选视频人脸图像，以及人脸识别图库中与候选视频人脸图像对应的候选人脸图像集合；然后再根据人脸识别图库中各人脸图像所对应的身份标识号，确定各候选人脸图像集合所对应的多个身份标识号，进而通过身份标识号对候选视频人脸图像进行二次筛选，最终确定目标视频人脸图像。解决了当人脸识别图库中具有多个相似人脸图像时，仅进行一次筛选在待识别视频中确定出的人脸图像识别结果准确性差的问题，可对相似人脸进行高精度识别，提高了人脸图像识别的准确性。

实施例二

图2为本发明实施例二提供的一种人脸识别方法的流程图，本发明实施例的技术方案在上述各可选技术方案的基础上进一步优化，通过确定视频人脸集合中每个视频人脸图像对应的人脸特征，与人脸识别图库中各人脸图像对应的图库人脸特征间的特征相似度，对视频人脸集合中的视频人脸图像完成初步筛选，并针对筛选后得到的候选视频人脸图像确定其在人脸识别图库中对应的候选人脸图像集合，最终根据候选人脸图像集合中各候选人脸图像的身份标识号确定目标视频人脸图像，通过二次筛选使得确定出的目标视频人脸图像更加准确，避免相似人脸图像对识别结果的干扰。进一步地，在确定出目标视频人脸图像后，还可根据人脸识别图库中不同人脸图像集合关联的人物标签，确定目标视频人脸图像对应的目标人物标签，进而生成包含目标视频人脸图像，目标人物标签以及目标视频人脸图像所在视频帧的目标人物识别结果，在提升了对目标人物识别的准确性的同时，实现了目标人物在待识别视频中的精确定位，使得目标人物识别结果更加完善。

如图2所示，本发明实施例二提供的一种人脸识别方法，具体包括如下步骤：

S201、获取人脸识别图库,并执行步骤S205。

进一步地，人脸识别图库可通过如下方式构建：用户获取希望进行识别的人物的多张不同角度的人脸图像，将同一人物的各人脸图像作为一个人脸图像集合，并为同一人脸图像集合中的所有人脸图像分配同样的身份标识号，将各人脸图像集合的组合确定为人脸识别图库。

进一步地，人脸识别图库还可通过如下方式构建：用户将希望进行识别的人物名输入本地公共人脸库或在线公共人脸库中，由本地公共人脸库或在线公共人脸库中提取与人物名对应的多张不同角度的人脸图像，通过上述人脸图像构建一个人脸图像集合。在用户输入的人物名大于一个时，分别对各人物名进行查找并生成与人物名对应的人脸图像集合，并未同一人脸图像集合中的所有人脸图像分配同样的身份标识号，将各人脸图像集合的组合确定为人脸识别图库。

S202、获取待识别视频。

S203、根据预设人脸检测模型对待识别视频进行逐帧识别，确定待识别视频中各帧对应的视频人脸图像。

具体的，由于待识别视频可理解为一系列视频帧以给定的频率顺序显示，故可将待识别视频划分为多个视频帧，各视频帧可看作为一张包含一个或多个人脸的图像。将各视频帧依据先后顺序输入至预设人脸检测模型中，根据预设人脸检测模型的输出结果确定各视频帧对应的一张或多张视频人脸图像。可选的，预设人脸检测模型可为多任务卷积神经网络模型(Multi-Task Convolutional Neural Network，MTCNN)，也可为其他可针对图像进行人脸检测的模型，本发明实施例对此不进行限制。

在一种可能实施方式中，当预设人脸检测模型为MTCNN模型时，针对待识别图像中的一个视频帧，该视频帧会按照不同的缩放比例缩放为大小不同的图片，形成图片的特征金字塔。并将缩放后的图片输入至MTCNN中，人脸检测框和人脸关键点的定位将经过三个阶段的级联网络的调整。其中，第一阶段为一个全卷积网络(Proposal Network，P-Net)，在该阶段主要获得了人脸区域的候选窗口和边界框的回归向量，并利用边界框做回归，对候选窗口进行校准，通过非极大值抑制算法来合并高度重叠的候选框，并将P-Net的输出作为下一阶段的输入；第二阶段为提取细节特征的卷积神经网络(Refinement Network，R-Net)，在该阶段经过P-Net的候选框在R-Net网络中训练，然后利用边界框的回归值微调候选窗体，在利用非极大值抑制算法去除重叠窗体，并将该阶段的输出作为下一阶段的输入；第三阶段为输出网络(Output Network-O-Net)，该阶段的卷积神经网络功能与R-Net作用类似，在去除重叠候选窗口的同时，显示出确定出人脸的五个人脸关键点定位。

S204、将各视频人脸图像的集合确定为视频人脸集合。

具体的，将待识别视频各视频帧进行人脸检测后得到的所有视频人脸图像的集合确定为视频人脸集合。

需要明确的是，步骤S201与步骤S202-S204之间并不存在执行的先后顺序，可以由S201-S204顺序执行，也可先执行S202-S204后执行S201，也可同时执行，本发明实施例对此不进行限制。可选的，图2中以步骤S201与步骤S202-S204同时执行为例。

S205、针对视频人脸集合中的每一个视频人脸图像，确定视频人脸图像对应的视频人脸特征。

具体的，针对视频人脸集合中的每一个视频人脸图像，将视频人脸图像输入至预先训练的人脸特征提取网络模型中进行人脸特征提取，并将提取到的人脸特征确定为视频人脸图像对应的视频人脸特征。可选的，人脸特征提取网络模型可为FACENET网络模型，也可为其他可针对图像进行人脸特征提取的模型，本发明实施例对此不进行限制。

在本发明实施例中，在通过FACENET网络模型实现人脸特征提取时，由于FACENET网络模型是通过将人脸图像映射至一个多维空间，通过空间距离表示人脸的相似度，其在网络学习时学习的不是一个分类器，故无需针对不同的输入数据进行不同的训练以保证准确度，提升了人脸特征确定的准确性与便捷度。

S206、确定视频人脸特征与人脸识别图库中各人脸图像对应图库人脸特征间的特征相似度。

在本实施例中，特征相似度可理解为不同人脸特征间的相似程度，可选的，特征相似度可通过特征向量距离大小表示，也可通过其他可行方式表示，本发明实施例对此不进行限制。

具体的，将人脸识别图库中的各人脸图像依次输入至预先训练的人脸特征提取网络模型中进行人脸特征提取，并将提取到的人脸特征确定为人脸图像对应的图库人脸特征。针对一个视频人脸图像，可确定视频人脸特征相对于各图库人脸特征间的特征向量距离，并可将特征向量距离确定为视频人脸特征与图库人脸特征间的特征相似度。需要明确的是，随着特征向量距离的增大可认为特征相似度降低，随着特征向量距离的减小可认为特征相似度增高。可选的，人脸特征提取网络模型可为FACENET网络模型，也可为其他可针对图像进行人脸特征提取的模型，本发明实施例对此不进行限制。

S207、判断各特征相似度是否均小于预设相似度阈值，若是，则执行步骤S208，若否，则执行步骤S209。

具体的，在特征相似度小于预设相似度阈值时，也即当两图像间的特征向量距离大于预设距离阈值时可认为特征相似度小于预设相似度阈值，可认为与该特征相似度对应的人脸图像与视频人脸图像中所对应的人物并不相同，若同一视频人脸图像对应的各特征相似度均小于预设相似度阈值，则可认为该视频人脸图像对应的人物并未包含于人脸识别图库中，此时执行步骤S208；否则，可认为该视频人脸图像可能包含属于人脸识别图库中的人物，此时执行步骤S209。

S208、将视频人脸图像确定为非目标视频人脸图像。

具体的，在各特征相似度均小于预设相似度阈值时，可认为该视频人脸图像中大概率没有包含用户希望识别的人物，不会成为最终输出的目标视频人脸图像，此时将该视频人脸图像确定为非目标视频人脸图像，无需对其进行二次筛选。

S209、将视频人脸图像确定为候选视频人脸图像。

具体的，在各特征相似度中存在大于或等于预设相似度阈值的特征相似度时，可认为该特征相似度对应的视频人脸图像中对应的人物可能存在于人脸识别图库中，也即该视频人脸图像中可能为最终需要提取出的目标视频人脸图像，但考虑到人脸识别图库中可能存在具有相似面部特征的两个人物所对应的图像，故需对特征相似度大于或等于预设相似度阈值的视频人脸图像进行二次筛选，以确定该视频人脸图像中是否确实包含用户希望识别的人物，因此将确定出的视频人脸图像确定为候选视频人脸图像。

S210、在人脸识别图库中，确定特征相似度大于或等于预设相似度阈值的候选人脸图像。

具体的，针对确定出的每一个候选视频人脸图像，根据该候选视频人脸图像相对于人脸识别图库中各人脸图像间的特征相似度，在人脸识别图库中确定特征相似度大于或等于预设相似度阈值的一个或多个人脸图像，可认为确定出的人脸图像与候选视频人脸图像间相似度较高，均可能代表候选视频人脸图像中人物的身份。但由于人脸识别图库中可能同时存在多个不同人物所对应的人脸图像，不同人物间可能存在较为相似的人脸特征，且由于人脸识别图库中各人脸图像均具有自身对应的身份标识号，故可将特征相似度大于或等于预设相似度阈值的人脸图像确定为候选人脸图像，以对候选视频人脸图像进行二次筛选，以避免候选视频人脸图像中人物身份识别不清。

S211、将各候选人脸图像的集合确定为候选人脸图像集合。

具体的，将确定出的所有候选人脸图像构成一个集合，并将该集合确定为与候选视频人脸图像间存在对应关系的候选人脸图像结合。

S212、针对每一个候选人脸图像集合，确定候选人脸图像集合中各候选人了图像对应的身份标识号。

具体的，由于每一个候选人脸图像集合均有对应的候选视频人脸图像，故可根据候选人脸图像集合判断其对应的候选视频人脸图像是否为希望识别出的目标视频人脸图像，且由于候选人脸图像集合中的各候选人脸图像均属于人脸识别图库，人脸识别图库中的各人脸图像均具有对应的身份标识号，因此可确定候选人脸图像集合中各候选人脸图像对应的身份标识号。

需要明确的是，候选人脸图像可能属于人脸识别图库中的不同人脸图像集合，同一人脸图像集合中的人脸图像具有相同的身份标识号，故候选人脸图像集合中可同时存在身份标识相同的候选人脸图像，和身份标识号不同的候选人脸图像。

S213、判断各身份标识号中相同身份标识号的比例是否大于预设比例阈值，若是，则执行步骤S214，若否，则执行步骤S215。

具体的，由于候选人脸图像集合中的身份标识号可用以表明候选人脸图像对应的人物，相同身份标识号对应的候选人脸图像可认为对应着同一人物。因此通过候选人脸图像集合中各候选人脸图像对应的身份标识号，可确定候选人脸图像集合中具体对应的候选人物，进而根据各候选人物对应的身份标识号的个数，确定候选人脸图像集合应对应的人物。进一步地，由于候选人脸图像集合中可对应多个较为相似的人物，故可能存在不同身份标识号个数相同的情况，因此可设置一个预设比例阈值，认为候选人脸图像集合中相同身份标识号的比例超过该预设比例阈值时，该相同身份标识号对应的人物在候选人脸图像集合中占主导地位，候选人脸图像集合所应对应的人物即为该相同身份标识号对应的人物。此时，若各身份标识号中相同身份标识号的比例大于预设比例阈值，则执行步骤S214；否则，执行步骤S215。

S214、将候选人脸图像集合对应的候选视频人脸图像确定为目标视频人脸图像，并将相同身份标识号确定为目标视频人脸图像的目标身份标识号。

具体的，当各身份标识号中相同身份标识号的比例大于预设比例阈值，则可认为候选视频人脸图像可明确代表候选人脸图像集合中相同身份标识号对应的人物，可明确候选视频人脸图像对应的人物，此时将候选视频人脸图像确定为目标视频人脸图像，并将该相同身份标识号确定为目标视频人脸图像对应的目标身份标识号。

S215、将候选人脸图像集合对应的候选视频人脸图像确定为非目标视频人脸图像。

具体的，当各身份标识号中相同身份标识号的比例小于或等于预设比例阈值，则可认为难以确定出候选视频人脸图像对应于候选人脸图像集合中的具体人物，可能存在识别错误情况，故可将该候选人脸图像集合对应的候选视频人脸图像确定为非目标视频人脸图像。

进一步地，人脸识别图库中的各人脸图像集合均具有与其唯一关联的人物标签，故在将候选人脸图像集合对应的候选视频人脸图像确定为目标视频人脸图像，并将相同身份标识号确定为目标视频人脸图像的目标身份标识号之后，还包括：

A、确定目标身份标识号对应的目标人脸图像集合。

具体的，在人脸识别图库中确定目标身份标识号对应的人脸图像集合，并将该人脸图像集合确定为与目标身份标识号对应的目标人脸图像集合。

B、将目标人脸图像集合关联的人物标签确定为目标视频人脸图像对应的目标人物标签。

具体的，由于目标人脸图像集合对应的人物即可认为是目标视频人脸图像对应的人物，因此目标人脸图像集合关联的人物标签也可认为是目标视频人脸图像对应的人物标签，也即将目标人脸图像集合关联的人物标签确定为目标视频人脸图像对应的目标人物标签。

C、确定目标视频人脸图像在待识别视频中的目标视频帧。

具体的，根据目标视频人脸图像在视频人脸集合中的位置确定目标视频人脸图像在待识别视频中所属的视频帧，并将该视频帧确定为目标视频帧。

D、根据目标视频人脸图像、目标人物标签与目标视频帧间的对应关系，生成待识别视频的目标人物识别结果。

具体的，将目标视频人脸图像、目标人物标签与目标视频帧对应进行关联，根据其关联关系生成待识别视频的目标人物识别结果。也即目标人物识别结果中包含目标人物的目标人物标签，目标人物在待识别视频中所在的视频帧，以及在对应视频帧中的位置。同时，用户还可根据人物标签直接在待识别视频中提取目标人物在待识别视频中的位置和图像。

本发明实施例的技术方案，在通过视频人脸图像集合中各视频人脸图像对应的视频人脸特征，和人脸识别图库中各人脸图像对应的图库人脸特征确定其对应的特征相似度，对视频人脸集合进行初步筛选，得到对应的候选视频人脸图像，进而通过候选视频人脸图像对应的特征相似度在人脸识别图库中确定对应的候选人脸图像集合，通过候选人脸图像集合中各候选人脸图像具有的身份标识号对候选视频人脸图像进行二次筛选，仅在候选人脸图像集合中相同标识号比例大于预设比例阈值时认为候选视频人脸图像所对应的目标人物明确，可将其确定为目标视频人脸图像。由于采用了二次筛选使得确定出的目标视频人脸图像更加准确，且由于将目标视频人脸图像根据人脸识别图库中各人脸图像集合对应的人物标签进行打标，使得目标视频人脸图像确定出的目标人物标签更加准确，避免了相似人脸图像对目标视频人脸图像打标的干扰，在提升了对目标人物识别的准确性的同时，实现了目标人物在待识别视频中的精确定位，使得目标人物识别结果更加完善。

实施例三

图3为本发明实施例三提供的一种人脸识别装置的结构示意图，该人脸识别装置包括：人脸信息获取模块31，候选人脸确定模块32和目标人脸确定模块33。

其中，人脸信息获取模块31，用于获取人脸识别图库，以及与待识别视频对应的视频人脸集合，人脸识别图库中包括至少一个人脸图像集合，人脸图像集合中各人脸图像具有相同身份标识号；候选人脸确定模块32，用于根据视频人脸集合、人脸识别图库和预设识别条件，在视频人脸集合中确定至少一个候选视频人脸图像，并确定与各候选视频人脸图像对应的候选人脸图像集合；目标人脸确定模块33，用于根据各候选人脸图像集合对应的身份标识号，在各候选视频人脸图像中确定目标视频人脸图像。

本实施例的技术方案，首先根据预设识别条件以及获取的人脸识别图库，确定视频人脸集合中可能属于人脸识别图库中人脸的候选视频人脸图像，以及人脸识别图库中与候选视频人脸图像对应的候选人脸图像集合；然后再根据人脸识别图库中各人脸图像所对应的身份标识号，确定各候选人脸图像集合所对应的多个身份标识号，进而通过身份标识号对候选视频人脸图像进行二次筛选，最终确定目标视频人脸图像。解决了当人脸识别图库中具有多个相似人脸图像时，仅进行一次筛选在待识别视频中确定出的人脸图像识别结果准确性差的问题，可对相似人脸进行高精度识别，提高了人脸图像识别的准确性。

可选的，人脸信息获取模块31，包括：

视频获取单元，用于获取待识别视频。

视频人脸确定单元，用于根据预设人脸检测模型对待识别视频进行逐帧识别，确定待识别视频中各帧对应的视频人脸图像；

视频集合确定单元，用于将各视频人脸图像的集合确定为视频人脸集合。

候选人脸确定模块32，包括：

视频特征确定单元，用于针对视频人脸集合中的每一个视频人脸图像，确定视频人脸图像对应的视频人脸特征。

相似度确定单元，用于确定视频人脸特征与人脸识别图库中各人脸图像对应图库人脸特征间的特征相似度。

候选视频人脸确定单元，用于判断各特征相似度是否均小于预设相似度阈值；若是，则将视频人脸图像确定为非目标视频人脸图像；否则，将视频人脸图像确定为候选视频人脸图像。

候选人脸图像确定单元，用于在人脸识别图库中，确定特征相似度大于或等于预设相似度阈值的候选人脸图像；将各候选人脸图像的集合确定为候选人脸图像集合。

可选的，目标人脸确定模块33，包括：

身份标识号确定单元，用于针对每一个候选人脸图像集合，确定候选人脸图像集合中各候选人脸图像对应的身份标识号。

目标人脸确定单元，用于若各身份标识号中相同身份标识号的比例大于预设比例阈值，将候选人脸图像集合对应的候选视频人脸图像确定为目标视频人脸图像，并将相同身份标识号确定为目标视频人脸图像的目标身份标识号；否则，将候选人脸图像集合对应的候选视频人脸图像确定为非目标视频人脸图像。

进一步地，人脸图像集合具有唯一关联的人物标签。

可选的，人脸识别装置还包括：

目标人物标签确定模块，用于确定目标身份标识号对应的目标人脸图像集合；将目标人脸图像集合关联的人物标签确定为目标视频人脸图像对应的目标人物标签。

目标人物识别结果确定模块，用于确定目标视频人脸图像在待识别视频中的目标视频帧；根据目标视频人脸图像、目标人物标签与目标视频帧间的对应关系，生成待识别视频的目标人物识别结果。

本发明实施例所提供的人脸识别装置可执行如本发明任意实施例所提供的人脸识别方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4给出了本发明实施例四提供的一种计算机设备的结构示意图。该计算机设备包括：处理器40、存储装置41、显示屏42、输入装置43以及输出装置44。该计算机设备中处理器40的数量可以是一个或者多个，图4中以一个处理器40为例。该计算机设备中存储装置41的数量可以是一个或者多个，图4中以一个存储装置41为例。该计算机设备的处理器40、存储装置41、显示屏42、输入装置43以及输出装置44可以通过总线或者其他方式连接，图4中以通过总线连接为例。实施例中，计算机设备可以是电脑、笔记本或智能平板等。

存储装置41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的计算机设备对应的程序指令/模块(例如，人脸信息获取模块31，候选人脸确定模块32和目标人脸确定模块33)。存储装置41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

显示屏42可以为具有触摸功能的显示屏42，其可以是电容屏、电磁屏或者红外屏。一般而言，显示屏42用于根据处理器40的指示显示数据，还用于接收作用于显示屏42的触摸操作，并将相应的信号发送至处理器40或其他装置。

输入装置43可用于接收输入的数字或者字符信息，以及产生与展示设备的用户设置以及功能控制有关的键信号输入，还可以是用于获取图像的摄像头以及获取音频数据的拾音设备。输出装置44可以包括扬声器等音频设备。需要说明的是，输入装置43和输出装置44的具体组成可以根据实际情况设定。

处理器40通过运行存储在存储装置41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的人脸识别方法。

上述提供的计算机设备可用于执行上述任意实施例提供的人脸识别方法，具备相应的功能和有益效果。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种人脸识别方法，该方法包括：

获取人脸识别图库，以及与待识别视频对应的视频人脸集合，人脸识别图库中包括至少一个人脸图像集合，人脸图像集合中各人脸图像具有相同身份标识号；

根据视频人脸集合、人脸识别图库和预设识别条件，在视频人脸集合中确定至少一个候选视频人脸图像，并确定与各候选视频人脸图像对应的候选人脸图像集合；

根据各候选人脸图像集合对应的身份标识号，在各候选视频人脸图像中确定目标视频人脸图像。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的人脸识别方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：

获取人脸识别图库，以及与待识别视频对应的视频人脸集合，所述人脸识别图库中包括至少一个人脸图像集合，所述人脸图像集合中各人脸图像具有相同身份标识号；

根据所述视频人脸集合、所述人脸识别图库和预设识别条件，在所述视频人脸集合中确定至少一个候选视频人脸图像，并确定与各所述候选视频人脸图像对应的候选人脸图像集合；

根据各所述候选人脸图像集合对应的身份标识号，在各所述候选视频人脸图像中确定目标视频人脸图像。

2.根据权利要求1所述的方法，其特征在于，获取与待识别视频对应的视频人脸集合，包括：

获取待识别视频；

根据预设人脸检测模型对所述待识别视频进行逐帧识别，确定所述待识别视频中各帧对应的视频人脸图像；

将各所述视频人脸图像的集合确定为视频人脸集合。

3.根据权利要求1所述的方法，其特征在于，所述根据所述视频人脸集合、所述人脸识别图库和预设识别条件，在所述视频人脸集合中确定至少一个候选视频人脸图像，包括：

针对所述视频人脸集合中的每一个视频人脸图像，确定所述视频人脸图像对应的视频人脸特征；

确定所述视频人脸特征与所述人脸识别图库中各所述人脸图像对应图库人脸特征间的特征相似度；

判断各所述特征相似度是否均小于预设相似度阈值；

若是，则将所述视频人脸图像确定为非目标视频人脸图像；

否则，将所述视频人脸图像确定为候选视频人脸图像。

4.根据权利要求3所述的方法，其特征在于，所述确定与各所述候选视频人脸图像对应的候选人脸图像集合，包括：

在所述人脸识别图库中，确定所述特征相似度大于或等于所述预设相似度阈值的候选人脸图像；

将各所述候选人脸图像的集合确定为候选人脸图像集合。

5.根据权利要求1所述的方法，其特征在于，所述根据各所述候选人脸图像集合对应的身份标识号，在各所述候选视频人脸图像中确定目标视频人脸图像，包括：

针对每一个候选人脸图像集合，确定所述候选人脸图像集合中各候选人脸图像对应的身份标识号；

若各所述身份标识号中相同身份标识号的比例大于预设比例阈值，将所述候选人脸图像集合对应的候选视频人脸图像确定为目标视频人脸图像，并将所述相同身份标识号确定为所述目标视频人脸图像的目标身份标识号；

否则，将所述候选人脸图像集合对应的候选视频人脸图像确定为非目标视频人脸图像。

6.根据权利要求5所述的方法，其特征在于，所述人脸图像集合具有唯一关联的人物标签；

所述将所述候选人脸图像集合对应的候选视频人脸图像确定为目标视频人脸图像，并将所述相同身份标识号确定为所述目标视频人脸图像的目标身份标识号之后，还包括：

确定所述目标身份标识号对应的目标人脸图像集合；

将所述目标人脸图像集合关联的人物标签确定为所述目标视频人脸图像对应的目标人物标签。

7.根据权利要求6所述的方法，其特征在于，所述将所述目标人脸图像集合关联的人物标签确定为所述目标视频人脸图像对应的目标人物标签之后，还包括：

确定所述目标视频人脸图像在所述待识别视频中的目标视频帧；

根据所述目标视频人脸图像、所述目标人物标签与所述目标视频帧间的对应关系，生成所述待识别视频的目标人物识别结果。

8.一种人脸识别装置，其特征在于，包括：

人脸信息获取模块，用于获取人脸识别图库，以及与待识别视频对应的视频人脸集合，所述人脸识别图库中包括至少一个人脸图像集合，所述人脸图像集合中各人脸图像具有相同身份标识号；

候选人脸确定模块，用于根据所述视频人脸集合、所述人脸识别图库和预设识别条件，在所述视频人脸集合中确定至少一个候选视频人脸图像，并确定与各所述候选视频人脸图像对应的候选人脸图像集合；

目标人脸确定模块，用于根据各所述候选人脸图像集合对应的身份标识号，在各所述候选视频人脸图像中确定目标视频人脸图像。

9.一种计算机设备，其特征在于，包括存储装置以及一个或多个处理器；

所述存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的人脸识别方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一项所述的人脸识别方法。

Images