CN110458026A - 一种人脸采集方法、装置、系统、设备及介质 - Google Patents

Abstract

本发明实施例提供了一种人脸采集方法、装置、系统、设备及介质，方法包括：对视频中的图像帧进行人脸检测，获取待检人脸特征信息；根据待检人脸特征信息，在视频对应的人脸特征库中进行检索匹配；如果检索到同待检人脸特征信息匹配的目标人脸特征信息，则比对待检人脸特征信息和目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；根据比对结果，确定是否用待检人脸特征信息对应的人脸图像替换目标人脸特征信息对应的人脸图像，以作为视频对应的人脸采集结果图像。本发明用于解决在从视频中随机截取采集的图像不一定能表征该视频的主要拍摄对象，不便于后续对视频的查找和检索的技术问题，实现提高查找及检索效率的技术效果。

Description

一种人脸采集方法、装置、系统、设备及介质

技术领域

本发明涉及电子技术领域，尤其涉及一种人脸采集方法、装置、系统、设备及介质。

背景技术

随着通信技术和多媒体技术的发展，视频在娱乐、社交和日常生活等领域的应用更趋于丰富。为了便于用户能快速识别或检索到需要的视频，往往会在视频中采集图片来作为视频的封面或作为检索视频的检索对象。

然而，从视频中随机截取的图像不一定能表征该视频的主要拍摄对象，不便于后续对视频的查找和检索。

发明内容

本发明实施例提供了一种人脸采集方法、装置、系统、设备及介质，用于解决至少部分前述技术问题。

第一方面，提供了一种人脸采集方法，包括：

对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

根据所述比对结果，确定是否用所述待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

第二方面，提供了一种视频拍摄及输出方法，包括：

拍摄装置对拍摄的视频中的图像帧进行人脸检测，并根据检测到的所述图像帧中的待检人脸特征信息，在已存的人脸特征库中进行检索匹配；

如果检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，并根据比对结果，确定人脸采集结果图像；

将所述视频和所述人脸采集结果图像对应上传至服务器并保存；

所述服务器接收到检索信息，根据所述检索信息，在人脸采集结果图像库中检索匹配对应的人脸采集结果图像，生成匹配结果；

所述服务器输出与所述匹配结果对应的视频的信息。

第三方面，提供一种人脸采集装置，包括：

检测模块，用于对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

匹配模块，用于根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

比对模块，用于如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

替换模块，用于根据所述比对结果，确定是否用待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

第四方面，提供一种视频拍摄及输出系统，包括：

拍摄装置，用于对拍摄的视频中的图像帧进行人脸检测，并根据检测到的图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；如果检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，并根据比对结果，确定人脸采集结果图像；将所述视频和所述人脸采集结果图像对应上传至服务器并保存；

服务器，用于接收到检索信息，根据所述检索信息，检索匹配对应的人脸采集结果图像，生成匹配结果；所述服务器输出与所述匹配结果对应的视频的信息。

第五方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

根据所述比对结果，确定是否用所述待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：

对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

根据所述比对结果，确定是否用所述待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明实施例中的人脸采集方法、装置、系统、设备及介质，检测视频中图像帧的待检人脸特征信息待检人脸特征信息，再检索是否已存储有匹配的目标人脸特征信息，如存在则比对待检人脸特征信息所对应的人脸图像和目标人脸特征信息所对应的人脸图像上人脸的偏转角度，根据比对结果确定人脸采集结果图像，从而保证了从视频中采集的图像是偏转角度相对较优的人脸图像，以提高后续根据采集图像来查找或检索视频的效率和准确度。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例中人脸采集方法的流程图；

图2为本发明实施例中旋转角度示意图；

图3为本发明实施例中分数示意图；

图4为本发明实施例中视频拍摄及输出方法的流程图；

图5为本发明实施例中视频拍摄及输出系统的结构示意图；

图6为本发明实施例中人脸采集装置的结构示意图；

图7为本发明实施例中电子设备的结构示意图；

图8为本发明实施例中存储介质的结构示意图。

具体实施方式

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1示出了依据本申请一个实施例的一种人脸采集方法100，如图1所示，包括：

步骤S101，对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

步骤S102，根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

步骤S103，如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

步骤S104，根据所述比对结果，确定是否用待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

本实施例的拍摄视频和进行人脸检测的拍摄装置可以安装于过山车、旋转木马、跳楼机或大摆锤等游乐园设备上，也可以安装于赛车或自行车等交通工具上，还可以安装于手机、电脑或相机等电子设备上。该拍摄装置上集成有具有人脸检测功能的采集模块。优选的，拍摄装置为运动相机。

在某些实施例中，通过人脸采集方法100确定的人脸采集结果图像可以作为视频的人脸封面以便于用户浏览查找，也可以与视频对应存储后用于视频检索。

下面，结合图1详细介绍本申请某些实施例提供的人脸采集方法的具体实施步骤：

步骤S101，对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息。

需要说明的是，对视频中的图像帧进行人脸检测，可以是在拍摄视频的过程中边拍摄边进行人脸检测；也可以是在拍摄完视频后，再进行人脸检测，在此不作限制。

还需要说明的是，视频的任一帧图像上可能会检测出一个或多个人脸图像，检测出的人脸图像的形式可以为矩形边框框出人脸的图像，或者是以人脸轮廓为边框框出人类的图像，或者是以椭圆边框框出人脸的图像，在此不作限制。

在某些实施例中，为了提高采集的人脸图像的质量和可识别度，还设置对人脸检测到的人脸图像进行质量分析，以过滤掉质量不满足要求的人脸图像，只提取未被过滤掉的人脸图像的待检人脸特征信息。具体质量分析的方式可以有多种，下面列举三种为例：

第一种，置信度分析。

即对检测出的每个人脸图像均进行置信度分析，过滤掉其中置信度不满足置信度要求的人脸图像。其中，置信度分析的算法可以采用现有的任意置信度算法。

举例来讲，可以设置过滤掉置信度小于等于0.99的人脸图像，以置信度大于0.99的人脸图像作为检测到的目标人脸图像。

第二种，尺寸分析。

即对检测出的人脸图像进行人脸尺寸分析，过滤掉人脸尺寸不满足尺寸要求的人脸图像，以保证人脸图像的大小足够大。其中，该尺寸要求可以是要求人脸面积大于预设值，也可以是要求人脸在视频的该帧图像上的面积占比大于预设占比。

假设人脸检测出的人脸图像是矩形边框框出的人脸图像，可以该矩形边框的尺寸作为人脸尺寸，以该矩形边框内的区域面积作为人脸面积。

举例来讲，可以设置过滤掉人脸在视频图像上的面积占比小于等于0.8％的人脸图像，以面积占比大于0.8％的人脸图像作为检测到的目标人脸图像。

第三种，曝光度分析。

即对检测出的人脸图像进行曝光度分析，过滤掉曝光度不满足曝光要求的人脸图像，即剔除过暗和过亮的人脸图像。

举例来讲，可以设置过滤掉曝光度(灰度值)小于70或大于160的人脸图像，以曝光度满足70～160的范围的人脸图像作为检测到的目标人脸图像。

当然，对人脸图像进行质量分析的方式不限于上述三种，并且还可以组合多种质量分析方式来协同过滤掉质量差的人脸图像。过滤掉质量差的人脸图像后，获取图像帧中质量较好的人脸图像的待检人脸特征信息。

在某些实施例中，待检人脸特征信息可以包括以下任一种或多种的组合：人脸图像的位置信息、人脸轮廓信息、人脸五官特征信息和人脸发型特征信息等。

步骤S102，根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配。

需要说明的是，在对视频进行人脸检测的过程中，会存储检测到的通过质量分析的人脸图像，并对应存储该人脸图像的特征信息，形成人脸特征库。为了避免同一人的人脸图像存储多次，还设置在视频图像上具有匹配的人脸特征信息的人脸图像仅存储一张。例如，假设待检人脸特征信息为位置信息，则设置在视频图像上所处相同位置的人脸图像仅存储一张，即一个位置仅对应存储一张最优人脸图像，其中，该相同位置为位置信息相同或接近的情况。步骤S102中的已存的人脸特征库，可以包括从开始对该视频进行人脸检测起，至当前所存储的全部人脸图像和人脸特征信息。

在某些实施例中，在所述视频对应的已存的人脸特征库中进行检索匹配的方法较多，为了提高检索准确性，可以设置待检人脸特征信息为人脸轮廓及五官等信息，采用基于深度学习的人脸识别算法来进行检索。

较优的，为了降低检索开销，提高检索效率，可以设置待检人脸特征信息为位置信息，通过位置匹配来进行检索，以确认是否检索到表征的位置与所述位置信息匹配的目标人脸特征信息。

在某些实施例中，检测到的人脸图像后，获取其位置信息的方式也可以有多种，例如，可以以人脸图像的中心坐标作为位置信息，也可以以人脸图像的顶点坐标作为位置信息，还可以以人脸图像的边缘抽取点的坐标作为位置信息。

人脸图像的位置信息的获取方式不同，对应的检索匹配的方式也不相同。下面以位置信息为所述人脸图像的中心坐标为例进行说明：

先获取人脸特征库中已存的各人脸图像的中心坐标，再在获取的各中心坐标中检索与待检人脸特征信息对应的人脸图像的中心坐标的距离符合预设距离要求的匹配中心坐标，以匹配中心坐标作为目标人脸特征信息。较优的，该预设距离要求可以是小于80个像素。

举例来讲，待检人脸特征信息对应的人脸图像的中心坐标为(200，450)，已存的人脸图像有两张，中心坐标分别为(600，100)和(201，448)。其中(201，448)与(200，450)间隔2～3个像素的距离，小于80个像素，则(201，448)为匹配中心坐标，其对应的人脸图像为目标人脸特征信息所对应的人脸图像。

如果在已存的人脸特征库中没有检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则对应存储所述待检人脸特征信息对应的人脸图像和所述待检人脸特征信息。举例来讲，以待检人脸特征信息为位置信息为例，如果在已存的人脸图像中没有检索到所处位置符合待检人脸特征信息所对应的人脸图像的位置信息的人脸图像，则可以认为没有存储与待检人脸特征信息所对应的人脸图像为同一人的人脸图像，故对应存储所述待检人脸特征信息所对应的人脸图像和所述位置信息。

如果如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则执行步骤S103。

步骤S103，比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果。

比对人脸的偏转角度的方式较多，可以是比对人脸上鼻子部位在人脸上的居中度。较优的，还可以是计算出人脸的三维角度来进行比对，以提高比对精确度。下面以比对人脸的三维角度为例来进行说明：

三维的偏转角度比对可以通过计算俯仰角pitch、偏航角yaw、翻滚角roll来实现。如图2所示，人脸上仰或下俯的角度可以通过pitch来表征，人脸左右旋转的角度可以通过yaw来表征，人脸左右摇摆的角度可以通过roll来表征。采用人脸识别技术识别人脸上器官的位置，再通过分析各个器官的位置即可计算出pitch、yaw和roll的具体角度值。

在某些实施例中，计算出pitch、yaw和roll的具体角度值后，进行偏转角度比对的方式可以是比对pitch、yaw和roll的和值；或逐一比对pitch、yaw和roll；较优的，可以是计算出所述待检人脸特征信息所对应的人脸图像上人脸的pitch、yaw和roll的平方和作为所述待检人脸特征信息所对应的人脸图像的偏转角度，并计算出所述目标人脸特征信息所对应的人脸图像上人脸的pitch、yaw和roll的平方和作为所述目标人脸特征信息所对应的人脸图像的偏转角度，再比对。

举例来讲，假设待检人脸特征信息所对应的人脸图像的pitch为10度、yaw为8度、roll为11度；目标人脸特征信息所对应的人脸图像的pitch为6度、yaw为15度、roll为8度，则计算出待检人脸特征信息所对应的人脸图像的偏转角度为10²+8²+11²＝285，目标人脸特征信息所对应的人脸图像的偏转角度为6²+15²+8²＝325。则偏转角度的比对结果为目标人脸特征信息所对应的人脸图像偏转多40。

在某些实施例中，为了是比对结果更能全面的表征人脸图像的显示质量和状态，还可以在比对结果中引入其他因素的比对与偏转角度的比对相结合。例如，还可以引入人脸尺寸进行比对，从而使比对结果更全面化。

具体来讲，比对人脸尺寸的方式较多，可以是比对人脸的面积，或者比对人脸的长度或宽度，还可以是比对人脸在视频一帧图像上的面积占比。

举例来讲，假设待检人脸特征信息所对应的人脸图像在视频一帧图像上的面积占比为25％，目标人脸特征信息所对应的人脸图像在视频一帧图像上的面积占比为31％，则人脸尺寸的比对结果为目标人脸特征信息所对应的人脸图像的面积占比要大6％。

获得比对结果后执行步骤S104，根据所述比对结果，确定是否用所述待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

即如果确定用待检人脸特征信息所对应的人脸图像替换目标人脸特征信息所对应的人脸图像，则以待检人脸特征信息所对应的人脸图像作为该视频对应的人脸采集结果图像；如果确定不用待检人脸特征信息所对应的人脸图像替换目标人脸特征信息所对应的人脸图像，则继续以目标人脸特征信息所对应的人脸图像作为该视频对应的人脸采集结果图像。

根据比对结果确定是否用待检人脸特征信息所对应的人脸图像替换目标人脸特征信息所对应的人脸图像的方式较多，可以根据需要设置，下面列举三种为例：

第一种，仅考虑偏转角度的比对结果。

如果比对结果表征：待检人脸特征信息所对应的人脸图像的偏转角度小于目标人脸特征信息所对应的人脸图像的偏转角度，则用待检人脸特征信息所对应的人脸图像替换目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。反之，则继续以目标人脸特征信息所对应的人脸图像作为该视频对应的人脸采集结果图像。

第二种，先考虑偏转角度的比对结果，再考虑人脸尺寸的比对结果。

如果比对结果表征：待检人脸特征信息所对应的人脸图像的偏转角度减去目标人脸特征信息所对应的人脸图像的偏转角度的差值小于预设角度差值，则进一步判断待检人脸特征信息所对应的人脸图像的人脸尺寸是否大于目标人脸特征信息所对应的人脸图像的人脸尺寸。如果判断结果为是，则用待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。如果比对结果不满足上述条件，则保持人脸采集结果图像为目标人脸特征信息所对应的人脸图像。

在实施过程中，所述预设角度差值为正数。待检人脸特征信息所对应的人脸图像的偏转角度小于等于目标人脸特征信息所对应的人脸图像的偏转角度时，计算出的差值为零或负数，小于预设角度差值；待检人脸特征信息所对应的人脸图像的偏转角度略大于但接近目标人脸特征信息所对应的人脸图像的偏转角度时，计算出的差值也小于预设角度差值。故计算出的偏转角度差值小于预设角度差值时，待检人脸特征信息所对应的人脸图像的正面程度更优于或接近于目标人脸特征信息所对应的人脸图像，在此基础上，如果待检人脸特征信息所对应的人脸图像的人脸尺寸还大于目标人脸特征信息所对应的人脸图像时，则以偏转角度和尺寸综合更优的待检人脸特征信息所对应的人脸图像替换目标人脸特征信息所对应的人脸图像作为人脸采集结果图像。以待检人脸特征信息为位置信息为例，替换后的人脸采集结果图像即该视频在该位置信息所表征的区域在当前所对应存储的人脸图像。

第三种，综合偏转角度的比对结果和人脸尺寸的比对结果。

即预设打分规则，根据待检人脸特征信息所对应的人脸图像的偏转角度和人脸尺寸，采用该打分规则进行打分，获得待检人脸特征信息所对应的人脸图像的待检分数。并根据目标人脸特征信息所对应的人脸图像的偏转角度和人脸尺寸，采用该打分规则进行打分，获得目标人脸特征信息所对应的人脸图像的目标分数。比对该待检分数和目标分数作为比对结果。如果比对结果表征待检分数大于目标分数则用待检人脸特征信息所对应的人脸图像替换目标人脸特征信息所对应的人脸图像，否则，不进行替换。

举例来讲，如图3所示，设置分数与人脸尺寸正相关，与偏转角度反相关。即在人脸尺寸相同时，偏转角度越小分数越大；在偏转角度相同时，人脸尺寸越大分数越大。例如，可以设置分数等于人脸尺寸减去偏转角度，或等于人脸尺寸除以偏转角度等，在此不作限制。

当然，在具体实施过程中，根据比对结果确定是否用待检人脸特征信息所对应的人脸图像替换目标人脸特征信息所对应的人脸图像的方式不限于上述两种，可以根据实际场景要求设置。

确定的人脸采集结果图像可以用于视频的人脸封面，也可以用于与视频对应上传至服务器，以供视频检索。

在另一种实施方式中，本申请还提供了一种视频拍摄及输出方法400，如图4所示，包括：

步骤S401，拍摄装置对拍摄的视频中的图像帧进行人脸检测，并根据检测到的所述图像帧中的待检人脸特征信息，在已存的人脸特征库中进行检索匹配；

步骤S402，如果检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，并根据比对结果，确定人脸采集结果图像；

步骤S403，将所述视频和所述人脸采集结果图像对应上传至服务器并保存；

步骤S404，所述服务器接收到检索信息，根据所述检索信息，在人脸采集结果图像库中检索匹配对应的人脸采集结果图像，生成匹配结果；

步骤S405，所述服务器输出与所述匹配结果对应的视频的信息。

在介绍本实施例提供的方法之前，先介绍其所应用于的系统，如图5所示，该系统包括服务器501，及一个或多个拍摄装置502，其中，服务器501可以为单台服务器(主拍摄装置或独立的服务器)、多台服务器组或云端，在此不作限制。拍摄装置502与服务器501之间可以通过有线或无线网络连接，在此也不作限制。

其中，步骤S401～步骤S403在前已经进行详细介绍，在此不作累述。

步骤S404，所述服务器接收到检索信息，根据所述检索信息，在人脸采集结果图像库中检索匹配对应的人脸采集结果图像，生成匹配结果。

在某些实施例中，服务器可以从用户端或第三方平台接收检索信息来进行视频搜索。该检索信息可以包括人脸特征检索信息(例如，人脸图像或人脸描述数据)和/或限定检索范围的信息(例如，性别、年龄段或身高等)。该人脸特征检索信息可以为用户采用任何图像采集设备(例如手机终端、平板电脑终端、相机等)拍摄的包括需搜索的人脸的图像，也可以为用户已保存的(例如用户本地保存或云存储平台保存)包含待搜索人脸的图像。人脸特征检索信息还可以是包含人脸信息的深度图或具有深度信息的图像。用户向服务器发送检索信息的方式可以是通过扫描二维码进入指令面板后，向服务器发送检索信息，也可以是用户登录应用来发送检索信息，为了提高安全性，还可以设置在服务器向用户输出目标视频之前，或者在服务器接收检索信息之前，会先对用户进行身份验证，以确保用户不是非法干扰用户。但本实施例的作为搜索依据的检索信息的内容及其获取和发送方式均不限于上述列举。

服务器接收到检索信息后，通过现有的人脸匹配算法，在存储的采集结果图像库中查找到与检索信息匹配的人脸采集结果图像。进一步的，在一些实施例中，在接收到检索信息后，服务器首先对检索信息是否符合预设要求进行判断。例如，服务器可以对检索信息的是否包含可进行检索的人脸信息进行质量判断，对检索信息的判断标准可包括但不限于人脸信息的大小、清晰度、相对位置(例如正脸或侧脸)，是否存在发型和饰物遮挡等等。具体的判断过程可以采用针对具体标准，选取常见的图像算法完成，例如模式识别算法或图像清晰度检测算法等等，此处不再赘述。当检索信息不符合预设要求时，服务器向用户端发送信息提示检索信息不合格。

由于检索信息可能存在多个匹配程度较为接近或匹配度较高的人脸特征信息，在一些实施例中，在检索匹配对应人脸特征信息时，服务器还进一步根据检索结果和匹配规则，确定输出的匹配结果(即匹配到的人脸特征信息)。例如，在检索之后，检索结果可以具有数值化的匹配度指数信息，匹配规则可以是对检索结果进行分析，选取匹配度指数大于一个匹配阈值的检索结果作为匹配结果，也可以是选取匹配度指数最高检索结果作为匹配结果，又或者，选取同匹配度最高的检索结果的匹配度指数差距在一个预设差值内所有检索结果作为匹配结果。匹配度指数可以采用任何现有技术中已有的产生人脸图像匹配分数值的方式来获得，故此处不再赘述。在又一些实施例中，匹配规则本身可以根据检索结果的特征来确定。例如，服务器可以对检索结果中返回的采集结果图像的质量进行判断，给出一个质量指数。人脸采集结果图像的质量判断可以基于清晰度和亮度等参数来进行判断。当检索出的人脸采集结果图像的质量指数较低(例如低于一个预设值)时，匹配规则可以设定为选取同匹配度最高的检索结果的匹配度指数差距在一个预设差值内所有检索结果作为匹配结果，当人脸特征信息的质量指数较高时，匹配规则可以设定为选取匹配度指数大于一个匹配阈值的检索结果作为匹配结果。

本领域普通技术人员能够理解，上述规则仅仅是示意性的而非限定性的，具体的匹配规则可视具体情况进行选择，本申请不做限定。根据匹配规则确定输出的匹配结果，能够提高最终输出的匹配结果的准确度和数量上的合理性，优化用户体验，同时避免服务器输出较多低质量无意义的结果，降低系统性能。

步骤S405，所述服务器输出与所述匹配结果对应的视频的信息。

具体的，当服务器获得匹配结果后，根据匹配结果，和服务器存储的采集结果图像与视频的对应关系，查找到匹配结果对应的目标视频，并将该目标视频的信息推送给用户进行播放。

可选的，如果匹配结果对应存储有多个视频，则输出该多个视频的描述信息给用户，以使用户能根据描述信息选择想播放的目标视频。进一步的，服务器可以在接收到用户在多个视频中选择目标视频的选择指令后，根据选择指令，输出目标视频进行播放。其中，该描述信息可以包括以下任一种或多种的组合：拍摄时间、视频播放时长、缩略图或视频质量分数等。该描述信息输出的形式可以是列表输出或分页输出等，在此均不作限制。

需要说明的是，在步骤S404和S405中，当服务器为服务器组时，接收检索信息、匹配查找目标人脸特征信息、输出目标视频、存储视频及存储人脸库等步骤均可以分散在不同的服务器或云端去执行，当然也可以在同一服务器或云端执行，可以根据需要设置，在此不作限制。

在另一种实施方式中，还提供一种人脸采集装置，如图6所示，包括：

检测模块601，用于对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

匹配模块602，用于根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

比对模块603，用于如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

替换模块604，用于根据所述比对结果，确定是否用待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

本实施例中的模块的实施方式均在前已进行详细描述，为了说明书的简洁，在此不作累述。

在另一种实施方式中，还提供一种视频拍摄及输出系统，如图5所示，包括：

拍摄装置502，用于对拍摄的视频中的图像帧进行人脸检测，并根据检测到的图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；如果检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，并根据比对结果，确定人脸采集结果图像；将所述视频和所述人脸采集结果图像对应上传至服务器并保存；

服务器501，用于接收到检索信息，根据所述检索信息，检索匹配对应的人脸采集结果图像，生成匹配结果；所述服务器输出与所述匹配结果对应的视频的信息。

本实施例中的系统在前已进行详细描述，为了说明书的简洁，在此不作累述。

在另一种实施方式中，还提供一种电子设备，如图7所示，包括存储器710、处理器720及存储在存储器710上并可在处理器720上运行的计算机程序711，所述处理器720执行所述计算机程序711时实现以下步骤：

对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

根据所述比对结果，确定是否用所述待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

在另一种实施方式中，还提供一种计算机可读存储介质800，如图8所示，其上存储有计算机程序811，该计算机程序811被处理器执行时实现以下步骤：

对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

根据所述比对结果，确定是否用所述待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种人脸采集方法，其特征在于，包括：

对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

根据所述比对结果，确定是否用所述待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

2.如权利要求1所述的方法，所述对视频中的图像帧进行人脸检测，包括以下任意一种或多种的组合：

对检测出的人脸图像进行置信度分析，过滤掉置信度不满足置信度要求的人脸图像；或者，

对检测出的人脸图像进行人脸尺寸分析，过滤掉人脸尺寸不满足尺寸要求的人脸图像；或者，

对检测出的人脸图像进行曝光度分析，过滤掉曝光度不满足曝光要求的人脸图像。

3.如权利要求1所述的方法，获取所述图像帧中的待检人脸特征信息包括：获取所述图像帧中人脸图像的位置信息；

检索到同所述待检人脸特征信息匹配的目标人脸特征信息包括：检索到表征的位置与所述位置信息匹配的目标人脸特征信息。

4.如权利要求1所述的方法，在根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存人脸特征库中进行检索匹配之后，还包括：

如果在已存的人脸特征库中没有检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则对应存储所述待检人脸特征信息对应的人脸图像和所述待检人脸特征信息。

5.如权利要求1所述的方法，比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，包括：

获取所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的俯仰角、偏航角和翻滚角；

基于人脸的俯仰角、偏航角和翻滚角，比对所述所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度。

6.如权利要求5所述的方法，基于人脸的俯仰角、偏航角和翻滚角，比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，包括：

计算出所述待检人脸特征信息所对应的人脸图像上人脸的俯仰角、偏航角和翻滚角的平方和作为所述待检人脸特征信息所对应的人脸图像的偏转角度，并计算出所述目标人脸特征信息所对应的人脸图像上人脸的俯仰角、偏航角和翻滚角的平方和作为所述目标人脸特征信息所对应的人脸图像的偏转角度；

比对计算出的两个偏转角度。

7.如权利要求1所述的方法，比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果，包括：

比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度和人脸尺寸，获得比对结果。

8.如权利要求7所述的方法，根据所述比对结果，确定是否用所述待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像，包括：

如果所述比对结果表征所述待检人脸特征信息所对应的人脸图像的偏转角度减去所述目标人脸特征信息所对应的人脸图像的偏转角度的差值小于预设角度差值，则判断所述待检人脸特征信息所对应的人脸图像的人脸尺寸是否大于所述目标人脸特征信息所对应的人脸图像的人脸尺寸；

如果判断结果为是，则用所述待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

9.一种视频拍摄及输出方法，其特征在于，包括：

拍摄装置对拍摄的视频中的图像帧进行人脸检测，并根据检测到的所述图像帧中的待检人脸特征信息，在已存的人脸特征库中进行检索匹配；

如果检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，并根据比对结果，确定人脸采集结果图像；

将所述视频和所述人脸采集结果图像对应上传至服务器并保存；

所述服务器接收到检索信息，根据所述检索信息，在人脸采集结果图像库中检索匹配对应的人脸采集结果图像，生成匹配结果；

所述服务器输出与所述匹配结果对应的视频的信息。

10.一种人脸采集装置，其特征在于，包括：

检测模块，用于对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

匹配模块，用于根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

比对模块，用于如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

替换模块，用于根据所述比对结果，确定是否用待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

11.一种视频拍摄及输出系统，其特征在于，包括：

拍摄装置，用于对拍摄的视频中的图像帧进行人脸检测，并根据检测到的图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；如果检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，并根据比对结果，确定人脸采集结果图像；将所述视频和所述人脸采集结果图像对应上传至服务器并保存；

服务器，用于接收到检索信息，根据所述检索信息，检索匹配对应的人脸采集结果图像，生成匹配结果；所述服务器输出与所述匹配结果对应的视频的信息。

12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

根据所述比对结果，确定是否用所述待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下步骤：

对视频中的图像帧进行人脸检测，并获取所述图像帧中的待检人脸特征信息；

根据所述图像帧中的待检人脸特征信息，在所述视频对应的已存的人脸特征库中进行检索匹配；

如果在已存的人脸特征库中检索到同所述待检人脸特征信息匹配的目标人脸特征信息，则比对所述待检人脸特征信息所对应的人脸图像和所述目标人脸特征信息所对应的人脸图像上人脸的偏转角度，获得比对结果；

根据所述比对结果，确定是否用所述待检人脸特征信息所对应的人脸图像替换所述目标人脸特征信息所对应的人脸图像，以作为所述视频对应的人脸采集结果图像。