CN113378764B - 基于聚类算法的视频人脸采集方法、装置、设备及介质 - Google Patents

Abstract

本申请涉及人工智能技术领域，揭露一种基于聚类算法的视频人脸采集方法、装置、设备及介质，其中方法包括通过获取待采集视频，并对待采集视频进行解析和识别处理，以获取待采集视频中的人脸图像信息；针对每帧人脸图像，通过人脸中的预设关键点计算处理，以获取目标人脸图像；然后通过对目标人脸图像进行特征提取，得到目标人脸图像对应的特征信息，然后采用密度聚类算法，对特征信息进行聚类处理，得到特征束，并按照特征束对应的帧顺序进行排列，得到帧索引时序序列，然后对帧索引时序序列进行切分和合并处理，得到目标人物的视频片段。本申请通过对视频中的人脸图像进行筛选和聚类处理，有利于提高视频人脸采集的准确性。

Description

基于聚类算法的视频人脸采集方法、装置、设备及介质

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于聚类算法的视频人脸采集方法、装置、设备及介质。

背景技术

随着人工智能技术的发展，人们对视频中的人物进行自动采集和归类愈发感兴趣，这能够帮助人们分析视频中出现的人物合集和每一个人物的视频片段。

现有的视频人脸采集的方式主要为采用LBP(Local Binary Pattern，局部二值模式)、HOG(Histogram of Oriented Gridients，方向梯度直方图)等人工特征提取算法进行人脸特征的提取，从而实现对视频人脸采集。然而，由于视频中的人脸会动态变化，导致这种方式的人脸采集的准确性较低，不能很好的对视频中的人脸进行采集。现亟需一种能够提高人脸采集准确性的方法。

发明内容

本申请实施例的目的在于提出一种基于聚类算法的视频人脸采集方法、装置、设备及介质，以提高视频图像的解码效率。

为了解决上述技术问题，本申请实施例提供一种基于聚类算法的视频人脸采集方法，包括：

获取待采集视频，并对所述待采集视频进行解析和识别处理，以获取待采集视频中的人脸图像信息，其中，所述人脸图像信息包括每帧人脸图像，以及每帧所述人脸图像对应的人脸图像帧号和人脸包围框坐标；

针对每帧所述人脸图像，选取所述人脸包围框坐标中的预设关键点，并根据所述预设关键点计算出人脸姿态角度；

基于所述人脸姿态角度，对所述人脸图像进行筛选，得到基础人脸图像，并对所述基础人脸图像进行矫正处理，得到目标人脸图像；

通过卷积神经网络对所述目标人脸图像进行特征提取，得到所述目标人脸图像对应的特征信息；

采用密度聚类算法，对所述特征信息进行聚类处理，得到特征束，并按照所述特征束对应的帧顺序进行排列，得到帧索引时序序列，其中，所述特征束代表某一人物的视频片段；

按照预设的方式，对所述帧索引时序序列进行切分和合并处理，得到目标人物的视频片段。

进一步的，所述获取待采集视频，并对所述待采集视频进行解析和识别处理，以获取待采集视频中的人脸图像信息，包括：

获取所述待采集视频，并对所述待采集视频进行解析，以获取所述待采集视频的视频帧和帧率；

按照预设帧率对所述视频帧进行帧采样抽取，以记录每一帧视频帧的帧号；

基于所述视频帧的帧号，对所述视频帧进行人脸识别处理，得到每帧所述人脸图像，并记录所述人脸图像对应的人脸图像帧号以及所述人脸包围框坐标。

进一步的，所述针对每帧所述人脸图像，选取所述人脸包围框坐标中的预设关键点，并根据所述预设关键点计算出人脸姿态角度，包括：

基于所述人脸包围框坐标，将每帧所述人脸图像进行人脸关键点定位，得到人脸轮廓关键点；

选取所述人脸轮廓关键点中的所述预设关键点；

根据所述预设关键点，计算人脸轮廓中的俯仰姿态角、偏航姿态角以及横滚姿态角，并将所述俯仰姿态角、所述偏航姿态角以及所述横滚姿态角作为人脸姿态角度。

进一步的，所述基于所述人脸姿态角度，对所述人脸图像进行筛选，得到基础人脸图像，并对所述基础人脸图像进行矫正处理，得到目标人脸图像，包括：

通过遍历的方式，将每帧所述人脸图像对应的人脸姿态角度与预设姿态角范围进行对比，以选取所述人脸姿态角度处于所述预设姿态角范围内的人脸图像作为基础人脸图像；

通过归一化处理，将所述基础人脸图像归一化到预设尺寸中；

基于所述人脸包围框坐标选取人脸关键点，并基于所述人脸关键点以及所述预设尺寸进行矫正计算，得到所述目标人脸图像。

进一步的，所述基于所述人脸包围框坐标选取人脸关键点，并基于所述人脸关键点以及所述预设尺寸进行矫正计算，得到所述目标人脸图像，包括：

基于所述人脸包围框坐标，选取人脸中的左瞳孔中心、右瞳孔中心、左嘴角以及右嘴角对应的关键点作为所述人脸关键点；

根据所述人脸关键点进行计算处理，得到平面旋转矫正角、放缩系数、旋转中心，并将所述平面旋转矫正角、所述放缩系数、所述旋转中心以及所述预设尺寸作为矫正系数；

采用仿射变换的方式，基于所述矫正系数对所述基础人脸图像进行矫正，得到所述目标人脸图像。

进一步的，所述特征信息包括人脸图像特征以及所述人脸图像帧号，所述采用密度聚类算法，对所述特征信息进行聚类处理，得到特征束，并按照所述特征束对应的帧顺序进行排列，得到帧索引时序序列，包括：

将所述人脸图像特征与预设向量进行向量计算，得到目标矩阵；

基于密度聚类算法，对所述目标矩阵进行聚类处理，得到所述特征束；

根据所述人脸图像帧号的先后顺序，将所述特征束进行排列，得到所述帧索引时序序列。

进一步的，所述按照预设的方式，对所述帧索引时序序列进行切分和合并处理，得到目标人物的视频片段，包括：

根据预设起始标记、预设结束标记以及预设时间间隔，对所述帧索引时序序列进行切分，得到切分片段；

获取切分片段对应的帧率大于所述待采集视频对应帧率的切分片段，作为目标切分片段；

将所述目标切分片段按照所述人脸图像帧号的先后顺序进行合并，得到所述目标人物的视频片段。

为了解决上述技术问题，本申请实施例提供一种基于聚类算法的视频人脸采集装置，包括：

待采集视频获取模块，用于获取待采集视频，并对所述待采集视频进行解析和识别处理，以获取待采集视频中的人脸图像信息，其中，所述人脸图像信息包括每帧人脸图像，以及每帧所述人脸图像对应的人脸图像帧号和人脸包围框坐标；

人脸姿态角度计算模块，用于针对每帧所述人脸图像，选取所述人脸包围框坐标中的预设关键点，并根据所述预设关键点计算出人脸姿态角度；

目标人脸图像获取模块，用于基于所述人脸姿态角度，对所述人脸图像进行筛选，得到基础人脸图像，并对所述基础人脸图像进行矫正处理，得到目标人脸图像；

特征信息提取模块，用于通过卷积神经网络对所述目标人脸图像进行特征提取，得到所述目标人脸图像对应的特征信息；

特征信息聚类处理模块，用于采用密度聚类算法，对所述特征信息进行聚类处理，得到特征束，并按照所述特征束对应的帧顺序进行排列，得到帧索引时序序列，其中，所述特征束代表某一人物的视频片段；

目标视频片段获取模块，用于按照预设的方式，对所述帧索引时序序列进行切分和合并处理，得到目标人物的视频片段。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种计算机设备，包括，一个或多个处理器；存储器，用于存储一个或多个程序，使得一个或多个处理器实现上述任意一项所述的基于聚类算法的视频人脸采集方法。

为解决上述技术问题，本发明采用的一个技术方案是：一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的基于聚类算法的视频人脸采集方法。

本发明实施例提供了一种基于聚类算法的视频人脸采集方法、装置、设备及介质。本发明实施例通过获取待采集视频，并对待采集视频进行解析和识别处理，以获取待采集视频中的人脸图像信息；针对每帧人脸图像，通过人脸中的预设关键点计算处理，来筛选出目标人脸，有利于提高视频人脸的采集效率；同时通过对目标人脸图像进行特征提取，得到目标人脸图像对应的特征信息，然后采用密度聚类算法，对特征信息进行聚类处理，得到特征束，并按照特征束对应的帧顺序进行排列，得到帧索引时序序列，使得将同一人物的视频进行聚合，再对帧索引时序序列进行切分和合并处理，得到目标人物的视频片段。实现对视频中的人脸图像进行识别、筛选和矫正处理，有利于通过标准的人脸图像进行后续的人脸采集，同时还对目标人脸图像进行特征提取、特征聚类和切分处理，实现将视频中同一人物的视频片段进行精准筛选，从而有利于提高视频人脸采集的准确性。

附图说明

为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1根据本申请实施例提供的基于聚类算法的视频人脸采集方法的一实现流程图；

图2是本申请实施例提供的人脸轮廓关键点示意图；

图3是本申请实施例提供的基于聚类算法的视频人脸采集方法中子流程的一实现流程图；

图4是本申请实施例提供的基于聚类算法的视频人脸采集方法中子流程的又一实现流程图；

图5是本申请实施例提供的基于聚类算法的视频人脸采集方法中子流程的又一实现流程图；

图6是本申请实施例提供的基于聚类算法的视频人脸采集方法中子流程的又一实现流程图；

图7是本申请实施例提供的基于聚类算法的视频人脸采集方法中子流程的又一实现流程图；

图8是本申请实施例提供的基于聚类算法的视频人脸采集方法中子流程的又一实现流程图；

图9是本申请实施例提供的基于聚类算法的视频人脸采集装置示意图；

图10是本申请实施例提供的计算机设备的示意图。

具体实施方式

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。

下面结合附图和实施方式对本发明进行详细说明。

请参阅图1和图2，图1示出了基于聚类算法的视频人脸采集方法的一种具体实施方式；图2示出了一种人脸轮廓关键点示意图。

需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限，该方法包括如下步骤：

S1：获取待采集视频，并对待采集视频进行解析和识别处理，以获取待采集视频中的人脸图像信息。

在本申请实施例中，为了更清楚的理解技术方案，下面对本申请所涉及的终端进行详细介绍。其中，本申请是在服务器的角度描述技术方案。

一是服务器，服务器能够通过从数据仓库中获取待采集视频，也可以从外部连接的数据库获取待采集视频，还可以接收用户端所传输的待采集视频。服务器通过对待采集视频进行解析和识别，得到人脸图像信息，并基于人脸图像信息，获取待采集视频中每个人物的视频片段，并将该视频片段发送到用户端。

二是用户端，用户端可以将待采集视频到服务器中，以使得服务器对待采集视频进行识别；用户端也可以接收服务器所返回的每个人物对应的视频片段。

具体的，在服务器接收到待采集视频时，会对待采集视频进行解析，以获取待采集视频对应的视频帧和帧率，再按照fps/10帧取一帧的策略对视频帧进行帧采样抽取，并记录其实际帧号。通过帧采样抽取，按照视频帧的帧号，依次对所有的视频帧进行人脸识别，得到人脸图像，以及该人脸图像对应的人脸图像帧号。其中，人脸包围框坐标是指在人脸图像中进行建立的坐标，用于提取人脸轮廓中不同位置的关键点。

请参阅图3，图3示出了步骤S1的一种具体实施方式，详叙如下：

S11：获取待采集视频，并对待采集视频进行解析，以获取待采集视频的视频帧和帧率。

具体的，可采用视频解析工具对待采集视频进行解析，该视频解析工具可以为Adobe Premiere Pro(简称Pr)、Adobe After Effects(简称AE)等。

S12：按照预设帧率对视频帧进行帧采样抽取，以记录每一帧视频帧的帧号。

其中，预设帧率根据实际情况进行设定，此处不做限定。在一具体实施例中，预设帧率为fps/10。

S13：基于视频帧的帧号，对视频帧进行人脸识别处理，得到每帧人脸图像，并记录人脸图像对应的人脸图像帧号以及人脸包围框坐标。

具体的，本着应检尽检的原则，根据视频帧的帧号先后顺序，依次抽取视频帧进行人脸识别，若识别的视频帧为人脸图像，则记录该人脸图像的帧号和人脸包围框坐标；若识别的视频帧不是人脸图像，则删除该视频帧，以减少数据冗余。

本实施例中，通过获取待采集视频，并对待采集视频进行解析，以获取待采集视频的视频帧和帧率，再按照预设帧率对视频帧进行帧采样抽取，以记录每一帧视频帧的帧号，然后基于视频帧的帧号，对视频帧进行人脸识别处理，得到每帧人脸图像，并记录人脸图像对应的人脸图像帧号以及人脸包围框坐标，实现了对待采集视频的所有视频帧进行逐一识别，避免视频帧识别错漏，提高人脸识别精度，同时还记录人脸图像帧号和人脸包围框坐标，有利于后续关键点选取和提高人脸识别和人脸矫正的精度。

S2：针对每帧人脸图像，选取人脸包围框坐标中的预设关键点，并根据预设关键点计算出人脸姿态角度。

具体的，针对每帧人脸图像，在人脸图像的局部区域内，基于人脸包围框坐标，通过深度学习人脸关键点定位算法进行人脸的关键点定位，并将关键点坐标还原到人脸包围框坐标中，得到人脸轮廓关键点，请参阅图2，图2示出了一种人脸轮廓关键点示意图，在图2中每个数据所在处代表一个关键点。再通过从该人脸轮廓关键点中，选取部分关键点作为预设关键点；再通过预设关键点计算出人脸姿态角度。

其中，预设关键点可以根据实际情况进行选择，在本申请实施例中，预设关键点选择图2中的34、39、51、47、67、56、66、80、58、64、85、91、94、17等14个点。

请参阅图4，图4示出了步骤S2的一种具体实施方式，详叙如下：

S21：基于人脸包围框坐标，将每帧人脸图像进行人脸关键点定位，得到人脸轮廓关键点。

S22：选取人脸轮廓关键点中的预设关键点。

具体的，通过将每帧人脸图像定位到人脸轮廓关键点中，再再人脸轮廓关键点中，选取不同的关键点，用以计算人脸姿态角，从而对人脸图像进行初步筛选。

S23：根据预设关键点，计算人脸轮廓中的俯仰姿态角、偏航姿态角以及横滚姿态角，并将俯仰姿态角、偏航姿态角以及横滚姿态角作为人脸姿态角度。

在一具体实施例中，选取的预设关键点为图2中的34、39、51、47、67、56、66、80、58、64、85、91、94、17等14个点，该14个关键点所在的位置分别为人脸轮廓中两边眉毛的左右两侧、两个眼睛的左右两侧、鼻子左右两侧、嘴巴左右两侧，下巴上下两端。通过选取的预设关键点可以计算出人脸轮廓中的俯仰姿态角、偏航姿态角以及横滚姿态角，再将俯仰姿态角、偏航姿态角以及横滚姿态角作为人脸姿态角度。

本实施例中，通过建立每帧人脸图像的人脸轮廓关键点,并选取预设关键点，进行计算人脸姿态角度，便于判别每帧人脸图像的偏离程度，若偏离程度较低，则将该人脸图像进行删除，有利于对人脸图像进行初步筛选，剔除人脸图像偏离较大的图像，减少数据冗余和减少偏离较大的人脸图像对后续人脸采集的干扰，从而有利于后续人脸采集，进而提高视频人脸采集的准确度。

S3：基于人脸姿态角度，对人脸图像进行筛选，得到基础人脸图像，并对基础人脸图像进行矫正处理，得到目标人脸图像。

具体的，上述步骤已经计算出了每帧人脸图像的俯仰姿态角、偏航姿态角以及横滚姿态角，所以先预设一个姿态角范围，将每帧人脸图像与该姿态角范围进行对比，若人脸图像的俯仰姿态角、偏航姿态角以及横滚姿态角均落在该范围内，则将该人脸图像作为基础人脸图像；若人脸图像的俯仰姿态角、偏航姿态角以及横滚姿态角任一角度未落在该范围内时，则将该人脸图像进行删除。然后，在重新选择关键点，计算人脸的矫正系数，对基础人脸图像进行矫正，从而得到目标人脸图像。

请参阅图5，图5示出了步骤S3的一种具体实施方式，详叙如下：

S31：通过遍历的方式，将每帧人脸图像对应的人脸姿态角度与预设姿态角范围进行对比，以选取人脸姿态角度处于预设姿态角范围内的人脸图像作为基础人脸图像。

具体的，通过遍历的方式，将每帧人脸图像对应的人脸姿态角度与预设姿态角范围进行对比，并将俯仰姿态角、偏航姿态角以及横滚姿态角任一一角度未落在预设姿态角范围的人脸图像进行删除，以减少偏离较大的人脸图像对后续人脸采集的干扰。

需要说明的是，预设姿态角范围根据实际情况进行设定，此处不做限定。在一具体实施例中，预设姿态角范围为(-45，+45)，若俯仰姿态角、偏航姿态角以及横滚姿态角均落在(-45，+45)时，则将该人脸图像作为基础人脸图像。

S32：通过归一化处理，将基础人脸图像归一化到预设尺寸中。

S33：基于人脸包围框坐标选取人脸关键点，并基于人脸关键点以及预设尺寸进行矫正计算，得到目标人脸图像。

具体的，针对保留下来的基础人脸图像，将进行下一步的数据处理，即为人脸特征提取做对齐矫正。先将人脸图像进行归一化处理，将其归一化到预设尺寸中。其中，预设尺寸根据实际情况进行设定，此处不做限定，在一具体实施例中，预设尺寸为size(112,96)。再在上述人脸轮廓关键点中，选取部分人脸关键点，并基于人脸关键点计算人脸图像中的平面旋转矫正角、放缩系数、旋转中心，从而人脸矫正处理，得到目标人脸图像。

本实施例中，通过人脸姿态角度与预设姿态角度进行对比，筛选出基础人脸图像，再通过归一化处理，将基础人脸图像归一化到预设尺寸中，然后基于人脸包围框坐标选取人脸关键点，并基于人脸关键点以及预设尺寸进行矫正计算，得到目标人脸图像，实现对人脸图像的筛选，剔除人脸图像偏离较大的图像，减少数据冗余和减少偏离较大的人脸图像对后续人脸采集的干扰，同时对人脸图像进行矫正，使得人脸图像呈现正脸图像，有利于提高后续人脸特征提取的精度，从而有利于提高视频人脸采集的准确性。

请参阅图6，图6示出了步骤S33的一种具体实施方式，详叙如下：

S331：基于人脸包围框坐标，选取人脸中的左瞳孔中心、右瞳孔中心、左嘴角以及右嘴角对应的关键点作为人脸关键点。

具体的，由于在人脸轮廓中，人脸中的左瞳孔中心、右瞳孔中心、左嘴角以及右嘴角能够影响人脸正面呈现程度，所以选取人脸中的左瞳孔中心、右瞳孔中心、左嘴角以及右嘴角对应的关键点作为人脸关键点。

S332：根据人脸关键点进行计算处理，得到平面旋转矫正角、放缩系数、旋转中心，并将平面旋转矫正角、放缩系数、旋转中心以及预设尺寸作为矫正系数。

具体的，请参阅图2，选取的人脸关键点分别为瞳孔中心105，右瞳孔中心106，左嘴角85，右嘴角91。再计算出两个瞳孔中心连线中心点C1与两嘴角连线中心点C2，根据C1与C2点计算出平面旋转矫正角angle；然后计算C1与C2点之间的直线距离，并将其规定化至40个像素，得到放缩系数scale，取105、106、85、91四点的形心为旋转中心center。从而得到平面旋转矫正角、放缩系数、旋转中心，再将平面旋转矫正角、放缩系数、旋转中心以及预设尺寸作为矫正系数。

S333：采用仿射变换的方式，基于矫正系数对基础人脸图像进行矫正，得到目标人脸图像。

具体的，将矫正系数通过仿射变换后，对基础人脸图像进行矫正。其中，仿射变换，又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。在本申请实施例中，采用仿射变换的方式，将矫正系数对基础人脸图像进行矫正，得到目标人脸图像。

本实施例中，通过选取选取人脸中的左瞳孔中心、右瞳孔中心、左嘴角以及右嘴角对应的关键点作为人脸关键点,并计算平面旋转矫正角、放缩系数、旋转中心，再采用仿射变换的方式，将矫正系数对基础人脸图像进行矫正，得到目标人脸图像，实现将每帧人脸图像依次进行矫正，使得人脸图像以正脸的形式进行呈现，有利于提高后续的人脸特征提取，同时有利于提高聚类算法的精度，从而有利于提高视频人脸采集的准确度。

S4：通过卷积神经网络对目标人脸图像进行特征提取，得到目标人脸图像对应的特征信息。

具体的，通过卷积神经网络对目标人脸图像提取特征，并将其嵌入至128维进行输出，得到目标人脸图像对应的特征信息。该特征信息包括人脸图像特征、人脸图像帧号、位置信息等信息，再以{f_10n-1,(x₁,y₁),(x₂,y₂),fea128}形式进行存储。

S5：采用密度聚类算法，对特征信息进行聚类处理，得到特征束，并按照特征束对应的帧顺序进行排列，得到帧索引时序序列。

具体的，通过密度聚类算法，以人脸图像特征作为聚类中心进行聚类处理，得到各个聚类中心，每个聚类中心为每个特征束，且每个特征束代表着某一个人物的视频片段集。再按照特征束中对应的人脸图像帧号的先后顺序进行排列，从而得到帧索引时序序列。其中，帧索引时序序列是各个人物的视频片段的组合。

请参阅图7，图7示出了步骤S5的一种具体实施方式，详叙如下：

S51：将人脸图像特征与预设向量进行向量计算，得到目标矩阵。

具体的，将上述提取的人脸图像特征与预设向量进行向量计算，得到目标矩阵。在本申请实施例中，将提取到的人脸图像特征K与128维向量进行组合，形成k*128的矩阵，也即目标矩阵。

S52：基于密度聚类算法，对目标矩阵进行聚类处理，得到特征束。

S53：根据人脸图像帧号的先后顺序，将特征束进行排列，得到帧索引时序序列。

具体的，采用密度聚类算法，将目标矩阵进行聚类处理，得到各个特征束，每个特征束代表着某一个人物的视频片段集。并且特征束是有人脸图像进行组合形成的，通过按照人脸图像帧号的先后顺序，将特征束进行排列，得到帧索引时序序列。

其中，密度聚类算法包括但不限于SS-DBSCAN算法、OPTICS算法、DENCLUE算法等，在本申请实施例中，优选SS-DBSCAN算法,因为SS-DBSCAN算法可以同时兼顾离散特征和连续特征。

本实施例中，通过将人脸图像特征与预设向量进行向量计算，得到目标矩阵，再基于密度聚类算法，对目标矩阵进行聚类处理，得到特征束，然后根据人脸图像帧号的先后顺序，将特征束进行排列，得到帧索引时序序列，实现将同一人脸的人脸图像进行聚类，形成特征束，有利于提高从视频中识别每个人物人脸的精度，从而有利于提高视频人脸采集的准确度。

S6：按照预设的方式，对帧索引时序序列进行切分和合并处理，得到目标人物的视频片段。

具体的，由于帧索引时序序列是各个人物人脸的视频集合，所以对其进行切分后，得到各个切分片段，再将同一人物的切分片段进行合并处理，从而得到各个人物在待采集视频中的视频集合，也即目标人物的视频片段。

本实施例中，通过获取待采集视频，并对待采集视频进行解析和识别处理，以获取待采集视频中的人脸图像信息；针对每帧人脸图像，通过人脸中的预设关键点计算处理，来筛选出目标人脸，有利于提高视频人脸的采集效率；同时通过对目标人脸图像进行特征提取，得到目标人脸图像对应的特征信息，然后采用密度聚类算法，对特征信息进行聚类处理，得到特征束，并按照特征束对应的帧顺序进行排列，得到帧索引时序序列，使得将同一人物的视频进行聚合，再对帧索引时序序列进行切分和合并处理，得到目标人物的视频片段。实现对视频中的人脸图像进行识别、筛选和矫正处理，有利于通过标准的人脸图像进行后续的人脸采集，同时还对目标人脸图像进行特征提取、特征聚类和切分处理，实现将视频中同一人物的视频片段进行精准筛选，从而有利于提高视频人脸采集的准确性。

请参阅图8，图8示出了步骤S6的一种具体实施方式，详叙如下：

S61：根据预设起始标记、预设结束标记以及预设时间间隔，对帧索引时序序列进行切分，得到切分片段。

S62：获取切分片段对应的帧率大于待采集视频对应帧率的切分片段，作为目标切分片段。

S63：将目标切分片段按照人脸图像帧号的先后顺序进行合并，得到目标人物的视频片段。

具体的，设定预设起始标记beginPoint与预设结束endPoint，帧索引时序序列为Seqs、帧率为FPS、以及预设时间间隔分别为片段内时长阈值T1与片段间间隔阈值T2。在帧索引时序序列内初始位置K设定标记beginPoint，逐次向后遍历，若Seqs[K+n]–Seqs[k+n-1]>3*FPS，即在k+n处设为endPoint,Seqs[endPoint]–Seqs[beginPoint]即为切分好的某一片段。若Seqs[endPoint]–Seqs[beginPoint]<FPS,则该时间段舍进行删除；令startPoint＝endpoint，重复上述步骤，直到结束。至此，单一人脸的时序片段划分结束，依次将各段拼接，即为某一人物的所有视频片段，也即为目标人物的视频片段。

本实施例中，根据预设起始标记、预设结束标记以及预设时间间隔，对帧索引时序序列进行切分，得到切分片段，再获取切分片段对应的帧率大于待采集视频对应帧率的切分片段，作为目标切分片段，然后将目标切分片段按照人脸图像帧号的先后顺序进行合并，得到目标人物的视频片段，实现对人物的所有视频片段进行切分和组合，形成目标人物的视频片段，有利于根据每个人物进行切分，从而有利于提高视频人脸采集的准确度。

请参考图9，作为对上述图1所示方法的实现，本申请提供了一种基于聚类算法的视频人脸采集装置的一个实施例，该装置实施例与图1所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图9所示，本实施例的基于聚类算法的视频人脸采集装置包括：待采集视频获取模块71、人脸姿态角度计算模块72、目标人脸图像获取模块73、特征信息提取模块74、特征信息聚类处理模块75及目标视频片段获取模块76，其中：

待采集视频获取模块71，用于获取待采集视频，并对待采集视频进行解析和识别处理，以获取待采集视频中的人脸图像信息，其中，人脸图像信息包括每帧人脸图像，以及每帧人脸图像对应的人脸图像帧号和人脸包围框坐标；

人脸姿态角度计算模块72，用于针对每帧人脸图像，选取人脸包围框坐标中的预设关键点，并根据预设关键点计算出人脸姿态角度；

目标人脸图像获取模块73，用于基于人脸姿态角度，对人脸图像进行筛选，得到基础人脸图像，并对基础人脸图像进行矫正处理，得到目标人脸图像；

特征信息提取模块74，用于通过卷积神经网络对目标人脸图像进行特征提取，得到目标人脸图像对应的特征信息；

特征信息聚类处理模块75，用于采用密度聚类算法，对特征信息进行聚类处理，得到特征束，并按照特征束对应的帧顺序进行排列，得到帧索引时序序列，其中，特征束代表某一人物的视频片段；

目标视频片段获取模块76，用于按照预设的方式，对帧索引时序序列进行切分和合并处理，得到目标人物的视频片段。

进一步的，待采集视频获取模块71包括：

待采集视频解析单元，用于获取待采集视频，并对待采集视频进行解析，以获取待采集视频的视频帧和帧率；

帧采样抽取单元，用于按照预设帧率对视频帧进行帧采样抽取，以记录每一帧视频帧的帧号；

人脸识别单元，用于基于视频帧的帧号，对视频帧进行人脸识别处理，得到每帧人脸图像，并记录人脸图像对应的人脸图像帧号以及人脸包围框坐标。

进一步的，人脸姿态角度计算模块72包括：

人脸关键点定位单元，用于基于人脸包围框坐标，将每帧人脸图像进行人脸关键点定位，得到人脸轮廓关键点；

预设关键点选取单元，用于选取人脸轮廓关键点中的预设关键点；

人脸姿态角确定单元，用于根据预设关键点，计算人脸轮廓中的俯仰姿态角、偏航姿态角以及横滚姿态角，并将俯仰姿态角、偏航姿态角以及横滚姿态角作为人脸姿态角度。

进一步的，目标人脸图像获取模块73包括：

基础人脸图像选取单元，用于通过遍历的方式，将每帧人脸图像对应的人脸姿态角度与预设姿态角范围进行对比，以选取人脸姿态角度处于预设姿态角范围内的人脸图像作为基础人脸图像；

基础人脸图像归一化单元，用于通过归一化处理，将基础人脸图像归一化到预设尺寸中；

人脸图像矫正单元，用于基于人脸包围框坐标选取人脸关键点，并基于人脸关键点以及预设尺寸进行矫正计算，得到目标人脸图像。

进一步的，人脸图像矫正单元包括：

人脸关键点确定子单元，用于基于人脸包围框坐标，选取人脸中的左瞳孔中心、右瞳孔中心、左嘴角以及右嘴角对应的关键点作为人脸关键点；

矫正系数计算子单元，用于根据人脸关键点进行计算处理，得到平面旋转矫正角、放缩系数、旋转中心，并将平面旋转矫正角、放缩系数、旋转中心以及预设尺寸作为矫正系数；

目标人脸图像确定子单元，用于采用仿射变换的方式，基于矫正系数对基础人脸图像进行矫正，得到目标人脸图像。

进一步的，特征信息聚类处理模块75包括：

目标矩阵获取单元，用于将人脸图像特征与预设向量进行向量计算，得到目标矩阵；

特征束获取单元，用于基于密度聚类算法，对目标矩阵进行聚类处理，得到特征束；

帧索引时序序列确定单元，用于根据人脸图像帧号的先后顺序，将特征束进行排列，得到帧索引时序序列。

进一步的，目标视频片段获取模块76包括：

切分片段获取单元，用于根据预设起始标记、预设结束标记以及预设时间间隔，对帧索引时序序列进行切分，得到切分片段；

目标切分片段确定单元，用于获取切分片段对应的帧率大于待采集视频对应帧率的切分片段，作为目标切分片段；

目标切分片段合并单元，用于将目标切分片段按照人脸图像帧号的先后顺序进行合并，得到目标人物的视频片段。

为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图10，图10为本实施例计算机设备基本结构框图。

计算机设备8包括通过系统总线相互通信连接存储器81、处理器82、网络接口83。需要指出的是，图中仅示出了具有三种组件存储器81、处理器82、网络接口83的计算机设备8，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field －Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

存储器81至少包括一种类型的可读存储介质，可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器81可以是计算机设备8的内部存储单元，例如该计算机设备8的硬盘或内存。在另一些实施例中，存储器81也可以是计算机设备8的外部存储设备，例如该计算机设备8上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，存储器81还可以既包括计算机设备8的内部存储单元也包括其外部存储设备。本实施例中，存储器81通常用于存储安装于计算机设备8的操作系统和各类应用软件，例如基于聚类算法的视频人脸采集方法的程序代码等。此外，存储器81还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器82在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器82通常用于控制计算机设备8的总体操作。本实施例中，处理器82用于运行存储器81中存储的程序代码或者处理数据，例如运行上述基于聚类算法的视频人脸采集方法的程序代码，以实现基于聚类算法的视频人脸采集方法的各种实施例。

网络接口83可包括无线网络接口或有线网络接口，该网络接口83通常用于在计算机设备8与其他电子设备之间建立通信连接。

本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序可被至少一个处理器执行，以使至少一个处理器执行如上述的一种基于聚类算法的视频人脸采集方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例的方法。

显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。

Claims (7)

1.一种基于聚类算法的视频人脸采集方法，其特征在于，包括：

获取待采集视频，并对所述待采集视频进行解析，以获取所述待采集视频的视频帧和帧率；

按照预设帧率对所述视频帧进行帧采样抽取，以记录每一帧视频帧的帧号；

基于所述视频帧的帧号，对所述视频帧进行人脸识别处理，得到每帧人脸图像，并记录所述人脸图像对应的人脸图像帧号以及人脸包围框坐标，其中，所述人脸图像信息包括每帧所述人脸图像，以及每帧所述人脸图像对应的人脸图像帧号和所述人脸包围框坐标；

针对每帧所述人脸图像，选取所述人脸包围框坐标中的预设关键点，并根据所述预设关键点计算出人脸姿态角度；

通过遍历的方式，将每帧所述人脸图像对应的人脸姿态角度与预设姿态角范围进行对比，将所述人脸姿态角度中的俯仰姿态角、偏航姿态角以及横滚姿态角任一角度未落在预设姿态角范围的人脸图像进行删除，以选取所述人脸姿态角度处于所述预设姿态角范围内的人脸图像作为基础人脸图像；

通过归一化处理，将所述基础人脸图像归一化到预设尺寸中；

基于所述人脸包围框坐标，选取人脸中的左瞳孔中心、右瞳孔中心、左嘴角以及右嘴角对应的关键点作为人脸关键点；

根据所述人脸关键点进行计算处理，得到平面旋转矫正角、放缩系数、旋转中心，并将所述平面旋转矫正角、所述放缩系数、所述旋转中心以及所述预设尺寸作为矫正系数；

采用仿射变换的方式，基于所述矫正系数对所述基础人脸图像进行矫正，得到目标人脸图像；

通过卷积神经网络对所述目标人脸图像进行特征提取，得到所述目标人脸图像对应的特征信息；

采用密度聚类算法，对所述特征信息进行聚类处理，得到特征束，并按照所述特征束对应的帧顺序进行排列，得到帧索引时序序列，其中，所述特征束代表某一人物的视频片段；

按照预设的方式，对所述帧索引时序序列进行切分和合并处理，得到目标人物的视频片段。

2.根据权利要求1所述的基于聚类算法的视频人脸采集方法，其特征在于，所述针对每帧所述人脸图像，选取所述人脸包围框坐标中的预设关键点，并根据所述预设关键点计算出人脸姿态角度，包括：

基于所述人脸包围框坐标，将每帧所述人脸图像进行人脸关键点定位，得到人脸轮廓关键点；

选取所述人脸轮廓关键点中的所述预设关键点；

根据所述预设关键点，计算人脸轮廓中的俯仰姿态角、偏航姿态角以及横滚姿态角，并将所述俯仰姿态角、所述偏航姿态角以及所述横滚姿态角作为人脸姿态角度。

3.根据权利要求1所述的基于聚类算法的视频人脸采集方法，其特征在于，所述特征信息包括人脸图像特征以及所述人脸图像帧号，所述采用密度聚类算法，对所述特征信息进行聚类处理，得到特征束，并按照所述特征束对应的帧顺序进行排列，得到帧索引时序序列，包括：

将所述人脸图像特征与预设向量进行向量计算，得到目标矩阵；

基于密度聚类算法，对所述目标矩阵进行聚类处理，得到所述特征束；

根据所述人脸图像帧号的先后顺序，将所述特征束进行排列，得到所述帧索引时序序列。

4.根据权利要求1至3任一项所述的基于聚类算法的视频人脸采集方法，其特征在于，所述按照预设的方式，对所述帧索引时序序列进行切分和合并处理，得到目标人物的视频片段，包括：

根据预设起始标记、预设结束标记以及预设时间间隔，对所述帧索引时序序列进行切分，得到切分片段；

获取切分片段对应的帧率大于所述待采集视频对应帧率的切分片段，作为目标切分片段；

将所述目标切分片段按照所述人脸图像帧号的先后顺序进行合并，得到所述目标人物的视频片段。

5.一种基于聚类算法的视频人脸采集装置，其特征在于，包括：

待采集视频解析模块，用于获取待采集视频，并对所述待采集视频进行解析，以获取所述待采集视频的视频帧和帧率；

帧采样抽取模块，用于按照预设帧率对所述视频帧进行帧采样抽取，以记录每一帧视频帧的帧号；

人脸识别模块，用于基于所述视频帧的帧号，对所述视频帧进行人脸识别处理，得到每帧人脸图像，并记录所述人脸图像对应的人脸图像帧号以及人脸包围框坐标，其中，所述人脸图像信息包括每帧所述人脸图像，以及每帧所述人脸图像对应的人脸图像帧号和所述人脸包围框坐标；

人脸姿态角度计算模块，用于针对每帧所述人脸图像，选取所述人脸包围框坐标中的预设关键点，并根据所述预设关键点计算出人脸姿态角度；

基础人脸图像选取模块，用于通过遍历的方式，将每帧所述人脸图像对应的人脸姿态角度与预设姿态角范围进行对比，将所述人脸姿态角度中的俯仰姿态角、偏航姿态角以及横滚姿态角任一角度未落在预设姿态角范围的人脸图像进行删除，以选取所述人脸姿态角度处于所述预设姿态角范围内的人脸图像作为基础人脸图像；

基础人脸图像归一化模块，用于通过归一化处理，将所述基础人脸图像归一化到预设尺寸中；

人脸关键点确定模块，用于基于所述人脸包围框坐标，选取人脸中的左瞳孔中心、右瞳孔中心、左嘴角以及右嘴角对应的关键点作为人脸关键点；

矫正系数计算模块，用于根据所述人脸关键点进行计算处理，得到平面旋转矫正角、放缩系数、旋转中心，并将所述平面旋转矫正角、所述放缩系数、所述旋转中心以及所述预设尺寸作为矫正系数；

目标人脸图像确定模块，用于采用仿射变换的方式，基于所述矫正系数对所述基础人脸图像进行矫正，得到目标人脸图像；

特征信息提取模块，用于通过卷积神经网络对所述目标人脸图像进行特征提取，得到所述目标人脸图像对应的特征信息；

特征信息聚类处理模块，用于采用密度聚类算法，对所述特征信息进行聚类处理，得到特征束，并按照所述特征束对应的帧顺序进行排列，得到帧索引时序序列，其中，所述特征束代表某一人物的视频片段；

目标视频片段获取模块，用于按照预设的方式，对所述帧索引时序序列进行切分和合并处理，得到目标人物的视频片段。

6.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的基于聚类算法的视频人脸采集方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的基于聚类算法的视频人脸采集方法。

Images