CN110008875B - 一种基于关键帧回溯的人脸识别视频片段筛选方法及系统 - Google Patents

Abstract

本发明公开了一种基于关键帧回溯的人脸识别视频片段筛选方法及系统，本发明主要根据针对多姿态人脸的复合检测方法、能够自动构建样本集的关键帧回溯人脸识别方法，按照模块化设计的原则，提出了从视频中选取指定人物片段的方法，并构建了一套视频分析、筛选、片段选取系统。本发明能够从待测视频流中精确地选取含有指定人物的视频片段，满足了信息爆炸时代背景下计算机辅助人力进行视频信息筛选的需求。

Description

一种基于关键帧回溯的人脸识别视频片段筛选方法及系统

技术领域

本发明属于人脸识别技术领域，涉及一种人脸识别视频片段筛选方法及系统，特别是涉及一种基于关键帧回溯的人脸识别视频片段筛选方法及系统。

背景技术

人脸识别，指的是利用分析比较人脸视觉信息进行身份鉴别的计算机技术。一般来说，人脸识别系统包括图像获取、图像处理、人脸检测、人脸识别。

人脸检测是人脸识别过程中的重要一环。目前的人脸检测方法可分为基于知识的方法、基于统计模型的方法、基于模式匹配的方法。

目前人脸识别中常用的方法有几何特征法、子空间分析法、统计特征法等。尽管近年来人脸识别领域的进展很大，但是大规模地实施面部视觉信息验证和识别还是对传统的方法带来了严峻的挑战。

在个人应用场景中，目前基于视频流的人脸检测和人脸识别系统大多数都集中在实时人脸检测和人脸识别中，应用场景相对固定。例如，目前人脸识别技术的大规模应用场景为手机人脸识别解锁、人脸识别支付、高铁站进站人脸识别进行身份确认等。在这些场景中，虽然人脸识别的精度很高，但是用户使用的自由度不高，用户只能用其来鉴别自己的身份，不能选择其他的待检测视频流或待检测人物对象。例如，用户想从自己拍摄的作品中选取含有指定人物的视频片段、用户想从影视作品中选取含有自己喜欢的演员出演的视频片段等就缺少相关的应用软件。

目前，需要一种基于人脸检测和人脸识别技术的视频分析、筛选、片段选取方法及系统，用于从视频流中精确地选取含有指定人物的视频片段，以满足信息爆炸时代背景下计算机辅助人力进行视频信息筛选的需求。

发明内容

为了满足上述的应用需求，本发明提出了一种基于关键帧回溯的人脸识别视频片段筛选方法及系统，能够从待测视频流中精确地选取含有指定人物的视频片段。能够满足信息爆炸时代背景下计算机辅助人力进行视频信息筛选的需求。

本发明的方法所采用的技术方案是：

本发明的系统所采用的技术方案是：一种基于关键帧回溯的人脸识别视频片段筛选方法，其特征在于，包括以下步骤：

步骤1：提取待检测视频流的帧图像；

根据开始位置StartFrame和终止位置EndFrame将待检测视频流Video逐帧转化为原始帧图像SourceFrame；

步骤2：对帧图像进行预处理，得到处理后的帧图像FaceNormal；

步骤3：对预处理后的帧图像进行多姿态人脸复合检测，得到FaceFrame；

步骤4：在用户上传的原始样本集SampleSet₀的基础上利用关键帧回溯识别方法动态构建样本集SampleSet_t；其中，t≥0，表示在原始样本集的基础上第t次迭代更新；

步骤5：针对用户上传的原始样本集SampleSet₀或动态构建的样本集SampleSet_t，对样本进行训练，生成人脸识别分类器Classifier；

步骤6：综合人脸识别视频筛选；

步骤7：将筛选出的帧图像合成为视频片段；

根据识别筛选的结果，将识别成功的帧图像对应的原始帧图像SourceFrame还原为视频片段，并按照用户预设的顺序对所有筛选出的片段进行拼接组合。

本发明的系统所采用的技术方案是：一种基于关键帧回溯的人脸识别视频片段筛选系统，其特征在于：包括提取帧图像模块、图像归一化模块、多姿态人脸复合检测模块、动态构建样本集模块、样本训练模块、人脸识别模块、视频片段合成模块；

所述提取帧图像模块，用于提取待检测视频流的帧图像；根据开始位置StartFrame和终止位置EndFrame将待检测视频流Video逐帧转化为原始帧图像SourceFrame；

所述图像归一化模块，用于对帧图像进行预处理，得到处理后的帧图像FaceNormal；

所述多姿态人脸复合检测模块，用于对预处理后的帧图像进行多姿态人脸复合检测，得到FaceFrame；

所述动态构建样本集模块，用于在用户上传的原始样本集SampleSet₀的基础上利用关键帧回溯识别方法动态构建样本集SampleSet_t；其中，t≥0，表示在原始样本集的基础上第t次迭代更新；

所述样本训练模块，用于针对用户上传的原始样本集SampleSet₀或动态构建的样本集SampleSet_t，对样本进行训练，生成人脸识别分类器Classifier；

所述人脸识别模块，用于综合人脸识别视频筛选；

所述视频片段合成模块，用于将筛选出的帧图像合成为视频片段；根据识别筛选的结果，将识别成功的帧图像对应的原始帧图像SourceFrame还原为视频片段，并按照用户预设的顺序对所有筛选出的片段进行拼接组合，作为整个系统的输出。

本发明相对于现有技术，能够从待测视频流中精确地选取含有指定人物的视频片段，满足了信息爆炸时代背景下计算机辅助人力进行视频信息筛选的需求。

附图说明

图1：为本发明实施例的方法流程图；

图2：为本发明实施例中的帧图像预处理流程图；

图3：为本发明实施例中的多姿态人脸复合检测流程图；

图4：为本发明中实施例基于关键帧回溯识别的视频片段筛选流程图；

图5：为本发明实施例中的样本集的存储结构图；

图6：为本发明中实施例任务生成过程图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种基于关键帧回溯的人脸识别视频片段筛选方法，包括以下步骤：

步骤1：提取待检测视频流的帧图像；

根据开始位置StartFrame和终止位置EndFrame将待检测视频流Video逐帧转化为原始帧图像SourceFrame；

步骤2：对帧图像进行预处理，得到处理后的帧图像FaceNormal；

请见图2，具体包括以下子步骤：

①用户指定待检测视频Video并输入相关配置；

②提取帧图像模块根据配置的检测开始位置StartFrame和终止位置EndFrame将待检测视频流Video逐帧转化为原始帧图像SourceFrame，并且另存。原始帧图像的保存名称形式为：视频文件名_帧号.jpg，例如从video.mp4中提取的第一帧保存为video_1.jpg；

③图像归一化模块对所有的帧图像SourceFrame按照用户输入的配置或系统默认的配置进行图像归一化处理，得到对应的归一化后的帧图像FaceNormal；

④多姿态人脸复合检测模块对归一化后的帧图像FaceNormal进行人脸检测，如果检测出人脸，则在原始帧图像SourceFrame上对人脸部分框选，得到FaceFrame，并且另存。人脸部分框选帧图像的保存名称形式为：视频文件名_帧号_face.jpg，例如对从video.mp4中提取的第一帧图像video_1.jpg进行人脸框选，结果保存为video_1_face.jpg。对归一化后的帧图像相应的人脸部分图像进行裁剪，得到FaceNormal，并且另存。归一化的人脸部分裁剪图像的保存名称形式为：视频文件名_帧号_人脸部分的x位置_人脸部分的y位置_norm.jpg，例如，在上述从video.mp4中提取的第一帧图像video_1.jpg的(150,200)处识别到的人脸部分裁剪图像归一化后另存为video_1_150_200_norm.jpg。

步骤3：对预处理后的帧图像进行多姿态人脸复合检测，得到FaceFrame；

针对图像拍摄背景的变化、光照变化等环境造成的影响，本发明在进行人脸检测之前，对待测图像先进行归一化处理，将图像的颜色空间、大小、直方图分布等关键参数统一后再进行后续步骤。如图3所示，本发明采用多姿态人脸复合检测，每个分类器代表一个人脸特征：正脸、侧脸等，能够很大程度上降低人脸检测的漏检率，同时也能保持较低的错检率。代表不同特征的分类器之间可以是并联关系，也可以是串联关系。关系为并联的分类器同时对图像进行人脸检测，关系为串联的分类器当上一阶段完成后再判断是否对图像进行人脸检测。如图3所示，分类器11、12……1n之间为并联关系。由此类推，分类器n1、n2……nn之间为并联关系；分类器11-1n、21-2n……n1-nn之间的关系为串联关系。如图3所示，每组串联的分类器之间设有对应的阈值，分类器11-1n对应阈值1、分类器21-2n对应阈值2，依次类推。根据要求的检测精度，预设每个检测阶段的阈值，当每一阶段的检测结果大于或等于该阶段对应的阈值时，就跳过后续检测阶段，这样可以提高检测的效率，避免不必要的检测过程。例如，图3中分类器11-1n设定阈值为T1，分类器21-2n设定阈值为T2。假设分类器11-1n的检测结果为R1，R1小于T1，则需要继续进行下一个检测阶段，即继续用分类器21-2n进行人脸检测。假设分类器21-2n的检测结果为R2，R2大于T2，则不需要再进行后续的检测阶段，直接跳过。

步骤4：在用户上传的原始样本集SampleSet₀的基础上利用关键帧回溯识别方法动态构建样本集SampleSet_t；其中，t≥0，表示在原始样本集的基础上第t次迭代更新；

请见图4，首先，由用户根据实际情况设定和调整阈值T，在允许漏检的前提下保证识别的可信度在90％以上，进行一般的人脸识别。

如①所示，利用由用户上传的原始样本集SampleSet₀通过本方法经过t(t≥0)次更新的当前样本集SampleSet_t训练的分类器Classifier_t，在对一个新的识别片段进行一般的识别过程中，从该片段起始到第k-1帧均识别失败，第k帧到第k+p-1帧识别成功，第k+p帧识别失败，则第k帧为上述当前识别片段识别成功的第一帧FirstFrame，第k+p帧为上述当前识别片段的结束位置EndFrame；

如②所示，按照上述第2步，找到片段中识别成功的第一帧FirstFrame，也即本例中的第k帧。此时，第k-1帧和第k帧可视为识别失败、识别成功的边界。

如③所示，标记第k-1帧为临界帧CriticalFrame_q，标记第k帧为关键帧KeyFrame_q。

如④所示，将关键帧KeyFrame_q，也即第k帧中识别成功的人脸部分图像FaceCut_k加入样本集SampleSet_t，对样本集进行更新，得到第t+1次更新的样本集SampleSet_t+1。按照上述第3步，利用更新后的样本集SampleSet_t+1训练生成新的分类器Classifier_t+1，用Classifier_t+1继续之后的识别过程。也即按照上述第4步，利用Classifier_t+1回溯识别之前识别失败的帧。

如⑤所示，在本例中，从临界帧CriticalFrame_q，也即第k-1帧开始进行回溯识别的过程。根据视频流相邻或临近帧图像的相似性，添加关键帧KeyFrame_q中的识别成功的人脸信息更新后的样本集SampleSet_t+1更能真实反映当下视频流中待识别人的人脸面部信息，故在阈值T不变的条件下，回溯识别过程的识别结果较之前可信度更高。

如⑤所示，利用新的分类器Classifier_t+1识别临界帧CriticalFrame_q，也即第k-1帧时识别成功，则按照上述第6步，继续按照之前的步骤进行回溯识别，直到再次识别失败。

如⑥所示，在回溯识别过程中，第k-1帧到第k-m+1帧均识别成功，第k-m帧识别失败。此时，第k-m帧和第k-m+1帧可视为识别失败、识别成功的边界帧，标记第k-m帧为临界帧CriticalFrame_q+1，标记第k-m+1帧为关键帧KeyFrame_q+1。

如⑦所示，将关键帧KeyFrame_q+1，也即第k-m+1帧中识别成功的人脸部分图像FaceCut_k-m+1加入样本集SampleSet_t+1，对样本集进行更新，得到第t+2次更新的样本集SampleSet_t+2，并再次利用更新后的样本集SampleSet_t+2训练生成新的分类器Classifier_t+2，用Classifier_t+2继续之后的识别过程。按照上述第6步，用Classifier_t+2再次对识别失败的临界帧CriticalFrame_q+1，也即第k-m帧进行识别。

如⑧所示，如果第k-m帧依然识别失败，就认为第k-m帧为当前识别片段中能识别成功的最靠前的帧位置，终止回溯识别过程。然后按照上述第7步，回到回溯前的位置EndFrame。

如⑨所示，在本例中，即回到第k+p-1帧，则从第k+p帧开始，开始一个新的识别片段，再依次按照上述步骤对剩余的帧图像进行识别。

本实施例包括回溯识别过程、动态更新样本集过程、分离器迭代更新过程；回溯识别过程可以标识当前识别片段的起始帧位置FirstFrame、结束帧位置EndFrame，并随着回溯识别过程更新起始帧位置FirstFrame和结束帧位置EndFrame；回溯识别过程可以找到识别失败、识别成功的边界帧位置，并分别标识为临界帧CriticalFrame、关键帧KeyFrame；回溯识别过程可以将找到的关键帧KeyFrame中识别出的人脸部分裁剪图像进行图像处理，并将处理后的人脸部分裁剪图像FaceCut自动地加入对应人物的样本集SanpleSet中，完成样本集的更新；回溯识别过程可以当样本集更新完成后，自动地在新样本集的基础上训练生成新的分类器。

当一个视频子片段识别完成后，可以记录该子片段的起始帧位置FirstFrame和结束帧位置EndFrame，并从EndFrame开始继续识别剩余的视频内容，进而找到待识别视频流中所有识别成功的视频子片段的起始帧位置和结束帧位置。

本发明能够有效解决人脸识别技术在实际应用中产生的：个人用户自主提供大规模的样本数据集有较大的难度、样本集更新较慢，不能及时反映待识别人的最新人脸视觉信息、样本集的数据质量参差不齐，为进行准确识别造成了负面影响等问题。本发明根据具体的待测视频流的具体内容和实际的识别结果，利用视频流相邻或临近帧图像之间的相似性，对当前的样本集进行更新和扩充，达到动态构建高质量样本集的目的，是一种能够及时更新、自动构建高质量样本集的人脸识别方法。

步骤5：针对用户上传的原始样本集SampleSet₀或动态构建的样本集SampleSet_t，对样本进行训练，生成人脸识别分类器Classifier；

具体实现包括以下子步骤：

步骤5.1：对样本集图片进行归一化预处理；

步骤5.2：对归一化预处理后的图片进行多姿态人脸复合检测，获得样本图片人脸部分裁剪图像SampleFaceNormal；并且另存，保存名称形式为：图片名称_脸号_norm.jpg，例如，在样本图片201.jpg中检测出的第3个人脸部分裁剪归一化后保存为：201_3_norm.jpg。

步骤5.3：采用现有的训练方法，如LBP特征算法，在训练过程中为人物分配标号Label，设定同一人物样本图片所在的文件夹名为该人物的姓名，得出样本图片标号与人物姓名的对应名录Dict；

在训练过程中会为人物分配标号Label，同时读取样本图片的存储结构，如图5所示，由于系统设定同一人物样本图片所在的文件夹名为该人物的姓名，利用该设定，可以得出样本图片标号与人物姓名的对应名录Dict。例如，在对上述的样本图片人脸部分裁剪图像201_3_norm.jpg进行训练时，为其分配的标号Label为2，按照样本图片的存储结构，若该图片的父文件夹名称为XiaoMing，则表示201_3_norm.jpg代表人物XiaoMing的人脸信息，于是将人物姓名XiaoMing和为其分配的标号2对应起来，记录在名录Dict中。

如图5所示，由于样本集的存储结构为固定结构，在样本图片预处理模块中，图像归一化模块、多姿态人脸复合检测模块都针对该固定结构做出了优化，在系统实际运行过程中，只要给定样本集的位置，系统就可以按照此固定结构遍历所有子文件夹和子文件，对所有样本图片进行相应的处理操作。类似的，在样本图片训练模块中，样本训练的功能也针对该固定结构做出了优化，保证系统运行的独立性、高效性。

步骤5.4：根据样本图片的标号Label和图像中的人脸特征信息生成人脸识别分类器Classifier。

步骤6：综合人脸识别视频筛选；

具体实现包括以下子步骤：

步骤6.1：在用户上传的原始样本集SampleSet₀的基础上利用关键帧回溯识别动态构建样本集SampleSet_t，采用与步骤5相同的训练方法对更新后的样本集进行训练，得出相应的更新后的分类器Classifier；

步骤6.2：对归一化处理后的原始帧图像人脸部分裁剪图像FaceNormal进行识别，在原始帧图像上框选出人脸部分的图像FaceFrame上标记识别结果；

步骤6.3：在回溯识别过程中记录每个识别成功片段的起始位置ResultStart和终止位置ResultEnd；

步骤6.4：根据记录的所有识别成功片段的起始位置ResultStart和终止位置ResultEnd筛选原始帧图像SourceFrame；

步骤6.5：将筛选出的原始帧图像进行合成，并按照用户指定的顺序拼接，得到最终筛选出的视频片段ResultVideo。

步骤7：将筛选出的帧图像合成为视频片段；根据识别筛选的结果，将识别成功的帧图像对应的原始帧图像SourceFrame还原为视频片段，并按照用户预设的顺序对所有筛选出的片段进行拼接组合。

本发明还提供了一种基于关键帧回溯的人脸识别视频片段筛选系统，包括提取帧图像模块、图像归一化模块、多姿态人脸复合检测模块、动态构建样本集模块、样本训练模块、人脸识别模块、视频片段合成模块；

提取帧图像模块，用于提取待检测视频流的帧图像；根据开始位置StartFrame和终止位置EndFrame将待检测视频流Video逐帧转化为原始帧图像SourceFrame；提取帧图像的功能是根据用户输入的相关配置或者系统默认的配置参数：视频文件类型VideoType、处理的开始位置StartFrame、处理的结束位置EndFrame等，将用户提供的视频流文件分解成原始帧图像SourceFrame。将视频流文件进行预处理，分解成原始帧图像，便于后续帧图像的重复检测，减少了系统执行过程中的内存占用。

图像归一化模块，用于对帧图像进行预处理，得到处理后的帧图像FaceNormal；图像归一化的功能是根据用户输入的的相关配置参数或系统的默认参数将图像的颜色空间、图像的大小、图像的直方图分布等一系列参数进行统一化。将图像进行归一化处理能够减少因视频拍摄环境差异对图像造成的影响，例如：视频拍摄背景的差异性、光照的差异性等，保证识别过程的统一性、提高识别的准确率。

多姿态人脸复合检测模块，用于对预处理后的帧图像进行多姿态人脸复合检测，得到FaceFrame；多姿态人脸复合检测的功能是对图像进行人脸检测、人脸部分框选、人脸部分裁剪。即检测图像中是否存在人脸部分信息，如果存在，则用矩形框将所有检测到的人脸部分框选标识出来，并将框选部分进行裁剪另存。目前一般的人脸检测过程为：人工提取特征值、训练分类器、进行人脸检测。在人工提取特征值阶段，常涉及到人脸的灰度特征、边缘特征、结构特征、肤色特征等，但是这些单一的特征对于多姿态的人脸：正脸、侧脸、仰头、低头、歪头等，检测效果不是十分理想。对于多姿态人脸检测方法，可以将正脸、侧脸等不同的人脸姿势作为一个样本集进行训练，但是这样样本集的规模十分庞大，构建十分困难，训练和调整的成本较高，并且当多种特征糅合在一起时，人脸检测的准确度也会受到一定的影响。因此，本发明在一般的基于特征值人脸检测方法的基础上提出了针对多姿态人脸的复合检测方法。

动态构建样本集模块，用于在用户上传的原始样本集SampleSet₀的基础上利用关键帧回溯识别方法动态构建样本集SampleSet_t；其中，t≥0，表示在原始样本集的基础上第t次迭代更新；

样本训练模块，用于针对用户上传的原始样本集SampleSet₀或动态构建的样本集SampleSet_t，对样本进行训练，生成人脸识别分类器Classifier；样本训练的功能是对构建的样本集进行训练，得到相应的分类器，用于人脸识别过程。将样本训练功能独立作为一个模块，提高了样本训练功能的可复用性，为了在样本集更新后能够及时、灵活调用样本训练模块，得到反映样本集最新状态的分类器。

人脸识别模块，用于综合人脸识别视频筛选；包括在用户上传的原始样本集SampleSet₀的基础上利用关键帧回溯识别方法动态构建样本集SampleSet_t，和原始帧图像合成；人脸识别的功能是对待测图像进行一般的人脸识别处理，在每一个框选的人脸部分图像处标记识别出的人物姓名。将人脸识别功能独立作为一个模块，能够提高人脸识别功能的可复用性，以便在后续步骤中能够灵活调用，对图像的人脸部分进行人脸识别。关键帧回溯识别的功能是根据待测视频流的内容及时更新、构建高质量的样本集，并实时利用更新后的样本集训练出新的分类器，对之前识别失败的图像进行二次识别，避免因样本数量不足、质量太低造成的识别遗漏。根据具体的待测视频流内容和实际的识别结果，利用视频流相邻或临近帧图像之间的相似性，对当前的样本集进行更新和扩充，达到动态构建高质量样本集的目的。此外，在关键帧回溯识别的过程中，记录所有识别成功的视频子片段的起始位置ResultStart和结束位置ResultEnd，作为视频片段裁剪的重要依据。

视频片段合成模块，用于将筛选出的帧图像合成为视频片段；视频片段合成的功能是根据识别筛选的结果，将识别成功的帧图像对应的原始帧图像SourceFrame还原为视频片段，并按照用户预设的顺序对所有筛选出的片段进行拼接组合，作为整个系统的输出。

系统通过控制模块整合上述模块所需的配置信息，对系统进行配置。具体配置参数由用户设定，或者使用系统默认参数。

系统界面模块实现整个系统的用户操作界面，有以下主要功能：

①用户的注册和登陆；

②展示用户上传的待测视频、样本图片；

③用户对上传的数据进行更新、修改、删除；

④用户指定待测视频、待识别人物，配置所需要的参数，生成新的任务并分配任务号；

⑤展示所有任务的执行状态、输出结果并提供给用户下载。

请见图6，新建任务时，用户配置所需要的参数、指定待测视频、待识别人物，系统保存新建任务的信息并分配任务号。系统的前端和后台通过MySQL中任务信息表数据进行通信，系统前端提交任务的配置信息后，系统后台会反馈任务状态，展示所有任务的执行阶段，展示已完成任务的结果并提供给用户查看和下载。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于关键帧回溯的人脸识别视频片段筛选方法，其特征在于，包括以下步骤：

步骤1：提取待检测视频流的帧图像；

根据开始位置StartFrame和终止位置EndFrame将待检测视频流Video逐帧转化为原始帧图像SourceFrame；

步骤2：对帧图像进行预处理，得到处理后的帧图像FaceNormal；

步骤3：对预处理后的帧图像进行多姿态人脸复合检测，得到FaceFrame；

步骤4：在用户上传的原始样本集SampleSet₀的基础上利用关键帧回溯识别方法动态构建样本集SampleSet_t；其中，t≥0，表示在原始样本集的基础上第t次迭代更新；

步骤4的具体实现包括以下子步骤：

步骤4.1：对视频流进行一般的人脸识别；

设定阈值T，当识别结果R小于阈值T时，认为识别失败；当识别结果R大于或等于阈值T时，认为识别成功；其中，阈值T的值由用户根据实际情况进行设定和调整；

步骤4.2：识别片段进行一般的识别过程中，从该片段起始到第k-1帧均识别失败，第k帧到第k+p-1帧识别成功，第k+p帧识别失败，则第k帧为当前识别片段识别成功的第一帧FirstFrame，第k+p帧为当前识别片段的结束位置EndFrame；其中，当前样本集SampleSet_t为利用由用户上传的原始样本集SampleSet₀通过本方法经过t次更新的样本集，t≥0；

步骤4.3：找到当前识别片段中识别成功的第一帧FirstFrame，此时，第k-1帧和第k帧视为识别失败、识别成功的边界；

步骤4.4：标记第k-1帧为临界帧CriticalFrame_q，标记第k帧为关键帧KeyFrame_q；

步骤4.5：将关键帧KeyFrame_q中识别成功的人脸部分图像FaceCut_k加入样本集SampleSet_t，对样本集进行更新，得到第t+1次更新的样本集SampleSet_t+1；

其中，将识别成功的人脸部分图像进行框选、裁剪、图像预处理后，得到人脸部分裁剪图像FaceCut_k，并将FaceCut_k添加进现有的样本集SampleSet_t中，完成一次样本集的动态更新；

步骤4.6：利用更新后的样本集SampleSet_t+1训练生成新的分类器Classifier_t+1，利用Classifier_t+1回溯识别之前识别失败的帧；

从临界帧CriticalFrame_q开始进行回溯识别，利用新的分类器Classifier_t+1识别临界帧CriticalFrame_q，若识别成功，则继续进行回溯识别，直到再次识别失败；

在回溯识别过程中，若第k-1帧到第k-m+1帧均识别成功，第k-m帧识别失败；则第k-m帧和第k-m+1帧视为识别失败、识别成功的边界帧，标记第k-m帧为临界帧CriticalFrame_q+1，标记第k-m+1帧为关键帧KeyFrame_q+1；

步骤4.7：将关键帧KeyFrame_q+1中识别成功的人脸部分图像FaceCut_k-m+1加入样本集SampleSet_t+1，对样本集进行更新，得到第t+2次更新的样本集SampleSet_t+2，并再次利用更新后的样本集SampleSet_t+2训练生成新的分类器Classifier_t+2；用Classifier_t+2再次对识别失败的临界帧CriticalFrame_q+1进行识别；

如果临界帧CriticalFrame_q+1依然识别失败，就认为临界帧CriticalFrame_q+1为当前识别片段中能识别成功的最靠前的帧位置，终止回溯识别过程；

步骤4.8：回到回溯前的位置EndFrame；并从EndFrame开始，循环执行步骤4.1～步骤4.8，继续对剩余的视频图像进行识别；

步骤5：针对用户上传的原始样本集SampleSet₀或动态构建的样本集SampleSet_t，对样本进行训练，生成人脸识别分类器Classifier；

步骤6：综合人脸识别视频筛选；

步骤6的具体实现包括以下子步骤：

步骤6.1：在用户上传的原始样本集SampleSet₀的基础上利用关键帧回溯识别方法动态构建样本集SampleSet_t，采用与步骤5相同的训练方法对更新后的样本集进行训练，得出相应的更新后的分类器Classifier；

步骤6.2：对归一化处理后的原始帧图像人脸部分裁剪图像FaceNormal进行识别，在原始帧图像上框选出人脸部分的图像FaceFrame上标记识别结果；

步骤6.3：在回溯识别过程中记录每个识别成功片段的起始位置ResultStart和终止位置ResultEnd；

步骤6.4：根据记录的所有识别成功片段的起始位置ResultStart和终止位置ResultEnd筛选原始帧图像SourceFrame；

步骤6.5：将筛选出的原始帧图像进行合成，并按照用户指定的顺序拼接，得到最终筛选出的视频片段ResultVideo；

步骤7：将筛选出的帧图像合成为视频片段；

根据识别筛选的结果，将识别成功的帧图像对应的原始帧图像SourceFrame还原为视频片段，并按照用户预设的顺序对所有筛选出的片段进行拼接组合。

2.根据权利要求1所述的基于关键帧回溯的人脸识别视频片段筛选方法，其特征在于：步骤2中，对所有的帧图像SourceFrame进行图像归一化处理，包括图像的颜色空间、大小、直方图分布进行归一化处理，得到对应的归一化后的帧图像FaceNormal。

3.根据权利要求1所述的基于关键帧回溯的人脸识别视频片段筛选方法，其特征在于，步骤3的具体实现包括以下子步骤：

步骤3.1：设定若干分类器，每个分类器代表一个人脸特征；代表不同特征的分类器之间根据需要设置为并联关系和/或串联关系；关系为并联的分类器同时对图像进行人脸检测，关系为串联的分类器当上一阶段完成后再判断是否对图像进行人脸检测；

步骤3.2：每组串联的分类器之间设有对应的阈值，当每一阶段的检测结果大于或等于该阶段对应的阈值时，则跳过后续检测阶段，否则继续进行下一个检测阶段；

步骤3.3：对归一化后的样本图像SampleNormal相应的人脸部分图像进行裁剪，得到FaceFrame。

4.根据权利要求1所述的基于关键帧回溯的人脸识别视频片段筛选方法，其特征在于，步骤5的具体实现包括以下子步骤：

步骤5.1：对样本集图片进行归一化预处理；

步骤5.2：对归一化预处理后的样本图片进行多姿态人脸复合检测，获得样本图片人脸部分裁剪图像SampleFaceNormal；

步骤5.3：采用训练方法，在训练过程中为人物分配标号Label，设定同一人物样本图片所在的文件夹名为该人物的姓名，得出样本图片标号与人物姓名的对应名录Dict；

步骤5.4：根据样本图片的标号Label和图像中的人脸特征信息生成人脸识别分类器Classifier。

5.一种基于关键帧回溯的人脸识别视频片段筛选系统，其特征在于：包括提取帧图像模块、图像归一化模块、多姿态人脸复合检测模块、动态构建样本集模块、样本训练模块、人脸识别模块、视频片段合成模块；

所述提取帧图像模块，用于提取待检测视频流的帧图像；根据开始位置StartFrame和终止位置EndFrame将待检测视频流Video逐帧转化为原始帧图像SourceFrame；

所述图像归一化模块，用于对帧图像进行预处理，得到处理后的帧图像FaceNormal；

所述多姿态人脸复合检测模块，用于对预处理后的帧图像进行多姿态人脸复合检测，得到FaceFrame；

所述动态构建样本集模块，用于在用户上传的原始样本集SampleSet₀的基础上利用关键帧回溯识别方法动态构建样本集SampleSet_t；其中，t≥0，表示在原始样本集的基础上第t次迭代更新；

具体包括以下子模块：

子模块4.1，用于对视频流进行一般的人脸识别；

设定阈值T，当识别结果R小于阈值T时，认为识别失败；当识别结果R大于或等于阈值T时，认为识别成功；其中，阈值T的值由用户根据实际情况进行设定和调整；

子模块4.2，用于识别片段进行一般的识别过程中，从该片段起始到第k-1帧均识别失败，第k帧到第k+p-1帧识别成功，第k+p帧识别失败，则第k帧为当前识别片段识别成功的第一帧FirstFrame，第k+p帧为当前识别片段的结束位置EndFrame；其中，当前样本集SampleSet_t为利用由用户上传的原始样本集SampleSet₀通过本方法经过t次更新的样本集，t≥0；

子模块4.3，用于找到当前识别片段中识别成功的第一帧FirstFrame，此时，第k-1帧和第k帧视为识别失败、识别成功的边界；

子模块4.4，用于标记第k-1帧为临界帧CriticalFrame_q，标记第k帧为关键帧KeyFrame_q；

子模块4.5，用于将关键帧KeyFrame_q中识别成功的人脸部分图像FaceCut_k加入样本集SampleSet_t，对样本集进行更新，得到第t+1次更新的样本集SampleSet_t+1；

其中，将识别成功的人脸部分图像进行框选、裁剪、图像预处理后，得到人脸部分裁剪图像FaceCut_k，并将FaceCut_k添加进现有的样本集SampleSet_t中，完成一次样本集的动态更新；

子模块4.6，用于利用更新后的样本集SampleSet_t+1训练生成新的分类器Classifier_t+1，利用Classifier_t+1回溯识别之前识别失败的帧；

从临界帧CriticalFrame_q开始进行回溯识别，利用新的分类器Classifier_t+1识别临界帧CriticalFrame_q，若识别成功，则继续进行回溯识别，直到再次识别失败；

在回溯识别过程中，若第k-1帧到第k-m+1帧均识别成功，第k-m帧识别失败；则第k-m帧和第k-m+1帧视为识别失败、识别成功的边界帧，标记第k-m帧为临界帧CriticalFrame_q+1，标记第k-m+1帧为关键帧KeyFrame_q+1；

子模块4.7，用于将关键帧KeyFrame_q+1中识别成功的人脸部分图像FaceCut_k-m+1加入样本集SampleSet_t+1，对样本集进行更新，得到第t+2次更新的样本集SampleSet_t+2，并再次利用更新后的样本集SampleSet_t+2训练生成新的分类器Classifier_t+2；用Classifier_t+2再次对识别失败的临界帧CriticalFrame_q+1进行识别；

如果临界帧CriticalFrame_q+1依然识别失败，就认为临界帧CriticalFrame_q+1为当前识别片段中能识别成功的最靠前的帧位置，终止回溯识别过程；

子模块4.8，用于回到回溯前的位置EndFrame；并从EndFrame开始，循环执行子模块4.1～子模块4.8，继续对剩余的视频图像进行识别；

所述样本训练模块，用于针对用户上传的原始样本集SampleSet₀或动态构建的样本集SampleSet_t，对样本进行训练，生成人脸识别分类器Classifier；

所述人脸识别模块，用于综合人脸识别视频筛选；

具体实现包括以下子模块：

子模块6.1，用于在用户上传的原始样本集SampleSet₀的基础上利用关键帧回溯识别方法动态构建样本集SampleSet_t，采用与模块5相同的训练方法对更新后的样本集进行训练，得出相应的更新后的分类器Classifier；

子模块6.2，用于对归一化处理后的原始帧图像人脸部分裁剪图像FaceNormal进行识别，在原始帧图像上框选出人脸部分的图像FaceFrame上标记识别结果；

子模块6.3，用于在回溯识别过程中记录每个识别成功片段的起始位置ResultStart和终止位置ResultEnd；

子模块6.4，用于根据记录的所有识别成功片段的起始位置ResultStart和终止位置ResultEnd筛选原始帧图像SourceFrame；

子模块6.5，用于将筛选出的原始帧图像进行合成，并按照用户指定的顺序拼接，得到最终筛选出的视频片段ResultVideo；

所述视频片段合成模块，用于将筛选出的帧图像合成为视频片段；根据识别筛选的结果，将识别成功的帧图像对应的原始帧图像SourceFrame还原为视频片段，并按照用户预设的顺序对所有筛选出的片段进行拼接组合，作为整个系统的输出。

Images