CN104731964A - 基于人脸识别的人脸摘要方法、视频摘要方法及其装置 - Google Patents

Abstract

一种基于人脸识别的人脸摘要方法，包括生成出现在原始视频中的不同人的人脸图像，并形成出现的人脸图像列表，包括对原始视频中的图像帧进行扫描，获得视频帧中是否存在人脸区域的人脸检测、人脸特征提取、人脸特征聚类和人脸摘要图像生成等步骤，以及用于实施该方法的装置。本发明提供的基于人脸识别的人脸摘要方法及其装置，能生成出现在视频中的不同人的人脸图像，生成的每个人的人脸图像是视频中出现的其最具代表性的图像和相应在原始视频中的位置信息。这些人脸图像可以供人工快速识别，也可作为当前人脸身份识别系统或将来更高精度的人脸身份识别系统的输入数据。

Description

基于人脸识别的人脸摘要方法、视频摘要方法及其装置

技术领域

本发明涉及一种自动化信息提供技术，尤其涉及一种借助于通信技术进行信息查询、匹配和反馈的方法，以及实现该方法的装置，实现脐带血干细胞供需及时地自助配型，以有利于病患及时获得医治。

背景技术

视频采集终端作为平安城市和智慧城市等建设中的最重要的一个方面得到了广泛的部署。然而海量的视频数据在存储、查看和检索等方面产生了各种问题，在诸如视频侦查过程中，需要在有限的时间内查看大量的视频并找到目标，这是一项很困难的任务。一方面大量的视频数据需要大量的人工来查看，另一方面，人工查看可能会遗漏潜在的目标。海量的视频数据只有在被有效的利用的情况下才能产生更大价值，随着计算机、数据分析与挖掘技术的发展，通过计算机来辅助甚至代替人去对海量视频进行分析处理，提取结构化的信息数据，必然是将来的发展趋势。

近年来，出现了很多对视频数据进行结构化处理的方法和系统，典型的代表是视频摘要技术(如：CN10439448和CN103092930)与人脸识别技术(如：CN104050449、CN103279740和CN104239862等)。视频摘要技术可将冗长的视频浓缩生成简短的视频摘要供用户快速查看，并可以根据指定的特征检索潜在的目标，可有效的提高用户查看和检索视频的效率。人脸识别技术是在给定的人脸数据库上将图像中的人脸进行识别。

然而，视频摘要与检索技术往往只适合应用于目标稀疏的视频场景，主要包括两方面原因，一是由于计算机视觉技术本身的限制，对于目标密集叠加的场景，很难在有限的计算资源情况下做到精确的目标分割和特征提取，另一方面，对于目标密集的场景，视频摘要的结果视频与原视频比较，对查看效率没有明显的提升。因此，对于目标密集场景的情况，视频摘要与检索技术往往难以实际应用。人脸识别技术虽然目前已经取得了很大的进步，在一些定义的标准数据集上虽然通过深度学习的方法已经达到甚至超过了人的识别能力，可以实际应用于一些证件照片等的识别和验证，然而在实际的监控视频中，由于角度、光照和距离等各种难以控制的因素的影响，精确的人脸识别还远远未达到人们的期望。

视频中“人”的信息往往是查看视频所寻找的主体目标，其他类别的目标包含较少的信息量，但却在视频结构化处理中消耗大量的计算资源和时间。

发明内容

本发明的一个目的在于提出了一种基于人脸识别的视频摘要方法，主要关注视频中的“人”这类目标类型，基于人脸识别，对视频进行摘要，生成包含人脸的摘要视频。

本发明的另一个目的在于提出了一种装置，以完成基于人脸识别的视频摘要方法，获得视频摘要。

本发明的再一个目的在于提出了一种基于人脸识别的人脸摘要方法，主要关注视频中的“人”这类目标类型，基于人脸识别，对视频进行摘要，生成出现在视频中的每个人的人脸图像。

本发明的另一个目的在于提出了一种装置，以完成基于人脸识别的人脸摘要方法，获得人脸图像。

一种基于人脸识别的视频摘要方法，包括

步骤一，人脸检测

是对原始视频中的图像帧进行扫描，获得视频帧中是否存在人脸区域，如果存在人脸区域，获取人脸所在区域，这些区域作为人脸跟踪的输入数据；

步骤二，人脸跟踪

人脸跟踪一方面是对人脸检测的结果进行平滑滤波，并作为轨迹生成提供输入数据；

步骤三，人脸轨迹生成

轨迹生成是对人脸跟踪的结果进行整理和索引，通过索引和记录每个跟踪得到的单个人脸的区域轨迹，得到一个个人脸目标的运动轨迹，这里称为人脸轨迹。人脸轨迹包含了该人脸运动的坐标位置、人脸区域和人脸出现的时间段信息。

步骤四，摘要合成

对人脸轨迹所在的视频片段进行合成，即将不同的轨迹中的目标进行前景叠加，生成摘要视频。

一种应用于基于人脸识别的视频摘要方法的装置，包括

视频数据库、视频数据接口模块、人脸检测与跟踪模块、轨迹生成与存储模块、摘要合成模块和用户接口模块。视频数据接口模块对视频数据库进行读取和解码，为人脸检测与跟踪模块提供一帧帧的图像数据，人脸检测与跟踪模块获取每帧图像中的人脸区域，输入到轨迹生成与存储模块，轨迹生成与存储模块根据人脸检测与跟踪模块提供的人脸跟踪信息，生成一个个的人脸目标轨迹，并对其进行索引和存储，摘要合成模块根据用户接口模块的输入条件，生成满足输入条件的索引合成的摘要视频。

一种基于人脸识别的人脸摘要方法，生成出现在原始视频中的不同人的人脸图像，并形成出现的人脸图像列表，包括

步骤一，人脸检测

人脸检测是对原始视频中的图像帧进行扫描，获得视频帧中是否存在人脸区域，如果存在人脸区域，获取人脸所在区域，这些区域作为人脸特征提取的输入数据；

步骤二，人脸特征提取

人脸特征提取是对人脸图像进行图像特征提取，提取人脸特征首先需要对图像中的人脸的特征点进行对齐，对齐后的人脸图像再进行特征提取；

步骤三，人脸特征聚类

对检测到的视频帧中的人脸图像进行人脸特征聚类，使每个类表示了每个人的所有人脸图像；

步骤四，人脸摘要图像生成

最后输出每个聚类的聚类中心对应的人脸图像作为输入视频得到的人脸摘要图像。

一种应用于基于人脸识别的人脸摘要方法的装置，包括

视频数据库、视频数据接口模块、人脸检测模块、人脸特征提取与聚类模块、人脸摘要图像生成与存储模块以及用户接口模块。视频数据接口模块对视频数据库进行读取和解码，为人脸检测模块提供一帧帧的图像数据，人脸检测模块获取每帧图像中的人脸区域，输入到人脸特征提取与聚类模块，人脸特征提取与聚类模块对所有人脸检测模块输入的所有人脸图像进行特征提取和聚类，将大量的序列的人脸图像聚类划分成满足各类内相似度的子类别，使得每个聚类子类近似对应于单个的人脸，人脸摘要图像生成与存储模块对人脸特征提取与聚类模块生成的各个聚类子类别提取代表性的人脸图像，生成人脸摘要图像，并和原始视频信息进行关联存储，用户接口模块为外部系统提供快速查询给定视频的人脸摘要图像的接口。

本发明技术方案实现的有益效果：

本发明基于人脸识别的视频摘要方法和装置，用于合成视频中包含人脸的摘要视频，通过该摘要视频可快速高效的查看视频中“人”这类目标，并且生成的包含“人”的摘要视频都包含了具有可辨识度的人脸，从而过滤掉大量非“人”的目标和无法辨识人脸的“人”的目标。由于人脸区域在视频图像中比较独立，不容易出现区域重叠，因此可以针对人多密集的场景进行摘要，能够有效的补充传统的视频摘要方法的不足。

本发明基于人脸识别的人脸摘要方法和装置，用于生成出现在视频中的不同人的人脸图像，生成的每个人的人脸图像是视频中出现的其最具代表性的图像和相应在原始视频中的位置信息。这些人脸图像可以供人工快速识别，也可作为当前人脸身份识别系统或将来更高精度的人脸身份识别系统的输入数据。针对不同的业务需求所检索的数据库不同，本发明提供的视频人脸摘要图像列表实现快速检索，可大大提高人脸身份识别系统针对视频数据的检索的效率，在非常短的时间内完成对大量视频进行人脸身份识别的任务。

附图说明

图1为本发明基于人脸识别的视频摘要方法的简图；

图2为本发明基于人脸识别的视频摘要方法一实施例的示意图；

图3为本发明基于人脸识别的人脸摘要方法的简图；

图4为本发明基于人脸识别的人脸摘要方法一实施例的示意图；

图5为本发明应用于基于人脸识别的视频摘要方法的装置一实施例的示意图；

图6为本发明应用于基于人脸识别的人脸摘要方法的装置一实施例的流程图。

具体实施方式

以下结合附图详细描述本发明的技术方案。本发明实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围中。

本实施例涉及的基于人脸识别的视频摘要方法，用于合成视频中包含人脸的摘要视频，通过该摘要视频可快速高效的查看视频中“人”这类目标，也是视频信息中最关键的目标，并且生成的包含“人”的摘要视频都包含了具有可辨识度的人脸，从而过滤掉大量非“人”的目标和无法辨识人脸的“人”的目标。由于人脸区域在视频图像中比较独立，不容易出现区域重叠，因此可以针对人多密集的场景进行摘要，能够有效的补充传统的视频摘要方法的不足(参见图1)。

图2为本发明基于人脸识别的视频摘要方法一实施例的流程图，如图2所示，视频摘要方法包括：

a.人脸检测

人脸检测202是对原始视频201中的图像帧进行扫描，获得视频帧中是否存在人脸区域，如果存在人脸区域，获取人脸所在区域，这些区域作为人脸跟踪203的输入数据。

b.人脸跟踪

人脸跟踪203一方面是对人脸检测202的结果进行的一种平滑滤波，另一方面为轨迹生成204提供输入。人脸检测的结果受到光照变化、人脸本身的运动姿态变化等因素的影响，会出现部分帧检测误差较大或检测失败的情况，通过人脸跟踪技术，可以有效的降低这种检测误差并对检测失败的情况进行帧间插值补充，形成一个视频片段中完整准确的人脸区域轨迹。

c.人脸轨迹生成

轨迹生成204是对人脸跟踪203的结果进行整理和索引，通过索引和记录每个跟踪得到的单个人脸的区域轨迹，得到一个个人脸目标的运动轨迹，这里称为人脸轨迹。人脸轨迹包含了该人脸运动的坐标位置、人脸区域和人脸出现的时间段信息，这些信息即可作为摘要视频合成的基础，也可作为视频检索的结构化数据来源，例如：可检索出现在特定时间段的人脸，以及出现在画面中特定区域的人脸等。

d.摘要合成

摘要合成205和一般的视频摘要合成的方法相似，即将不同的轨迹中的目标进行前景叠加，不同的是本实施例合成的对人脸轨迹所在的视频片段进行合成，生成摘要视频。摘要合成可控制摘要视频中同一时间人脸轨迹的密度，即同一时间将多少路人脸轨迹合成在一起，人脸轨迹密度越高，摘要视频越短，但密度越高，视频中的目标叠加就越多，因此要在摘要视频的效果和摘要视频时间中进行权衡，选择合适的轨迹密度，若设置人脸轨迹的密度为1，则即最简单的视频中人脸片段快速扫描依次顺序播放。另外，摘要合成可指定满足特定条件的人脸轨迹进行摘要合成，如在视频中特定时间段、视频画面中特定区域出现的人脸进行摘要合成。

图5为本发明应用于基于人脸识别的视频摘要方法的装置一实施例的示意图，上述方法可采用如图5所示的装置实现。如图5所示，该装置包括视频数据库501、视频数据接口模块502、人脸检测与跟踪模块503、轨迹生成与存储模块504、摘要合成模块505和用户接口模块506。视频数据接口模块502对视频数据库501进行读取和解码，为人脸检测与跟踪模块503提供一帧帧的图像数据，人脸检测与跟踪模块503获取每帧图像中的人脸区域，输入到轨迹生成与存储模块504，轨迹生成与存储模块504根据人脸检测与跟踪模块503提供的人脸跟踪信息，生成一个个的人脸目标轨迹(包括人脸坐标序列和人脸区域序列)，并对其进行索引和存储，摘要合成模块505根据用户接口模块506的输入条件，生成满足输入条件的索引合成的摘要视频。

基于人脸识别的人脸摘要方法是用于生成出现在原始视频301中的不同人的人脸图像，并形成出现的人脸图像列表302(参见图3)。所生成的每个人的人脸图像是视频中出现的其最具代表性的图像和相应在原始视频301中的位置信息。这些人脸图像可以供人工快速识别，也可作为当前人脸身份识别系统或将来更高精度的人脸身份识别系统的输入数据。由于人脸身份识别系统往往针对不同的业务需求所检索的数据库不同，例如公安关注视频中有没有抓捕人员列表中的人出现，商户关注视频中有没有老顾客的人员出现等，每个不同的业务任务都要对视频进行一遍检测扫描和匹配计算，不仅消耗大量的计算资源，而且速度慢，通过本发明提供的视频人脸摘要图像列表进行快速检索，可大大提高人脸身份识别系统针对视频数据的检索的效率，在非常短的时间内完成对大量视频进行人脸身份识别的任务。

图4为本发明基于人脸识别的人脸摘要方法一实施例的流程图，如图4所示，视频摘要方法包括：

a.人脸检测

与图2中的人脸检测202的作用类似，本方法人脸检测402是对原始视频401中的图像帧进行扫描，获得视频帧中是否存在人脸区域，如果存在人脸区域，获取人脸所在区域，这些区域作为人脸特征提取403的输入数据。由于这里不需要生成轨迹信息，因此不需要进行人脸跟踪，以减少计算量，节省计算资源。

b.人脸特征提取

人脸特征提取403是对人脸图像进行图像特征提取，提取人脸特征首先需要对图像中的人脸的特征点如：眼角和嘴角等进行对齐，对齐后的人脸图像再进行特征提取，这里提取的特征可以使用多种可行的方法，例如：人脸区域LBP特征，深度神经网络DeepFace特征等。人脸图像提取出的特征向量能够较好的表示人脸，即同一个人不同人脸图像的特征之间的距离较小，具有相似性，而不同人之间的人脸图像的特征之间距离较大，差异性较大。提取的人脸特征的这一特点是后续人脸特征聚类404的基本前提。

c.人脸特征聚类

由于视频中检测到的同一个人的人脸图像会出现在连续很多帧中，如果将这些连续帧中所有的人脸图像作为人脸身份识别系统的输入，则在计算、存储上的效率较低，另外由于会存在很多姿态、分辨率不佳的人脸，往往也会导致人脸身份识别系统的结果较差。本实施例提供的方法通过对检测到的视频帧中的人脸图像进行人脸特征聚类，聚类使每个类表示了每个人的所有人脸图像。这里的特征聚类算法需要使用自适应聚类算法，即自动确定聚类数，常见的方法如：层次聚类算法和Meanshift算法等。例如：可首先进行层次聚类，通过实验判断选取层次深度，使得每个聚类的子类近似对应于单个人的人脸。

d.人脸摘要图像生成

由于聚类中心最能够代表一个聚类的整体情况，选取人脸特征聚类404中聚类中心人脸图像特征对应的人脸图像作为该人的代表人脸图像，最后输出每个聚类的聚类中心对应的人脸图像作为输入视频得到的人脸摘要图像。这里也可以选取距离聚类中心最近的若干个图像作为代表图像。还可以是均匀选取一个聚类中若干个人脸图像作为代表图像。

图6为本发明实施基于人脸识别的人脸摘要方法的装置一实施例的示意图。如图6所示，该装置包括视频数据库601、视频数据接口模块602、人脸检测模块603、人脸特征提取与聚类模块604、人脸摘要图像生成与存储模块605以及用户接口模块606。视频数据接口模块602对视频数据库601进行读取和解码，为人脸检测模块603提供一帧帧的图像数据，人脸检测模块603获取每帧图像中的人脸区域，输入到人脸特征提取与聚类模块604，人脸特征提取与聚类模块604对所有人脸检测模块603输入的所有人脸图像进行特征提取和聚类，将大量的序列的人脸图像聚类划分成满足一定类内相似度的子类别，可使用基于层次聚类的方法，通过实验选取层次深度，使得每个聚类子类近似对应于单个的人脸，人脸摘要图像生成与存储模块605对人脸特征提取与聚类模块604生成的各个聚类子类别提取代表性的人脸图像，生成人脸摘要图像，并和原始视频信息进行关联存储，用户接口模块606为外部系统提供快速查询给定视频的人脸摘要图像的接口。

Claims (9)

1.一种基于人脸识别的人脸摘要方法，其特征在于包括生成出现在原始视频中的不同人的人脸图像，并形成出现的人脸图像列表。

2.一种基于人脸识别的人脸摘要方法，其特征在于生成出现在原始视频中的不同人的人脸图像，并形成出现的人脸图像列表，包括

步骤一，人脸检测

人脸检测是对原始视频中的图像帧进行扫描，获得视频帧中是否存在人脸区域，如果存在人脸区域，获取人脸所在区域，这些区域作为人脸特征提取的输入数据；

步骤二，人脸特征提取

人脸特征提取是对人脸图像进行图像特征提取，提取人脸特征首先需要对图像中的人脸的特征点进行对齐，对齐后的人脸图像再进行特征提取；

步骤三，人脸特征聚类

对检测到的视频帧中的人脸图像进行人脸特征聚类，使每个类表示了每个人的所有人脸图像；

步骤四，人脸摘要图像生成。

最后输出每个聚类的聚类中心对应的人脸图像作为输入视频得到的人脸摘要图像。

3.根据权利要求2所述的基于人脸识别的人脸摘要方法，其特征在于所述的人脸的特征点为眼角和嘴角之一种或几种。

4.根据权利要求2所述的基于人脸识别的人脸摘要方法，其特征在于所述的人脸特征提取方法为人脸区域LBP特征和深度神经网络DeepFace特征之一种或几种。

5.根据权利要求2所述的基于人脸识别的人脸摘要方法，其特征在于所述的聚类采用层次聚类算法和Meanshift算法之一种或几种。

6.一种用于实施权利要求1-5之一所述的基于人脸识别的人脸摘要方法的装置，其特征在于包括

视频数据库、视频数据接口模块、人脸检测模块、人脸特征提取与聚类模块、人脸摘要图像生成与存储模块以及用户接口模块；其中，

所述的视频数据接口模块对所述的视频数据库进行读取和解码，为所述的人脸检测模块提供一帧帧的图像数据，所述的人脸检测模块获取每帧图像中的人脸区域，输入到所述的人脸特征提取与聚类模块，所述的人脸特征提取与聚类模块对所有人脸检测模块输入的所有人脸图像进行特征提取和聚类，将大量的序列的人脸图像聚类划分成满足各类内相似度的子类别，使得每个聚类子类近似对应于单个的人脸，所述的人脸摘要图像生成与存储模块对所述的人脸特征提取与聚类模块生成的各个聚类子类别提取代表性的人脸图像，生成人脸摘要图像，并和原始视频信息进行关联存储，用户接口模块为外部系统提供快速查询给定视频的人脸摘要图像的接口。

7.一种基于人脸识别的视频摘要方法，其特征在于包括

步骤一，人脸检测

是对原始视频中的图像帧进行扫描，获得视频帧中是否存在人脸区域，如果存在人脸区域，获取人脸所在区域，这些区域作为人脸跟踪的输入数据；

步骤二，人脸跟踪

人脸跟踪一方面是对人脸检测的结果进行平滑滤波，并作为轨迹生成提供输入数据；

步骤三，人脸轨迹生成

轨迹生成是对人脸跟踪的结果进行整理和索引，通过索引和记录每个跟踪得到的单个人脸的区域轨迹，得到一个个人脸目标的运动轨迹。

步骤四，摘要合成

对人脸轨迹所在的视频片段进行合成，即将不同的轨迹中的目标进行前景叠加，生成摘要视频。

8.根据权利要求7所述的基于人脸识别的视频摘要方法，其特征在于所述的人脸轨迹包含了该人脸运动的坐标位置、人脸区域和人脸出现的时间段信息。

9.一种用于实施权利要求7或8所述的基于人脸识别的视频摘要方法的装置，其特征在于包括视频数据库、视频数据接口模块、人脸检测与跟踪模块、轨迹生成与存储模块、摘要合成模块和用户接口模块；其中，

所述的视频数据接口模块对所述的视频数据库进行读取和解码，为人脸检测与跟踪模块提供一帧帧的图像数据，所述的人脸检测与跟踪模块获取每帧图像中的人脸区域，输入到轨迹生成与存储模块，所述的轨迹生成与存储模块根据人脸检测与跟踪模块提供的人脸跟踪信息，生成一个个的人脸目标轨迹，并对其进行索引和存储，所述的摘要合成模块根据用户接口模块的输入条件，生成满足输入条件的索引合成的摘要视频。