CN105631422A - 一种视频识别方法以及视频识别系统 - Google Patents

Abstract

本发明公开了一种视频识别方法以及视频识别系统，所述视频识别方法包括：根据镜头分割技术对视频进行分割以获取多个镜头片段，对所述镜头片段进行人脸识别以识别特定人物所在的镜头片段。本发明提供的技术方案结合人脸识别技术与镜头分割技术，能够克服仅仅使用人脸识别技术进行视频识别的各种局限。本发明不是以帧为识别对象，而是以镜头片段为识别对象。在整个镜头片段之中，只要出现一次可识别的人脸就可以识别特定人物所在的镜头片段，而不管是否能够识别特定人物的侧面和背面。根据识别的人脸可以对特定人物出现的镜头片段进行标注以及对特定人物的相关数据进行统计，提高了对特定人物的识别精度，从而提高了标注精度和统计精度。

Description

一种视频识别方法以及视频识别系统

技术领域

本发明涉及显示技术领域，尤其涉及一种视频识别方法以及视频识别系统。

背景技术

现有技术通常采用人脸识别技术对视频之中的人物进行识别，具体的识别过程如下：获取视频帧，对视频帧之中的人脸进行检测以获取每个视频帧之中的人脸图像及其相关信息，对人脸图像进行定位对齐，对人脸图像进行特征提取以获取人脸特征，将提取的人脸特征与预设的人脸特征进行匹配以识别特定人物。

然而，现有的人脸识别技术需要特定人物的人脸以正面形式出现在视频画面之中，也就是说，现有技术只能精准识别人脸正面，对于特定人物的侧面甚至背面往往识别不准确甚至识别不出来。

发明内容

为解决上述问题，本发明提供一种视频识别方法以及视频识别系统，用于解决现有技术只能精准识别人脸正面，对于侧面和背面识别不准确甚至识别不出来的问题。

为此，本发明提供一种视频识别方法，包括：

根据镜头分割技术对视频进行分割以获取多个镜头片段；

对所述镜头片段进行人脸识别以识别特定人物所在的镜头片段。

可选的，还包括：

对所述特定人物所在的镜头片段进行标注。

可选的，所述根据镜头分割技术对视频进行分割以获取多个镜头片段的步骤包括：

根据播放顺序获取多个视频帧；

对当前视频帧与前一视频帧之间的连续性进行判断；

根据判断结果将视频分割为多个镜头片段。

可选的，所述根据判断结果将视频分割为多个镜头片段的步骤包括：

若判断结果为当前视频帧与前一视频帧之间具有连续性，将当前视频帧分割为当前镜头片段；

若判断结果为当前视频帧与前一视频帧之间不具有连续性，将当前视频帧分割为后一镜头片段。

可选的，所述对当前视频帧与前一视频帧之间的连续性进行判断的步骤包括：

获取当前视频帧的多个第一匹配点；

获取前一视频帧的多个第二匹配点；

将所述第一匹配点与所述第二匹配点进行匹配；

根据匹配结果判断当前视频帧与前一视频帧之间的连续性。

可选的，所述根据匹配结果判断当前视频帧与前一视频帧之间的连续性的步骤包括：

若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量大于或等于预设的阈值，判断当前视频帧与前一视频帧之间具有连续性；

若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量小于预设的阈值，判断当前视频帧与前一视频帧之间不具有连续性。

本发明还提供一种视频识别系统，包括：

第一分割单元，用于根据镜头分割技术对视频进行分割以获取多个镜头片段；

第一识别单元，用于对所述镜头片段进行人脸识别以识别特定人物所在的镜头片段。

可选的，还包括：

第一标注单元，用于对所述特定人物所在的镜头片段进行标注。

可选的，所述第一分割单元包括：

第一获取模块，用于根据播放顺序获取多个视频帧；

第一判断模块，用于对当前视频帧与前一视频帧之间的连续性进行判断；

第一分割模块，用于根据判断结果将视频分割为多个镜头片段。

可选的，所述第一分割模块包括：

第一分割子模块，用于若判断结果为当前视频帧与前一视频帧之间具有连续性，将当前视频帧分割为当前镜头片段；

第二分割子模块，用于若判断结果为当前视频帧与前一视频帧之间不具有连续性，将当前视频帧分割为后一镜头片段。

可选的，所述第一判断模块包括：

第一获取子模块，用于获取当前视频帧的多个第一匹配点；

第二获取子模块，用于获取前一视频帧的多个第二匹配点；

第一匹配子模块，用于将所述第一匹配点与所述第二匹配点进行匹配；

第一判断子模块，用于根据匹配结果判断当前视频帧与前一视频帧之间的连续性。

可选的，所述第一判断子模块包括：

第一判断子单元，用于若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量大于或等于预设的阈值，判断当前视频帧与前一视频帧之间具有连续性；

第二判断子单元，用于若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量小于预设的阈值，判断当前视频帧与前一视频帧之间不具有连续性。

本发明具有下述有益效果：

本发明提供的视频识别方法以及视频识别系统中，所述视频识别方法包括：根据镜头分割技术对视频进行分割以获取多个镜头片段，对所述镜头片段进行人脸识别以识别特定人物所在的镜头片段。本发明提供的技术方案结合人脸识别技术与镜头分割技术，能够克服仅仅使用人脸识别技术进行视频识别的各种局限。本发明不是以帧为识别对象，而是以镜头片段为识别对象。在整个镜头片段之中，只要出现一次可识别的人脸就可以识别特定人物所在的镜头片段，而不管是否能够识别特定人物的侧面和背面。根据识别的人脸可以对特定人物出现的镜头片段进行标注以及对特定人物的相关数据进行统计，提高了对特定人物的识别精度，从而提高了标注精度和统计精度。

附图说明

图1为本发明实施例一提供的一种视频识别方法的流程图；

图2为本发明实施例二提供的一种视频识别系统的结构示意图；

图3为图2所示视频识别系统的具体结构示意图。

具体实施方式

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明提供的视频识别方法以及视频识别系统进行详细描述。

实施例一

图1为本发明实施例一提供的一种视频识别方法的流程图。如图1所示，所述视频识别方法包括：

步骤1001、根据镜头分割技术对视频进行分割以获取多个镜头片段。

步骤1002、对所述镜头片段进行人脸识别以识别特定人物所在的镜头片段。

步骤1003、对所述特定人物所在的镜头片段进行标注。

通常来说，电视和电影视频是通过一个个镜头拍摄形成的，因此这些视频通常由多个镜头片段组成，所述镜头片段包括多个视频帧。同一个镜头片段之内的视频帧的画面图像是前后连续的，而前一镜头片段的结束帧与后一镜头片段的起始帧之间具有非常明显的切换。因此，可以将前一镜头片段的结束帧与后一镜头片段的起始帧作为前一镜头片段与后一镜头片段的分割依据。另外，同一个镜头片段之中的人物通常一直出现。

本实施例中，所述根据镜头分割技术对视频进行分割以获取多个镜头片段的步骤包括：根据播放顺序获取多个视频帧；对当前视频帧与前一视频帧之间的连续性进行判断；根据判断结果将视频分割为多个镜头片段。本实施例首先按时间顺序获取视频帧，然后将当前视频帧的画面图像与前一视频帧的画面图像进行比较，判断当前视频帧的画面图像与前一视频帧的画面图像是连续的还是切换的，最后根据判断结果将视频全部分割，从而形成多个镜头片段。因此，本实施例不是以帧为识别对象，而是以镜头片段为识别对象。而以镜头片段为识别对象的好处在于：在整个镜头片段之中，只要出现一次可识别的人脸就可以识别特定人物所在的镜头片段，即使特定人物的其它人脸都是侧面和背面也不会影响识别效果，从而提高了识别精度。

本实施例中，所述根据判断结果将视频分割为多个镜头片段的步骤包括：若判断结果为当前视频帧与前一视频帧之间具有连续性，将当前视频帧分割为当前镜头片段；若判断结果为当前视频帧与前一视频帧之间不具有连续性，将当前视频帧分割为后一镜头片段。具体来说，本实施例按照播放的时间顺序对视频帧与视频帧之间的连续性进行判断，假设当前视频帧为第x帧，则对第x帧的视频帧与第x-1帧的视频帧之间的连续性进行判断，若判断结果为第x帧的视频帧与第x-1帧的视频帧之间具有连续性，将第x帧的视频帧划分为第i镜头片段。此时，第i镜头片段具有起始时间，没有结束时间，也就是说，第i镜头片段的起始帧是确定的，但是第i镜头片段的结束帧还没有确定。因此，继续第x+1帧的视频帧与第x帧的视频帧之间的连续性进行判断，若判断结果为第x+1帧的视频帧与第x帧的视频帧之间具有连续性，则第i镜头片段的结束帧还是没有确定。继续判断下一个当前视频帧，直到判断结果为当前视频帧与前一视频帧之间不具有连续性，则前一视频帧为第i镜头片段的结束帧，当前视频帧为第i+1镜头片段的开始帧。继续寻找第i+1镜头片段的结束帧，直到视频的所有帧分割完成。

由于将特定人物的识别从一帧扩展到一个镜头片段，只需要在镜头片段之中所述特定人物出现过一次正面而且被人脸识别技术识别出来，就可以对整个镜头片段进行所述特定人物的标注。因此，在所述镜头片段之中所述特定人物出现转身等动作时，人脸识别技术无法识别出来，但是只要镜头没有切换，所述特定人物同样是被标注的。另外，利用镜头分割技术对视频进行分割，每个镜头片段包括多个视频帧，那么可以定义在一个镜头片段之中特定人物只有被人脸识别技术识别预设的次数才能判定所述特定人物出现在所述镜头片段之中。这样，通过多次识别的方式可以有效提高识别精度。

本实施例中，所述对当前视频帧与前一视频帧之间的连续性进行判断的步骤包括：获取当前视频帧的多个第一匹配点；获取前一视频帧的多个第二匹配点；将所述第一匹配点与所述第二匹配点进行匹配；根据匹配结果判断当前视频帧与前一视频帧之间的连续性。优选的，所述根据匹配结果判断当前视频帧与前一视频帧之间的连续性的步骤包括：若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量大于或等于预设的阈值，判断当前视频帧与前一视频帧之间具有连续性；若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量小于预设的阈值，判断当前视频帧与前一视频帧之间不具有连续性。

在实际应用之中，上述匹配方法是光流法的一种具体应用。光流是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即确定图像灰度在时间上的变化与景象中物体结构及其运动的关系。本实施例所述的“匹配点”即为像素特征。本实施例对视频帧的画面图像的特定区域进行检验，以确定这些区域的像素是否代表一个特征，从而获得像素特征。本实施例通过特征提取可以提高匹配的精度，从而提高识别的精度。

本实施例提供的视频识别方法包括：根据镜头分割技术对视频进行分割以获取多个镜头片段，对所述镜头片段进行人脸识别以识别特定人物所在的镜头片段。本实施例提供的技术方案结合人脸识别技术与镜头分割技术，能够克服仅仅使用人脸识别技术进行视频识别的各种局限。本实施例不是以帧为识别对象，而是以镜头片段为识别对象。在整个镜头片段之中，只要出现一次可识别的人脸就可以识别特定人物所在的镜头片段，而不管是否能够识别特定人物的侧面和背面。根据识别的人脸可以对特定人物出现的镜头片段进行标注以及对特定人物的相关数据进行统计，提高了对特定人物的识别精度，从而提高了标注精度和统计精度。

实施例二

图2为本发明实施例二提供的一种视频识别系统的结构示意图。如图2所示，所述视频识别系统包括第一分割单元101、第一识别单元102以及第一标注单元103。第一分割单元101根据镜头分割技术对视频进行分割以获取多个镜头片段，第一识别单元102对所述镜头片段进行人脸识别以识别特定人物所在的镜头片段，第一标注单元103对所述特定人物所在的镜头片段进行标注。

通常来说，电视和电影视频是通过一个个镜头拍摄形成的，因此这些视频通常由多个镜头片段组成，所述镜头片段包括多个视频帧。同一个镜头片段之内的视频帧的画面图像是前后连续的，而前一镜头片段的结束帧与后一镜头片段的起始帧之间具有非常明显的切换。因此，可以将前一镜头片段的结束帧与后一镜头片段的起始帧作为前一镜头片段与后一镜头片段的分割依据。另外，同一个镜头片段之中的人物通常一直出现。

图3为图2所示视频识别系统的具体结构示意图。如图3所示，所述第一分割单元101包括第一获取模块104、第一判断模块105以及第一分割模块106。所述第一获取模块104根据播放顺序获取多个视频帧，第一判断模块105对当前视频帧与前一视频帧之间的连续性进行判断，第一分割模块106根据判断结果将视频分割为多个镜头片段。首先第一获取模块104按时间顺序获取视频帧，然后第一判断模块105将当前视频帧的画面图像与前一视频帧的画面图像进行比较，判断当前视频帧的画面图像与前一视频帧的画面图像是连续的还是切换的，最后第一分割模块106根据判断结果将视频全部分割，从而形成多个镜头片段。因此，本实施例不是以帧为识别对象，而是以镜头片段为识别对象。而以镜头片段为识别对象的好处在于：在整个镜头片段之中，只要出现一次可识别的人脸就可以识别特定人物所在的镜头片段，即使特定人物的其它人脸都是侧面和背面也不会影响识别效果，从而提高了识别精度。

本实施例中，所述第一分割模块包括第一分割子模块和第二分割子模块。若判断结果为当前视频帧与前一视频帧之间具有连续性，第一分割子模块将当前视频帧分割为当前镜头片段，若判断结果为当前视频帧与前一视频帧之间不具有连续性，第二分割子模块将当前视频帧分割为后一镜头片段。具体来说，本实施例按照播放的时间顺序对视频帧与视频帧之间的连续性进行判断，假设当前视频帧为第x帧，则对第x帧的视频帧与第x-1帧的视频帧之间的连续性进行判断，若判断结果为第x帧的视频帧与第x-1帧的视频帧之间具有连续性，第一分割子模块将第x帧的视频帧划分为第i镜头片段。此时，第i镜头片段具有起始时间，没有结束时间，也就是说，第i镜头片段的起始帧是确定的，但是第i镜头片段的结束帧还没有确定。因此，继续第x+1帧的视频帧与第x帧的视频帧之间的连续性进行判断，若判断结果为第x+1帧的视频帧与第x帧的视频帧之间具有连续性，则第i镜头片段的结束帧还是没有确定。继续判断下一个当前视频帧，直到判断结果为当前视频帧与前一视频帧之间不具有连续性，则第二分割子模块划分前一视频帧为第i镜头片段的结束帧，当前视频帧为第i+1镜头片段的开始帧。继续寻找第i+1镜头片段的结束帧，直到视频的所有帧分割完成。

本实施例中，所述第一判断模块包括第一获取子模块、第二获取子模块、第一匹配子模块以及第一判断子模块。第一获取子模块获取当前视频帧的多个第一匹配点；第二获取子模块获取前一视频帧的多个第二匹配点；第一匹配子模块将所述第一匹配点与所述第二匹配点进行匹配；第一判断子模块根据匹配结果判断当前视频帧与前一视频帧之间的连续性。优选的，所述第一判断子模块包括第一判断子单元和第二判断子单元。若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量大于或等于预设的阈值，第一判断子单元判断当前视频帧与前一视频帧之间具有连续性，若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量小于预设的阈值，第二判断子单元判断当前视频帧与前一视频帧之间不具有连续性。

在实际应用之中，上述匹配方法是光流法的一种具体应用。光流是利用图像序列中的像素强度数据的时域变化和相关性来确定各自像素位置的“运动”，即确定图像灰度在时间上的变化与景象中物体结构及其运动的关系。本实施例所述的“匹配点”即为像素特征。第一获取子模块和第二获取子模块对视频帧的画面图像的特定区域进行检验，以确定这些区域的像素是否代表一个特征，从而获得像素特征。本实施例通过特征提取可以提高匹配的精度，从而提高识别的精度。

本实施例提供的视频识别系统包括第一分割单元和第一识别单元。第一分割单元根据镜头分割技术对视频进行分割以获取多个镜头片段，第一识别单元对所述镜头片段进行人脸识别以识别特定人物所在的镜头片段。本实施例提供的技术方案结合人脸识别技术与镜头分割技术，能够克服仅仅使用人脸识别技术进行视频识别的各种局限。本实施例不是以帧为识别对象，而是以镜头片段为识别对象。在整个镜头片段之中，只要出现一次可识别的人脸就可以识别特定人物所在的镜头片段，而不管是否能够识别特定人物的侧面和背面。根据识别的人脸可以对特定人物出现的镜头片段进行标注以及对特定人物的相关数据进行统计，提高了对特定人物的识别精度，从而提高了标注精度和统计精度。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (12)

1.一种视频识别方法，其特征在于，包括：

根据镜头分割技术对视频进行分割以获取多个镜头片段；

对所述镜头片段进行人脸识别以识别特定人物所在的镜头片段。

2.根据权利要求1所述的视频识别方法，其特征在于，还包括：

对所述特定人物所在的镜头片段进行标注。

3.根据权利要求1所述的视频识别方法，其特征在于，所述根据镜头分割技术对视频进行分割以获取多个镜头片段的步骤包括：

根据播放顺序获取多个视频帧；

对当前视频帧与前一视频帧之间的连续性进行判断；

根据判断结果将视频分割为多个镜头片段。

4.根据权利要求3所述的视频识别方法，其特征在于，所述根据判断结果将视频分割为多个镜头片段的步骤包括：

若判断结果为当前视频帧与前一视频帧之间具有连续性，将当前视频帧分割为当前镜头片段；

若判断结果为当前视频帧与前一视频帧之间不具有连续性，将当前视频帧分割为后一镜头片段。

5.根据权利要求3所述的视频识别方法，其特征在于，所述对当前视频帧与前一视频帧之间的连续性进行判断的步骤包括：

获取当前视频帧的多个第一匹配点；

获取前一视频帧的多个第二匹配点；

将所述第一匹配点与所述第二匹配点进行匹配；

根据匹配结果判断当前视频帧与前一视频帧之间的连续性。

6.根据权利要求5所述的视频识别方法，其特征在于，所述根据匹配结果判断当前视频帧与前一视频帧之间的连续性的步骤包括：

若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量大于或等于预设的阈值，判断当前视频帧与前一视频帧之间具有连续性；

若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量小于预设的阈值，判断当前视频帧与前一视频帧之间不具有连续性。

7.一种视频识别系统，其特征在于，包括：

第一分割单元，用于根据镜头分割技术对视频进行分割以获取多个镜头片段；

第一识别单元，用于对所述镜头片段进行人脸识别以识别特定人物所在的镜头片段。

8.根据权利要求7所述的视频识别系统，其特征在于，还包括：

第一标注单元，用于对所述特定人物所在的镜头片段进行标注。

9.根据权利要求7所述的视频识别系统，其特征在于，所述第一分割单元包括：

第一获取模块，用于根据播放顺序获取多个视频帧；

第一判断模块，用于对当前视频帧与前一视频帧之间的连续性进行判断；

第一分割模块，用于根据判断结果将视频分割为多个镜头片段。

10.根据权利要求9所述的视频识别系统，其特征在于，所述第一分割模块包括：

第一分割子模块，用于若判断结果为当前视频帧与前一视频帧之间具有连续性，将当前视频帧分割为当前镜头片段；

第二分割子模块，用于若判断结果为当前视频帧与前一视频帧之间不具有连续性，将当前视频帧分割为后一镜头片段。

11.根据权利要求9所述的视频识别系统，其特征在于，所述第一判断模块包括：

第一获取子模块，用于获取当前视频帧的多个第一匹配点；

第二获取子模块，用于获取前一视频帧的多个第二匹配点；

第一匹配子模块，用于将所述第一匹配点与所述第二匹配点进行匹配；

第一判断子模块，用于根据匹配结果判断当前视频帧与前一视频帧之间的连续性。

12.根据权利要求11所述的视频识别系统，其特征在于，所述第一判断子模块包括：

第一判断子单元，用于若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量大于或等于预设的阈值，判断当前视频帧与前一视频帧之间具有连续性；

第二判断子单元，用于若匹配结果为所述第一匹配点与所述第二匹配点之间相互匹配的数量小于预设的阈值，判断当前视频帧与前一视频帧之间不具有连续性。