CN103442252B

CN103442252B - 视频处理方法及装置

Info

Publication number: CN103442252B
Application number: CN201310367258.0A
Authority: CN
Inventors: 胡小朋; 曹坚
Original assignee: Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Current assignee: Yulong Computer Telecommunication Scientific Shenzhen Co Ltd
Priority date: 2013-08-21
Filing date: 2013-08-21
Publication date: 2016-12-07
Anticipated expiration: 2033-08-21
Also published as: CN103442252A

Abstract

本发明实施例公开了一种视频处理方法及装置，涉及数字视频技术领域，所述方法包括：从视频中抽取至少两个目标视频帧；按照所述目标视频帧在所述视频中播放的时间顺序，将所述目标视频帧组织成视频流。本发明适用于视频简介的提取。

Description

视频处理方法及装置

技术领域

本发明涉及数字视频技术领域，特别涉及一种视频处理方法及装置。

背景技术

随着网络带宽的提高以及各种视频资源的增加，用户越来越倾向在网上下载观看视频，比如电影或者电视剧等。观看网络下载的视频不像电视节目那样受到时间上的限制，下载完成后可以在任意时间去观看。在下载视频之前，用户往往是通过一些简单的文字介绍去了解所下载的视频内容，甚至相当一部分视频连简单的文字介绍都没有，需要用户下载完成后，通过播放才能了解视频的内容。对于比较简短的视频，用户可以直接观看了解视频内容，不需要视频简介。但是对于那些较长的视频，例如电影视频，用户需要耗费一个或几个小时才能对视频内容有比较全面的了解，如果此视频并不是用户想要观看的视频，那么观看视频的这一段时间对用户而言就完全浪费了。

为了能够方便用户了解视频内容，一些专业人士为一些视频制作了视频简介片头，能够通过几分钟的片头视频使用户对整个视频内容有一个全面的了解。

现有技术中至少存在如下问题：人工合成视频需要这些专业人士去观看视频并从中提取视频片段，这种耗费人工较大的片头制作方法成本较高，制作效率低，并不能推广到所有的视频。

发明内容

提供一种视频处理方法及装置，能够解决视频简介片头的制作成本较高的问题，以较低的成本实现视频简介片头的制作。

第一方面，提供一种视频处理方法，包括：

从视频中抽取至少两个目标视频帧；

按照所述目标视频帧在所述视频中播放的时间顺序，将所述目标视频帧组织成视频流。

第二方面，提供一种视频处理装置，包括：

抽取单元，用于从视频中抽取至少两个目标视频帧；

组织单元，用于按照所述抽取单元抽取的所述目标视频帧在所述视频中播放的时间顺序，将所述目标视频帧组织成视频流。

与现有技术需要通过人工进行视频片头的合成相比，本发明实施例中从视频中抽取至少两个目标视频帧；按照所述目标视频帧在所述视频中播放的时间顺序，将所述目标视频帧组织成视频流，形成所述视频的片头。能够自动对视频进行处理，将视频中包含主要人物的目标视频帧抽取出来，进而获得视频的剧情，将这些目标视频帧组织成视频简介的片头。解决了现有技术中视频简介片头制作耗费人工大，制作成本高的问题。以较低的成本和较高的效率制作视频简介片头。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明一实施例提供的方法流程图；

图2为本发明又一实施例提供的方法流程图；

图3、图4为本发明又一实施例提供的装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。

本发明一实施例提供一种视频处理方法，如图1所示，所述方法包括：

101、从视频中抽取至少两个目标视频帧。

具体的，所述从视频中抽取至少两个目标视频帧包括：将所述视频分割为至少两个分段；从每个所述分段中抽取目标视频帧。

其中，分割的方法可以包括但不限于以下方式，按照固定时间长度分割或者按照固定的段数进行平均分割。例如，将一部时长110分钟的电影进行分割，规定将电影分成5段，则每一段的长度为22分钟；或者，规定按照20分钟的时间长度进行分割，则将该电影分割成6段，最后一段时长为10分钟，以一段对待。

进一步的，在对视频分段之后，在执行步骤102之前，所述方法还包括：使用人脸识别统计所述分段中的人物出现次数；根据所述人物出现次数确定所述视频中的主要人物和次要人物，例如，人脸出现次数最多的人物为主要人物或1号人物，其余的为次要人物，再细化可以根据出现次数分为2号人物和3号人物等；将所述分段中所述主要人物连续出现帧数最多的子分段确定为所述分段的关键段；将所述关键段中次要人数出现的数量大于等于N的视频帧确定为关键视频帧，其中N根据所述视频中的次要人物总数确定。

其中，所述目标视频帧为包含主要人物的视频帧。例如，所述从分割后的所述分段中抽取目标视频帧包括：获取关键视频帧，所述视频关键帧为包含主要人物和次要人物的视频帧；以所述视频的时间轴为基准分别向所述关键视频帧的两侧每隔预设帧数或时间长度抽取预设数量的视频帧，作为所述目标视频帧。可以理解的是，对视频进行的分段越多，从各段抽取的目标视频帧在情节上的关联度越大。

其中，所述获取关键视频帧包括：使用人脸识别统计所述视频中的同一人物出现次数；根据所述同一人物出现次数确定所述视频中的主要人物和次要人物；将所述分段中所述主要人物连续出现帧数最多的子分段确定为所述分段的关键段；将所述关键段中次要人数出现的数量大于等于N的视频帧或位于所述关键段中间位置的视频帧确定为关键视频帧，其中N根据所述视频中的次要人物总数确定。

102、按照目标视频帧在视频中播放的时间顺序，将目标视频帧组织成视频流。

进一步的，在所述按照所述目标视频帧在所述视频中播放的时间顺序，将所述目标视频帧组织成视频流之后，所述方法还包括：将所述视频的片头与所述视频合并为新的视频文件，所述视频文件的播放顺序依次为所述视频的片头、所述视频。

可选的，所述方法还包括：从所有的所述关键视频帧中选出任一帧或符合预设条件的任一帧作为所述视频流的缩略图，其中M根据所述视频中的次要人物总数确定。其中，所述符合预设条件的任一帧包括：包含次要人物数量大于等于M的关键视频帧；或者位于该视频的特定时间点或时间段内的关键视频帧。例如，用户通过浏览发现位于3'17''的视频帧画面感非常好，便可以将这该帧作为所述视频流的缩略图。

本发明又一实施例提供一种视频处理方法，对视频进行处理，提取视频中的主要人物的视频帧，将提取的视频帧组织成视频流，生成该视频内容的简介片头，如图2所示，所述方法包括：

201、选取视频文件。

其中，选取视频文件的设备可以为PC或者手机等能够通过软件进行视频处理的终端设备。

202、对选取的视频文件进行分段处理。

203、使用人脸识别技术对每个分段中的每一个视频帧进行检测，得到包含人脸的矩形子图像。

例如，人脸识别技术能够对视频帧中出现的人脸进行定位，在人脸部分用矩形的框锁定人脸位置，本步骤中对所有识别到的矩形框内的人脸的图像进行收集并存储。

204、使用人脸识别技术将所有矩形子图像进行分类，每一类矩形子图像对应一个人物。

例如，通过人脸识别能够对每一个矩形子图像内部的人脸进行识别和归类，把属于同一个人的人脸整理到一个类别内，这样能够准确的得到视频中每个人物的人脸出现的次数。

205、根据每一类矩形子图像的数目确定主要人物和次要人物。

例如，人脸出现次数最多的人物为主要人物或1号人物，其余的为次要人物，再细化可以根据出现次数分为2号人物和3号人物等。

206、在每一个视频分段中，选出主要人物出现次数最多的视频帧序列集。

需要说明的是，该视频帧序列集包含的是多个连续的视频帧，每一个视频帧中至少包含主要人物，也可以包含次要人物。因为该视频的主要人物在连续的多个视频帧中一直出现，所以该视频帧序列集在很大程度上能够表达出此视频分段的主要剧情。此外，视频分段中可能出现多个符合上述要求的视频帧序列集，为了使最后形成的视频简介片头尽量简短，我们可以只选取包含帧数最多的视频帧序列集；可选的，为了保证视频简介片头的内容能够覆盖到大部分的剧情，我们也可以选取多个视频帧序列集。

进一步的，通过以下例子对上述选取视频帧序列集的过程进行详细说明。例如，假设该视频的帧率为每秒30帧，以一个10分钟的分段为例，该分段中共包括30×60×10=18000帧，第1至第1000帧为第一个连续包含主要人物的序列帧集（每帧中均包括1号人物）、2000至2500为第二个连续包含主要人物的序列帧集，……,10000至12000帧为第m个连续包含主要人物的序列帧集，17500至18000帧为该虚拟分段最后一个连续包含主要人物的序列帧集。若第m个连续序列帧包含的帧数目最大，则为该分段的关键段。通常这类包含主要人物的最大连续视频帧可以在某种程度上反映该分段视频的主要剧情。

207、在每一个分段的选出的视频帧序列集中确定关键视频帧。

其中，关键视频帧由以下条件确定：一、关键视频帧中包含主要人物；二、关键视频帧中包含的次要人物数量要大于等于一个阈值，或者关键视频帧位于关键段的中间位置。其中，阈值由步骤205中所确定的次要人物数量确定，例如，阈值可以为次要人物数量的最大值；或者，阈值为每一个视频帧序列集中的单个视频帧中出现的次要人物数量的最大值。

208、根据关键视频帧提取视频帧序列，并将视频帧序列按照播放时间顺序排列，合成视频简介片头。

例如，以关键视频帧为基准，在时间轴上向该帧的前后两侧每隔N帧抽取一定数量的视频帧，将抽取出的视频帧按照其在时间轴上的位置排列。其中，N的大小决定了最终合成的视频简介片头的播放效果和时间长度，N取值越大，则合成的视频简介片头的播放时间越短，画面连续性越差；N取值越小，则合成的视频简介片头的播放时间越长，画面连续性越好。

优选的，N的取值一般为2-3最佳，既能保证视频简介片头画面的连续性又使其时间长度不致过长。

需要说明的是，在抽取视频帧时，抽取的范围不应超过该关键视频帧所在的视频分段的范围。

209、按照优先播放视频流的原则将视频流和原视频合成新的视频。

需要说明的是，在合成视频简介片头之后，需要将简介片头放到原视频的前面，并将二者合并为一个视频，这样当用户观看视频时就可以先看到视频简介的内容，为用户提供参考。

可选的，还可以根据视频关键帧提取缩略图，缩略图即是将多个视频关键帧中的一帧图像作为整个视频的视频海报，为用户提供一个直观的内容，使用户通过图片先对视频有一个大致的了解。例如，由于每个视频关键帧中都包括主要人物，所以可以挑选次要人物较多的视频关键帧作为缩略图；或者，位于该视频的特定时间点或时间段内的关键视频帧。

与现有技术需要通过人工进行视频片头的合成相比，本发明实施例中首先选取视频文件，对选取的视频文件进行分段处理；使用人脸识别技术对每个分段中的每一个视频帧进行检测，得到包含人脸的矩形子图像；根据每一类矩形子图像的数目确定主要人物和次要人物；选出主要人物出现次数最多的视频帧序列集；在每一个分段的选出的视频帧序列集中确定关键视频帧；根据关键视频帧提取视频帧序列，并将视频帧序列按照播放时间顺序排列，合成视频简介片头；按照优先播放视频流的原则将视频流和原视频合成新的视频。能够自动对视频进行处理，将视频中包含主要人物的视频帧抽取出来，进而获得视频的剧情，将这些目标视频帧组织成视频简介的片头。解决了现有技术中视频简介片头制作耗费人工大，制作成本高的问题。以较低的成本和较高的效率制作视频简介片头。

本发明又一实施例提供一种视频处理装置30，如图3所示，所述装置30包括：

抽取单元31，用于从视频中抽取至少两个目标视频帧；

组织单元32，用于按照所述抽取单元31抽取的所述目标视频帧在所述视频中播放的时间顺序，将所述目标视频帧组织成视频流。

进一步的，如图4所示，所述装置30还包括：

分割单元33，用于将所述视频分割为至少两个分段；

所述抽取单元31还用于从每个所述分段中抽取目标视频帧。

进一步的，如图4所示，所述抽取单元31包括：

关键帧获取单元311，用于获取关键视频帧；

目标视频帧获取单元312，用于以所述视频的时间轴为基准分别向所述关键视频帧的两侧每隔预设帧数或时间长度抽取预设数量的视频帧，作为所述目标视频帧。

进一步的，如图4所示，所述关键帧获取单元311具体用于：

使用人脸识别统计所述视频中的同一人物出现次数；

根据所述同一人物出现次数确定所述视频中的主要人物和次要人物；

将所述分段中所述主要人物连续出现帧数最多的子分段确定为所述分段的关键段；

将所述关键段中次要人数出现的数量大于等于N的视频帧或位于所述关键段中间位置的视频帧确定为关键视频帧，其中N根据所述视频中的次要人物总数确定。

进一步的，如图4所示，所述装置30还包括：

合并单元34，用于将所述视频的片头与所述视频合并为新的视频文件，所述视频文件的播放顺序依次为所述视频的片头、所述视频。

进一步的，如图4所示，所述装置30还包括：

选择单元35，用于从所有的所述关键视频帧中选出任一帧或符合预设条件的任一帧作为所述视频流的缩略图，其中M根据所述视频中的次要人物总数确定。

与现有技术需要通过人工进行视频片头的合成相比，本发明实施例中首先将视频分割为至少两个分段；然后从分割后的所述至少两个分段的每个分段中抽取目标视频帧；最后按照所述目标视频帧在所述视频中播放的时间顺序，将所述目标视频帧组织成视频流。能够自动对视频进行处理，将视频中包含主要人物的目标视频帧抽取出来，进而获得视频的剧情，将这些目标视频帧组织成视频简介的片头。解决了现有技术中视频简介片头制作耗费人工大，制作成本高的问题。以较低的成本和较高的效率制作视频简介片头。

本发明实施例提供的视频处理装置可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。本发明实施例提供的视频处理方法及装置可以适用于视频简介的提取，但不仅限于此。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random Access Memory，RAM）等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims

1.一种视频处理方法，其特征在于，包括：

从视频中抽取至少两个目标视频帧；

按照所述目标视频帧在所述视频中播放的时间顺序，将所述目标视频帧组织成视频流；

所述从视频中抽取至少两个目标视频帧包括：

将所述视频分割为至少两个分段；

从每个所述分段中抽取目标视频帧；

所述从每个所述分段中抽取目标视频帧包括：

获取关键视频帧；

以所述视频的时间轴为基准分别向所述关键视频帧的两侧每隔预设帧数或时间长度抽取预设数量的视频帧，作为所述目标视频帧；

所述获取关键视频帧包括：

使用人脸识别统计所述视频中的同一人物出现次数；

2.根据权利要求1所述的方法，其特征在于，在所述按照所述目标视频帧在所述视频中播放的时间顺序，将所述目标视频帧组织成视频流之后，所述方法还包括：

将所述视频的片头与所述视频合并为新的视频文件，所述视频文件的播放顺序依次为所述视频的片头、所述视频。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

从所有的所述关键视频帧中选出任一帧或符合预设条件的任一帧作为所述视频流的缩略图。

4.一种视频处理装置，其特征在于，包括：

抽取单元，用于从视频中抽取至少两个目标视频帧；

组织单元，用于按照所述抽取单元抽取的所述目标视频帧在所述视频中播放的时间顺序，将所述目标视频帧组织成视频流；

所述装置还包括：

分割单元，用于将所述视频分割为至少两个分段；

所述抽取单元还用于从每个所述分段中抽取目标视频帧；

所述抽取单元包括：

关键帧获取单元，用于获取关键视频帧；

目标视频帧获取单元，用于以所述视频的时间轴为基准分别向所述关键视频帧的两侧每隔预设帧数或时间长度抽取预设数量的视频帧，作为所述目标视频帧；

所述关键帧获取单元具体用于：

使用人脸识别统计所述视频中的同一人物出现次数；

5.根据权利要求4所述的装置，其特征在于，所述装置还包括：

合并单元，用于将所述视频的片头与所述视频合并为新的视频文件，所述视频文件的播放顺序依次为所述视频的片头、所述视频。

6.根据权利要求4或5所述的装置，其特征在于，所述装置还包括：

选择单元，用于从所有的所述关键视频帧中选出任一帧或符合预设条件的任一帧作为所述视频流的缩略图。