CN104185088A - 一种视频处理方法及装置 - Google Patents

Abstract

本发明公开了一种视频处理方法及装置，用于实现对视频的快速标引。所述方法包括：根据视频内容选择时间轴上的时间点作为所述视频的切割点；在所述时间轴上根据所述切割点对所述视频进行切割和标引。通过在时间轴上对视频进行切割及标引，实现了对视频进行快速定位的功能，且有助于对视频进行辅助说明，强化了视频数据的信息承载能力。

Description

一种视频处理方法及装置

技术领域

本发明涉及视频技术领域，尤其涉及一种视频处理方法及装置。

背景技术

视频作为一种较为特殊的资源，其持续时间长，蕴含内容丰富，是非常重要的媒体类型。由于视频具备时间轴的概念，在整个视频随着时间推进的播放过程中，由于视频本身所展示的信息有限，一方面为了便于快速定位，另一方面为了辅助说明，需要提供一种标引方法，能够在某些时间点或者时间段来对其关键性内容进行标引，来强化视频数据的信息承载能力。目前，视频的时间轴上只能进行对视频的切割，而无法进行标引，当对视频进行标引时，必须在对整段视频切割完毕后，再由编辑人员针对每一个切割点逐个进行标引，因此对视频编辑效率较低，同时由于切割和标引分开进行，导致视频编辑的准确度降低。

发明内容

本发明实施例提供一种视频处理方法及装置，用于实现对视频的快速标引。

一种视频处理方法，包括以下步骤：

根据视频内容选择时间轴上的时间点作为所述视频的切割点；

在所述时间轴上根据所述切割点对所述视频进行切割和标引。

本发明实施例的一些有益效果可以包括：通过在时间轴上对视频进行切割及标引，实现了对视频进行快速定位的功能，且有助于对视频进行辅助说明，强化了视频数据的信息承载能力。

所述在所述时间轴上根据所述切割点对所述视频进行切割和标引包括：

在所述时间轴上，在一个切割点处完成切割和标引后，再对下一个切割点进行切割和标引。

本发明实施例的一些有益效果可以包括：在时间轴上的每一个切割点处对视频进行切割和标引，切割和标引在同一步骤中完成，这样，无需进行操作切换，提高了视频的编辑效率，节省视频编辑时间，降低视频编辑的成本，同时提高视频编辑的准确度。

所述根据视频内容选择时间轴上的时间点作为所述视频的切割点，包括：

按照镜头的转换将视频切分为多个镜头，形成镜头序列；

从所述镜头序列中提取每一个镜头的关键帧；

根据所述每一个镜头的关键帧将所述视频划分为多个片段；

选取相邻片段之间的边界点所对应的时间轴上的时间点作为所述视频的切割点；

和/或，所述根据视频内容选择时间轴上的时间点作为所述的视频切割点，包括：

选取所述视频在时间轴上的初始时间点和/或结束时间点作为所述视频的切割点。

本发明实施例的一些有益效果可以包括：对视频在时间轴上进行切割，从而添加视频标引内容，有助于对视频进行辅助说明，强化视频数据的信息承载能力。

所述将视频切分为镜头序列包括：

根据非压缩域的基于整帧图像的彩色直方图和彩色矩，来度量相邻两个视频帧的图像的相似度；

根据所述相邻两个视频帧的图像的相似度判断所述图像是否属于一个镜头；

根据所述判断结果对所述视频进行切分。

本发明实施例的一些有益效果可以包括：根据图像的相似度的高低来对视频进行切分，从而能够根据视频内容来划分视频的片段，更好地对视频进行标引。

所述在所述时间轴上根据所述切割点对所述视频进行切割和标引，包括：

读取所述切割点对应的标引规则；

根据所述标引规则生成在所述切割点处的标引内容；

在所述切割点处添加标引内容；

存储所述标引内容。

本发明实施例的一些有益效果可以包括：针对每一个切割点处的标引规则在时间轴上生成视频标引内容，使得用户能够对视频进行快速定位，提高了视频的编辑效率，减少不必要的模块，降低视频编辑的成本。

一种视频处理装置，包括：

选择模块，用于根据视频内容选择时间轴上的时间点作为所述视频的切割点；

处理模块，用于在所述时间轴上根据所述切割点对所述视频进行切割和标引；

所述处理模块用于，在所述时间轴上，在一个切割点处完成切割和标引后，再对下一个切割点进行切割和标引。

所述选择模块包括：

切分单元，用于按照镜头的转换将视频切分为多个镜头，形成镜头序列；

提取单元，用于从所述镜头序列中提取每一个镜头的关键帧；

划分单元，用于根据所述每一个镜头的关键帧将所述视频划分为多个片段；

选取单元，用于选取相邻片段之间的边界点所对应的时间轴上的时间点作为所述视频的切割点，和/或选取所述视频在时间轴上的初始时间点和/或结束时间点作为所述视频的切割点。

所述切分单元用于：

根据非压缩域的基于整帧图像的彩色直方图和彩色矩，来度量相邻两个视频帧的图像的相似度；

根据所述相邻两个视频帧的图像的相似度判断所述图像是否属于一个镜头；

根据所述判断结果对所述视频进行切分。

所述处理模块包括：

读取单元，用于读取所述切割点对应的标引规则；

生成单元，用于根据所述标引规则生成在所述切割点处的标引内容；

添加单元，用于在所述切割点处添加标引内容；

存储单元，用于存储所述标引内容。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为一种视频处理方法的示例性流程图；

图2为在时间轴上为视频选择切割点的示例性流程图；

图3为一实施例中在时间轴上对视频进行处理的示例图；

图4为一实施例中在时间轴上对视频进行处理的示例性流程图；

图5为另一实施例中在时间轴上对视频进行处理的示例图；

图6为在切割点处对视频进行标引的示例性流程图；

图7为一种视频处理装置的示例性结构图；

图8为视频处理装置中选择模块的示例性结构图；

图9为视频处理装置中标引模块的示例性结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

在一个实施例中，本发明提供了一种视频处理的方法，如图1所示，包括：

步骤S101，根据视频内容选择时间轴上的时间点作为视频的切割点；

步骤S102，在时间轴上根据切割点对视频进行切割和标引；

采用本发明的技术方案，通过在时间轴上对视频进行切割及标引，实现了对视频进行快速定位的功能，且有助于对视频进行辅助说明，强化了视频数据的信息承载能力。

步骤S102中，当在时间轴上选择好作为视频切割点的时间点后，可以按照时间轴上的时间次序依次对视频进行切割，待所有的切割点都进行切割完成后，再从第一个切割点处开始对视频进行标引。也可以在一个切割点处完成切割和标引后，再对下一个切割点进行切割和标引，即在时间轴上每切割一次视频，就对该切割点处的视频进行一次标引，然后再在下一个切割点处进行切割并标引，直至将整个视频标引结束。在时间轴上的每一个切割点处对视频进行切割和标引，切割和标引在同一步骤中完成，这样，无需进行操作切换，提高了视频的编辑效率节省视频编辑时间，降低视频编辑的成本，同时提高视频编辑的准确度。

其中，步骤S101中还包括如下步骤，如图2所示：

步骤S1011，按照镜头的转换将视频切分为多个镜头，形成镜头序列；

步骤S1012，从镜头序列中提取每一个镜头的关键帧；

步骤S1013，根据每一个镜头的关键帧将视频划分为多个片段；

步骤S1014，选取相邻片段之间的边界点所对应的时间轴上的时间点作为视频的切割点。

首先对视频镜头进行切分，视频可看做是一个连续静态图像的序列，其中的每一幅静态图像称为一帧。视频流中的镜头是由时间连续的视频帧组成的，它对应着摄像机一次纪录的起停操作。镜头之间有多种类型的过渡方式，最常见的是“切变”，表现为在相邻两帧间发生的突变性的镜头转换。此外，还存在一些较复杂的过渡方式，如淡入、淡出等。视频镜头切分就是将视频分割成一组镜头序列。然后，从镜头序列中提取能代表镜头内容的视频关键帧。再次，根据所提取的视频关键帧将视频划分为多个片段，例如，将语义相关的镜头划分为一个片段。最后，选取相邻片段之间的边界点所对应的时间轴上的时间点作为视频的切割点。

例如，可以选择某电视剧播放结束和开播广告之间的时间点作为该视频的切割点，用于为视频片段添加EPG（Electronic Program Guide，电子节目菜单）信息；也可以根据视频片段的不同情节来选择切割点，从而实现了对视频进行快速定位的功能，且有助于对视频进行辅助说明，强化了视频数据的信息承载能力。

此外，也可选取视频在时间轴上的初始时间点和/或结束时间点作为视频的切割点。

步骤S1011中，采用非压缩域的基于整帧图像的彩色直方图、彩色矩等图像彩色信息来对相邻两个视频帧的图像的相似度进行度量，并根据帧间图像的相似度来将视频切分为镜头序列。相似度高的切分为一组镜头，相似度低的则切分为不同的镜头。

下面通过具体实施例来说明对视频进行切割和标引的步骤，该实施例中，切割与标引同时进行，且选用电视剧《ABC》进行说明。如图3所示为一段视频的时间轴，图中的标号（1）表示开始播放ABC第一集，标号（2）表示ABC第一集播放结束，即片尾广告（例如某家电广告）的开始，标号（3）则表示广告播放结束，即整段视频的结束。为了在整段视频上添加标引内容，有助于对视频进行辅助说明，首先在时间点（1）处切割视频，并添加标引内容“ABC第一集”，然后在时间点（2）处切割视频，并添加标引内容“某家电广告开始”或“ABC第一集结束”，最后在时间点（3）处切割视频，并添加标引内容“某家电广告结束”。

图4为上述实施例的示例性流程图，本实施例以电视剧《ABC》为例，包括如下步骤：

步骤S401，在时间点（1）处切割视频并添加标引内容；如“ABC第一集”；

步骤S402，在时间点（2）处切割视频并添加标引内容；如“某家电广告开始”或“ABC第一集结束”；

步骤S403，在时间点（3）处切割视频并添加标引内容；如“某家电广告结束”。

在另一实施例中，根据视频片段的不同情节来切割视频，如图5所示为一段视频的时间轴。本实施例中选用综艺节目《X是歌手》进行说明。图中标号（4）表示综艺节目《X是歌手》的开始，即主持人的出场发言，标号（5）表示第一位歌手开始表演，标号（6）表示第二位歌手开始表演，等等。首先在时间点（4）处切割视频，并添加标引内容“主持人出场发言”，然后在时间点（5）处切割视频，并添加标引内容“歌手‘1’的表演”，然后在时间点（6）处切割视频，并添加标引内容“歌手‘2’的表演”，以此类推，将相邻的两个不同歌手之间的时间点作为切割点切割视频，并同时添加标引内容，直至将整个视频标引结束。

步骤S102中，在时间轴上根据切割点对视频进行切割和标引包括以下步骤，如图6所示：

步骤S1021，读取切割点对应的标引规则；标引规则包括标引维度和标引类型；

步骤S1022，根据标引规则生成在切割点处的标引内容；

步骤S1023，在切割点处添加标引内容；

步骤S1024，存储标引内容。

在步骤S1021中，标引规则包括标引维度和标引类型，且每一个标引维度对应一个具体的标引类型，标引类型一般分为两种，一种是资源标引，以建立和某种静态资源之间的关联标引为目的，例如标引一段文字、一张图片或一个网址；另一种是事件标引，以建立和某种动态事件之间的关联标引为目的，例如一个抽奖活动、一个评论或者一个投票交互等。在这两种大的标引类型之下，针对具体的子类型，还可以进一步区分。

表1举例说明标引维度与标引类型的关系。

表1

标引维度	标引类型	标引内容示例
			所属国别	资源标引/文本	中国
语言	资源标引/文本	粤语
			拍摄年份	资源标引/文本	2012年
关联图片	资源标引/图片	123.jpg
			关联音频	资源标引/音频	Abc.mp3
短信问答	事件标引/抽奖	抽奖
			投票交互	事件标引/投票	投票

步骤S1022中，当在某时间点处对视频进行切割后，读取该时间点处所对应的标引规则，标引规则由编辑人员预先设定，然后根据该标引规则生成标引内容并添加标引内容，例如可添加文本、图片、音频、视频或者网络地址等。根据标引规则在切割点处生成标引内容时，可以通过手动输入标引内容，也可以由系统根据视频内容自动生成标引内容。例如，在某处切割视频后，该切割点处的标引类型为文本类型，通过手动输入“ABC第一集”来完成对视频的标引。当需要在某切割点处用图像信息来对视频进行标引，从而使得该切割点处的视频信息更加直观明确时，就可以在此处进行切割后，由系统来自动提取该切割点处的一帧图像或者网络地址，进而生成标引内容。最后，将标引内容进行存储。在整个视频标引结束后，播放该视频时，用户就可看到该视频时间轴上的标引内容。

在另一个实施例中，本发明还提供了一种视频处理装置，如图7所示，包括：

选择模块71，用于根据视频内容选择时间轴上的时间点作为视频的切割点；用于选取相邻片段之间的边界点所对应的时间轴上的时间点作为视频的切割点；用于选取视频在时间轴上的初始时间点和/或结束时间点作为视频的切割点。

处理模块72，用于在时间轴上根据切割点对视频进行切割和标引；

其中，选择模块71还包括以下几个单元，如图8所示：

切分单元711，用于按照镜头的转换将视频切分为多个镜头，形成镜头序列；根据非压缩域的基于整帧图像的彩色直方图和彩色矩，来度量相邻两个视频帧的图像的相似度；并根据相邻两个视频帧的图像的相似度判断图像是否属于一个镜头；根据判断结果对视频进行切分。

提取单元712，用于从镜头序列中提取每一个镜头的关键帧；

划分单元713，用于根据每一个镜头的关键帧将视频划分为多个片段；

选取单元714，用于选取相邻片段之间的边界点所对应的时间轴上的时间点作为视频的切割点，和/或选取视频在时间轴上的初始时间点和/或结束时间点作为视频的切割点。

处理模块72还包括以下几个单元，如图9所示：

读取单元721，用于读取切割点对应的标引规则；标引规则包括标引维度和标引类型；

生成单元722，用于根据标引规则生成在切割点处的标引内容；

添加单元723，用于在切割点处添加标引内容；

存储单元724，用于存储标引内容。

当对一段视频进行处理时，首先，选择模块71中的切分单元711将视频切分为镜头序列，在视频切分为镜头序列过程中，采用非压缩域的基于整帧图像的彩色直方图和彩色矩来度量帧间图像的相似度，并根据帧间图像的相似度对视频进行切分；然后，提取单元712从切分后的镜头序列中提取镜头的关键帧，划分单元713根据该镜头的关键帧将视频划分为多个片段，最后，选取单元714选取相邻片段之间的边界点所对应的时间轴上的时间点作为视频的切割点，或者选取视频在时间轴上的初始时间点和/或结束时间点作为视频的切割点。当切割点选择好之后，处理模块72根据视频在时间轴上的切割点对视频进行切割，每切割一次，就通过处理模块72在该切割点处对视频进行标引。或者，处理模块72将整段视频切割完成后，再在时间轴上从第一个切割点处开始对视频进行标引。标引过程为：首先，处理模块72中的读取单元721读取该切割点处对应的标引规则，然后，由生成单元722根据该切割点处的标引规则生成该切割点处的标引内容，添加单元723根据所读取的标引规则添加切割点处的标引内容，最后，存储单元724对标引内容进行存储。

采用本发明的技术方案，通过在时间轴上对视频进行切割及标引，实现了对视频进行快速定位的功能，且有助于对视频进行辅助说明，强化了视频数据的信息承载能力。同时，提高了视频的编辑效率，减少了不必要的模块，降低视频编辑的成本。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种视频处理方法，其特征在于，包括以下步骤： 

根据视频内容选择时间轴上的时间点作为所述视频的切割点； 

在所述时间轴上根据所述切割点对所述视频进行切割和标引。 

2.如权利要求1所述的方法，其特征在于，在所述时间轴上根据所述切割点对所述视频进行切割和标引包括： 

在所述时间轴上，在一个切割点处完成切割和标引后，再对下一个切割点进行切割和标引。 

3.如权利要求1所述的方法，其特征在于，所述根据视频内容选择时间轴上的时间点作为所述视频的切割点，包括： 

按照镜头的转换将视频切分为多个镜头，形成镜头序列； 

从所述镜头序列中提取每一个镜头的关键帧； 

根据所述每一个镜头的关键帧将所述视频划分为多个片段； 

选取相邻片段之间的边界点所对应的时间轴上的时间点作为所述视频的切割点； 

和/或 

所述根据视频内容选择时间轴上的时间点作为所述视频的切割点，包括： 

选取所述视频在时间轴上的初始时间点和/或结束时间点作为所述视频的切割点。 

4.如权利要求3所述的方法，其特征在于，所述按照镜头的转换将视频切分为多个镜头，形成镜头序列，包括： 

根据非压缩域的基于整帧图像的彩色直方图和彩色矩，来度量相邻两个视频帧的图像的相似度； 

根据所述相邻两个视频帧的图像的相似度判断所述图像是否属于一个镜头； 

根据所述判断结果对所述视频进行切分。 

5.如权利要求1所述的方法，其特征在于，所述在所述时间轴上根据所述切割点对所述视频进行切割和标引，包括： 

读取所述切割点对应的标引规则； 

根据所述标引规则生成在所述切割点处的标引内容； 

在所述切割点处添加标引内容； 

存储所述标引内容。 

6.一种视频处理装置，其特征在于，包括： 

选择模块，用于根据视频内容选择时间轴上的时间点作为所述视频的切割点； 

处理模块，用于在所述时间轴上根据所述切割点对所述视频进行切割和标引。 

7.如权利要求6所述的装置，其特征在于，所述处理模块用于，在所述时间轴上，在一个切割点处完成切割和标引后，再对下一个切割点进行切割和标引。 

8.如权利要求6所述的装置，其特征在于，所述选择模块包括： 

切分单元，用于按照镜头的转换将视频切分为多个镜头，形成镜头序列； 

提取单元，用于从所述镜头序列中提取每一个镜头的关键帧； 

划分单元，用于根据所述每一个镜头的关键帧将所述视频划分为多个片段； 

选取单元，用于选取相邻片段之间的边界点所对应的时间轴上的时间点作为所述视频的切割点，和/或选取所述视频在时间轴上的初始时间点和/或结束时间点作为所述视频的切割点。 

9.如权利要求8所述的装置，其特征在于，所述切分单元用于： 

根据非压缩域的基于整帧图像的彩色直方图和彩色矩，来度量相邻两个视频帧的图像的相似度； 

根据所述相邻两个视频帧的图像的相似度判断所述图像是否属于一个镜 头； 

根据所述判断结果对所述视频进行切分。 

10.如权利要求6所述的装置，其特征在于，所述处理模块包括： 

读取单元，用于读取所述切割点对应的标引规则； 

生成单元，用于根据所述标引规则生成在所述切割点处的标引内容； 

添加单元，用于在所述切割点处添加标引内容； 

存储单元，用于存储所述标引内容。