CN101778257B - 用于数字视频点播中的视频摘要片断的生成方法 - Google Patents

Abstract

一种用于数字视频点播的视频摘要片断的生成方法，是在完整视频基础上，依照设定规则随机截取其中不同时间段的多个镜头依次拼接构成一个贯穿整个视频内容的长的视频片段而形成的；也就是基于镜头是在视频中用同一摄像机进行连续不断拍摄的一段视频内容，镜头内容是个整体，从而从不同时间点分别选择该视频中的多个镜头，再依次拼接，实现视频摘要片断内容的有机链接，用于体现该视频的整体内容，并避免内容的杂乱无章。用户通过观赏视频摘要片段就能预览视频基本内容和画面质量，确定是否对视频感兴趣，进而决定点播与否。本发明能够提高用户观赏视频的时效和经济性，视频内容提供商也能够提高其收视率，进而提高其经济效益和社会效益；获取双赢。

Description

用于数字视频点播中的视频摘要片断的生成方法

技术领域

本发明涉及一种新格式的视频图像信息生成方法，确切地说，涉及一种用于数字视频点播的视频摘要片断的生成方法，属于数字视频图像通信技术领域。

背景技术

数字视频点播技术VOD(Video On Demand)又称交互式电视点播系统。它是计算机技术、网络技术与多媒体技术集成发展的产物，也是一项全新的信息服务。该技术摆脱了传统电视受到时空限制的束缚。其中有线电视视频点播是数字视频点播技术在有线电视网络上的一种典型应用，它是指利用有线电视网络，采用多媒体技术，将声音、图像、图形、文字、数据等集成为一体，向特定用户播放其自行选择、设定的视听节目的业务，包括按次付费、轮播、按需实时点播等多种服务形式。

数字视频点播的工作过程为：用户在客户端启动播放请求，该请求通过网络发出，到达并由服务器的网卡接收，传送到服务器；对该请求通过鉴权验证后，服务器把存储子系统中可访问的视频名单准备好，使用户可以浏览与选择其所喜爱的视频节目单；用户选择和点播希望观赏的视频节目后，服务器就从存储子系统中将该视频内容取出，并传送给客户端播放。

在现有的数字视频点播系统中，用户在点播之前能够获得的视频信息仅仅是点播节目单和电影、MTV等视频内容的名称、类型、主要演员等基本摘要信息以及静态的封面图像。而通过这些静态信息，用户无法了解视频的基本内容和画面质量，从而无法确定是否对欲点播的视频内容感兴趣。因为人们对视频类型的喜好是因人而异的，所以在没有获得视频内容和画面质量信息的情况下，即使利用视频点播频率排行或观众评分等方式，也无法让用户点播到自己真正感兴趣的内容。并且，用户一旦选择点播，系统则会播放整个视频内容并开始收费；此时，如果用户观看一部分内容之后，才发现对其不感兴趣时，就不仅浪费金钱，也浪费了时间。

因此，在用户点播之前，除了获知视频的名称、类型、语言、主要演员以及其他静态基本信息以外，如果还能预览视频基本内容或片断，获知视频画面质量等基本信息，然后再依照个人兴趣进行点播，这样将为用户带来更为高效、经济的服务。然而，现有获取视频摘要的技术所提供的静态摘要内容过于简单，而动态摘要片段大多是通过提取视频的精彩片段或者结合专业领域知识，再进行语义层次的分析等技术手段来获取的，处理过程的复杂度高，效率低。

在数字视频点播的特定场景下，人们更希望能够在满足用户需求的情况下，尽可能的简单、快速、高效地生成视频摘要。

发明内容

有鉴于此，本发明的目的是提供一种用于数字视频点播的视频摘要片断的生成方法，本发明是利用完整数字视频生成视频摘要片段，以便将该摘要片段与该视频名称、类型、主演和语言等其他基本信息一起向用户免费提供，使得用户在正式点播视频之前，能够先链接、预览该视频摘要片断，了解视频基本内容和画面质量后，再确定是否对该视频感兴趣，进而决定是否正式点播；从而提高用户观赏视频的时效和经济性。同时，在用户没有足够时间观赏完整视频内容的情况下，仅仅利用本发明方法生成的视频摘要片断，用户也能迅速浏览这些免费的摘要片断而获知该视频比较详细的基本内容。并且，为了使视频摘要片断的生成方法既能够满足用户需求，又操作简单、容易实现，用来拼接构成视频摘要片段的镜头是依照一定规则在视频各个时间段任意挑选的，并不需要先进行分析处理获得精彩片段等内容，然后再来合成摘要片段。

为了达到上述目的，本发明提供了一种用于数字视频点播的视频摘要片断的生成方法，其特征在于：所述方法是在每个完整视频基础上生成该视频的摘要片段，它是通过依照设定规则确定标记帧，然后截取处在该视频不同时间段各个标记帧所在的镜头内容依次拼接构成一个贯穿整个视频内容的长的视频片段而形成的；也就是基于镜头是在视频中用同一摄像机进行连续不间断地拍摄的一段视频内容，镜头内容是个整体，从而从不同时间点分别选择该视频中的多个镜头，再以这些镜头进行依次拼接构成视频摘要片断，实现视频摘要片断内容的有机链接，用于体现该视频的整体内容，并避免内容的杂乱无章；所述方法包括下列操作步骤：

步骤1，根据视频的总帧数，选择和标记该视频中的若干帧作为标记帧：在开始操作前，先利用视频的总时长乘以视频的帧率计算得到该视频的总帧数，并将每一帧图像在整个视频帧序列中的序列号作为该图像的帧号；该步骤包括下列操作内容：

(11)分别设置两个自然数n和m，其中，n是该视频中需要被标记的帧的数量，m是任意两个相邻标记的帧之间间隔的最短帧数，n和m的数值范围分别是[20，50]和[1500，视频总帧数/n]，；

(12)依据设定规则，即所述m和n的数值要求，任意选择该视频中的n个帧作为标记帧，并定义每个被标记的帧为标记帧和每个标记帧所在的镜头为标记镜头，再记录这些帧的帧序号；

步骤2，寻找标记帧所在镜头的左右边界，用于确定标记镜头的帧范围：利用图像帧之间的相似值，以标记帧为基点，分别向其左、右两侧寻找该标记帧所在的标记镜头的左、右边界；该步骤包括下列操作内容：

(21)确定标记镜头的左边界：采用下述步骤，利用图像帧之间相似值来寻找设定帧号为K的标记帧所在的标记镜头的左边界KL：

A、设定搜索步长step，其数值是大于5、小于30的自然数；

B、利用图像帧之间的相似值的计算方法，分别计算第K帧和与第(K-step)帧之间的相似值Rratio1和第K帧与其相邻帧之间的相似值Rratio2；

C、计算所述两个相似值的比值

且设Rratio1＜Rratio2；如果该比值b₁小于阈值，则在第(K-step)帧和第K帧之间用二分法搜索另一帧，使该另一帧与第K帧之间的相似值Rratio3和所述相似值Rratio2的比值b₂不小于阈值，其中，

当Rratio3＜Rratio2时；或

当Rratio3≥Rratio2时；并标记该另一帧为左边界KL，所述阈值是大于0、小于1的数值；结束该步骤(21)的流程；否则，即该另一帧与第K帧之间的相似值Rratio3和相似值Rratio2的比值b₂大于阈值，则设置K＝K-step，返回执行步骤B的操作；

(22)确定标记镜头的右边界：按照步骤(21)的同样方法，利用图像帧之间的相似值向右来寻找设定帧号为K的标记帧所在的标记镜头的右边界KR；

(23)以标记帧K为基点，将确定了左、右边界KL和KR的镜头记为标记镜头；

步骤3，将得到的各个标记镜头依序进行拼接生成视频摘要片段：获取所有标记镜头的左、右边界后，将所有标记镜头依据其左右边界分别从原视频中复制出来，再按照时间顺序依次拼接，构成一个长的视频片段，即为视频摘要片段；

步骤4，将视频摘要片段与其他信息组合为一体，向用户提供，以完成数字视频点播。

所述图像帧之间的相似值是表示两幅图像帧之间的相似程度的定量数值，图像帧之间的相似值的计算方法包括：基于比较两帧图像相同位置像素差的算法、基于统计信息的直方图比较法、基于比较两帧图像相同块区域像素差的算法、基于块匹配和运动矢量的算法或基于信息熵的互信息对比法。

所述基于比较两帧图像相同位置像素差的算法是：先计算该两帧图像的所有相同位置上的像素值的差，并将所有像素位置上的差的累加之和，作为该两帧图像之间的相似值。

所述基于统计信息的直方图比较法是：先计算两帧图像各自的颜色直方图，再计算该两个颜色直方图的交，并用该两个颜色直方图的交的数值作为两帧图像之间的相似值。

本发明是一种用于数字视频点播的视频摘要片断的生成方法，其任务是在完整视频基础上生成视频摘要片段，使用户在正式点播视频之前，利用视频摘要片段就能够获知视频基本内容和画面质量。

本发明利用完整视频生成视频摘要片段后，将该摘要片段与该视频名称、类型和语言等其他基本信息一起免费提供给用户。用户通过视频摘要片段能预览视频基本内容和画面质量等，确定是否对视频感兴趣进而决定点播与否。同时，在用户没有足够时间观看完整视频的情况下，仅仅利用本发明方法生成的视频摘要片段，用户就可以迅速了解视频基本内容。

本发明方法的技术创新特点是：本发明直接选取不同时间段的镜头构成摘要片段，不需要通过语义分析选取精彩片段等处理方法，使本发明的操作简单、方便，实现容易，并且能满足数字视频点播应用的需求。同时在寻找标记帧所在镜头的左右边界时，所采用的步长跳跃结合二分法搜索来寻找镜头边界方法的优点显著，使得该方法的时效性和空间效率都很高。

再者，利用完整视频所概括生成的视频摘要片段内容相对完整、简明，有助于视频内容提供商将视频摘要片段随同该视频的其他基本信息一起免费呈现给用户。这样，用户在正式点播视频之前，通过浏览某个视频的基本信息，获知该视频的名称、类型、主演、语言和其他信息后，再通过点击视频摘要片段链接，系统就会直接将生成的视频摘要片段内容免费传输给用户并播放。用户通过观赏视频摘要片段就能够迅速预览和获知该视频的基本内容和画面质量，确定是否对该视频感兴趣进而决定点播与否。如果感兴趣而希望观看完整内容，则点播整个视频进行正式播放；否则，继续浏览其他内容。如果用户没有足够时间观看完整视频时，仅仅观赏本发明方法生成的视频摘要片段，也可以迅速了解视频基本内容，从而提高用户观赏视频的时效性和经济性，对于视频内容提供商也能够提高其收视率，进而提高其经济效益和社会效益，获取双赢。再者，本发明操作步骤简单，容易实现，具有很好的推广应用价值。

附图说明

图1是本发明用于数字视频点播的视频摘要片断的生成方法操作流程图。

图2是本发明中标记视频中的若干位置的帧作为标记帧的操作示意图。

图3是本发明中确定标记镜头的左右边界的操作示意图。

图4是本发明中标记镜头拼接生成视频摘要片段的操作示意图。

图5是本发明一个实施例中的视频《阿凡达》的基本信息及其视频摘要片段链接的图像幅面示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明作进一步的详细描述。

本发明是一种用于数字视频点播的视频摘要片断的生成方法，该方法是在每个完整视频基础上生成该视频的摘要片段，它是通过依照设定规则确定标记帧，然后截取处在该视频不同时间段的各个标记帧所在的镜头内容依次拼接构成一个贯穿整个视频内容的长的视频片段而形成的；也就是基于镜头是在视频中用同一摄像机进行连续不间断拍摄的一段视频内容，镜头内容是个整体，从而从不同时间点分别选择该视频中的多个镜头，再以这些镜头进行依次拼接构成视频摘要片断，实现视频摘要片断内容的有机链接，用于体现该视频的整体内容，并避免内容的杂乱无章。

参见图1，介绍本发明方法的具体操作步骤：

步骤1、根据视频的总帧数，选择和标记该视频中的若干帧作为标记帧；

众所周知，每个视频是以某种速率采集的图像序列，通常用幕、场景、镜头、帧等进行描述。帧是一幅静态的图像，也是组成视频的最小单位，每个视频是由许多帧所组成。在处理之前，先利用视频的总时长乘以视频的帧率计算得到该视频的总帧数，并将每一帧图像在整个视频帧序列中的序列号作为该图像的帧号。该步骤包括下列操作内容：

(11)分别设置两个自然数n和m，其中，n是该视频中需要被标记的帧的数量，m是任意两个相邻标记的帧之间间隔的最短帧数，n和m的数值范围是[20，50]和[1500，视频总帧数/n]；

(12)依据设定规则，即所述m和n的数值要求，任意选择该视频中的n个帧作为标记帧，并定义每个被标记的帧为标记帧和每个标记帧所在的镜头为标记镜头；再记录这些帧的帧序号。

参见图2，图中从左到右是整个视频的所有帧的顺序排列，其中带有网格的帧即为三个标记帧。

需要说明的是，该步骤1还包括下列操作内容：开始操作前，先利用视频的总时长乘以视频的帧率计算得到该视频的总帧数，并将每一帧图像在整个视频帧序列中的序列号作为该图像的帧号。

步骤2、寻找标记帧所在镜头的左右边界，用于确定标记镜头的帧范围：利用图像帧之间的相似值，以标记帧为基点，分别向其左、右两侧寻找该标记帧所在的标记镜头的左、右边界。

镜头是在视频中用同一摄像机进行连续不间断地拍摄的一段视频内容，同一镜头中的两个相邻帧在运动、颜色和灰度级上都不应有太大的跳跃式变化。而所有的视频都是由镜头衔接组成起来，每一个镜头在内容上都能够视为一个整体。本发明采用步长跳跃结合二分法搜索来寻找镜头边界，使得该处理过程的时效性和空间效率都得到明显提高。

两个图像帧之间的相似值是表示两幅图像帧之间的相似程度的定量数值，计算图像帧之间相似值的方法很多，通常采用计算图像帧之间的相似值的计算方法包括：基于比较两帧图像相同位置像素差的算法、基于统计信息的直方图比较法、基于比较两帧图像相同块区域像素差的算法、基于块匹配和运动矢量的算法或基于信息熵的互信息对比法等。

其中，基于比较两帧图像相同位置像素差的算法是：先计算该两帧图像的所有相同位置上的像素值的差，并将所有像素位置上的差的累加之和，作为该两帧图像之间的相似值。

基于统计信息的直方图比较法是：先计算两帧图像各自的颜色直方图，再计算该两个颜色直方图的交，并用该两个颜色直方图的交的数值作为两帧图像之间的相似值。

该步骤2包括下列操作内容：

(21)确定标记镜头的左边界：采用下述步骤，利用图像帧之间相似值来寻找设定帧号为K的标记帧所在的标记镜头的左边界KL：

A、设定搜索步长step，其数值是大于5、小于30的自然数；

B、利用图像帧之间的相似值的计算方法，分别计算第K帧和与第(K-step)帧之间的相似值Rratio1和第K帧与其相邻帧之间的相似值Rratio2；

C、计算所述两个相似值的比值

且设Rratio1＜Rratio2；如果该比值b₁小于阈值，则在第(K-step)帧和第K帧之间用二分法搜索另一帧，使该另一帧与第K帧之间的相似值Rratio3和所述相似值Rratio2的比值b₂不小于阈值，其中，

当Rratio3＜Rratio2时；或当Rratio3≥Rratio2时；并标记该另一帧为左边界KL，所述阈值是大于0、小于1的数值；结束该步骤(21)的流程；否则，即该另一帧与第K帧之间的相似值Rratio3和相似值Rratio2的比值b₂大于阈值，则设置K＝K-step，返回执行步骤B的操作；

(22)确定标记镜头的右边界：按照步骤(21)的同样方法，利用图像帧之间的相似值向右来寻找设定帧号为K的标记帧所在的标记镜头的右边界KR；

(23)以标记帧K为基点，将确定了左、右边界KL和KR的镜头记为标记镜头。

参见图3，图中带有网格的标记帧为第K帧，其左右两侧带有深色斜条纹的帧即为第K帧所在镜头的左边界KL和右边界KR。

步骤3、将得到的各个标记镜头依序进行拼接生成视频摘要片段：获取所有标记镜头的左、右边界后，将所有标记镜头依据其左右边界分别从原视频中复制出来，再按照时间顺序依次拼接，构成一个长的视频片段，即为视频摘要片段。参见图4，该图描述了如何利用各个标记镜头顺序链接组成视频摘要片断的过程。

步骤4、将视频摘要片段与其他信息组合为一体，向用户提供，以完成数字视频点播。

视频摘要片段与电影预告片有些类似，也是通过将视频内容中不同时间点处的一些镜头内容拼接构成的一个贯穿整个视频内容的长片段。视频摘要片段用简短的若干镜头用于简明扼要地描述整个视频的内容信息，极大地方便了用户了解视频的基本内容。参见图5，图中右侧就是电影《阿凡达》的视频摘要片段的链接，连同其左侧的其他基本信息一起呈现给用户的实施例画面。

本发明已经进行了多次实施试验，为了能够更好地说明本发明方法，下面结合附图和实施例，具体描述一个实施例的具体实施过程和效果。

这次是选取一个时长为123分钟的电影作为供用户点播的视频内容。该视频内容的帧率为25帧/秒，并且，在该实施例中，采用基于信息熵的互信息对比法计算两帧图像的相似值。具体操作步骤如下：

1、采用均匀标记视频的方法确定标记帧(参见图2所示)，具体方法是：每隔4分钟标记一帧，123分钟的视频总共标记30帧。

2、确定个标记镜头左右边界(参见图3所示)，具体方法为：利用本发明的步骤2，先后确定每个标记帧的左边界及其右边界，构成标记镜头。

3、将所有标记镜头从左边界到右边界依次顺序拼接起来，构成一个长的视频片段，即视频摘要片段(参见图4所示)。

4、当用户点播某一个视频时，系统会免费提供该视频摘要片段给用户观赏(参见图5所示)。以便用户通过视频摘要片段和其他基本信息了解该视频的基本内容，如果对该视频内容感兴趣，则正式点播整个视频，如果不感兴趣则可以继续浏览其他的内容。

本发明的试验结果是成功的，实现了发明目的。

Claims (4)

1.一种用于数字视频点播的视频摘要片断的生成方法，其特征在于：所述方法是在每个完整视频基础上生成该视频的摘要片段，它是依照设定规则确定标记帧，然后截取处在该视频不同时间段的各个标记帧所在的镜头内容依次拼接构成一个贯穿整个视频内容的长的视频片段而形成的；也就是基于镜头是在视频中用同一摄像机进行连续不间断地拍摄的一段视频内容，镜头内容是个整体，从而从不同时间点分别选择该视频中的多个镜头，再以这些镜头进行依次拼接构成视频摘要片断，实现视频摘要片断内容的有机链接，用于体现该视频的整体内容，并避免内容的杂乱无章；所述方法包括下列操作步骤：

步骤1，根据视频的总帧数，选择和标记该视频中的若干帧作为标记帧：在开始操作前，先利用视频的总时长乘以视频的帧率计算得到该视频的总帧数，并将每一帧图像在整个视频帧序列中的序列号作为该图像的帧号；该步骤包括下列操作内容：

(11)分别设置两个自然数n和m，其中，n是该视频中需要被标记的帧的数量，m是任意两个相邻标记的帧之间间隔的最短帧数，n和m的数值范围分别是[20，50]和[1500，视频总帧数/n]；

(12)依据设定规则，即所述m和n的数值要求，任意选择该视频中的n个帧作为标记帧，并定义每个被标记的帧为标记帧和每个标记帧所在的镜头为标记镜头，再记录这些帧的帧序号；

步骤2，寻找标记帧所在镜头的左右边界，用于确定标记镜头的帧范围：利用图像帧之间的相似值，以标记帧为基点，分别向其左、右两侧寻找该标记帧所在的标记镜头的左、右边界；该步骤包括下列操作内容：

(21)确定标记镜头的左边界：采用下述步骤，利用图像帧之间相似值来寻找设定帧号为K的标记帧所在的标记镜头的左边界KL：

A、设定搜索步长step，其数值是大于5、小于30的自然数；

B、利用图像帧之间的相似值的计算方法，分别计算第K帧和与第(K-step) 帧之间的相似值Rratio1和第K帧与其相邻帧之间的相似值Rratio2；

C、计算所述两个相似值的比值 

且设Rratio1＜Rratio2；如果该比值b₁小于阈值，则在第(K-step)帧和第K帧之间用二分法搜索另一帧，使该另一帧与第K帧之间的相似值Rratio3和所述相似值Rratio2的比值b₂不小于阈值，其中， 

当Rratio3＜Rratio2时；或 

当Rratio3≥Rratio2时；并标记该另一帧为左边界KL，所述阈值是大于0、小于1的数值；结束该步骤(21)的流程；否则，即该另一帧与第K帧之间的相似值Rratio3和相似值Rratio2的比值b₂大于阈值，则设置K＝K-step，返回执行步骤B的操作；

(22)确定标记镜头的右边界：按照步骤(21)的同样方法，利用图像帧之间的相似值向右来寻找设定帧号为K的标记帧所在的标记镜头的右边界KR；

(23)以标记帧K为基点，将确定了左、右边界KL和KR的镜头记为标记镜头；

步骤3，将得到的各个标记镜头依序进行拼接生成视频摘要片段：获取所有标记镜头的左、右边界后，将所有标记镜头依据其左右边界分别从原视频中复制出来，再按照时间顺序依次拼接，构成一个长的视频片段，即为视频摘要片段；

步骤4，将视频摘要片段与其他信息组合为一体，向用户提供，以完成数字视频点播。

2.根据权利要求1所述的方法，其特征在于：所述图像帧之间的相似值是表示两幅图像帧之间的相似程度的定量数值，图像帧之间的相似值的计算方法包括：基于比较两帧图像相同位置像素差的算法、基于统计信息的直方图比较法、基于比较两帧图像相同块区域像素差的算法、基于块匹配和运动矢量的算法或基于信息熵的互信息对比法。

3.根据权利要求2所述的方法，其特征在于：所述基于比较两帧图像相同位置像素差的算法是：先计算该两帧图像的所有相同位置上的像素值的差，并 将所有像素位置上的差的累加之和，作为该两帧图像之间的相似值。

4.根据权利要求2所述的方法，其特征在于：所述基于统计信息的直方图比较法是：先计算两帧图像各自的颜色直方图，再计算该两个颜色直方图的交，并用该两个颜色直方图的交的数值作为两帧图像之间的相似值。 

Images