CN103210651B

CN103210651B - 用于视频概要的方法和系统

Info

Publication number: CN103210651B
Application number: CN201180054662.1A
Authority: CN
Inventors: 高济舟; 黄浴; 虹·希瑟·郁
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2010-11-15
Filing date: 2011-11-15
Publication date: 2016-11-09
Anticipated expiration: 2031-11-15
Also published as: EP2641401A4; US20120123780A1; EP2641401A1; US9355635B2; WO2012068154A1; EP2641401B1; CN103210651A

Abstract

一种视频概要方法包括：将视频（202）划分成多个视频镜头（206）；对来自多个视频镜头（206）的一个视频镜头（206）中的每个帧进行分析；确定视频镜头的每个帧的显著性；基于视频镜头（206）的每个帧的显著性确定视频镜头（206）的关键帧（210）；从关键帧（210）中提取视觉特征；以及基于视觉特征对多个视频镜头（206）执行镜头聚类以确定概念模式。所述方法进一步包括：使用显著性调谐方法来融合不同的概念模式，以及基于全局优化方法生成视频的概要。

Description

用于视频概要的方法和系统

相关申请案的交叉参照

本发明要求2010年11月15日递交的发明名称为“用于视频概要的方法和系统（Method and System for Video Summarization）”的第61/413,836号美国临时申请案的在先申请优先权，该在先申请的内容以全文引入的方式并入本文本中。

技术领域

本发明涉及图像处理，而且，在具体实施例中，本发明涉及用于视频概要（videosummarization）的方法和系统。

背景技术

数字视频的快速发展已经带来了许多新的应用，因此，极需研究并开发新技术，用来降低视频归档、编目和索引的成本并且提高已存储视频的有效性、可用性和可访问性。在所有可能的研究领域中，一个重要的主题是：怎样才能迅速浏览大量视频数据，以及怎样实现有效的内容访问和表现。

为了处理这些问题，近年来，视频摘要（video abstraction）技术已经出现并且吸引了越来越多的研究兴趣。视频摘要有两种类型：视频概要（video summary）和视频缩略（video skimming）。视频概要，也称作静态摘要（still abstract），是从原始视频序列所选取或重建的一组显著图像（salient image）。

视频缩略，也称作运动摘要（moving abstract），是来自原始视频序列的图像序列与对应音频的集合。视频缩略也称作原始视频的预览，并且可分成两个子类型：精彩场景（highlight）和概要序列。精彩场景含有视频中最有趣且最有吸引力的部分，而概要序列则表现整个视频的内容给人的印象。在所有类型的视频摘要中，概要序列传达原始视频的内容的最高语义。

一种现有技术方法是对帧进行均匀采样以缩减视频大小，同时丢失音频部分，这类似于在许多数字视频播放器中所见到的快速转发功能。通过使用帧丢弃（framedropping）和音频采样，时间压缩方法可同时压缩音频和视频以使两者同步。然而，在一些情况下，压缩率可能受到语音失真的限制。帧层缩略（Frame-level skimming）主要依靠用户注意力模型（user attention model）来计算显著性曲线，但这种方法不能保持视频结构，尤其是长视频的结构。镜头聚类（Shot clustering）是视频摘要中的中层方法，但是其可读性常被忽略。语义层缩略（Semantic level skimming）是试图理解视频内容的方法，但是由于“语义鸿沟”难题，可能难以实现语义层缩略的目标。

发明内容

根据一项实施例，一种方法包括：将视频划分成多个视频镜头；对来自多个视频镜头的一个视频镜头中的每个帧进行分析；确定视频镜头的每个帧的显著性；基于视频镜头的每个帧的显著性确定视频镜头的关键帧；从关键帧提取视觉特征；以及基于视觉特征对多个视频镜头执行镜头聚类以确定概念模式（concept pattern）。所述方法进一步包括：使用显著性调谐（aliency tuning）方法来融合不同的概念模式，以及基于全局优化方法生成视频的概要。

根据另一项实施例，一种系统包括：提取单元，所述提取单元从视频中提取多个视频镜头；分析器，所述分析器确定来自多个视频镜头的一个视频镜头的每个帧的显著性；关键帧确定器，所述关键帧确定器基于视频镜头中的每个帧的显著性来确定视频镜头的关键帧；视觉特征提取器，所述视觉特征提取器从关键帧中提取视觉特征；镜头聚类块，所述镜头聚类块基于视觉特征对多个视频镜头执行镜头聚类以确定概念模式。所述系统进一步包括：显著性调谐块，所述显著性调谐块使用显著性调谐方法来执行对不同概念模式的融合；概要生成器，所述概要生成器基于全局优化方法来生成视频概要。

上文相当宽泛地概述了本发明的实施例的特征，目的是让人能更好地理解下文对本发明的详细描述。下文中将描述本发明的实施例的额外特征和优点，其形成本发明的权利要求书的标的物。所属领域的技术人员应了解，所揭示的概念和具体实施例可容易地用作用于修改或设计用于实现本发明的相同目的的其它结构或过程的基础。所属领域的技术人员还应意识到，此类等效构造不脱离所附权利要求书中所阐述的本发明的精神和范围。

附图说明

为更完整地理解本发明及其优点，现在参考以下结合附图进行的描述，在附图中：

图1所示为实施例视频概要系统的流程图；

图2所示为根据一项实施例的视频场景、镜头和帧的分级结构；

图3所示为根据一项实施例的生成相对运动词的过程；

图4所示为音频词的实施例显著性掩蔽；

图5所示为怎样基于不同摄影机运动来对多个视图的缩放因子（scaling factor）进行设定的实施例方法；

图6所示为根据一项实施例的用于动态规划解决方案的子结构；以及

图7所示为根据一项实施例的可用来实施视频概要方法的计算机系统的简化方框图。

具体实施方式

下文详细论述当前优选实施例的制作和使用。但是应了解，本发明提供可实施于广泛的各种具体环境中的许多可应用的发明概念。所论述的具体实施例仅仅说明用以制作和使用本发明的具体方式，而不限制本发明的范围。

视频缩略是将视频缩短成在时间上压缩后的版本的一项任务，观看者通过这个版本仍可理解原始视频的情节。这项技术允许观看者迅速浏览大型多媒体库，因此有助于进行快速视频浏览、视频索引和检索等任务。视频概要主要表现在以下两个方面，即，视频精彩场景和信息概要。

视频概要使观看者能够从较短的概要版本迅速且有效地领会视频所描述或呈现的内容。为了满足这个需求，直观的方式是从原始视频中提取主要梗概，把主要梗概当做一组视频精彩场景，并且将这组视频精彩场景保留在概要视频中。视频梗概可被视为按时间顺序进行排列的具有某种语义含意的概念模式队列或场景序列。

此处，概念模式的层级没有通过人为干预所得知的真实语义概念高。在此项技术中，概念模式对镜头（将一个镜头定义为一组连续的类似视频帧，且将两个连续的镜头之间的过渡称作镜头边界）的语义进行编码，代表镜头群组，所述镜头群组描绘了一致的语义设定且一般可以作为标记或明显的提示，所述标记或提示暗示了原始视频的形成。只要对所有概念模式进行了传达，观看者就可能仅通过看和听少数镜头来复原情节。

通常，视频接连地描绘依序发生或同时发生的故事。在故事中，镜头本身并没有太多含义，但是镜头通常被当作视频作品的基本单元。事实上，故事的基础单元可以是场景，场景被定义为相互关联且在时间上相邻的镜头的序列，所述镜头描绘并传达共同的语义线索。

观看者一般很需要视频的概要。在视频中，通常可能存在对整个故事进行说明的几个场景以及传达相同概念模式的不同镜头。当对传达概念模式的代表性镜头进行选取时，会偏爱于对人的注意力产生最大刺激的镜头，这样，所得的概要视频不仅含有整合的概念模式，而且还谨慎地选取了用丰富的信息来反映概念模式的镜头。此外，从耗时长的场景中选取更多镜头也是合理的，所述耗时长的场景通常突出重要的故事单元。

虽然视频精彩场景和镜头概念模式实例对领会视频中的有趣内容来说是必不可少的，但是连续观看在时间上相隔很久的视频精彩场景通常会使观看者感到不适。因此，包含几个过渡镜头以填补相隔视频精彩场景之间的信息鸿沟是合理的，这种做法可以克服逻辑性故事说明中的突然跳转并且保留对全部信息的适当覆盖。

主要通过基于聚类的方法生成的概念模式未必执行以下准则：已发现的概要可以突出视频的不同方面。镜头或子镜头（subshot）等视频段的不均匀统计分布可能容易使对视频精彩场景进行了最优选取的概要结果有所偏差。因此，在以保留视频概要的多样性为目标的优化中，需要一种称作信息覆盖的准则。在目标函数中，此准则可用于横跨整个视频并均匀地分布在整个视频上。

图1所示为实施例视频概要系统的流程图。可在如图1中所示的系统中实施上一段中所描述的方法。实施例视频概要系统可包含提取单元102、分析单元104以及概要单元106。提取单元102经配置以在帧层级上提取视觉和音频特征。分析单元104经配置以对镜头概念模式和场景结构进行分析。概要单元106经配置以从镜头序列重组的角度对原始视频进行概括。

提取单元102从每个镜头中的采样帧中提取视觉、运动和音频特征。所述视觉和音频特征包含完整视频帧中的尺度不变特征变换（Scale Invariant Feature Transform；SIFT）特征、运动对象的运动矢量，以及每个镜头中重叠的短期音频段的匹配追踪（Matching Pursuit；MP）分解。

分析单元104对原始视频的高层概念和结构进行分析。按照如下方式对具有类似内容的视频镜头进行分组以形成镜头概念模式；提取单元102从上一步骤中已经提取的视觉、运动和音频特征中提取每个镜头的词袋（Bag-of-Words；BoW）描述符（基于SIFT的视觉BoW描述符、局部运动BoW描述符以及基于匹配追踪的音频BoW描述符），随后通过谱聚类法将所述三种类型的BoW描述符分别聚类成若干群组。每个概念模式（集群）代表具有类似的视觉、运动或音频内容的一组视频镜头。此外，在场景过渡图（STG）中，按照位置或戏剧性事件进行统一的若干相互联系的镜头构成一个视频场景。分析单元104可使每个镜头与其语义标签（例如，视觉概念模式）相关联，随后辨别长度最小且含有复现标签的标签子序列。

概要单元106从镜头序列重组的角度对原始视频进行概括。通过对不仅含有最大可实现显著性累积而且横跨整个视频并均匀地分布在整个视频上的一组镜头进行连接，概要单元106生成压缩后的视频摘录，其具有所需的缩略长度。以前的准则试图保留视频精彩场景，例如，有趣的视频场景以及镜头概念模式，而后来的准则试图对整个视频进行良好的信息覆盖。为了满足上述准则，概要单元106制定了全局优化框架以处理镜头选取问题，并且通过动态规划方法来解决这个问题。

图2所示为根据一项实施例的视频场景、镜头和帧的分级结构。如图2中所图示，一般来说，视频202可按照分级形式分解为“视频→场景→镜头→子镜头→关键帧”。换句话说，视频202可划分成多个场景204。场景204可进一步划分成多个镜头206。每个镜头（例如，镜头206）可包括多个子镜头208。每个子镜头可包括多个关键帧210。

场景204定义为在语义上相关且在时间上相邻的镜头的集合，所述集合描绘并传达高层概念。镜头206（视频作品的基本单元）是单个摄影机所记录的不间断片段。子镜头208是镜头（例如，镜头206）之内的段，对应于独特的摄影机运动，例如摇镜头（panning）/倾斜、变焦以及静止。关键帧210是能最好地表现镜头（例如，镜头206）或子镜头（例如，子镜头208）内容的帧。

根据一项实施例，使用镜头检测来实现对视频串流的时间分段。使用基于方差差异（variance-difference）的方法来检测镜头改变，并稳健地检测各场景之间的场景切换以及淡入淡出。计算一个帧的方差，并且记录与前一个帧的方差增量Dvar。根据一项实施例，Dvar开始新镜头所用的准则是：

a.Dvar（当前）<Th1（稳定性要求）

b.最大Dvar（开始至当前）-最小Dvar（开始至当前）>Th2（公差要求）

c.当前镜头中的帧数>Th3（镜头长度要求）

在替代性实施例中，可使用其它技术。例如，使用基于颜色直方图的方法或光流运动特征也可以发现镜头边界。为方便处理，在一些实施例中，将视频数据分成片段，其中每个片段的边界与其在时间轴上处于同一位置的视频镜头同步。

子镜头208是在镜头206之内的段。一般来说，将子镜头208定义成含有独特的摄影机运动。因此，子镜头分段可通过摄影机运动估计来完成。例如，考虑摄影机做如下运动的镜头（例如，镜头206）：拉远镜头（zoom out），随后从左向右摇镜头，并且向着指定对象推进镜头（zoom in），最后停止。随后可将这个镜头划分成三个子镜头，包含一个镜头拉远、一个摇镜头以及一个镜头拉近。通过估计二维刚性变换，可计算出两个相邻帧之间的摄影机运动，所述估计是基于两个帧上的对应的卡内得-卢卡斯-托马西特征跟踪器（Kanade-Lucas-Tomasi Feature Tracker；KLT）关键点跟踪。有关KLT的具体细节参见史（J Shi）和托马西（C Tomasi）（1994年）所著的“追踪有效特征（Good Features to Track）”，这篇文章出自《IEEE国际计算机视觉与模式识别会议（IEEE Conference on Computer Vision andPattern Recognition）》，第593至600页，并且以引入的方式并入本文本中。

假设KLT关键点位于帧t中的(x,y)处，在帧(t+1)中的(x',y')处跟踪对应的KLT关键点，从(x,y)到(x',y')的变换可表达成

[\begin{matrix} x^{'} \\ y^{'} \end{matrix}] = A [\begin{matrix} x \\ y \end{matrix}] + b = [\begin{matrix} s \cos θ & s \sin θ \\ - s \sin & s \cos θ \end{matrix}] [\begin{matrix} x \\ y \end{matrix}] + [\begin{matrix} b_{x} \\ b_{y} \end{matrix}],

其中s、θ、bx、by是摄影机参数，s是变焦因子（zooming factor），θ是逆时针方向旋转度数，bx对应于摇镜头运动，by对应于倾斜运动。

在给定一组KLT关键点对应关系的情况下，可使用稳健的随机采样一致性（RANdomSAmple Consensus；RANSAC）刚性变换估计来对矩阵A以及矢量b求解。有关RANSAC的具体细节参见费斯克勒（M.A.Fischler）和博尔斯（R.C.Bolles）（1981年）所著的“随机采样一致性：可应用于图像分析和自动制图的模型拟合范例（Random Sample Consensus:AParadigm for Model Fitting with Applications to Image Analysis and AutomatedCartography）”，这篇文章出自《ACM通讯》第24期，第381至395页，并且以引入的方式并入本文本中。

关键帧是视频序列中可以最好地表现视频镜头或子镜头内容的帧。根据一项实施例，采用自适应关键帧选取（Adaptive keyframe selection）来选取关键帧。表1中所示为自适应关键帧选取方法。

表1自适应关键帧选取

运动类型	子镜头中的关键帧选取
		静止	选取中间帧（median frame）
摇镜头或倾斜	每隔20个帧进行采样
		变焦	选取第一个和最后一个帧

根据一项实施例，视频镜头（例如，镜头206）的特点在于三种类型的特征：视觉特征、运动特征以及音频特征。

关于视觉特征，采用了用于在关键帧中进行SIFT特征检测的罗易算法（Lowe'salgorithm）。用高斯滤波器（Gaussian filter）在不同尺度下对帧进行卷积，随后获得连续的高斯模糊版本的差异。按照在多个尺度下出现的高斯差（Difference of Gaussians；DoG）的最大值/最小值来定位关键点。随后，丢弃低对比度的关键点，消除高边缘响应。接下来，基于局部梯度方向为每个关键点分配一个或多个定向。最后，生成极其独特的128维矢量，作为视觉特征矢量。SIFT的具体细节参见罗易（Lowe）、大卫（David G.）（1999年）所著的“从局部尺度不变的特征识别对象（Object recognition from local scale-invariantfeatures）”，这篇文章出自《国际计算机视觉大会2（Int.Conference on ComputerVision.2）》，第1150至1157页，并且以引入的方式并入本文本中。

关于运动特征，通过对前景点组中的KLT关键点的相对运动进行计算来获得局部运动信息。在自运动补偿相位之后，通过测量两个帧的对应前景关键点之间的距离，可准确地推导出前景点的相对运动。

假设p_t(i)=[x_t(i),y_t(i)]^T代表帧t处的第i个KLT关键点，在Δt个帧之后，在p_t+△t(i)=[x_t+△t(i),y_t+△t(i)]^T处跟踪对应关键点，基于从帧t到帧(t+Δt)的所有关键点对应关系来估计刚性变换矩阵和矢量可如下计算相对运动矢量m_t(i)：

m_{t} (i) = p_{t + Δt} (i) - (A_{t}^{t + Δt} p_{t + Δt} (i) + b_{t} (i));

其中，这个过程通常称作自运动补偿，所述自运动补偿试图消除因摄影机运动产生的意外背景运动。实际上，前景点组含有点p_t(i)，点p_t(i)与它的相对运动矢量m_t(i)相关联，m_t(i)的2-范数||m_t(i)||₂>M，其中M=max(wid,hei)/128，且(wid,hei)代表视频帧的宽度和高度。例如，对于典型的640×480视频帧大小，M=5，这表明应该把具有5个以上像素偏移的关键点当做前景点。

根据一项实施例，使用极坐标系来获取相对运动矢量的角度和距离。可将相对运动矢量m_t(i)=[x,y]^T的笛卡尔坐标（Cartesian coordinate）变换成相对运动矢量m_t(i)=[x,y]^T的极坐标r_t(i)=(ρ,θ)，其中ρ是距离，θ是角度。使用相对关键点运动矢量的极坐标作为运动特征矢量。在镜头中每隔10个帧抽取一个帧t，且Δt=5，以便增大前景运动并且稳健地分开前景与背景关键点。

关于音频特征，将镜头的音频流切割成长度相等的多个重叠的短时间音频段。随后，通过匹配追踪（MP）分解，对那些音频段执行音频特征的提取。为了改善音频特征的稳健性，仅考虑高于声显著性等级的音频段，从而避免低显著音频段因其值比噪音小而对准确性产生负面影响。

根据一项实施例，采用MP方法将音频段分解成一连串重叠的短时间音频段。虽然可得到MFCC、LPCC等许多用于识别的声特征，但是这些声特征只适合结构化的音频流，例如，音乐或语音。然而，MP能够对环境声音以及其它非结构化声音进行特征化，因此所能访问的信息多得多，从而能增强对潜在概念模式的认识。

由于音频词类似于具有一定长度的短时间音频段，因此可用参考字典中的一组基函数（base function）以及对应的相关系数来对音频词的独特声特性进行编码。MP方法能够实现对音频段的有效稀疏表示（sparse representation）。以迭代方式执行MP分解：在每个步骤中，通过对从残余信号除去的能量进行最大化来选取给定字典的基（basis），直到达到回路的最大数目或者，等价地，达到用来重建信号的基的数目。因此，MP确保所得的稀疏表示在某种意义上最为有效，即，基于已选取基的重建信号所占据的百分比大于任何其它分解方法。MP的具体细节参见梅勒特（S.G.Mallat）和张（Z.Zhang）所著的“具有时频字典的匹配追踪（Matching Pursuits with Time-Frequency Dictionaries）”，这篇文章出自1993年12月出版的《IEEET-SP》，第3397至3415页，并且以引入的方式并入本文本中。

根据另一项实施例，采用具有伽柏波形基（Gabor waveform basis）的伽柏字典（Gabor dictionary）。如以下伽柏函数定义中所示，每个具体的伽柏波形是根据尺度、频率和与原始发生的平移来进行索引。MP是一种类型的贪婪算法（greedy algorithm）：从原始音频信号开始，伽柏字典中的每个基与信号配对，用来计算它们的相关系数。随后，选择具有最大系数的基，因为在所有基中，具有最大系数的基与信号最为类似。随后，通过已选择基将残余信号计算为原始信号与重建信号的差异。在后续迭代中，运用相同操作，除非原始信号被残余信号所替代，并且伽柏字典在最后一次迭代中除去已选择基。所述过程在迭代的数目达到指定的最大数目时停止。

伽柏函数定义为

g_{s, μ, ω, θ} (n) = \frac{K_{s, μ, ω, θ}}{\sqrt{s}} \exp^{- {π (n - μ)}^{2} / s^{2}} \cos [2 πω (n - μ) + θ]

其中s、μ、ω、θ分别是尺度、平移、频率和初始相位。

根据一项实施例，伽柏字典中的基的长度均是256点。为了通过MP分解对短时间音频段进行编码，同样使短时间音频段的长度为256点，以便与伽柏基函数完全对齐。通过运用MP，可用音频特征矢量来表达音频段，所述音频特征矢量的每一项代表已选取伽柏基的系数。根据一项实施例，MP算法的实施如下：

输入：信号：f(t)。

输出：系数列表：(an,gγn)

设定初值：

Rf1←f(t)

重复

如果gγn∈D，那么最大内积为<Rf_n,g_γn>

an←<Rf_n,g_γn>

Rfn+1←Rfn-angγn

n←n+1

直到终止条件（例如：||Rf_n||<阈值）

在下文中详细描述概念模式学习。根据一项实施例，使用词袋（BoW）模型分别在视觉、运动和音频域内对镜头性质进行表征。词袋（BoW）模型最初在自然语言处理（NaturalLanguage Processing）中用来表达文本的结构。例如，BoW模型把文本文档当做是属于参考词典的某些词的集合，但忽略词的顺序和语义含意。BoW模型使用每个词在词典中的出现作为文本的描述符，因此，BoW模型通常成为稀疏矢量。BoW描述符可被当作“基于独立特征的直方图表示”。因此，关于一些实施例，镜头可被当作文本文档。然而，由于镜头中的所有“视觉词”、“运动词”以及“音频词”不像文本文档中的真实词一样能立即使用，因此，需要对那些“词”进行适当定义。根据一项实施例，“词”的确定通常涉及两个步骤：生成码字以及提取特征。

由于BoW描述符在视觉、运动和音频域内均可供每个镜头使用，因此可对原始视频中的镜头进行聚类以发现潜在概念。对视觉、运动和音频BoW模型进行独立处理，因此这些模型可相互提供可靠性。强迫聚类方法首先能够正确地对数据进行分组，但是不同集群中的数据的数目有很大差异。使用谱聚类方法从镜头学习可能存在的概念，该方法可提供最好的分类结果。

在下文中详细描述视觉和音频BoW模型。SIFT特征以每个镜头的关键帧为基础。因此，作为袋的镜头具有“视觉词”的集合，所述集合中的每个“视觉词”是维度为128的矢量。镜头中的词的数目等于以镜头中的所有关键帧为基础的SIFT特征的数目。含有SIFT特征的镜头现在可被当作具有许多词的文本文档。为了生成直方图表达作为镜头的BoW描述符，各种“词”的集合应被当做一个“码簿”，从而建立“码簿”（“字典”），在文本文档中，“take”、“takes”、“taken”以及“took”应被视为相同的（“take”），作为“码簿”的码字。视觉外观方面的词袋请参阅菲菲（L.Fei-Fei）和佩罗纳（P.Perona）所著的“用于学习自然场景种类的贝叶斯分层模型（A Bayesian Hierarchical Model for Learning Natural SceneCategories）”，这篇文章出自2005年出版的第5期《IEEE CVPR》，第524至531页，并且以引入的方式并入本文本中。

视觉码字可被视为若干类似的SIFT特征的代表。根据一项实施例，采用了针对多种SIFT特征的K均值聚类（K-means clustering）。通常从耗时长的离线视频中提取多种SIFT特征。集群的数目等于码簿大小，码簿大小类似于文本字典中的不同词的数目。在聚类之后，码字是集群的中心，通过寻找最靠近的码字将镜头中的每个“词”映射至某个码字，所述最靠近的码字是通过高维度矢量空间中的矢量差异的2-范数来度量。

因此，每个镜头可由码字的直方图来表达，所述直方图的每个条目实质上记录了条目所表达的码字的出现次数。此外，为了构造更强大的BoW直方图，采用tf-idf加权方案。tf-idf加权是用于对码字对于文集中的文档的重要性进行估计的统计学度量方法。重要性与词在文档中出现的次数成正比地增长，但与词在文集中的出现的频率相抵。例如，在文档BoW直方图中，文档可含有100个词，其中词“母牛（cow）”出现了3次。于是，“母牛”的词频（tf）是0.03（3/100）。现在，假定可能存在1000万个文档，且“母牛”在这些文档中的一千个文档中出现。随后，将逆文档频率（idf）计算为log(10^7/10^3)=4。tf-idf权重是以上数值的乘积：0.03×4=0.12。最终的BoW直方图被当做BoW描述符。考虑到视频序列的复杂性；对于视觉聚类，我们建议使用800个码字。

音频BoW模型与视觉BoW模型极其类似；仅有的差异是，原音频特征是维度为256的矢量。相反，音频BoW模型使用50个音频码字。

在下文中详细描述运动BoW模型。通过使用运动BoW模型，可容易地实施码字生成过程。极坐标r_t(i)=(ρ,θ)可用于表达运动特征。因此，极坐标系可量化成径向和角度区域（bin）以构造运动码字。

图3所示为根据一项实施例的生成相对运动词的过程。如图3中所示，如果径向坐标划分成K个区域，角度坐标划分成N个相等的区域，那么将所述2D区域连接起来，构造出大小为K×N的相对运动码簿。随后，可将每个相对运动矢量r_t(i)放进K×N个区域中的一个区域中，以便找到最靠近的运动码字。在运动BoW模型中使用的其余技术类似于在本文中说明的技术。

根据经验，将径向坐标划分成4个区域：[5,8),[8,11),[11,18),[18,+∞)，对于典型的640×480的帧大小；将角度坐标划分成4个区域：[-45°,45°),[45°,135°),[135°,225°),[225°,315°)。

在下文中详细描述通过谱聚类进行的概念学习。为了构造概念模式，通过谱聚类分别对三种类型的BoW描述符进行聚类以形成若干群组。

谱聚类使目标函数最小化，从而消除由于对不同集群中的成员数目进行的不平衡划分所产生的负面影响。因此，虽然原始视频所含有的概念模式由明显不同的数目个镜头成员组成，但是谱聚类不会对均匀数目个成员的划分进行人为偏置，并且能够正确地对所述成员进行划分，前提是特征度量使镜头具有相同的概念一致性。

谱聚类的另一有利特征是，谱聚类偏爱于将局部相关数据归类为一个集群，因为谱聚类新增了另一个约束，用来判别位置靠近的或局部连接的数据，并增大这些数据的相似性以便划分到一个群组内。通过此约束，聚类结果接近人的直觉，即，具有一致成员的集群一般得到集中分布。

受益于谱聚类的优点，潜在概念独立于不同的集群中的视频成员的数目分配。与此同时，由于偏爱于将局部连接数据归类为单一集群，因此所学习的概念往往自成一体，适合于表达视频梗概。谱聚类的算法如下文所述，这个算法在A.Y.Ng、乔丹（M.I.Jordan）和维斯（Y.Weiss）所著的“关于谱聚类的分析和算法（On spectral clustering:Analysis andan algorithm）”一文中进行了论述，这篇文章出自2002年出版的第14期《神经信息处理系统的进步（Advances in Neural Information Processing Systems；NIPS）》，并且以引入的方式并入本文本中。

在下文中详细描述视频场景分段。按照位置或戏剧性事件进行统一的若干相关镜头构成一个场景。为了对视频场景进行分段，使镜头与它的视觉概念标签相关联。在给定的场景中，可共存多个视觉概念。因此，这些视觉概念的镜头与相同概念的多个镜头连接在一起。由于场景中的镜头之间存在强烈的相互作用，因此可使用标签序列来对视频进行分段以形成场景。视频场景分段方法请参阅杨（M.Yeung）、余（B Yeo）（1997年）所著的“用于对画报内容视进行紧凑表达以及快速浏览的频可视化（Video visualization for compactpresentation and fast browsing of pictorial content）”，这篇文章出自第7期第5卷《IEEE T-CASVT》，第771至785页，并且以引入的方式并入本文本中。

场景过渡图（STG）定义为有向图，这样，“节点所含的集合内的镜头具有十分类似的视觉内容，如果节点U中有一个镜头紧靠着位于节点W中的一个镜头之前，则有向边缘从一个节点U拉到另一个节点W”。事实上，可使用标签序列对视频进行分段以形成大型逻辑单元，称作逻辑故事单元（LSU），每个逻辑故事单元与语义场景很相似。

将一个镜头表示成si，其视觉概念标签为Li，标签的最后一次出现为镜头g到镜头(g+η)中的A，即last(A,g)=max_g≤i≤g+η(i:L_i=A)，其中i代表镜头索引，η代表往前的镜头的最大数目（根据经验，设定η=10）。可从场景过渡图（STG）推导出L表last(A,g)的构造。检测场景的算法如下进行：

(1)设定l←m

设定e←last(L_l,m)

(2)当l≤e时，继续

如果(last(L_l,m)>e)e←last(L_l,m)

l←l+1

(3)镜头s_m,s_m+1,…,s_m+e构成一个场景

所述算法对标签序列进行检查，并辨别长度最小且含有所有复现标签的标签子序列。例如，在视频序列具有十个镜头并且所述十个镜头具有以下标签：A、B、A、C、D、F、C、G、D、F的情况下，第一个场景由前三个镜头组成，第二个场景由其余七个镜头组成。

在下文中详细描述显著性计算和缩放。通过融合视觉显著性与音频显著性值，在每个帧处执行显著性计算方法。显著性分析的方法阐述于在先的临时申请案第61/371,458号中。在本发明中，组合了运动与空间颜色显著性，即，表达为四元数图像的四元数傅里叶变换（Quaternion Fourier Transform；QFT），而且我们还并入了另外的电影制作和内容提示，以便通过调高镜头的显著性值来突出重要镜头。

给定的帧t可包括红色r(t)、绿色g(t)、蓝色b(t)通道。通过以下公式得出四个大致调谐后的颜色通道：

R(t)=r(t)-(g(t)+b(t))/2

G(t)=g(t)-(r(t)+b(t))/2

B(t)=b(t)-(r(t)+g(t))/2

Y(t)=(r(t)+g(t))/2-|r(t)-g(t)|/2-b(t)

另外，两个颜色差异通道的定义如下：

RG(t)=R(t)-G(t)

BY(t)=B(t)-Y(t)

强度通道的计算如下：

I(t)=(r(t)+g(t)+b(t))/3

运动通道根据以下公式获取强度映射I(t)与自运动补偿强度映射I(t-τ)之间的绝对差异：

M (t) = | I (t) - (A_{t - τ}^{t} I (t - τ) + b_{t - τ}^{t}) |

其中，和是从帧(t-τ)到帧t的估计摄影机参数。

帧t可表达成如下的四元数图像q(t)：

q(t)=M(t)+RG(t)μ₁+BY(t)μ₂+I(t)μ₃

其中

μ_{j}^{2} = - 1, j = 1,2,3;

且μ₁⊥μ₂,μ₁⊥μ₃,μ₂⊥μ₃,μ₃=μ₁μ₂。此外，q(t)可按照辛形式（symplectic form）表达如下：

q(t)=f₁(t)+f₂(t)μ₂

f₁(t)=M(t)+RG(t)μ₁

f₂(t)=BY(t)+I(t)μ₁

对四元数图像q(n,m,t)执行四元数傅里叶变换（QFT）。四元数图像q(n,m,t)的QFT是：

Q[u,v]=F₁[u,v]+F₂[u,v]μ₂

F_{i} [u, v] = \frac{1}{\sqrt{MN}} Σ_{m = 0}^{M - 1} Σ_{n = 0}^{N - 1} e^{- μ_{1} 2 π ((mv / M) + (nu / N))} f_{i} (n, m)

其中(n,m)和(u,v)分别是每个像素在时间和频率域内的位置；N和M是图像的高度和宽度。

逆变换可写成：

f_{i} (n, m) = \frac{1}{\sqrt{MN}} Σ_{v = 0}^{M - 1} Σ_{u = 0}^{N - 1} e^{μ_{1} 2 π ((mv / M) + (nu / N))} F_{i} [u, v]

四元数图像q(t)的频率域表达（Q(t)）可按照极形式（polar form）写成：

Q(t)=||Q(t)||e^μΦ(t)

其中Φ(t)是Q(t)的相位谱。

在上文所示的公式中，如果||Q(t)||=1，那么四元数图像q(t)的频率域表达Q(t)仅包含频率域中的相位谱。因此，可执行四元数图像q(t)的频率域表达Q(t)的相位谱的四元数傅里叶逆变换（inverse Quaternion Fourier Transform；IQFT）。相位谱q'(t)的IQFT是2-D图像映射，且可如下计算：

q'(t)=a(t)+b(t)μ₁+c(t)μ₂+d(t)μ₃

通过获取平滑滤波器核（smoothing filter kernel）并运行对2-D图像映射q'(t)的卷积，可获得帧t的显著性映射（sM(t)）：

sM(t)=g*||q'(t)||²

其中g是2-D高斯平滑滤波器。在各项实施例中，为了提高计算效率，仅可对调整过大小的图像（例如，其宽度等于128）上的四元数傅里叶变换的相位谱（PQFT）进行计算。

随后，通过获取整个显著性映射的平均值，可将帧t的视觉显著性值S_v(t)计算如下：

S_{v} (t) = \frac{1}{MN} Σ_{m = 0}^{M - 1} Σ_{n = 0}^{N - 1} sM (n, m, t)

在一项实施例中，通过考虑高于声显著性等级的音频词以避免具有低显著性的音频词对BoW准确性产生负面影响，提高了音频BoW特征的稳健性。其原因在于，具有低显著性的音频词的值比噪音小。此处，通过多种低层音频特征（标量值）来度量音频显著性，所述低层音频特征包含频谱矩心（Spectral Centroid）、均方根值（Root Mean Square；RMS）、最大绝对值（Absolute Value Maximum）、过零率（Zero-Crossing Ratio；ZCR）以及频谱通量（Spectral Flux）。通过使用显著性掩蔽，音频词经历可靠性测试，从而提升每个词的特征的准确性。

频谱矩心是信号频谱的中心。通过将频谱当做分布来计算，所述分布的值是频率，且遵守这些分布的可能性是规范化幅值。均方根值是来自范数2的信号的短时能量（shorttime energy）的度量。最大绝对值是来自范数1的信号的短时能量的度量。零交叉（zero-crossing）是信号值与零轴交叉的次数的度量。这些度量在皮特（G.Peeters）于2003年所著的“在CUIDADO计划中的声音描述符（相似性和分类）的大量音频特征（A large set ofaudio features for sound description(similarity and classification)in theCUIDADO project）”中进行了进一步论述，这篇文章以引入的方式并入本文本中。也可查看http://www.ircam.fr/anasyn/peeters/ARTICLES/Peeters_2003_cuidadoaudiofeatures.pdf，这个网页以引入的方式并入本文本中。

图4所示为音频词的显著性掩蔽。在一个镜头之内，在镜头的完整音频信号中，仅有一定量的受掩蔽的短时间音频段通过MP得到稀疏分解，从而形成BoW特征。如果这些段的低层特征高于阈值，则选择这些段。例如，根据一项实施例，选择了高于阈值404的音频显著性402。

根据一项实施例，对音频片段计算出的S_a(t)等音频显著性值与视频帧t的边界对齐。

关于显著性调谐，总是使用摄影机运动来强调或忽略视频的某个对象或段，即，引导观看者的注意力。通过使用刚性运动估计，可稳健地确定摄影机运动的类型和速度。然而，挑战在于，怎样将些摄影机参数映射到这些参数在吸引观看者注意力方面的作用上来。基于一些一般摄影机工作规定的摄影机注意力模型提供于马（Y Ma）、陆（L Lu）、张（HZhang）、李（M Li）所著的“用于视频概要的用户注意力模型（A user attention model forvideo summarization）”一文中，这篇文章出自2002年出版的《ACM多媒体》，第533至542页，并且以引入的方式并入本文本中。

因摄影机运动产生的注意力因子ω_cm(t)经量化为在[0–2]的范围之内。大于1的值意指强调。相反，小于1的值意指忽略。根据来自一般电影作品的以下假定来获得基于用户注意力的模型。第一，假定变焦是强调某物。具体来说，变焦的速度随媒体段的重要性线性地按比例缩放。因此，较快的变焦速度描述重要的内容。通常，镜头拉近用于强调细节，而镜头拉远用于强调总览的场景。第二，如果视频制作者想要忽略某物或降低对某物的强调，则视频制作者可运用摇镜头。类似于变焦的情况，摇镜头操作的速度可用作重要性的量度。与变焦不同的是，摇镜头的速度越快，内容的重要性就越低。

图5所示为怎样基于不同摄影机运动来对多个视图的缩放因子进行设定的实施例方法。这些图通过以下各项说明了摄影机运动：(a)变焦，(b)先变焦后静止，(c)摇镜头，(d)摇镜头的方向映射函数（Direction mapping function），(e)先摇镜头后静止，(f)静止以及其它类型的摄影机运动，(g)先变焦后摇镜头，(h)先摇镜头后变焦，(i)先静止后变焦。

在下文中详细描述视觉与音频显著性的融合。随后，通过对应的摄影机注意力因子ω_cm(t)按照S_v(t)←ω_cm(t)·S_v(t)对帧t的视觉显著性值S_v(t)进行缩放。对帧t的视觉与音频显著性值的线性融合可计算如下：

S (t) = α {\tilde{S}}_{v} (t) + (1 - α) {\tilde{S}}_{a} (t),

{\tilde{S}}_{v} (t) = \frac{S_{v} (t) - \min_{t^{'}} {S_{v} (t^{'})}}{\max_{t^{'}} {S_{v} (t^{'})} - \min_{t^{'}} {S_{v} (t^{'})}},

{\tilde{S}}_{a} (t) = \frac{S_{a} (t) - \min_{t^{'}} {S_{a} (t^{'})}}{\max_{t^{'}} {S_{a} (t^{'})} - \min_{t^{'}} {S_{a} (t^{'})}}

其中和分别是规范化的视觉和音频显著性值；α∈[0,1]控制视觉与音频显著性之间的相对重要性，α通常设定为0.5。

另外，镜头s的镜头显著性X(s)可定义如下：

X (s) = \frac{1}{len (s)} \underset{t &Element; s}{Σ} S (t)

其中X(s)取镜头中的帧的平均显著性值，len(s)代表镜头中的帧数。

由于每个镜头概念模式对不同的高层语义进行编码，因此，有理由推测出最终的视频摘录应包含多个镜头概念。每个概念应在缩略镜头中提供至少一个镜头作为硬约束。根据一项实施例，采用镜头显著性调谐技术来间接地促使缩略视频在每个概念中选择那些排在前面的显著镜头。

假设镜头s在视觉概念中，其显著性X(s)在中的所有镜头之上排在前p个百分点中，代表中的镜头的数目，

{Med}_{V} = Median ({{C}_{V}^{i} : &ForAll; i)}

代表所有视觉概念中的镜头的数目的中值，代表视觉概念中的镜头的最小数目，且目标缩略率给定为Rt%；视觉概念中的镜头s的缩放因子的定义如下：

ω_{cp}^{V} (s) = 1 + \exp (- 0.3 \cdot \frac{p}{R_{t}}) \cdot ξ (| C_{V}^{i} |), s &Element; C_{V}^{i}

例如，如果目标缩略率给定为10%，则相对较大的视觉概念中的前10%的显著镜头更有可能被包含在缩略视频中，因为所述显著镜头的显著性值重新缩放为至少1.7倍，因为exp(-0.3)=0.74082。

可用类似方式计算出音频概念的缩放因子和运动概念的缩放因子来自所有三种类型的概念的组合缩放因子ω_cp(s)可定义如下：

ω_{cp} (s) = ρ_{V} ω_{cp}^{V} (s) + ρ_{A} ω_{cp}^{A} (s) + (1 - ρ_{V} - ρ_{A}) ω_{cp}^{M} (s)

其中ρ_V,ρ_A∈[0,1]；ρ_V+ρ_A≤1平衡视频、音频和运动概念的相对重要性。根据一项实施例，ρ_V=0.5,ρ_A=0.3。

在视频场景的精彩场景（类似于概念模式精彩场景）的情况下，因耗时长所产生的镜头的显著性值可按比例增大。因此，这些精彩场景成为重要场景。假设镜头s在场景sc_i中，且|sc_i|定义了场景sc_i中的镜头的数目，场景sc_i中的镜头s的缩放因子ω_sc(s)的计算如下：

在调谐步骤之后，镜头s的镜头显著性X(s)的计算如下：

X(s)←ω_sc(s)·ω_cp(s)·X(s)

在下文中详细描述经由动态规划的视频缩略。图6所示为根据一项实施例的用于动态规划解决方案的子结构。为了保留视频精彩场景和足够的信息覆盖，使用动态规划（DP）算法来解决视频缩略问题。值函数f(i,j,t)代表从镜头i处开始、在镜头j处结束且含有γ·t个帧的镜头序列602。根据一项实施例，γ=30，即，最小的镜头长度。应注意的是，镜头序列602不需要是连续的，而是仅在两个端点处固定。如图6中所示，值函数f(i,j,t)可如下进行最大化：

f (i, j, t) = \{\begin{matrix} \max_{\underset{t = t_{0} + len (j) / γ}{i \leq k < j}} {f (i, k, t_{0}) + X (j) + λexp (- | d (j, k) - \overline{d} | / β)} & j > i \\ X (i) & j = i \\ - \infty & j < i \end{matrix}

其中长度(j)代表镜头j的长度，即，镜头j中的帧数，d(j,k)代表镜头j与镜头k之间的帧数，代表在镜头对的均匀采样中的两个邻近镜头之间的平均帧数，前提是假定所有镜头采取平均镜头长度。

在给定目标缩略率的情况下，可如下搜索开始和结束镜头：

这是约束优化问题。暴力搜索虽然可行，但是效率很低；事实上，由于存在最优子结构，因此可用DP解决这个问题。通过计算目标函数值f(i,j,t)和所有最优子解决方案，可通过最优路径容易地追溯中间的镜头。应注意，靠近视频的开头和结尾的镜头往往极其重要，因此，用户可限制搜索范围，或者甚至固定开始和/或结束镜头，而不是全局性地搜索开始和结束镜头。

图7所示为根据一项实施例的可用于对视频概要方法进行实施的计算机系统的简化方框图。计算机系统700包含：视频概要单元710、存储器720、处理器730、存储单元740、网络接口输入装置750、网络接口输出装置760以及数据总线770。应注意的是，这个图仅仅是个人计算机的实例，而不应过度限制权利要求书的范围。个人计算机的许多其它配置在本发明的范围之内。所属领域的一般技术人员还会认识到，可通过其它计算机系统来执行高级媒体预览方法，所述其它计算机系统包含便携式计算机、工作站、网络计算机或类似的计算机系统。

视频概要单元710可以是实际装置、软件程序或软件与硬件的组合，例如，专用集成电路（Application Specific Integrated Circuit；ASIC）。根据一项实施例，当计算机通过网络接口输入装置750接收到视频文件时，处理器730将视频文件载入到存储单元740中。根据将视频概要方法实施为软件程序的一项实施例，处理器730从存储单元740载入软件程序并且在存储器720中运行所述软件程序。在处理器730执行了图1中的步骤之后，处理器730通过网络接口输出装置760将视频概要结果发送给终端用户。

虽然已详细地描述了本发明及其优点，但应理解，可在不脱离如所附权利要求书所界定的本发明的精神和范围的情况下对本发明做出各种改变、替代和更改。举例来说，上述许多特征和功能可用软件、硬件、固件或其组合来实施。

此外，本申请案的范围不希望限于本说明书中所描述的过程、机器、制造、物质成分、构件、方法和步骤的特定实施例。如所属领域的技术人员将从本发明的揭示内容容易了解，可根据本发明利用执行与本文中所描述的对应实施例大致相同的功能或实现与本文中所描述的对应实施例大致相同的结果的目前存在或稍后将开发的过程、机器、制造、物质成分、构件、方法或步骤。因此，所附权利要求书既定在其范围内包括此类过程、机器、制造、物质成分、构件、方法或步骤。

Claims

1.一种用于视频概要的方法，包括：

将视频划分成多个视频镜头；

对来自所述多个视频镜头的一个视频镜头中的每个帧进行分析；

确定所述视频镜头的每个帧的显著性；

基于所述镜头的每个帧的所述显著性确定所述视频镜头的关键帧；

从所述关键帧中提取视觉特征；

基于所述视觉特征对所述多个视频镜头执行镜头聚类以确定概念模式；

使用显著性调谐方法来融合不同的概念模式；以及

基于全局优化方法生成所述视频的概要；

其中，所述显著性是视觉显著性与音频显著性的融合；

在调谐步骤之后，镜头的镜头显著性X(s)的计算如下：

X(s)←ω_sc(s)·ω_cp(s)·X(s)，

其中，ω_sc(s)为镜头的缩放因子，ω_cp(s)为三种类型的概念的组合缩放因子，三种类型的概念缩放因子为：视觉概念的缩放因子，音频概念的缩放因子，以及运动概念的缩放因子。

2.根据权利要求1所述的方法，进一步包括基于动态规划方法生成所述视频的所述概要。

3.根据权利要求1所述的方法，进一步包括从所述视频镜头中提取音频特征，所述提取音频特征包括：

确定来自所述视频镜头的音频词；以及

对所述音频词执行聚类。

4.根据权利要求3所述的方法，所述确定音频词包括：

获得第一组音频词；以及

计算所述音频词中的每个音频词的显著性度量。

5.根据权利要求4所述的方法，其中使用匹配追踪分解方法把音频词分解成一连串重叠的短时间音频段。

6.根据权利要求4所述的方法，进一步包括执行显著性掩蔽，所述显著性掩蔽包括对所述显著性度量与阈值进行比较，以及对显著性度量在所述阈值的一侧的音频词进行消除。

7.根据权利要求1所述的方法，进一步包括使用动态规划方法来确定所述视频镜头的每个帧的所述显著性。

8.根据权利要求1所述的方法，所述确定所述关键帧包括在所述视频镜头中选取使内容精彩场景与信息覆盖之间得到平衡的帧。

9.根据权利要求1所述的方法，所述提取视觉特征包括基于所提取的视觉特征确定视觉词的集合。

10.根据权利要求9所述的方法，进一步包括通过提取每个镜头的视觉、运动和音频特征将所述视频划分成多个镜头。

11.根据权利要求1所述的方法，其中执行镜头聚类包括

进行聚类以在多个镜头中确定概念模式；以及

对镜头进行分组以形成概念种类。

12.一种用于视频概要的系统，包括：

提取单元，所述提取单元从视频中提取多个视频镜头；

分析器，所述分析器确定来自所述多个视频镜头的一个视频镜头的每个帧的显著性；

关键帧确定器，所述关键帧确定器基于所述视频镜头中的每个帧的所述显著性来确定所述视频镜头的关键帧；

视觉特征提取器，所述视觉特征提取器从所述关键帧中提取视觉特征；

镜头聚类块，所述镜头聚类块基于所述视觉特征对所述多个视频镜头执行镜头聚类以确定概念模式；

显著性调谐块，所述显著性调谐块使用显著性调谐方法来执行对不同概念模式的融合；以及

概要生成器，所述概要生成器基于全局优化方法来生成视频概要；

其中，所述显著性是视觉显著性与音频显著性的融合；

在调谐步骤之后，镜头s的镜头显著性X(s)的计算如下：

X(s)←ω_sc(s)·ω_cp(s)·X(s)，

其中，ω_sc(s)为镜头s的缩放因子，ω_cp(s)为三种类型的概念的组合缩放因子，三种类型的概念缩放因子为：视觉概念的缩放因子，音频概念的缩放因子，以及运动概念的缩放因子。

13.根据权利要求12所述的系统，进一步包括：

音频特征确定块，所述音频特征确定块从所述视频镜头确定音频特征；

音频显著性确定块，所述音频显著性确定块确定所述已确定的音频特征的显著性；

音频词聚类块，所述音频词聚类块对已确定的音频特征进行聚类；以及

音频和视频概念，所述音频和视频概念使音频与视频概念种类对齐。

14.根据权利要求12所述的系统，进一步包括：

视频概要生成器，所述视频概要生成器基于动态规划方法生成视频概要。

15.根据权利要求12所述的系统，进一步包括：

视频概要生成器，所述视频概要生成器基于最大可实现的显著性与视频信息覆盖之间的平衡来生成视频概要。

16.根据权利要求12所述的系统，进一步包括：

视频概要生成器，所述视频概要生成器生成视频概要以保留内容精彩场景和视频信息覆盖。