CN102750383B

CN102750383B - 一种面向视频内容的螺旋摘要生成方法

Info

Publication number: CN102750383B
Application number: CN201210218870.7A
Authority: CN
Inventors: 马翠霞; 滕东兴; 倪美娟; 詹启; 温如日; 王宏安
Original assignee: Institute of Software of CAS
Current assignee: Institute of Software of CAS
Priority date: 2012-06-28
Filing date: 2012-06-28
Publication date: 2014-11-26
Anticipated expiration: 2032-06-28
Also published as: CN102750383A

Abstract

本发明属于计算机应用技术领域，具体涉及一种面向视频内容的螺旋摘要生成方法。本发明方法采用包括预处理模块、布局模块和平滑变换模块的系统来实现，首先对视频进行镜头分割、镜头筛选、关键帧提取以及感兴趣区域提取等预处理操作得到关键帧的感兴趣区域，之后利用螺旋摘要布局算法将这些ROI排列在螺旋几何结构上，然后对关键帧进行显示区域处理得到可以有效呈现视频内容的螺旋摘要表示新形式。本发明利用螺旋方式来表示视频内容，支持视频内容的连续性展示，保持视频流的线性时间性，提高了屏幕空间的利用率，并支持多点触控手势以及连续性缩放方式来实现多尺度视频浏览，从而提高用户理解视频内容以及定位视频的效率。

Description

一种面向视频内容的螺旋摘要生成方法

技术领域

本发明属于计算机应用技术领域，具体涉及一种面向视频内容的螺旋摘要生成方法。

背景技术

作为一种信息量大、表现力强的媒体形式，视频一直是人们进行信息交流的重要载体，视频数据在近几年呈现出爆炸式的增长，在人们的日常生活中占据越来越重要的地位。随着硬件技术以及网络技术的飞速发展，越来越多的人开始选择使用计算机观看视频。根据《2010年中国网民网络视频应用研究报告》统计，截至2010年12月，国内网络视频用户规模为2.84亿人，在网民中的渗透率为62.1%，45.4%的用户上传过原创视频节目。广大用户对视频信息的呈现、编辑、浏览和检索等交互需求也越来越突出，尤其是视频摘要，能够从原视频中提取出有意义的部分，并将它以某种方式进行组合，形成简洁的、能够充分表现视频语义内容的概要。一个好的摘要形式，能够清楚的将视频的主要内容以更利于用户理解的方式呈现，同时，能够提供对视频摘要的自然交互方式，实现视频摘要的高效利用。然而，与视频应用如此巨大的增幅相对的则是人与视频间的交互方式并没有随之发生根本性的转变，现有的视频交互方法已严重制约着它的进一步发展。

现有交互方式多采用基于WIMP的界面范式（Windows、Icon、Menu、Pointing device），已有的一些专业视频处理软件，如Adobe Premiere，Apple’s Final Cut Pro，Avid Xpress DV，Pinnacle Studio，Ulead VideoStudio，StormEdit等功能强大但交互相对比较复杂。其操作和浏览主要基于时间轴的概念,而时间轴与视频内容是分离的，这造成用户交互过程中手、眼、脑之间信息处理的不一致，很难根据视频内容快速定位。比如要完成一个命令，用户需要在不同的交互资源（如鼠标定位、菜单命令、键盘输入等）之间进行频繁转换，这种方式在一定程度上降低了交互效率，并且对输入参数要求精确，阻碍了用户操作的流畅表达。

目前的视频应用中存在着几个主要的问题：缺乏高效表现视频内容的生成方法；缺乏自然有效的交互方式；缺乏适用于非专业用户的视频组织方式。

发明内容

本发明的目的在于提供一种面向视频内容的螺旋摘要生成方法，在不打断视频流的时间连续性的基础上，充分利用有限空间表达尽量多的有效信息，从而解决现有方法难以有效表达视频的总体内容、难以对视频进行准确而高效的定位等问题。

本发明方法利用阿基米德螺旋线形成的几何结构来呈现视频摘要，采用的技术方案包括如下步骤：

（1）对视频进行镜头分割和筛选；

（2）从筛选的镜头中提取关键帧；

（3）对关键帧进行感兴趣区域（ROI）自动提取，得到关键帧的感兴趣区域图像；

（4）绘制作为摘要边缘的螺旋线；

（5）根据布局算法将步骤3）中选取的ROI图像排列在螺旋线形成的轨道中；

（6）对排列在螺旋线形成的轨道中的ROI图像边缘进行隐藏或渐变处理；

（7）得到视频内容的螺旋摘要。

步骤（1）是本发明的预处理阶段，依据镜头表现内容的重要程度，首先根据能够表现关键帧颜色特征的颜色直方图，以及镜头边界检测方法将视频分割为多个镜头，再根据镜头表现内容的重要程度进行镜头筛选，重要程度越高，该镜头越优先被筛选。所谓的颜色特征是指帧图像的颜色直方图，镜头边界检查是指相邻两帧的颜色直方图数据差异超过每帧像素值的四分之一时就认为是新镜头的开始。镜头表现内容的重要程度的计算公式为

S=μNum+V

其中，S为镜头表现内容的重要程度的评估值，μ>0为经验常数，Num为镜头中含有的图像帧数，Num越大，表明镜头越长，通常其所蕴含信息的重要程度越高；V为镜头内部各帧的灰度直方图均方差，V越大说明镜头内部灰度直方图变化越大，所包含的信息也就较大。

通过对每个镜头求S值，可以得到镜头的重要程度排序。当用户指定所需镜头数目n时，则从视频所有镜头中选择S值最高的n个镜头。

步骤（2）是对筛选出来的镜头提取关键帧。利用从帧图像中提取到的尺度不变特征转换换算法（SIFT算法）（Ponqnumkul,S.,Wang,J.,Cohen,M.Creating map-based storyboards forbrowsing tour videos.In proc.UIST2008,ACM Press(2008),13-22.）计算尺度不变性特征点，将从帧图像中提取到的特征点个数作为所述关键帧的图像质量评估值，并将所得估值归一化，从而筛选关键帧。SIFT算法对于图像明显变化的区域要比那些模糊的区域更为敏感，通常在分辨率和大小相同的情况下，当帧图像较为清晰时，可以提取到的SIFT特征点会比较多；而当帧图像由于摄像机或拍摄对象的运动而出现较大的模糊区域时，可以提取到的SIFT特征点就会较少。图像质量评估值可以表示为：

Q_{i} = \frac{N_{\max} - N_{i}}{N_{\max} - N_{\min}}

其中N_i代表的是第i帧的图像质量值，N_max代表的所有帧的最高图像质量评估值，N_min代表所有帧的最低图像质量评估值，Q_i代表最终归一化的图像质量值。设定图像质量阈值W，如果得到的Q_i大于阈值W，就设定该帧为关键帧，将该帧提取出来作为视频摘要中的一帧。图像质量阈值W根据需要的关键帧数目进行调节，如果需要较多关键帧则取小阈值，如果需要较少关键帧则取大阈值，通常可取0.9～0.95。

但如果将整个帧作为摘要，对呈现的空间需求较大，同时，关键帧中有很大一部分作为背景，对用户从摘要中理解视频的意义并不明显，因此，需要对关键帧进行感兴趣区域（ROI）的自动提取，去除部分冗余的背景信息，主要保留对用户认知起主要作用的前景信息，也就是步骤（3）。

步骤（3）利用基于全局对比度的显著性检测方法得到关键帧的显著图，首先将图像分割成若干块，利用颜色直方图计算每块的颜色概率分布，最后用经过颜色概率密度加权的与其他块间的颜色距离作为块的显著值，得到图像的显著图（Ming-Ming Cheng and Guo-Xin Zhangand Niloy J.Mitra and Xiaolei Huang and Shi-Min Hu.Global Contrast based Salient RegionDetection.In：IEEE CVPR（2011），409-416），并用一个经验阈值对显著图进行二值化，进而提取感兴趣区域。

为了方便摘要的生成，所有的ROI统一尺寸，但是在一些特殊的情况下，按照上述方法得到的关键帧中感兴趣区域可能并没有在关键帧的中心区域附近，而是位于源关键帧图像靠近边界处，而我们希望感兴趣区域位于裁剪后图像的中央，在提取感兴趣区域时以感兴趣区域为中心从原始关键帧中截取指定大小的图片，这样在从原关键帧裁剪ROI时就可能会出现裁剪框的一部分位于原关键帧的外面，这一部分像素点没有对应的值。对于这种情况，为了保证图片大小，我们把裁剪框中位于原关键帧外面的区域填充上透明的像素，即将超出原始帧图像的区域的像素点RGB值和α值都设置为0。

步骤（4）中摘要边缘的螺旋线采用阿基米德螺旋线，可充分利用螺旋线的连续性和空间优势，其极坐标公式为：

r = \frac{d}{2 π} \cdot θ

(其中d螺距)

步骤（5）中对从步骤2）中选取的ROI图像，根据布局算法排列在螺旋线形成的轨道中的步骤包括：

(1)为了使各个ROI图像沿螺旋线排列，首先计算螺旋线上的关键点。每相邻两个关键点将对应一个ROI图像，可以确定一个ROI图像的显示位置，根据螺旋线本身的特性，为了取得更好的信息呈现效果，关键点的选取分为三种情况：

①前两个关键点取螺旋线上θ=0°和θ=360°的点；

②从第二到第三环按照相邻两关键点间弧长为螺距的2.2倍取；

③从第三环以外按照相邻两关键点间弧长为螺距的1.3倍取；

(2)利用得到的关键点计算出用于放置ROI图像的包围盒，将ROI图像放置在包围盒中心。在直角坐标系中，对于第m个ROI图像(m=0,1,2,3…)，有相邻两个关键点P_m(x_m,y_m)和P_m+1(x_m+1,y_m+1)。在线段P_mP_m+1的中垂线上可找到一点Q_m，Q_m与直线P_mP_m+1的距离为1.25倍螺距，从数学计算上来看有两个点符合，我们需要与螺旋线中心(原点)相距较近的那个点，设坐标为

利用两关键点P_m，P_m+1以及Q_m这三个点可以确定一个包含这三点的最小矩形即包围盒。用这个矩形的中心点C_i作为ROI的中心位置。设P_m坐标为(x_m,y_m)。根据几何关系，对于第m个ROI图像所要求取的第三点Q_m的坐标为最后得出矩形区域中心点C_i坐标为(C_x,C_y)，同时得到该ROI图像的位置坐标（左上角坐标）为：

\{\begin{matrix} x = C_{x} - \frac{W_{m}}{2} \\ y = C_{y} - \frac{H_{m}}{2} \end{matrix},

其中W_m和H_m分别表示ROI图像的宽度和高度。

(3)对按照中心位置C_i放置ROI图像，将ROI图像中超出相邻螺旋线范围的部分消隐，即将ROI图像上该部分像素透明度α通道设为0。

步骤（6）是对相邻两个ROI图像的边缘进行隐藏或渐变处理，去掉硬边界。因为，关键帧的硬边界是视频形式呈现留下的痕迹，这对于视频内容的表达来说并不一定是一个最佳的视觉呈现形式，帧之间的硬边界会引入额外的、会使人分散注意力并且占主导地位的图像内容，从而令视频内容的表达更难被用户理解。具体方法是：

以螺旋线的中心点与两帧对应弧长的共同的关键点形成的连线OP_m作为边界，后一帧超出边界的部分按照透明度和界限距离呈反比关系调整透明度，实现渐变效果。具体来说，对于第m帧，按照从螺旋中心点向外延伸的方向，螺旋中心点和P_m的连线OP_m将ROI图像分成内外两个部分，在外侧的部分保持不变，找到内侧部分图像上即渐变区域中离OP_m最远的像素点，设其到连线OP_m的距离为H。ROI内侧渐变区域图像上每个像素点p的α通道值按照如下公式设置：

α = 255 \cdot (1 - \frac{h}{H})

其中h是渐变区域中任意一像素点p到直线OP_m的距离。

步骤（6）采用螺旋摘要的连续性放缩方法，以便用户能自然有效地与计算机交互，尤其适合于非专业用户的视频组织。

在抽取了关键帧以及相应的感兴趣区域（ROI）的基础上，根据不同的粒度将多个ROI图像划分为不同的呈现层次，进而通过基于螺旋的连续性缩放技术进行平滑旋转，实现根据用户的操作意图呈现出不同粒度的视频信息展示。

在对视频信息进行连续性缩放时，需要将螺旋摘要中的ROI图像进行旋转，在该过程中，为了达到平滑旋转的视觉效果，本发明采用了多次小角度旋转的方法，具体的方法如下：

（1）在螺旋摘要中，每个ROI图像的位置可以用螺旋线上的一个点来表示，在旋转之前，需要确定每个ROI的起点位置和终点位置，这里的位置是指螺旋线中点的索引值，每个ROI的位置就是由点的索引值确定的。以第i个ROI图像为例，其对应的起点位置和终点位置分别为b_i和e_i，也就是说这个ROI图像在旋转之前对应点的索引值是b_i，旋转之后对应点的索引值是e_i，其需要旋转的点数为n_i=e_i-b_i；

（2）为了让所有要旋转的ROI图像保持一致，需要让每一个ROI图像旋转相同的次数，这个数目为N=min(n_i)；

（3）为了产生匀速旋转的效果，需要每一次旋转相同点数，但是由于所有的n_i不一定都能整除N，因此先计算m_i=n_i mod N，然后采用前m_i次多旋转一个点的策略，这样，第i个ROI图像在第j次旋转所处的位置如下公式所示：

P_{i}^{j} = \{\begin{matrix} b_{i} + (| \frac{n_{i}}{N} | + 1) \cdot j & j \leq n_{i} \mod N \\ b_{i} + (| \frac{n_{i}}{N} |) \cdot j & j > n_{i} \mod N \end{matrix}

由于沿着螺旋轨道的每一个ROI图像位置都有着不同的消隐和渐变区域，如果在移动过程中每一个位置都进行计算，会消耗大量的CPU时间和内存，并且难以保证实时性。为了达到实时旋转的视觉效果，对沿螺旋轨道的每一个ROI图像位置我们创建平滑模板文件。模板文件是指存放在硬盘上的txt文件格式，每个ROI图像位置在模板文件中就是一行记录，每行记录中按照在图片中从左到右从上到下一行一行得到的每个像素的Alpha值，使用空格间隔放置。有了模板文件就可以大大减少了反复计算ROI图像在不同位置不同显示情况的数据。同时模板文件中将有大量的相邻重复数据，为此采用了简单的压缩方法，使用数据对的形式来记录透明度信息。平滑模板储存在磁盘上的文件中，只需要调入一次，就可以重复使用，并通过共享内存的方法减少加载模板所需时间，达到实时加载的目的。

至此，即完成了视频摘要的准确、流畅呈现。

综上所述，和现有技术相比，本发明具有的积极效果如下：

1、本发明将关键帧的ROI提取用于视频摘要的布局生成过程中，去除部分冗余的背景信息，突出主要前景，更利于用户通过摘要理解视频信息和进行快速定位。

2、本发明利用螺旋的方式进行视频摘要的呈现，一方面，相对于目前常见的直线铺排的摘要方式，使得在有限的屏幕空间内对空间的利用更为充分，可以同时呈现的视频信息更多；另一方面，保持了视觉上的连续性，摘要中不存在明显的间隔（如分行），使得呈现更自然，符合人的认知习惯。

3、本发明能够提供不同粒度的视频摘要，用户可以根据需求，通过连续性缩放方式改变摘要的显示粒度，从而更方便的理解视频内容和定位视频。本发明的方法采用了连续的放缩效果，连续的变化效果不易令用户产生反感，同时，动态变化的过程可以让用户更好的理解摘要的内容，也清晰表明了放缩变化的方向。

4、本发明能够克服了传统时间轴定位方式中时间轴与视频内容相分离的缺点，将视频内容和视频定位操作结合，实现了高效的视频定位。

5、相比于传统视频摘要，本发明在空间利用率和交互体验上有更好的表现。下面是螺旋摘要、平铺摘要与织锦摘要的面积比例：

附图说明

图1是本发明方法采用的系统框图；

图2是本发明方法的流程图；

图3是布局算法图；其中

(a)是计算螺旋线上的关键点和包围盒；

(b)是ROI图像的隐藏与渐变区域处理；

(c)是一个ROI图像在螺旋摘要中的隐藏与渐变处理图；

(d)是相邻四个ROI图像在螺旋摘要的显示效果图；

图4是螺旋显示尺度连续变化图；

图5是旋转平滑模板数据图；

图6是螺旋摘要效果图。

具体实施方式

为了使本技术领域的人员更好的理解本发明，以下结合附图进一步详细描述本发明，但不构成对本发明的限制。

本发明方法可以通过如图1所示的系统来实现，该系统主要包括三个模块：预处理模块、布局模块和平滑变换模块。预处理模块负责视频的镜头分割、镜头筛选、关键帧提取、以及感兴趣区域（Region of Interest,ROI）的自动提取；布局模块先绘制作为摘要边缘的螺旋线，再将预处理得到的多个ROI图像按照布局算法排列在螺旋线形成的轨道中，并对边缘进行隐藏或渐变处理，组成螺旋摘要形式；平滑变换模块基于螺旋摘要的连续性放缩(Continuouszooming)，实现不同粒度的内容放缩。

如图2所示，本发明的方法的实施步骤大致为：

1、选定要处理的视频数据资源，在本实施例中是从某一著名电影中选取了一段长约20分钟的视频段作为对象；

2、采用前面步骤（1）、（2）、（3）所述的方法对该视频段进行镜头分割、筛选、关键帧提取和ROI图像提取。

3、采用前面步骤（4）中所述的方法绘制螺旋摘要轨道，并按照步骤（5）所述的布局算法将ROI图像进行布局。

4、创建平滑模板，并采用前面步骤（6）所述方法计算摘要旋转变化时的视觉平滑过程的数据。

5、实现螺旋摘要与用户的交互。

图3是布局算法图。首先如图3(a)所示计算螺旋线上的关键点和包围盒；然后如图3(b)所示对ROI图像作区域划分，分为正常显示区域、不显示区域和渐变区域；接着对ROI图像作区域处理，为位于不显示区域的ROI图像进行隐藏，对渐变区域的ROI图像作渐变处理，处理后的ROI图像如图3(c)所示；图3(d)是相邻四个ROI图像在螺旋摘要的显示效果图。

如图4所示为螺旋摘要根据用户意图显示不同粒度信息时连续变化的过程，在最左侧较粗粒度的显示尺度下两个ROI图像之间需要插入的新的ROI时，会预留一段空白区域。

图5为本实施例选取的视频摘要的模板数据。从该模板数据可以看到，数据是按照数对形式表达的，每个数（a，b）对代表的意思连续b个像素点的Alpha值是a。

最后得到螺旋摘要效果图如图6所示。

以上对本发明所述的螺旋式摘要方法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明所述方法的精神和权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims

1.一种面向视频内容的螺旋摘要生成方法，步骤为：

(1)依据镜头表现内容的重要程度对视频进行镜头分割和筛选；

(2)从筛选的镜头中提取关键帧；

(3)对关键帧进行感兴趣区域ROI自动提取，得到关键帧的感兴趣区域图像；

(4)绘制作为摘要边缘的螺旋线；摘要边缘的螺旋线采用阿基米德螺旋线，其极坐标公式为：

r = \frac{d}{2 π} \cdot θ,

其中d螺距；

(5)根据布局算法将步骤3)中选取的ROI图像排列在螺旋线形成的轨道中；所述的布局算法包括：

(a)计算螺旋线上的关键点；

(b)利用得到的关键点计算出用于放置ROI图像的包围盒，将ROI图像放置在包围盒中心；

(c)对按照中心位置C_i放置ROI图像，将ROI图像中超出相邻螺旋线范围的部分消隐；

(d)对相邻两个ROI图像的边缘进行隐藏或渐变处理，去掉硬边界；

(6)对排列在螺旋线形成的轨道中的ROI图像边缘进行隐藏或渐变处理；该步骤采用多次小角度旋转的连续性放缩方法，以便用户能自然有效地与计算机交互，具体步骤为：

(a)根据每个ROI图像的起点位置b_i和终点位置e_i确定该ROI图像所需旋转的点数为n_i＝e_i-b_i；

(b)让每一个ROI图像旋转相同的次数N＝min(n_i)，第i个ROI图像在第j次旋转所处的位置为

(7)得到视频内容的螺旋摘要。

2.如权利要求1所述的方法，其特征在于，依据镜头表现内容的重要程度S进行镜头分割和筛选；其中S＝μNum+V，

S为镜头表现内容的重要程度的评估值，μ>0为经验常数，Num为镜头中含有的图像帧数，V为镜头内部各帧的灰度直方图均方差。

3.如权利要求1所述的方法，其特征在于，步骤(2)包括设定图像质量阈值W，如果得到的图像质量评估值Q_i大于W，就设定该帧为关键帧；

Q_{i} = \frac{N_{\max} - N_{i}}{N_{\max} - N_{\min}}

其中N_i代表的是第i帧的图像质量值，N_max代表的所有帧的最高图像质量评估值，N_min代表所有帧的最低图像质量评估值。

4.如权利要求3所述的方法，其特征在于，图像质量阈值W取0.9～0.95。

5.如权利要求1所述的方法，其特征在于，步骤(3)中将超出原始帧图像的感兴趣区域的像素点RGB值和α值都设置为0。

6.如权利要求1所述的方法，其特征在于，步骤(5)中的(a)所述的关键点的选取分为三种情况：

(1)前两个关键点取螺旋线上θ＝0°和θ＝360°的点；

(2)从第二到第三环按照相邻两关键点间弧长为螺距的2.2倍取；

(3)从第三环以外按照相邻两关键点间弧长为螺距的1.3倍取。

7.如权利要求1所述的方法，其特征在于，所述连续性放缩支持实现不同粒度的视频内容的呈现。

8.如权利要求1所述的方法，其特征在于，步骤(6)还包括对沿螺旋轨道的每一个ROI图像位置创建平滑模板文件，通过计算模板文件中的数据进行ROI图像边缘隐藏或去渐变处理。

9.如权利要求8所述的方法，其特征在于，每个ROI图像位置在模板文件中对应一行记录，每行记录中按照从左到右从上到下是每个像素的Alpha值，使用空格间隔放置。