CN102685398B - 一种新闻视频场景生成方法 - Google Patents

Abstract

本发明公开了一种新闻视频场景生成方法，首先对新闻视频序列按预设间隔进行采样；根据采样的视频图像的颜色直方图计算两个相邻视频图像帧的颜色直方图的相似度；根据整个新闻视频序列的帧间相似度、预设的高阈值、预设的低阈值和预设的渐变镜头长度最低阈值，确定镜头边界序列；再进行闪光灯判断；选取每个镜头的第一帧作为镜头关键帧，根据镜头关键帧之间的相似度和字幕区域的角点分布图输出场景的边界序列。采用了本发明的技术方案，能够解决双阈值镜头分割算法复杂度较高和闪光灯对分割结果影响的问题，并在视频场景生成时能够把连续的具有相同字幕的镜头和视觉相似的镜头合并到同一个视频场景里。

Description

一种新闻视频场景生成方法

技术领域

本发明涉及多媒体技术领域，尤其涉及一种新闻视频场景生成方法。

背景技术

随着多媒体技术的迅速普及，人们需接触和处理大量的视频信息，现有的视频组织方式都是手动的进行视频段落的编辑，然后利用文本描述的方式来概括视频的内容。但是由于图像或视频的内容丰富，图像的很多特征如不规则形状、散布的纹理等难以用文本描述来表裂“。而且文字描述具有强烈的主观性，不同的观察者或同一观察者在不同角度下对同一事物的描述会不同。如果针对视觉信息的描述没有统一的标准，就不能很好地组织、查询这些信息，进而有效的利用它们。在视频的表述上，需要对其内容进行客观而准确的概括和描述，这是文本表示难以做到的。现实中存在着不计其数的视频资料，通过手工注释方法对其进行描述是一件很耗时间的工作，这是对人力资源的极大浪费。另外，人的抽象化工作不可能针对视频里的所有细节，所以目前的视频资料所拥有的注释是很不完全的。因此需要自动地或半自动地对视频内容进行分析和总结，并且客观准确的对其进行描述。

传统的方法不能完整的概括视频图像的“视觉内容”，因而在很多情况下不能满足用户的要求。“内容”表示图像的含义、要旨、主题、包含和显著的性质、实质性的东西、物理细节等，在某种意义上，它是与人们的客观视觉信息相一致的。用户最终希望的是能基于在内容中包含的抽象的概念和语义模式来访问多媒体信息，这就要求以一种可操作的方式分析、提取视频的特征，根据特征对视频进行分割，根据不同的需求对检索单元(如镜头、场景)进行重组，对多媒体信息进行表示，对提交的查询进行表达，而将视频进行基于内容的处理是实现合理有效的视频检索的前提。

基于内容的视频处理包括视频结构的分析、视频数据的自动索引和视频重组。视频结构的分析是通过检测镜头边界的，把视频分割成基本的组成单元——镜头；视频数据的自动索引就是从镜头中选取代表帧，以其特征作为镜头特征的代表；视频的重组包括根据代表帧的特征实现的场景提取和多个视频段的拼接。

镜头是指摄像机一次连续拍摄所得到的内容，它是视频的基本单位。镜头切换是指一个镜头到另一个镜头的转换，通过镜头切换的检测能够找到代表视频基本单元的相互独立的镜头。镜头的切换点指视频序列中两个不同镜头之问的分隔和衔接。采用不同的编辑方法，就产生了不同的镜头衔接方式，镜头切换主要有突变和渐变两种。

1、突变是指一个镜头与另一个镜头之划没有过渡，由一个镜头的瞬间直接转换到另一个镜头的方法。

2、渐变是指一个镜头到另一个镜头的渐渐过渡过程，没有明显的镜头跳跃。

场景是由时间上连续，视觉内容上相似或者语义上相关的镜头组成。语义上相关就是指和特定的背景相关或者是一个连续的情节。一个场景中的镜头都和一个主题相关。

镜头边界检测的主要根据是镜头内部的相邻帧之间有很大的相似性，当发生镜头边界时，该相似性将被破坏。镜头突变和渐变对相似性的破坏程度是不同的， 因此使用一个阈值，难以同时检测出突变和渐变。如果阈值过小，就会出现过检测；而如果阈值过大，就无法检测出渐变的镜头边界。文献[1]最早提出镜头渐变检测的双阈值比较的方法。该方法设置两个阈值和，其中。首先计算相邻两帧的帧差，当帧差大于时存在镜头突变；当帧差小于而大于时可能存在镜头渐变，此时认为该帧差的后一帧为渐变切换的潜在起始帧；然后同时计算两种帧差：一种帧差是相邻两帧的帧差，另一种帧差是相隔帧的帧差，即相隔帧的帧差。当相隔帧的帧差超过而相邻帧的帧差低于时，这一帧便为镜头渐变的终止帧。在相隔帧差开始计算后，同时观察相邻帧的帧差，如果小于，而相隔帧的帧差不超过时，废除该潜在起始帧，接着重新寻找新的起始帧。

上述技术方案存在以下问题：。

（1）在对视频进行处理时，是对所有视频帧进行了提取颜色直方图特征，并且是扫描整幅图像统计具有各颜色级的像素点个数，这么做会增加整个算法的复杂度，影响对视频的处理速度。

（2）   提取颜色直方图时，是对整个视频帧进行扫描每个像素点，没有考虑像素点在视频帧中的空间位置信息，这样会造成镜头分割结果漏掉一些镜头边界。

（3）   在确定渐变镜头边界的的时候，需要计算相隔帧的帧差，这同样会增加算法的计算复杂度。

（4）   没有考虑光照条件的变化及闪光灯会造成视频帧亮度的变化，引起各种视频特征的变化，从而容易误检测为镜头边界。

发明内容

本发明的目的在于提出一种新闻视频场景生成方法，能够解决双阈值镜头分割算法复杂度较高和闪光灯对分割结果影响的问题，并在视频场景生成时能够把连续的具有相同字幕的镜头和视觉相似的镜头合并到同一个视频场景里，从而实现新闻视频镜头分割和场景自动生成，减少新闻视频编辑的工作量。

为达此目的，本发明采用以下技术方案：

一种新闻视频场景生成方法，包括以下步骤：

A、对新闻视频序列按预设间隔进行采样；

B、将采样的视频图像进行了分块，对每一个图像块在HSV颜色空间上提取颜色直方图，并对得到的颜色直方图进行归一化；

C、计算两个相邻视频图像帧的颜色直方图的相似度，也即帧间相似度；

D、根据整个新闻视频序列的帧间相似度、预设的高阈值、预设的低阈值和预设的渐变镜头长度最低阈值，确定镜头边界序列；

E、采用角点检测算法哈里斯算子检测镜头边界前一帧和后一帧的角点分布，统计在两帧图像中同时出现的角点数目,如果小于预设阈值，则判断存在闪光灯，两帧图像属于同一个镜头，否则判断镜头突变，输出镜头边界；

F、选取每个镜头的第一帧作为镜头关键帧，对所有镜头关键帧进行分块，并提取颜色直方图，将第一个镜头关键帧作为初始关键帧；

G、计算初始关键帧后的镜头关键帧与初始关键帧的颜色直方图的相似度；

H、将每个镜头关键帧的字幕区域的彩色图像转化为灰度图像，应用角点检测算法哈里斯算子检测字幕区域得到角点分布图像，统计当前镜头关键帧和初始关键帧的角点分布图中同时出现的角点数目，如果当前镜头关键帧与初始关键帧的颜色直方图的相似度小于预设的视觉相似度阈值，并且当前镜头关键帧和初始关键帧的角点分布图中同时出现的角点数目小于预设的字幕区域角点阈值，则判断当前镜头与初始关键帧所在的镜头不属于同一个场景，当前镜头是一个新场景的开始，输出上一个场景的开始和结束位置，并更新当前镜头的第一帧为初始关键帧，转至步骤G；否则判断当前镜头和前一个镜头是属于同一个场景，并更新当前镜头的第一帧为初始关键帧，转至步骤G。

步骤A中，对新闻视频序列每两帧采样一帧。

步骤B和步骤C进一步包括以下步骤：

对视频图像进行了分块，共分为块，其中是列数，是行数；

对图像的每一个图像块在HSV颜色空间上提取颜色直方图，其中把亮度量化为1个区间，把色调量化为16个区间，把色饱和度量化为8个区间，每一帧图像得到个有个bin的颜色直方图,并对得到的颜色直方图进行归一化；

采用下面的公式计算两个相邻视频图像帧的颜色直方图的相似度：

   ，

其中，为处于第列第行的块的权重，是第帧的第个块的颜色直方图的第个bin的值，a和b为视频图像帧的序号，函数是求取两个值中较小的值。

对视频图像进行了隔行隔列扫描。

步骤D进一步包括以下步骤：

输入整个视频序列的帧间相似度序列,预设高阈值，预设低阈值，预设渐变镜头长度最低阈值，其中；

根据每个帧间相似度进行判断：

如果且没有设置渐变标志，转到步骤E，进行闪光灯检测；

如果但设置了渐变标志，则渐变镜头长度加1；

如果但但没有设置渐变标志，则设置渐变标志，记录下当前图像帧位置作为候选镜头开始边界，并开始计数渐变镜头长度；

如果并设置了渐变标志，则检查渐变镜头长度，如果则判断发生了渐变，输出渐变镜头的边界信息，否则判断不是渐变，取消渐变标志，并把渐变镜头长度重新置零；

如果且没有设置渐变标志，则判断没有发生镜头变化；

输出镜头边界序列。

采用了本发明的技术方案，具有以下优势：

（1）采用对视频序列采样、降低视频帧分辨率以及用渐变镜头长度计数代替计算相隔帧的帧差的方法，在保证镜头分割准确性的同时，降低了算法复杂度，提高了运行速度。

（2）采用对视频帧分块的方法，提高了镜头分割和场景生成的准确性。

（3）在改进的双阈值镜头分割算法中加入了基于角点特征的闪关灯检测模块，提高了检测的准确性。

（4）在场景边界检测算法中，采用了字幕区域的角点特征，能够更好的把属于同一场景的镜头聚在一起。

附图说明

图1是本发明具体实施方式中新闻视频场景生成的流程图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

图1是本发明具体实施方式中新闻视频场景生成的流程图。如图1所示，该新闻视频场景生成的流程包括以下步骤：

步骤101、对新闻视频序列按预设间隔进行采样。为了减少算法的复杂度，对新闻视频序列按一定间隔进行采样，采用的策略是每两帧采一帧。

步骤102、对视频图像进行了分块，共分为块，其中是列数，是行数，对图像的每一个图像块在HSV(H：色调，S：色饱和度,V：亮度)颜色空间上提取颜色直方图，为消除亮度对镜头分割造成的影响，其中把亮度量化为1个区间，把色调量化为16个区间，把色饱和度量化为8个区间，每一帧图像得到个有个bin的颜色直方图,并对得到的颜色直方图进行归一化。为了减少计算直方图的复杂度，采取对图像进行了隔行隔列扫描，这样图像大小会变为原图像的1/4,降低了计算复杂度。

步骤103、采用下面的公式计算两个相邻视频图像帧的颜色直方图的相似度：

   ，                （1）

其中，为处于第列第行的块的权重，是第帧的第个块的颜色直方图的第个bin的值，a和b为视频图像帧的序号，函数是求取两个值中较小的值。

步骤104、输入整个视频序列的帧间相似度序列,预设高阈值，预设低阈值，预设渐变镜头长度最低阈值，其中；

根据每个帧间相似度进行判断：

如果且没有设置渐变标志，说明可能发生了镜头突变，转到步骤105，进行闪光灯检测；

如果但设置了渐变标志，说明当前帧可能处于渐变过程中，则渐变镜头长度加1；

如果但但没有设置渐变标志，则则假定开始出现渐变，设置渐变标志，记录下当前图像帧位置作为候选镜头开始边界，并开始计数渐变镜头长度；

如果并设置了渐变标志，则检查渐变镜头长度，如果则判断发生了渐变，输出渐变镜头的边界信息，否则判断不是渐变，取消渐变标志，并把渐变镜头长度重新置零；

如果且没有设置渐变标志，则判断没有发生镜头变化；

输出镜头边界序列。

步骤105、当可能发生镜头突变时，需要判断是否是存在闪光灯的影响，采用角点检测算法哈里斯（harris）算子检测镜头边界前一帧和后一帧的角点分布，统计在两帧图像中同时出现的角点数目,如果小于预设阈值，则判断存在闪光灯，两帧图像属于同一个镜头，否则判断镜头突变，输出镜头边界。

本步骤用到了角点特征，这里的角点通常是指灰度变化剧烈的点，包括物体轮廓上曲率变化最大的点、直线的交点、单调背景上的孤立点。Harris算子是C. Harris和J. Stephens在1988年提出的一种基于信号的点特征提取算子。Harris角点检测算子作为目前最常用的点特征检测算子，其优点在于：(1)稳定性较好，受图像的旋转、灰度的变化及噪音较小；(2)通过设置阈值，可以根据需要定量选取角点个数；(3)Harris角点检测算子通过选择邻域最优值作为评判标准，在纹理信息丰富区域可得到较多角点，纹理信息较少区域相应的角点个数也比较少；(4)Harris算子只用到一阶差分，因此计算相对简单，计算数据相对较小。

步骤106、选取每个镜头的第一帧作为镜头关键帧，获得所有镜头的关键帧序列,对所有镜头关键帧进行分块，并提取颜色直方图，将第一个镜头关键帧作为初始关键帧。

步骤107、采用公式（1）计算初始关键帧后的镜头关键帧与初始关键帧的颜色直方图的相似度。

步骤108、将每个镜头关键帧的字幕区域的彩色图像转化为灰度图像，应用角点检测算法哈里斯算子检测字幕区域得到角点分布图像，统计当前镜头关键帧和初始关键帧的角点分布图中同时出现的角点数目，如果当前镜头关键帧与初始关键帧的颜色直方图的相似度小于预设的视觉相似度阈值，并且当前镜头关键帧和初始关键帧的角点分布图中同时出现的角点数目小于预设的字幕区域角点阈值，则判断当前镜头与初始关键帧所在的镜头不属于同一个场景，当前镜头是一个新场景的开始，输出上一个场景的开始和结束位置，并更新当前镜头的第一帧为初始关键帧，转至步骤107；否则判断当前镜头和前一个镜头是属于同一个场景，并更新当前镜头的第一帧为初始关键帧，转至步骤107。

最后输出场景边界序列。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种新闻视频场景生成方法，其特征在于，包括以下步骤： 

A、对新闻视频序列按预设间隔进行采样； 

B、将采样的视频图像进行了分块，对每一个图像块在HSV颜色空间上提取颜色直方图，并对得到的颜色直方图进行归一化； 

C、计算两个相邻视频图像帧的颜色直方图的相似度，也即帧间相似度； 

D、根据整个新闻视频序列的帧间相似度、预设的高阈值、预设的低阈值和预设的渐变镜头长度最低阈值，确定镜头边界序列； 

E、采用角点检测算法哈里斯算子检测镜头边界前一帧和后一帧的角点分布，统计在两帧图像中同时出现的角点数目，如果小于预设阈值，则判断存在闪光灯，两帧图像属于同一个镜头，否则判断镜头突变，输出镜头边界； 

F、选取每个镜头的第一帧作为镜头关键帧，对所有镜头关键帧进行分块，并提取颜色直方图，将第一个镜头关键帧作为初始关键帧； 

G、计算初始关键帧后的镜头关键帧与初始关键帧的颜色直方图的相似度； 

H、将每个镜头关键帧的字幕区域的彩色图像转化为灰度图像，应用角点检测算法哈里斯算子检测字幕区域得到角点分布图像，统计当前镜头关键帧和初始关键帧的角点分布图中同时出现的角点数目，如果当前镜头关键帧与初始关键帧的颜色直方图的相似度小于预设的视觉相似度阈值，并且当前镜头关键帧和初始关键帧的角点分布图中同时出现的角点数目小于预设的字幕区域角点阈值，则判断当前镜头与初始关键帧所在的镜头不属于同一个场景，当前镜头是一个新场景的开始，输出上一个场景的开始和结束位置，并更新当前镜头的第一帧为初始关键帧，转至步骤G；否则判断当前镜头和前一个镜头是属于同一个场景，并更新当前镜头的第一帧为初始关键帧，转至步骤G。 

2.根据权利要求1所述的一种新闻视频场景生成方法，其特征在于，步骤A中，对新闻视频序列每两帧采样一帧。 

3.根据权利要求1所述的一种新闻视频场景生成方法，其特征在于，对视频图像进行了隔行隔列扫描。