CN101072342A - 一种场景切换的检测方法及其检测系统 - Google Patents

Abstract

本发明适用于图像处理领域，提供了一种场景切换的检测方法及其检测系统，所述方法包括下述步骤：A.对前一帧和当前帧进行运动估计，筛选场景切换候选帧；B.对前一帧和当前场景切换候选帧进行直方图比较，从场景切换候选帧中筛选出场景切换帧。本发明采用了基于运动估计和直方图比较的二级筛选检测，通过组合的相似度量度来进行图像相似度的判断，可以提高场景切换检测的可靠性，减少误判，提高编码的压缩效率，达到低比特率下视频传输的要求。

Description

一种场景切换的检测方法及其检测系统

技术领域

本发明属于图像处理领域，尤其涉及一种对视频序列中的场景切换进行检测的方法和系统。

背景技术

视频序列通常包含多个独立的场景，一个场景可以定义为一个连续的事件或者一组连续的动作。在两个场景之间发生跃变的视频帧称为场景切换帧。场景切换检测的目的就是准确地判断场景切换帧，从而将视频分割成一系列连续的图像组(GOP)。场景切换检测有助于提高视频压缩的效率，在视频压缩技术中具有很重要的作用。

目前，常见的视频压缩标准有运动动态图像专家组第4版本(MovingPictures Experts Group Rel4，MPEG4)、H264等。在这些压缩标准中，编码图像一般分为内帧(I)、帧间帧(P)和双向帧(B)三种类型。I帧利用空间相关性，采用与联合图像专家组(Joint Photographic Experts Group，JPEG)类似的方式对静止的图像进行编码。P帧利用时间相关性，使用前面的帧作为参考帧进行预测。B帧则同时利用前面的帧和后面的帧作为参考帧进行预测。预测之后将产生残差数据，对残差数据进行离散余弦变换(Discrete CosineTransform，DCT)和量化，输出编码码流即完成视频压缩过程。对于场景切换帧，由于其与之前帧的时间相关性小，因此在检测到场景切换帧之后将把其编为I帧，以提高编码效率。

在进行压缩时，每一帧被分成若干个宏块。每一个宏块包含多个亮度块和多个色度块。在对一个宏块进行预测编码时，必须在参考帧中搜索与之最优匹配的宏块，即预测产生的残差数据的绝对误差和(Sum of Absolute Differences，SAD)最小。两个宏块的绝对误差和描述了两个宏块的相似性，绝对误差和越小表示两个宏块越相似。根据参考帧的不同，该搜索最优匹配宏块的过程称为帧内预测或帧间预测，对帧间预测而言，也称为运动估计。

图像直方图是图像处理中一种十分重要的图像分析工具，它描述了一幅图像的灰度级内容，任何一幅图像的直方图都包含了丰富的信息，主要用在图像分割、图像灰度变换等处理过程中。从数学上来说，图像直方图是图像各灰度值统计特性与图像灰度值的函数，它统计一幅图像中各个灰度级出现的次数或概率。从图形上来说，它是一个二维图，横坐标表示图像中各个像素点的灰度级，纵坐标为各个灰度级上图像各个像素点出现的次数或概率。通过比较两幅图像的图像直方图可以衡量两幅图像整体的相似性。

场景切换检测的核心问题是对视频序列中相邻两帧图像相似度的有效检测，现有的场景切换检测方法可以分为三类：

1.基于图像纹理的图像相似度检测，例如利用相邻两帧图像灰度值绝对偏差的平均值来检测两帧图像的相似度。这种方法计算简单，但可靠性差。

2.基于图像直方图的图像相似度检测，即根据两帧图像的直方图特性基于均值和方差作为检测尺度。这种方法算法简单，计算量相对较小，得到了广泛应用。

3.基于图像内容的图像相似度检测，例如利用相邻两帧图像亮度分量的均方差值进行检测。

上述场景切换检测方法通常采用单一的量度进行图像相似度检测，由于量度的可靠性差，检测结果中经常包含有伪突变帧，因而容易导致误判。由于B帧和P帧可以通过预测得到，传输时只需传输预测误差，不需要直接传输整帧数据，因此将一帧图像编码成B帧或P帧所花费的比特数比编码成I帧所花费的比特数要少得多，如果对相邻两帧图像相似度的检测出现了错误，将有更多的帧被编码成I帧，使得输出编码视频流的比特数比没有发生检测错误时的要多，增加了输出码流的比特数，降低了图像的压缩比。

发明内容

本发明的目的在于提供一种场景切换的检测方法，旨在解决现有技术中存在的由于采用单一的量度进行图像相似度检测，量度的可靠性差，容易导致误判，造成输出码流的比特数增加，图像压缩比降低的问题。

本发明的另一目的在于提供一种场景切换的检测系统。

本发明是这样实现的，一种场景切换的检测方法，所述方法包括下述步骤：

A.对前一帧和当前帧进行运动估计，筛选场景切换候选帧；

B.对前一帧和当前场景切换候选帧进行直方图比较，从场景切换候选帧中筛选出场景切换帧。

所述步骤A包括下述步骤：

A1.将每帧图像分成二维的N×N象素的宏块，搜索当前帧的宏块在前一帧对应的宏块邻域窗口内的最优匹配块；

A2.计算当前宏块与最优匹配块的绝对误差和值；

A3.判断是否半数以上宏块的绝对误差和值超过阈值，是则确定当前帧为场景切换候选帧，否则确定当前帧为非场景切换帧。

在搜索当前帧的宏块在前一帧对应的宏块邻域窗口内的最优匹配块时采用菱形搜索算法。

在计算当前宏块与最优匹配块的绝对误差和值时，在每个宏块行中选择一个宏块，所述宏块为在前一帧对应的宏块行中运动估计得到的绝对误差值最小的宏块。

在每个宏块行中选择一个宏块时，对于奇数行和偶数行分别在宏块行的不同半行选择。

所述步骤B包括下述步骤：

B1.计算前一帧和当前场景切换候选帧的Y分量的直方图H_Prev和H_Curr的差值Diff：

$\mathrm{Diff}=\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}|H_{\mathrm{Curr}}\left(i\right)-H_{\mathrm{Prev}}\left(i\right)|,$ 其中level为帧的灰度级；

B2.判断差值Diff是否大于阈值T，如果差值Diff大于阈值T则确认该候选帧为场景切换帧，否则确认当前帧为非场景切换帧。

所述灰度级为64。

一种场景切换的检测系统，所述系统包括：

运动估计单元，用于对前一帧和当前帧进行运动估计，筛选场景切换候选帧；以及

直方图比较单元，用于对前一帧和当前场景切换候选帧进行直方图比较，从场景切换候选帧中筛选出场景切换帧。

所述运动估计单元包括：

最优匹配块搜索模块，用于将每帧图像分成二维的N×N象素的宏块，搜索当前帧的宏块在前一帧对应的宏块邻域窗口内的最优匹配块；

绝对误差和计算模块，用于计算当前宏块与最优匹配块的绝对误差和值；以及

场景切换候选帧判断模块，用于判断是否半数以上宏块的绝对误差和值超过阈值，是则确定当前帧为场景切换候选帧，否则确定当前帧为非场景切换帧。

所述最优匹配块搜索模块采用菱形搜索算法搜索当前帧的宏块在前一帧对应的宏块邻域窗口内的最优匹配块。

在计算当前宏块与最优匹配块的绝对误差和值时，在每个宏块行中选择一个宏块，所述宏块为在前一帧对应的宏块行中运动估计得到的绝对误差值最小的宏块。

在每个宏块行中选择一个宏块时，对于奇数行和偶数行分别在宏块行的不同半行选择。

所述直方图比较单元包括：

直方图差值计算模块，用于计算前一帧和当前场景切换候选帧的Y分量的直方图H_Prev和H_Curr的差值Diff：

$\mathrm{Diff}=\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}|H_{\mathrm{Curr}}\left(i\right)-H_{\mathrm{Prev}}\left(i\right)|,$ 其中level为帧的灰度级；以及

场景切换帧判断模块，用于判断差值Diff是否大于阈值T，如果差值Diff大于阈值T则确认该候选帧为场景切换帧，否则确认当前帧为非场景切换帧。

所述灰度级为64。

本发明采用了基于运动估计和直方图比较的二级筛选检测，通过组合的相似度量度来进行图像相似度的判断，可以提高场景切换检测的可靠性，减少误判，提高编码的压缩效率，达到低比特率下视频传输的要求。

附图说明

图1是本发明提供的场景切换检测的实现流程图；

图2是本发明提供的对当前帧和前一帧进行运动估计的实现流程图；

图3是本发明提供的对前一帧和筛选出的场景切换帧进行直方图比较的实现流程图；

图4是本发明提供的场景切换检测系统的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明中，场景切换检测由两级筛选过程组成，第一级筛选以宏块运动估计得到的绝对误差和作为相似性量度，第二级筛选将直方图作为相似性量度。

图1示出了本发明提供的场景切换检测的实现流程：

在步骤S11中，对当前帧和前一帧进行运动估计，筛选场景切换候选帧；

在步骤S12中，对前一帧和筛选出的场景切换帧进行直方图比较，确定筛选出的场景切换候选帧是否为场景切换帧。

图2示出了对当前帧和前一帧进行运动估计的实现流程，详述如下：

在步骤S111中，搜索当前宏块的最优匹配块；

将每帧图像分成二维的N×N象素的宏块(一般取N＝16)，假定每个宏块内的象素都作相等的平移运动，当前帧的N×N宏块将在上一帧对应的宏块邻域窗口内搜索到与之最优匹配的宏块，当前宏块与最优匹配块在二维平面上的位移即为运动估计得到的运动矢量。确定当前宏块的运动矢量的过程称为基于块匹配的运动估计。

块匹配运动估计的核心是块搜索算法，它决定了运动估计的速度和精度。在块搜索算法中，精度最高的是全搜索算法，需要对搜索区内的每个搜索点进行检测，因此计算复杂度高，软硬件实现困难。后来相继提出了许多快速搜索算法，如三步搜索算法、四步搜索算法、二维对数搜索算法、基于块的梯度下降搜索算法、交叉搜索算法和菱形搜索算法等，它们通过设计不同的搜索模板和搜索策略，在计算复杂度上比全搜索算法减小了许多。在本发明中采用了其中最常用的菱形搜索(Diamond Search，DS)算法。

作为本发明的一个优选实施例，通过DS方式搜索时采用了大菱形搜索模板(Large Diamond Search Pattern，LDSP)和小菱形搜索模板(Small DiamondSearch Pattern，SDSP)。大菱形搜索模板有9个搜索点，小菱形搜索模板有5个点。搜索时，先以预测到的搜索中心为中心，进行大菱形搜索，计算9个点的匹配度，如果9个点中最优匹配的点不在大菱形的中心，则将大菱形的中心移至该点，重复大菱形搜索，直到匹配度最高的点处于大菱形中心为止。然后在该点切换到小菱形搜索模式搜索，共搜索5个点，其中匹配度最高的点即为最终的搜索结果作为运动估计的最优匹配点。

在步骤S112中，计算当前宏块与最优匹配块的SAD值；

在得到最优匹配块之后，计算当前宏块与最优匹配块的SAD值。为了提高算法效率，本发明不对帧内所有的宏块作运动估计并计算SAD值，而是在每一个宏块行中选取一个宏块。选择的标准是在前一帧对应的宏块行中运动估计得到的SAD值最小的宏块作为当前宏块行中要进行场景切换判断的宏块。例如对于通用中间媒体格式(Common Intermediate Format，CIF)图像(352×288)，只选择288/16＝18个宏块。为防止选择的宏块位置过于集中(如都在第一个位置)，对于奇数行，在一行的前半部分宏块中进行选择，对于偶数行，在一行的后半部分宏块中进行选择。当然，对于奇数行，也可以在一行的后半部分宏块中进行选择，对于偶数行，在一行的前半部分宏块中进行选择。选择的标准是在前一帧对应的半行中运动估计得到的SAD值最小的宏块作为当前的半行中要进行场景切换判断的宏块。

在步骤S113中，判断是否半数以上宏块的SAD值超过阈值，是则确定当前帧为场景切换候选帧，否则确定当前帧为非场景切换帧。

对选择的宏块进行运动估计并计算SAD值之后，统计其中SAD值大于某个阈值的宏块的数量，如果有超过一半的宏块的SAD值超出阈值，则将该帧作为场景切换帧的候选帧。阈值的选取将通过测试来决定，作为本发明的一个示例该阈值为2500。

前一阶段的检测基于局部块的运动信息，所以对局部的变化比较敏感，容易将局部运动错判为场景切换。因此第二阶段利用全局直方图信息对前一阶段判定为场景切换帧的候选帧进行二级筛选。

图3示出了本发明提供的对前一帧和筛选出的场景切换帧进行直方图比较的实现流程，详述如下：

在步骤S121中，计算前一帧和当前帧的Y分量的直方图H_Prev和H_Curr的差值Diff：

$\mathrm{Diff}=\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}|H_{\mathrm{Curr}}\left(i\right)-H_{\mathrm{Prev}}\left(i\right)|,$ 其中level为帧的灰度级

为了防止直方图对亮度变化过于敏感，本发明将灰度级从256降为64，即定义0～3、4～7、......之间是同一亮度。

在步骤S122中，判断Diff是否大于阈值T，如果Diff大于阈值T则确认该候选帧为场景切换帧，否则确认当前帧为非场景切换帧。作为本发明的一个示例，阈值T0.3×图像高度×图像宽度。

图4示出了本发明提供的场景切换检测系统的结构，运动估计单元11对前一帧和当前帧进行运动估计，筛选场景切换候选帧，直方图比较单元12对前一帧和运动估计单元11筛选出的当前场景切换候选帧进行直方图比较，从场景切换候选帧中筛选出场景切换帧。

优匹配块搜索模块111将每帧图像分成二维的N×N象素的宏块，搜索当前帧的宏块在前一帧对应的宏块邻域窗口内的最优匹配块，搜索时采用菱形搜索算法。绝对误差和计算模块112计算当前宏块与最优匹配块的绝对误差和值，为了提高计算效率，绝对误差和计算模块112在计算当前宏块与最优匹配块的绝对误差和值时，在每个宏块行中选择一个宏块，该宏块为在前一帧对应的宏块行中运动估计得到的绝对误差值最小的宏块。为防止选择的宏块位置过于集中，对于奇数行和偶数行分别在宏块行的不同半行选择。场景切换候选帧判断模块113判断是否半数以上宏块的绝对误差和值超过阈值，是则确定当前帧为场景切换候选帧，否则确定当前帧为非场景切换帧。

直方图差值计算模块121计算前一帧和当前场景切换候选帧的Y分量的直方图H_Prev和H_Curr的差值Diff：

$\mathrm{Diff}=\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}|H_{\mathrm{Curr}}\left(i\right)-H_{\mathrm{Prev}}\left(i\right)|,$ 其中level为帧的灰度级。

场景切换帧判断模块122判断差值Diff是否大于阈值T，如果差值Diff大于阈值T则确认该候选帧为场景切换帧，否则确认当前帧为非场景切换帧。

为了防止直方图对亮度变化过于敏感，本发明将灰度级从256降为64。

由上可知，本发明综合了局部相似度和全局相似度信息来进行场景切换帧的判定，提高了判定的准确性，在标准测试序列和随机捕获的测试序列上都达到了95％左右的正确检测率，并且漏检率小于2％。

本发明还可以用于视频剪辑、视频检索等需要提取关键帧信息的应用场景。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种场景切换的检测方法，其特征在于，所述方法包括下述步骤：

A.对前一帧和当前帧进行运动估计，筛选场景切换候选帧；

B.对前一帧和当前场景切换候选帧进行直方图比较，从场景切换候选帧中筛选出场景切换帧。

2、如权利要求1所述的场景切换的检测方法，其特征在于，所述步骤A包括下述步骤：

A1.将每帧图像分成二维的N×N象素的宏块，搜索当前帧的宏块在前一帧对应的宏块邻域窗口内的最优匹配块；

A2.计算当前宏块与最优匹配块的绝对误差和值；

A3.判断是否半数以上宏块的绝对误差和值超过阈值，是则确定当前帧为场景切换候选帧，否则确定当前帧为非场景切换帧。

3、如权利要求2所述的场景切换的检测方法，其特征在于，在搜索当前帧的宏块在前一帧对应的宏块邻域窗口内的最优匹配块时采用菱形搜索算法。

4、如权利要求2所述的场景切换的检测方法，其特征在于，在计算当前宏块与最优匹配块的绝对误差和值时，在每个宏块行中选择一个宏块，所述宏块为在前一帧对应的宏块行中运动估计得到的绝对误差值最小的宏块。

5、如权利要求1所述的场景切换的检测方法，其特征在于，所述步骤B包括下述步骤：

B1.计算前一帧和当前场景切换候选帧的Y分量的直方图H_Prev和H_Curr的差值Diff：

$\mathrm{Diff}=\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}|H_{\mathrm{Curr}}\left(i\right)-H_{\mathrm{Prev}}\left(i\right)|,$ 其中level为帧的灰度级；

B2.判断差值Diff是否大于阈值T，如果差值Diff大于阈值T则确认该候选帧为场景切换帧，否则确认当前帧为非场景切换帧。

6、一种场景切换的检测系统，其特征在于，所述系统包括：

运动估计单元，用于对前一帧和当前帧进行运动估计，筛选场景切换候选帧；以及

直方图比较单元，用于对前一帧和当前场景切换候选帧进行直方图比较，从场景切换候选帧中筛选出场景切换帧。

7、如权利要求6所述的场景切换的检测系统，其特征在于，所述运动估计单元包括：

最优匹配块搜索模块，用于将每帧图像分成二维的N×N象素的宏块，搜索当前帧的宏块在前一帧对应的宏块邻域窗口内的最优匹配块；

绝对误差和计算模块，用于计算当前宏块与最优匹配块的绝对误差和值；以及

场景切换候选帧判断模块，用于判断是否半数以上宏块的绝对误差和值超过阈值，是则确定当前帧为场景切换候选帧，否则确定当前帧为非场景切换帧。

8、如权利要求7所述的场景切换的检测系统，其特征在于，所述最优匹配块搜索模块采用菱形搜索算法搜索当前帧的宏块在前一帧对应的宏块邻域窗口内的最优匹配块。

9、如权利要求7所述的场景切换的检测系统，其特征在于，在计算当前宏块与最优匹配块的绝对误差和值时，在每个宏块行中选择一个宏块，所述宏块为在前一帧对应的宏块行中运动估计得到的绝对误差值最小的宏块。

10、如权利要求6所述的场景切换的检测系统，其特征在于，所述直方图比较单元包括：

直方图差值计算模块，用于计算前一帧和当前场景切换候选帧的Y分量的直方图H_Prev和HC_urr的差值Diff：

$\mathrm{Diff}=\underset{i=0}{\overset{\mathrm{level}}{\mathrm{\Σ}}}|H_{\mathrm{Curr}}\left(i\right)-H_{\mathrm{Prev}}\left(i\right)|,$ 其中level为帧的灰度级；以及

场景切换帧判断模块，用于判断差值Diff是否大于阈值T，如果差值Diff大于阈值T则确认该候选帧为场景切换帧，否则确认当前帧为非场景切换帧。

Images