CN101340576A - 利用变换和运动补偿的场景转换图像增强处理方法及系统 - Google Patents

Abstract

本文提出的是一种基于变换和运动补偿的场景转换图像增强处理方法和系统，虽然MPEG－4视频编码标准能提供高品质的视频效果，但如果有场景转换发生时整体的编码效率和视觉效果都会降低。我们提出一个以运动补偿为基础的算法用来测量两张相邻画面的相似性。为了降低计算量，我们使用小波变化后低频的信号去判断是否发生了场景转换。我们的算法何以避免两张完全不同画面却具有相同特征时所造成的误判。

Description

利用变换和运动补偿的场景转换图像增强处理方法及系统

所属技术领域

本算法涉及MPEG-4视频编码场景转换检测技术，尤其是使用了小波变换，以运动补偿为基础的检测方法。

背景技术

近年来，视频压缩的技术在许多的应用上扮演着相当重要的角色，例如资料传输与资料存储.MPEG-4标准是为了能提供更好的品质与更具弹性的应用而制定的。虽然MPEG-4视频编码标准能提供高品质的视频效果，但如果有场景转换发生时整体的编码效率和视觉效果都会降低。

为了解决这个问题我们视频编码器提出一种新的场景转换侦测机制来测量两张相邻画面的相似性。就视频压缩而言，突发的场景转换对视频质量和压缩效率影响最大.这是因为突发转换具有不可预测性.所以我们的研究主要集中于在未压缩域怎样精确检测突发场景转换.现有的突发场景转换检测方法主要有两种：基于象素的检测方法和基于特征的检测方法.基于特征的检测方法又有两种：基于直方图的和基于边缘的.而基于象素的检测方法主要用于压缩域上的检测.而基于直方图的方法的问题在于具有一个需要动态调整的阈值.基于边缘的方法算法又过于复杂.

发明内容

[要解决的技术问题]

我们提出一个以运动补偿为基础的算法用来测量两张相邻画面的相似性。为了降低计算量，我们使用小波变化后低频的信号去判断是否发生了场景转换。我们的算法何以避免两张完全不同画面却具有相同特征时所造成的误判。

[技术方案]

场景转换检测技术经常用于视频数据库系统。因为视频数据库中的视频大多是压缩过的，所以对于视频数据库系统来说，场景转换检测技术是基于压缩领域的。视频数据库使用场景转换检测技术的目的是防止数据丢失而引起的错误。我们提出的算法的目标是在未压缩领域确保前一帧和当前帧存在着某种关系。

基于上面的讨论，我们提出如下算法：

步骤1：帧内相似度度量

1)设置帧计数frame counter为0

2)从视频序列中读取一帧，解码成频带。帧计数frame counter加1

3)根据当前帧和前一帧的最低频带中生成运动补偿帧F’。

4)计算运动补偿帧F’和当前帧最低频带的PSNR值。

5)将PSNR值记录在S[frame counter]中(S[.]是一个数组)。

6)跳转到2)直到视频序列的最后一帧。

步骤2检测场景转换，计算图像组(GOP)的长度。

1)使用窗口大小为3的滑动窗口来查找关键点，将关键点标记为I。

2)计算关键点之间的区间。将个各个区间作为各个GOP所要压缩的帧。

3)如果最后一帧或两帧是B帧，并且运动补偿是后向的，则PSNR如下定义：

$\mathrm{PSNR}=10{\log }_{10}\left(\frac{{255}^2}{\mathrm{MSE}}\right)$

MSE表示原始帧和重构帧之间的平均square-error.图1是帧内相似度度量的流程图。

将一帧装载如内存之后，我们用小波变化将它分解成若干频带。使用小波变换有如下优点：

1.它可以将信号分解成若干频带，每个频带可以采用不同的分析策略。

2.它能有效的聚集信号能量，它能将空间域的频率特征保存在低频部分。

3.低频图象比DC图象更平滑，DC图象中包含对全局运动敏感的位置特征。

4.减小图象大小不但能降低PSNR的计算而且能减少接下来的一系列的运动矢量的计算。

当一帧可以通过另一帧预测时，我们称这两帧是相似的。在很多视频编码算法中，通过运动估计和运动补偿来消除时间上的冗余，特别是当处理连续帧的时候。我们设当前帧为I，前一帧为L，补偿帧为F.当且仅当I帧和L帧相似度非常高的时候，才适合使用运动补偿。运动补偿的计算是视频压缩算法的一个瓶颈，所以我们使用小波变换来减小图像大小。我们设I’，L’为I和L的低频部分。F’是通过I’和L’计算的运动补偿。

度量两幅图像之间相似度的方法有很多。在许多视频或图象压缩论文中，通常采用PSNR值来评估一个算法的效率。它可以作为评估空间相似度的客观标准，所以我们也采用PSNR值作为评估标准。

帧内相似度度量之后，下一步就是要找出场景变化的位置，确定各个片段的区间。在开始阶段，我们选择了一个固定的阈值来判断是否有场景切换。通常，如果将PSNR值设置为20，大部分场景切换都能检测到。这种方法并没有产生我们预期的效果。当同一个场景中有物体快速移动时，这种检测方法会产生错误的报警信息。

在我们的算法中，PSNR值作为一个相互关联的因素来考虑。如果有场景切换，PSNR值会降低然后立即上升。在图2中显示了这一过程。图2(a)～(d)是视频序列，图2(e)～(g)是运动补偿帧，图2(e)和(b)，(g)和(d)非常相似。很明显，图2(f)和(c)非常特殊。图2(h)表示了PSNR值。

这些特殊点满足如下条件：

1)S[K]-S[K-1]＞0

2)S[K+1]-S[K]＜0

3)(S[K]-S[K-1])(S[K+1]-S[K])＝r_k＜0

我们用r来表示第三个条件的值。突发场景切换是空间域上的位置变化，这样非常适合于阈值来判断位置变化。所以我们使用一个滑动窗口来检测N个连续帧之间的相似度。如图3所示，考虑N个连续的相似度值，形成一个滑动窗口。我们要找出这个范围的所有特殊点，并计算出各个特殊点的r值。在窗口的中间，通过如下式子来检测突发场景切换是否出现：

r_sm是滑动窗口中第二小的数，a是一个正数，如果R_k满足上式，我们就可以判定在第k帧发生了场景切换.

大部分度量两幅连续图像相似度或相异度的方法都是基于直方图的.然而这些方法并不是太好.如图4所示，这四幅图片具有相同的直方分布，但他们并不相似.如果我们使用DOH或CHI方法，将会产生误判.这是因为基于直方图的算法并没有考虑空间上的相似性.

[有益效果]

试验结果显示，我们提出的算法在画面品质和错误判断上都有相当好的效果.我们也发现所提出的算法和传统的MPEG-2标准在相同的位元率下画质大约可以有0.33dB的提高。

附图说明

图1是帧内相似度度量的流程图；

图2是帧内相似度度量的一个例子

(a)，(b)，(c)，(d)是输入序列，(e)是(a)，(b)的运动补偿帧，(f)是(b)，(c)的运动补偿帧(g)是(c)，(d)的运动补偿帧，(f)是PSNR值与帧编号的对应图；

图3是一个滑动窗口的示例；

图4四幅具有相同直方分布而不同的图片。

Claims (1)

1. [要解决的技术问题]

   我们提出一个以运动补偿为基础的算法用来测量两张相邻画面的相似性。为了降低计算量，我们使用小波变化后低频的信号去判断是否发生了场景转换。我们的算法何以避免两张完全不同画面却具有相同特征时所造成的误判。

   [技术方案]

   场景转换检测技术经常用于视频数据库系统。因为视频数据库中的视频大多是压缩过的，所以对于视频数据库系统来说，场景转换检测技术是基于压缩领域的。视频数据库使用场景转换检测技术的目的是防止数据丢失而引起的错误。我们提出的算法的目标是在未压缩领域确保前一帧和当前帧存在着某种关系。

   基于上面的讨论，我们提出如下算法：

   步骤1：帧内相似度度量

   1)设置帧计数frame counter为0

   2)从视频序列中读取一帧，解码成频带。帧计数frame counter加1

   3)根据当前帧和前一帧的最低频带中生成运动补偿帧F’。

   4)计算运动补偿帧F’和当前帧最低频带的PSNR值。

   5)将PSNR值记录在S[frame counter]中(S[.]是一个数组)。

   6)跳转到2)直到视频序列的最后一帧。

   步骤2检测场景转换，计算图像组(GOP)的长度。

   1)使用窗口大小为3的滑动窗口来查找关键点，将关键点标记为I。

   2)计算关键点之间的区间。将个各个区间作为各个GOP所要压缩的帧。

   3)如果最后一帧或两帧是B帧，并且运动补偿是后向的，则PSNR如下定义：

   $\mathrm{PSNR}=10{\log }_{10}\left(\frac{{255}^2}{\mathrm{MSE}}\right)$

   MSE表示原始帧和重构帧之间的平均square-error.图1是帧内相似度度量的流程图。

   将一帧装载如内存之后，我们用小波变化将它分解成若干频带。使用小波变换有如下优点：

   1.它可以将信号分解成若干频带，每个频带可以采用不同的分析策略。

   2.它能有效的聚集信号能量，它能将空间域的频率特征保存在低频部分。

   3.低频图象比DC图象更平滑，DC图象中包含对全局运动敏感的位置特征。

   4.减小图象大小不但能降低PSNR的计算而且能减少接下来的一系列的运动矢量的计算。

   当一帧可以通过另一帧预测时，我们称这两帧是相似的。在很多视频编码算法中，通过运动估计和运动补偿来消除时间上的冗余，特别是当处理连续帧的时候。我们设当前帧为I，前一帧为L，补偿帧为F.当且仅当I帧和L帧相似度非常高的时候，才适合使用运动补偿。运动补偿的计算是视频压缩算法的一个瓶颈，所以我们使用小波变换来减小图像大小。我们设I’，L’为I和L的低频部分。F’是通过I’和L’计算的运动补偿。

   度量两幅图像之间相似度的方法有很多。在许多视频或图象压缩论文中，通常采用PSNR值来评估一个算法的效率。它可以作为评估空间相似度的客观标准，所以我们也采用PSNR值作为评估标准。

   帧内相似度度量之后，下一步就是要找出场景变化的位置，确定各个片段的区间。在开始阶段，我们选择了一个固定的阈值来判断是否有场景切换。通常，如果将PSNR值设置为20，大部分场景切换都能检测到。这种方法并没有产生我们预期的效果。当同一个场景中有物体快速移动时，这种检测方法会产生错误的报警信息。

   在我们的算法中，PSNR值作为一个相互关联的因素来考虑。如果有场景切换，PSNR值会降低然后立即上升。在图2中显示了这一过程。图2(a)～(d)是视频序列，图2(e)～(g)是运动补偿帧，图2(e)和(b)，(g)和(d)非常相似。很明显，图2(f)和(c)非常特殊。图2(h)表示了PSNR值。

   这些特殊点满足如下条件：

   1)S[K]-S[K-1]＞0

   2)S[K+1]-S[K]＜0

   3)(S[K]-S[K-1])(S[K+1]-S[K])＝r_k＜0

   我们用r来表示第三个条件的值。突发场景切换是空间域上的位置变化，这样非常适合于阈值来判断位置变化。所以我们使用一个滑动窗口来检测N个连续帧之间的相似度。如图3所示，考虑N个连续的相似度值，形成一个滑动窗口。我们要找出这个范围的所有特殊点，并计算出各个特殊点的r值。在窗口的中间，通过如下式子来检测突发场景切换是否出现：

   

   r_sm是滑动窗口中第二小的数，a是一个正数，如果R_k满足上式，我们就可以判定在第k帧发生了场景切换.

   大部分度量两幅连续图像相似度或相异度的方法都是基于直方图的.然而这些方法并不是太好.如图4所示，这四幅图片具有相同的直方分布，但他们并不相似.如果我们使用DOH或CHI方法，将会产生误判.这是因为基于直方图的算法并没有考虑空间上的相似性.

   [有益效果]

   试验结果显示，我们提出的算法在画面品质和错误判断上都有相当好的效果.我们也发现所提出的算法和传统的MPEG-2标准在相同的位元率下画质大约可以有0.33dB的提高。

Images