CN1647503A - 使用帧差的直方图检测视频中的景物变换的方法和设备 - Google Patents

Abstract

本发明涉及检测视频中的景物变换的方法。该方法包括计算视频的相邻帧之间的差，产生多个差值。采用这些差值的直方图。如果在直方图中的大多数差值超过一个预定值，则检测到景物变换。

Description

使用帧差的直方图检测视频中的景物变换的方法和设备

技术领域

本发明通常涉及视频处理，并且尤其涉及使用帧差的直方图检测视频中的景物变换。

背景技术

景物变换检测用于检测在视频序列中的相邻帧之间内容的显著变换。例如，当节目切换到商业广告节目或者其它的节目时或者切换到同一节目中的不同景物时，出现内容中的显著变换。

准确的景物变换检测可用于改善不同的视频处理算法的性能。例如，其可以在视频增强算法中使用，以调整用于不同景物内容的某些参数。景物变换检测还可以在视频压缩算法中使用。例如，其可用于确定何时必须开始新的画面组或者预见比特率变换。

已经存在许多的景物变换检测技术。一种技术采用各个帧的直方图，并且随后在相邻帧的直方图之间执行比较，以检测景物变换。在某些情形下，这种技术工作良好。但是，当相邻帧在不同的位置上具有类似的像素值的时候，出现问题。在这种情形下，这二个帧的直方图可能十分类似，并因此将阻止景物变换被检测到。

另一种技术使用编码信息，以检测景物变换。例如，这种技术在B帧和P帧中寻找特定类型块的增长，以检测景物变换。这种技术对于B帧和P帧工作良好，但是，它不能用于I帧。

发明内容

本发明涉及检测视频中的景物变换的方法。在一个例子中，该方法包括计算产生多个差值的视频的相邻帧之间的差。直方图采用这些差值。如果在该直方图中大多数的差值超过一个预定值，则景物变换被检测到。

在另一个例子中，该方法包括确定是否视频帧是否是I帧。如果该帧是I帧，则基于帧差的直方图检测景物变换。选择地，如果该帧不是I帧，则基于编码信息检测景物变换。

附图说明

现在参考附图，其中自始至终相同的标号表示相应的部分：

图1是根据本发明的检测景物变换的一个例子的流程图；

图2是说明特征值Q的一个例子的图表；

图3是根据本发明的视频设备的一个例子的方框图；和

图4是根据本发明的检测景物变换的另一例子的流程图。

具体实施方式

本发明涉及可以在任何情形中使用的一种景物检测方法。按照本发明，这种技术使用二个帧之间差的直方图，以检测景物变换。此外，也建议了一种策略，以便通过利用来自压缩比特流的编码信息来降低用于MPEG编码视频的景物变换检测的计算复杂度。

按照本发明的用于检测视频中的景物变换的方法的一个例子在图1中示出。为了此论述目的，假定利用图1的方法处理的视频帧已经被解码。在步骤2中，计算视频的相邻帧之间的差。这是通过计算在每个帧中的相应像素值之间的差来实现的，其被如下定义：

$D\left(\stackrel{\→}{x}\right)=\left|(f(\stackrel{\→}{x},n)-f(\stackrel{\→}{x},n-1))\right|---\left(1\right)$

这里 $\stackrel{\→}{x}=\left(\begin{array}{c}x\\ y\end{array}\right),f(\stackrel{\→}{x},n)$ 是在位置

上帧n的像素值， 在相同的位置上先前帧n-1的像素值。作为步骤2的结果，产生多个差，这多个差是在帧中的相应像素值之间差的大小。

按照本发明，在步骤2中计算的差可以用于每个帧中的所有像素值。做为选择，为了降低所需要的计算量，可以对于这些帧的选择部分计算该差。例如，可以仅对于在这些帧的中心中的像素值计算该差。

在步骤4中，这些差值的直方图被采用。直方图是用于绘制特定变量的分布的公知函数。在这种情况下，该分布被定义为His(i)：，这是差值的数量，其等于特定值i。如前所述，这些差值表示在这些帧中的相应像素值之间差的大小。

在步骤6中，如果该直方图中的大多数差值超过一个预定值，则检测到景物变换。为了论述目的，大多数被定义为超过百分之五十(50)的任何数量。但是，取决于选择的预定值，检测景物变换所需要的差的大多数最好可以大于百分之五十(50)。例如，对于一个十(10)的值，最好是在直方图中这些差值的百分之六十三(63)超过这个值。

为了执行步骤6，最好可以找到一个特征值Q，其满足以下条件：

$\frac{\underset{i=0}{\overset{Q}{\mathrm{\Σ}}}\mathrm{His}\left(i\right)}{\underset{i=0}{\overset{2^n-1}{\mathrm{\Σ}}}\mathrm{His}\left(i\right)}>T1---\left(2\right)$

这里His(i)是在i上的直方图值，而n是由该视频的每个帧使用的比特精度。T1是一个阈值，在一个例子中其值可以是0.368。在这个例子中，该特征值Q表示在该直方图中的特定差值，其中36.8％的差值具有较小的值。因此，在该直方图中，Q定义不同值的一个预定范围。

该特征值Q的一个例子在图2中示出。如可以看到的，Q对应于定义预定范围的特定差值。在图2中，概率被定义为：

$\mathrm{prob}\left(j\right)=\frac{\underset{i=0}{\overset{j}{\mathrm{\Σ}}}\mathrm{His}\left(i\right)}{\underset{i=0}{\overset{2^{n-1}}{\mathrm{\Σ}}}\mathrm{His}\left(i\right)}---\left(3\right)$

在图2中作为一个例子，prob(M)＝I和P＝prob(Q)＞0.368。

在找到该特征值Q之后，如果以下的条件被满足：Q＞T2，则检测到景物变换。这里T2是一个阈值。在一个例子中，该阈值T2可以具有十(10)的值。

按照本发明的视频设备的一个例子在图3中示出。举例来说，该设备可以代表电视接收机、机顶盒、桌上型计算机、膝上型计算机或者掌上型计算机、个人数字助理(PDA)、诸如数字视频盘(DVD)播放器、数字视频记录器(DVR)、TiVO设备等这样的视频/图像存储设备以及这些和其他设备的部分或者组合。

如可以看到的，该设备包括解码器8和景物变换检测单元10。在一个实施例中，图3的设备可以利用计算机可读代码来实现，该计算机可读代码被存储在诸如CD-ROM或者软盘的存储媒体上，其可以由处理器执行。在其他实施例中，硬件电路可以用于代替或者与软件指令结合，以实现图3的设备。

在操作期间，该解码器将解码输入比特流，以产生解码视频帧。按照本发明，该解码器可以是MPEG-1解码器、MPEG-2解码器、MPEG-4解码器、H.26x解码器或者另一类似类型。

该景物变换检测单元10随后将查看解码视频，以确定是否已出现景物变换。如果在一个视频帧中检测到景物变换，则该景物检测单元10产生标识哪一个帧具有景物变换的标记。

按照本发明，该景物变换检测单元10可以执行图1的方法，以检测景物变换。因此，该景物变换检测单元10将对于所有的解码视频帧执行图1的方法步骤。但是，对于所有的帧应用图1的方法可能不是有效的，因为其总是需要存储先前帧，以便计算差。

鉴于以上所述，在某些情形下可能希望执行一种策略来降低计算复杂度和用于景物变换检测单元10的存储要求。在MPEG比特流中，存在不同类型的帧，诸如内部编码(I)帧、预测(P)帧和双向(B)帧。取决于帧类型，将希望使用不同的技术去检测景物变换。例如，对于P和B帧，可以使用编码信息，而对于I帧，可以使用图1的方法。因此，通过使用这个组合策略，计算复杂性和存储要求被显著地降低，因为在典型的MPEG比特数据流中，I帧的频率比P和B帧的频率低得多。

执行上述策略的检测景物变换的方法在图4中示出。在步骤12中，确定解码视频的帧是否是I帧。这可以利用由在图3中的解码器8提供的编码信息来实现。这样的标准如MPEG-1、MPEG-2、MPEG-4和H.26x全都要求依从(compliant)比特流，以包括识别所包含的帧类型的标题字段。因此，在操作期间，当该解码器8解码输入比特流时，其也将查看该标题字段，以确定在解码视频中帧的类型。这个信息将被包括在编码信息中，其中该编码信息在操作期间被发送给景物变换检测单元10。

在步骤12中，如果确定一个帧是I帧，那么在步骤14基于帧差的直方图对于特定帧检测景物变换。因此，该景物变换检测单元10将对于那个特定帧执行图1的方法。

在步骤12中，如果确定一个帧不是I帧，那么在步骤16基于编码信息对于那个特定帧检测景物变换。在操作期间，该解码器8将提供编码信息给该景物检测单元10。如先前所描述的，该编码信息包括有关在解码视频中帧的类型的信息。该编码信息也将包括有关构成视频的一个特定帧的宏块类型的信息。

例如，如果在P帧中出现景物变换，则内部编码宏块的数量增加。因此，基于下列准则来检测景物变换：

$\mathrm{Scene}\_\mathrm{Change}=\left\{\begin{array}{cc}1& \mathrm{ifCl}>T3\\ 0& \mathrm{else}\end{array}\right.$

$\mathrm{Cl}=\frac{\mathrm{Num}\_\mathrm{Intra}}{\mathrm{Num}\_\mathrm{MB}}$

这里Num_Intra是内部编码宏块的数量，Num_MB是宏块的总数，和T3是一个阈值。按照这个准则，该景物变换检测单元10将确定包括在P帧中的内部编码宏块的数量。如果内部编码宏块的数量大于一个预定阈值，该阈值可以是百分之二十(20)或者更高，则该景物变换检测单元10将检测到景物变换。

例如，如果在B帧中出现景物变换，则逆向预测宏块的数量增加。因此，基于下列准则检测景物变换：

$\mathrm{Scene}\_\mathrm{Change}=\left\{\begin{array}{cc}1& \mathrm{ifC}2>T4\\ 0& \mathrm{else}\end{array}\right.$

$C2=\frac{\mathrm{Num}\_\mathrm{Back}}{\mathrm{Num}\_\mathrm{MB}}$

这里Num_Back是逆向预测宏块的数量，Num_MB是宏块的总数，和T4是一个阈值。按照这个准则，该景物变换检测单元10将确定包括在B帧中的逆向预测宏块的数量。如果逆向预测宏块的数量大于一个预定阈值，该阈值可以是百分之七十(70)或更高，则该景物变换检测单元10将检测到景物变换。

该视频设备将包括耦合到解码器8和景物变换检测单元10的输出端的其他单元(未示出)。这些其他单元将利用由景物变换检测单元10产生的标记，以便进一步处理来自解码器8的视频帧。例如，使用运动补偿滤波器的视频处理算法可以从该景物变换检测中得到好处。在操作期间，当出现景物变换时，运动补偿滤波必须被断开，否则可能导致错误的结果。该视频处理算法将使用由景物变换检测单元10产生的景物变换标记，以便重新设置运动补偿滤波操作。

虽然已经在上面就特定的例子而言描述了本发明，但是应该理解，本发明并不意欲局限于在此处公开的例子。因此，本发明意欲覆盖包括在其所附的权利要求书的精神和范畴之内的各种各样的结构和修改。

Claims (14)

1.一种检测视频中的景物变换的方法，该方法包括以下步骤：

计算视频的相邻帧之间的差，产生多个差值；

采用这些差值的直方图；和

如果在该直方图中的大多数差值超过一个预定值，则检测到景物变换。

2.根据权利要求1的方法，其中这些差值是在相邻帧的相应像素值之间的差的大小。

3.根据权利要求1的方法，其中对于相邻帧的选择部分计算相邻帧之间的差。

4.根据权利要求1的方法，其中检测景物变换包括：

找到定义这些差值的一个预定范围的特征值(Q)；和

如果该特征值(Q)超过该预定值，则检测到景物变换。

5.根据权利要求4的方法，其中该特征值(Q)满足以下等式：

$\frac{\underset{l=0}{\overset{Q}{\mathrm{\Σ}}}\mathrm{His}\left(i\right)}{\underset{i=0}{\overset{2^{\′\′}-1}{\mathrm{\Σ}}}\mathrm{His}\left(i\right)}>\mathrm{Tl}$

其中His(i)是在i上的直方图值，n是由视频的每个帧使用的比特精度，和Tl是该预定值。

6.一种包括用于检测视频中的景物变换的代码的存储媒体，该代码包括：

用于计算视频的相邻帧之间的差以产生多个差值的代码；

用于采用这些差值的直方图的代码；和

用于在该直方图中的大多数差值超过一个预定值时检测景物变换的代码。

7.一种视频设备，包括：

解码器，用于解码输入比特流，以产生视频帧；和

景物变换检测单元，用于计算视频的相邻帧之间的差，以产生多个差值，以及在这些差值的大多数超过一个预定值时，检测到景物变换。

8.根据权利要求7的设备，其中该景物变换检测单元进一步采用这些差值的直方图。

9.一种检测视频中的景物变换的方法，该方法包括以下步骤：

确定一个视频帧是否是I帧；

如果该帧是I帧，则基于帧差的直方图来检测景物变换；和

如果该帧不是I帧，则基于编码信息来检测景物变换。

10.根据权利要求9的方法，其中基于帧差的直方图来检测景物变换包括：

计算视频的相邻帧之间的差，产生多个差值；

采用这些差值的直方图；和

如果在该直方图中的大多数差值超过一个预定值，则检测到景物变换。

11.根据权利要求9的方法，其中基于编码信息检测景物变换包括：

确定在P帧中内部编码块的数量；

如果内部编码块的数量超过一个预定数，则检测到景物变换。

12.根据权利要求9的方法，其中基于编码信息检测景物变换包括：

确定在B帧中逆向预测块的数量；

如果逆向预测块的数量超过一个预定数，则检测到景物变换。

13.一种包括用于检测视频中的景物变换的代码的存储媒体，该代码包括：

用于确定一个视频帧是否是I帧的代码；

用于在该帧是I帧时基于帧差的直方图来检测景物变换的代码；和

用于在该帧不是I帧时基于编码信息来检测景物变换的代码。

14.一种视频设备，包括：

解码器，用于解码输入比特流，以产生视频帧；和

景物变换检测单元，用于确定一个视频帧是否是I帧，如果该帧是I帧，则根据帧差的直方图来检测景物变换；和

如果该帧不是I帧，则根据编码信息来检测景物变换。

Images