CN101674481B

CN101674481B - 量化视频帧中场间运动的方法

Info

Publication number: CN101674481B
Application number: CN200910203909.6A
Authority: CN
Inventors: P·埃朗戈文; O·巴顿
Original assignee: Tektronix International Sales GmbH
Current assignee: Tektronix International Sales GmbH
Priority date: 2008-04-11
Filing date: 2009-04-10
Publication date: 2016-12-14
Anticipated expiration: 2029-04-10

Abstract

本发明涉及量化视频帧中场间运动的方法。一种量化视频帧(10)中场间运动的方法，该方法包含根据视频帧(10)生成前场(20)和后场(30)，插值这样生成的每一个前场(20)和后场(30)以产生插值的前场和后场图像(40，50)以及将插值的前场和后场图像(40，50)相互比较以确定表示在前场(20)和后场(30)之间存在的场间运动的量的值。

Description

量化视频帧中场间运动的方法

技术领域

本发明涉及一种量化视频帧中场间运动的方法。

背景技术

依赖于用于显示它们的方法，视频帧能够被分类为逐行扫描(progressive)或隔行扫描(interlaced)。在逐行扫描帧中，构成帧的水平像素行从上至下被逐行显示。相比而言，隔行扫描帧通过轮流显示两个场来创建，一个场(称为前场)包含帧的顶行和每隔一后续(every second subsequent)行，并且另一个场(后场)包含从顶部数的第二行和每隔一后续行，从而包括了帧的底行。隔行扫描帧依赖于这样的事实：所显示像素的第一场需要时间从显示设备衰退，在此时间内第二场被显示，以产生单个帧包含所有像素行的错觉。

隔行扫描视频帧的场被顺序地捕获，这意味着在要捕获的第一场与要捕获的第二场之间有小的时间延迟。包含在源视频帧中的信息在这个时间间隔内可能发生改变，并且由于这个原因，以正确的顺序显示视频帧的场很重要，如以下将要解释的。

依赖于构成该帧的哪一个场将首先被显示，隔行扫描视频帧能够被描述为“前场优先”或“后场优先”。由于在显示第一场与显示第二场之间有小的时间延迟，所以预期被第二个显示的场可包含与包含在预期被首先显示的场中的信息不同的信息，例如如果在显示第一场和第二场之间的延迟中帧中发生了移动。这种在预期被首先显示的场与预期被第二个显示的场之间的差异被称为“场间运动”。如果包含场间运动的场以不正确的顺序显示，则在显示的帧中可能出现失真。例如在隔行扫描显示器中，由于信息早于其预期出现，视频通常会变得颤抖(juddery)或抖动。在逐行扫描显示器中，场的颠倒不会导致这样颤抖或抖动的视频，因为场被组合在一起并且以每秒N帧而不是每秒2N场的速度被显示，但是不考虑场的顺序，场间运动将导致给出“梳状”外观的梳状伪像(combing artefact)，也就是其中出现线的行(rows of lines)的帧的区域。

许多视频应用(比如反向电视电影处理(inverse telecine)、隔行扫描到逐行扫描转换以及场优势检测(field dominance detection))需要将视频帧分类为隔行扫描或逐行扫描。视频帧中场间运动的量可用来指示视频帧是否为逐行扫描还是隔行扫描。存在执行这一隔行扫描/逐行扫描分类的不同方法，但是它们都没有提供对不同图像分辨率、类型和品质保持一致的唯一度量。

发明内容

依据本发明的第一方面，提供了一种量化视频帧中场间运动的方法，该方法包含根据视频帧生成前场和后场，对这样生成的前场和后场进行插值(interpolate)以产生插值的前场和后场图像以及将所述插值的前场和后场图像相互比较以确定表示所述前场和后场之间存在的场间运动的量的值。

所述插值的前场图像可通过平均前场的邻近行与前场的该邻近行中间的后场行来产生，并且所述插值的后场图像可通过平均后场图像的邻近行与后场图像的该邻近行中间的前场图像行来产生。

可通过从所述插值的前场图像和插值的后场图像中的一个减去所述插值的前场图像和插值的后场图像中的另一个来生成差异域帧(difference domainframe)。

该差异域帧的像素的值可通过缩放因子来缩放。

该缩放因子可根据显示器尺寸(display size)来确定。

附加地或可选地，该缩放因子可根据从显示器的观察者到该显示器的距离来确定。

可为差异域帧的像素块计算度量，该度量指示所述块中存在的场间运动的量。

可通过确定具有非零值的紧邻的水平和垂直邻居的该块的像素的数目来计算该度量。

所述块可通过比较该度量与阈值而分类为逐行扫描或隔行扫描。

所述块的尺寸可基于视频帧的分辨率来计算。

所述阈值可基于该块的尺寸来计算。

可选地，可为差异域帧计算度量，所述度量指示在所述差异域帧中存在的场间运动的量。

所述度量可基于差异域帧中像素值的梯度值。

所述梯度值可用差异域帧中的像素的值的平均绝对偏差来归一化(normalize)。

附图说明

现在将参考附图描述本发明的严格地仅作为示例的实施例，其中

图1为示出根据视频帧生成的前场和后场的示意性图示；

图2为示出插值的前场和后场图像的示意性图示；

图3为示出插值的前场和后场图像的像素块的相减的示意性图示；和

图4为示出差异域帧的示范性的3×3像素块的示意性图示；

具体实施方式

首先参照图1，视频帧一般地示出为10，并且包含构成图像的像素的水平行12、14。典型地，对于欧洲视频系统(称为逐行倒相制式或PAL标准)帧包含625行，或者对于美国系统(称为全国电视系统委员会制式或NTSC标准)帧包含525行。

为了对视频帧10中发生的场间干扰的量进行量化，视频帧10必须被划分为前场和后场。所述前场(一般地示出为图1中的20)通过从帧10中抽取像素的顶行12和每隔一后续像素行，并且在前场20中在它们被从其抽取的帧10中的位置存储这些行来生成。类似地，所述后场(一般地示出为图1中的30)通过抽取第二像素行14和每隔一后续像素行，并且在后场30中在它们被从其抽取的帧10中的位置存储这些行来生成。

所述前场和后场20、30每个仅包括在它们从中生成的视频帧10中包含的信息的一半。这样，所述前场和后场必须被插值以产生每个包含与所述视频帧10一样多的信息的前场和后场图像，即扩增包含在前场和后场中的数据。

可使用任意的插值方法，尽管有利地使用发明者称之为“三路插值(three-wayinterpolation)”的方法，因为这一方法考虑了发生在要显示的第一场与要显示的第二场之间的时间延迟和人类视觉系统(HVS)的特性。该“三路插值”过程是基于在任何时间点像素对人类视像的影响依赖于观察者在前一帧(后向时间掩蔽)所看到的、他在下一帧(前向时间掩蔽)将要看到的内容以及该像素相对于其邻居的对比值(空间掩蔽)的原理的方法。该“三路插值”过程也平滑了在帧10中自然产生的边缘和轮廓的效应，该效应在外观与特性上可能与梳状伪像相似。

在该“三路插值”方法中，在将要被插值的场中的邻近的像素行与在该将要被插值的场中的行中间的另一场的行取平均。这样，例如，为了生成插值的前场图像的第二行，如图2中的40所示，计算前场20的顶行22的每一像素的值与前场20的第二行24的对应像素的值和后场30的第一行32的对应像素的值的总和。所得到的像素值总和被除以三以获得平均像素值，并且根据以这一方式计算得到的平均像素值而建立前场20的“缺失”第二行。

相似地，为了生成插值的后场图像的第二行，如图2中的50所示，计算后场30的第一行32的每一像素的值与后场30的第二行34的对应像素的值和前场20的第二行24的对应像素的值的总和。所得到的像素值总和被除以三以获得平均像素值，并且根据以这一方式计算得到的平均像素值而建立后场30的“缺失”第二行。

重复这一过程以根据前场和后场20、30生成插值的前场和后场图像40、50，其每一个包含与从中生成前场和后场20、30的帧10一样多的信息。该“三路插值”过程的主要优点在于其可被用于代替应用图像处理算法来估计前场和后场20、30的空间和时间掩蔽的更加耗时的过程。

所述插值的前场和后场图像40、50实际上是表示在隔行扫描系统中显示每一前场和后场20、30的时候能够看到的信息的逐行扫描帧。

一旦生成了插值的前场和后场图像40、50，它们必须相互比较以确定在它们之间是否有场间运动，并且如果有的话，则量化所述场间运动。

如果从中得到插值的前场和后场图像40、50的视频帧10为真正的逐行扫描帧，在插值的前场与后场图像40、50之间将仅有非常小的由噪声、压缩、插值近似和垂直偏差产生的差异。即使从视频帧10得到的前场和后场之间没有运动，所述前场和后场也并非完全相同，因为它们每一个表示帧10的不同部分。

通过从图像40、50中的一个的像素的亮度值减去图像40、50中的另一个的对应像素的亮度值来执行插值的前场和后场图像40、50的比较，以生成“差异域”帧。在基于块的量化器中，关于图像40、50每一个的对应的像素块轮流执行这一减法操作，然而在基于帧的量化器中，所述减法在每一个图像40、50的全部像素上被同时执行。

图3示出了“逐块(block-wise)”减法操作。块60是从插值的前场图像40中获取的尺寸为4像素乘以4像素的块。块60中的每一个像素具有一亮度值。例如，像素62具有亮度值235。

块70是从插值的后场图像50中获取的尺寸为4像素乘以4像素的块，其从插值的后场图像50中的与插值的前场图像的从中取得块60的位置相对应的位置取得的。再一次，块70中的每一个像素具有一亮度值。

块80是表示从块60中减去块70的结果的绝对值的“差异块”。因此在块80中，每一像素的值表示帧60的对应像素的亮度值与帧70的对应像素的亮度值之间的差异。

可通过使用缩放因子而使所述减法变精细或粗糙。所述缩放因子可基于目标应用来确定。场间运动对人眼的影响是显示器尺寸和观察者距显示器的距离的函数。观察者在距离为50米处感知的场间运动的影响不同于他在距离为100米处感知的场间运动的影响。相似地，观察者在观看计算机屏幕时感知的场间运动的影响不同于他在高分辨率平面屏幕显示器中观看同一图像时将感知的场间运动的影响。这样，所述缩放因子可依据显示器尺寸和/或观察者距显示器的距离来确定。如Weber定律的简单方法或如JND(JustNoticeable Distortion，临界可见失真)的复杂计算能够被用于缩放因子的有效估计。这一过程不影响量化过程，其仅影响量化器尺度和与其相应的场间运动水平。块82是通过因子5而缩放的差异块80，其中非整数的结果被四舍五入为最近的整数。可组合多个差异块80、82以生成差异域帧。

获得了差异域帧，则能够对从中得到差异域帧的帧10中的场间运动的量进行量化，并且帧10由此能够被分类为逐行扫描或隔行扫描。

在本发明的一个实施例中，使用聚集滤波器(cluster filter)执行对帧10中的场间运动的量化，如以下将会描述的。

像许多其他可视伪像一样，视频帧中的场间运动遵循聚集原理，也就是说如果场间运动伪像在帧内密集分布(即，它们是聚集的(clustered))，则就它们对观看所述帧的人来说可察觉的程度而言，它们的影响比其宽泛分布时的影响更大。

将所述差异域帧划分为用于处理的多个块80、82。对于每一个块，估计或计数具有非零差异值的邻居的像素的数目。以这种方式，能够建立差异域帧中的像素值分布(间隔很宽或聚集的)。由于非零像素差异值仅出现在插值的前场图像40与插值的后场图像50之间存在差异(即存在场间运动)的差异域帧中，大量具有非零差异值的邻居的像素意味着大量的场间运动。

对于差异域帧的每一个块80、82，计算指示帧10中的场间运动的分布性质的聚集度量。通过对块80、82中的每一像素递增计数器来计算该聚集度量，所述像素的紧邻的水平和垂直邻居不为零。每一像素具有水平坐标i和垂直坐标j。这样，对块80、82中的每一像素，如果位于(i-1，j)、(i+1，j)、(i，j-1)和(i，j+1)的像素的值都大于0，则递增计数器。当检查了块80、82中的全部像素时，块80、82的聚集度量为计数器的最终值。

通过将块80、82的所述聚集度量与阈值相比较，所述聚集度量能够用于将块80、82分类为逐行扫描或隔行扫描。如果块80、82的聚集度量低于该阈值，可认为其是逐行扫描，而如果块80、82的所述聚集度量高于该阈值则可认为其是隔行扫描。小的过渡范围可存在于该阈值周围，其中块80、82可被认为是逐行扫描或隔行扫描。

对其计算聚集度量的差异域帧的块80、82的尺寸必须仔细选择以确保不会因为块80、82中的大量静止像素(即值为0的像素)而低估场间运动的强度。所述块尺寸将依赖于帧的分辨率，并且已经发现以下的等式能够提供很好的结果：

块尺寸＝0.66×(帧分辨率)^0.67

不过将理解能够使用其他方法来计算块尺寸。

用于评估块80是逐行扫描还是隔行扫描的阈值可根据块尺寸例如使用如下方程来确定：

阈值＝1.05×(块尺寸)^0.6，

不过将再次认识到能够使用其他方法来计算阈值。

基于根据聚集滤波器被分类为隔行扫描或逐行扫描的块80、82的数目，可将帧10分类为逐行扫描或隔行扫描。例如，如果超过百分之三十的块80、82被分类为隔行扫描，帧80可被分类为隔行扫描。结果能够被有效地解释和视觉化。例如，包含一个具有非常高的值的块的帧和具有多个为中等值的块的帧对观测者将具有相同的影响。

在可选实施例中，使用差异域帧的像素的梯度值来量化帧10中的场间运动，如以下将要参照图4描述的。

像素的梯度值是x和y方向上的方向倒数，并且指示像素值与相邻像素值的偏差。由于通过相邻像素间的差异来表征场间运动，高梯度值可指示场间运动。

图4示出了差异域帧的示范性的3×3像素块90。每一像素具有水平坐标(x)和垂直坐标(y)。每一像素具有表示其与水平邻接像素值的偏差的x梯度值、以及表示其与垂直邻接像素值的偏差的y梯度值。能够使用下列公式：

G_{x} = \frac{(P_{(i + 1)} - P_{i}) + (P_{i} - P_{(i - 1)})}{2}

来计算x梯度，其中P_i为水平位置i处的像素的值。

相似地，能够使用公式：

G_{y} = \frac{(P_{(j + 1)} - P_{j}) + (P_{j} - P_{(j - 1)})}{2}

来计算y梯度，其中P_j为垂直位置j处的像素的值。

这样，对于图4中示出的块90的中心像素92，

G_{x} = \frac{(6 - 5) + (5 - 4)}{2} = 1,

而

G_{y} = \frac{(2 - 5) + (5 - 8)}{2} = - 3

能够使用方程

G = \frac{(| G_{x} | + | G_{y} |)}{2}

来确定像素的总梯度值

这样，对于图4的块90的中心像素92，

G = \frac{(| 1 | + | - 3 |)}{2} = 2

能够通过对各个像素的总梯度值进行求和并且将该结果除以帧中的像素总数来计算整个差异域帧的梯度值，即

Grad = \frac{Σ_{i = 0}^{m} Σ_{j = 0}^{n} G_{i, j}}{mn}

相似地，像素亮度值偏离像素亮度值的均值的平均绝对偏差(MAD)能够用于指示帧中的场间运动的量。

为了确定差异域帧的MAD，可使用如下方程：

MAD = \frac{Σ_{i = 0}^{m} Σ_{j = 0}^{n} | P_{i, j} - M |}{mn},

其中P_i，j为位置i，j处的像素的值，M为帧中像素的平均值，m为帧中每一水平行的像素数以及n为帧中每一垂直列的像素数。

能够通过用差异域帧的MAD除整个差异域帧的梯度值来将该梯度值归一化，以计算梯度偏差率，如下所示：

GDR = \frac{Grad}{MAD}

该归一化过程为场间运动产生落入与视频帧10的特性或分辨率无关的统一范围的值。梯度偏差率典型地产生介于0和1之间的值，该值能用于量化视频帧中的场间运动，并且从而将视频帧表征为逐行扫描或隔行扫描。可为逐行扫描/隔行扫描分类的目的提供阈值或一连串阈值。例如，如果GDR小于0.5，该帧可被分类为隔行扫描。如果GDR大于0.7，该帧可被分类为逐行扫描。如果GDR介于0.5与0.7之间，该帧不能被准确地分类为逐行扫描或隔行扫描。

也可使用边缘检测掩码(mask)(比如Sobel、Prewitt、Canny或Frei-Chen)来计算差异域帧的梯度，并且使用的掩码可能对由梯度偏差率产生的值或度量的范围有影响。

虽然这个方法提供了满意的结果，但其没有考虑人类视觉系统的聚集效应，从而所述结果不如由以上讨论的聚集滤波器实施例产生的那些结果精确。

Claims

1.一种量化视频帧中场间运动的方法，该方法包含根据该视频帧生成前场和后场，对这样生成的前场和后场中的每一个进行插值以产生插值的前场和后场图像以及将该插值的前场和后场图像相互比较以确定表示在该前场和后场之间存在的场间运动的量的值；

其中通过平均前场的两个邻近行与该前场的邻近行中间的后场行来产生插值的前场图像，并且通过平均后场图像的两个邻近行与该后场图像的邻近行中间的前场图像行来产生插值的后场图像。

2.根据权利要求1的方法，其中通过从所述插值的前场图像和插值的后场图像中的一个减去所述插值的前场图像和插值的后场图像中的另一个来生成差异域帧。

3.根据权利要求2的方法，其中用缩放因子来缩放差异域帧的像素的值。

4.根据权利要求3的方法，其中根据显示器尺寸来确定缩放因子。

5.根据权利要求3或4的方法，其中根据从显示器的观察者到该显示器的距离来确定缩放因子。

6.根据权利要求2的方法，其中为差异域帧的像素块计算度量，该度量指示在该块中存在的场间运动的量。

7.根据权利要求6的方法，其中通过确定具有非零值的紧邻的水平和垂直邻居的该块的像素的数目来计算所述度量。

8.根据权利要求7的方法，其中通过将该度量与阈值相比较来将该块分类为逐行扫描或隔行扫描。

9.根据权利要求6的方法，其中基于视频帧的分辨率计算块的尺寸。

10.根据权利要求8的方法，其中基于该块的尺寸计算该阈值。

11.根据权利要求2的方法，其中为差异域帧计算度量，该度量指示在该差异域帧中存在的场间运动的量。

12.根据权利要求11的方法，其中该度量基于差异域帧中的像素值的梯度值。

13.根据权利要求12的方法，其中用差异域帧中的像素值的平均绝对偏差来归一化该梯度值。