CN1237782C - 去隔行扫描装置和方法 - Google Patents

Abstract

本发明提供一种去隔行扫描装置及方法，能在去隔行扫描期间适应于像素运动相对于运动向量的可靠性而补偿像素值。在去隔行扫描期间，隔行扫描信号被转换为逐行扫描信号，因此减少阻碍伪影和抖动的发生。去隔行扫描装置包括：运动可靠性分析部件，它使用输入图像信号、被应用运动向量并且其运动被补偿像素的值和被时空内插像素的值来产生多个运动可靠性因子，并使用该因子分析相对于运动向量的要内插像素运动的可靠性；自适应运动补偿部件，它根据运动可靠性来选择和输出第一和第二自适应运动补偿值之一，通过对运动补偿的像素值和被时空内插的像素值加权并低通滤波加权结果来获得第一自适应运动值，而第二自适应运动值是被时空内插的像素值。

Description

去隔行扫描装置和方法

本申请要求2002年12月3日在韩国知识产权局提交的韩国专利申请第2002-76223号的优先权，在此通过引用将其公开内容整体并入。

技术领域

本发明涉及一种信号转换装置和方法，具体涉及一种去隔行扫描装置和方法，它能够在去隔行扫描期间适应于像素相对于运动向量的运动而补偿像素值的移动，在所述去隔行扫描期间，隔行扫描信号被转换为逐行扫描信号，因此减少了阻碍伪影(blocking artifact)和抖动的发生。

背景技术

一种扫描NTSC(美国国家电视系统委员会制式)信号的方法采用隔行扫描技术。但是，隔行扫描技术的不足在于引起在行之间的图像的闪烁和模糊并且降低了图形的垂直分辨率。隔行扫描技术将一个帧划分和扫描为两个部分，而逐行扫描技术连续地扫描一个帧。因此，与隔行扫描方法相比，逐行扫描技术防止了在时间轴上的帧的场之间的噪音，并且减少了在行之间的图像的闪烁。高清晰度电视(HDTV)不仅采用隔行扫描技术而且采用逐行扫描技术。因此，迫切需要开发去隔行扫描技术以有效地将隔行扫描信号转换为逐行扫描信号。而且，使用时空内插的传统的去隔行扫描技术引起在行之间的图像的闪烁或模糊。为了解决这个问题，已经引入了一种使用运动补偿的去隔行扫描方法和集成电路(IC)。

图1图解了一种去隔行扫描方法的基本概念，其中，仅仅包括在垂直方向上的偶数编号或奇数编号的样本的场被转换和输出到一个帧中。所述输出帧可以被定义如下：

$F_o(\stackrel{\→}{x},n)=F(\stackrel{\→}{x},n),(y\mathrm{mod}2=n\mathrm{mod}2)$

$F_i(\stackrel{\→}{x},n),$ (否则)(1)

其中，

表示输出帧，

表示输出帧

的空间位置，并且相当于(x，y)^T，n表示场编号，

表示输入场，

表示要内插的像素。

一种不使用移动补偿的代表性去隔行扫描方法是基于边缘的行平均(ELA)方法。与使用时空滤波的去隔行扫描方法相比较，ELA去隔行扫描方法有效地和容易地将隔行扫描信号转换为逐行扫描信号。但是，ELA去隔行扫描方法引起在运动画面区域中的图像的闪烁。

一种使用运动补偿的代表性去隔行扫描方法是时间递归(TR)的去隔行扫描方法。TR去隔行扫描方法在当前一场被完全去隔行扫描的假设下对于当前场的丢失数据执行运动补偿。在TR去隔行扫描方法中，要内插的像素，可以是前一场的原始像素或前一场的插入像素。在TR去隔行扫描方法中，要内插的像素被连续地去隔行扫描，因此在一个场中的差错可以传播到另一个场。为了防止差错的传播，使用一个中央场。

一般，传统的去隔行扫描方法被划分为不使用运动信息的去隔行扫描方法和使用运动信息的去隔行扫描方法。前者的方法使用时空滤波器或在像素之间的基于方向的相关性，而不是运动信息。但是，这些方法引起在运动画面区域中行间的图像的闪烁和模糊。为了解决这个问题，设计了使用运动信息的去隔行扫描方法，但是当逐个块地执行运动补偿时可能发生阻碍伪影和抖动。

发明内容

本发明提供了一种去隔行扫描装置，它能够在去隔行扫描期间适应于像素值相对于运动向量的可靠性而补偿像素值，在所述去隔行扫描期间，隔行扫描信号被转换为逐行扫描信号，因此减少了阻碍伪影和抖动的发生。

本发明也提供了一种去隔行扫描方法，它能够在去隔行扫描期间适应于像素值相对于运动向量的可靠性而补偿像素值，在所述去隔行扫描期间，隔行扫描信号被转换为逐行扫描信号，因此减少了阻碍伪影和抖动的发生。

按照本发明的一个方面，提供了一种去隔行扫描装置，包括：运动可靠性分析部件，它使用输入的图像信号、被应用运动向量并且其运动被补偿的像素的值和被时空内插的像素的值来产生多个运动可靠性因子，并且使用运动可靠性因子分析相对于运动向量的要内插的像素运动的可靠性；自适应运动补偿部件，它根据所分析的运动可靠性来选择和输出第一和第二自适应运动补偿值之一，通过对于运动补偿的像素值和被时空内插的像素值加权获取低通滤波加权的结果来获得所述第一自适应运动值，并且所述第二自适应运动值是被时空内插的像素值。

去隔行扫描装置还包括运动补偿装置，它向要内插的当前块的像素应用运动向量，从前一场检测对应于被应用了运动向量的像素值的像素值，并且输出所检测的像素值作为当前块的运动补偿像素的值，其中，运动可靠性分析部件从运动补偿部件接收运动补偿值。

去隔行扫描装置还包括时空内插部件，它使用当前场的上下像素的值获得被空间内插的像素的值和使用对应于要内插的像素的相邻场的像素的值获得被时间内插的像素的值，其中，运动可靠性分析部件从时空内插部件接收空间内插的像素值和时间内插的像素值。

运动可靠性分析部件包括：运动可靠性因子操作单元，它产生第一运动可靠性因子、第二运动可靠性因子和第三运动可靠性因子，第一运动可靠性因子是上像素值和空间内插的像素值之间的差和下像素值和空间内插的像素值之间的差中的小值，第二运动可靠性因子是上像素值和运动补偿的像素值之间的差和下像素值和运动补偿的像素值之间的差中的小值，第三运动可靠性因子是上像素值和通过向当前块应用前一个块的运动向量而获得的像素值之间的差和下像素值和所获得的像素值之间的差中的小值；运动可靠性因子确定单元，除了当在第一和第二运动可靠性因子之间的差大于一个基准值并且第三运动可靠性因子高于第一运动可靠性因子的时候，它向自适应运动补偿部件输出运动可靠性信号。

通过在相邻的两个场之间的像素的运动的程度来确定加权。

自适应运动补偿部件当从运动可靠性分析部件接收到运动可靠性信号时选择和输出第一自适应运动补偿值，并且当未从运动可靠性分析部件接收到运动可靠性信号时选择和输出第二自适应运动补偿值。

按照本发明的另一个方面，提供了一种去隔行扫描方法，包括：(c)使用输入的图像信号、被应用运动向量并且其运动被补偿的像素的值和被时空内插的像素的值来产生多个运动可靠性因子；(d)使用运动可靠性因子分析被内插像素相对于运动向量的运动可靠性；(e)输出第一自适应运动补偿值或第二自适应运动补偿值，所述第一自适应运动补偿值是通过根据分析结果向运动补偿的像素值和时空内插的像素值加权以及低通滤波加权的结果而获得的，第二自适应运动补偿值是时空内插的像素值。

所述隔行扫描方法还包括(b)使用当前场的上下像素值获得空间内插的像素值和使用对应于被内插的像素的相邻场的像素值获得时间内插的像素值。

所述隔行扫描方法还包括(a)通过向要被内插的当前块的像素应用运动向量和从前一个场检测对应于当前块的运动补偿像素值的一个像素值来获得当前块的运动补偿的像素的值。

在(c)期间，上像素值和空间内插的像素值之间的差和下像素值和空间内插的像素值之间的差中的小值被产生作为第一运动可靠性因子，上像素值和运动补偿的像素值之间的差和下像素值和运动补偿的像素值之间的差中的小值被产生作为第二运动可靠性因子，上像素值和通过向当前块应用前一个块的运动向量而获得的像素值之间的差和下像素值和所获得的像素值之间的差中的小值被产生作为第三运动可靠性因子。

在(d)期间，除了当在第一和第二运动可靠性因子之间的差大于一个基准值并且第三运动可靠性因子高于第一运动可靠性因子的时候，运动可靠性信号作为分析运动可靠性的结果被输出。

在(e)期间，通过在相邻的两个场之间的像素的运动程度来确定加权。

(e)包括(e-1)当接收到运动可靠性信号时选择和输出第一自适应运动补偿值；(e-2)当未接收到运动可靠性信号时选择和输出第二自适应运动补偿值。

附图说明

通过参照附图详细说明本发明的优选实施例，本发明的上述和其他方面和优点将会变得更加清楚，其中：

图1图解了去隔行扫描的基本概念；

图2是按照本发明的一个优选实施例的去隔行扫描装置结构的方框图；

图3图解了图2的运动估计器的操作；

图4图解了图2的运动补偿器的操作；

图5图解了图2的时空内插器的操作；

图6是图解图2的运动可靠性分析器的结构的详细方框图；

图7是图解图2的自适应运动补偿器的结构的详细方框图；

图8是图解按照本发明的一个优选实施例的去隔行扫描方法的流程图。

具体买施万式

以下，参照附图来详细说明本发明的优选实施例。

图2是按照本发明的一个优选实施例的去隔行扫描装置的结构的方框图。参见图2，去隔行扫描装置包括运动估计器200、运动补偿器201、时空内插器202、运动可靠性分析器203和自适应运动补偿器204。

图3图解了图2的运动估计器的操作。

图4图解了图2的运动补偿器的操作。

图5图解了图2的时空内插器的操作。

图6是图解图2所示的运动可靠性分析器的结构的详细方框图，所述运动可靠性分析器包括操作单元203-l和运动可靠性确定单元203-2。

图7是图解图2所示的自适应运动补偿器的结构的详细方框图；所述自适应运动补偿器包括低通滤波器(LPF)204-1和选择器204-2。

图8是图解按照本发明的一个优选实施例的去隔行扫描方法的流程图。参见图8，所述方法包括：逐块地估计像素运动(步骤800)；像素运动补偿(步骤801)；对于要内插的像素的运动的时空补偿(步骤802)；计算运动可靠性值α、β和7(步骤803)；确定运动可靠性(步骤804)；根据运动可靠性来选择自适应运动补偿值(步骤805)。

以下，将参照图2-8来更详细地说明本发明。

运动估计器200使用前一个场的像素块来估计当前场的要内插的块的运动向量。图3是说明运动估计器200的操作的图。参见图3，运动估计器200估计在连续输入的前一个场n-1和当前场n之间的像素运动。运动估计器200将当前场n划分为预定大小的几个块，并且当在前一个场n-1的预定搜索区域中移动相应的块时计算在被划分的块中的误差。接着，运动估计器200检测其中获得最小误差的前一个场n-1的点，并且估计所检测的点来作为当前块的运动向量。

如果由运动估计器200估计的运动向量是

，则运动补偿器201如图4所示补偿像素的运动，并且使用下面的方程来计算运动补偿值f_MC：

$f_{\mathrm{MC}}=f_{n-1}(x_0+\stackrel{\→}{V})---\left(2\right)$

通过组合前一个块的像素值和方程(2)所示的运动向量来计算其运动如图4所示被补偿的、当前块的像素的值。即，通过将所估计的运动向量

加到要内插的、当前场的像素的位置值x₀来获得当前块的运动补偿的像素的值。接着，与运动向量组合的像素值被检测和从前一个场n-1输出。

时空内插器202使用与要被内插的像素相邻的上下像素的值来计算被空间内插的像素的值f_2D；并且使用与要被内插的像素相邻的场的像素的值来计算被时间内插的像素的值f_t。可以使用下面的方程来计算由时空内插器202时空内插的像素的值f_3D。

f_3D＝f(f_2D，f_t)                                        (3)

图5图解了时空内插器202的操作。参见图5，虚圆表示要被内插的像素x₀。使用与像素x₀相邻的上下像素的值A(x_-1)和B(x₊₁)来计算空间内插的像素的值f_2D。使用与像素x₀相邻的场的像素的值C(f_n-1(x₀))和D(f_n+1(x₀))来计算时间内插的像素的值f_t。即，可以如下计算空间内插的像素和时间内插的像素的值：

f_2D(x₀)＝f(f_n(x_-1)，f_n(x_t))                            (4)

f₁(x₀)＝f(f_n-1(x₀)，f_n+1(x₀))

运动可靠性分析器203使用输入信号、从运动估计器200输出的运动向量 、从运动补偿器201输出的运动补偿像素的值f_MC和从时空内插器202输出的空间和时间内插的像素的值f_3D来计算运动可靠性因子α、β和γ。而且，运动可靠性分析器203使用运动可靠性因子α、β和γ确定要被内插的像素相对于运动向量的可靠性。

图6是图解运动可靠性分析器203的结构的详细方框图。运动可靠性分析器203包括操作单元203-1和运动可靠性确定单元203-2。操作单元203-1如下计算运动可靠性因子α、β和γ：

α＝min(|f_n(x_-1)-f_2D|，|f_n(x_t)-f_2D|)

β＝min(|f_n(x_-1)-f_MC|，|f_n(x₁)-f_MC|)                   (5)

γ＝min(|f_n(x_-1)-f_MCpre|，|f_n(x₁)-f_MCpre|)

在方程(5)中，第一运动可靠性因子α是当前场n的上像素值x_-1和空间内插的像素值f_2D之间的差和当前场n的下像素值x₁和空间内插的像素值f_2D之间的差中的小值，第二运动可靠性因子β是上像素值x_-1和运动补偿的像素值f_MC之间的差和下像素值x₁和运动补偿的像素值f_MC之间的差中的小值，第三运动可靠性因子γ是上像素值x_-1和通过向当前块应用前一个块的运动向量而获得的像素值f_MCpre之间的差和下像素值x₁和像素值f_MCpre之间的差中的小值。

从运动估计器200输出的运动向量

的可靠性与运动估计器200的结构和精度紧密相关。按照运动估计器200的特性，运动向量 可能包括差错。在运动向量

中的差错使得在图像中发生阻碍伪影和抖动，并且产生刺眼的图像，因此降低了图像的质量。阻碍伪影和抖动是使用不可靠的运动向量 通过运动补偿引起的，它们损害了在输出图像的运动补偿像素值和原始提供的像素值之间的空间关系。根据所述空间关系，补偿可靠性确定单元203-2使用由操作单元203-1计算的运动可靠性因子值α、β和γ来确定运动向量的可靠性。运动向量的可靠性可以如下确定：

运动可靠性，ψ＝0，如果(β-α)≥ε和(α＜γ)

            1，(否则)                                  (6)

其中，ε表示一个基准值(或门限)，并且运动可靠性ψ＝0表示要被内插的像素相对于运动向量的运动是不可靠的情况。例如，除了当在值α和β之间的差大于基准值并且值γ大于值α的时候，像素的运动被确定是可靠的。运动可靠性ψ＝1表示像素的运动是可靠的情况。

自适应运动补偿器204包括LPF 204-1和选择器204-2。LPF 204-1向从运动补偿器201输出的运动补偿的像素值f_MC和从时空内插器202输出的时空内插像素值f_3D加权，然后低通滤波这些值。在此，通过在相邻的两个场n-1和n之间的像素的运动程度来确定加权。选择器204-2当运动可靠性ψ＝1时选择LPF 204-1的输出，并且当运动可靠性ψ＝0时选择从时空内插器202输出的时空内插的像素值f_3D，如下面的方程中所表达的：

f_i(x₀)＝(1-k)f_MC+kf_3D，如果ψ＝1

                  f_3D，否则                            (7)

现在参照图8说明按照本发明的一种去隔行扫描方法。首先，运动估计器200逐块估计当前像素的运动(步骤800)。详细而言，运动估计器200将当前场n划分为预定大小的块，并且当在前一个场n-1的预定搜索区域中移动被划分的块时测量差错。然后，运动估计器200检测其中获得最小差错的前一个场n-1的点，并且估计作为当前块的运动向量的所检测的点。

接着，运动补偿器201使用所估计的运动向量补偿要内插的像素的运动(步骤801)。运动补偿器201向要被内插的、当前场n的像素的位置值添加运动向量，并且检测和输出对应于与来自前一个场n-1的运动向量组合的像素值的一个像素值。

时空内插器202时空补偿要被内插的像素的运动，并且输出被时空内插的像素的值(步骤802)。详细而言，时空内插器202使用与要被内插的像素邻近的上下像素的值来获得被空间内插的像素的值f_2D，并且使用与要被内插的像素邻近的场的像素的值来获得被时间内插的像素的值f_t。

接着，运动可靠性分析器203计算第一到第三运动可靠性因子α、β和γ以便分析要被内插的像素的值相对于运动向量的可靠性(步骤803)。如在方程(5)中所表达的那样，第一运动可靠性因子α是当前场n的上像素值x_-1和空间内插的像素值f_2D之间的差和当前场n的下像素值x₁和空间内插的像素值f_2D之间的差中的小值，第二运动可靠性因子β是上像素值x_-1和运动补偿的像素值f_MC之间的差和下像素值x₁和像素值f_MC之间的差中的小值，第三运动可靠性因子γ是上像素值x_-1和通过向当前块应用前一个块的运动向量而获得的像素值f_MCpre之间的差和下像素值x₁和值f_MCpre之间的差中的小值。

运动可靠性分析器203使用所计算的运动可靠性因子α、β和γ来确定要被内插的像素相对于运动向量运动的可靠性(步骤804)。除了当在第一和第二运动可靠性因子α和β之间的差大于基准值并且第三运动可靠性因子γ大于第一运动可靠性因子α的时候，要被内插的像素相对于运动向量的运动可靠性被确定是可靠的。如果要被内插的像素相对于运动向量的运动是不可靠的，则运动可靠性分析器203输出运动可靠性ψ＝0。如果像素的运动是可靠的，则运动可靠性分析器203输出运动可靠性ψ＝1。

接着，自适应运动补偿器204根据运动可靠性来选择自适应运动补偿值(步骤805)。在从运动可靠性分析器203接收到运动可靠性ψ＝1时，自适应运动补偿器204选择一个值，即第一自适应运动补偿值。所述第一自适应运动补偿值通过对从运动补偿器201输出的被加权的运动补偿的值f_MC和对从时空内插器202输出的被加权的时空内插的像素的值f_3D进行低通滤波而获得。在此，由在相邻的两个场之间的像素的运动程度来确定加权。当从运动可靠性分析器203接收到运动可靠性ψ＝0时，自适应运动补偿器204选择从时空内插器202输出的时空内插的像素的值f_3D。

如上所述，按照本发明，有可能在去隔行扫描期间通过适应于像素相对于运动向量运动的可靠性补偿像素的值而减少阻碍伪影和抖动的发生。

虽然已经参照本发明的实施例具体示出和说明了本发明，本领域的技术人员会明白，在不脱离所附的权利要求所限定的本发明的精神和范围的情况下，可以进行形式和细节上的各种改变。

Claims (5)

1.一种去隔行扫描装置，包括：

运动补偿装置，它向要内插的当前块的像素应用运动向量，从前一个场检测对应于被应用了运动向量的像素值的像素值，并且输出所检测的像素值作为当前块的运动补偿像素的值，其中，运动可靠性分析部件从运动补偿部件接收运动补偿值；

时空内插部件，它使用当前场的与要内插的像素相邻的上下像素的值获得被空间内插的像素和使用对应于要内插的像素的相邻场的像素的值获得被时间内插的像素的值，其中，运动可靠性分析部件从时空内插部件接收空间内插的像素值和时间内插的像素值；

运动可靠性分析部件，它使用输入的图像信号、被应用运动向量并且其运动被补偿的像素的值和被时空内插的像素的值来产生多个运动可靠性因子，并且使用运动可靠性因子分析相对于运动向量的要内插的像素运动的可靠性；

自适应运动补偿部件由低通滤波器和选择器组成，其中所述低通滤波器通过向从所述运动补偿装置输出的运动补偿的像素值和从所述时空内插部件输出的时空内插的像素值加权并且对相加的结果进行低通滤波，来获得第一自适应运动值，所述选择器当从运动可靠性分析部件接收到运动可靠性信号时选择和输出第一自适应运动补偿值，并且当未从运动可靠性分析部件接收到运动可靠性信号时选择和输出所述时空内插的像素值来作为第二自适应运动补偿值，

其中，运动可靠性分析部件包括：

运动可靠性因子操作单元，它产生第一运动可靠性因子、第二运动可靠性因子和第三运动可靠性因子，第一运动可靠性因子是上像素值和空间内插的像素值之间的差和下像素值和空间内插的像素值之间的差中的小值，第二运动可靠性因子是上像素值和运动补偿的像素值之间的差和下像素值和运动补偿的像素值之间的差中的小值，第三运动可靠性因子是上像素值和通过向当前块应用前一个块的运动向量而获得的像素值之间的差和下像素值和所获得的像素值之间的差中的小值，其中所述上像素值是当前场的与要内插的像素相邻的上像素的值，所述下像素值是当前场的与要内插的像素相邻的下像素的值；

运动可靠性因子确定单元，除了当在第一和第二运动可靠性因子之间的差大于一个基准值并且第三运动可靠性因子大于第一运动可靠性因子的时候，它向自适应运动补偿部件输出运动可靠性信号。

2.如权利要求1所述的去隔行扫描装置，其中，通过在相邻的两个场之间的像素的运动的程度来确定加权。

3.一种去隔行扫描方法，包括：

(a)通过向要被内插的当前块的像素应用运动向量和从前一个场检测对应于运动补偿像素值的一个像素值来获得当前块的运动补偿的像素的值；

(b)使用当前场的与要内插的像素相邻的上下像素的值获得空间内插的像素值和使用对应于被内插的像素的相邻场的像素值获得时间内插的像素值；

(c)使用输入的图像信号、被应用运动向量并且其运动被补偿的像素的值和被时空内插的像素的值来产生多个运动可靠性因子；

(d)使用运动可靠性因子分析被内插像素相对于运动向量运动的可靠性；

(e)输出第一自适应运动补偿值或第二自适应运动补偿值，所述第一自适应运动补偿值是通过根据分析结果向运动补偿的像素值和时空内插的像素值加权以及低通滤波加权的结果而获得的，第二自适应运动补偿值是时空内插的像素值，

其中，在(c)期间，上像素值和空间内插的像素值之间的差和下像素值和空间内插的像素值之间的差中的小值被产生作为第一运动可靠性因子，上像素值和运动补偿的像素值之间的差和下像素值和运动补偿的像素值之间的差中的小值被产生作为第二运动可靠性因子，上像素值和通过向当前块应用前一个块的运动向量而获得的像素值之间的差和下像素值和所获得的像素值之间的差中的小值被产生作为第三运动可靠性因子，其中所述上像素值是当前场的与要内插的像素相邻的上像素的值，所述下像素值是当前场的与要内插的像素相邻的下像素的值，

其中，在(d)期间，除了当在第一和第二运动可靠性因子之间的差大于一个基准值并且第三运动可靠性因子大于第一运动可靠性因子的时候，运动可靠性信号作为分析运动可靠性的结果被输出。

4.如权利要求1所述的去隔行扫描方法，其中，在(e)期间，通过在相邻的两个场之间的像素的运动程度来确定加权。

5.如权利要求1所述的去隔行扫描方法，其中(e)包括：

(e-1)当接收到运动可靠性信号时选择和输出第一自适应运动补偿值；

(e-2)当未接收到运动可靠性信号时选择和输出第二自适应运动补偿值。

Images