CN100394782C - 基于边缘的图像自适应去除隔行扫描的方法和设备 - Google Patents

Abstract

本发明涉及用于将隔行扫描格式的视频信号转换为逐行扫描格式的视频信号的去除隔行扫描的设备和方法。去除隔行扫描的方法包括如下步骤：根据关于要内插像素的上扫描行中的一连串像素以及下扫描行中的一连串像素来测量边缘梯度；根据所测量的边缘梯度确定内插方法；对于每个像素对组合来计算差值，每个像素对组合具有至少一个像素对，像素对具有两个像素，每个像素分别来自关于要内插像素的每个上、下扫描行，每个像素对组合具有彼此相邻的像素对，像素对组合具有彼此不同的方向；根据具有最小差值的像素对组合的方向来确定边缘方向；以及根据所确定的内插方法和所确定的边缘方向来执行像素的内插。

Description

基于边缘的图像自适应去除隔行扫描的方法和设备

本申请要求于2003年10月2日提交的申请号为2003-68879的韩国专利申请的优先权，该申请的全部内容以引用方式包含在本文的内容中。

技术领域

本发明涉及数字视频信号处理，并且特别涉及用于将隔行扫描格式的视频信号转换为逐行扫描格式的视频信号的去除隔行扫描(deinterlacing)的设备和方法。

背景技术

去除隔行扫描一般分类为利用空间相关的场内内插(intra-fieldinterpolation)，或者使用场内信息和场间信息、基于空间相关和时间相关来执行内插的场间内插(inter-field interpolation)。场内内插只使用场内信息、基于空间相关来执行内插，并且被表示为行循环、行平均、基于边缘的行平均(Edged-based Line Average，ELA)等等。场间内插使用场内信息和场间信息、基于空间相关和时间相关来执行内插，并且被表示为运动补偿内插和运动自适应补偿内插。一般地，现有技术中已知场间内插具有极好的性能，但是由于场间信息的使用需要附加的场存储器，使得场间内插具有结构复杂和价格昂贵的缺点。相反，场内内插的性能不如场间内插那样好，但是具有结构简单和价格低的优点。

由于场内内插的行平均(Line Average)使用上下方向像素的平均值来执行内插，因而在低梯度边缘产生锯齿，从而使图像的质量下降。

由于ELA使用图像的边缘信息来执行内插，从而有效地防止在图像的边缘产生锯齿，使得它在场内内插中具有好的性能。然而，ELA不能检测实际的边缘，并且在具有垂直边缘的区域、在图像的亮度差不明显的区域、以及在具有许多图像高频分量的区域中，会错误地检测方向。由于产生了明显错误的高频分量，使得图像的质量显著下降。虽然ELA具有极好的内插性能，但是由于存在以上缺点，使得倾向于在使用最近普及的运动自适应方法的场内内插设备中使用ELA，而不是在单独的去除隔行扫描设备中使用。然而，由于仍然需要对由错误内插导致的图像质量下降进行更多的改进，所以各种ELA正处于研究之中。

发明内容

因此，本发明旨在提供一种基于边缘的图像自适应去除隔行扫描的方法和设备，该方法和设备基本上消除了由于相关技术的局限性和缺点所带来的一个或多个问题。

本发明的特点是提供了一种基于边缘的图像自适应去除隔行扫描的方法和设备，在该方法和设备中提高了图像的质量。

在本发明的一个方面，提供一种包括如下步骤的去除隔行扫描方法：根据关于要内插像素的上扫描行中的一连串像素以及下扫描行中的一连串像素，来测量边缘梯度；根据所测量的边缘梯度，来确定内插方法；对于多个像素对组合中的每一个计算差值，每个像素对组合具有至少一个像素对，像素对具有两个像素，每一个像素分别来自关于将要内插像素的上、下扫描行之一，每个像素对组合具有彼此相邻的像素对，像素对组合具有彼此不同的方向；根据具有最小差值的像素对组合的方向，来确定边缘方向；以及依照所确定的内插方法和所确定的边缘方向，来执行像素的内插。

在一个实施例中，边缘梯度测量步骤包括以下步骤：获得上、下扫描行中的像素的MHD(Mean of Horizontal Difference，水平差的平均值)；以及获得上、下扫描行中的像素的MVD(Mean of Vertical Difference，垂直差的平均值)。

在该实施例中，MHD是上扫描行中的各个相邻像素对之差的绝对值和下扫描行中的各个相邻像素对之差的绝对值的平均值，而MVD是上扫描行中的像素和下扫描行中的像素中、各个相互面对的像素对之差的绝对值的平均值。

在一个实施例中，在内插方法确定步骤中，根据MHD和MVD的关系来确定内插方法。

在该实施例中，在内插方法确定步骤中，当MHD大于MVD时，将行平均确定为内插方法。

在该实施例中，在内插方法确定步骤中，当MVD不大于MHD时，将ELA(基于边缘的行平均)确定为内插方法。

在该实施例中，在边缘方向确定步骤中，当所确定的内插方法为ELA时，将具有最小差值的像素对组合的像素对中、与要内插像素相邻的像素对的方向确定为边缘方向。

在该实施例中，在边缘方向确定步骤中，当具有最小差值的像素对组合包含奇数个像素对时，将这些像素对中、经过要内插像素的像素对的方向确定为边缘方向。

在该实施例中，在内插执行步骤中，当具有最小差值的像素对组合包含奇数个像素对时，将具有所确定的边缘方向的两个像素的平均值设置为要内插像素的值。

在该实施例中，在边缘方向确定步骤中，当具有最小差值的像素对组合包含偶数个像素对时，将这些像素对中、与要内插像素相邻的两个像素对之间的方向确定为边缘方向。

在该实施例中，在内插执行步骤中，当具有最小差值的像素对组合包含偶数个像素对时，将与所确定的边缘方向相邻的四个像素的平均值设置为要内插像素的值。

在该实施例中，在内插执行步骤中，当所确定的内插方法为行平均时，将在上、下扫描行的像素中、关于要内插像素具有垂直方向的两个像素的平均值设置为要内插像素的值。

在该实施例中，像素对组合的差值是像素对组合中的至少一个像素对的差值的绝对值的平均值。

在本发明的另一个方面，提供一种去除隔行扫描的设备，包括：内插方法确定单元，用于根据关于要内插像素的上扫描行中的一连串像素以及下扫描行中的一连串像素来测量边缘梯度，并且根据所测量的边缘梯度来确定内插方法；边缘方向确定单元，用于计算每一个像素对组合的相关性，并且根据像素对组合中、具有最大相关性的像素对组合的方向来确定边缘方向，每个像素对组合具有至少一个像素对，每个像素对具有两个像素，每个像素分别来自关于要内插像素的上、下扫描行之一，每个像素对组合具有彼此相邻的像素对，像素对组合具有彼此不同的方向；以及内插单元，用于根据所确定的内插方法和所确定的边缘方向来执行像素的内插。

在一个实施例中，内插方法确定单元包括：MHD(水平差的平均值)计算器，用于获得上、下扫描行中的像素的MHD；MVD(垂直差的平均值)计算器，用于获得上、下扫描行中的像素的MVD；以及内插方法确定器，用于根据MHD和MVD来确定内插方法。

在该实施例中，MHD是上扫描行中的各个相邻像素对之差的绝对值和下扫描行中的各个相邻像素对之差的绝对值的平均值。

在该实施例中，当上、下扫描行分别具有(2N+1)个像素时，按照下面的等式来计算MHD：

$\mathrm{MHD}=\frac{\underset{m=-N}{\overset{N-1}{\mathrm{\Σ}}}w\_h_m\left\{\right|Y(i-1,j+m)-Y(i-1,j+m+1)|+|Y(i+1,j+m)-Y(i+1,j+m+1)\left|\right\}}{2\·\underset{m=-N}{\overset{N}{\mathrm{\Σ}}}w\_h_m}$

其中“w_h_m”是依赖于每个像素差的位置的加权值。

在该实施例中，MVD是上扫描行中的像素和下扫描行中的像素中、各个相互面对的像素对之差的绝对值的平均值。

在该实施例中，当上、下扫描行分别具有(2N+1)个像素时，按照下面的等式来计算MVD：

$\mathrm{MVD}=\frac{\underset{n=-N}{\overset{N}{\mathrm{\Σ}}}w\_v_n|Y(i-1,j+n)-Y(i+1,j+n)|}{\underset{n=-N}{\overset{N}{\mathrm{\Σ}}}w\_v_n}$

其中“w_v_n”是依赖于每个像素差的位置的加权值。

在该实施例中，当MHD大于MVD时，内插方法确定器将行平均确定为内插方法。

在该实施例中，当MVD不大于MHD时，内插方法确定器将ELA(基于边缘的行平均)确定为内插方法。

在该实施例中，边缘方向确定单元包括：相关性计算器，用于计算每个像素对组合的相关性；以及边缘方向确定器，用于根据像素对组合中具有最大相关性的像素对组合来确定边缘方向。

在该实施例中，相关性计算器包括分别对应于像素对组合的多个计算单元，用于计算相应像素对组合的差值。

在该实施例中，像素对组合的差值是像素对组合中的至少一个像素对的差值的绝对值的平均值。

在该实施例中，当所确定的内插方法是ELA时，边缘方向确定单元将具有最小差值的像素对组合的像素对中、与要内插像素相邻的像素对的方向确定为边缘方向。

在该实施例中，当具有最小差值的像素对组合包含奇数个像素对时，边缘方向确定器将这些像素对中、经过要内插像素的像素对的方向确定为边缘方向。

在该实施例中，当具有最小差值的像素对组合包含奇数个像素对时，内插单元将具有所确定的边缘方向的两个像素的平均值设置为要内插像素的值。

在该实施例中，当具有最小差值的像素对组合包含偶数个像素对时，边缘方向确定器将这些像素对中、与要内插像素相邻的两个像素对之间的方向确定为边缘方向。

在该实施例中，当具有最小差值的像素对组合包含偶数个像素对时，内插单元将与所确定的边缘方向相邻的四个像素的平均值设置为要内插像素的值。

在该实施例中，当所确定的内插方法是行平均时，内插单元确定要内插像素的值是上、下扫描行的像素中、关于要内插像素具有垂直方向的两个像素的平均值。

在该实施例中，内插单元包括：分别对应于像素对组合的多个内插器，用于根据相应的像素对组合来计算内插值；以及选择器，用于依照由内插方法确定单元所确定的内插方法以及由边缘方向确定单元所确定的边缘方向，来选择内插器的内插值之一作为要内插像素的值。

在该实施例中，每个内插器计算相应像素对组合的像素对中、与要内插的像素相邻的至少一个像素对的平均值，并且将计算出的平均值作为内插值输出。

在该实施例中，当具有最小差值的像素对组合包含奇数个像素对时，每个内插器将具有所确定的边缘方向的两个像素的平均值设置为要内插像素的值。

在该实施例中，当具有最小差值的像素对组合包含偶数个像素对时，每个内插器将与所确定的边缘方向相邻的四个像素的平均值设置为要内插像素的值。

应当理解，本发明的以上概括描述和以下详细描述是示例性和说明性的，并且用于提供对所请求保护的本发明的进一步解释。

附图说明

通过对本发明优选实施例的详细描述，本发明的上述以及其它的目的，特征和优点将更加清楚，如附图所示，在不同附图中、相同的参考标记表示相同的部件。不必对附图按比例进行衡量，其重点在于说明本发明的原理。

图1是说明具有通用隔行扫描格式的视频信号的偶数场和奇数场的示意图。

图2是说明根据本发明实施例的去除隔行扫描方法的流程图。

图3是说明根据本发明实施例的去除隔行扫描设备的示意框图。

图4是说明计算垂直差平均值的方法的示意图。

图5是说明计算水平差平均值的方法的示意图。

图6A至6M是说明像素对组合的示意图。

具体实施方式

本发明提供了一种去除隔行扫描的设备和方法，其中要内插的场被划分为低梯度边缘区域和具有其他特征的区域，然后将ELA应用于低梯度边缘区域来最小化锯齿，并且将行平均应用于另一个区域来最小化错误，从而提高整个图像的质量。本发明使用与划分成两个区域时的图像特征相适应的水平差和垂直差，从而与使用固定临界值的常规方法相比具有稳定的性能。当ELA被用于查找具有很大相似性的方向时，本发明对于各个方向获得并且平均可在窗口中获得的最大数量的像素差值，从而防止出现由高频分量引起的错误内插。本发明不仅可以作为单独的去除隔行扫描设备使用，而且也可以作为运动自适应去除隔行扫描方法的场内内插使用。

图1是说明具有通用隔行扫描格式的视频信号的偶数场10和奇数场20的视图。

偶数场10包括偶数扫描行0、2和4，奇数场20包括奇数扫描行1、3和5。偶数场10在T＝T1时被扫描，奇数场20在T＝T2时被扫描。例如，为了构造偶数场10的整个帧，每个遗漏行(例如，行3)将被重建(或内插)。例如，偶数场10的行3的像素元素X将被内插。图1中，实线表示在所给场中扫描的行，点划线表示需要内插的遗漏行。

图2是说明根据本发明实施例的去除隔行扫描方法的流程图。

首先，选择包括在上、下扫描行中的、关于要内插像素X的一连串像素(S100)。计算包括在上、下扫描行中的所选择像素的水平差平均值(MHD)(S110)。计算包括在上、下扫描行中的所选择像素的垂直差平均值(MVD)(S120)。比较MHD与MVD(S130)。如果MVD大于MHD，则将基于边缘的行平均(ELA)确定为内插方法(S140)。否则，将行平均确定为内插方法(S150)。

计算各个像素对组合的差值(S160)。像素对组合包括至少一个像素对，所述像素对具有分别来自于每个上、下扫描行的两个像素。根据具有最小差值的像素对组合来确定边缘方向(S170)。根据所确定的内插方法和边缘方向类似选择内插方向(S180)。根据所选择的内插方向来执行内插(S190)。

图3是说明根据本发明实施例的去除隔行扫描设备的视图。

关于要内插像素X的每个上、下扫描行包括七个像素。去除隔行扫描设备200包括行存储器210，行存储器210具有存储一个扫描行的视频数据的大小。该行存储器210其中存储上扫描行的视频数据。如果输入了下扫描行的视频数据，则行存储器210继续存储所输入的下扫描行的视频数据。

去除隔行扫描设备200包括内插方法确定单元220、边缘方向确定单元230和内插单元240。内插方法确定单元220关于要内插像素、根据上扫描行的一连串像素以及下扫描行的一连串像素来测量边缘梯度，并且根据所测量的边缘梯度来确定内插方法。边缘方向确定单元230计算像素对组合的差值，并且根据这些像素对组合中、具有最小差值的像素对组合的方向来确定边缘方向。所述像素对组合包括至少一个像素对。像素对包括分别来自于关于像素X的每个上、下扫描行的两个像素。像素对组合的像素对彼此相邻，并且具有彼此不同的方向。内插单元240依照由内插方法确定单元220确定的内插方法以及由边缘方向确定单元230确定的边缘方向，来执行像素X的内插。内插方法确定单元220、边缘方向确定单元230和内插单元240的详细结构和功能与下面一致。

如图1中所示，要内插像素X的上扫描行包括七个像素A₀，A₁，A₂，A₃，A₄，A₅和A₆，下扫描行包括七个像素B₀，B₁，B₂，B₃，B₄，B₅和B₆。分别包括在上、下扫描行中的像素并不限于七个，并且可以改变为不同的数字。像素A₀到A₆以及B₀到B₆如下面的等式1中所表示：

等式1

A₀＝Y(i-1，j-3)

A₁＝Y(i-1，j-2)

A₂＝Y(i-1，j-1)

A₃＝Y(i-1，j)

A₄＝Y(i-1，j+1)

A₅＝Y(i-1，j+2)

A₆＝Y(i-1，j+3)

B₀＝Y(i+1，j-3)

B₁＝Y(i+1，j-2)

B₂＝Y(i+1，j-1)

B₃＝Y(i+1，j)

B₄＝Y(i+1，j+1)

B₅＝Y(i+1，j+2)

B₆＝Y(i+1，j+3)

其中“i”表示要内插像素所在的扫描行，“i-1”表示上扫描行，而“i+1”表示下扫描行。在这里，Y(i，j)表示要内插像素的像素值(像素数据)；i表示要内插像素所在的扫描行；i-1表示上扫描行；i+1表示下扫描行；而j表示要内插像素的水平位置。

当应用行平均来执行去除隔行扫描时，问题是会在低梯度边缘产生锯齿。由于在低梯度边缘产生的锯齿是明显的，通过在低梯度边缘采用ELA来根据边缘方向执行内插，有效地提高了图像质量。相反，由于在高梯度边缘产生的锯齿对于肉眼几乎不明显，尽管进行内插，行平均也几乎不会降低图像的质量。相反，行平均具有能够防止在高梯度边缘产生错误内插的优点，从而提高了图像的质量。因此，如果图像被划分为低梯度边缘区域和另一个区域，以便根据每个区域的特征而使用适当的方法，就能够有效地抑制错误内插，并且有效地提高图像的质量。

为了测量边缘梯度以提取区域特征，使用像素的水平差和垂直差。像素的水平差和垂直差具有下面的特征。

1)在具有几乎水平的边缘的区域中，垂直差大于水平差。

2)在具有几乎垂直的边缘的区域中，水平差大于垂直差。

也就是说，将ELA应用于垂直差大于水平差的区域、以便根据边缘方向来执行内插，而将行平均应用于水平差大于垂直差的区域、以便执行内插，从而防止错误内插。此时，水平差和垂直差能够适应于诸如图像亮度或对比度等图像特征。

如上所述，内插方法确定单元220的功能是根据水平差和垂直差来测量边缘梯度，以及根据所测量的边缘梯度来确定最终的边缘方向。内插方法确定单元220包括MHD计算器221、MVD计算器222以及内插方向确定器223。MHD计算器221计算包括在上扫描行中的各个相邻像素对之差的绝对值以及包括在下扫描行中的各个相邻像素对之差的绝对值的平均值，从而提供计算出的平均值作为水平差的平均值。MHD计算器221从行存储器210中选择上扫描行的像素A₀到A₆，并且从外部选择下扫描行的像素B₀到B₆，以便用图4和等式2所示的相同方法来计算MHD。

等式2

$\mathrm{MHD}=\frac{|A_0-A_1|+|A_1-A_2|+|A_2-A_3|+|A_3-A_4|+|A_4-A_5|+|A_5-A_6|+|B_0-B_1|+|B_1-B_2|+|B_2-B_3|+|B_3-B_4|+|B_4-B_5|+|B_5-B_6|}{12}$

MHD具有以下特征。

1)MHD是窗口中像素的水平方向差的测量值，并且是相邻像素的平均值，并且在垂直边缘或高梯度边缘处较大。

2)当窗口中包括高频区域时，也就是说，当扫描行中包括的像素值极其不同时，MHD较大。

MHD也可以如下表示。

等式3

$\mathrm{MHD}=\frac{1}{2}[\frac{\underset{m=0}{\overset{5}{\mathrm{\Σ}}}|Y(i-1,j+m)-Y(i-1,j+m+1)|}{6}+\frac{\underset{m=0}{\overset{5}{\mathrm{\Σ}}}|Y(i+1,j+m)-Y(i+1,j+m+1)|}{6}]$

从相邻像素之差所获得的像素差，由于与要内插像素的距离较近而具有较大的相关性。为了反映这种关系，MHD依照像素差以及与要内插像素的距离而使用加权值，如下面的等式4：

等式4

$\mathrm{MHD}=\frac{\underset{m=0}{\overset{5}{\mathrm{\Σ}}}w\_h_m\left\{\right|Y(i-1,j+m)-Y(i-1,j+m+1)|+|Y(i+1,j+m)-Y(i+1,j+m+1)\left|\right\}}{2\·\underset{m=0}{\overset{5}{\mathrm{\Σ}}}w\_h_m}$

其中“w_h_m”是依照每个像素差的位置的加权值。根据该加权值，确定MHD的特征。

MVD计算器222计算包括在上扫描行中的各个相互面对的像素对之差的绝对值以及包括在下扫描行中的各个相互面对的像素对之差的绝对值的平均值，从而提供该计算出的平均值作为MVD。MVD计算器222从行存储器210中选择上扫描行的像素A₀到A₆，并且从外部选择下扫描行的像素B₀到B₆来计算MVD，如图5和等式5所示。

等式5

$\mathrm{MHD}=\frac{1}{2}\·\frac{|A_0-B_0|+|A_1-B_1|+|A_2-B_2|+|A_3-B_3|+|A_4-B_4|+|A_5-B_5|+|A_6-B_6|}{7}$

在等式5中，由于与MVD的分子部分对应的各个差值是从相隔两个像素距离的像素之差获得的，将MVD乘以1/2以获得一个像素距离的差值。MVD具有下面的特征。

1)MVD是窗口中像素的垂直方向差的测量值，并且是一个像素距离的平均值，并且在水平边缘或在低梯度边缘处较大。

2)当窗口中包括高频区域时，即，当图像中的像素值极其不同时，MVD较大。

以与MHD相同的方式，由于与要内插像素的距离较短，MVD为从相邻像素之差所获得的像素差提供较大的相关性。下面等式6中表示出具有加权值以便反映这种关系的MVD：

等式6

$\mathrm{MVD}=\frac{\underset{n=0}{\overset{5}{\mathrm{\Σ}}}w\_v_n|Y(i-1,j+n)-Y(i+1,j+n)|}{\underset{n=0}{\overset{5}{\mathrm{\Σ}}}w\_v_n}$

其中“w_v_n”是根据每个像素差的位置的加权值。根据该加权值，来确定MVD的特征。

内插方向确定器223通过使用MHD和MVD来确定内插方法。可以使用MHD和MVD的属性来得出下面的关系。

1)如果窗口中有垂直边缘或高梯度边缘，则MHD大于MVD。

2)如果窗口中有水平边缘或低梯度边缘，则MHD小于MVD。

在MHD小于MVD时可以确定的低梯度边缘区域，确定器223将ELA确定为内插方法，而在另一个区域，确定器223将行平均确定为内插方法。此时，行平均与ELA同样执行垂直方向内插。在下面给出其更详细的描述。当对MHD和MVD进行比较来划分区域时，对于以下的比较增加角度检测系数“a”，以便对边缘梯度进行控制，从而改变内插程度。

1)如果MVD≤a·MHD，那么该区域具有高梯度边缘。

2)如果MVD＞a·MHD，那么该区域具有低梯度边缘。

使用固定临界值的常规方法具有如下缺点，即性能随图像的特征而改变。一般地，临界值使用通过在普通图像中进行的试验而最优化的值。使用最优化的值作为临界值时，如果图像的特征改变，那么临界值应当被改变以便维持固有的性能。然而，如果使用固定临界值，该固定临界值不能相应于图像特征的变化。因此，缺点在于很难预期最佳的性能。也就是说，当用作亮度基准的临界值被固定时，在图像亮度被改变的情况下，以及当用作差值基准的临界值被固定时，在图像对比度被改变的情况下，将出现这种缺陷。此外，即使当一个场中存在具有不同特征的区域时，也就是说，即使当同一个图像中存在具有不同亮度或对比度的区域时，也可能出现这种缺陷。

由于MHD和MVD没有平均值，它们不受亮度变化的影响。此外，由于对MHD和MVD进行相互比较来确定最终的边缘方向，因而无论对比度高或低，都能够经常维持该性能。这就意味着使用MHD和MVD的区域划分方法具有对于亮度或对比率的变化的自适应特征。因此，使用固定临界值的常规方法具有性能随图像特征而改变的缺点，然而根据本发明的自适应区域划分方法能够维持稳定的性能，而与图像的特征无关。

在下文中，将详细地描述边缘方向确定单元230的操作。边缘方向确定单元230搜索具有最大相似性的像素，以便将搜索出的像素的方向确定为临时边缘方向。边缘上的像素使用具有最大相似性的属性，以便搜索到具有最大相似性的像素，从而根据搜索到的像素的方向来执行内插。两个像素之间的最大相似性指差值小。因此，边缘方向确定单元230计算各个像素对组合的差值，并且搜索具有最小差值的像素对组合。

图6A到6M是说明各个像素对组合的视图。

像素对组合包括至少一个像素对，并且包括两个像素，每个像素来自关于要内插像素的每一个上、下扫描行。像素对组合中的像素对彼此相邻，并且像素对组合具有彼此不同的方向。

假如上、下扫描行分别包括七个像素，边缘方向总共是13个，如图6A到6M中所示。图6A中所示的第一个像素对组合包括由上扫描行31的像素A₆和下扫描行32的像素B₀组成的像素对301a。图6B的第二个像素对组合包括由上扫描行31的像素A₀和下扫描行32的像素B₆组成的像素对302a。图6C的第三个像素对组合包括由上扫描行31的像素A₅和下扫描行32的像素B₀组成的像素对303a，以及由上扫描行31的像素A₆和下扫描行32的像素B₁组成的像素对303b。图6D的第四个像素对组合包括由上扫描行31的像素A₀和下扫描行32的像素B₅组成的像素对304a，以及由上扫描行31的像素A₁和下扫描行32的像素B₆组成的像素对304b。如此，第五到第十三个像素对组合如图6E到6M所示构造。

边缘方向确定单元230包括多个相关性计算器231至233和边缘方向确定器234。相关性计算器231至233分别对应于图6A到6M中所示的像素对组合，并且计算相应像素对组合的相关性。根据像素对组合中包括的像素对的差值来计算像素对组合的相关性。具有最小差值的像素对组合的相关性最大。例如，图6A中所示的第一个像素对组合的差值是|A₆-B₀|，图6C中所示的第三个像素对组合的差值是

，而第五个像素对组合的差值是 $\frac{|A_4-B_0|+|A_5-B_1|+|A_6-B_2|}{3}$ 。在该实施例中，要求总数为13的相关性计算器231至233，并且相关性计算器的数量与像素对组合的数量一致。在上述的方法中，计算每个像素对组合的差值。具有最小差值的像素对组合的相关性最大。具有最小差值的像素对组合的方向被确定为边缘方向。在下文中，将详细地描述对于边缘方向的确定。

当获得像素差来搜索边缘方向时，平均并使用具有相同方向的七个像素差，以便它们几乎不少受高频分量的影响。这时，为了参照大小受限制的窗口中的多个可能像素之差，如上所述使用依照每个方向参照数量可变的像素之差的方法。

随着每个方向中所参照的像素数量的增加，错误的可能性降低，而且边缘方向的可靠性提高，但是能够内插的边缘的梯度种类降低了。相反，随着每个方向中参照的像素的数量降低，由于直到低梯度边缘进行内插导致边缘的梯度种类增加，但是由图像的高频分量引起的错误内插的可能性也提高到所参照像素差的数量减少的程度。

边缘方向确定器234从相关性计算器231至233接收差值，并且根据具有最小差值的像素对组合的方向确定边缘方向。例如，在图6A到6M所示的像素对组合中，如果第一个像素对组合具有最小的差值，那么第一个像素对组合的方向被确定为边缘方向。像素对组合的方向是图6A到6M中所示的像素对组合中黑色像素对的方向。黑色像素是这些像素对组合的像素对中，具有与像素X最相邻的路径的像素对的像素。例如，图6A中所示的像素对组合的方向是像素对301a的方向，图6C中所示的像素对组合的方向是像素对303a和303b的中间值的方向，而图6E中所示的像素对组合的方向是像素对305b的方向。其余像素对组合的方向的设置与上面的方法相同。

内插单元240根据在内插方法确定单元220处确定的内插方法以及在边缘方向确定单元230处确定的边缘方向来执行内插。内插单元240包括多个内插器241至243、内插方向确定器244和选择器245。

内插器241至243分别对应于图6A到6M中所示的像素对组合。在该实施例中，由于上、下扫描行中分别包括七个像素，因而内插器241至243的总数是13。因此，内插器241至243对应于相关性计算器231至233。每个内插器241至243从行存储器210中选择上扫描行的像素A₀到A₆，并且从外部选择下扫描行的像素B₀到B₆，来计算内插值。每个内插器241至243计算图6A到6M所示的像素中黑色像素的平均值，作为内插值。如果一个像素对组合中包括奇数个像素对，那么具有经过要内插像素X的路径的像素对的像素被用于计算内插值。如果一个像素对组合中包括偶数个像素对，具有与要内插像素X最相邻的路径的两个像素对的像素被用于计算内插值。例如，图6A中所示的黑色像素A₆和B₀的内插值是

，图6C的像素A₅，A₆，B₀和B₁的内插值是，而图6M中所示的像素A₃和B₃的内插值是

。如现有技术中所公知的，在ELA和行平均中一般都使用像素A₃和B₃的平均值

 。

响应于由内插方法确定单元220确定的内插方法以及由边缘方向确定单元230确定的边缘方向，内插方向确定器244输出用于选择内插器241至243的任意一个内插值的选择信号。如果由内插方法确定单元220确定的内插方法是ELA，则内插方向确定器244输出选择信号，用于允许在由边缘方向确定器234确定的具有最小差值的像素对组合的方向上执行内插。相反，如果由内插方法确定器220确定的内插方法是行平均，则内插方向确定器244输出选择信号，用于允许将像素A₃和B₃的平均值作为像素X的数据F′(t)被输出，如图6M中所示，以便在垂直方向上执行内插。响应于内插方向确定器244的选择信号，选择器245输出内插器241至243的任意一个内插值作为像素X的数据F′(t)。

如上所述，本发明把要内插的场划分为低梯度边缘区域和具有其它特征的区域，然后在低梯度区域应用ELA来最小化锯齿，并且在其它区域应用行平均来最小化错误，从而提高整个图像的质量。本发明在划分两个区域时使用与图像特征相适应的水平差和垂直差，从而与使用固定临界值的常规方法相比具有稳定的性能。当使用ELA来搜索具有最大相似性的方向时，本发明对于各自方向、获得并且平均可在窗口中得到的最大数量的像素差值，从而防止出现由高频分量引起的错误内插。

尽管参照本发明的示意性实施例，详细地示出和描述了本发明，但是本领场内的普通技术人员应当理解到，在不脱离由以下权利要求所定义的本发明精神和范围的前提下，可以进行各种形式和细节的变化。

Claims (35)

1.一种去除隔行扫描的方法，包括如下步骤：

根据关于要内插像素的上扫描行中的一连串像素和下扫描行中的一连串像素，来测量边缘梯度；

根据所测量的边缘梯度，来确定内插方法；

对于多个像素对组合中的每一个计算多个差值，每个像素对组合具有至少一个像素对，像素对具有两个像素，这两个像素中的每一个分别属于关于要内插像素的上、下扫描行之一，像素对组合的像素对彼此相邻，并且像素对组合具有彼此不同的方向；

根据具有计算出的多个差值中的最小值的像素对组合的方向，来确定边缘方向；以及

使用所确定的内插方法和所确定的边缘方向，来执行像素的内插。

2.权利要求1的去除隔行扫描的方法，其中所述边缘梯度测量步骤包括如下步骤：

获得上、下扫描行中的像素的MHD水平差平均值；以及

获得上、下扫描行中的像素的MVD垂直差平均值。

3.权利要求2的去除隔行扫描的方法，其中，所述MHD水平差平均值是上扫描行中的各个相邻像素对之差的绝对值以及下扫描行中的各个相邻像素对之差的绝对值的平均值。

4.权利要求2的去除隔行扫描的方法，其中，所述MVD垂直差平均值是上扫描行的像素以及下扫描行的像素中、各个相互面对的像素对之差的绝对值的平均值。

5.权利要求2的去除隔行扫描的方法，其中，在所述内插方法确定步骤中，根据MHD水平差平均值和MVD垂直差平均值的关系来确定所述内插方法。

6.权利要求5的去除隔行扫描的方法，其中，在所述内插方法确定步骤中，当MHD水平差平均值大于MVD垂直差平均值时，将行平均确定为所述内插方法。

7.权利要求5的去除隔行扫描的方法，其中，在所述内插方法确定步骤中，当MVD垂直差平均值不大于MHD水平差平均值时，将ELA基于边缘的行平均确定为所述内插方法。

8.权利要求7的去除隔行扫描的方法，其中，在所述边缘方向确定步骤中，当所确定的内插方法是ELA基于边缘的行平均时，将具有最小差值的像素对组合的像素对中、与要内插像素相邻的像素对的方向确定为所述边缘方向。

9.权利要求8的去除隔行扫描的方法，其中，在所述边缘方向确定步骤中，当具有所计算出的多个差值中的最小值的像素对组合包含奇数个像素对时，将这些像素对中经过要内插像素的像素对的方向确定为所述边缘方向。

10.权利要求9的去除隔行扫描的方法，其中，在所述内插执行步骤中，当具有最小差值的像素对组合包含奇数个像素对时，将具有所确定的边缘方向的两个像素的平均值设置为所述要内插像素的值。

11.权利要求8的去除隔行扫描的方法，其中，在所述边缘方向确定步骤中，当具有最小差值的像素对组合包含偶数个像素对时，将这些像素对中与要内插像素相邻的两个像素对之间的方向确定为所述边缘方向。

12.权利要求11的去除隔行扫描的方法，其中，在所述内插执行步骤中，当具有所计算出的多个差值中的最小值的像素对组合包含偶数个像素对时，将与所确定的边缘方向相邻的四个像素的平均值设置为所述要内插像素的值。

13.权利要求6的去除隔行扫描的方法，其中，在所述内插执行步骤中，当所确定的内插方法是行平均时，将上、下扫描行的像素中、关于要内插像素具有垂直方向的两个像素的平均值设置为所述要内插像素的值。

14.权利要求1的去除隔行扫描的方法，其中，所述像素对组合的差值是像素对组合中的至少一个像素对的差值绝对值的平均值。

15.一种去除隔行扫描的设备，包括：

内插方法确定单元，用于根据关于要内插像素的上扫描行中的一连串像素和下扫描行中的一连串像素来测量边缘梯度，并且根据所测量的边缘梯度来确定内插方法；

边缘方向确定单元，用于对于每一个像素对组合计算相关性，并且根据像素对组合中具有最大相关性的像素对组合的方向来确定边缘方向，每个像素对组合具有至少一个像素对，每个像素对具有两个像素，这两个像素中的每一个分别属于关于要内插像素的上、下扫描行之一，像素对组合的像素对彼此相邻，像素对组合具有彼此不同的方向；以及

内插单元，用于使用所确定的内插方法和所确定的边缘方向来执行像素的内插。

16.权利要求15的去除隔行扫描的设备，其中，所述内插方法确定单元包括：

用于获得上、下扫描行中的像素的MHD水平差平均值的MHD计算器；

用于获得上、下扫描行中的像素的MVD垂直差平均值的MVD计算器；以及

用于根据MHD水平差平均值和MVD垂直差平均值来确定内插方法的内插方法确定器。

17.权利要求16的去除隔行扫描的设备，其中，所述MHD水平差平均值是上扫描行中的各个相邻像素对之差的绝对值和下扫描行中的各个相邻像素对之差的绝对值的平均值。

18.权利要求17的去除隔行扫描的设备，其中，当上、下扫描行分别具有(2N+1)个像素时，用下面的等式计算所述MHD水平差平均值：

$\mathrm{MHD}=\frac{\underset{m=-N}{\overset{N-1}{\mathrm{\Σ}}}w\_h_m\left\{\right|Y(i-1,j+m)-Y(i-1,j+m+1)|+|Y(i+1,j+m)-Y(i+1,j+m+1)\left|\right\}}{2\·\underset{m=-N}{\overset{N}{\mathrm{\Σ}}}w\_h_m}$

其中“w_h_m”是依赖于每个像素差的位置的加权值。

19.权利要求16的去除隔行扫描的设备，其中，所述MVD垂直差平均值是上扫描行的像素和下扫描行的像素中、各个相互面对的像素对之差的绝对值的平均值。

20.权利要求19的去除隔行扫描的设备，其中，当上、下扫描行分别具有(2N+1)个像素时，用下面的等式计算所述MVD垂直差平均值：

$\mathrm{MVD}=\frac{\underset{n=-N}{\overset{N}{\mathrm{\Σ}}}w\_v_n|Y(i-1,j+n)-Y(i+1,j+n)|}{\underset{n=-N}{\overset{N}{\mathrm{\Σ}}}w\_v_n}$

其中“w_v_n”是依赖于每个像素差的位置的加权值。

21.权利要求16的去除隔行扫描的设备，其中，当MHD水平差平均值大于MVD垂直差平均值时，所述内插方法确定器将行平均确定为所述内插方法。

22.权利要求21的去除隔行扫描的设备，其中，当MVD垂直差平均值不大于MHD水平差平均值时，所述内插方法确定器将ELA基于边缘的行平均确定所述为内插方法。

23.权利要求22的去除隔行扫描的设备，其中，所述边缘方向确定单元包括：

相关性计算器，用于计算每个像素对组合的相关性；以及

边缘方向确定器，用于根据像素对组合中具有最大相关性的像素对组合来确定边缘方向。

24.权利要求23的去除隔行扫描的设备，其中，所述相关性计算器包括分别对应于像素对组合的多个计算单元，用于计算相应像素对组合的差值。

25.权利要求24的去除隔行扫描的设备，其中，所述像素对组合的差值是像素对组合中的至少一个像素对的差值绝对值的平均值。

26.权利要求25的去除隔行扫描的设备，其中，当所确定的内插方法是ELA基于边缘的行平均时，所述边缘方向确定单元将具有最小差值的像素对组合的像素对中、与要内插像素相邻的像素对的方向确定为所述边缘方向。

27.权利要求26的去除隔行扫描的设备，其中，当具有最小差值的像素对组合包含奇数个像素对时，所述边缘方向确定器将这些像素对中经过要内插像素的像素对的方向确定为所述边缘方向。

28.权利要求27的去除隔行扫描的设备，其中，当具有最小差值的像素对组合包含奇数个像素对时，所述内插单元将具有所确定的边缘方向的两个像素的平均值设置为所述要内插像素的值。

29.权利要求27的去除隔行扫描的设备，其中，当具有最小差值的像素对组合包含偶数个像素对时，所述边缘方向确定器将这些像素对中与要内插像素相邻的两个像素对之间的方向确定为所述边缘方向。

30.权利要求29的去除隔行扫描的设备，其中，当具有最小差值的像素对组合包含偶数个像素对时，所述内插单元将与所确定的边缘方向相邻的四个像素的平均值设置为所述要内插像素的值。

31.权利要求26的去除隔行扫描的设备，其中，当所确定的内插方法是行平均时，所述内插单元将上、下扫描行的像素中、关于要内插像素具有垂直方向的两个像素的平均值确定为所述要内插像素的值。

32.权利要求28的去除隔行扫描的设备，其中，所述内插单元包括：

分别对应于像素对组合的多个内插器，用于根据相应像素对组合来计算内插值；以及

选择器，用于根据由所述内插方法确定单元确定的所述内插方法以及由所述边缘方向确定单元确定的所述边缘方向，来选择所述内插器的内插值之一作为所述要内插像素的值。

33.权利要求32的去除隔行扫描的设备，其中，每个所述内插器计算相应像素对组合的像素对中、与要内插像素相邻的至少一个像素对的平均值，并且将计算出的平均值作为所述内插值输出。

34.权利要求33的去除隔行扫描的设备，其中，当具有最小差值的像素对组合包含奇数个像素对时，每个所述内插器将具有所确定的边缘方向的两个像素的平均值设置为所述要内插像素的值。

35.权利要求34的去除隔行扫描的设备，其中，当具有最小差值的像素对组合包含偶数个像素对时，每个所述内插器将与所确定的边缘方向相邻的四个像素的平均值设置为所述要内插像素的值。

Images