CN101283579A - 图像处理中的混叠避免 - Google Patents

Abstract

本发明涉及图像处理设备，其中关于根据输入图像中的图像特征方向所选择的所述输入图像的像素而生成输出像素值，该设备包括：用于对所述输入图像的各像素块进行比较的装置，所述各块关于待测像素位置被布置成使得所述各块之间的相关性将表明适用于该像素位置的图像特征方向；以及用于把适用于所述待测像素位置的图像特征方向检测为对应于块比较的方向的装置，所述块比较用于具有满足一个或多个预定标准的块内容的各块当中的具有最高相关性的各块。

Description

图像处理中的混叠避免

本发明涉及到图像处理中的混叠避免。

视频图像捕获代表一种空间及时间采样处理。图像作为一组设置在各行或线中的像素而被捕获。在间隔开的时刻处捕获连续图像。

一种复杂情况是对于隔行视频捕获和处理的共同使用。在隔行视频信号中，每个图像作为两组交替像素线或者交替像素线的两个场而被操纵。例如，可以把奇数编号的各线包括在一个场内，同时可以把偶数编号的各线包括在下一个场内。所述隔行技术的一个优点在于，其给出了图像速率的表观加倍，从而在不显著增大视频信号带宽的情况下减轻了闪烁效应。

如果尝试捕获或者处理具有对于对应的采样率来说过高的空间或时间频率的视频素材，则采样的所有上述方面都可能会产生混叠效应。但是这里将描述隔行到逐行扫描视频变换领域中的特定混叠问题。

如果期望在隔行视频与逐行扫描(非隔行)视频之间进行转换，则对于非移动图像来说仅仅需要对两个连续场进行交织以重建存在所有像素线的非隔行帧。然而，如果有任何显著的场间运动，则上述方法可能不适用。在这种情况下，更为适当的做法可能是从一个场中的其他像素导出在该相同场中所缺失的像素线。换句话说，即使用内插处理。

由于一个场可能表示处于任何指向上的一个项目的图像，因此适当的做法是根据附近的图像素材选择用于进行内插缺失的像素的方向，即尝试与所述项目的某一特征大致对准地进行内插。例如可以通过使用块匹配技术来检测适当的内插方向。

然而，包含在一个场内的信息可能无法唯一地定义一个对准方向。在附图7a和7b中示意性地说明了这种情况，下面将更详细地进行描述。特地的未知像素被显示为问号，并且示出了具有相关联的“完美”块匹配结果的两个可能的内插方向。在图7a中，接近水平的内插方向(由双头箭头表示)将表明所述未知像素应当是暗灰色，而在图7b中，更接近垂直的内插方向将为该未知像素给出亮灰色。

本发明提供了图像处理设备，其中关于根据输入图像中的图像特征方向所选择的所述输入图像的像素而生成输出像素值，该设备包括：

用于对所述输入图像的各像素块进行比较的装置，所述块关于待测像素位置被布置成使得所述块之间的相关性将表明适用于该像素位置的图像特征方向；以及

用于把适用于所述待测像素位置的图像特征方向检测为对应于块比较的方向的装置，所述块比较用于具有满足一个或多个预定标准的块内容的各块当中的具有最高相关性的各块。

本发明解决了块匹配设备中的混叠问题，这是通过对于将被生成的运动矢量不仅应用相关性条件而且还应用块内容条件而实现的。

本领域技术人员将认识到，虽然本发明的各实施例涉及到隔行到逐行扫描变换，但是本发明还适用于涉及到通过对角线或类似内插在一个或两个维度上提高图像分辨率的任何方法。

在所附权利要求书中限定了本发明的其他对应方面和特征。

下面将参照附图仅以举例的方式来描述本发明的各实施例，其中：

图1示意性地示出了平屏显示器设置；

图2示意性地示出了工作室环境中的视频混合操作；

图3示意性地示出了隔行到逐行变换器；

图4a到4c示意性地示出了梯度检测；

图5和6a到6e示意性地示出了空间块匹配操作；

图7a和7b示意性地示出了混叠情况；

图8a到8d示意性地示出了混叠检测技术；

图9示意性地示出了Kell因数滤波操作；

图10和11示意性地示出了Kell因数滤波操作中的各级；

图12a示意性地示出了运动自适应内插器；

图12b示意性地示出了连续视频场之间的运动检测；

图13示意性地示出了高频检查操作；

图14a和14b示意性地示出了一种降低对于图像缩放的需求的变型；

图15、16a、16b、17a和17b示意性地示出了主要的和替换的像素测试策略；

图18示意性地示出了差值的生成；

图19示意性地示出了所述隔行到逐行变换器的一个替换实施例；

图20a、20b、22a和22b示意性地示出了图8a到8d的混叠检测技术的变型；

图21a和21b示意性地示出了应用于细线的混叠检测技术的一个例子；以及

图23示意性地示出了应用在水平方向上的Kell因数滤波操作。

图1示意性地示出了平屏显示器设置10，其包括隔行视频素材源20、隔行到逐行扫描变换器30以及显示面板40，所述显示面板比如是液晶(LCD)或等离子显示器。该图示出了对于隔行到逐行扫描变换的典型使用，其中许多广播信号具有隔行格式，而许多平板显示器(或者实际上是任何逐行扫描显示器)则在逐行扫描格式下最为成功地操作。相应地，在图1中，由所述隔行素材源20接收的广播信号被用来生成隔行信号以供显示。所述隔行信号被传递到所述隔行到逐行扫描变换器30，以便从该隔行信号生成逐行扫描信号。该逐行扫描信号被传递到显示器40。

应当认识到，所述隔行素材源20不必是广播接收机，而可以是诸如DVD播放器之类的视频回放设备以及诸如互联网连接之类的网络连接等等。

图2示意性地示出了工作室环境中的视频混合操作，以便给出使用隔行到逐行扫描变换的另一个例子。在这里提供了隔行素材源50和逐行扫描素材源60。这些源可以是摄影机、诸如录像机或硬盘记录器之类的视频回放设备、广播接收机等等。

来自所述隔行素材源50的隔行输出被提供到隔行到逐行扫描变换器70，以便生成逐行扫描信号。可以由视频混合器80把该逐行扫描信号连同来自源60的逐行扫描素材一起处理，以便生成经过处理的逐行扫描输出。当然，如果需要的话可以把该视频混合器80的逐行扫描输出变换回到隔行格式，以便例如用于后续的广播或记录。还应当认识到，该视频混合器80仅仅是视频处理设备的一个例子；在图2中的该位置处例如可以替换地使用数字视频效果单元。

图3示意性地示出了隔行到逐行扫描变换器。概括地说，该变换器包括空间内插器100、运动自适应内插器110和一组三个场存储装置120。

图3的变换器可操作地在与输入隔行场相同的重复频率下生成输出逐行扫描帧。因此，所述变换器的主要要求是生成每个隔行场中的“缺失的”像素，以便把该隔行场变成逐行扫描帧。这一点可以按照两种方式当中的一种来实现。一方面，所述空间内插器100通过在所涉及到的场内进行空间内插而生成所述“缺失的”像素。换句话说，这是场内操作。另一方面，所述运动自适应内插器通过插入来自具有相反极性的相邻场的像素而生成所述缺失的像素。这一点只有在场之间没有图像运动时才是有效的，因此图3的基本组织是在检测到图像运动的图像位置处使用所述空间内插器100的输出，而在没有检测到图像运动的像素位置处则使用所述运动自适应内插器110的输出。为了操作简单，所述空间内插器在每个像素位置处操作，而所述运动自适应内插器则选择该空间内插器的输出，或者选择来自具有相反极性的另一个场的像素以供输出，或者混合所述二者。

下面将更加详细地描述所述运动自适应内插器。首先将描述所述空间内插器。

所述空间内插器包括1-2水平像素缩放器130、空间块匹配器140、最小误差选择器150、对角线内插器160、点噪声减少器170以及Kell因数校正器180。下面将更加详细地描述其中的每一个的操作。

所述缩放器130使用水平线性内插在所述输入隔行场的每两个像素之间生成一个附加像素值。因此，水平分辨率(至少在可用像素值数目方面)被加倍，但是在此阶段对于垂直分辨率没有差别。

下面将参照图4A到4C描述水平缩放是适当的原因。

正如下面将描述的那样，空间块匹配器140和对角线内插器160的总体操作是检测关于将在其中内插新像素的像素位置的图像特征的指向，以及随后沿着该图像特征方向应用内插。因此，如果将被内插的当前像素位置位于例如与水平成45°的对角线图像特征(线、边缘等等)之内，则对于该新像素的内插将沿着该45°方向发生。这可能往往会给出比起把所述内插限制到水平或垂直内插的情况更好的输出结果。因此，这一处理的关键部分显然是检测在每个像素位置处的图像特征的方向。

所述检测是利用块匹配处理实施的。下面将更加详细地描述实际的块匹配处理。但是在此阶段，图4A示意性地示出了未知像素220(内部带有问号的圆圈)的位置周围的两个像素块200、210之间的成功块匹配。实际上，在这里的附图中所使用的符号是用正方形表示已知像素，同时用圆圈表示将被对角线内插器160内插的像素。图4A到4C中的阴影是图像特征的示意性表示。

因此，参照图4A，在未知像素位置220周围的块200、210之间获得成功的块匹配，从而表明1/2的图像特征梯度。

现在参照图4C，图像特征是垂直的，并且同样地在重叠的块230、240之间存在成功的块匹配。

然而，在图4B中，所述图像特征的梯度是1/1。不可能获得与处在整数像素位置处的块的成功的块匹配。块250、260之间的成功匹配在半整数像素位置处发生。相应地，为了检测这种性质的梯度(实际上是比1/2更急剧的任何梯度)，必须在子像素(subpixel)精度下进行操作。在本例中采用了半像素精度。如果使用更高的精度(例如四分之一像素精度)，则将检测到更加接近垂直的梯度。在该实施例中，半像素精度被选择为处理要求与在非常尖锐的梯度下的精度之间的平衡。

实际上，在下面将描述的本发明的实施例中，并不是通过任一级处的缩放器130对所有图像进行1∶2缩放。下面将更加详细地描述对缩放的选择性使用。

图5和6A到6E示意性地示出了所述空间块匹配操作。

如上所述，在子像素精度下实施空间块匹配；在本例中是半像素精度。

使用具有相应的搜索范围(相对于待测像素位置的最大位移)的块尺寸范围。考虑到所述1∶2缩放操作(尽管在所述处理中并不总是使用内插的像素)，在下表中给出了示例性块尺寸和搜索范围：

块尺寸(以经缩放的像素计)	搜索范围(以经缩放的像素计)
		3v×5h	0h
3v ×5h	±1h
		3v×7h	±2h
	...
		3v×41h	±19h

图5示意性地示出了未知像素位置320周围的两个3v×13h像素块300、310之间的块匹配操作。应当注意到，块宽度在经缩放(内插)的像素方面是13h；这里仅仅示出了真实(源)像素。变量d(实际上是4个内插像素的位移)表示所述块的水平中心与待测像素位置的水平位移。适用于所述块匹配的一个条件是，所述块必须总是与待测像素位置重叠。此外，所述块被显示为在整数的真实像素位移下被移位(因此位移m对应于2m个内插像素的位移)。

相应地，在图5中示出的特定块尺寸允许在-4像素(图6A)、-3像素、-2像素(图6B)、-1像素、0像素(图6C)、+1像素、+2像素(图6D)、+3像素和+4像素(图6E)的位移下进行5个可能的测试。

应当注意到，所述位移被按照经缩放的像素表示为与中心的位移。所述两个块被移位相等的数量，但是是在相反的方向上。使用对称的位移是因为否则的话所述块匹配可能会检测到与待测像素不相关的线或边缘。

对于每个块匹配计算绝对差值和(SAD)。其被如下定义：

$\mathrm{SAD}(x,y,d,n)=\underset{\mathrm{dx}=-n}{\overset{n}{\mathrm{\Σ}}}\underset{\mathrm{dy}=-3,-\mathrm{1,1}}{\mathrm{\Σ}}\underset{\mathrm{RGB}/\mathrm{YCbCr}}{\mathrm{\Σ}}|p(x-d+\mathrm{dx},y+\mathrm{dy})-p(x+d+\mathrm{dx},y+\mathrm{dy}+2)|$

其中，x、y表示当前像素坐标(y是帧线号)，d是所测试的位移，并且n是所述块的半径(该块宽度是n’＝2n+1)。

一般来说，组合对应于三个颜色分量(红色、绿色和蓝色)的所述SAD值，并且最小归一化SAD值确定用于内插的梯度。进行各种检查以避免不良内插，正如下面所描述的那样。

采取各种措施以避免由混叠情况所导致的问题。图7A和7B示出了可能的混叠情况。

参照图7A，块340与350之间的块匹配暗示未知像素330应当是暗灰色。这里，所述块匹配是100％成功的，因此所述SAD值将是0(应当注意，这是一个示意性的例子)。

然而，在图7B中，块360与块370之间的块匹配也是100％成功的，同样给出为0的SAD值。图7B的块匹配暗示所述未知像素330应当是亮灰色。

块匹配结果的这一冲突是在图7A和7B中示出的图像部分内的紧密间隔的对角线图像特征之间的混叠的产物。虽然最初看起来任一条对角线都是同样有效的(即从左上到右下的陡峭的对角线或者从右上到左下的更为平缓的对角线)，但是已经建立了处理规则以允许做出适当的选择。下面将描述所述规则。

所述规则的基础是所述块匹配处理被限制到仅仅检测被视为“线段”的区域。也就是说，块匹配中的每个块应当包含线段。

经过数字化的线段被视为具有两种属性。首先，其沿着所讨论的块的中心扫描线行是单调的，其次，在所讨论的块内的各扫描线之间有垂直跳变。下面将参照图8A到8D描述应用这些测试的方式。

在图8A中，源场包含多条对角线。图8B示意性地示出了图8A的图像内的一个像素行。图8C和8D示出了图8B中所示的对角线的两个边缘。可以看出，这些边缘当中每一个都具有表现出单调亮度变化的像素区域。此外，参照图8A，可以看出这种片段在相邻像素行之间展现出垂直跳变。

因此，回到图7A和7B，根据上面描述的规则，图7A的块匹配将被拒绝，而图7B的块匹配将是优选的。这是因为图7B的两个块的中心像素线表现出单调亮度变化，而图7A中的块340、350的中心像素线则不是这样。

实际上，所述规则并不是这么刻板地表示的。实际的规则涉及到所述线的以下各种属性之间的平衡：

所述规则是：

单调性+C1+(C2/块宽度)＜平均垂直能量

其中，C1、C2是虑及数据中的噪声的常数。如果满足该条件，则把相关的块匹配用作有效内插方向。

应当注意到，所述测试是关于每一个颜色分量(例如R、G和B)而单独执行的。必须单独通过所有三个测试。可替换地，例如为了节省硬件，可以执行少于三个测试。例如，可以仅仅测试亮度或者仅仅测试一个颜色分量。当然，可以替换地测试YcbCr或YpbPr表示法。

上面所暗示的适用于块匹配的第二条规则是：最小归一化SAD值确定用于后续内插的梯度。

一般来说，所述方向是从具有最小误差(最小归一化SAD)的块匹配选择的。在这种情况下，如果所述归一化SAD小于阈值KFC_thresh，则将不在后面使用所述校正器180的Kell因数校正。

然而，如果所述归一化SAD值对于多个块偏移量是类似的(在阈值数量内)，或者如果在所有块匹配上获得的最小归一化SAD值大于预定的最大值，则将使用垂直内插，在这些情况下将总是使用Kell因数校正，并且所述归一化SAD值被设置到上面提到的预定最大值。

适用于块匹配的第三条规则如下。

该规则的基础是：相邻的“未知”(将被内插的)像素应当表明与所考虑的当前像素类似的梯度。

对于当前的“未知”像素，令G是预测梯度。令所述搜索范围是|G|/4+1(由于“G”是按照经缩放的像素表示的，因此所述除法是必要的)。令C3...是可编程的常数。

为了应用所述规则，检查处在相对于所述当前像素的-搜索范围到+搜索范围(闭区间)处的当前缺失线中的所有像素。在该范围内的满足下面不等式的每个预测梯度g令“计数器”值递增：

(|G|-d)＜＝C3(g-G)＜＝(|G|+d)

随后，如果计数器*C4＜C5*(2x范围+1)，则令v是原始值，令v’是垂直内插后的值，并且把结果设置到C6v’+(1-C6)v(优选形式)或者C6v’+C7v(更一般的形式)。把用于所述像素的归一化SAD值递增C8，该常数可以被设置成鼓励使用所述KFC。

所述对角线内插器160是简单的像素平均器：给定一个方向后，该对角线内插器选取下面的线中的该方向上的像素以及上面的线中的该方向上的像素，并且对其求平均。

所述点噪声减少器170涉及到被应用于对角线内插器160的输出的处理。应用一个测试以检测内插后的像素是否处在4个垂直和水平像素(即在上、下、左、右四方紧接所述内插后的像素的各像素)的最大值与最小值之内。应当注意到，在该内插后的像素上方和下方的像素将是真实像素，而在其左侧和右侧的像素本身也将被内插。

如果所述内插后的像素不在该范围内，则：

令v是所考虑的像素的原始值，令v’是v，其被限幅成处在所述4个局部相邻像素的范围内。

令新的像素值是kDNR v’+(1-kNDR)v，其中kDNR是可编程的。

下面将参照图9到11描述Kell因数校正器180的操作。

Kell因数校正

在这里的讨论中，提到所述Kell因数仅仅是为了帮助解释所述系统的该部分的操作。滤波器实际所利用的仅仅是关于所述源图像没有使用其可获得的完全带宽的知识，而不管这是由于扫描伪像还是由于低通滤波处理所造成的。

所述Kell因数是表示逐行扫描和隔行图像的属性的量。为了表示所扫描的信息，通常认为仅仅表示了(或者应当表示)可能的垂直带宽的70％(Kell因数)。因此，当执行隔行到逐行扫描变换时，尝试产生完全垂直带宽图像可能是有害的。相反，可以使用针对小于1的Kell因数的补偿。

一种用以补偿所述Kell因数的方法将是对于任何隔行到逐行扫描算法的帧输出使用70％带宽滤波器。然而，该帧中的其中一个场是“真实”数据，也就是说，其被正确地采样，因此来自该场的内容在定义上肯定是完美的。因此使用一种仅仅对内插的线进行滤波的方法。

在图9中示意性地示出了通用Kell因数滤波操作，其中把源数据滤波(在本例中是在垂直方向上)到fs/2(即Nyquist频率)的大约70％的带宽。

下面的数学和算法描述了一种适于对内插的线执行70％带宽滤波的滤波器。在经验测试中已经发现，该滤波器可以大大减少伪像，并且很重要的是应当注意到其结果也显著好于简单地对输入隔行视频执行1∶2垂直放大(up-scaling)操作的情况。

图10和11示意性地证明了所述概念。在图10中示出了一般的想法，其中对逐行扫描帧中的真实像素I和内插像素S(选择性地)应用垂直滤波器。

为了解释所述技术，考虑某些不存在的数据(特别是隔行场的缺失线)将是有用的。通过(对于所述导出的一部分)把这些线视为是确实存在的而进行处理，可以导出滤波器技术以便应用于这些线的经过内插的形式，从而生成对所述缺失线的经滤波的形式的近似。从下面的解释中可以明显看出这一点。

参照图11，考虑假设的100％垂直带宽逐行图像500。这当然不存在；由于所述采样处理中的固有的滤波，其在最好的情况下将是70％滤波的。这样就形成了可以实现的逐行帧510。然而，即使是该帧我们也无法获得；替换地，以隔行形式作为场520来提供。该场520是到本隔行到逐行扫描变换处理的源数据。

所述隔行场520被提供到隔行到逐行变换器，该变换器随后生成缺失的场线，以便产生重建帧530。然而，该帧530现在可能包含高于可用带宽的70％的频率。并不总是希望生成这种频率，这是因为该信息不存在于到所述隔行到逐行扫描变换器的源数据中。因此，应当产生该帧的不超出所述带宽极限的某一形式540，并且应当通过仅仅调节所述重建场线而不调节源场线来实现这一点-所述源场线是来自已经通过这种滤波器的图像，因此其是“完美”的。

因此，产生所需的输出可以被视为理论图像550的低通滤波器输出，所述理论图像550是从来自与所述重建场隔行的原始100％垂直带宽图像的各线构造的。然而，所述原始100％垂直带宽图像不可用，因此下面将描述一种用以规避该问题的技术。

3抽头源滤波器方法

这是用以产生适当的滤波器的三种方法当中的第一种；仅仅推荐后两种方法，在这里的描述中包括该第一种方法以显示出演进。

考虑具有下面的形式的3抽头低通对称滤波器：

并且还考虑来自已经被从隔行转换到逐行扫描的视频的5条线的像素列P：

其中，F是来自真实数据场的像素，I是内插的像素。应当注意到，这些值是已知的。

所述真实场像素F必须从所述系统输出。在记录所述视频的过程中已经根据所述Kell因数对这些像素进行了滤波。因此，考虑所述滤波之前的原始视频-这是概念上的视频源，这是因为在对光学信息的采样中，实际的Kell因数滤波器将是固有的。如下描述该原始或伪输入视频：

其中，x是来自所述概念上的100％垂直带宽源的未知的值，I是已经被空间内插的像素，并且有：

输出＝伪输入*滤波器

我们现在考虑输出像素y₀，其与伪输入像素I₀垂直对准。

$\left[\begin{array}{c}.\\ .\\ .\\ y_0\\ .\\ .\\ .\end{array}\right]=\left[\begin{array}{c}.\\ .\\ .\\ I_{-2}\\ x_{-1}\\ I_0\\ x_1\\ I_2\\ .\\ .\\ .\end{array}\right]*\left[\begin{array}{c}a\\ b\\ a\end{array}\right]=\left[\begin{array}{c}.\\ .\\ .\\ a{x}_{-3}+b{I}_{-2}+{\mathrm{ax}}_{-1}\\ {\mathrm{aI}}_{-2}+{\mathrm{bx}}_{-1}+a{I}_0\\ a{x}_{-1}+{\mathrm{bI}}_0+a{x}_1\\ {\mathrm{aI}}_0+b{x}_1+a{I}_2\\ a{x}_1+b{I}_2+a{x}_3\\ .\\ .\\ .\end{array}\right]$

我们不知道x_-1和x₁的值，因此输出像素的y₀值并不是直接已知的。然而，我们知道y_-1＝F_-1以及y₁＝F₁，这是因为对于当前场的输出场线是已知的。

因此可以找到x_-1和x₁，并且随后可以找到y₀：

$x_{-1}=\frac{1}{b}(y_{-1}-a(I_{-2}+I_0))=\frac{1}{b}(F_{-1}-a(I_{-2}+I_0))$

$x_1=\frac{1}{b}(y_1-a(I_0+I_2))=\frac{1}{b}(F_1-a(I_0+I_2))$

y₀＝a(x_-1+x₁)+bI₀

$y_0=\left[\begin{array}{c}-a^2/b\\ a/b\\ b-2a^2/b\\ a/b\\ -a^2/b\end{array}\right]\·\left[\begin{array}{c}{I}_{-2}\\ F_{-1}\\ I_0\\ F_1\\ I_2\end{array}\right]=\left[\begin{array}{c}-a^2/b\\ a/b\\ b-2a^2/b\\ a/b\\ -a^2/b\end{array}\right]\·\left[\begin{array}{c}{P}_{-2}\\ P_{-1}\\ P_0\\ P_1\\ P_2\end{array}\right]$

现在，通过下面的矢量给出适当的70％垂直带宽滤波器：

$\mathrm{vFilter}3\mathrm{Tap}70\mathrm{pcnt}=\frac{1}{32768}\left[\begin{array}{c}5138\\ 22492\\ 5138\end{array}\right]$

因此有a＝5138以及b＝22492。从而有：

因此，实际上利用5抽头滤波器解决了所述问题。

5抽头源滤波器方法

所述初始的对称3抽头滤波器的滤波特性相对较差，因此开发了一种通过使用初始的对称5抽头滤波器来改进这一点的方法。

然而，该方法还要求使用所述3抽头滤波器，否则所述问题不会有解。

令所述对称5抽头滤波器由3个系数a、b、c构成，并且可以通过[a，b，c，b，a]^T来描述完整滤波器。

类似地，令所述3抽头滤波器由两个系数d、e构成，并且可以通过[d，e，d]^T来描述完整滤波器。

根据前述内容，但是扩展到使用所述5抽头滤波器：

$\left[\begin{array}{c}.\\ .\\ .\\ y_0\\ .\\ .\\ .\end{array}\right]=\left[\begin{array}{c}.\\ .\\ .\\ I_{-2}\\ x_{-1}\\ I_0\\ x_1\\ I_2\\ .\\ .\\ .\end{array}\right]*\left[\begin{array}{c}a\\ b\\ a\end{array}\right]=\left[\begin{array}{c}.\\ .\\ .\\ a{I}_{-4}+b{x}_{-3}+c{I}_{-2}+d{x}_{-1}+{\mathrm{eI}}_0\\ a{x}_{-3}+b{I}_{-2}+c{x}_{-1}+d{I}_0+e{x}_1\\ a{I}_{-2}+b{x}_{-1}+c{I}_0+d{x}_1+e{I}_2\\ a{x}_{-1}+b{I}_0+c{x}_1+d{I}_2+e{x}_3\\ a{I}_0+b{x}_1+c{I}_2+d{x}_3+e{I}_4\\ .\\ .\\ .\end{array}\right]$

如果我们尝试使用与之前相同的方法来对其求解，则所述问题需要求解一组联立等式，其中的未知数的数目多达所述图像的高度的一半。因此，这将不适用于切合实际的硬件设计。

相反，考虑所述滤波器的预测形式，来自更远的相邻像素的结果对于输出的影响很可能要小于y₀的紧邻像素：标准的低通滤波器具有这种形式的围绕中心抽头的较重权重。因此，当考虑像素y₀时，来自所述中心抽头和各紧邻像素的结果可以被视为从5抽头滤波器形成，而更远的结果则来自3抽头滤波器。因此有下面的等式：

$\left[\begin{array}{c}.\\ .\\ .\\ y_{-1}\\ y_0\\ y_1\\ .\\ .\\ .\end{array}\right]=\left[\begin{array}{c}.\\ .\\ .\\ F_{-1}\\ y_0\\ F_1\\ .\\ .\\ .\end{array}\right]=\left[\begin{array}{c}.\\ .\\ .\\ d{I}_{-2}+e{x}_{-1}+d{I}_0\\ a{I}_{-2}+b{x}_{-1}+c{I}_0+b{x}_1+a{I}_2\\ d{I}_0+e{x}_1+d{I}_2\\ .\\ .\\ .\end{array}\right]$

我们现在可以求解y₀，从而消除未知的x：

$x_{-1}=\frac{F_{-1}-d{I}_{-2}-d{I}_0}{e}$

$x_1=\frac{F_1-d{I}_0-d{I}_2}{e}$

$y_0=a{I}_{-2}+b{x}_{-1}+c{I}_0+b{x}_1+a{I}_2$

$=(a-\frac{\mathrm{bd}}{e})I_{-2}+\frac{b}{e}{F}_{-1}+(c-2\frac{\mathrm{bd}}{e})I_0+\frac{b}{e}{F}_1+(a-\frac{\mathrm{bd}}{e})I_2$

示例性的70％5抽头滤波器如下：

$\mathrm{vFilter}5\mathrm{Tap}70\mathrm{pcnt}=\frac{1}{32768}\left[\begin{array}{c}-4006\\ 8486\\ 23808\\ 8486\\ -4006\end{array}\right]=\left[\begin{array}{c}a\\ b\\ c\\ b\\ a\end{array}\right]$

上面定义的示例性3抽头滤波器如下：

$\mathrm{vFilter}3\mathrm{Tap}70\mathrm{pcnt}=\frac{1}{32768}\left[\begin{array}{c}5138\\ 22492\\ 5138\end{array}\right]=\left[\begin{array}{c}d\\ e\\ d\end{array}\right]$

因此，可以利用下面的矩阵计算输出像素y₀：

$y_0=\frac{1}{32768}\left[\begin{array}{c}{I}_{-2}\\ F_{-1}\\ I_0\\ F_1\\ I_2\end{array}\right]\·\left[\begin{array}{c}-5945\\ 12363\\ 19930+2\\ 12363\\ -5945\end{array}\right]$

其中，+2被用来确保有单位DC增益(由于舍入误差因而需要这样做)。

7抽头源滤波器方法

与所述5抽头方法类似，所述7抽头方法需要使用7抽头滤波器、5抽头滤波器以及3抽头滤波器。

令所述对称7抽头滤波器由4个系数a、b、c、d构成，并且可以通过[a，b，c，d，c，b，a]^T来描述完整滤波器。

类似地，令所述5抽头滤波器由3个系数e、f、g构成，并且可以通过[e，f，g，f，e]^T来描述完整滤波器。

最后，令所述3抽头滤波器由两个系数j、k构成，并且可以通过[j，k，j]T来描述完整滤波器。

现在我们考虑所述输出像素y₀及其相邻像素：

$\left[\begin{array}{c}\text{.}\\ \text{.}\\ .\\ y_0\\ .\\ .\\ .\end{array}\right]=\left[\begin{array}{c}.\\ .\\ .\\ {\mathrm{aI}}_{-6}+{\mathrm{bx}}_{-5}+{\mathrm{cI}}_{-4}+{\mathrm{dx}}_{-3}+{\mathrm{cI}}_{-2}+{\mathrm{bx}}_{-1}+{\mathrm{aI}}_0\\ {\mathrm{ax}}_{-5}+{\mathrm{bI}}_{-4}+{\mathrm{cx}}_{-3}+{\mathrm{dI}}_{-2}+{\mathrm{cx}}_{-1}+{\mathrm{bI}}_0+{\mathrm{ax}}_1\\ {\mathrm{aI}}_{-4}+{\mathrm{bx}}_{-3}+{\mathrm{cI}}_{-2}+{\mathrm{dx}}_{-1}+{\mathrm{cI}}_0+{\mathrm{bx}}_1+{\mathrm{aI}}_2\\ {\mathrm{ax}}_{-3}+{\mathrm{bI}}_{-2}+{\mathrm{cx}}_{-1}+{\mathrm{dI}}_0+{\mathrm{cx}}_1+{\mathrm{bI}}_2+{\mathrm{ax}}_3\\ {\mathrm{aI}}_{-2}+{\mathrm{bx}}_{-1}+{\mathrm{cI}}_0+{\mathrm{dx}}_1+{\mathrm{cI}}_2+{\mathrm{bx}}_3+{\mathrm{aI}}_4\\ {\mathrm{ax}}_{-1}+{\mathrm{bI}}_0+{\mathrm{cx}}_1+{\mathrm{dI}}_2+{\mathrm{cx}}_3+{\mathrm{bI}}_4+{\mathrm{ax}}_5\\ a{I}_0+{\mathrm{bx}}_1+{\mathrm{cI}}_2+{\mathrm{dx}}_3+{\mathrm{cI}}_4+{\mathrm{bx}}_5+{\mathrm{aI}}_6\\ .\\ .\\ .\end{array}\right]$

同样地，该等式求解起来不实际，因此我们应当利用7抽头、5抽头和3抽头滤波器的组合来求解该等式：

$\left[\begin{array}{c}.\\ .\\ .\\ y_{-3}\\ y_{-2}\\ y_{-1}\\ y_0\\ y_1\\ y_2\\ y_3\\ .\\ .\\ .\end{array}\right]=\left[\begin{array}{c}.\\ .\\ .\\ F_{-3}\\ y_{-2}\\ F_{-1}\\ y_0\\ F_1\\ y_2\\ F_3\\ .\\ .\\ .\end{array}\right]=\left[\begin{array}{c}0\\ {\mathrm{jI}}_{-4}+{\mathrm{kx}}_{-3}+{\mathrm{jI}}_{-2}\\ {\mathrm{eI}}_{-4}+{\mathrm{fx}}_{-3}+{\mathrm{gI}}_{-2}+{\mathrm{fx}}_{-1}+{\mathrm{eI}}_0\\ {\mathrm{aI}}_{-4}+{\mathrm{bx}}_{-3}+{\mathrm{cI}}_{-2}+{\mathrm{dx}}_{-1}+{\mathrm{cI}}_0+{\mathrm{bx}}_1+{\mathrm{aI}}_2\\ {\mathrm{ax}}_{-3}+{\mathrm{bI}}_{-2}+{\mathrm{cx}}_{-1}+{\mathrm{dI}}_0+{\mathrm{cx}}_1+{\mathrm{bI}}_2+{\mathrm{ax}}_3\\ {\mathrm{aI}}_{-2}+{\mathrm{bx}}_{-1}+{\mathrm{cI}}_0+{\mathrm{dx}}_1+{\mathrm{cI}}_2+{\mathrm{bx}}_3+{\mathrm{aI}}_4\\ {\mathrm{eI}}_0+{\mathrm{fx}}_1+{\mathrm{gI}}_2+{\mathrm{fx}}_3+{\mathrm{eI}}_4\\ {\mathrm{jI}}_2+{\mathrm{kx}}_3+{\mathrm{jI}}_4\\ 0\end{array}\right]$

该等式可以被如下求解：

$x_{-3}=\frac{F_{-3}-j(I_{-4}+I_{-2})}{k}$

$x_3=\frac{F_3-j(I_2+I_4)}{k}$

$F_{-1}+F_1=\left\{\begin{array}{c}b(x_{-3}+x_3)+(b+d)(x_{-1}+x_1)\\ +a(I_{-4}+I_4)+(a+c)(I_{-2}+I_2)+2c{I}_0\end{array}\right\}$

$=\left\{\begin{array}{c}\frac{b}{k}(F_{-3}+F_3-j(I_{-4}+I_{-2}+I_2+I_4))+(b+d)(x_{-1}+x_1)\\ +a(I_{-4}+I_4)+(a+c)(I_{-2}+I_2)+2c{I}_0\end{array}\right\}$

$\⇒(x_{-1}+x_1)=\frac{1}{b+d}\left\{\begin{array}{c}{F}_{-1}+F_1-\frac{b}{k}(F_{-3}+F_3-j(I_{-4}+I_{-2}+I_2+I_4))\\ -a(I_{-4}+I_4)-(c+a)(I_{-2}+I_2)-2c{I}_0\end{array}\right\}$

$y_0=a(x_{-3}+x_3)+b(I_{-2}+I_2)+c(x_{-1}+x_1)+{\mathrm{dI}}_0$

$=\left\{\begin{array}{c}\frac{a}{k}(F_{-3}+F_3-j(I_{-4}+I_{-2}+I_2+I_4))+b(I_{-2}+I_2)+{\mathrm{dI}}_0\\ \frac{c}{b+d}\left\{\begin{array}{c}{F}_{-1}+F_1-\frac{b}{k}(F_{-3}+F_3-j(I_{-4}+I_{-2}+I_2+I_4))\\ -a(I_{-4}+I_4)-(c+a)(I_{-2}+I_2)-2{\mathrm{cI}}_0\end{array}\right\}\end{array}\right\}$

$=\frac{1}{(b+d)k}\left[\begin{array}{c}{I}_{-4}\\ F_{-3}\\ F_{-2}\\ F_{-1}\\ I_0\\ F_1\\ I_2\\ F_3\\ I_4\end{array}\right]\·\left[\begin{array}{c}\mathrm{cbj}-\mathrm{ack}-\mathrm{aj}(b+d)\\ a(b+d)-\mathrm{cb}\\ (\mathrm{bk}-\mathrm{aj})(b+d)+\mathrm{cbj}-\mathrm{ack}-c^{2}k\\ \mathrm{ck}\\ d(b+d)k-2k{c}^2\\ \mathrm{ck}\\ (\mathrm{bk}-\mathrm{aj})(b+d)+\mathrm{cbj}-\mathrm{ack}-c^{2}k\\ a(b+d)-\mathrm{cb}\\ \mathrm{cbj}-\mathrm{ack}-\mathrm{aj}(b+d)\end{array}\right]$

示例性的70％7抽头滤波器如下：

$\mathrm{vFilter}7\mathrm{Tap}70\mathrm{pcnt}=\frac{1}{32768}\left[\begin{array}{c}-3766\\ -8514\\ 12315\\ 32698\\ 12315\\ -8514\\ -3766\end{array}\right]=\left[\begin{array}{c}a\\ b\\ c\\ d\\ c\\ b\\ a\end{array}\right]$

上面定义的示例性5抽头滤波器如下：

$\mathrm{vFilter}5\mathrm{Tap}70\mathrm{pcnt}=\frac{1}{32768}\left[\begin{array}{c}-4006\\ 8486\\ 23808\\ 8486\\ -4006\end{array}\right]=\left[\begin{array}{c}e\\ f\\ g\\ f\\ e\end{array}\right]$

上面定义的示例性3抽头滤波器如下：

$\mathrm{vFilter}3\mathrm{Tap}70\mathrm{pcnt}=\frac{1}{32768}\left[\begin{array}{c}5138\\ 22492\\ 5138\end{array}\right]=\left[\begin{array}{c}j\\ k\\ j\end{array}\right]$

因此，可以利用下面的矩阵计算所述输出像素y₀：

$y_0=\frac{1}{32768}\left[\begin{array}{c}{I}_{-4}\\ F_{-3}\\ I_{-2}\\ F_{-1}\\ I_0\\ F_1\\ I_2\\ F_3\\ I_4\end{array}\right]\·\left[\begin{array}{c}1787\\ 830\\ -12997\\ 16686\\ 20156\\ 16686\\ -12997\\ 830\\ 1787\end{array}\right]$

该等式被用在每一个空间内插的像素上。其响应是带阻滤波器，其阻带在0.66到0.8f_s/2之间；然而，解释该响应是非常复杂的，这是因为其仅被用于交替的输出像素。

图12a示意性地示出了所述运动自适应内插器110的操作。该内插器110包括场间块匹配器600、高频检查器610以及混合器620。

所述场间块匹配器600使用来自当前输入场和所述三个场存储装置120的数据来实施场间运动比较。这涉及到把当前场(图12b中的F_N)中的各像素块与其相同类型的在前场(F_N-2)中的相应定位的各块进行比较，同样还涉及到把前一场(F_N-1)与其相同类型的在前场(F_N-3)进行比较。这些比较的结果被用来检测图像中的运动程度。

特别地，如下生成绝对差值的加权和(SWAD)。

执行4个块匹配以产生两个加权SAD。它们是：

-场F_N和F_N-2上的5h×4v加权块匹配。

-场F_N-1和F_N-3上的5h×3v加权块匹配。

-场F_N-1和F_N-3上的1h×1v加权块匹配。

-场F_N和F_N-2上的1h×2v加权块匹配。

各加权块匹配对重合像素之间的加权绝对差值进行求和，即SWAD。

$\mathrm{SWAD}=\underset{\mathrm{dx}=-2}{\overset{2}{\mathrm{\Σ}}}\underset{\mathrm{dy}=-\mathrm{2,0,2}}{\mathrm{\Σ}}\underset{\mathrm{RGB}/\mathrm{YCbCr}}{\mathrm{\Σ}}w(\mathrm{dx},\mathrm{dy})|F_{N-1}(\mathrm{dx},\mathrm{dy})-F_{N-3}(\mathrm{dx},\mathrm{dy})|$

其中，F_N-1(dx，dy)是在与当前像素的帧相对位置dx、dy处的值。可以在附录中找到w的示例性值。

对前两个SWAD求和给出了基于区域的块匹配，即SWAD_AREA。

对后两个SWAD求和给出了局部化的块匹配，即SWAD_LOCAL。

所有三个颜色分量都按照相同的方式为所述SWAD做出贡献。所述系统仅仅需要为每个像素保持所述三个分量的SAD，随后对该SAD进行加权并且将其与来自所述块中的其他像素的值相组合。这意味着所述处理的这方面仅仅需要大约10bpp(比特每像素)的5个线存储装置。

所述高频检查器610被设置成检测输入场中的高频。所述算法是基于下面的原理。

如果对两个源场进行交织产生许多高频能量，则适当的做法是尝试确保所述输入是合理地静态的。只有静态视频才会产生可靠的高频；高度混叠的运动可能产生高频，但是这对于场间内插来说并不是所期望的情况。如果存在运动，则可能在所述场被不正确地交织的位置处产生高频。

参照图13，所述高频检查器使用来自当前场F_N的处于当前内插的像素的上方和下方的线以及来自前一场F_N-1的对应于所述缺失线的线。所述HFC可以被视为5×3像素邻域检查。

令HFC_thresh1和HFC_thresh2是两个可编程的常数，其中前者大于后者。

设置一个标志：exceededHighEnergy＝假

在每一个分量(或其子集)(RGB/YPbPr)上-其中YPbPr按照与标准清晰度系统中的YCbCr类似的方式表示高清晰度系统中的颜色空间：

设置energy(能量)＝0

对于具有水平位置x＝-2，-1，0，1，2(相对于当前像素)的像素，令经过交织的场值是v₀，并且其上方和下方的线的当前场值是v_-1和v₁，则有：

if v₀＜min(v₁，v_-1)，设置diff＝min(v₁，v_-1)-v0

else if v0＞max(v1，v-1)，设置diff＝v0-max(v1，v-1)

else设置diff＝0

If(diff＞HFC_thresh1)，设置energy＝energy+(HFC_thresh1-HFC_thresh2)*weighting[x]

else if(diff＞HFC_thresh2)，设置energy＝energy+(diff-HFC_thresh2)*weighting[x]

If energy＞HFC_allowance，设置标志exceededHighEnergy＝真

这样就结束了在每个分量上实施的处理。

随后，如果exceededHighEnergy＝真，则把SWAD_AREA增大一个可编程的常数值HFC_penalty。

SWAD_AREA的所述增大将往往会违反在该输出位置处使用运动自适应像素。

所述混合器620根据SWAD_AREA和SWAD_LOCAL以及各种阈值thresh₁等标准来操作。

If SWAD_LOCAL＞thresh₁，仅仅使用空间内插的场F_N’

Else if SWAD_AREA＞thresh₂，仅仅使用空间内插的场F_N’

Else if SWAD_AREA＜thresh₂，仅仅使用场F_N-1

Else混合场F_N-1与F_N’：

令a＝(thresh₂-SWAD_AREA)/(thresh₂-thresh₃)

所得到的像素值＝a F_N-1+(1-a)F_N’

图14a和14b示意性地示出了降低了对于图像缩放的需求的变型。特别地，图14a示意性地示出了上面描述的实施例的操作，其中每一个像素行(在该图中被表示为□○□○...)包含真实像素以及来自缩放器130的经过1∶2内插的像素。示出了两个块700、710之间的示例性块匹配以及两个块720、730之间的另一个块匹配。

在图14a中的两个块匹配之间的共同之处在于，所述各块的最边缘的像素是经过1∶2内插的像素○。因此，该方法依赖于已经被1∶2缩放器缩放过的整个图像。

在图14b中对于所述块的尺寸做了非常小的改变，从而所述最边缘的像素是真实像素而不是经过内插的像素。在图14b的上部中，测试与图14a的上部中相同的图像特征角度，但是使得块740、750略微更宽，从而使其边缘像素是真实像素□。类似的考虑适用于图14b的下部，其中示出了块760、770之间的匹配，所述匹配测试与图14a的下部中示出的匹配相同的图像特征角度。

于是情况就是对于例如在图14a和14b中示出的那些大块来说，实际上不需要在各对经过内插的像素之间进行比较。可以从真实(非内插)像素的基本比较中获得相同的信息。然而，回想起之所以引入像素内插的最初原因是允许检测陡峭(接近垂直)的图像特征角度。因此，在一种设置中，本实施例保留对于较小块偏移量的1∶2内插操作，以便允许更好地检测这种陡峭角度。例如，±1和0的块偏移量范围可以使用经过1∶2内插的像素，而大于这一范围的块偏移量则不需要使用所述经过1∶2内插的像素。

在另一种变型中，仅仅对于其最大正偏移量和最大负偏移量在匹配操作中使用每个块尺寸。这样可以大大减少所需要的块匹配操作的数目，同时实际上不损失任何信息，这是因为先前的方案例如对于每个块尺寸在0位移处(垂直图像特征)重复了所述块匹配测试。

当结合在一起时，上述措施可以允许“按照需要”例如在所述块匹配器内实施所述1∶2内插，而不是由所述缩放器130对于整个内插像素场来实施。这样降低了对于用来保存内插像素场的场存储装置的需求。相反，仅仅需要由所述块匹配器缓冲几条线上的几个内插像素。

图15、16a、16b、17a和17b示意性地示出了主要和替换像素测试策略。

针对上面描述的设置的另一个替换方案是对于适用于块匹配的所述规则的另一种改变，以便降低该操作的硬件要求。

对于上面描述的水平能量的原始等式如下：

其中x指代所述块的中心行。其可以被以下等式替代：

所述经过修正的测试是关于内插的行对称的。图15示意性地示出了块匹配。图16a和16b示意性地示出了将关于该块匹配执行的针对水平和垂直能量的原始测试。图17a和17b示意性地示出了所述经过修正的测试，其中示出了相同的两行被用于全部两个测试。

这意味着相同的逻辑可以实施全部两个测试，从而导致减少了实现该规则所需的硬件。

图18示意性地示出了差值的生成。利用图18的设置，可以作为滚动平均值来计算SAD值，其中在插入一个新值时丢弃一个旧值。这同样可以减少实现该特征所需要的处理和硬件。

现在将参照图19描述隔行到逐行变换器的替换实施例。图19中示出的该隔行到逐行变换器主要包括空间内插器1000、运动自适应内插器110和一组三个场存储装置120。

所述运动自适应内插器110和所述三个场存储装置120与参照图3所描述的基本上相同。然而，所述空间内插器1000是针对参照图3描述的空间内插器100的替换实施例。下面将描述空间内插器1000。

所述空间内插器1000包括延迟模块1110、控制模块1120、混叠避免模块1130、空间块匹配器1140、最佳块匹配器1150、局部邻域检查器1160、Kell因数校正器1170以及多路分解器1180。其中的某一些按照与已经描述过的相应特征类似的方式进行操作。其中存在一些差异，下面将更加详细地描述这些差异中的每一差异的操作和效果。

所述延迟模块1110可操作地接收视频输入数据，并且优选地包括三个线延迟和像素延迟以便把数据提供给混叠避免模块1130、空间块匹配器1140、Kell因数校正器1170以及多路分解器1180。可替换地，可以在其他模块中单独实现所述像素延迟。延迟模块1110还能够把数据输出到运动自适应内插器110。在本例中，可以在到所述运动自适应内插器的数据输出中包括额外的像素延迟，从而使得所述数据与所述空间内插器的经过内插的输出对准。本领域技术人员将认识到，延迟模块1110可以包括任意数目的线延迟和/或像素延迟。

所述控制模块1120生成用于所述混叠避免模块1130、空间块匹配器1140、最佳块匹配器1150、局部邻域检查器1160、Kell因数校正器1170和多路分解器1180的控制信号。例如，所述控制模块1120能够把控制信号输出到局部邻域检查器1160和多路分解器1180，以便执行边缘处理。边缘处理可以被用来解决以下问题：在输入场的边缘处，没有足够的线或像素来允许使用完全空间内插方法。相反，例如可以根据在一条垂直边缘处的线重复功能以及在另一条边缘处的垂直相邻的像素之间的简单垂直平均值来对输入场的各边缘处的像素进行内插。应当认识到，可以使用对输入场的各边缘处的像素进行内插的任何其他方法。

所述“线重复”功能和垂直内插被使用在所述图像的各边缘处。这是因为除非存在源线上方和下方的两个源行，否则不可能执行块匹配。

在图像的顶部，当在当前线的上方仅有一条线时，利用当前线及其上方的该一条线来实施垂直内插。如果在当前线上方不再有线，则重复当前线。

在图像的底部使用相同的方法，其中比当前线的下方的两条线少。

所述算法还包括可选的特征，其中可以用块匹配来替换垂直内插(当在当前线上方或下方仅有一条线时)。这是通过用零值来替换来自所述“缺失”线的块匹配贡献而实现的。

该可选特征不改变在当前线上方(或下方)没有线的情况。

所述控制模块1120还能够生成表明边界的处理中断标志，所述空间隔行到逐行处理不能跨越该边界。例如，所述处理中断可以发生在每条输入像素线的开头和末尾处，并且所述控制模块1120可以使用该数据来向所述混叠避免模块1130表明所述处理中断在何处发生，从而可以在不生成处理误差或人为图像伪像的情况下实施抗混叠处理(如上面参照图7a、7b和8a到8d所描述的那样，以及/或者如将在下面更加详细地描述的那样)。

所述处理中断信号被用来禁止涉及到跨越所述处理中断像素的块匹配的任何对角线检测。在所描述的实施例中，其仅仅处在线边缘处。在另一个应用中，这(例如)可以是水平消除效应，其中所述处理中断的两侧来自不同的源图像。

例如，左侧＝源#1，右侧＝源#2

所述混叠避免模块1130可操作地实施如上面参照图7a、7b和8a到8d所描述的抗混叠措施，以避免由混叠情况所导致的问题。该混叠避免模块1130生成并且输出允许标志，所述标志表明是否可以使用特定对角线。所述允许标志被传递到所述空间块匹配器1140。该混叠避免模块1130还可操作地实施进一步的处理以减轻混叠情况的效应，正如下面将更加详细地描述的那样。

所述空间块匹配器1140可操作地实施如上面所描述的块匹配，并且其操作类似于参照图3描述的空间块匹配器140的操作。所述空间块匹配器包括用于实施所述块匹配的块匹配单元。用于所述单元的输入数据由所述延迟模块1110提供，并且通过从所述混叠避免模块接收的所述允许标志而允许进行测试。所述块匹配单元生成如上所述的归一化绝对差值和(NSAD)，并且对于每个匹配的块生成空间内插的像素(SIP)。这些值被传递到所述最佳块匹配器1150。所述空间块匹配器1140还可操作地生成垂直内插的像素值，以便在没有识别出有效对角线时使用，或者在所识别出的对角线都不适于作为对待测像素进行内插的基础时使用。所述垂直内插的像素值被传递到所述局部邻域检查器1160。

所述最佳块匹配器1150可操作地处理由所述空间块匹配器1140输出的NSAD和SIP值，以便确定由该空间块匹配器1140识别出的哪些块应该能够被用作内插的基础。例如，所述最佳块可以被识别为具有最低NSAD值的块。然而，本领域技术人员将认识到，选择最佳块的其他方法也是可能的。所述最佳块匹配器1150把所识别出的最佳块NSAD值和SIP传递到所述局部邻域检查器1160。该最佳块匹配器1150还把与所识别出的该最佳块相关联的内插方向传递到该局部邻域检查器1160。

所述局部邻域检查器1160对所述最佳块匹配器1150的输出执行一致性检查，以便检查由该最佳块匹配器1150所选择的块是否与其相邻块一致。如果该最佳块匹配器1150的输出不一致，则通过该局部邻域检查器来修改该输出。

所述局部邻域检查被给出最佳方向SIP和垂直内插像素(VIP)。取决于测试结果，其输出SIP、VIP或者二者的混合。当然应当认识到，可以通过所述实施例内的其他单元来提供该功能。

描述关于待测像素的内插方向的梯度的一种方式是按照关于该待测像素的上方紧邻像素线的像素的水平偏移量来描述所述梯度。可替换地，可以使用所述待测像素的下方紧邻的像素线，或者在全部两种情况下，可以把水平像素线垂直移位某一其他值。例如，所述待测像素可以被定义为处在(x，y)曲线图的原点处。于是可以通过穿过该原点并且穿过点(x，1)的线的梯度来定义所述梯度。然而，应当认识到，各轴可以被反转，并且/或者正偏移量可以被定义成处在所述待测像素的左侧或者反之亦然，并且可以使用任何适当坐标系来描述所述内插方向的梯度。

例如，在上面描述的情况下，如果所述像素周围的各像素的内插方向或梯度被确定为处在x＝+4到x＝+6的水平偏移量范围内，则作为内插的基础的x＝-10的所选梯度不大可能是正确的。任何不一致的方向都被去除并且被替换。特别地，任何不一致的方向都被检测到，其NSAD值被修改，并且所述垂直内插的像素被输出。所述NSAD值被使用在所述KFC模块中(见下面)。经过修改的NSAD值被设置成使得所述KFC将被用于该像素。

所述局部邻域检查器把经过修改的NSAD值以及内插的像素(IP)值传递到所述Kell因数校正器1170。

所述Kell因数校正器1170接收由所述局部邻域检查器1160输出的NSAD值和IP值，并且其可操作地执行如上面参照图9、10和11所描述的Kell因数校正。所述Kell因数校正器1170还可操作地执行如在下面更加详细地描述的附加滤波。由该Kell因数校正器生成的内插的数据被传递到所述多路分解器1180。

所述多路分解器1180可操作地把来自所述Kell因数校正器的内插的数据路由到所述运动自适应内插器110的正确的输入端。为了确保正确的数据处理，所述多路分解器还可操作地生成可能在由所述空间内插器1000进行的隔行到逐行处理期间丢失的任何数据报头或控制信号。

下面将参照图20a和20b描述一种替换的混叠避免方法。这里，使用与先前所采用的类似的符号，其不同之处在于没有示出内插像素(圆圈)线；仅仅示出了待测内插像素。

图20a示出了上面参照图7a、7b和8a到8d所描述的单调性测试的应用。为了在这里概括该方法，所述单调性测试被应用于两个块1200和1210，这由图20a中的更重的实线表示，所述更重实线跨越待测的块匹配的区域。如果全部两块都通过了所述单调性测试，则接受由所述块匹配所表示的方向，并且对待测像素1230进行相应地内插。

在如图20b中所示的替换实施例中，其尺寸与被用在所述两块单调性测试中的两个块(1200，1210)当中的每一个类似的单一块1240被用来执行所述单调性测试。优选地，如图20b中所示，该单一块1240居中在待测像素位置1250上，但是该单一测试块1240关于该待测像素1250的其他配置也是可能的。该方法的优点在于，其提高了检测出低梯度细线的可能性，这是因为仅仅测试靠近所述内插位置的区域，而位置更远的区域则可以被忽略。

在图21a和21b中示出了该方法的一个例子。图21a示出了被应用于包括细线的图像区域的所述两块方法。通过黑实线1250表示待测方向，并且通过带有问号的圆圈来表示待测像素位置1230。在该例中，由于所述两个单独块不是单调的，因此先前描述的单调性测试将拒绝该方向。然而，如图21b中所示，所述测试块区域1240是单调的，并且所述待测方向1250被接受作为对待测像素1250进行内插的基础的正确方向。本领域技术人员将认识到，任何尺寸的块都可以被用于所述单调性测试，并且所述测试的结果及其在减轻低梯度细线附近的混叠效应方面的成功将取决于所使用的块尺寸。

下面将参照图22a和22b描述对于所述单调性测试的进一步修改。

如上所述，有利的是使用单一测试块来执行所述单调性测试。然而，可以对该方法进行进一步的细化，以便减轻混叠效应。一旦接受了待测方向1310之后，就可以测试同样居中在相同待测像素1330上的更小的各块的单调性。

在图22a和22b中示出了这样的例子。关于图22b中示出的各块检测到有效对角线。应用进一步的测试，其中一些或全部更小块组(比如在图22a中示出的该组)必须也通过单调性测试，以便接受该对角线。

更具体来说，如图22a所示出的那样，有效对角线1320应当出现在居中在所述待测像素1330上的所有更小待测块中。如果任何一个所述更小块没有通过所述单调性测试，则由图22b的原始大测试块所表示的方向1310不被接受作为对待测像素1330进行的内插的基础的对角线。例如，所述测试可以被应用于其尺寸从所述原始测试块的尺寸开始不断减小的各块。可替换地，所述单调性测试可以被应用于居中在所述待测像素1330上的最小可能测试块(3h×3v)，并且随后增大其尺寸直到所述原始测试块的尺寸。

如上所述，所述单调性可以由下式给出：

其中，

并且其中：

x是源像素值；x91，0)是所述单调性块的左上像素；

y是行坐标；y＝0表示顶行，y＝-1表示所述块匹配块的底行；

块宽度是以像素计的块宽度；以及

C是虑及所述数据中的噪声的常数。

上面的等式描述了如何沿着所述测试块中的每条像素线对各逐像素差值进行求和(所述求和中的第一项)。随后减去由diffextreme给出的所述边缘像素之间的差值。在本例中，把C的负值加到所述最终结果中以虑及噪声。

一般来说，所述负值C变得越大，噪声影响所述计算的可能性就越低。

然而，如果所使用的C的负值过大，则存在会增大选择不想要的对角线的可能性的风险。为了通过使用适当的C值而更加高效地考虑噪声同时仍然具有选择正确对角线的高概率，可以如下面所描述的那样对各单独像素差应用阈值。

通过适当地缩放所述diffextreme值，可以减小所述C值，从而降低了选择不想要的对角线的风险。如下面所描述的那样，可以对每个像素应用噪声阈值，这是通过从每个逐像素差值中减去阈值并且随后把负的逐像素差值结果限幅到0而实现的。

所述单调性的噪声容限可以基于待测特征而不是基于全局常数。例如，可以如下面所示出的那样减去diffextreme的经缩放的量。

$-\frac{\mathrm{diffFactor}\·{\mathrm{diff}}_{\mathrm{extreme}}}{16}+C$

在该例中，调节定义了所述逐像素阈值，而diffFactor则是对于diff_extreme的缩放因数。在一个实施例中，所述逐像素阈值可以取决于如下面所示出的平均像素值。

调节＝常数*(pix(x，y)+pix(x-1，y)/1024

下表示出了对于所述逐像素阈值取决于所述平均像素值的情况的示例值。在标题为“最佳值”的该列中示出了(主观评估的)最佳组合。

参数	测试值	最佳值
			C	-64，-128，-256，-512，-1024	-256
diffFactor	16	16
			调节常数	16，32，64，128，256	64

通过应用上面的逐像素阈值可以改进接近水平的线的外观，但是可能在其他图像区域周围引入伪像。

在改变所述噪声容限的替换实施例中，所述逐像素阈值对于每个块和像素可以是固定的，其中：

调节＝常数

下表示出了对于其中所述逐像素阈值对于每个块和像素是固定的情况的示例值。在标题为“最佳值”的该列中示出了(主观评估的)最佳组合。

参数	测试值	最佳值
			C	-256，-512，-1024	-512
diffFactor	16，32，48	32
			调节常数	8，16，32	16

所述固定的逐像素阈值可以改进低角度平行线的外观，以及改进其中有许多可能对角线的图像区域的外观。虽然上面已经描述了所述单调性测试的特定实施例，但是本领域技术人员将认识到，可以组合这些测试当中的任一项或全部。

下面将更加详细地描述所述Kell因数校正器1170的操作。

如上所述，所述Kell因数校正器1170可操作地根据所述NSAD值选择性地对所述内插的像素应用Kell因数校正(KFC)滤波。这样减轻了所选方向在其中表现得非常清楚的对角线的恶化。可替换地，可以总是在垂直方向上对所述内插的像素应用Kell因数滤波。然而，如上所述，这样可能会使得低梯度线恶化。为了解决这一问题，优选地只有在所述NSAD值较高的情况下才应用KFC垂直滤波。

在选择性地应用Kell因数校正时所可能出现的另一个问题是：图像的某些区域可能总是受益于Kell因数滤波，但是由于其NSAD值，这些区域可能不会被所述Kell因数校正器校正。为了解决这一问题，所述Kell因数校正器1170可操作地在对于特定像素的方向处在特定阈值内时总是应用KFC垂直滤波。例如，如果所述方向是-1、0或1，则可以总是应用所述KFC垂直滤波器。在本例中，为了降低存储要求，可以存储表明所述方向是-1、0或1的标志，而不是存储实际的内插方向。对于其他方向，优选地根据所述NSAD值选择性地应用所述KFC垂直滤波器。

所述Kell因数校正器1170还可操作地应用水平滤波(水平KFC滤波)，以便如图23所示在水平方向上平滑内插的像素。这里，圆圈表示内插的像素，正方形表示真实像素。用问号“？”来表示将被内插并且将对其应用滤波的像素1500。在水平方向上应用滤波。在图23的例子中，在用黑边界1510示意性地示出的滤波器范围内使用5抽头水平滤波器，所述黑边界对称地布置在所述内插的像素1500周围。

如上所述，用作所述水平KFC滤波器的适当滤波器可以是上面对于所述KFC垂直滤波器所描述的5抽头对称滤波器。适当的滤波器值与用于上面描述的垂直滤波器的滤波器值相同。然而，本领域技术人员将认识到，可以使用适于执行水平滤波的任何滤波器。

虽然所述KFC水平滤波器可以被应用于每一个内插的像素，但是优选的是选择性地应用所述KFC滤波器，以免使得高角度(接近垂直线)恶化。这可以通过在当前像素内插方向处在其中不适于应用KFC水平滤波的方向上时不应用所述滤波器而实现。例如，所述设置可以是在当前方向、左方向或右方向是0或±1时不应用所述KFC水平滤波器。在本例中，为了降低存储要求，可以存储表明所述方向是-1、0或1的标志，而不是存储实际的内插方向。此外，如果所述像素的NSAD值大于特定阈值，则可以不应用所述KFC水平滤波器。可替换地，所述Kell因数校正器1170可操作地不对任何内插的像素应用所述KFC水平滤波器。应当认识到，可以对于内插的像素应用所述各种Kell因数滤波方法当中的任意组合或全部。此外，应当认识到，可以在关于所述内插的像素的任意方向上应用上面描述的Kell因数滤波方法。

虽然关于隔行到逐行扫描变换描述了各实施例，但是相同的技术也适用于改变图像(比如逐行扫描图像)的尺寸(例如高度)。例如，所述技术可以执行1∶3或1∶4缩放。

应当认识到，可以用在适当软件的控制下操作的可编程或半可编程硬件来实现本发明。这可以是通用计算机或者诸如ASIC(专用集成电路)或FPGA(现场可编程门阵列)之类的设置。所述软件可以在诸如盘或固态存储器之类的存储介质上提供，或者可以通过诸如网络或互联网连接之类的传输介质提供，或者可以通过二者的组合来提供。

附录

某些示例性参数：

参数“w”的示例值如下：

5h×4v块：12/1024 23/1024 28/1024  23/1024 12/1024

          32/1024 62/1024 77/1024  62/1024 32/1024

          32/1024 62/1024 77/1024  62/1024 32/1024

          12/1024 23/1024 28/1024  23/1024 12/1024

5h×3v块：20/1024 39/1024 48/1024  39/1024 20/1024

          48/1024 94/1024 117/1024 94/1024 48/1024

          20/1024 39/1024 48/1024  39/1024 20/1024

1h×2v块：128/256

          128/256

1h×1v块：255/256

Claims (26)

1. 图像处理设备，其中关于根据输入图像中的图像特征方向所选择的所述输入图像的像素而生成输出像素值，该设备包括：

用于对所述输入图像的各像素块进行比较的装置，所述各块关于待测像素位置被布置成使得所述各块之间的相关性将表明适用于该像素位置的图像特征方向；以及

用于把适用于所述待测像素位置的图像特征方向检测为对应于块比较的方向的装置，所述块比较用于具有满足一个或多个预定标准的块内容的各块当中的具有最高相关性的各块。

2. 根据权利要求1所述的设备，其中，标准是单调性标准，从而使得对于每一个待测像素位置，包括该像素位置的至少一个测试块在沿着水平方向的像素属性中展现出至少总体上单调的变化。

3. 根据权利要求2所述的设备，其中，所述测试块或者每一个测试块至少部分地与所述块比较块重叠。

4. 根据权利要求2所述或权利要求3所述的设备，其中，所述测试块或者每一个测试块包括每一个块比较块中的垂直中心水平像素行。

5. 根据权利要求2到4中的任一权利要求所述的设备，其包括用于检测单调性程度的装置，关于所述垂直跳变标准的阈值取决于所检测到的单调性程度。

6. 根据权利要求5所述的设备，其中，所述垂直跳变标准涉及所述块比较块的预定行中的各垂直相邻像素对。

7. 根据权利要求6所述的设备，其中，所述垂直跳变标准涉及所述块比较块的两个垂直相邻行中的各像素对。

8. 根据权利要求7所述的设备，其中，对于特定的一对块比较块，关于所述垂直跳变标准测试的其中一个所述像素行也关于所述单调性标准被测试。

9. 根据权利要求2到8中的任一权利要求所述的设备，其中，所述测试块或者作为一组的各测试块围绕所述待测像素位置被水平居中。

10. 根据权利要求2到9中的任一权利要求所述的设备，其中：

所述检测装置可操作地利用其尺寸取决于由所述比较装置检测到的图像特征方向的一个或多个测试块以及一个或多个更小测试块来应用所述单调性标准；以及

如果所述(各)测试块以及所述(各)更小测试块当中的每一个在沿着水平方向的像素属性中展现出至少总体上单调的变化，则满足所述单调性标准。

11. 根据权利要求2到10中的任一权利要求所述的设备，其中，所述输入图像包括水平像素线，并且所述检测装置可操作地根据以下因素导出单调性度量：

对于所述比较或测试块中的每一块，沿着该块的水平像素线的逐像素差值的和；

在每一条水平像素线的边缘处的各像素值之间的差值；以及

虑及所述输入图像中的噪声的噪声容限值。

12. 根据权利要求11所述的设备，其中，所述检测装置可操作地根据所述正确图像特征方向的所期望的检测率来缩放每一条像素线的边缘处的各像素值之间的差值，以及根据逐像素阈值计算沿着所述块的水平像素线的逐像素差值的和。

13. 根据权利要求12所述的设备，其中，根据所述块中的水平像素线的平均像素值来计算所述逐像素阈值。

14. 根据权利要求12所述的设备，其中，所述逐像素阈值对于每个测试块是常数。

15. 根据先前任一权利要求所述的设备，其中，标准是垂直跳变标准，从而使得所述比较中的每一块在所述各块比较块中的各对垂直相邻像素之间展现出至少阈值变化总量。

16. 根据先前任一权利要求所述的设备，其包括用于关于根据所述输入图像中的所检测到的图像特征方向所选择的所述输入图像的像素对输出像素进行内插的装置。

17. 根据先前任一权利要求所述的设备，其中，所述比较装置可操作地关于包含所述输入图像的像素以及从所述输入图像的像素导出的经过上采样的像素的各块实施至少某些块比较。

18. 根据权利要求17所述的设备，其中，导出所述经过上采样的像素以便与所述输入图像的像素水平交织。

19. 根据先前任一权利要求所述的设备，其中：

所述输入图像是隔行图像；以及

所述输出图像是逐行扫描图像。

20. 视频混合设备，其包括根据先前任一权利要求所述的图像处理设备。

21. 视频显示设备，其包括根据权利要求1到19中的任一权利要求所述的图像处理设备。

22. 一种图像处理方法，其中关于根据输入图像中的图像特征方向所选择的所述输入图像的像素而生成输出像素值，该方法包括以下步骤：

对所述输入图像的各像素块进行比较，所述各块关于待测像素位置被布置成使得所述各块之间的相关性将表明适用于该像素位置的图像特征方向；以及

把适用于所述待测像素位置的图像特征方向检测为对应于块比较的方向，所述块比较用于具有满足一个或多个预定标准的块内容的各块当中的具有最高相关性的各块。

23. 具有程序代码的计算机软件，当由计算机执行所述程序代码时，其被设置成使得该计算机实施根据权利要求22所述的方法。

24. 一种介质，其中通过该介质来提供根据权利要求23所述的软件。

25. 根据权利要求24所述的介质，该介质是存储介质。

26. 根据权利要求24所述的介质，该介质是传输介质。

Images