CN1311957A - 用于从视频信息流中的原始像素产生填充像素的电路和方法 - Google Patents

Abstract

一种图像处理电路,包括一个处理器,它接收原始第一视频图像的原始像素值以及原始第二视频图像的原始像素值。该处理器从第一原始视频图像的原始像素值产生第一像素值分量,并且从原始第二视频图像(68)中的原始像素值产生第二像素值分量。该处理器从第一和第二像素值分量产生填充像素值,并且组合该填充像素和原始的第一视频图像,以产生组合视频图像(72)。可以使用这样一个图像处理电路以从一个原始视频场中产生一个填充的视频场,并且合并该填充和原始场,以产生一个组合视频帧(74)。这样一个图像处理电路通常使用较少的内存,并且比前先的图像处理电路更精确地检测场间运动。按照本发明的另一个方面,更精确地辨别浅线与边缘处,因此,与现有的图像处理电路比,它生产的视觉的人为干扰更少。

Description

用于从视频信息流中的原始像素产生填充像素的电路和方法

发明领域

本发明一般涉及电子电路，更具体地涉及用于从视频信息流中的原始像素的值估算填充像素的值的电路和方法。例如，人们可以使用该电路或方法来对隔行扫描的视频信息流进行去隔行扫描。就是说，从原始视频场中的原始像素，可以产生出填充像素的值，由这些填充像素形成互补的填充的视频场，并且组合该原始的和互补的场，以产生相应的视频帧。

发明的背景

图1图示了一个隔行扫描的视频帧10，它包括一个偶数视频场12和一个奇数视频场14。偶数场12包括帧10的偶数行a2、a4、……a(n-1)，而奇数场14包括帧10的奇数行b1、b3、b5、……bn。一个视频信号源(图中未示)，比如摄像机，在时间t₀处产生偶数场12，而在后面的时间t₁处产生奇数场14，并且视频显示器(图1中未示)以相同的顺序显示场12和14。例如，根据已经存在50年以上的(美国)国家电视制式委员会(NTSC)电视标准，每隔1/60秒，视频信号源产生并且视频显示器显示一个场12或14，因此每隔1/30秒分别产生和显示一帧10。即使该显示器在不同的时间显示场12和14，但是，该显示器和人眼的较慢的频率响应使观众感觉到该显示器是同时显示场12和14的。因此，该观众感觉该帧14象单个图像，而不是两个连续的分开的图像。

然而，许多现代的视频设备产生非隔行扫描的的数据流即逐行的视频帧。例如，新的诸如MPEG(运动图像专家组)之类高清晰度电视(HDTV)标准的大多数设备需要每隔1/60秒产生和显示一整帧14。因为此种MPEG视频信号源和显示器分别同时产生和显示逐行帧的所有行，而不是在两个连续的时间内，如果有运动的话，那么逐行帧包含少许模糊。

因为许多现有的视频信号源产生隔行扫描视频信号，并且因为许多现有的视频作品是以隔行扫描格式录制的，所以人们希望将一个隔行扫描的视频帧的数据流转换成一个逐行扫描的视频帧的数据流，就是说与HDTV标准兼容。例如，人们希望能将来自VCR(图中未示)的VHS信号转换成逐步扫描的视频信号，以在HDTV显示器(图1中未示)上显示。

还参考图1，用于将隔行扫描的帧10进行去隔行扫描的简单技术是将场12和14合并成一个逐行帧，就是说在一行中以帧显示速率显示两次。例如，在上述的MPEG标准中，显示器显示该组合的逐行帧，然后在1/60秒之后再次显示它。但是，因为场12和14是在不同的时间t₀和t₁处产生的，具体地，如果在时间t₀和t₁之间存在图像内容的变化，即运动，那么该组合的逐行帧将包含模糊区域。因此，很遗憾，该技术经常导致HDTV标准的视频信息流具有较差的视觉质量。

对视频帧10进行去隔行扫描的其它技术是对于原始场12和14产生各自的互补填充场。就是说，对于偶数场12，用奇数填充行＂填充＂缺少的奇数行，而对于奇数场14，用偶数填充行填充缺少的偶数行。

该填充技术的一种方法是根据同一场之内的相邻原始像素的值空间内插填充行的填充像素。当原始场之间存在显著的运动时，该方法通常是很精确的。不幸地，许多空间内插方法有一个趋势，即它将错误地将一个浅线内插成方向性边缘，因此将人为干扰引入到组合的逐行帧。

一个可选择的方法是根据相邻的互补的原始场中的相应原始像素的值时域地内插填充像素的值。当原始场之间几乎没有存在运动时，该方法通常是很精确的。

因为许多隔行扫描的视频数据流的某些部分具有显著的场间运动，而其它部分几乎没有场间运动；另一个方法是常说的混合方法，它将空间的和时域的内插方法组合起来。例如，一种混合方法根据场间运动的幅度来改变时域和空间内插方法的权重。场间运动的幅度越大，就越加重空间内插方法；相反地，场间运动的幅度越低，就越加重时域内插方法。

不幸地，许多混合技术时常不能检测到显著的场间运动，因此分配给空间的和时域的方法的权重是不合适的。尽管一些技术可以进行修改来克服该缺点，但这些修改通常需要不切实际的存储器的量。传统的图像压缩技术的综述

为了帮助读者更容易地理解在下面对本发明的描述中所讨论的概念，下面是传统的图像压缩技术的有关方面的基本综述。

为了在较低带宽频道之上电子地传输一个相对的高分辨率图像，或在相对小的存储器空间中电子地存储这样一个图像，常常需要压缩代表该图像的数字数据。此种图像压缩通常包括减少表示一个图像所需要的数据位数目。例如，压缩高清晰度电视(HDTV)视频图像，以允许它们在现有的电视频道之上传输。不压缩的话，HDTV电视图像所需要的传输频道带宽比现有的电视频道带宽大许多。或者，为了将数据传输量和传输时间减少到可接受的程度，可以在将它通过互联网发送之前压缩图像。另外，为了增加CD-ROM或服务器的图像存储容量，可以在存储图像之前对它进行压缩。

参考图2A-3D，其中讨论了流行的基本的基于块的MPEG压缩标准，它包括MPEG-1和MPEG-2。图2A-2D图示了按照MPEG 4:2:0格式对Y-C_B-C_R图像(比如视频帧或场)进行的压缩，图3A-3D图示了按照MPEG 4:2:2格式对Y-C_B-C_R图像进行的压缩。但是，所讨论的概念也适用于其它的MPEG格式，也适用于以其他颜色空间表示的图像，并且也适用于其它的基于块的压缩标准，比如联合图片专家组(JPEG)标准，该标准经常用于压缩静止的图像。尽管为了简短而省略了MPEG标准和Y,C_B,C_R彩色空间表示法的许多细节，这些细节是熟知的并公开在大量的可获得的参考刊物上，包括Peter D.Symes的文章：“视频压缩”，McGrawHill,1998，在此引用用于参考。而且，其它熟知的基于块的压缩技术可用于编码和解码视频和静止图像。

参考图2A-2D，为了这次讨论的目标，MPEG标准经常用于压缩图像视频帧的时域序列，比如在电视广播中所见到的。每一个视频帧被分成叫做宏块的子区，每一个宏块包括一个或多个像素。图2A是一个16像素乘16像素的宏块20，它具有256个像素22(未按比例绘图)。在MPEG标准中，一个宏块总是16×16像素，尽管其它压缩标准可以使用其它尺寸规格的宏块。在原始的视频帧中，即在压缩之前的帧中，每个像素22具有各自的亮度值Y和各自的一对色(度)差值C_B和C_R。

在视频帧的压缩之前，将用于压缩的数字亮度(Y)和色差(C_B和C_R)值，即原始的或压缩前的值，是从原始帧的原始的Y,C_B和C_R值中产生的。在MPEG 4:2:0格式中，压缩前的Y值与原始的Y值相同。因此，每个像素22仅仅保持其原始的亮度值Y。但是，为了减少要压缩的数据量，MPEG 4:2:0格式只允许每个四像素22组具有一个压缩前C_B值和一个压缩前C_R值。每个压缩前C_B和C_R值被分别从相应组24中的四像素22的原始的C_B和C_R值中产生。例如，一个压缩前C_B值可以等于相应的组24中的四像素22的原始C_B值的平均值。因此，参考图2B-2D，为宏块20而产生的压缩前Y,C_B和C_R值被排列成压缩前Y值(等于每个相应像素22的原始Y值)的16×16矩阵26，压缩前C_B值(等于每个四像素22的组24的C_B值导出的值)的一个8×8矩阵，以及压缩前C_R值(等于每个四像素22的组24的C_R值导出的值)的8×8矩阵30。这些矩阵26、28、和30经常被叫做数值“块”。而且，因为它方便于在像素值的8×8块上执行压缩变换，而不是在16×16块上，所以压缩前Y值的块26被细分为四个8×8块32a-32d，它们分别对应于该宏块20中的像素22的8×8块A-D。参考图2A-2D，因此，对于每个宏块20产生了压缩前像素数据的六个8×8块：四个压缩前Y值的8×8块32a-32d，一个压缩前C_B值的8×8块28，以及一个压缩前C_R值的8×8块30。

图3A-3D图示了按照MPEG 4:2:2格式的压缩前Y,C_B,C_R值的产生过程。参考图3A，宏块20的像素22被排列成两个像素组34，相比之下，4:2:0格式需要四个像素组24(图2A)。参考图3B，在MPEG 4:2:2格式中，压缩前Y值与原始的Y值相同。因此，就象在4:2:0格式中一样，每个像素22仅仅保持其原始的亮度值Y。但是，参见图3C和3D，为了减少要压缩的数据量，MPEG 4:2:2格式只允许每个两像素22的组34具有一个压缩前C_B值和一个压缩前C_R值。每个压缩前C_B和C_R值被分别从相应组34中的两像素22的原始的C_B和C_R值中产生。例如，一个压缩前C_B值可以等于相应的组34中的两像素22的原始C_B值的平均值。因此，4:2:2格式需要使用的C_B和C_R值(每两个原始像素一个)是4:2:0格式(每四个像素一个)的两倍。因此，参见图3B-3D，对于图3A的宏块20而产生的压缩前Y,C_B和C_R值被排列成一个压缩前Y值(等于每个相应像素22的原始Y值)的16×16矩阵36，一个压缩前C_B值(等于每个两像素22的组34的C_B值导出的值)的8×16矩阵38，以及一个压缩前C_R值(等于每个两像素22的组34的C_R值导出的值)的8×16矩阵40。如上面所讨论的，因为它方便于在像素值的8×8块上执行压缩变换，而不是在8×16块上，所以压缩前Y值的块36被细分为四个8×8块42a-42d，它们分别对应于该宏块20中的像素22的8×8块A-D。同样地，压缩前C_B值的块38被细分为两个8×8块44a和44b，它们分别对应于对块A和B以及C和D。同样地，压缩前C_R值的块40被细分为两个8×8块46a和46b，它们分别对应于对块A和B以及C和D。参见图3A-3D，因此，对于每个宏块20产生了压缩前像素数据的八个8×8块：四个压缩前Y值的8×8块42a-42d，两个压缩前C_B值的8×8块44a-44b，以及两个压缩前C_R值的8×8块46a-46a。

发明概要

按照本发明的一个方面，图像处理电路包括：处理器，它接收原始的第一视频图像的原始像素值以及原始的第二视频图像的原始像素值。该处理器从第一原始视频图像的原始像素值产生第一像素值分量，并且从原始第二视频图像中的原始像素值产生第二像素值分量。该处理器从第一和第二像素值分量产生一个填充像素值，并且组合该填充像素和原始的第一视频图像，以产生组合视频图像。

可以使用这样一个图像处理电路以从原始视频场中产生填充的视频场，并且合并该填充和原始场，以产生组合视频帧。这样一个图像处理电路经常使用较少的存储器，并且比现有的图像处理电路更精确地检测场间运动。

按照本发明的另一个方面，该图像处理电路的处理器接收第一和第二组像素值，它们对应于原始视频图像中的第一和第二原始像素组。为了填充像素，即为了在第一和第二组原始像素之间的原始视频图像中的处置，该处理器从第一和第二组像素值计算出方向值。该处理器根据计算出的方向值产生填充像素值。

可以使用这样一个图像处理电路，以根据原始场中的原始像素空间地内插填充场的填充像素，并且合并该填充和原始场，以产生一个组合视频帧。这样一个图像处理电路经常更精确地区分边缘和浅线(thin lines)，因此，与现有的图像处理电路比，它生产的视觉的人为干扰更少。

附图的简要描述

图1是按照现有技术的隔行扫描的视频帧。

图2A是一个示意图，显示了按照传统的MPEG 4:2:0格式的以2×2组排列的像素宏块。

图2B是一个示意图，它显示了按照传统的MPEG 4:2:0格式分别对应于图2A的宏块中的像素的压缩前亮度值的一个块。

图2C和2D是一个示意图，它显示了按照传统的MPEG 4:2:0格式分别对应于图2A的宏块中的像素的压缩前色度值的一个块。

图3A是一个示意图，显示了按照传统的MPEG 4:2:2格式的以2×1组排列的像素宏块。

图3B是一个示意图，它显示了按照传统的MPEG 4:2:2格式分别对应于图3A的宏块中的像素的压缩前亮度值的一个块。

图3C和3D是一个示意图，它显示了按照传统的MPEG 4:2:2格式分别对应于图3A的宏块中的像素的压缩前色度值的一个块。

图4是一个按照本发明的一个实施例的图像处理电路的方框图。

图5是一个按照本发明的一个实施例的流程图，它显示了图4中的图像处理电路的总体操作。

图6是一个按照本发明的一个实施例的视频场的序列定时图。

图7是一个示意图，它显示了按照本发明的一个实施例的来自图6的两个连续的4:2:0格式的偶数视频场，以及其相应的奇数填充场。

图8是一个曲线图，它描绘了按照本发明的一个实施例的原始的运动值的过滤器(raw-motion-value filter)的传递函数。

图9显示的是按照本发明的一个实施例用于图7和11的填充场的运动值缓冲器。

图10显示的是按照本发明的一个实施例用于图7和11的填充场的运动追踪缓冲器。

图11是一个示意图，它显示了按照本发明的一个实施例的来自图6的两个连续的4:2:0格式的奇数视频场，以及其相应的偶数填充场。

图12是一个示意图，它显示了按照本发明的一个实施例的来自图6的两个连续的4:2:2格式的偶数视频场，以及其相应的奇数填充场。

图13显示的是按照本发明的一个实施例用于图12和15的填充场的运动值缓冲器。

图14显示的是按照本发明的一个实施例用于图12和15的填充场的运动追踪缓冲器。

图15是一个示意图，它显示了按照本发明的一个实施例的来自图6的两个连续的4:2:2格式的奇数视频场，以及其相应的偶数填充场。

图16是按照本发明一个实施例的技术的流程图，该技术用于根据本发明的一个实施例装载和更新图9和12的运动值缓冲器的内容以及图10和13的运动追踪缓冲器的内容。

图17是一个示意图，它显示了按照本发明的一个实施例用于计算方向矢量的原始像素以及填充像素的空间内插的像素值。

图18A-16E图示了按照本发明一个实施例的图17的填充像素的可能的方向矢量。

最佳实施例的详细描述

图5是按照本发明的一个实施例的图像处理电路50的方框图。电路50可以从原始视频场中的原始像素计算出填充像素值，从填充像素产生填充场，并且合并填充场和原始场，以产生组合视频帧。在一个实施例中，与现有的图像处理电路比，电路50将检测的场间运动的影响扩展到更多的填充场。因此，该电路50通常比现有的电路产生更精确的填充场以及更高质量的组合帧。在另一个实施例中，与多数现有的电路比，电路50使用较少存储器来存储运动信息。在再一个实施例中，电路50比多数现有的电路更精确地空间内插浅线和边缘，并且进一步增加填充场的准确度和组合帧的视觉质量。

图像处理电路50包括场缓冲器52，它从原始视频场的数据流中接收并存储一个或多个原始视频场。处理器单元54包括处理器56和存储器58，从缓冲器52中存储的原始场产生填充场，并且合并填充和原始场以产生相应的组合视频帧。帧缓冲器60存储由单元54产生的帧，并且将它们提供到视频显示器62上以便显示。在一个实施例中，处理器56是由西雅图，WA的Equator Technologies生产的超长指令字(VLIW)处理器。在另一个实施例中，单元54产生HDTV格式的组合帧，并且显示器62是HDTV显示器。在再一个实施例中，高容量存储设备，比如数字视盘(DVD)代替帧缓冲器60并且存储该组合视频帧，以便稍后显示。

参见图5，按照本发明一个实施例的图4的图像处理电路50的操作将结合流程图63来讨论。

参见流程图63的方框64，处理器单元54从场缓冲器52中检索原始像素值，它们分别构成在原始视频场序列中的下两个原始的非互补视频场。

接下来，参见方框66，处理器56从检索的原始像素值计算出一组填充像素的运动值。该组包括一个或多个填充像素，处理器56将这些填充像素与两个非互补的原始场的第一个合并以形成一个组合帧。

参见方框68，该处理器56为该组中的每一个填充像素空间内插一个相应的像素值。

参见方框70，该处理器56还为该组中的每一个填充像素时域内插一个相应的像素值。

接下来，参见方框72，该处理器56从运动值中计算出各个空间的和时域的加权系数，并且用这些系数对这些空间和时域内插的像素值进行加权。处理器56然后组合这些加权的像素值，以为该组中的每个填充像素产生一个相应的组合像素值。处理器单元54将这些组合的填充像素值存储在帧缓冲器60中，或者将它们存储在存储器58中，直到该处理器56产生出整个填充场为止。

参见方框74，如果该处理器56必须产生多个填充像素值来完成相应的填充场，那么处理器单元54返回到方框66。相反地，参见方框76，如果处理器56已经完成当前的填充场，但是在缓冲器52中存在多个原始场，那么处理器单元54返回到方框64。但是，如果在场缓冲器52中不再存在原始场，那么处理器单元54停止填充场的产生。

参见图6-18E，图5的流程图63的步骤将按照本发明的一个实施例被更详细地讨论。

图6是一个视频场序列的定时图，该视频场序列由图4的场缓冲器52按照本发明的一个实施例接收。该序列包括四个偶数场E₀-E₃，它们与四个奇数场O₀-O₃交替，总数为八个场，即四个隔行扫描帧。每个场出现在该序列之内的相关时间t处。例如，奇数场O₃是离时间t₇最近的场，而偶数场E₀是离时间t₀最近的场。而且，每个场的原始行显示为封闭的方框，而互补的填充场的填充行显示为开放的方框。例如，原始场E₀包括原始的偶数行a0,a2,a4,…,a(k-i)，而图4的图像处理电路50将为E₀产生的奇数填充场包括填充奇数行a1,a3,a5,…,a(k)。同样地，原始场O₀包括原始的奇数行b1,b3,b5,…,b(k)，而电路50将为O₀产生的偶数填充场包括填充偶数行b0,b2,b4,…,b(k-1)。尽管为了清楚地解释下面所讨论的填充场产生过程而显示了填充行，但应该理解的是场缓冲器52并不接收填充行。而且，在本实施例中，视频帧具有偶数行。因此，因为一个视频场具有视频帧的一半行数，每一个原始视频场E₀-E₃和O₀-O₃也具有偶数数目行。因此，k-1是一个偶数而k是一个奇数，因为首行编号是0。如下面所讨论的，电路50从该互补场和相同极性的其它场中的原始像素产生填充像素值。例如，在一个实施例中，电路50从E₀的原始行a0和a2和E₁的原始行c0和c2中的原始像素值产生E₀的填充行a1中的填充像素值。

参见图7，按照本发明的一个实施例来讨论奇数填充场中的填充像素的运动值的产生。为了举例的目的，该运动值的产生是结合原始偶数场E₀和E₁而讨论的，它们是以Y,C_B和C_R彩色空间表示法表示的并且按照MPEG 4:2:0格式被压缩，不言而喻，该相同原理适用于图6序列的另一种原始的偶数场。下面结合图11讨论偶数填充场中的填充像素的运动值的产生。

图7是一个示意图，它显示了分别构成偶数场E₀和E₁的原始和填充行的原始和填充像素。原始偶数场E₀的像素及其相应的奇数填充场被表示为P_kx，而E₁的像素及其相应的奇数填充场被表示为P′_kx，其中k表示行，x表示列。象原始像素一样，填充像素以四像素的2×2块排列(参见图2A)。例如，方框80包括填充像素P₁₂,P₁₃,P₃₂，和P₃₃，它们构成E₀的互补的填充场。

还参见图7，图4的图像处理电路50为填充像素的每个内部块产生一个相应的原始的运动值RM，该填充像素构成EO的互补的填充场。(下面讨论外部块，即包括一行的开头两个和最后二个像素的块的运动分析。)电路50从原始像素的亮度和色度值的差值中计算出RM，该原始像素挨着E₀中的填充块以及E₁中的相应的原始像素。例如，填充像素块80的亮度差值由下面的公式给出：DY_ij=|y_ij-Y′_ij｜_{i=0,2；j=1,2,3,4}

因此，在本实施例中，存在八个亮度差值DY：｜Y₀₁-Y′₀₁｜,｜Y₀₂-Y′₀₂｜,｜Y₀₃-Y′₀₃｜,｜Y₀₄-Y′₀₄｜,｜Y₂₁-Y′₂₁｜,｜Y₂₂-Y′₂₂｜,｜Y₂₃-Y′₂₃｜和｜Y₂₄-Y′₂₄｜。这里，Y₀₁是原始像素P₀₁的亮度值，Y′₀₁是P′₀₁的亮度值，Y₀₂是原始像素P₀₂的亮度值，等等。C_R差值由下面的公式给出：2)DC_R01=｜C_R01-C′_R01｜

其中C_R01是E₀中原始像素块的C_R值，包括P₀₂,P₀₃,P₂₂和P₂₃；而C′_R01是E₁中原始像素块的C_R值，包括P′₀₂,P′₀₃,P′₂₂和P′₂₃。同样地；C_B差值由下面的公式给出：3)DC_B01=｜C_B01-C′_B01｜其中，C_B01和C′_B01的原始像素块分别与C_R01和C′_R01的块相同。

还参见图7，图5的图像处理电路50按照下面的公式计算出块80的原始的运动值R-M₀₁，作为平均值亮度和色度差的最大值： $4){\mathrm{RM}}_{01}=\mathrm{Max}[1/8\underset{i_{\mathrm{even}}=0}{\overset{2}{\mathrm{\Σ}}}\underset{j=0}{\overset{4}{\mathrm{\Σ}}}{\mathrm{DY}}_{\mathrm{ij}},{\mathrm{DC}}_{R01},{\mathrm{DC}}_{B01}]$

参见图8，在一个实施例中，图4的图像处理电路50将原始的运动值RM进行过滤，以减少由噪音引起的假的运动探测的出现，并且将运动值限制到四比特，即最大值为15。图8是按照本发明的一个实施例的过滤算法的曲线图。因此，电路50按照下面的公式计算过滤的运动值FM：

按照公式(5)，电路50将小于等于8的原始的运动值RM认为是噪音，非真实的运动，并且因此产生一个相应的过滤的运动值FM=0。同样地，电路50将大于等于38的所有RM值剪裁到15以限定该最大值FM。

回到图7，因为图5的图像处理电路50从同一原始行中的四原始像素组中产生亮度差值DY，电路50不能使用上述的技术为填充行的开头和结尾处的填充像素产生原始的运动值。例如，电路50使用同一行中的四个像素P₀₁,P₀₂,P₀₃和P₀₄来产生填充块80的一些DY值。因此，P₀₁在水平方向上位于块80的前面，而P₀₄在水平方向上跟着块80。但是，参见填充块82和84，因为在块82前面没有像素跟着块84，公式(1)对于这些块是无效的。因此，在一个实施例中，电路50不计算填充块82和84以及其它包含各个填充行的开头两个或最后二个填充像素的填充块的原始的或过滤的运动值。换句话说，该电路50将预定的过滤的运动值分配给这些块。例如，在一个实施例中，电路50给这些块分配一个恒定的FM值，或者分配这样一个FM值，它与对于同一填充行中的相邻块所计算出的值相同。例如，按照后一方法，电路50将块82的过滤的运动值FM₀₀设置成等于FM₀₁，并且电路50为相邻的块80进行计算，如上所述。

图9图示了运动值缓冲器90的内容配置，该运动值缓冲器90用于存储按照本发明的一个实施例从MPEG 4:2:0原始场导出的填充场的过滤的运动值FM。参见图4，在一个实施例中，图像处理电路50将存储器58的一部分用作为缓冲器90，尽管缓冲器90可以居于另一个存储器中。电路50只包括一个缓冲器90，并且对于每个填充场都更新该缓冲器的内容。下面结合图16讨论用于更新缓冲器90的过程。

缓冲器90的存储位置FM分别对应于结合图7描述的填充像素块。例如，位置FM₀₁存储对应于图7的块80的过滤的运动值FM₀₁。而且，如果图4的图像处理电路50将运动值分配给开始行和结束行的像素块，那么缓冲器90也包括以虚线显示的位置。例如，可选的位置FM₀₀对应于图7的开始行块82，而可选的位置FM_0(x/2)对应于结束行像素块84。

参见图7和9，因为填充像素块比如块80的尺寸规格是2×2，并且因为图4的图像处理电路50为每块计算一个FM值，缓冲器90的水平尺寸是原始和填充场的水平尺寸的一半或者比它一半还少两个像素。更具体地，如果运动值缓冲器90包括以虚线显示的可选的存储位置，那么缓冲器90的水平尺寸是原始和填充场的水平尺寸的一半。例如，如果原始和填充场的水平尺寸为x=720像素，那么缓冲器90具有720÷2=360的存储器位置宽。换句话说，如果运动值缓冲器90不包括以虚线显示的可选的存储位置，那么缓冲器90的水平尺寸是原始和填充场的水平尺寸的一半再减两个像素。例如，如果原始和填充场的水平尺寸为x=720像素，那么缓冲器90具有(720÷2)-2=358的存储器位置宽度。

同样地，缓冲器90的垂直尺寸是原始和填充场的垂直尺寸的一半，因此为图4的图像处理电路50产生的组合的逐行帧的垂直尺寸的四分之一。这是肯定的，而不管缓冲器90是否包括可选的存储位置。例如，如果原始和填充场每个都具有垂直尺寸k/2=240行一相应的逐行帧具有k=2×240=480行-那么缓冲器90具有k/4=240÷2-相应于相应的逐行帧为480÷4=120的存储器位置高。

图10图示了运动追踪缓冲器92的内容配置，该运动追踪缓冲器用于存储按照本发明的一个实施例从MPEG 4:2:0原始场导出的填充场的运动追踪值MT。正如下面结合图16所讨论的，每个运动追踪值指定填充场的编号，对于此编号相应的FM值是有效的。参见图4，在一个实施例中，图像处理电路50将存储器58的一部分用作为缓冲器92，尽管缓冲器92可以居于另一个存储器中。电路50只包括一个缓冲器92，并且对于每个填充场都更新该缓冲器的内容。下面结合图16讨论用于更新缓冲器92的过程。

缓冲器92的存储位置MT分别对应于结合图7描述的填充像素块。例如，位置FM₀₁存储对应于图7的块80的运动追踪值FM₀₁，因此它们对应于图9的运动值缓冲器90的位置FM₀₁。而且，如果图4的图像处理电路50将运动值和运动追踪值分配给开始行和结束行的像素块，那么缓冲器92也包括以虚线显示的可选位置。例如，可选的位置MT₀₀对应于图7的开始行块82，因此对应于运动值缓冲器90的位置FM₀₀。同样地，可选的位置MT_0(X/2)对应于图7的结束行像素块84，并且因此对应于运动值缓冲器90的位置FM_0(X/2)。

还参见图10，运动追踪缓冲器92具有与结合图9在上面所讨论的运动值缓冲器90相同的尺寸。而且，在一个实施例中，每个存储位置MT为四个比特宽。

参见图9和10，运动值和运动追踪缓冲器90和92明显地小于现有的多数图像处理电路的运动存储器。而且，可以在预定范围之内改变运动追踪值，以改变填充场的编号，对于该填充场的编号相应的FM值是有效的，而不必增加缓冲器92的大小。

参见图7、9和10，只要k+1可被4除，那么在偶数场E的互补的奇数填充场的底端就不存在不完整(2×1)填充像素块。例如，填充块的未行包括来自填充行a(k-2)和a(k)的相应像素，在此下面不存在不配对的填充行。相反地，如果k+1不能被4除，那么就存在一排不完整填充块，它包括只来自一个填充行a(k)的像素。在此情形下，图5的图像处理电路50可以按照许多方法来计算这些不完整填充块的原始的和过滤的运动值以及运动追踪值。例如，电路50可以将不完全填充块的原始的和过滤的运动值以及运动追踪值分别设置成等于刚好在该不完整填充块之上的完整填充块的原始的和过滤的运动值以及运动追踪值。例如，参见图7和9，如果过滤的运动值位置FM_(k/4)1对应于补充E₀的填充场中的一个不完整填充块，那么电路50可以设置FM_(k/4)1=FM_((k/4)-1)1和MT_(k/4)1=MT_(K/4)-1)1。

参见图11，按照本发明的一个实施例来讨论偶数填充场中的填充像素的运动值的产生。为了举例的目的，该运动值的产生是结合原始奇数场O₀和O₁而讨论的，它们是以Y,C_B和C_R彩色空间表示法表示的并且按照MPEG 4:2:0格式被压缩，不言而喻，该相同原理适用于图6序列的其它原始的奇数场。上面结合图7讨论了奇数填充场中的填充像素的运动值的产生。

图11是一个示意图，它显示了分别构成奇数场O₀和O₁的原始和填充行的原始和填充像素。原始奇数场O₀的像素及其相应的偶数填充场被表示为P_kx，而O₁的像素及其相应的偶数填充场被表示为P′_kx，其中k表示行，x表示列。象原始像素一样，填充像素以四像素的2×2块排列(参见图2A)。例如，方框94包括填充像素P₀₂,P₀₃,P₂₂，和P₂₃，它们构成O₀的互补的填充场。

还参见图11，对偶数填充场的差值DY,DC_R，和DC_B以及原始的和过滤的运动值RM和FM的计算类似于如上结合图7所述的对于奇数填充场的相应的DY,DC_R,DC_B,RM，和FM的计算。例如，块94的DY,DC_R,DC_B，和RM由下面的公式C_B给出：

6)DY_ij=｜Y_ij-Y′_ij｜_{i=1,3；j=1,2,3,4}

7)DC_R01=｜C_R01-C′_R01｜

8)DC_B01=｜C_B01-C_B01｜ $9){\mathrm{RM}}_{01}=\mathrm{Max}[1/8\underset{i_{\mathrm{odd}}=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=0}{\overset{4}{\mathrm{\Σ}}}{\mathrm{DY}}_{\mathrm{ij}},{\mathrm{DC}}_{R01},{\mathrm{DC}}_{B01}]$

FM₀₁由公式(5)给出。

参见图7、9和11以及公式(5)和(9)，运动值缓冲器90的位置FM₀₁对应于图7的块80和图11的块94。因此，图4的图像处理电路50在位置FM₀₁处只存储一个FM₀₁值，对于块80为FM₀₁或对于块94为FM₀₁。下面结合图16讨论存储FM₀₁的选定过程。

而且，如上面结合图7所讨论的，图4的图像处理电路50不能使用上述的技术来产生填充块的原始的运动值，该填充块比如是块96和98，它们包括在填充行开始和结尾处的填充像素。因此，在一个实施例中，电路50不计算填充块96和84以及其它包含各个填充行的开头两个或最后二个填充像素的填充块的原始的或过滤的运动值。换句话说，该电路50将预定的过滤的运动值分配给这些块。例如，在一个实施例中，电路50给这些块分配一个恒定的FM值，或者分配这样一个FM值，它与对于同一填充行中的相邻块所计算出的值相同。例如，按照后一方法，电路50将块96的过滤的运动值FM₀₀设置成等于FM₀₁，并且电路50为相邻的块94进行计算，如上所述。

参见图9、10和11，如上面结合图7所讨论的，只要k+1可被4除，那么在奇数场O的互补的偶数填充场的底端就不存在不完整(2×1)填充像素块。相反地，如果k+1不能被4除，那么就存在一排部分填充块，它包括只来自一个奇数填充行b(k-1)的像素。在此情形下，图5的图像处理电路50可以按照许多方法来计算这些不完整填充块的原始的和过滤的运动值以及运动追踪值，如上面结合图7的填充场所讨论的。

参见图12，奇数填充场中的填充像素的运动值的产生将按照本发明的另一个实施例来讨论，在该实施例中，图6的原始偶数场用Y,C_B和C_R彩色空间表示法表示，并且按照MPEG 4:2:2格式进行压缩和解压缩。象原始像素一样，填充像素以两个像素的2×1块排列(参见图3A)。例如，块98包括填充像素P₁₂和P₁₃，而块100包括填充像素P₃₂和P₃₃。因此，图7与12之间的主要差别在于：在图12中，填充像素块包含两个像素，而不是四个像素。因此，块98的DY,DC_R,DC_B，和RM由下面的公式给出：

10)DY_ij=|Y_ij-Y′_ij｜_{i=0,2；j=1,2,3,4}

11)DCR_i1|CR_i1-CR_i1｜_i=0,2

12)DCB_i1=|CB_i1-CB_i1｜_i=0,2 $13){\mathrm{RM}}_{01}=\mathrm{Max}[1/8\underset{i_{\mathrm{even}}=0}{\overset{2}{\mathrm{\Σ}}}\underset{j=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{DY}}_{\mathrm{ij}},1/2\underset{i_{\mathrm{even}}=0}{\overset{2}{\mathrm{\Σ}}}{\mathrm{DC}}_{\mathrm{Ri}1},1/2\underset{i_{\mathrm{even}}=0}{\overset{2}{\mathrm{\Σ}}}{\mathrm{DC}}_{\mathrm{Bil}}]$ FM₀₁由公式(5)给出。而且，DY的计算与4:2:0格式的相同，因此公式(10)与公式(5)相同。而且，因为对于原始像素的每个2×1块，4:2:2格式都需要一个C_R和一个C_B值，所以DC_R的计算包括获取C_R01(对应于E₀的像素P₀₂和P₀₃)与C′_R01(对应于E₁的P′₀₂和P′₀₃)之间的差，以及获取C_R11(对应于E₀的像素P₂₂和P₂₃)与C′_R11(对应于E₁的像素P′₂₂和P′₂₃)之间的差。类似的分析适用于DC_B。

还参见图12，图5的图像处理器电路50按照下面的公式计算该2×1块100的差值和原始的运动值：

14)DY_ij=|Y_ij-Y′_ij｜_{i=2,4；j=1,2,3,4}

15)DC_Ri1=|C_Ri1-C′_Ri1｜_i=2,4

16)DC_Bi1=|C_Bi1-C′_Bi1｜_i=2,4 $17){\mathrm{RM}}_{11}=\mathrm{Max}[1/8\underset{i_{\mathrm{even}}=2}{\overset{4}{\mathrm{\Σ}}}\underset{j=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{DY}}_{\mathrm{ij}},1/2\underset{i_{\mathrm{even}}=2}{\overset{4}{\mathrm{\Σ}}}{\mathrm{DC}}_{\mathrm{Ri}1},1/2\underset{i_{\mathrm{even}}=2}{\overset{4}{\mathrm{\Σ}}}{\mathrm{DC}}_{\mathrm{Bi}1}]$

而且，由于与上面结合图7所讨论的相同的理由，图4的图像处埋电路50不能使用上述的技术来产生填充像素块102和104以及其它包括在填充行开始和结尾处的填充像素的填充块的原始的或过滤的运动值。因此，如上面结合图7所讨论的，电路50为这些填充块产生过滤的运动值。

另外，如果k+1能被2除尽，那么补充E₀的填充场的最后一个填充行a(k)不被“夹入”在E₀的两个原始行之间。因此，电路50只利用原始场E₀和E₁的最后一行a(k-1)和c(k-1)中的原始像素来计算最后一行填充块，比如块106的DY,DC_R,DC_B和RM。例如，电路50按照下面的公式计算像素块106的差值和原始的运动值：

18)DY_(k-1)=|Y_(k-1)j-Y′_(k-1)j｜_j=1,2,3,4

19)DC_R(k-1)1=｜C_R(k-1)1-C′_R(k-1)1｜

20)DC_B(k-1)1=｜C_B(k-1)1-C′_B(k-1)1｜ $21){\mathrm{RM}}_{(k-1)1}=\mathrm{Max}[1/4\underset{j=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{DY}}_{(k-1)J},{\mathrm{DC}}_{R(k-1)1},{\mathrm{DC}}_{B(k-1)1}]$

因此，例如，利用来自E₀的像素P_(k-1)1,P_(k-1)2,P_(k-1)3，和P_(k-1)4和来自E₁的像素P′_(k-1)0,P′_(k-1)1,P′_(k-1)2,P′_(k-1)3和P′_(k-1)4的亮度值，就可计算出块106的DY。同样地，从原始像素的2×1块的C_R和C_B值分别计算出DC_R和DC_B，原始像素包括来自E₀的P_(k-1)2和P_(k-1)3以及来自E₁的P′_(k-1)2和P′_(k-1)3。电路50使用公式(5)来计算过滤的运动值，过滤公式5被用于计算出的过滤的运动值。

图13图示了运动值缓冲器108的内容配置，该运动值缓冲器108用于存储按照本发明的一个实施例从MPEG 4:2:2原始场导出的填充场的过滤的运动值FM。参见图4，在一个实施例中，图像处理电路50将存储器58的一部分用作为缓冲器108，尽管缓冲器108可以居于另一个存储器中。电路50只包括一个缓冲器108，并且对于每个填充场都更新缓冲器的内容。下面结合图16讨论用于更新缓冲器108的过程。

参见图12和13，因为填充像素块比如块98的尺寸规格是2×1，并且因为图4的图像处理电路50为每块计算一个FM值，缓冲器108的水平尺寸是原始和填充场的水平尺寸的一半或者比它的一半还少两个像素。更具体地，如果运动值缓冲器108包括以虚线显示的可选的存储位置，那么缓冲器108的水平尺寸是原始和填充场的水平尺寸的一半。例如，如果原始和填充场的水平尺寸为x=720像素，那么缓冲器108具有x/2=720÷2=360的存储器位置宽度。换句话说，如果运动值缓冲器108不包括以虚线显示的可选的存储位置，那么缓冲器108的水平尺寸是原始和填充场的水平尺寸的一半再减两个像素。例如，如果原始和填充场的水平尺寸为x=720像素，那么缓冲器90具有(x/2)-2=(720÷2)-2=358的存储器位置宽度。

同样地，缓冲器108的垂直尺寸与原始和填充场的垂直尺寸相同，因此为图4的图像处理电路50产生的组合的逐行帧的垂直尺寸的一半。这是肯定的，而不管缓冲器108是否包括可选的存储位置。例如，如果原始和填充场每个都具有垂直尺寸k/2=240行-相应的逐行帧具有k=2×240=480行-那么缓冲器108具有k/2=240/2-对应于相应的逐行帧为480÷4-=240的存储器位置高度。

因此，该运动值缓冲器108与图9的运动值缓冲器90比具有相同的水平尺寸以及两倍的垂直尺寸。

图14图示了运动追踪缓冲器110的内容配置，它们类似于图10的缓冲器92，只是它存储了按照本发明的一个实施例从MPEG 4:2:2原始场导出的填充场的运动追踪值MT。缓冲器110的存储位置MT分别对应于图12描述的填充像素块。例如，位置MT₀₁存储对应于图12的块98的运动追踪值MT₀₁，因此它们对应于图13的运动值缓冲器108的位置FM₀₁。而且，如果图4的图像处理电路50将运动值和运动追踪值分配给开始行和结束行的像素块，那么缓冲器108也包括以虚线显示的可选位置。例如，可选的位置MT₀₀对应于图12的开始行块102，因此对应于运动值缓冲器108的位置FM₀₀。

还参见图14，运动追踪缓冲器110具有与结合图13在上面所讨论的运动值缓冲器108相同的尺寸。

参见图15，将讨论偶数填充场中的填充像素的运动值的产生，对于图6的原始偶数场用Y,C_B和C_R彩色空间表示法表示，并且按照MPEG4:2:2格式进行压缩和解压缩。对偶数填充场的差值DY,DC_R，和DC_B以及原始的和过滤的运动值RM和FM的计算类似于如上结合图12所述的对于奇数填充场的相应的DY,DC_R,DC_B,RM，和FM的计算。例如，块112的DY,DC_R,DC_B，和RM由下面的公式给出：

22)DY_ij=|Y_ij-Y′_ij｜_{i=1,3；j=1,2,3,4}

23)DC_Ri1=｜C_Ri1-C′_Ri1｜_i=1,3

24)DC_Bi1=|C_Bi1-C′_Bi1｜_i=1,3 $25){\mathrm{RM}}_{11}=\mathrm{Max}[1/8\underset{i_{\mathrm{odd}}=1}{\overset{3}{\mathrm{\Σ}}}\underset{j=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{DY}}_{\mathrm{ij}},1/2\underset{i_{\mathrm{odd}}=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{DC}}_{\mathrm{Ri}1},1/2\underset{i_{\mathrm{odd}}=1}{\overset{3}{\mathrm{\Σ}}}{\mathrm{DC}}_{\mathrm{Bi}1}]$

FM₀₁由公式(5)给出。而且，由于与上面结合图7所讨论的相同的理由，图4的图像处理电路50不能使用上述的技术来产生填充像素块114和116以及其它包括在填充行开始和结尾处的填充像素的填充块的原始的或过滤的运动值。因此，如上面结合图7所讨论的，电路50为这些填充块产生过滤的运动值。

另外，因为补充O₀的填充场的第一个填充行b0被不“夹入”在O₀的两个原始行之间，所以电路50只利用原始场O₀和O₁的第二行b1和d1中的原始像素来计算第一行填充块比如块118的DY,DC_R,DC_B和RM。例如，电路50按照下面的公式计算像素块118的差值和原始的运动值：

26)DY_ij|Y_ij-Y′_ij|_j=1,2,3,4

27)DC_R01=｜C_R01-C′_R01｜

28)DC_B01=｜C_B01-C′_B01｜ $29){\mathrm{RM}}_{01}=\mathrm{Max}[1/4\underset{j=1}{\overset{4}{\mathrm{\Σ}}}{\mathrm{DY}}_{\mathrm{ij}},{\mathrm{DC}}_{R01},{\mathrm{DC}}_{B01}]$

FM₀₁由公式(5)给出。同样地，如果k+1能被2除尽，那么填充场的最后一个填充行bk不被“夹入”在O₀的两个原始行之间。因此，电路50只分别利用行b(k-1)和d(k-1)中的原始像素来计算最后一行填充块的DY,DC_R,DC_B和RM。

参见图12、13和15，运动值缓冲器108的位置FM₀₁对应于图12的块98并且对应于图15的块108。因此，图4的图像处理电路50在位置FM₀₁处只存储一个FM₀₁值，对于块98为FM₀₁或对于块108为FM₀₁。下面结合图16讨论存储FM₀₁的选定过程。

图16是该技术的一个流程图，其中，图4的图像处理电路50按照本发明的一个实施例对图9和10(4:2:0格式)的运动值缓冲器90和运动追踪缓冲器92或者图13和14(4:2:2格式)的缓冲器108和110进行初始化和更新。为了清楚，结合缓冲器90和92来讨论此技术，不言而喻，该技术对于缓冲器108和110也是类似的。

参见图5以及图16的块112，处理器56将0装载到缓冲器90和92的所有存储位置。

参见块114，处理器56然后检索下一个过滤的运动值FM_kx，它是预先计算出的并且储存在存储器58中。

参见块116和118，如果FM_kx大于等于运动值缓冲器90的位置k,x处的当前内容，那么处理器56用FM_kx改写该位置k,x。接下来，参见块120，处理器56将一个初始MT值装载到运动追踪缓冲器92的k,x位置。在一个实施例中，该初始MT值等于5。

相反地，参见块116和122，如果FM_kx小于运动值缓冲器90的位置k,x处的当前内容，那么处理器56分析追踪缓冲器92的k,x，位置处的内容。如果该内容等于0，那么，参见块124，处理器56将0装载到运动值缓冲器90的k,x位置，以表示当前填充场的各个填充像素块没有相关的运动。相反地，参见块126，如果追踪缓冲器92的k,x位置处的内容不等于0，那么处理器56将该内容减少预定的值D。在一个实施例中，D=1。

参见块128，处理器56以类似的方式处理下一个FM_kx值。

因此，通过改变D值和初始的MT，就可以改变填充场的最大值数目，这样运动值将受到影响。例如，参见图6、7、9、10、11和16，对于E₀的填充行a1的填充像素块80，假定该初始的MT=5,D=1，FM₀₁=15，而对于O₀、E₁、O₁、E₂和O₂的各自的填充行b0-b2、c1-c3 d0-d2、e1-e3和f0-f2的对应的填充像素块，假定FM₀₁＜15。因此，按照图16的流程图，对于块80，处理器56将FM₀₁=15装载到运动值缓冲器90的FM₀₁位置，并将5装载到追踪缓冲器92的MT₀₁位置。接下来，因为对于填充像素块94(图11)，FM₀₁＜15，处理器56让缓冲器90的FM₀₁位置中的以前的FM₀₁=15，并将缓冲器92的MT₀₁位置的内容减少到4。对于c1-c3、d0-d2、e1-e3和f0-f2的填充像素块(未示出)，处理器56以类似的方式处理FM₀₁＜15。然而，在处理f0-f2的填充像素块之后，追踪缓冲器92的位置FM₀₁等于0。因此，正如下面所讨论的，即使处理器56没有检测到后面的运动，在E₀和E₁之间检测到的运动会影响填充场中的填充像素的值，所述填充场补充六个连续的原始场：E₀、O₀、E₁、O₁、E₂和O₂。因此，不像许多现有的图像处理电路，图像处理电路50允许检测的运动影响多于四个填充场中的填充像素值。而且，可以改变初始MT值或者D值，以改变受运动影响的填充场的数目，而不必增加缓冲器90和92的规格。

图17是原始像素的一个示意图，其中，图4的图像处理电路50按照本发明的一个实施例使用它来计算方向值并空间内插一个填充像素的像素值。为了举例的目的，填充像素是图7的填充行a3的P₃₃，不言而喻，除每个填充行的第一和最后一个像素之外，下面的讨论适用于其它填充像素。下面讨论用于这些填充像素的计算值。正如下面结合图18A-18E所讨论的，电路50从P₃₃上面的三个原始像素P₂₂、P₂₃、和P₂₄以及P₃₃下面的三个像素P₄₂、P₄₃和P₄₄计算出方向值并且空间内插P₃₃的像素值。

参见图18A-18E，在本发明的一个实施例中，就图17的像素示意图而论，图像处理电路50识别三个边缘方向和两个浅线方向。在确定该方向值时，电路50只使用该像素示意图中的原始像素的亮度值Y。

参见图18A，如果原始像素P₂₄和P₄₂具有相似Y值，那么电路50识别45°-225°边缘。例如，如果边缘的垂线指向该像素组的右下方向，那么像素P₂₂和P₂₃具有的Y值类似于P₄₂和P₂₄的Y值。相反地，如果边缘的垂线指向该像素组的左上方，那么像素P₄₃和P₄₄具有的Y值类似于P₂₄和P₄₂的Y值。

参考图18B，电路50识别一个浅线，它以大约63°-243°贯穿像素P₂₃、P₂₄、P₄₂和P₄₃。此浅线的特征在于：P₂₂和P₄₄具有的Y值明显地不同于P₂₃、P₂₄、P₄₂和P₄₃的Y值。

参见图18C，如果原始像素P₂₃和P₄₃具有相似Y值，那么电路50识别90°-270°边缘。例如，如果边缘的垂线指向该像素组的右方向，那么像素P₂₂和P₄₂具有的Y值类似于P₂₃和P₄₃的Y值。相反地，如果边缘的垂线指向该像素组的左方，那么像素P₂₄和P₄₄具有的Y值类似于P₂₃和P₄₃的Y值。如果所有的像素P₂₂、P₂₃、P₂₄、P₄₂、P₄₃和P₄₄都具有相似的Y值，那么电路50还识别一个90°-270°边缘。

参见图18D，电路50识别一个浅线，它以大约117°-297°贯穿像素P₂₂、P₂₃、P₄₃和P₄₄。此浅线的特征在于：P₂₂和P₄₄具有的Y值明显地不同于P₂₂、P₂₃、P₄₃和P₄₄的Y值。

参见图18E，如果原始像素P₂₂和P₄₄具有相似Y值，那么电路50识别135°-315°边缘。例如，如果边缘的垂线指向该像素组的左下方向，那么像素P₂₃和P₂₄具有的Y值类似于P₂₂和P₄₄的Y值。相反地，如果边缘的垂线指向该像素组的右上方，那么像素P₄₂和P₄₃具有的Y值类似于P₂₂和P₄₄的Y值。

按照表1的列2来计算出该方向值DV。

表1

方向	各个方向上的像素差	如果像素差的最小值小于Tedge阈值，那么将丢失的像素值Ps估算为：
			45°-225°(图18A)	DV45-225=｜P24-P42｜+偏移	Ps33=(P24+P42)/2
63°-243°(图18B)	DV63-243=(｜P24-P43｜=｜P23-P42｜)/2	Ps33=(P24+P42+P23+P43)/4
			90°-270°(图18C)	DV90-270=｜P23-P43｜	Ps33=(P23+P43)/2
117°-297°(图18D)	DV117-297=(|P23-P44|+|P22-P431|)/2	Ps3=(P22+P44+P23+P43)/4
			135°-315°(图18E)	DV135-315=｜P22-P44｜+偏移	Ps=(P22+P44)/2
如果上述最小值＞Tedge，没有明显的边缘方向		最小值DV＞Tedge，则将Ps估算为：Ps=(P23+P43)/2

电路50按照表1的列2计算所有的DV值，识别最小的DV值，并且将最小的DV与阈值T_edge比较。如果最小的DV大于T_edge，那么处理器56默认一个90°-270°边缘(图18C)，并且因此空间内插P₃₃的Y，C_R和C_B值(集体地表示为表1中的Ps)，它们等于P₂₃和P₄₃的各个Y,C_R和C_B值的平均值，如表1的列3的未行所显示的。相反地，如果最小的DV小于等于T_edge，那么处理器56按照对应于最小DV的公式来计算P_s。例如，如果DV_45-225是最小值，那么处理器56计算出P_s等于P₂₄和P₄₂的平均值。如果DV_63-243是最小值，那么处理器56计算出P_s等于P₂₃,P₂₄,P₄₂和P₄₃的平均值。如果DV_90-270是最小值，那么处理器56计算出P_s等于P₂₃和P₄₃的平均值。如果DV_117-297是最小值，那么处理器56计算出P_s等于P₂₂,P₂₃,P₄₃和P₄₄的平均值。并且，如果DV_135-315是最小值，那么处理器56计算出P_s等于P₂₂和P₄₄的平均值。

T_edge是一个以经验为主而确定的常数。在一个实施例中，它在大约40-50的范围内。

本发明人已经确定63°-243°以及117°-297°的浅线具有这样一个趋势，即被误内插为45°-225°以及135°-315°的边缘。因此，通过特意检测浅线，电路50给DV_135-315和DV_45-225增加一个偏移量，以有效地抵销误内插。在一个实施例中，处理器56按照下面的公式计算该偏移量：

其中t_line是一个以经验为主而确定的阈值，在本发明的一个实施例中大约为30。

参见图7、11和17，处理器56也从相邻的原始场中的相应的原始像素时域地内插每个填充像素的Y,C_R和C_B(集体地表示为P_t)，所述相邻的原始场与该填充场具有相同的极性。例如，处理器56计算出E₀(图7)的填充行a3中的填充像素P₃₃的P_t等于O₀(图11)的原始行b3中的原始像素P₃₃的亮度和色度值。

接下来，处理器56按照下面的公式计算该填充像素的终值P_f：31)a=Max(FM_(i-1)f,FM_ij,FM_(i+1)j) $32)P_f=\frac{1}{15}({\mathrm{ap}}_s+(1-a)P_1)$

更具体地，处理器56计算出P_f等于α加权的P_s与(1-α)加权的P_t之和。α等于P_f正在被计算的填充像素的FM值与该填充像素上面和下面的填充像素块的FM值中的最大值。例如，参见图7和9，填充像素P₃₃的α为FM₀₁和FM₁₁的最大值(在块80之上没有填充像素，因此在FM₀₁之上没有缓冲器90的FM位置。)在垂直方向上，取三个最靠近的FM值中的最大值，这样就确保了空间内插的值P_s在检测到运动时具有最好的权重。而且，如上面结合图8所述的，FM的最大值，即α的最大值是15。因此，公式(32)的左侧被除以15，以便归一化。

参见公式(32)，如果存在明显的运动，那么α是相对大的，那么P_f朝着空间内插值P_s方向被重重地加权。相反地，如果存在很少的运动，则α是相对小的，那么P_f朝着时域内插值P_t方向被重重地加权。

参见图7，来讨论在填充像素行的开始和结尾处的填充像素值的产生。为了举例的目的，所讨论的是E₀的填充像素P₁₀不言而喻，下面的讨论适用于P₁₁和在填充行的开始和结尾处的其它填充像素。

如果图像处理电路50将一个预定的值FM₀₀分配给如上所述的P₁₀和其它行开始和行结尾的填充像素，那么处理器56计算P₁₀的P_s,P_t和P_f，如上面所讨论的。

相反地，如果处理电路50不给如上所述的P₁₀和其它行开始和行结尾填充像素分配一个预定值FM₀₀，那么处理器56以不同于上述方式的方式来计算P_f。例如，处理器56可以独占地空间地内插P₁₀的P_f，它等于垂直方向相邻的原始像素P₀₀和P₂₀的各个Y,C_R和C_B值的平均值。或者，处理器56可以独占地时域地内插P₁₀的P_f，它等于相邻的原始奇数场O₀的相应Y,C_R和C_B值的平均值。

从前面的描述应理解的是：尽管为了举例的目标已经描述本发明的具体实施例，但是在不脱离本发明的精神和范围前提下，可做出各种修改。

Claims (44)

1．一种图像处理电路，包括：

处理器，用于：

接收原始第一视频图像的原始像素值以及原始第二视频图像的原始像素值，

从原始第一视频图像的原始像素值产生第一像素值分量，

从原始第二视频图像的原始像素值产生第二像素值分量，

从第一和第二像素值分量产生一个填充像素的值，以及

组合该填充像素和原始第一视频图像，以产生组合视频图像。

2．按照权利要求1的图像处理电路，其中，在视频图像序列中原始第二视频图像跟着原始第一视频图像。

3．按照权利要求1的图像处理电路，其中：

该原始第一视频图像包括原始场；和

该处理器通过下列步骤来产生该组合视频图像：

产生包括填充像素并且与原始场互补的填充场，和

合并该原始和填充场。

4．按照权利要求1的图像处理电路，其中：

该原始第一视频图像包括第一原始场，该第一原始场包括该原始第一视频图像的原始像素；

该原始第二视频图像包括第二原始场，该第二原始场包括该原始第二视频图像的原始像素；以及

该处理器通过下列步骤来产生该组合视频图像：

产生包括填充像素并且与第一和第二原始场互补的填充场，和

组合该填充场和第一原始场。

5．按照权利要求1的图像处理电路，其中，该处理器用于：

产生等于原始第一视频图像的原始像素值的第一像素值分量；以及

产生等于原始第二视频图像的原始像素值的第二像素值分量。

6．按照权利要求1的图像处理电路，其中，该处理器进一步用于：

加权第一和第二像素值分量；以及

从加权的第一和第二像素值分量产生该填充像素的值。

7．按照权利要求1的图像处理电路，其中，该处理器进一步用于：

从原始的第一和第二视频图像的原始像素值产生运动值：

从该运动值产生第一和第二加权系数；

通过组合第一加权系数和第一像素值分量来产生加权的第一像素值分量；

通过组合第二加权系数和第二像素值分量来产生加权的第二像素值分量；以及

从加权的第一和第二像素值分量产生该填充像素的值。

8．一种图像处理电路，包括：

处理器，用于：

接收第一原始视频图像的原始像素值以及跟随该第一原始视频图像的第二原始视频图像的原始像素值，

从第一和第二原始视频图像的原始像素值产生第一填充视频图像的运动值，以及

如果该运动值表示第一填充视频图像的运动，那么使该运动值表示跟随第一填充视频图像的预定数目的填充视频图像的运动。

9．按照权利要求8的图像处理电路，其中，处理器用于产生等于第一和第二原始视频图像的原始像素值之间的差值的运动值。

10．按照权利要求8的图像处理电路，其中预定数目等于5。

11．按照权利要求8的图像处理电路，其中：

如果该运动值等于非零的数，那么该运动值表示存在运动；以及

该处理器用于：如果对于该第一填充视频图像该运动值等于一个非零的数，那么对于跟随第一填充视频图像的预定数目的填充视频图像，保持该运动值等于一个非零的数。

12．按照权利要求8的图像处理电路，其中，该处理器用于通过下列步骤产生该运动值：

从第一和第二原始视频图像的原始像素值产生第一填充视频图像的原始的运动值；以及

对该原始的运动值进行过滤，以产生运动值。

13．按照权利要求8的图像处理电路，其中：

该第一原始视频图像包括具有一个极性的第一原始视频场；以及

该第二原始视频图像包括具有与第一原始视频场相同的极性的第二原始视频场。

14．按照权利要求8的图像处理电路，其中，第一原始视频图像和跟随第一原始视频图像的原始视频图像构成一个原始视频图像序列，它包括第二原始视频图像和位于第一和第二原始视频图像之间的第三原始视频图像。

15．按照权利要求8的图像处理电路，其中：

第一原始视频图像和跟随第一原始视频图像的原始视频图像构成一个原始视频图像序列，它包括第二原始视频图像和位于第一和第二原始视频图像之间的第三原始视频图像；

该第一原始视频图像包括具有一个极性的第一原始视频场；

该第二原始视频图像包括具有与第一原始视频场相同的极性的第二原始视频场；以及

第三原始视频图像包括具有与第一和第二原始视频场的极性相反的极性的第三原始视频场。

16．一种图像处理电路，包括：

处理器，用于：

接收一个视频图像中的第一和第二组像素的各自的第一和第二组像素值；

对于置于第一和第二组像素之间的视频图像的填充像素，从该第一和第二组像素值产生方向值；以及

根据该方向值产生填充像素值。

17．按照权利要求16的图像处理电路，其中：

该第一和第二组像素每个都分别包括三个水平对准的像素；

第一组像素与第二组的各个像素垂直地对准；以及

该填充像素与第一组和中心像素和第二组的中心像素垂直地对准。

18．按照权利要求16的图像处理电路，其中：

第一和第二组像素每个都分别包括左、中心和右水平对齐的像素；以及

该处理器用于：

从第一组的右像素的值和第二组左像素的值产生第一个方向值，

从第一组的右和中心像素的值和第二组左和中心像素的值产生第二个方向值，

从第一和第二组的中心像素的值产生第三个方向值；

从第一组的左和中心像素的值和第二组右和中心像素的值产生第四个方向值，以及

从第一组的左像素的值和第二组右像素的值产生第五个方向值。

19．按照权利要求16的图像处理电路，其中，该处理器用于从这样的像素值产生填充像素值，从所述像素值处理器将产生一个最小的方向值。

20．按照权利要求16的图像处理电路，其中，该处理器用于产生等于这种像素值的平均值的填充像素值，从所述这种像素值处理器将产生一个最小的方向值。

21．按照权利要求16的图像处理电路，其中：

第一和第二组像素每个都分别包括三个水平对准的像素；

第一组像素与第二组的各个像素垂直地对准；

填充像素与第一组和中心像素和第二组的中心像素垂直地对准；以及

如果所有的方向值都大于预定阈值，那么该处理器用于产生等于中心像素值的平均值的填充像素的值。

22．按照权利要求16的图像处理电路，该处理器用于：

如果最小的方向值小于预定阈值，那么产生等于这种像素值的平均值的填充像素值，从所述这种像素值处理器将产生一个最小的方向值；以及

如果最小的方向值大于该预定阈值，那么产生等于预定个像素值的平均值的填充像素值。

23．按照权利要求16的图像处理电路，其中，该处理器用于通过计算第一组中的像素值与第二组中的像素值之间的各个差值来产生方向值。

24．一种方法，包括：

从第一原始视频图像中的原始像素值产生第一像素值分量；

从第二原始视频图像中的原始像素值产生第二像素值分量；

从第一和第二像素值分量产生一个填充像素的值；以及

通过组合该填充像素和该第一原始视频图像来产生一个组合视频图像。

25．按照权利要求24的方法，其中，在一个原始视频图像序列中，第二原始视频图像跟着第一原始视频图像。

26．按照权利要求24的方法，其中：

该第一原始视频图像包括具有一个极性的原始场；以及

组合视频图像的产生包括：

产生包括填充像素的填充场，并且它具有与原始场的极性相反的极性，以及

组合该原始和填充场。

27．按照权利要求24的方法，其中：

第一原始视频图像包括具有一个极性的并且包括第一原始视频图像的像素的第一原始场；

第二原始视频图像包括具有与第一原始场相同的极性并且包括第二原始视频图像的像素的第二原始场；以及

组合视频图像的产生包括：

产生包括填充像素的填充场，并且它具有与第一和第二原始场的极性相反的极性，以及

组合该填充场和第一原始场。

28．按照权利要求24的方法，其中：

第一像素值分量的产生包括：产生等于第一原始视频图像的原始像素值的第一像素值分量；以及

第二像素值分量的产生包括：产生等于第二原始视频图像的原始像素值的第二像素值分量。

29．根据权利要求24的方法，进一步包括：

加权第一和第二像素值分量；以及

其中，填充像素的值的产生包括从该加权的第一和第二像素值分量产生该填充像素的值。

30．根据权利要求24的方法，进一步包括：

从第一和第二原始视频图像的像素值产生运动值；

从该运动值产生第一和第二加权系数；

通过组合第一加权系数和第一像素值分量来产生加权的第一像素值分量；

通过组合第二加权系数和第二像素值分量来产生加权的第二像素值分量；以及

其中，填充像素的值的产生包括从该加权的第一和第二像素值分量产生该填充像素的值。

31．一种方法，包括：

从第一原始视频图像中的像素值和第二原始视频图像中的像素值产生第一填充视频图像的运动值；以及

如果该运动值表示第一填充视频图像的运动，那么使该运动值表示跟随第一填充视频图像的预定数目的填充视频图像的运动。

32．按照权利要求31的方法，其中，运动值的产生包括产生等于第一和第二原始视频图像的像素值之间的差值的运动值。

33．按照权利要求31的方法，其中预定数目等于5。

34．按照权利要求31的方法，其中，导致操作包括：如果对于该第一填充视频图像该运动值等于一个非零的数，那么对于跟随第一填充视频图像的预定数目的填充视频图像，保持该运动值等于一个非零的数。

35．按照权利要求31的方法，其中，该产生过程包括：

从第一和第二原始视频图像的原始像素值产生第一填充视频图像的原始的运动值；以及

对该原始的运动值进行过滤，以产生运动值。

36．按照权利要求31的方法，其中：

第一原始视频图像和跟随第一原始视频图像的原始视频图像构成一个原始视频图像序列，它包括第二原始视频图像和位于第一和第二原始视频图像之间的第三原始视频图像；

该第一原始视频图像包括具有一个极性的第一原始视频场；

该第二原始视频图像包括具有与第一原始视频场相同的极性的第二原始视频场；以及

第三原始视频图像包括具有与第一和第二原始视频场的极性相反的极性的第三原始视频场。

37．一种方法，包括：

从置于一个视频图像的第一和第二组像素的值产生填充像素的方向值，该填充像素被置于第一和第二组像素之间的视频图像中；以及

根据该方向值产生填充像素值。

38．按照权利要求37的方法，其中：

第一和第二组像素每个都分别包括三个水平对准的像素；

第一组像素与第二组的各个像素垂直地对准；以及

该填充像素与第一组和中心像素和第二组的中心像素垂直地对准。

39．按照权利要求37的方法，其中：

第一和第二组像素每个都分别包括左、中心和右水平对齐的像素；以及

该方向值的产生包括：

从第一组的右像素的值和第二组左像素的值产生第一个方向值，

从第一组的右和中心像素的值和第二组左和中心像素的值产生第二个方向值，

从第一和第二组的中心像素的值产生第三个方向值；

从第一组的左和中心像素的值和第二组右和中心像素的值产生第四个方向值，以及

从第一组的左像素的值和第二组右像素的值产生第五个方向值。

40．按照权利要求37的方法，其中，该填充像素值的产生包括从用于产生一个最小方向值的像素值产生填充像素的值。

41．按照权利要求37的方法，其中，该填充像素值的产生包括：产生等于用于产生一个最小方向值的像素值平均值的填充像素的值。

42．按照权利要求37的方法，其中：

第一和第二组像素每个都分别包括三个水平对准的像素；

第一组像素与第二组的各个像素垂直地对准；

该填充像素与第一组和中心像素和第二组的中心像素垂直地对准；以及

该填充像素值的产生包括：如果所有的方向值都大于预定阈值，那么产生等于中心像素值的平均值的填充像素的值。

43．按照权利要求37的方法，其中该填充像素值的产生包括：

如果最小的方向值小于预定阈值，那么产生等于这种像素值的平均值的填充像素值，所述这种像素值用于产生一个最小的方向值；以及

如果最小的方向值大于该预定阈值，那么产生等于预定个像素值的平均值的填充像素值。

44．按照权利要求37的方法，其中，方向值的产生包括：计算第一组中的像素值与第二组中的像素值之间的各个差值。

Images