CN1104398A - 运动自适应视频处理系统 - Google Patents

Abstract

视频源(202)提供瞬时内插视频信号(YT)、空间 内插视频信号(YS)和表示运动的信号(MOT)。差 值信号(DIFF)从瞬时和空间内插信号获得之后由 对称限幅器(252)根据运动信号幅值的变化对称限 幅，然后与瞬时内插信号混合形成具有下列特点的运 动自适应视输入信号(Yest)：(1)诸如细节部分模糊 和损坏之类的运动后生现象有所减少；(2)对噪声的 敏感性有所减小；(3)提高了低对比度运动的再现 性。

Description

本发明总的说来涉及电视机，特别涉及一种运动自适应视频信号处理系统。运动自适应视频信号处理系统可用于各种不同的用途。这些用途的例子有：隔行/逐行扫描转换器，制式转换器，亮度和色度信号分离器等等。在这类系统中，运动信号产生之后用以控制经处理视频信号的参数，例如，选择、混合或调合两个或多个经处理的视频信号从而产生混合信号，由此减少了因景物运动而产生的看得见的瑕疵。

在一般的应用中，运动的检测是通过测定连续图象帧上相应各象素的（亮度）信号电平的差值进行的。从这个差值的绝对值可以估计出图象在那个位置是否运动及其运动量。遗憾的是，帧差信号在给定图象位置的值还与对比度的大小有关。对比度减小时，帧差值也减小。为确保不仅可以检测出对比度较大的运动象素而且可以检测出对比度小的运动象素，通常的作法是将帧差信号限定在范围较小的数值，以此来补偿对比度的变化。

一般的作法是将帧差信号“限制”或限定到较小的幅值（例如7个量化级），这时就可以认为这个较小的幅值代表整个运动。由于如此产生的运动信号只有7个量化电平，用而可以用较小的字长（例如3比特）表示，而且因此运动信号对存储器的存储要求比起存储“高清晰度”（例如255电平，8比特）运动信号时的要求就比较适当了。

如上所述产生运动信号和补偿对比度变化之后，通常的作法是进一步在运动信号处理器中对运动信号进行“分布”处理。“分布”一词是指往运动信号中加入从内插中的象素周围的象素抽取的运动样品的过程。在某种意义上说，这个过程“分布”或“扩大”了运动检测范围，使其大于其运动在侧定中的特定象素。测定运动时采用大量象素，具有这样的好处，即检测出在运动的象素的可能性提高了，这是因为运动信号的“分布”使所产生的运动检测“孔”或“窗口”增加所致。

实际上，运动信号的分布可以是瞬时分布或空间分布的。瞬时分布是通过将前一些场和/或以后各场的运动信号的影响包括进来获得的。空间分布可以通过在垂直方向上（逐行）和/或在水平方向上（逐个象素）的前一些和/或以后的运动样品的运动信号的影响包括进来进行。此外还可以通过将瞬时和空间（水平和/或垂直）分布分量两者混合起来“分布”运动信号。

如上所述，运动信号处理是对运动信号进行瞬时和/或空间分布，以利用四周的运动信息。这样可以减小运动在例如连续各帧的相应象素虽然表示运动物体的不同部分却碰巧具有相同的信号值的情况下被遗漏掉的可能性。

运动信号经分布之后，传统运动自适应视频处理系统中的最后处理程序是产生瞬时和空间内插过的视频信号，并借助于已处理的运动信号将这些视频信号混合起来。混合的一种方法是将已处理的信号加到通常叫做“软开关”或“衰减器”电路的控制输入端上。瞬时均化和空间均化过的视频信号加到“软开关”的相应信号输入端。在运动信号的控制下，软开关在运动信号低（表示图象区是静止的）时选择瞬时内插过的信号，在运动信号高（表示图象区在运动）时选择经空间内插的信号。至于运动信号值在高与低之间时，软开关“调和”或按比例混合空间和瞬时信号，形成视频输出信号。这个“调和”过程使空间和瞬时信号的选择有一个平稳的过渡，从而减小在一个内插信号转换成另一个内插信号的过程中产生看得见的瑕疵的倾向。

图1是上述系统的一个典型实施例。待内插的输入信号Yin加到由串联连接的262H延迟件10、1-H延迟件12和另一个262H延迟件14组成的帧存储器上。均化器16均化1-H信号，提供空间内插信号YS，这是表示待评价的象素上下各行上各象素平均数的信号。另一个均化器18均化帧信号和未延迟的信号，提供瞬时内插信号YT，这个信号表示前一场和后一场相应各象素的平均数。在静止区，瞬时内插信号YT对输出信号Yest的估计最佳，至于图象运动部分，则需要采用空间内插信号YS以防止运动瑕疵。

信号的选择由软开关20进行，软开关20由减法器22、乘法器24和加法器26组成，减法器20从YS减去YT，乘法器24将减法器得出的差值与运动信号MOT相乘，加法器26将信号YT加到乘法器的输出以产生估计或内插视频输出信号Yest。运动信号MOT由减法和绝对值电路28产生，电路28将输入信号和帧延迟信号相减，并取绝对差值以产生表示基本运动的信号加到运动信号处理器30，处理器30可增加诸如运动分布之类的处理并输出经处理的运动的信号MOT。

乘法器在软开关中进行的换算达到这样的效果，即当运动信号MOT表示最大运动时，在增益等于1的情况下让信号YS-YT通过，于是信号YT在加法器中被取消，且输出信号Yest等于YS。相反，在静止区，运动信号MOT为零，因而输出的估计信号成了瞬时内插信号YT。运动介于零加全运动之间时，输出信号是瞬时和空间估计信号YT和YS按比例混合的信号。

图1的系统，尽管对高质量的视频输入信号有效，但对质量较差信号的噪声很敏感，特是图象静止时更是如此。在静止信号的情况下，例如带附加噪声的测试图形，在YS与YS值之间的大差值中会出现在水平方向从边缘开始的高比对度。同时，噪声较低的电平会使运动信号MOT显著波动，估计信号Yest，因而图象，会在这种边缘处显著波动。另一个问题是，对比度小的运动图象可能不会产生全运动信号。在此情况下，软开关于是会让某些瞬时平均信号YT通过，从而使精细的细节模糊和损坏。

为解决传统的运动补偿系统的上述问题，有人提出了不对运动信号进行检测和处理而采用不同形式处理方法的方案。Hurst.Jr在1991年9月3日颁布的题为“隔行/逐行扫描转换器的间隙线发生器”的美国专利5046164中就介绍了这种方法。Hurst.Jr的设备进行空间/瞬时信号选择时应用了中值滤除原理。中值滤除时，将多个视频信号相比较，选取信号值为中值的信号作为输出。在Hurst.Jr的系统中，由一个延迟电路提供多个位于待产生的间隙线周围的图象线。比较电路将延迟视频信号的各相对值加以比较。消除最大和最小两极端的信号，再把其余的信号按预定的比例混合，以提供合成间隙线。

Hursr.Jr的系统简练，而且特别有效。中值滤波器在这种应用中具有一些颇为需要的特性。其中有用的一种性能是连续性，例如，连续变化差的输入产生连续变化着的输出。这样就无需使用软开关，而运动自适应系统中通常就是采用软开来避免人为突变。另一个有价值的性能是增益局限于1，就是说，任何输入中的变化都不会在输出中产生更大的变化。这后一种性能使中值滤波系统具有对噪声极好的抗干扰能力，因为噪声的影响总不会超出噪声值。

这种系统的缺点在于，中值滤波系统不能起任何形式的运动“分布”作用，因为这种系统中没有明显的运动信号。缺乏这种能力，非运动自适当系统可能会漏掉对某些类型的运动（例如会使特定象素位置的亮度电平不发生变化的对角线运动）的象素进行内插。

本发明一方面是认识到了上述问题，另一方面是要提出解决上述问题的方法。体现本发明的运动自适应视频处理系统有一个视频源，用以提供瞬时内插视频信号YT、空间内插视频信号YS和表示运动的信号M。系统中配备了各种电路装置，用以从所述瞬时和空间内插信号产生差值信号，用以根据运动信号MOT对称地限定差值信号，和用以将得出的信号与瞬时内插信号混合起来以产生运动自适应视频输出信号。

在本发明的原理有效益的实际应用中，差值信号的对称幅定是由中值滤波器进行的。

按照本发明原理的另一种应用，在只要满足存储器适当要求的情况下就能享有对高清晰度运动信号进行瞬时运动分布的好处，这是通过对运动信号在进行瞬时运动分布之前进行二次取样达到的。

本发明形成运动经补偿的视频信号的方法包括下列步骤：提供瞬时内插视频信号YT、空间内插视频信号YS和表示运动的信号MOT;从瞬时和空间内插信号形成差值信号;根据运动信号MOT对称限幅差值信号，从而形成对称限幅差值信号;将对称限幅差值信号与瞬时内插信号组合起来，形成运动自适应视频输出信号。

在本发明的方法有效益的应用中，对称限定所述差值信号的步骤包括下列步骤：

将差值信号加到中值滤波器的第一输入端;

将运动信号加到所述中值滤波器的第二输入端;

倒相运动信号，形成负的运动信号;

将经倒相的运动信号加到所述中值滤波器的第二输入端。

在本发明的方法另一个有效益的应用中，增设了另一个步骤，即对运动信号进行二次取样和瞬时分布处理，二次取样在瞬时分布之前进行。

附图中举例了本发明的上述和其它特点，其中：

图1    是传统的运动自适应视频处理系统的方框图;

图2    是本发明实施例的运动自适应视频处理系统的方框图;

图3    是本发明实施例的运动自适应逐行扫描转换系统的方框图。

作为本发明的一些更突出特点的概要，图2的运动自适应系统200有一个视频源202（在虚线框内），该视频源提供瞬时内插视信号YT、空间内插视频信号YS和表增运动的信号MOT。选择电路或输出信号形成电路250（在虚线框内）是为从瞬时和空间内插视频信号YT和YF形成等值信号DIFF而设的。对称限幅器252是为根据运动信号M对称限幅或“限制”差值信号DIFF并将得出的信号加到瞬时内插信号YT从而形成运动自适应视频输出信号Yest而设的。

采用运动受控的对称限幅（这可借助于例如是值滤波器来完成）有下列好处：（1）运动的后生现象减小了;（2）对噪声比较不敏感;和（3）小对比度运动的再现性良好。

更详细地说，图2运动自适应视频信号处理系统200的视频源202有一个由串联连接的262H延迟元件203、一行（1-H）迟迟元件204和另一个262H延迟元件206组成的有引出线的帧存储器。亮度输入信号Yin加到串联连接线路，瞬时内插输出信号YT则由均化器208产生，由均化器。208均化输入信号和在延迟元件206输出端产生的帧延迟（525H）信号。空间内插信号YS，由均化器210产生，由均化器210均化分别在延迟元件202和204的输出端的262H延迟信号。

表示运动的信号MOT由减法器和绝对值电路212产生，绝对值电路212取输入信号Yin与延迟元件206所产生的帧延迟输出（525H）信号之间的差值，再取该差值信号的绝对值。这个可以说是“经整流”的信号表示运动，它加到运动处理器214上，该处理器可对运动信号进行诸如垂直、水平、对角线或瞬时“分布”或组合式的各种分布。

垂直运动分布可通过在垂直方向上均化运动数据进行。垂直和水平分布都可以通过均化某给定场象素阵列的运动数据进行。瞬时运动分布中通过均化两个或多个场的运动数据进行。采用运动分布有这样的好处，即可以通过在运动评会时增加运动数据的数目来减少运动误差。

在图2的系统中，运动信号MOT并不象在传统的运动自适应中那样压缩到几个比特，而是保持在高（例如8比特）分辨力的状态。这一点就比上述传统的运动自适应系统有利得多，传统系统的分辨力由于低对比度运动的影响只局限于两个或三个比特。较高的分辨力能有效地减少在静止和活动物体画面中的可见运动后生现象。这一点是完全可能的，因为在本系统中，运动信号MOT并不是象现有系统那样用来操纵开关，而是用来设定和控制对称限幅电路252的限幅值。

更详细地说，减法器254提供的差值信号（YS-YT）加到对称限幅器252上，限幅器252的另一个输入端接收运动信号MOT和（由倒相器250提供的）负（倒相）运动信号。因此，差值信号（YS-YT）不是象上述传统的系统那样与运动信号相乘，而是对称限幅或“限制”到相当于±MOT的电平。接着经内插或评价的亮度输出信号Yest由加法器258形成，即由该加法器将瞬时内插信号YT与对称限幅器252的输出组合起来。

鉴于运动信号MOT是从帧差信号获得的，因而在高对比度运动的情况下大，在低对比度运动的情况下小。在这两种情况下，有运动存在时，运动信号MOT会大于差值信号YS-YT的幅值，于是没有限幅或限制作用产生。在这种线路接法中，对称限幅器显示出增益为1的特性，从而使信号中促使运动信号MOT波动的噪声会促使不大于噪声的输出信号Yest波动。因此，这种系统即减小了传统运动补偿系统（例如图1）的运动后生现象，对噪声又不每感，而且由于内插系统是中值滤波型的，因而低对比度运动的再现情况良好。

在图2的系统中，由于运动主号MOT的字长增加（8比特高分辨力）电路的复杂性有点增加。但与乘法器相比比，对称限幅器较简单，因而在某种程度上补偿了这一点。实际上，对称限幅器可采用三输入端的中值滤波器。通常，一般三输入端滤波器要求对三个输入端成对加以比较以确定要选哪一个输入端。所举实施例的发下特点有好处，即采用适用作对称限幅器252的中值滤波器就无需对三个输入端成对加以比较。这是因为在图2（图3亦然）的实例中，大家知道输入（+MOT）总是大于另一个输入（-MOT），因而要确定输出只需要进行两交比较。

图3中以线路350（在虚线方框中）示出了采用图2的对称限幅器252的好处。这种线路起三输入端中值滤波器的作用但只需要进行两次比较，不象一般的三输入端中值滤波器那样通常需要进行三次比较。传递函数可用下式表示：

Yout＝Max[-MOT，Min（YS-YT，+MOT）]    （1）

这个关系式表明，经对称限幅或中值滤波过的亮度信号Yout等于较大（Max）负值运动信号（-MOT）和较小（Min）运动信号+MOT以及差值信号YS_YT。图3中，这个功能是采用最小值选择器354和最大值检测器352组合起来实现的，选择器354选择差值信号YS-YT和运动信号MOT两者中的最小值，检测器352则选择倒相运动信号（-MOT）与最小值选择结果两者之中的较大者。

图2的运动自适应性处理系统200是通用设备，它可用在例如隔行/非隔行扫描（例如逐行扫描）转换器中，用在制式转换器（例如NTST/PAL转换器）中，用在行频/场频倍增器中，用在亮度/包度信号分离器和其它这类用途中。

图3中，逐行扫描转换器有一个帧存储器（在虚线方框中）包括串联连接的262H延迟存储器322、1-H延迟存储器324和另一个262H延迟存储器326，从而提供延迟2262H、236H和全帧525H的视频输出信号。应该理解的是，这些延迟都是为NTSC制式信号的。至于其它系统则可选用适当的延迟。举例说，在PAL系统中，每帧有625行。因此在这种系统中，应选用312H、1H和312H的延迟，因而总的延迟为312H、313H和625H。

待转换到逐行扫描形式的视频输入信号Yin借助于噪声降低电路310（在虚线方框中）加到帧延迟存储器320上。该帧存储器提供视频输入信号空间和瞬时内插所需要的所有延迟。噪声降低电路与帧延迟电路配合对输入信号和全部经延迟的输出信号进行瞬的（帧）递归滤波。噪声降低电路310有一个从帧延迟信号Y525减去输入信号Yin的减法器312。得出的差值信号由限幅器314加以限定，然后在加法器316中与输入信号相加，形成加到帧存储器320的噪声减少了的亮度输入信号。工作时，减法器312产生输入信号与帧延迟噪声减少了的亮度信号之间的差值。该差值小（即运动不大或没有运动）时，限定器314让该差值通过，且由加法器316将差值信号加到输入信号Yin上。结果，输入信号Yin几乎被取消，而由帧延迟信号代替。然而，当运动出现时，减法器312的输出会是较大的信号。因此限幅器314会限定差值信号从而促使输入信号Yin必乎是专用的，因为差值信号会由限幅器314加以限定。为使这一点能够发生，在限幅器314不限幅时选取限幅器的增益小于1（例如限幅器小信号增益），从而使存储器320的存储内容始终朝输入信号Yin的平均值转换。限幅器314增益的一个例子为八分之七（7/8）。

图3处理器中的运动信号是在运动检测器和二次取样电路330中借助于减法器332和绝对值电路334产生的。减法器332将不延迟视频信号与帧延迟视频信号相减，绝对值电路334取差值信号的绝对值。由于差值是取绝对值的，因而无论是从不延迟信号减去延迟信号或从延迟信号减去不延迟信号都无所谓。

接着，绝对值电路的输出加到“二次取样”电路336上。二次取样电路336在本发明的实例中是具有减小存储器大小和水平运动可分布这双重特点的那一种。不要忘了在本系统中，运动信号是高分辨力（清晰度）（例如8比特）的而不是低分辨力（清晰度）的（例如3比特）。而且，在本系统中，运动信号是稍晚才在单元340中瞬时分布的，而这就要彩帧延迟存储器。高清晰度运动信号是所需的如此大容量的存储器意味着成本上的一个负担，因为这增加了存储单元的数目的。图3系统的好处即在于解决了这个问题。具体地说，我们发现，如果将四个水平毗邻的象素的运动信号混合起来，同时用四象素中最大的帧差值表示整组象素的运动，则性能的下降程度不大或等于零。这样做使运动数据产生一种局部水平分布的现象，图3中的二次取样方框336即体现了这一点。这可以这样付诸实施，例如，将运动数据每次4比特地移入珍寄存器中，再将数据加到幅值比较器以选取四个数据样品中最大的一个，从而产生“水平分布”运动输出信号。这样做的好处是，8比特形式的这种二次取样运动信号所需用的存储器时相当于本来2比特额定运动信号所需用的存储器。这样，节约的效果达到这样的程度，即连续瞬时递归分布所需用的存储器的容量减少了四倍。

接着，由单元330产生的经检测和亚取样的运动信号加到运动信号处理器340上。为确保空间内插过的视频信号YS中的运动都包括进来让动信号在单元342中延迟262H，再在单元343中延迟1-H，以获取对应于产生空间内插信号YS的各行运动。这些运动值最小的一个（262H或263H）经最小值选择器36选取，再（由最大值选择器347将其）与不经延迟的运动信号相比较，然后用这些信号较大的一个作为经处理的运动输出信号MOT。

我们发现，纯粹的瞬时递归运动分布能很好地抑制运动后生现象。这是在运动信号处理器340中通过在单元344中使1-H延迟元件343输出端的运动信号延迟另一个场（262H）进行的，这样就产生一个帧的总延迟量。单元345将此帧延迟信号乘上一个小于/的分数（例如15/16）。同时由最大值检测器341选取进来的运动信号用作帧延迟件的输入。这促使某特定象素的运动信号MOT的信号值在运动物体已通过从而使运动“瞬时”分布之后的一段时间内逐渐“消失”（例如减小）。

运动自适应亮度输出信号Y2是借助于均化器360形成的，即由均化器360均化未经延迟和帧延迟的视频信号0-H和525H，由此形成瞬时内插视频信号YT。另一个均化器均化帧延迟存储器320提供的延迟信号262H和263H，形成空间内插视频信号YS。减法器370从瞬时和空间内插信号YT和YS形成差值信号YS-YT。接着，中值滤波器350根据处理器340所产生的运动信号MOT并根据例相器364提供的倒相运动信号（-MOT）对称限幅（或限制）差值信号YS-YT的幅值。接着，将运动限幅差值信号与瞬时均化信号YT混合起来形成内插（或“估计”）输出信号Y2。

和前一个实例一样，对称限幅器可采用不同的形式。例如，可以采用一般形式的三输入端中值滤波器，由这种滤波器每次三对地进行比较，从而提供对应于三输入信号中值的输出信号。但如前面说过的那样，还可以简化到如图3所示的那样只需要进行两次比较，因为事先已知，运动信号MOT总是等于或大于运动信号-MOT。在本实例中，中值滤波器有一个最小值选择器354和一个最大值选择器352，前者选择运动信号MOT和差值信号YS-YT中最小的一个，后者选择倒相运动信号-M和最小值选择器的输出两者中较大的一个。

逐行扫描视频输出信号Your由一对时间压缩电路308和382以及多路转换开关386产生。为确保不内插视频输入信号Y1与内插运动补偿信号Y2之间瞬时对准，由延迟元件322使视频延迟信号延迟一个场。不同插场延迟视频信号Y1和内插运动补偿信号Y2接着分别在压缩电路380和382中以2∶1的压缩因数进行时间压缩。时间压缩之后，经处理的信号借助于多路转换开关386进行交叉，从而提供行频为输入信号的两倍的逐行扫描视频输出信号YOUT，且其中每隔一行对应于视频输入信号，且其中在中间的各行都加以内插并对其进行自适应运动补偿。

在本发明的上述实施例中，我们知道，运动补偿输出信号是这样产生的：先从空间和瞬时内插信号形成差值信号，然后按运动信号的变化对称限幅差值信号，最后将限幅信号与瞬时内插信号混合起来。在图2和图3中举出了本发明这样的两上实例，其中差值信号YT是通过从空间的内插信号YS减去瞬时内插信号YT获得的，输出信号则通过将限幅信号和瞬时内插信号加起来产生的。但本发明并不一定非要按这种作法不可。作可另一个方案，如果用减法器代替输出端的加法器从瞬时内插信号YT减去经限幅的差值信号，也可以从瞬时内插信号YT减去空间内插信号YS。

Claims (5)

1、一种运动自适应视频信号处理系统，包括：

视频源(202)，用以提供瞬时内插视频信号(YT)、空间内插视频信号(YS)和表示运动的信号(MOT)；其特征在于：

电路装置(305)，用以从所述瞬时和空间内插信号形成差值信号(DIFF)，用以根据运动信号(MOT)的变化对称限幅差值信号，并用以将得出的经称限幅的差值信号(Y3)与瞬时内插信号混合起来，从而形成运动自适应输出信号(Y2)。

2、如权利要求1所述的运动自适应视频信号处理系统，其特征还在于：

所述电路装置（350）有一个中值滤波器（252）供对称限幅所述差值信号之用;且

所述中值滤波器的第一输入端是供接收所述差值信号（DIFF）而连接的，第二输入端是为接收所述运动信号（MOT）而连接的，第三输入端是为接收倒相表示运动的信号（-MOT）而连接的，输出端则用以提供所述得出的经对称限幅的差值信号（Y3）。

3、如权利要求1所述的运动自适应视频信号处理系统，其特征还在于：

第二电路装置（214），用以对所述运动信号进行二次取样和瞬时运动分布两者中的至少一种处理。

4、如权利要求1所述的运动自适应视频信号处理系统，其特征还在于，为对称限幅所述差处理系统（DIFF）所述电路装置（350）包括：

最小值选择器（354），用以选择所述差值信号（DIFF）和所述运动信号（MOT）两者是较小的一个;

最大值选择器（352），用以选择所述运动信号的倒相信号（-MOT）和所述最小值选择器所选择的信号两者中较大的一个。

5、如权利要求1所述的运动自适应视频信号处理系统，其特征还在于，所述电路装置包括：

装置（256），用以对所述运动信号（MOT）进行倒相;

装置（254），用以将所述瞬时内插信号和所述空间内插信号相减，形成所述差值信号（DIFF）。

对称限幅器（252），为接收所述差值信号和所述运动信号以提供所述经对称限幅的输出信号而连接;

装置（358），用以将所述瞬时内插信号与所述经对称限幅的信号混合起来以形成所述运动自适应视频输出信号（yest）。

Images