CN1922873A - 通过合并图像的内插与外推来减少图像信号的扫描速率变换中的赝像 - Google Patents

Abstract

本发明涉及图像信号的扫描速率变换的一种方法、设备、计算机程序和计算机程序产品，包括：至少在所述图像信号的第一图像的第一图像区域和所述图像信号的第二图像的第二图像区域之间内插，以获得至少一个内插图像区域；外推所述图像信号的至少一个图像的至少一个图像区域以获得至少一个外推图像区域；并混合所述至少一个内插图像区域和至少一个外推图像区域以获得一个混合的图像区域。所述混合步骤有利地取决于要内插和/或外推的图像区域是不是一个闭塞区域的判决，并取决于至少一个确定的运动矢量的精确度。

Description

通过合并图像的内插与外推来减少图像信号的扫描速率变换中的赝像

技术领域

本发明涉及图像信号的扫描速率变换的一种方法、设备、计算机程序和计算机程序产品。

背景技术

图像信号的扫描速率变换是大量的视频应用领域中需要的。例如，对第二视频标准要求的图像频率采用服从第一视频标准的图像信号的图像频率来说，扫描速率变换是必要的。这个过程通常结合了图像内插。然而，图像内插可能导致内插图像中令人讨厌的赝像。

光晕赝像是在现代的高端电视机中配置的运动补偿扫描速率变换系统中残留的最讨厌的赝像之一。在这些运动补偿扫描速率变换系统中，通过说明了图像信号的两个连续图像之间的像素或像素块的位移的估计的运动矢量从两个原始图像中移动所选的像素，并且在移动后的像素上执行某些线性的(例如，平均)或者非线性的(例如，中值滤波)操作，或者执行它们二者，将一个新的图像内插到两个原始图像中间。光晕赝像主要在执行内插时发生在所谓闭塞区域中，也就是在将要用于内插而且在不可能发生运动矢量估计程序期间不同于在所述两个图像中的图像区域或块的匹配的程度的两个图像中的图像区域中。

当前技术发展水平的扫描速率变换系统在闭塞区域中应用不同的处理以减轻光晕赝像，例如在检测到闭塞区域时，通过用单向图像处理(例如，从将要内插的两个图像之一中提取简单的像素)取代双向内插。例如，国际申请WO 00/11863建议检测一个图像信号的图像中作为闭塞区域标识符的边界的存在，并按照所检测的闭塞区域执行双向或单向处理。

图1示意性地描述了例如在WO 00/11863中使用的当前技术发展水平的扫描速率变换系统。该系统包括一个用于存储已确定的运动矢量的高速缓冲存储器1，一个用于存储当前图像的像素的高速缓冲存储器2和一个用于存储先前图像的像素的高速缓冲存储器3。用新的运动矢量和与扫描速率变换器4操作同步的像素连续地更新这些高速缓冲存储器。例如，可以用在先前图像中定义一个块(例如，由16×16像素组成的一个宏块)并在当前图像中搜索类似块的块匹配算法来粗略地确定运动矢量，其中二维位移矢量则表示运动矢量。当然，也可以应用用于块内物体或包含视频信号的几个图像的更简明的估计技术。随后连续地将已确定的运动矢量和那些来自与块匹配处理中形成的块相关联的先前和当前图像的像素馈送到扫描速率变换器4中，它内插当前和先前像素以获得内插像素，并从先前或当前图像的像素外推以获得外推像素。例如，可以通过用已确定的运动矢量移动来自先前和当前图像的像素，并在其上执行某些线性(例如，平均)和/或非线性(例如，级联式中值滤波)操作来实现内插处理。无论如何，由于得到的内插像素包含来自先前和当前图像二者的信息，所以可以认为内插是双向图像处理技术。相反，外推处理仅依赖来自所述先前和当前图像之一的信息。例如，通过用已确定的运动矢量移动先前图像的像素，只可以在其上执行运动补偿。从而，外推表现为单向图像处理技术。

随后，内插和外推像素馈送到开关5，它选择内插或外推像素作为扫描速率变换系统的最终输出像素。关于要选择内插或外推像素中的哪个的判决基于视频信号图像中闭塞区域的检测，该检测是由基于已确定的运动矢量的闭塞检测例6执行的。如果所述闭塞检测例6确定实际处理的像素所属的图像区域是一个闭塞区域，则为了减少扫描速率变换的图像中光晕赝像量，通过开关5选择外推像素而不选择内插像素。如果判决实际处理的像素所属的图像区域不是一个闭塞区域，则由于在内插非闭塞区域时不太可能出现光晕赝像，开关选择内插像素作为扫描速率变换系统的最终输出信号。

在图1的当前技术发展水平的扫描速率变换系统中应用的诸如外推技术之类的单向图像处理完全取决于已确定的运动矢量域的性质。即使为外推的图像区域确定了一个正确的运动矢量，例如一个图像的背景运动矢量，那么在扫描速率变换的图像信号中，尤其在图像信号中复杂运动的情况下，还是会出现新型的令人厌烦的赝像。实验表明，即使对闭塞区域应用空间模糊滤波器也不能去除这些新型的赝像。

考虑到上面提到的问题，和其它的问题，本发明的目的是提供用以改善图像信号扫描速率变换的一种方法、一种设备、一种计算机程序和一种计算机程序产品。

发明内容

提出了一种图像信号扫描速率变换的方法，包括：至少在所述图像信号的第一图像的第一图像区域和所述图像信号的第二图像的第二图像区域之间内插，以获得至少一个内插图像区域；外推所述图像信号的至少一个图像的至少一个图像区域以获得至少一个外推图像区域；并混合所述至少一个内插图像区域和所述至少一个外推图像区域以获得一个混合图像区域。

所述扫描速率变换方法，举例来说，可以是一种基于像素或子像素的运动补偿扫描速率变换方法，并且为了改变所述图像信号的图像频率，可以应用在多种类型的多媒体设备中，比如电视机、机顶盒、数字和模拟接收机、广播电台、计算机或手持设备。特别地，用于高清晰度电视(HDTV)系统的视频信号的上变换可以用所述扫描速率变换方法实现。因此，所述图像信号可以遵照多种图像或视频标准，举例来说，可以表示根据全国电视系统委员会制式(NTSC)、逐行倒相制式(PAL)或者顺序与存储彩色电视系统(SECAM)标准的电视信号。

所述图像信号通常由一个图像序列组成，它又由图像元素(像素)的行和列组成。所述像素的组形成每个图像内的图像区域，例如像素块。为了确定期望的扫描速率变换的图像信号的图像区域，可以执行内插，其中所述图像暂时位于要变换的输入图像信号的两个给定的图像之间。通常，在每个所述第一和第二图像内只有一个相应的图像区域考虑作内插，产生内插图像区域。或者，完整的第一和第二图像可以考虑作内插。在内插处理中，也可能有利于合并多于两个图像的像素信息。

举例来说可以通过从所述第一和第二图像的相应第一和第二图像区域移位像素对应的运动矢量，并在其上执行某些线性(比如，平均)和/或非线性(比如，中值滤波或级联式的中值滤波)操作来实现内插处理，其中举例来说可以由在第一图像中定义一个图像区域并在第二图像中搜索类似图像区域的块匹配算法来确定所述运动矢量，其中二维位移矢量则表示运动矢量。同样，也可以应用多种包含图像信号的几个图像的更简明的估计技术。从内插图像区域的观点看来，所述内插从而可以设想为双向图像处理技术。

相反，所述图像信号的所述至少一个图像的所述至少一个图像区域的所述外推仅从一个图像中的一个图像区域开始，并无需结合来自所述图像信号的两个图像的像素信息确定所述外推图像区域。例如，在没有运动补偿的方法中，外推像素可以简单地是所述图像信号的所述至少一个图像的一个未处理的像素。在有运动补偿的方法中，可以通过移位所述至少一个图像的像素对应的运动矢量来获得所述外推像素。从外推图像区域的观点看来，外推从而可以设想为单向图像处理技术。所述至少一个图像信号可以和所述第一或第二图像相同，或者表示另外的图像。同样，所述至少一个图像区域可以和所述第一或第二图像区域相同，或者表示另外的图像区域。

所述混合所述至少一个内插图像区域和所述至少一个外推图像区域的步骤举例来说可以用所述至少一个内插图像区域和所述至少一个外推图像区域的加权加法来表示。从而，所述内插图像区域的像素的亮度和/或色度值可以与第一因数相乘，而且因此在相加之前，所述外推图像区域的像素的亮度和/或色度值可以与第二因数相乘。

这种加权加法允许在作为混合图像区域的内插图像区域和作为混合图像区域的外推图像区域之间的无缝淡入淡出，并且非常有助于减少由扫描速率变换器最终输出的混合图像区域中的赝像。例如，如果对识别为闭塞区域的图像区域执行了外推，并且如果该外推以之为基础的已确定的运动矢量是不准确的，那么由于在作为混合图像区域的内插图像区域和外推图像区域之间的简单切换操作，在当前工艺水平的扫描速率变换系统中新型赝像的出现是不可避免的。然而，根据本发明的方法，不仅可以在选择最终输出混合图像区域时在内插图像区域和外推图像区域之间切换，也可以输出包括内插和外推图像区域二者成分的图像区域。在本示例中，从而有可能减少有利于内插图像区域的混合图像区域中外推图像区域的作用。这导致变换赝像的全面缓解，以及变换后图像信号的改善的感知特性。

在混合步骤期间关于加权因数的选择举例来说可以基于评价已确定的运动矢量精确度的标准，或者基于预定的或动态调整的阈值。

根据本发明的方法，可能有利的是，该方法还包括识别所述图像信号的所述图像中的闭塞区域。所述闭塞区域举例来说可以借助运动矢量估计和边界检测来识别。一个图像的剩余区域随后可以识别为非闭塞区域。

根据本发明的方法，可能有利的是，至少部分地依靠所述内插和/或外推的图像区域是否为闭塞区域的判定来执行所述混合的步骤。光晕效果只在对是闭塞区域的图像区域执行内插时发生。因此有利于合并关于内插和/或外推到混合步骤中的图像区域特性的知识。当图像区域是非闭塞区域时，可以以混合图像区域完全由内插图像区域组成而没有任何外推图像区域影响的方式来执行混合。相反，如果图像区域是闭塞区域，那么由于闭塞区域中的内插导致光晕赝像，可能有利于减少有利于外推图像区域的混合图像区域中内插图像区域的作用。

根据本发明的方法，可能有利的是，该方法还包括确定至少一个运动矢量，和关于所述图像信号的至少一个图像的至少一个图像区域的至少一个相关联匹配误差。所述运动矢量描述了目标从图像到图像的移动，例如通过可从第一图像内的图像区域或块中出发并随后在第二图像中搜索类似的图像区域或块的块匹配算法，其中在所述两个图像内的所述图像区域或块之间的二维位移随后可以表示一个运动矢量。对每个已确定的、对应于它描述其位移的图像区域或块的运动矢量，可以计算出匹配误差，其量化已经被所述运动矢量投影时的所述第一图像的所述图像区域或块与第二图像中的图像区域或块之间的差异。

根据本发明的方法，可能有利的是，至少部分地依靠所述至少一个已确定的匹配误差来执行所述混合的步骤。因而，所述混合的步骤有可能依赖有关被内插和/或外推的图像区域是否为闭塞区域的判定，并依赖所述已确定的匹配误差。所述匹配误差举例来说可以作为已确定的运动矢量的精确度的标识符来使用，而在所述混合的步骤中在所述内插图像区域和所述外推图像区域相加之前可以与它们相乘的加权因数可以依赖所述匹配误差。因而，在混合的步骤之后由所述扫描速率变换方法最终输出的混合图像区域中的所述内插和外推图像区域的作用可以适应运动矢量的特性。如果运动矢量是错误的，则增大内插图像区域的作用，而如果运动矢量是精确的，则增大外推图像区域的作用。如果已经断定要被内插和/或外推的图像区域是一个闭塞区域，则这是特别重要的。然而，在混合图像区域中内插图像区域和外推图像区域的作用是可以根据所述匹配误差来调整的，反之，如果断定当前处理的是一个非闭塞区域，混合图像区域可以直接设置为内插图像区域，而无需在混合步骤中考虑匹配误差。

在运动补偿的扫描速率变换系统中，匹配误差的计算是运动矢量估计器的一个整数部分，所以在驱动基于所述匹配误差的混合操作时没有出现了额外的计算复杂性。

根据本发明的方法，可能有利的是，根据绝对差(SAD)之和的标准来确定所述至少一个匹配误差。然后，计算在已经由一个相应运动矢量投射的第一图像的一个图像区域或块内的所有像素与在第二图像中的相应图像区域或块中的像素之间的亮度和/或色度值的绝对差的总和。或者，均方误差(MSE)标准可以应用于匹配误差。

根据本发明的方法，可能有利的是，基于像素、行、块或域并以所述至少一个图像区域的预定模式确定所述至少一个匹配误差。基于行、块或域计算匹配误差，与不得不考虑一个图像区域或块的所有像素的情况比较，可能有利于降低计算复杂性。

根据本发明的方法，可能有利的是，依靠执行的所述混合的步骤，所述至少一个匹配误差对应于一个是非闭塞区域的图像区域。得自闭塞区域的匹配误差可能不准确，所以可能有利于使用来自是非闭塞区域的其它的、可能邻近的图像区域的匹配误差。

根据本发明的方法，可能有利的是，依靠所述非闭塞区域的相应运动矢量和期望的运动矢量之间的差来选择所述非闭塞区域。所述期望的运动矢量举例来说可以是一个背景运动矢量，可以利用摇镜头变焦模式来确定它。然后选择一个不是一个闭塞区域而它的运动矢量接近所述背景运动矢量的图像区域。对应于所述图像区域的匹配误差随后用于混合步骤。

根据本发明的方法，可能有利的是，所述非闭塞区域位于至少一个被内插和/或外推的闭塞区域附近。举例来说，如果所述图像区域识别为闭塞区域，这可能有利于测试在被内插和/或外推的图像区域左边和右边的图像区域。如果这些在左边和右边的图像区域是非闭塞区域，可以确定它们相应的运动矢量并将其与期望的运动矢量进行比较，比如背景运动矢量。随后，对应于与该背景运动矢量最接近的运动矢量的匹配误差用于内插和外推图像区域的混合。

还提出了一种具有可操作以使处理器执行所述方法步骤的指令的计算机程序。所述处理器举例来说可以是一个提供和/或变换所述图像信号的多媒体设备的中央处理器。

还提出了一种包括具有可操作以使处理器执行所述方法步骤的指令的计算机程序的计算机程序产品。

还提出了一种图像信号扫描速率变换的设备，该设备包括：至少在所述图像信号的第一图像的第一图像区域和所述图像信号的第二图像的第二图像区域之间内插，以获得至少一个内插图像区域的装置；外推所述图像信号的至少一个图像的至少一个图像区域以获得至少一个外推图像区域的装置；和混合所述至少一个内插图像区域和所述至少一个外推图像区域以获得一个混合图像区域的装置。

根据本发明的设备，可能有利的是，该设备还包括在所述图像信号的所述图像中识别闭塞区域的装置。

根据本发明的设备，可能有利的是，该设备还包括确定所述图像信号的至少一个图像的至少一个图像区域的至少一个运动矢量和至少一个相关联匹配误差的装置。

本发明的这些和其它的方面将通过参考下文中描述的实施方式被阐明而显而易见。

附图说明

在附图中示出了：

图1.根据现有技术的扫描速率变换系统；

图2.根据本发明的扫描速率变换系统；和

图3.根据本发明的方法的流程图。

具体实施方式

图2示意性地描述了根据本发明的扫描速率变换系统。图2系统的基本结构与图1的现有技术系统相同。但是，在图2的系统中，用混合器7代替了开关5，而且更改了高速缓冲存储器1，以便它现在既包括运动矢量又包括相应的匹配误差。这些匹配误差被馈送到所述混合器例7。

在混合器例7及其输入上，显露了现有技术的扫描速率变换系统和根据本发明的扫描速率变换系统之间的决定性差别。除了由扫描速率变换器4输出的内插及外推像素和来自闭塞检测例6的可以得自运动矢量的关于闭塞区域的信息之外，混合器例7还接收表示已确定的运动矢量精确度的匹配误差信息。

在图3的流程图中示意性地描述了混合器例7的操作。在步骤10，基于来自闭塞检测例6的信息，混合器例7检查当前要扫描速率变换的像素的图像区域是否为一个闭塞区域。如果不是这样，则进行内插而不会导致光晕赝像是可能的，而且在步骤11中，简单地将输出像素设置为内插像素。如果在步骤10中识别图像区域是一个闭塞区域，则在步骤12中混合器例6检查可由高速缓冲存储器1用于所述混合器例6的匹配误差是否低于某个阈值。注意，由于当前图像区域是一个使相应匹配误差非常不准确的闭塞区域的事实，在步骤12中检查的匹配误差不是从当前图像区域得出的，而是从一个识别为非闭塞区域而且其相应运动矢量接近于已确定的背景矢量的邻近图像区域得出的。如果在步骤12中的判定为正，则认为匹配误差低，并且，相应地，假定已确定的运动矢量是准确的，以便在步骤13中能够将输出像素设置为外推像素而不会导致新型的赝像。或者，如果在步骤12中的判定为负，则由扫描速率变换系统输出内插和外推像素的加权和。为了这个目的，在步骤14中从在步骤12中使用的匹配误差得出第一加权因数w_e和w，并且，最终，在步骤15中，将输出像素设置为内插和外推像素的加权和。

已经借助于实施方式说明了本发明。应该注意到，对本领域的技术人员来说有显然的替代方式和变化，而且可以在不脱离所附权利要求的范围和主旨的情况下可以实现它们。特别地，可以应用检测闭塞和内插及外推的不同技术，而且在混合步骤内，可以使用可替换的标准控制在完全由外推像素组成的输出像素和完全由内插像素组成的输出像素之间的淡入淡出。例如，这可以包括均方误差(MSE)匹配误差标准，也包括以像素的行或者像素的一些格栅或者结构为基础计算的所有类型的匹配误差标准，尤其节省计算。取代仅对图像的图像区域执行内插和外推，对整个图像执行它们可能是有利的。很容易看到，不仅是闭塞区域的检测，而且还有导致双向内插的性能降低的其它图像特性的检测，可以在本发明中使用，以指出单向外推可能是有利的。

Claims (15)

1、一种用于图像信号扫描速率变换的方法，包括：

-至少在所述图像信号的第一图像的第一图像区域和所述图像信号的第二图像的第二图像区域之间内插，以获得至少一个内插图像区域；

-外推所述图像信号的至少一个图像的至少一个图像区域以获得至少一个外推图像区域；并且

-混合所述至少一个内插图像区域和所述至少一个外推图像区域以获得一混合图像区域。

2、根据权利要求1的方法，还包括：

-识别所述图像信号的所述图像中的闭塞区域。

3、根据权利要求2的方法，其中所述混合步骤依赖所述被内插和/或外推的图像区域是否为闭塞区域的判决来至少部分地执行。

4、根据权利要求1-3的方法，还包括：

-确定至少一个运动矢量，和关于所述图像信号的至少一个图像的至少一个图像区域的至少一个相关联匹配误差。

5、根据权利要求4的方法，其中所述混合步骤依赖所述至少一个已确定的匹配误差来至少部分地执行。

6、根据权利要求4-5中任意一个的方法，其中所述至少一个匹配误差是根据绝对差之和(SAD)的标准来确定的。

7、根据权利要求4-6中任意一个的方法，其中所述至少一个匹配误差是基于像素、行、块或域并对于所述至少一个图像区域以预定模式确定的。

8、根据权利要求5-7中任一个的方法，其中依靠其执行所述混合步骤的所述至少一个匹配误差对应于是非闭塞区域的图像区域。

9、根据权利要求8的方法，其中所述非闭塞图像区域是依靠其相应的运动矢量和期望的运动矢量之间的差来选择的。

10、根据权利要求9的方法，其中所述非闭塞区域位于至少一个被内插和/或外推的闭塞区域附近。

11、一种具有可操作以使处理器执行权利要求1-10的方法步骤的指令的计算机程序。

12、一种包括具有可操作以使处理器执行权利要求1-10的方法步骤的指令的计算机程序的计算机程序产品。

13、一种用于图像信号扫描速率变换的设备，包括：

-至少在所述图像信号的第一图像的第一图像区域和所述图像信号的第二图像的第二图像区域之间内插以获得至少一个内插图像区域的装置；

-外推所述图像信号的至少一个图像的至少一个图像区域以获得至少一个外推图像区域的装置；和

-混合所述至少一个内插图像区域和所述至少一个外推图像区域以获得一个混合图像区域的装置。

14、根据权利要求13的设备，还包括：

-用以识别所述图像信号的所述图像中的闭塞区域的装置。

15、根据权利要求13-14中任意一个的设备，还包括：

-用以确定所述图像信号的至少一个图像的至少一个图像区域的至少一个运动矢量和至少一个相关联匹配误差的装置。

Images