CN1726516A

CN1726516A - 经改进的基于块平均的图像分段

Info

Publication number: CN1726516A
Application number: CNA2003801059943A
Authority: CN
Inventors: S·赫曼; E·贝尔勒斯
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-12-13
Filing date: 2003-12-05
Publication date: 2006-01-25
Also published as: JP2006510108A; US20060072842A1; AU2003302973A1; WO2004055730A1; KR20050084287A

Abstract

公开了一种用于提高被分段成多个已知大小的块(110，115，120)的视频图像(100)的质量的方法和系统。该方法包括步骤：将一个值与所述各块中的每一个块相关联；和当与所述各块中的一个所选择块相邻的各块的每一个所述相关值都不同于所述选择块的相关值时，改变与所述选择块相对应的所述相关值。当所述块的概率分布大于一个阈值时，所述块的值是第一值，否则将其设置为第二值。

Description

经改进的基于块平均的图像分段

本发明涉及视频处理，具体来说，涉及基于诸如颜色和纹理之类的特征对像素区域进行分类和分段。

公开了一种用于提高被分段成多个已知大小的块的视频图像的质量的方法和系统。该方法包括步骤：将一个值与所述各块中的每一个块相关联起来；以及当与一个所选择块(该所选择块从所述各块中选择)相邻的各块的每一个所述相关值都不同于所述选择块的相关值时，改变与所述选择块相对应的所述相关值。

在附图中：

附图1表示被组织成8×8像素块的图像的一个图段(segment)；

附图2表示按照本发明原理的改良分段方法的一个示范性处理的流程图；

附图3表示按照本发明原理的改良分段方法的第二个示范性处理的流程图；

附图4表示用于执行图2和3中所示的处理的系统。

应当理解，这些附图仅仅用于解释说明本发明的概念，并非意欲限定本发明。附图1到4中所示的和在后附的详细说明中描述的各实施例是要用作解释说明性的实施例，不应将其理解为实现本发明的唯一方式。相同的附图标记(根据需要，可能附有参考文字)用于表示相似的元件。

视频图像(比如电视图像)的分段是这样的处理：其中将图像序列的每一帧再分成区域或图段。每个图段包括一簇像素，该簇像素包含具有共同属性或特征的图像区域。例如，图段可以通过共同的颜色、纹理、形状、幅度范围或者时间变化而区分出来。已经知道若干种采用这样的处理的图像分段方法：在该处理中，由二元判定确定如何对图像进行分段。按照这样的处理，区域内的所有像素要么满足一个用于分段的共同标准并且因此包含在该段中，要么不满足该标准并且被完全排除在外。虽然诸如此类的分段方法对于某些用途是令人满意的，但是对于许多其它的用途而言，它们是无法被接受的。在运动图像序列的情况下，外观、光照或远景的小变化可能仅仅引起图像的整体外观的小变化。不过，应用诸如上面介绍的那样的分段方法倾向于使得应当看起来相同的图像区域在一帧中满足分段标准，而在另一帧中不满足该分段标准。

对图像进行分段的主要原因之一是要对分段出的部分进行增强操作。当按照诸如前面介绍过的那样的二元分段法对图像进行分段时，随后应用的增强操作经常会在图像增强中产生随机变化，一般在分段区域的边缘产生所述随机变化。在运动序列中，这样的随机变化代表令收看者不悦的干扰伪像。电视机中的图像增强包括全局和局部方法。虽然局部增强方法是公知的，但是它们目前是由全局参数控制的。例如，边缘增强算法可适用于局部边缘特性，但是支配该算法的参数(即，滤波器频率特性)是全局的所应用的增强操作对图像的所有区域是相同的。使用全局参数限制了可应用于任何给定图像的最有效的增强。如果可以对该算法进行训练以识别在图像的不同图段中所展示的特征、并且因此使得对于每种类型的图像特征来说最优的图像增强算法和参数能够被动态选择，则就可获得改良的增强。

不过，对于现有技术的一个原理性问题是，它本质上是基于像素的。由于图段内诸如颜色和亮度之类的特征从像素到像素可能会发生明显变化，所确定的图段概率函数可能包括显著的“像噪声的”指示项(indicator)。当输入视频信号也包括噪声时，结果得到的图段概率函数变得更加像噪声。减少概率分布中的像噪声的指示项的一种方法是使用低通滤波器对其进行处理。不过，这样的处理具有除掉图像的图段中的纹理的不理想副作用。

因此，需要一种用于在保留图像纹理的同时减小所确定的图段概率函数中的噪声的影响的方法和系统。

我们知道，视频图像可能具有可被识别为具有基本上相同的特征(如颜色、亮度、纹理等)的显著区域或图段。例如，图像的图段可以包含与天空有关的信息，即蓝颜色、光滑纹理。同样地，草地可以通过其绿颜色和半光滑纹理来识别。在共同转让、共同未决的相关专利申请序列号＿＿和共同转让、共同未决的相关专利申请序列号＿＿(它们公开了为所识别的每个这样的图段确定概率函数)中，更加完整地讨论了对视频图像的区域或图段的这种识别。

附图1表示被识别为具有相似的颜色、纹理或亮度的图像图段的一部分的像素单元视图100。将会理解，本发明的原理可以应用于视频图像帧中确定的每个图段。在该示范性图解说明中，将任意选择的图段中的像素单元组织成了8×8的像素单元块。将会意识到，虽然是针对8×8像素单元块对本发明进行讨论的，但是块的大小可以是任何大小或任意的像素单元数量，比如7×7、9×9、16×16等。传统上，块大小是使用2的幂选择的，即8×8、16×16、32×32等，因为这样做能够通过简单的二进制移位(即，除以2的幂)实现从一种块大小到另一种块大小的变换。

而且，应当理解，块大小并非必须像所示的那样是对称的，而是可以在长度或宽度方向上包含任何数量的像素单元。仅仅为了清晰说明和讨论本发明的目的，将所选择图段的图像像素单元分组成8×8块，表示为块110-180。

附图2表示按照本发明原理的一个示范性处理200的流程图。在这个示范性处理200中，在方框210中，将像素单元组织成块，比如附图1中所示的那些块。在方框215中，使用公知的平均或加权函数，对为块中的每个像素计算的概率函数进行平均或加权。在方框220中，将与每个块相关的概率函数的平均或经加权的值与一个阈值进行比较。当块的概率函数的平均值大于该阈值时，在方框225中，将第一新值与该像素块关联起来。不过，当块的平均值小于该阈值时，则在方框230中，将第二新值与该像素块关联起来。例如，当块的平均或经加权的概率函数值大于阈值时，可以将逻辑1与该块关联起来，而当块的平均或经加权的概率函数值小于阈值时，可以将逻辑0与该块关联起来。类似地，可以将第一新值选择为逻辑“0”，而将相应的第二新值选择为逻辑“1”。

按照本发明的一个优选方面，可以将阈值确立为块中的视频信号噪声比(SNR)的函数。表1列出了在0到255的刻度上的示范性阈值和SNR值，其中255是最大值。

SNR	阈值
SNR	阈值	20dB	67
26dB	112	20dB	67
26dB	112	32dB	130

表1

图3表示按照本发明原理的用于改善图像分段的一个示范性处理300的流程图。在这个示范性处理中，在方框310中选择一个像素块。在方框320中，选择一个相邻像素块。在方框330中，选择下一个/后续像素块。在方框340中，确定与所选择的各相邻像素块相关联的值是否基本相同。如果答案是否定的，则对所选择像素块的处理完成。

不过，如果答案是肯定的，则在方框350中选择下一个/后续相邻像素块。在方框360中，确定与在方框310中选择的块相邻的每个像素块是否都已经被处理。如果答案是否定的，则确定所选择的下一个/后续块的值是否与之前在方框340中选择的相邻块基本相同。所述处理如前所述那样继续进行。

不过，如果在方框360中答案是肯定的，则在方框370中确定在方框310中选择的块的值是否与在方框320中选择的相邻块的值基本相同。如果答案是肯定的，则对在方框310中选择的块的处理完成。不过，如果答案是否定的，则将在方框310中选择的块的值改变为与在方框320中选择的相邻块的值相一致。由此，消除了与所选择块相关的异常值，并且使其与各相邻块的值相当。

例如，与逻辑0值相关联的块的所有相关的相邻像素块可能全部具有相反的逻辑1值。在这种情况下，通过将与异常的逻辑0值相关联的块的相关值设置为与所有的相邻块相关值相似的逻辑1值，而“去除”该异常的逻辑0值。同样，如果具有孤立的逻辑1值的块由与逻辑0值相关的块包围，则通过将该值设置为逻辑0而去除该异常的逻辑1值。

回过头来再看附图1，例如，当与块110、115、120、135、125、140、145和150中的每一个相关的值都基本相同并且不同于与块130相关的值时，可以改变与块130相关的值。

按照本发明的一个方面，与每个块相关的值可以用于控制要对该块中的每个像素进行的处理。例如，可以执行的像素级处理的一种形式是，确定在对块内的每个像素的处理过程中是否必须要打开噪声滤波器。这种方法可以很好地把握减少图像噪声和保持适当的纹理信息之间的平衡。按照另一个方面，与每个块相关的值可用于控制处理的形式，诸如不同于其它区域地修改区域的边缘锐度或颜色。

附图4表示可用于实现本发明原理的系统400的示范性实施例。系统400可以代表电视发射或接收系统、桌上型、膝上型或掌上型计算机、个人数字助理(PDA)、视频/图像存储设备(比如卡带式录像机(VCR)、数字录像机(DVR)、TiVO设备等)以及这些和其它装置的部分或组合。

系统400可以包含一个或多个源410，这些源410经由一个或多个网络420与处理器系统401进行通信。处理器系统401然后进一步经由网络440与一个或多个电视显示器450或监视器460进行通信。处理器系统401可以包含一个或多个输入/输出装置402、处理器403和存储器404，其可以访问一个或多个包含视频图像的源410。源410可以存储在永久性或半永久性介质中，比如电视发射机或接收机、VCR、RAM、ROM、硬盘驱动器、光盘驱动器或其它视频图像存储装置、包含模拟或数字图像的实时显示器。或者也可以通过一个或多个用于通过例如全球计算机通信网络(比如因特网)、广域网、城域网、局域网、地面广播系统、有线网络、卫星网络、无线网络或者电话网络以及这些或其它类型网络的部分或组合从一个服务器或多个服务器接收视频的网络420连接来访问源410。

输入/输出装置402、处理器403和存储器404可以通过通信介质406进行通信。通信介质406可以代表例如总线、通信网络、电路、电路卡或其它设备的一个或多个内部连接以及这些或其它通信介质的部分和组合。来自源410的输入数据依据一个或多个可以存储在存储器404中并且由处理器403执行的程序加以处理。处理器403可以是任何装置，比如通用或专用计算系统，或者可以是硬件配置，比如膝上型计算机、台式计算机、手持式计算机、专用逻辑电路、集成电路、可编程阵列逻辑(PAL)、特定用途集成电路(ASIC)等，其响应于已知的输入提供已知的输出。

按照一种实施例，采用本发明原理的编码和解码可以通过由处理器403执行的计算机可读代码来实现。该代码可以存储在存储器404中或者从诸如CD-ROM或软盘(未示出)之类的存储介质中读取/下载。按照另一种并且是优选的实施例，可以使用硬件电路代替或结合软件指令来实现本发明。例如，本文所示出的元件也可以被实现为分立硬件元件或适于执行代码的可编程装置。

在对输入数据进行了处理之后，处理器403可以使得经过处理的数据得以经由网络470发送到电视显示器480或监视器490。将会意识到，网络420和440可以是各部件之间的内部网络(例如ISA总线、微通道总线、PCMCIA总线等)，或者是外部网路(比如局域网、广域网、POTS网络或因特网)。

按照本发明的一个方面，术语计算机或计算机系统可以代表与一个或多个存储器单元和其它装置(例如外围设备)进行通信的一个或多个处理单元，所述处理器单元和其它装置(例如外围设备)与至少一个处理单元电连接并且与之进行通信。而且，这些装置可以通过内部总线(例如ISA总线、微通道总线、PCI总线、PCMCIA总线等)或者电路、电路卡或其它装置的一个或多个内部连接以及这些和其它通信介质或外部网络(例如因特网和内联网)的部分或组合而与一个或多个处理单元电连接。

Claims

1.一种用于提高被分段成多个块(110，115，120)的视频图像(100)的质量的方法，该方法包括以下步骤：

将一个值与所述各块中的每一个块相关联；和

当与所述各块中的一个所选择块相邻的各块的每一个所述相关值都不同于所述选择块的相关值时，改变与所述选择块相对应的所述相关值。

2.按照权利要求1所述的方法，其中，当所述块的概率分布大于一个所选择阈值时，所述块的相关值是第一值(225)，否则所述块的值为第二值(230)。

3.按照权利要求2所述的方法，其中，所述块的概率分布(215)代表与所述块中的每个像素相关的概率分布的平均。

4.按照权利要求2所述的方法，其中，将所述阈值选择为所述块的概率分布的一个百分比。

5.按照权利要求2所述的方法，其中，所述阈值与所述块中的信号噪声比相关。

6.一种用于提高被分段成多个已知大小的块(110，115，120)的视频图像(100)的质量的系统，包括：

用于将一个值与所述各块中的每一个块相关联的装置；和

用于实现这样的操作的装置：当与所述各块中的一个所选择块相邻的各块的每一个所述相关值都不同于所述选择块的相关值时，改变与所述选择块相对应的所述相关值。

7.按照权利要求6所述的系统，其中，当所述块的概率分布大于一个所选择阈值时，所述块的相关值是第一值(225)，否则所述值为第二值(230)。

8.按照权利要求7所述的系统，其中，所述块的概率分布代表与所述块中的每个像素相关的概率分布的平均。

9.按照权利要求7所述的系统，其中，将所述阈值选择为所述块的概率分布的一个百分比。

10.按照权利要求9所述的系统，其中，所述阈值是与所述块中的信号噪声比相关地选择的。