CN1647539A - 低速率应用的数字图像处理方法 - Google Patents

Abstract

本发明涉及一种处理包含数据块的数字图像(30)的方法，该方法包括确定同类区域的步骤(31)，该区域包括两个相邻块(Bj，Bk)，这两个相邻块(Bj，Bk)的连续成分(Lj，Lk)相差一个比预定阈值小的值。该方法也包括确定将被修正的图段(Sjk)的步骤(32)，该图段包括位于分隔两个相邻块的边界任一侧的一组初始数据。该方法最后包括用一组已修正的数据 (S′jk)来替换将被修正的图段中的这组初始数据的步骤(33)，该组已修正的数据随机选自各种可能的已修正数据组(34)，已修正数据组的均值基本上等于两相邻块的连续成分的均值。

Description

低速率应用的数字图像处理方法

技术领域

本发明涉及一种处理包含数据块的数字图像的方法，该方法包括确定同类区域的步骤，所述区域包括两个相邻块，这两个相邻块的连续成分相差一个比预定阈值小的值，该方法还包括确定将被修正的图段的步骤，该图段包括位于分隔两个相邻块的边界的任一侧的一组初始数据。

本发明也涉及实现该图像处理方法的处理设备。

特别地，本发明可应用于低速率视频编码领域。编码技术基于例如H.26L标准或同等标准，由于数字图像序列是以数据块的形式先编码再解码，本发明允许对已解码的数据块进行修正，以便削弱由于块编码技术而导致的视觉伪痕。因此，本发明可被方便地结合到诸如移动电话或个人数字助理之类的便携设备中。

背景技术

随着因特网和便携设备的蓬勃发展，通过移动网络而为低速率和实时应用传输视频数据的必要性已经展露出来。编码技术已在诸如MPEG-4或H.26L标准之类的应用中实现，这些技术基于离散块变换方法。块效应的修正技术同时也得到了发展，更准确地说致力于低速率以便修正由于基于块编码技术导致的块伪痕。

传统的修正方法并不总是有效，这在均匀的和适度对比的区域更加显著。这个发现是基于图1的。该图给出了一个参考函数f，它描述了观察者观察到的最小亮度的差值ΔL，可作为图像区域的平均亮度AvgL的函数，所述区域实际上等同于例如由一对相邻块所覆盖的表面。如果亮度被设置在0和Lmax＝255之间，对于平均亮度单位L0大约等于70的情况，该函数可通过的最小值ΔL0大约等于1个或2个单位。这个函数f在H.R.Wu和M.Yuen的文章“A generalizedblock-edge impairment metric for video coding”中得到更精确的描述，该文章1997年11月发表在IEEE Signal Processing Letters的第四卷第11期的317-320页。因此对于抑制这种类型视觉缺陷的滤波证明是没用或者几乎是没用的。

国际专利申请WO 2001/58169(内部参考号PHFR000011)公开了一种削弱此类视觉缺陷的图像处理方法。为此，它包括以下步骤：

——输入图像数据的低通滤波，例如线性滤波，

——确定将被修正的图段，该图段包含一组已滤波的数据，它位于分隔相邻块的边界的任一侧，

——通过向已滤波数据加入至少1比特的随机二进制数来修正，该滤波数据属于将被修正的图段。

随机二进制数的加入等价于一种变化噪声，它可以减少块伪痕的可见度，这是因为相对于后面紧随的将被修正的图段，增加的噪声通常不同于当前将被修正的图段。然而，由于噪声生成的总的随机特性，现有技术的方法有时证明是无效的。

发明内容

本发明的目的是提出一种更有效的数字图像处理方法。

实际上，通过现有技术的方法可随机生成许多噪声组合，例如在将被修正的图段包括4个初始数据并加入1比特二进制数的情况下，会产生16种组合。某些组合是不必要的，但不是说证明是无效的。

因此，根据本发明的数字图像处理方法的特征在于它还包括一个替换步骤，用一组已修正的数据来替换将被修正的图段中的初始数据，该组数据是从各种已修正的数据组中随机选出的，一组已修正数据的平均值实际上等于两个相邻块的连续成分的平均值。

因此，仅仅符合已修正数据组的平均值基本上等于两个相邻块连续成分的平均值的特征的组合被保留下来。在将被修正图段包含4个初始数据并且相邻块之间有1个亮度单位的差别的情况下，从可能的16个组合中仅仅5个被保留下来。与现有技术相反，用这样的组合替换将被修正图段的初始数据的事实并不人为地向图像内容中增加额外的缺陷，而现有技术中的随机二进制数可以给出一个已修正图段的数据值，该值比两个块的连续成分的差值还高，结果导致这组已修正数据的平均值很少等于两个相邻块的连续成分的平均值。

这样的措施使上述方法格外简单和有效，当考虑到与某组已修正数据的平均值有关的标准时，该方法中与各种已修正数据组对应的各种组合可以预先储存在内存中或随机产生。

本发明也涉及解码方法，包括这种数字图像处理方法和实现该解码方法的视频解码器。

本发明也涉及编码方法，包括这种数字图像处理方法和实现该编码方法的视频编码器。

最后，本发明涉及实现这种已发明的数字图像处理方法的计算机程序产品。

附图说明

通过以下描述的实施例，本发明的上述或其他方面将会以非限定举例的方式体现和阐明。

在这些图中：

——图1示意出一个用来描述最小亮度值差别的函数，由观察者观测到的该亮度值可作为图像区域的平均亮度的函数，

——图2示出了一对相邻块，

——图3示出了依照本发明的数字图像处理方法的框图，

——图4示出了符合本发明用法的各种可能的已修正数据组，

——图5示出了依据本发明的优选实施例的完整数字图像处理方法的框图，

——图6示出了一个子块，它被认为是位于某个块内，用来在分级步骤中选择类别，

——图7示出了类别对和作为降级测量函数的滤波器之间的联系，

——图8示出了四个平滑滤波器，它们通过依照本发明的数字图像处理方法，以有利的方式得到应用，

——图9示出了解码方法的框图，它包括了依照本发明的数字图像处理方法，以及

——图10示出了编码方法的框图，它包括了依照本发明的数字图像处理方法。

具体实施方式

本发明涉及一种依据基于块的编码技术来处理数字图像序列编码和解码的方法，它尤其适用于低速率和实时的应用。在我们的例子中，所使用的编码技术是H.26L标准，但也可以是MPEG-4标准或其他同等标准。将可看出，该方法也可用于例如根据JPEG标准编码的固定图像。

这种基于块编码的技术把数字图像分割成块。在H.26L标准的情况下，上述的块是4行，每行4个象素。在编码过程中随后对上述块进行频率变换。在H.26L标准和大多数传统技术的情况下，这就是离散余弦变换(DCT)。在解码过程中，块效应可以沿着块的边界显现出来。块效应类似于一个边缘，但它并不真实存在于图像本身的内容之中。特别地，本发明的目的是在亮度差值非常低时，消除位于块边界的这些“错误”边缘，但是，在对数字图像格式进行某些处理后或依靠上述图像的亮度类别，这些“错误”边缘在某些观察条件下仍然是可以被观察到的，例如在具有高清晰度的屏幕上。

我们假定象素p的一对相邻块Bj和Bk分别具有预定的平均亮度值Lj和Lk，如图2所示亮度差值为ΔL。如果两个块中每一个都是均匀的，那么亮度差值也是两个块之间的精确值。在近似均匀块的情况下，它也可以是两个块的平均亮度值的差值，如果要节省计算资源，它也可以是两个块的最小或最大差值。

图3描述了依据本发明对数字图像Im处理的方法。该方法包括：

—确定同类区域的确定步骤HBD(31)，该区域包括两个相邻的块Bj和Bk，它们的连续亮度成分Lj和Lk相差一个低于预定的阈值的值，在我们的例子中该值等于一个或两个亮度单位，也就是说：

L_j＝L_k±1  或  L_j＝L_k±2，

—确定将被修正图段Sjk的确定步骤CAD(32)，该图段包括位于分隔相邻块的边界任一侧的一组初始数据；在图2所示例子中，它是指具有4个象素的图段，其中2个象素在边界的任一侧，

——替换步骤RPL(33)，它把将被修正图段中的初始数据替换为已修正数据L′1到L′4组成的组S′jk，该组从已修正数据PAT(34)的各种可能的组中随机选取。已修正数据L′1到L′4的组的平均值M等于两相邻块的连续成分的平均值，也就是说：

M＝(L′1+L′2+L′3+L′4)/4＝(Lj+Lk)/2。

已修正数据L′1到L′4最好连续位于亮度值Lj和Lk之间。

该替换步骤计划被施加打牌将被修正的各种图段上，它们覆盖了两个相邻的块，在H.26L标准的情况有4个这种的图段。已修正图段S’jk可从各种随机组合中随机选取。每个已修正图段不同于它后面或紧靠在它前面的图段的概率很高，这导致更多地消除了初始出现的块伪痕的事实。

图4描述了与本发明的实施过程相应的各种可能的已修正数据组，这就是说，对于将被修正的4象素图段具有五种组合，而且亮度差值ΔL等于1。对于前4个组合(41-44)，块边界任意一侧的每半组的已修正数据的平均值等于两个相邻块的连续成分的平均值。第5种组合(45)与另一组合相对应，其可以被设想为已修正数据组的平均值等于两个相邻块的连续成分的平均值。

根据本发明的图像处理方法可用于水平和垂直相邻块的情况。它通常跟随在一个低通滤波器的步骤后面，例如线性滤波，这种滤波对于修正相邻块之间的亮度差有一个或两个亮度单位的情况是无效的。下面讨论了完整的图像处理方法，其包括根据本发明的图像处理方法和一个特别简单且有效的滤波方法。然而，对于熟悉这种技术的人员来说，本发明并不限于这种滤波类型。

因此，上述处理方法可被整合为如图5所示的完整的图像处理方法。这种方法在尚未公开的法国专利申请02 00487中进行了更详细描述，它包括下述步骤。

首先给出了解码后的数字图像Im，它是降级估计步骤DEGR(51)的输入，该步骤发出数字图像Im的降级测量DM。降级测量DM对应于例如数字图像量化步骤的值，或者也对应于作为由所用的编码技术得知的特征函数而得到的所述量化步骤的实际修正值。

接下来是基于降级测量DM的滤波器判断步骤DEC(52)。对于图像Im的一对相邻块(Bj，Bk)和降级测量DM，该步骤用以判断是否需要一个滤波器步骤。例如根据下述准则对是否需要滤波器进行判断：

——如果块Bj和Bk之间的最大亮度差值小于1.5倍的降级测量DM，则对滤波器的判断为肯定的(y)。此时可以认为不存在真实边缘。

——如果不成立，则判断为否定的(n)。此时，对于与不需要滤波的自然轮廓相对应的真实边缘，块之间的最大亮度差值可认为是足够高的。

与降级估计步骤DEGR(51)和滤波器判断步骤DEC(52)相平行，图像Im一块接一块地传送到分类步骤CLASS(53)。分类步骤CLASS(53)与块B相联系，类别C1i是从一组规定的类别中选出的，在我们的例子中是指C11到C14 4个类别。

——如果满足下述条件|m₁-m₂|＜S，则块B属于同类类别C11，这里m|＝max{α_pq}_{p＝1…P-2，q＝1…Q-2}和m2＝min{α_pq}_{p＝1…P-2，q＝1…Q-2}。

也就是，m1是在图6中定义的子块SB的系数α_pq中的最大值，其没有包含块B以外的图段，块B包含P行，每行Q个像素，m2是子块SB的系数α_pq中的最小值，S是阈值，例如在我们的例子中S等于3。

——对于子块SB的任意行p，p＝1到P-2，如果满足|m1-m2|＜S，则块B属于行类别C12，这里m1＝max{α_pq}_q＝1…Q-2和m2＝min{α_pq}_q＝1…Q-2。

也就是，m1是子块SB的第p行系数α_pq中的最大值，m2是子块SB的第p行系数α_pq中的最小值。

——对于子块SB的任意第q列，q等于1到Q-2，如果满足条件|m1-m2|＜S，则块B属于列类别C13，这里m1＝max{α_pq}_p＝1…P-2和m2＝min{α_pq}_p-1…P-2。

也就是，m1是子块SB的第q列的系数α_pq中的最大值，m2是子块SB的第q列的系数α_pq中的最小值。

——如果上述条件都不满足，则块B属于阴影线类别C14(hatchedclass)。

从这一阶段开始，不再考虑独立的块，而是考虑水平和垂直相邻的块对。与一对类别(Clm，Cln)相联系的一对相邻块(Bj，Bk)可随后由滤波器选择步骤SEL(54)进行处理。该滤波器选择步骤SEL(54)提供用于一对相邻块(Bj，Bk)的滤波器F1。基于预定模型MOD(55)，滤波器F1的选择可作为类别对(Clm，Cln)和数字输入图像Im的降级测量DM的函数来进行，预定模型MOD(55)如图7所示把类别对和滤波器联系了起来，这里F0对应于不滤波所述块对。

然后相邻块对(Bj，Bk)和与其相关的滤波器F1可作为滤波器步骤FILT(56)的输入，该滤波器步骤输出一对已滤波的相邻块(B’j，B’k)。在我们的例子中应用了4个滤波器F1到F4。它们是低通、线性滤波器，被用在垂直或水平方向。如图8所示。

接下来这对已滤波的相邻块(B’j，B’k)进行图3所描述的数据处理步骤(30)，以便消除在适当对比的均匀区域中可视块的小缺陷。

在对已解码数字图像Im的块和块对进行处理后，依据本发明的方法输出滤波后的解码数字图像ImF。

图9说明了视频解码器的操作，该视频解码器适合产生解码数字图像，并包括一处理设备，该设备利用了根据本发明的完整的数据处理方法。

该视频解码器包括：

——编码数字数据ES的变长解码装置VLD(91)，它适合产生量化数据，

——量化数据的反量化装置IQ(92)，它适合产生已变换数据，

——逆频率变换设备，在我们的例子中是数据的逆离散余弦变换IDCT(93)，它对数据进行如前所述的逆变换。

由于图像存储器MEM(95)，解压缩设备还包含了对数据块逐块进行的图像重构步骤REC(94)。最终它包括数据处理设备COR(96)，该设备利用了根据本发明的处理方法。上述设备适合于处理重构的数字图像块，以便产生适合在屏幕DIS(97)显示的已处理的数字图像。

图10说明了视频编码器的操作，该视频解码器适合于以数据块的形式接受数字图像IN，以及包括在编码循环中的逆频率变换设备，在其后面为数据处理设备，后者利用了本发明的整个数据处理方法。

该视频编码器(100)包括：

——直接频率变换设备，如前所述，这里是利用直接离散余弦转换DCT(101)对数字视频数据进行变换，

——已变换数据的量化装置Q(102)，适合产生量化数据，

以及

——量化数据的变长编码装置VLC(103)，适合产生编码数据ES。

它也包括了包含一系列组合的预测单元：

——量化数据的反量化装置IQ(104)，适合产生变换数据，

——变换数据以及如前所述的逆变换数据的逆离散余弦变换设备IDCT(105)，

——数据加法器，这些数据来自变换设备IDCT和运动补偿设备MC(106)，

——利用根据本发明的处理方法的处理设备COR(107)，适合处理来自加法器输出端的解码数据块，以便为图像存储器MEM(108)提供已处理的数据块，

——图像存储器MEM(108)，适于存储运动补偿设备MC(106)所使用的图像以及运动估计设备ME(109)所产生的运动向量，以及

——减法器，适于从输入的数字视频数据IN中减去来自运动补偿设备的数据，减法器的结果输入到变换设备DCT。

也可认为处理设备COR(107)被嵌入到逆离散余弦变换设备IDCT(105)和加法器之间，这种处理是对差信号有效而对重构信号无效。

应用本发明处理方法的处理设备因此可以在编码质量和输出速率方面提高视频编码器的性能。而且，以级联组合的方式连接图10所示的视频编码器和图9所示的视频解码器，可以获得出色的图像质量，这比标准视频编码器级联图9所示的视频解码器，或图10所示的视频编码器级联标准视频解码器所得到的质量好的多。

在视频解码器电路或视频编码器电路中实现根据本发明的处理方法是可能的，上述电路应被适当设计。包含在程序存储器中的计算机程序可以使得这些电路执行较早参考图3或图5所述的各种操作。计算机程序也可以通过读取数据载体的方式加载到程序存储器，例如通过读取包含上述程序的磁盘。该读取步骤也可以通过通信网络实现，例如因特网。此时，服务提供商以可下载信号的形式向感兴趣的用户提供这些计算机程序。

上述论述中，在括号内没有提及的符号以限制方式进行了解释。动词”包括”及其变化形式也应以更广的含义解释，也就是说，既不排除存在除了该动词之后列出的元素或步骤之外的其他元素或步骤，也不排除在该动词之后列出并被冠以“一”或“一个”的多个元素或步骤。

Claims (9)

1.一种处理由数据块组成的数字图像的方法，该方法包括：

——确定(31)同类区域的步骤，该区域包括两个相邻块(Bj，Bk)，这两个相邻块(Bj，Bk)的连续成分(Lj，Lk)相差一个比预定阈值小的值，

——以及确定(32)将被修正的图段(Sjk)的步骤，该图段包括一组位于分隔相邻块的边界的任一侧的初始数据，其特征在于所述方法还包含用一组已修正数据(S’jk)来替换将被修正的图段的初始数据的步骤，该组随机地选自已修正数据(34)的各种可能的组，已修正数据组的平均值应基本上等于两个相邻块的连续成分的平均值。

2.根据权利要求1所述的处理方法，其特征在于，替换步骤打算被用于将被修正的各种图段，该图段覆盖了两个相邻块。

3.根据权利要求1所述的处理方法，其特征在于，一个已修正数据组的一半的平均值基本上等于两个相邻块的连续成分的平均值。

4.一种解码方法，用于产生已解码的数字图像，该方法包括如权利要求1至3之一所述的处理方法，用于处理已解码的数字图像，以便产生处理后的数字图像。

5.一种以数据块的形式对数字图像进行编码的方法，包括逆频率变换步骤，该步骤后是如权利要求1至3之一所述的处理步骤，该方法适合于处理来自逆频率变换步骤的已解码的数据块，以便产生处理后的数据块。

6.一种视频解码器，适合于产生已解码的数字图像，其包括应用如权利要求1至3之一所述处理方法的处理设备，适于处理已解码的数字图像，以便产生处理后的数字图像。

7.一种视频编码器，适于以数据块的形式接收数字图像，包括逆频率变换装置，该装置之后是应用了如权利要求1至3之一所述处理方法的处理设备，适于处理来自逆频率变换设备的已解码的数据块，以便产生处理后的数据块。

8.一种便携设备，包括如权利要求7所述的视频解码器，用于在该设备的屏幕上显示已处理的数字图像。

9.一种计算机程序产品，包括一组指令，当它们被加载到电路中时，该组指令可以使所述电路执行如权利要求1至3之一所述的处理数字图像的方法。

Images