CN1449196A

CN1449196A - 低比特率应用的数字图像处理方法

Info

Publication number: CN1449196A
Application number: CN03120603A
Authority: CN
Inventors: J·荣
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-03-29
Filing date: 2003-01-13
Publication date: 2003-10-15
Also published as: JP2003304537A; US20030185451A1; US7123776B2; EP1359547A3; KR20030078633A; EP1359547A2

Abstract

本发明涉及含有像素块的数字图像处理方法，所述方法包括检测两个邻接块(Bj，bk)之间的仿真块的检测步骤(41)，和过滤邻接块对的过滤步骤(43)。根据本发明的方法还包含过滤确定步骤(42)，基于两个邻接块的像素亮度值和参考函数的比较，所述参考函数表示可由观察者看到的最小亮度差值是图像区域的平均亮度的函数，以确定块之间的亮度差对观察者是否可见。

Description

低比特率应用的数字图像处理方法

技术领域

本发明涉及包含像素块的数字图像处理方法，所述方法包括检测两个邻接块之间的仿真块(blocking artifact)的步骤和过滤邻接块对的步骤。

本发明还涉及实现这种图像处理方法的处理设备。

本发明主要应用于低比率视频编码领域。编码技术基于例如H.26L标准或等同的标准，该标准是数字图像序列先被编码，然后以数据块形式译码，本发明可以校正译码的数据块以减少由基于块编码技术引起的视觉假象。因此本发明可以方便地与便携式设备如移动电话或数字个人助理集成。

背景技术

随着因特网和便携式设备的急速发展，有必要通过用于低比特率和实时应用的移动网络传送视频数据。编码技术已实现这种应用，如MPEG-4或H.26L标准，这些技术以基于块的离散变换为基础。由于基于块的编码技术，校正块效应更特别专用于低比率以校正仿真块的校正技术已同时发展。

在MPEG-4标准中实现译码的数字图像的后处理技术在国际标准组织ISO/IEC JTC 1/SC 29/WG 11，题名“Technologie de l’information-Codage desobjects audiovisuels-Partie 2：Visuel”，N3056，454-56页，2000年1月31日出版的文件中有说明。其目的在于校正在MPEG-4标准编码和译码的数字图像中可能出现的块效应。图1示出了这一后处理技术，包括以下步骤：—数字图像Im的衰减评估步骤DEGR(11)，在输入端接收所述数字图像Im并提供该图像的衰减量度DM，—分类步骤CLASS(12)，在输入端接收所述数字图像Im的两个邻接块(Bj，bk)的行或列像素段S(j，k)，并从一组包括两个可能的类即均匀类C1和构造类C2中分配一个类Ci到那里，—过滤步骤FILT(13)，在输入端接收行或列像素段S(j，k)，作为衰减量度DM的函数，若段S(j，k)为类C1，则借助滤波器F1，若S(j，k)为类C2，则借助滤波器F2来提供或不提供过滤的段S’(j，k)。

分类和过滤步骤CLASS(12)和FILT(13)应用于两个邻接块的行或列像素段，并因此在数字图像Im的行和列段的扫描环路(14)中实现。只要扫描完成，就可以获得过滤的数字图像ImF。

该图像处理方法的一个主要缺点在于其复杂度，虽然数量级与其它竞争性的技术相同，但仍禁止实时和低比特率的特定应用，例如对移动终端的应用。

发明内容

本发明的目的是提出一种相对有效的低复杂的数字图像处理方法。

为此目的，本发明的数字图像处理方法的特征在于，作为两个邻接块的像素亮度值和参考函数的比较函数来应用过滤步骤，参考函数表示对观察者可见的最小亮度差值是一个图像区域的平均亮度的函数。

两个邻接块的亮度值和参考函数的比较具有确定两个块之间的亮度差对观察者是否可见的作用。若不可见，则过滤该邻接块对是无用的。本发明与现有技术方法相比，可以减小数字图像处理方法的复杂性，只过滤先验可见的仿真块，从而减少要执行的过滤操作的数目。本发明保留现有技术的有效性，特别精确采用了参考函数。

本发明还涉及含有这种数字图像处理方法的译码方法和实现该方法的视频译码器。

本发明还涉及含有这种数字图像处理方法的编码方法和实现该方法的视频编码器。

本发明还涉及执行根据本发明的数字图像处理方法的计算机程序，和要传送的信号。

根据本发明提供的降低处理方法的复杂度可以在计算资源低的便携式设备、移动电话类或数字个人助理设备中实现。对于这种应用，现有技术提出的处理方法在显示数字图像序列时会消耗大约50％的计算资源。使用根据本发明的数字图像处理方法，该比例减小很多，并允许具有耗电更少的便携式设备。

附图说明

参考以下描述的实施例，通过非限制性的实例，将对本发明的这些和其他方面进行阐述。

在附图中：

图1是根据现有技术的数字图像后处理方法的框图；

图2表示对观察者可见的最小亮度差值是一个图像区域的平均亮度的函数的函数；

图3示出两个邻接块之间的边界；

图4是根据本发明的数字图像处理方法的框图；

图5是根据本发明的最佳实施例的数字图像处理方法的框图；

图6表示在一个块中的子块，用于在分类步骤中选择一个类；

图7表示类对和滤波器的组合是衰减量度的函数；

图8表示4个平滑滤波器，可以以一种有利方式由本发明的数字图像处理方法所使用；

图9是含有根据本发明的数字图像处理方法的译码方法的框图；

图10是含有根据本发明的数字图像处理方法的编码方法的框图；

具体实施方式

本发明涉及根据基于块的编码技术进行编码和译码的数字图像序列处理方法，用于低比特率和实时应用。在本例中，采用的编码技术H.26L标准，但也可以采用MPEG-4标准或任何其它等同标准。可知该方法还可以应用于编码的固定图像，例如根据JPEG标准。

这样的块编码技术将数字图像拆分成块。在H.26L标准情况下，上述块是4行每行4个像素。在编码期间，对上述块进行频率变换。在H.26L标准和大多数标准技术下，这种变换是离散余弦变换(DCT)。在译码期间，沿着块边界会出现块效应。块效应类似一个边缘，但在正常的图像内容中并不真正存在。本发明的一个主要目的是有效消除位于块边界的这些“假”边缘，但复杂性比传统方法低很多。

本发明基于制成图2所示图表的参考函数。该函数f由H.R.Wu和M.Yuen在IEEE Signal Processing Letters，vol.4，no.11，317-320页，1997年11月出版的题名为“用于视频编码的通用块边缘减损度量”的文中有具体说明。它表示对观察者可见的最小亮度差值△L是一个图像区域的平均亮度AvgL的函数，实质上等于由一对邻接块所覆盖的面。该函数通过大约等于1或2个单位的最小值△L0，若亮度的编码范围是0至Lmax＝255，平均亮度值L0大约等于70。若一个图像区域的平均亮度值低于第一预定阈值T1，则在该区域可见的亮度差值可能符合自然轮廓。类似地，若平均亮度大于第二预定阈值T2，则可见的亮度差值也可能符合自然轮廓。

图2的阴影区域表示对观察者可见的亮度差。图3表示让一对像素邻接块Bj和Bk具有预定的平均亮度值avgBjBk和亮度差值h。若坐标avgBjBk和h确定阴影区域中的邻接块对，则对应于亮度差值h的仿真块是可见的。相反，则是不可见的。要注意的是，若两个块的每一个都是均匀的，则亮度差是两个块之间的准确值，或者是邻接段而不是邻接块起作用。这也是两个块之间的平均亮度差，或者又是希望节省计算资源的最小或最大差。

图4示出根据本发明的数字图像处理方法。所述方法包括：—检测图像Im的两个邻接块(Bj，bk)之间的仿真块PAD(41)的步骤，若在两个块之间检测到一个仿真块(是)，该步骤将所述一对块应用于过滤确定步骤，相反情况下，直接到该方法结束(否)，—基于上述准则的过滤确定步骤MASK(42)，该步骤在若两个块之间检测到的仿真块是可见的(是)，则将所述一对块提供给过滤步骤，相反情况下，直接到该方法结束(否)，—邻接块对的过滤步骡FILT(43)，该步骤使用一对过滤的邻接块(B’j，B’k)，所有的块都由给出最后图像ImF的方法处理。

本发明采用图2，因为作为两个邻接块的亮度值和参考函数f的比较函数来应用过滤步骤，这对于无论使用什么方法检测仿真块和过滤都可以。

在最佳实施例中，若各块的像素亮度值的最小值MinP和MinQ大于第一预定阈值T1，和如果各块的像素亮度的最大值MaxP和MaxQ小于第二预定阈值T2，第二阈值低于第一阈值，则对邻接块对不采用过滤步骤。换言之，如果满足以下条件则不进行过滤：—MinP＞T1和MinQ＞T1，即，所有像素都属于该图像的亮区—或如果MaxP＜T2和MaxQ＜T2，即，所有像素都属于该图像的暗区。

这样，没有计算平均值，该方法一方面只在确定最小值或最大值之前在像素的亮度值之间进行比较，另一方面在亮度值的最小值和最大值与两个预定阈值之间进行比较。因此，该方法只需要有限的计算资源，更加降低了其复杂性。

在一种有利的方式中，第一和第二阈值T1和T2被以如下方式根据量化步骤QP的函数值来预定：若QP∈[1-4]，则T1＝210和T2＝45，若QP∈[5-26]，则T1＝215和T2＝40，若QP∈[27-31]，则T1＝220和T2＝35，

在一种有利的方式中，若两个邻接块之间的亮度差值h小于参考值，该参考值等于对于邻接块对的平均亮度值avgBjBk计算的参考函数f的值，换言之，若h＜f(avgBjBk)，则不采用过滤步骤。

这样，对很多块对可以不进行过滤，该条件更普遍并与两个在先条件累加。然而，由于需要计算一个平均值avgBjBk，所以该方法更为复杂。

在一种有利的方式中，若一个仿真块的长度L小于预定值则不采用过滤步骤，该预定值是两个邻接块之间的亮度差值h的函数。

实际上，若在1个或2个连续像素之间有1或2的亮度差h，则亮度差h是不可见的，但是对于一个给定的平均亮度在超过16个连续像素的长度L时其变得可见。在先条件则变成：

若h＜f(avgBjBk)/g(L)，将不执行过滤，其中，g是取决于变量L的加权函数。

在本发明的最佳实施例中，仿真块检测步骤(41)在图5中示出。在尚未公开的法国专利申请0200487中有更详细的说明。该仿真块检测步骤包括以下子步骤：—首先在传递数字图像Im的衰减量度DM的衰减评估子步骤DEGR(51)的输入端提供译码的数字图像Im。衰减量度DM根据从采用的编码技术所知的特征函数而等于例如图像量化步骤的值或实质上等于所述量化步骤的修改值。—接着是基于衰减量度DM的过滤确定子步骤DEC(52)。所述子步骤为图像Im的一对邻接块(Bj，bk)并为衰减量度DM确定是否需要过滤子步骤。例如，根据以下准则确定要进行过滤：—若块Bj和Bk之间的最大亮度差低于衰减量度DM的1.5倍，则确定过滤(是)。在该情况下，认为它不是实边界，—若不是，则不过滤(否)。此时，认为块之间的最大亮度差对于要呈现的实边界足够大，该实边界对应于不需要过滤的自然轮廓。—与衰减评估DEGR(51)和过滤确定DEC(52)子步骤同时，图像Im被逐块提供给分类子步骤CLASS(53)。分类子步骤CLASS(53)结合块B，从一组预定类中选出一个类Cli，本例中有4个类Cl1至Cl4。

—若满足以下条件，则块B属于均匀类Cl1：

|m1-m2|＜S，其中

m1＝max{a_p，q}_{p＝1…P-2，q＝1…Q-2}，和m2＝min{a_p，q}_{p＝1…P-2，q＝1…Q-2}

即如图6所定义的，m1是子块SB的最大系数a_p，q，其不包含块B的外部，块B包含P行和Q个像素，m2是子块SB的最小系数a_p，q，其中S是阈值，在本例中例如等于3。

-如果对于子块SB的任一行p，p＝1到P-2，则块B属于行类Cl2：

|m1-m2|＜S，其中：

m1＝max{a_p，q}_q＝1…Q-2，和m2＝min{a_p，q}_q＝1…Q-2

即m1是子块SB的行p的最大系数a_p，q，m2是子块SB的行p的最小系数a_p，q。

-如果对于子块SB的任一列q，q＝1到Q-2，则块B属于列类Cl3：

|m1-m2|＜S，其中

m1＝max{a_p，q}_p＝1…P-2，和m2＝min{a_p，q}_p＝1…P-2

即m1是子块SB的列q的最大系数a_p，q，m2是子块SB的列q的最小系数a_p，q。

—若上述条件都不满足，则块B属于构造类Cl4。

从前面这一阶段，不再认为是离散块而是水平或垂直邻接块对。然后由过滤选择子步骤SEL(54)处理与一对类(Clm，Cln)关联的一对邻接块(Bj，bk)。该过滤选择子步骤SEL(54)提供滤波器F1应用于邻接块对(Bj，bk)。根据类对(Clm，Cln)和数字输入图像Im的衰减量度DM的函数从预定模型MOD(55)中进行滤波器F1的选择，预定模型MOD(55)如图7所示将类对与滤波器联系起来，其中F0对应于未过滤的块对。

若选择了不同于滤波器F0的滤波器，则如上所述的过滤确定步骤(42)确定两个邻接块(Bj，bk)之间检测到的仿真块是否可见。

若仿真块可见，则邻接块对(Bj，bk)和与其相关的滤波器F1被提供给过滤步骤FILT(43)的输入端，过滤步骤FILT(43)提供一对过滤的邻接块(B’j，B’k)。本例中，采用4个滤波器F1至F4。它们是可以应用于垂直方向和水平方向的低通线性滤波器。图8示出了这些滤波器。

根据本发明的方法在处理块和译码的数字图像Im的块对之后，提供过滤的译码数字图像ImF。

如从上述可知，过滤确定步骤不依赖于仿真块检测步骤，后者发送一对邻接块的时候在邻接块之间已检测仿真块。仿真块检测步骤可以是例如在国际专利申请WO01/20912(内部参考号：PHF99579)中描述的。该检测步骤包括以下子步骤：

—首先是检测属于译码图像中自然轮廓的像素的子步骤。为此检测子步骤基于最好采用滤波器h1＝[-1，1]的梯度过滤。该滤波器水平和垂直应用于数字图像或序列的数字图像部分的亮度像素y(i，j)，其中i和j对应于图像中的像素位置。从而取得水平过滤的像素表xh(i，j)和垂直过滤的像素表xv(i，j)，取其绝对值可以得到xah(i，j)和xav(i，j)。然后，将一个阈值应用到两个过滤像素表xah(i，j)和xav(i，j)的每一个中。检测所有其过滤的亮度值xah(i，j)或xav(i，j)大于预定阈值的像素p(i，j)作为自然轮廓像素而不是仿真块。水平阈值和垂直阈值例如分别等于35和50，亮度值的范围为0至255。

—若没有检测到作为自然轮廓的垂直仿真块，并且若：

则检测垂直仿真块

—同样，若没有检测到作为自然轮廓的水平仿真块，并且若：

则检测水平仿真块

其中， xah和 xav分别表示该图像或图像部分的xah[i，j]和xav[i，j]的平均值。

如前所述，过滤确定步骤(42)确定两个邻接块之间检测的仿真块是否可见。

若可见，则过滤步骤(43)将采用例如前述的线性过滤来过滤邻接块对。

图9示出适于产生数字译码的数据的视频译码器的功能，并含有使用根据本发明的处理方法的处理设备。

该视频译码器包括：

—数字编码数据ES的可变长译码装置VLD(91)，适于产生量化数据，

—量化数据的反向量化装置IQ(92)，适于产生变换的数据，

—反向频率变换设备，如前所述，在本例中，将变换数据反向离散余弦变换IDCT(93)成反向变换的数据。

解压设备还包括利用图像存储器MEM(95)的图像逐数据块的重构步骤REC(94)。由于处理设备COR(96)实现本发明的处理方法，所以上述设备适用于重构数字图像块的处理，以便产生屏幕DIS(97)所示的处理数字图像。

图10示出适用于以数据块形式接收数字图像IN并包含在采用本发明的处理方法的处理设备之前的编码环路反向频率变换装置中的视频编码器的操作。

视频编码器(100)包括：

—直接频率变换设备，在此为如前所述的数字视频数据和变换数据的直接离散余弦变换DCT(101)，

—量化装置Q(102)，用于量化变换的数据，适用于产生量化的数据，

—可变长编码装置VLC(103)，用于编码量化的数据，适用于产生编码的数据ES。

还具有含有以下系列组合的预测单元：

—反向量化装置IQ(104)，用于反向量化该量化的数据，适用于产生变换的数据，

—反向离散余弦变换设备IDCT(105)，用于将变换的数据变换成如上所述的反向变换的数据，

—加法器，相加来自变换设备IDCT和来自运动补偿设备MC(106)的数据，

—处理设备COR(107)，用于执行本发明的处理方法，并适用于处理来自加法器的输出的译码的数据块，以便将处理的数据块提供给图像存储器MEM(108)，

—图像存储器MEM(108)适用于存储运动补偿设备MC(106)采用的图像，和来自运动评估设备ME(109)的运动向量，

—减法器，适用于从输入IN的数字视频数据减去来自运动补偿设备的数据，其结果被提供给变换设备DCT。

还可以在反向离散余弦变换设备IDCT(105)和加法器之间插入处理设备COR(107)，该处理对差分信号作用，对重构造信号不起作用。

执行本发明的处理方法的处理设备也可以提高视频编码器的性能，不仅在编码质量上有提高，在输出速率方面也有提高。此外，当图10的视频编码器和图9的视频译码器串联时，图像质量比串联标准视频编码器和图9的视频译码器、或串联图10的视频编码器和标准视频译码器时的图像质量好得多。

可以利用已编好程序的视频译码电路或视频编码电路实现本发明的处理方法。包含在程序存储器的计算机程序可使所述电路执行上述图4或图5的各种操作。计算机程序可以通过读取数据媒介例如包含程序的磁盘而安装到程序存储器中。也可以通过例如因特网的通信网络进行读取。此时，服务供应商将程序以可以被下载的信号的形式提供给相关的组织。

本文中括号里的参考符号不是用于限制的。动词“包括”及其变化形式也是广义解释的，即不排除除在所述动词之后列出的部件或步骤之外还存在其他部件或步骤。也不排除存在所述动词之后已经列出的之前有“一”或“一个”的多个部件或步骤。

Claims

1.一种含有像素块的数字图像处理方法，所述方法包括：

-检测两个邻接块(Bj，bk)之间的仿真块的检测步骤(41)

-过滤邻接块对的过滤步骤(43)，其特征在于：作为两个邻接块的像素亮度值和参考函数的比较函数来应用过滤步骤，参考函数表示对观察者可见的最小亮度差值是一个图像区域的平均亮度的函数。

2.如权利要求1所述的处理方法，其中

若各块的像素亮度最小值(MinP，MinQ)超过第一预定阈值(T1)，或若各块的像素亮度的最大值(MaxP，MaxQ)小于第二预定阈值(T2)，第二阈值低于第一阈值，则对邻接块对(Bj，bk)不采用过滤步骤。

3.如权利要求2所述的处理方法，其中，第一和第二阈值根据对应邻接块的量化步骤的函数值被预定。

4.如权利要求1所述的处理方法，其中

若两个邻接块之间的亮度差值(h)小于参考值，则不采用过滤步骤，所述参考值等于对于邻接块对的平均亮度值(avgBjBk)计算的参考函数的值。

5.如权利要求4所述的处理方法，其中

若仿真块的长度(L)小于预定值，则不采用过滤步骤，所述预定值是两个邻接块的亮度差值(h)的函数。

6.一种产生译码的数字图像的译码方法，包含如权利要求1所述的用于处理译码的数字图像的处理方法，以便产生处理过的数字图像。

7.一种以数据块形式的数字图像编码方法，该方法包括如权利要求1所述的处理步骤之前的反向频率变换步骤，适用于处理来自反向频率变换步骤的译码的数据块，以便产生处理过的数据块。

8.一种视频译码器，适于产生译码的数字图像，并包含执行权利要求1所述的处理方法的处理设备，适用于处理译码的数字图像，以便产生处理过的数字图像。

9.一种视频编码器，适于以数据块形式接收数字图像，并包含执行如权利要求1所述的处理方法的处理设备之前的反向频率变换装置，适用于处理来自反向频率变换装置的译码的数据块，以便产生处理过的数据块。

10.一种便携式设备，包含如权利要求8所述的视频译码器，用于在所述设备屏幕上显示处理过的数字图像。

11.一种计算机程序，包含一组指令集，当指令集被安装到一个电路中时，可使该电路执行如权利要求1所述的数字图像后处理方法。