CN1729694A - 小波图像编码方法和相应的译码方法 - Google Patents

Abstract

本发明涉及用于编码具有与其有关的分级网格的图像的方法，该方法包括所述网格的小波编码。按照本发明，一个这样的编码方法涉及到使用至少两种类型的小波，这些小波被选择地加到图像的不同的区域。

Description

小波图像编码方法和相应的译码方法

技术领域

本发明领域是静止或活动图像的编码，以及具体地但不排他地，是视频序列的接连的图像的编码。更具体地，本发明涉及其中图像具有与其有关的网格的并实施所谓小波方法的方法的图像编码/译码技术。本发明更具体地但不排他地可被应用于第二代小波，尤其是在Wim Sweldens，“The Lifting Scheme：A Constrution of Second-Generation Wavelets”，SIAM Journal on Mathematical Anaiysis，Vol.29，No.2，pp.511-546，1998的文献中给出的。

背景技术

新的传输网络(xDSL，使用GPRS和UMTS的移动电话等等)的开发意味着，图像编码和数字视频压缩技术必须适合于网络的异质性和服务质量(QoS)随时间的可能的起伏。考虑到在静止或活动图像中的所有这些因素必须给出最后的用户最佳视觉质量。

至今为止，有几种已知的图像编码技术，诸如通过基于块结构的时基预测和离散余弦变换进行编码的技术，诸如由ISO/MPEG(“标准化国际组织/活动图像编码专家组”)和/或ITU-T(“国际电信联盟-电信标准化分区”)提出的技术。

还存在有基于通过基于块的DCT变换进行的编码的现有技术专用编码技术(具有Windows Media的Microsoft，具有Real One的RealMedia，Divx(注册商标)，等等)，或还有某些小波编码或网格编码技术，如特别地在以本专利申请的所有人的名义提交的法国专利申请号2781 907“Procédéde codage d’um mailiage source tenant compte deset applications correspondants”(考虑到不连续性时编码源网格的方法和相应的应用)和2 825 855“Procédés et dispositifsde codage et de décodage d’images mettant en oeuvre des mailiagesprogramme，signal et applications correspondants”(通过实施加网格图像而对于图像进行编码和译码的方法和设备、相应的程序、信号和应用)中给出的。

然而，这些不同的现有技术的图像编码技术具有许多缺点，特别是对于使用非常低的比特速率的应用或传输网络。

因此，基于方框的编码技术导致出现将大大地减小图像恢复的视觉质量的强的影响，或人工产物。MPEG-4或ITU-T/H.263类型编码现在被认为达到它的极限，这特别是因为被用作为用于所有的编码计算和操作的媒体的固定尺寸的硬的块结构。类似地，对于实施小波的技术，过振荡效应--也被称为“振铃(ringing)”--给出模糊的呈现和造成“看见”图像上的小波的感觉，这对于用户是非常不愉快的。

对于使用较高的比特速率的应用或传输网络，这些不同的技术不能被使用来达到编码效率的极限。

最后，考虑到这个图像的固有特性，这些现有技术中没有一个技术可被使用来使得图像编码最佳化。

而且，在视频序列的编码方面，以及从减小所发送和编码的数据大小的角度看来，通常的实践是例如通过从序列中减去原先的图像以及减去内插的图像，或由运动估计/补偿确定的图像，而计算误差的图像。例如可以参考以本专利申请的所有人的名义提交的、题目为“Procédéde construction d’au moins une image interpolée entre deuximages d’une séquence animée，procédés de codage et de décodage，signal et support de données correspondants”(用于构建被插入在活动序列的两个图像之间的至少一个图像的方法，相应的编码和译码方法，信号和数据载波)的法国专利申请号00 10917。

这些现有技术的编码技术中没有一个技术适用于这样的误差图像的具体的内容，这些图像通常只包含高频，诸如轮廓、纹理、或还有奇异点。

发明内容

本发明具体地旨在克服现有技术的这些缺点。

更具体地，本发明的目的是提供一种用于编码静止或活动图像的技术，它比起现有技术来说，使得编码的结果最佳化。

本发明的另一个目的是实施这种能够减小来自编码的数据量的技术，因此数据有可能由通信网发送到图像译码和恢复设备。

本发明的又一个目的是实施这种“可缩放的”的技术，即，适合于传输网络的起伏，特别是这样的网络的比特速率的变化。

本发明的叉一个目的是提供这种能够以低比特速率发送用于编码图像或图像序列的信息的技术。

本发明的另一个目的是实施这种使能得到编码的图像的恢复的高的视觉质量的技术，特别是对于这个图像的不连续性区域。

本发明的又一个目的是提供这种很适用于误差图像的编码的技术。

本发明的再一个目的是提供这种简单的和以很少花费来实施的技术。

这些目的以及在下面将出现的其它目的是通过用于编码与分级网格有关的图像，实施所述网格的小波编码的方法而达到的。

按照本发明，所述编码方法实施至少两种类型的小波，其被选择地应用到所述图像的不同的区域。

因此，本发明依靠用来编码静止或活动图像的、具体地是编码视频序列的图像的完全新颖的和有创造性的方法。事实上，本发明不单提出按照革新的小波技术编码图像，该小波技术具体地使用第二代小波，诸如由W.Dahmen(“Decomposition of refinable spaces andapplication to operator equations”，Numer.Algor.，No.5，1993，pp.229-245)和J.M.Carnicer，W.Dahmen和J.M.Pena(“Localdecomposition of refinable spaces”，Appl.Comp.Harm.Anal.3，1996，pp.127-153)引入的那种小波，而且也通过把不同类型的小波应用到图像的不同的区域而使得所述编码最佳化。

事实上，本专利申请的发明人强调，不同类型的存在的小波具有不同的编码特性。所以，他们的想法是通过把其编码特性最好地适用于每个区域的内容的小波类型应用到图像的不同的区域而利用这些不同的特性。

因此，图像的全部编码在使得小波编码适合于具有不同的特征的图像区域方面被最佳化，以及如有必要，通过使用几种类型的不同的小波用于编码同一个图像。

优选地，这样一种的编码方法包括以下步骤：

-用于把所述图像分割成至少两个不同特性的区域的步骤，每个区域的特性是在所述区域中的所述网格的至少一个特征参数的函数；

-对于每个所述区域，用于至少作为所述特性的函数分配能够使得所述区域的所述网格的所述编码最佳化的一种小波类型的步骤。

当然，将会看到，如果在这个图像的所有的区域具有相同的特性的意义上图像是同质的，则图像不被分割，而是整个图像直接被分配以借以使得图像的编码在它的整体性方面最佳化的小波类型。

有利地，所述网格的所述特征参数考虑到在所述区域中的所述网格的密度。

事实上，在区域的一个点处和在包括这个点的区域中的网格的密度使得有可能例如确定所考虑的区域是纹理，轮廓，还是奇异点区域，正如在本文件中此后更详细地描述的。

按照本发明的有利的特征，所述区域的所述特性属于包括以下类型的组：

-至少一种纹理；

-至少一种轮廓；

-至少一种奇异点；

-至少一种彩色；

-至少一种形状。

按照本发明的优选的特征，所述小波类型属于包括以下小波的组：

-环状小波；

-蝴蝶形小波；

-Catmull-Clark小波；

-仿射形小波。

本领域技术人员将会容易看到，本发明不限于以上提到的类型的小波，这些类型的小波仅仅是作为说明而给出的。

有利地，这种编码方法包括对于所述区域的每个区域，考虑到在所述区域的更新点处与所述网格有关的标量值以及在至少与所述更新点相邻的某些点处与所述网格有关的所述标量值，把被分配到所述区域的所述小波类型的系数应用到所述网格的步骤。

优选地，所述标量值代表属于包括以下参数的组的所述网格的参数：

-所述网格的亮度；

-所述网格的至少一个色度分量。

因此，例如在网格的加上的点(或更新点)上取一个位置，以及考虑在这个点处色度分量。这个相同的色度分量的数值然后在这个更新点的相邻的点处被研究，相应地(通过加权)加上小波系数，正如这里在下面参照图7a到7d更详细地给出的。

优选地，这种类型的编码方法还包括用于通过实施属于包括以下技术的组的技术编码所述小波系数的步骤：

-零树类型技术；

-EBCOT类型技术。

有利地，对于属于接连的图像的序列的所述图像，所述方法还包括比较所述图像的所述小波系数与在所述序列中的所述图像之前或之后的至少一个图像的小波系数的步骤，以避免对于与所述之前或之后的图像的那些小波系数相同的所述图像的小波系数实施所述编码步骤。

因此，发送的数据的数据量被减小。这在以低的比特速率工作的或用于低容量恢复终端的传输网络的情形下是特别有利的。对于与以前发送的用于另一个图像的系数相同的小波系数，发送一组零和能够指示可以找到小波系数的地方的参考是足够的(例如对于它的这些系数已被译码设备接收的以前的图像的参考)。

有利地，这种类型的编码方法能够编码接连的图像的序列，以及所述图像是通过比较所述序列的原先的图像与由运动估计/补偿所构建的图像而得到的误差图像，所述图像包括要被编码的至少一个误差区域以及，视情况而定可包括，至少一个基本上空的区域。

自然地，如果原先的图像与估计的图像绝对相同，则误差图像是空的，所以不包括要被编码的任何误差区域。相反，如果原先的图像在每一点不同于估计的图像，则误差图像不包括任何空的区域。

优选地，所述分割步骤包括用于通过阈值比较，使得有可能确定所述图像的具有大于预定的阈值的误差的至少一个区域而检测所述图像的所述误差区域的步骤。

这个阈值可以按照施加的约束条件或所考虑的传输网络被定参数，或再次作为要得到的恢复的质量的函数而定参数。

按照本发明的第一个有利的替换实施例，所述分割步骤还包括用于把在平行六面体形状的块中的至少某些所述检测的误差区域编组在一起的步骤。

优选地，所述分割步骤包括用于以相同的特性的块的集的形式创建所述图像的所述区域的步骤。

因此，相同的小波处理被应用到相同的特性的所有的块，即使这些块在图像内是互相远离的。

按照本发明的第二个有利的替换实施例，所述分割步骤还包括用于通过实施四树类型技术从所述检测的误差区域创建所述图像的所述区域的步骤。

本发明还涉及用于通过实施选择性译码所述图像的不同的区域，作为被分配用于编码每个所述区域的网格的小波的类型的信息的函数，译码与小波编码的分级网格有关的图像的方法。

因此，图像在编码期间被分割成至少两个具有不同的特性的区域，区域的特性是在所述区域中所述网格的至少一个特征参数的函数，本发明的译码方法包括以下步骤：

-用于从代表编码的图像的数据流中提取在被分配来编码每个区域的网格的小波类型方面的信息的步骤；

-对于每个区域，译码区域的网格作为这样的信息的函数的步骤。

本发明还涉及用于通过实施用于小波编码所述网格的装置和包括用于选择地施加至少两种类型小波到所述图像的不同的区域的装置，编码与小波编码的分级网格有关的图像的设备。

所以，本发明的编码设备包括以下装置：

-用于把所述图像分割成至少两个不同特性的区域的装置，每个区域的特性是在所述区域中的所述网格的至少一个特征参数的函数；

-对于每个所述区域而实现的用于至少作为所述区域所述特性的函数分配能够使得所述区域的所述网格的所述编码最佳化的至少一种小波类型的装置。

本发明还涉及用于译码与小波编码的分级网格有关的图像的设备，包括用于选择地译码作为被分配用于编码每个所述区域的网格的小波的类型的信息的函数的所述图像的不同的区域的装置。

图像在编码期间被分割成至少两个具有不同的特性的区域，以及区域的特性是在区域中网格的至少一个特征参数的函数，本发明的译码设备所以包括以下装置：

-用于从代表编码的图像的数据流中提取在被分配来编码每个区域的网格的小波类型方面的信息的装置；

-对于每个区域，用于译码区域的网格作为该信息的函数的装置。

本发明还涉及代表与小波编码的分级网格有关的图像的信号。按照本发明，在编码期间至少两种类型小波被选择地应用到所述图像的不同的区域，这样一种信号传送被分配来编码所述区域的每个区域的网格的所述小波类型方面的信息。

图像在编码期间被分割成至少两个具有不同的特性的区域，以及区域的特性是在区域中网格的至少一个特征参数的函数，所以，本发明的信号传送被分配来编码每个区域的网格的小波类型方面的信息。

有利地，这样的信号以分组的形式被构建，每个分组与所述图像的所述区域之一有关，所述分组的每个分组包括以下域：

-表示分组的开始的域；

-传送所述分组的识别号的域；

-信息报头域；

-包括关于被分配到所述区域的所述小波类型的所述信息段的域；

-包括被应用到所述区域的所述网格的小波系数的域；

-涉及所述图像的所述网格的形式的域；

-表示分组的结尾的域。

优选地，所述信息报头域包括：

-涉及所述区域的小波系数的数目的子域；

-表示作为所述网格的所述形式的函数的所述图像的所述区域的子域；

-涉及被实施用于所述小波系数的位图的数目的子域。

方法还涉及把这里以上描述的编码方法和译码方法应用到属于包括以下的组的至少一个域：

-视频流；

-视频贮存；

-视频会议；

-视频点播；

-视频邮件。

附图说明

从作为简单的说明性的和非限制性的例子给出的以下优选实施例说明中和从附图中将更清晰地得出本发明的其它特征和优点，其中：

图1a和1b描述提升(lifting)分解的总体方案，正如在W.Sweldens，“The Lifting Scheme：A New Philosophy in BiOrthogonal Wavelets Constructions”，Proc.SPIE 2529，1995，pp.68-69中具体地描述的。

图2显示依靠适合于图像的不同的区域的特征的小波变换的选择的本发明的总的原理。

图3描述当图像是误差图像时按照四树类型技术把图2的图像分割成不同的区域的原理；

图4示例地说明按照本发明应用到图像的规则密度网格。

图5a到5g显示在本发明的框架中实施的再分割图像的网格的不同的步骤；

图6给出在本发明的框架中管理边缘的原理；

图7a到7d显示按照本发明可被应用到图像的不同的区域的不同的小波方案。

具体实施方式

本发明的一般原理是基于通过选择其编码特性适合于所考虑的区域的内容的那种小波而把不同类型的小波以及尤其是第二代小波应用到图像的不同的区域，以使得图像的总的编码最佳化。

在本发明的实施例的详细说明之前，将对于视频编码以及网格、提升和第二代小波的概念作一点简要的回顾。事实上，本发明可以根据这些不同的概念具体地在视频序列的编码的一般环境下被实施。

视频编码的一般原理，例如在文件ISO/IEC(ITU-T SG8)JTC1/SC29 WG1(JPEG/JBIG)，JPEG2000第I部分，最终委员会草案，文件N1646R，2000年3月中描述的，要点在于描述具有以YUV平面(亮度/色度r/色度b)表示的、以各种方式(4∶4∶4/4∶2∶2/4∶2∶0...)采样的一系列图像的形式的数字视频。编码系统要点在于考虑在接连的图像中空间和时间冗余性而改变这种表示法。因此施加(例如DCT或小波类型的)变换，以便得到一系列相互关联的图像。

这些图像以I/B/P次序被“排序”，其中每种类型的图像具有确定好的特性。I图像，也称为“内部”图像，以与静止图像相同的方式被编码，以及用作为用于序列的其它图像的参考。P图像，也称为“预测”图像，包含两种类型的信息：一段运动补偿的误差信息和运动矢量。这两段信息从可以是I或P类型的一个或多个以前的图像导出。B图像，也称为“双向”图像，也包含这两段信息，但它们是基于可以是I型或P型的两个参考，即，后向参考与前向参考。

这意味着，为了能够恢复所考虑的视频序列的全部，发送传统编码的内部图像“I”以及然后运动向量和关于每个接连的图像的误差是足够的。

用于编码静止图像或视频序列的已知的技术也依靠使用与要被编码的图像有关的分级网格。因此，让我们考虑静止图像，例如，以灰度级别被编码的图像。图像可被看作为参数面的离散化的表示。所以，有可能把任何网格应用到图像的一个区域或应用到整个图像上。通过使用分级再分割(它可以是或不一定是自适应)，这个网格被做成正常或异常地演变。因此，通过仅仅在其中计算的误差大于预定的阈值的图像的区域中再分割网格可得到“分级”。网格的基本技术的概述也在文件ISO/IEC(ITU-T SG8)JTC1/SC29 WG1(JPEG/JBIG)，JPEG2000第l部分，最终委员会草案，文件N1646R，2000年3月中给出。

某些图像编码技术也依靠被称为“提升”的小波分解方法，具体地在W.Sweldens，“The Lifting Scheme：A New Philosophy in BiOrthogonal Wavelets Constructions”，Proc.SPIE 2529，1995，pp.68-69中描述的。提升是最近期出现的以及作为一种比起通常的卷积方法更简单和更快速的小波分解的方法变得很流行。它通过对于分析的矩阵进行简单的行/列操作能够简单地重建。

现在参照图1a和1b，考虑“提升”分解的一般方案以及相关的多相矩阵的形式。

一般方法在于把信号分离11成两个偶数值12和奇数值13的样本，以及预测奇数值样本作为偶数值样本的函数。一旦完成预测，就执行信号的更新，以便保留它的初始特性。这个算法可以按需要重复进行许多次。通过提升的表示法导致多相矩阵的概念，使得能分析14和综合15信号。

图1b更具体地显示与多相矩阵P(z)级联的“提升”方案，以使得：

$P\left(z\right)=\left[\begin{array}{cc}A& 0\\ 0& B\end{array}\right]\underset{i=n}{\overset{1}{\mathrm{\Π}}}\left[\begin{array}{cc}1& s_i\left(z\right)\\ 0& 1\end{array}\right]\left[\begin{array}{cc}1& 0\\ t_i\left(z\right)& 1\end{array}\right]$

和 $P^{-1}\left(z\right)=\underset{i=1}{\overset{n}{\mathrm{\Π}}}\left[\begin{array}{cc}1& 0\\ -t_i\left(z\right)& 1\end{array}\right]\left[\begin{array}{cc}1& -s_i\left(z\right)\\ 0& 1\end{array}\right]\left[\begin{array}{cc}1/A& 0\\ 0& 1/B\end{array}\right]$

其中s_i(z)和t_i(z)是两个Laurent多项式以及A和B是标准化系数。

最后我们可以从数学领域知道，在本发明情形下具体地实施的第二代小波构成新颖的变换。

这个变换首先由W.Dahmen(“Decomposition of refinable spacesand applications to operator equations”，Numer.Algor.，No.5，1993，pp.229-245)以及J.M.Carnicer，W.Dahmen和J.M.Pena(“Localdecomposition of refinable spaces”，Appl.Comp.Harm.Anal.3，1996，pp.127-153)引入，然后由W.Sweldens(“The Lifting Scheme：AConstruction of Second Generation Wavelets”，Nov 1996，SIAMJournal on Mathematical Analysis)以及W.Sweldens和P.Schroder(“Building Your Own Wavelet at Home”，Chapter 2，Technical report 1995，Industrial Mathematical Initative)进一步发展。

小波是通过对于分析空间的不规则的再分割而构建的，以及它是基于平均的和加权的内差的方法。在L²(R)中通常所使用的向量积变成为加权的向量内积。这些小波特别适合于在紧凑的支持上和在时间间隔上进行的分析。然而，它们保持第一代小波的特性，即良好的时间/频率局部化和高的计算速度，因为它们是围绕上述的提升方法构建的。

M.Lounsbery，T.DeRose和J.Warren在“MultiresolutionAnalysis for Surface of Arbitrary Topological Type”，ACMTransactions on Graphics，1994中提出这些小波对于任意面结构的应用。在本发明中，这些小波被应用到构成其拓扑可以是任意拓扑的面的网格。

为了精确地定义这些第二代小波，我们首先回顾这些小波与所谓的第一代小波共同具有的特性，然后，表示第二代小波显示的以及在本发明的上下文中具体地利用的附加特性。

第一和第二代小波的共同的特性：

P1：小波形成L₂(R)上的Riez基函数以及用于各种各样的函数空间--诸如Lebesgue、Lipchitz、Sobolev和Besov空间--的“统一的”基函数。这意味着，所述的空间的任意函数可以在小波基础上被分解，以及这种分解将作为范数(初始空间的范数)统一地向这个函数收敛。

P2：在统一的基函数上分解的系数是已知的(或可以简单地找到)。或者小波是正交的，或者对偶小波是已知的(在对偶正交情形下)。

P3：小波以及它们的对偶小波具有的特性在空间上和在频率上是本地的。某些小波甚至具有紧凑的支持(本发明优选地但不排他地使用这样的小波)。频率本地化的特性是直接由于小波的规则性(对于高频)和零多项式矩量的数目(对于低频)造成的。

P4：小波可被使用于多分辩率分析。这导致FWT(快速小波变换)，借助于FWT有可能在“线性时间”上从函数变换到小波系数。

表示第二代小波特征的附加特性：

Q1：虽然第一代小波提供在Rⁿ上定义的用于函数的基函数，但某些应用(数据分段，在一般域上求解偏微分方程，或在具有任意拓扑的网格上小波的应用等等)需要在任意的Rⁿ域上定义的小波，诸如各种各样的曲线、面等等。

Q2：差分形式的对角线化，曲线和面的分析，以及加权的近似需要适合于加权测量的基函数。然而，第一代小波只提供用于通过变换进行的不变量测量(典型地Lebesgue测量)的空间的基函数；

Q3：许多实际的问题需要适用于通过不规则采样的数据的算法，虽然第一代小波能够对于仅仅规则地执行的采样数据进行分析。

因此，为了概述第二代小波的结构，可以着重介绍以下的原理。

在多分辩率分析期间，假设其中导出定标函数的传统的空间是数值V_k，使得：

在取Banach空间(参考标记B)中的位置时，分析空间被放大。所以，对于第二代小波，我们具有：

$\underset{k}{\overset{\‾}{Y}}\stackrel{\‾}{V_k}=B$

标量积是在Banach空间中定义的，它是在分布的意义上取的，使能重新定义对偶空间。改进条件变成为(以矩阵形式)：

φ^k-1＝Pφ^k

其中P是任意未加规定的矩阵。

在对于理解视频编码技术所必须的概念的这几个提示以后，现在对于图2给出本发明的一般原理的更详细的说明。

我们将考虑被标注为21的图像，它可以是静止图像或是要被编码的视频序列的一个图像。被标注为23的分级结构网格与它有关。在图2上，这个网格是仅仅与图像21局部重叠的规则网格。当然，网格也可以是非规则网格和/或与图像21全部重叠。

本发明的一般原理包含识别在图像21内不同特性的区域，选择其特性很适合于所考虑的区域的内容的不同的类型的小波加到这些区域上。因此，有可能把图2的图像21分割成多个区域22，分别标注为T1、T2和T3。

在可能的程度上，被标注为T1、T2和T3的区域以矩形块的形式被构建，以便于对它们进行处理，或以聚结的矩形块的组被构建。

因此，相应于图像21的太阳24的组22的被标注为T3的区域是包括太阳24的矩形。然而，相应于图像21的不规则地势25的被标注为T1的区域具有相应于尽可能接近地模仿在地势25的形状的平行六面体形状的块的组的阶梯形状。

区域T1是图像21的纹理区域，而区域T2包括图像21的隔离的奇异点，以及区域T3的太阳主要由轮廓规定。

所以，按照本发明，选择最接近相应于这些区域的每个区域的编码的小波的类型。在本发明的一个具体的实施例中，对于纹理区域T1，因此将选择加上蝴蝶形小波，而奇异形区域T2和轮廓区域T3优选地将分别借助于仿射形小波和环状小波被编码。

这样，有可能使得图像21的编码和它在适配的终端上的恢复的质量最佳化。

以下的表格概述按照本发明选择不同的类型的小波作为要被编码区域的特性的函数的优选的准则。

小波类型	区域特性	证明
			蝴蝶形	纹理	内插和非多项式小波。它在规则区域上是C1逐段的(可微分的和具有连续的导数)。它下降成为在基本网格的顶点上的C1。所以它更好地适合于隔离的高频(因此，纹理)。
环状	轮廓	近似在规则区域中的多项式小波。它是C2(可二次微分的和具有连续二阶导数)。它与曲线一致，以及在下降成为C2的情形下，它保持为C1(因此保证与曲线一致)。所以它适合于轮廓以及更具体地适合于自然物体。
			Catmull-Clark	轮廓	与环状小波相同的类型的小波，更多地是在非自然物体上的轮廓的情形下表示的。与环状小波的情形下相同的证明应用到轮廓上。
仿射形	奇异点	非常短的小波，C0，能够非常快速地调整到一点，而不需要围绕这个点编码。它非常好地适配于奇异点情形。

当然，其它类型的小波也可以在本发明的框架范围内被实施，本发明绝不仅仅限于以上表格中所描述的小波的类型和区域的特性。

将会指出，以上表格作出在自然物体的情形与非自然物体的情形之间的区分，特别是关于轮廓的差别。事实上，自然物体由比起非自然物体更不确定的轮廓确定。因此，关于频率，不像非自然物体，自然物体不具有规定得很好的峰值。所以，必须区分两种情形作为要处理的物体的函数。

区分这两种物体的一个准则例如可以是通过借助于应用到与轮廓有关的灰度级别的多方向高通滤波器对滤波的图像定阈值而得到的。

现在我们将试图在编码视频序列的总体情境下给出本发明的具体实施例，对于该具体实施例的具体步骤中的每一步骤相应于本发明的实现。

这种编码尤其取决于上面描述的视频编码和提升技术。

现在我们将考虑I/(n)B/P类型的方案，n为正数或零值，其中I代表“内部”图像，B代表双向图像以及P代表预测图像。作为例子，可以考虑，除了通过网格和第二代小波编码对于其实施本发明的误差图像以外，实施MPEG类型编码，例如MPEG-4类型编码。

当然有可能设想用根据等价的技术的任何类型的编码代替MPEG-4编码，等价的技术即使用根据块结构的时基预测和离散余弦变换(DCT)的技术，和用于产生的信息的熵量化和编码操作。具体地，ITU-T/H.264或MPEG-4 AVC编码(正如具体地在联合视频技术规范的联合最终委员会草案(ITU-T Rec.H.264|ISO/IEC 14496-10 AVC)，Thomas Wiegand，Klagenfurt，22 July 2002中描述的)可以代替MPEG-4编码，而不背离本发明的情境。

对于被考虑为进入编码设备，或编码器的视频序列的每个图像，这个设备决定用MPEG-4编码模块(在最佳化或不最佳化失真/比特速率折衷的情况下)或用基于失真/比特速率最佳化的特定的编码模块来编码它。我们可以回顾，失真/比特速率折衷的最佳化提供图像的质量与它的尺寸之间的折衷：因此基于失真/比特速率折衷的最佳化的算法提供最佳化，以便得到最好的可能的折衷。

对于P和B类型图像的运动补偿是按照MPEG-4标准中规定的块匹配技术实施的。

至于误差编码，它是通过本发明的实施方案达到的。从基于网格的第二代小波到误差图像的这样的变换导致以非常低的相关的编码花费给出图像的不连续性(轮廓、纹理、奇异点等等)的良好表示法。所以，本发明能够达到非常高的压缩效率，因为首先它考虑不同的类型的图像奇异点，以及其次它在选择适当的小波模块时处理这些图像。

本发明在这里牵涉到的视频序列的编码的第一步骤涉及到内部(I)图像的编码。这个编码例如依赖于如在MPEG-4中那样使用DCT变换，或依赖于第一代小波编码方法的应用，例如，如由W.Dahmen在“Decomposition of refinable spaces and applications to operatorequations”，No.Algor.，N°5，1993，pp.229-245中描述的。

至于视频序列的编码的第二步骤，它涉及到预测图像P的编码和双向图像B的编码。这些图像首先通过传统的估计/补偿方法，诸如例如“块匹配”方法[由G.J.Sullivan和R.L.Baker在“Motioncompensation for video compression using control grid interpolation”，International Conference on Acoustics，Speech，and Signal Processing，1991.ICASSP-91，Vol.4，pp.2713-2716中描述的]进行全运动补偿，然后存储相应的误差图像。

因此，误差图像是通过从序列和由运动补偿/估计构建的图像中减去精确图像而得到的。如果后者的图像不同于精确的图像，则误差图像包括必须被编码的至少一个误差区域。如果精确的图像与由运动补偿获得的图像的至少某些部分是相同的，则误差图像也具有至少一个基本上空的区域，它足以在编码流传输期间用来发送零值。

在第三步骤期间，把误差信息与运动信息分开，以及操作集中在通过阈值比较操作而进行的误差图像内的误差区域的检测。如果假设“e”是容许阈值，则误差区域被识别为具有大于这个阈值的值的误差图像的所有的区域。

在本发明的第一替换实施例中，这些误差区域通过块(具有四边形区域)被编组在一起。把块编组在一起是通过把相应于关于纹理、彩色、形状、轮廓、隔离的奇异点的信息的至少一个特性与每个块相关而得到的。这种表示特征的方法能够把块编组在一起和生成具有不同的特性的区域的形式的图像的分段，通过加上适当的类型的小波，能够编码按照它的最佳变换进行分割的每个区域。

在本发明的第二替换实施例中，如图3所示，图像按照“四树”型技术被分割成不同的特性的内部区域。

我们考虑图像31，它例如包括被标注为32到34的三个误差区域。操作是通过接连的迭代(步骤1到步骤4)进行的，把图像31分割成四个方形区域，这些区域的每个区域又被再分割成四个方形子域域，等等，直至这样得到的方形网格可被看作为被包括在图像31的被标注为32、33或34的误差区域内为止。

在达到图像的不同的误差块的检测(按照以上描述的两个替换实施例之一)以后，图像又被再分割成不同的特性的区域，正如以上对于图2显示的。这些图像借助于不同的小波被编码，以使能对于作为选择的小波的特性的函数进行的编码最佳化。

区域的特性例如可以由覆盖它的网格的密度被确定。因此，如果所考虑的区域的网格是密集的，则它可以由此被减小，以使得其是纹理区域。

相反，包括图像的奇异点的区域是其中在图像的一个点附近的网格是密集的而在相邻的点上网格只有非常小的密度的区域。对于它的一部分的轮廓区域的特征为在一个方向上密集的网格。

在第四步骤，在确定图像的不同的特性的区域(优选地，具有四边形的形式)后，把规则的密度的网格应用到每个区域，如图4所示。网格的密度是可以作为图像的函数被调节的参数。图4显示被应用到代表摄影师的图像的规则网格。这个网格是具有交错的行排列的类型。它使能进行不规则的再分割和使用第二代小波。

在处理的第五步骤期间以及按照第一替换实施例，操作从图4的规则的密度网格开始，以及使得它按照预定的借方-失真准则和作为所考虑的图像的区域(例如，纹理区域、轮廓区域、或奇异点区域)的不同的特性的函数向“最佳”粗网格演化。

图5a到5d显示图4的网格分别在迭代号3，6，9和16时的演化。

更具体地，在读出图像和创建图4的规则网格以后，执行接连的迭代，包含达到网格的三角形的最佳化L²，三角形的合并，然后脊的交换。网格的节点的位置然后被量化以及然后执行几何形状最佳化。事实上，必须验证没有网格翻转：所以每个三角形在被称为顺时针运行的运行中被测试。这些点的最后的量化是必须的。然后返回到量化L²。这个循环进行所想要的次数，接连的迭代次数构成可被个性化的编码的参数。

图5e到5g显示当所考虑的图像是误差图像时编码视频序列的这个第五步骤。因此，图5e表示从被称为Foreman序列的视频序列中提取的误差图像；图5f表示从规则的加网格的Foreman序列中提取的误差图像；最后，图5g表示在本发明的区域搜索算法的某些迭代以后从加网格的Foreman序列中提取的误差图像。

编码视频序列的这个第五步骤也可以按照第二替换实施例来执行，其中“粗”网格被应用到所考虑的图像上，然后这个粗网格通过接连的再分割而被改进。为了生成这种粗网格，在图像的轮廓、纹理、和奇异点上放置等距离点，这将使得要被覆盖的区域能够以合宜的(即，自适应)方式被加网格。然后执行标准1到4再分割，以便通过改进得到最后的、半规则的网格。

例如，有可能按照由P.Gioia在“Reducing the number of waveletcoefficients by geometric partitioning”，Computational Geometry，Theory and Applications Vol.14，1999，pp25-48中描述的技术进行。

序列的编码的第六步骤涉及边缘的管理，如图6所示。为此，方法使用具有环状62的平面网格61(交错-行网格)的异质同晶现象(按照被称为周期化方法的方法)，或再次使用传统的数据对称化。为此，在倒置位于有问题的边界上(即，不在网格的一个方向上取向的边界)的对角线时，图像被扩展。周期化和对称化方法在图像方面证明是重要的，因为它避免要被发送的小波系数的统计分布的倾斜，因此能够试图达到收敛到双指数律。

在第七步骤，把第二代小波应用到图像的网格。为此，例如，由M.Lounsbery，T.DeRose，J.Warren，“Multiresolution Analysis forSurfaces of Arbitrary Topological Type”，ACM Transactions onGraphics，1994提出的方法被应用于按照本发明选择作为所考虑的区域的特性的函数的小波类型(例如，环状小波或蝴蝶形小波)。

考虑在区域的更新点处(它在一个具体的例子中可以是中心点)与网格有关的标量数值，但也可以作为在相邻的点处这个同一个标量值的函数，把小波应用到网格。这个标量值例如可以是所考虑的网格的点的亮度，或这个同一个点的色度的一个分量。这后面接着进行小波加权的分解，如图7a到7d所示。

图7a显示蝴蝶形小波，其中被标注为70的中心点表示网格的施加的点，以及其中其它点表示在网格的相邻的点处内插的系数。如上所述，这种小波特别适合于纹理的管理。

换句话说，研究了网格的特征参数(例如，在某些点处图像的亮度)，以便确定按照由第二代小波进行的分析步骤加上被标注为70的附加节点是否为必须的和/或有利的，正如例如在以上提到的M.Lounsbery，T.DeRose和J.Warren的文章中描述的。

图7b到7d分别显示环状、仿射形、和Catmull-Clark小波。在这些图上，被标注为70的点代表网格的施加点，也称为更新点。其它点也代表在与网格相邻的点上内插的系数。

通过按上述的方式进行，因此得到用于所考虑的图像的区域的具体的网格的小波系数。这个操作是在整个图像上进行的，以及在视频序列的情形下对于所有的P/B图像进行。最好地适合于所处理的数据的类型(例如，纹理、轮廓、形状等等)的小波被应用到网格的每个部分。

如上所述，为了确定所关心的区域的特性，有可能与在一个点处的网格的密度和在这个点附近的区域一起工作。因此，如果在图像的点A处网格是密集的(相对于它的两个接连的邻居)，但在这个区域周围，网格是空的，则可以说，这是孤立的奇异点。然后例如加上仿射形小波。如果在这个区域周围，网格仍旧是密集的，则可以说，它是纹理以及优选地将加上蝴蝶形小波。为了表征轮廓，将沿着一个方向(如果网格沿着一个特定的方向是密集的)检测网格的密度。

在视频序列的编码方面，也考虑序列的接连的图像的相互依赖关系：因此，当从一个图像传送到另一个图像时，网格的一部分(或甚至整个网格)可以是相同的。所以，使得相对于序列的以前的图像已改变的仅仅那些节点传输到译码或恢复终端是适当的。其它节点将被编码者看作为是固定的。类似地，应用到特定的网格的小波在大多数情形下从一个图像到另一个图像保持为不变的。如果小波保持为相同的，则在这个级别上不发送信息。

在第八步骤，以前得到的小波系数被编码：为此，本发明实施零树类型技术(例如，由J.M.Shapiro在“Embedded Image Coding UsingZerotree of Wavelet Coefficients”，IEEE Transactions on SignalProcessing，Vol.41，No.12，December 1993，pp.3445-3461中描述的)或EBCOT方法(例如，由D.Taubman在“High Performance ScalableImage Compression with EBCOT”，IEEE Transactions on ImageProcessing，Vol.9，No.7，July 2000中给出的)，以便分类和量化小波系数。

编码视频序列的第九步骤涉及这些小波系数的成形。这种成形可以按照由MPEG4标准化涉及的在文档ISO/IEC JTC 1/SC 29/WG 11，N4973，AFX验证模型8，Klagenfurt，Austria，July 2002中提出的方法来完成。取决于感兴趣的区域，或高的误差区域，在接收和译码期间分组可以相对于其它分组被突出显示。

另一个方法在于根据被包含在分组中的误差的数量按优先权的“次序”发送小波系数。因此，数据可以按以下形式被发送：分组号/信息报头(系数的数目，图像的区域，位图的数目等等)/小波类型/小波系数/网格信息。因此数据被发送到信道，然后被接收用于译码或贮存。

按照本发明，优选地规定信号结构。这个信号结构以接连的分组的形式被组织，这些分组的每个分组本身包括以下域：分组的开始/分组号/信息报头/小波的类型/小波系数/网格的形状/分组的结尾。

分组号域包含按分组的尺寸的次序被分配的分组的识别号。

信息报头域包括以下子域：

-小波系数的数目(在处理的图像的区域中的总的数目)；

-所考虑的图像的区域(作为具体地由“网格的形状”域提供的信息的函数)；

-位图的数目(用于小波系数的编码)。

“小波的类型”域表示被应用到所考虑的区域的小波例如是环状，蝴蝶形，还是Catmull-Clark小波，或再次是仿射形小波，或按照所考虑的区域的特性选择的任何其它类型。

至于“网格的形状”域，它使能发送基本网格(以顶点和脊的形式)。

如果我们考虑例如要被编码的图像已按照本发明被分割成不同特性的两个区域，由蝴蝶形小波被编码的第一区域和由环状小波被编码的第二区域，则输送发送的编码序列的本发明的信号优选地具有以下形式：

图像的开始

分组的开始/N⁰145/250系数/顶点5，脊2，4，5；顶点45，脊56，54，87.../256/蝴蝶形/(10，25，14)，(25，54，84)，(...)，(25，36，10)/分组的结尾

分组的开始/N⁰260/130系数/顶点14，脊8，41，5；顶点7，脊21，47，21.../256/环状/(1，5，8)，(2，4，42)，(...)，(52，20，10)/分组的结尾

图像的结尾

本发明还提供在编码器与译码器之间的预定的代码与每种小波的关联，以便简化小波类型域的内容。因此，有可能考虑把识别号1分配给环状小波，把识别号2分配给蝴蝶形小波，把识别号3分配给Catmull-Cark小波以及把识别号4分配给仿射形小波。然后，小波类型域在两个比特上被编码。

译码方法是作为编码方法的对偶的方法。所以在接收输送以上的分组的信号时，译码设备从接收的信号中提取关于被加到对于图像规定的区域的每个区域的小波的类型的信息，以及对于这些区域的每个区域施加选择性译码，作为在译码期间使用的小波的类型的函数。

因此，得到最佳视觉质量的图像，以及这是以低的编码成本达到的。

Claims (21)

1.用于编码一个分级网格与其有关的图像从而实施所述网格的小波编码的方法，其特征在于，所述编码方法实施被选择地加到所述图像的不同的区域的至少两种类型的小波。

2.按照权利要求1的编码方法，其特征在于，它包括以下步骤：

-用于把所述图像分割成至少两个不同特性的区域的步骤，每个区域的特性是在所述区域中的所述网格的至少一个特征参数的函数；

-对于每个所述区域，用于至少作为所述特性的函数分配能够使得所述区域的所述网格的所述编码最佳化的小波类型的步骤。

3.按照权利要求2的编码方法，其特征在于，所述网格的所述特征参数考虑到在所述区域中的所述网格的密度。

4.按照权利要求2和3的任一项的编码方法，其特征在于，所述区域的所述特性属于包括以下项目的组：

-至少一种纹理；

-至少一种轮廓；

-至少一种奇异点；

-至少一种色彩；

-至少一种形状。

5.按照权利要求1到4的任一项的编码方法，其特征在于，所述小波类型属于包括以下项目的组：

-环状小波；

-蝴蝶形小波；

-Catmull-Clark小波；

-仿射形小波。

6.按照权利要求1到5的任一项的编码方法，其特征在于，所述编码方法包括：对于所述区域的每个区域，考虑到在所述区域的更新点处与所述网格有关的标量值以及至少与所述更新点相邻的某些点处与所述网格有关的所述标量值，把被分配到所述区域的所述小波类型的系数加到所述网格的步骤。

7.按照权利要求6的编码方法，其特征在于，所述标量值代表属于包括以下项目的组的所述网格的参数：

-所述网格的亮度；

-所述网格的至少一个色度分量。

8.按照权利要求6和7的任一项的编码方法，其特征在于，所述编码方法还包括用于通过实施属于包括以下项目的组的技术来编码所述小波系数的步骤：

-零树类型技术；

-EBCOT类型技术。

9.按照权利要求6到8的任一项的编码方法，其特征在于，对于属于接连的图像的序列的所述图像，所述方法还包括比较所述图像的所述小波系数与在所述序列中的所述图像之前或之后的至少一个图像的小波系数的步骤，以避免对于与所述之前或之后的图像的那些图像相同的所述图像的小波系数实施所述编码步骤。

10.按照权利要求1到9的任一项的编码方法，其特征在于，所述编码方法能够编码接连的图像的序列，

以及所述图像是通过比较所述序列的原始的图像与由运动估计/补偿所构建的图像而得到的误差图像，所述图像包括要被编码的至少一个误差区域以及，视情况而定，至少一个基本上空的区域。

11.按照权利要求10的编码方法，其特征在于，所述分割步骤包括用于通过定阈值，并使得确定所述图像的具有大于预定的阈值的误差的至少一个区域成为可能而检测所述图像的所述误差区域的步骤。

12.按照权利要求11的编码方法，其特征在于，所述分割步骤还包括用于把在平行六面体形状的块中的至少某些所述检测的误差区域编组在一起的步骤。

13.按照权利要求12的编码方法，其特征在于，所述分割步骤包括用于以相同的特性的块的集的形式创建所述图像的所述区域的步骤。

14.按照权利要求11的编码方法，其特征在于，所述分割步骤还包括用于通过实施四树型技术从所述检测的误差区域创建所述图像的所述区域的步骤。

15.用于译码小波编码的分级网格与其有关的图像的方法，其特征在于，所述方法实施选择性译码所述图像的不同的区域，作为关于被分配给每个所述区域的网格的编码的小波的类型的信息的函数。

16.用于译码小波编码的分级网格与其有关的图像从而实施所述小波编码所述网格的装置的设备，其特征在于，它包括用于选择地施加至少两种类型小波到所述图像的不同的区域的装置。

17.用于译码小波编码的分级网格与其有关的图像的设备，其特征在于，它包括用于选择地译码所述图像的不同的区域作为关于被分配给每个所述区域的网格的编码的小波的类型的信息的函数的装置。

18.表示小波编码的分级网格与其有关的图像的信号，其特征在于，在编码期间至少两种类型小波被选择地加到所述图像的不同的区域，所述信号传送关于被分配给所述区域的每个区域的网格的编码的所述小波类型的信息。

19.按照权利要求18的信号，其特征在于，所述信号以分组的形式被构建，每个分组与所述图像的所述区域之一有关，所述分组的每个分组包括以下域：

-表示分组的开始的域；

-传送所述分组的识别号的域；

-信息报头域；

-包括关于被分配到所述区域的所述小波类型的所述信息段的域；

-包括被加到所述区域的所述网格的小波系数的域；

-涉及所述图像的所述网格的形式的域；

-表示分组的结尾的域。

20.按照权利要求19的信号，其特征在于，所述信息报头域包括：

-关于所述区域的小波系数的数目的子域；

-表示所述图像的所述区域作为所述网格的所述形式的函数的子域；

-关于对于所述小波系数实施的位图的数目的子域。

21.按照权利要求1到14的任一项的编码方法和按照权利要求15的译码方法在属于包括以下项目的组的至少一个领域中的应用：

-视频流；

-视频贮存；

-视频会议；

-视频点播；

-视频邮件。

Images