CN1524383A - 用于嵌套网格的图像的编码和解码的方法和设备,相应程序,信号及应用 - Google Patents

Abstract

本发明涉及一种利用分层网格对至少一个源图像编码的方法，所述分层网格定义至少两个嵌套空间，每个嵌套空间对应于所述网格的一个分解层，所述方法包括：至少在一个分解层n(除了第一分解层之外)，只提供以在和对应于在先分解层n－1的空间正交的空间中定义的函数的基数表述的图像系数，所述函数被选择成使所述图像系数能够关于所述分解层n，优化在先分解层n－1的已传送信息，从而以所述分解层n的优化还原质量，产生代表所述源图像的重构图像。

Description

用于嵌套网格的图像的编码和 解码的方法和设备，相应程序，信号及应用

技术领域

本发明涉及图像的编码，尤其涉及图像的传输或存储。更具体地说，本发明涉及实现嵌套网格分层的分级编码技术的改进。

背景技术

嵌套网格方法一直是许多研究的对象。例如在[7]中(为了便于阅读，引用的各个文献集中在本说明后面的附录3中)，就视频图像编码介绍了嵌套网格方法。

网格通常由定义布局的一组顶点和取向表面确定。在计算机图形学中，这样的网格被用于几何形状不复杂的三维物体的建模。

网格M的近似在于查找其几何复杂性低于网格M的几何复杂性，并且尽可能地接近M的几何形状的网格M′。

有利的是，网格M′由一连串的嵌套网格组成，每个嵌套网格对应于一个细节层次或者一个分级层，从而能够实现图像的逐步重构和简化的编码。

在每个分级层，网络的节点值被优化，以使重构的均方差降至最小。这些节点值随后被量化和编码。这种方法产生有效压缩比并限制视觉退化。这里，这种退化对应于对人眼来说不那么令人不快的平滑效果。这和网格近似方法获得的重构表面的良好连续性相关。

此外，这种方法证明非常适合于视频应用。事实上，三角形网格证明对运动估算来说更灵活和高效。

但是，发明人发现这种压缩技术存在亚最优性(sub-optimality)缺陷的问题。事实上，用于每个层次的基数(base)表现出冗余。

此外，嵌套网格技术能够首先在粗略的层次上，随后在逐渐修正的层次上实现逐步重构(和图像的可伸缩传输)。但是根据传统技术，该方法未被优化：事实上，在各个层次获得的质量(除了最后一个层次)不是最佳的。

还存在以利用从实现小波的滤波操作获得的子带间相关性为基础的已知图像压缩技术。这些技术允许高性能的压缩比[4][5]。

但是，对于只允许极低位速率的应用来说，这些方法会造成相当大的视觉退化，尤其是呈沿轮廓的摆动效应的视觉退化。

此外，以一维小波张量乘法的形式建立使用的小波基数。在支持某些方向的同时，这限制了表现某些结构的能力。利用子带的图像编码方法特有的这些缺陷导致优先选择基于嵌套三角形网格的图像表现。

在文献[1]中，E.Quak建议同时使用这两种技术，在给定关于脊线(ridge)的条件的情况下，使互补小波的基数和每个网格层联系起来。从而他建立了关于三角形网格的明确的预小波(pre-wavelet)基数。这种技术用于地形的3D数字模型的表现和压缩。

在附录1中更详细地说明Quak的处理方法。

附录2回忆了基于嵌套网格分层的编码方法的操作的一般原理及主要线路。

虽然高效，但是附录2中描述的这种已知技术存在某些限制。

具体地说，如[7]中提出的该方法的一个缺陷在于函数_i ^(p)与函数_i ^(p-1)产生的矢量空间V_p-1的非正交性。这意味着和在利用正交变换基数的变换的情况下相比，效率较低的能量集中。

此外，这带来不同分辨率层次的同居问题。从而，当某一顶点位于修正区和未修正区之间的边界上时，不可能为两种分辨率选择该项点的一个最佳值。事实上，对于这种顶点，选择优化级之一的数值之一不会带来最佳重构，除了在对应于该修正层次的区域中之外。

此外，在可扩缩编码方案中，表示法的这种亚最优性也是一个缺陷。事实上，它不能被用于为中间位速率提供最佳的重构质量。

发明内容

本发明的目的是克服现有技术的这些缺陷。

更具体地说，本发明的目的是提供一种可扩缩的图像编码技术和相应的解码技术，借助这种编码技术和相应的解码技术，能够在每个重构层获得最佳的重构质量。

本发明的另一目的是提供一种对于每个重构层，需要有限位速率的编码和解码技术。

本发明的另一目的是提供一种编码和解码技术，该编码和解码技术能够有效处理具有相同结构(相同大小和相同基准网格)的数个图像。

本发明的又一目的是提供一种数据和信号结构，所述数据和信号结构使得能够优化按照这种方式编码的图像的传输和存储必需的位速率。

这些目的，以及下面将更明显的其它目的由对至少一个源图像编码的方法实现，所述至少一个源图像实现定义至少两个嵌套空间的分级网格，每个嵌套空间对应于所述网格的一个分解层n。

根据本发明，至少在一个分解层n上(除第一分解层之外)，只提供用在和与在先分解层n-1对应的空间正交的空间中定义的函数基数表示的图像系数，所述函数被选择成使所述图像系数对所述分解层n，能够优化关于在先分解层n-1传送的信息，从而以关于所述分解层n优化的还原质量，产生代表所述源图像的重构图像。

有利的是，在所有所述分解层上(除了所述第一分解层之外)，只提供用在和与在先分解层n-1对应的空间正交的空间中定义的函数基数表示的图像系数。

有利的是，使图像的数学表示空间V_n与所述分解层n联系起来，从而V_n＝V_n-1W_n-1，其中

-V_n-1是与分解层n-1相关的空间；

-W_n-1是与V_n-1正交的空间，

并且首先使分段仿射函数_n的基数与所述空间V_n联系起来，接下来使由其中表述所述图像系数的两个正交基数：

-所述空间V_n-1的分段仿射函数_n-1的基数；

-所述空间W_n-1的预小波函数ψ_n-1的基数，

的组合形成的基数与所述空间V_n联系起来。

换句话说，用考虑未修正网格(前一层次)的系数的步骤(其中增加了发送赋予修正网格的新节点的系数)替换发送修正网络的系数的步骤。新节点的处理还使得能够优化在先层次的系数的位置，从而在各个层次为最佳。

这种方法的一个优点在于改进了系数数值的统计分布，使得能够降低编码成本。借助始于最后修正的顶点的系数的简单传输，新方法能够根据单独用于该分辨率层次的这些最佳系数，实现图像的第一表示。相反，在已知方法中，第一系数对应于这些顶点的关于网格的最高修正层次优化的数值(于是具有亚最优性)。

最好，所述预小波函数是互相正交的小波函数。

有利的是，每个所述预小波函数具有有限的支点(support)，局限于所述网格的预定数目的顶点，所述预定数目的顶点位于所述函数的基准顶点附近。

根据本发明的第一种实现方式，所述预小波函数是一维的。这种情况下，最好考虑到至少一条脊线在所述网格中的位置，确定各个所述预小波函数，所述至少一条脊线具有向其分配所述函数的所述网格的新顶点。

从而，可借助下述等式获得基数_i ^(p+1)。

其中V_i ^(p)是与p层网格中的顶点j相邻的一组顶点。

根据本发明的另一实施例，所述预小波函数是多维的。特别地，它们可以是“框-样条”型函数。

有利的是，确定网格层n的图像系数取决于对下述线性系统的求解：

A^(p-1)X＝α^(p)

其中 $A^{(p-1)}=\left[\begin{array}{c}{V}^{(p-1)}\\ W^{(p-1)}\end{array}\right]$

这里X是所述源图像的近似α^(p)的坐标的矢量，W^(p-1)是从空间V_p-1的基数_i ^(p-1)到空间W_p-1的预小波函数的基数的通道(变换)(passage)矩阵，V^(p-1)是空间V_p-1的矩阵。

这种方法证明是非常有效的，特别是当所述线性系统的解实现“稀疏矩阵”或“断面(profile)矩阵”类型的算法时更是如此。

根据本发明的一个有利方面，本发明的编码方法包括：

-确定预定图像结构的基准函数_n和ψ_n的基数的预备步骤；

-系统地把基准函数_n和ψ_n的所述基数用于具有所述预定图像结构的任意图像的图像编码步骤。

从而简化了相同类型的一组图像的编码。

在所述预备步骤中，最好确定基准函数_n和ψ_n的至少两组基数，每组基数对应于特定的预定图像结构。

本发明还涉及一种构成源图像分层编码用的函数的基数的方法，源图像实现定义至少两个嵌套空间的分层网格，每个嵌套空间对应于所述网格的分解层n。根据本发明，对于至少一个预定图像结构，所述一个分解层n，最好所有各层(除了第一分解层之外)具有代表图像的相关数学空间V_n，从而V_n＝V_n-1W_n-1，其中

-V_n-1是与分解层n-1相关的空间；

-W_n-1是与V_n-1正交的空间，

并且首先使分段仿射函数_n的基数与所述空间V_n联系起来，接下来使由其中能够表述具有所述图像结构的任意图像的图像系数的两个正交基数：

-所述空间V_n-1的分段仿射函数_n-1的基数；

-所述空间W_n-1的预小波函数ψ_n-1的基数，

的组合形成的基数与所述空间V_n联系起来，使得能够产生以关于所述分解层n优化的还原质量，表现所述源图像的重构图像。

本发明还涉及实现上述编码和/或基数构建方法的图像编码装置。

从而，本发明涉及一种对至少一个源图像编码的装置，所述源图像实现定义至少两个嵌套空间的分层网格，每个嵌套空间对应于所述网格的分解层n，其中至少一个分解层n(除了第一分解层之外)唯一地与用在和对应于在先分解层n-1对应的空间正交的空间中定义的函数的基数表述的图像系数联系起来，所述函数被选择成使所述图像系数能够关于所述分解层n，优化关于在先分解层n-1已传送的信息，从而以关于所述分解层n优化的还原质量，产生表现所述源图像的重构图像。

本发明还涉及一种利用上面说明的编码方法和/或基数的构建编码的图像的解码方法。

这种解码方法按照使以在和对应于在先分解层n-1对应的空间正交的空间中定义的函数的基数表述的图像系数唯一地与至少一个分解层n(除了第一分解层之外)联系起来的编码方法，对以实现分层网格而获得的图像系数编码的图像解码，所述分层网格定义至少两个嵌套空间，每个嵌套空间对应于所述网格的分解层n，所述函数被选择成使所述图像系数能够关于所述分解层n，优化关于在先分解层n-1已传送的信息，从而以关于所述分解层n优化的还原质量，产生表现所述源图像的重构图像。

有利的是，这种解码方法包括：

-接收和/或存储至少一个预定图像结构的基准函数的基数的预备步骤；

-利用对应于要解码图像的图像结构的基准函数的基数的图像解码步骤。

同样，这简化了处理操作，限制了关于一系列图像要传送的数据的数量。

本发明还涉及实现上述解码方法，对编码图像进行解码的装置。

本发明还涉及图像的编码和/或解码计算机程序，其特征在于它包括实现上述编码方法和/或解码方法的程序指令。

本发明还涉及图像数据信号，其特征在于它包含第一部分和第二部分，所述第一部分包含代表至少一种预定图像结构的基准函数的至少一组基数的数据，所述第二部分包含代表利用基准函数的所述多组基数之一编码的至少两个图像的数据。

有利的是，所述第一部分包含基准函数的至少两组基数，对应于不同的图像结构，所述第二部分的每个图像包含使得能够选择基准函数的所述多组基数之一的信息。

最好，所述第一部分和/或所述第二部分的数据被组织成能够实现逐步的图像重构和/或具有预定的重构质量水平。

根据优选特征，根据实现定义至少两个嵌套空间的分层网格的方法对所述图像编码，每个嵌套空间对应于所述网格的分解层n，所述基准函数被选择成使所述图像系数能够关于所述分解层n，优化关于在先分解层n-1的已传送信息，图像的编码使以在和对应于在先分解层n-1对应的空间正交的空间中定义的函数的基数表述的图像系数唯一地与每个分解层n(除了第一分解层之外)联系起来，从而以关于所述分解层n优化的还原质量，产生表现所述源图像的重构图像。

本发明可用在许多领域，尤其是用于固定图像的编码，和运动图像流的内部图像的编码。

附图说明

根据下面作为非限制性例子给出的本发明的优选实施例的说明，以及根据附图，本发明的其它特征和优点将是显而易见的，其中：

图1图解说明了确定点P的坐标的方式；

图2A-2D表示了在根据在附录1中说明的Quak的方法的网格中的脊线的不同位置；

图3是表示本发明一个实施例的一般原理的简化方框图；

图4图解说明了在本发明的例证实现中，为计算预小波函数而考虑的k-圆平面(k-disk)；

图5举例说明利用图3中图解说明的原理的信号的结构。

具体实施方式

本发明特别依赖于以互补基数的正交性为基础的特定小波，或者预小波的应用。

类似地可设想把本发明应用于框-样条(box-spline)型小波[2]。首先是其有效系数数目较小的三角形网格上的预小波。还用网格构成框-样条小波，框-样条小波代表构成不是以一维小波基数的张量乘积为基础的二维小波的工具。

提出的方法是在[7]中研究的在先网格编码方法的改进。它涉及固定图像的编码，而且可被应用于视频压缩的框架中的内部图像，尤其是连带地使用网格估计内表面和估计内部移动的编码操作。

于是，该方法一般可被应用于图像的传输和存储。

于是在可应用该方法的应用中，我们可列举：

-和远程电话会议相关的应用；

-分布式网络上自然图像的逐步传输；

-基于网格的视频压缩方案中内部图像的编码和VOP应用

于是，图3提供了本发明一般原理的简化图。

我们将考虑一种本身已知的嵌套网格(311)，该嵌套网格定义了若干空间V_n，每个空间对应于网格的一层。

对于这些空间中的每一个，根据下面详细描述的技术，搜索正交基数(312)。根据正交基数推断出编码矩阵(313)，使得能够确定网格每个层次的最佳图像系数。

必须注意的是这些操作和图像的内容无关。它们只和使用的网格相联系。于是，这些操作最好是预备步骤31，产生编码和解码矩阵，所述编码和解码矩阵随后可被用于若干图像，只要这些图像和相同网格相关。

于是提供编码步骤32。步骤32可被重复数次(321)，而不返回计算正交基数。从而获得一种相当简单的方法，矩阵只计算一次。

对于每个接收的源图像(322)(源图像可以是固定图像或者视频流的内部图像)，利用矩阵计算和每个层次的网格对应的图像系数(323)，随后传送(34)或保存获得的系数。

解码操作33需要反向的相同操作。对于解码操作来说，存在可用的解码矩阵。这些矩阵可明确地安装在存储器中，或者在视频流的开始接收这些矩阵(331)，以便初始化解码器。

在接收编码系数时(332)，解码器逐步重构(333)每个图像，直到所需的质量水平为止。

相同的基数可被用于数个图像的事实使得能够定义有利的信号结构，如图5中所示。

信号包含第一初始化部分51和第二图像数据部分52，第一初始化部分51包含只此一次确定的函数的基数，第二图像数据部分52包含利用所述基数确定的系数。从而获得减小的位速率，在序列开始时只传输一次第一部分51。

当存在对应于相同数目的图像的函数511、512，…的数组基数时，提供一种用于识别这些图像的系统。对于每个图像或者图像系列，或者只当变化是必需的时候，才以图像的数据521的前同步码的形式传送标识符5211，该标识符指示将被使用的函数的一组基数。

可为部分51和52设计截然不同的传输流。也可为部分52设计至少两个流：一个第一流对应于一个或多个“粗略”层次，数个其它流对应于更细化的层次。根据需要，位速率和/或可用的工具，可选择所使用的流。

也可设计成终端(例如CD-ROM)一劳永逸地知道第一部分51。这种情况下，只传送部分52，这对应于极低的位速率。

当然，相同的原理也可应用于存储这样编码的图像的数据介质。

下面更详细的说明将给出本发明的一个实施例的实现。

1.新系数的定义

这里将考虑同样与嵌套的三角形网格相关的可用嵌套空间V₀，V₁，...，V_n。空间的维数对应于考虑的网格的顶点的数目。假定每个空间V_n存在一个基数_i ^(p)，每个函数唯一地与顶点i相关。通常，本发明使用对每个三角形的约束条件为多项式的函数的基数。

在下面说明的例子中，为了简化起见，认为空间V_n与网格的每个分解层相关。本发明当然也可应用于其中嵌套空间V_m～V_l只与网格的连续分解层m～l相关的情况，这里m和l是为任意值的两个整数。例如，可以只对网格的与嵌套空间V₃～V₁₂相关的3～12分解层实现本文献中下面说明的发明原理。

附录2中表示的仿射基数是这种基数的一种特殊情况，以致所考虑的多项式是一次多项式，即运算所处的矢量空间被局限于全程连续并且分段仿射的函数。为了使用多解的性质，搜索利用下述这种修正等式从一个层次连接到另一层次的基数：

在网格分层中，我们具有一系列的嵌套空间，每个嵌套空间对应于指定的表示和图像质量。虽然存在空间V_n和V_n+1，试图寻找空间W_n的基数，从而V_nW_n＝V_n+1，这里表示两个矢量空间的正交和。于是知道能够如下表示图像I的近似：

这里标注p说明的是一组不同的解，N_p代表W_p的维数。

选择函数ψ_i ^(p)，以便构成空间W_p的基数。此外，维数W_p＝维数V_P+1-维数V_p，从而函数ψ_i ^(p)的数目等于解答p的新顶点的数目。于是可使W_p的基本函数一一对应地与新顶点联系起来。

这些函数被称为预小波。在相同层次的基本函数相互正交的特殊情况下，它们被称为小波。

实际上，在本发明的应用中遇到的障碍源于表现其函数使支点(support)局限于有限数的基数(ψ_i ^(p))的困难性，所述有限数是邻近基准顶点的三角形的最小可能数目。从而不能被局限于使初始基数任意正交。在下面的章节中给出可应用本方法的应用的实际例子。

一旦图像近似的这种分解可行，则可按照传统方法对获得的系数编码。这种情况下注意两个成功的分辨率层次之间的正交性使差分编码无效：获得的系数被直接量化，并借助算术编码器编码。

2.新系数的实际计算

为了简化说明，下面关于我们只具有两个连续空间V₀和V₁的情况详细说明计算。于是对空间W₀的基数进行搜索。由于该基数的每个函数(ψ_i ⁽⁰⁾)属于空间V₁，并且由于V₀W₀＝V₁，已知存在系数w_ij，以致：

于是，该算法的第一步在于确定矩阵W⁽⁰⁾＝(w_ij)

事实上，该矩阵构成从空间V₁的基数(_i ⁽¹⁾)到空间W₀的预小波的基数的通道的矩阵。注意这些计算和图像的内容无关，实际上只取决于网格的形式和选择的基数的类型。于是可对传统使用的网格进行预先计算。这种预先计算取决于建立预小波的基数的方式。小节5.4和节6表示了这种构成的实际例子。类似地，W_(p)表示层次p和p+1的相同矩阵。

现在说明以通道的前述矩阵为基础的系数的有效计算。对于指定图像，如果存在p个分辨率层次，则：

对于每个层次，通过求解线性系统，能够计算和等式(7)的系数对应的系数(β(p)i)。

事实上，我们得到：

(10)V^(p-1)α^(p-1)＝α^(p)

(11)W^(p-1)β^(p-1)＝α^(p)

于是，利用

$A^{(p-1)}=\left[\begin{array}{c}{V}^{(p-1)}\\ W^{(p-1)}\end{array}\right]$

求解线性系统：

(12)A^(p-1)X＝α^(p)

足以获得所需的系数。

矢量X由新基数中图像近似的坐标形成。

在求解这种线性系统的有效方法中，可挑选不同的方法，包括迭代方法。本发明优选利用稀疏矩阵的性质的求解方法。自然地，这种方法只有在相应的矩阵足够稀疏，通过利用断面(profile)矩阵足以在计算时间方面实现可接受的复杂性的情况下才可用。

在这种精确情况下，该性质对应于限制用于数目足够小的顶点的预小波函数的支点(support)。线性系统的这些求解方法构成第一可能性。但是，存在易于加速计算时间，防止整个线性系统的明确求解的其它解决方案。

我们将使用几个例子举例说明可在网格上展示预小波的基数的方式。

3.1 确定基数

下面，我们给出基于拉格朗日仿射有限元函数的预小波的例子。围绕网格的顶点i的k-圆平面D_i，k ^(p)被定义为可由通道连接的一组顶点，所述通道由少于层p的网格的k个脊线的脊线构成。这里只试图构成预小波的基数，所述预小波的基数为支点(support)局限于围绕顶点i的k-圆平面的W_p上的(_i ^(p＝1))的正交投影，这里i描述不位于层p上的层p+1的一组节点。对于与属于层p，但是不位于层p-1上的顶点相对应的i的数值，函数(ψ_i ^(p))被表示为如下所示：

为了确定矩阵Q＝q_ij的系数，必须利用V_p写出ψ_i ^(p)的正交性的条件。于是下面被表示为：

或者另一方面(对于i新顶点和k旧顶点)：

通过修正等式，知道作为V_p+1的函数的表达式V_p。由其推断出Q是线性系统的一个解，取决于相同层次函数的标量乘积。根据三角形的测量结果，可计算这些标量乘积[6]。

现在我们能够通过利用修正等式(4)导出矩阵W的系数。

下面的子节说明可用于图像的计算和编码的程序。

3.2计算和编码

我们假定试图对其上存在两个网格层次的图像编码。在该算法的第一步中，使用在[7]中描述的方法根据仿射有限元_i ^(p)优化节点值，这里i表示层1的一组顶点。从而得到由等式(3)给出的分解。

可回忆在等式(2)中定义的均方差的最小化相当于利用断面方法求解的线性系统的解[7]。该线性系统被表示为如下所示：

于是我们考虑由其象素值I(x，y)定义的图像。试图使E最小化，这里Ω代表图像的一组象素，V_p代表具有分辨率层次p的一组顶点。通过写下Np个等式，获得最小值：

$\frac{\∂E}{\∂{\mathrm{\α}}_n^{\left(p\right)}}=0,n=1,...,N_p$

对于指定顶点n，S(n)被表示为函数(p)n的支点，随后我们得到下述Np个等式：

于是必须求解线性系统A_x＝B，这里在A和B被设置为0之后，如下计算矩阵A和矢量B：

For i＝1，...，NT(所考虑的网格的三角形的数目)

  For(x，y)in Ti(三角形T_i的象素的扫描)

    For j＝1 to 3(T_i的顶点)

      f_j＝_m(j)(x，y)的计算，这里m(j)是T_i的第j个顶点的下标

    For(k＝1 to 3，j＝1 to 3)(rem.如果(k，j)被处理，则不处理(j，k))

      A_m(k)，m(j)＝A_m(k)，m(j)+f_k ^*f_j

  For(j＝1 to 3)

    B_m(j)＝B_m(j)+f_j ^*I(x，y)

  End for j

End for i

算法1：节点值的优化

由于矩阵A是正定对称矩阵，并且具有大量的零值，于是利用分布(profile)方法求解线性系统。

现有我们具有系数α，让我们根据预小波确定系数。从等式(15)导出线性系统，使得对于P＝p，能够以(7)的形式实现图像的分解。假定我们描述两个层次之间的通道，即从描述(writing)

到下述描述的通道：

于是，在每个步骤，试图求解线性系统Cx＝α，这里矩阵C的系数是合成系数。矩阵C被设置为0。这种情况下，通过利用等式(4)和(13)确定矩阵C。首先，给出用于计算等式(13)的系数q_ij的算法。为此，从等式(14)导出系统Dq＝E。

为了简化说明，这里认为k-圆平面等于整个网格。矩阵D和E被设置为0。在下述情况下：

如果选择某一网格，对于该网格，相同层次的所有三角形具有相同的面积：我们得到下述关系，借助该关系，易于计算前面的系数[6]：

对于i≠j：

对于i＝j：

该新的线性系统同样是具有充分稀疏矩阵的系统。这使得能够使用适合的方法。但是，由于矩阵不是正对称的，因此为了应用断面方法，用等同的系统tCCx＝tCα替换线性系统Cx＝α。从而得到具有相应矩阵的线性系统，该矩阵是正定对称的(事实上C是可逆的)。该系统不太稀疏，但是对应的矩阵同样具有可接受的断面。

当存在网格的两个以上的层次时，重复上面描述的过程。一旦该分解适用于所有的分辨率层次，即等式(7)的系数α(O)i和β(p)i时，进行标量量化，并把对应的量化值传送给在修正三角形的树形结构中选择的顶点。

通过合成系数进行解码阶段，这次直接利用矩阵C而不是其逆矩阵。这给出借助其能够利用简单插值获得图像的完全重构的系数。

4.第二例子

下面给出的另一例子是应用本发明方法的固定图像编码方案。这里使用在附录1中描述的基于脊线的预小波。节点值的优化阶段和第一例子相同。

这种情况下，也通过求解线性系统Cx＝α，计算小波系数。为了确定矩阵C的系数，随后应用下述算法：

For i＝1，…，Np

  C_ii＝1

  For j(网格中i的邻居)

    C_ij＝1

  End for j

End for i

For i＝N_p+1，…，N_p+1

  C_ii＝由相应脊线i的位置确定的U

对于在前一子节中确定的情况下，计算C_ii≠0

End for i

算法2：通道矩阵C的填充

注意该方法并不需要位于边缘的任何实现。事实上，预小波的构成方式已考虑了对于任意限界网格可能的不同结构。

5.利用“框样条”的应用

5.1 方法的描述

该方法也可应用于其它类型的小波或预小波结构。也可根据其上已建立多分辨率的嵌套空间构成小波的明确基数。在[3]中详述了用于构成多维小波基数的一般方法。与由张量乘积构成的小波相比，使用这种小波的价值在于基本函数更适合于多维结构。

文献[2]同样吸收该原理，还给出一种能够利用密集支点确定预小波的基数的方法，从而该方法实际上直接可用。这里提出在框-样条小波运算中应用该分解。

5.2算法

在[2]中给出了例证的框-样条函数。其中给出了基本函数的明确系数。于是如上所述，能够导出通道矩阵W，使我们能够确定相应的小波系数。这些算法被准确地如下表示：例如，可直接由在[2]中说明的例子推断出系数。

附录1

如果脊线划分网格的两个三角线的界限，则认为脊线是内部脊线。如果不是，则认为脊线是外部脊线。脊线可以是其两个顶点在内部的内部脊线(a)，可以是其两个顶点之一在外部的内部脊线(b)，其两个顶点在外部的内部脊线(c)，或者另一方面，脊线本身可以是外部脊线(d)。图2中表示了这些不同的情况。于是，这种表示基础的优点在于由于使用的支点(support)的规模较小，因此适合于多分辨率，并且易于使用。

我们可回忆不同情况下，Quak的预小波的明确表示。我们来考虑第一种情况。假定u是考虑的新顶点，假定a₁和a₂是两个项点，s和t是它们在网格层1的连通性的相应实例：随后我们以下式表达式(writing)得到可能的预小波ψ_u ⁽⁰⁾：

这里b_i说明与a₁连接、并且不同于u的顶点，c_i说明与a₂连接并且不同于u的顶点。对于指定顶点 a，这里函数_α表示与相应网格的顶点 a相关的仿射有限元。

在稍后一种情况下，假定脊线的两个端点之一是网格的外部顶点。

$\mathrm{\λ}=-\frac{5}{2}+\frac{\sqrt{21}}{2}$

从而，s₁表示与a₁相邻并且位于所考虑脊线左侧的顶点的数目，s₂表示与a₁相邻并且位于所考虑脊线右侧的顶点的数目。对应的系数分别表示为B_i ¹和B_i ²。我们随后得到系数的下述表达式：在第三种情况下，通过区分t₁和t₂，使用相同的符号，t₁表示与b₁相邻并且位于所考虑脊线左侧的顶点的数目，t₂表示与b₁相邻并且位于所考虑脊线右侧的顶点的数目。

最后在脊线是外部脊线的最后一种情况下，我们得到：

在所有情况下，存在和与最精细层次的仿射函数的基数相符的新顶点对应的预小波的表达式。

附录2

1.表面的近似

为了简化问题，我们在灰度级(亮度)方面考虑图像。对于色度频带来说，可应用类似的方法。于是，图像可被认为是参数表面的离散化表示。这里我们更仔细地检查该表面的利用网格的表示。

这里假定可用的网格是覆盖图像的整个范围的任意非特定网格。随后使用以某一顶点为中心的拉格朗日基本函数C⁰。从而获得下述形式的图像I的近似

这里N表示网格的顶点的数目，_i是在顶点i上取值为1的仿射函数，从而位于三角形之一某点的数值等于该点相对于顶点i的重心坐标(参见图1)，i是所述三角形的顶点。于是在其顶点之一是顶点i的三角形面之外，该函数为零。计算系数α_i，以使均方差最小：

在该图像的支点上。

2.网格的分层

该方法使用嵌套三角形网格的分层。最初，存在一个可用的三角形网格。随后采用网格分解规则。例如通过在网格的每条脊线的中间插入一个新顶点，能够获得下述网格。

这种情况下，每个三角形被分成四个新的三角形。使用图像的这种描述，以便能够获得图像的连续近似，每个近似对应于一个指定的分辨率。随后通过只细分其重构均方差高于某一阈值的三角形，利用该分层。所述阈值的数值部分确定所需的重构质量。从而，获得分层的分解树。该树形结构必须被传送给编码器，使解码器能够确定哪些是修正的三角形。

3.系数的编码

所有情况下，传送基本层次(分层的最粗略层次)的数值。事实上，这些数值是图像的最低限度重构所必需的。在层次0，我们得到：

在层次1，我们于是能够写出：

这里N₀个第一顶点对应于已存在于0层网格中的1层网格的顶点，第二项的N₁-N₀顶点对应于不存在于0层中的1层顶点。于是在任意非特定层次p，存在下述可用表示：

和的第一项对应于分辨率层次p的N_p个顶点，和的第二项对应于插入p+1层的新顶点。对于N_p个第一顶点，我们得到：

这里V_i ^(p)代表与网格p中的顶点i相邻的一组顶点。

于是，可按照下述差分形式表述图像的表示法：

4.结论：

为了均化这样获得的系数，根据这些系数导出第一层系数的平均值。这种表示法能够利用和图像中最近象素之间的统计相关性有关的空间冗余。借助这些系数的量化进行压缩，随后进行自适应算术编码。此外，不属于在自适应修正步骤中选择的任意三角形的系数不被编码；事实上，不修正三角形相当于认为和该三角形内的较好分辨率对应的顶点的系数是内插值。这等同于把0赋予系数δ_i ^(p)。

5.该方法的价值

于是，该方法使得能够通过利用嵌套规则网格的分层，获得固定图像的简单编码方案。这使得能够获得有效的压缩率。此外，这种编码方案特别适合于系数的标量传输。

附录3

参考文献

[1]Michael Floater和Ewald Quak，Piecewise linear prewaveletson arbitrary triangulations，Numerische Mathematik Springer-Verlag1999，82，pp.221-252

[2]Sherman D.Riemenschneider和Zuowei Shen，Wavelets andPreWavelets in Low Dimension，Analysis and Approximation TheorySeminar University of Alberta

[3]Yves Meyer，Ondelettes，Hermann，1990

[4]Amir Said和William Pearlman，A new，fast，and efficientimage codec based on set partitioning in hierarchical trees.IEEETransactions on Circuits and Systems for Video Technology，6(3)：243-250，June，1996

[5]David Taubman，High Performance Scalable ImageCompression with EBCOT 1999

[6]P.-A.Raviart和J.M.Thomas.Introduction àl′AnalyseNumérique des Equations aux Dérivées Partielles，Masson，1992

[7]Patrick Lechat和Henri Sanson，Combined mesh-basedimage representation and motion estimation，application to videocoding，Proc.of ICIP 98，vol.2 pp909-914，Chicago-USA，Oct.4-7 1998

[8]Gwenaelle Marquant，Representation par maillage adaptatifdéformable pour la manipulation et la communication d′objetsvideo，Thèse，décembre 2000 Université de Rennes 1

Claims (31)

1、一种对至少一个源图像编码的方法，实现定义至少两个嵌套空间的分级网格，每个嵌套空间对应于所述网格的一个分解层，

其特征在于，使图像的数学表示空间V_n至少与一个分解层n(除了第一分解层之外)联系起来，从而V_n＝V_n-1W_n-1，其中

-V_n-1是与分解层n-1相关的空间；

-W_n-1是与V_n-1正交的空间，

并且其特征在于首先使分段仿射函数_n的基数与所述空间V_n联系起来，其次使由两个正交基数：

-所述空间V_n-1的分段仿射函数_n-1的基数；

-所述空间W_n-1的预小波函数ψ_n-1的基数，

的组合形成的基数与所述空间V_n联系起来，

并且其特征在于在所述分解层n上(除第一分解层之外)，只提供用预小波函数的所述基数表述的图像系数，

所述预小波函数被选择成使所述图像系数能够关于所述分解层n，优化在先分解层n-1的已传送的信息，

从而以关于所述分解层n优化的还原质量，产生代表所述源图像的重构图像。

2、按照权利要求1所述的编码方法，其特征在于在所有所述分解层上(除了所述第一分解层之外)，只提供用在和与在先分解层n-1对应的空间正交的空间中定义的预小波函数基数表示的图像系数。

3、按照权利要求1和2之一所述的编码方法，其特征在于所述预小波函数是相互正交的小波函数。

4、按照权利要求1-3中任一项所述的编码方法，其特征在于每个所述预小波函数具有有限的支点(support)，局限于所述网格的预定数目的顶点，所述预定数目的顶点位于所述函数的基准顶点附近。

5、按照权利要求1-4中任一项所述的编码方法，其特征在于所述预小波函数是一维的。

6、按照权利要求5所述的编码方法，其特征在于最好考虑到至少一条脊线在所述网格中的位置，确定各个所述预小波函数，所述至少一条脊线具有向其分配所述函数的所述网格的新顶点。

7、按照权利要求1-6中任一项所述的编码方法，其特征在于借助下述等式获得基数_i ^(p+1)，

其中V_i ^(p)是与p层网格中的顶点j相邻的一组顶点。

8、按照权利要求1-4中任一项所述的编码方法，其特征在于所述预小波函数是多维的。

9、按照权利要求8所述的编码方法，其特征在于所述预小波函数是框-样条型函数。

10、按照权利要求1-9中任一项所述的编码方法，其特征在于确定网格层n的图像系数取决于对下述线性系统的求解：

A^(p-1)X＝α^(p)

其中 $A^{(p-1)}=\left[\begin{array}{c}{V}^{(p-1)}\\ W^{(p-1)}\end{array}\right]$

这里X是所述源图像的近似α^(p)的坐标的矢量，W^(p-1)是从空间V_p-1的基数_i ^(p-1)到空间W_p-1的预小波函数的基数的通道的矩阵，V^(p-1)是空间V_p-1的矩阵。

11、按照权利要求10所述的编码方法，其特征在于所述线性系统的解实现“稀疏矩阵”或“断面矩阵”类型的算法。

12、按照权利要求1-11中任一项所述的方法，其特征在于它包括：

-确定预定图像结构的基准函数_n和ψ_n的基数的预备步骤；

-系统地把基准函数_n和ψ_n的所述基数用于具有所述预定图像结构的任意图像的图像编码步骤。

13、按照权利要求12所述的编码方法，其特征在于在所述预备步骤中，确定基准函数_n和ψ_n的至少两组基数，每组基数对应于特定的预定图像结构。

14、一种用于源图像分层编码的函数的基数的构成方法，实现定义至少两个嵌套空间的分层网格，每个嵌套空间对应于所述网格的分解层n，其特征在于对于至少一个预定图像结构，至少一个分解层n(除了第一分解层之外)具有代表一个图像的相关数学空间V_n，从而V_n＝V_n-1W_n-1，其中

-V_n-1是与分解层n-1相关的空间；

-W_n-1是与W_n-1正交的空间，

并且其特征在于首先使分段仿射函数_n的基数与所述空间V_n联系起来，其次使由其中能够表述具有所述图像结构的任意图像的图像系数的两个正交基数：

-所述空间V_n-1的分段仿射函数_n-1的基数；

-所述空间W_n-1的预小波函数ψ_n-1的基数，

的组合形成的基数与所述空间V_n联系起来，使得能够产生以关于所述分解层n优化的还原质量表现所述源图像的重构图像。

15、实现按照权利要求1-14中任一项所述的编码和/或基数构建方法的图像编码装置。

16、一种对至少一个源图像编码的装置，实现定义至少两个嵌套空间的分层网格，每个嵌套空间对应于所述网格的分解层，

其特征在于至少一个分解层n(除了第一分解层之外)与图像的数学表示空间V_n相联系，从而V_n＝V_n-1W_n-1，其中

-V_n-1是与分解层n-1相关的空间；

-W_n-1是与V_n-1正交的空间，

并且其特征在于首先使分段仿射函数_n的基数与所述空间V_n联系起来，其次使由两个正交基数：

-所述空间V_n-1的分段仿射函数_n-1的基数；

-所述空间W_n-1的预小波函数ψ_n-1的基数，

的组合形成的基数与所述空间V_n联系起来，

并且其特征在于在所述分解层n上(除第一分解层之外)，只联合用预小波函数的所述基数表述的图像系数，

所述预小波函数被选择成使所述图像系数能够关于所述分解层n，优化在先分解层n-1的已传送信息，

从而以关于所述分解层n优化的还原质量，产生代表所述源图像的重构图像。

17、按照权利要求16所述的编码装置，其特征在于在所有所述分解层上(除了所述第一分解层之外)，只提供以预小波函数的所述基数表示的图像系数。

18、一种对利用按照权利要求1-14中任一项所述的编码方法和/或基数构建方法编码的图像进行解码的方法。

19、一种按照使至少一个分解层n(除了第一分解层之外)与图像的数学表示空间V_n相联系，从而V_n＝V_n-1W_n-1的编码，对以实现分层网格而获得的图像系数的形式编码的图像进行解码的方法，所述分层网格定义至少两个嵌套空间，每个嵌套空间对应于所述网格的一个分解层，其中

-V_n-1是与分解层n-1相关的空间；

-W_n-1是与V_n-1正交的空间，

所述编码还首先使分段仿射函数_n的基数与所述空间V_n联系起来，其次使由两个正交基数：

-所述空间V_n-1的分段仿射函数_n-1的基数；

-所述空间W_n-1的预小波ψ_n-1的函数的基数，

的组合形成的基数与所述空间V_n联系起来，

所述编码还使以预小波函数的所述基数表述的图像系数唯一地与所述分解层n(除第一分解层之外)联系起来，

所述预小波函数被选择成使所述图像系数能够关于所述分解层n，优化在先分解层n-1的已传送的信息，

从而以关于所述分解层n优化的还原质量，产生代表所述源图像的重构图像。

20、按照权利要求19所述的解码方法，其特征在于只使以预小波函数的所述基数表述的图像系数与所有所述分解层(除了所述第一分解层之外)联系起来。

21、按照权利要求19或20所述的解码方法，所述编码方法是按照权利要求1-13中任一项所述的方法，其特征在于它包含：

-接收和/或存储至少一个预定图像结构的基准函数的基数的预备步骤；

-利用对应于要解码的图像的图像结构的基准函数的基数的图像解码步骤。

22、编码图像的解码装置，其特征在于它实现按照权利要求19-21中任一项所述的方法。

23、一种按照使至少一个分解层n(除了第一分解层之外)与图像的数学表示空间V_n相联系，从而V_n＝V_n-1W_n-1的编码，对以实现分层网格而获得的图像系数的形式编码的图像进行解码的方法，所述分层网格定义至少两个嵌套空间，每个嵌套空间对应于所述网格的一个分解层，其中

-V_n-1是与分解层n-1相关的空间；

-W_n-1是与V_n-1正交的空间，

其特征在于首先使分段仿射函数_n的基数与所述空间V_n联系起来，其次使由两个正交基数：

-所述空间V_n-1的分段仿射函数_n-1的基数；

-所述空间W_n-1的预小波函数_n-1的基数，

的组合形成的基数与所述空间V_n联系起来，

所述编码还使以预小波函数的所述基数表述的图像系数唯一地与所述分解层n(除第一分解层之外)联系起来，

所述预小波函数被选择成使所述图像系数能够关于所述分解层n，优化在先分解层n-1的已传送信息，

从而以关于所述分解层n优化的还原质量，产生代表所述源图像的重构图像。

24、按照权利要求23所述的解码装置，其特征在于对于所有所述分解层(除了所述第一分解层之外)，只提供以在与对应于在先分解层n-1的空间正交的空间中定义的函数的基数表述的图像系数。

25、用于图像的编码和/或解码的计算机程序，其特征在于它包括实现按照权利要求1-14中任一项所述的编码方法和/或按照权利要求19-21中任一项所述的解码方法的程序指令。

26、一种图像数据信号，其特征在于它包含第一部分和第二部分，所述第一部分包含代表至少一种预定图像结构的基准函数的至少一组基数的数据，所述第二部分包含代表利用基准函数的所述多组基数之一编码的至少两个图像的数据。

27、按照权利要求26所述的图像数据信号，其特征在于所述第一部分包含基准函数的至少两组基数，对应于不同的图像结构，所述第二部分的每个图像包含使得能够选择基准函数的所述多组基数之一的信息。

28、按照权利要求26和27中任一项所述的图像数据信号，其特征在于所述第一部分和/或所述第二部分的数据被组织成能够实现逐步的图像重构和/或具有预定的重构质量水平。

29、按照权利要求26-28中任一项所述的图像数据信号，其特征在于按照实现定义至少两个嵌套空间的分层网格的方法对所述图像编码，每个嵌套空间对应于所述网格的一个分解层，所述基准函数被选择成使所述图像系数能够关于所述分解层n，优化在先分解层n-1的已传送信息，图像的编码使图像的数学表示空间V_n与每个分解层n(除了第一分解层之外)相联系，从而V_n＝V_n-1W_n-1，其中

-V_n-1是与分解层n-1相关的空间；

-W_n-1是与V_n-1正交的空间，

并且首先使分段仿射函数_n的基数与所述空间V_n联系起来，其次使由两个正交基数：

-所述空间V_n-1的分段仿射函数_n-1的基数；

-所述空间W_n-1的预小波函数ψ_n-1的基数，

的组合形成的基数与所述空间V_n联系起来，

所述编码还使以预小波函数的所述基数表述的图像系数唯一地与所述分解层n(除第一分解层之外)联系起来，

所述预小波函数被选择成使所述图像系数能够关于所述分解层n，优化在先分解层n-1的已传送信息，

从而以关于所述分解层n优化的还原质量，产生代表所述源图像的重构图像。

30、按照权利要求1-13中任一项所述的编码方法和/或按照权利要求19-21中任一项所述的解码方法在固定图像编码方面的应用。

31、按照权利要求1-13中任一项所述的编码方法和/或按照权利要求19-21中任一项所述的解码方法在运动图像流的内部图像的编码和/或解码方面的应用。

Images