CN1918603A - 对图像进行编码和解码的方法和装置 - Google Patents

Abstract

一种数字图像编码装置，产生空间滤波图像的表示，该空间滤波图像可以从公共源图像通过施加具有各自滤波带宽的空间滤波操作来获得。滤波图像中的图像信息依赖于滤波图像中的位置和滤波带宽，这种依赖性通过定义一个空间中的表面的信息来表示，该空间至少以滤波图像中的位置和滤波带宽作为坐标。该表面的形状和位置至少部分定义了所述依赖性。该装置接收表示作为图像中位置的函数的源图像的图像信号。然后，该装置选择一组控制点的坐标值。该选择包括根据所述图像信号来选择坐标值的滤波带宽分量。该选择优化了与源图像一致的所述表面的真正形式的所述表面的近似形式的近似质量。

Description

对图像进行编码和解码的方法和装置

技术领域

本发明涉及图像处理，并且更具体地，涉及数字图像表示。

背景技术

数字图像表示技术以有限系数集合的方式对图像进行表示。简单的表示技术使用了取自量化像素位置的图像亮度和/或色彩的采样值。更复杂的数字图像表示技术的例子是压缩技术，这些压缩技术减少了用于表示图像的系数数据量，同时最小化产生的可见失真。MPEG和JPEG标准提供了这种数字图像表示技术的例子。

传统的数据图像表示被设计用于特定的显示目的。显示通常需要离散像素位置r_i的像素值(在这里使用下标“i”来指示任意离散元素集合的不同元素的存在)，其将“理想”图像亮度和/或色彩I(r)的抗混叠(anti-alias)滤波形式I_w(r)的采样表示为位置r的函数：

I_w(r)＝∫dr′H_w(r′)I(r-r′)

Sample(r_i)＝I_w(r_i)

这里，H_w(r′)是具有滤波带宽“w”的抗混叠滤波器核(通常是低通滤波器核)。传统的数据图像表示技术仅适用于相对不变的显示目的，其中采样位置r_i的栅格预先已知。通过采样和/或压缩来丢弃那些假定当以预定方式显示所表示的图像时不显著可见的信息。结果是，如果不得不以该预定方式之外的方式来显示图像，那么这些表示技术可能不会给出满意的结果。

更具体地说，如果在显示之前需要通过例如旋转、平移或缩放对图像进行变换，这些数字图像表示技术可能导致令人不满意的图像显示。作为可能出现的问题的例子，可以考虑这样一种应用，其中用户应该能作为他或她自己的摄影人以确定观看图像信息的方式。在这种情况下，用户应该能够对虚拟摄像机位置和方向、缩小或放大等做出改变。为了从数字图像表示中产生相应图像，必须对压缩图像数据表示的图像应用各种变换。也就是说，必须确定对应于理想图像I(r)的变换形式I_T(r)图像的像素值：

I_T(r)＝I(T(r))

其中，T(r)是任意变换T将位置“r”映射到的图像位置。出于显示目的，通常需要对该变换图像采样：

Sample(r_i)＝∫dr′H_w(r′)I(T(r_i)-r′)

所要求的抗混叠滤波器带宽(滤波器函数H_W(r′)的带宽)取决于采样位置的变换栅格上的像素位置T(r_i)之间的距离，并且特别是如果该变换T(r)涉及改变采样点之间距离的缩放，那么所要求的抗混叠滤波器带宽可以与源图像I(r)所需的抗混叠滤波器带宽不同。在一些实施例中，例如为获得局部增加的模糊，或者在非线性变形的像素栅格情况下，甚至可以将带宽w选择成像素位置r_i的函数w(r_i)。在这种类型的实施例中，变换也包括以与该变换的比例因子一致的因子对带宽进行变换。

因为基于当在预定像素栅格上显示近似图像时具有近似误差的低可见性的假设，使用一组系数C来表示图像，该组系数C给出了“理想”图像函数I(r)的近似I(r/C)，所以大多数数字图像表示技术特别是压缩技术并不很适合实现显示变换图像的目的。

例如，实现期望的变换图像的一种途径是：确定解压缩图像的一组采样值{I(r/C)}，并且随后从解压缩图像的采样{I(r/C)}中计算变换图像的一组像素值T{I(r/C)}。然而，例如，因为通过系数集合C对图像I(r)进行近似的期间假定的采样栅格与变换图像的显示期间所使用的栅格不匹配，所以这通常导致失真(在理想变换图像I_T(r)和计算的T{I(r/C)}之间的可见差异)。同时，对该变换图像的计算需要相当大的处理能力，这使得该技术难以应付实时的消费应用。

在视频信号(对应理想函数I(r，t)的活动图像)的情况下，由于通常以预定的时间采样频率对图像进行时间采样，所以对于时间变换(可变的重播速度)或者组合的时间和空间变换(例如：依赖于时间的摄像机方向旋转)来说，会出现同样的问题。

发明内容

本发明的目的是提供一种数字图像表示，该数字图像表示在产生最少可见失真的同时使产生变换的图像或图像序列成为可能，并且无需过多的数据量来表示图像和/或无需过多的计算量来进行变换。

代替基于像素的数字图像表示的一种可替换选择使用了基于坐标的系数C来表示图像，例如，通过以参数的形式使用系数C，这些参数描述了形成不同图像属性的图像区域之间边界的曲线。当需要旋转或平移图像时，可以通过获得变换的一组系数T(C)、随后使用基于变换坐标的系数T(C)来进行解压缩(为显示需要确定函数值I(r/T(C)))来获得该图像。以这种方式，由于可以以非常少的量化误差对基于坐标的系数C进行变换，所以可以避免来自位置r_i的量化栅格的变换图像采样I(r_i)中的失真。

在这种表示中，图像变换的实现充分地保持了变换的复合属性。如果两个连续变换T₁、T₂的应用对应于复合变换T₃(例如：如果T₁、T₂旋转过角度₁、₂并且T₃旋转过角度₁+₂)，那么除了小的舍入误差之外，有：

T₃(C)＝T₁(T₂(C))

这将与通过从解压缩图像的一组像素值{I(r/C)}计算变换图像的像素值T{I(r/C)}来近似该变换图像的方法形成对照。在该情况下，与首先应用变换T₂获得像素值，然后应用变换T₁对像素值进行的计算相比，以变换T₃对像素值进行的单独计算通常导致明显不同的结果。此外，通过变换系数C，可以避免变换解压缩图像I(r/C)所需的密集计算。

如Burst P.J.等在题为“The Laplacian Pyramid as a Compact ImageCode(作为压缩图像码的拉普拉斯金字塔)”，IEEE Transactions onCommunications，IEEE Inc.New York，US，vol.Com 31，No.4，1 April1983，pp.532-540中所描述的，另一种选择是使用尺度空间表示。在该情况下，使用了一系列以渐低的空间带宽“w”滤波的图像的滤波形式。每种形式的亮度和/或色彩对应于函数I_w(r)，其中w是相应的滤波带宽。为离散数目个带宽w_i处的形式I_w(r)获得传统的数字像素采样C(w_i)，以对应于滤波尺度的采样分辨率在位置r_i栅格处进行采样。通常在减去为次窄的空间带宽获得的滤波形式I_w(i-1)(r)的解压缩结果I(r/C(w_i-1))之后，获得差图像的系数C(w_i)：

I_wi(r)-I(r/C(w_i-1))。

根据该技术，解压缩包括对从最窄带宽滤波形式开始一直到最宽带宽滤波形式的不同形式的图像I_wi(r)的重建。可以通过忽略一些较宽带宽滤波形式来实现较低分辨率的解压缩。

根据这种表示，只要对应不同低通滤波形式的舍入带宽值w_i足够进行工作，在解压缩期间就可以对包括像素位置间距离变化的抗混叠滤波带宽的变化进行处理，无需对解压缩图像进行滤波。对于这种类型的变换避免了失真，并且该变换不包括大量用于滤波的计算。

然而，当必须进行任意变换时，无论是基于曲线的数字图像表示还是尺度空间表示技术都不能防止变换图像中的失真。例如，对用于表示边缘的曲线的选择通常假定了某种显示尺寸。因为从中提取压缩数据的源图像是用基于像素的传感器来获取的，所以这种类型的最大分辨率曲线将符合像素界限，其结果是变换导致将会产生如基于栅格的表示中所产生的相同问题。为了避免失真，在压缩期间通常在根据想要的显示尺寸来选择的分辨率上达到适合边缘的较低分辨率。当必须实现另一显示尺寸时，需要进行计算来调整该曲线，并且可能出现失真。另外，对边缘的调整可能导致在以该边缘为界限的图像片段显示中的失真。将旋转应用到尺度空间压缩图像可能导致与以单一尺度进行压缩的图像相同种类的失真。

可以通过将基于尺度空间的表示和基于坐标的表示组合起来实现对这种情况的改进，例如，每个空间带宽w_i对应于相关滤波图像形式中边缘的基于坐标的一组系数C(w_i)，通过相应的各组系数C(w_i)表示连续较低空间带宽w_i的滤波图像形式来实现上述改进。然而，为覆盖所有可能的带宽w_i需要大量的数据量，该数据量是如此之多以至于很难再谈压缩。此外，如果这些不同带宽w_i并不紧密间隔，如果需要与滤波图像形式之一的带宽w_i不一致的滤波带宽w，该技术仍需要计算来避免失真。

除了其它目标以外，本发明的一个目标是提供高效类型的图像，这种类型的图像使以最小失真获得对应于任意滤波器尺度的图像成为可能。

除了其它目标以外，本发明的一个目标是使高效地产生图像的变换形式且具有最小失真成为可能。

除了其它目标以外，本发明的一个目标是，在将变换的表示转化为像素数据阵列之前，将诸如旋转、放缩和/或平移的变换无信息损失地应用到图像表示，且不引起额外的可见失真。

除了其它目标以外，本发明的一个目标是提供一种图像表示，其无需首先将图像转化成像素数据阵列来进行图像变换，且不引起额外的失真。

除了其它目标以外，本发明的一个目标是提供一种方法和装置，用于以一种方式将输入图像转化为表示该图像的数据，这种方式使其无需首先将图像转换成像素数据阵列且不引起额外的失真来进行图像变换。

除了其它目标之外，本发明的一个目标是提供一种方法和装置，用于显示从图像表示中得出的图像，在图像表示中以一种方式来表示图像，这种方式使得无需首先将图像转化到像素数据阵列且不引起额外的失真来进行图像变换。

如权利要求1中所述的根据本发明的装置。本发明使用了作为r和w的函数I(r，w)的滤波图像I_w(r)的表示，该滤波图像可以通过应用具有各自滤波带宽的滤波操作从公共源图像获得(但不必须获得以形成该表示)。该表示使用了称为Ω的多维空间中表面S的描述，该多维空间至少以图像中的位置“r”和滤波带宽“w”作为坐标。如果空间Ω的维数是n，那么对于源图像的亮度方面来说，表面S是从Rⁿ到R的映射，对于彩色图像，S是从Rⁿ到R³的映射，等等。表面S表示了图像信息(即，亮度和/或色彩值)对位置r和带宽w的依赖性的一方面。在所述图像表示中，用指定了一离散组控制点的坐标的信息来表示表面S的形状和位置。控制点的位置，包括它们的滤波带宽坐标分量，都根据源图像的内容来选择，使得对表面S的近似质量得以优化。

例如通过控制点坐标的预定方程的根来定义至少一个类型控制点的最佳位置，其中方程的参数取决于滤波图像的内容和它们依赖于滤波带宽的方式。例如，这种方程可以表达是否滤波带宽值是在表面S上的局部极值。因为可以从公共源图像来确定滤波图像，这种方程的参数可以根据源图像的内容来表达。这使得无需计算全部的滤波图像来搜索该类型的控制点，或甚至实际无需首先确定表面的位置成为可能。在一个实施例中也可以使用会聚到所要求的控制点的空间中迭代系列点的局部计算。

例如，表面S可以表示在滤波图像I_w(r)中具有彼此不同图像属性的区域间，位置r的边界作为滤波带宽w的函数如何改变。在这种情况下，除了描述表面S以外，该表示优选地还包括指定了可用于为区域内位置r填入滤波图像I_w(r)的属性的属性信息。该属性信息优选地被公共指定用于包括在表面S中的一定范围的滤波带宽值“w”，并不单独为每个滤波带宽值指定。可用于区分区域的属性示例是滤波图像I_w(r)的图像信息(例如，亮度)的曲率符号，作为图像中位置r的函数。正如已知的，曲率作为二维位置的函数可以通过关于位置的二阶导数矩阵(称为Hessian矩阵)来表示。可以选择直接或非直接相邻位置的区域，例如其中该矩阵的两个特征值具有相同的符号。在这种情况下，可以在包括在该表面内的部分空间中的点的表示中，为具有不同滤波带宽的滤波图像公共地指定二阶导数的平均大小。

作为另一个示例，表面S可以是更高维空间中的表面，该空间以图像信息值(例如，亮度)作为坐标。在这种情况下，当表面S上的点以位置值、滤波带宽值和图像信息值作为坐标时，这意味着通过用具有该点的滤波带宽值的滤波器进行滤波获得的滤波图像，在滤波图像中等于该点的位置值的位置处，具有该点的图像信息值作为图像信息。

根据本发明，表面S的形状和位置通过空间中控制点C_i的有限集合来表示，该空间至少以图像中的位置和滤波带宽作为坐标。控制点C_i控制该空间中表面S的位置和形状。例如，控制点C_i可以是表面S的主干的分支点(在该情况中，该表示还优选地包括指定从主干到表面S上最近点的距离的信息，作为沿着主干的位置的函数)。在另一示例中，控制点C_i可以是表面S上或实质上位于表面S上的点，这些点之间，表面S实质上通过插值来描述。应该理解可以在该表示中以任何方便的方式来表示控制点，例如，将单独的坐标集合用于每个控制点，或者通过用相对于其它控制点或相对于某一参考点的偏移坐标，或使用控制点组合的更复杂的可逆函数来表示某些控制点。

更进一步根据本发明，根据源图像来选择包括其坐标的滤波带宽分量的控制点C_i的位置，做出该选择以优化所表示的表面S近似“真正”表面的方式，该真正表面从可以获得滤波图像的公共源图像得来。此处所用的“优化”意思是广泛的术语。优化可以有各种形式。例如，如果表面S的真正形式可以用最少数量的控制点C_i在所要求的精度内近似，或者使得以预定数量的控制点C_i来实现最小近似误差，则可以将控制点C_i的位置说成是优化的。在另一个实施例中，可以通过实质上在拓扑特征点处选择控制点C_i来实现优化近似，诸如表面S的主干的分支点、表面S上的最大曲率点等。在另一实施例中，如果相比允许的精度量不牺牲更多的内插精度，可以在从选择的控制点到下一最近的控制点C_i′的最大可能距离处放置诸如表面S本身或其主干的几何形状的内插，则至少可以将某些控制点C_i也说成是优化的。

因为控制点C_i的位置根据源图像的内容来选择，包括控制点C_i的坐标的滤波带宽分量的控制点位置通常会因不同图像而不同。通常，相同源图像的不同控制点C_i的坐标也具有不同的滤波带宽坐标。通常没有具有同一公共滤波带宽坐标的两个不同点C_i。而是，每个控制点C_i具有其自己独立的滤波带宽值，对其选择以便优化该表面的表示。

因此，用于为像素产生图像信息值的该类型图像表示的解码可以使用具有彼此不同滤波带宽坐标的控制点C_i的组合来为给定像素位置产生图像信息。通常，针对整个解码图像的指定滤波带宽值w和解码图像中像素位置r_i的采样栅格来进行解码。然而，有可能用较高w值来解码部分图像，例如应用局部模糊(例如，因为隐私原因模糊某人的脸部，或因为版权原因使品牌标志无法辨认)。也有可能是相反的过程，例如为引起对图像中特定部分的注意，该部分可以用较低的w值来解码，以使其突出更清晰。通常，重建带宽w是r和t的函数，对于图像序列：w＝w(r，t)。接下来，针对位置带宽空间中的一组对应点p_i来计算图像信息，每个点p_i具有一个像素位置r_i作为位置坐标和带宽值w作为带宽坐标。为了解码该图像，所有这些点p_i关于通过该图像表示所描述的表面的相对位置是相关的。通常，用于给定像素位置r_i的点p_i的图像信息受表面的控制点C_i的影响，这些控制点具有不同于用于解码该图像的滤波带宽w的、彼此不同的滤波带宽坐标分量。为了计算不同像素位置p_i的图像信息，可以为这些具有不同带宽分量的控制点C_i施加不同权重。或者可以选择控制点的组合，在所选控制点之间可以针对给定带宽w将表面S内插到像素位置p_i。

在一个实施例中，在解码图像之前可以指定诸如旋转、放缩、平移或它们组合的变换。例如，可以根据用户选择的视点来指定变换。优选地，在解码之前可以通过相对控制点C_i改变与像素位置r_i对应的点p_i的位置来进行这些变换。也就是说，在解码之前可以计算变换点T(p_i)或反变换点T^-1(C_i)也可以将一部分变换应用于点p_i上，将剩余部分变换逆向应用于控制点C_i上)。如果变换包括以“f”为因子的放缩，则点p_i的坐标的滤波带宽分量也通过该因子进行变换，或者控制点C_i的坐标的滤波带宽分量可以用逆向因子进行变换。

该变换方法的优点是在变换期间实质上没有精度损失。将每个点或控制点单独变换为具有不同坐标值的点或控制点，除了可能的舍入误差以外不会有信息损失。

也可以将该方法和装置推广到依赖于时间的图像或对应于连续时间点的图像序列。在这种情况下，使用了除了位置和滤波带宽坐标分量以外还具有额外的时间坐标分量的空间。在该较高维空间中的表面可以用于表示对图像中位置、滤波带宽和时间的依赖性。根据本发明的一个实施例，用选择的控制点将这些表面编码为数字图像表示，对于这些控制点的位置，还根据源图像选择时间坐标分量。可以将与那些用于时间独立图像的技术相当的技术用于选择控制点的位置，以便解码和/或变换图像。这样，例如可以通过简单地旋转有限集合的控制点来获得旋转图像的时间序列。

在另一个实施例中，使用了另外具有时间滤波带宽坐标分量的空间。这样，可以定义用于任意时间和时间滤波带宽的图像。可以为多个显示目的选择不同的时间滤波带宽，例如为了实现不同的重放速度。在该较高维空间中的表面可以用于表示对图像中的位置、滤波带宽、时间和时间滤波带宽的依赖性。根据本发明的一个实施例，用所选择的控制点将这些表面编码为数字图像表示，其中根据源图像来选择该控制点的位置处的时间滤波带宽坐标分量。

附图简述

将通过多个示例性实施例、用如下各图来描述本发明的这些和其它目标以及优势方面。

图1示出了一种图像显示装置；

图2a示出了x，y，s空间中表面的xs横截面；

图2b示出了x，y，s空间中表面的xy横截面；

图2c示出了x，y，s空间中表面的另一xy横截面；

图3示出了表面的主干以及主干中的分支点；

图4示出了图像编码装置。

具体实施方式

图1示出了图像显示装置，其包括处理器10、图像存储器12、显示单元14以及连接到处理器10的交互控制设备16。

在操作中，图像存储器12存储图像的数字表示。用户对交互控制设备16进行控制，以便通过例如选择虚拟摄像机位置和方向以及放缩因子来选择将如何观看图像。处理器10接收到有关用户所作选择的信息。根据这些信息，选择处理器10就如何变换这些图像以产生可通过显示单元14观看的图像进行计算，相应地变换这些图像，并且控制显示单元14显示该变换的图像。

将一组系数存储在图像存储器12中，这些系数用作图像的数字表示。可替换地，可以存储一组系数，这些系数用作时变图像的数字表示。将对各种表示进行描述。

在第一类数字表示中，每个图像由多组控制参数来表示，这些参数利用坐标(x，y，s)描述了空间中的表面，坐标(x，y，s)包括图像位置″r″＝(x，y)和滤波尺度″s″。滤波尺度是指，如果高分辨率图像经过空间带宽w＝1/s的空间低通滤波器来滤波的话，将仍然可见的细节尺寸的度量。

图2a示出了该空间内xs平面上(具有常数y值)贯穿这种表面20的横截面的示意性示例。示出的线20表示具有常数y值的表面上各点的xs值。线22示出了以选择的滤波尺度s贯穿表面的切片。图2b示出了以选择的滤波尺度“s”贯穿空间的横截面。该横截面对应通过以该滤波尺度滤波获得的滤波图像，或这种图像的一部分。图中的轮廓线示出了在具有选择的s值的表面上各点的xy值。在这些轮廓线内的区域用阴影表示。线24对应于图2a中使用的常量y值。图2c示出了类似于图2b的横截面，但是是以略小的s值示出，以说明各区域可以作为s的函数来进行分裂或改变形状，从而可以产生新的区域。

通常在图2a的xy平面中表面的轮廓线表示了滤波图像中各区域的边界，其中选择这些边界使得每个区域(用阴影表示)内部具有相同的图像属性。这种属性的例子是作为位置函数的滤波图像亮度的曲率符号。正如所已知的，曲率作为二维位置x，y的函数I(x，y)，可以用关于位置的二阶导数矩阵(称为Hessian矩阵)来表示。例如，可以选择区域，其中所选区域的矩阵具有相同符号的两个特征值，同为正或同为负。

根据本发明的数字图像表示通过有限数量的几何系数来描述这种表面S的位置和形状，也就是通过在(x，y，s)空间中控制点的坐标来有效地描述。这里所使用的“控制点”是个一般性的术语，其指的是控制点位置和表面位置和形状之间任意类型的关系，例如在表面之间的点是预定类型的内插值(例如，线性或更高阶内插)、或者控制点可以是诸如表面的球形部分中心的其它特征点。

在显示操作期间，处理器10根据用户选择的视点选择切片22，并且将切片中的(x，y，s)位置映射到滤波图像中的(x′，y′)位置处。(在更高级的实施例中，该切片可以具有可变的尺度值“s”，例如，为实现局部的模糊)。处理器10至少根据这些(x′，y′)位置是在区域内部还是外部而为(x′，y′)位置填入像素数据，这些区域的边界通过(x，y，s)空间中的表面来描述。

通常在相同区域内所有(x′，y′)都被填入相似的图像信息。数字图像表示可以包含指示如何填入显示图像的附加数据。例如该附加数据可以表示最大亮度或色彩值，还可以表示亮度或色彩值的二阶导数，作为(r，w)空间中位置的函数。在这种情况下，处理器10根据附加数据计算像素数据。

表面20的形状和位置可以通过图像存储器12中的系数C_i集合来以各种方式表示。

在一个实施例中，每个系数C_i集合包括描述表面20(S)主干的子集合。在n维空间中表面S的主干是用于形成该表面S“骨骼”的较低维(例如，n-1维)结构，由这个结构可以通过添加“肉”的方式获得该表面。在一个示例中，可以通过一组球形来定义主干。在表面S内围绕任何一点，可以以该点作为中心画出一个最大n-1维的球形(距离该点相同距离点的集合)，并且接触表面S但不与该表面交叉(即，不包括该表面外部的点)。对于表面S内部大多数点，这样的球形仅在一个点接触该表面S。然而，对于形成主干的某些特殊点，该球形在多于一点处接触该表面S。如果已知该主干和在该主干上不同位置处球形的半径，就可以重建该表面S。

在三维(x，y，s)空间的情况下，主干包括2维平面(其可以是弯曲的)和这些平面分叉或终止处的分支线。这些分支线又在这些线分叉或终止处的分支点之间延伸。这些分支线上各点的球形在三个位置上接触表面S。分支点的球形在四个位置上接触表面S。更一般地，主干包含各种阶数的点。阶数m的点的球形在m个位置处接触该表面。阶数m越高，具有该阶数的点的集合的维数n-m+1越低。

在一个实施例中，阶数n+1的点(即，孤点)用作表面S近似的控制点。通过在较高阶数点之间的内插来获得逐渐降低阶数的点的集合，例如，通过在这些点之间直接内插主干，或通过在这些点之间内插线以及在线之间内插(弯曲的)平面等。作为进一步的近似，主干可以通过一个一维结构来近似，即，可以使用一种近似，其中在(x，y，s)空间内主干的平面的宽度是如此小以至于这些平面可以用线来近似。这对应于这样的表面，该表面近似为围绕贯穿(x，y，s)空间的孤线而环形对称。图3说明了一个实施例，其中每个系数C_i集合包括多个子集合，这些子集合用主干线的分支点处的控制点描述表面20的主干。例如，这些系数可以包括主干的分支点30的(x，y，s)坐标。该图在xs平面上示意性地示出了分支点30和主干线32，但应理解对于(x，y，s)空间中的三维表面，不同的分支点32可以具有不同y坐标值，并且主干线通常不全处于同一平面。

除了分支点的坐标以外，图像表示系数还可以包括指定通过来自主干的线相连的分支点对的参数，对于每条线来说，从主干到表面上最近点的距离作为主干的每条线上位置的函数，例如，作为沿着从一个分支点到另一分支点的线从0到1变化的变量的多项式的系数。该表面可以用已知的方式根据该信息重建。

为了提高所表示主干的精度，在分支点之间可以指定附加控制点，以便指定一条弯曲的主干线，或分割的主干线。而且，可以用在这些线周围具有一定宽度并通过这些线的平面的形式，通过指定这些平面的方向和宽度来给出主干平面的近似。这样，椭圆形状区域被更好地近似。而且，当然可以使用这些平面更完全的具体指定。在一个实施例中，该表面描述了曲率一致区域的边缘，即，其中矩阵A

²I(r，s)/x²    ²I(r，s)/xy

²I(r，s)/xy  ²I(r，s)/y²

对于给定的滤波尺度，具有两个同为正或同为负的特征值，作为滤波尺度的函数。在此实施例中，可以在每个表面的图像表示中编码矩阵A，作为平均矩阵A或作为沿主干线的位置的函数。对于某个尺度s，可以通过将I近似为r的函数I′，在由表面限制的边界区域内重建图像信息I(r，s)

I′＝I(r₀)+(r-r₀)^TA(r-r₀)

此处r₀是近似的主干线与具有要求的尺度s的平面相交处的位置，并且与矩阵A的乘积是矩阵乘积。对于具有一致曲率的编码区域之间的像素位置，可以根据用于临近该点的最近区域的相同函数来计算图像信息。其它近似函数可以用于具有一致曲率的区域外的像素位置，以致于无需引入局部最小值和最大值，在这些区域的边界之间内插图像信息。可以将已知的松弛算法(relaxation algorithm)用于此目的。

在解码实施例中，可以通过制作(r，s)空间的Voronoi棋盘布局(voronoi tessellation)、通过构建位于距(r，s)中指定点集等距处的边界来定义其它表面。相关的指定点集可以直接通过数字图像表示的系数中的(r，s)控制点指定，或作为以用任何方式指定的另外的表面，例如，通过前面描述的主干的方式来指定。

总之，在实施例中，图像函数I(r，s)可以通过以下重建：

-从控制点重建表面，例如，利用来自控制点所指定主干的半径来有效地重建以主干上的位置为中心的具有该指定半径的球的联合

-利用该表示中指定的系数，使用二阶多项式近似，来重建这些球内区域中的近似图像

-在不同区域之间内插图像信息

在另一实施例中，将控制点p_i＝(x，y，s)用于描述表面上的位置q，例如按照

q＝∑_ip_iW_i(u)

此处“u”是表面坐标(二维)以表示(x，y，w)空间中的表面，且W是加权函数，例如与用来定义Bezier形状的加权函数相类似。

然而，在另一实施例中，可以定义任何预定函数F(r，w，C)，并且可以使用已知的主干隐含表面(skeleton implicit surface)技术，通过F(r，w，C)＝0来指定该表面。以这种方式，这些系数也可以定义表面。可以使用任何函数：例如，可以使用下列函数F(使用系数矢量C＝(r(1)，w(1)，r(2，w(2)，...))：

在另一实施例中

F(r，w，C)＝∑_iexp(-|r-r(i)|-|w-w(i)|)-F⁰ _i，

将会理解可以使用很多其它方式来表示表面。

用于产生图像表示的图像编码装置通常包括连接到图像存储器和系数存储器的计算单元。在操作中，图像存储器接收图像数据，例如图像中像素位置的高分辨率栅格的像素值(亮度和/或色彩值)。该计算单元根据像素值计算数字图像表示的系数，特别是控制点，并且将产生的系数存储在系数存储器中，以备在随后的解码期间使用。可以提供摄像机来为该图像存储器获取图像数据。在第二类数字表示中，每个图像用控制参数集合来表示，这些控制参数在由亮度和/或色彩值I、图像位置“x，y”和滤波尺度“s”覆盖的空间中描述了表面，使得如果点(I，x，y，s)位于指定表面，那么该图像的亮度或色彩是针对尺度空间带宽“w”的位于位置“r”的I。这种类型的表面也可以通过控制点、主干、方程F(I，r，w，C)＝0等方式来指定。

应该理解在解码过程中，处理器10能从通过系数C集合的变换而进行的一组连续变换中计算任何变换的效应，不需要对于未变换图像像素值的显式访问。更具体而言，如果图像亮度和/或图像色彩根据函数I(r)取决于图像位置“r”，那么变换图像定义如下

I(T(r))

此处T(r)是图像位置r的映射，例如包括旋转R(r)、平移r+dr和缩放f*r。当该图像通过(x，y，s)或(I，x，y，s)空间中指定表面的系数C来数字化表示时，该类型的变换可以通过将这些系数逆变换来实现，这使得指定的表面得以变换。例如，如果这些系数包括主干顶点或其它控制点的坐标(x_i，y_i，s_i)，这些变换可以通过对控制点的r_i＝(x_i，y_i)分量应用反变换T^-1来实现，得到T^-1(r_i)。这不会带来任何精度的损失，除了在表示r_i的数字上有小的舍入误差。可以通过连续地对系数进行变换来应用连续变换。

该类变换也可以影响控制点的尺度分量。一般来说，如果采样位置r的栅格上需要图像信息值，那么应根据栅格上位置r之间的距离来使用滤波尺度“s”集合。如果该变换包括因子为f的缩放：s′＝f*s₀，可以通过选择用于原始位置的尺度s₀并且将该尺度变换为变换尺度s′，来选择所要求的尺度(这样，不需要根据后验的像素距离来确定滤波尺度)。实际上，以下滤波尺度值指定方式甚至是方便的：为不同的像素位置指定不同的滤波尺度值s₀，或甚至指定依赖于位置的滤波尺度s(r)来实现例如依赖于位置的模糊。在这种情况下，当应用变换时，滤波尺度函数s(r)的所有滤波尺度值应该包括在内。

使用依赖于r、s的图像表示使无需应用滤波而利用合适滤波尺度值来选择像素值成为可能，通过对于合适位置r和尺度s来计算所表示图像函数I(r，s)的值进行上述选择，以代替在某些仅取决于位置的表示函数I(r)上进行滤波操作。

当图像函数I(r，s)用(r，s)空间中的控制点来表示时，滤波尺度的任何所需变换也可以通过对控制点的滤波尺度分量s进行反变换来实现，如果变换包括比例因子，这些控制点滤波尺度分量为s′＝s/f。以这种方式获得了变换的表示，对于任何原始的(未变换的)采样栅格和任何滤波尺度或滤波尺度函数而言，该变换的表示可以用来通过用变换的控制点计算I(r，s)值获得变换图像。

图4示出了用于产生数字图像表示的装置。该装置包括处理器40、连接到与处理器40相连的图像存储设备44的摄像机42。系数存储器46也连接到处理器40。在操作中，摄像机42获取图像数据，例如图像数据的形式为像素位置r_i的采样栅格上各个像素位置的像素值I(r_i)。处理器40处理图像以确定表示图像的参数集合C。可能有各种处理的实施方式。

用于确定系数的处理包括第一步，其中处理器40从摄像机42接收像素值I(r_i)。这些像素值根据下式定义了滤波图像I_s(r)，

I_s(r)＝∑G_s(r，r_i)I(r_i)

该求和覆盖了像素位置r_i。此处G_s(r，r_i)是内插函数，如下

G_s(r，r_i)＝∫dr′H_s(r，r′)F(r′，r_i)

此处F(r，r_i)定义了摄像机的内插图像。例如可以根据Nyquist定理来选择函数F(r，r_i)。通常，它仅取决于图像内插到的位置r和内插图像来自的位置r_i之间的距离r-r_i。对于足够大的s(相比采样位置r_i之间的距离更大)此内插函数的精确性质是无关紧要的，这使得此情况下G_s(r，r_i)＝H_s(r，r_i)。

通常该滤波器核也取决于r和r′之间的距离，可以使用Gaussian滤波函数，例如

H_s(r，r′)＝exp(-(r-r′)²/2s²)/2πs²

应强调的是，虽然这些函数定义了滤波图像，但其并不意味着这些函数实际上计算了所有的r、s值。该定义仅仅用于定义将被近似的函数。

在第二步中，处理器40选择控制点和它们的位置。这可以用各种方式完成，取决于表面S的期望表示形式。例如，假设该表示使用了表示图像区域边界的表面，其中这些区域中I_s(r)的曲率符号相同，即，下面的矩阵具有同为正或同为负的特征值：

²I_s(r)/x²    ²I_s(r)/xy

²I_s(r)/xy   ²I_s(r)/y²

(注意，可以将这些微分应用于函数G_s(r)，使得这些矩阵元素的每一个表示为I(r_i)值的加权和，权重取决于图像中的位置r＝(x，y)和滤波带宽)。在这种情况下，在表面之间的边界满足方程

²I_s(r)/x²*²I_s(r)/y²＝[²I_s(r)/xy]²

这就是说，其中先前矩阵的行列式D等于零。该式定义了边界表面S上r和s的方程：

P(r，s)＝0

其中P符合上面的方程。可以再次注意到这个方程具有I(r_i)值加权和的积。满足该方程的r和s值的组合定义了表面S。在这些表面上的特定点满足从此方程可以推出的方程。例如，表面上的滤波尺度值s为局部极值(最大值或最小值)的位置满足方程：

P/x＝0且P/y＝0

应再次强调的是这些方程可以用已知函数H_s(r)和像素值I(r_i)的导数形式来表示。因此，可以无需明确计算滤波图像值I_s(r)来确定满足该方程的(r，s)值，或实际上甚至无需计算表面S的其它点的坐标。

应理解任何适合类型的方程可以用来求解控制点。根据为此目的选择的方程，可以搜索表面的各种特征点。

在第一实施例中，处理器40通过搜索此类方程的解来计算控制点。可以使用任何数值方程的解法，诸如通常已知用于求解方程的迭代方法。注意，为此目的仅需进行“局部”计算。不必计算全部的滤波图像I_s(r)。

在第二实施例中，处理器40根据上述矩阵的行列式D值的极值(最大值和最小值)的位置来计算近似主干，在行列式为正的区域内作为位置“r”的函数。在这些区域中的每个区域中，有确切的一个这样的位置“r”。对于给定的滤波尺度值s，如果在该点周围D为正，所述的近似主干位置x，y位于下式表示的位置：

D/x＝0且D/y＝0

处理器40确定对于一个s值满足此方程的位置坐标(x，y)，并且随后跟踪该位置作为s的函数如何变化。例如，可以通过任何数值方程求解技术来确定坐标(x，y)的数值。当作为s的函数跟踪位置时，对于一个s值找到的求解坐标可以用作迭代的起始点，以便找到下一个s值的解。以这种方法，可以描绘出近似主干的线。处理器40优选地搜索分支点的坐标，通过上述方式已找到的不同的近似主干线在这些分支点相交。在这种情况下，可以将分支点用作控制点来表示该表面。在一个实施例中，将这些分支点之间的直线用作主干的近似，但可以使用更复杂的近似。例如，抛物线式的主干线，定义如下

r＝r_a+(r_b-r_a)(s-s_a)²/(s_b-s_a)²

如果该线在点r_b处出现分支，并在另一主干线分叉的r_a处出现，该线从滤波尺度s_a处的一个分支点r_a到滤波尺度s_b处的另一个分支点r_b。但可以通过使用另外的系数来产生更精确的近似，以便描述近似主干线的形状。

在一个实施例中，通过直接求解特定位置来定位分支点q₀，该特定位置处，满足

D/x＝0且D/y＝0

的位置的解q(s)也满足

q/s＝0。

应该理解这些技术仅仅是示例技术，可以用这些技术选择控制点，这些控制点可以用于描述确定图像函数I(r，s)的表面S的位置和形状。

一旦处理器40以这种方式找到了控制点，它就可以执行第三步，来确定额外的图像表示系数，诸如，在控制点处的表面导数，或围绕控制点的表面S的半径或者区域的半径(具有常量s值平面的S的横截面)，或对于每个主干线而言描述作为沿主干线位置的函数的区域半径的参数，等等。这些额外的图像表示系数还可以直接从像素值I(r_i)计算，而无需计算滤波图像I_s(r)。在解码的时候，这些系数可以用于重建控制点附近表面的近似。

随后，在第四步中，处理器40可以确定另外的属性，诸如由选定的控制点定义的区域的平均曲率值，或在主干上各点处图像信息的二阶导数，等等。在解码的时候，这些系数可以用于重建表面内部的近似图像内容。

在第五步中，处理器40合并用这种方式找到的系数和控制点，并将它们存储在存储器中，作为可以随后用于显示或处理图像的图像表示。

总之，在实施例中图像可以如下编码：

-找到二阶导数矩阵的行列式的值

-确定行列式为正的图像区域

-找到每个区域内的核心位置，例如，图像信息为极值的位置

-将核心位置连接起来形成主干

-找到主干的分支点或终点

-将分支点和终点的指定以及它们连接而成的主干线包含在图

像表示中

-将半径信息包含进来，其指定围绕主干线的区域尺寸。

在另一实施例中，处理器40通过以下步骤搜索控制点：实际计算滤波图像的图像值，分割这些图像以及搜索控制点，这些控制点一起以对于一定范围的滤波尺度值s和位置r来说足够的精度表示分割边界。

虽然目前为止，所进行的描述限制于独立于时间的图像，应该理解，本发明也可以应用于依赖于时间的图像(视频序列)。其基本数学方面非常相似。引入的视频序列通常表示具有离散x，y，t值位置的图像信息采样。这些采样将图像函数I(x，y，t，s，τ)定义为x，y，t，s和τ的函数，其中τ是时间滤波尺度。该函数从概念上定义了图像信息值，可以通过内插采样值以及在空间和时间上滤波内插值来获得这些信息值。对于选定的x，y，t，s和τ值，该函数I(x，y，t，s，τ)的近似的估算可以用于获得用于以选定重放速度进行空间缩放视频显示的位置(x，y，t)的像素值，无需进行滤波操作。

可以通过在以x，y，t，s和τ为坐标的n＝5维空间Ω中的“表面”来近似描述该函数I(x，y，t，s，τ)。这些表面通常为n-1＝4维，但是这些表面的近似可以通过空间Ω中一组孤立的控制点来表示。在这种情况下，对将在表示中使用的控制点的搜索优选地不限于预定的t和τ值，而代替地搜索(x，y，t，s，τ)点，可以用于高效地为任意(x，y，t，s，τ)确定图像表示。

已经描述的用于(x，y，s)空间的搜索技术可以容易地应用于(x，y，t，s，τ)空间。例如，可以确定作为各个区域内(x，y)的函数的曲率行列式D的最大值，可以将这些最大值作为t，s，τ的函数进行跟踪，以便定位分支点的坐标x，y，t，s，τ，其中具有正行列式的不同区域会合于该分支点，或当t，s，τ的值有很小改变时这样的x，y区域出现于此。接着，可以沿着这些分支点的集合跟踪这些分支点的位置，到更高阶的分支点，不同的集合会合于此，或当t，s，τ的值有很小改变时这些集合出现于此。这可以一直重复，直到获得孤立的分支点，其用于编码表面描述。

当然，如果不需要时间滤波，则可以省略时间滤波尺度维。在这种情况下，对控制点的搜索优选地包括搜索合适的t，s值。如果不需要空间子采样，则以预定的s值搜索合适的t，τ值就足够。

通常，在图像表示中，表面S的形状和位置可以由下述信息来表示，该信息指定了点、曲线以及可能的更高维数变量的离散集合的坐标，这些变量最高到n-1维，n是空间Ω的维数。例如，在我们要表示单个静止图像的情况下，r＝(x，y)，表示为空间滤波尺度n＝3的函数。在这种情况下，我们用有限集合的离散点P0＝{(x，y，s)_i}来表示亮度图像S：R³→R。此外，该表示包括了一维曲线集合P1，P1中的每条曲线由P0中的点完全确定。此外，该表示包括二维表面集合P2，其中P2中的每个表面由P1中的若干曲线和/或由P0的若干点完全确定。例如，可以将表面指定为Coons面片(Coons patch)或Gregory面片(Gregory patch)，从P1为它们得到边界曲线；下面，我们给出其它实施例。在n＝4的情况下(图像序列)，其中来自Ω的元素是元组(x，y，t，s)，该表示还包括超表面集合P3，P3中的每个超表面由P2中的若干表面和/或由P1中的若干曲线和/或由P0中的若干点等等来完全确定。用具有渐增维数0，1，2，...n-1的变量的离散集合一起来形成任意拓扑类的n维几何复形的这种方式是当前技术的一部分；这些复形是代数拓扑学中的所谓的蜂窝状结构或CW-复形。根据源图像的内容选择P0中的点的位置，包括它们的滤波带宽坐标分量，以便优化表面S的近似的质量。

虽然通过特定实施例的示例方式描述了本发明，但应理解其它实施例也是可能的，且不背离本发明。虽然已经讨论了直接通过控制点坐标方式的表示，但应该理解，实际的图像表示系数可以用各种方式来表示控制点。例如，一些控制点可以表示为相对于其它控制点或参考点的偏移量。可以使用其它更复杂的表示。例如，假设通过下面函数来描述该表面、或者主干的线：

f(u)＝∑_ip_iW_i(u)

其中将W_i(u)定义为具有预定系数的“u”的多项式，这使得通过替换u的值来获得表面或主干线上的不同点。在这种情况下，f(u)也是“u”的多项式，其系数取决于控制点p_i的位置。代替表示控制点p_i的坐标，可以将这些系数用于表示表面。

此外，还给出了表面表示的特定示例，例如，主干或最大曲率位置的近似主干的表示(滤波图像信息的二阶导数矩阵的最大行列式)，与主干周围的表面的半径的表示相组合。然而，本发明并不限于此类表示。

Claims (31)

1、一种数字图像编码装置，用于产生空间滤波图像的表示，所述空间滤波图像可以从公共源图像通过施加具有各自滤波带宽的空间滤波操作来获得，其中所述滤波图像中的图像信息依赖于所述滤波图像中的位置和滤波带宽，这种依赖性通过定义一个空间中的表面的信息来表示，所述空间至少将所述滤波图像中的位置和所述滤波带宽作为坐标，所述表面的形状和位置至少部分地定义了所述依赖性，所述装置包括：

-输入端，用于接收图像信号，所述图像信号将所述源图像表示为图像域中位置的函数；

-计算单元，其特征在于，通过以一组控制点表示的所述表面的近似形式来近似与所述源图像一致的所述表面的真正形式，所述计算单元用于根据所述图像信号选择该组控制点的坐标值，包括选择所述坐标值的滤波带宽分量，使得近似质量得以优化。

2、如权利要求1所述的数字图像编码装置，其中，选择至少一个所述控制点，使得其坐标满足预定方程或方程组，该预定方程或方程组具有由于其对所述滤波图像的影响而取决于所述源图像的参数，通过求解所述方程或方程组、通过针对所述空间内会聚到至少一个所述控制点的一系列点进行所述方程或方程组的迭代计算来确定所述坐标。

3、如权利要求2所述的数字图像编码装置，其中，所述表面表达所述滤波图像中区域之间的边界的形状和位置，其为所述滤波图像的滤波带宽的函数，其中各个所述区域是基于这些区域中曲率矩阵的行列式的正号而选择出来的。

4、如权利要求3所述的数字图像编码装置，其中，通过计算所述图像信息在所述区域内取极值的点的位置，来定位所述控制点。

5、如权利要求4所述的数字图像编码装置，其中，通过计算各区域中由点组成的各条线的会合点和/或这些线的起始点的滤波带宽的值来定位所述控制点，每条线形成相应区域的对应于各个滤波带宽值的特定图像位置的集合，在所述特定图像位置处，当用相应带宽进行滤波时，所述图像信息作为图像位置的函数取极值。

6、如权利要求1所述的数字图像编码装置，其中，所述表面表达所述滤波图像中区域之间的边界的形状和位置，其为所述滤波图像的滤波带宽的函数，其中各个所述区域是基于该区域内图像属性的值来选择的，在相邻区域间所述图像属性的值改变。

7、如权利要求6所述的数字图像编码装置，其中，所述图像属性是所述图像信息的曲率的符号，其为图像位置的函数。

8、如权利要求7所述的数字图像编码装置，其中，所产生的滤波图像的表示包括表示作为位置的函数的所述区域内所述图像信息的二阶导数的信息，对于每个表面，为多个滤波带宽值公共地提供表示二阶导数的所述信息。

9、如权利要求6所述的数字图像编码装置，其中，选择至少部分所述控制点，与所述表面的真正形式的主干的分支点大体上重合。

10、如权利要求7所述的数字图像编码装置，其中，所产生的滤波图像的表示包括表示作为位置的函数的所述区域内所述图像信息的二阶导数的信息，对于分支点对之间的主干内的每个分支，提供了表示二阶导数的所述信息，该信息对于沿所述分支的各滤波带宽值是公共的。

11、如权利要求1所述的数字图像编码装置，其中，对所述控制点的选择包括将所述表面的真正形式的拓扑特征点选择为控制点。

12、如权利要求1所述的数字图像编码装置，其中，对所述控制点的选择包括：选择为所述源图像的一个区域添加推荐的控制点，然后在所述空间中搜索一个位置来放置所述推荐的控制点，包括搜索所述推荐控制点的坐标的滤波尺度分量。

13、如权利要求1所述的数字图像编码装置，其中，用于确定所述表面的近似形式的几何形状通过控制点之间的内插来大体上表示，至少一个控制点的选择包括搜索该至少一个控制点的位置，使得所述位置基本上最大化了可以定位附加控制点的最大距离，这使得在所述空间中所述至少一个控制点的相对侧上从所述至少一个控制点到所述附加控制点的所述内插，通过在相对侧上的内插来以所要求的精度近似出真正表面的几何形状。

14、如权利要求1所述的数字图像编码装置，其中，所述空间另外具有作为坐标的图像信息值，所述表面上一个点的所述图像位置坐标、滤波带宽坐标和图像信息坐标表示具有该点的滤波带宽坐标、该点的图像位置坐标的滤波图像中的一个像素位置具有作为图像信息值的该点的图像信息坐标。

15、如权利要求1所述的数字图像编码装置，其中，将所述控制点大体上选择在所述表面的真正形式的最大曲率点处。

16、如权利要求1所述的数字图像编码装置，其中，大体上选择所述控制点来最小化将所述表面的近似形式和所述表面的真正形式之间的近似误差减小到至多为预定误差所需要的控制点的数目。

17、如权利要求1所述的数字图像编码装置，其中，当至多使用预定数目的控制点来定义所述近似表面时，大体上选择所述控制点的坐标来最小化在所述表面的近似形式和所述表面的真正形式之间的近似误差。

18、如权利要求1所述的数字图像编码装置，其中，所述数字图像表示用于表示作为时间的函数的时间序列图像，其中所述空间的所述坐标包括时间坐标，根据所述图像信号选择所述控制点的坐标的时间分量，使得所述选择优化与所述源图像一致的所述表面的真正形式的所述表面的近似形式的近似质量。

19、如权利要求18所述的数字图像编码装置，其中，所述数字图像表示用于表示作为时间和时间滤波带宽的函数的时间滤波图像，其中所述空间的所述坐标包括时间滤波带宽坐标，根据所述图像信号来选择所述控制点的坐标的时间滤波带宽分量，使得所述选择优化与所述源图像一致的所述表面的真正形式的所述表面的近似形式的近似质量。

20、一种用于从表示空间滤波图像的数字图像表示产生显示图像的数字图像产生装置，所述空间滤波图像可以从公共源图像通过施加具有各自滤波带宽的空间滤波操作获得，其中所述滤波图像中的图像信息依赖于所述滤波图像中的位置和滤波带宽，这种依赖性通过定义一个空间中的表面的信息来表示，该空间至少以所述滤波图像中的位置和所述滤波带宽作为坐标，所述表面的形状和位置至少部分地定义了所述依赖性，所述装置包括：

-输入端，用于接收所选择的滤波带宽值和以所述滤波带宽值作为滤波带宽坐标值时所述空间中位置矩阵的指定，所述矩阵中的每个位置是为所述显示图像中的相应像素位置而定义的；

-图像值计算电路，用于使用所述矩阵中的位置相对于所述控制点的相对位置来计算所述显示图像的像素值，为所使用的每个控制点单独计算所述选择的滤波带宽值和所述控制点的滤波带宽坐标之间的相对差。

21、如权利要求19所述的数字图像产生装置，所述装置包括：

-输入端，用于接收变换的指定，该变换来自包括旋转、缩放、和/或平移、和/或它们组合的组；

-所述图像值计算单元用于在使用所述矩阵的位置相对于所述控制点的相对位置计算所述像素值之前，相对于所述矩阵的位置的坐标对所述控制点施加变换。

22、如权利要求19所述的数字图像产生装置，其中，所述数字图像表示用于表示作为时间的函数的时间序列图像，其中所述空间的所述坐标包括时间坐标，所述控制点具有可独立选择的时间坐标值：

-所述输入端用于接收所选择的时间值；

-所述图像值计算电路用于使用所述矩阵中的位置相对于所述控制点的相对位置来计算所述显示图像的像素值，为所使用的每个控制点单独计算在所选择的时间值和所述控制点的时间坐标分量之间的相对差。

23、如权利要求1所述的数字图像编码装置，其中所述数字图像表示用于表示作为时间和时间滤波带宽的函数的时间滤波图像，其中所述空间的所述坐标包括时间滤波带宽坐标，所述控制点具有可独立选择的时间滤波带宽坐标值：

-所述输入端用于接收选择的时间滤波带宽值；

-所述图像值计算电路用于使用所述矩阵中的位置相对于所述控制点的相对位置来计算所述显示图像的像素值，为所使用的每个控制点单独计算所述时间滤波带宽值和所述控制点的时间滤波带宽坐标分量之间的相对差。

24、一种数字图像编码方法，用于表示空间滤波图像，所述空间滤波图像可以从公共源图像通过施加具有各自滤波带宽的空间滤波操作来获得，其中所述滤波图像中的图像信息依赖于所述滤波图像中的位置和滤波带宽，该依赖性通过定义一个空间中的表面的信息来表示，所述空间至少以所述滤波图像中的位置和所述滤波带宽作为坐标，所述表面的形状和位置至少部分地定义了所述依赖性，

其特征在于，所述方法包括：

-通过所述表面的近似形式对从所述源图像得到的所述表面的真正形式进行近似，在所述空间中通过定位一组控制点来描述所述表面的近似形式的位置和形状；

-根据所述公共源图像的内容选择所述控制点的坐标值，包括所述坐标值的滤波带宽分量，使得通过所述表面的近似形式对所述表面的真正形式的近似的质量得到优化。

25、如权利要求1所述的数字图像编码方法，其中所述数字图像表示用于表示作为时间的函数的时间序列图像，其中所述空间的所述坐标包括时间坐标，根据所述图像信号选择所述控制点的坐标的时间分量，使得所述选择优化从所述源图像得到的所述表面的真正形式的所述表面的近似形式的近似质量。

26、一种计算机可读介质，包括使可编程计算机执行权利要求23的方法的机器指令的程序。

27、一种从表示空间滤波图像的数字图像表示中产生显示图像的方法，所述空间滤波图像可以通过施加具有各自滤波带宽的空间滤波操作从公共源图像获得，其中所述滤波图像中的图像信息对所述滤波图像中的位置和滤波带宽的依赖性通过定义一个空间中的表面的信息来表示，所述空间至少以所述滤波图像中的位置和所述滤波带宽作为坐标，所述表面的形状和位置至少部分地定义了所述依赖性，所述方法包括：

-定义选择的滤波带宽值和将所述滤波带宽值作为滤波带宽坐标值时所述空间中的位置矩阵，所述矩阵中的每个位置是为所述显示图像中的各像素位置而定义的；

-使用所述矩阵中的位置相对于一组控制点的相对位置来计算所述显示图像的像素值，该组控制点描述了所述表面的真正形式的近似，为所使用的每个控制点单独计算所选择的滤波带宽值和所述控制点的滤波带宽坐标之间的相对差。

28、如权利要求27所述的产生显示图像的方法，所述方法包括：

-指定一种变换，该变换来自包括旋转、缩放、和/或平移、和/或它们的组合的组；

-在使用所述矩阵中的位置相对于所述控制点的相对位置来计算所述像素值之前，相对于所述矩阵中的位置的坐标对所述控制点施加变换。

29、如权利要求27所述的产生显示图像的方法，其中所述数字图像表示用于表示作为时间的函数的时间序列图像，其中所述空间的所述坐标包括时间坐标，所述控制点具有可独立选择的时间坐标值：

-所述图像值计算电路用于使用所述矩阵中的位置相对于所述控制点的相对位置来计算对应于一系列帧时间值的显示图像的像素值，为所使用的每个控制点单独计算一系列帧时间值和所述控制点的时间坐标分量之间的相对差。

30、一种计算机可读介质，包括使可编程计算机执行权利要求27的方法的机器指令的程序。

31、一种计算机可读介质，包括表示空间滤波图像的数字图像的表示，该空间滤波图像可以通过施加具有各自滤波带宽的空间滤波操作从公共源图像获取，其中所述滤波图像中的图像信息对所述滤波图像中的位置和滤波带宽的依赖性通过定义一个空间中的表面的信息来表示，所述空间至少以所述滤波图像中的位置和所述滤波带宽作为坐标，所述表面的形状和位置至少部分地定义了所述依赖性，其中所述介质存储了定义所述表面的近似形式的控制点的坐标信息，所述坐标信息以下述方式来表示：使每个控制点的滤波带宽坐标分量能够独立于所有其它控制点的所有滤波带宽坐标分量而进行设置。

Images