CN104081436B - 用于针对视觉数据压缩的像素预测的方法和设备 - Google Patents

Abstract

本发明涉及基于至少两个模型函数之中的一个的选择中的一个的像素预测方法和设备，所述至少两个模型函数提供能够预测被用于预测的参考像素的强度特性的预测函数和自适应模型函数。

Description

用于针对视觉数据压缩的像素预测的方法和设备

针对视觉像素数据的快速且高效的传输和存储，应用压缩算法来利用其空间和概率性冗余。可以通过用于信号能量减少和后续熵编码的主要可逆数据变换来实现位速率降低。在预测方法中，变换在于从每个像素中减去预测值，其也可以在解码器处获得。如果预测值与真实像素值并未精确地匹配，则能量减少失败且熵编码不能显著地降低数据速率。尤其是对于具有特定边缘特性的图像数据（例如，超声波图像或计算机断层成像（CT）切片，其表示通过人体切割平面的图像，其中组织的密度已被映射到灰度水平值）而言，当前预测模型并不适用。

另一方面，随着医学成像扫描仪的日益增加的分辨率（例如，在CT获取中）以及随着即将来临的远程放射诊断，对医学图像压缩技术给予了越来越多的注意。此外，由于法律约束或者在诊断决定取决于图像数据时医生常常需要无损压缩。

对预测问题的简单解决方案是根据邻域（neighborhood）的线性预测。随后提交图像的像素以便基于已接收到的像素进行预测。通常，按照行扫描顺序穿过它们，使得可以使用上方和左侧像素来形成预测因子（predictor）。要预测像素周围的此像素的某个区域被定义为所谓的邻域或背景（context）。针对线性预测，向该背景的每个像素位置指派权重。将邻域内的每个像素与其对应的权重相乘并将结果加在一起以得到预测。线性预测的最简单示例是差分脉码调制（DPCM），其中，在当前像素左侧的像素得到权重一，并且因此直接被看作预测值。更复杂的方法可以使用最小二乘方回归（例如，用尤尔-沃克（Yule-Walker）等式）将用于特定图像的权重优化并将其作为边信息（side information）发射。最近的方法还设法根据先前发射的像素值来计算权重，或者甚至单个地使其适应于每个像素[1]以便保存边信息。

作为用于连续色调图像的无损/近无损压缩标准的众所周知的算法JPEG-LS（JPEG—联合图片专家组，LS—无损）是基于LOCO-I（LOCO-I—用于图像的低复杂性无损压缩）算法[2]，或者比如CALIC（CALIC—基于上下文的、自适应、无损图像编解码器）[3]的更加近期的方法使用非线性预测用于瞬态信号的更好利用。一般地，这些是通过并入比如边缘的图像结构来计算预测值的规则。

作为示例，在LOCO-I中所使用的中值预测因子如下工作：作为预测，如果上和左像素两者都小于左上像素，则其取上和左像素中的较小值，如果两者都大于左上像素，则取较大值，并且否则取两者的和减去左上像素。在从1994的美国专利[6]中描述了另一类型的非线性预测：由邻域模板和对应的预测值来描述典型图像结构。来自所有模板的预测值根据模板多好地拟合当前观察结果而被加权，并且然后被相加用于最后的预测。

JPEG-LS和CALIC两者都在预测之后利用背景建模以便适于观察到的较大比例图像特性。在每个像素处，从其邻域提取特征，该特征然后被用来将其分类到某个背景群组。在JPEG-LS中，这些特征是根据邻域位置的量化图像梯度。CALIC使用包括邻域强度值的符号模式减去当前非线性预测的组合特征。在解码的同时，针对每个背景群组，保持属于该背景群组的像素处的平均观察预测误差的值。这样，针对每个新像素预测，可以由来自共享同一背景群组的先前像素的平均预测误差来修正该预测误差。

在美国专利[7]中，使用所支持像素的值由几个计算单元的结果的加权和来生成预测因子。

目的是提供允许更精确地预测视觉数据的像素的方法和设备。

用独立权利要求来解决本发明的此目的。从属权利要求提供了本发明的特定限制和替换解决方案。

本发明涉及一种用于通过生成预测像素强度来对像素的像素强度进行编码或重构的第一方法，由此，像素是图像的一部分，包括：

—从图像的像素中选择至少一个参考像素，由此，相应的参考像素被预先编码；

—提供模型函数，其

a）基于一个或多个参考像素的相应强度来提供用于生成预测像素强度候选的特定预测方法，

b）表示用于生成预测像素强度候选的自适应规则，由此，该自适应规则基于参考像素的强度特性；

—基于模型函数将像素的预测像素强度候选设置为预测像素强度；

—基于预测像素强度对像素的像素强度进行编码或重构。

本发明还涉及一种用于通过生成预测像素强度来对像素的像素强度进行编码或重构的第二方法，由此，像素是图像的一部分，包括：

—从图像的像素中选择至少一个参考像素，由此，相应的参考像素被预先编码；

—提供至少两个不同的模型函数，其基于一个或多个参考像素的相应强度来提供用于生成预测像素强度候选的特定预测方法，

—将模型函数中的一个选择为所选模型函数，由此

a）该选择是基于预测像素强度候选，

b）在没有对像素的像素强度的了解的情况下执行该选择，以及

c）所选模型函数比模型函数中的任何其它的更好地表示参考像素的强度特性；

—基于所选模型函数将像素的预测像素强度候选设置为预测像素强度；

—基于预测像素强度对像素的像素强度进行编码或重构。

两个方法的优点都是其预测精度在符合所采取模型函数的形状的区域中是优越的。用适当的后续熵编码，这导致有损压缩中的较高压缩比或较少失真。

另一优点在于准确预测所需的由参考像素定义的小的邻域区域。除较小的缓冲器尺寸之外，对于同一图像内的不同图像特性而言以及对于其中没有太多背景信息可用的图像的第一发射区域而言，这对于比如在感兴趣区域编码中的小图像而言尤其有用。并且，可以更容易地实现并行实施方式，因为对其它图像区域的依赖性并不如在其它方案中那样大。

最后，该方法不限于2D图像，而是还可以例如在3D体积、超谱图像或视频中使用。对于其中特性预先已知的所有数据集而言，很少的模型函数足以覆盖这些结构的大量实现，例如几乎无穷数目的边缘方向。

通过使用比模型函数中的任何其它的更好地表示参考像素的强度特性的所选模型函数，由映射单元执行的选择步骤的期望是所选模型函数将递送比其它模型函数中的任何一个更准确的预测像素强度的预测。由使用自适应规则的模型函数进行的预测将在相应模型函数相对于参考像素的优化之后执行。

在第二方法的扩展中，模型函数中的至少一个表示用于生成预测像素强度的静态规则。这允许预测像素强度的低复杂性实施和低复杂性计算，因为该模型函数是静态函数。

在第二方法的扩展中，模型函数中的至少一个表示用于生成预测像素强度候选的自适应规则，由此，该自适应规则基于参考像素的强度特性。该自适应规则允许对要编码的像素的更精确预测，因为其函数可以动态地适于参考像素的特定强度特性。

在可选扩展中，作为自适应规则，可用最小化的残差来优化模型函数以便生成被用来使模型函数适于参考像素的强度特性的至少一个参数，由此，该残差描述了参考像素的位置处的预测像素强度候选与参考像素的强度之间的差。此扩展允许模型函数对参考像素的强度特性的非常精确的适应。

在一个可选示例中，模型函数描述了用于参考像素的强度特性的二维图案。使用二维图案极大地改善了预测像素强度的预测。

特别地，可以由用于强度特性中的边缘的模型函数来实现本示例，其被描述如下：

其中：

—pg：定义位置x处的预测像素强度候选

（CPPI1），例如具有x和y维度；

—erf(.)：是高斯误差函数，在1—D高斯函数上的不定积分的缩放版；

—d：移位距离d

—φ：在X平面中旋转一定角度

—o：偏移

—s：与比例s相乘

—σ：平滑化的量

可以用下式将参数优化成参考像素：

其中：

—wk：加权因数；

—k：参考像素Xk的特定位置

—n：参考像素的数目

模型函数的此特定实现在参考像素的强度特性指示一个强度边缘的情况下提供非常精确的预测。

在替换解决方案中，可以由用于强度特性中的两个边缘的模型函数来实现此示例，其被描述为：

其中：

—pg：定义位置x处的预测像素强度候选（CPPI1），例如具有x和y维度；

—erf(.)：是高斯误差函数，在1—D高斯函数上的不定积分的缩放版；

—d：移位距离d

—φ：在X平面中旋转一定角度

—o：偏移

—s：与比例s相乘

—σ：平滑化的量

—δ：两个边缘之间的距离

模型函数的此特定实现在参考像素的强度特性指示两个强度边缘的情况下提供非常精确的预测。

在该方法的扩展中，参考像素是（a）采用其原始形式的像素和（b）在编码之后被重构的像素中的一个。通过以其原始形式使用像素，该方法要求比对于使用重构像素的情况的更少的计算功率。然而，与在其原始形式下使用它们相比，使用重构像素可在对像素进行编码之后导致更高的压缩率。

在该方法的另一扩展中，参考像素中的至少一些是像素的相邻像素。使用相邻像素作为参考像素进一步改善了预测的精度，因为在相邻像素中能够找到像素强度中的最高相似性。

在第二方法的扩展及其扩展中的可选的一个中，生成相应模型函数的失配值，由此，该失配值分别地定义参考像素的位置处的预测像素强度候选与参考像素的强度之间的差，并且所选模型函数与其它失配值相比显示出最小失配值。通过使用该失配值，使用简单方法来选择用于生成预测像素强度的模型函数中的一个。

在第二方法的另一扩展及其扩展中的可选的一个中，在执行选择步骤之前丢弃至少一个模型函数，由此，如果两个不同模型函数的像素强度候选之间的差超过可定义第一阈值或者相应模型函数的失配值超过第二阈值，则执行此步骤。通过此扩展，进一步简化了该选择。

在扩展中，编码步骤包括由预测误差的熵编码器用于入口编码的概率分布的选择，该预测误差是基于从像素的像素强度中减去预测像素强度，由此，该选择包括图像的预先编码像素、例如参考像素的相应预测误差的使用。通过使用此扩展，可以改善对像素强度进行编码的同时的压缩率。

特别地，如果选择概率分布的步骤是基于像素强度候选或相应模型函数的失配值中的至少一个，则进一步改善了对像素强度进行编码的同时的压缩率。

该方法可以应用于基于相应像素的辉度、色度或作为红色、绿色和蓝色的色彩通路的强度。

本发明还涉及一种通过生成预测像素强度而对像素的像素强度进行编码和重构的第一设备，由此，像素是图像的一部分，包括：

—用于从图像的像素中选择至少一个参考像素的像素缓冲器单元，由此，相应参考像素被预先编码；

—模型函数，其

a）基于一个或多个参考像素的相应强度来提供用于生成预测像素强度候选的特定预测方法，

b）表示用于生成预测像素强度候选的自适应规则，由此，该自适应规则基于参考像素的强度特性；

—用于基于模型函数将像素的预测像素强度候选设置为预测像素强度的映射单元；

—用于基于预测像素强度对像素的像素强度进行编码或重构的编码单元。

本发明还涉及一种用于通过生成预测像素强度来对像素的像素强度进行编码或重构的第二设备，由此，像素是图像的一部分，包括：

—用于从图像的像素中选择至少一个参考像素的像素缓冲器单元，由此，相应的参考像素被预先编码；

—至少两个不同的模型函数，用于基于一个或多个参考像素的相应的强度（PI）来提供用于生成预测像素强度候选的特定预测方法，

—用于将模型函数中的一个选择为所选模型函数的映射单元，由此

a）该选择是基于预测像素强度候选，

b）在没有对像素的像素强度的了解的情况下执行该选择，以及

c）所选模型函数比模型函数中任何其它的更好地表示参考像素的强度特性，并且基于所选模型将像素的预测像素强度候选设置为预测像素强度；

—用于基于预测像素强度对像素的像素强度进行编码或解码的编码单元。

在第一和/或第二设备的扩展中，相应的设备覆盖用于实施并执行如先前所述的扩展步骤中的至少一个的补充单元。

第一和第二设备示出与对应的方法相同的优点。

通过使用以下各图来描述本发明：

图1图像内的像素的布置；

图2被嵌入图像编码器中的本发明的使用；

图3模型函数中的一个所使用的二维误差函数；

图4用根据图像的新像素内插的图像；

图5用于像素强度预测的三个不同模型函数的选择结果；

图6嵌入图像解码器中的本发明的使用；

具有相同功能和效果的元件使用相同的参考符号。

随着计算机断层成像（CT）获取的日益增加的分辨率以及随着即将来临的远程放射诊断，对医学图像压缩技术给予了越来越多的注意。由于法律约束或者在诊断确定取决于图像数据时，医生常常需要无损压缩。

大多数图像压缩算法利用比如在JPEG 2000（JPEG—联合图片专家组）中的基于变换的方法或比如在JPEG-LS中的基于预测的方法来利用像素间相关性[2]。在今天的医学成像中被用作容器格式（container format）的DICOM（DICOM—医学中的数字成像和通信）标准可存储其两者。具有某些例外，基于变换的方法更好地适合于量化以及因此的有损压缩，同时预测导致无损编码中的更高的压缩比。这是为什么JPEG-LS算法在大多数无损设置中比JEPG 2000表现更好的原因。然而，由于已经开发了JPEG-LS的LOCO-I算法，所以提出了更新的算法，实现了明显更好的压缩。

常常被用于参考的示例是CALIC（基于上下文、自适应、无损图像编码）[3]。JPEG-LS和CALIC两者通过按照行扫描顺序穿过图像PIC而开始，基于作为比如图1中所示的背景的诸如因果像素邻域之类的参考像素，在由图像PIC的两个维度（x，y）定义的每个像素位置X0处进行初始预测PPI。参考像素是被预先编码的图像PIC的像素。图像位置X1、...、X12处的参考像素的强度被称为PI（X）、...、PI（12）。每个强度（值）PI（X0）可以被预测得越好，预测误差PR = PI(X0)-PPI的量变得越小，并且在熵编码之后要发射的位的数目变得越少。

JPEG-LS使用简单的非线性中值预测因子。作为预测，如果两个值都小于PI（X5），则其取PI（X6）和PI（X8）中的较小值，如果两个值都大于PI（X5），则其取较大值，并且否则取两者的和减去PI（X5）。

CALIC应用使用梯度强度的估计和X0处的PI的方向的更复杂的梯度调整预测（GAP）以作出如何预测PPI的决定[3]。

由于这些预测因子不能捕获所有像素相关性，所以在称为背景建模的第二步骤中，基于在先前图像区域中具有类似邻域特性的像素处的平均经历预测误差而从PI（X0）-PPI减去偏置。

最近，基于最小二乘方自适应预测方案的另一类算法也能够通过已经在预测期间适于较大区域图像特性而胜过此方法[1]。

同时，对先前发射图像区域的自适应的其强度相关性是所有这些方法的缺点。除了需要用于自适应的大图像缓冲器之外，这在给出不足的背景时导致不良预测，比如在图像的顶部处或在图像边界的附近。前向自适应方法可以通过发射相当大量的边信息而部分地围绕这些问题进行工作。此限制使得该方法对其中例如比如在用于远程放射的感兴趣区域（ROI）编码中必须仅无损地发送小图像的情形较无用处[4]。另一方面，中值或GAP预测因子单独地只能给出非常不准确的预测。

图2示出了能够执行所述方法的编码设备ENC。图像PIC的像素X0、...、X12的输入像素强度PI被存储到像素缓冲器PBU中。此缓冲器提供所述至少一个参考像素。应基于由像素X1、...、X12形成的参考像素PREF的强度来预测用于像素X0的预测像素强度PPI，参见图1。这些参考像素被转送至相应的模型函数MODF1、MODF2、MODF3。模型函数MODF2是基于参考像素的特性不改变的静态函数。模型函数MODF2的预测像素强度候选CPPI2用下式来设置预测像素参考PPI

等式1

与此相反，模型函数MODF1是自适应模型函数。这意味着此模型函数使其结构适于参考像素的特定特性。

模型函数可以是具有函数：的连续模型函数，由此，n表示参考数据的n个维度，例如在本示例中对于x和y而言n＝2。能够由此函数近似像素数据内的某些结构，其中，c可以是例如色彩通路的数目。使用内插方案，使用离散的而不是连续的函数也是可能的。自然地，像素数据方面的结构可以在不同的区域或数据集方面改变。此变化将经由参数被并入到函数f中。然后，将函数f相对于比如平方差的和（SSD）的目标函数拟合到用参考像素表示的邻域内的已经发射像素值的强度函数，即已知强度函数与f之间的SSD被最小化。该拟合可用任意线性或非线性优化或回归法来完成。然后，通过对未知值的位置处的最佳拟合进行采样而从每个函数获得预测候选。为了得到最终预测值，使用预测候选的函数。此函数可以取决于解码器知道的所有信息。示例是拟合的质量（来自优化的残数）、比如其梯度或函数的邻域内的像素数据特性、根据先前拟合的统计或预测候选之间的差。

用于具有自适应函数的模型函数MODF1的示例1：医学CT图像的特性在某些方面不同于照片或计算机生成图像。图像是无色的且灰度水平反映组织密度。灰度水平分辨率通常为12位。数据集可能由于受限的X射线辐射剂量而有噪声。并且最后，几乎不存在缓慢的大规模灰度水平变化，因为组织大部分地未被混合。更确切地说，存在在不同器官之间发生的锐利边缘，而在器官区域内除噪声之外强度是恒定的。在获取和重构过程期间，这些锐利边缘变得模糊。

可以用对称2D高斯核函数将模糊建模为清晰图像（sharp image）的卷积，参见[5]。

等式2

用X=(x,y)^T表示图像中的像素的位置且σ表示平滑化的量。可以用亥维赛函数（heaviside function）对理想垂直边缘进行建模

等式3

因此，此边缘的模糊导致2D卷积

等式4

其中，erf(.)是高斯误差函数，在1-D高斯函数上的不定积分的缩放版，其不能以闭合形式来写。图3示出了此函数的示例。

可以使亥维赛函数移位距离d或使其在X平面中旋转角φ来表示其它边缘位置。可通过添加偏移o或通过与比例s相乘来获得其它类型的边缘。由于卷积的线性性和移位不变性以及高斯（Gaussian）的对称性和正态性，这些变换在卷积之后被误差函数同等地采用。我们假设边缘的曲率在预测像素的小的附近区域中是可忽略的。因此，可以使用五个参数q= (d, φ, o, s, σ)^T来描述此附近区域中的边缘pq = CPPI1：

等式5

为了预测强度值，假设如图1中所示按照行扫描顺序预先发射当前像素周围的邻域中的十二个参考像素。然后，以对应的仿真边缘pq最佳地拟合这些观察PI（Xk）的方式来确定五个边缘参数，即称为残数r的平方差的和被最小化

等式 6

其中，根据其与要预测像素的逆欧几里德像素距离来对该差加权。

等式7

为了在X0附近得到更精确的拟合，因为这些像素通常地具有用于预测的更高重要性。为了解决此非线性最小二乘方优化问题，我们使用莱文贝格－马夸特（Levenberg-Marquardt）算法[6]。

最后，此程序提供根据已发射强度值估计的用于局部图像边缘近似的解析描述。现在可以通过评估位置X0处的预测因子函数pq而容易地获得预测像素强度PPI。

用于具有自适应函数的模型函数MODF3的示例2：

当薄的结构处的两个边缘的距离相对于σ而言不再是大的时，用于单边缘的如在示例1中描述的模型函数不适用了，卷积对两个边缘具有组合影响。然而，当假设这些边缘是平行的时，如其对于典型CT图像而言常常是有效的那样，可以容易地将前面的模型函数推广至双边缘情况。必须用两个亥维赛函数的差h (x, y) -h (x- δ, y)来替换卷积中的亥维赛函数h(x,y)，其中，δ是两个边缘之间的距离。这导致[x-δ, x]而不是[-∞,x]内的积分，并且因此导致用于两个边缘的已修改的边缘函数

等式8

请注意，必须将δ作为第六参数并入到最小化中。当在其产生比先前方法更低的残数r的每个位置处接受这种方法的预测时，可以实现小的预测误差。

更进一步地，必须提供用于六个参数(d, φ, ο, s, σ, δ)^T的优化初始化值。其中的五个是非关键的：当选择X8作为坐标原点时，s、d和δ可以初始地被设置成零。可以将偏移o设置成平均灰度值，并且σ可以被给定任意值。对于收敛而言关键的唯一参数是梯度角φ。在基本的一边缘模型函数中，可以例如使用有限差根据十二个邻域像素处的梯度来计算平均梯度方向。这对于两边缘模型函数而言不再是可能的，因为由于两个边缘处的相反梯度方向，梯度将相互抵消。解决方案是将这些梯度的x和y分量理解为随机变量并根据其估计的2×2自相关矩阵来计算主要的主方向。这可以使用对应于最大特征值的特征向量的方向来完成，所述最大特征值具有对于2×2矩阵的闭合解。

用于具有静态函数的模型函数MODF2的示例：

以上两个模型函数被设计成预测图像边缘上的像素，因为较简单的方法在这里仅实现不良的结果。除计算复杂性之外，还存在为什么不应在均质区域中应用它们的另一原因：如果不存在显著边缘，则这两个算法尝试将误差函数拟合到背景的噪声结构。明显地，这是过拟合（overfit）且导致可以完全不同于邻域的任意预测值。针对这种情况，简单的线性预测是完全足够的。可以使用背景值的加权线性组合，其中，通过在其到主要是二的逆幂（inverse power）的量化之前对关于CT数据（未被包含在我们的测试集合中）的尤尔-沃克等式求解来确定用于PI（Xk）的权重ak。对于非边界像素而言，这些是：

等式9

对于从预测像素强度候选CPPI1、…、CPPI3至最后预测像素强度PPI的映射函数，简单的选择是检查哪个拟合实现最小残数并使用其预测作为最后一个。该预测像素强度候选和可选地根据相应的建模函数的也称为失配值的残数r1、r2、r3被馈送到映射函数单元MAPU中，其能够将候选组合到最后预测或者仅仅基于此信息和原始参考像素信息来选择预测值中的一个。相应的失配值分别地定义参考像素的位置处的预测像素强度候选与参考像素的强度之间的差并且所选模型函数诸如

等式10

即使这样，可以根据残数的函数（例如，逆）对预测像素强度候选加权。当将不同的模型函数用于比如边缘和均匀区域的不同局部图像特性时，也可以使用识别比如梯度长度和的此特性的邻域的函数来对来自这些预测像素强度候选的贡献加权。另一选项是使用某种类型的平均预测值，其中与其它的相差太多的预测像素强度候选在开始就被丢弃。最后但并非最不重要的，可例如根据逆预测误差来对预测像素强度候选加权，在其已被专门地使用直至当前位置的情况下，其将在前面像素数据传输期间引起所述逆预测误差。

在实际实施中，可以将此预测方法与各种其它预测因子组合。针对医学计算机断层成像获取，在在均匀区域中应用现有方法的同时在边缘区域中使用误差函数拟合可能有意义。现有方法从线性预测朝向背景建模技术变动，比如在JPEG-LS（LOCO-I）中或在CALIC中所实现的。可以例如基于用于参考像素或像素P的邻域内的梯度长度、用于来自优化的残数和同时地用于预测像素强度候选之间的差的阈值来作出用于模型函数的决定。例如通过针对其最优性检查其每个可能组合，这些阈值对于某个数据类型而言是固定的，或者可以针对每个数据集将其重新确定。

当使用由以上三个示例所述的模型函数时，可以应用以下行动来决定将被用于生成预测像素强度PPI的映射函数中的一个。此决定是基于以下各项的检查：（1）参考像素所表示的邻域内的梯度长度，（2）预测之间的差，以及（3）误差函数拟合的残数。

最重要的是第一个：

首先，分别地将具有像素X的图像PIC的维度（x，y）扩展至2倍。在图1中，用气泡来标记新像素Y1、...、Y9的位置。新像素位于图像PIC中的像素的半像素位置上。扩展图像XPIC使用Y来在两个维度（x，y）上定义新像素。在图4中，可以看到具有相应的新像素Y1、...、Y5的扩展图像，由此，每个像素位置示出相应的强度PI。使用例如内插方法基于像素X来计算新像素Y的强度。

然后，在位置Y1、...、Y9处计算九个梯度。此计算是基于布置在相应的新像素位置Y1、...、Y9的顶部、右侧、底部和左侧处的相邻像素处的新像素的强度。作为示例，这些相邻像素YT、YR、YB、YL是在图4中用于Y2。只有

等式11

才完全执行误差函数拟合。TG被称为第三阈值。基于哪个方法实现较低优化残数r来决定是使用一边缘还是两边缘预测值。在优化之后，可以通过其次检查与简单线性预测的预测偏差来有效地挑选出异常值。如果例如对于给定参考像素或一组参考像素而言，|CPPI1-CPPI2| > TP，则其可能是异常值。TP被称为第一阈值。并且最后，该预测都不应在由高残数r＞TR识别的不符合边缘模型的位置处被接受。TR被称为第二阈值。在其中误差函数拟合不是有用的的所有这些位置处，替代地仅使用线性预测。图5示出了由映射单元MAPU进行的此自动决定如何能够针对相应的像素看起来相似：B意味着应使用由MODF3的两边缘预测，A指示由MODF1的一边缘预测，并且C指示将用MODF2模型函数而仅应用线性预测的区域。

在提供预测像素强度之后，进行相应像素的编码。这可以通过用PR = PI(X0) -PPI(XO)来生成预测误差PR而执行。然后，可将由熵编码器EC进行的熵编码应用于预测误差以用于数据减少。当除预测值之外还在分布估计单元DEU内估计预测误差的概率分布时可以实现高效率。例如，分布估计单元DEU是补充单元SU。因此，预先生成的预测误差被临时地存储在预测误差缓冲器PEB中。选择是使用具有零平均数和方差的拉普拉斯分布，其是根据参考像素内的预测误差估计。此方差估计或比如参考像素梯度的其它特征还可以用来决定用于背景自适应算数编码器的适当编码背景，其使概率分布DP适于比如在CALIC中使用的来自预先观察预测误差PR（PREF）的每个背景。

在熵编码之前，可以应用残差或量化的变换编码（例如，使用离散余弦变换或小波变换）。变换编码可以去除残差内的剩余相关性，同时量化可以降低用于有损编码的数据速率。在应用量化的情况下，必须在下一预测步骤之前完成编码器处的像素重构以便避免编码器与解码器之间的漂移。

可以将最终数据流DS发射到数据储存或接收机以便对已编码图像进行解码和观看。

在移动比如视频的像素数据集时，可以应用不同形式的运动估计来使背景区域适于该运动，导致时间冗余的更好利用。

预测不仅对压缩有用，而且还可以在其它情形中应用。示例是缺陷像素内插、误差隐藏、噪声去除或超分辨率，其中本发明如在压缩使用情况中一样有用。

在图6中描述了解码过程的概述。解码本质上是编码的逆操作：通过将上行中的箭头的方向逆转、用熵解码器来替换熵编码器并用和来替换差，可以从编码器图获得该框图。假设已用足够的值来填充像素缓冲器以能够输出第一组参考像素强度。然后，将多个模型函数拟合到参考像素以获得预测像素强度候选和关联拟合残数。比如在编码器处，可以以相同的方式应用其它预测方法。映射函数单元将候选值组合以便以与编码器相同的方式形成预测像素强度。由分布估计单元形成概率分布，其使得能够由熵解码器单元DC进行第一预测误差值的熵解码。此值被缓冲，并且同时被加到预测像素强度，其最后导致第一已解码像素值。其被存储在像素缓冲器中并触发下一邻域的输出以用于函数拟合，其中，链被再一次调用直至所有像素数据被解码为止。

在本发明的所述步骤的实施和验证中，例如，如下设置三个阈值：

第一阈值TP = 1/20

第二阈值TR = 1/1000

第三阈值TG = 1/80。

文献

[1] X. Li and M. T. Orchard, "Edge-directed prediction for losslesscompression of natural images, " IEEE Transactions on Image Processing, vol.10, no. 6, pp. 813-817, 2001

[2] J. Shukla, M. Alwani, and A.~K. Tiwari, "A survey on losslessimage compression methods" in Int. Conf. Comput. Eng. And Technol. 2010, vol.6, pp. 136-141

[3] X. Wu and N. Memon, "Context-based, adaptive, lossless imagecoding", IEEE Trans. Commun., vol. 45, no. 4, pp. 437--444, Apr. 1997

[4] J. Ruminski, "Telemedicine methods for low bit ratecommunication", Int. Conf. Inf. Technol., May 2008, pp. 1-4

[5] G. Wang, M. W. Vannier, M. W. Skinner, M. G. P. Cavalcanti, andG. W. Harding, "Spiral CT image deblurring for cochlear implantation", IEEETrans. Med. Imag., vol. 17, no. 2, pp. 251-62, Apr. 1998

[6] D. W. Marquardt, "An algorithm for least-squares estimation ofnonlinear parameters", Journal of the Society for Industrial and AppliedMathematics, vol. 11, no. 2, pp. 431-441, 1963

[7] US 5, 631, 979

Claims (19)

1.一种用于通过生成预测像素强度（PPI）来对像素（X0）的像素强度（PI）进行编码或重构的方法，由此像素（X0）是图像（PIC）的一部分，包括：

—从图像（PIC）的像素中选择至少一个参考像素（PREF、X1、...、X12），由此，相应的参考像素（PREF、X1、...、X12）被预先编码；

—提供模型函数（MODF1），所述模型函数（MODF1）

a）基于一个或多个参考像素（PREF、X1、...、X12）的相应强度（PI）来提供用于生成预测像素强度候选的特定预测方法，

b）使用用于生成预测像素强度候选的自适应规则，由此，该自适应规则是基于参考像素（PREF、X1、...、X12）的强度特性；

—基于模型函数（MODF1）MODF1（X0）将用于像素（X0）的预测像素强度候选设置为预测像素强度（PPI）；

—基于预测像素强度（PPI）对像素（X0）的像素强度（PI）进行编码或重构，

其中作为自适应规则，模型函数（MODF1）使用残差，其被最小化以便生成被用来使模型函数（MODF1）适于参考像素（PREF、X1、...、X12）的强度特性的至少一个参数，由此，该残差描述参考像素（X1）的位置处的预测像素强度候选与参考像素（X1）的强度（PI）之间的差。

2.一种用于通过生成预测像素强度（PPI）来对像素（X0）的像素强度（PI）进行编码或重构的方法，由此，像素（X0）是图像（PIC）的一部分，包括：

—从图像（PIC）的像素中选择至少一个参考像素（PREF、X1、...、X12），由此，相应的参考像素（PREF、X1、...、X12）被预先编码；

—提供至少两个不同的模型函数（MODF1、MODF2、MODF3），其基于一个或多个参考像素（PREF、X1、...、X12）的相应强度（PI）而提供用于生成预测像素强度候选的特定预测方法；

—将模型函数（MODF1、MODF2、MODF3）中的一个选作所选模型函数（MODF1），由此

a）所述选择基于预测像素强度候选，

b）在没有对像素（X0）的像素强度（PI）的了解的情况下执行该选择，以及

c）所选模型函数（MODF1）比模型函数（MODF2、MODF3）中的任何其它的更好地表示参考像素（PREF、X1、...、X12）的强度特性；

—基于所选模型函数（MODF1）MODF1（X0）将用于像素（X0）的预测像素强度候选设置为预测像素强度（PPI）；

—基于预测像素强度（PPI）对像素（X0）的像素强度（PI）进行编码或重构，

其中模型函数（MODF1、MODF2）中的至少一个使用用于生成预测像素强度候选的自适应规则，由此，该自适应规则是基于参考像素（PREF、X1、...、X12）的强度特性，并且

其中作为自适应规则，模型函数（MODF1）使用残差，其被最小化以便生成被用来使模型函数（MODF1）适于参考像素（PREF、X1、...、X12）的强度特性的至少一个参数，由此，该残差描述参考像素（X1）的位置处的预测像素强度候选与参考像素（X1）的强度（PI）之间的差。

3.根据权利要求2的方法，其中

模型函数（MODF2）中的至少一个表示用于生成预测像素强度（PPI）的静态规则。

4.根据权利要求1或2或3的方法，其中

模型函数（MODF1）描述用于参考像素（PREF、X1、...、X12）的强度特性的二维图案。

5.根据权利要求4的方法，其中

能够由下式来描述用于强度特性中的边缘的模型函数（MODF1）

其中：

—pq：定义位置X处的预测像素强度候选；

—erf(.)：是高斯误差函数，在1—D高斯函数上的不定积分的缩放版；

—d：移位距离d

—φ：在X平面中旋转一定角度

—o：偏移

—s：与比例s相乘

—σ：平滑化的量

由下式将参数优化成参考像素：

其中：

—wk：加权因数；

—k：参考像素Xk的特定位置

—n：参考像素的数目。

6.根据权利要求5的方法，其中位置X具有x和y维度。

7.根据权利要求4的方法，其中

能够由下式来描述用于强度特性中的两个边缘的模型函数（MODF3）

其中：

—pq：定义位置X处的预测像素强度候选（CPPI1）；

—erf(.)：是高斯误差函数，在1—D高斯函数上的不定积分的缩放版；

—d：移位距离d

—φ：在X平面中旋转一定角度

—o：偏移

—s：与比例s相乘

—σ：平滑化的量

—δ：两个边缘之间的距离。

8.根据权利要求7的方法，其中位置X具有x和y维度。

9.根据前述权利要求1-3，5-8中的一项的方法，其中

参考像素（PREF、X1、...、X12）是（a）采用其原始形式的像素和（b）在编码之后被重构的像素中的一个。

10.根据前述权利要求1-3，5-8中的一项的方法，其中

参考像素（PREF、X1、...、X12）中的至少一些是像素（X0）的相邻像素。

11.根据权利要求2至3中的一项的方法，其中

生成相应模型函数（MODF1、MODF2）的失配值（r1、r2、r3），由此，失配值分别地定义参考像素（X1）的位置处的预测像素强度候选与参考像素（X1）的强度（PI）之间的差，

所选模型函数（MODF1）示出了与其它失配值相比最小的失配值（r1）。

12.根据权利要求2至3中的一个的方法，其中

在执行选择步骤之前丢弃至少一个模型函数（MODREF3），由此，如果两个不同模型函数（MODF1、MODF2）的像素强度候选之间的差超过可定义第一阈值（TP），或者相应的模型函数（MODF1）的失配值（r1）超过第二阈值（TR），则执行此步骤。

13.根据前述权利要求1-3，5-8中的一项的方法，其中

编码的步骤包括由预测误差（PR）的熵编码器（EC）用于入口编码的概率分布（DP）的选择，所述预测误差（PR）是基于从像素（X0）的像素强度（PI）中减去预测像素强度（PPI），由此，该选择包括使用图像（PIC）的预先编码像素的相应的预测误差（PR）。

14.根据权利要求13的方法，其中所述预先编码像素是参考像素（PREF、X1、...、X12）。

15.根据权利要求11的方法，其中

选择概率分布（DP）的步骤是基于相应模型函数（MODF1、MODF2）的像素强度候选或失配值（r1、r2、r3）中的至少一个。

16.根据前述权利要求1-3，5-8中的一项的方法，其中

所述强度（PI、PPI）是基于相应像素的辉度。

17.用于通过生成预测像素强度（PPI）而对像素（X0）的像素强度（PI）进行编码和重构的设备（DEV），由此，像素（X0）是图像（PIC）的一部分，包括：

—像素缓冲器单元（PBU），用于从图像（PIC）的像素中选择至少一个参考像素（PREF、X1、...、X12），由此，相应的参考像素（PREF、X1、...、X12）被预先编码；

—模型函数（MODF1），其

a）基于一个或多个参考像素（PREF、X1、...、X12）的相应强度（PI）来提供用于生成预测像素强度候选的特定预测方法，

b）表示用于生成预测像素强度候选的自适应规则，由此，该自适应规则是基于参考像素（PREF、X1、...、X12）的强度特性；

—映射单元（MAPU），用于基于模型函数（MODF1）MODF1（X0）将用于像素（X0）的预测像素强度候选设置为预测像素强度（PPI）；

—编码单元（ENC、DEC），用于基于预测像素强度（PPI）对像素（X0）的像素强度（PI）进行编码或重构，

其中作为自适应规则，模型函数（MODF1）使用残差，其被最小化以便生成被用来使模型函数（MODF1）适于参考像素（PREF、X1、...、X12）的强度特性的至少一个参数，由此，该残差描述参考像素（X1）的位置处的预测像素强度候选与参考像素（X1）的强度（PI）之间的差。

18.用于通过生成预测像素强度（PPI）而对像素（X0）的像素强度（PI）进行编码或重构的设备（DEV），由此，像素（X0）是图像（PIC）的一部分，包括：

—像素缓冲器单元（PBU），用于从图像（PIC）的像素中选择至少一个参考像素（PREF、X1、...、X12），由此，相应的参考像素（PREF、X1、...、X12）被预先编码；

—至少两个不同的模型函数（MODF1、MODF2、MODF3），用于基于一个或多个参考像素（PREF、X1、...、X12）的相应强度（PI）而提供用于生成预测像素强度候选的特定预测方法；

—映射单元（MAPU），用于将模型函数（MODF1、MODF2、MODF3）中的一个选作所选模型函数（MODF1），由此

a）所述选择基于预测像素强度候选，

b）在没有对像素（X0）的像素强度（PI）的了解的情况下执行该选择，以及

c）所选模型函数（MODF1），比模型函数（MODF2、MODF3）中任何其它的更好地表示参考像素（PREF、X1、...、X12）的强度特性，并且基于所选模型函数（MODF1）MODF1（X0）将用于像素（X0）的预测像素强度候选设置为预测像素强度（PPI）；

—编码单元（ENC、DEC），用于基于预测像素强度（PPI）对像素（X0）的像素强度（PI）进行编码或解码，

其中模型函数（MODF1、MODF2）中的至少一个使用用于生成预测像素强度候选的自适应规则，由此，该自适应规则是基于参考像素（PREF、X1、...、X12）的强度特性，并且

其中作为自适应规则，模型函数（MODF1）使用残差，其被最小化以便生成被用来使模型函数（MODF1）适于参考像素（PREF、X1、...、X12）的强度特性的至少一个参数，由此，该残差描述参考像素（X1）的位置处的预测像素强度候选与参考像素（X1）的强度（PI）之间的差。

19.根据权利要求17或18的设备（DEV），具有用于实施并执行权利要求3至13的步骤中的至少一个的补充单元（SU）。