CN1254114C - 用于恢复代表图像的数字信号中的丢失数据的方法和装置 - Google Patents

Abstract

一种图像恢复算法，其使用在丢失块周围的空间信息完全地恢复在一个图像/视频帧中的丢失块。一个应用集中于包含纹理、边缘及其它图象特征的像素中的丢失区域，这些图象特征为其他的恢复和误差隐藏算法提出了问题。这个算法被设计为在n层中的每一个上应用一次而且不要求任何复杂的先决条件、分段或者边缘检测步骤。这层用一个初始值填充并且设置一个阈值。一次一层，在那个层上估算过完整变换，而且变换系数被有选择地阈值处理，以确定一组具有绝对值低于该阈值的变换系数。构造一个线性方程组，从中可以确定在那个层中的丢失数据单元。以一个过完整方式使用本地的稀疏线性变换，在这样区域的恢复中获得良好的PSNR性能。

Description

用于恢复代表图像的数字信号中的丢失数据的方法和装置

技术领域

本发明涉及用于再现在一个数字信号中丢失的数据、更具体地说用于使用在丢失区域周围的信息来预测在信号中数据的这些区域的改进算法。这些算法主要面向通过使用在这些丢失区域周围的空间信息来预测在图像/视频帧中的像素的丢失区域，来再现图像/视频帧。这些算法中的技术可以以软件、硬件或者它们的组合形式体现，而且可以在计算机或者其他处理器控制的设备上实现。

背景技术

依据35 U.S.C.§119(e)，这个申请要求享受于2003年1月16日提出的美国临时申请60/440,824的优先权。

依据35U.S.C.§120，这个申请还作为在2002年8月28日提出的、题为“Iterated De-Noising for Image Recovery”的未决申请10/229,667的部分后续申请，要求享受优先权。这个父申请的内容通过引用包含在此。

在许多图像和视频压缩应用中，解码器必须频繁地处理信道破坏了的数据，而且因此必须借助于图像恢复和错误隐藏算法。多年来，已经提出了许多技术以允许解码器避免信道错误的严重后果。在图像的情况下，丢失或者错误的数据必须被空间预测，而对于视频，能够尝试临时和空间预测。然而，先前的技术遭受各种问题，包括太多的预测错误，太多的应用、过程或者数据协调特定操作，仅仅能处理特定尺寸、形状和/或类型数据的某些区域，有限的健壮性和/或适应性，以及要求诸如用于视频帧的运动矢量等特定的信息。

上面标识的申请10/229,667(相关申请)提供了这样一种算法，其能够通过使用在这些丢失区域周围的空间信息来预测在一个图像/视频帧中的像素的丢失区域来再现该图像/视频帧。这个算法使用去噪声和阈值处理，更可取地是用硬阈值处理来循环地去噪声来预测像素的丢失区域。这个发明提供了改进的数据恢复算法。

发明内容

因此本发明的一个目的是提供这样一种图像恢复技术和算法，其使用在这些丢失区域周围的空间信息来预测在一个数字信号中的数据的丢失区域，但不要求进行迭代。

依据本发明的一个方面，提供了一种用于再现在一个数字信号中的丢失数据的方法。该方法包含步骤：(a)把在其中至少某些数据丢失了的至少一个区域中的非丢失数据单元组成n个层，其中n是一个大于或等于1的整数；以及(b)向在该至少一个区域中的每一个丢失数据单元分配一个初始值。对于n层中的每一层，执行以下的操作，更可取地是仅仅执行一次：(c)(1)估算在层n上的多个正交转换，(c)(2)使用一个阈值来确定一组具有绝对值在阈值下的转换系数来阈值处理，更可取地是硬阈值处理，在层n中的选择变换系数，(c)(3)使用在(c)(2)中确定的转换系数组构造一个选择矩阵，(c)(4)基于在(c)(3)中构造的选择矩阵构造一个线性方程组，以及(c)(5)求解在(c)(4)中构造的线性方程组为求出在层n中的丢失数据单元。

其中至少某些数据丢失了的至少一个区域可以包含边缘或者纹理特征中的至少一个。

在一个实施例中，数字信号是一幅由多个像素组成的图像或者视频帧，而且其中丢失了至少某些数据的至少一个区域包含至少某些丢失了的像素。来自该至少一个区域的所有像素可以都被丢失了。

多个正交变换可以包含离散余弦变换(DCT)和预定数目的它的过完整(overcomplete)移位，小波变换和预定数目的它的过完整移位，或者傅里叶变换和预定数目的它的过完整移位。在一个最佳实施例中与图像或者视频信号相结合使用了DCT变换。小波或者傅里叶变换也可以用于这样的信号。对于其他类型的信号(例如，非图像或者非视频信号)，取决于该特定信号，一种特定的变换可以提供比其它更好的结果。我们应当使用预计会提供有关正被处理的数据类型的稀疏表示的变换。基于在此提供的示教，在这样的情况下选择适当的变换对于本领域的技术人员来说将是显而易见的。

依据本发明的另一个方面，一种用于再现在一个数字信号中丢失的数据的方法，包含步骤：自适应地为其中丢失了至少某些数据的区域中的n个层中的每一个确定一个选择矩阵，其中n是一个大于或等于1的整数；基于每一选择矩阵构造一个线性方程组；以及求解每一个构造的线性方程组以求出在相应层n中的丢失数据。在这个方面，基于在其中丢失了至少某些数据区域周围的区域中的图像和信息自适应地确定一个选择矩阵。因此可以直接确定这个选择矩阵或者从一组变换系数中确定这个选择矩阵，这些变换系数具有低于一个阈值的绝对值，而且这些绝对值首先自适应地从图像和在丢失数据区域周围的区域中确定。

在其他方面，发明涉及一个包括一个或多个部件用于结合两个方法或者二者之一执行如上所述的处理操作的装置。这样的部件可以包含，例如，一般微处理器、或者一个或多个专用集成电路(ASIC)、数字信号处理电路等，或者它们的组合。

依据本发明的再一方面，任何上述方法或者它们的步骤可以以一个指令程序(例如，软件)的形式体现，它们可以存储在，或者传送到，计算机或者其他处理器控制的设备用于执行。做为选择，指令程序可以和被设计来执行一个或多个步骤的硬件(例如，一个或多个ASIC，数字信号处理电路，等等)集成。

通过参考以下结合附图进行的描述和权利要求，本发明的其他目的和成就连同它的全面理解将变得明显和得到理解。

附图说明

在附图中类似的参考符号涉及类似的部分，其中附图包含：

图1是在恢复处理中像素层的示意图，其中每一层都使用在它周围的在前层进行恢复；

图2是一个流程图，说明了这个发明中的算法的基本处理流程；

图3是依据本发明的实施例，DCT平铺和选择性的硬阈值处理的一个示意图；

图4(a)、4(b)、4(c)和4(d)是用于M×M DCT的其它示例过完整移位的DCT平铺和选择性硬阈值处理的示意图；以及

图5是一个框图，说明了一个可以用来实现本发明中的技术的示例系统。

具体实施方式

A.概述

在专利申请10/229,667(相关申请)中，给出了使用迭代的，利用阈值处理，例如硬阈值处理的去噪声来预测丢失了数据的区域中的数据的算法。这个申请中的发明提供了不要求迭代的、改进的图像恢复算法。

和相关申请中的算法的情况一样，本发明中的图像/视频帧恢复算法主要涉及仅仅使用空间预测的丢失数据恢复。同样地，对于视频来说，在其中临时预测即不可能又不谨慎的情况中，例如在流行的MPEG算法中涉及严重破坏的运动矢量和/或内部标记的宏模块的情况中，可直接应用该算法中的技术。虽然本发明中的算法主要涉及恢复完全丢失的图像/视频帧，但是这些算法不被这样限制。相反地，这些算法能够适于其中部分信息可用以及丢失的数据对应于非矩形或者不规则形状区域的情况。这些算法尤其可用于包含纹理、边缘、及会对当前方法提出问题的其它特征的图像/视频帧块的坚固恢复。虽然这些算法考虑了外观和一致性的重要性，该算法也适于在恢复区域中实现有效的峰值信噪比(PSNR) $(10\×{\log }_{10}\left(\frac{255\×255}{\mathrm{meansqurederror}}\right))$ 的改进。

类似于相关申请中的算法，如图1所示，在此提供的新算法通过把丢失的像素组成为层开始。简要地说，相关申请中的算法迭代地恢复在这些层中的丢失像素。当用一个初始值填充这些层时，相关申请的算法选择一个阈值并且在这些层上估算几个过完整变换。变换系数被有选择地定硬阈值和逆变换以恢复层1中的像素同时保持在其它层中的像素不变。给定L层，这个操作被重复L次以恢复所有层。在那之后，相关申请的算法降低使用的阈值一个特定量，而且再次从层1开始继续进行用于层恢复的相同计算。当降低的阈值到达一个预定水平时相关申请的算法结束。

在此提供的算法受在相关申请算法中的恢复性能的大部分通常来自初始迭代的事实的启发。因此，在本发明中，一个初始阈值处理判定用来确定被定阈值为零的变换系数组，但是不同于在每一次迭代处再计算和改变这个组的相关申请中的算法，这个组为每一层保持固定。这导致在计算方面重要的节省，因为相关申请的算法中的迭代求解现在被简化为一个能够直接求解的线性方程组，即在单个步骤中恢复每一层而不需要进行迭代。

硬阈值处理系数产生0如果|c|＜T，且否则让该系数不变。类似于相关申请，使用的变换的角色是非常重要的。实际上，这个发明中的算法的根本操作基础是利用使用的线性变换的稀疏图像表示。与本发明有关的算法细节及其它细节在下面进行描述。

B.主要推导

最初，使用硬阈值处理操作的去噪声以数学记号的形式编写，以查看在其中在恢复层的开头处进行选择性阈值处理判定的情况中，即当选择性阈值处理判定不允许随在每一层恢复期间的每一次迭代而改变时，迭代减少到一个线性方程组的求解。

把要被恢复的图像排列为向量x(N×1)，以便

$x=\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ .\\ .\\ .\\ x_L\end{array}\right]---\left(1\right)$

其中x₀构成可用的像素(层0)，x₁到x_L是在层1到L中的像素，而且要理解：在x_i中的分量数目，表示为n_i，指示在层i中的像素数目。因此，

$\underset{i=0}{\overset{L}{\mathrm{\Σ}}}{n}_i=N$

让H₁、H₂、…、H_M(NxN)表示在去噪声中使用的变换的过完整组，即每一个H_i对应于在整个图像x上的一次完整变换。让

$G=\left[\begin{array}{c}{H}_1\\ H_2\\ .\\ .\\ .\\ H_M\end{array}\right](\mathrm{MN}\×N)---\left(2\right)$

表示复合变换以及

$\tilde{G}=[H_1^{-1}{H}_2^{-1}...H_M^{-1}](N\×\mathrm{MN})---\left(3\right)$

表示“逆”过完整变换。注意到Gx导致一个MN×1的向量，其包含MN个变换系数，即每一个变换N个系数；因此

$x=\frac{1}{M}\tilde{G}\mathrm{Gx}$

“选择矩阵”定义为如下所示。用一个给定过完整变换组去噪声x将产生一个向量y，其由下式给出：

$y=\frac{1}{M}\tilde{G}\mathrm{SGx}---\left(4\right)$

其中S(MN×MN)是零和一的对角线选择矩阵。对角元素指示保持哪个系数(对角元素＝1)和把哪个系数硬限阈值为零(对角元素＝0)。

注意到：将是硬取阈值为零的系数组将通过估算各种变换和把变换系数的绝对值和一个给定阈值进行比较来进行确定。如果绝对值小于阈值，则相应系数将被硬阈值处理为零，而且在S中的对角线元素被设置为0。当然，用硬阈值处理去噪声要求S是在G中使用的变换以及输入向量x和使用的阈值的函数。尽管如此，为了便于分析描述，在下面讨论的部分中放宽这个依赖性将是便利的。

“降秩(contraction)”定义如下。如果对于所有的x，G和S是这样的使

${\left|\right|y\left|\right|}^2=\frac{1}{M^2}(x^T\·G^{T}S{\tilde{G}}^T)\left(\tilde{G}\mathrm{SGx}\right)\≤{\left|\right|x\left|\right|}^2---\left(5\right)$

则由等式(4)定义的去噪声操作是一个降秩。如果存在一组X，以便对于所有

x∈X，‖y‖²＜‖x‖²

则去噪声对于x∈X是严格降秩的。

除非另作说明，否则假定在这个说明书中使用的变换是如此以至产生的去噪声操作是一个降秩。还要注意到：降秩有效地保证在去噪声之后信号能量没有增加，而且如果在某些X上降秩是严格降秩的话，则对于所有信号x∈X能量被有效地降低/耗散了。

B.1.通过迭代去噪声的层恢复

给定一个过完整组的变换，相关申请中的算法通过迭代去噪声在第k次迭代中进行层1的恢复。因为每一次迭代处，不同的系数组能够被硬阈值处理为零，所以选择矩阵S随每一次迭代而变。为了做出这个特定地的依赖性，让

$D^{l,k}=\frac{1}{M}\tilde{G}{S}^{l,k}G---\left(6\right)$

表示在迭代k中用于层1的去噪声操作。让Pi(N×N)，1＝0，...，L表示到层1的投影，即

$P_{l}x=\left[\begin{array}{c}0\\ .\\ .\\ .\\ 0\\ x_l\\ 0\\ .\\ .\\ .\\ 0\end{array}\right]---\left(7\right)$

P₁P₁＝P₁，以及P₁(1-P₁)＝0，其中1是(N×N)的恒等式。利用这个记号，在所有层上的第一次迭代的操作能够被编写为

y_1，1＝P₁D^1，1x+(1-P₁)_x

y_2，1＝P₂D^2，1y_1，1+(1-P₂)y_1，1

y_3，1＝P₃D^3，1y_2，1+(1-P₃)y_2，1

y_L，1＝P_LD^L，1y_L-1，1+(1-P_L)y_L-1，1

相对于“层恢复”，让y_0，k＝y_L，k-1，对于k＞1，以及让y_0，1＝x。则在迭代k＞1处的普通层恢复计算能够被表示为

y_l，k＝P₁D^l，ky_1-1，k+(1-P₁)y_l-1，k，1≤l≤L      (8)

注意到：在迭代中每一阶段处，通过去噪声先前阶段中的输出和把结果投影到相应层来再现该相应层。在其他层中的像素保持不变。此外，如所期望的那样，对于1≤l≤L和k＞l

P₀y_l，k＝P₀P₁D^l，ky_l-1，k+P₀(1-P₁)y_l-1，k

       ＝P₀y^l-1，k         (9)

       ＝P₀x

即，在层0中的现有数据在整个迭代期间剩余不变。

B.2.当前算法的推导

通常，在上面B.1中分析的相关申请的算法能够使用一个不同的选择矩阵，而且因此对于在等式(8)中每一个1，k一个不同的D^1，k。然而，发明人已经发现，大部分的改进在初始迭代中获得，而且为了实现好质量的结果没有必要执行全部的迭代计数。在下面给出的简化迭代显示了有可能获得实质上非迭代的算法。每一个这样的新算法通过求解一个线性方程组在一步中直接获得层像素。

如在此说明的那样，该主要结果用于当数据丢失区域被分解为单个层时的情况。对于L个层的更普通的情况，通过在下面建立的公式，调用这个结果来直接恢复每一层同时保持其它层固定。

根据简化的迭代，假定要被恢复的数据丢失区域被划分成为单个层，即让L＝1。假定相同的选择矩阵由算法在每一次迭代处使用。则，对于所有的k≥1D^1，k＝D，以及在公式(8)中的迭代被简化为：

y_1，k＝P₁Dy_0，k +(1-P₁)y_0，k

     ＝P₁Dy_1，k-1+(1-P₁)y_1，k-1    (10)

     ＝(P₁D+(1-P₁))y_1，k-1

首先考虑简化迭代的收敛特性以导出直接产生收敛点的公式。如果存在一个y*满足公式(11)，

y^*＝(P₁D+(1-P₁))y^*              (11)

则确定在这个提议中的简化迭代的收敛性。

并且序列|ywy|收敛到0，而不管迭代的起始点。使用公式(11)，获得下式：

          0＝P₁(D-1)y^*

          0＝P₁(D-1)(P₀+P₁)y^*             (12)

-P₁(D-1)P₀x＝P₁(D-1)P₁y^*，

其中层0保持不变，即使用公式(9)，P₀y^*＝P₀x。

注意到公式(12)为在P₁y^*中的n₁个未知数提供了n₁个等式。把所有满足等式(12)的y*集称为求解集。这个迭代让在该求解集中的向量保持不变。为了看到从不同起始点开始的收敛性将是可能的，则让对于某些w，y_1，k-1＝y^*+w。使用等式(9)，P0w＝0，以及

y_1,k＝(P₁D+(1-P₁))(y^*+w)

    ＝y^*+(P₁D+(1-P₁))w

    ＝y^*+(P₁D+P₀)w

    ＝y^*+P₁Dw

利用当且仅当w＝P1Dw或者如果w也在解集中时的等同性，因为D是降秩的，所以P1D和‖y_1，k-y^*‖≤‖y_1,k-1-y^*‖也是如此。

因此，上面定义的简化迭代收敛为一个满足等式(12)的向量。要注意到：这个结果的仅仅依赖于D是一个降秩以及它因此适合于诸如经由软阈值处理去噪声等的更普遍的去噪声情况。

因为等式(12)为在P₁y^*中的n₁个未知数提供了n₁个等式，所以有可能依据剩余的像素，即在P₀x中的层0像素，通过求解等式(12)而不是执行迭代求出收敛点的层1像素，P₁y^*。如果在等式(12)中的线性方程组的零空间维数大于0，显然不可能唯一地求出P₁y^*。在这种情况下，通过等式(12)和零空间正交的P₁y^*部分能够被求解，而且处于零空间中的P₁y^*部分能够被选择为和在该零空间中的初始向量(即在该算法的初始化步骤中设置)的分量相同。

C.算法

参见图2中的流程图，如图1所示，主算法通过把在一个丢失块中的像素组成为L层(步骤201)开始。利用通过主要使用来自先前层中的信息恢复每一个层来分级恢复层，即层0用来恢复层1，然后这两个层一起用于恢复层2，诸如此类。如图1所示的层分组仅仅是示例的。许多不同的分组是可能的，而且选择取决于丢失块的尺寸和形状。

在分析之前，所有的层像素被初始化了，即分配一个初始值。这能够，例如，通过从层1的外边界的周围像素中计算一个平均值来执行(步骤202)。使用这样的一个平均值作为初始值是示例的；做为选择，可以使用另一个适当的统计计算或者一个诸如128或者0的不变常数分配初始值。

在步骤203中，阈值T被设置为T₀＞0，其中T₀可以表示，例如从层1外边界的周围中计算得到的标准偏差。使用这样的一个标准偏差设置T₀是示例的；做为选择，可以使用另一个适当的统计计算计算T₀或者T₀可以被设置为一个诸如128或者256的不变常数。让k＝0。在步骤204中，设置1＝1。

在步骤205中获得层1。对于目标层1，在那个层上估算过完整变换(步骤206)。类似于相关申请中的主算法，有选择地硬阈值处理变换系数以确定具有绝对值低于阈值T的变换系数集合Z^1，k(步骤207)。使用Z^1，k来构造上面定义的选择矩阵S^1，k(步骤208)。使用等式(6)构造D^1，k(步骤209)。然后，在步骤210中通过经由下式向层1采用等式(12)来求解层1中的像素

-P₁(D^l，k-1)(1-P₁)x＝P₁(D^1，k-1)P₁y^*     (13)

以及使用在P₁y^*中的值来设置层1中的像素。如果方程组的零空间维数大于0，则如在上面B.2中所阐述的那样形成解法。

对每一层Z＝1，…，L执行步骤205-210。因此，在步骤211中确定是否有更多的层要处理，即是否1＜L。如果是这样的话，在步骤212中1被增1而且算法返回到步骤206。在所有层都已经被处理了之后，即步骤211返回“没有”，则程序退出层处理循环。

虽然不要求有更进一步的迭代，如果期望的话，该算法可以包含执行附加迭代的性能。因此，如果期望有另一次的迭代的话，则在步骤211返回“没有”之后，如在相关申请中描述的那样设置T＝T-dT，以及设置k＝k+1。则去步骤204。如果不期望有附加的迭代，则算法在退出层处理循环之后结束。

算法的成功取决于分层和经由选择性硬阈值处理的应用的Z^1，k(以及因此S^1，k)的自适应确定。在下面讨论了在矩形体层上的选择性硬阈值处理。然而，对于Z^1，k(以及因此S^1，k)的确定来说，其他类型的分层和自适应确定是可能的。

在一个替换实施例中，可以通过检查图像的相关特性以及在数据丢失区域周围的区域的特性自适应地确定S^1，k。在另一个替换实施例中，可以基于图像和在丢失数据区域周围的区域自适应地确定Z^1，k，并且从那里确定S^1，k。如果S^1，k是一个N×N维的二元对角矩阵，则可能的S数目为2^N。但是，S^1，k不需要限于一个对角二元矩阵；也可以使用适当的非二元矩阵。一种确定非二元S的方法，将是把选定的变换系数和一个固定因数而不是0相乘。在该系数上的任意函数能够同样地通过把系数和一个系数比因子相乘而获得。另一种方法为使用“软阈值处理”，其涉及根据一个阈值范围，假定T_L到T_H考虑每一个系数；则，如果系数大于T_H则把那个系数降低一个特定量，如果系数小于T_L则把那个系数增加一个特定量，而且如果系数在那个范围内则把那个系数设置为零。在S中的条目也能够模仿这个被操作。

考虑该选择性硬阈值处理实施例，固定一个初始阈值T＝T₀＞0(例如，从层1的外边界周围中计算的标准偏差)并且考虑使用这个阈值的层P恢复，即考虑其中层P的像素将使用阈值T恢复同时保持剩余像素不变的算法阶段。为了简单起见，假定在这个去噪声操作中将使用一个M×M DCT和它的M²-1个过完整移位。在恢复层P中的，假定在该图像中不在层P中的所有像素，即所有在前面和后续层中的像素具有固定值。假定初始DCT对应于在图3中的“DCT(M×M)平铺1”。通过估算DCT系数开始。然后对每一个DCT块确定这个块是否和层P重叠。如果没有重叠，则不执行这个块的系数的硬阈值处理。如果有重叠，则计算在x和y方向和层P的外边界重叠的程度以对第i个DCT块产生o_x(i)和o_y(i)(图3)。如果ox(i)＜M/2或者oy(i)＜M/2，则第i个DCT块的系数被硬阈值处理。在这个选择性硬阈值处理之后，使用已经被硬阈值处理为零的系数的索引来构造Z^P，k的一部分。为剩余的M²-1个过完整变换重复这个操作以完全地获得Z^p，k(以及因此S^p，k)。图4(a)-4(d)说明了用于M×MDCT的某些其他示例过完整移位的选择性硬阈值处理。通过求解相关的等式以及把层像素固定到正确的像素值范围(对于灰度级图像的0-255)来获得用于层P的最终结果。当然，不需要估算所有的DCT系数以产生该最终结果。

要注意到有可能仅仅考虑该过完整移位的一个子集和/或使用不同的变换。对于其他的变换，诸如小波、小波包、等，除了在选择性硬阈值处理期间重叠计算的解决变得稍微更复杂之外，算法的操作是相同的。因为这些变换具有对每一个系数的变化支持的基函数(取决于频带)，所以要谨慎使用在那个系数的选择性阈值处理期间产生特定系数的变换基函数的支持和位置。

D.变换属性

除了一个用该使用的变换的稀疏图像表示之外，对于该算法的改进操作，其他的特性也是所希望的。

D.1.在周期特征上的性能

考虑一个在丢失块周围的本地周期区域。这里说明的原理能够直接扩展到通过使用旋转固定处理的随机设置。在这种情况下，该变换应当具有足够的尺寸以推导出形成该周围的周期性。因为在一个给定方向的空间周期性为～R意味着在相应方向的频率分量由～1/R分隔，所以使用的变换应当具有相应的频率选择性。

D.1.在边缘上的性能

假定丢失块在两个由一条线分隔的两个等值区域上。在这种情况下，使用的变换应当具有足够的尺寸来确定线的斜率以及它和丢失块的交点，该变换更可取地是具有诸如由复数小波提供的方向灵敏度之类的方向灵敏度。要注意到在恒定值区域上，即使非常小的DCT也将提供稀疏表示，但是它们将缺乏正确地内插分隔线的能力。对于小波和DCT，发明人已经观察到在边缘区域上的良好性能，主要是当边缘为水平、垂直和在±45°对角线时。复数小波的方向灵敏度和大DCT的频率选择性看起来在其它情况中提供了优势。

E.实现和应用

图5说明了一个示例系统50，其可以用来实现本发明中的处理。如图5中说明的那样，系统包含一个中央处理单元(CPU)51，其提供计算资源并且控制计算机。CPU 51可能用微处理器等等实现，并且还可以包含一个图形处理器和/或一个用于数学计算的浮点协处理器。系统50进一步包含可以以随机存取存储器(RAM)和只读存储器(ROM)形式的系统存储器52。在每一层的处理期间获得的中间结果能够被方便地保存在存储器中。

如图5所示，还提供了许多控制器和外围设备。输入控制器53表示到各种输入设备54，诸如键盘、鼠标或者摄象头的接口。还有一个控制器55，其和一个扫描仪或者等效设备进行通信，用于数字化包含要依据本发明处理的图像或者表示的文档。存储控制器57与一个或多个存储设备58接口，每个存储设备58都包含一个可以用来记录用于操作系统、工具和应用的指令程序的存储介质，诸如磁带或者磁盘、或者一个光学介质等，这些指令程序可以包含实现本发明的各个方面的程序的实施例。存储设备(多个)58还可以用来存储要依据本发明处理的或者要处理的数据。显示控制器59提供了一个到显示设备61的接口，该显示设备可以是一个阴极射线管(CRT)或者薄膜晶体管(TFT)显示器。还提供了打印机控制器62用于和打印机63通信，用于打印包含要依据本发明处理的图像或者表示的文档。通信控制器64与一个或多个通讯设备105接口，这些通讯设备105允许系统50通过包括Internet、局域网(LAN)、广域网(WAN)在内的任何各种网络，或者通过包括红外信号在内的任何适当的电磁载波信号连接到远程设备。

在说明的系统中，所有主要系统部件连接可以表示超过一条物理总线的总线66。然而，取决于本发明的特定应用，各个系统部件可以或者可以不必是彼此物理邻近的。例如，输入数据和/或输出数据可以从一个物理位置远距离地传输到另一个位置。此外，实现这个发明各个方面的程序可以经由网络从一个远程位置(例如，服务器)访问。这样的数据和/或程序可以通过包括磁带或者磁盘或者光盘、网络信号在内的各种机器可读媒介，或者任何包括红外信号在内的其他适当的电磁载波信号进行传送。

虽然本发明可能用软件方便地实现，硬件实现或者硬件/软件组合实现还是可能的。硬件实现可以，例如使用ASIC(多个)、数字信号处理电路、等等实现。因而，权利要求术语“设备可读介质”不仅包含承载软件的介质，而且包含具有指令用于执行在其上硬布线的要求处理的硬件以及硬件/软件组合。类似地，权利要求术语“指令程序”包含软件和嵌入在硬件上的指令。此外，在权利要求中涉及的“部件(多个)”包含任何恰当配置的处理设备，诸如基于指令的处理器(例如，CPU)、ASIC、数字处理电路、或者它们的组合。利用这些实现选择在头脑中，将要理解：附图和伴随的描述提供了本领域技术人员编写程序代码(即，软件)或者制造电路(即，硬件)来执行要求的处理所需要的功能信息。

如上面表明的那样，本发明提供了基于软件或者硬件的算法/技术，用于基于使用阈值处理的去噪声和具有稀疏图像表示的线性变换预测在一个图像或者视频帧中数据的丢失区域。和相关应用的算法相比，这个发明中的算法通过经由相应等式直接求出在每一层中的像素使用了有效的简化。此外，在它们最简单的形式中，当前算法使用单个阈值来完全恢复层中的像素，即如果有细节信息要恢复的话，阈值的缩减和进一步迭代仅仅是所希望的。因此，这个发明中的算法形成了一个对相关应用算法的快速替换，同时还实现了它的大多数益处。

本发明中的算法具有宽阔范围的应用，包括用于在网络传输期间具有错误的编码图像和视频的错误隐藏、损害图像的恢复、划痕消除、等等。在其中临时预测不可能或者谨慎的情况中，例如，在普及的MPEG方案中涉及严重破坏的运动矢量和/或内部标记宏模块的情况中，可直接应用该算法。

本发明中的算法不特定到任何特定尺寸、形状或者数据类型的丢失区域，而且能够在其中数据被部分或者完全丢失的区域上进行操作。算法能够扩展到非矩形的区域而且还能够用于比16×16更大的区域。此外，虽然对图像和视频帧(即，2-D数据)的应用是本算法的主要焦点，但是它们不这样受限制。相反地，该算法可容易地适用于1、3、4D，以及甚至更高维的数据。例如，该算法能够用来填充语音或者音频数据中的丢失段。该算法不要求任何用于应用的特定过程。该算法能够在任何图像、视频帧、信号、等上进行操作以预测在其中丢失的数据。丢失数据如何变为丢失和该算法的操作无关。例如，该算法不要求使用特定的度量或者在一个错误隐藏应用的编码阶段期间发送开销信息。

对于图像和视频帧，本发明中的算法能够容易地处理其中丢失数据在平稳区域、纹理区域、高频率区域、边缘区域、周期区域、以及非常有利地在它们的任何组合上延伸的情况。即，丢失数据不用必须是在“刚好纹理”区域、“刚好周期”区域、等等上。如果丢失数据是在“大致纹理”、“大致周期”的区域等上，则该算法将仍然起作用。对于非2-D数据也是同样如此。因此，尤其是与传统的技术相比较，本发明中的算法是非常通用的。

除了是通用的之外，这个发明中的算法是健壮的。该算法不仅能够处理各种类型的数据区域，它们还不要求输入关于它们正在什么类型的区域上进行操作的指令。因此，该算法不使用，也不需要，一个单独的步骤来检测边缘、周期区域、平稳区域、纹理、等等。因为从几个其它的类型中检测一个特定类型的区域本身就具有错误和问题，所以这同样是非常有利的，而且通过不使用这样的一个步骤，本算法避免了这样的问题。代之以，该算法是自适应的。该算法发现正在什么类型的区域上面进行操作，并且因此预测丢失的数据。

本发明中的算法能够容易地扩展到其中数据在另一个坐标系统中的情况。即，除了它们在预测丢失像素值的使用之外，该算法能够被推广到预测各种变换的丢失系数，诸如丢失的DCT、小波、或者傅里叶变换系数。

本发明的算法不仅给出与它的周围一致的每一个预测/恢复区域的外观，它们还产生非常低的预测误差。例如，利用某些传统的技术，在丢失数据中的填充可以是在视觉上可接受的，但是性能的目标度量，诸如估算在预测和初始之间的均方误差，可能产生任意的坏结果。本发明中的算法一般产生低的均方误差。该算法甚至能够恢复在现实世界图像上给出的、在边缘上的“反混淆”模糊。

虽然已经结合几个特定实施例对本发明进行了说明，按照上述说明，进一步替换、修改、变化和应用对本领域技术人员来说将是显然的。因此，在这里描述的本发明意图包含在附加权利要求的精神和范围之内所有这样的替换、修改、变化和应用。

Claims (19)

1.一种用于恢复在一个代表图像、视频帧或音频段的数字信号中的丢失数据的方法，包含步骤：

(a)把在其中至少某些数据丢失了的至少一个区域中的非丢失数据单元组成n个层，其中n是一个大于或等于1的整数；

(b)向在该至少一个区域中的每一个丢失数据单元分配一个初始值；以及

(c)对于n个层中的每一个

(c)(1)估算在层n上的多个正交变换，

(c)(2)使用一个阈值对层n的选择变换系数进行阈值化处理，以确定其绝对值低于阈值的一组变换系数，

(c)(3)使用在(c)(2)中确定的转换系数组构造一个选择矩阵，

(c)(4)基于在(c)(3)中构造的选择矩阵构造一个线性方程的系统，以及

(c)(5)求解在(c)(4)中构造的线性方程的系统来求出在层n中的丢失数据单元。

2.如权利要求1所述的方法，其特征在于：操作(c)(1)到(c)(5)中的每一个都仅仅每层执行一次。

3.如权利要求1所述的方法，其特征在于：阈值处理包含硬阈值处理。

4.如权利要求1所述的方法，其特征在于：其中至少某些数据丢失了的至少一个区域包含边缘或者纹理特征中的至少一个。

5.如权利要求1所述的方法，其特征在于：多个正交变换包含(i)离散余弦变换和预定数目的过完整移位，(ii)小波变换和预定数目的它的过完整移位，或者(iii)傅里叶变换和预定数目的它的过完整移位。

6.如权利要求1所述的方法，其特征在于：数字信号是一幅由多个像素组成的图像或者视频帧，而且其中丢失了至少某些数据的至少一个区域包含至少某些丢失了的像素。

7.如权利要求6所述的方法，其特征在于：来自该至少一个区域的所有像素都被丢失了。

8.一种用于恢复在一个表示一幅图像的数字信号中的丢失数据的方法，包含步骤：

(a)自适应地为其中丢失了至少某些数据的区域中的n个层中的每一个确定一个选择矩阵，其中n是一个大于或等于1的整数；

(b)基于每一选择矩阵构造一个线性方程的系统；

(c)求解每一个构造的线性方程的系统以求出在相应层n中的丢失数据；以及

(d)通过基于该图像和在其中丢失了至少某些数据的区域周围的区域中的信息自适应地确定一组具有绝对值低于一个阈值的变换系数，而且然后从那里确定相应的选择矩阵，来自适应地确定用于n个层中的每一个的选择矩阵。

9.如权利要求8所述的方法，其特征在于：基于该图像和在一个其中丢失了至少某些数据的区域周围的区域中的信息自适应地确定用于n个层中的每一个的选择矩阵。

10.一个用于预测在一个数字表示中的丢失区域的装置，该装置包含存储所述数字表示的存储器和指令执行处理器或电路，执行以下功能：

把在其中至少某些数据丢失了的至少一个区域中的非丢失数据单元组成n个层，其中n是一个大于或等于1的整数；

向在该至少一个区域中的每一个丢失数据单元分配一个初始值；以及

对于n层中的每一个

(1)估算在层n上的多个正交变换，

(2)使用一个阈值对层n的选择变换系数进行阈值化处理，以确定其绝对值低于阈值的一组变换系数，

(3)使用在(2)中确定的变换系数组构造一个选择矩阵，

(4)基于在(3)中构造的选择矩阵构造一个线性方程的系统，以及

(5)求解在(4)中构造的线性方程的系统来求出在层n中的丢失数据单元。

11.如权利要求10所述的装置，其特征在于：操作(1)到(5)中的每一个都是每层仅仅执行一次。

12.如权利要求10所述的装置，其特征在于：阈值操作包含硬阈值处理。

13.如权利要求10所述的装置，其特征在于：其中至少某些数据丢失了的至少一个区域包含边缘或者纹理特征中的至少一个。

14.如权利要求10所述的装置，其特征在于：多个正交变换包含(i)离散余弦变换和预定数目的过完整移位，(ii)小波变换和预定数目的它的过完整移位，或者(iii)傅里叶变换和预定数目的它的过完整移位。

15.如权利要求10所述的装置，其特征在于：数字信号是一幅由多个像素组成的图像或者视频帧，而且其中丢失了至少某些数据的至少一个区域包含至少某些丢失了的像素。

16.如权利要求15所述的装置，其特征在于：来自该至少一个区域的所有像素都被丢失了。

17.一个用于预测在一个数字表示中的丢失区域的装置，该装置包含存储所述数字表示的存储器和指令执行处理器或电路，执行以下功能：

自适应地为其中丢失了至少某些数据的区域中的n个层中的每一个确定一个选择矩阵，其中n是一个大于或等于1的整数；

基于每一选择矩阵构造一个线性方程的系统；以及

求解每一个构造的线性方程的系统以求出在相应层n中的丢失数据。

18.如权利要求17所述的装置，其特征在于：被配置为自适应地确定用于n个层中的每一个选择矩阵的一个或多个部件被配置为，基于图像和在其中丢失了至少某些数据的区域周围的一个区域中的信息自适应地确定每一选择矩阵。

19.如权利要求17所述的装置，其特征在于：被配置为自适应地确定一个用于n个层中的每一个的选择矩阵的一个或多个部件被配置为，基于该图像和在其中丢失了至少某些数据的区域周围的一个区域中的信息，自适应地确定一组具有绝对值低于一个阈值的变换系数，然后从那里确定相应的选择矩阵。

Images