CN1158874C - 图像信号的混合波形和基于模型的编码和解码 - Google Patents

Abstract

描述了混合波形和基于模型图像信号编码器和解码器。对图像信号作波形编码(11)和解码(31)，以便在压缩之后尽可能地近似原始输入信号的波形。为了补偿其损失，对信号的噪声分量(或更一般地，经波形编码丢失的信号分量)进行基于模型编码(12、13)，并分布传送或存放。在解码器中，噪声被再生(32-34)并加入(36)至波形解码图像信号中。本发明特别应用于医学X射线血管造影图像的压缩，在此场合下噪声的丢失会使心脏科专家或放射专家认为该图像是失真的。

Description

图像信号的混合波形和 基于模型的编码和解码

技术领域

本发明涉及对图像信号编码和解码的混合波形和基于模型的编码器和解码器。本发明还涉及传送图像信号的方法。传送在此还被理解为编码后的图像信号在诸如光盘或磁盘和磁带之类的存储媒介上的存储。本发明特别适用于医学X射线血管造影图像序列的编码和压缩。

背景技术

波形编码是用于传送视频图像的一种熟知编码技术。波形编码的目的在于尽可能地以可用比特率对原始输入信号的波形进行近似。一般来说，重建信号的质量随着比特率的减少而下降。例如，广泛接受的MPEG标准是先对像素块进行离散余弦变换(DCT)，然后对由该变换得到的系数进行量化和可变长度编码。其它的变换方法也正处于研究之中。例如，重叠变换，诸如叠式正交变换(LOT)，有希望适用于医学X射线图像的编码和压缩。甚至在压缩比很高时，在压缩后的图像中仍存在着相关的临床信息。

基于模型的编码是图像数据压缩的一个相对较新的概念。在基于模型的编码中，首先对原始输入信号模型化，然后将量化后的模型参数传送给解码器。解码器并不生成原始波形的复制物，而是生成一个非常类于原始信号的，但其波形完全不同的信号。采用基于模型的编码可以获得很高的压缩比。

熟知的混合波形和基于模型的编码器和解码器公开于“对视频电话图像的基于模型/波形混合编码”，国际声学会议，语音和信号处理(ICASSP)91；1991年第4卷；第2741-2744页。该熟知的方案采用对半身图像进行基于模型的编码，而对未能被模型化的背景图像进行波形编码。波形编码也用于消除基于模型的分析系统的误差。

发明内容

本发明的目的在于进一步提高波形编码后的图像，特别是医学X射线图像的质量。

根据本发明，为图像信号的编码提供了一个混合波形和基于模型的编码器，该编码器包括对图像信号进行波形编码的波形编码器和对图像信号的一个分量进行基于模型编码的基于模型编码器，至少在所说分量不存在于波形编码后的图像信号中。

本发明基于这样的认识，即在非常高的压缩比的情况下，可以观察到原始图像中的特征的改变。当图像的高频分量的量化非常粗糙或者这些分量被完全去除时，尤其会出现这种情况。根据本发明的混合编码器提供了一个再生所说分量的特征的可行的且有效的途径。

更具体地，图像信号中的噪声通过波形编码得以减少或消除。这会导致清晰度下降，在医学应用中这一点是非常不可取的。尽管看起来大多数临床信息均出现在压缩后的X射线血管造影图像中，但是心脏科专家仍偏爱清晰的图像。由于他习惯于噪声的存在，因此噪声的不存在会使专家们认为图像严重失真。基于模型的编码噪声的传送需要极低的比特率，而且该噪声也易于在解码器中再生。甚至在压缩比很高时，原始的和解码后的图像在感觉上几乎是一样的。

在本发明的一个实施方案中，基于模型的编码器被安排用于对图像信号的功率谱密度进行编码。在接收机端确定波形解码信号的功率谱密度，然后对两个谱进行比较，其差用于控制噪声的再生。

在另一个实施方案中，波形编码信号在发送端解码，并确定原始图像信号和波形解码信号之间的差值。然后对所说差信号进行基于模型的编码。

优选对图像信号进行变换编码。这是特别有吸引力的，因为同一变换电路可用于波形编码和基于模型编码。

值得注意的是，上述公开文本“对视频电话图像的基于模型/波形混合编码”认为，波形编码器的性能可以通过与基于模型编码的结合得以提高。但是，这一点还有待研究。并未公开对信号分量进行基于模型编码的特定优点，这一信号分量也许会被波形编码和压缩所丢失。

附图说明

图1和2给出包含根据本发明的混合编码器和解码器的系统的第一和第二实施方案的简图。

图3和4分别给出图1和2所示系统的更为详细的实施方案。

图5-7给出幅值谱，以便示意说明图3和4所示系统的运作。

图8是用于改进图3和4所示系统的亮度适应性换算因子的图。

具体实施方式

图1给出包含根据本发明的混合编码器和解码器(下文有时略写为编解码器“codec”)的系统的第一实施方案的框图。该系统包括一个混合编码器1，一个传送或存储媒介2，和一个混合解码器3。在混合编码器中，输入图像信号被送往波形编码器11和基于模型编码器。基于模型编码器包括一个估算电路12，用于估计代表图像信号的全局信息的模型参数，诸如其功率谱密度的形状或在该信号中的噪声分量的能量，和一个编码级13。然后，将波形编码信号和基于模型编码信号送往传送或存储媒介2。在混合解码器中，波形编码图像信号由波形解码器31解码，而基本模型编码信号由解码级32解码。波形解码信号被送往估算电路33，该电路被安排用于对与编码器的电路12所估计的相同的模型参数进行估计。在比较电路34中，解码后的模型参数与估算电路33所算得的参数进行比较。如此得到的差值表征了不能由波形codec充分代表的信息。该信息在再生级35中重新生成，并通过加法电路36添加到波形解码图像信号中。

图2给出该codec的第二实施方案的框图。对于与图1所示电路元件相同的元件，采用相同的参考标号。现在混合编码器1包括一个波形解码器14，它对波形编码图像信号进行局部解码，和一个减法器15，它将原始图像波形减去局部解码的波形。由估算电路12和编码级13完成的基于模型的编码现在被应用到差值信号。该实施方案在比特率方面更为有效，因为基于模型的编码仅在相关分量实际上不存在于波形编码信号中的情况下才进行。此外，相应的解码器并不那么复杂了，这是因为估算电路和比较电路(在图1中分别为33和34)现在可以省去。

现在参照图3所示系统，详细解释噪声的基于模型编码的一个例子。在该实施方案中，图像被成许多像素块，然后对经过所说像素块变换编码(例如DCT或LOT)后得到的变换系数进行噪声的基于模型编码。该系统或多或少与图1的实施方案类似，只在一点上不同，即模型参数是在变换域计算的。

在图3的混合编码器1中，波形编码器包括一个变换电路101、一个量化器102和一个可变长度编码器103。这样的波形编码器是众所周知的经常被描述的，例如“关于数字视频记录的适应性DCT编码技术中”，该文章刊登于IEEE Proc，第七届视频、音频及数据处理国际会议，三月22-24日，约克郡(UK)，第199-204页。下文将采用叠式正交变换(LOT)。该LOT方法将2M*2N个像素重叠块变换为M*N个系数块。这样重叠像素块被记为P_i，j，其中i表示块在图像中的垂直位置(i＝1…Nv)，而j表示水平位置j(j＝1…N_h)。系数被记为C_i，j[m，n](m＝0…M-1，N＝0…N-1)。对LOT的更为完整的描述，可以参考文章“LOT：没有截断效应的变换编码”，IEEE声学、语音及信号处理会刊，1989年4月第37卷第4册。

图5示意了原始X射线图像的一个典型幅度谱(作为谱频率的函数的平均能量的平方根)。变换系数的平方值代表能量，给出一个类似的分布。图6给出经波形编码和解码后的谱的情况。从中可以清楚地看到大多数高频信息均已丢失。图3所示系统用这些频率处的丢失能量代替在解码器端产生的噪声。

图3的基于模型编码器包括一个变换电路101、一个估算电路104、和一个编码级105。对于当前的图像，估算电路104首先根据下式计算除DC系数C_i，j[0，0]外的所有变换系数C_i，j[m，n]的能量。

${\mathrm{\σ}}^2[m,n]=\frac{1}{N_h\·N_v}\underset{i=1}{\overset{N_h}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_v}{\mathrm{\Σ}}}{\left(c_{i,j}\right[m,n\left]\right)}^2$

方程1这里假定C_i，j[m，n]的均值等于零。整个M N-1能量σ²[m，n]表明了原始图像中的能量在不同空间频率的分布情况。通过采用众所周知的差分编码和可变长度编码技术，可以在编码级105对能量σ²[m，n]进行无损编码。与量化的变换系数所需的所有比特数相比，所需的比特率较小。对于分辨率为512*512个像素的图像，并且M＝N＝32，应当传送的量化变换系数有512²个，其中所需要的噪声能量数仅有32²-1个。这样噪声能量仅占参数总数的约0.4％。此外，MN-1个噪声能量块看起来非常光滑，如图7所示。它们可以按变换编码领域中已知的方法进行Z字形扫描，然后进行差分编码。

在图3的混合解码器3中，波形解码器包括周知的电路元件，诸如可变长度解码级301、逆量化器302，和逆变换电路303。基于模型的解码器包括估算电路304，解码级305，减法器306和噪声生成器307。应用于估算电路304的系数记为

估算电路304按与编码器中的估算电路104类似的方式计算重建后的系数

的能量

即：

${\∂}^2[m,n]=\frac{1}{N_h\·N_v}\underset{i=1}{\overset{N_h}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_v}{\mathrm{\Σ}}}{\left({\∂}_{i,j}\right[m,n\left]\right)}^2$

方程2解码级305对基于模型编码器传送的能量σ²[m，n]进行解码。减法器306计算差值

$\mathrm{\Δ}[m,n]=\max (0,{\mathrm{\σ}}^2[m,n]-{\∂}^2[m,n\left]\right)$

方程3根据上述算得的差信号，噪声生成电路307生成代表方差为σ_Δ ²的随机噪声的系数。

${\mathrm{\σ}}_{\mathrm{\Δ}}^2[m,n]=k.\mathrm{\Δ}[m,n]$

方程4其中K是常数。对于所有像素块位置i和j，由加法器308将噪声系数添加到变换系数 中。

可选地，噪声的再生可以视下列条件而定

p[m，n]＞t[m，n]    方程5其中t[m，n]是一个预定阈值，它可与空间频率m和n有关，而p[m，n]是损失能量的百分比，定义为

$p=[m,n]=\frac{\mathrm{\Δ}[m,n]}{{\mathrm{\σ}}^2[m,n]}.100$

方程6将原始的和编码后的图像感性一致性作为依据，可以通过实验求得值K和t[m，n]。对于不同的空间频率m和n，常数K甚至可选择为不同值。

作为加法器308的加法的结果，新的系数 根据下式生成

${\stackrel{\‾}{c}}_{i,j}[m,n]={\hat{c}}_{i,j}[m,n]+x_{i,j}[m,n]$

方程7

这里X_i，j[m，n]代表方差为σ_Δ ²[m，n]的随机噪声生成器的一个样本，其概率密度函数尽可能与原始图像的噪声的密度函数相同。

应予以注意的是损失能量的计算是“非对称的”：Δ[m，n]的负值被舍入成零。这是由于量化所造成的LOT系数的能量的增加并不能通过加入随机噪声信号给以补偿。

图3所示系统可被转换成与图2所示非常相似的系统。另一个实施方案如图4所示。前已讨论过的估算电路104是根据方程1来计算能量σ²[m，n]。另一个估算电路106则根据方程2计算由量化器102应用的系数

的能量

然后用编码器中的计算电路107而不是解码器中的计算电路，依据方程4-6计算随机噪声方差σ_Δ ²[m，n]和百分比p[m，n](如果p[m，n]＜t[m，n]则会σ_Δ ²[m，n]＝0)。随机噪声方差σ_Δ ²[m，n]经编码级105进行无损编码，并传送给解码器。在解码器中，由解码级305和噪声生成器307进行噪声生成，其过程类似于图3的系统。

此前对X射线图像假定的噪声模型是一个非常简单的模型。实际上，在一个图像中噪声不一定具有平稳统计特性。例如，可以看到噪声能量与图像的局部亮度有关。此外，也可以看到噪声的功率谱密度也与局部亮度有关。它在低亮度区较平，而在高亮度区则呈现更明显的低通特性。

在没有噪声再生的情况下，在低亮度区中噪声的损失最为明显。模拟表明噪声编码方法有时不能在这些区域加入足够的噪声，而在亮区则加入了过多的噪声。当然，对于每个变换系数块，关于噪声谱的形状的更为详细的信息可以传送给解码器。但是，这将显著增加比特率。不需要额外比特率的相当简单的解决方案是，调整在解码器内再生的噪声的方差与图像内的局部亮度相适应。正如众所周知的，DC系数 ${\mathrm{DC}}_{i,j}={\hat{C}}_{i,j}\left[\mathrm{0,0}\right]$ 代表相似块P_i，j的平均亮度。这里加入的噪声方差为

s(DC_i，j)·σ_Δ ²[m，n]    方程8而不是方差为σ_Δ ²[m，n]的噪声。其中S(DC_i，j)是取决于DC_i，j的换算因子。图8给出一个由实验确定的函数，它被用于将解码器内再生的噪声方差调整与局部亮度相适应。在图8中，垂直轴表示换算因子S(DC_i，j)，而水平轴表示亮度值。

总之，本文说明了一个混合波形和基于模型图像信号编码器和解码器。对图像信号进行波形编码，以便在压缩之后尽可能地近似原始输入信号的波形。为了补偿其损失，对信号的噪声分量(或者更一般地，波形编码所丢失的信号分量)进行基于模型编码，并分开传送或存储。在解码器中，噪声被再生并加入到波形解码后的图像信号中。本发明特别适用于X射线血管造影图像的压缩，因为在这种场合下，噪声的丢失会使心脏科专家或放射学家认为图像是失真的。

Claims (16)

1、一种对图像信号编码的混合波形和基于模型的编码器，混合编码器包括：

对图像信号进行波形编码以便产生一个波形编码后的图像信号的波形编码器；和

对图像信号的一个分量进行基于模型编码的基于模型的编码器，所说图像信号的该分量不存在于波形编码后的图像信号中，并且该分量对应于由于波形编码而损失的一部分图像信号。

2、权利要求1所说的编码器，其中所说分量由存在于所说图像信号中的噪声形成。

3、权利要求1或2所说的编码器，其中基于模型的编码器被安排用于对图像信号的功率谱密度编码。

4、权利要求1或2所说的编码器，包括对波形编码后的图像信号解码的波形解码器，确定图像信号和波形解码后的图像信号之间的差信号的装置，所说差信号被送往基于模型的编码器。

5、权利要求4所说的编码器，其中基于模型的编码器被安排用于对所说差信号中噪声的方差编码。

6、权利要求1所说的编码器，包括将图像信号变换成系数的变换装置，其中基于模型的编码器被安排用于对所说系数作基于模型的编码。

7、一种接收图像信号的方法，包括以下步骤：

对波形编码后的图像信号解码，以便产生一个波形解码后的图像信号；

对基于模型编码后的图像信号分量解码，以便产生一个解码后的分量，该分量对应于由于波形编码而损失的一部分图像信号；和

将所说解码后的分量与所说波形解码后的图像信号相加。

8、一种对图像信号解码的混合波形和基于模型的解码器，混合解码器包括：

对波形编码后的图像信号进行解码以便产生一个波形解码后的图像的波形解码器；

对图像信号的一个基于模型编码后的分量进行解码的基于模型的解码器，所说图像信号的该分量不存在于波形编码后的图像信号中，以便产生一个解码后的分量，该解码后的分量对应于由于波形编码而损失的一部分图像信号；和

将所说解码后的分量加入到波形解码后的图像信号的装置。

9、权利要求7或8所说的解码器，其中所说分量代表在所说波形编码信号中不存在的噪声。

10、权利要求7或8所说的解码器，其中基于模型的解码器安排用于对基于模型编码后的图像信号的功率谱密度解码。

11、一种传送图像信号的方法，包括以下步骤：

对图像信号作波形编码，产生一个波形编码后的图像信号；

对图像信号的至少一个分量作基于模型的编码，所说图像信号的该分量不存在于波形编码后的图像信号中，以便产生一个基于模型编码后的分量，该基于模型编码后的分量对应于由于波形编码而损失的一部分图像信号；和

传送所说波形编码后的图像信号和所说基于模型编码后的分量。

12、权利要求11所说的方法，其中所说预定分量由存在于所说图像信号中的噪声形成。

13、权利要求11或12所说的方法，其中基于模型编码的步骤包括对图像信号的功率谱密度编码的步骤。

14、权利要求11或12所说的方法，包括步骤：对波形编码后的图像信号作波形解码，确定图像信号和波形解码后的图像信号之间的差信号，并对所说差信号作基于模型编码。

15、权利要求14所说的方法，其中基于模型编码的步骤应用于所说差信号中的噪声方差。

16、权利要求11所说的方法，包括将图像信号变换成系数的步骤，对所说系数进行基于模型编码。

Images