CN1198398C - 语音、图像和视频信号的差错隐匿或校正 - Google Patents

Abstract

一种差错隐匿或校正的方法，用于如语音、图像和视频信号，特别适于通过无线和ATM信道传送的信号。本方法改善了大码组和群聚差错下的稳定性。它基于修正的离散傅里叶变换，即等效于傅里叶系数的置换。象通常的傅里叶变换那样，将传输信号中一个连续的系数集合设置为零，以使得接收机上可以应用差错隐匿技术。修正的傅里叶变换中诸零值在频谱中并不集聚于一起，因而可改善通常的傅里叶变换中会引起的不稳定性，能应用大得多的码组规模。

Description

语音、图像和视频信号的差错隐匿或校正

技术领域

本发明涉及诸信号，例如语音、图像和视频信号的差错隐匿或校正用的方法和设备，具体用于诸如通过无线通信和ATM信道传送的诸信号。

背景技术

在1993年9月IEICE会刊的基础篇、卷E76-A第9期内Marvasti和Nafie的文章“Sampling Theorem：A Unified Outlook onInformation Theory，Block and Convolutional Codes(取样原理：信息论、码组和卷积码概观)”(此后称为“ST”)及1998年5月31日至6月3日美国加州蒙特雷ISCAS’98的会刊内Marvasti、Hasan和Echhart的文章“Speech Recovery with Bursty Lossess(有突发性损失的语音恢复)”(此后称为“BL”)中，公布了应用离散傅里叶变换(DFT)进行模拟信号差错隐匿或校正的一种技术。信号经取样和形成码组后，实施DFT。然后，修正DFT，使M个连续的分量等于零(注意DFT中系数的循环性质，所以对于N的码组长度，第N个系数和第一个系数是接连的)。对于差错校正来说，这些分量被插入DFT频谱中，使得码组规模大于样值的原始数目，而对于差错隐匿来说，DFT的M个分量都设置为零，从而信号中的某些信息遭丢失。然后，进行傅里叶反变换，在通常的帧处理后传输出得到的新信号。如ST文章中所指出，零值分量的位置可以优选地选择，使得在假定原始信号为实数值下，由IDFT(DFT反变换)给出一个实数值的信号。在ST文章中表明，每个码组中能校正M个丢失，并说明了做到这一点的几种方法。如果新传输信号的码组长度为N，设置为零的系数数目为M，N＝K+M，则可能的方法一种是反转一个K×K矩阵，另一种是应用拉格朗日内插法内插出丢失的值。这两种方法在大的N值下计算量都很大。在BL文章中公布了一种递归方法，它容易处理得多。可是，如BL文章中所指出，当码组规模变大时，特别是当校正出现在连续样值中的诸丢失时，四舍五入的误差会积累。已经发现，当码组规模超过N＝64时，上述恢复方法会变得不稳定。

为了遵从诸如G.729或GSM标准之类的电信标准，需要在一定规模的诸帧内传输诸样值，G.729场合下为80个样值，GSM场合下为160个样值。由于导致丢失的传输差错会造成整个帧的失落，所以码组长度必须是帧长度的倍数。换言之，码组长度必须大大地超过N＝64。此外，一个帧的丢失意味着丢失80或160个连续的样值，所以差错恢复方法的稳定性有着严格要求。

发明内容

本发明的一个目的是提供出一种差错隐匿或差错校正的技术，它可改善大的码组规模的稳定性。

本发明提供一种将增加的冗余度引入一个离散信号中，用于对突发性和/或帧丢失进行差错隐匿或校正的方法，包括有步骤：

对所述信号的样值码组作出离散傅里叶变换(1)；

修正所述离散傅里叶变换(2)，以形成码组长度为N的系数码组，其中，M个傅里叶系数的一个预定集合等于零；以及

实施所述傅里叶系数码组的离散傅里叶反变换(3)，以形成冗余量增大的信号；其特征在于

所述傅里叶系数的预定集合由编号为p(k)的系数组成，这里，k取M个连续的整数值，p(k)定义为p(k)＝pk mod N，其中p为大于1的一个正整数，它与N互质。

本发明还提供一种对取样的模拟信号进行差错隐匿或校正的方法，其中，利用在传输的信号中引入的冗余，能做到从其中有某些样值未正确接收到的所接收信号中恢复出信号，所述冗余量由M个傅里叶分量的一个预定集合组成，所传输信号的离散傅里叶变换的每个码组中码组长度为N，分量的预定集合等于零；其特征在于

所述傅里叶系数的预定集合由编号为p(k)的系数组成，这里，k取M个连续的整数值，定义为p(k)＝pk mod N，其中p为大于1的一个正整数，它与N互质。

本发明基于开发的一种修正形式的离散傅里叶变换(DFT)。在形式上，它具有类同于通常的DFT的方面，即能应用象ST和BL文章中所述的同样的差错恢复方法，但是，它并不遭受同等程序的不稳定性。此外，当实际中实施傅里叶变换和反变换时，可以应用通常的FFT(快速傅里叶变换)方法，使得在此修正技术中能够使用许多已有的硬件和软件。

附图说明

现在，参照附图的例子来说明本发明的实施例。附图中，

图1以方框图形式示明实现本发明的传输设备；

图2以方框图形式示明实现本发明的接收设备；

图3以方框图形式示明图2中差错隐匿器部分的一个实施例；以及

图4以方框图形式示明图2中差错隐匿器部分的另一个实施例。

具体实施方式

使用DFT进行差错恢复

为了理解修正的DFT和修正的差错恢复技术，有益的做法是首先回顾一下在BL文章中公布的通常的DFT和差错恢复技术。

如果x(i)(i＝0，...，N-1)是一系列的N个样值，则DFT X(k)由下式定义：

$X\left(k\right)=\frac{1}{\sqrt{N}}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}x\left(i\right)\exp \[\frac{2\mathrm{\πjki}}{N}\]$

式中，j为

为便于分析，将上式改写如下：

$X\left(k\right)=\frac{1}{\sqrt{N}}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}x\left(i\right)\exp \[\mathrm{jkiq}\]$

式中，q＝2π/N。该DFT的反变换(IDFT)为：

$x\left(i\right)=\frac{1}{\sqrt{N}}\underset{k=0}{\overset{N-1}{\mathrm{\Σ}}}X\left(k\right)\exp (-\mathrm{jikq})$

已知的差错隐匿技术中，将原始的一系列样值 组成DFT然后，将M个连续的DFT系数设置为等于零，以组成一个新的X(k)，使得当 $k\∉\mathrm{\μ}$ 时 $X\left(k\right)=\hat{X}\left(k\right),$ 当k∈μ时X(k)＝0；这里，μ为设置成零的DFT系数集。然后，形成IDFT x(i)，它是 的滤波型式。事实上，如果选择μ使设置为零的系数对应于最高频率分量，则这是一种低通滤波的表示。对于差错校正的情况，在频谱分量中填充入M个零值来代替使M个系数设置为零，因而没有信息丢失，其x(i)不是简单的 的滤波型式。下面，只讨论差错隐匿的情况，但在原理上同样地能应用于差错校正的情况。设传输的信号为x(i)，它包含有冗余量，这是因为，先验地知道与μ系数集内的k值相对应的X(k)的M个分量等于零。

现在假定，除了样值集x(i_m)之外接收到的信号d(i)等于x(i)，其中x(i_m)已知为错误地接收到的，因而须加以舍弃。现在希望，利用x(i)内的冗余来内插出丢失的样值，并恢复x(i)。将舍弃的样值数目写作sτ，这里，s为传输中使用的帧长，τ为舍弃的帧的数目。如果sτ小于或等于M，则能够恢复丢失的诸样值。定义差错为e(i)＝x(i)-d(i)，它的DFT为E(k)。需要指出，对于 $i\∉\left\{i_m\right\},$ 有e(i)＝0，又对于所有i_m，有e(i_m)＝x(i_m)。

在知道丢失样值之位置i_m的情况下，可以构成一个乘积多项式(“差错定位多项式”)：

$H\left(z\right)=\underset{m=1}{\overset{\mathrm{s\τ}}{\mathrm{\Π}}}(z-z_{\mathrm{im}})---\left(1\right)$

式中，z_i＝exp(jiq)，可以将式(1)改写为和的式子：

$H\left(z\right)=\underset{t=0}{\overset{\mathrm{s\τ}}{\mathrm{\Σ}}}{h}_t{z}^t---\left(2\right)$

实践中，计算系数h_t的系数法中，计算H(z)时是对单位圆上等间隔的z中至少sτ+1个值应用式(1)的乘积形式，并应用FFT算法。

需要指出，对于所舍弃样值的全部位置，H(z_im)＝0。所以，可以在式(2)的和值形式中将H(z_im)乘以e(i_m)z_im ^r，并对m个值相加，得到

$\underset{m=1}{\overset{\mathrm{s\τ}}{\mathrm{\Σ}}}e\left(i_m\right)\underset{t=0}{\overset{\mathrm{s\τ}}{\mathrm{\Σ}}}{h}_t{z}_{\mathrm{im}}^{t+r}=0$

将相加的次序反转，得到

$\underset{t=0}{\overset{\mathrm{s\τ}}{\mathrm{\Σ}}}{h}_t\underset{m=1}{\overset{\mathrm{s\τ}}{\mathrm{\Σ}}}e\left(i_m\right)z_{\mathrm{im}}^{t+r}=0$

它可以改写成

$\underset{t=0}{\overset{\mathrm{s\τ}}{\mathrm{\Σ}}}{h}_{t}E(t+r)=0$

对此可重新安排，得到

$E\left(r\right)=-\frac{1}{h_0}\underset{t=1}{\overset{\mathrm{s\τ}}{\mathrm{\Σ}}}{h}_{t}E(r+t)---\left(3\right)$

因此，在给定任何sτ个连续的已知值E(r+t)下，可以计算另一个连接的值，从而递归地计算出全部数值。但已经知道，对于k∈μ，X(k)＝0，所以E(k)＝-D(k)。因此，从M≥sτ的连续已知值开始，可计算出所有其它的值。在给定差错E(k)的DFT下，可以容易地计算出样值X(k)＝D(k)+E(k)的非零DFT系数，由之恢复样值x(i)。

恢复丢失的样值的其它方法中，包括有在ST文章中述及的矩阵反转法和拉格朗日内插法，但是，前面概述的方法是当前优选的一种方法，因为它的计算量比较少。

上面说明的技术其问题在于，对于大的码组规模它会变得不稳定，这根据下列事实是可以确信的，即系数集μ设置为零必须是连续的，对于上述的递归方法和拉格朗日内插方法至少应如此，并须确认，要反转的矩阵为非奇异矩阵。

所发明的改进

本发明基于以下的考察，即上面提出的全部论证包括傅里叶变换原理在内，当将定义q＝2π/N代替以定义q＝2πp/N时仍然是成立的，这里，p和N是互质的整数，且p＞1。现在，定义修正的DFT如下：

$X_p\left(k\right)=\frac{1}{\sqrt{N}}\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}x\left(i\right)\exp \left(\frac{2\mathrm{\πjpi}}{N}\right)$

它对于系数置换是等效的，所以

X_p(k)＝X(p(k))             (4)

式中，p(k)≡pk mod N。因此，当应用修正的变换和设置M个连续的系数为零时，它等效于应用通常的DFT和设置分量p(k)为零，这里，k取M个连续值。如果合适地选择p，可得到使各个零值散布于频谱上的效果，这使得差错恢复处理稳定得多，即使大的码组规模时也如此。

除了p和N必须互质外，对于p的选择有两个相互矛盾的要求。一方面，需要选择p值使解码稳定，而在稳定性上，必需使差错定位多项式模跨单位圆，也即对于i∈μ，z_i应扩散在单位圆上。换句话说，这要求pM≥N。另一方面，在新的变换域中滤波将使原始的信源信号产生某种失真。为了减小这种失真，p值须选择得使设置为零的系数均为低能量系数。如果p为N/2左右，则几乎一半的FFT高频系数将保持于新变换域中的高频区域内。然而，其变换不是十分稳定的(尽管不象通常的DFT那样差)。另外，它表明，对于p＝N/2+e来说变换对偶数N是与N/2-e共轭的。所以，通过监听测试，可以折衷地选择p值在N/M≤p＜N/2范围内。例如，要能够替换一个丢失帧，对于N＝480和S＝160，这将要求M＝160，据经验发现，p＝197是可找到的最佳折衷。

除递归方法外，文章ST中表明的关于可以实现矩阵反转(也即要反转的矩阵是非奇异矩阵)和利用拉格朗日内插能恢复出x(i)的论证，对于修正的DFT依然有效。所以，这些方法可用来代替递归方法，尽管它们(特别是矩阵反转)计算量更多并且并非优选的。

传输设备

图1示明快速傅里叶变换(FFT)处理器1布置成对于以N样值为码组的取样的语音信号 进行接收，产生出傅时叶系数 FFT处理器1的输出信号通过失真处理器2到达IFFT处理器3，产生出滤波的信号x(i)。失真处理器2使一定量的系数 设置成等于零。在BL文章内说明的已知技术中，那里对应于信号中高频分量的M个连续系数的集，而在本发明技术中，这是号码为p(k)的系数，k取M个连续的值。因此，虽然按已知技术x(i)为低通滤波信号，而在本发明技术中施加到信号上的滤波更为精细，它由散布在频谱上的多个窄频带的高频凹陷组成。IFFT处理器3的输出随后加到通常的语音编码器4上，再由信道编码器5将信号安排成帧结构用于传输。

接收设备

图2示明一个通常的信道解码器6，它布置成接收由图1的设备传输来的信号。信道解码器6复原信号的帧结构，并识别出在传输中受到干扰或者未接收到的信号帧i_m。将此类帧对应的样值都设置为零，并产生一个信号i_m以标识这些丢失的样值。信道解码器6的输出加到通常的语音译码器7上，语音译码器7是图1中语音编码器4的相对部分，它产生出信号d(i)。如果没有信号帧受到干扰或者没有信号帧未接收到，则d(i)应与滤波的信号x(i)相同，否则，d(i)是其中一帧或多帧的所有样值都设置为零的滤波信号x(i)。信号d(i)加到差错隐匿处理器8上，处理器8的连接用来接收标识有丢失样值的信号i_m。差错隐匿处理8实施递归处理以恢复丢失的样值和重建滤波的信号x(i)。

差错隐匿器

图3较详细地示明图2中差错隐匿处理器8的一个实施例。

系数计算处理器9被布置以接收自图2中信道解码处理器6来的，标识有丢失样值的信号i_m，并对式(2)中给定的差错定位多项式H(z)的系数h_t进行计算。做到这一点时是对于环绕单位圆等间隔分布的多个z值应用式(1)计算H(z)，并应用一个FFT处理器计算系数h_t。在计算H(z)时，需应用q＝2πp/N来计算z_i＝exp(jiq)的值，所以在修正的方法中各个零的位置是不同的。

FFT处理器10被连接以接收自图2中语音编码处理器7来的信号d(i)，并导出信号DFTD(k)。修正的递归处理器11连接来接收自FFT处理器10来的DFTD(k)和自系数计算处理器9来的系数h_t，并应用修正形式的递归关系式(3)导出差错DFT系数E(k)，它开始于k∈μ时与先验已知值X(p(k))＝0相对应的数值。式(3)的修正形式为：

$E\left(p\left(r\right)\right)=-\frac{1}{h_0}\underset{t=1}{\overset{\mathrm{s\τ}}{\mathrm{\Σ}}}{h}_{t}E\left(p(r+t)\right)$

校正处理器12连接来接收自修正的递归处理器11来的差错DFT系数E(k)和自FFT处理器10来的DFT系数D(k)，使E(k)与D(k)相加以计算恢复的滤波信号的DFT系数X(k)。IFFT处理器13连接来接收DFT系数X(k)，并计算出恢复的滤波信号x(i)。

图4示明图2中差错隐匿处理器8的另一个实施例。在此情况下，递归处理器11应用不修正形式的递归关系式(3)，但FFT处理器10和IFFT处理器13作出了修正，修正的FFT处理器10实施正常的FFT算法，后面跟随式(4)中所示的置换，而修正的IFFT处理器13实施反向置换，后面跟随正常的FFT算法。

如果用F表示DFT，用P表示置换，用R表示递归步骤，F^-1表示反DFT变换，P^-1表示逆置换，则两种实施例中都实施F^-1(P^-1(R(P(F))))，但是，图3的实施例做到这一点的形式为F^-1R′F，这里，R′＝P^-1RP，而图4的实施例做到这一点的形式为F′^-1RF′，这里F′＝PF。

实施

上面说明的设备中需要的诸处理器的实现，可以结合微处理器或信号处理器芯片或是两者的组合，由可执行码来完成。

Claims (5)

1.一种为对突发性和/或帧丢失进行差错隐匿或校正目的而将增加的冗余度引入到离散信号中的方法，该方法包括步骤：

对所述信号的样值码组作出离散傅里叶变换(1)；

修正所述离散傅里叶变换(2)，以形成码组长度为N的系数码组，其中，M个傅里叶系数的一个预定集合等于零；以及

实施所述傅里叶系数码组的离散傅里叶反变换(3)，以形成冗余量增大的信号；其特征在于

所述傅里叶系数的预定集合由编号为p(k)的系数组成，这里，k取M个连续的整数值，p(k)定义为p(k)＝pk mod N，其中p为大于1的一个正整数，它与N互质。

2.权利要求1所述的方法，其中在对接收到的信号实施离散傅里叶变换的步骤之后，跟随着按照p(k)来置换系数，在实施离散傅里叶反变换之前对p(k)实施系数反置换，并在递归计算差错信号的步骤中应用递归关系式：

$E\left(r\right)=-\frac{1}{h_0}\underset{t=1}{\overset{\mathrm{s\τ}}{\mathrm{\Σ}}}{h}_{t}E(r+t)$

式中，sτ为丢失样值的数目。

3.一种对取样的模拟信号进行差错隐匿或校正的方法，其中，利用在传输的信号中引入的冗余度，能做到从其中有某些样值未正确接收到的所接收信号中恢复出信号，所述冗余量由M个傅里叶分量的一个预定集合组成，所传输信号的离散傅里叶变换的每个码组中码组长度为N，分量的预定集合等于零；其特征在于

所述傅里叶系数的预定集合由编号为p(k)的系数组成，这里，k取M个连续的整数值，定义为p(k)＝pk mod N，其中p为大于1的一个正整数，它与N互质；

对接收的信号d(i)的N个样值的码组实施离散傅里叶变换D(k)(10)；

应用D(k)来递归计算差错信号E(k)(11)；

应用接收的信号的差错信号E(k)和离散傅里叶变换D(k)重建所传输信号的离散傅里叶变换X(k)(12)；

通过对X(k)实施离散傅里叶反变换(13)，重建取样的模拟信号；以及

从码组中丢失样值的位置i_m计算出差错定位多项式H(z)的系数h_t的集合，并且其中递归计算差错信号的步骤中应用了系数h_t，

其中，递归计算差错信号的步骤中应用了递归关系式：

$E\left(p\left(r\right)\right)=-\frac{1}{h_0}\underset{t=1}{\overset{\mathrm{s\τ}}{\mathrm{\Σ}}}{h}_{t}E\left(p(r+t)\right)$

式中，sτ为丢失样值的数目。

4.一种将增加的冗余度引入一个离散信号中，用于对突发性和/或帧丢失进行差错隐匿或校正的设备，包括：

离散傅里叶变换装置，用于对所述信号的样值码组作出离散傅里叶变换(1)；

修正装置，用于修正所述离散傅里叶变换(2)，以形成码组长度为N的系数码组，其中，M个傅里叶系数的一个预定集合等于零；以及

离散傅里叶反变换装置，用于实施所述傅里叶系数码组的离散傅里叶反变换(3)，以形成冗余量增大的信号；其特征在于

在所述修正装置中，所述傅里叶系数的预定集合由编号为p(k)的系数组成，这里，k取M个连续的整数值，p(k)定义为p(k)＝pk mod N，其中p为大于1的一个正整数，它与N互质。

5.一种对取样的模拟信号进行差错隐匿或校正的设备，包括：利用在传输的信号中引入的冗余，能做到从其中有某些样值未正确接收到的所接收信号中恢复出信号的装置，所述冗余量由M个傅里叶分量的一个预定集合组成，所传输信号的离散傅里叶变换的每个码组中码组长度为N，分量的预定集合等于零，其特征在于包括：

对接收的信号d(i)的N个样值的码组实施离散傅里叶变换D(k)(10)的装置；

应用D(k)来递归计算差错信号E(k)(11)的装置；

应用接收的信号的差错信号E(k)和离散傅里叶变换D(k)重建所传输信号的离散傅里叶变换X(k)(12)的装置；

通过对X(k)实施离散傅里叶反变换(13)，重建取样的模拟信号的装置；以及

从码组中丢失样值的位置i_m计算出差错定位多项式H(z)的系数h_t的集合的装置，其中递归计算差错信号时应用了系数h_t，

其中，所述傅里叶系数的预定集合由编号为p(k)的系数组成，这里，k取M个连续的整数值，定义为p(k)＝pk mod N，其中p为大于1的一个正整数，它与N互质。

Images