CN1189259A - 一种信号编码和译码的方法及装置 - Google Patents

Abstract

本发明提供了通过将静态滤波器组结合在一起而建立随时间变化的滤波器组的方法。该结合处理能够以这样的方式设计,即在一编码环境中需要传送最小开销。在新的编码标准,诸如但不限于,MPEG4中,自适应滤波器组将能够占据一重要的位置。

Description

一种信号编码和译码的方法及装置

发明领域

本发明涉及一种使用重叠变换的方法来对如图像信号或声音信号等进行编码和译码的方法和装置，本发明尤其涉及一种方法和系统，其中对图象或声音信号的不同部分使用不同的变换。

发明背景

通过变换图象或声音信号，其信号采样就转变成系数，此系数通过传送及随后的反向变换来恢复图象或声音信号的采样。在发送端的正向变换和在接收端的反向变换，都由变换矩阵规定。

在一个非重叠变换如广泛用于图象编码的离散余弦变换(DCT)中，连续的L次采样，都要转换成相同数量的系数，每一系列的系数，在接收端通过反向变换，都能恢复为相应系列的采样。正向和反向变换矩阵的大小都为L^*L个元素。

在重叠变换中，重叠的一系列信号采样变换成一定数量的系数。此系数数量少于采样的数量。例如，部分重叠的L次采样变换成M个系数，在发送端和接收端的变换矩阵就有M^*L个元素。

一种信号变换也可以看作是滤波器组编码的一种特定情况，例如上面所述及的重叠变换可由滤波组来实现。此滤波器组包含M个滤波器件，每个滤波器长度为L，滤波后的信号通过因子M分样，这即是，仅有滤波信号的每个第M次采样组成的系数能被发送，而中间状态的M-1次采样都被忽略。在接收端，这M个系数被增加(中间的M-1个采样值填0)，然后提供给M个内插滤波器器，滤波器的滤波长度为L。然后插补后的信号在加法器中累加。

通过变换，输入信号被分解成一些基本函数的加权和，系数构成加权因子，变换矩阵的行或者滤波器组的插补滤波器的脉冲响应函数构成基本函数，每个基本函数都有一个频谱。一般地说，基本函数被这样选择，使得每个基本函数应包含总频谱的一部分。

目前，设计了基于编码系统的分段，其中在不同的部分(例如图像中的子图像)采用不同的变换例如为了反映图象信号的特征，信号的一个片段在进行第一次变换的同时，与之连续的信号片段需要进行不同的第二次变换，不同的变换意味着变换矩阵大小不同，而且大小相同的矩阵其元素值也不同。在一个变换进行非重叠变换时，从一个变换转换到另一个变换不会产生任何问题。因为每次采样都用相同数量的系数进行恢复。这些系数都是接收端已知的实际变换所提供的，但是在变换系统进行重叠变换的问题就产生了。在传送时信号采样不能轻而易举地通过将不同变换获得的系数恢复。类似的问题在有限范围的信号边界处也会出现，如图象信号。

发明目的及综述

本发明的目的是提供一种编码和译码图像和声音信号时减少上述问题的方法。

依据本发明，编码信号的方法的特征在于使从第一次连续采样到第二次连接采样转换形成的信号采样经受中间变换，所说中间变换由加权因子决定，它表示上述中间变换的基本函数的频谱，与第一次和第二次变换的频谱范围相似，并且伴随着编码信号中的加权因子。

本发明提供了下述问题的一个解决方法，它为采样变换提供了许多变换矩阵。该采样形成从第一次到第二次连续的信号采样的转换。并非所有的替补矩阵都能对恢复的平滑度、频谱的质量、能量的存储等方面产生同样的好效果。由发送端选择的中间变换传送到接收端并伴随在传送信号这中，要求选择的中间变换矩阵的传递要明显超前。因为此矩阵包含许多浮点数，因此产生的小偏差可能会导致明显的恢复错误，通过采用加权因子，可解决这个问题：加权因子表示中间变换的基本函数的频谱与第一和第二次变换的相应频谱相似，基本函数不同，加权因子也可能不同，例如给DC系数(此系数与第一阶(order)基本函数相关)的加权高于给较低阶系数的加权，加权因子传送到接收机，采用该传送的加权因子，接收机就可以计算出反向中间变换。

图形简述

图1表示根据本发明传送图象或声音信号系统的第一实施例。

图2表示根据本发明传送图象或声音信号系统的另一实施例。

图3-11图解了图1和图2中表示的变换控制电路的操作。

最佳实施例描述

图1表示根据本发明传递图象或声音信号的系统的第一实施例，此系统包括编码站1，传送介质2，和译码站3，传送介质可以是无线电或连接电缆，也可以是存储介质，如磁带或光盘。

发送站包括一种变换寄存器4，它用于将输入信号的连续Xn次采样由串行转化成并行，在这个意义上变换寄存器是可编程的，即级数L和采样数M通过改变输入信号是可编程的，将有效的采样标注为X₁…X_L提供给变换器5。在这个变换中，矢量X₁…X_L与M^*L的变换矩阵A相乘，L输入采样的每个变换都产生M个系数Y₁…Y_M，量化和编码(没有图示)之后通过多路转换器6提供给传递介质。

根据本发明，不同的变换提供给输入信号不同的片段，例如，响应局部特性传送的视频图象。对那一端，传送站还包括一种变换控制器7，它提供给用于变换器5的实际的变换矩阵A。在实际的压缩系统中，此变换矩阵是从许多预定义的矩阵中选择的一个。此控制器提供了一种变换选择信号TS给乘法器6以通知接收器通过传送器进行变换。因此，就可以在接收端使用反向变换，控制器也提供可编程参数L和M(即矩阵大小)给变换寄存器4。

在接收站3中，信号分离器8提供接收到的系数Y₁…Y_M给反向变换器9，它将M个系数Y₁…Y_M与一个L^*M矩阵相乘，此M个系数的变换产生L个中间采样值Z₁…Z_L。在重叠累加电路10中，连续的L个采样值用累加的方法累加在一起，以获得恢复的信号采样Xn′。

接收站还包含一种变换控制器11，它接收变换选择信号TS和选择变换矩阵S给变换器9使用。此控制器还提供与矩阵S有关的参数L和M给累加电路10。

现在就可以认识到一个信号变换可看作是多路滤波器组编码的一个特殊情况。这样的一个多路滤波器表示在图2中依据本发明系统的第二实施例，传送站1的滤波器组包含M个滤波器12a…12m，每个滤波器的滤波长度为L并有一个传递函数Hm(Z)。滤波后的信号由因子M按向下采用13_a…13_m进行分割。这种方法常被看作是严格的采样，此即表示滤波后的信号只有每段的第m次采样可以传送，而其他的M-1次采样都被忽略掉。每个传送的采样表示一个采数Y_m(m＝1，…，m)。在量化和传送(没有图示)以后，系数通过多路器6进行传送。

传送站还包括与图1所示相同的控制器7。控制器提供实际的滤波器系数a_1，m(与图1所示矩阵的元素相对应)，滤波器数量M和使用的滤波器长度L给滤波器12_a…12_m。此控制器也提供变换选择信号TS给多路器6以通知接收器在接收端使用什么样的反向变换。

在接收站2，M个信号在14_a…14_m向上采样器中向上采样(中间的M-1个采样的值填0)，然后将他们提供给M个插补滤波器15a…15m，其长度为L，并有一个传递函数Fm(Z)。插补信号在加法器16中顺序累加，变换控制器11提供实际的滤波器系数S_1，m(与图1所示矩阵的元素对应)、滤波器数M和滤波长度L给滤波器器15a…15m。

通过变换图1和多路滤波器组编码(图2)的比较可以得到对本发明某些方面的理解。例如，具有长度为L的插补滤波器Fm(Z)的M次脉冲响应与M^*L变换矩阵S的M行对应，而具有长度为L的滤波器器Hm(Z)的M次脉冲响应与矩阵A的逆矩阵的行数对应。

本发明的特点体现在变换控制器7和11的操作中。为了更好地理解这些操作，信号变换一般都要先进行说明。我们将集中在一维变换中，二维变换(如二维图象块)一般要进行分割。这即是首先在水平方向执行第一次一维变换，再在垂直方向上执行第二次一维变换。

传送的图象或声音包括有限量N的采样Xn。发送端的正向变换将它们转换成相同数量N的系数Yn，这些系数通过传送，并在接收端进行反向变换。正向变换和反向变换，都取决于一个N^*N变换矩阵。

在图1和图2所示的实施系统中，输入信号X₁…X_n被分成连续的相对少量的L次采样。每组的采样都经受相同的变换。为了分割N^*N的变矩阵，获取一个block-Toeplitz结构，此结构有一些除对角线外其它值为零的相对小的矩阵。在非重叠变换中，众所周知离散余弦变换(DCT)用于图象信号的MPEG编码中，连续的L次采样，通过L^*L矩阵变换成连续系列的L个系数。在接收端，每批L次采样可以根据各自的系数恢复，在重叠变换中，每批有重叠的L次采样通过一个M^*L矩阵变换成一系列的M个系数(M小于L)。每次变换之后，输入信号经过M次采样进行变换，此M^*L矩阵使用Toeplitz结构进行局部重叠。这时就要考虑提供给采样的所有变换的系数，根据每次接收到的L个系数，来恢复M次采样。

图3所示为一个N^*N的变换矩阵30，它重叠变换N次采样Xn(n＝1…N)。此矩阵包括一些确定的M^*L对角线矩阵20，这些矩阵部分重叠，矩阵20被称作静态矩阵。在本例中，图3所示的静态矩阵假设有2行(M＝2)，6个元素(L＝6)，如图所示，此矩阵可写成这种形式[A2A1A0]。

为了表现信号变换与多路滤波器组编码的相似性，静态M^*L矩阵也可以看作为具有长度为L的M个滤波器的滤波器组。与此相一致，一个矩阵也可以认为是滤波器组或  多个滤波器，

在图3中，一个简单的静态矩阵20，用于变换输入信号，后面将对第一个静态矩阵变换成不同的第二个矩阵，这个有限长度的输入信号X₁…X_n的变换并非由静态滤波器20开始或结束。否则，变换矩阵30不可逆变，这即是边界的数据采样不能用数据恢复。同样，这样的边界滤波器21和22被分别用于输入信号的左右边界，本发明有一个方面也涉及到寻找合适的边界滤波器的问题。边界滤波器

为了寻找合适的边界滤波器，第一步操作就是通过计算寻求输入信号边界的数据采样所能许可的恢复精度或近似精度，由此计算出的滤波器就会出现有关编码效率(即关于频率分隔)和硬件复杂性不利的问题，第二步操作就描述了将这些滤波器进行优化，使之尽可能成为静态滤波器。

首先，假设有限的输入信号X₁在两端扩展为0并且根据需要提供静态变换给扩展信号。这在图4中说明。在图4中，参考数20′表示静态滤波器20沿着对角线重复，直到不再影响采样X₁…X_N的变换。

凭直觉希望左边界在某些方式下会与图4中标注23的矩阵有关，此矩阵23的大小为L-M，可写成 $\left[\begin{array}{cc}A0& 0\\ A1& A0\end{array}\right]$

同样，右边界滤波器与图4标注24的矩阵有关，矩阵24的大小也为L-M，可写成 $\left[\begin{array}{cc}A2& A1\\ 0& A2\end{array}\right]$

矩阵23和24它们自己并不适合于作边界滤波器，这一点从下面的事实可知，图4所示的变换矩阵40的行数比列数多L-M，这即是说变换N个有关的采样X_N将产生Yn个系数，比实际需要的多L-M个。

这第一步操作决定了矩阵23的秩M₀(即独立行数)，并旋转(即成一个正交旋转矩阵R)此矩阵以得到M₀个非零行。旋转后的矩阵非零部分标为B₀，这里 $\[R\]\×\left[\begin{array}{cc}A0& 0\\ A1& A0\end{array}\right]=\left[\begin{array}{c}0\\ B0\end{array}\right]$

对于矩阵24一样旋转R产生一个矩阵具有m₁个非零行。此矩阵非零部分标为B₁，这里 $\[R\]\×\left[\begin{array}{cc}A2& A1\\ 0& A2\end{array}\right]=\left[\begin{array}{c}B1\\ 0\end{array}\right]$

矩阵R可以通过使用Procrustes算法进行计算，此算法刊登在GeneH.Golub和Charles F.Van Loan编注的《矩阵计算》一文中，由JohnHopkins大学出版，Baltimorn and London1989年第二版。

这样得到的矩阵B₀和B₁可以用作边界滤波器组21和22(见图3)。然而上述操作并不能给出一个唯一的答案，只有通过频率分隔才能使滤波器组有效，而且矩阵B₀和B₁从硬件观点上并不具有吸引力，因为滤波器(分别为m₀和m₁)的数目一般不同于静态滤波器组20中的滤波器数(m)。本例中静态滤波有两个滤波器(M＝2)，边界滤波器组B₀和B₁分别有1个和3个滤波器(m₀＝1，m₁＝3)。

在实际硬件运行时，在每个边界滤波器组的滤波器数选为M的整数倍。然后就可以使用具有可编程系数的单个滤波器组。最后，一个合适的正交矩阵的行或列数S₀加到矩阵B₀中，还有一个合适的正交矩阵的行或列数S₁加到矩阵B₁中。如图5所示，其中的参考序号25和26表示的矩阵因而被放大了，他们分别写为这里I₀是一个大小为S₀的等价矩阵。I₁是大小于S₁的等价矩阵。在数学上，数字S₀和S₁可看作是补充因子，在图5的例子中，矩阵25和26分别有M和2M行，它们可用作边界滤波器组，但分频时仍不适合。

在第二步操作中，矩阵25和26通过与各自的旋转矩阵R₀和R₁相乘进行旋转来获得满足频率分隔条件的边界滤波器组。上述的边界滤波器组在图6中标为27和28，它们分别写作

这些滤波器必须展现出频率分隔特性并尽可能与变换矩阵的静态部分相似。本例中，左边界滤波器组27的两个滤波器必须与频谱中静态滤波器组20的两个滤波器相似，右边界滤波器组28中的四个滤波器，必须与两个连续操作的静态滤波器20(在图6中标为29)中的四个滤波器相似。

发明人发现在边界滤波器和静态滤波器组之间的频率范围内，对于一个给定的加权MSE(均方误差)存在理想的旋转矩阵R₀和R₁，R₀和R₁的计算可以描述成更通用的情况。这样上面的等式通常用来表示结果矩阵RB。可以发现旋转矩阵R，其RB的基本函数与具有相同行数的静态矩阵(即S)的基本函数非常相似(根据频谱)。R的计算还涉及许多直接的算术操作，现在加以描述。

静态矩阵S通过傅里叶变换成矩阵C＝SF(F表示傅里叶变换)。此矩阵在频率范围内有元素C_iC_j，同样，边界滤波器组RB通过傅里叶变换成频率范围内的矩阵D＝RBF，它有元素d_id_j。边界滤波器组RB的长度认为是填满0(扩展具有0的一个滤波器，可以使滤波器的频谱适合更多的采样)。

加权的平均平方误差MSEi在边界滤波器组第i行的频谱与静态滤波器组的频谱之间的频率范围内可表示为： ${\mathrm{MSE}}_i=\underset{J}{\mathrm{\Σ}}{w}_j{(c_{i,j}-d_{i,j})}^2$

其中，W_j为基本函数的加权因子，如图1和2所示，传送到接收器。MSEi是边界滤波器组每个基本函数的最小值，因而要记住，对一个给定的静态滤波器组S，C_i，j为已知，因而d_i，j就确定了正要找的边界滤波器组RB。可以知道最小的MSE对应使下面乘积项最大： $\underset{J}{\mathrm{\Σ}}{w}_j{c}_{i,j}{d}_{i,j}$

使上面的乘积项最大，这在数学上就与使矩阵RBFWF^*S^*(*表示转置)对角线上的元素的和最大相似。此矩阵中，W是一个对角线矩阵，该对角线矩阵具有对角线的加权因子Wj，S代表给定的静态滤波器区，B在第一步操作中(见图1)已计算出来，F表示傅里叶变换。因而，结果矩阵BFWF^*S^*也就求出来了。

对于任意矩阵E，都可以写成E＝UAV^*、其中U和V是能量存储矩阵，^是一个对角线矩阵，矩阵计算时，矩阵E参考单值分解(SVD)方法进行分解。此方法可参照上述由Gene H.Golub和CharlesF.van Loan编写的《矩阵计算》。而且还知道RE＝RUAV^*对角线元素之和对R＝VU^*最大。据此，或采SVD方法应用于矩阵BFWF^*S^*产生矩阵U和V，从而旋转矩阵R＝VU^*对经过RBFWF^*S^*对角线之和为最大。

SVD方法应用于输入信号的两个边界。在本例中，旋转矩阵R₀(以及图6中的边界滤波器27)可以通过对下列矩阵运用SVD方法计算出来。 ${\mathrm{BFWF}}^{*}{S}^{*}=\left[\begin{array}{cc}I0& 0\\ 0& B0\end{array}\right]\×F\×W\×F^{*}\×{\[A2A1A0\]}^{*}$ 同样，旋转矩阵R₁(以及图6中的边界滤波器28)可以通过对下列矩阵运用SVD方法计算出来： ${\mathrm{BFWF}}^{*}{S}^{*}=\left[\begin{array}{cc}B1& 0\\ 0& I1\end{array}\right]\×F\×W\×F^{*}\×{\left[\begin{array}{ccc}A2& A1& A0\\ 0& A2& A1\end{array}\right]}^{*}$

在本例中，边界滤波器组28包含2M＝4个滤波器。为了与图6中所示的矩阵29相一致，第3和第4号滤波器的第一批系数都比较小，可以用0取代，在这种情况下，边界滤波组28与两个连续操作的重叠变换28′和28″相关联，这两个边界现在就可以通过具有L个可编程滤波器系数的M个滤波器的某个滤波器组进行有效的处理。

图7所示为左边界滤波器器组(A)，静态滤波器组(B)和右边界滤波器组(C)，在这种情况下，静态滤波器组是一个两通道Danbechies，长度为6的弱波滤波器(M＝2，L＝6)。边界滤波器设计来匹配静态滤波器频率特性。此静态滤波器有一个DC系数非常大的权。此图所示的边界滤波器是一种不好的情况，因为在两边没有一个明显的低通和高通滤波器。此结果说明并非总能设计出非常好的边界滤波器。转换滤波器

目前，(图象)编码系统都面对这样的问题，输入信号不同的片段都要采取不同的变换。例如响应图象信号的局部特性。当信号的一个片段进行第一次重叠变换时，后续的片段就要进行第二次重叠变换。图8所示为Toeplitz变换矩阵有关的部分。在此图中，X和Y分别表示第一次和第二次静态变换矩阵。根据此例，X假设为一个2^*6的矩阵，Y假设为一个3^*9的矩阵。从滤波器组X异常转换到滤波器组Y(如图中虚线所示)形成不可逆变换。认识到这一点很重要。据此，就要使用中间或过渡滤波器(图8中所标80部分)。

本发明所涉及的另一个问题是寻找合适的转换滤波器，这些滤波器在维持编码效率(好的频率分隔)的情况下从一个静态滤波器组到另一个进行平滑传递的转换。

从一个静态滤波器组转换到另一个的可能的策略就是使用右边界滤波器来结束一个片段的变换，用一个左边界滤波器来开始下一个片段的变换。此策略如图9所示，其中T1表示一个与静态变换X(图6中标为28)相关的右边界滤波器，T0表示一个与静态变换Y(图6中标为27)相关的左边界滤波器。

上面的策略缺少吸引力，因为如上所提到的边界滤波器的编码效率并非完美，现在就讲述一个比较好的转换滤波器的设计。此设计与前面所述的对边界滤波器的操作相同。第一步操作分别产生与式1一致的边界滤波器

他们如图10所示，第二步操作对上述边界滤波器进行旋转，以获得优化的滤波器。但是上述的旋转变换前面只是应用于单个的边界矩阵，现在应用于图10中标为90的矩阵B的操作包含了两个边界滤波器。通过此边界滤波器的设计，一个明显的优点就是矩阵90°的旋转可以建立非0的边界，即图10中标为91和92之间的边界区。从自由度的角度看，过渡滤波器要比边界滤波器要好。

将第二步操作概括一下，就是图10中标注的转换矩阵B通过乘一个正交矩阵R进行旋转变换。确定此旋转矩阵R以使矩阵RB尽可能和矩阵80(见图8)相似进行频率分隔。在这个例子中，矩阵80包含两步连续操作的静态滤波器X和一步操作的静态滤波器Y。

计算旋转矩阵R以使得对于每个基本函数，在频域中该转换滤波器的第i行的频谱和滤波器组80的第i行的频谱之间的距离的均方误差MSEi为最小。应用如前所述的SVD方法参照边界滤波器来计算旋转矩阵。根据本发明，用SVD计算的加权因子被送到译码器，译码器就可以计算所说转换滤波器。

图11所示为一个第一静态滤波器组(A)，转换滤波器的三步连续操作(B，C，D)以及一个第二静态滤波器组(E)的频率相应。在本例中，第一静态滤波器组(A)是一个二通道Daubechies，长为6的滤波器(M＝2，L＝6)。这第二静态滤波器组(E)是一个二通道Daubechies，长为8的滤波器(M＝2，L＝8)。设计转换滤波器来匹配对DC系数具有非常大的加权的静态滤波器的频率特性。与图7不同，此转换滤波器组有确定的低通和高通特性，并且从第一到第二静态脉冲响应是逐渐变化的。

Claims (6)

1.一种编码信号的变换方法，包含将第一次信号的连续采样进行第一次重叠变换，以及将第二次信号的连续采样进行第二次重叠变换等步骤，其特征在于使形成从第一次到第二次连续采样的转换的信号采样须经过一个中间变换，此中间变换由加权因子决定，加权因子指示所说中间变换的基本函数的频谱与第一次和第二次变换频谱相似程度，并将加权因子融合到编码信号中。

2.一种信号编码变换的译码方法，其中的编码转换信号是将第一次连续采样进行第一次重叠变换，将第二次连续采样进行第二次重叠变换得到的。其特征在于通过应用一个中间变换来译码形成从第一次到第二次连续采样的转换的信号采样，上述中间变换由接收到的加权因子决定，此因子指示中间变换的基本函数的频谱与第一次和第二次变换频谱相似程度。

3.一种传送信号的装置，包括将第一次信号的连续采样进行第一次重叠变换，将第二次连续采样进行第二次重叠变换的变换装置，其特征在于设置有变换控制装置，用于控制变换装置使形成从第一次到第二次连续采样转换的信号采样经过一个中间变换，此中间变换由加权因子确定，此加权因子指示中间变换的基本函数的频谱必须与第一次和第二次变换频谱范围相似，并且将加权因子发送到接收器。

4.一种对变换编码的信号译码的装置，将第一次连续的采样进行第一次重叠变换，将第二次连续采样进行第二次重叠，包括变换编码信号为信号采样的变换装置，其特征在于设置有用于控制变换装置的变换控制装置应用一种中间变换来获取形成从第一次到第二次连续采样的转换的信号采样，上述的中间变换由接收到的加权因子确定，此因子指示程度中间变换的基本函数的频谱与第一次和第二次变换的频谱相似程度。

5.一种编码信号，包含表示与第一次变换相关的第一次连续采样的第一次变换系数和表示与第二次变换相关的第二次连续采样的第二次变换系数，其特征在于编码信号包含表示按中间变换形成从第一次到第二次变换的采样信号的中间变换系数，并且加权因子表示中间变换的基本函数的频谱与第一次和第二次变换的频谱相似程度。

6.一种存储介质，其上存储有权利要求5所要求的已编码的信号。

Images