CN1339225A - 图像域的变换方法和装置 - Google Patents

Abstract

规定了图像域的变换方法,在其中由决策单元首先进行图像域的垂直变换和然后进行图像域的水平变换或者相反首先进行水平变换和随后进行垂直变换。

Description

图像域的变换方法和装置

本发明涉及到图像域的变换方法和装置。

在[1]中已知具有从属装置的一种这样的方法。将已知方法在MPEG-标准中用于作为编码方法和原则上是建立在运动补偿的混合DCT(离散的余弦变换)基础上的。将类似的方法使用在具有n×64kbit/s(CCITT建议H.261)的图像电话上，具有34或者45Mbit/s的TV-缴费上和具有1，2Mbit/s(ISO-MPEG-1)的多媒体应用上。混合的DCT是由充分利用连续图像从属关系的时间处理阶段和充分利用图像内相关的位置处理阶段组成的。

位置处理(帧内进行编码)原则上对应于分等级的DCT-编码。将图像分成为8×8图像点，将这些图像点各自借助于DCT变换为频域。结果是8×8系数的矩阵，这些近似地反应了在变换的图像块中的二维位置频率。具有频率0的系数(直流部分)代表图像块的平均灰值。

在变换之后进行数据膨胀。当然在自然的图像模型时围绕直流部分(DC-值)出现能量集中，而最高频率的系数常常是零。

在下一个步骤中进行系数的频谱加权，这样高频系数的幅值精确度减少。此外人们充分利用人眼特性，对高位置频率分辨的精确度小于低的位置频率分辨的精确度。

数据减少的第二个步骤是用匹配量化形式进行的，通过匹配量化继续减少系数的幅值精确度或者通过匹配量化将小的幅值设置为零。此时量化的尺度与输出缓冲存储的填满水平有关：当空的缓冲存储时进行细量化，而当充满缓冲存储时进行粗量化，从而减少数据量。

在量化之后将块进行对角扫描(“交叉”扫描)，然后进行熵编码，熵编码的作用是真正的数据减少。为此充分利用两个效应：

1.)幅值的统计(高幅值比低幅值出现的少和短编码字从属于经常的事件(可变长度编码，VLC))。用这种方法比用固定字长的编码平均产生比较小的数据率。然后将VCL的可变比率在缓冲存储器中进行平正。

2.)人们充分利用以下事实，在大多数场合从确定的数值开始后面只还跟随着归零。代替所有的归零人们只传输EOB-编码(块结束)，这在图像数据压缩时导致显著的编码获益。在现实的例子中对于这个块代替512比特的输出比率只传输46比特，这对应于压缩比超过11。

人们通过数据处理得到另外的压缩获益(帧之间编码)。对差别图像进行编码需要比原始图像比较少的数据率，因为幅值非常小。

如果在图像中的运动很小时，当然时间的差别只是很小。如果相反在图像中的运动很大，则产生比较大的差别，这又是很难编码的。由于这个原因对图像-到-图像-运动进行测量(运动评估)和在构成差别之前进行压缩(运动补偿)。此时将运动信息随着图像信息进行传输，其中一般来说只使用单个的宏块(例如四个8×8图像块)的运动矢量。

如果使用运动压缩的双向评价代替所使用的评价，得到更小一些幅值的差别图像。

在运动压缩混合编码器中不仅将图像信息本身进行变换，而且将时间差别信号进行变换。由于这个原因编码器还具有一个时间的回归回路，因为评价器必须从已经被传输的(被编码的)图像数值中计算出评价值。一个同样的时间回归回路位于解码器中，这样编码器和解码器是完全同步的。

在MPEG-2-编码方法中主要有可以处理图像的三个不同的方法：

I-图像：在I-图像中不使用时间评价，也就是说将图像值直接变换和编码，如附图1表示的。将I-图像使用在，当不知道过去的时间时可以新开始解码过程，或者在传输误差时达到重新同步化。

P-图像：借助于P-图像进行时间的评价，时间的评价将DCT使用在时间的评价误差上。

B-图像：在B-图像时计算时间的双向评价误差和然后进行变换。双向评价原则上是相互匹配地工作，也就是说允许前进评价，后退评价或者中间插补。

将MPEG-2-编码中的图像序列分成所谓的GOPs(图像组)。将两个I-图像之间的n图像构成一个GOP。将P-图像之间的距离称为m，其中各个m-1 B-图像位于P图像之间。然而MPEG-语句允许用户如何选择m和n。m＝1表示不使用B-图像，和n＝1表示只将I-图像编码。

优异的是在解码器方面在DCT-变换的帧上进行分类的变换或者逐行的变换。其中所有图像数据的变换方式是同样进行的，这对于一定的图像数据是缺点。

本发明的任务在于将图像域进行变换，其中垂直和水平变换的顺序与预先规定的条件有关，将这些条件有目的地考虑。

此时可以达到图像质量的明显改善。

为了解决此任务规定了图像域变换的方法，在其中由决策单元首先进行图像域的垂直变换和然后进行图像域的水平变换或者相反首先进行水平变换和随后进行垂直变换。

一种扩展结构在于图像域有不规则的结构。

其中特别的优点是，在决策单元中或者由决策单元依赖于预先规定的数值或者平均值可以求出变换的顺序。这样就可以依赖准备变化的图像域和依赖专门为其标志的特征通过决策单元这样预先规定水平和垂直变换的顺序，涉及到图像域的压缩达到尽可能好的结果。

特别是当图像域的不规则结构时变换的顺序是决定性的，因为在每个垂直或者水平变换之后将不规则图像域的图像点进行重新分类和因此在位置域可以失去图像点的相关。特别是这种重新分类可以是沿着水平或者垂直轴(线)的对齐。

有益地由决策单元借助于图像域的一些专门特征或者一个专门特征，借助于其传输方式或者借助于对于其有代表性的特征求出变换的顺序。

一种结构在于沿着水平或者垂直线对齐图像域或者沿着垂直或者水平线对齐图像域。其中将图像域的行的图像点在垂直线上对齐或者将图像域的列的图像点在水平线上对齐。特别是在每次变换之后(垂直或者水平)进行相应的对齐。通过对齐，也就是说将图像域的行或者列运动，有时失去在位置域上的相关(当图像域是不规则的结构时)，因为原来相互靠在一起的图像点在对齐之后不再是必然的靠在一起(例如在位置域上的相关)。特别是利用这个信息在决策单元内决策关于变换的顺序，以便最佳地充分利用位置域或者时间域中相互靠在一起的图像点的相关。

此外一种结构在于，由决策单元确定垂直和水平变换的顺序至少考虑下面的机理之一：

a)当用隔行方法(交错的)进行传输时只表示(和传输)图像的各个第二行。通过各自另外第二行的交替变化产生代表运动图像的时间错位的图像，其中补充各自两个时间连续图像的行成为完整图像。例如在决策单元中借助于图像标题求出是否出现用隔行方法的这种传输，则首先进行水平变换和然后进行垂直变换。其中在隔行方法时充分利用只传输各个第二行和因此在行内图像点的相关大于沿着列的图像点的相关。

b)另外的机理在于，如上所述沿着其方向准备变换图像域的图像点比较大相关的那个首先进行变换。

另外的扩展结构在于，在变换时考虑一个附加的维，其中将涉及到在附加维的图像点的附加维的相关进行分析。一个例子在于附加的维是一个时间轴(3维变换)。

另外的结构在于，由决策单元产生包括变换的顺序的侧信息，其中侧信息对应于一个信号，将信号有益地传输给接收器(解码器)和借助于这个解码器有能力获悉关于变换的顺序的信息，当进行解码的逆变操作时相应地考虑这个顺序。

在另外的扩展结构的帧内从水平变换出发进行垂直变换，如果在变换之前在45°-轴上进行映像。相应地从垂直变换出发进行水平变换。通过映像(虚拟地)将变换顺序进行交换。

本方法适合于使用在用于压缩图像数据的编码器上，例如MPEG-图像编码器。将相应的解码器有益地进行扩展以便使侧信息信号的计算成为可能，以便当进行图像域解码时可以进行垂直和水平变换的正确的顺序(或者各个为此逆变的操作)。

有益的是编码器和解码器按照MPEG-标准或者按照H.26x-标准工作。

一个扩展结构在于变换是DCT-变换或者为此逆变的IDCT-变换。

此外为了解决此任务规定了用于图像域变换的具有决策单元的装置，借助于决策单元可以进行图像域的垂直变换和然后可以进行图像域的水平变换或者相反可以首先进行图像域的水平变换和然后可以进行垂直变换。

这种装置特别适合于执行按照本发明的方法或者执行其上述的扩展结构之一。

下面借助于附图表示和叙述本发明的实施例。

附图表示

附图1表示图像域变换步骤的简图；

附图2表示决策单元的和从其中生成信号/数值的简图；

附图3表示用于图像压缩的发送器和接收器的简图；

附图4具有图像编码器和图像解码器的比较详细的简图；

附图5以处理器单元形式的决策单元的可能的特点。

在附图1上是变换的步骤，特别是预先规定的图像域的DCT-变换的步骤，这个图像域有不规则的结构。步骤101表示在隔行方法中的图像域的不规则结构，通过各个第二个被占据的行表示的。在其中图像域是由行105，106，107和108组合成的。在步骤102中表示了真正用隔行方法表示的还是行105至108的图像。具有不规则结构的这个图像域的相关沿着行特别高。相对应的在隔行方法中首先变换行在这之后首先沿着垂直线109将其对齐。通过对齐得出以列为基础的相互靠在一起的图像点的运动。在步骤103中进行垂直变换。事前沿着水平线110进行水平对齐。

也有可能考虑沿着时间轴(附加地)进行变换。这样也可以将步骤101解释成表示多个行105至108或者多个图像域105至108，将这些沿着行轴111在各个不同的时间点上进行扫描。各个行105至108或者各个图像域105至108上的位置信息是高的，相反通过沿着时间轴111在时间维方向上的扫描在单个的行105至108之间或者单个的图像域105至108之间有比较低的相关。

在附图2上表示了决策单元和从其中生成的信号/数值的简图。一个输入信号或者多个输入信号200的作用是使决策单元201求出，应该将多个变换(水平的，垂直的，时间的)中的那些在什么样的顺序中进行变换，以便可能最好地充分利用在位置域或者时间域中的各个相关，也就是说这样考虑高相关，首先进行一个所属的变换。将附图1上离散的隔行方法使用作为例子，借助于隔行方法决策单元201在垂直变换之前进行水平变换。将原来的变换在单元202中进行，在其中同样将图像域对齐。从中产生的系数203是变换单元202的结果(也比较在步骤104中的表示)。此外由决策单元201产生包括变换顺序的一个侧信息203。

特别在附图2上表示的装置是发送器(编码器)301的一部分，如在附图3上表示的。从发送器301将图像数据303，有益的是以压缩形式，传输到接收器(解码器)302。将附图2上叙述的侧信息203同样(在这里是由连接304表示的)从发送器301传输到接收器302。在那里将侧信息304解码和从中得到关于变换顺序的信息。

还应该指出的是，原则上有两种进行变换的可能性：或者真正将两个变换(水平的和垂直的)交换。这在程序技术方面导致很大的费用。另外可以确定变换的顺序(借助于决策单元201)，其中垂直变换是从水平变换出发的，如果将图像域在45°-轴上(左上向右下)映像。通过映像将(虚拟的)变换顺序交换。相应地将映像操作安排在接收器302一边。

附图4表示了以比较高细化程度的从属的图像解码器的图像编码器(按照H.263-标准以块为基础的图像编码方法)。

将具有时间连续数字化图像的准备编码的视频数据流输入给图像编码单元201。将数字化图像分成宏块202，其中每个宏块有16×16图像点。宏块202包括4图像块203，204，205和206，其中每个图像块包括8×8图像点，流明值(亮度值)从属于图像点。此外每个宏块202包括从属于图像点色度值的两个色度块207和208(颜色信息，颜色饱和度)。

一个图像的块包括流明值(＝亮度)，第一个色度值(＝色调)和第二个色度值(＝色饱和)。在其中将流明值，第一个色度值和第二个色度值称为色值。

将图像块输入给变换编码单元209。在差别图像编码时将准备编码的时间连续图像的图像块的数值从现实的准备编码的图像块中减去，只将差别图像信息210输入给变换编码单元(离散的余弦变换DCT)209。此外经过连接234将现实的宏块202通知给运动评估单元229。在变换编码单元209中将准备编码的图像块或者差别图像块构成谱系数211和输入给量化单元212。这个量化单元212相当于按照本发明的量化装置。

将被量化的谱系数213不仅输入给扫描单元214而且在返回路径上输入给逆变的量化单元215。按照扫描方法，例如“交叉的”-扫描方法，将被扫描的谱系数232在为此安排的熵编码单元216中进行熵编码。将被熵编码的谱系数作为编码的图像数据217经过一个信道，有益的是一条导线或者一个无线路段，传输给解码器。

逆变的量化单元215中将被量化的谱系数213进行逆变量化。将这样得到的谱系数218输入给逆变的变换编码单元219(逆变的离散余弦变换，IDCT)。将被改造的编码值(还有差别编码值)220用差别图像模式输入给加法器221。此外加法器得到一个图像块的编码值，编码值是由时间连续的图像在已经进行运动补偿之后得到的。用加法器221构成被改造的图像块222和存储在图像存储器223中。

将被改造的图像块222的色值224从图像存储器223输入给运动补偿单元225。在为此安排的插补单元227中对于亮度值进行插补。借助于插补将包括在各个图像块中的亮度值的数目有益地加倍。将所有亮度值228不仅输入给运动补偿单元225而且输入给运动评估单元229。此外运动评估单元229经过连接234得到各个准备编码的宏块(16×16图像点)的图像块。在运动评估单元229中考虑到被插补的亮度值(“在半象素基础上”)进行运动评估。有益的是当运动评估时从时间连续的图像中求出现实准备编码的宏块202中的和被改造的宏块中的单个的亮度值的绝对差别。

运动评估的结果是一个运动矢量230，通过运动矢量表达了在时间连续图像中被选定的宏块相对于准备编码的宏块202的位置运动。

将涉及到由运动评估单元229求出的宏块的不仅亮度信息而且色值信息移位一个运动矢量230和被宏块202的编码值减去(见数据路径231)。

附图5表示了适合于进行变换和/或压缩/解压缩的处理器单元PRZE。处理器单元PRZE包括处理器CPU，存储器SPE和输入/输出-接口IOS，这些经过各种方式和方法的接口IFC被利用：经过图像接口将输出显示在监视器MON上和/或在打印机PRT上输出。经过鼠标器MAS或键盘TAST进行输入。处理器单元PRZE也有一个数据总线BUS，数据总线保证与存储器MEM，处理器CPU和输入/输出-接口IOS的连接。此外在数据总线BUS上可以连接附加的部件，例如附加的存储器，数据存储器(固定盘)或者扫描机。

参考文献：

[1]J.De Lameillieure，R，Schaefer：“数字化电视机MPEG-2-图像编码”，电视电影技术，第48年度，3/1994号，99-107页。

Claims (14)

1.图像域的变换方法，

在其中依赖决策单元首先将图像域进行垂直变换和然后将图像域进行水平变换或者相反首先进行水平变换和然后进行垂直变换。

2.按照权利要求1的方法，

在其中图像域有一个不规则的结构。

3.按照权利要求1或2的方法，

a)在其中在垂直变换之前或者之后沿着水平线将图像域对齐；

b)在其中在水平变换之前或者之后沿着垂直线将图像域对齐。

4.按照权利要求1至3之一的方法，

在其中由决策单元执行至少以下机理中的一个：

a)如果出现隔行方法的图像域时，首先进行水平变换和然后进行垂直变换；

b)首先将沿着图像域的图像点相关比较强的那个(水平的或者垂直的)进行变换。

5.按照上述权利要求之一的方法，

在其中在变换时考虑一个附加的维。

6.按照权利要求5的方法，

在其中沿着时间维进行附加变换。

7.按照上述权利要求之一的方法，

在其中由决策单元产生一个侧信息，在其中包括变换的顺序。

8.按照上述权利要求之一的方法，

在其中水平变换是由垂直变换出发的，其中在变换之前进行45°-轴映像。

9.按照上述权利要求之一的方法，

在其中垂直变换是由水平变换出发的，其中在变换之前进行45°-轴映像。

10.按照上述权利要求之一的方法使用在编码器中为了压缩图像数据。

11.按照权利要求7至10之一的方法，

在其中在解码器中使用侧信息作为解压缩图像域。

12.按照权利要求10或11的方法，

在其中编码器和/或解码器的工作方法是按照MPEG-标准或者按照H.26x-标准确定的。

13.按照上述权利要求之一的方法，

在其中变换是DCT-变换或者附加的逆变的IDCT-变换。

14.用于图像域变换的装置，

具有一个决策单元，决策单元是这样安排的，依赖决策单元求出的数值首先可以进行图像域的垂直变换和然后可以进行图像域的水平变换或者相反首先可以进行水平变换和随后可以进行垂直变换。

Images