CN101127900A - 利用基本层的图像信号的编码/解码方法及装置 - Google Patents

Abstract

一种利用基本层的图像信号的编码/解码方法及装置，能在用可伸缩的动态补偿时间过滤(MCTF)方式对图像信号进行编码并输出第1层比特流的同时，用指定的图像信号基本层的其他方式对该图像信号进行编码并输出第2层比特流，当利用MCTF方式进行编码时，针对上述图像信号的帧序列中任意一帧内所包含的图像块，在包括与上述任意一帧在时间上前后相邻的帧和上述第2层比特流中所包含的辅助帧序列中在时间上与上述任意一帧处于前、后及相同时段的辅助帧在内的帧的集合当中，使用至少一个帧内的标准块来求出上述图像块中各个像素的差值。本发明的这种利用第2层的帧来制作第1层的帧内图像的方式可以提高编码率。

Description

利用基本层的图像信号的编码/解码方法及装置

技术领域

本发明涉及图像信号的可伸缩(scalable)编码和解码，尤其涉及在利用动态补偿时间过滤(MCTF：Motion Compensated Temporal Filter)方式进行可伸缩编码时，追加使用图像信号基本层(baselayer)对图像进行编码，并且对基本层进行编码处理后的图像数据进行解码的方法和装置。

背景技术

将图像信号数字化的标准有许多种，MPEG是其中最具代表性的一种。由于该MPEG标准被采用为当前在DVD等记录媒体上收录电影内容等的标准，因而被广泛使用。并且，作为代表性标准的还有H.264，估计今后它将被使用为高品质TV电视信号的标准。

但是，TV电视信号需要使用宽频带，而现在普遍使用的手机和笔记本电脑以及今后将广泛使用的移动(mobile)电视(TV)和掌上电脑(PC)等是通过无线进行图像接收和发送的，针对这样的图像来分配用于传送TV信号的宽频带是不易进行的。因此，只能使此类移动性便携装置的图像压缩方式中所使用的标准当中图像信号的压缩效率进一步提高。

更详细地说，也就是上述移动性便携装置不得不使自身处理或表现(presentation)的能力多样化。因此，被压缩的图像也必须照样子进行多种预先准备，这就意味着针对同一个图像源(source)需要具有每秒传送帧数、解像度、每个像素的比特数等多种变数的组合值，这样一来，内容提供商就不得不承受更多的负担。

基于这种理由，内容提供商针对一个图像源准备了高速比特率的压缩图像数据，如果上述移动性装置提出申请，就在对原始图像进行解码之后，利用与提出申请装置的图像处理能力(capability)相适应的图像数据提供并执行适当的编码过程。但是，在这种方式当中需要以代码转换(transcoding)(解码+编码)过程作为基础，所以在提供移动性装置所申请的图像时就会发生一些时间迟延。并且，代码转换也由于目标编码的多样性而需要复杂的硬件设备和算法。

为了消除这种不利因素，开发了可伸缩的图像编解码器(SVC：Scalable VideoCodec)。这种方式能够在对图像信号进行编码的过程中编码出最高的画质，这样，即使只提供被生成图像序列的部分序列(从整个序列中间隔着选择出来的帧的序列)也能够显示出低画质的图像。

动态补偿时间过滤(MCTF：Motion Compensated Temporal Filter)方式是为了在上述可伸缩图像编解码器上使用而被提出的编码方式。但是，由于该MCTF方式象前面所讲述的那样极有可能被应用在带宽受到限制的移动通信当中，所以为了降低每秒被传送的比特数，需要有很高的压缩效率即高编码率(coding rate)。

但是，如上所述，虽然对利用可伸缩动态补偿时间过滤(MCTF)方式进行编码的图像序列来说，即使只接收并处理部分序列也能够显示出低画质的图像，但是当比特率(bitrate)变低时，就很容易出现画质格外低下的问题。

发明内容

本发明正是为解决上述问题而提出的，其目的在于提供一种在利用可伸缩方式对图像进行编码时，提供用于低传送率的利用基本层的图像信号的编码/解码方法及装置。

本发明的另一个目的是提供一种在利用可伸缩方式对图像信号进行编码时，利用基本层与图像序列之间的相互关系来生成预测图像的方法和装置。

本发明的另一个目的是提供一种为了使用其他基本层的图像序列而生成/记录必要的管理信息的方法和装置。

本发明还有一个目的是提供一种追加使用基本层的图像信号对编码后的数据流进行解码的方法和装置。

为了实现上述目的，一种利用基本层的图像信号的编码装置，是针对由帧序列构成的图像信号进行编码的装置，其特征在于包括以下几个组成部分：用可伸缩的方式对上述图像信号进行编码，然后输出第1层比特流的动态补偿时间过滤编码器；用图像信号基本层方式对上述图像信号进行编码，然后输出第2层比特流的基本层编码器。所述动态补偿时间过滤编码器由以下几个部分组成：针对上述帧序列内任意帧中所包含的图像块，在包括与上述任意帧在时间上前后相邻的帧以及上述第2层的比特流中所包含的辅助帧序列当中在时间上与上述任意帧处于前、后及同时段的辅助帧在内的帧的集合中，使用至少1个帧内的标准块来求出上述图像块中各个像素的差值的编码第1设备；以及如果被上述第1设备使用的标准块属于上述第1层比特流，就把上述求出的各个像素的差值加在上述标准块上的编码第2设备。

所述标准块是在一个帧或更小的规定大小的区域内，与上述图像块之间的影像差值小于预定门坎值的块当中差值最小的块。

所述编码第1设备是把体现出上述图像块内各个像素的差值是否是以某一帧内的块为标准求出的差值的信息记录在上述图像块头信息内的装置。

所述动态补偿时间过滤编码器还包括在上述前帧和/或后帧的各个像素值中，对上述第2层比特流中所包含的辅助帧序列中的辅助帧内的各个像素值进行差减，然后求出上述前帧和/或后帧的帧影像差的编码第3设备。

所述动态补偿时间过滤编码器利用并联及串联连接的数个编码第1设备和编码第2设备，求出由N个原影像的帧中带有影像差的N/2个H帧和被加上影像差的N/2个L帧所形成的n编码水平的帧序列，并且针对上述n编码水平的L帧序列，用相同方法求出由N/4个H帧和N/4个L帧所形成的n+1编码水平的帧序列；

所述第3设备只针对编码水平中某一水平的L帧，对上述辅助帧序列中辅助帧的各个像素值进行差减，然后求出该L帧的影像差。

所述动态补偿时间过滤编码器将有关求出上述影像差的L帧序列的编码水平的信息插入并记录在上述第1层的比特流中。

所述动态补偿时间过滤编码器把体现出上述第2层比特流中的帧和上述第1层比特流中的帧之间的时间相关性的定时信息插入并记录在上述第1层比特流中。

所述定时信息包括体现上述第2层的比特流是否具有固定帧率的标记信息，和有关将上述第1层比特流中的帧和上述第2层比特流中的帧看作是同一影像的标准时间步长的信息。

在所述标记信息显示出上述第2层的比特流是否具有固定帧率时，所述定时信息还包括有关上述第2层比特流内的帧的传送率的信息。

有关所述帧率的信息由体现一定时间的第1值和对上述第1值进行分解的第2值构成。

所述基本层编码器将上述图像信号编码成具有小画面帧的第2层比特流，它的画面比上述第1层比特流内帧的画面小。

所述编码第1设备为了求出上述图像块内各个像素的差值而将上述小画面帧扩大。

另外，为了实现上述目的，一种利用基本层的图像信号的编码方法，是针对由帧序列构成的图像信号进行编码的方法，其特征在于包括以下几个步骤：以图像信号可伸缩的第1方式对上述图像信号进行编码并输出第1层比特流的步骤；以图像信号基本层的第2方式对上述图像信号进行编码并输出第2层比特流的步骤。所述以图像信号可伸缩的第1方式进行编码的步骤包括以下几个过程：针对上述帧序列中任意一帧内所包含的图像块，在包括与上述帧在时间上前后相邻的帧以及上述第2层比特流内所包含的辅助帧序列当中在时间上与上述任意一帧处于前、后及同时段的辅助帧在内的帧的集合当中，使用至少1个帧内的标准块来求出上述图像块内各个像素的差值的编码第1过程；如果上述第1步骤所使用的标准块是上述第1层比特流内的帧，就将上述求出来的各个像素的差值加在上述标准块上的编码第2过程。

所述标准块是在一个帧或更小的规定大小的区域内，与上述图像块之间的影像差值小于预定门坎值的块当中差值最小的块。

所述编码第1过程是把显示上述图像块内各个像素的差值是否是以某一帧内的块为标准求出的差值的信息记录在上述图像块的头信息内的过程。

所述以图像信号可伸缩的第1方式进行编码的步骤还包括：

在上述前帧和/或后帧的各个像素值中，对上述第2层的比特流中所包含的辅助帧序列中的辅助帧的各个像素值进行差减，然后求出上述前帧和/或后帧的帧影像差的编码第3过程。

所述以图像信号可伸缩的第1方式进行编码的步骤，通过并联及串联运行编码第1过程和编码第2过程的方式，求出由N个原影像的帧中具有影像差的N/2个H帧和被加上影像差的N/2个L帧所形成的n编码水平的帧序列，并且针对上述n编码水平的L帧序列，用相同方法求出由N/4个H帧和N/4个L帧所形成的n+1编码水平的帧序列；

所述编码第3过程只针对编码水平中某一水平的L帧对上述辅助帧序列中辅助帧的各个像素值进行差减，然后求出该L帧的影像差。

所述以图像信号可伸缩的第1方式进行编码的步骤，将有关求出上述影像差的L帧序列的编码水平的信息插入并记录在上述第1层的比特流中。

所述以图像信号可伸缩的第1方式进行编码的步骤，把体现上述第2层的比特流中的帧和上述第1层的比特流中的帧之间的时间相关性的定时信息插入并记录在上述第1层的比特流中。

所述定时信息包括体现上述第2层的比特流是否具有固定帧率的标记信息，和有关将上述第1层比特流中的帧和上述第2层比特流中的帧看作为同一影像的标准时间步长的信息。

在所述标记信息体现出上述第2层的比特流是否具有固定帧率时，所述定时信息还包括有关上述第2层比特流内的帧的传送率的信息。

所述以图像信号基本层第2方式进行编码的步骤，将上述图像信号编码成具有小画面帧的第2层比特流，它的画面比上述第1层比特流内帧的画面小。

所述编码第1过程为了求出上述图像块内各个像素的差值而将上述小画面帧扩大。

另外，为了实现上述目的，一种利用基本层的图像信号的解码装置，是接收包括具有差值的像素的H帧序列和L帧序列在内的第1层比特流和另外的第2层比特流并将其解码成图像信号的装置，其特征在于包括以下几个组成部分：以图像信号可伸缩的第1方式对上述第1层比特流进行解码并将其还原为具有原来影像的图像帧然后进行输出的动态补偿时间过滤解码器；以图像信号基本层的第2方式对上述第2层比特流进行解码并将其还原为具有原来影像的辅助图像帧然后进行输出的基本层解码器。

所述动态补偿时间过滤解码器包括以下几个组成部分：确认具有上述H帧序列内任意一帧中所包含的对象块的各个像素的差值是否是在包括与上述任意帧在时间上前后相邻的帧以及上述辅助图像帧序列当中在时间上与上述任意一帧处于前、后及同时段的辅助图像帧在内的帧的集合中，以某一个或几个帧内的其他块为标准求出来的差值的解码第1设备；如果上述解码第1设备的确认结果是上述其他块属于上述第1层比特流内的帧中，就将上述对象块的各个像素的差值从上述其他块中差减出去的解码第2设备；依据上述差值被差减后的其他块和/或位于上述辅助图像帧内的其他块的各个像素值，从上述对象块内的各个像素的差值中还原出上述对象块的原来影像的解码第3设备。

另外，为了实现上述目的，一种利用基本层的图像信号的解码方法，是对具有差值像素的包含有H帧序列和L帧序列的第1层比特流和另外的第2层比特流进行接收，并将其解码成图像信号的方法，其特征在于包括以下几个步骤：用图像信号可伸缩的第1方式对所述第1层比特流进行解码，然后将其还原为具有原来影像的图像帧并进行输出的步骤；和用图像信号基本层的第2方式对所述第2层比特流进行解码，然后将其还原为具有原来影像的辅助图像帧并进行输出的步骤。

用所述图像信号可伸缩的第1方式进行解码的步骤包括以下几个过程：

确认所述H帧序列内任意一帧中的对象块所拥有的各个像素的差值是不是把帧的集合当中的某一个或几个帧内的其他块作为标准求出来的差值的解码第1过程，其中帧的集合中包括与所述任意一帧在时间上前后相邻的帧和所述辅助图像帧序列当中在时间上与所述任意一帧处于前、后及相同时段的辅助图像帧；如果所述确认结果为上述其他块位于所述第1层比特流内，就将所述对象块中各个像素的差值从上述其他块中差减出去的解码第2过程；根据上述差值被差减掉的其他块和/或所述辅助图像帧内其他块的各个像素值，从上述对象块内的各个像素的差值中将所述对象块的原来影像还原出来的解码第3过程。

本发明的效果：

综上所述，本发明的利用基本层的图像信号的编码/解码方法及装置在动态补偿时间过滤(MCTF)编码中，如果在增强层的帧之外利用专门为低性能解码器提供的基本层的帧来制作H帧和L帧，那么由于编码后的整体数据量减少了，MCTF的编码率也就提高了。

为进一步说明本发明的上述目的、结构特点和效果，以下将结合附图对本发明进行详细的描述。

附图说明

图1是以本发明为依据的图像信号压缩方法所适用的图像信号编码装置中结构块的示意图。

图2是图1所显示的在MCTF编码器内进行图像估值/预测和更新动作的滤波器的结构示意图。

图3是依据本发明，在一个GOP内的图像期间内制作出与L帧之间存在影像差的H帧的过程示意图。

图4是依据本发明，为了说明基本层的辅助帧与增强层的主帧之间在时间上的相关性，而对被插入并进行传送的定时信息的结构进行举例说明的示意图。

图5a和5b是依据本发明，对在制作一个预测图像的H帧时可以被用来作标准的增强层与基本层的帧之间的关系进行分别显示的示意图。

图6是对图2所示的滤波器在制作一个宏块时的多种标准块选择模式进行有限说明的示意图。

图7是依据本发明对宏块头信息中所包含的标准块选择模式的信息结构进行显示的示意图。

图8是以本发明为依据的将使用基本层时所需的必要信息放置在增强层比特流中的结构示意图。

图9是依据本发明，针对基本层中辅助帧影像被差减后的增强层编码水平的信息结构进行显示的示意图。

图10显示的是针对被图1所示的装置进行编码后的数据流进行解码的装置方块图。

图11显示的是图10中MCTF解码器内执行逆估值/预测和逆更新动作的逆滤波器的结构示意图。

附图中主要部分的符号说明：

100：MCTF编码器                  101：分离器

102：估值/预测器                 103：更新器

105，240：基本层解码器           105a，240a：定标器

110：纹理编码器                  120：运动编码部

130：多路复用器                  200：解复用器

210：纹理解码器                  220：运动解码部

230：MCTF解码器                  231：逆更新器

232：逆估值/预测器               234：排序器

235：运动矢量解码器

具体实施方式

下面将参照附图对本发明的利用基本层的图像信号的编码/解码方法及装置的实施例进行详细说明。

图1是以本发明为依据的图像信号的可伸缩(scalable)压缩方法所适用的图像信号编码装置的结构块示意图。

图1的图像信号编码装置包括以下几个组成部分：本发明所适用的利用MCTF方式将输入的图像(视频)信号编码成各个宏块(macro block)单位并生成适当管理信息的动态补偿时间过滤(以下简称MCTF)编码器100；将上述编码后的各个宏块的信息变换成压缩比特列的纹理(Texture)编码部110；将上述通过MCTF编码器100得到的图像块的运动矢量(motion vectors)以指定的方式编码成压缩比特列的运动编码部120；将输入的图像信号以指定的方式，例如MPEG1、2、4或H.261、H.263、H.264方式进行编码并生成小画面例如原来大小的25％的图像序列的基本层(base layer以下简称BL)编码器150；在将上述纹理编码部110输出的数据和上述基本层(BL)编码器150的小画面序列、上述运动编码部120的输出矢量数据压缩(encapsulate)成指定的格式之后，再利用已经指定的传送格式进行相互复用然后输出的多路复用器130。在下面的说明当中，将上述小画面图像序列称为基本层序列，将上述MCTF编码器100的输出帧序列称为增强(enhanced)层序列。上述基本层序列是提供给不得不进行上述增强层主帧序列的低画质解码的装置进行选择性使用的辅助帧序列。

上述MCTF编码器100针对任意图像帧内的宏块进行运动估值(motionestimation)和预测(prediction)动作，并且针对该宏块与相邻帧内宏块之间的影像差来执行对该宏块进行进一步更新(update)的动作，图2就是对执行该动作的滤波器的结构进行显示的示意图。

图2所显示的滤波器包括以下几个组成部分：将输入图像(视频)的帧序列分离成前后帧的分离器101；对经过上述基本层(BL)编码器150编码处理后的小画面序列图像进行解码，并且利用内部定标器105a将该图像还原成原来图像大小的解码器105；负责在前后相邻的帧或由上述定标器105a进行大小还原的帧中找出关于将要进行预测(predict ive)帧制作的帧内各个宏块的标准块，并算出该标准块与实际宏块之间的影像差(各个对应像素的差值)和运动矢量，或者执行求出由上述定标器105a进行大小还原的同时段帧的宏块与标准块之间的影像差等预测动作(prediction)(以下简称“P”动作)的估值/预测器102；针对经过上述运动估值而找出标准块情况下的宏块，在将上述求出的影像差正规化(norma lize)之后，对相关标准块执行进一步更新(update)动作的更新器103。上述更新器103执行的动作被称作“U”动作(operation)，而经过“U”动作生成的帧被称作“L”帧。而且，上述更新器103针对更新后的帧，对在定标器105a中进行扩大的同时段帧进行差减，然后有选择性地执行输出动作。

图2的滤波器可以不针对图像帧而是针对一个帧被分割后形成的数个片段同时进行并列操作，由上述估值器102制作的具有影像差的帧(或片段)叫作“H”帧(片段)。这是由于“H′”帧(片段)中的差值数据反映了图像信号的高频成份。在下面实施例当中所使用的“帧”的概念中包含了片段的意思。

所述估值/预测器102针对被输入的各个图像帧，将其分割成预定大小的宏块(macro-block)，并且从相邻的前后帧和/或在上述定标器105a中被扩大的帧中找出影像与各个分割后的宏块最相似的影像块。即，找出在时间上(temporal)具有相互关系的宏块。最相似的影像块是与对象影像块之间影像差最小的块。影像差的大小由例如pixel-to-pixel的差值总和或平均值等决定，因此它是在小于规定门坎值的块中数值最小的块，即影像差最小的块，该宏块被称作标准(reference)块。标准块可以在时间关系上的前帧(包括基本层帧)和后帧(包括基本层帧)当中分别存在一个。

在找到标准块的情况下，所述估值/预测器102求出当前块的块运动矢量值并算出该标准块(只限前帧或后帧当中)的各个像素值和/或标准块(相邻两帧当中)的各个平均像素值以及当前块内各个像素的误差值即差值并进行输出。

如果在上述的运动估值动作当中，没有在相邻的两个帧(包括基本层帧)中找到与当前宏块之间的影像差值小于规定门坎值的块，就对与当前帧同时段或邻近时段的帧是否存在于上述基本层序列当中进行确认，如果存在的话，就利用所对应宏块的像素值求出当前块的差值但不求运动矢量。所述邻近时段是指可以被看作具有同一图像的帧的时间步长，有关该时间步长的信息被放置在编码后的码流中进行传送。后面将会对此进行说明。

关于当前宏块，即使在找到标准块的情况下，也可以使用基本层的同时段或邻近时段的对应宏块。即，可以使用与被找出的标准块相对应的宏块中的例如各个像素的平均值来求出当前宏块的像素差值。在这种情况下，求出有关被找出的标准块的宏块运动矢量，并且把用来告知基本层的帧已经被使用的信息记录在当前宏块的头中。

由上述估值/预测器102执行的上述动作被称为“P”动作(operation)。

所述MCTF编码器100针对规定的图像序列区间例如一个图像组(GOP：Groupof Pictures)，来执行前面所讲的“P”动作和“U”动作并生成H帧和L帧，并且由串联连接的下一段估值/预测器和更新器(未图示)来针对L帧序列再次执行“P”动作和“U”动作并生成H帧和L帧。通过执行适当次数的此类动作来制成最终的增强(enhanced)层序列。图3就是对此类事例进行显示的示意图，截止到一个GOP内的L帧数量达到2个时为止，已经执行了3次“P”动作和“U”动作。在执行图3所示的动作时，当上述MCTF编码器100内的更新器103从1次L帧序列当中制作2次L帧序列时，在1次L帧序列中对在上述定标器105a所扩大的同时段帧进行差减和生成。当然，也可以不对1次L帧而对其他次L帧进行差减，然后生成下一次的L帧。例如，当由上述定标器105a提供的基本层图像在时间上与1次L帧相交错时，如果进一步提高差减水平的话，就能够减少实际图像在时间上的差异，所以通过提高差减水平来使上述L帧和基本层的扩大图像得到差减。

如上所述，如果使用被提供给基本层的小画面序列来进行适当次数的L帧差减并生成增强层序列的话，那么在增强层的序列中，由于图像冗余(redundancy)被删除使得编码数据的数量减少了，也就是提高了编码增益(coding gain)。

并且，所述MCTF编码器100在进行上述可伸缩编码时，把用来在增强层与基本层之间进行定时的图4所示结构的信息放置在增强层的比特流中。为了图4的定时信息，需要从上述基本层编码器150和/或外部输入设定的值中接收必要的内容，图4的定时信息在增强层比特流的传送初期被传送一次或被周期性地插入并传送。

在图4的定时信息结构中，“flag_BL_fixed_frame_rate”是指基本层比特流是否在上述基本层编码器150中被用固定的帧率进行编码的信息，“BL_time_increment_resolution”是关于“BL_time_increment”中所记录时间值的分解能的信息，例如，如果1(秒)被记录在“BL_time_increment”中，而5被记录在“BL_time_increment_reso lution”中，那么就表示基本层的帧每1/5秒传送一次。并且，“THR_temporally_coincidence”体现的是表示增强层的帧和基本层的帧之间具有互相相同的图像的时间步长。该字段，例如msec可以具有单位的值，即当该值为10的情况下，如果在编码时被插入的增强层的帧的时间信息和从上述帧率(“BL_time_increment”/“BL_time_incremen t_resolution”)中计算出来的基本层的任意帧的时间信息(接收帧数*“BL_time_increment”/“BL_time_increment_resolution”)之间的差小于0.01(秒)，那么它们在解码器端就被看作是具有相同图像的即相互时间一致(in coincidence)的帧。

另一方面，所述估值/预测器102在执行“P”动作并制作H帧时，当找出当前帧内任意宏块的标准块然后将当前块制成预测(predictive)影像块时，如图5a所显示的那样，除了可以使用增强层中相邻的前后L帧之外，还可以选择并使用由上述定标器105a提供的基本层的扩大图像。

在以本发明为依据的理想实施例中，在制作H帧时使用5个帧。图5b显示了为了制作任意H帧而能够使用的5个帧，即，为了将一个L帧400L制作成H帧400H，使用了与上述L帧400L相同的MCTF水平的前后L帧401、402以及在基本层上处于相同时点的帧405及其前后帧403、404。

图6显示了几个在依据本发明使用5个帧时将任意一个宏块制作成影像差数据时所选择的2个以下的帧的例子。“Fwd_BL_mode”表示标准块是基本层序列中在时间上处于前面的图像的情况；“Bwd_BL_mode”表示标准块是基础层序列中在时间上处于后面的图像的情况；“Bid_BL_mode”表示标准块是基本层序列中在时间上处于前面和后面的两个图像的情况；“Fwd_BL_Bwd_EL_mode”表示标准块是基本层的前面图像和增强层的后面图像的情况；“Fwd_EL_Bwd_BL_mode”表示标准块是增强层的前面图像和基础层的后面图像的情况。并且，“TC_pred_mode”是指使用基本层同时段图像的对应块的像素值时的情况；′TC_pred_Bwd_BL_mode”是指使用基本层同时段图像的对应块和位于基本层后面图像中的标准块时的情况；“TC_pred_Fwd_BL_mode”是指使用基本层同时段图像的对应块和位于基本层前面图像中的标准块时的情况；“TC_pred_Bwd_EL_mode”是指使用基本层同时段图像的对应块和位于增强层后面图像中的标准块时的情况；“TC_pred_Fwd_EL_mode”是指使用基本层同时段图像的对应块和位于增强层前面图像中的标准块时的情况。

还有图6中没有显示的其他多种模式，为了将图6中所显示的模式和图6中没有显示的多种模式中的一种告知给解码器一侧，上述MCTF编码器100将具有图7所显示结构的“标准块选择模式”信息，按照图8所显示的那样，插入并记录在决定相关宏块中头区域位置的字段(Ref_Sel_mode)当中，然后传送给上述纹理编码部110。上述Ref_Sel_mode字段可以插入帧(或片段)的头内，也可以在同一帧(或片段)内使用相同的2张标准图像。

在图7的标准块选择模式的信息结构中，“flag_use_BL”是显示基础层是否被使用为标准块的信息，“reference_selection_code”是记录上面所述各个模式的相关值的字段，是显示前面所讲的5个帧中的一个或二个任意帧是否被用来制作宏块影像差的信息。

另一方面，所述MCTF编码器100把对基本层的图像序列进行差减的L帧序列的水平即有关MCTF水平的信息，以图9所示的结构，依据图8所显示的那样，记录在决定相关GOP头区域位置的字段(BL_Subtr action)当中进行传送。在图9所示的信息结构中，“fl ag_use_BL”是指相关GOP中是否使用了基本层的信息；“BL_subtraction_level”指的是针对某种水平的L帧序列，基本层的图像序列是否被差减。

利用截止目前所说明的方法进行编码的数据流是通过有线或无线被传送到解码装置中的，或者是将记录媒体作为媒介来进行传送的，解码装置可以依据下面将说明的方法来还原出原来的增强层和/或基本层的图像信号。

图10是针对由图1所示装置进行编码的数据流进行解码的装置方块图。图10的解码装置包括以下几个组成部分：从接收到的数据流中分离出压缩后的运动矢量流和压缩后的宏块信息流以及基本层码流的解复用器200；将被压缩的宏块信息流还原到原来非压缩状态的纹理解码部210；将被压缩的运动矢量流还原到原来非压缩状态的运动解码部220；对解除压缩的宏块信息流和运动矢量流以MCTF方式逆变换为原来的图像信号的MCTF解码器230；利用决定上述基本层码流的方式，例如MPEG4或H.264方式进行解码的基本层解码器240。上述基本层解码器240内还包括将基本层的小画面图像序列扩大为增强层图像大小的定标器240a。

所述MCTF解码器230，为了从被输入的码流中还原出原来的帧序列，而将如图11所示结构的逆(inverse)滤波器作为内部组成成份。

图11的逆滤波器包括以下几个组成部分：将被输入的增强层码流分成H帧和L帧，并且对增强层码流内的各个头信息进行解释的前端信息处理机236；将被输入的H帧的各个像素的差值从补充输入的L帧中差减出去的逆更新器231；参照被差减去H帧影像差的L帧和/或由上述定标器240a进行扩大并输入的图像，将H帧还原为具有原来影像的帧的逆估值/预测器232；对被输入的运动矢量流进行解码并且将各个块的运动矢量信息提供给上述逆估值/预测器232的运动矢量解码器235；以及将上述逆估值/预测器232所完成的帧有间隔地插入上述逆更新器231输出的L帧之间，从而形成正常的图像帧序列的排序器234。

所述逆更新器231和逆估值/预测器232与前面说明的MCTF的编码水平相适应，它被设置在上述排序器234的前端并由多段构成。而且，各段(stage)逆更新器中的一个输出L帧与上述解码器240中定标器240a的扩大图像的影像值相加239，所述MCTF解码器230根据增强层码流中所放置的如图9所显示的BL_subtraction_level的值来决定是否在某段(编码水平)的L帧输出当中加上基本层的帧。

所述前端信息处理机236对被输入的增强层码流进行解释，然后区分并输入为L帧序列和H帧序列，而且利用该码流内的各个头信息，将有关在制作H帧内的宏块时所使用的帧的信息告知给上述逆估值/预测器232。该信息可以从接收到的图7所显示的“标准块选择模式”(reference_selection_code)的信息当中得知。

因此，所述逆估值/预测器232可以针对一个H帧内的任意宏块，以制作该块的预测影像为目的，而特别指定被使用的增强层的L帧和/或基础层的扩大帧，并且利用上述运动矢量解码器235中提供的运动矢量来掌握位于相关帧内的标准块，然后在上述任意宏块内的各个像素的差值上加上标准块的各个像素值或两个宏块的各个像素的平均值，通过这种方式来还原出原来的影像。尤其当上述逆估值/预测器232利用基本层的帧时，利用上述前端信息处理机236解释的如图4所显示的定时信息，在当前增强层的图像序列当中，指定当前H帧的前、后或同时段基本层的辅助帧。如果对上述基本层解码器240的输出帧进行计数，那么就可以从图4的信息中得知各个基本层帧的时间，因而可以得知当前H帧的前后帧，然后根据两帧的时间差和′THR_tempo rally_coin cidence′的值来判断其是否处于同时段。

针对一个H帧，将其分成规定单位例如片段(slice)单位来并列运行，并在使该帧内的所有宏块具有原来的影像之后，通过将这些宏块组合在一起的方式来构成一个完整的图像帧。

依据前面所讲的方法，被以MCTF方式进行编码的数据流被还原成完整的图像帧序列。尤其是当针对一个GOP执行N次以上前面所讲的MCTF编码中的估值/预测和更新动作的情况下，如果执行N次上述逆估值/预测及逆更新动作并求出图像帧序列，就可以得到原来图像信号的画质，并且如果执行次数少于N次，那么虽然画质有些下降但也可以得到比特率相对低的图像帧序列。但是，如果不用MCTF方式来获得比特率低的图像帧序列而是对基本层的帧序列进行解码输出，就会得到与之相比更低的画质。因此，解码装置需要与自身性能相符的能够执行上述逆估值/预测及逆更新动作的设计，或者是只对基本层的码流进行解码的设计。

前面所讲的解码装置可以被安装在移动通信终端机或用来再生记录媒体的装置上。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明权利要求书的范围内。

Claims (39)

1.一种利用基本层的图像信号的编码装置，是针对由帧序列构成的图像信号进行编码的装置，其特征在于包括以下几个组成部分：

用图像信号可伸缩的方式对上述图像信号进行编码，然后输出第1层比特流的动态补偿时间过滤编码器；

用图像信号基本层方式对上述图像信号进行编码，然后输出第2层比特流的基本层编码器；

所述动态补偿时间过滤编码器由以下几个部分组成：

针对上述帧序列内任意帧中所包含的图像块，在包括与上述任意帧在时间上前后相邻的帧以及上述第2层的比特流中所包含的辅助帧序列当中在时间上与上述任意帧处于前、后及同时段的辅助帧在内的帧的集合中，使用至少1个帧内的标准块来求出上述图像块中各个像素的差值的编码第1设备；

如果被上述第1设备使用的标准块属于上述第1层比特流，就把上述求出的各个像素的差值加在上述标准块上的编码第2设备。

2.如权利要求1所述的利用基本层的图像信号的编码装置，其特征在于：

所述标准块是在一个帧或更小的规定大小的区域内，与上述图像块之间的影像差值小于预定门坎值的块当中差值最小的块。

3.如权利要求1所述的利用基本层的图像信号的编码装置，其特征在于：

所述编码第1设备是把体现出上述图像块内各个像素的差值是否是以某一帧内的块为标准求出的差值的信息记录在上述图像块头信息内的装置。

4.如权利要求1所述的利用基本层的图像信号的编码装置，其特征在于：

所述动态补偿时间过滤编码器还包括在上述前帧和/或后帧的各个像素值中，对上述第2层比特流中所包含的辅助帧序列中的辅助帧内的各个像素值进行差减，然后求出上述前帧和/或后帧的帧影像差的编码第3设备。

5.如权利要求4所述的利用基本层的图像信号的编码装置，其特征在于：

所述动态补偿时间过滤编码器利用并联及串联连接的数个编码第1设备和编码第2设备，求出由N个原影像的帧中带有影像差的N/2个H帧和被加上影像差的N/2个L帧所形成的n编码水平的帧序列，并且针对上述n编码水平的L帧序列，用相同方法求出由N/4个H帧和N/4个L帧所形成的n+1编码水平的帧序列；

所述第3设备只针对编码水平中某一水平的L帧，对上述辅助帧序列中辅助帧的各个像素值进行差减，然后求出该L帧的影像差。

6.如权利要求5所述的利用基本层的图像信号的编码装置，其特征在于：

所述动态补偿时间过滤编码器将有关求出上述影像差的L帧序列的编码水平的信息插入并记录在上述第1层的比特流中。

7.如权利要求1所述的利用基本层的图像信号的编码装置，其特征在于：

所述动态补偿时间过滤编码器把体现出上述第2层比特流中的帧和上述第1层比特流中的帧之间的时间相关性的定时信息插入并记录在上述第1层比特流中。

8.如权利要求7所述的利用基本层的图像信号的编码装置，其特征在于：

所述定时信息包括体现上述第2层的比特流是否具有固定帧率的标记信息，和有关将上述第1层比特流中的帧和上述第2层比特流中的帧看作是同一影像的标准时间步长的信息。

9.如权利要求8所述的利用基本层的图像信号的编码装置，其特征在于：

在所述标记信息显示出上述第2层的比特流是否具有固定帧率时，所述定时信息还包括有关上述第2层比特流内的帧的传送率的信息。

10.如权利要求9所述的利用基本层的图像信号的编码装置，其特征在于：

有关所述帧率的信息由体现一定时间的第1值和对上述第1值进行分解的第2值构成。

11.如权利要求1所述的利用基本层的图像信号的编码装置，其特征在于：

所述基本层编码器将上述图像信号编码成具有小画面帧的第2层比特流，它的画面比上述第1层比特流内帧的画面小。

12.如权利要求11所述的利用基本层的图像信号的编码装置，其特征在于：

所述编码第1设备为了求出上述图像块内各个像素的差值而将上述小画面帧扩大。

13.一种利用基本层的图像信号的编码方法，是针对由帧序列构成的图像信号进行编码的方法，其特征在于包括以下几个步骤：

以图像信号可伸缩的第1方式对上述图像信号进行编码并输出第1层比特流的步骤；

以图像信号基本层的第2方式对上述图像信号进行编码并输出第2层比特流的步骤；

所述以图像信号可伸缩的第1方式进行编码的步骤包括以下几个过程：

针对上述帧序列中任意一帧内所包含的图像块，在包括与上述帧在时间上前后相邻的帧以及上述第2层比特流内所包含的辅助帧序列当中在时间上与上述任意一帧处于前、后及同时段的辅助帧在内的帧的集合当中，使用至少1个帧内的标准块来求出上述图像块内各个像素的差值的编码第1过程；

如果上述第1步骤所使用的标准块是上述第1层比特流内的帧，就将上述求出来的各个像素的差值加在上述标准块上的编码第2过程。

14.如权利要求13所述的利用基本层的图像信号的编码方法，其特征在于：

所述标准块是在一个帧或更小的规定大小的区域内，与上述图像块之间的影像差值小于预定门坎值的块当中差值最小的块。

15.如权利要求13所述的利用基本层的图像信号的编码方法，其特征在于：

所述编码第1过程是把显示上述图像块内各个像素的差值是否是以某一帧内的块为标准求出的差值的信息记录在上述图像块的头信息内的过程。

16.如权利要求13所述的利用基本层的图像信号的编码方法，其特征在于：

所述以图像信号可伸缩的第1方式进行编码的步骤还包括：

在上述前帧和/或后帧的各个像素值中，对上述第2层的比特流中所包含的辅助帧序列中的辅助帧的各个像素值进行差减，然后求出上述前帧和/或后帧的帧影像差的编码第3过程。

17.如权利要求16所述的利用基本层的图像信号的编码方法，其特征在于：

所述以图像信号可伸缩的第1方式进行编码的步骤，通过并联及串联运行编码第1过程和编码第2过程的方式，求出由N个原影像的帧中具有影像差的N/2个H帧和被加上影像差的N/2个L帧所形成的n编码水平的帧序列，并且针对上述n编码水平的L帧序列，用相同方法求出由N/4个H帧和N/4个L帧所形成的n+1编码水平的帧序列；

所述编码第3过程只针对编码水平中某一水平的L帧对上述辅助帧序列中辅助帧的各个像素值进行差减，然后求出该L帧的影像差。

18.如权利要求17所述的利用基本层的图像信号的编码方法，其特征在于：

所述以图像信号可伸缩的第1方式进行编码的步骤，将有关求出上述影像差的L帧序列的编码水平的信息插入并记录在上述第1层的比特流中。

19.如权利要求13所述的利用基本层的图像信号的编码方法，其特征在于：

所述以图像信号可伸缩的第1方式进行编码的步骤，把体现上述第2层的比特流中的帧和上述第1层的比特流中的帧之间的时间相关性的定时信息插入并记录在上述第1层的比特流中。

20.如权利要求19所述的利用基本层的图像信号的编码方法，其特征在于：

所述定时信息包括体现上述第2层的比特流是否具有固定帧率的标记信息，和有关将上述第1层比特流中的帧和上述第2层比特流中的帧看作为同一影像的标准时间步长的信息。

21.如权利要求20所述的利用基本层的图像信号的编码方法，其特征在于：

在所述标记信息体现出上述第2层的比特流是否具有固定帧率时，所述定时信息还包括有关上述第2层比特流内的帧的传送率的信息。

22.如权利要求13所述的利用基本层的图像信号的编码方法，其特征在于：

所述以图像信号基本层第2方式进行编码的步骤，将上述图像信号编码成具有小画面帧的第2层比特流，它的画面比上述第1层比特流内帧的画面小。

23.如权利要求22所述的利用基本层的图像信号的编码方法，其特征在于：

所述编码第1过程为了求出上述图像块内各个像素的差值而将上述小画面帧扩大。

24.一种利用基本层的图像信号的解码装置，是接收包括具有差值的像素的H帧序列和L帧序列在内的第1层比特流和另外的第2层比特流并将其解码成图像信号的装置，其特征在于包括以下几个组成部分：

以图像信号可伸缩的第1方式对上述第1层比特流进行解码并将其还原为具有原来影像的图像帧然后进行输出的动态补偿时间过滤解码器；

以图像信号基本层的第2方式对上述第2层比特流进行解码并将其还原为具有原来影像的辅助图像帧然后进行输出的基本层解码器；

所述动态补偿时间过滤解码器包括以下几个组成部分：

确认具有上述H帧序列内任意一帧中所包含的对象块的各个像素的差值是否是在包括与上述任意帧在时间上前后相邻的帧以及上述辅助图像帧序列当中在时间上与上述任意一帧处于前、后及同时段的辅助图像帧在内的帧的集合中，以某一个或几个帧内的其他块为标准求出来的差值的解码第1设备；

如果上述解码第1设备的确认结果是上述其他块属于上述第1层比特流内的帧中，就将上述对象块的各个像素的差值从上述其他块中差减出去的解码第2设备；

依据上述差值被差减后的其他块和/或位于上述辅助图像帧内的其他块的各个像素值，从上述对象块内的各个像素的差值中还原出上述对象块的原来影像的解码第3设备。

25.如权利要求24所述的利用基本层的图像信号的解码装置，其特征在于：

所述解码第1设备根据上述对象块的头信息中所包含的信息，指定至少一个包括求出具有上述对象块内各个像素差值的标准块在内的帧。

26.如权利要求24所述的利用基本层的图像信号的解码装置，其特征在于：

所述动态补偿时间过滤解码器还包括将上述辅助图像帧内的各个像素值加在上述前帧和/或后帧内各个像素值上的解码第4设备。

27.如权利要求26所述的利用基本层的图像信号的解码装置，其特征在于：

所述动态补偿时间过滤解码器使用并联及串联连接的数个上述解码第2设备和解码第3设备，从由具有3N/4个影像差的H帧和N/4个L帧所形成的n+1编码水平的帧序列当中，将具有N/4个影像差的H帧还原为具有原来影像的L帧，然后形成由具有N/2个影像差的H帧和N/2个L帧所形成的n编码水平的帧序列，并且针对该帧序列中具有N/2个影像差的H帧还原出原来的影像，然后求出由全部N个L帧所形成的图像帧序列；

所述解码第4设备只针对编码水平中某一水平的L帧来加上辅助图像帧的各个像素值。

28.如权利要求27所述的利用基本层的图像信号的解码装置，其特征在于：

所述动态补偿时间过滤解码器根据被插入上述第1层比特流内的信息，对有关将被加上辅助图像帧中各个像素值的L帧序列的编码水平进行判断。

29.如权利要求24所述的利用基本层的图像信号的解码装置，其特征在于：

所述动态补偿时间过滤解码器从上述被插入第1层比特流中的信息当中，获得体现第2层比特流中的帧与上述第1层比特流中的帧之间的时间相关性的定时信息，并且根据上述获得的定时信息，来判断位于上述辅助图像帧序列中的各个辅助图像帧和上述任意一帧之间是否在时间上处于前、后和/或相同时段。

30.如权利要求29所述的利用基本层的图像信号的解码装置，其特征在于：

所述定时信息包括有关上述第2层比特流的帧传送率的信息，和有关将上述第1层比特流中的帧和上述第2层比特流中的帧看作为同时段影像的标准时间步长的信息。

31.如权利要求24所述的利用基本层的图像信号的解码装置，其特征在于：

所述辅助图像还包括具有与上述第1层比特流中帧的画面大小相同并对上述第2层比特流进行解码，然后对所获得的小画面帧进行扩大的由上述辅助图像帧所构成的定标器。

32.一种利用基本层的图像信号的解码方法，是对具有差值像素的包含有H帧序列和L帧序列的第1层比特流和另外的第2层比特流进行接收，并将其解码成图像信号的方法，其特征在于包括以下几个步骤：

用图像信号可伸缩的第1方式对所述第1层比特流进行解码，然后将其还原为具有原来影像的图像帧并进行输出的步骤；和

用图像信号基本层的第2方式对所述第2层比特流进行解码，然后将其还原为具有原来影像的辅助图像帧并进行输出的步骤；

用所述图像信号可伸缩的第1方式进行解码的步骤包括以下几个过程：

确认所述H帧序列内任意一帧中的对象块所拥有的各个像素的差值是不是把帧的集合当中的某一个或几个帧内的其他块作为标准求出来的差值的解码第1过程，其中帧的集合中包括与所述任意一帧在时间上前后相邻的帧和所述辅助图像帧序列当中在时间上与所述任意一帧处于前、后及相同时段的辅助图像帧；

如果所述确认结果为上述其他块位于所述第1层比特流内，就将所述对象块中各个像素的差值从上述其他块中差减出去的解码第2过程；

根据上述差值被差减掉的其他块和/或所述辅助图像帧内其他块的各个像素值，从上述对象块内的各个像素的差值中将所述对象块的原来影像还原出来的解码第3过程。

33.如权利要求32所述的利用基本层的图像信号的解码方法，其特征在于：

所述解码第1过程根据上述对象块的头信息中所包含的信息，指定至少一个包括求出所述对象块中各个像素的差值的标准块在内的帧。

34.如权利要求32所述的利用基本层的图像信号的解码方法，其特征在于：

以所述图像信号可伸缩的第1方式进行解码的步骤还包括，

将所述辅助图像帧的各个像素值加在所述前帧和/或后帧的各个像素值上的第4过程。

35.如权利要求34所述的利用基本层的图像信号的解码方法，其特征在于：

用所述图像信号可伸缩的第1方式进行解码的步骤，

通过对所述解码第2过程和解码第3过程进行并联和串联运行的方式，从具有3N/4个影像差的H帧和N/4个L帧所形成的n+1编码水平的帧序列当中，将具有N/4个影像差的H帧还原为具有原来影像的L帧；并构成由具有N/2个影像差的H帧和N/2个L帧所形成的n编码水平的帧序列，并且针对该帧序列中具有N/2个影像差的H帧来还原出原来的影像，然后求出由全部N个L帧所形成的图像帧序列。

所述解码第4过程只给编码水平中某一水平的L帧加上所述辅助图像帧的各个像素值。

36.如权利要求35所述的利用基本层的图像信号的解码方法，其特征在于：

用所述图像信号可伸缩的第1方式进行解码的步骤，

根据被插入所述第1层比特流中的信息，对有关将被加上所述辅助图像帧中各个像素值的L帧序列的编码水平进行判断。

37.如权利要求32所述的利用基本层的图像信号的解码方法，其特征在于：

用所述图像信号可伸缩的第1方式进行解码的步骤，

从被插入所述第1层比特流中的信息当中获得体现所述第2层比特流中的帧和所述第1层比特流中的帧之间的时间相关性的定时信息，并且根据所获得的定时信息，来判断所述辅助图像帧序列中各个辅助图像帧和上述任意一帧之间是否在时间上处于前、后和/或相同时段。

38.如权利要求37所述的利用基本层的图像信号的解码方法，其特征在于：

所述定时信息当中包括有关所述第2层比特流中帧的传送率的信息，和把所述第1层比特流中的帧与所述第2层比特流中的帧看作是同时段影像的帧的标准时间步长的信息。

39.如权利要求32所述的利用基本层的图像信号的解码方法，其特征在于：

所述辅助图像帧在对所述第2层比特流进行解码之后，将其扩大为与所述第1层比特流中的帧的画面大小相同的帧。

Images