CN101005614A - 动态图像编解码方法、装置和计算机可读记录介质 - Google Patents

Abstract

动态图像编解码方法、装置和计算机可读记录介质。本发明属于动态图像编解码技术领域。本发明公开了新的参考图片的存储组织方法、存储方法、建立方法，并且扩展了参考图片的用途，以及执行这些方法的装置和计算机可读记录介质。参考图片以像素单元为单位做存储、移除、修改和添加操作，参考图片在存储器里以压缩的方式存储。本发明还提出了新的图片类型——参考类型图片，它可以用于双向预测、码率控制和提高抗错误能力。

Description

动态图像编解码方法、装置和计算机可读记录介质

技术领域

本发明涉及像素预测的方法和装置，属于动态图像的编码和解码技术领域。

技术背景

动态图像的编解码技术是实现多媒体数据储存、传输的关键技术。目前存在多种编解码方案，典型技术有国际标准化组织/国际电工技术委员会(ISO/IEC)的MPEG工作组推出的MPEG-1、MPEG-2和MPEG-4标准，以及国际电信联盟(ITU)提出的H.261、H.263和H.263+标准，以及联合视频工作组(JVT)推出的H.264/MPEG-4 AVC标准。

图1显示了一个典型的动态图像编码装置的框图。采集到的原始图片在101里存储，图片按照编码顺序依次输出，原始像素值与运动补偿得到的预测像素值相减，然后经过102做空间变换、103量化，一路输入104扫描，由105熵编码后得到输出码流，另一路通过106去量化、107反变换与预测像素值相加，如果此时的预测模式是帧内预测，则该信号送到108做帧内预测，否则该信号经过109滤波送到110存储，作为参考图片，原始图片和参考图片送到111做运动估计，生成的参数送到112做运动补偿，生成预测图片。

图2显示了一个典型的动态图像解码装置的框图。输入的码流经过201熵解码、202反扫描、203去量化和204反变换后，与预测像素相加，如果此时预测模式是帧内预测模式，该信号送到209参加预测，否则经过205滤波后，一路送到206存储，恢复显示顺序后输出到显示设备，另一路则送到207存储，作为参考图片，208提取207里的参考图片，利用码流里的参数，做运动补偿。

在现有技术里，原始图像分为逐行扫描图像和隔行扫描图像，有时两个隔行扫描图像合并起来一起参加编解码。一个图像也可以被分为几个片(slice)，另外MPEG-4还提出了视觉对象(visual object)的概念，视觉对象在视觉对象平面(VOP)内做预测，视觉对象的处理类似于片(slice)的感念。在本文中，不失一般性，把参与预测的图像单位都称为图片。图片被分成16×16像素的宏块，或者被分成16×8、8×16、8×8、8×4、4×8和4×4等小块，或者采取其他规则、不规则的像素单位做预测。在本文中，不失一般性，将参加预测的像素集合称为像素单元。根据本领域技术人员的用词习惯，这里把依赖当前图片内的像素做预测的方式称为帧内预测(intra prediction)，依赖其他图片的像素做预测的方式称作帧间预测(inter prediction)，每种预测方式有多种模式可供选择。有时在处理动态图像前、处理中和处理后会对图像做一些处理，比如将低分辨率的图像变成高分辨率的图像，将高分辨率的图像变成低分辨率的图像，忽略一些不重要的像素，或者为达到某种效果而进行滤波等等。

原始图片采集时间的顺序叫做时间顺序，这个顺序也被叫做显示顺序，在编码的时候这个顺序被打乱，编码先后的顺序被叫做编码顺序。通常图片被分为I图片、P图片和B图片。I图片里的像素利用该图片里的其他像素做预测，或者不做预测。P图片里的像素利用显示顺序在前的、已经编码并且重建的图片做参考图片来进行向前预测。B图片既可以利用显示顺序在前的图片，也可以利用显示顺序在后的图片做预测，这种既可以向前预测，又可以向后预测的方式被称作双向预测。图3显示了一个图片序列按显示顺序排列的例子，图4是同一个序列按编码顺序排列时的情况。从图中可以看到，在I图片和P图片之间或者P图片和P图片之间有一幅B图片，编码时P图片被提前编码。图片上的编号是显示顺序，图中箭头的起点是参考图片，箭头的终点是被编码的图片。有时图片还会有其他类型，这里不一一列举。应该理解所附权利要求书中定义的发明普遍适用于动态图像的编解码领域，不局限于特定的例子。

为了达到更高的编码效率，现有技术采取了多参考图片的策略，即利用多个参考图片预测一个图片里的像素。但目前该策略取得的效果有限。一方面多参考图片的方法对系统的存储、数据传输带宽和计算能力等资源提出了更高的要求，另一方面对参考图片之间的大量冗余没有被利用。另外目前参考图片是由过去的、经过编码、解码的原始图片组成的，此方法有一定的局限性，例如：为了实现双向预测，现有技术是将后面的整幅图片提前编码。当B图片编码的时候，后面的图片已经编码并且重建，这样B图片就可以用该图片做为参考图片来进行向后预测。如图4所示，P图片被提前到B图片之前来编码。这样的安排存在着大的缺陷，因为图片之间的时间距离越小，它们的时间域相关性越大，做运动补偿的效果越好，反之则越差。而P图片由于被提前编码，它与前面最近的参考图片的时间距离大于或等于2，这样运动估计的效果变差。而参考图片仅仅作为预测的参考而存在，它并不输出，不必要求它必须是解码后的原始图片组成，所以参考图片可以由很大的灵活性。本发明正是为了解决以上问题，提出改进方法。

发明内容

本发明的目的是提供新的参考图片存储组织方法、参考图片的存储方法、参考图片的建立方法和扩展参考图片的用途，以及执行这些方法的编码装置、解码装置和计算机可读记录介质。这些方法相互关联，构成一个整体发明，共同达到提高编码效率的目的。

本发明提供新的参考图片存储的组织方法。参考图片不是以整幅图片的形式保存，而是被分成小的像素单位，本文中称其为像素单元。像素单元可以是16×16、8×8、4×4的块或是其他规则、不规则形状。参考图片以像素单元为单位，进行建立、移除、更改、添加、排序等操作。编码器建立像素单元的存储器地址表。访问像素单元的操作通过查找像素单元存储器地址表来实现。地址表可以由像素单元的存储器地址组成，也可以由其他可以计算出像素单元地址的信息组成，例如：参考图片索引、运动矢量、像素单元的坐标等等。编码器、解码器里可以有一个存储控制器，来控制对参考图片的访问。

本发明提供新的参考图片存储方法。现有技术里参考图片是由重建或解码后的图片组成的。由于参考图片之间存在着大量冗余信息，因此参考图片可以在存储器里以压缩的方式存储。编码过程中运动估计生成运动矢量、残余信号等参数，充分利用这些参数，可以有效减少对参考图片存储器的存储容量、存储器与处理器之间的数据传输和处理器的计算能力的要求，或者相同容量的存储器存储更多的参考图片。本发明中，参考图片在存储器里的存入和移除这样来安排：对于新的像素单元，比如帧内编码的像素单元，全部存入；对于帧间预测的像素单元，如果和之前的参考图片像素相同或相似，不存入，或者移除之前参考图片里的相似像素，其他情况下，该像素单元存入存储器。运动估计时生成的跳过标识符(skip flag)、残余信号、编码模式等参数可以用来判断两个像素单元是否相同或相似。例如：像素单元的预测模式为P-Skip，说明该像素单元与一个其他像素单元相同，那么只需要建立一个像素单元的地址表，用来记录它的运动矢量和参考图片索引，或记录它的存储器地址，该像素单元就可以通过查找地址表来访问。在使用多参考图片的情况下，可以省略掉使用那些相同或相似的像素做运动估计，这样既可以减少处理器和存储器间的数据传输，又可以减少计算量。

本发明提供参考图片的建立方法。在I、P、B图片类型以外，引入新的图片的类型：参考类型图片。该图片解码后只作为参考图片，放入存储器，而不会输出到显示设备。参考类型图片可以是整幅图片，也可以只是图片的一部分。在一个动态图片序列里，通常是一部分像素适合向前预测，另外一部分像素适合向后预测，设立参考类型图片，可以将两类像素分开处理，达到提高编码效率的目的。在输出码流图片头(picture header)里设置一个标识符，表示该图片是参考类型图片。也可以在像素单元里加入一个标识符，有该标识符的像素单元组成一个参考图片。参考类型图片可以用来提前对部分显示顺序在后的像素编码，这样既可以实现双向预测，又能使原始图片按照显示顺序编码。如图5所示，图片3的一部分像素303依赖图片1里的像素单元301做预测，而图片2里的像素单元302又以303为参考，那么只需要把303提前编码，并且设置成参考类型图片，这样所有图片就可以按显示顺序编码了，如图6所示，其中303构成参考类型图片。双向预测模式里会用到两个像素单元的加权平均来做预测。参考类型图片还可以拥有至少一个掩膜(mask)。当两个参考图片的像素加权平均后参与预测时，掩膜内外的像素取不同的权值。掩膜的数据包含在参考类型图片的数据里。

本发明提供参考类型图片的应用。利用上面所说的参考类型图片的建立方法，可以把比特数多的图片里的一部分像素以参考类型图片的形式转移到码率比较低的时刻传输，这样码率控制就多了一个工具。另外，在码流中插入参考类型图片，替换存储器里的参考图片，可以提高抗错误能力。

示范性工作环境

实施本发明的编解码方法、装置可以用一个计算设备来实现，例如计算机系统、专用芯片(ASIC)、DSP芯片等等。图7显示了一个示范性操作环境，它包括一个处理器、内存、通讯接口、输入输出设备和外部存储器，外部存储器可以是固定的或是可移动的。计算设备包括一些形式的计算机可读介质，例如RAM、ROM、EEPROM、快速闪存、CD、DVD、磁盘、磁带等等。另外计算机可读介质还包括可以用来加载程序和数据的有线、无线网络。本发明中的方法可以用处理器可执行指令来描述，储存在计算机可读介质上，控制计算设备的工作。工作时，程序、参考图片存储在内存或外部存储器上，程序指令由处理器执行。以上举例只起说明作用，不能限制本发明的功能和应用范围。

附图说明

图1是编码器的框图。

图2是解码器的框图。

图3是一个按显示顺序排列的图片序列，和目前技术的参考图片关系的示意图，图片上的数字是显示顺序，图片下的字母是图片类型，箭头的起点是参考图片，箭头的终点是被编码图片。

图4是一个按编码顺序排列的图片序列，和目前技术的参考图片关系的示意图，图片上的数字是显示顺序，图片下的字母是图片类型，箭头的起点是参考图片，箭头的终点是被编码图片。

图5是一个按显示顺序排列的图片序列，和像素单元参考关系的示意图，图片上的数字是显示顺序，箭头的起点是参考像素单元，箭头的终点是被编码像素单元。

图6是一个按编码顺序排列的图片序列，和像素单元参考关系的示意图，其中303是新插入的参考类型图片，图片上的数字是原始显示顺序，箭头的起点是参考像素单元，箭头的终点是被编码像素单元。

图7是本发明的一个示范性操作环境。

图8是本发明参考图片的像素单元的存储器地址表的一个实施例。

图9是本发明访问参考图片的像素单元的方法的一个实施例。

图10是本发明参考图片的像素单元的存储器地址表的一个实施例。

图11是本发明访问参考图片的像素单元的方法的一个实施例。

图12是本发明在多参考图片的情况下，编码器读取参考图片像素单元的一个实施例。

图13是本发明编码时建立参考图片方法的一个实施例。

图14是本发明解码时建立参考图片方法的一个实施例。

图15是本发明参考类型图片标识符的一个实施例。

图16是本发明参考类型像素单元标识符的一个实施例。

图17是本发明解码时利用参考类型图片建立参考图片方法的一个实施例。

图18是本发明利用参考类型图片做码率控制的一个实施例。

图19是本发明使用带掩膜的参考类型图片加权平均的一个例子。

图20是本发明在编码、解码过程中加权平均方法的一个实施例。

具体实施方式

实施例一

参考图片被分割为像素单元进行存储，编码器建立像素单元的存储器地址表。访问像素单元的操作通过查找存储器地址表来实现。图8显示了一个像素单元存储器地址表的实施例。根据像素单元的编号可以查到其在存储器里的起始地址，进而得到其他像素的地址。图9是该过程的流程图。第一步，取得像素单元的编号和参考图片索引；第二步，选择读取还是存入像素单元；第三步，如果是读取，则根据参考图片索引确定存储器地址表，根据像素单元的编号查找它在存储器里的起始地址，然后访问。如果是存入，则把该像素单元存入存储器，然后更新地址表。

实施例二

图10是另外一个像素单元存储器地址表的实施例。第一列401是一个标识符，当它等于1时，表内保存的是该像素单元的地址；当它等于0时，表内保存的是该像素单元的运动矢量，根据运动矢量可以计算出它的存储器地址。例如：参考图片每行有M个16×16的宏块，按宏块的扫描顺序在存储器里储存，参考图片的起始地址是A，如果当前像素单元的坐标是，横坐标3宏块，纵坐标4宏块，运动矢量为(1，2)的宏块的第一个像素的地址等于A+(4×M+3)×256+16×2+1。图11是该过程的流程图。第一步，取得像素单元的编号和参考图片索引；第二步，是读取还是存入像素单元；第三步，如果是读取，则根据参考图片索引确定存储器地址表，根据像素单元的编号查找或计算它在存储器里的起始地址，然后访问。如果是存入，则把该像素单元存入存储器，然后更新地址表。

实施例三

图12是本发明在多参考图片的情况下，编码器读取参考图片像素单元的一个实施例。第一步，读取该像素单元的存储器地址表；第二步，用地址表里的标识符，例如图10中的401，判断该像素单元是否与之前其他参考图片的像素单元相同或相近；第三步，如果没有相同或相似的像素单元，则读取该像素单元做运动估计，否则运动估计时忽略掉该像素单元。

实施例四

图13是本发明编码时建立参考图片方法的一个实施例。第一步，编码器设置一个参考图片为基准；第二步，对当前像素单元做运动估计；第三步，比较残余信号和一个阈值；第四步，如果残余信号小于或等于该阈值，重建的当前像素单元不存入存储器，否则存入存储器；第五步，设置像素单元的地址表；第六步，开始处理下一个像素单元。

实施例五

图14是本发明解码时建立参考图片方法的一个实施例。第一步，根据码流里的信息设置基准参考图片；第二步，对当前像素单元解码，生成残余信号；第三步，比较残余信号和一个阈值；第四步，如果残余信号小于或等于该阈值，解码后，该像素单元不存入存储器，否则存入存储器；第五步，设置像素单元的地址表；第六步，开始处理下面的码流。

实施例六

图15是本发明参考类型图片标识符的一个实施例。标识符A表示该图片是否是一个参考类型图片。编码器在码流中插入一个参考类型图片时设置该标识符为是。解码器在检测到该标识符后，决定是否输出该图片，是否将其列为参考图片。图16是本发明参考类型像素单元标识符的一个实施例。其中的标识符0表示该像素单元0是否是一个参考类型图片的一个组成部分，标识符1表示该像素单元1是否是一个参考类型图片的一个组成部分。编码器根据需要，把一幅图片或其中的一部分像素编码为参考类型图片。图17是本发明解码时利用参考类型图片建立参考图片方法的一个实施例。第一步，对输入码流解码；第二步，判断是否有参考类型图片标识符；第三步，如果没有该标识符，解码后的图片输出到显示设备，如果有该标识符，解码后的图片不输出到显示设备；第四步，把解码后的图片存入参考图片存储器。

实施例七

图18是本发明利用参考类型图片做码率控制的一个实施例。第一步，扫描图片序列，根据每个图片的像素复杂度估计编码需要的比特数；第二步，确定哪些图片的比特需要转移到其他位置；第三步，编码时，把需要比特转移的图片像素编入一个参考类型的图片，输出编码数据时，把该参考类型图片插入到所决定的位置。

实施例八

图19是本发明使用带掩膜的参考类型图片的一个例子。图中801和802是两个参考像素单元，803是802的掩膜。两个像素单元加权平均时，802里对应掩膜值等于1的像素取权值100％，其余像素取权值0％，801里对应掩膜值为1的像素取权值0％，其余像素取权值100％，加权平均的最终结果是像素单元804。图20是编码、解码过程中加权平均的流程图。第一步，取得两个参考像素单元；第二步，判断是否其中一个像素单元有掩膜；第三步，如果有掩膜，设置掩膜内外的像素的权值；第四步，计算加权平均值。

上述实施方式只是为了更清楚地说明本发明，而本发明并不限于上述实施方式。本领域的技术人员可以明白的是，对本发明所作的任何显而易见的修改、变更、等同替换，均在本发明的权利要求范围内。

Claims (10)

1、一种动态图像的编码方法，其特征在于：在编码过程中，至少有一幅参考图片只包括重建图片的一部分像素，而不是整幅重建图片，并且执行下列操作之一，

1)对参考图片的像素进行修改、添加；

2)建立参考图片的像素单元存储器地址表，地址表由像素单元的编号和该像素单元在存储器里的地址，或者能推导出像素单元的地址的信息组成，所说的能推导出像素单元的地址的信息包括参考图片号、像素单元的坐标或者运动矢量；

3)访问像素单元时，查找像素单元存储器地址表，得到该像素单元的地址以后，访问存储器里的像素数据。

2、一种动态图像的解码方法，其特征在于：在解码过程中，至少有一幅参考图片只包括解码图片的一部分像素，而不是整幅解码图片，并且执行下列操作之一，

1)对参考图片的像素进行修改、添加；

2)建立参考图片的像素单元存储器地址表，地址表由像素单元的编号和该像素单元在存储器里的地址，或者能推导出像素单元的地址的信息组成，所说的能推导出像素单元的地址的信息包括参考图片号、像素单元的坐标或者运动矢量；

3)访问像素单元时，查找像素单元存储器地址表，得到该像素单元的地址以后，访问存储器里的像素数据。

3、一种动态图像的编码方法，包括当前图片经过运动估计，其特征在于：至少执行下列操作之一，

1)以此前在参考图片存储器里的参考图片为基准，利用对当前图片的像素单元编码时生成的跳过标识符(skip flag)、参考图片索引、运动矢量、残余信号、量化参数(QP)，决定是否修改、移除基准参考图片里的像素，或者决定重建图片里的像素是否保留在参考图片存储器；

2)以此前在参考图片存储器里的参考图片为基准，比较重建图片的像素与基准参考图片的像素之间的差别，决定是否修改、移除基准参考图片里的像素，或者决定重建图片里的像素是否保留在参考图片存储器；

3)比较方法包括计算重建图片的像素单元与基准参考图片里像素单元的绝对差之和(SAD)或者差的平方和(SSD)；

4)如果比较的结果小于或等于一个阈值，重建图片里参与比较的像素单元不保留在参考图片存储器，否则该像素单元保留在参考图片存储器

5)如果比较的结果小于或等于一个阈值，基准图片里参与比较的像素单元从存储器里移除；

6)所说的阈值根据量化参数(QP)来设置；

7)记录比较的结果；

8)在对以后的图片编码时，根据比较结果，决定是否从参考图片存储器读取某个参考图片的像素单元，决定是否利用这些像素单元做运动估计。

4、一种动态图像的解码方法，包括接收一个包含动态图像编码数据的比特流，解码并生成解码图片；其特征在于：至少处理一个比特流里的语法元素，根据该语法元素指定一个在参考图片存储器里的参考图片为基准，在以后的解码过程中执行下列操作之一，

1)以此前在参考图片存储器里的参考图片为基准，利用对当前图片的像素单元解码时生成的跳过标识符(skip flag)、参考图片索引、运动矢量、残余信号、量化参数(QP)，决定是否修改、移除基准参考图片里的像素，或者决定解码图片里的像素是否保留在参考图片存储器；

2)以此前在参考图片存储器里的参考图片为基准，比较解码图片的像素与基准参考图片的像素之间的差别，决定是否修改、移除基准参考图片里的像素，或者决定解码图片里的像素是否保留在参考图片存储器；

3)比较方法包括计算解码图片的像素单元与基准参考图片里像素单元的绝对差之和(SAD)或者差的平方和(SSD)；

4)如果比较的结果小于或等于一个阈值，解码图片里参与比较的像素单元不保留在参考图片存储器，否则该像素单元保留在参考图片存储器；

5)如果比较的结果小于或等于一个阈值，基准图片里参与比较的像素单元从存储器里移除；

6)所说的阈值根据量化参数(QP)来设置；

7)记录比较的结果；

8)在对以后的图片解码时，根据比较结果，决定是否从参考图片存储器读取某个参考图片的像素，决定是否利用这些像素做运动补偿。

5、一种动态图像的编码方法，其特征在于：在编码的过程中，至少在输出的码流里设置一个标识符，该标识符表示一个图片是否在解码后作为该动态图像序列的一个组成部分输出，并且包括下列特征之一，

1)如果所说的标识符为是，该图片在解码后不作为该动态图像序列的一个组成部分输出；

2)所说的图片作为其他图片编码时的参考图片；

3)所说的参考图片拥有至少一个掩膜(mask)，当该参考图片里的像素单元和另外一个参考图片里的像素单元，加权平均后参与预测时，掩膜内外的像素可以取不同的权值；

4)利用所说的图片，做码率控制，包括以下步骤，

(1)扫描图片序列，根据每个图片的像素复杂度估计编码需要的比特数；

(2)确定哪些图片的比特需要转移到其他位置；

(3)编码时，把需要比特转移的图片像素编入一个参考类型图片，输出编码数据时，把该参考类型图片插入到所决定的位置。

6、一种动态图像的解码方法，包括下列步骤：接收一个包含动态图像编码数据的比特流，解码并生成解码图片，其特征在于：在解码的过程中，至少处理码流里的一个标识符，该标识符表示一个图片是否在解码后作为该动态图像序列的一个组成部分输出，并且包括下列特征之一，

1)如果所说的标识符为是，该图片在解码后不作为该动态图像序列的一个组成部分输出；

2)所说的图片作为其他图片解码时的参考图片；

3)所说的参考图片拥有至少一个掩膜(mask)，当该参考图片里的像素单元和另外一个参考图片里的像素单元，加权平均后参与运动补偿时，掩膜内外的像素可以取不同的权值。

7、一种动态图像的编码方法，其特征在于：在编码的过程中，至少在输出的码流里设置一个标识符，该标识符表示一个像素单元是否作为一个参考图片的组成部分，并且包括下列特征之一，

1)该标识符为否时，所说的像素单元，不作为参考图像的一个组成部分；该标识符为是时，所说的像素单元，是参考图像的一个组成部分；

2)该标识符为是的像素单元组成一个参考图片；

3)该标识符为是时，所说的像素单元不是该动态图像序列的一个组成部分；

4)所说的参考图片拥有至少一个掩膜(mask)，当该参考图片里的像素单元和另外一个参考图片里的像素单元，加权平均后参与预测时，掩膜内外的像素可以取不同的权值。

8、一种动态图像的解码方法，包括下列步骤：接收一个包含动态图像编码数据的比特流，解码并生成解码图片；其特征在于：在解码的过程中，至少处理码流里的一个标识符，该标识符表示一个像素单元是否是一个参考图片的组成部分，并且包括下列特征之一，

1)该标识符为否时，所说的像素单元，不作为参考图像的一个组成部分；该标识符为是时，所说的像素单元，是参考图像的一个组成部分；

2)该标识符为是的像素单元组成一个参考图片；

3)该标识符为是时，所说的像素单元在重建后，不作为该动态图像序列的一个组成部分输出；

4)所说的参考图片拥有至少一个掩膜(mask)，当该参考图片里的像素单元和另外一个参考图片里的像素单元，加权平均后参与运动补偿时，掩膜内外的像素可以取不同的权值。

9、一种动态图像的编码方法，其特征在于：在编码的过程中，在输出的码流里至少在一个图片头里设置一个标识符，该标识符表示是否用该图片里的像素替换存储器里一个参考图片的一部分或全部。

10、一种动态图像的解码方法，包括下列步骤：接收一个包含动态图像编码数据的比特流，解码并生成解码图片；其特征在于：在解码的过程中，至少处理码流里的一个标识符，该标识符表示是否用该图片里的像素替换存储器里一个参考图片的一部分或全部。

Images