CN101742323B - 无再损视频编码和解码的方法和装置 - Google Patents

Abstract

本发明提出了一种无再损视频编码和解码的方法和装置。本发明是通过1)识别前次预测模式和量化因子；2)保Q限幅；3)保Q去块效应这3项技术来实现的。使用本发明对多媒体视频内容进行多次编码和解码时，除了第一次编码是有损的外，以后进行的再次编码和解码，不管多少次，只要压缩比不大于第一次，就对多媒体视频内容没有任何新的损坏，也就是从第二次开始，解码后的复原视频图像与编码前的视频图像完全一致，没有任何损失的积累，从根本上解决多次编码解码时信息损失积累，视频质量越来越差的问题。

Description

无再损视频编码和解码的方法和装置

技术领域

本发明涉及一种视频压缩编码和解码系统，特别是无再损视频编码和解码的方法和装置。

背景技术

在信息的主要表现形式进入多媒体，特别是“全高清数字视频”的新时代，数字视频信号的像素形式的数据量越来越大。例如，全高清(1080p60Hz)深色(Deep Color)数字视频像素的速率高达每秒6千兆比特(6Gbps)。一个2小时的全高清深色数字视频节目需要2700GB(千兆字节)的硬盘存储空间。为了有效传输和存储数字视频信号，必须对数字视频信号的数据进行压缩。压缩的比例一般至少10比1，有时可高达100比1。压缩后的数字视频数据称为视频码流，简称码流，其数据量只有原始数字视频像素的数据量的10％，甚至1％。这样，传输数字视频内容所需的带宽大为降低，存储数字视频内容所需的空间也大大减少。这一压缩过程通常称为编码，由编码器来完成。在需要观看视频内容的时候，对码流进行解压缩，重构和复原出像素形式的数字视频内容，供播放和观看。这一解压缩过程通常称为解码，由解码器来完成。

数字视频信号的自然形式是图像的序列。一幅图像通常是由若干像素组成的矩形区域，例如1080p的全高清数字视频的一幅图像由宽度为1920像素和高度为1080像素的总共1920x1080＝2073600像素组成。如果一个数字视频信号每秒有50幅图像，那么一个30分钟的数字视频信号就是一个由30x60x50＝90000幅图像组成的图像序列，有时也简称为序列。对数字视频信号进行编码就是对一幅一幅图像进行编码。在图像比较大的情况下，还需要把一幅图像划分成若干块子图像，对子图像一块一块进行编码。例如，最常用的子图像的大小是16x16个像素，这种子图像一般称为宏块。因此，对一个视频图像序列进行编码就是对各个宏块依次进行编码。同样，解码时也是对各个宏块依次进行解码，最终复原出整个视频图像序列。

目前在各种多媒体电子、计算机、通信等信息产品中使用比较多的现有技术的编码方法的流程示意图如图1所示。现有技术的编码方法包括如下步骤：

1)读入一个输入图像宏块；

2)搜索并确定最佳预测模式和根据码率控制需要计算并确定量化因子，设定此最佳预测模式为本宏块预测模式，设定此量化因子为本宏块量化因子；

3)根据上述步骤2)所述本宏块预测模式计算预测值；

4)从上述步骤1)所述图像宏块的像素值中减去上述步骤3)所述预测值计算出预测误差、对此预测误差施行变换求出变换系数、使用上述步骤2)所述本宏块量化因子对此变换系数进行量化操作，得到量化后的系数Q；

5)对以上步骤2)～4)中产生的本宏块预测模式、本宏块量化因子、量化后的系数Q及其他辅助信息进行熵编码以减少数据量，得到编码后的视频码流；

6)输出此视频码流；

7)对上述步骤4)所述量化后的系数Q进行反量化，得到复原变换系数、对此复原变换系数施行反变换求出复原预测误差、把此复原预测误差加到上述步骤3)所述预测值，重构出初步复原宏块像素值；

8)对上述步骤7)所述初步复原宏块像素值进行饱和限幅运算，即把初步复原宏块像素值中超出输入图像的动态范围的数值都限幅成所述动态范围的最小值或最大值，得到限幅复原宏块像素值；

9)对上述步骤8)所述限幅复原宏块像素值进行去块效应运算，即对限幅复原宏块像素值进行修正以减少甚至消除块效应；

10)判断是否已经完成对所有宏块的编码，如果是，则结束编码，否则回到步骤1)，开始对下一个宏块的编码。

上述编码方法所应用的装置示意图如图3所示。整个编码装置由以下模块组成：

1)像素输入及计算预测误差模块，用于输入视频图像序列中当前编码宏块的像素O，并从输入像素O中减去由预测及最佳模式搜索模块提供的像素预测值P，得到预测误差D，然后把预测误差D输出到变换Tr模块；

2)变换Tr模块，用于对预测误差D进行运算为Tr的变换，计算得到变换系数U＝Tr(D)，然后把变换系数U输出到量化Qu模块；

3)量化Qu模块，用于对输入的变换系数U进行运算为Qu的量化操作，得到量化后的系数Q＝Qu(U)＝Qu(Tr(D))，然后把量化后的系数Q输出到熵编码模块和反量化DQ模块。量化操作时使用的量化因子q_f来自码率控制模块；

4)熵编码模块，用于对当前编码宏块的预测模式、量化因子、量化后的系数Q及其他辅助信息进行熵编码以减少数据量，并输出编码后的视频码流b；

5)反量化DQ模块，用于对输入的量化后的系数Q进行运算为DQ的反量化操作，得到复原变换系数G＝DQ(Q)，然后把复原变换系数G输出到反变换IT模块。反量化操作时使用的量化因子q_f与量化Qu模块使用的量化因子一致，也来自码率控制模块；

6)反变换IT模块，用于对输入的复原变换系数G进行运算为IT的反变换，计算得到复原预测误差H＝IT(G)，然后把复原预测误差H输出到重构模块；

7)重构模块，用于把输入的复原预测误差H与来自预测及最佳模式搜索模块的预测值P相加，重构出初步复原宏块像素值B，并把初步复原宏块像素值B输出到饱和限幅模块；

8)饱和限幅模块，用于对输入的初步复原宏块像素值B进行饱和限幅运算，把限幅复原宏块像素值F的大小限制在与输入图像同样的动态范围内。如果输入图像的动态范围的最小值为O_最小，最大值为O_最大，则限幅复原宏块像素值F由下式给出：

输入图像的动态范围一个例子为O_最小＝0，O_最大＝255；

9)去块效应模块，用于对来自饱和限幅模块的限幅复原宏块像素值F进行去块效应运算，即对限幅复原宏块像素值F进行修正以减少甚至消除块效应；

10)复原图像像素数据存储模块，用于存储来自饱和限幅模块的限幅复原宏块像素值F和来自去块效应模块的去块效应修正后的最终复原宏块像素值S。复原图像像素数据存储模块提供这些已经完成编码的复原宏块像素值给预测及最佳模式搜索模块；

11)预测及最佳模式搜索模块，此模块进行最佳预测模式的搜索，即在所有可选的帧内预测(使用同一幅图像内的像素值来进行预测)模式和帧间预测(使用另一幅图像内的像素值来进行预测)模式中，找出一个预测模式，由此预测模式计算得到的像素预测值P与当前编码宏块的像素值O最匹配，并输出此像素预测值P给像素输入及计算预测误差模块和重构模块；

12)码率控制模块，此模块完成传统的码率控制功能，根据输出码流比特率目标和已经消耗的比特数以及其他需要考虑的因素，计算出合适的量化因子q_f，并输出此量化因子q_f给量化Qu模块和反量化DQ模块；

现有技术的解码方法的流程示意图如图2所示。现有技术的解码方法包括如下步骤：

1)读入一段对应与一个图像宏块的输入视频码流；

2)对视频码流进行熵解码，从码流中解出一个宏块的预测模式、量化因子、量化后的系数Q及其他包含在码流中的辅助信息；

3)根据上述步骤2)所述预测模式和已经解码完毕的复原宏块像素值计算预测值；

4)根据上述步骤2)所述量化因子对上述步骤2)所述量化后的系数Q进行反量化，得到复原变换系数、对此复原变换系数施行反变换求出复原预测误差、把此复原预测误差加到上述步骤3)所述预测值重构出初步复原宏块像素值；

5)对上述步骤4)所述初步复原宏块像素值进行饱和限幅运算，即把初步复原宏块像素值中超出编码时输入图像的动态范围的数值都限幅成所述动态范围的最小值或最大值，得到限幅复原宏块像素值；

6)对上述步骤4)所述限幅复原宏块像素值进行去块效应运算，即对限幅复原宏块像素值进行修正以减少甚至消除块效应；

7)输出限幅和去块效应后的复原宏块；

8)判断是否已经完成对所有宏块的解码，如果是，则结束解码，否则回到步骤1)，开始对下一个宏块的解码。

上述解码方法所应用的装置示意图如图4所示。整个解码装置由以下模块组成：

1)熵解码模块，用于从输入的视频码流b中解出当前解码宏块的预测模式、量化因子、量化系数Q及其他辅助信息；

2)反量化DQ模块，用于对来自熵解码模块的量化系数Q进行运算为DQ的反量化操作，得到复原变换系数G＝DQ(Q)，然后把复原变换系数G输出到反变换IT模块。反量化操作时使用的量化因子q_f也来自熵解码模块；

3)反变换IT模块，用于对输入的复原变换系数G进行运算为IT的反变换，计算得到复原预测误差H＝IT(G)，然后把复原预测误差H输出到重构模块；

4)重构模块，用于把输入的复原预测误差H与来自预测模块的预测值P相加，重构出初步复原宏块像素值B，并把初步复原宏块像素值B输出到饱和限幅模块；

5)饱和限幅模块，用于对输入的初步复原宏块像素值B进行饱和限幅运算，把限幅复原宏块像素值F的大小限制在与输入图像同样的动态范围内。如果输入图像的动态范围的最小值为O_最小，最大值为O_最大，则限幅复原宏块像素值F由下式给出：

输入图像的动态范围一个例子为O_最小＝0，O_最大＝255；

6)去块效应模块，用于对来自饱和限幅模块的限幅复原宏块像素值F进行去块效应运算，即对限幅复原宏块像素值F进行修正以减少甚至消除块效应；

7)复原图像像素数据存储模块，用于存储来自饱和限幅模块的限幅复原宏块像素值F和来自去块效应模块的去块效应修正后的最终复原宏块像素值S。复原图像像素数据存储模块提供这些已经完成解码的复原宏块像素值给预测模块；

8)预测模块，此模块使用从熵解码模块得到的预测模式，在复原图像像素数据存储模块提供的已经完成解码的复原宏块像素值基础上计算出当前解码宏块的像素预测值，并输出此像素预测值P给重构模块。

与通常的文件压缩有所不同的是，视频压缩因为压缩比很大，在压缩过程中损失了相当一部分信息，因而是有损压缩，也就是解码器的输出视频信号并不是完全等同与编码器的输入视频信号，而是有一定差异。这种差异通常用PSNR(峰值信噪比)来表示。PSNR越大，差异就越小，编码的质量也越高。对编码效率和质量影响最大的是上述的预测模式和量化因子。

随着全高清视频的应用和普及，特别是全高清多媒体网络在办公室、家庭和移动环境中的应用和普及，在很多应用场合需要对视频内容进行多次编码和解码。现有技术对某一视频内容进行多次编码(压缩)和解码(复原)的时候，每一次编码和解码都会产生新的损失，视频内容经历多次编码和解码后，质量会越来越差。

发明内容

为了解决视频编码和解码的现有技术中的这一问题，本发明提出了一种无再损视频编码和解码的方法和装置。使用本发明对多媒体视频内容进行多次编码和解码时，除了第一次编码是有损的外，以后进行的再次编码和解码，不管多少次，只要压缩比不大于第一次，就对多媒体视频内容没有任何新的损坏，也就是从第二次开始，解码后的复原视频图像与编码前的视频图像完全一致，没有任何损失的积累，从根本上解决多次编码解码时信息损失积累，视频质量越来越差的问题。

本发明的目的是这样实现的：1)在编码过程中，试图识别当前编码的输入图像是否在过去曾经经历过一次编码以及前次编码时使用的预测模式和量化因子。如果能识别出这样的预测模式和量化因子，则在当前编码时使用与此完全相同的预测模式和量化因子；2)在编码和解码过程中，使用保Q限幅来代替现有技术中的饱和限幅；3)在编码和解码过程中，使用保Q去块效应来代替现有技术中的去块效应运算。以上3项新技术保证了当前编码后的复原图像和前次编码后的复原图像完全一致，实现了无再损编码和解码。

整合了以上3项新技术的本发明的无再损视频编码方法的流程示意图如图5所示。本发明的无再损视频编码方法包括如下步骤：

1)从当前编码的输入视频图像序列中读入一个图像宏块；

2)针对此输入宏块，试图识别前次编码的预测模式和量化因子。若识别成功，则设定前次预测模式为本宏块预测模式，设定前次量化因子为本宏块量化因子，跳到步骤4)，否则继续步骤3)；

3)搜索并确定最佳预测模式和根据码率控制需要计算并确定量化因子，设定此最佳预测模式为本宏块预测模式，设定此量化因子为本宏块量化因子。本步骤中考虑的预测模式可以是仅包括帧内预测(使用同一幅图像内的像素值来进行预测)模式，也可以是包括帧内预测模式和帧间预测(使用另一幅图像内的像素值来进行预测)模式。在帧间预测的场合，一个预测模式的内容既包括帧间运动估计的子块的大小和数目也包括各子块的运动矢量；

4)根据上述步骤2)或步骤3)所述本宏块预测模式计算预测值；

5)从上述步骤1)所述图像宏块的像素值中减去上述步骤4)所述预测值计算出预测误差、对此预测误差施行变换求出变换系数、使用上述步骤2)或3)所述本宏块量化因子对此变换系数进行量化操作，得到量化后的系数Q；

6)对以上步骤2)～5)中产生的本宏块预测模式、本宏块量化因子、量化后的系数Q及其他辅助信息进行熵编码以减少数据量，得到编码后的视频码流；

7)输出此视频码流；

8)对上述步骤5)所述量化后的系数Q进行反量化，得到复原变换系数、对此复原变换系数施行反变换求出复原预测误差、把此复原预测误差加到上述步骤4)所述预测值重构出初步复原宏块像素值；

9)对上述步骤8)所述初步复原宏块像素值进行保Q限幅运算，即把限幅复原宏块像素值的大小限制在与输入图像同样的动态范围(例如0至255)内，同时保持下列条件不变：限幅后的像素值减去上述步骤4)所述预测值，对其差值施行与上述步骤5)中的变换同样的变换后再进行与上述步骤5)中的量化操作同样的量化操作，得到的结果与上述步骤5)中得到的量化后的系数Q完全一致；

10)对上述步骤9)所述限幅复原宏块像素值进行保Q去块效应运算，即对限幅复原宏块像素值进行修正以减少甚至消除块效应，同时保持下列条件不变：修正后的像素值减去上述步骤4)所述预测值，对其差值施行与上述步骤5)中的变换同样的变换后再进行与上述步骤5)中的量化操作同样的量化操作，得到的结果与上述步骤5)中得到的量化后的系数Q完全一致。在某些情况下，也可以完全不施行去块效应运算；

11)判断是否已经完成对所有宏块的编码，如果是，则结束编码，否则回到步骤1)，开始对下一个宏块的编码。

上述无再损编码方法所应用的装置示意图如图7所示。整个编码装置由以下模块组成：

1)像素输入及计算预测误差模块，用于输入视频图像序列中当前编码宏块的像素O，并从输入像素O中减去由预测及最佳模式搜索或前次预测模式旁路模块提供的像素预测值P，得到预测误差D，然后把预测误差D输出到变换Tr模块；

2)变换Tr模块，用于对预测误差D进行运算为Tr的变换，计算得到变换系数U＝Tr(D)，然后把变换系数U输出到量化Qu模块；

3)量化Qu模块，用于对输入的变换系数U进行运算为Qu的量化操作，得到量化后的系数Q＝Qu(U)＝Qu(Tr(D))，然后把量化后的系数Q输出到熵编码模块和反量化DQ模块。量化操作时使用的量化因子q_f来自码率控制或前次量化因子旁路模块；

4)熵编码模块，用于对当前编码宏块的预测模式、量化因子、量化后的系数Q及其他辅助信息进行熵编码以减少数据量，并输出编码后的视频码流b；

5)反量化DQ模块，用于对输入的量化后的系数Q进行运算为DQ的反量化操作，得到复原变换系数G＝DQ(Q)，然后把复原变换系数G输出到反变换IT模块。反量化操作时使用的量化因子q_f与量化Qu模块使用的量化因子一致，也来自码率控制或前次量化因子旁路模块；

6)反变换IT模块，用于对输入的复原变换系数G进行运算为IT的反变换，计算得到复原预测误差H＝IT(G)，然后把复原预测误差H输出到重构模块；

7)重构模块，用于把输入的复原预测误差H与来自预测及最佳模式搜索或前次预测模式旁路模块的预测值P相加，重构出初步复原宏块像素值B，并把初步复原宏块像素值B输出到保Q限幅模块；

8)保Q限幅模块，用于对输入的初步复原宏块像素值B进行保Q限幅运算，即把限幅复原宏块像素值F的大小限制在与输入图像同样的动态范围内，同时保持下列条件不变：限幅后的像素值F减去来自预测及最佳模式搜索或前次预测模式旁路模块的预测值P，对其差值F—P施行与上述变换Tr模块中的变换同样的变换Tr后再进行与上述量化Qu模块中的量化操作同样的量化操作运算Qu，得到的结果与上述量化Qu模块中得到的量化后的系数Q＝Qu(Tr(D))完全一致，也就是限幅复原宏块像素值F满足Qu(Tr(F—P))＝Q这一关系；

9)保Q去块效应模块，用于对来自保Q限幅模块的限幅复原宏块像素值F进行保Q去块效应运算，即对限幅复原宏块像素值F进行修正以减少甚至消除块效应，同时保持下列条件不变：修正后的像素值S减去来自预测及最佳模式搜索或前次预测模式旁路模块的预测值P，对其差值S—P施行与上述变换Tr模块中的变换同样的变换Tr后再进行与上述量化Qu模块中的量化操作同样的量化操作运算Qu，得到的结果与上述量化Qu模块中得到的量化后的系数Q＝Qu(Tr(D))完全一致，也就是去块效应修正后的最终复原宏块像素值S满足Qu(Tr(S—P))＝Q这一关系。在某些情况下，此模块可以为恒等模块，即最终复原宏块像素值S恒等于限幅复原宏块像素值F，不作任何修正；

10)复原图像像素数据存储模块，用于存储来自保Q限幅模块的限幅复原宏块像素值F和来自保Q去块效应模块的去块效应修正后的最终复原宏块像素值S。复原图像像素数据存储模块提供这些已经完成编码的复原宏块像素值给前次预测模式和量化因子识别模块和预测及最佳模式搜索或前次预测模式旁路模块；

11)前次预测模式和量化因子识别模块，此模块使用当前编码宏块的像素O和来自复原图像像素数据存储模块的已经完成编码的宏块的复原宏块像素值，试图识别出当前编码宏块是否在过去曾经经历过前一次编码以及前次编码时采用的预测模式和量化因子。如果识别成功，则把前次预测模式和前次量化因子分别输出到预测及最佳模式搜索或前次预测模式旁路模块和码率控制或前次量化因子旁路模块，否则把识别未成功信号输出到预测及最佳模式搜索或前次预测模式旁路模块和码率控制或前次量化因子旁路模块；

12)预测及最佳模式搜索或前次预测模式旁路模块，此模块提供当前编码宏块的像素预测值P给像素输入及计算预测误差模块和重构模块。如果从前次预测模式和量化因子识别模块得到识别未成功信号，则启动最佳预测模式的搜索，即在所有可选的帧内预测(使用同一幅图像内的像素值来进行预测)模式和帧间预测(使用另一幅图像内的像素值来进行预测)模式中，找出一个预测模式，由此预测模式计算得到的像素预测值与当前编码宏块的像素值O最匹配，并输出此像素预测值，否则启动前次预测模式旁路功能，直接使用从前次预测模式和量化因子识别模块得到的前次预测模式计算出像素预测值，并输出此像素预测值；

13)码率控制或前次量化因子旁路模块，此模块提供当前编码宏块的量化因子q_f给量化Qu模块和反量化DQ模块。如果从前次预测模式和量化因子识别模块得到识别未成功信号，则启动传统的码率控制功能，根据输出码流比特率目标和已经消耗的比特数以及其他需要考虑的因素，计算出合适的量化因子q_f，并输出此量化因子，否则启动前次预测模式旁路功能，直接把从前次预测模式和量化因子识别模块得到的量化因子q_f输出到量化Qu模块和反量化DQ模块。在某些情况下，此模块可以为固定量化因子模块，即在整个编码过程中输出的量化因子q_f为一个固定值。在这种情况下，所述前次预测模式和量化因子识别模块仅需要识别前次预测模式。

整合了以上3项新技术的本发明的无再损视频解码方法的流程示意图如图6所示。本发明的无再损视频解码方法包括如下步骤：

1)从输入视频码流中读入与一个图像宏块对应的若干码流比特；

2)对视频码流进行熵解码，从码流中解出一个宏块的预测模式、量化因子、量化后的系数Q及其他包含在码流中的辅助信息；

3)根据上述步骤2)所述预测模式和已经解码完毕的复原宏块像素值计算预测值；

4)根据上述步骤2)所述量化因子对上述步骤2)所述量化后的系数Q进行反量化，得到复原变换系数、对此复原变换系数施行反变换求出复原预测误差、把此复原预测误差加到上述步骤3)所述预测值重构出初步复原宏块像素值；

5)对上述步骤4)所述初步复原宏块像素值进行保Q限幅运算，即把限幅复原宏块像素值的大小限制在与编码时的输入图像同样的动态范围内，同时保持下列条件不变：限幅后的像素值减去上述步骤3)所述预测值，对其差值施行与编码中的变换同样的变换后再进行与编码中的量化操作同样的量化操作，得到的结果与上述步骤2)中所述的量化后的系数Q完全一致；

6)对上述步骤4)所述限幅复原宏块像素值进行保Q去块效应运算，即对限幅复原宏块像素值进行修正以减少甚至消除块效应，同时保持下列条件不变：修正后的像素值减去上述步骤3)所述预测值，对其差值施行与编码中的变换同样的变换后再进行与编码中的量化操作同样的量化操作，得到的结果与上述步骤2)中所述的量化后的系数Q完全一致。在某些情况下，也可以完全不施行去块效应运算；

7)输出限幅和去块效应后的复原宏块；

8)判断是否已经完成对所有宏块的解码，如果是，则结束解码，否则回到步骤1)，开始对下一个宏块的解码。

上述无再损解码方法所应用的装置示意图如图8所示。整个解码装置由以下模块组成：

1)熵解码模块，用于从输入的视频码流b中解出当前解码宏块的预测模式、量化因子、量化系数Q及其他辅助信息；

2)反量化DQ模块，用于对来自熵解码模块的量化系数Q进行运算为DQ的反量化操作，得到复原变换系数G＝DQ(Q)，然后把复原变换系数G输出到反变换IT模块。反量化操作时使用的量化因子q_f也来自熵解码模块；

3)反变换IT模块，用于对输入的复原变换系数G进行运算为IT的反变换，计算得到复原预测误差H＝IT(G)，然后把复原预测误差H输出到重构模块；

4)重构模块，用于把输入的复原预测误差H与来自预测模块的预测值P相加，重构出初步复原宏块像素值B，并把初步复原宏块像素值B输出到保Q限幅模块；

5)保Q限幅模块，用于对输入的初步复原宏块像素值B进行保Q限幅运算，即把限幅复原宏块像素值F的大小限制在与编码时的输入图像同样的动态范围内，同时保持下列条件不变：限幅后的像素值F减去来自预测模块的预测值P，对其差值F—P施行与编码时的变换同样的变换Tr后再进行与编码时的量化操作同样的量化操作运算Qu，得到的结果与上述熵解码模块中得到的量化系数Q完全一致，也就是限幅复原宏块像素值F满足Qu(Tr(F—P))＝Q这一关系；

6)保Q去块效应模块，用于对来自保Q限幅模块的限幅复原宏块像素值F进行保Q去块效应运算，即对限幅复原宏块像素值F进行修正以减少甚至消除块效应，同时保持下列条件不变：修正后的像素值S减去来自预测模块的预测值P，对其差值S—P施行与编码时的变换同样的变换Tr后再进行与编码时的量化操作同样的量化操作运算Qu，得到的结果与上述熵解码模块中得到的量化系数Q完全一致，也就是去块效应修正后的解码装置输出的最终复原宏块像素值S满足Qu(Tr(S—P))＝Q这一关系。在某些情况下，此模块可以为恒等模块，即最终复原宏块像素值S恒等于限幅复原宏块像素值F，不作任何修正；

7)复原图像像素数据存储模块，用于存储来自保Q限幅模块的限幅复原宏块像素值F和来自保Q去块效应模块的去块效应修正后的最终复原宏块像素值S。复原图像像素数据存储模块提供这些已经完成解码的复原宏块像素值给预测模块；

8)预测模块，此模块使用从熵解码模块得到的预测模式在复原图像像素数据存储模块提供的已经完成解码的复原宏块像素值基础上计算出当前解码宏块的像素预测值，并输出此像素预测值P给重构模块。

附图说明

图1、现有技术中编码方法流程示意图

图2、现有技术中解码方法流程示意图

图3、现有技术中编码装置的模块组成示意图

图4、现有技术中解码装置的模块组成示意图

图5、本发明的编码方法流程示意图

图6、本发明的解码方法流程示意图

图7、本发明的编码装置的模块组成示意图

图8、本发明的解码装置的模块组成示意图

具体实施方式

实施例：基于H.264的无再损视频编码装置

本实施例是图7所表示的无再损视频编码装置的具体实施，各模块的实施方式如下：

1)像素输入及计算预测误差模块的实施：当前编码宏块的像素由16x16亮度Y像素、8x8色度U像素和8x8色度V像素组成；每个像素用8比特二进制数表示，动态范围为0～255(含0和255)；

2)变换Tr模块的实施：运算为Tr的变换采用国际标准H.264中规定的4x4整数型离散余弦变换(DCT)；

3)量化Qu模块的实施：运算为Qu的量化操作采用国际标准H.264中规定的量化操作，具有52个量化因子，在H.264中称为QP，取值从0到51；

4)熵编码模块的实施：熵编码采用国际标准H.264中规定的(1)指数哥伦布编码、(2)基于上下文自适应的可变长编码和(3)基于上下文自适应的算术编码；

5)反量化DQ模块的实施：运算为DQ的反量化操作采用国际标准H.264中规定的反量化操作，具有52个量化因子，在H.264中称为QP，取值从0到51；

6)反变换IT模块的实施：运算为IT的反变换采用国际标准H.264中规定的4x4整数型反离散余弦变换(IDCT)；

7)重构模块的实施：相加运算采用二进制14位的加法器；

8)保Q限幅模块的实施：保Q限幅运算采用一个关于限幅复原宏块像素值F的有约束的最优化问题：

最小化：∑|F-P|

满足约束条件：Qu(Tr(F-P))＝Q和0≤F≤255

此有约束的最小化问题可以用标准的整数线性规划方法或其他最优化方法求出限幅复原宏块像素值F；

9)保Q去块效应模块的实施：保Q去块效应运算采用一个关于最终复原宏块像素值S的有约束的最优化问题：

最小化：∑|S-Deb(F)

满足约束条件：Qu(Tr(S-P))＝Q和0≤S≤255

其中Deb(F)是国际标准H.264中规定的去块效应环路滤波器运算

此有约束的最小化问题可以用标准的整数线性规划方法或其他最优化方法求出最终复原宏块像素值S；

10)复原图像像素数据存储模块的实施：只需要一定的空间存储左边宏块和上面一行宏块的限幅复原宏块像素值F；

11)前次预测模式和量化因子识别模块的实施：试图识别前次编码预测模式和量化因子就是逐个尝试所有国际标准H.264中规定的预测模式和量化因子，对于每个预测模式和量化因子，计算出P、D、U等，最终计算出复原宏块像素值S；如果对于某个预测模式和量化因子，S等于当前编码宏块的输入像素O，则此预测模式和量化因子就是前次编码时采用的预测模式和量化因子；如果在逐个尝试了所有的预测模式和量化因子后，依然没有使S＝O的预测模式和量化因子，则识别未成功；

12)预测及最佳模式搜索或前次预测模式旁路模块的实施：所有可选的帧内预测模式和帧间预测模式采用国际标准H.264中规定的帧内预测模式和帧间预测模式；

13)码率控制或前次量化因子旁路模块的实施：采用固定量化因子模块，量化因子q_f为一个固定值且大于20。

Claims (9)

1.一种视频编码方法，其特征在于包括以下步骤：

1)读入一个输入图像宏块；

2)识别前次预测模式和前次量化因子，若识别成功，则设定前次预测模式为本宏块预测模式，设定前次量化因子为本宏块量化因子，跳到步骤4)，否则继续步骤3)；

3)搜索并确定最佳预测模式和根据码率控制需要计算量化因子，设定此最佳预测模式为本宏块预测模式，设定此量化因子为本宏块量化因子；

4)根据上述步骤2)或步骤3)所述本宏块预测模式计算预测值；

5)从上述步骤1)所述图像宏块的像素值中减去上述步骤4)所述预测值计算出预测误差、对此预测误差施行二维离散数字变换(以下简称为变换)求出变换系数、

使用上述步骤2)或3)所述本宏块量化因子对此变换系数进行量化操作，得到量化后的系数Q；

6)对以上步骤2)～5)中产生的本宏块预测模式、本宏块量化因子、量化后的系数Q及其他辅助信息进行熵编码以减少数据量，得到编码后的视频码流；

7)输出此视频码流；

8)对上述步骤5)所述量化后的系数Q进行反量化，得到复原变换系数、对此复原变换系数施行反变换求出复原预测误差、把此复原预测误差加到上述步骤4)所述预测值重构出初步复原宏块像素值；

9)对上述步骤8)所述初步复原宏块像素值进行保Q限幅运算，即把限幅复原宏块像素值的大小限制在与输入图像同样的动态范围内，同时保持下列条件不变：限幅后的像素值减去上述步骤4)所述预测值，对其差值施行与上述步骤5)中的变换同样的变换后再进行与上述步骤5)中的量化操作同样的量化操作，得到的结果与上述步骤5)中得到的量化后的系数Q完全一致；

10)对上述步骤9)所述限幅复原宏块像素值进行保Q去块效应运算，即对限幅复原宏块像素值进行修正以减少甚至消除块效应，同时保持下列条件不变：修正后的像素值减去上述步骤4)所述预测值，对其差值施行与上述步骤5)中的变换同样的变换后再进行与上述步骤5)中的量化操作同样的量化操作，得到的结果与上述步骤5)中得到的量化后的系数Q完全一致；

11)判断是否已经完成对所有宏块的编码，如果是，则结束编码，否则回到步骤1)，开始对下一个宏块的编码。

2.根据权利要求1所述的的编码方法，其特征在于：所述本宏块预测模式在整个编码过程中始终为常数预测模式，即预测值始终为一与输入图像同样的动态范围内的常数。

3.根据权利要求1所述的的编码方法，其特征在于：所述步骤9)的限幅复原宏块像素值和输入图像的动态范围为0至255，包括0和255。

4.一种视频解码方法，其特征在于包括以下步骤：

1)读入一段对应与一个图像宏块的输入视频码流；

2)对视频码流进行熵解码，从码流中解出一个宏块的预测模式、量化因子、量化后的系数Q及其他包含在码流中的辅助信息；

3)根据上述步骤2)所述预测模式和已经解码完毕的复原宏块像素值计算预测值；

4)根据上述步骤2)所述量化因子对上述步骤2)所述量化后的系数Q进行反量化，得到复原变换系数、对此复原变换系数施行反变换求出复原预测误差、把此复原预测误差加到上述步骤3)所述预测值重构出初步复原宏块像素值；

5)对上述步骤4)所述初步复原宏块像素值进行保Q限幅运算，即把限幅复原宏块像素值的大小限制在与编码时的输入图像同样的动态范围内，同时保持下列条件不变：限幅后的像素值减去上述步骤3)所述预测值，对其差值施行与上述步骤

4)所述反变换相对应的变换后再进行与上述步骤4)所述反量化相对应的量化操作，得到的结果与上述步骤2)中所述的量化后的系数Q完全一致；

6)对上述步骤4)所述限幅复原宏块像素值进行保Q去块效应运算，即对限幅复原宏块像素值进行修正以减少甚至消除块效应，同时保持下列条件不变：修正后的像素值减去上述步骤3)所述预测值，对其差值施行与上述步骤4)所述反变换相对应的变换后再进行与上述步骤4)所述反量化相对应的量化操作，得到的结果与上述步骤2)中所述的量化后的系数Q完全一致；

7)输出限幅和去块效应后的复原宏块；

8)判断是否已经完成对所有宏块的解码，如果是，则结束解码，否则回到步骤1)，开始对下一个宏块的解码。

5.一种视频编码的装置，其特征在于包括以下模块：

1)像素输入及计算预测误差模块，用于输入视频图像序列中当前编码宏块的像素O，并从输入像素O中减去由预测及最佳模式搜索或前次预测模式旁路模块提供的像素预测值P，得到预测误差D，然后把预测误差D输出到变换模块；

2)变换模块，其输入为预测误差D，对D进行其函数关系标记为Tr的二维离散数字变换，计算得到变换系数U＝Tr(D)，然后把变换系数U输出到量化模块；

3)量化模块，其输入为变换系数U，对U进行其函数关系标记为Qu的量化操作，得到量化后的系数Q＝Qu(U)＝Qu(Tr(D))，然后把量化后的系数Q输出到熵编码模块和反量化模块，量化操作时使用的量化因子q_f来自码率控制或前次量化因子旁路模块；

4)熵编码模块，用于对当前编码宏块的预测模式、量化因子、量化后的系数Q及其他辅助信息进行熵编码以减少数据量，并输出编码后的视频码流b；

5)反量化模块，其输入为量化后的系数Q，对Q进行其函数关系标记为DQ的反量化操作，得到复原变换系数G＝DQ(Q)，然后把复原变换系数G输出到反变换模块，反量化操作时使用的量化因子q_f与量化模块使用的量化因子一致，也来自码率控制或前次量化因子旁路模块；

6)反变换模块，其输入为复原变换系数G，对G进行其函数关系标记为IT的二维离散数字反变换，计算得到复原预测误差H＝IT(G)，然后把复原预测误差H输出到重构模块；

7)重构模块，用于把输入的复原预测误差H与来自预测及最佳模式搜索或前次预测模式旁路模块的预测值P相加，重构出初步复原宏块像素值B，并把初步复原宏块像素值B输出到保Q限幅模块；

8)保Q限幅模块，用于对输入的初步复原宏块像素值B进行保Q限幅运算，即把限幅复原宏块像素值F的大小限制在与输入图像同样的动态范围内，同时保持下列条件不变：限幅后的像素值F减去来自预测及最佳模式搜索或前次预测模式旁路模块的预测值P，对其差值F-P施行与上述变换模块中所述函数关系Tr相同的变换后再进行与上述量化模块中所述函数关系Qu相同的量化操作运算，得到的结果与上述量化模块中得到的量化后的系数Q＝Qu(Tr(D))完全一致，也就是限幅复原宏块像素值F满足Qu(Tr(F-P))＝Q这一关系；

9)保Q去块效应模块，用于对来自保Q限幅模块的限幅复原宏块像素值F进行保Q去块效应运算，即对限幅复原宏块像素值F进行修正以减少甚至消除块效应，同时保持下列条件不变：修正后的像素值S减去来自预测及最佳模式搜索或前次预测模式旁路模块的预测值P，对其差值S-P施行与上述变换模块中所述函数关系Tr相同的变换后再进行与上述量化模块中所述函数关系Qu相同的量化操作运算，得到的结果与上述量化模块中得到的量化后的系数Q＝Qu(Tr(D))完全一致，也就是去块效应修正后的最终复原宏块像素值S满足Qu(Tr(S-P))＝Q这一关系；

10)复原图像像素数据存储模块，用于存储来自保Q限幅模块的限幅复原宏块像素值F和来自保Q去块效应模块的去块效应修正后的最终复原宏块像素值S，复原图像像素数据存储模块提供这些已经完成编码的复原宏块像素值给前次预测模式和量化因子识别模块和预测及最佳模式搜索或前次预测模式旁路模块；

11)前次预测模式和量化因子识别模块，此模块使用当前编码宏块的像素O和来自复原图像像素数据存储模块的已经完成编码的宏块的复原宏块像素值，试图识别出当前编码宏块是否在过去曾经经历过前一次编码以及前次编码时采用的预测模式和量化因子，如果识别成功，则把前次预测模式和前次量化因子分别输出到预测及最佳模式搜索或前次预测模式旁路模块和码率控制或前次量化因子旁路模块，否则把识别未成功信号输出到预测及最佳模式搜索或前次预测模式旁路模块和码率控制或前次量化因子旁路模块；

12)预测及最佳模式搜索或前次预测模式旁路模块，此模块提供当前编码宏块的像素预测值P给像素输入及计算预测误差模块和重构模块，如果从前次预测模式和量化因子识别模块得到识别未成功信号，则启动最佳预测模式的搜索，即在所有可选的帧内预测模式和帧间预测模式中，找出一个预测模式，由此预测模式计算得到的像素预测值与当前编码宏块的像素值O最匹配，并输出此像素预测值，否则启动前次预测模式旁路功能，直接使用从前次预测模式和量化因子识别模块得到的前次预测模式计算出像素预测值，并输出此像素预测值；

13)码率控制或前次量化因子旁路模块，此模块提供当前编码宏块的量化因子q_f给量化模块和反量化模块，如果从前次预测模式和量化因子识别模块得到识别未成功信号，则启动传统的码率控制功能，根据输出码流比特率目标和已经消耗的比特数以及其他需要考虑的因素，计算出合适的量化因子q_f，并输出此量化因子，否则启动前次预测模式旁路功能，直接把从前次预测模式和量化因子识别模块得到的量化因子q_f输出到量化模块和反量化模块。

6.根据权利要求5所述的视频编码的装置，其特征在于权利要求5所述的保Q去块效应模块中，保Q去块效应运算采用一个关于最终复原宏块像素值S的有约束的最优化问题：

最小化：∑|S-Deb(F)|

满足约束条件：Qu(Tr(S-P))＝Q和0≤S≤255

其中Deb(F)是任何一种现有技术的去块效应运算

此有约束的最小化问题可以用任何一种适合的现有技术的最优化方法求出最终复原宏块像素值S。

7.根据权利要求5所述的视频编码的装置，其特征在于：1)所述码率控制或前次量化因子旁路模块为固定量化因子模块，即在整个编码过程中输出的量化因子q_f为一个固定值；2)所述前次预测模式和量化因子识别模块仅需要识别前次预测模式。

8.根据权利要求5所述的视频编码的装置，其特征在于：

1)权利要求5所述的像素输入及计算预测误差模块中，当前编码宏块的像素由16x16亮度Y像素、8x8色度U像素和8x8色度V像素组成；每个像素用8比特二进制数表示，动态范围为0～255，包括0和255；

2)权利要求5所述的变换模块中，运算为Tr的变换采用国际标准H.264中规定的4x4整数型离散余弦变换(DCT)；

3)权利要求5所述的量化模块中，运算为Qu的量化操作采用国际标准H.264中规定的量化操作，具有52个量化因子，在H.264中称为QP，取值从0到51；

4)权利要求5所述的熵编码模块中，熵编码采用国际标准H.264中规定的(1)指数哥伦布编码、(2)基于上下文自适应的可变长编码和(3)基于上下文自适应的算术编码；

5)权利要求5所述的反量化模块中，运算为DQ的反量化操作采用国际标准H.264中规定的反量化操作，具有52个量化因子，在H.264中称为QP，取值从0到51；

6)权利要求5所述的反变换模块中，运算为IT的反变换采用国际标准H.264中规定的4x4整数型反离散余弦变换(IDCT)；

7)权利要求5所述的重构模块中，相加运算采用二进制14位的加法器；

8)权利要求5所述的保Q限幅模块中，保Q限幅运算采用一个有约束的最优化问题：

最小化：∑|F-P|

满足约束条件：Qu(Tr(F-P))＝Q和0≤F≤255

此有约束的最小化问题可以用标准的整数线性规划方法或其他最优化方法求出限幅复原宏块像素值F；

9)权利要求5所述的保Q去块效应模块中，保Q去块效应运算采用一个关于最终复原宏块像素值S的有约束的最优化问题：

最小化：∑|S-Deb(F)|

满足约束条件：Qu(Tr(S-P))＝Q和0≤S≤255

其中Deb(F)是国际标准H.264中规定的去块效应环路滤波器运算

此有约束的最小化问题可以用标准的整数线性规划方法或其他最优化方法求出最终复原宏块像素值S；

10)权利要求5所述的复原图像像素数据存储模块只需要一定的空间存储左边宏块和上面一行宏块的限幅复原宏块像素值F；

11)权利要求5所述的前次预测模式和量化因子识别模块中，试图识别前次编码预测模式和量化因子就是逐个尝试所有国际标准H.264中规定的预测模式和量化因子，对于每个预测模式和量化因子，计算出P、D、U、Q、G、H、B、F，最终计算出复原宏块像素值S；如果对于某个预测模式和量化因子，S等于当前编码宏块的输入像素O，则此预测模式和量化因子就是前次编码时采用的预测模式和量化因子；如果在逐个尝试了所有的预测模式和量化因子后，依然没有使S＝O的预测模式和量化因子，则识别未成功；

12)权利要求5所述的预测及最佳模式搜索或前次预测模式旁路模块中，所有可选的帧内预测模式和帧间预测模式采用国际标准H.264中规定的帧内预测模式和帧间预测模式；

13)权利要求5所述的码率控制或前次量化因子旁路模块是采用固定量化因子模块，量化因子q_f为一个固定值且大于20。

9.一种视频解码的装置，其特征在于包括以下模块：

1)熵解码模块，用于从输入的视频码流b中解出当前解码宏块的预测模式、量化因子、量化系数Q及其他辅助信息；

2)反量化模块，其输入为来自熵解码模块的量化系数Q，对Q进行其函数关系标记为DQ的反量化操作，得到复原变换系数G＝DQ(Q)，然后把复原变换系数G输出到反变换模块，反量化操作时使用的量化因子q_f也来自熵解码模块；

3)反变换模块，其输入为复原变换系数G，对G进行其函数关系标记为IT的二维离散数字反变换，计算得到复原预测误差H＝IT(G)，然后把复原预测误差H输出到重构模块；

4)重构模块，用于把输入的复原预测误差H与来自预测模块的预测值P相加，重构出初步复原宏块像素值B，并把初步复原宏块像素值B输出到保Q限幅模块；

5)保Q限幅模块，用于对输入的初步复原宏块像素值B进行保Q限幅运算，即把限幅复原宏块像素值F的大小限制在与编码时的输入图像同样的动态范围内，同时保持下列条件不变：限幅后的像素值F减去来自预测模块的预测值P，对其差值F-P施行与上述步骤3)所述反变换相对应的其函数关系标记为Tr的变换后再进行与上述步骤2)所述反量化相对应的其函数关系标记为Qu的量化操作，得到的结果与上述熵解码模块中得到的量化系数Q完全一致，也就是限幅复原宏块像素值F满足Qu(Tr(F-P))＝Q这一关系；

6)保Q去块效应模块，用于对来自保Q限幅模块的限幅复原宏块像素值F进行保Q去块效应运算，即对限幅复原宏块像素值F进行修正以减少甚至消除块效应，同时保持下列条件不变：修正后的像素值S减去来自预测模块的预测值P，对其差值S-P施行与上述步骤3)所述反变换相对应的其函数关系标记为Tr的变换后再进行与上述步骤2)所述反量化相对应的其函数关系标记为Qu的量化操作，得到的结果与上述熵解码模块中得到的量化系数Q完全一致，也就是去块效应修正后的解码装置输出的最终复原宏块像素值S满足Qu(Tr(S-P))＝Q这一关系；

7)复原图像像素数据存储模块，用于存储来自保Q限幅模块的限幅复原宏块像素值F和来自保Q去块效应模块的去块效应修正后的最终复原宏块像素值S，复原图像像素数据存储模块提供这些已经完成编码的复原宏块像素值给预测模块；

8)预测模块，此模块使用从熵解码模块得到的预测模式在复原图像像素数据存储模块提供的已经完成编码的复原宏块像素值基础上计算出当前解码宏块的像素预测值，并输出此像素预测值P给重构模块。

Images