CN102447896A

CN102447896A - 图像残差块的处理方法、装置和系统

Info

Publication number: CN102447896A
Application number: CN2010105120355A
Authority: CN
Inventors: 宋锦; 王栋
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2010-09-30
Filing date: 2010-09-30
Publication date: 2012-05-09
Anticipated expiration: 2030-09-30
Also published as: CN102447896B; WO2011150805A1

Abstract

本发明实施例公开了一种图像残差块的处理方法、装置和系统，涉及视频编解码技术领域，能够提高视频压缩编码的性能，降低编解码计算的复杂度。本发明实施例提供的一种图像残差块的处理方法包括：采用变换基对待编码块的残差块进行变换编码，得到所述残差块的变换系数；根据所述变换基和所述待编码块的纹理方向信息，确定对所述残差块的变换系数的扫描顺序；按照所述扫描顺序对所述残差块的变换系数进行扫描，得到扫描后的变换系数。

Description

图像残差块的处理方法、装置和系统

技术领域

本发明涉及视频编解码技术领域，尤其涉及一种图像残差块的处理方法、装置和系统。

背景技术

随着信息技术的飞跃，视频通信技术也得到了极大的发展和应用。由于视频序列的数据量巨大，在网络传输的发送端需要先对视频编码进行压缩，在接收端对压缩后的视频进行解码。由联合视频专家组(Joint Video Team，JVT)制定的H.264/AVC标准是目前主流的视频编解码技术。

H.264采用基于图像块的时域运动补偿与空域变换编码相结合的混合编码框架。然而，当视频图像序列中存在旋转、缩放，而无法进行完全匹配的运动补偿时，在图像的对象边缘位置会产生较大的残差信号，或者，由于采用误差、低精度的运动矢量以及性能较差的插值滤波器也会产生较大的残差信号，参见图1，由于残差信号过大，图像中对象的轮廓仍然可见。

针对上述问题，现有技术提出的解决方案采用将基于模式选择的方向性变换(Mode Depedent Directional Transform，MDDT)引入帧内预测的变换编码中。对帧内预测的每一种预测模式确定相应的一组变换基，并使用帧内预测过程中所选定的预测模式来指导变换基的选择，即预测编码部分选择了哪一种预测模式，则变换编码部分就选择该预测模式所对应的变换基。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

现有技术将帧内预测模式作为方向性变换基的选择依据，从多种候选变换基中通过运算得到所采用的变换基，从而利用性能较优的变换矩阵，去除残差信号的相关性，提高编码效率。然而，现有技术仅适用于帧内编码过程，无法提高帧间编码的性能，并且，现有技术采用的候选变换基数量通常较多，导致运算量过大，且现有的方案依赖于变换基的选取，变换基的误差显著影响了编码的性能。现有技术的解决方案编解码运算复杂度高，且达到的效果十分有限。

发明内容

本发明的实施例提供了一种图像残差块的处理方法、装置和系统，以有效去除残差在各个纹理方向的相关性，提高视频压缩编码的性能。

本发明的实施例采用如下技术方案：

一方面，本发明的实施例提供一种图像残差块的处理方法，所述方法包括：

采用变换基对待编码块的残差块进行变换编码，得到所述残差块的变换系数；

根据所述变换基和所述待编码块的纹理方向信息，确定对所述残差块的变换系数的扫描顺序；

按照所述扫描顺序对所述残差块的变换系数进行扫描，得到扫描后的变换系数。

另一方面，本发明的实施例提供一种图像残差块的处理方法，所述方法包括：

从接收到的码流中获取待解码块的变换系数；

根据编码端变换编码时所采用的变换基和所述待解码块的纹理方向信息确定对所述变换系数的扫描顺序；

按照所述扫描顺序对所述待解码块的变换系数进行扫描，得到反变换后的残差信息。

再一方面，本发明的实施例提供一种变换装置，所述装置包括：

变换编码单元，用于采用变换基对待编码块的残差块进行变换编码，得到所述残差块的变换系数；

扫描顺序确定单元，用于根据所述变换基和所述待编码块的纹理方向信息，确定对所述残差块的变换系数的扫描顺序；

扫描单元，用于按照所述扫描顺序对所述残差块的变换系数进行扫描，得到扫描后的变换系数。

又一方面，本发明的实施例提供一种编码装置，所述装置包括如上述的变换装置和熵编码单元，该熵编码单元，用于将由所述变换装置得到的扫描后的变换系数编入码流。

又一方面，本发明的实施例提供一种反变换装置，所述装置包括：

获取单元，用于从接收到的码流中获取待解码块的变换系数；

扫描顺序确定单元，用于根据编码端变换编码时所采用的变换基和所述待解码块的纹理方向信息确定对所述变换系数的扫描顺序；

扫描单元，用于按照所述扫描顺序对所述待解码块的变换系数进行扫描，得到反变换后的残差信息。

又一方面，本发明的实施例提供一种解码装置，所述装置包括如上所述的反变换装置和图像重构单元，该图像重构单元，用于利用获取到的预测信息和所述反变换装置输出的反变换后的残差信息，得到重构图像。

又一方面，本发明的实施例提供一种通信系统，所述系统包括上述的编码装置和上述的解码装置。

本发明实施例的技术方案考虑到视频压缩编码中的时空相关性提供了一种自适应的扫描技术。本发明实施例的技术方案通过利用待编码块的纹理方向信息和待编码块所采用的变换基适应性地改变对变换系数的扫描顺序，能够同时利用变换基和纹理方向信息，有效去除残差在各个纹理方向的相关性，从而提高了视频压缩编码的性能，并且较大程度的降低了编解码复杂度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有编码过程中获得的一个残差信号的示例图像；

图2为本发明一个实施例提供的图像残差块的处理方法流程图；

图3为本发明另一个实施例提供的一种图像残差块的处理方法流程图；

图4为本发明的又一个实施例提供的一种变换装置结构示意图；

图5为本发明的又一个实施例提供的一种编码装置结构示意图；

图6为本发明的又一个实施例提供的一种反变换装置结构示意图；

图7为本发明的又一个实施例提供的一种解码装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的一个实施例提供的一种图像残差块的处理方法，参见图2，该方法包括：

步骤21：采用变换基对待编码块的残差块进行变换编码，得到所述残差块的变换系数；

应当理解的是，如果存在多种变换基，这里所采用的变换基可以是多种变换基中的最优变换基；如果存在一种变换基，则编码端采用该同一种变换基对不同的待编码块的残差块进行变换编码。

步骤22：根据所述变换基和所述待编码块的纹理方向信息，确定对所述残差块的变换系数的扫描顺序；

步骤23：按照所述扫描顺序对所述残差块的变换系数进行扫描，得到扫描后的变换系数。

这里的扫描后的变换系数，可以理解为，排序后的变换系数。

以及，在一种实现方式下，根据所述变换基和所述待编码块的纹理方向信息，确定对所述残差块的变换系数的扫描顺序可以包括：

根据所述变换基和所述待编码块的纹理方向信息，从扫描顺序集合中匹配得到与所述变换基和所述待编码块的纹理方向信息对应的扫描顺序作为对所述残差块的变换系数的扫描顺序。

所述扫描顺序集合包括：当包含至少两种变换基时，针对任一种变换基结合任一种纹理方向，所训练得到的任一种变换基结合任一种纹理方向所对应的初始扫描顺序；或者，当包含一种变换基时，针对同一种变换基结合任一种纹理方向，所训练得到的所述变换基结合任一种纹理方向所对应的初始扫描顺序。

以及，在一种实现方式下，本发明实施例方法还包括：

在每一个扫描周期内，基于当前扫描周期内获取的残差块的变换系数的分布状态，对所述扫描顺序集合中所述变换基结合所述待编码块的纹理方向信息所对应的初始扫描顺序进行更新；

所述扫描顺序集合进一步包括：与所述变换基结合所述待编码块的纹理方向信息所对应的更新后的初始扫描顺序。在H.264/AVC的帧间编码过程中，对于每一待编码块，需要进行运动估计，获得各种帧间编码类型的率失真函数值，并选择最佳帧间编码类型，得到对应的运动信息；编码该运动信息，对该运动信息的原始值构建预测值，由预测值和原始值做差，得到残差值，对残差值进行变换、量化、熵编码等，完成编码过程。其中，变换编码(Transform Coding)是通过信号变换来消除图像数据空间相关性的一种有效方法。变换编码通常通过将空间域相关的像素点映射到另一个正交的矢量空间域(如频域)，使相关性大的数据变换成相关性小的系数，并把能量压缩到较少的几个低频系数中。

本发明实施例的技术方案考虑到视频压缩编码中的时空相关性提供了一种自适应的扫描技术。本发明实施例的技术方案通过利用待编码块的纹理方向信息和待编码块所采用的变换基适应性地改变对变换系数的扫描顺序，能够同时利用变换基和纹理方向信息，有效去除残差在各个纹理方向的相关性，从而提高了视频压缩编码的性能，并且大大降低了编解码复杂度。

下面对本发明又一个实施例提供的图像残差块的处理方法进行详细说明。

步骤21：采用变换基对待编码块的残差块进行变换编码，得到所述残差块的变换系数。

可以选取一种或多种变换基，变换基包括非可分离变换基和可分离变换基。优选的，本发明实施例采用可分离变换基进行变换编码，包括但不限于此，该可分离变换基可以由行变换基和列变换基组合成的，例如，当选取离散余弦变换(Discrete Cosine Transform，DCT)或KLT变换(Karhunen-Loève Transform)作为行变换基或列变换基时，可供选择的变换基包括三种：DCT+DCT，KLT+DCT，DCT+KLT。

当采用8*8的待编码块时，一种DCT的示例矩阵如下：

{45，45，45，45，45，45，45，45}

{63，53，36，12，-12，-36，-53，-63}，

{59，24，-24，-59，-59，-24，24，59}，

{53，-12，-63，-36，36，63，12，-53}，

{45，-45，-45，45，45，-45，-45，45}，

{36，-63，12，53，-53，-12，63，-36}，

{24，-59，59，-24，-24，59，-59，24}，

{12，-36，53，-63，63，-53，36，-12}，

当采用8*8的待编码块时，一种KLT的示例矩阵如下：

{11，22，33，42，|50，56，60，62}，

{33，56，62，50，|22，-11，-42，-60}，

{50，60，22，-33，|-62，-42，11，56}，

{60，33，-42，-56，|11，62，22，-50}，

{62，-11，-60，22，|56，-33，-50，42}，

{56，-50，-11，60，|-42，-22，62，-33}，

{42，-62，50，-11，|-33，60，-56，22}，

{22，-42，56，-62，|60，-50，33，-11}，

或者，该KLT矩阵可为以竖直中心线为轴对该矩阵做水平180度翻转所构成的矩阵；或者，该KLT矩阵可为以竖直中心线为轴由水平镜像左半部分所构成的矩阵；或者，该KLT矩阵可为以竖直中心线为轴由水平镜像右半部分所构成的矩阵。

当可供选择的变换基包含至少两种变换基时，利用率失真优化(Rate-Distortion Optimization，RDO)准则确认对当前待编码块所采用的最优变换基，即用每一种变换基分别对所述残差块进行变换编码，得到对应的所述残差块的各组变换系数，其中，每一组变换系数具有对应的率失真优化值；在一种实现方式下，即该率失真优化值最小值所对应的变换基为当前待编码块的最优变换基；相应的，在后续的步骤22中，根据所述率失真优化值最小值所对应的所述残差块所采用的变换基和所述待编码块的纹理方向信息，确定对所述残差块的变换系数的扫描顺序。

本发明实施例的方案通过采用自适应的扫描技术，在保证视频压缩性能的前提下，大大简化了变换基部分的运算和操作，如能够采用可分离变换基、大大减少了候选变换基的数量，从而降低了编码运算的复杂度。

步骤22：根据所述变换基和待编码块的纹理方向，确定对所述残差块的变换系数的扫描顺序。

上述待编码块为当前需要进行编码的一帧图像中的宏块，通过检测或预测得到上述待编码块的纹理方向信息，该纹理方向信息指示待编码块的纹理方向。

例如，对帧间预测中的待编码块，由于残差信号的纹理方向与待编码块的纹理方向实质上具有一致性，而待编码块的纹理方向与其参考块的纹理方向十分相近，所以将待编码块的纹理方向信息作为调整扫描顺序的一种依据，且可以将所述待编码块的参考块的纹理方向作为所述待编码块的纹理方向信息，在编解码端都能够通过对参考块进行检测得到参考块的纹理信息，或者，编码端直接对所述待编码块进行检测得到所述待编码块的纹理方向信息，较佳的，编码端可以将该纹理方向信息携带在码流中，发送至解码端，以向解码端告知该纹理方向信息。

对帧内预测中的待编码块，将所述待编码块的帧内预测方向作为所述待编码块的纹理方向信息。

其中，上述获取宏块纹理方向信息的检测方法包括但不局限于梯度强度检测的方法，可以根据编码的需要设置检测的方向，例如，将平面空间分为8个方向：0度方向、22.5度方向、45度方向、67.5度方向、90度方向、112.5度方向、135度方向、157.5度方向，分别在每一个检测方向对参考块进行梯度检测，得到参考块的纹理方向并保存。需要说明的是，上述参考块为参考帧中与待编码块位置相对应的宏块，例如，上述参考块为参考帧中待编码块运动矢量所指向的宏块。帧间编码中所采用的参考块通常是指编码端在运动估计过程中，通过某种匹配准则，在参考帧中确定与当前待编码块最匹配的宏块作为当前待编码块的估计值，则该最匹配的宏块即为参考块。

由每一种变换基结合每一个参考块的纹理方向，共同决定一组变换系数的扫描顺序(Scan Order)。例如，当存在3种变换基和8种纹理方向时，则存在24种扫描顺序。一种可选的方式是将扫描顺序设置为与纹理方向成90度的方向。将扫描过程中所需的各扫描顺序组成扫描顺序集合，则上述步骤22可以为根据所述变换基和所述待编码块的纹理方向信息，从扫描顺序集合中匹配得到与所述变换基和所述待编码块的纹理方向信息对应的扫描顺序作为对所述残差块的变换系数的扫描顺序。

本发明实施例的技术方案中设置扫描周期，每一个扫描周期内采用的扫描顺序集合可以相同，也可以不相同。每一个扫描周期开始时扫描顺序集合被还原至初始状态，所以一个扫描周期可以理解为相邻两个采用初始状态的扫描顺序集合的时间间隔。根据是否存在多个扫描周期将扫描顺序集合的选取分为两种情况，其中，一个扫描周期可以包括扫描一帧图像，或者，包括扫描一组画面组(Group of Picture，GOP)，或者，包括扫描若干帧相邻的图像，或者，包括扫描若干组GOP，具体处理如下：

第一种情况、包含至少两个扫描周期

这时，扫描顺序集合包括初始扫描顺序和第二扫描顺序(或称之为更新后的初始扫描顺序)。在每一个扫描周期开始时，如在对每帧图像或每个GOP开始扫描时，对各组变换系数的扫描顺序还原至初始扫描顺序(初始状态)。即每当开始一个新的扫描周期时，扫描顺序还原至初始扫描顺序。这种情况下，一个新的扫描周期开始后，对第一个待编码块，根据残差块的变换基和相应待编码块的纹理方向信息确定的扫描顺序为初始扫描顺序；而对第二个以及后续的待编码块，当根据其残差块的变换基和该待编码块的纹理方向信息确定的扫描顺序已经被更新过时，则确定对该残差块的变换系数的扫描顺序为更新后的初始扫描顺序(即第二扫描顺序)，否则，确定的扫描顺序仍为初始扫描顺序。每一个扫描周期，都采用上述相同的处理方式，且各扫描周期的操作互不影响。

上述初始扫描顺序可以由训练得到，当包含至少两种变换基时，针对任一种变换基结合任一种纹理方向，通过训练得到任一种变换基结合任一种纹理方向所对应的初始扫描顺序；当包含一种变换基时，针对同一种变换基结合任一种纹理方向，通过训练得到所述变换基结合任一种纹理方向所对应的初始扫描顺序。上述初始扫描顺序也可以根据经验直接确定，如为不同纹理方向设置的扫描顺序可以各不相同，而为具有相似纹理特性的残差的变换系数设置的扫描顺序可以相同。

示例性的，当变换基采用DCT+DCT，KLT+DCT，DCT+KLT，扫描顺序包括MDDT中的DC、水平和垂直模式所对应的扫描顺序时，由经验值确定的初始扫描顺序可以如下：

对DCT+DCT变换基结合任一种参考块的纹理方向，选取DC模式的扫描顺序；对KLT+DCT变换基结合任一种参考块的纹理方向，选取水平模式的扫描顺序；对DCT+KLT变换基结合任一种参考块的纹理方向，选取垂直模式的扫描顺序。

在一个扫描周期内进行扫描的过程中，利用一个扫描周期内已获取的残差块的变换系数对所述初始扫描顺序不断进行更新，得到第二扫描顺序，即上述第二扫描顺序是通过对初始扫描顺序的不断更新得到的，具体更新的方式参见下文相关内容。或者，也可以根据经验值重新确定的第二扫描顺序。

为了便于清楚描述本发明实施例的技术方案，在本发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。

第二种情况、仅包含一个扫描周期

这种情况下，扫描过程开始后，按照一种扫描顺序对残差块的变换系数进行扫描，该扫描顺序可以是固定不变的(如保持为初始状态)，也可以在扫描过程中根据已获取到的变换系数不断进行更新。

当存在多种变换基时，确定任一种变换基结合任一种纹理方向所对应的扫描顺序，当仅存在一种变换基时，确定同一种变换基结合任一种纹理方向所对应的扫描顺序。这种扫描顺序可通过训练得到，也可以根据经验值确定得到。对所有的图像帧，根据所采用的变换基和参考块的纹理方向确定残差块变换系数的扫描方向。

进一步的，本发明实施例的方案可以对上述第一种情况或第二种情况中的扫描顺序进行实时更新，如利用已获取的残差块的变换系数的分布状态对扫描顺序进行更新，主要处理包括：

根据每一组变换系数的扫描状态对扫描顺序进行更新，该扫描状态为每个扫描位置上出现非零系数的可能性，每一个变换系数对应一个扫描位置，扫描顺序通过将扫描状态从大到小排列获得。

建立一组与各扫描状态对应的累加器组，即每个变换系数具有所对应的累加器。当得到一个待编码块的变换系数后，为数值不为0的变换系数所对应的累加器加1，或者，将各个变换系数的数值加入其所对应的累加器中，或者，根据各个变换系数的数值在其所对应的累加器中加入相应的权重值。判断变换系数对应的累加器中的值是否超过阈值，若超过阈值，将该变换系数对应的扫描状态的数值加1，同时将该累加器清零。对更新后的扫描状态所对应的数值按照从大到小排序，得到更新后的扫描顺序。对于8*8的待编码块，示例性的，变换系数的扫描状态的一个例子如下：

扫描状态1：{86，45，19，10，7，4，3，2，72，30，14，9，7，5，3，2，57，21，11，8，7，5，3，2，56，19，11，8，7，5，3，2，53，18，10，8，7，5，3，2，59，17，10，8，7，5，3，1，63，18，10，8，7，5，3，1，67，19，12，9，8，5，2，1}，

扫描状态2：{86，42，24，14，10，6，5，2，78，33，19，12，10，7，4，2，68，28，17，12，9，6，4，2，61，26，15，11，9，7，4，2，57，23，14，11，9，6，4，1，52，20，13，10，8，6，3，1，49，21，13，10，8，5，2，1，43，20，13，9，7，4，2，1}，

扫描状态3：{86，57，28，18，12，7，5，2，77，41，23，15，11，8，5，3，55，32，20，14，11，8，5，3，50，28，17，14，11，8，5，3，45，25，16，13，10，7，4，2，39，22，15，12，9，7，4，2，34，21，13，11，8，6，3，1，33，21，13，10，7，4，2，1}，

扫描状态4：{86，73，39，23，18，11，10，2，75，50，31，22，18，14，10，6，46，36，26，21，18，14，10，6，34，28，23，20，18，14，9，5，27，24，21，19，17，13，8，4，24，22，20，19，17，13，7，3，21，20，20，19，16，11，5，2，21，19，20，19，15，9，4，1}，

......

可以在得到任一残差块的一组变换系数后，立即对扫描顺序进行更新，也可以在得到若干组变换系数后，再基于该若干组变换系数依次对扫描顺序进行更新。更新后的扫描顺序可以存储于扫描顺序集合中。

对扫描顺序更新之后，在为下一组需要处理的变换系数选取扫描顺序时，根据下一个残差块的变换基和待编码块的纹理方向信息，从扫描顺序集合中匹配得到与所述变换基和所述待编码块的纹理方向信息对应的扫描顺序作为对所述下一个残差块的变换系数的扫描顺序；也可以理解为，从更新后的扫描顺序中选取所需的扫描顺序。

对于仅存在一种变换基时，直接按照选取的扫描顺序对变换系数进行扫描，执行后续的熵编码等操作。

对于存在至少两种变换基的情况，进一步的，这时，还包括：为所述变换编码时所采用的变换基设置变换基索引信息，将所述变换基索引信息编入码流，向接收端发送，或者，将变换基索引信息和所述待编码块的纹理方向信息编入码流，向接收端发送。上述变换基索引信息指示了变换编码时所采用的变换基，相关步骤可以在熵编码过程中实现。

利用下述的至少一种方式或其组合，将所述变换基索引信息编入码流：

建立待编码块的纹理方向信息与待编码块所采用的变换基的对应关系，依据所述对应关系指示的一种纹理方向下待编码块采用所述变换基的概率，为所述变换基索引信息设置编码方式，利用所述编码方式将所述变换基索引信息编入码流；或者，

建立待编码块的相关重构块所采用的变换基与待编码块所采用的变换基的对应关系，依据所述对应关系指示的一种纹理方向下待编码块采用所述变换基的概率，为所述变换基索引信息设置编码方式，利用所述编码方式将所述变换基索引信息编入码流；或者，

建立待编码块的相关重构块的纹理方向信息与待编码块所采用的变换基的对应关系，依据所述对应关系指示的一种纹理方向下待编码块采用所述变换基的概率，为所述变换基索引信息设置编码方式，利用所述编码方式将所述变换基索引信息编入码流。

其中，上述待编码块的相关重构块为待编码块在时域、空域中相关的宏块，例如，在帧间预测中，所述待编码块的相关重构块包括时域和空域内与所述待编码块相关的重构块；在帧内预测中，所述待编码块的相关重构块包括空域内与所述待编码块相关的重构块。

上述编码方式包括采用变长码字的编码方式和/或采用定长码字的编码方式。进一步的，当确定完所采用编码方式后，在变长码字或固定长度的码字编码方式下，本发明实施例的方案还可以结合下面的处理方式，对变换基索引信息进行编码：

在所选取的任一种编码方式下，根据待编码块的相关重构块所采用的变换基建立上下文模型(Context Model)，利用所建立的上下文模型为变换基索引信息设置编码码字。

具体的，根据上述的任一种对应关系指示的一种纹理方向下待编码块所采用的变换基的概率，如在水平的纹理方向下待编码块采用变换基DCT+DCT的概率较大，而采用其他变换基(如DCT+KLT或KLT+DCT)的概率较小，分配1bit的码字指示所采用的变换基是否为DCT+DCT；如若所采用的变换基不是DCT+DCT，则再分配1bit的码字指示所采用的变换基是DCT+KLT或KLT+DCT中的哪一种变换基。而编码各码字时，需要根据待编码块的相关(如相邻或周边)重构块建立上下文模型，根据上下文模型为其分配编码码字。

由上所述，本发明实施例的技术方案考虑到视频压缩编码中的时空相关性提供了一种自适应的扫描技术。本发明实施例的技术方案通过利用待编码块的纹理方向信息和待编码块所采用的变换基适应性地改变对变换系数的扫描顺序，能够同时利用变换基和纹理方向信息，有效去除残差在各个纹理方向的相关性，从而提高了视频压缩编码的性能，并且大大降低了编解码复杂度。

下面通过实验数据进一步说明本发明实施例的技术方案的有益效果。本发明实施例采用关键技术测试平台(Key Technical Area2.6r1，KTA2.6r1)编码平台，基于视频编码专家组提案AJ10r1(Video Coding Experts Group-AJ10r1，VCEG-AJ10r1)的测试条件和变换技术特别小组(transform Ad-hoc Group，transform AHG)所推荐的低延时测试条件(CS2)完成，与其不同的是关闭了大宏块(large macroblock)和自适应插值滤波器(Adaptive Interpolation Filter，AIF)、运动矢量竞争技术(Motion Vector Competition，MVC)等非标准高级视频编码标准(Advanced Video Coding，AVC)工具。量化参数(QP)测试点为：I帧：22、27、32、37，P帧：23、28、33、38。具体数据见表1。

表1

由上述数据可以看出，峰值信噪比(PSNR)提高了0.064dB，码率(Rate)节省了1.730％，本发明实施例的技术方案能够达到提高视频压缩编码性能的技术效果，且本发明实施例所采用的扫描技术也相比于现有技术大大了降低编解码复杂度。

本发明的另一个实施例提供的一种图像残差块的处理方法，参见图3，包括：

步骤31：从接收到的码流中获取待解码块的变换系数；

上述的变换系数由编码端采用变换基对待编码块的残差块进行变换编码得到，所述待编码块对应于所述待解码块。

步骤32：根据变换编码时所采用的变换基和所述待解码块的纹理方向信息确定对所述变换系数的扫描顺序；

步骤33：按照所述扫描顺序对所述待解码块的变换系数进行扫描，得到反变换后的残差信息。

解码端采用与编码端相对应的处理方式。例如，解码端能够通过如下方式获取所述待解码块的纹理方向信息：

由于解码端的待解码块对应于编码端的待编码块，且待解码块与待编码块通常采用相同的参考块，将所述待解码块的参考块的纹理方向作为所述待解码块的纹理方向信息；或者，所述接收到的码流中携带所述待解码块的纹理方向信息，解析所述码流得到所述待解码块的纹理方向信息。上述待解码块的参考块为待解码块的参考帧中与待解码块相对应的宏块。例如，解码端解析码流得到当前待解码块的运动信息，使用该运动信息从已重构帧中获得重构块作为当前解码块的预测值，则该重构块即为参考块。

进一步的，当存在至少两种变换基时，编码端会为变换基设置变换基索引信息，则在解码端能够从接收到的码流中得到其所携带的变换基索引信息，根据该变换基索引信息确定变换编码时所采用的变换基。例如，解码端根据1bit的定长编码码字获知所采用的变换基为DCT+DCT，或者，若解码端根据编码码字获知所采用的变换基不是DCT+DCT，则基于1bit的变长编码码字利用待解码块的相邻或周边重构块建立上下文模型，判断所采用的变换基是DCT+KLT或是KLT+DCT。对于仅存在一种变换基的情况，编解码端可以预先获知并将该变换基作为默认的变换基。

解码端根据所述变换基和纹理方向确认对所述变换系数的扫描顺序，具体方式参见上述第一种情况和第二种情况等部分的相关描述。并且，解码端也采用与编码端相一致的方式对扫描顺序进行更新，不再赘述。例如，将所需的扫描顺序组成扫描顺序集合，这时，解码端根据相应的变换基和待解码块的纹理方向信息，从扫描顺序集合中匹配得到与该变换基和待解码块的纹理方向信息对应的扫描顺序作为对所述待解码块的变换系数的扫描顺序。

本发明的又一个实施例提供了一种变换装置，参见图4，包括：

变换编码单元41，用于采用变换基对待编码块的残差块进行变换编码，得到所述残差块的变换系数；

扫描顺序确定单元42，用于根据所述变换基和所述待编码块的纹理方向信息，确定对所述残差块的变换系数的扫描顺序；

扫描单元43，用于按照所述扫描顺序对所述残差块的变换系数进行扫描，得到扫描后的变换系数。

进一步的，参见图5，所述扫描顺序确定单元42具体用于根据所述变换基和所述待编码块的纹理方向信息，从扫描顺序集合中匹配得到与所述变换基和所述待编码块的纹理方向信息对应的扫描顺序作为对所述残差块的变换系数的扫描顺序。

在一种实现方式下，扫描顺序集合包括：当包含至少两种变换基时，针对任一种变换基结合任一种纹理方向，所训练得到的任一种变换基结合任一种纹理方向所对应的初始扫描顺序；或者，当包含一种变换基时，针对同一种变换基结合任一种纹理方向，所训练得到的所述变换基结合任一种纹理方向所对应的初始扫描顺序。

应当理解的是，在每一个扫描周期内，基于当前扫描周期内获取的残差块的变换系数的分布状态，对所述扫描顺序集合中所述变换基结合所述待编码块的纹理方向信息所对应的初始扫描顺序进行更新；

相应的，所述扫描顺序集合进一步包括：与所述变换基结合所述待编码块的纹理方向信息所对应的更新后的初始扫描顺序。

进一步的，上述扫描顺序确定单元42还可以包括初始扫描顺序确定模块，用于将初始扫描顺序确定为对所述残差块的变换系数的扫描顺序，其中，当包含至少两种变换基时，根据所述变换基和纹理方向通过训练得到任一种变换基结合任一种纹理方向所对应的初始扫描顺序；当包含一种变换基时，根据所述纹理方向通过训练得到所述变换基结合任一种纹理方向所对应的初始扫描顺序。每一个扫描周期开始时扫描顺序被还原至初始状态，所以一个扫描周期可以理解为相邻两个采用初始状态的扫描顺序的时间间隔

进一步的，当利用一个扫描周期内已获取的残差块的变换系数对所述初始扫描顺序进行更新后，所述扫描顺序确定单元42还可以包括更新后扫描顺序确定模块，用于根据残差块的变换基和待编码块的纹理方向，从更新后的扫描顺序中，确定对该残差块的变换系数的扫描顺序。

本发明装置实施例中各功能模块和单元的具体工作方式参见本发明方法实施例。本发明装置实施例中各功能模块和单元可以单独实现，也可以集成在一个或多个单元中实现。

本发明的又一个实施例还提供了一种编码装置，参见图5，该编码装置包括上述的变换装置51和熵编码单元52，

上述熵编码单元52，用于将由所述变换装置得到的扫描后的变换系数编入码流。

在一种实现方式下，上述熵编码单元52进一步用于利用下述的至少一种方式或其组合将变换基索引信息编入码流，向接收端发送，其中，所述变换基索引信息指示所述变换编码时所采用的变换基：

建立待编码块的相关重构块的纹理方向信息与待编码块所采用的变换基的对应关系，依据所述对应关系指示的一种纹理方向下待编码块采用所述变换基的概率，为所述变换基索引信息设置编码方式，利用所述编码方式将所述变换基索引信息编入码流；

其中，在帧间预测中，所述待编码块的相关重构块包括时域和空域内与所述待编码块相关的重构块；在帧内预测中，所述待编码块的相关重构块包括空域内与所述待编码块相关的重构块。

本发明的又一个实施例提供了一种反变换装置，参见图6，包括：

获取单元61，用于从接收到的码流中获取待解码块的变换系数；

这里的变换系数为由编码端采用变换基对待编码块的残差块进行变换编码得到，所述待编码块对应于所述待解码块。

扫描顺序确定单元62，用于根据编码端变换编码时所采用的变换基和所述待解码块的纹理方向信息确定对所述变换系数的扫描顺序；

扫描单元63，用于按照所述扫描顺序对所述待解码块的变换系数进行扫描，得到反变换后的残差信息。

在一种实现方式下，所述扫描顺序确定单元62为第一扫描顺序确定单元，用于根据所述码流中携带的变换基索引信息所指示的变换基和所述码流中携带的纹理方向信息，从扫描顺序集合中匹配得到与所述变换基和所述纹理方向信息对应的扫描顺序作为对所述待解码块的变换系数的扫描顺序；

在另一种实现方式下，所述扫描顺序确定单元62为第二扫描顺序确定单元，用于根据所述码流中携带的变换基索引信息所指示的变换基和所述待解码块的参考块的纹理方向信息，从扫描顺序集合中匹配得到与所述变换基和所述纹理方向信息对应的扫描顺序作为对所述待解码块的变换系数的扫描顺序。

本发明的又一个实施例提供了一种解码装置，参见图7，所述解码装置包括上述的反变换装置71和图像重构单元72，

所述图像重构单元72，用于利用获取到的预测信息和所述反变换装置输出的反变换后的残差信息，得到重构图像。

这里的预测信息，例如可以是运动矢量和参考帧信息等等；这里的预测信息可以通过如下方式获得，例如，从码流中解析预测信息，或者，解码端自适应的运算得到预测信息。

本发明的又一个实施例还提供了一种通信系统，包括编码装置和解码装置，

所述编码装置包括如上述的变换装置和熵编码单元，该熵编码单元，用于将由所述变换装置得到的扫描后的变换系数编入码流；

所述解码装置包括如上述的反变换装置和图像重构单元，该图像重构单元，用于利用获取到的预测信息和所述反变换装置得到的反变换后的残差信息，得到重构图像。

本发明系统实施例中各功能模块和单元的具体工作方式参见本发明方法和装置实施例。

本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种图像残差块的处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，通过如下方式获取所述待编码块的纹理方向信息：

对帧间预测中的待编码块，将所述待编码块的参考块的纹理方向作为所述待编码块的纹理方向信息，或者，对所述待编码块进行检测得到所述待编码块的纹理方向信息；

3.根据权利要求1所述的方法，其特征在于，

所述采用变换基对待编码块的残差块进行变换编码包括：

当包含至少两种变换基时，用每一种变换基分别对所述残差块进行变换编码，得到对应的所述残差块的各组变换系数，其中，每一组变换系数具有对应的率失真优化值；

所述根据所述变换基和所述待编码块的纹理方向信息，确定对所述残差块的变换系数的扫描顺序包括：

根据所述率失真优化值最小值所对应的所述残差块所采用的变换基和所述待编码块的纹理方向信息，确定对所述残差块的变换系数的扫描顺序。

4.根据权利要求1所述的方法，其特征在于，

5.根据权利要求4所述的方法，其特征在于，所述扫描顺序集合包括：当包含至少两种变换基时，针对任一种变换基结合任一种纹理方向，所训练得到的任一种变换基结合任一种纹理方向所对应的初始扫描顺序；或者，当包含一种变换基时，针对同一种变换基结合任一种纹理方向，所训练得到的所述变换基结合任一种纹理方向所对应的初始扫描顺序。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

所述扫描顺序集合进一步包括：与所述变换基结合所述待编码块的纹理方向信息所对应的更新后的初始扫描顺序。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将变换基索引信息编入码流，向接收端发送，或者，将变换基索引信息和所述待编码块的纹理方向信息编入码流，向接收端发送，其中，所述变换基索引信息指示所述变换编码时所采用的变换基。

8.根据权利要求7所述的方法，其特征在于，

9.根据权利要求8所述的方法，其特征在于，在所述任一种编码方式下，所述利用所述编码方式将所述变换基索引信息编入码流包括：

根据待编码块的相关重构块所采用的变换基建立上下文模型，利用所述上下文模型为所述变换基索引信息设置编码码字。

10.一种图像残差块的处理方法，其特征在于，所述方法包括：

从接收到的码流中获取待解码块的变换系数；

11.根据权利要求10所述的方法，其特征在于，所述根据编码端变换编码时所采用的变换基和所述待解码块的纹理方向信息确定对所述变换系数的扫描顺序包括：

根据所述码流中携带的变换基索引信息所指示的变换基和所述待解码块的纹理方向信息，从扫描顺序集合中匹配得到与所述变换基和所述待解码块的纹理方向信息对应的扫描顺序作为对所述待解码块的变换系数的扫描顺序。

12.根据权利要求10或11所述的方法，其特征在于，通过如下方式获取所述待解码块的纹理方向信息：

将所述待解码块的参考块的纹理方向作为所述待解码块的纹理方向信息；或者，从所述接收到的码流中解析得到所述待解码块的纹理方向信息。

13.一种变换装置，其特征在于，所述装置包括：

14.根据权利要求13所述的装置，其特征在于，所述扫描顺序确定单元具体用于根据所述变换基和所述待编码块的纹理方向信息，从扫描顺序集合中匹配得到与所述变换基和所述待编码块的纹理方向信息对应的扫描顺序作为对所述残差块的变换系数的扫描顺序。

15.一种反变换装置，其特征在于，所述装置包括：

16.根据权利要求15所述的装置，其特征在于，所述扫描顺序确定单元为第一扫描顺序确定单元，用于根据所述码流中携带的变换基索引信息所指示的变换基和所述码流中携带的纹理方向信息，从扫描顺序集合中匹配得到与所述变换基和所述纹理方向信息对应的扫描顺序作为对所述待解码块的变换系数的扫描顺序；

或者，所述扫描顺序确定单元为第二扫描顺序确定单元，用于根据所述码流中携带的变换基索引信息所指示的变换基和所述待解码块的参考块的纹理方向信息，从扫描顺序集合中匹配得到与所述变换基和所述纹理方向信息对应的扫描顺序作为对所述待解码块的变换系数的扫描顺序。

17.一种编码装置，其特征在于，所述编码装置包括如权利要求13或14所述的变换装置和熵编码单元，

所述熵编码单元，用于将由所述变换装置得到的扫描后的变换系数编入码流。

18.根据权利要求17所述的装置，其特征在于，所述熵编码单元进一步用于利用下述的至少一种方式或其组合将变换基索引信息编入码流，向接收端发送，其中，所述变换基索引信息指示所述变换编码时所采用的变换基：

19.一种解码装置，其特征在于，所述解码装置包括如权利要求15或16所述的反变换装置和图像重构单元，

所述图像重构单元，用于利用获取到的预测信息和所述反变换装置输出的反变换后的残差信息，得到重构图像。

20.一种通信系统，其特征在于，所述系统包括编码装置和解码装置，

所述编码装置包括如权利要求13或14所述的变换装置和熵编码单元，所述熵编码单元，用于将由所述变换装置得到的扫描后的变换系数编入码流；

所述解码装置包括如权利要求15或16所述的反变换装置和图像重构单元，所述图像重构单元，用于利用获取到的预测信息和所述反变换装置得到的反变换后的残差信息，得到重构图像。