CN103108177B - 图像编码方法及图像编码装置 - Google Patents

Abstract

本发明提供一种图像编码方法及图像编码装置，图像编码方法，包括运动估计和系数编码，所述运动估计用于搜索最佳预测块，所述系数编码利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码，其中，当所述系数编码用于所述变换的第一类型候选变换矩阵有多个时，所述运动估计包括：遍历参考图像中的候选预测块时，根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤；利用确定的变换矩阵对与所述当前候选预测块对应的残差数据进行变换的步骤；采用上述步骤得到所述参考图像中候选预测块对应的变换后的残差数据；利用所述候选预测块对应的变换后的残差数据，从所述参考图像的候选预测块中找到最佳预测块。

Description

图像编码方法及图像编码装置

技术领域

本发明涉及视频压缩技术，尤其涉及一种图像编码方法及图像编码装置。

背景技术

图像编码技术是为了尽量减少传送视频数据所需要的带宽而对视频数据采取的压缩方法，包括：帧内压缩方法和帧间压缩方法。

其中，帧间压缩方法基于运动估计。具体地，采用帧间压缩方法的图像编码端对图像压缩编码的过程包括：将待编码图像块划分成若干个大小相等的子图像块；然后针对待编码的图像块的每个子图像块，在参考图像中搜索与当前子图像块最匹配的候选预测块作为最佳预测块，然后将该子图像块与最佳预测块的相应像素值相减得到残差，并将该残差经变换与量化后得到的值进行熵编码，最后将熵编码得到的比特流和运动矢量信息一并发给解码端。运动矢量信息表示当前子图像块与最佳预测块的位置差，而获得当前图像块最佳预测块的过程即运动估计的过程。

运动估计过程中，遍历参考图像中的候选预测块，将每个候选预测块与当前子图像块进行运算，得到残差数据，并对残差数据进行变换，最后比较所有候选预测块对应的变换后的残差数据，根据比较结果从参考图像中找到最佳预测块。

与上述系数编码过程类似，首先遍历参考图像中与图像块划分得到的子图像块对应的候选预测块，使用每个候选预测块与对应的子图像块得到残差数据，对残差数据进行变换。然后利用变换后的残差数据从参考图像中找到最佳预测块。其中，子图像块与其对应的所有候选预测块的尺寸相同。

通常，运动估计过程中，使用方形的变换矩阵(以下将变换矩阵简称为变换块)对残差数据进行变换，以去除图像块的冗余信息，以便提高编码效 率。

但是，图像块的划分方式有多种，不仅限于方形，当划分得到的子图像块为N×M(N和M均为大于0的整数)的矩形块，并且N和M具有倍数关系时，经过划分的图像块将出现条状纹理，而方形变换矩阵不能有效地去除图像块的冗余信息。

发明内容

本发明实施例提供一种图像编码方法及图像编码装置，用于解决现有技术中不能有效去除图像块的冗余信息的问题。

本发明实施例提供了一种图像编码方法，包括运动估计和系数编码，所述运动估计用于搜索最佳预测块，所述系数编码利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码，其中，当所述系数编码用于所述变换的第一类型候选变换矩阵有多个时，所述运动估计包括：

遍历参考图像中的候选预测块时，根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤；

利用确定的变换矩阵对与所述当前候选预测块对应的残差数据进行变换的步骤；

采用上述步骤得到所述参考图像中候选预测块对应的变换后的残差数据；

利用所述候选预测块对应的变换后的残差数据，从所述参考图像的候选预测块中找到最佳预测块。

本发明实施例还提供了一种图像编码方法，包括运动估计和系数编码，所述运动估计用于搜索最佳预测块，所述系数编码利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码，其中，当所述系数编码用于所述变换的第一类型候选变换矩阵有多个时，运动估计包括：用各个第二类型候选变换矩阵从参考图像中搜索出各个第二类型候选变换矩阵对应的最匹配的候选预测块，从所述各个第二类型候选变换矩 阵对应的最匹配的候选预测块中选择一个候选预测块作为所述最佳预测块。

本发明实施例还提供了一种图像编码装置，包括运动估计模块和系数编码模块，所述运动估计模块用于搜索最佳预测块，所述系数编码模块用于利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码，其中，当所述系数编码模块用于所述变换的第一类型候选变换矩阵有多个时，所述运动估计模块具体包括：

变换矩阵确定子模块，用于执行遍历参考图像中的候选预测块时，根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤；

变换子模块，用于执行利用确定的变换矩阵对与所述当前候选预测块对应的残差数据进行变换的步骤；

所述变换矩阵确定子模块及所述变换子模块，用于采用上述步骤得到所述参考图像中候选预测块对应的变换后的残差数据；

最佳预测模块获取模块，用于利用所述参考图像中候选预测块对应的变换后的残差数据，从所述参考图像的候选预测块中找到最佳预测块。

本发明实施例还提供了一种图像编码装置，包括运动估计模块和系数编码模块，所述运动估计模块用于搜索最佳预测块，所述系数编码模块用于利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码，其中，当所述系数编码模块用于所述变换的第一类型候选变换矩阵有多个时，所述运动估计模块包括：

预测块选择子模块，用于用各个第二类型候选变换矩阵从参考图像中搜索出各个第二类型候选变换矩阵对应的最匹配的候选预测块，从所述各个第二类型候选变换矩阵对应的最匹配的候选预测块中选择一个候选预测块作为所述最佳预测块。

本发明实施例提供的图像编码方法及图像编码装置，通过在运动估计中利用候选预测块的宽高关系及尺寸确定的变换矩阵对该候选预测块对应的残差数据进行变换，保证了运动估计过程中使用的变换矩阵与系数编码时所使用的变换矩阵的尺寸一致，从而有效地去除了图像块划分中产生的冗余信息，提高了图像编码的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像编码方法的流程图；

图2a为本发明实施例提供的图像编码方法中图像块的对称划分方式的一种示意图；

图2b为本发明实施例提供的图像编码方法中图像块的对称划分方式的另一种示意图；

图2c为本发明实施例提供的图像编码方法中图像块的对称划分方式的再一种示意图；

图2d为本发明实施例提供的图像编码方法中图像块的对称划分方式的又一种示意图；

图3a-图3d为本发明实施例提供的图像编码方法中图像块的非对称划分方式的几种示意图；

图4a-图4c为本发明实施例提供的图像编码方法中对应不同层数的变换矩阵的示意图；

图5为本发明实施例提供的图像编码方法中变换矩阵的一种划分示意图；

图6为本发明实施例提供的图像编码方法中变换矩阵的另一种划分示意图；

图7为本发明实施例提供的另一种图像编码方法的流程图；

图8为本发明实施例提供的一种图像编码装置的结构示意图；

图9为本发明实施例提供的另一种图像编码装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种图像编码方法的流程图，如图1所示，该方法包括：运动估计11和系数编码12，所述运动估计11用于搜索最佳预测块，所述系数编码12利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码。

其中，当所述系数编码12用于所述变换的第一类型候选变换矩阵有多个时，运动估计11包括以下步骤。其中，第一类型候选变换矩阵可为DCT矩阵、类DCT(DCT-like)矩阵等，下同。

步骤111、遍历参考图像中的候选预测块时，根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤。如从多个第二类型候选变换矩阵中选择与所述当前候选预测块的宽高关系最接近的变换矩阵。第二类型候选变换矩阵可为哈达玛(Hadamard)变换矩阵、类Hadamard(Hadamard-like)变换矩阵等，下同。

可选地，当选择的变换矩阵有多个时，根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤，还包括：从选择的多个变换矩阵中，选择与所述当前候选预测块的尺寸最接近的变换矩阵。

具体地，子图像块由待编码的图像块划分得到。视频编解码过程中，一个图像块，或称为宏块(macroblock)、超宏块(super-macroblock)等，被划分为若干子图像块。图像块被划分成子图像块的常用方式有以下几种方式：

2N×2N划分方式，图像块只包含一个子图像块，即该图像块不被划分成更小的子图像块，如图2a所示；

2N×N划分方式，将图像块划分成上下两个等大的子图像块，如图2b所示；

N×2N划分方式，将图像块划分成左右两个等大的子图像块，如图2c 所示；

N×N划分方式，将图像块划分成四个等大的子图像块，如图2d所示。

上述N为任意正整数，表示像素数目。

图像块还可以采用非对称划分方式，如图3a至图3d所示。

图3a和图3b所示划分方式将一个图像块划分成上下两个不等大的矩形子图像块。

图3a所示2N×nU划分方式(图中n＝0.5N)划分出的两个子图像块中，上边子图像块两条变长为2N和0.5N，下边子图像块两条变长为2N和1.5N。一般而言，2N×nU中的U表示图像划分线相对该图像块的垂直平分线上移，2N×nU表示图像划分线相对该图像块的垂直平分线上移n，其中，n＝x×N，其中x大于或等于0并小于或者等于1。

图3b所示2N×nD划分方式(图中n＝0.5N)划分出的两个子图像块中，上边子图像块两条变长为2N和1.5N，下边子图像块两条变长为2N和0.5N。一般而言，2N×nD中的D表示图像划分线相对该图像块的垂直平分线下移，2N×nD表示图像划分线相对该图像块的垂直平分线下移n，n＝x×N，其中x大于或等于0并小于或者等于1。

图3c和图3d所示划分方式，将一个图像块划分成左右两个不等大的矩形子图像块。

图3c所示nL×2N划分方式(图中n＝0.5N)划分出的两个子图像块中，左边子图像块两条变长为0.5N和2N，右边子图像块两条变长为1.5N和2N。一般而言，nL×2N中的L表示图像划分线相对该图像块的垂直平分线左移，nL×2N表示表示图像划分线相对该图像块的垂直平分线左移n，其中，n＝x×N，其中x大于或等于0并小于或者等于1。

图3d所示nR×2N划分方式(图中n＝0.5N；)划分出的两个子图像块中，左边子图像块两条变长为1.5N和2N，右边子图像块两条变长为0.5N和2N。一般而言，nR×2N中的R表示图像划分线相对该图像块的垂直平分线右移，nR×2N表示表示图像划分线相对该图像块的垂直平分线右移n，其中，n＝x×N，其中x大于或等于0并小于或者等于1。

在上述图像块的划分方式中，通过水平划分线将图像块划分成沿垂直方向排列的多个子图像块的划分方式为水平划分方式，这时候采用的划分方向为水平划分方向。上述2N×N划分方式、2N×nU划分方式、2N×nD划分方式统称为水平划分方式。而通过垂直划分线将图像块划分成沿水平方向排列的多个子图像块的划分方式为垂直划分方式，这时候采用的划分方向为垂直划分方向。上述N×2N划分方式、nL×2N划分方式、nR×2N划分方式统称垂直划分方式。同时通过水平划分线将图像块划分成四个子图像块的划分方式为水平和垂直划分方式，这时候采用的划分方向则为水平和垂直划分方向，上述N×N划分方式为水平和垂直划分方式。

待编码的图像块经过上述划分方式，得到的子图像块的尺寸可为64×64、64×48、64×32、64×16、16×64、32×64、48×64、32×32、32×24、32×16、32×8、8×32、16×32、24×32、16×16、16×12、16×8、16×4、4×16、8×16、12×16、8×8、8×6、8×4、8×2、2×8、4×8、6×8、4×4等，尺寸单位为像素。这些子图像块的尺寸与上述图像块的划分方式一一对应，也即若图像块的划分方式已知，则也就能够得到采用已知的划分方式划分得到的子图像块的尺寸。

图像块以这些子图像块为单位进行像素预测、运动估计和运动补偿。

假设对待编码的图像块划分得到的某一子图像块进行运动估计，则遍历参考图像中的所有候选预测块，针对每个候选预测块计算出与该子图像块之间的残差数据，并进行变换，利用变换后的残差数据从参考图像中的所有候选预测块中选择出最佳预测块进行系数编码。

其中，对每个候选预测块对应的残差数据进行变换时，所选用的变换矩阵的宽高关系首先应与对应的候选预测块的宽高关系最接近，也即首先选择形状上与候选预测块最接近的变换矩阵，如当所述当前候选预测块的宽大于高时，从所述候选的多个变换矩阵中选择宽大于高的变换矩阵；或者，当所述当前候选预测块的宽等于高时，从所述候选的多个变换矩阵中选择宽等于高的变换矩阵；或者，所述当前候选预测块的宽小于高时，从所述候选的多个变换矩阵中选择宽小于高的变换矩阵。如果形状相同，则最为理想。假设与候选预测块的形状相同的变换矩阵有多个，则选择其中与候选预测块的尺 寸最接近的变换矩阵对该候选预测块对应的残差数据进行变换，显然尺寸相同最为理想。

可选地，当通过上述方法确定的变换矩阵的尺寸大于当前候选预测块尺寸时，根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤，还进一步包括：

根据所述当前候选预测块的形状，对选择的变换矩阵进行划分，得到子变换矩阵；

选择所述子变换矩阵中与所述当前候选预测块的宽高关系及尺寸最接近的子变换矩阵。

其中，变换矩阵的划分方式可采用上述图2a～图3d所示的方式进行划分。

步骤112、利用确定的变换矩阵对与所述当前候选预测块对应的残差数据进行变换的步骤。

在编码端，将当前候选预测块对应的残差数据与一个变换矩阵及该变换矩阵的转置矩阵相乘，相乘之后得到变换系数。具体可以使用如下公式：

f＝T′×C×T

其中，C代表残差数据，T和T′分别代表变换矩阵和变换矩阵的转置矩阵，f代表残差数据经变换后的变换系数矩阵。其中，变换矩阵可以是离散余弦变换(Discrete Cosine Transform，DCT)矩阵，整数变换(Integer Transform)矩阵、KL变换(Karhunen Lòeve Transform，KLT)矩阵、哈达玛矩阵等。通常系数编码过程中采用DCT变换矩阵、类DCT变换矩阵等对残差信息进行变换.由于DCT变换矩阵较为复杂，因此，通常在运动估计过程中采用哈达玛变换矩阵、类哈达玛变换矩阵等对残差数据进行变换。

对残差数据进行上述处理相当于将残差数据从空域转换至频域，且经处理后得到的变换系数矩阵f集中于低频区域。

步骤113、采用上述步骤得到所述参考图像中候选预测块对应的变换后的残差数据；

步骤114、利用所述候选预测块对应的变换后的残差数据，从所述参考图像的候选预测块中找到最佳预测块。

本实施例中，运动估计通过根据候选预测块的宽高关系及尺寸确定变换矩阵，进而得到最佳预测块，从而在运动估计过程中尽可能地准确估计搜索得到的最佳预测块与当前子图像块的匹配程度，保证了运动估计过程中使用的变换矩阵与系数编码时所使用的变换矩阵的尺寸一致，从而有效去除了图像块划分中产生的冗余信息，提高了图像编码的效率。

具体地，由于运动估计方法中变换矩阵的尺寸取决于候选预测块的形状和尺寸，因而提高了编码效率。如图2b所示，当2N×2N图像块使用2N×N划分方式时，由于划分方式反映了图像块所处区域的纹理信息，此时图像块所处区域的纹理更倾向于具有水平纹理的特征，但由于现有技术中变换矩阵的尺寸不与候选预测块的尺寸关联，因此图像块仍旧使用N×N变换矩阵，使得N×N变换矩阵可能跨越两个候选预测块的边界，而通常由于两个候选预测块边界对应的残差数据会存在跳跃性的变换，所以如果变换矩阵跨过了两个候选预测块的边界则会使变换的作用减弱，不能有效地去除图像块的残差的相关性，也就不能有效的去除图像块的冗余信息，导致编码效率降低。相比之下，本实施例中在确定变换矩阵尺寸时，考虑到前述变换矩阵不应跨过候选预测块边界，及变换矩阵应与候选预测块尺寸关联，确定划分方向的基本原则为：当图像块采用如图2b、图3a、图3b所示沿水平划分的图像块划分方式时，划分得到的变换矩阵为水平长条形状，这种划分方式可以保证变换矩阵不会跨过候选预测块边界并且考虑了候选预测块的形状及其纹理信息；当图像块采用如图2c、图3c、图3d所示沿垂直划分的图像块划分方式时，划分得到的变换矩阵为垂直长条形状，这种划分方式可以保证变换矩阵不会跨过候选预测块边界并且考虑了候选预测块的形状及其纹理信息；图像块采用如图2d所示沿水平和垂直划分的图像块划分方式时，划分得到四个正方形变换矩阵。

设图像块大小为2M×2M。与下述树形标识方法结合，则当图像块采用沿水平划分的划分方式时，变换矩阵采用如图5所示的划分方式，当变换矩阵对应的层数为第0层时，变换矩阵大小为2M×2M；当变换矩阵对应的层数为第1层时，变换矩阵大小为2M×0.5M；变换矩阵对应的层数为第2层时，变换矩阵大小为M×0.25M。当图像块采用沿水平划分的划分方式时，如图6所示，当变换矩阵对应的层数为第0层时，变换矩阵大小为2M×2M； 当变换矩阵对应的层数为第1层时，变换矩阵大小为0.5M×2M；变换矩阵对应的层数为第2层时，变换矩阵大小为0.25M×M。

当图像块沿水平方向划分时，图像块对应的残差数据可采用的变换矩阵有三种候选的变换矩阵尺寸有2M×2M、2M×0.5M和M×0.25M；当图像块沿垂直方向划分时，图像块对应的残差数据可采用的变换矩阵有三种候选的变换矩阵尺寸有2M×2M、0.5M×2M和0.25M×2M。

由于在系数编码过程中编码图像块对应的残差数据通常会选择与图像块对应的候选预测块尺寸一致或基本一致的变换矩阵尺寸。因此，类似地，当编码图像块对应的残差数据可选择多个变换矩阵尺寸时，在运动估计过程中可使用与候选预测块尺寸一致或基本一致的哈达玛变换尺寸。仍以图2b为例，图像块沿水平方向划分为上下两个大小的子图像块时，每个子图像块的所有候选预测块大小均为2M×M，此时编码图像块的残差数据可采用2M×2M、2M×0.5M和M×0.25M三个尺寸的候选变换矩阵。由于变换矩阵尺寸2M×0.5M与预测块尺寸2M×M最为接近，因此，在运动估计过程中使用2M×0.5M哈达玛变换获得最佳预测块，从而获得编码过程所需的残差数据。

为了进一步减小运动估计的实现复杂度，在运动估计过程中会使用有限的几种哈达玛变换尺寸。因此，在编码端可以预设若干种方形及非方形哈达玛变换矩阵，当编码图像块对应的残差数据可使用多于一个变换矩阵尺寸时，编码端根据候选预测块尺寸选择一个与其一致或基本一致的哈达玛变换矩阵尺寸。

具体的，假设运动估计过程中可使用4×4、8×8、16×4、4×16、8×2和2×8六种哈达玛变换矩阵。设图像块尺寸可以为64×64、32×32、16×16和8×8，图像块划分后得到的子图像块尺寸可为64×64、64×48、64×32、64×16、、16×64、32×64、48×64、32×32、32×24、32×16、32×8、8×32、16×32、24×32、16×16、16×12、16×8、16×4、4×16、8×16、12×16、8×8、8×6、8×4、8×2、2×8、4×8、6×8、4×4。相应地，对于上述某一尺寸的子图像块，其在参考图像中对应的所有候选预测块与该子图像块为同一尺寸。

根据上述方法，16×4候选预测块与16×4哈达玛变换矩阵尺寸一致， 16×12、16×8候选预测块与16×4哈达玛变换矩阵尺寸基本一致，因此在运动估计过程中这三种尺寸的候选预测块使用16×4哈达玛变换矩阵。64×64候选预测块、64×32候选预测块虽然尺寸上均大于16×4哈达玛变换矩阵尺寸，但考虑到64×64候选预测块是方形，而64×32候选预测块是沿水平方向的长方形(非方形)，因此根据形状最接近优先原则，64×64候选预测块使用8×8哈达玛变换矩阵，而64×32候选预测块使用16×4哈达玛变换矩阵。由此可知候选预测块尺寸与哈达玛变换矩阵的关系均如下：

4×4候选预测块：4×4哈达玛变换矩阵；

8×4、8×2候选预测块：8×2哈达玛变换矩阵；

4×8、2×8b候选预测块：2×8哈达玛变换矩阵；

16×4，16×8，16×12，32×8，32×16，32×24，64×16，64×32及64×48候选预测块：16×4哈达玛变换矩阵；

4×16，8×16，12×16，8×32，16×32，24×32，16×64，32×64及48×64候选预测块：4×16哈达玛变换矩阵；

8×8，16×16，32×32及64×64候选预测块：8×8哈达玛变换矩阵。

系数编码12中利用运动估计11中得到的最佳预测块获得当前子图像块对应的残差信息，并对所述残差信息进行变换、量化及熵编码。

其中，系数编码可采用现有的变换方法对残差信息进行变换，如采用遍历的方法从候选的多个变换矩阵如中找到最适合的变换矩阵对残差信息进行变换。或者，系数编码从所述第一类型候选变换矩阵中，选择与所述运动估计中根据所述最佳预测块的宽高关系及尺寸确定的变换矩阵的尺寸一致的变换矩阵，对所述残差信息进行变换。

或者，系数编码对残差信息进行变换的方法也可类似于上述运动估计过程中的方法，包括：利用所述候选变换矩阵中与所述最佳预测块的宽高关系及尺寸最接近的变换矩阵，对所述残差信息进行变换，以避免遍历所带来的运算复杂性，简化变换操作，提高编码效率。如从候选的多个变换矩阵中选择与所述最佳预测块的宽高关系最接近的变换矩阵。当选择的变换矩阵有多个时，根据最佳预测块的宽高关系及尺寸确定变换矩阵的步骤，还包括：从 选择的多个变换矩阵中，选择与所述最佳预测块的尺寸最接近的变换矩阵。

与运动估计过程类似，可选地，当通过上述方法选择的变换矩阵的尺寸大于最佳预测块的尺寸时，根据最佳预测块的宽高关系及尺寸确定变换矩阵的步骤，还可包括：

根据最佳预测块的形状，对选择的变换矩阵进行划分，得到子变换矩阵；

选择所述子变换矩阵中与所述最佳预测块的宽高关系及尺寸最接近的子变换矩阵。

编码端对子图像块的残差信息进行上述变换之后，对变换后得到的变换系数矩阵再进行量化、熵编码等处理后，将熵编码得到的比特流发送给解码端。

为了使解码端知道编码端所采用的变换矩阵类型和尺寸，通常，编码端会将表示当前图像块所使用的变换矩阵的指示信息写入编码码流，以保证解码端能获知编码端图像块所使用的变换矩阵矩阵信息。

因此，所述实系数编码过程中还可包括：对所述当前子图像块所属的图像块的划分方式进行量化编码，通过码流将编码端图像块的划分方式的信息发送给图像的解码端，以便图像的解码端获知编码端图像块的划分方式，并根据该划分方式采用相应的变换矩阵进行相应的解码操作。

具体地，图像块的划分方式可以使用预测块类型进行指代。如2N×2N、2N×N、N×2N、2N×nU、2N×nD、nL×2N、nR×2N均表示图像块划分方式对应的预测块类型。

或者所述系数编码过程中还可包括：对变换矩阵的逐层划分标识进行量化编码，以通过码流将编码端所使用的变换矩阵的信息发送到解码端，使解码端使用相同的变换矩阵进行解码。

对于经过划分的变换矩阵，为了有效地表示子图像块对应的残差数据如何使用不同尺寸的变换矩阵，可以使用树形标识方法，逐层标识变换矩阵的划分，该标识以下简称为逐层划分标识。

在树形标识方法中，首先确定变换矩阵对应的标识信息，根据标识信息判断变换矩阵是否划分为尺寸更小的变换矩阵。

图4a-图4c是对应不同划分层数的变换矩阵的示意图。

如图4a-图4c所示，在编码端，当标识子图像块对应的残差数据使用的变换矩阵尺寸时，码流中设置用于标识变换矩阵的第零划分层是否使用尺寸为2N×2N变换矩阵的指示位(标识信息)，如果变换矩阵使用尺寸为2N×2N变换矩阵(如图4a所示)，则该指示位为0。

如果变换矩阵不使用2N×2N划分时，则该指示位为1，表示需要将尺寸为2N×2N变换矩阵进一步划分成四个尺寸为N×N的变换矩阵，并在码流中用4个比特分别标识第一划分层每一个尺寸为N×N的变换矩阵是否进一步划分。

如果变换矩阵使用如图4b所示的划分结构，则4个比特都为0，表示每一个尺寸为N×N的变换矩阵不再进一步划分。

当选用如图4c所示的划分结构时，则4个比特中有2个比特为0，2个比特为1，表示需要对左上和右下的尺寸为N×N的变换矩阵进一步划分，得到尺寸为0.5N×0.5N的变换矩阵，此时变换矩阵对应第三划分层。2个比特为0表示对左下和右上的尺寸为N×N的变换矩阵不再进行划分。然后在码流中用4个比特表示第三划分层中是否需要对左上的尺寸为0.5N×0.5N的变换矩阵进行进一步划分，用4个比特表示是否需要对右下的尺寸为0.5N×0.5N的变换矩阵进行进一步划分。

如果变换矩阵使用如图4c所示的划分结构时，上述左上变换矩阵的4个比特和右下变换矩阵的4个比特都为0，表示这两个变换矩阵不再进一步划分。通过上述逐层划分标识可以有效、灵活地表示出子图像块使用的变换矩阵尺寸。

解码端通过上述逐层划分标识得到变换矩阵的尺寸的过程为上述编码端的逆过程。

首先解码端解码码流中用于标识变换矩阵的第零层是否使用尺寸为2N×2N变换矩阵的指示位(标识信息)，如果该指示位的值为0则表示变换矩阵使用2N×2N变换，使用如图4a所示结构；如果该指示位为1则表示表示需要将尺寸为2N×2N变换矩阵进一步划分成四个尺寸为N×N的变换矩阵，并继续解码码流获得4个比特分别标识每一个尺寸为N×N的变换矩阵是否 进一步划分。如果该4个比特都为0，表示表示每一个尺寸为N×N的变换矩阵不再进一步划分，使用如图4b所示结构；若4个比特中有2个比特为0，2个比特为1，则使用如图4c所示结构。

上述树形标识方法中，变换矩阵对应的划分层用于标识变换矩阵所处的划分层数。通常情况下，变换矩阵的第零划分层对应的变换矩阵尺寸与预测块尺寸一致。

另外，对应于编码端通过在码流中发送图像块的划分方式如预测块类型的信息，解码端根据图像块所使用的预测块类型确定变换矩阵尺寸的方法。不同的预测块类型对应于不同的图像块划分方式，可根据图像块的划分方式获得预测块。例如，2N×N划分方式表示所对应的预测块的尺寸为2N×N(如图2b所示)。

解码端确定编码端采用的变换矩阵后，根据变换矩阵的特点(变换矩阵的正交性等)，对编码端的比特流进行解码得到变换系数矩阵，将变换系数矩阵与变换矩阵及其转置矩阵相乘，可恢复得到与编码端近似一致的数据块的残差信息。变换系数矩阵可以使用以下公式得到：

C＝T×f×T′

其中，C代表数据块的残差信息，T和T′代表变换矩阵和变换矩阵的转置矩阵，f代表解码端得到的变换系数矩阵。

除此之外，在图像的解码端，首先获得熵编码比特流后进行熵解码，得到相应的残差，以及相应的运动矢量信息；然后根据运动矢量信息在参考图像中获得相应的匹配图像块(即上述最佳预测块)，再根据匹配图像块中各像素点的值和残差值中对应像素点的值相加得到当前子图像块中各像素点的值。

图7为本发明实施例提供的另一种图像编码方法的流程图。本实施例与上述实施例类似，区别在于，运动估计包括：用各个第二类型候选变换矩阵从参考图像中搜索出各个第二类型候选变换矩阵对应的最匹配的候选预测块，从所述各个第二类型候选变换矩阵对应的最匹配的候选预测块中选择一个候选预测块作为所述最佳预测块。

本实施例中，图像编码方法包括运动估计71和系数编码72，所述运动估计71用于搜索最佳预测块，所述系数编码72利用所述最佳预测块计算当前子图像块的残差信息，并对所述残差信息进行变换、量化及编码。当所述系数编码72用于所述变换的第一类型候选变换矩阵有多个时，运动估计71包括步骤711：用各个第二类型候选变换矩阵从参考图像中搜索出各个第二类型候选变换矩阵对应的最匹配的候选预测块，从所述各个第二类型候选变换矩阵对应的最匹配的候选预测块中选择一个候选预测块作为所述最佳预测块。

以图5为例，可分别使用2M×2M、2M×0.5M和M×0.25M哈达玛变换矩阵分别搜索获得各变换矩阵下的最佳的匹配块，再比较三个哈达玛变换矩阵所对应的最佳匹配块，从中选择一个最优的匹配块作为当前子图像块的最佳预测块，从而获得编码过程所需的残差数据。

本实施例中，运动估计通过遍历候选变换矩阵，得到最佳预测块，从而在运动估计过程中尽可能地准确估计搜索得到的最佳预测块与当前子图像块的匹配程度，保证运动估计过程中使用的变换矩阵与系数编码时所使用的变换矩阵的尺寸一致。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

图8为本发明实施例提供的一种图像编码装置的结构示意图。如图8所示，图像编码装置，用于实现上述图1所示实施例中的方法，包括运动估计模块81和系数编码模块82，所述运动估计模块81用于搜索最佳预测块，所述系数编码模块82用于利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码。

当所述系数编码模块82用于所述变换的第一类型候选变换矩阵有多个时，所述运动估计模块81具体包括：变换矩阵确定子模块811、变换子模块812及最佳预测模块获取子模块813。

变换矩阵确定子模块811用于执行遍历参考图像中的候选预测块时，根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤；

变换子模块812用于执行利用确定的变换矩阵对与所述当前候选预测块对应的残差数据进行变换的步骤；

所述变换矩阵确定子模块811及所述变换子模块812用于采用上述步骤得到所述参考图像中候选预测块对应的变换后的残差数据；

最佳预测模块获取子模块813用于利用所述参考图像中候选预测块对应的变换后的残差数据，从所述参考图像的候选预测块中找到最佳预测块。

所述变换矩阵确定子模块811包括：第一选择单元，用于从多个第二类型候选变换矩阵中选择与所述当前候选预测块的宽高关系最接近的变换矩阵。

如所述第一选择单元具体用于当所述当前候选预测块的宽大于高时，从所述多个第二类型候选变换矩阵中选择宽大于高的变换矩阵；

或者，具体用于当所述当前候选预测块的宽等于高时，从所述多个第二类型候选变换矩阵中选择宽等于高的变换矩阵；

或者，具体用于所述当前候选预测块的宽小于高时，从所述多个第二类型候选变换矩阵中选择宽小于高的变换矩阵。

所述变换矩阵确定子模块811还可包括：

第二选择单元，用于当所述第一选择单元选择的变换矩阵有多个时，从选择的多个变换矩阵中，选择与所述当前候选预测块的尺寸最接近的变换矩阵。

所述变换矩阵确定子模块811还可包括：

矩阵划分单元，用于根据所述当前候选预测块的形状，对选择的变换矩阵进行划分，得到子变换矩阵；

第三选择单元，用于选择所述子变换矩阵中与所述当前候选预测块的宽高关系及尺寸最接近的子变换矩阵。

图9为本发明实施例提供的另一种图像编码装置的结构示意图。如图9 所示，图像编码装置用于实现上述图7所示实施例中的方法，包括运动估计模块91和系数编码模块92，所述运动估计模块91用于搜索最佳预测块，所述系数编码模块92用于利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码。

当所述系数编码模块92用于所述变换的第一类型候选变换矩阵有多个时，所述运动估计模块91包括：预测块选择子模块911，用于用各个第二类型候选变换矩阵从参考图像中搜索出各个第二类型候选变换矩阵对应的最匹配的候选预测块，从所述各个第二类型候选变换矩阵对应的最匹配的候选预测块中选择一个候选预测块作为所述最佳预测块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种图像编码方法，包括运动估计和系数编码，所述运动估计用于搜索最佳预测块，所述系数编码利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码，其特征在于，当所述系数编码用于所述变换的第一类型候选变换矩阵有多个时，所述运动估计包括：

遍历参考图像中的候选预测块时，根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤；

利用确定的变换矩阵对与所述当前候选预测块对应的残差数据进行变换的步骤；

采用上述步骤得到所述参考图像中候选预测块对应的变换后的残差数据；

利用所述候选预测块对应的变换后的残差数据，从所述参考图像的候选预测块中找到最佳预测块；

根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤，包括：

从多个第二类型候选变换矩阵中选择与所述当前候选预测块的宽高关系最接近的变换矩阵；

从多个第二类型候选变换矩阵中选择与所述当前候选预测块的宽高关系最接近的变换矩阵，包括：

当所述当前候选预测块的宽大于高时，从所述多个第二类型候选变换矩阵中选择宽大于高的变换矩阵；

当所述当前候选预测块的宽等于高时，从所述多个第二类型候选变换矩阵中选择宽等于高的变换矩阵；

所述当前预候选测块的宽小于高时，从所述多个第二类型候选变换矩阵中选择宽小于高的变换矩阵。

2.如权利要求1所述的图像编码方法，其特征在于，当选择的变换矩阵有多个时，根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤，还包括：

从选择的多个变换矩阵中，选择与所述当前候选预测块的尺寸最接近的变换矩阵。

3.如权利要求1或2所述的图像编码方法，其特征在于，根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤，还包括：

根据所述当前候选预测块的形状，对选择的变换矩阵进行划分，得到子变换矩阵；

选择所述子变换矩阵中与所述当前候选预测块的宽高关系及尺寸最接近的子变换矩阵。

4.如权利要求1或2所述的图像编码方法，其特征在于，所述系数编码还包括：对所述当前子图像块所属的图像块的划分方式进行量化及熵编码。

5.如权利要求1或2所述的图像编码方法，其特征在于，所述系数编码还包括：对变换矩阵的逐层划分标识进行量化及熵编码。

6.如权利要求1或2所述的图像编码方法，其特征在于，对所述残差信息进行变换，包括：

从所述第一类型候选变换矩阵中选择与所述运动估计中根据所述最佳预测块的宽高关系及尺寸确定的变换矩阵的尺寸一致的变换矩阵，对所述残差信息进行变换。

7.如权利要求1或2所述的图像编码方法，其特征在于，对所述残差信息进行变换，包括：

利用所述第一类型候选变换矩阵中与所述最佳预测块的宽高关系及尺寸最接近的变换矩阵，对所述残差信息进行变换。

8.一种图像编码方法，包括运动估计和系数编码，所述运动估计用于搜索最佳预测块，所述系数编码利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码，其特征在于，当所述系数编码用于所述变换的第一类型候选变换矩阵有多个时，运动估计包括：用各个第二类型候选变换矩阵从参考图像中搜索出各个第二类型候选变换矩阵对应的最匹配的候选预测块，从所述各个第二类型候选变换矩阵对应的最匹配的候选预测块中选择一个候选预测块作为所述最佳预测块；其中，所述第二类型候选变换矩阵包括非正方形的变换矩阵；

所述用各个第二类型候选变换矩阵从参考图像中搜索出各个第二类型候选变换矩阵对应的最匹配的候选预测块，包括：

根据各个所述候选预测块的宽高关系及尺寸，从所述参考图像中搜索与所述各个第二类型候选变换矩阵的尺寸最接近的候选预测块。

9.一种图像编码装置，包括运动估计模块和系数编码模块，所述运动估计模块用于搜索最佳预测块，所述系数编码模块用于利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码，其特征在于，当所述系数编码模块用于所述变换的第一类型候选变换矩阵有多个时，所述运动估计模块具体包括：

变换矩阵确定子模块，用于执行遍历参考图像中的候选预测块时，根据当前候选预测块的宽高关系及尺寸确定变换矩阵的步骤；

变换子模块，用于执行利用确定的变换矩阵对与所述当前候选预测块对应的残差数据进行变换的步骤；

所述变换矩阵确定子模块及所述变换子模块，用于采用上述步骤得到所述参考图像中的候选预测块对应的变换后的残差数据；

最佳预测模块获取子模块，用于利用所述参考图像中候选预测块对应的变换后的残差数据，从所述参考图像的候选预测块中找到最佳预测块；

所述变换矩阵确定子模块包括：

第一选择单元，用于从多个第二类型候选变换矩阵中选择与所述当前候选预测块的宽高关系最接近的变换矩阵；

所述第一选择单元具体用于当所述当前候选预测块的宽大于高时，从所述多个第二类型候选变换矩阵中选择宽大于高的变换矩阵；

具体用于当所述当前候选预测块的宽等于高时，从所述多个第二类型候选变换矩阵中选择宽等于高的变换矩阵；

具体用于所述当前候选预测块的宽小于高时，从所述多个第二类型候选变换矩阵中选择宽小于高的变换矩阵。

10.如权利要求9所述的图像编码装置，其特征在于，所述变换矩阵确定子模块还包括：

第二选择单元，用于当所述第一选择单元选择的变换矩阵有多个时，从选择的多个变换矩阵中，选择与所述当前候选预测块的尺寸最接近的变换矩阵。

11.如权利要求9或10所述的图像编码装置，其特征在于，所述变换矩阵确定子模块还包括：

矩阵划分单元，用于根据所述当前候选预测块的形状，对选择的变换矩阵进行划分，得到子变换矩阵；

第三选择单元，用于选择所述子变换矩阵中与所述当前候选预测块的宽高关系及尺寸最接近的子变换矩阵。

12.一种图像编码装置，包括运动估计模块和系数编码模块，所述运动估计模块用于搜索最佳预测块，所述系数编码模块用于利用所述最佳预测块获得当前子图像块的残差信息，并对所述残差信息进行变换、量化及熵编码，其特征在于，当所述系数编码模块用于所述变换的第一类型候选变换矩阵有多个时，所述运动估计模块包括：

预测块选择子模块，用于用各个第二类型候选变换矩阵从参考图像中搜索出各个第二类型候选变换矩阵对应的最匹配的候选预测块，从所述各个第二类型候选变换矩阵对应的最匹配的候选预测块中选择一个候选预测块作为所述最佳预测块；其中，所述第二类型候选变换矩阵包括非正方形的变换矩阵；

所述预测块选择子模块用各个第二类型候选变换矩阵从参考图像中搜索出各个第二类型候选变换矩阵对应的最匹配的候选预测块，包括：

所述预测块选择子模块根据各个所述候选预测块的宽高关系及尺寸，从所述参考图像中搜索与所述各个第二类型候选变换矩阵的尺寸最接近的候选预测块。