CN104754362B - 使用精细划分块匹配的图像压缩方法 - Google Patents

Abstract

本发明提供一种图像压缩方法。对编码单元进行匹配编码时，把所述编码单元分割成很多种不同形状的精细划分，每种精细划分有若干个子块组成，以这些子块为单位，在已重构参考像素样值集之中，按照预定的评估准则，搜索匹配子块并得到相应的位移矢量。在遍历了预先确定的所有精细划分的搜索之后，选择一种整体编码性能最优的精细划分以及对应的那组位移矢量对所述编码单元进行精细划分匹配编码。

Description

使用精细划分块匹配的图像压缩方法

技术领域

本发明涉及一种数字视频压缩编码及解码系统，特别是计算机屏幕图像和视频的编码及解码的方法。

背景技术

图像的数字视频信号的自然形式是图像的序列。一帧图像通常是由若干像素组成的矩形区域，而数字视频信号就是由几十帧至成千上万帧图像组成的视频图像序列，有时也简称为视频序列或序列。对数字视频信号进行编码就是对一帧一帧图像进行编码。

最新国际视频压缩标准HEVC（High Efficiency Video Coding）中，对一帧图像进行编码时，把一帧图像划分成若干块MxM像素的子图像，称为“编码单元（Coding Unit简称CU）”，以CU为基本编码单位，对子图像一块一块进行编码。常用的M的大小是8，16，32，64。因此，对一个视频图像序列进行编码就是对各帧图像的各个编码单元即CU依次进行编码。在任一时刻，正在编码中的CU称为当前编码CU。同样，解码时也是对各个编码单元即CU依次进行解码，最终重构出整个视频图像序列。在任一时刻，正在解码中的CU称为当前解码CU。当前编码CU或当前解码CU都统称为当前CU。

为适应一帧图像内各部分图像内容与性质的不同，有针对性地进行最有效的编码，一帧图像内各CU的大小可以是不同的，有的是8x8，有的是64x64，等等。为了使不同大小的CU能够无缝拼接起来，一帧图像总是先划分成大小完全相同具有NxN像素的“最大编码单元（Largest Coding Unit简称LCU）”，然后每个LCU再进一步划分成树状结构的多个大小不一定相同的CU。因此，LCU也称为“编码树单元（Coding Tree Unit简称CTU）”。例如，一帧图像先划分成大小完全相同的64x64像素的LCU（N＝64）。其中某个LCU由3个32x32像素的CU和4个16x16像素的CU构成，这样7个成树状结构的CU构成一个CTU。而另一个LCU由2个32x32像素的CU、3个16x16像素的CU和20个8x8像素的CU构成。这样25个成树状结构的CU构成另一个CTU。对一帧图像进行编码，就是依次对一个一个CTU中的一个一个CU进行编码。

一个彩色像素通常有3个分量（component）组成。最常用的两种像素色彩格式（pixel color format）是由绿色分量、蓝色分量、红色分量组成的GBR色彩格式和由一个亮度（luma）分量及两个色度（chroma）分量组成的YUV色彩格式，通称为YUV的色彩格式实际包括多种色彩格式，如YCbCr色彩格式。因此，对一个CU进行编码时，可以把一个CU分成3个分量平面（G平面、B平面、R平面或Y平面、U平面、V平面），对3个分量平面分别进行编码；也可以把一个像素的3个分量捆绑组合成一个3元组，对由这些3元组组成的CU整体进行编码。前一种像素及其分量的排列方式称为图像（及其CU）的平面格式（planar format），而后一种像素及其分量的排列方式称为图像（及其CU）的叠包格式（packed format）。像素的GBR色彩格式和YUV色彩格式都是像素的3分量表现格式。

除了像素的3分量表现格式，像素的另一种常用的现有技术的表现格式是调色板索引表现格式。在调色板索引表现格式中，一个像素的数值也可以用调色板的索引来表现。调色板空间中存储了需要被表现的像素的3个分量的数值或近似数值，调色板的地址被称为这个地址中存储的像素的索引。一个索引可以表现像素的一个分量，一个索引也可以表现像素的3个分量。调色板可以是一个，也可以是多个。在多个调色板的情形，一个完整的索引实际上由调色板编号和该编号的调色板的索引两部分组成。像素的索引表现格式就是用索引来表现这个像素。像素的索引表现格式在现有技术中也被称为像素的索引颜色（indexed color）或仿颜色（pseudo color）表现格式，或者常常被直接称为索引像素（indexed pixel）或仿像素（pseudo pixel）或像素索引或索引。索引有时也被称为指数。把像素用其索引表现格式来表现也称为索引化或指数化。

其他的常用的现有技术的像素表现格式包括CMYK表现格式和灰度表现格式。

YUV色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式：1个像素由1个Y分量、1个U分量、1个V分量组成的YUV4:4:4像素色彩格式；左右相邻的2个像素由2个Y分量、1个U分量、1个V分量组成的YUV4:2:2像素色彩格式；左右上下相邻按2x2空间位置排列的4个像素由4个Y分量、1个U分量、1个V分量组成的YUV4:2:0像素色彩格式。一个分量一般用1个8~16比特的数字来表示。YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式都是对YUV4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像素样值（pixel sample）或简单地称为一个样值（sample）。

编码或解码时的最基本元素可以是一个像素，也可以是一个像素分量，也可以是一个像素索引（即索引像素）。作为编码或解码的最基本元素的一个像素或一个像素分量或一个索引像素统称为一个像素样值（sample），有时也通称为一个像素值，或简单地称为一个样值。

在本发明和本发明专利申请中，“像素样值”、“像素值”、“样值”、“索引像素”、“像素索引”是同义词，根据上下文，可以明确是表示“像素”还是表示“一个像素分量”还是表示“索引像素”或者同时表示三者之任一。如果从上下文不能明确，那么就是同时表示三者之任一。

在现有的预测编解码方式，块匹配编解码方式，变换编解码方式中，为了提高编码效率，可以把一个CU划分成上下2个或左右2个或上下左右4个相等的预测单元（PredictionUnit简称PU），也可以把一个CU划分成四分之一或十六分之一大小的正方形的变换单元（Transform Unit简称TU）。

编码块或解码块是指一帧图像中对其施行编码或解码的一个区域，包括以下至少一种：最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU。

随着以远程桌面为典型表现形式的新一代云计算与信息处理模式及平台的发展和普及，多台计算机之间、计算机主机与智能电视、智能手机、平板电脑等其他数字设备之间及各种各类数字设备之间的互联已经成为现实并日趋成为一种主流趋势。这使得服务器端（云）到用户端的实时屏幕传输成为当前的迫切需求。由于需要传输的屏幕视频数据量巨大，对计算机屏幕图像必须进行高效高质量的数据压缩。

充分利用计算机屏幕图像的特点，对计算机屏幕图像进行超高效率的压缩，也是正在制定中的最新国际视频压缩标准HEVC和其他若干国际标准、国内标准、行业标准的一个主要目标。

计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样（pixel pattern）。例如，计算机屏幕图像中常出现的中文或外文文字，都是由少数几种基本笔划所构成，同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等，也具有很多相似或相同的图样。现有的图像和视频压缩技术中采用的帧内预测（intra prediction）方式，仅参考相邻的像素样值，无法利用一帧图像中的相似性或相同性来提高压缩效率。现有技术中的帧内运动补偿（intra motioncompensation）方式也称为帧内块复制（intra block copy）方式，用几种固定大小（8x8，16x16，32x32，64x64像素）的块来进行帧内块匹配（intra block matching）编码，不能达到具有各种不同大小和形状的比较精细的匹配。而另一种现有技术中的串匹配（stringmatching）方式，虽然能有效找到各种不同大小和形状的精细匹配，但却存在复杂度、计算量、存储器读写带宽都较大等问题。

因此，必须寻求新的编码工具，既能充分发掘和利用计算机屏幕图像中存在的相似或相同图样，以大幅度提高压缩效果，又把复杂度、计算量、存储器读写带宽等都控制在较小的范围内。

发明内容

本发明的主要技术特征是在对一个当前编码块进行匹配编码时，把所述编码块分割成很多种不同形状的精细划分，每种精细划分有若干个子块组成，以这些子块，称为被匹配子块或当前子块为单位，在已经完成编码和重构（包括完全重构和不同程度的部分重构）的历史像素样值区域（也称已重构参考像素样值区）中搜索匹配子块即参考子块也称为预测子块。所述已重构参考像素样值区由与所述当前编码块（从解码器的角度也称为解码块）位于同一帧图像内（即具有同样的图像次序计数picture order count 简称poc）或位于同一条带（slice）内的其他编码块的已重构（包括完全重构和/或不同程度的部分重构）像素样值和所述当前编码块内的已重构子块的已重构像素样值构成。所述已重构参考像素样值区包括所述其他编码块的已重构像素样值和所述已重构子块的已重构像素样值的部分或全部。图1是192种精细划分。其中64种精细划分的每种划分的每个子块都是由整数个4x1（宽是高的4倍）扁平微块构成，这64种精细划分称为以4x1微块为基的精细划分。其中另外64种精细划分的每种划分的每个子块都是由整数个1x4（高是宽的4倍）瘦高微块构成，这64种精细划分称为以1x4微块为基的精细划分。其中最后64种精细划分的每种划分的每个子块都是由整数个2x2（高与宽相等）正方微块构成，这64种精细划分称为以2x2微块为基的精细划分。所有这些划分的每种划分的子块数都不超过4.。因此，每个所述编码块的匹配编码的位移矢量（Displacement Vector简称DV）的数目也不超过4.。

在本发明和本发明专利申请中，“匹配子块”、“参考子块”、“预测子块”是同义词。

在本发明和本发明专利申请中，“被匹配子块”和“当前子块”是同义词。

基于精细划分的块匹配编码兼具位移矢量少从而复杂度和存储器读写带宽要求低的特征和匹配形状众多从而编码效率高的特征。

图1中表示的精细划分可以是叠包格式的精细划分，也可以是平面格式的一个分量（样值）的精细划分。因而本发明的方法，既可以适用于对叠包格式的编码块或解码块的像素的编码或解码，也可以适用于对平面格式的编码块或解码块的一个平面的像素样值的编码或解码。

本发明的编码方法中，最基本的特有技术特征就是，预先确定多种划分，包括若干种（一般十几种或几十种）精细划分，每一种用一个精细划分模式来代表，在对当前编码块进行编码时，对每一种精细划分的K个被匹配子块即当前子块（如图1所示，不同的精细划分有不同的K，可以是2或3或4等），在已经完成编码的历史像素样值区域（也称已重构参考像素样值区）中进行搜索，找到与所述K个被匹配子块相匹配的一组K个匹配子块即参考子块。每个匹配子块用一个参数称为位移矢量来表示匹配距离即匹配相对位置，一共有一组K个位移矢量。匹配子块的起始位置可以是已重构参考像素样值区之中任意像素样值的位置，与子块的尺寸无关，即位移矢量以像素样值为单位，其范围是整幅当前图像的部分或全部。在遍历了预先确定的所有精细划分的搜索之后，整体编码性能最优的那种精细划分以及对应的那组位移矢量，就是对所述当前编码块进行精细划分匹配编码的最优精细划分，用精细划分模式及位移矢量组这两个参数来表征，并写入视频压缩码流。所述已重构参考像素样值区由与所述当前编码块具有同样poc的图像或条带内的其他编码块的已重构像素样值和所述当前编码块内的已重构子块的已重构像素样值构成。所述已重构参考像素样值区包括所述其他编码块的已重构像素样值和所述已重构子块的已重构像素样值的部分或全部。

本发明的解码方法中，最基本的特有技术特征就是在对当前解码块的压缩码流数据进行解码时，从码流数据中解析得到精细划分模式及位移矢量组。然后，从当前解码块的位置和各位移矢量计算出已重构参考像素样值区之中的各参考子块的位置。接着，从已重构参考像素样值区之中复制各参考子块，将各参考子块移动和粘贴到当前解码中的各当前子块的位置，即把所述各参考子块的像素样值的数值直接或间接赋值予所述各当前子块，复原出整个当前解码块的像素样值。与编码时的情形一样，参考子块的起始位置可以是已重构参考像素样值区之中任意像素样值的位置，与子块的尺寸无关，即位移矢量以像素样值为单位，其范围是整幅当前图像的部分或全部。所述已重构参考像素样值区由与所述当前解码块具有同样poc的图像或条带内的其他解码块的已重构像素样值和所述当前解码块内的已重构子块的已重构像素样值构成。所述已重构参考像素样值区包括所述其他解码块的已重构像素样值和所述已重构子块的已重构像素样值的部分或全部。

以上通过若干特定的具体实例说明本发明的技术特征。本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在不背离本发明的精神下进行各种修饰或改变。

本发明的编码方法的流程示意图如图2所示。本发明的编码方法包括但不限于如下步骤：

1)对一个输入的编码块（包括但不限于CU）的像素样值进行精细划分匹配编码，产生出（1）最优的精细划分模式和（2）相应的一组最优的位移矢量即匹配相对位置；也就是遍历预先确定的若干种精细划分，在已重构参考像素样值区之中的一个预定的搜索范围内，按照预定的评估准则，搜索得到一个最优的精细划分模式以及对应的各最优的位移矢量；所述各位移矢量是搜索确定的各最优的匹配子块（又称参考子块）的位置坐标与所述编码块的所述精细划分模式中各被匹配子块（又称当前子块）的位置坐标之差；所述位移矢量的单位是像素样值（整像素样值或二分之一、四分之一、八分之一像素样值）的最小坐标单位；所述位移矢量指向的参考像素位于同一图像或同一条带内，其位置范围是整幅当前图像的已重构区域的部分或全部；精细划分匹配编码的输出是所述精细划分模式、所述位移矢量以及匹配残差；所述匹配残差是所述编码块中所述各当前子块的像素样值的数值与所述已重构参考像素样值区之中所述各参考子块的像素样值的数值之差；

2)其余的常用编码和重构步骤，如帧内块匹配、帧内微块匹配、帧内条匹配、帧内串匹配、帧内矩形匹配、帧内点匹配、调色板编码、帧内预测、帧间预测、变换、量化、逆变换、反量化、熵编码、去块效应滤波、样值自适应补偿（Sample Adaptive Offset）；本步骤的输入是上述步骤1）的输出和输入像素样值；本步骤的输出是重构像素（包括完全重构像素和不同程度的部分重构像素）和含精细划分模式及位移矢量组和其他编码结果的压缩码流；所述重构像素放入已重构参考像素样值暂存区（即已重构参考像素样值区）中，用作后续精细划分匹配编码步骤、其余常用编码和重构步骤所需要的参考像素；所述压缩码流也是本编码方法的最后输出。

以上精细划分匹配、帧内块匹配、帧内微块匹配、帧内条匹配、帧内串匹配、帧内矩形匹配、帧内点匹配，从解码的角度，通常称为精细划分复制、帧内块复制、帧内微块复制、帧内条复制、帧内串复制、帧内矩形复制、帧内点复制。

本发明的解码方法的特征在于，包括

解析视频码流，获得解码块的精细划分模式及位移矢量组，以及所述解码块的其他参数数据；其中，所述精细划分模式代表预先确定的若干种精细划分中的一种，用于指示将所述解码块划分成一个或多个解码子块，所述位移矢量组用于指示对应解码子块的参考子块的位置；

根据所述精细划分模式及位移矢量组，将所述解码子块对应的所述位移矢量指向的已重构参考像素样值区中与所述解码子块相同形状覆盖区域中的已重构参考像素样值赋值予所述解码子块的预测子块；其中，所述已重构参考像素样值区中的参考像素样值被设置为与所述解码块位于相同图像或相同条带中的其他解码块或其他解码子块中像素的解码重构值，或所述解码重构值经过滤波处理后的值；其中，所述位移矢量指向的参考像素位于同一图像或同一条带内，其位置范围是整幅当前图像的已重构区域的部分或全部；

根据所述解码块中的所述解码子块的预测子块和所述解码块的其他参数数据，构造所述解码块的重构像素样值。

本发明的解码方法的流程示意图如图3所示。本发明的解码方法包括但不限于如下步骤：

1)对含精细划分模式及位移矢量组和其他编码结果的压缩码流进行解析，输出1）获取的精细划分模式及位移矢量组，2）其余获取的解码参数和数据；所述精细划分模式代表预先确定的若干种精细划分中的一种；

2)使用精细划分模式及位移矢量组进行一个解码块的精细划分复制解码；包括：从已重构参考像素样值暂存区（即已重构参考像素样值区）中由所述移动矢量组的各位移矢量和所述精细划分模式指定的所述解码块中各被匹配子块（又称当前子块）的位置计算确定的各匹配子块（又称参考子块）的位置，复制所述各参考子块的样值，并将所述各参考子块移动和粘贴到所述解码块中所述各当前子块的位置，即把所述各参考子块的像素样值的数值直接或间接赋值予所述各当前子块，复原出所述解码块的像素样值；所述各位移矢量的单位是像素样值（整像素样值或二分之一、四分之一、八分之一像素样值）的最小坐标单位；所述各位移矢量指向的参考像素位于同一图像或同一条带内，其位置范围是整幅当前图像的已重构区域的部分或全部；

3)其余的常用解码和重构步骤，如帧内块复制、帧内微块复制、帧内条复制、帧内串复制、帧内矩形复制、帧内点复制、调色板解码、帧内预测、帧间预测、逆变换、反量化、熵解码、去块效应滤波、样值自适应补偿（Sample Adaptive Offset）；本步骤的输入是上述步骤2）的输出和上述步骤1）的输出2）即其余解析得到的数据；本步骤的输出是重构像素（包括完全重构像素和不同程度的部分重构像素）；所述重构像素放入已重构参考像素样值暂存区（即已重构参考像素样值区）中，用作后续精细划分复制解码步骤、其余常用解码和重构步骤所需要的参考像素；所述完全重构像素也是本解码方法的最后输出。

以上所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明直接有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

以下是本发明的更多的实施细节和变体。

预先确定的若干种精细划分的实施例1

所述预先确定的若干种精细划分包括以4x1微块为基的64种精细划分的部分或全部。这64种精细划分是用如下规则产生的：

一种两子块精细划分由两个左右完全相同的子块组成；

七种三子块精细划分由所述两子块精细划分的左子块被进一步划分成上下两个子块得到，称为：2+1三子块精细划分；

七种三子块精细划分由所述两子块精细划分的右子块被进一步划分成上下两个子块得到，称为：1+2三子块精细划分；

四十九种四子块精细划分由所述七种2+1三子块精细划分的右子块被进一步划分成上下两个子块得到。从每一种2+1三子块精细划分可以产生七种四子块精细划分。因此，总共可以产生四十九种四子块精细划分。

预先确定的若干种精细划分的实施例2

所述预先确定的若干种精细划分包括以1x4微块为基的64种精细划分的部分或全部。这64种精细划分的产生规则是把实施例1的产生规则中的左右改为上下，上下改为左右即可。

预先确定的若干种精细划分的实施例3

所述预先确定的若干种精细划分包括以2x2微块为基的64种精细划分的部分或全部。这64种精细划分是用如下规则产生的：

一种两子块精细划分由左右两个子块组成，左子块较小（四分之一）右子块较大（四分之三）；

一种两子块精细划分由左右两个子块组成，左子块较大（四分之三）右子块较小（四分之一）；

一种两子块精细划分由上下两个子块组成，上子块较小（四分之一）下子块较大（四分之三）；

一种两子块精细划分由上下两个子块组成，上子块较大（四分之三）下子块较小（四分之一）；

二十四种三子块精细划分由所述四种两子块精细划分的左、右、上、下子块被进一步划分成上下两个子块或左右两个子块得到。从每一种两子块精细划分可以产生六种三子块精细划分。因此，总共可以产生二十四种三子块精细划分。其中的十二种三子块精细划分被用来进一步产生四子块精细划分；

三十六种四子块精细划分由所述十二种三子块精细划分的尚未被划分的左、右、上、下子块被进一步划分成上下两个子块或左右两个子块得到。从每一种三子块精细划分可以产生三种四子块精细划分。因此，总共可以产生三十六种四子块精细划分。

预先确定的若干种精细划分的实施例4

所述预先确定的若干种精细划分包括以下100种精细划分的部分或全部。这100种精细划分是用如下规则产生的：

一种一子块精细划分，即所述编码块或解码块本身；

两种两子块精细划分由所述一子块精细划分的唯一子块被进一步划分成上下两个子块（即上子块和下子块）或左右两个子块（即左子块和右子块）得到；

八种精细划分由所述上子块和下子块中的至少一个子块被进一步划分成宽度为1个像素高度最大或者宽度最大高度为1个像素的子块得到；

八种精细划分由所述左子块和右子块中的至少一个子块被进一步划分成宽度为1个像素高度最大或者宽度最大高度为1个像素的子块得到；

一种四子块精细划分由所述一子块精细划分的唯一子块被进一步划分成上下左右四个子块（即上左子块、上右子块、下左子块、下右子块）得到；

八十种精细划分由所述上左子块、上右子块、下左子块、下右子块中的至少一个子块被进一步划分成宽度为1个像素高度最大或者宽度最大高度为1个像素的子块得到。

预先确定的若干种精细划分的实施例5

所述预先确定的若干种精细划分包括以下64种精细划分的部分或全部：

24种以4x1微块为基的精细划分；

22种以1x4微块为基的精细划分；

18种以2x2微块为基的精细划分。

预先确定的若干种精细划分的实施例6

所述预先确定的若干种精细划分包括以下32种精细划分的部分或全部：

12种以4x1微块为基的精细划分；

11种以1x4微块为基的精细划分；

9种以2x2微块为基的精细划分。

预先确定的若干种精细划分的实施例7

所述预先确定的若干种精细划分包括以下15种精细划分的部分或全部：

1种以4x1微块为基的两子块精细划分，即把编码块或解码块左右两等分的两子块精细划分；

1种以1x4微块为基的两子块精细划分，即把编码块或解码块上下两等分的两子块精细划分；

4种以2x2微块为基的两子块精细划分，即把编码块或解码块或左右或上下非相等分割的两子块精细划分；

1种以4x1微块为基的四子块精细划分，即把编码块或解码块上下左右四等分的四子块精细划分；

2种以4x1微块为基的三子块精细划分；

2种以1x4微块为基的三子块精细划分；

2种以4x1微块为基的四子块精细划分；

2种以1x4微块为基的四子块精细划分。

图4（a）是以上15种精细划分的示例。

预先确定的若干种精细划分的实施例8

所述预先确定的若干种精细划分包括以下15种精细划分的部分或全部：

1种以4x1微块为基的两子块精细划分，即把编码块或解码块左右两等分的两子块精细划分；

1种以1x4微块为基的两子块精细划分，即把编码块或解码块上下两等分的两子块精细划分；

4种以2x2微块为基的两子块精细划分，即把编码块或解码块或左右或上下非相等分割的两子块精细划分；

1种以4x1微块为基的四子块精细划分，即把编码块或解码块上下左右四等分的四子块精细划分；

2种以4x1微块为基的三子块精细划分；

4种以4x1微块为基的四子块精细划分；

2种以1x4微块为基的四子块精细划分。

图4（b）是以上15种精细划分的示例。

预先确定的若干种精细划分的实施例9

所述编码块或解码块有WxH个像素样值，其中WxH的取值范围包括但不限于8x8，16x16，32x32，64x64，所述预先确定的若干种精细划分包括以下94种精细划分的部分或全部：

1种把编码块或解码块不进行划分的一子块精细划分；

1种把编码块或解码块左右两等分的两子块精细划分；

1种把编码块或解码块上下两等分的两子块精细划分；

1种把编码块或解码块等分成H个水平条的H子块精细划分，每个水平条有Wx1个像素样值；

1种把编码块或解码块等分成W个垂直条的W子块精细划分，每个垂直条有1xH个像素样值；

1种把编码块或解码块首先左右两等分，然后再把左半部分等分成H个水平条的H＋1子块精细划分，每个水平条有W/2 x 1个像素样值；

1种把编码块或解码块首先左右两等分，然后再把左半部分等分成W/2个垂直条的W/2+1子块精细划分，每个垂直条有1xH个像素样值；

1种把编码块或解码块首先左右两等分，然后再把右半部分等分成H个水平条的1＋H子块精细划分，每个水平条有W/2 x 1个像素样值；

1种把编码块或解码块首先左右两等分，然后再把右半部分等分成W/2个垂直条的1＋W/2子块精细划分，每个垂直条有1xH个像素样值；

1种把编码块或解码块首先上下两等分，然后再把上半部分等分成W个垂直条的W＋1子块精细划分，每个垂直条有1 x H/2个像素样值；

1种把编码块或解码块首先上下两等分，然后再把上半部分等分成H/2个水平条的H/2+1子块精细划分，每个水平条有Wx1个像素样值；

1种把编码块或解码块首先上下两等分，然后再把下半部分等分成W个垂直条的1＋W子块精细划分，每个垂直条有1 x H/2个像素样值；

1种把编码块或解码块首先上下两等分，然后再把下半部分等分成H/2个水平条的1＋H/2子块精细划分，每个水平条有Wx1个像素样值；

81种把编码块或解码块首先上下左右四等分，然后再把任一四分之一部分等分成H/2个水平条或者W/2个垂直条或者不再等分的子块精细划分，所述水平条有W/2x1个像素样值，所述垂直条有1 x H/2个像素样值，所述81种子块精细划分包括1种四子块精细划分，80种大于四子块（4种1＋3W/2子块、12种1＋W/2＋H子块、12种1＋W＋H/2子块、4种1＋3H/2子块、6种2＋W子块、6种2＋H子块、12种2＋W/2＋H/2子块、4种3＋W/2子块、4种3＋H/2子块、1种2W子块、4种3W/2＋H/2子块、6种W＋H子块、4种W/2＋3H/2子块、1种2H子块）精细划分。

图4（c）是以上94种精细划分中前13种精细划分的示例。

含精细划分模式及位移矢量组和其他编码结果的压缩码流的实施例

所述含精细划分模式及位移矢量组和其他编码结果的压缩码流中的编码块（从解码器的角度也称为解码块）部分由载入了下列信息的语法元素构成：

编码块头、精细划分模式、位移矢量1水平分量、位移矢量1垂直分量、位移矢量2水平分量、位移矢量2垂直分量、… … 、位移矢量K水平分量、位移矢量K垂直分量、其他编码结果；

除了所述编码块头语法元素，所有其他所述语法元素在码流中的放置排列顺序并不是唯一的，可采用任意一种预先确定的合理的顺序；所述精细划分模式语法元素或位移矢量语法元素可优选地被拆成几部分，分别放置在码流中不同的地方；所述精细划分模式语法元素或位移矢量语法元素的部分或全部可优选地不直接放置在码流中，而是从其他编码或解码参数导出；所述精细划分模式语法元素或位移矢量语法元素的部分或全部可优选地经过预测运算或其他运算后放置在码流中；所述其他编码结果语法元素可优选地被拆成几部分，分别放置在码流中不同的地方。

附图说明

图1是64种以4x1微块为基的精细划分、64种以1x4微块为基的精细划分、64种以2x2微块为基的精细划分

图2是本发明的编码方法流程示意图

图3是本发明的解码方法流程示意图

图4是3组精细划分的例。

Claims (11)

1.一种图像编码方法，其特征在于，至少包括完成下列功能和操作的步骤：

对一个编码块进行以包括称为4x1微块的宽为高的4倍的微块和/或称为1x4微块的高为宽的4倍的微块和/或称为2x2微块的宽与高相等且都为两个像素的整数倍的微块在内的一种或多种微块为基的精细划分匹配编码；所述精细划分的每种划分的每个子块都是由整数个预定的若干种微块构成，至少采用若干种预先确定的精细划分之一对所述编码块进行编码，至少将表征所述编码块所采用的精细划分的信息写入码流；所述若干种预先确定的精细划分包括至少按照下列规则产生的精细划分的部分或全部：

对所述编码块进行一次或多次划分产生子块，每次划分产生的至少两个子块允许其形状不相同但每一个所述子块的形状都是由整数个预定的若干种微块构成的矩形；

设所述微块的宽和高分别为j和k，设所述编码块的宽和高分别为M和N，所述子块的宽和高分别为M’和N’，则M、N、M’、N’满足下列限制：

1）M = m × j、N = n × k、M’ = m’ × j、N’ = n’ × k

其中，j和k包括满足下列限制关系2）的正整数：

2）j = 4×k或k = 4×j或j = k ≥ 2。

2.根据权利要求1所述的图像编码方法，其特征在于，至少使用运动矢量来表示参考子块的位置。

3.一种图像解码方法，其特征在于，至少包括完成下列功能和操作的步骤：

解析码流，获得表征解码块采用了若干种预先确定的精细划分中何种精细划分的信息，至少根据所述信息，对所述解码块进行以包括称为4x1微块的宽为高的4倍的微块和/或称为1x4微块的高为宽的4倍的微块和/或称为2x2微块的宽与高相等且都为两个像素的整数倍的微块在内的一种或多种微块为基的精细划分匹配解码；所述精细划分的每种划分的每个子块都是由整数个预定的若干种微块构成；所述若干种预先确定的精细划分包括至少按照下列规则产生的精细划分的部分或全部：

对所述解码块进行一次或多次划分产生子块，每次划分产生的至少两个子块允许其形状不相同但每一个所述子块的形状都是由整数个预定的若干种微块构成的矩形；

设所述微块的宽和高分别为j和k，设所述解码块的宽和高分别为M和N，所述子块的宽和高分别为M’和N’，则M、N、M’、N’满足下列限制：

1）M = m × j、N = n × k、M’ = m’ × j、N’ = n’ × k

其中，j和k包括满足下列限制关系2）的正整数：

2）j = 4×k或k = 4×j或j = k ≥ 2。

4.根据权利要求3所述的图像解码方法，其特征在于，至少使用运动矢量来表示参考子块的位置。

5.根据权利要求3或4所述的解码方法，其特征在于：所述解码块是图像的一个解码区域，包括以下至少一种：最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU。

6.根据权利要求3或4所述的解码方法，其特征在于：

所述若干种预先确定的精细划分包括以4x1微块为基的至少按照下列规则产生的64种精细划分的部分或全部：

一种两子块精细划分由两个左右完全相同的子块组成；

七种三子块精细划分由所述两子块精细划分的左子块被进一步划分成上下两个形状相同或不相同的子块得到，称为：2+1三子块精细划分；

七种三子块精细划分由所述两子块精细划分的右子块被进一步划分成上下两个形状相同或不相同的子块得到，称为：1+2三子块精细划分；

四十九种四子块精细划分由所述七种2+1三子块精细划分的右子块被进一步划分成上下两个形状相同或不相同的子块得到；从每一种2+1三子块精细划分可以产生七种四子块精细划分；因此，总共可以产生四十九种四子块精细划分；

或者，

所述若干种预先确定的精细划分包括以1x4微块为基的64种精细划分的部分或全部；这64种精细划分的产生规则是把所述以4x1微块为基的64种精细划分的产生规则中的左右改为上下，上下改为左右即可；

或者，

所述若干种预先确定的精细划分包括以2x2微块为基的至少按照下列规则产生的64种精细划分的部分或全部：

一种两子块精细划分由左右两个子块组成，左子块较小即四分之一，右子块较大即四分之三；

一种两子块精细划分由左右两个子块组成，左子块较大即四分之三，右子块较小即四分之一；

一种两子块精细划分由上下两个子块组成，上子块较小（四分之一）下子块较大（四分之三）；

一种两子块精细划分由上下两个子块组成，上子块较大（四分之三）下子块较小（四分之一）；

二十四种三子块精细划分由所述四种两子块精细划分的左、右、上、下子块被进一步划分成上下两个形状相同或不相同的子块或者左右两个形状相同或不相同的子块得到；从每一种两子块精细划分可以产生六种三子块精细划分；因此，总共可以产生二十四种三子块精细划分；其中的十二种三子块精细划分被用来进一步产生四子块精细划分；

三十六种四子块精细划分由所述十二种三子块精细划分的尚未被划分的左、右、上、下子块被进一步划分成上下两个形状相同或不相同的子块或者左右两个形状相同或不相同的子块得到；从每一种三子块精细划分可以产生三种四子块精细划分；因此，总共可以产生三十六种四子块精细划分。

7.根据权利要求3或4所述的解码方法，其特征在于：

所述若干种预先确定的精细划分包括至少按照下列规则产生的以下100种精细划分的部分或全部：

一种一子块精细划分，即所述编码块或解码块本身；

两种两子块精细划分由所述一子块精细划分的唯一子块被进一步划分成上下两个子块即上子块和下子块或左右两个子块即左子块和右子块得到；

八种精细划分由所述上子块和下子块中的至少一个子块被进一步划分成宽度为1个像素高度最大或者宽度最大高度为1个像素的子块得到；

八种精细划分由所述左子块和右子块中的至少一个子块被进一步划分成宽度为1个像素高度最大或者宽度最大高度为1个像素的子块得到；

一种四子块精细划分由所述一子块精细划分的唯一子块被进一步划分成上下左右四个子块（即上左子块、上右子块、下左子块、下右子块）得到；

八十种精细划分由所述上左子块、上右子块、下左子块、下右子块中的至少一个子块被进一步划分成宽度为1个像素高度最大或者宽度最大高度为1个像素的子块得到。

8.根据权利要求3或4所述的解码方法，其特征在于：所述若干种预先确定的精细划分包括以下64种精细划分的部分或全部：

24种以4x1微块为基的精细划分；

22种以1x4微块为基的精细划分；

18种以2x2微块为基的精细划分；

或者，所述若干种预先确定的精细划分包括以下32种精细划分的部分或全部：

12种以4x1微块为基的精细划分；

11种以1x4微块为基的精细划分；

9种以2x2微块为基的精细划分。

9.根据权利要求3或4所述的解码方法，其特征在于：所述若干种预先确定的精细划分包括以下15种精细划分的部分或全部：

1种以4x1微块为基的两子块精细划分，即把编码块或解码块左右两等分的两子块精细划分；

1种以1x4微块为基的两子块精细划分，即把编码块或解码块上下两等分的两子块精细划分；

4种以2x2微块为基的两子块精细划分，即把编码块或解码块或左右或上下非相等分割的两子块精细划分；

1种以4x1微块为基的四子块精细划分，即把编码块或解码块上下左右四等分的四子块精细划分；

2种以4x1微块为基的三子块精细划分，其中左半块或右半块被划分为上下两个形状不相同的子块；

2种以1x4微块为基的三子块精细划分，其中上半块或下半块被划分为左右两个形状不相同的子块；

2种以4x1微块为基的四子块精细划分，其中左半块和右半块都被划分为上下两个形状不相同的子块；

2种以1x4微块为基的四子块精细划分，其中上半块和下半块都被划分为左右两个形状不相同的子块；

或者，所述若干种预先确定的精细划分包括以下15种精细划分的部分或全部：

1种以4x1微块为基的两子块精细划分，即把编码块或解码块左右两等分的两子块精细划分；

1种以1x4微块为基的两子块精细划分，即把编码块或解码块上下两等分的两子块精细划分；

4种以2x2微块为基的两子块精细划分，即把编码块或解码块或左右或上下非相等分割的两子块精细划分；

1种以4x1微块为基的四子块精细划分，即把编码块或解码块上下左右四等分的四子块精细划分；

2种以4x1微块为基的三子块精细划分，其中左半块或右半块被划分为上下两个形状不相同的子块；

4种以4x1微块为基的四子块精细划分，其中左半块和右半块都被划分为上下两个形状不相同的子块；

2种以1x4微块为基的四子块精细划分，其中上半块和下半块都被划分为左右两个形状不相同的子块。

10.根据权利要求3或4所述的解码方法，其特征在于：所述编码块或解码块有WxH个像素样值，其中WxH的取值范围包括但不限于8x8，16x16，32x32，64x64，所述若干种预先确定的精细划分包括以下93种精细划分的部分或全部：

1种把编码块或解码块左右两等分的两子块精细划分；

1种把编码块或解码块上下两等分的两子块精细划分；

1种把编码块或解码块等分成H个水平条的H子块精细划分，每个水平条有Wx1个像素样值；

1种把编码块或解码块等分成W个垂直条的W子块精细划分，每个垂直条有1xH个像素样值；

1种把编码块或解码块首先左右两等分，然后再把左半部分等分成H个水平条的H＋1子块精细划分，每个水平条有W/2 x 1个像素样值；

1种把编码块或解码块首先左右两等分，然后再把左半部分等分成W/2个垂直条的W/2+1子块精细划分，每个垂直条有1xH个像素样值；

1种把编码块或解码块首先左右两等分，然后再把右半部分等分成H个水平条的1＋H子块精细划分，每个水平条有W/2 x 1个像素样值；

1种把编码块或解码块首先左右两等分，然后再把右半部分等分成W/2个垂直条的1＋W/2子块精细划分，每个垂直条有1xH个像素样值；

1种把编码块或解码块首先上下两等分，然后再把上半部分等分成W个垂直条的W＋1子块精细划分，每个垂直条有1 x H/2个像素样值；

1种把编码块或解码块首先上下两等分，然后再把上半部分等分成H/2个水平条的H/2+1子块精细划分，每个水平条有Wx1个像素样值；

1种把编码块或解码块首先上下两等分，然后再把下半部分等分成W个垂直条的1＋W子块精细划分，每个垂直条有1 x H/2个像素样值；

1种把编码块或解码块首先上下两等分，然后再把下半部分等分成H/2个水平条的1＋H/2子块精细划分，每个水平条有Wx1个像素样值；

81种把编码块或解码块首先上下左右四等分，然后再把任一四分之一部分等分成H/2个水平条或者W/2个垂直条或者不再等分的子块精细划分，所述水平条有W/2x1个像素样值，所述垂直条有1 x H/2个像素样值，所述81种子块精细划分包括1种四子块精细划分，80种大于四子块（4种1＋3W/2子块、12种1＋W/2＋H子块、12种1＋W＋H/2子块、4种1＋3H/2子块、6种2＋W子块、6种2＋H子块、12种2＋W/2＋H/2子块、4种3＋W/2子块、4种3＋H/2子块、1种2W子块、4种3W/2＋H/2子块、6种W＋H子块、4种W/2＋3H/2子块、1种2H子块）精细划分。

11.根据权利要求3或4所述的解码方法，其特征在于：

所述含精细划分及运动矢量和其他编码结果的压缩码流中的解码块部分由载入了下列信息的语法元素构成：

编码块头、精细划分模式、运动矢量1水平分量、运动矢量1垂直分量、运动矢量2水平分量、运动矢量2垂直分量、… … 、运动矢量K水平分量、运动矢量K垂直分量、其他编码结果；

除了所述编码块头语法元素，所有其他所述语法元素在码流中的放置排列顺序并不是唯一的，可采用任意一种预先确定的合理的顺序；所述精细划分模式语法元素或位移矢量语法元素可优选地被拆成几部分，分别放置在码流中不同的地方；所述精细划分模式语法元素或位移矢量语法元素的部分或全部可优选地不直接放置在码流中，而是从其他编码或解码参数导出；所述精细划分模式语法元素或位移矢量语法元素的部分或全部可优选地经过预测运算或其他运算后放置在码流中；所述其他编码结果语法元素可优选地被拆成几部分，分别放置在码流中不同的地方。

Images