CN104581186B - 一种图像压缩中对帧内移动矢量进行编码和解码的方法 - Google Patents

Abstract

本发明提供了一种图像压缩中对帧内块匹配的移动矢量进行编码和解码的方法，把移动矢量所在的平面区域划分成3个部分区域，对其中至少一个部分区域，在编码器中将原始移动矢量(x,y)完全一对一地映射成移动矢量(xx,yy)，称为映射后移动矢量，而在解码器中将映射后移动矢量(xx,yy)完全一对一地逆映射成原始移动矢量(xx,yy)，所述映射或逆映射是平移和/或沿一条水平界线的上下对称映射和/或沿一条垂直界线的左右对称映射，所述部分区域内至少存在一部分移动矢量(x,y)和对应的移动矢量(xx,yy)，其水平分量和/或垂直分量满足关系|xx|<|x|和/或|yy|<|y|。

Description

一种图像压缩中对帧内移动矢量进行编码和解码的方法

技术领域

本发明涉及一种数字视频压缩编码及解码系统，特别是计算机屏幕图像和视频的编码及解码的方法和装置。

背景技术

随着以远程桌面为典型表现形式的新一代云计算与信息处理模式及平台的发展和普及，多台计算机之间、计算机主机与智能电视、智能手机、平板电脑等其他数字设备之间及各种各类数字设备之间的互联已经成为现实并日趋成为一种主流趋势。这使得服务器端（云）到用户端的实时屏幕传输成为当前的迫切需求。由于需要传输的屏幕视频数据量很大，以平板电脑2048x1536像素分辨率且60帧/秒刷新率的24位真彩色屏幕图像为例，需要传输的数据达每秒2048x1536x60x24=4320兆比特，如此多的数据要想在现实的网络条件下实现实时传输是不可能的，因此对于计算机屏幕图像的有效的数据压缩必不可少。

充分利用计算机屏幕图像的特点，对计算机屏幕图像进行超高效率的压缩，也是最新国际视频压缩标准HEVC（High Efficiency Video Coding）和其他若干国际标准、国内标准、行业标准，如中国数字音视频编解码标准AVS的一个主要目标。

计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样（pixel pattern）。例如，计算机屏幕图像中常出现的中文或外文文字，都是由少数几种基本笔划所构成，同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等，也具有很多相似或相同的图样。现有的图像和视频压缩技术中采用的帧内预测（intra prediction）方式，仅参考相邻的像素样值，无法利用一帧图像中的相似性或相同性来提高压缩效率。现有技术中的帧内运动补偿（intra motioncompensation）方式也称为帧内块复制（intra block copy）方式，用几种固定大小（如4x4，8x8，16x16，32x32，64x64像素）的块来进行帧内块匹配（intra block matching）编码，也不能找到各种不同大小和形状的匹配。而另一种现有技术中的串匹配（string matching）方式，虽然能有效找到各种不同大小和形状的匹配，但却存在复杂度、计算量、存储器读写带宽都较大等问题。因此，必须寻求新的编码工具，既能充分发掘和利用计算机屏幕图像中存在的相似或相同图样，以大幅度提高压缩效果，又把复杂度、计算量、存储器读写带宽等都控制在较小的范围内。

屏幕图像的数字视频信号的自然形式是图像的序列。一幅图像通常是由若干像素组成的矩形区域，如果一个数字视频信号每秒有50幅图像，那么一段30分钟的数字视频信号就是一个由30x60x50＝90000幅图像组成的视频图像序列，有时也简称为视频序列或序列。对数字视频信号进行编码就是对一幅一幅图像进行编码。

在几乎所有视频压缩标准如MPEG-1/2/4，H.264/AVC以及HEVC中，对一幅图像进行编码（以及相应的解码）时，把一幅图像划分成若干块MxM像素的子图像，称为编码块（从解码的角度也就是解码块，统称为编解码块）或“编码单元（Coding Unit简称CU）”，以CU为基本编码单位，对子图像一块一块进行编码。常用的M的大小是4，8，16，32，64。因此，对一个视频图像序列进行编码就是对各个编码单元依次进行编码。在任一时刻，正在编码中的编码块称为当前编码块。同样，解码时也是对各个编码单元依次进行解码，最终重构出整个视频图像序列。在任一时刻，正在解码中的解码块称为当前解码块。当前编码块或当前解码块统称为当前编解码块。

为适应一幅图像内各部分图像内容与性质的不同，有针对性地进行最有效的编码，一幅图像内各CU的大小可以是不同的，有的是8x8，有的是64x64，等等。为了使不同大小的CU能够无缝拼接起来，一幅图像总是先划分成大小完全相同具有NxN像素的“最大编码单元（Largest Coding Unit简称LCU）”，然后每个LCU再进一步划分成多个大小不一定相同的CU。例如，一幅图像先划分成大小完全相同的64x64像素的LCU（N＝64）。其中某个LCU由3个32x32像素的CU和4个16x16像素的CU构成。而另一个LCU由2个32x32像素的CU、3个16x16像素的CU和20个8x8像素的CU构成。对一幅图像进行编码，就是依次对一个一个CU进行编码。

一个彩色像素有3个分量（component）组成。最常用的两种像素色彩格式（pixelcolor format）是由绿色分量、蓝色分量、红色分量组成的GBR色彩格式和由一个亮度（luma）分量及两个色度（chroma）分量组成的YUV色彩格式也称YCbCr色彩格式。因此，对一个CU进行编码时，可以把一个CU分成3个分量平面（G平面、B平面、R平面或Y平面、U平面、V平面），对3个分量平面分别进行编码；也可以把一个像素的3个分量捆绑组合成一个3元组，对由这些3元组组成的CU整体进行编码。前一种像素及其分量的排列方式称为图像（及其CU）的平面格式（planar format），而后一种像素及其分量的排列方式称为图像（及其CU）的叠包格式（packed format）。

YUV色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式：1个像素由1个Y分量、1个U分量、1个V分量组成的YUV4:4:4像素色彩格式；左右相邻的2个像素由2个Y分量、1个U分量、1个V分量组成的YUV4:2:2像素色彩格式；左右上下相邻按2x2空间位置排列的4个像素由4个Y分量、1个U分量、1个V分量组成的YUV4:2:0像素色彩格式。一个分量一般用1个8~16比特的数字来表示。YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式都是对YUV4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像素样值（pixel sample）或简单地称为一个样值（sample）。

帧内块匹配（intra block matching，也称帧内运动补偿intra motioncompensation或称帧内块复制intra block copy）编码就是在对一个CU进行编码时，在同一帧内的已重构参考像素样值集之中的某个预定的搜索范围（search range）内搜索与所述CU（即被匹配块）之间匹配误差最小的一个匹配块（称为最优匹配块），然后把被匹配块与最优匹配块之间的相对位置（称为移动矢量即motion vector简称MV）写入视频压缩码流中。

帧内块匹配解码就是在对一个CU进行解码时，根据从视频压缩码流中解析出来的一个MV，来确定同一帧内的已重构参考像素样值集之中的匹配块的位置，然后把所述匹配块复制和粘贴到所述CU（即被匹配块）的位置。

发明内容

本发明提供了一种图像压缩中对帧内块匹配的移动矢量进行编码和解码的方法，把移动矢量所在的平面区域划分成3个部分区域，对其中至少一个部分区域，在编码器中将原始移动矢量(x, y)完全一对一地映射成移动矢量(xx, yy)，称为映射后移动矢量，而在解码器中将映射后移动矢量(xx, yy)完全一对一地逆映射成原始移动矢量(xx, yy)，所述映射或逆映射是平移和/或沿一条水平界线的上下对称映射和/或沿一条垂直界线的左右对称映射，所述部分区域内至少存在一部分移动矢量(x, y)和对应的移动矢量(xx, yy)，其水平分量和/或垂直分量满足关系|xx| < |x|和/或|yy| < |y|。

如图1所示，帧内块匹配的移动矢量(x, y)就是匹配块与当前编码单元（被匹配块）的坐标之差。x < 0表示匹配块在当前编码单元的左侧。x > 0表示匹配块在当前编码单元的右侧。x = 0表示匹配块在当前编码单元的正上方。同样，y < 0表示匹配块在当前编码单元的上侧。y > 0表示匹配块在当前编码单元的下侧。y = 0表示匹配块在当前编码单元的正左方。匹配块与当前编码单元有完全相同的宽度W和高度H。匹配块通常是正方形的，即W＝H。由于匹配块与当前编码单元不能重叠，x > -W且y > -H的情况绝对不会发生。也就是如图2(a)所示，移动矢量(x, y)所代表的点在平面上的位置与当前编码单元之间的距离至少为宽度W（＝高度H）。

本发明的主要技术特征如图2所示，首先，把移动矢量(x, y)所在的区域划分成3部分，在图2(a)中分别用3种斜线（或直线）表示；然后，把这3部分区域分别映射成与当前编码单元距离最接近的区域，在图2(b)中也分别用3种斜线（或直线）表示。在将原始移动矢量(x, y)映射成新的移动矢量(xx, yy)后，再将映射后移动矢量(xx, yy)通过熵编码放入压缩码流。由于映射后移动矢量(xx, yy)比原始移动矢量(x, y)更小，对映射后移动矢量(xx, yy)进行熵编码将产生更少的比特数，从而提高了压缩效率。

本发明的编码方法中，最基本的特有技术特征就是将所有或部分原始移动矢量完全一对一地映射成距离当前编码单元最接近的新移动矢量，称为映射后移动矢量。

本发明的解码方法中，最基本的特有技术特征就是将映射后移动矢量完全一对一地逆映射成距离当前编码单元更远的原始移动矢量。

附图说明

图1是块匹配编码和解码中移动矢量的示意图例

图2是本发明的对移动矢量进行分区域映射的示意图

具体实施方式

具体实施例1

本发明的编码方法的一个具体实施例是把原始移动矢量所在的平面区域划分成3部分：

第一部分：位于当前编码单元上侧和上右侧的部分，与当前编码单元之间的垂直距离至少为当前编码单元的高度；

第二部分：位于当前编码单元左侧的部分，与当前编码单元之间的水平距离至少为当前编码单元的宽度；

第三部分：位于所述第一部分与所述第二部分之间的部分，与当前编码单元之间的垂直距离至少为当前编码单元的高度，但与当前编码单元之间的水平距离小于当前编码单元的宽度；

对所述第一部分的映射是把所述第一部分向下平移，平移量为所述当前编码单元的高度；对所述第二部分的映射是把所述第二部分向右平移，平移量为所述当前编码单元的宽度；对所述第三部分的映射是首先把所述第三部分底朝天翻转，然后平移到映射后所述第一部分与映射后所述第二部分之间的位置；映射后所述第三部分的上边界与映射后所述第一部分的下边界紧密相邻；映射后所述第三部分的左边界与映射后所述第二部分的右边界紧密相邻；然后对映射后移动矢量进行熵编码并把熵编码结果放入压缩码流。

具体实施例2

本发明的解码方法的一个具体实施例是把从压缩码流中经过熵解码得到的移动矢量所在的平面区域划分成3部分：

第一部分：位于当前编码单元上侧和上右侧的部分；所述第一部分的最底部的移动矢量的垂直分量为零；

第二部分：位于当前编码单元左侧的部分；所述第二部分的最右部的移动矢量的水平分量为零；

第三部分：位于所述第一部分与所述第二部分之间的宽度为当前编码单元宽度的部分；所述第三部分的上边界与所述第一部分的下边界紧密相邻；所述第三部分的左边界与所述第二部分的右边界紧密相邻；

对所述第一部分的逆映射是把所述第一部分向上平移，平移量为所述当前编码单元的高度；对所述第二部分的逆映射是把所述第二部分向左平移，平移量为所述当前编码单元的宽度；对所述第三部分的逆映射是首先把所述第三部分底朝天翻转，然后平移到逆映射后所述第一部分与逆映射后所述第二部分之间的位置；逆映射后所述第三部分的下边界与逆映射后所述第一部分的下边界对齐（即具有相同的垂直分量，与所述当前编码单元之间的垂直距离都为所述当前编码单元高度）；逆映射后所述第三部分的左边界与逆映射后所述第二部分的右边界紧密相邻；逆映射后所述第三部分的右边界与逆映射后所述第一部分的左边界紧密相邻；所述逆映射把从压缩码流中经过熵解码得到的移动矢量复原成为用于块匹配解码和重构的原始移动矢量。

具体实施例3

原始移动矢量(x, y)与映射后移动矢量(xx, yy)之间的映射关系的一个具体实施例是：

正映射（设当前编码单元宽度为W，高度为H）：

如果x大于0，则xx = x; yy = y + H;

如果x小于或等于-W，则xx = x + W; yy = y;

如果x小于或等于0并且大于-W)，则xx = x + W; yy = -(y + H - 1);

逆映射：

如果xx大于0 并且yy小于或等于0，则x = xx; y = yy – H;

如果xx小于或等于0，则x = xx - W; y = yy;

如果xx大于0并且yy大于0，则x = xx – W; y = -(yy + H - 1);

以上通过若干特定的具体实例说明本发明的技术特征。本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在不背离本发明的精神下进行各种修饰或改变。

以上所提供的图示仅以示意方式说明本发明的基本构想，图示中仅显示与本发明直接有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

本发明既可适用于平面格式的块匹配编码和解码，也可适用于叠包格式的块匹配编码和解码。

Claims (8)

1.一种图像帧内块匹配编码中对移动矢量的编码方法，其特征在于把原始移动矢量所在的平面区域划分成3部分：

第一部分：位于当前编码单元上侧和上右侧的部分，与当前编码单元之间的垂直距离至少为当前编码单元的高度；

第二部分：位于当前编码单元左侧的部分，与当前编码单元之间的水平距离至少为当前编码单元的宽度；

第三部分：位于所述第一部分与所述第二部分之间的部分，与当前编码单元之间的垂直距离至少为当前编码单元的高度，但与当前编码单元之间的水平距离小于当前编码单元的宽度；

对其中至少一个部分区域，首先将所述部分区域内的原始移动矢量(x, y)完全一对一地映射成新移动矢量(xx, yy)，称为映射后移动矢量；对所述第一部分的映射是把所述第一部分向下平移，平移量为所述当前编码单元的高度；对所述第二部分的映射是把所述第二部分向右平移，平移量为所述当前编码单元的宽度；对所述第三部分的映射是首先把所述第三部分底朝天翻转，然后平移到映射后所述第一部分与映射后所述第二部分之间的位置；映射后所述第三部分的上边界与映射后所述第一部分的下边界紧密相邻；映射后所述第三部分的左边界与映射后所述第二部分的右边界紧密相邻；然后对映射后移动矢量进行熵编码并把熵编码结果放入压缩码流。

2.根据权利要求1所述的图像帧内块匹配编码中对移动矢量的编码方法，其特征在于依据原始移动矢量(x, y)，当前编码单元宽度W，当前编码单元高度H来计算映射后移动矢量(xx, yy)的映射关系为：

如果x大于0，则xx = x; yy = y + H;

如果x小于或等于-W，则xx = x + W; yy = y;

如果x小于或等于0并且x大于-W，则xx = x + W; yy = -(y + H - 1)。

3.根据权利要求1或权利要求2所述的图像帧内块匹配编码中对移动矢量的编码方法，其特征在于所述帧内块匹配编码是平面格式的块匹配编码。

4.根据权利要求1或权利要求2所述的图像帧内块匹配编码中对移动矢量的编码方法，其特征在于所述帧内块匹配编码是叠包格式的块匹配编码。

5.一种图像帧内块匹配解码中对移动矢量的解码方法，其特征在于把从压缩码流中经过熵解码得到的移动矢量所在的平面区域划分成3部分：

第一部分：位于当前编码单元上侧和上右侧的部分；所述第一部分的最底部的移动矢量的垂直分量为零；

第二部分：位于当前编码单元左侧的部分；所述第二部分的最右部的移动矢量的水平分量为零；

第三部分：位于所述第一部分与所述第二部分之间的宽度为当前编码单元宽度的部分；所述第三部分的上边界与所述第一部分的下边界紧密相邻；所述第三部分的左边界与所述第二部分的右边界紧密相邻；

对其中至少一个部分区域，将从压缩码流中经过熵解码得到的移动矢量(xx, yy)完全一对一地逆映射成新移动矢量(x, y)，称为原始移动矢量；对所述第一部分的逆映射是把所述第一部分向上平移，平移量为所述当前编码单元的高度；对所述第二部分的逆映射是把所述第二部分向左平移，平移量为所述当前编码单元的宽度；对所述第三部分的逆映射是首先把所述第三部分底朝天翻转，然后平移到逆映射后所述第一部分与逆映射后所述第二部分之间的位置；逆映射后所述第三部分的下边界与逆映射后所述第一部分的下边界对齐，即具有相同的垂直分量，与所述当前编码单元之间的垂直距离都为所述当前编码单元高度；逆映射后所述第三部分的左边界与逆映射后所述第二部分的右边界紧密相邻；逆映射后所述第三部分的右边界与逆映射后所述第一部分的左边界紧密相邻；所述逆映射把从压缩码流中经过熵解码得到的移动矢量复原成为用于块匹配解码和重构的原始移动矢量。

6.根据权利要求5所述的图像帧内块匹配解码中对移动矢量的解码方法，其特征在于依据从压缩码流中经过熵解码得到的移动矢量(xx, yy)，当前编码单元宽度W，当前编码单元高度H来计算原始移动矢量(x, y)的映射关系为：

如果xx大于0 并且yy小于或等于0，则x = xx; y = yy – H;

如果xx小于或等于0，则x = xx - W; y = yy;

如果xx大于0并且yy大于0，则x = xx – W; y = -(yy + H - 1)。

7.根据权利要求5或权利要求6所述的图像帧内块匹配解码中对移动矢量的解码方法，其特征在于所述帧内块匹配解码是平面格式的块匹配解码。

8.根据权利要求5或权利要求6所述的图像帧内块匹配解码中对移动矢量的解码方法，其特征在于所述帧内块匹配解码是叠包格式的块匹配解码。