CN103957412A - 一种针对屏幕视频帧间残差的基础色索引映射算法 - Google Patents

Abstract

本发明针对屏幕视频的帧间残差，设计了一种基础色索引映射算法。在该算法中，帧间残差的相关性被发掘并利用，以获得高效的编码压缩比。在该方法中，残差被颜色量化成基础色和索引映射，而不进行传统编码的变换及量化过程。在进行颜色量化时,基于K-Means算法的YUV联合颜色量化方法被使用。接着，与上下文相关的层级熵编码方法被用来进行索引映射的熵编码。最后，我们将该发明作为帧间残差的新模式，加入到HEVC range extension的标准参考软件中。

Description

一种针对屏幕视频帧间残差的基础色索引映射算法

技术领域

本发明涉及视频编码技术领域，具体涉及帧间残差的基础色索引映射(base color and index map,BCIM)算法。 

背景技术

屏幕视频是指包含文字、图形、图像与自然视频的混合视频，它由计算机产生并记录得到，可应用在云计算、远程连接等诸多方面。随着移动互联网的发展，工业界对屏幕视频的压缩要求越来越高。然而，屏幕视频的采集与传统视频不同。传统视频利用摄像机采集，因而，视频中不可避免的会引入噪声。但屏幕视频由计算机产生并记录得到，因而，可以认为是无噪的。除了采集方式不同外，屏幕视频的内容与传统视频也并不相同。传统视频一般指自然视频，它包含的内容均是自然界中真实发生的场景。但屏幕视频是一种混合视频，不仅包含由计算机产生的内容(诸如word文档、pdf文档、网页等)还可能包含传统视频。因而，传统视频与屏幕视频具有不同的特性，传统的视频编码方法并不完全适用于屏幕视频的编码。 

传统的视频编码标准如MPEG-2^[1]、H.264/AVC^[2]、HEVC^[3]等均是根据自然视频的特性设计形成的，因而，并不能直接应用到屏幕视频的编码中。为了充分的利用屏幕视频的特性，以对其进行高效地压缩编码，JCT-VC组织开展了针对屏幕视频编码的HEVC range extension标准制定工作。目前，有许多技术提案被提出，这些技术提案大体可以分成三类：帧内块拷贝(intra block copy)技术^[4-5]、变换跳过(transform skip)技术^[6-8]及基础色索引映射(BCIM)技术 ^[8-10]。本发明提出一种基础色索引映射算法。 

下面，我们简要介绍基础色索引映射算法的基本思想，以及它是如何节省码率的。由于屏幕视频中包含的文字及图形等内容，往往只包含少数几种像素值(例如，word文档中的文字，大部分都是黑色)，因而，我们可以通过聚类的方式将这几种像素值聚类出作为基础色，并形成基础色集合。对于视频帧中的每个像素点，我们不再用其自身的像素值表示，而使用集合中对应基础色的 索引来表示，从而，形成了一个索引映射。在编码时，将基础色及对应的索引映射传至码流中。这就是基础色索引映射技术的基本思想。为有效说明基础色索引映射技术如何有效节省码率，我们以一个8x8编码块为例进行说明。假设每个像素点均用8bit来表示，那么传输这个8x8块需要8x8x8＝512bit。假设将这个8x8块聚类成4个基础色，那么每个索引只需要2bit进行表示。在传输过程中，4个基础色先被传输，需要4x8＝32bit。接着，8x8大小的索引映射被传输，需要8x8x2＝128bit。因而，采用基础色索引映射技术，总共需要128+32＝160bit。相比于传统的技术，码率被节省。 

由于基础色索引映射技术有效，因而，在HEVC range extension的制定过程中，有许多关于它的技术提案，但这些提案多应用于帧内块。在本发明中，一种针对帧间残差的基础色索引映射算法被提出。 

发明内容

本发明提出一种将基础色索引映射技术应用于帧间的残差块的新方法。 

在该技术中，基础色信息、索引映射信息及一些其它信息均需要写入到码流中。因而，我们做了一个简单实验，以查看三部分信息所占用的码率情况。从表1可以看到，索引映射所占用码率最高，因而，在基础色索引映射技术中，高效的索引映射的熵编码十分重要。为达到该目的，在本发明中，我们提出两个子算法：YUV联合颜色量化算法及与上下文相关的分级熵编码算法。对于帧间的残差块，首先利用YUV联合颜色量化算法得到对应的基础色和索引映射。然后，利用上下文相关的分级熵编码算法对索引映射进行熵编码。基础色的熵编码则采用一般的CABAC算法。 

表1.基础色索引映射技术中各部分信息所占用码率的占比 

组成成份	基础色	索引映射	其它
				占比	4.25％	95.50％	0.25％

下面，分别介绍YUV联合颜色量化算法及与上下文相关的分级熵编码算法。 

YUV联合颜色量化算法是一种优化的K-Means聚类算法，通过该算法可以聚类获得所有的基础色。在得到所有基础色后，我们再通过公式1来计算某像素点与基础色的距离，使得距离最小的基础色所在的聚类的编号被设为该像素点的索引。将所有像素点以聚类索引的方式进行表示，从而形成索引映射。在公 式1中，S_resi代表残差各分量的值，S_Ai代表第i个基础色各分量的值。 

在YUV联合颜色量化算法中，每一个基础色均包含Y、U、V三个分量，因而，每个块只对应一个索引映射，并且索引映射的大小与当前编码块的大小相同。此外，在该算法中，基础色的数目可固定，也可以自适应。 

$\underset{\mathrm{component}=Y}{\overset{V}{\mathrm{\Σ}}}{|S_{\mathrm{resi}}-S_{\mathrm{Ai}}|}^2---\left(1\right)$

与上下文相关的分级熵编码利用索引映射的空域相关性，高效地表示该索引映射。对于索引映射的每一行，它被分成三级：行级、组级和像素级。若某行的所有索引值均相同，那么该行不再往下划分。将行级标识和该行的索引值传至码流中，完成该行的索引编码。否则，进一步将该行划分成若干个组级。若某一组级中所有的索引值均相同，那么该组不再往下划分。将组级标识和该组的索引值传至码流中，完成该组的索引编码。否则，将该组进一步划分成若干个像素级。组级包含的索引数目，可以固定，也可以自适应。对于像素级的索引值，我们利用图1所示的相邻索引值进行映射，并将映射后的值传至码流中。映射方法如公式2所示。在公式2中，A代表相邻索引中出现频率最高的索引，B代表相邻索引中出现频率第二高的索引，依次类推。 

$\mathrm{remap}\left(\mathrm{index}\right)=\left\{\begin{array}{cc}0,& \mathrm{index}=A\\ 1,& \mathrm{index}=B\\ 2,& \mathrm{index}=C\\ 3,& \mathrm{index}=D\end{array}\right.---\left(2\right)$

对于本发明，将其作为帧间残差的一种新模式加入到HEVC range extension的参考软件中。加入本发明后的编码框架如图2所示。在图2中，共有两条路径，其中路径1为传统编码路径。它将帧间残差进行传统的变换与量化过程，适用于自然视频的编码。路径2使用本发明的方法，将帧间残差表示成基础色与索引映射，更适用于屏幕视频中的文字、图形等内容的编码。最后实际采用的路径，通过模式决策过程进行选择。图2中的BCIM模块进一步由图3的两部分组成，即YUV联合颜色量化部分和与上下文相关的分级熵编码部分。 

在解码端，通过解析一个块采用的模式来判断一个块是否采用基础色索引 映射的编码方式。若是，那么通过熵解码将基础色信息解码出来，接着解码索引映射。在解码索引映射时，采用与上下文相关的分级熵编码的逆过程进行解码，称为与上下文相关的分级熵解码过程。首先解码行级标识，若行级标识为true，表明该行索引的索引值完全相同，接着解码该行的索引值，完成该行的索引解码。若行级标识为false，表明该行索引值不完全相同，那么解码组级标识。若组级标识为true,表明该组索引的索引值完全相同，接着解码组级的索引值，完成该组的索引解码。若组级标识为false，表明该组索引值不完全相同，那么依次解码每个像素级的索引值。在像素级，解出来的值并不是真正的索引值，我们需要根据周围已经解码的索引值(即上下文)进行反映射，得到当前像素级的真正索引值。得到基础色信息和索引映射后，即可得到残差块，再与预测块相加，即可得到重构块。 

附图说明

图1：当前编码索引的相邻索引位置关系图。 

图2：帧间编码框架图。 

图3：本发明基础色索引映射的组成部分示意图。 

图4：YUV联合颜色量化的一个例子。 

具体实施方式

本发明的基本思想：利用YUV联合颜色量化获得基础色集合及对应的索引映射。为高效压缩索引映射，采用与上下文相关的分级熵编码对其进行编码。结合本发明的一个具体实施方式如下： 

一、YUV联合颜色量化算法 

设定基础色数目为m。 

第一步：拥有最高频率的m个残差值被选为初始聚类中心，分别表示成A₁、A₂、A₃…A_m。 

第二步：通过计算残差与每个聚类中心的距离，依次判断每个残差所在的聚类。残差被划分到使得距离最短的那个聚类中心所在的聚类。例如，该残差与第二个聚类中心的距离最短，那么该残差被划分到第二个聚类中。 

第三步：将某个聚类中心中所有的残差求平均，以更新每个聚类的中心位置。如公式3所示。 

$A_i=\frac{\underset{i=1...n}{\mathrm{\Σ}}{S}_i}{n}---\left(3\right)$

其中Si是在第i个聚类中的残差值，n表示第i个聚类中总共包含的残差数，Ai表示通过计算获得的第i个聚类的新中心。 

第四步：若m个聚类中心均不改变，基础色即为这m个聚类中心，进行第五步。否则，跳到第二步。 

第五步：将每个残差表示成其所在聚类的索引，即可得到对应的索引映射。 

以图4所示为例来进一步说明，设定基础色数目为4。图4左边为一个8x8残差块的Y、U、V三个分量的值。从图中可以看出，(0，-1，0)、(0，4，0)、(1，3，0)、(2，-1，1)这四个像素点出现的频率最高，因而，它们被选为初始聚类中心。经过2-5步后，最终稳定的聚类中心为，(-11，0，0)、(1，3，0)、(9，4，-10)、(1，-1，0)，它们的索引分别为0、1、2、3。这也是四个基础色的值及其对应的索引。最终的索引映射由图4右上部分表示。 

二、与上下文相关的分级熵编码算法 

为充分利用索引映射的空域相关性，我们提出上下文相关的分级熵编码算法。在本实例中，将一行索引值分成三级：行级、组级和像素级。依次对每一行进行熵编码。在像素级，如图1所示的周围索引值被用作上下文，以对像素级的索引值进行映射。某一行索引值的具体实施方式如下： 

第一步：判断一行索引值是否相同。若相同，则不进一步划分。在码流中传输行级的标示，以及该行的索引值。若不同，则进行第二步。 

第二步：将行级进一步划分成若干个组级。判断某一组级所有索引值是否相同。若相同，则不进一步划分。在码流中传输组级的标示，以及该组的索引值。再使用相同方法进行下一组的判断。若不同，则进行第三步。 

第三步：将组级进一步划分成若干个像素级。像素级中的索引值根据公式2进行映射，将映射后的值传至码流中。 

三、解码过程 

在解码时，首先解析该块的类型，若采用基础色索引映射的模式，那么，依次解析基础色信息和索引映射。在解析索引映射时，依然采用与上下文相关的分级熵解码算法。具体过程是，首先解码行级标识，若行级标识为true，表示一行的索引值完全相同，那么解码该行的索引值。若行级标识为false，表示 该行的索引值不完全相同。那么解码组级标识，若组级标识为true，表示一组的索引值完全相同，那么解码该组的索引值。若组级标识为false，表示一组的索引值不完全相同，那么依次解码每个像素的索引值。在解码出像素的索引值后，利用上下文进行反映射，得到真正的像素级的索引值。得到基础色信息和索引映射信息后，即可重构该块的残差，再加上预测块，即可得到当前块的重构块。 

按照本发明的具体实施方案，本发明对屏幕视频中的文字、图形等内容十分有效。在使用时，将本实例作为帧间残差的新模式加入到编码框架中。 

利用本发明在JCT-VC组织提供的标准测试序列上进行性能测试，所有的测试结果均与HEVC range extension参考软件进行对比。测试结果如表2所示，第1列是图像名称，第2-4列分别为Y、U、V分量所节省码率。从表中可以看出，本发明对于某些序列可以节省近10％的码率，并且平均码率节省达到4％。 

表2本发明的B-D rate性能结果 

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。 

参考文献 

B.Haskell,A.Puri,andA.Netravali,"Digital Video:an introduction to MPEG-2,"Chapman and Hall,1998. 

T.Wiegand,G.J.Sullivan,G.Bjntegaard and A.Luthra,"Overview of the H.264/AVC video coding standard",IEEE Trans.Circuits Syst.Video Technol.,vol.13,no.7,pp.560-576,2003. 

G.J.Sullivan,J.-R.Ohm,W.-J.Han andT.Wiegand,"Overview of the High Efficiency Video Coding(HEVC)standard",IEEE Trans.Circuits Syst.Video Technol.,vol.22,pp.1648-1667,2012. 

M.Budagavi,"AHG8:Video coding using Intra motion compensation",ISO/IEC JTC1/SC29/WG11,M0350,Incheon,April,2013. 

C.Pang,J.Sole,L.Guo and Marta,"Non-RCE3:Intra Motion Compensation with2-DMVs",ISO/IECJTC1/SC29/WG11,N0256,Vienna,July,2013. 

C.Lan,"Intra transform skipping",ISO/IEC JTC1/SC29/WG11,I0408,Geneva,April,2012. 

A.Gabriellini,M.Naccari,M.Mrak,D.Flynn,"Adaptive transform skipping for improved coding of motion compensated residuals",Signal Processing:Image Communication,vol.28,pp.197-208,2013. 

C.Lan,G.Shi,F.Wu,"Compress compound images in H.264/MPEG-4AVC by exploiting spatial correlation",IEEE Trans on Image Processing,vol.19,no4,pp.946-957,2010. 

L.Guo,"Palette Mode for Screen Content Coding",ISO/IECJTC1/SC29/WG11,M0323,Incheon,April,2013. 

W.Ding,Y.Lu,andF.Wu,"Enable efficient compound image compression in H.264/AVC intra coding",in Proc.Int,Cont.ImageProcessing,pp.337-340,2007。 

Claims (8)

1.一种针对屏幕视频帧间残差的基础色索引映射算法，包含YUV联合颜色量化算法和与上下文相关的分级熵编码方法；对于帧间的残差块，首先利用YUV联合颜色量化算法得到对应的基础色和索引映射，然后利用上下文相关的分级熵编码算法对索引映射进行熵编码。 

2.根据权利要求1所述的算法，其特征在于：将该算法作为一种新的模式，与原始编码框架中的模式进行模式决策，将较优的模式作为最终的选择。 

3.根据权利要求1所述的算法，其特征在于：所述的YUV联合颜色量化算法是将Y、U、V三个颜色分量映射成一个索引映射。 

4.根据权利要求3所述的算法，所述的YUV联合颜色量化算法具体为： 

a)使用优化的K-Means聚类算法进行基础色的聚类； 

b)每一个基础色包含Y、U、V三个分量； 

c)每一个块对应一个索引映射，索引映射的大小与块大小相同； 

d)基础色的数目可自适应，也可固定。 

5.根据权利要求1所述的算法，其特性在于：与上下文相关的分级熵编码方法，是将索引映射中的每一行进行分级，对其中的某一级或者所有级利用上下文进行映射，将映射后的值而非原始值编入码流。 

6.根据权利要求5所述的算法，所述的与上下文相关的分级熵编码方法为： 

a)每一行索引值分成三级：行级、组级、像素级； 

b)若一行中所有索引值均相同，则该行不划分成组级，否则划分成组级； 

c)若一组中所有索引值均相同，则该组不划分成像素级，否则划分成像素级； 

d)组级中所包含的索引数目可自适应，也可固定； 

e)像素级的索引不直接编入码流中，而是先利用周围索引值进行映射，将映射后的值编入码流； 

f)对于行级的索引(一行中所有索引值均相同)，将行级标示和该行的索引值传入码流中； 

g)对于组级的索引(一组中所有索引值均相同)，将组级标示和该组的索引值传入码流中。 

7.根据权利要求6所述的算法，在解码索引映射信息时，采用与上下文相关的分级熵解码方式，具体为： 

a)每一行索引值分成三级：行级、组级、像素级； 

b)首先解码行级标识，若标识为true，表明该行索引值均相同，那么直接解码该行索引值。若为false，表明该行索引值不完全相同，那么解码组级标识； 

c)若组级标识为true，表明该组索引值均相同，那么直接解码该组索引值；否则，表明该组索引值不完全相同，那么依次解码每个像素的索引值； 

d)解码得到像素级的索引值后，需要利用已经解码的索引值对当前解码所得值进行反映射，反映射后的值才是真正的索引值。 

8.根据权利要求7所述的算法，其特征在于：得到索引映射和基础色后，即可重构残差块，再加上预测块，即可得到当前块的重构块。