CN107277509A - 一种基于屏幕内容的快速帧内预测方法 - Google Patents

Abstract

本发明涉及一种基于屏幕内容的快速帧内预测方法，属于多媒体通信技术领域。该方法步骤如下：首先，根据编码单位CU特征，将CU分类为3大类，分别是自然内容CU，屏幕内容完全平滑CU，和屏幕内容复杂CU。然后，对于自然内容CU，选择传统的35种帧内模式为候选，跳过IBC和PLT模式。对于屏幕内容完全平滑CU，选择DC模式、Planar模式、水平角度模式和垂直角度模式为模式候选，跳过IBC模式并终止四叉树的划分。对于屏幕内容复杂CU，则先通过IBC预测再通过空间相关性判断是否跳过传统的帧内预测模式。本发明通过对不同类型的CU块进行各自的模式选择与划分方案，在视频质量几乎不变的情况下，大幅度的降低了编码复杂度。

Description

一种基于屏幕内容的快速帧内预测方法

技术领域

本发明属于多媒体通信技术领域，涉及一种针对屏幕内容视频的帧内预测的快速算法。

背景技术

随着屏幕共享，远程桌面，动画存储，流媒体和在线教育等应用的广泛运用，以及人们对高清视频的追求，如何在低码率下使屏幕内容视频在电脑屏幕、手机屏幕等其它终端上高清或者超高清地显示，吸引了学术界和工业界研究者们的广泛关注。屏幕内容视频往往包含许多静态的背景，或者是一些运动的电脑图片、文档等。与摄像机捕捉的自然内容相比，有着传感器噪声较少，有大量的平滑区域，饱和度高，有较多重复块，并且一般情况下其内容的所拥有的颜色也只有少量的几种，而不像自然图像那样丰富。

2014年3月，由ISO/IEC运动图像专家组和ITU-T视频编码专家组所组成的“联合视频编码组”(JCT-VC)，推出了基于最新的视频编码标准——High Efficiency VideoCoding(HEVC)的屏幕内容扩展版本(HEVC SCC)。JCTVC官方提出的屏幕内容标准软件(SCM)相比于HEVC扩展版本(RExt)可以节省超过55％的DB-rate。压缩效率的提高主要得益于SCC中新加入的几个编码工具，帧内块复制(IBC)，调色板模式(PLT)，自适应颜色变换(ACT)和自适应运动向量分辨率(AMVR)。

然而，HEVC的递归划分方案以及附加的SCC编码工具使得编码复杂度增加数倍，主要是在寻找CU划分与CU模式的最佳组合时为编码器带来了巨大的计算负担。在现在的SCM模型软件中，采用的是穷尽搜索的方法，通过检查当前CU的每个可能模式，通过比较当前CU的最佳模式RD成本和所有递归子CU的最佳RD成本之和来解决这两个问题所有每个CU都以最佳模式和划分进行编码。为了降低编码的复杂度，许多研究者们提出了不同的解决方案。文献(Zhang M,Guo Y,Bai H.Fast intra partition algorithm for HEVC screencontent coding[C]//Visual Communications and Image ProcessingConference.IEEE,2015:390-393.)中，提出了一种CTU划分策略的快速算法，其中主要是是基于当前CU的熵来决定CU划分的终止。文献(Zhang H,Zhou Q,Shi N,et al.Fast intramode decision and block matching for HEVC screen content compression[C]//IEEEInternational Conference on Acoustics,Speech and Signal Processing.IEEE,2016:1377-1381.)中，通过使用时间相关性提出了快速CU深度预测方法。此外，采用自适应搜索步长来减少IBC模式中的耗时块匹配。文献(Zhang H,Ma Z.Fast Intra Mode Decisionfor High Efficiency Video Coding(HEVC)[J].IEEE Transactions on Circuits&Systems for Video Technology,2014,24(4):660-668.)中，对Hadamard成本和RD成本进行了分析和推导，提出了一种快速帧内模式决策。

相比于传统的算法，上述所提到的算法主要是对平滑块多或者纯屏幕内容的图像有较好的提升，但是对于自然图像与屏幕内容混合的屏幕内容则提升较少。再者他们都是单独的考虑模式选择或者是CU划分，而两者存在较强的相关性，应联合考虑。因此，在保持SCC编码效率的同时，提出一种将模式选择与CU划分联合考虑，并且对与混合屏幕内容也有较大提升的快速算法。

发明内容

有鉴于此，本发明的目的在于提供一种基于屏幕内容的快速帧内预测方法，充分利用不同类型CU的内容特性，自适应地跳过不必要的深度级和预测模式的RD代价计算，在保持视频编码质量基本不变的前提下，降低屏幕内容视频编码的计算复杂度。

为达到上述目的，本发明提供如下技术方案：

一种基于屏幕内容的快速帧内预测方法，包括以下步骤：

S1：根据编码单位CU的特点将CU分为三类，包括自然内容CU，即NCCU、屏幕内容完全平滑CU，即PSCU、和屏幕内容复杂CU，即SCCU；

S2：对于自然内容CU，选择传统的35种帧内模式为候选，跳过帧内块复制IBC和调色板模式PLT；

对于屏幕内容完全平滑CU，选择DC模式、Planar模式、水平角度模式和垂直角度模式为模式候选，跳过IBC模式并终止四叉树的划分；

对于屏幕内容复杂CU，先通过IBC预测，再通过空间相关性判断是否跳过传统的帧内预测模式；

S3：最后所有的CU级与候选的预测模式，通过率失真优化过程计算其代价，选择代价最优的CU级和预测模式进行预测编码。

进一步，所述步骤S1具体为：计算CU的平滑程度：

其中，β_H，β_V分别表示水平和垂直方向CU平滑程度，f(x,y)表示位置(x,y)处的像素值；n代表当前CU的宽度；

当β_H与β_V有一个值为0时，判断当前CU为屏幕内容完全平滑CU；

当β_H与β_V都不为0时，采用Roberts算子计算当前CU的梯度值，梯度值计算公式为：

G(x,y)＝|g_x|+|g_y|

TH2＝N×N/64

其中f(x,y)表示位置(x,y)处的像素值，g_x表示(x,y)水平方向梯度，g_y表示(x,y)垂直方向梯度，G(x,y)表示(x,y)处的梯度；

设定梯度阈值TH1，当G(x,y)>TH1时，判定为边缘像素，TH1的值为50；当CU块中锋利边缘像素的个数大于梯度阈值TH2时，判断该CU块为SCCU，反之则为NCCU块；其中N表示当前CU块的宽度；

对于梯度值大于阈值时被判定为锋利边缘像素点，如果当前CU的锋利边缘像素点的个数大于或者等于N×N/64，则判定当前CU为屏幕内容复杂CU，如果当前CU的锋利边缘像素点的个数小于N×N/64，则判定当前CU为自然内容CU。

进一步，对于所述屏幕内容复杂CU具体为：

对于屏幕内容复杂CU，判断当前CU的上方，左上和左边CU块的最佳预测模式是否全为IBC，如果是，则当前CU跳过传统帧内预测；如果当前CU的上方，左上和左边CU块的最佳预测模式不全为IBC模式，则先通过IBC计算其RD代价，再与其上方，左上和左边CU块代价进行比较，如果当前CU的代价小于3个邻块的RD代价的最小值则跳过传统帧内预测，IBC为其预测模式跳过传统帧内预测模式；否则继续进行传统帧内，选出最优的预测模式。

本发明的有益效果在于：本发明提出了基于HEVC-SCC的帧内预测的快速算法，避免了在每个CU深度级和模式选择过程中都需要计算RD代价，通过CU的分类，对于不同种类的CU自适应地跳过不必要的深度级和预测模式的RD代价计算，有效地减少编码复杂度。

附图说明

为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：

图1为屏幕内容视频图像；

图2为本发明技术方案流程图。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

(1)CU的分类

屏幕内容视频通常不仅包含由计算机生成的屏幕内容还会包含由真实相机拍摄的自然内容的混合。在本发明中，NCCU被定义为主要包含相机拍摄内容的自然图像CU。SCCU被定义为主要包含计算机生成屏幕内容复杂CU。PSCU被定义为屏幕内容中的完全平滑CU块。由于这三种CU包含不同的内容，因此根据CU内容的特点，可以考虑这三种CU的不同模式选择或者划分策略因而避免的每个CU级与预测模式的穷尽搜索。

屏幕内容图像中包含许多完全平滑CU块且包含噪声少，它们的像素值完全相等或者是其水平或者垂直方向完全相等。我们定义β来估计CU的平滑程度，β算公式如下所示：

β＝min(β_H,β_V)

其中f(x,y)表示位置(x,y)处的像素值。当β＝0时，我们可以判断当前CU块为屏幕内容完全平滑。

图像处理中，通常可以边缘检测来判断该图像的边缘特性。经典的边缘检测算子有梯度算子、Laplacian算子、Canny算子和Log算子,其中梯度算子又包含Roberts算子和Sobel算子等。考虑的计算复杂度以及屏幕内容图像低噪声，丰富的锋利边缘特性，本发明选择采用Roberts算子对图像边缘检测。梯度计算公式如下所示：

G(x,y)＝|g_x|+|g_y|

TH2＝N×N/64

其中f(x,y)表示位置(x,y)处的像素值，G(x,y)表示(x,y)处的梯度。当G(x,y)>TH1时，判定为边缘像素。通过实验，本发明中选择TH1的值为50时，可以很好的区分处锋利边缘像素。当CU块中锋利边缘像素的个数大于TH2时，判断该CU块为SCCU，反之则为NCCU块，其中N表示当前CU块的宽度。

(2)屏幕内容完全平滑块的模式选择与划分策略

由于本发明定义的完全平滑块的可能存在三种情况，它们的像素值可能是完全相等，沿水平或者垂直方向完全相等。如果是完全相等的CU块，在帧内预测过程中，通常会选择DC或者Planar模式为最佳预测模式。在水平或者垂直方向上完全相等的情况，通常会选择水平角度模式或者垂直角度模式为最佳模式。因此本发明对于完全平滑的CU块，我们只给出DC模式，Planar模式，以及角度模式中的垂直模式和水平模式进行候选。

对于平滑CU块通常会选择大尺寸的CU。如果当前CU已经被判断为完全平滑的CU，那么没必要继续对CU进行划分。因此如果该CU块被判定为完全平滑CU，那么就终止划分。

(3)自然图像CU的模式选择与划分策略

众所周知，自然内容相对于屏幕内容具有不同的特征。IBC模式主要适用于屏幕内容图像，它们对于压缩屏幕内容是有很高的效率，但对于自然内容并不能取得较好的效率反而会严重的增加编码复杂度。因此对于自然图像CU块，本发明选择跳过IBC模式，保留传统的帧内预测模式。

(4)屏幕内容复杂CU的模式选择与划分策略

对于屏幕内容复杂CU，由于包含许多锋利边缘区域，邻近像素值差距很大，通常IBC为最佳预测模式。本发明考虑空间相关性，如果当前CU的上方，左上和左边CU块的最佳预测模式全为IBC，则当前CU跳过传统帧内预测。如果当前CU的上方，左上和左边CU块的最佳预测模式不全为IBC模式，则先通过IBC计算其RD代价，再与其上方，左上和左边CU块代价进行比较，如果当前CU的代价小于3个邻块的RD代价的最小值则跳过传统帧内预测，IBC为其预测模式跳过传统的帧内预测模式。否则继续进行传统帧内，选出最优的预测模式。

(5)选取最优深度和预测模式进行编码

通过上面步骤对不同类型的CU选取不同划分策略与预测模式，计算RD代价，选取代价最小的预测模式和深度，进行编码。

在基于HEVC的SCC中，在每个CU深度级和模式选择过程中都需要计算RD代价，这使得计算复杂度非常高。如果可以自适应地跳过不必要的深度级和预测模式的RD代价计算，则可以有效地减少编码复杂度。本发明提出了基于HEVC-SCC的帧内预测的快速算法，首先对CUs进行分类操作，然后根据不同分类提出各自的模式选择与划分策略。

步骤一：将编码单元(CU)分类

首先，对于编码单元CU，本发明选择采用Roberts算子对图像边缘检测，再根据边缘特性将CUs分为三类，分别是自然内容CU(NCCU)，屏幕内容完全平滑CU(PSCU)，和屏幕内容复杂CU(SCCU)。

步骤二：自然内容CU的模式选择与划分策略

对于自然图像CU其中，本发明选择跳过IBC与PLT模式，保留传统的帧内预测模式。再者，本发明通过判断此CU的平滑程度，对于纹理较简单的CU，将终止划分。

步骤三：屏幕内容完全平滑CU的模式选择与划分策略

对于完全平滑的CU块，本发明只给出DC模式，Planar模式，以及角度模式中的垂直模式和水平模式进行帧内预测的候选模式。

步骤四：屏幕内容复杂CU的模式选择与划分策略

对于屏幕内容复杂CU，如果当前CU的上方，左上和左边CU块的最佳预测模式全为IBC，则当前CU跳过传统帧内预测。如果当前CU的上方，左上和左边CU块的最佳预测模式不全为IBC模式，则先通过IBC计算其RD代价，再与其上方，左上和左边CU块代价进行比较，如果当前CU的代价小于3个邻块的RD代价的最小值则跳过传统帧内预测，IBC为其预测模式。否则选择邻块所选用的角度模式作为候选的角度模式，进行预测。

步骤五：选取最佳深度和预测模式进行编码

所有的CU级与候选的预测模式，通过率失真优化过程计算其代价，选择代价最优的CU级和预测模式进行预测编码。

下面将结合附图进行说明：

图1为屏幕内容视频一帧图像。其中图1(a)为屏幕内容视频中的一帧图像，图1(b)表示经过编码后的图1(a)图像。其中蓝色框表示CU大小，从图中可以看出，对于屏幕内容完全平滑块如图中红色标记区域，会选择较大的CU块进行编码。而对于屏幕内容复杂区域如紫色标记区域，会选择8×8大小的CU进行编码。

图2为技术方案流程图。本发明实现CU分类的流程进行说明：

Step1：对当前CU计算β值，如果β＝0满足，则当前CU为屏幕内容完全平滑CU；

Step2:对于不满足β＝0满足的CU，计算其锋利边缘点的个数，当个数大于阈值TH2时，则判断当前CU为屏幕内容复杂CU；

Step3：锋利边缘点的个数小于或者等于TH2的CU，判断其为自然图像CU。

本发明实现快速预测的整体流程进行说明：

Step1：将编码单元CU经过分类，分为三类，屏幕内容完全平滑CU，自然图像CU和屏幕内容CU。

Step2：对于完全平滑CU，选用DC，Planar，垂直和水平四种角度模式作为候选预测模式进行RD代价计算。选取RD代价最小的预测模式，并停止划分。当前CU级为最佳CU级。

Step3：对于自然图像CU，选用传统的35种帧内预测模式作为候选，选出最佳预测模式。如果当前深度为3，则停止划分，选取代价最小的预测模式和深度，否则跳到step1。

Step4；对于屏幕图像CU，首先进行IBC预测，然后判断是否需要进行传统的帧内预测，如果不需要则IBC为最优预测模式。否则在进行传统的帧内预测，再通过比较IBC与传统帧内预测的RD计算选出最佳预测模式。如果当前深度为3则选取代价最小的预测模式和深度，否则跳到step1。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (3)

1.一种基于屏幕内容的快速帧内预测方法，其特征在于：该方法包括以下步骤：

S1：根据编码单位CU的特点将CU分为三类，包括自然内容CU，即NCCU、屏幕内容完全平滑CU，即PSCU、和屏幕内容复杂CU，即SCCU；

S2：对于自然内容CU，选择传统的35种帧内模式为候选，跳过帧内块复制IBC和调色板模式PLT；

对于屏幕内容完全平滑CU，选择DC模式、Planar模式、水平角度模式和垂直角度模式为模式候选，跳过IBC模式并终止四叉树的划分；

对于屏幕内容复杂CU，先通过IBC预测，再通过空间相关性判断是否跳过传统的帧内预测模式；

S3：最后所有的CU级与候选的预测模式，通过率失真优化过程计算其代价，选择代价最优的CU级和预测模式进行预测编码。

2.如权利要求1所述的一种基于屏幕内容的快速帧内预测方法，其特征在于：所述步骤S1具体为：计算CU的平滑程度：

其中，β_H，β_V分别表示水平和垂直方向CU平滑程度，f(x,y)表示位置(x,y)处的像素值；n代表当前CU的宽度；

当β_H与β_V有一个值为0时，判断当前CU为屏幕内容完全平滑CU；

当β_H与β_V都不为0时，采用Roberts算子计算当前CU的梯度值，梯度值计算公式为：

<mrow> <msub> <mi>g</mi> <mi>x</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;part;</mo> <mi>x</mi> </mrow> </mfrac> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>+</mo> <mn>1</mn> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>

<mrow> <msub> <mi>g</mi> <mi>y</mi> </msub> <mo>=</mo> <mfrac> <mrow> <mo>&amp;part;</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow> <mrow> <mo>&amp;part;</mo> <mi>y</mi> </mrow> </mfrac> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>+</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>-</mo> <mi>f</mi> <mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo> </mrow> </mrow>

G(x,y)＝|g_x|+|g_y|

TH2＝N×N/64

其中f(x,y)表示位置(x,y)处的像素值，g_x表示(x,y)水平方向梯度，g_y表示(x,y)垂直方向梯度，G(x,y)表示(x,y)处的梯度；

设定梯度阈值TH1，当G(x,y)>TH1时，判定为边缘像素，TH1的值为50；当CU块中锋利边缘像素的个数大于梯度阈值TH2时，判断该CU块为SCCU，反之则为NCCU块；其中N表示当前CU块的宽度；

对于梯度值大于阈值时被判定为锋利边缘像素点，如果当前CU的锋利边缘像素点的个数大于或者等于N×N/64，则判定当前CU为屏幕内容复杂CU，如果当前CU的锋利边缘像素点的个数小于N×N/64，则判定当前CU为自然内容CU。

3.如权利要求1所述的一种基于屏幕内容的快速帧内预测方法，其特征在于：对于所述屏幕内容复杂CU具体为：

对于屏幕内容复杂CU，判断当前CU的上方，左上和左边CU块的最佳预测模式是否全为IBC，如果是，则当前CU跳过传统帧内预测；如果当前CU的上方，左上和左边CU块的最佳预测模式不全为IBC模式，则先通过IBC计算其RD代价，再与其上方，左上和左边CU块代价进行比较，如果当前CU的代价小于3个邻块的RD代价的最小值则跳过传统帧内预测，IBC为其预测模式跳过传统帧内预测模式；否则继续进行传统帧内，选出最优的预测模式。