CN106534860A - 一种基于内容分析的屏幕内容编码方法 - Google Patents

Abstract

本发明属于屏幕内容视频编码领域，为依据屏幕内容视频自身的特性，对屏幕内容视频进行CU的深度快速判决，在保持视频编码质量基本不变的前提下，降低屏幕内容视频编码的计算复杂度。本发明充分考虑了屏幕内容自身的特性及CU所占用的比特消耗，对特定的CU进行有条件的跳过不必要的深度遍历，从而实现了屏幕内容编码快速算法，节省了整个编码的时间。本发明一种基于内容分析的屏幕内容编码方法的技术方案分为下列步骤：1)纹理简单CU的区分2)基于秩的CU终止划分3)基于bpp的CU终止划分4)选取最佳深度和预测模式进行编码。本发明主要应用于屏幕内容视频编码场合。

Description

一种基于内容分析的屏幕内容编码方法

技术领域

本发明属于屏幕内容视频编码领域，涉及一种基于内容分析的屏幕内容视频编码的帧内快速算法。

背景技术

屏幕内容视频指包含计算机生成内容(例如卡通、文字、图形等)的视频。目前，网络应用如云计算、屏幕共享、远程桌面和远程展示等正在焕发出越来越大的吸引力。同时，在网络带宽受限的情况下，如何对由计算机生成的高清晰度的屏幕内容进行有效的压缩提出了新的挑战。因此，屏幕内容编码被作为新一代视频编码标准(HEVC)的一种扩展而提出。

屏幕内容自身拥有一些不同于由摄像机拍摄的自然视频的特点。因此，针对自然视频所提出的传统的视频编码方法对屏幕内容并不能呈现较好的编码性能。所以，对屏幕内容的高效压缩需要在传统的视频编码方法基础上提出一些新的理论和技术。目前，屏幕内容编码已经成为一个研究热点。

随着HEVC的发展，一些学者已经提出了针对屏幕内容的帧内编码方法。这些技术可以分为两类：帧内块的复制模式(IBC)和调色板模式(PLT)。IBC模式的引入使得帧内预测可以在当前帧的重建区域进行匹配块搜索，从而有效提升了屏幕内容视频的编码性能。PLT模式可以将一个视频块映射为一个彩色表和索引图。彩色表包含视频块的彩色信息，索引图包含视频块的结构信息，根据其各自的特点可以进行更为有效的编码。然而，由于新技术的引入，屏幕内容编码中帧内预测的计算复杂度进一步提高。所以，现在亟需提出屏幕内容编码帧内预测复杂度优化算法。虽然，许多研究者已经基于HEVC提出了许多有效的快速算法，但是这些算法大多是针对传统的视频编码而提出的。因此，对于屏幕内容编码快速算法的研究是亟待解决的关键问题之一。

发明内容

为克服现有技术的不足，本发明旨在依据屏幕内容视频自身的特性，对屏幕内容视频进行CU的深度快速判决，在保持视频编码质量基本不变的前提下，降低屏幕内容视频编码的计算复杂度。本发明充分考虑了屏幕内容自身的特性及CU所占用的比特消耗，对特定的CU进行有条件的跳过不必要的深度遍历，从而实现了屏幕内容编码快速算法，节省了整个编码的时间。本发明一种基于内容分析的屏幕内容编码方法的技术方案分为下列步骤：

1)纹理简单编码单元CU的区分

首先每一个编码单元CU被认为是一个矩阵，矩阵中的样本是每一个像素的亮度分量值。把纹理简单CU进行抽象，用两种矩阵来表示如下面两个公式所示：

其中M_a代表一个绝对平滑的区域，只存在一种样本值，每一个样本s代表一个亮度分量值，M_b代表相对平滑区域，其中虽然存在两种或两种以上的样本值，但是，每一种样本值都整齐排列，每一个x表示不同于s的亮度分量值；

2)基于秩的CU终止划分

经过上面的分析，如果当前屏幕内容CU对应的矩阵的秩等于1，那么当前CU的最优深度提前判决，从而终止进一步划分，其最优深度D_SCCU由下面公式所决定：

其中，i代表当前CU的深度，并且i∈{0,1,2}，Mat代表当前CU所对应的矩阵，该公式代表的含义是，如果当前CU的秩为1，那么当前CU的深度划分的操作将被提前终止；

3)基于bpp的CU终止划分

如果当前CU在选用的最佳预测模式下所消耗的每个像素所占用的比特数bpp小于阈值参数，则基于bpp提前终止CU划分，CU深度的判决由下列条件所决定：

bpp_i＜Th_i,

bpp_i＝bit_i/(W×H),

其中，bpp_i代表当前CU在深度层i的情况下的bpp的值；Th_i代表判决当前CU划分终止的阈值参数，其中，i∈{0,1,2}；bit_i代表当前CU位于当前深度层时，采用最佳帧内模式编码所消耗的比特数；W和H代表当前CU的宽和高；

4)选取最佳深度和预测模式进行编码

所有的候选深度和模式，需要通过率失真优化RDO(Rate DistortionOptimization)过程确定最佳模式，其中RD代价J_RDO的定义如下式所示：

J_RDO＝D+λ·R

D代表失真，用来描述重建视频质量，R(Rate)表示编码所消耗的比特数，λ为拉格朗日乘子。

在进行RDO过程中，选取RD代价最小的深度和模式进行编码。

本发明的特点及有益效果是：

本发明对于屏幕内容视频提出一种新的基于屏幕内容特性的快速编码算法。本发明在保证编码性能的同时获得可观的编码时间节省，降低了屏幕内容编码计算复杂度。

附图说明：

图1为屏幕内容视频特点分析结果；

图2为技术方案的流程图。

具体实施方式

在屏幕内容视频中，存在着大量的纹理简单光滑的区域。光滑区域的CU纹理非常简单，通常在深度选择过程中选择尺寸较大的划分结构。因此，如果能够在编码过程中能够辨别出这种类型的CU，就可以做出提前停止划分的决策。具体的技术方案分为下列步骤：

1)纹理简单CU的区分

在编码过程中，为了对纹理简单CU进行提前终止划分的决策，首先要解决的就是在众多CU中准确的辨别出相应的CU。在屏幕内容视频中，经常会出现两种视频块，一种是一个视频块的像素值只有一种，另一种视频块包含多种像素值，但是相同的像素值会整齐的排列成一列。我们为这两种特殊的CU提出了一种识别方法。

首先每一个CU可以被认为是一个矩阵，矩阵中的样本是每一个像素的亮度分量值。我们把这两种CU进行抽象，用两种矩阵来表示如下面两个公式所示：

其中M_a代表一个绝对平滑的区域，只存在一种样本值，每一个样本s代表一个亮度分量值。M_b代表相对平滑区域，其中虽然存在两种或两种以上的样本值，但是，每一种样本值的排列都非常整齐，每一个x表示不同于s的亮度分量值。

2)基于秩的CU终止划分

经过上面的分析，如果当前屏幕内容CU对应的矩阵的秩等于1，那么当前CU的最优深度可以提前判决，从而终止进一步划分，其最优深度D_SCCU由下面公式所决定：

其中，i代表当前CU的深度，并且i∈{0,1,2}，Mat代表当前CU所对应的矩阵。该公式代表的含义是，如果当前CU的秩为1，那么当前CU的深度划分的操作将被提前终止，从而在一定程度上降低编码过程的时间复杂度。

3)基于bpp的CU终止划分

如果当前CU在选用的最佳预测模式下所消耗的bpp(每个像素所占用的比特数)足够小，那么当前CU对应的残差信号的能量足够低，表明在当前深度和预测模式下的预测准确度比较高。因此，可以基于bpp提前终止CU划分。CU深度的判决可以由下列条件所决定：

bpp_i＜Th_i,

bpp_i＝bit_i/(W×H),

其中，bpp_i代表当前CU在深度层i的情况下的bpp的值；Th_i代表判决当前CU划分终止的阈值参数，其中，i∈{0,1,2}；bit_i代表当前CU位于当前深度层时，采用最佳帧内模式编码所消耗的比特数；W和H代表当前CU的宽和高。

4)选取最佳深度和预测模式进行编码

所有的候选深度和模式，需要通过率失真优化(Rate Distortion Optimization，RDO)过程确定最佳模式。其中RD代价J_RDO的定义如下式所示：

J_RDO＝D+λ·R

D代表失真，用来描述重建视频质量，R(Rate)表示编码所消耗的比特数，λ为拉格朗日乘子。

在进行RDO过程中，选取RD代价最小的深度和模式进行编码。

屏幕内容编码作为HEVC的一种重要的扩展应用，其对屏幕内容视频表现出优异的编码性能。在屏幕内容编码标准中，新技术的引入对编码标准的性能带来了明显的增益。然而，在新技术引入的同时，编码复杂度也随之增加。因此，屏幕内容编码在低延时、实时传输方面的应用受到了一定的限制与挑战。由于屏幕内容自身拥有一些不同于由摄像机拍摄的自然视频的特点，针对自然视频提出的传统视频编码快速算法对屏幕内容并不能呈现较好的性能。为克服现有技术的不足，本发明提出了一种基于内容分析的屏幕内容编码快速算法，最佳实施方式如下：

1.纹理简单CU的区分

屏幕内容视频存在大量纹理简单平滑的区域，其背景为纯色，像素值只有一种或少量的几种。在编码过程中，纹理简单的CU往往选择划分尺寸较大的划分结构，从这个角度出发，可以根据屏幕内容视频的特点提出相应的快速终止划分算法。

在编码过程中，为了对纹理简单CU进行提前终止划分决策，首先要解决的问题就是在众多CU中准确的辨别出相应的CU。在屏幕内容视频中，经常会出现两种视频块，一种是一个视频块只有一种像素值，另一种视频块包含多种像素值，但是相同的像素值会整齐的排列成一列。我们为这两种特殊的CU提出了一种识别方法。

如图1的屏幕内容视频特点分析结果中的区域3。该区域为背景部分，其中仅仅包含一种像素值，其亮度分量值为236。在区域4中，包含两种像素值，其对应的亮度分量值分别为236和49。这两种像素值的排列非常整齐。由于这两种CU的纹理非常简单，并且纹理简单的CU在深度选择过程中往往选择尺寸较大的划分结构。因此，对于这两种类型的CU，在编码过程中可以区分出它们并进行终止划分的决策。首先每一个CU可以被认为是一个矩阵，矩阵中的样本是每一个像素的亮度分量值。我们把这两种CU进行抽象，用两种矩阵来表示如下面两个公式所示：

其中M_a代表一个绝对平滑的区域，只存在一种样本值，每一个样本s代表一个亮度分量值。M_b代表相对平滑区域，其中虽然存在两种或两种以上的样本值，但是，每一种样本值的排列都非常整齐，每一个x表示不同于s的亮度分量值。

2.基于秩的CU终止划分

在把纹理简单的CU从众多CU中区分出来之后，需要设置一个合适的条件来终止这类纹理简单CU的划分过程。通过分析，发现这些纹理简单的CU拥有一个共同的特点：它们所对应的矩阵的秩都为1，所以，矩阵的秩可以作为纹理简单CU的特征。在每一个CU编码前，首先对其使用高斯消元法进行求秩。经过上面的分析，如果当前CU对应的矩阵的秩等于1，那么当前CU的最优深度可以提前被判决，从而终止进一步划分，其最优深度D_SCCU由下面公式所决定：

其中，i代表当前CU的深度，并且i∈{0,1,2}，Mat代表当前CU所对应的矩阵。该公式代表的含义是，如果当前CU的秩为1，那么当前CU的深度划分的操作将被提前终止，从而在一定程度上降低编码过程的时间复杂度。具体的方法如下：1)计算当前CU的宽和高；2)获取当前CU中每一个像素的亮度分量；3)根据上面步骤建立一个矩阵；4)通过高斯消元法计算当前矩阵的秩；5)如果计算所得的秩为1，那么终止当前CU的划分，否则按照原始平台算法进行处理。

3.基于bpp的CU终止划分

在当前的视频编码框架中，采用的一种重要的技术手段就是预测编码。所谓预测编码，就是通过参考样本对当前编码单元进行预测，从而得到参考样本与当前编码单元之间的差值，也就是残差信号。在接下来的编码过程中，只需要对残差信号进行编码，从而在很大程度上减少视频中的冗余信息。如果对一个视频块的预测准确率越高，那么其对应的残差信号的能量就会越低，同时该视频块对应的bpp(每个像素所占用的比特数)也越小。基于这种编码原理，可以从bpp的角度出发，来判断CU在当前层的编码是否能够将残差信号的能量降到最低。

如果当前CU在所选用的预测模式下消耗的bpp足够小，当前CU对应的残差信号的能量足够低，表明在当前深度和预测模式下的预测准确度比较高。因此，可以基于bpp提前终止CU划分。CU深度的判决可以由下列条件所决定：

bpp_i＜Th_i,

bpp_i＝bit_i/(W×H),

其中，bpp_i代表当前CU在深度层i的情况下的bpp的值；Th_i代表判决当前CU划分终止的阈值参数，其中，i∈{0,1,2}；bit_i代表当前CU位于当前深度层时，采用最佳帧内模式编码所消耗的比特数；W和H代表当前CU的宽和高。具体的方法如下：1)在当前层，遍历所有的预测模式后，计算使用最佳预测模式的条件下所消耗的比特数；2)根据比特数计算当前CU所对应的bpp；3)根据bpp与阈值的关系正确判决出当前CU是否需要继续进行划分。

4.选取最佳深度和预测模式进行编码

通过以上分析，如果当前CU的特征符合上文所提出的快速算法，那么就会按照上述流程进行有选择的终止划分操作。如果当前CU的特征不符合快速算法，该CU将按照原始平台的流程进行编码。所有的候选深度和模式，需要通过率失真优化(Rate DistortionOptimization，RDO)过程确定最佳模式。其中RD代价J_RDO的定义如下式所示：

J_RDO＝D+λ·R

D代表失真，用来描述重建视频质量，R(Rate)表示编码所消耗的比特数，λ为拉格朗日乘子。

在进行RDO过程中，选取RD代价最小的深度和模式进行编码。

下面结合附图进行说明：

图1为屏幕内容视频特点分析结果。该图基于屏幕内容视频中的一帧进行分析，从图中可以发现，屏幕内容视频中会出现大量的平滑区域，如区域3和区域4。在区域3中，整个CU内部仅仅存在一种像素，而在区域4中，虽然存在两种像素，但像素呈现出了非常整齐排列的现象。非常适合采用本发明提出的方法。

图2为技术方案的流程图。

Claims (2)

1.一种基于内容分析的屏幕内容编码方法，其特征是，步骤如下：

1)纹理简单编码单元CU的区分

首先每一个编码单元CU被认为是一个矩阵，矩阵中的样本是每一个像素的亮度分量值，把纹理简单CU进行抽象，用两种矩阵来表示如下面两个公式所示：

$M_a={\left[\begin{array}{cccccc}s& s& \mathrm{...}& s& \mathrm{...}& s\\ s& s& \mathrm{...}& s& \mathrm{...}& s\\ .& .& & .& & .\\ .& .& \mathrm{...}& .& \mathrm{...}& .\\ .& .& & .& & .\\ s& s& \mathrm{...}& s& \mathrm{...}& s\\ s& s& \mathrm{...}& s& \mathrm{...}& s\end{array}\right]}_{2N\×2N},$

$M_b={\left[\begin{array}{cccccc}s& s& \mathrm{...}& x_{1,n}& \mathrm{...}& s\\ s& s& \mathrm{...}& x_{2,n}& \mathrm{...}& s\\ .& .& & .& & .\\ .& .& \mathrm{...}& .& \mathrm{...}& .\\ .& .& & .& & .\\ s& s& \mathrm{...}& x_{2N-1,n}& \mathrm{...}& s\\ s& s& \mathrm{...}& x_{2N,n}& \mathrm{...}& s\end{array}\right]}_{2N\×2N},$

其中M_a代表一个绝对平滑的区域，只存在一种样本值，每一个样本s代表一个亮度分量值，M_b代表相对平滑区域，其中虽然存在两种或两种以上的样本值，但是，每一种样本值都整齐排列，每一个x表示不同于s的亮度分量值；

2)基于秩的CU终止划分

经过上面的分析，如果当前屏幕内容CU对应的矩阵的秩等于1，那么当前CU的最优深度提前判决，从而终止进一步划分，其最优深度D_SCCU由下面公式所决定：

$D_{SCCU}=\left\{\begin{array}{cc}i& if\left(Rank\right(Mat)==1),\\ 3& otherwise,\end{array}\right.$

其中，i代表当前CU的深度，并且i∈{0,1,2}，Mat代表当前CU所对应的矩阵，该公式代表的含义是，如果当前CU的秩为1，那么当前CU的深度划分的操作将被提前终止；

3)基于bpp的CU终止划分

如果当前CU在选用的最佳预测模式下所消耗的每个像素所占用的比特数bpp小于阈值参数，则基于bpp提前终止CU划分，CU深度的判决由下列条件所决定：

bpp_i＜Th_i,

bpp_i＝bit_i/(W×H),

其中，bpp_i代表当前CU在深度层i的情况下的bpp的值；Th_i代表判决当前CU划分终止的阈值参数，其中，i∈{0,1,2}；bit_i代表当前CU位于当前深度层时，采用最佳帧内模式编码所消耗的比特数；W和H代表当前CU的宽和高；

4)选取最佳深度和预测模式进行编码

所有的候选深度和模式，需要通过率失真优化RDO(Rate Distortion Optimization)过程确定最佳模式，其中RD代价J_RDO的定义如下式所示：

J_RDO＝D+λ·R

D代表失真，用来描述重建视频质量，R(Rate)表示编码所消耗的比特数，λ为拉格朗日乘子。

2.如权利要求1所述的基于内容分析的屏幕内容编码方法，其特征是，在进行RDO过程中，选取RD代价最小的深度和模式进行编码。