CN106534846B - 一种屏幕内容与自然内容划分及快速编码方法 - Google Patents

Abstract

本发明公开了一种屏幕内容与自然内容划分及快速编码方法，所述编码方法包括以下步骤：根据空域相关性与统计特征，对编码单元进行自然内容和屏幕内容的区分；通过标志位flag_skip公式对自然内容编码单元进行快速模式选择；通过当前编码单元的最优深度公式对自然内容编码单元进行快速深度判决；通过率失真优化过程选取RD代价最小的深度和模式进行编码。本发明充分考虑了屏幕内容和自然内容之间的区别，结合自然内容自身特性，有条件地跳过不必要的模式和深度遍历，从而实现了屏幕内容快速编码，节省了整体编码时间。

Description

一种屏幕内容与自然内容划分及快速编码方法

技术领域

本发明涉及屏幕内容编码领域，尤其涉及一种屏幕内容与自然内容划分及快速编码方法。

背景技术

随着网络技术和数字化设备的发展，出现越来越多的远程应用。屏幕共享、远程桌面、远程展示、云计算等应用的蓬勃发展，使得屏幕内容视频受到了广泛关注。屏幕内容视频指包含计算机生成内容如卡通、文字、图形等的视频。当前，为每个人提供强有力的计算设备不再是最终目的，让人们能够通过个人终端设备与超级计算机联系并开展应用成为可能。因此，人们对高清晰度和高质量的屏幕内容视频的要求也越来越高。这需要在服务端把屏幕内容进行压缩，然后与远程客户进行交互。所以，屏幕内容编码作为新一代视频编码标准(HEVC)的一种扩展而被提出。屏幕内容编码与传统的HEVC编码类似，采用了基于混合编码的框架。编码前，视频序列被分割为若干个图像组(Group Of Picture，GOP)。在编码单元(CU)的划分过程中，屏幕内容编码依然采用了基于四叉树的划分结构。

首先，视频的每一帧被划分成尺寸为64×64的编码树单元(Coding Tree Unit，CTU)，每一个CTU可以进一步划分为尺寸不同的编码单元(CU)、预测单元(PU)和变换单元(TU)。其中，CU的尺寸分布可以从64×64迭代划分到8×8。同时，一个CU可以划分成一个或多个PU。PU的尺寸分布可以从64×64迭代划分到4×4。此外，在帧间预测情况下，PU可以进行对称划分也可以进行非对称划分。TU的尺寸分布可以从32×32迭代划分到4×4。CU、PU以及TU的分离使得视频编码更加灵活高效。

随着屏幕内容编码的发展，一些学者已经提出了针对屏幕内容编码的方法。目前，针对屏幕内容编码的方法主要存在两种技术分别是：帧内块的复制(IBC)模式和调色板(PLT)模式。虽然这些新技术的引入对屏幕内容编码的编码性能带来了明显的提升，但这些新技术是针对屏幕内容的特点提出来的，其对自然内容的编码并没有带来明显的增益。然而，由于新技术的引入，提高了屏幕内容编码中帧内预测的计算复杂度，因此亟需提出降低屏幕内容编码中帧内预测复杂度的快速算法。

虽然，许多学者在快速编码算法方面取得了重要的研究成果，但这些算法大多是针对由摄像机获取的自然视频而设计的，对屏幕内容的有效性不高。同时，屏幕内容视频中经常混合自然视频内容，如何区分两种视频，并在编码过程中对自然内容进行快速编码是需要研究的关键问题。本发明对屏幕内容和自然内容的划分及快速编码算法进行研究。

发明内容

本发明提供了一种屏幕内容与自然内容划分及快速编码方法，本发明依据屏幕内容和自然内容的特性，以及屏幕内容编码平台中新引入技术的适用特点，对自然内容和屏幕内容进行有效的区分，并对视频中的自然内容部分进行快速编码，详见下文描述：

一种屏幕内容与自然内容划分及快速编码方法，所述编码方法包括以下步骤：

根据空域相关性与统计特征，对编码单元进行自然内容和屏幕内容的区分；

通过标志位flag_skip公式对自然内容编码单元进行快速模式选择；

通过当前编码单元的最优深度公式对自然内容编码单元进行快速深度判决；

通过率失真优化过程选取RD代价最小的深度和模式进行编码。

其中，所述空域相关性与统计特征，对编码单元进行自然内容和屏幕内容的区分具体为：

其中，S代表像素种类总数；n_i代表出现频率最高的前五种像素值的总数；W代表当前编码单元的宽度；H代表当前编码单元的高度；V_max代表最大像素值；V_min代表最小像素值；α、β和γ分别为预设的参数；M_b,l、M_b,a、M_b,al分别代表当前编码单元的左、上、左上编码单元的最佳预测模式；35modes代表35种传统的帧内预测模式。

其中，所述通过标志位flag_skip公式对自然内容编码单元进行快速模式选择具体为：

其中，M_t代表当前编码单元最佳帧内预测模式；DC代表直流预测模式；PLANR代表平面预测模式。当flag_skip等于1时，帧内块的复制模式和调色板模式在模式遍历过程中将被跳过；否则，帧内块的复制模式和调色板模式将按照原始平台中的流程进行遍历。

其中，所述通过当前编码单元的最优深度公式对自然内容编码单元进行快速深度判决具体为：

其中，i代表当前编码单元的深度，i∈{0,1,2}；M_t代表当前编码单元最佳帧内预测模式；DC代表直流预测模式；PLANR代表平面预测模式。当遍历传统的35种帧内预测模式后，如果DC模式或者PLANR模式被选择为最佳预测模式，那么当前编码单元的最优深度可以提前判断并终止划分。

其中，所述RD代价具体为：

J＝D+λ·R

其中，D代表失真，用来描述重建视频质量；R表示编码所消耗的比特数；λ为拉格朗日乘子。

本发明提供的技术方案的有益效果是：本发明充分考虑了屏幕内容和自然内容之间的区别，结合自然视频自身的特性，有条件的跳过不必要的模式和深度遍历，从而实现了屏幕内容快速编码，节省了整体编码时间。

附图说明

图1(a)为自然内容编码单元的示意图；

图1(b)为屏幕内容编码单元的示意图；

图2为一种屏幕内容与自然内容划分及快速编码方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

一个典型的屏幕内容视频中通常会混合包含不连续色调的屏幕内容和连续色调的自然内容。连续色调和非连续色调的内容在统计学上拥有显著的差异。

图1(a)为对自然内容编码单元、图1(b)为对屏幕内容编码单元亮度分量的分布统计结果。横轴代表亮度值，纵轴代表该亮度值在当前编码单元中出现的总数。从图1(a)和图1(b)中可以发现，自然内容和屏幕内容存在三种明显的不同：

1)自然内容的亮度分量种类相较于屏幕内容更为丰富；

2)自然内容的亮度分量分布相较于屏幕内容更为集中；

3)屏幕内容中会存在一种或几种主要的亮度分量，而自然内容中不会出现。

针对两种视频内容自身的特点，提出一种能够区分两种视频内容的方法。并在此基础上，针对自然视频内容的特征结合新技术的适用范围，做出对自然内容的模式选择和深度判决。从而简化其编码过程，节省编码时间。

实施例1

本发明实施例提供了一种屏幕内容与自然内容划分及快速编码方法，参见图2，该编码方法包括以下步骤：

101：根据空域相关性与统计特征，对编码单元进行自然内容和屏幕内容的区分；

根据CU自身包含的视频内容，CU可以被划分为自然内容编码单元(NCCU)和屏幕内容编码单元(SCCU)。另外，如果当前CU的相邻CU属于NCCU，那么根据空域相关性，当前CU也很有可能属于NCCU。

因此，空域相关性与统计特征被联合用于区分自然视频CU和屏幕内容CU。空域相关性的限制条件是基于当前CU左、上、左上CU的最佳预测模式获取的。根据分析，两种视频内容可以根据下列公式进行区分：

其中，S代表像素种类总数；n_i代表出现频率最高的前五种像素值的总数；W代表当前CU的宽度；H代表当前CU的高度；V_max代表最大像素值；V_min代表最小像素值；α、β和γ分别设置为10、0.5和100；M_b,l、M_b,a、M_b,al分别代表当前CU的左、上、左上CU的最佳预测模式；35modes代表35种传统的帧内预测模式。

102：通过标志位flag_skip公式对自然内容编码单元进行快速模式选择；

在传统的HEVC帧内预测过程中，DC(直流预测)模式和PLANR(平面预测)模式通常对拥有光滑纹理的视频块有较好的编码性能。因此，对于这种平坦的视频块DC模式或者PLANR模式常常被选为最佳预测模式。

IBC和PLT对屏幕内容视频编码的性能取得了明显的提升，然而，这些新技术并不能提升自然内容视频的编码性能。因此，针对自然内容部分的编码，可以考虑在一定的约束条件下跳过IBC模式和PLT模式的遍历。在帧内编码过程中，IBC模式和PLT模式是否可以跳过的标志位flag_skip由下面公式决定：

其中，M_t代表当前CU最佳帧内预测模式。当flag_skip等于1时，IBC模式和PLT模式在帧内模式遍历过程中将被跳过；否则，IBC模式和PLT模式将按照原始平台中的流程进行遍历。

103：通过当前编码单元的最优深度公式对自然内容编码单元进行快速深度判决；

由于纹理简单的CU倾向于选择尺寸大的划分结构，纹理复杂的CU倾向于选择尺寸小的划分结构。并且DC模式和PLANR模式可以在一定程度上反应出当前CU的纹理复杂度。因此，当前CU的最优深度D_NCCU可以由下述公式所决定：

其中，i代表当前CU的深度，i∈{0,1,2}。这意味着，在帧内预测过程中，当遍历传统的35种帧内预测模式后，如果DC模式或者PLANR模式被选择为最佳预测模式，那么当前CU的最优深度就可以提前判断并终止划分，从而能降低帧内预测的计算复杂度。

104：通过率失真优化过程选取RD代价最小的深度和模式进行编码。

其中，在所有的候选深度和模式中，需要通过率失真优化过程确定最佳模式，选取RD(率失真)代价最小的深度和模式进行编码。其中RD代价J的定义如下式所示：

J＝D+λ·R

D代表失真，用来描述重建视频质量；R(Rate)表示编码所消耗的比特数；λ为拉格朗日乘子。

综上所述，本发明实施例根据自然内容单元和屏幕内容单元在统计学上的区别，提出了一种有效的区分两种编码单元的方法，并结合自然内容与屏幕内容编码平台引入的新技术之间的关系，设计了一种快速编码算法。本发明实施例在保证编码性能的同时获得可观的编码时间节省，降低了屏幕内容编码计算复杂度。

实施例2

屏幕内容编码作为HEVC的一种重要的扩展应用，其对屏幕内容视频表现出优异的编码性能。在屏幕内容编码标准中，新技术的引入对编码标准的性能带来了明显的增益，然而编码复杂度也随之增加。混合类型视频作为屏幕内容视频一种重要的类型，拥有一些不同于由摄像机拍摄的自然视频的特点，因此传统的快速算法对于混合类型视频已不再适用。

下面结合图2以及计算公式对实施例1中的方案进行进一步地描述，详见下文：

201：自然内容和屏幕内容的区分；

根据CU自身包含的视频内容，CU可以被划分为自然内容编码单元(NCCU)和屏幕内容编码单元(SCCU)。另外，如果当前CU的相邻CU属于NCCU，那么根据空域相关性，当前CU也很有可能属于NCCU。因此，空域相关性与统计特征被联合用于区分自然视频CU和屏幕内容CU。空域相关性的限制条件是基于当前CU左、上、左上CU的最佳预测模式获取的。

本发明实施例对NCCU和SCCU的亮度分量像素值进行了统计分析。由如图1(a)和图1(b)可知：

1)NCCU中的像素值种类总数要明显多于SCCU，这意味着自然内容中的亮度信息很丰富，而屏幕内容的亮度信息却比较贫乏；

2)NCCU的峰值要远远小于SCCU中的峰值。这就意味着在屏幕内容中，大多数像素的像素值是相同的，而在自然内容中却不存在该特点；

3)在NCCU中最大像素值和最小像素值之间的差值要远远小于SCCU。这就意味着，在自然内容中像素值的分布是比较集中的，而在屏幕内容中却不具有相应的特点。

根据分析，两种视频内容可以根据下列公式进行区分：

其中，S代表像素种类总数；n_i代表出现频率最高的前五种像素值的总数；W代表当前CU的宽度；H代表当前CU的高度；V_max代表最大像素值；V_min代表最小像素值；α、β和γ分别设置为10、0.5和100；M_b,l、M_b,a、M_b,al分别代表当前CU的左、上、左上CU的最佳预测模式；35modes代表35种传统的帧内预测模式。

具体的步骤如下：

1)计算当前CU中像素值类型的总数；

2)计算出现最频繁的五种像素值所占的比例；

3)计算最大与最小像素值之间的差值；

4)判断周围块的最佳预测模式；

5)如果以上四个指标全部符合上述条件，那么当前CU被判断为NCCU，否则被认为是SCCU。

202：自然内容CU快速模式选择；

在传统的HEVC帧内预测过程中，DC模式和PLANR模式通常对拥有平滑纹理的视频块具有较好的编码性能。因此，对于平坦的视频块，DC模式或者PLANR模式常常被选为最佳预测模式。如果当前视频块的纹理比较简单，那么它可以通过DC模式或者PLANR模式得到较好的编码性能。IBC和PLT对屏幕内容视频编码的性能取得了明显的提升，然而，这些新技术并不能提升自然内容视频的编码性能。因此，针对自然内容视频部分的编码，可以考虑在一定的约束条件下跳过IBC模式和PLT模式的遍历。在帧内编码过程中，IBC模式和PLT模式是否可以跳过的标志位flag_skip由下面公式决定：

其中，M_t代表当前CU最佳帧内预测模式。当flag_skip等于1时，IBC模式和PLT模式在帧内模式遍历过程中将被跳过；否则，IBC模式和PLT模式将按照原始平台中的流程进行遍历。具体步骤如下：

1)遍历传统的35中预测模式；

2)判断最佳预测模式是否为DC或者PLANR模式；

3)如果最佳预测模式为DC或者PLANR模式，那么IBC和PLT模式将被跳过，否则继续遍历两种新模式。

203：自然内容CU快速深度判决；

由于纹理简单的CU倾向于选择尺寸大的划分结构，纹理复杂的CU倾向于选择尺寸小的划分结构。并且DC模式和PLANR模式可以在一定程度上反应出当前CU的纹理复杂度。因此，当传统的35种帧内预测模式被遍历后，如果最佳的预测模式是DC模式或者是PLANR模式，当前CU的最优深度D_NCCU可以由下述公式所决定：

其中，i代表当前CU的深度，i∈{0,1,2}。这意味着，在帧内预测过程中，当遍历传统的35种帧内预测模式后，如果DC模式或者PLANR模式被选择为最佳预测模式，那么当前CU的最优深度就可以提前判断并终止划分，从而能降低帧内预测的计算复杂度。

具体算法如下：

1)遍历传统的35中预测模式；

2)判断最佳预测模式是否为DC或者PLANR模式；

3)如果最佳预测模式为DC或者PLANR模式，那么终止当前CU的划分，否则按照原始平台流程进行处理。

204：选取最佳深度和预测模式进行编码；

在所有的候选深度和模式中，需要通过率失真优化过程确定最佳模式，选取RD代价最小的深度和模式进行编码。其中RD代价J的定义如下式所示：

J＝D+λ·R

D代表失真，用来描述重建视频质量；R(Rate)表示编码所消耗的比特数；λ为拉格朗日乘子。

综上所述，本发明实施例根据自然内容单元和屏幕内容单元在统计学上的区别，提出了一种有效的区分两种编码单元的方法，并结合自然内容与屏幕内容编码平台引入的新技术之间的关系，设计了一种快速编码算法。本发明实施例在保证编码性能的同时获得可观的编码时间节省，降低了屏幕内容编码计算复杂度。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种屏幕内容与自然内容划分及快速编码方法，其特征在于，所述编码方法包括以下步骤：

根据空域相关性与统计特征，对编码单元进行自然内容和屏幕内容的区分；

通过标志位flag_skip公式对自然内容编码单元进行快速模式选择；

通过当前编码单元的最优深度公式对自然内容编码单元进行快速深度判决；

通过率失真优化过程选取RD代价最小的深度和模式进行编码；

其中，所述空域相关性与统计特征，对编码单元进行自然内容和屏幕内容的区分具体为：

其中，S代表像素种类总数；n_i代表出现频率最高的前五种像素值的总数；W代表当前编码单元的宽度；H代表当前编码单元的高度；V_max代表最大像素值；V_min代表最小像素值；α、β和γ分别为预设的参数；M_b,l、M_b,a、M_b,al分别代表当前编码单元的左、上、左上编码单元的最佳预测模式；35modes代表35种传统的帧内预测模式；

其中，所述通过标志位flag_skip公式对自然内容编码单元进行快速模式选择具体为：

其中，M_t代表当前编码单元最佳帧内预测模式；DC代表直流预测模式；PLANR代表平面预测模式；当flag_skip等于1时，帧内块的复制模式和调色板模式在模式遍历过程中将被跳过；否则，帧内块的复制模式和调色板模式将按照原始平台中的流程进行遍历；

其中，所述通过当前编码单元的最优深度公式对自然内容编码单元进行快速深度判决具体为：

其中，i代表当前编码单元的深度，i∈{0,1,2}；M_t代表当前编码单元最佳帧内预测模式；DC代表直流预测模式；PLANR代表平面预测模式；当遍历传统的35种帧内预测模式后，如果DC模式或者PLANR模式被选择为最佳预测模式，那么当前编码单元的最优深度可以提前判断并终止划分。

2.根据权利要求1所述的一种屏幕内容与自然内容划分及快速编码方法，其特征在于，所述RD代价具体为：

J＝D+λ·R

其中，D代表失真，用来描述重建视频质量；R表示编码所消耗的比特数；λ为拉格朗日乘子。