CN103702126A - 一种基于视频标准hevc的并行编码优化方法 - Google Patents

Abstract

本发明涉及基于视频标准HEVC的并行编码优化方法，该方法包括以下步骤：计算当前帧与参考帧的相似度参数；将所述相似度参数与第一阈值比较，判定当前帧与参考帧是否相似；当前帧与参考帧不相似时，按默认方式对当前帧划分Tile；当前帧与参考帧相似时，以前一帧的Tile划分为基准对当前帧划分Tile，并用前一帧的并行编码信息自适应调整各个Tile的大小。本方法能够有效地提高编码效率和提高处理器等硬件资源的利用率。

Description

一种基于视频标准HEVC的并行编码优化方法

技术领域

本发明涉及视频压缩和并行编码方法，更具体地说，是一种基于视频标准HEVC的并行编码优化方法。

背景技术

视频标准HEVC与视频标准H.264/AVC相比，采用了更加灵活的编码结构，如编码单位(coding unit，CU)、预测单位(predict unit，PU)和转换单位(transform unit，TU)，以及更加灵活的块结构，如RQT(Residual Quad-tree Transform)，新编码工具如采样点自适应偏移(SampleAdaptive Offset)，自适应环路滤波(Adaptive Loop Filter)的使用，在提升编码性能表现的同时，也大大增加了计算复杂度。当前芯片架构已经从单核逐渐往多核并行方向发展，因此为了适应并行化程度非常高的芯片实现，HEVC/H265引入了很多并行运算的优化思路，其中比较典型的有Tiles的实现和使用。

Tiles是以LCU(Largest Coding Unit)为基本单位的一种划分方式，即用垂直和水平的边界将图像划分为一些行和列，划分出的每个矩形区域为一个Tile，每一个Tile包含整数个LCU，Tile之间可以互相独立，以此实现并行处理。

发明内容

本发明的目的是提供一种基于视频标准HEVC的并行编码优化方法，以有效地提高编码效率和硬件资源的利用率。

为达上述目的，本发明提供的一种基于视频标准HEVC的并行编码优化方法包括以下步骤：

计算当前帧与参考帧的相似度参数；

将所述相似度参数与第一阈值比较，判定当前帧与参考帧是否相似；

当前帧与参考帧不相似时，按默认方式对当前帧划分Tile；

当前帧与参考帧相似时，以前一帧的Tile划分为基准对当前帧划分Tile，并用前一帧的并行编码信息自适应调整各个Tile的大小。

上述基于视频标准HEVC的并行编码优化方法中，所述相似度参数最好为当前帧与参考帧中像素分量值差大于第二阈值的像素数量占总像素数量的比例。

上述的基于视频标准HEVC的并行编码优化方法中，优选地，所述的前一帧的并行编码信息包括每个Tile的编码时间及大小；用前一帧的并行编码信息自适应调整各个Tile的大小的方法包括以下步骤：

对前一帧中所有Tile的编码时间求平均值，作为第一参考值；

计算前一帧中各宏块的编码时间；

以剩余所有Tile的平均编码时间与所述第一参考值接近为约束，用计算得到的宏块的编码时间分别计算各个Tile的期望宏块数；

用Tile的实际宏块数与期望宏块数的差值，计算Tile需调整的行数或列数，进而调整Tile的行数或列数。

上述的基于视频标准HEVC的并行编码优化方法中，优选地，计算前一帧中各宏块的编码时间的方法包括以下步骤：

用Tile的大小除以宏块的大小计算出Tile的实际宏块数；

用Tile的编码时间除以Tile的实际宏块数计算出该Tile中宏块的平均编码时间；

将Tile中宏块的平均编码时间作为该Tile中宏块的编码时间。

本发明具有以下优点：其通过对相邻帧编码过程信息的挖掘，估计出当前帧编码时较合理的Tile划分方式，并对其重新进行划分，在保证编码质量的前提下，平衡了编码过程中各并行域的工作负载，从而能够有效地提高编码效率和提高处理器等硬件资源的利用率。

附图说明

图1为采用了本发明优化方法的一种基于HEVC的并行编码流程图。

具体实施方式

下面结合附图和实施例进一步说明本发明。

图1示出了一种基于HEVC的并行编码方法，其中采用了本发明的优化方法。

如图1所示，本基于HEVC的并行编码方法包括以下步骤：

步骤S1，读入待编码的视频序列，以YUV格式为例。

步骤S2，根据读入视频序列的已知特性（如场景内容等），人工或默认设置编码画面组（GOP）的大小等参数。该步骤可以采用现有的方法。

步骤S3，对画面组的首帧进行帧内编码。

步骤S4，读入下一帧作为当前帧，对当前帧进行快速场景变换检测。

采用的快速场景变换检测方法如下：通过计算当前帧与参考帧中像素分量值差较大（例如大于第二阈值）的像素数量占总像素数量的比例来判断场景是否切换，即在得到的残差图像中的像素点的颜色向量

计算如下函数：

$\frac{1}{\mathrm{WH}}\underset{x=i}{\overset{W}{\mathrm{\Σ}}}\underset{y=j}{\overset{H}{\mathrm{\Σ}}}\left(\right|\stackrel{\→}{p}(x,y)|,\mathrm{\α})$

其中，W为帧的宽度，H为帧的高度，α为人工设定的第二阈值，函数I(a,b)的定义如下：

$I(a,b)=\left\{\begin{array}{c}1,a>b\\ 0,a\≤b\end{array}\right.$

若残差图中的颜色向量差值大于设定的第二阈值，则对S进行计数。

显然，S表征了当前帧与参考帧的相似程度（将其称为相似度参数），它的值较小时，表示当前帧与参考帧极其相似，可以利用上一帧的区域划分信息为当前帧做预测。而当S的值较大时，意味着图像中大部分的像素点已经发生改变，从而认定场景已经发生改变。

步骤S5，将相似度参数S与第一阈值比较，判定当前帧与参考帧是否相似。

步骤S6，当前帧与参考帧不相似时，按默认方式对当前帧划分Tile，然后转步骤S8。

步骤S7，当前帧与参考帧相似时，以前一帧的Tile划分为基准对当前帧划分Tile，并用前一帧的并行编码信息自适应调整各个Tile的大小，以平衡并行编码中各并行域的工作负载。

前一帧的并行编码信息包括每个Tile的编码时间及大小。前一帧的编码信息整理如下：

	Tile1	Tile2	……	tileN
					编码时间	T1	T2	……	Tn
Tile宽	W1	W2	……	Wn
					tile高	H1	H2	……	Hn

其中，编码时间与Tile的大小（宽度，高度，像素点数量）及当前Tile的图像内容复杂程度有关，是并行过程中首要考虑的因素及衡量指标。

用前一帧的并行编码信息自适应调整各个Tile的大小的方法包括以下步骤：

（1）对前一帧中所有Tile的编码时间求平均值T^mean，作为第一参考值，

$T^{\mathrm{mean}}=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{T}_i,i=\mathrm{1,2},\·\·\·,N$

其中N为前一帧Tile的总数目，T_i为对应Tile的编码时间。根据记录的前一帧的各Tile的编码时间，按从大到小的顺序排列。

（2）计算前一帧中各宏块的编码时间。一种方法包括以下步骤：

（2-1）用Tile的大小除以宏块的大小计算出Tile的实际宏块数，用公式表示为

$N_i^{\mathrm{Block}}=\frac{W_i\×H_i}{W_{\mathrm{Block}}\×H_{\mathrm{Block}}},i=\mathrm{1,2},\·\·\·,N$

其中，W_i和H_i分别表示第i个Tile的宽度和高度，W_Block和H_Block分别表示当前帧中宏块的宽度和高度（一般为16*16像素）。

（2-2）用Tile的编码时间除以Tile的实际宏块数计算出该Tile中宏块的平均编码时间，用公式表示为

$T_i^{\mathrm{Bmean}}=\frac{T_i}{N_i^{\mathrm{Block}}},i=\mathrm{1,2},\·\·\·,N$

表示第i个Tile中所有宏块的平均编码时间。

（2-3）由于同一Tile内部的宏块往往编码时间相差不大，所以将Tile中宏块的平均编码时间作为该Tile中宏块的编码时间。用公式表示为

$T_B(i,j)=T_i^{\mathrm{Bmean}},j\∈[1,N^B]$

T_B(i,j)表示宏块的编码时间，其中i表示该宏块位于第i个Tile中，j是宏块的总索引，N^B表示前一帧宏块的总数目，

$N^B=\frac{W\×H}{W_{\mathrm{Block}}\×H_{\mathrm{Block}}}$

W和H分别表示前一帧的宽度和高度。

(3）以剩余所有Tile的平均编码时间与所述第一参考值T^mean接近为约束，用计算得到的宏块的编码时间分别计算各个Tile的期望宏块数。用公式表示为

$\max I_t,s.t.|\frac{\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{T}_j-\underset{k=1}{\overset{i}{\mathrm{\&Sigma;}}}\underset{l=1}{\overset{I_i}{\mathrm{\&Sigma;}}}{T}_B(k,l)}{N-i}-T^{\mathrm{mean}}|<\mathrm{\&lambda;}{T}^{\mathrm{mean}}$

其中，s.t.表示使得I_i满足右边的约束条件，I_i为第i个Tile的期望宏块数，对应的索引号为：

表示编码总时间，

表示已经重划分过（调整过）的Tile所用编码时间的和，也就是第1个到第I_i个宏块的编码时间总和，表示剩余Tiles的编码时间和，除以N-i之后再与T^mean作差，使得该差值的绝对值小于阈值λT^mean，其中λ为比例系数，通常λ可介于0.01到0.1之间。每次计算时，使I_i从1逐渐增大，直到满足上式即可，从而能够初步得到重划分后每个Tile所包含的宏块数(即，各个Tile的期望宏块数)I_i,i=1,2,……,N。

（4）用Tile的实际宏块数与期望宏块数的差值，计算Tile需调整的行数或列数，进而调整Tile的行数或列数。

在本实施例中，按照扫描顺序（Z型），保持行数不变，通过调整列数依次对各个Tile的大小进行自适应调整，计算公式如下：

${\mathrm{Col}}_i=\left[\frac{N_i^{\mathrm{Block}}-I_i}{H_i/H_{\mathrm{Block}}}\right]$

其中，符号[x]表示取整，Col_i表示第i个Tile应该调整的列数（以一列宏块为单位），若Col_i>0，将当前Tile内远离已调整Tile的一边（如当前Tile右边）的Col_i列移出当前Tile，若Col_i<0，则将当前Tile周围远离已调整Tile的一边（如当前Tile右边）的|Col_i|列移入当前Tile内。假设第一个Tile需要调整Col₁列，第二个Tile需要调整Col₂列，在第一个Tile重划分（调整）完毕后，因为向第一个Tile移入了或从第一个Tile移出了Col₁列，故应先对第二个Tile移入或移出Col₁列，继而再调整Col₂列，依次类推，直到最后一个Tile调整完毕。

步骤S8，对划分后的Tiles进行并行编码。

步骤S9，判断当前帧是否画面组的最后一帧，若是则转步骤S10，若不是则转步骤S4。

步骤S10，当前画面组编码结束。

本发明中，Tile的宽度和高度还可以以像素或者宏块数为单位进行表征。

上述实施例通过计算Tile的期望宏块数来实现对Tile大小调整，能够非常好地平衡并行编码中各并行域的工作负载。

在另外一些实施例中，还可以通过设置一些调整等级，例如：可以设置1行或1列为一级，2行或2列为二级，依此类推。然后根据前一帧各Tile的编码时间与第一参考值T^mean的差值的大小选择对应的调整等级，差值越大，调整的列数或行数越多。该方案也能在一定程度上平衡并行编码中各并行域的工作负载。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (4)

1.一种基于视频标准HEVC的并行编码优化方法，其特征在于，该优化方法包括以下步骤：

计算当前帧与参考帧的相似度参数；

将所述相似度参数与第一阈值比较，判定当前帧与参考帧是否相似；

当前帧与参考帧不相似时，按默认方式对当前帧划分Tile；

当前帧与参考帧相似时，以前一帧的Tile划分为基准对当前帧划分Tile，并用前一帧的并行编码信息自适应调整各个Tile的大小。

2.根据权利要求1所述的基于视频标准HEVC的并行编码优化方法，其特征在于：所述相似度参数为当前帧与参考帧中像素分量值差大于第二阈值的像素数量占总像素数量的比例。

3.根据权利要求1所述的基于视频标准HEVC的并行编码优化方法，其特征在于：

所述的前一帧的并行编码信息包括每个Tile的编码时间及大小；

用前一帧的并行编码信息自适应调整各个Tile的大小的方法包括以下步骤：

对前一帧中所有Tile的编码时间求平均值，作为第一参考值；

计算前一帧中各宏块的编码时间；

以剩余所有Tile的平均编码时间与所述第一参考值接近为约束，用计算得到的宏块的编码时间分别计算各个Tile的期望宏块数；

用Tile的实际宏块数与期望宏块数的差值，计算Tile需调整的行数或列数，进而调整Tile的行数或列数。

4.根据权利要求3所述的基于视频标准HEVC的并行编码优化方法，其特征在于，计算前一帧中各宏块的编码时间的方法包括以下步骤：

用Tile的大小除以宏块的大小计算出Tile的实际宏块数；

用Tile的编码时间除以Tile的实际宏块数计算出该Tile中宏块的平均编码时间；

将Tile中宏块的平均编码时间作为该Tile中宏块的编码时间。

Images