CN105992008B - 一种在多核处理器平台上的多层次多任务并行解码方法 - Google Patents

Abstract

本发明公开了一种在多核处理器平台上的多层次多任务并行解码方法。本发明方法针对高清视频的巨大数据量和HEVC解码的超高处理复杂度问题，利用HEVC数据中的依赖性，提出了一种在多核处理器平台上任务和数据有效结合的多层次多任务并行解码算法。本发明将HEVC解码分成帧层熵解码和CTU层数据解码两类任务，采用不同的粒度分别进行并行处理：对熵解码任务以帧级方式并行；对CTU数据解码任务以CTU数据行方式并行；每一个任务由独立的线程执行，并被绑定到一个独立的核运行，充分利用了多核处理器的并行计算性能，实现对未使用任何并行编码技术的HEVC全高清单一码流的实时并行解码。采用的多核并行算法相比于串行解码，大大提高了解码的并行加速比，并保证了解码图像质量。

Description

一种在多核处理器平台上的多层次多任务并行解码方法

技术领域

本发明涉及数字视频信号编码解码领域，具体涉及一种在多核处理器平台上的多层次多任务并行解码方法。

背景技术

随着移动互联网的发展和Internet视频应用的不断进步，为了满足人们对高清(HD)等视频的不断需求，2010年MPEG和VCEG联合组建的视频编码国际标准组织JCT-VC共同开发了新一代视频编码国际标准HEVC(High Efficiency Video Coding)，并在2013年1月正式成为国际标准。“高效编码”HEVC的目标在于提高视频编码效率，在相同的图像质量前提下，压缩率比H.264/AVC高档次(high profile)提高一倍。考虑到高清视频编解码的巨大数据量和编解码复杂的体系，HEVC标准引入多种并行处理技术手段，如Tile以块为并行颗粒、WPP波前并行，有效地提高了编解码的性能。与此同时，也带来了对实现HEVC并行解码的硬件平台的更高要求，而Tilera系列多核处理器在当前多核处理器市场上就非常具有代表性，作为一种可重构阵列结构DSP，它采用了网格化多核架构，通过iMesh网络实现众多处理器核互连，将单芯片运算处理能力提高了几十到上百倍，并在多核内部提供并行编程开发环境。因此我们希望能够在多核处理器中设计出并行颗粒，并行化地处理的高清视频码流数据任务，使得多核处理器的计算性能能够得到充分的发挥。

国内外的学者已经在多核处理器上结合视频编解码标准做出了一些研究。2011年4月西安交通大学的崔旭升在其硕士论文“基于Tile64的H.264解码器的实现和并行研究”中提出了一种对运动补偿模块进行并行方案的设计和汇编优化，实现了CIF和QCIF的实时编解码。2013年2月浙江大学的王宇在其硕士毕业论文中提出“基于同构多核处理器平台的高质量H_264并行解码器设计实现”。该论文在Tilera多核处理器上结合H.264标准提出了一种一帧图像的所有宏块行的并行重建算法，利用16个Tilera处理器核实现了在1080P全高清码流的实时解码。德国柏林大学的Mauricio Alvarez-Mesa,Chi Ching Chi,BenJuurlink,Valeri George,Thomas Schierl在2012年的IEEE International Conferenceon Acoustics,Speech and Signal Processing(ICASSP)发表的论文“Parallel videodecoding in the emerging HEVC Standard”中提出了一种利用了HEVC特有的并行结构“熵条”，在熵解码的过程中利用并行性进行解码的算法，在12核Inter处理器上实现了HEVC的1080P高清实时解码。

上述作者提出的方案在多核平台上的视频解码研究都是有着他们的局限性。第一篇论文中是对于视频分辨率的应用不够广，仅仅停留在CIF、QCIF的实时解码，并未对1080P进行研究，并且其并行加速比较低。第二篇论文，使用“熵条”作为并行粒度破坏了图像预测的连续性，从而无法保证高清视频的图像质量。

发明内容

本发明要解决的技术问题是，在保证了解码图像质量的前提下，对未使用任何并行编码方式形成的高清单一码流的实时解码，大大提高了解码并行加速比。

为解决上述问题，本发明的基本思想是：利用多核处理器的高并行计算性能结合HEVE标准，对HEVC解码器进行划分为熵解码和CTU行数据解码两个部分，采用了任务级和数据级的多核并行解码，实现了对未使用任何并行编码方式形成的高清单一码流的多核并行实时解码，充分挖掘多核处理器计算性能，扩展了多核处理器的解码功能。本发明提出的在多核处理器平台上的多层次多任务并行解码算法，具体包括以下步骤：

步骤1、主线程首先完成一些初始化的工作，包括码流文件的读取，创建HEVC解码器以及必要的内存单元申请；

步骤2、先从读入的码流中截取当前帧的码流并调用函数，进行解析NAL单元以及图像的PPS、VPS、SEI参数集信息和图像的Slice头信息。这些信息包含了解码所需的profile，level，图像的宽和高，环路滤波的参数信息，然后将其保存至解码图像对象结构体中；

步骤3、根据步骤2中解析生成的参数，在线程池中创建与图像CTU行数相同数量的线程，通过多核函数库将每个线程绑定到不同的核，保证各个线程能够进行多核并行解码，然后进入主循环；

步骤4、读取一帧图像，若检测到I帧或者P帧，则直接进行该帧的熵解码；若检测到同级相互独立的B帧，即可调用多核线程池中的线程进行帧级并行熵解码。一旦线程完成并行熵解码后，直接进行CTU行数据的解码，并将上述两种熵解码后的数据存入帧缓存中；

步骤5、检测多核线程池中熵解码之后的CTU行数据的左侧，左上侧，上侧，右上侧的CTU解码是否完成。若解码完成，则可以从任务队列中获取执行当前行CTU的任务，即可实现CTU行之间的并行解码；

步骤6、完成该CTU行内反量化，反变换，运动补偿，帧内预测的一系列解码过程，直到该CTU行解码结束。一旦工作线程解完一行CTU数据，则重新将其放到线程池之中；

步骤7、一帧解码完成之后，检测视频码流是否全部解码完成，若完成则释放所有的资源和销毁线程池；若没完成，则返回步骤3。

进一步，上述步骤4中，将同一水平线B帧作为一个等级，对于同一级别的B帧将不会相互参考，而且也不会作为I帧和P帧的参考图像，所以可以将同一级别的B帧交给不同处理器核进行处理，实现帧级熵解码并行。

上述步骤5中，在CTU级，每个CTU必须等待它的左、左上、上和右上4个相邻CTU解码完成才能开始预测，因为根据HEVC标准的语法限制，当前CTU需要这几个相邻CTU的已解码信息，在帧内解码时，当前CTU需要从上述相邻CTU的重建像素进行帧内预测；在帧间预测时，当前CTU需要从上述相邻CTU处获取运动信息。

作为优选，利用线程池技术将固定数目的线程各自绑定到一个核心上，多核处理器只需要将解码数据包交给线程池即可。通过对多个任务重用已经存在的线程对象，使用多线程设计模式可以提高程序的实时响应能力，改进程序的设计结构，更有效地发挥处理器的功能，减少对系统资源的频繁调度和切换，降低了对线程对象创建和销毁的开销。多线程设计中多个线程访问共享资源时，通过锁定、解锁操作配合条件变量来协调正确的并发操作，从而整体地提高了系统的解码效率。相比现有技术，本发明具有以下有益效果：

本发明是一种在多核处理器平台上任务和数据结合的多层次多任务并行解码算法，在原有并行框架的限制的条件下，创造性地将HEVC解码器划分为熵解码部分和CTU行数据解码部分，利用任务级和数据级混合的多任务并行方式，利用多核处理器的并行计算高性能，实验结果表明，本发明在并行度提升、多核并行架构层次、解码速度等方面均有较好性能，并实现了对未使用任何并行方式编码形成的全高清1080P单一码流的实时解码，具有较高的工程应用价值和研究意义。

附图说明

图1是HEVC解码流程框图。

图2是并行熵解码示意图。

图3是多线程解码CTU之间的依赖性解析示意图。

图4是一种在多核处理器平台上的多层次多任务并行解码方法的流程图。

图5是本发明的多核并行解码的架构图。

图6是基于CTU行的动态多核线程池调度技术示意图。

图7是在本发明的多核并行加速比示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明针对多核处理器的超高并行计算性能来实现HEVC的高清视频的实时并行解码。我们将采用Tilera GX36多核处理器的作为我们的实验平台，它由36个Tile核组成，Tilera多核处理器拥有一套完整的多核开发工具，为我们实现多核并行程序提供了方便。

图1所示为HEVC解码器框图。HEVC编解码原理的基本结构和H.264/AVC基本一致，但HEVC的编解码在性能上的提升源于一系列模块级的深入优化和一些设计元素上的创新。其中针对高清视频编解码的性能提升较为重要的新特性有：基于四叉数的循环分层结构的编码单元CU；为了解决高清视频的巨大数据量提供了多种并行化实现。本发明就利用图像编码CTU行数据作为并行颗粒，以64×64划分结构为CTU块大小，划分各个CTU行，并分配给各个Tile核的线程进行多核并行处理。

图2所示为并行熵解码示意图。对于B帧，如图2所示，我们将同一水平线上的B帧作为一个等级，我们发现B帧之间只会在不同级别进行参考，而对于同一级别的B帧将不会相互参考，而且也不会作为I帧和P帧的参考图像，这就意味着同级的B帧之间是相互独立的，为进行帧级并行解码提供了可能。所以当同一级别的解码依赖性满足之后，我们可以将同一级别的B帧交给不同处理器核进行处理。例如，一个码流帧序列结构为IBBBBBBBP时，我们可以发现当B_T3这一级别的B帧解码依赖性满足时，即最大可进行4帧并行的熵解码，提高了熵解码的并行度。

图3所示为多线程解码CTU行的依赖性解析示意图，当前CTU对其左侧，左上侧，上侧，右上侧的CTU具有数据依赖性，所以对于当前CTU行进行多核并行解码执行取决于当前CTU的数据依赖性是否得到满足。若满足，则可以从任务队列中获取执行前行CTU的任务，即可实现CTU行数据之间的并行解码。例如，图3中三个标记为S4的CTU即可并行处理。

图4所示是利用Tilera多核处理器的超高并行计算性能来实现基于HEVC和多核处理器结合的多任务并行解码算法的流程图。具体按照以下步骤：

步骤1、主线程首先完成一些初始化的工作，包括码流文件的读取，创建HEVC解码器以及必要的内存单元申请；

步骤2、先从读入的码流中截取当前帧的码流并调用函数，进行解析NAL单元以及图像的PPS、VPS、SEI参数集信息和图像的Slice头信息，这些信息包含了解码所需的profile，level，图像的宽和高，环路滤波的参数信息，然后将其保存至解码图像对象结构体中；

步骤3、根据步骤2中的所解析生成的参数信息，在线程池中创建与图像CTU行数相同数量的线程，通过多核函数库将每个线程绑定到不同的核，保证各个线程能够进行多核并行解码，然后进入主循环；

步骤4、读取一帧图像，若检测到I帧或者P帧，则直接进行该帧的熵解码；若检测到同级相互独立的B帧，即可调用多核线程池中的线程进行帧级并行熵解码。一旦线程完成并行熵解码后，直接进行CTU行数据的解码，并将上述两种熵解码后的数据存入帧缓存中；

步骤5、检测多核线程池中熵解码之后的CTU行数据的左侧，左上侧，上侧，右上侧的CTU解码是否完成，若解码完成，则可以从任务队列中获取执行当前行CTU的任务，即可实现CTU行之间的并行解码；

步骤6、完成该CTU行内反量化，反变换，运动补偿，帧内预测的一系列解码过程，直到该CTU行解码结束，一旦工作线程解完一行CTU数据，则重新将其放到线程池之中；

步骤7、一帧解码完成之后，检测视频码流是否全部解码完成，若完成则释放所有的资源和销毁线程池；若没有完成，则返回步骤3。

图5表示本发明的多核并行解码的架构图。对熵解码和CTU行解码进行任务级别的并行划分，在对各个并行部分进行二次并行划分。对于熵解码部分，采用帧级并行来提高熵解码的解码速度以及增加熵解码时核数利用率；对于CTU行解码部分，采用CTU行级的数据并行，充分利用多核处理器的多核资源，更加专注地进行CTU行数据并行。

图6表示本发明提出了一种基于CTU行的动态多核线程池调度技术，将处理每一CTU行的线程绑定到处理核心上。在本发明中的并行解码算法中，多核线程池会结合图3中所述的CTU行数据之间的依赖关系，若依赖关系满足时，则可以从线程池的空闲队列中获取执行前行CTU的任务，即并行解码一行CTU数据。利用线程池技术，降低了对线程对象创建和销毁的开销，提高了请求的响应时间，从而整体地提高了系统的解码效率。

2、图7表示在不同QP下本发明在多核处理器中进行多核并行解码不同全高清1080P视频序列的平均加速比示意图。其中并行程序设计的性能用加速比来衡量，具体如下：

加速比(SP)＝多核并行解码的最大帧率(N)÷单核串行解码的最大帧率，其中N表示为并行程序中所采用的物理核数

为了验证本发明方法的效果，进行了以下验证实验：利用本发明方法进行解码，选取3种视频序列为分辨率均为1920×1080，QP分别为22,27,32,37，“BasketballDrive”，“Cactus”，“Kimono1”。视频编码方式选择最为复杂的RA(Random Access)随即介入模式，CTU行块分别设计成大小64×64。本发明的解码方法在Tilera多核处理器上分别实现了多核并行解码和单核串行解码，并做了对比试验。其中表1为各个QP下本发明算法在不同核数下的多核并行解码速度。表2为本发明对比HEVC所提供的Slice、Tile和WPP并行方式的对比图，在保证实时解码1080P图像的同时，对各个算法相比本算法的平均BD-rate进行对比分析。

表1实验结果

表2 BD-rate损失

从表1中可以看出，在单核解码的情况下，高清视频解码速度有限而且无法达到实时解码的效果。当我们的核数在增加时，解码速度随之增加，而且最大速度能够达到30fps以上达到实时解码；对于不同QP的视频而言，QP越大，解码速度越快，这主要是因为高量化阶的情况下，更多的变换系数被量化为0，这样会减少熵解码的运算量，从而加快了解码器的解码速度。

对于表2来说，本发明中的所选取的码流在编码端没有用任何的并行方式，所以不存在任何的BD损失。相比于Silce、Tile、WPP并行方式，都会使得在视频图像质量的降低。而采用本发明的算法，可以在保持表1的实时解码的同时，保证视频图像质量的不下降。

结合从表1和表2的实验结果可以看出：

(1)本发明所提出的多核并行算法能够在多核处理器上能够实现高清视频的实时解码。

在17核左右的我们的多核并行算法就能够达到30fps以上的实时解码的帧率，并行加速比最大能够达到6.7。与此同时，在解码端能够保持重建图像质量。

Claims (4)

1.一种在多核处理器平台上的多层次多任务并行解码方法，其特征在于，包括以下步骤：

步骤1、主线程首先完成一些初始化的工作，包括码流文件的读取，创建HEVC解码器以及必要的内存单元申请；

步骤2、先从读入的未使用任何并行编码方式形成的高清单一码流中截取当前帧的码流并调用函数，进行解析NAL单元以及图像的PPS、VPS、SEI参数集信息和图像的Slice头信息，这些信息包含了解码所需的profile，level，图像的宽和高，环路滤波的参数信息，然后将其保存至解码图像对象结构体中；

步骤3、根据步骤2中解析生成的参数信息，在线程池中创建与图像CTU行数相同数量的线程，通过多核函数库将每个线程绑定到不同的核，保证各个线程能够进行多核并行解码，然后进入主循环；

步骤4、读取一帧图像，若检测到I帧或者P帧，则直接进行该帧的熵解码；若检测到同级相互独立的B帧，即可调用多核线程池中的线程进行帧级并行熵解码，一旦线程完成并行熵解码后，直接进行CTU行数据的解码，并将上述两种熵解码后的数据存入帧缓存中；

步骤5、检测多核线程池中熵解码之后的CTU行数据的左侧，左上侧，上侧，右上侧的CTU解码是否完成，若解码完成，则可以从任务队列中获取执行当前行CTU的任务，即可实现CTU行之间的并行解码；

步骤6、完成该CTU行内反量化，反变换，运动补偿，帧内预测的一系列解码过程，直到该CTU行解码结束，一旦工作线程解完一行CTU数据，则重新将其放到线程池之中；

步骤7、一帧解码完成之后，检测视频码流是否全部解码完成，若完成则释放所有的资源和销毁线程池；若没有完成，则返回步骤3。

2.如权利要求1所述的一种在多核处理器平台上的多层次多任务并行解码方法，其特征在于，所述步骤4中，将同一水平线B帧作为一个等级，对于同一级别的B帧将不会相互参考，而且也不会作为I帧和P帧的参考图像，所以可以将同一级别的B帧交给不同处理器核进行处理，实现帧级熵解码并行。

3.如权利要求1所述的一种在多核处理器平台上的多层次多任务并行解码方法，其特征在于，所述步骤5中，在CTU级，每个CTU必须等待它的左、左上、上和右上4个相邻CTU解码完成才能开始预测，因为根据HEVC标准的语法限制，当前CTU需要这几个相邻CTU的已解码信息，在帧内解码时，当前CTU需要从上述相邻CTU的重建像素进行帧内预测；在帧间预测时，当前CTU需要从上述相邻CTU处获取运动信息。

4.如权利要求1所述的一种在多核处理器平台上的多层次多任务并行解码方法，其特征在于，利用线程池技术，将固定数目的线程各自绑定到一个核心上，多核处理器只需要将解码数据包交给线程池即可。