CN102404576A - 云终端解码器及其负载均衡算法和gpu的解码算法 - Google Patents

Abstract

本发明涉及视频数据处理技术领域，尤其是一种MPEG2的云终端解码器及其负载均衡算法和GPU的解码算法。本发明在对视频编码压缩时，由CPU和GPU共同进行，即将编码的运动估计由GPU完成；并将重建帧到运动估计的反馈通路切断，用原始帧取代重建帧进行运动估计，消除CPU和GPU的互相依赖。本发明的解码器有效克服了多台云终端同时播放视频时容易发生服务器CPU占用率高、资源达到瓶颈，从而导致播放视频不流畅的问题。可以广泛应用于云终端的视频数据处理中。

Description

云终端解码器及其负载均衡算法和GPU的解码算法

技术领域

本发明涉及视频数据处理技术领域，尤其是一种MPEG2的云终端解码器及其负载均衡算法和GPU的解码算法。

背景技术

目前，云终端播放视频时，采用传统MEPG2的解码，虚拟桌面操作会出现卡屏、抖屏等现象。制约着用户体验的顺畅性。

传统基于单处理器的MPEG2解码器架构如图1所示；数据经过变长编码(Variable Length Decode，VDL)之后分成两部分，一部分是MV信息，另一部分是图像块的残差信息。MV信息被用来进行运动补偿，和来自帧缓存的延迟的重建帧一起作为运动补偿(Motion Compensation，MC)的输入数据，以生成当前帧的预测帧；而残差数据经过反量化(Inerse Quantization，IQ)和反余弦变换(Inverse DCT，IDCT)之后生成残差帧，和预测帧相加生成当前的重建帧。在不至于引起混淆的情况下，预测帧相加的重建操作也常常被并入MC中。

如图1所示，在解码器中存在一个从重建帧到MC的反馈回路，如果将这个反馈回路切开，将其组成部分放在不同的处理器上处理，则必然在GPU和CPU之间既出现上行的数据传输，又出现下行的数据传输，CPU和GPU之间的频繁交互会导致CPU和GPU的工作的过多切换，造成额外的损耗。

传统的解码器都是基于MB Level的，依照顺序对每一个宏块完成IQ、IDCT、MC，在一些DSP或者ASIC上实现的解码器，同样也是在MB Level上利用多处理器核心进行并行优化。

发明内容

本发明解决的技术问题之一在于提供一种MPEG2云终端解码器，可有效克服终端CPU占用率高、资源达到瓶颈，从而导致播放视频不流畅的问题。

本发明解决的技术问题之二在于提供一种云终端解码器的负载均衡算法，可根据GPU的工作状态调整其处理的内容。

本发明解决的的技术问题之三在于提供一种云终端解码器的GPU的解码算法。

本发明解决前述技术问题之一的技术方案是：在对视频编码压缩时，由CPU和GPU共同进行，即将编码的运动估计由GPU完成；并将重建帧到运动估计的反馈通路切断，用原始帧取代重建帧进行运动估计，消除CPU和GPU的互相依赖。

所述的解码器其MC和IDCT由GPU完成。

所述的解码器其MC、IDCT和IQ由GPU完成。

本发明解决前述技术问题之二的技术方案是：如果GPU在一段时间内一直都处于忙的状态，则将解码器架构级别降低一级，反之则增加一级，即在Level1-3之间进行切换；其中Level代表解码器的架构级别，Level＝1表示仅由GPU完成MC，Level＝2表示由GPU完成MC和IDCT，Level＝3表示MC、IDCT、和IQ都由GPU完成。

定义参数Ft决定每隔多少帧进行一次GPU的工作状态的检查，而参量Th决定在连续多少次GPU工作状态相同后可以进行级别的切换；即Ft和Th决定均衡算法的敏感度，一般这两个参量设为20和3。

本发明解决前述技术问题之三的技术方案是：首先给每类宏块都规定一个类型值，在深度测试中如果当前宏块的深度值等于ZBuffer中的类型值，就通过测试以执行这个宏块的MC；这样每次渲染都完成一类宏块的MC。

流程可以分为两大步骤：(1)、根据宏块类型，更新ZBuffer；2、以ZBuffer为掩模块，执行n-Pass的渲染操作，每pass完成一类宏块的运动补偿，n是宏块类型数目。

本发明采用给云终端配置一款显卡，针对CPU+GPU的并行架构的云编码器，提出了基于Frame Level的CPU+GPU的并行架构的云解码器，它工作在CPU+GPU的硬件体系下，在该解码器中，码流读取和熵解码工作将始终由CPU完成，而MC的工作始终由GPU完成，把MC转移到GPU上，避免帧缓存从显存中download到主内存中，从而避免耗时过多。采用基于深度测试的ZBC算法，并充分利用了GPU的并行计算技术，从而，有效的降低了CPU的占用率，解决了云终端播放视频时的资源瓶颈问题。并且GPU的视频解码效率比CPU效率要高很多，保证了云终端视频播放的流畅度。

服务器通过CPU+GPU进行视频数据的编码压缩工作，可实现多台云终端同时播放视频，同时，在客户端同样采用CPU+GPU解码，实现每台云终端的视频播放的流畅度。

本发明就是把包括运动补偿、相加和帧缓冲的整个反馈回路都放在GPU上去执行，以使视频解码效果更优。采用3种级别来实现并行解码器。

GPU+CPU的负载均衡算法，在分级并行的云解码器中，通常会使GPU与CPU的负载不均衡，即，GPU负载过高或者CPU负载过高，不能快速的实现均衡。为达到GPU与CPU的负载均衡，本专利提出一种懒惰的负载均衡算法，动态的调整级别，以此来平衡GPU和CPU的负载，达到更快解码的目的。

本发明的解码器是基于GPU+CPU并行的，无论是MC还是IDCT或者IQ，当它们在GPU上实现时，每一步的操作都是针对同一帧上的所有宏块的。这种工作方式可以提高3D引擎的绘制效率，但也给GPU上的解码器算法设计带来了很大的挑战。本发明就是使用ZBuffer Classify(ZBC)算法来提高3D引擎的绘制效率。

综上所述，降低了每台云终端播放视频时客户端的CPU占用率，提升了视频解码的效率，保证了视频播放的流畅度，提高了云终端的视频处理能力。

附图说明：

下面结合附图对本发明进一步说明：

图1是现有编码器框架结构图；

图2是本发明分级的并行的MPEG2解码器架构；

图3是本发明负载均衡算法流程图；

图4是本发明解码器流程图。

具体实施方式

如图2-4所示，要实现在CPU+GPU上的并行解码器，就需要把传统解码器的一部分工作移到GPU上去完成。由于有3个解码部分(运动补偿、相加和帧缓冲)一次放入GPU中执行，因此本发明提出的并行解码器可以分为3个级别来分别实现。图2显示了这种分级的情况，为了简单起见整个反馈都已经并入MC框图中。图中由于缓冲区的存在，GPU上执行的部分可以延后x帧。可以看出，与编码器类似，在解码器中也存在着一个生产者-消费者的模型。只不过与编码器正好相反，现在的“生产者”是CPU而不是GPU。每当CPU完成本帧的解码工作后，它就可以立即进行下一帧的解码而无需等待GPU完成工作，而对于GPU来说，只要缓冲区中还有数据没用完，它就可以继续工作而不用理会CPU。因此，CPU和GPU可以并行工作，显然这非常有利于解码速度的提高。

解码器的3种架构级别分别对应于不同的硬件情况：如果CPU性能比GPU强很多，就可以选择级别1，反之则选择级别3，级别2则介于两者之间。事实上，这3种级别是可以互相切换的。在解码过程中，通过动态地在3种级别间进行切换，可以比较合理地将任务分配给CPU和GPU。

以上提出的三种基本的解码器架构，分别将解码的3个步骤一次放入GPU中执行，且三种级别可互相切换。在这三种级别的架构中，GPU和CPU的相对工作负担各不相同。对于一般的视频压缩码流，根据GPU和CPU的相对性能以及视频流的内容性质，选择三种级别中最合适的一种。然而，在GPU和CPU性能非常接近或视频流内容的性质变化很大时。我们无法事先估计出究竟采用哪种级别比较合适。这时，就需要在解码的过程中，动态的调整级别，以此来平衡GPU和CPU的负载，达到更快解码的目的。

为了减少均衡决策和级别切换所增加的额外成本，本专利提出一种懒惰的负载均衡算法。基本思想是，如果GPU在一段时间内一直都处于忙的状态，则将解码器架构级别降低一级，反之则增加一级。如图3是均衡算法的流程图，其中的Level代表了解码器的架构级别，Level＝1表示仅由GPU完成MC的部分，Level＝2表示由GPU完成MC和IDCT，Level＝3表示MC、IDCT、和IQ都由GPU完成。流程中的参数Ft决定了每隔多少帧进行一次GPU的工作状态的检查，而参量Th决定了在连续多少次GPU工作状态相同后可以进行级别的切换。可以看出Ft和Th决定了均衡算法的敏感度，过大的Ft和Th将使级别很难发生切换，使得均衡算法失去意义；但若过小，则会使均衡算法过于敏感，使得解码器反复在各级别间振荡，过多的状态检查和均衡决策反而会消耗额外的处理器时间，降低解码速度，因此必须为Ft和Th选择一个合适的值，均衡算法才能发挥作用。一般这两个参量为20和3比较适合。

CPU+GPU的并行工作主要采用单线程的实现方式。由于CPU向GPU发出命令后可以立即返回，而不必等待GPU实际完成工作，因此，即使是单线程的程序，也能实现CPU和GPU的并行工作。使用单线程程序正好避免了线程切换所增加的额外耗时，同时也回避了线程同步问题。图4是解码器流程图。“根据Level为IQ、IDCT指定不同的函数”是通过函数指针来实现的。Level不同，函数指针所指向的函数也不同。实际上对于IQ和IDCT，都有两套函数，分别是在CPU和GPU实现的版本，并且他们的函数接口是相同的。因此，可以通过函数指针来选择究竟调用哪一个版本的函数。

并行架构的提出，使得CPU+GPU并行解码成为可能，为充分利用GPU高并行计算的特性。本发明在云解码器上提出的GPU上的LMES算法(ZB-LMES)的基础上，提出了基于ZBC的GPU的解码算法。

在解码器中，宏块的类型数量比较多，但可以通过ZBuffer来进行宏块分类。首先给每类宏块都规定一个类型值，在深度测试中如果当前宏块的深度值等于ZBuffer中的类型值，就通过测试以执行这个宏块的MC。这样每次渲染都会完成一类宏块的MC。我们将这种基于ZBuffer的分类算法称为ZBufferClassify(ZBC)。

ZBC的流程可以分为两大步骤：

1、根据宏块类型，更新ZBuffer。

2、以ZBuffer为掩模块，执行n-Pass的渲染操作，每pass完成一类宏块的运动补偿，n是宏块类型数目。

ZBuffer的更新：

ZBC算法中，ZBuffer的设定是分类的基础。本质上说ZBC的宏块分类工作是由CPU完成的，宏块分类是针对一个整型变量进行逐位测试，通过组合判断每一位是否为“1”来确定宏块最终的类型。这一操作对于CPU来说是很合适的，但对于只有浮点运算的GPU来说，实现等价的过程却要消耗很多的计算资源。因此把这个判断留给CPU完成，而GPU则承担纯碎的运动补偿工作。

ZBuffer的更新，原理上就是把CPU对宏块类型的判断结果——宏块类型值，传输到ZBuffer上的过程。该算法通过Texture来设定ZBuffer。把宏块类型存入一张Texture中，在Pixel Shader中对这张Texture进行采样，将类型值读入后作为当前像素的深度值输出。深度测试函数同样设为“永远允许”，经过这个过程，ZBuffer就被自动更新。由于一个宏块在Texture上只存有一个类型值。将采用这种方法来实现并行解码器。

零块的ZBuffer分类：

ZBC除了可以对宏块的运动补偿模式进行分类，还可以对零块和非零块进行分类。观察图2解码器结构可以发现，VLD的输出有两条数据流。其中一条是MV，该数据流最终流向预测帧；而另一条是残差数据，最终流向残差帧。在编码时，并非所有的数据块都会有残差生成，那些预测较好的块残差很小，经过量化之后会变成零。这些块就被称为零块(Zero Block)。零块是不需要做IQ和IDCT的，最后生成重建帧时也不用与预测帧相加。为了加速解码，零块跳过这些解码步骤。在本发明的解码器中，可以使用ZBuffer来对残差数据块进行分类。如果是零块，则在做IQ、IDCT和相加重建时，不能通过深度测试，PS会放弃这些块。试验证明，此加速策略是很有效的，这是因为在多数高清晰度MPEG2码流中，零块的比例相当高；具体如下表所示。

码率	Twins	Goose	Vulture	Night
					6Mbps	23.7％	35.9％	33.9％	39.4％(12Mbps)
9Mbps	13.8％	25.8％	24.5％	22.5％(18Mbps)

表1：MPEG2码流中的零块比例

表1显示了几段视频在不同码率下的零块比例，其中Night视频的码率分别为12Mbps和18Mbps。可以发现，这些码流中的零块比例比较高。

Claims (7)

1.一种MPEG2的云终端解码器，其特征在于：在对视频编码压缩时，由CPU和GPU共同进行，即将编码的运动估计由GPU完成；并将重建帧到运动估计的反馈通路切断，用原始帧取代重建帧进行运动估计，消除CPU和GPU的互相依赖。

2.根据权利要求1所述的云终端解码器，其特征在于：所述的解码器其MC和IDCT由GPU完成。

3.根据权利要求1所述的云终端解码器，其特征在于：所述的解码器其MC、IDCT和IQ由GPU完成。

4.权利要求1-3任一所述的云终端解码器的负载均衡算法，其特征在于：如果GPU在一段时间内一直都处于忙的状态，则将解码器架构级别降低一级，反之则增加一级，即在Level1-3之间进行切换；其中Level代表解码器的架构级别，Level＝1表示仅由GPU完成MC，Level＝2表示由GPU完成MC和IDCT，Level＝3表示MC、IDCT、和IQ都由GPU完成。

5.根据权利要求4所述的负载均衡算法，其特征在于：定义参数Ft决定每隔多少帧进行一次GPU的工作状态的检查，而参量Th决定在连续多少次GPU工作状态相同后可以进行级别的切换；即Ft和Th决定均衡算法的敏感度，一般这两个参量设为20和3。

6.一种权利要求1-5任一项所述的解码器的基于ZBC的GPU的解码算法，其特征在于：

首先给每类宏块都规定一个类型值，在深度测试中如果当前宏块的深度值等于ZBuffer中的类型值，就通过测试以执行这个宏块的MC；这样每次渲染都完成一类宏块的MC。

7.权利要求6所述的解码算法；其特征在于：

流程可以分为两大步骤：(1)、根据宏块类型，更新ZBuffer；2、以ZBuffer为掩模块，执行n-Pass的渲染操作，每pass完成一类宏块的运动补偿，n是宏块类型数目。

Images