CN105072353A - 一种基于多gpu的图像解码拼控算法 - Google Patents

Abstract

本发明公开了一种基于多GPU的图像解码拼控算法，解决了现有技术图像数据处理效率低的问题。该基于多GPU的图像解码拼控算法采用排布流水线的方法，利用多个独立的硬件模块并发工作，用最为高效的方式完成一帧视频的处理，并且利用软硬件同步策略，以确保最终用户得到一个理想的视觉效果。

Description

一种基于多GPU的图像解码拼控算法

技术领域

本发明涉及一种基于多GPU的图像解码拼控算法及实现该方法的装置。

背景技术

随着计算机视觉技术的不断发展，计算机数字视频采集已经从最早的10万像素发展到100万，200万甚至800万像素的清晰度，编解码技术也从以前的Motion-JPEG，到MPEG，MPEG2，MPEG4，H.264发展到如今最新的HEVC编码。视频技术的发展不断的给传统计算机的计算架构以及处理能力提出新的挑战。而如果单纯的利用提高传统计算机硬件计算能力的方法来处理现代高清视频数据，将会显得非常的笨拙，并且还会极大的提高视频系统的建设和使用成本。

以上提到的这些技术的目标，都是使视频数据在具有越来越高信息量的同时，占用更低的带宽和存储空间。但是不管视频清晰度和编码技术如何发展，这些视频图像始终还是要能够完美的呈现和展示在用户眼前才能够体现出他们的价值，而人们为了得到更好的视频观看体验，也在不断的提升视频显示设备的尺寸和清晰度，目前在诸多的显示技术里，最为主流和成熟的技术包括：液晶面板显示技术，LED大屏显示技术，以及投影显示技术。而在其中，单位清晰度最高，安装和部署最为灵活的就是液晶面板显示技术，因此它在大屏显示领域被广泛的使用。

液晶面板虽然在清晰度和安装部署上具备优势，但是当用户需要显示巨幅画面时，液晶面板显示技术就不如其他两种技术了，但是随着技术的发展，也出现了很多大屏的拼接控制器，可以利用图像分割和融合技术把多个液晶面板仿真成一个由M*N个液晶面板组成的巨幅显示器。在高清视频越来越成为主流的几天，这种拼接显示的视觉效果在一定的观测距离下将大大优于独立监视器显示的高清图像。

要实现液晶面板的拼接控制，必须使用到解码器、矩阵、拼接控制器三种形态的产品的串联，首先解码器实现各种解码格式的解码，最终转换成VGA/DVI/HDMI等模拟或数字信号，矩阵实现视频开关的作用，通过矩阵将需要拼接的视频切换到需要显示的接口上，最终由拼接控制器完成图像的拼接并输出到监视器上。

视频解码器完成了编码视频到位图视频的转换，转换后的视频数据具有非常高的带宽速率，因此，传统的液晶面板拼接技术往往多是采用FPGA现场可编程逻辑来实现，这类拼接矩阵往往具备M进N出的视频接口，可以将M进中的任一路视频，输出显示到N出中的任一监视器上，也能将M进中的任一路视频，输出显示到N出中任意X*Y的逻辑屏幕上，如果是在带有开窗漫游的功能的拼接矩阵上，还可以在N个输出中的任意矩形位置中开出逻辑窗口。采用FPGA硬件方案实现此功能具有两个缺点，第一，采用FPGA实现的系统的价格比ASIC芯片方案的要高出不少，第二，在实现相同功能的情况下，FPGA的功耗往往也更高。

除了采用FPGA方式实现外，最常见的方式便是采用具有多个视频输出接口的工控电脑，并附带拼接控制软件来实现，此类方案的特点是利用高性能通用硬件堆砌来达到用户要求，这样往往也会带来成本过高的问题。

GPU，全名GraphicProcessUnit，即图像处理单元，与之概念对应的还有CPU，CentralProcessUnit，及中央处理单元。与CPU面向通用计算的设计不同，GPU由于最初设计就是针对图形图像数据处理的，因此它在处理图像或视频数据时，在软硬件架构上都具备天生优势。因此，我们可以利用GPU来进行视频数据的解码，矩阵交换，融合拼接等处理。因为GPU作为大量使用的通用半导体芯片，因此具有低廉的价格，同时只要通过合理的软件调度和结合，完全可以实现以往需要专用硬件才能够实现的性能和功能，特别适合处理解码拼接等视频应用。

通过以上的分析可知，通过GPU实现可以的解码拼接系统可以完全代替传统的解码/矩阵/拼接融合的专用硬件系统，在提供更高性能的前提下，还能大幅降低实现成本，和运行功耗。

发明内容

本发明的目的在于克服上述缺陷，提供一种实施方便且可实现高效处理的基于多GPU的图像解码拼控算法。

一种基于多GPU的图像解码拼控算法，包括以下步骤：

（1）将编码数据从网络或者磁盘文件搬运至GT系列GPU的专用显存中；

（2）GT系列GPU对专用显存中的编码数据进行解码，得到一帧完整的视频图像数据；

（3）利用GT系列GPU中的VPP硬件逻辑对视频图像数据进行以下处理：视频去隔行处理、主动降噪、锐化以及亮度/对比度/色度调整；

（4）数据分发：将视频图像数据分发至若干外围GPU；

（5）拼接显示融合：将分发好的视频图像数据放入到指定的外围GPU的指定数据接口上显示。

进一步的，所述步骤（1）中所述编码数据首先被保存至系统内存中，然后再搬运至GT系列GPU的专用显存中。

进一步的，所述步骤（2）中关键帧的解码，包括以下步骤：ZigZag重新排布、反量化、反DCT变换、重构；非关键帧的解码包括以下步骤：重构及运动矢量复原

进一步的，所述步骤（2）中GT系列GPU中的各种硬件资源并发工作。

进一步的，所述GT系列GPU中还包括有针对视频编解码进行加速的硬件编解码单元，所述硬件编解码单元内部用于实现宏块分割、帧类型确定、反量化、反DCT变换、运动矢量的复原、CABAC熵解码的运算。

进一步的，所述步骤（3）和所述步骤（4）之间还包括步骤：变换处理，所述变换处理对视频图像数据进行大小变换/裁剪，以及色域时空转换。

进一步的，所述步骤（4）中数据分发采用按页对齐进行搬移。

进一步的，所述步骤（5）的具体方式如下：

（51）将分发好的视频图像数据传入各外围GPU的显示接口的指定区域所对应的Off-Screen存储区，此时不能直接显示，而需要等到同步信令；

（52）待所有数据都传送到各外围GPU后，向各个外围GPU发送显示信令；

（53）各外围GPU将Off-Screen的数据调入到On-Screen数据完成指定接口的指定区域的视频显示；

（54）发送显示完成信号给GT系列GPU，以便GT系列GPU能够调度下一帧的视频数据，重复以上过程直至视频结束或用户终止。

与现有技术相比，本发明具有以下有益效果：

本发明采用排布流水线的方法，利用多个独立的硬件模块并发工作，用最为高效的方式完成一帧视频的处理，并且利用软硬件同步策略，以确保最终用户得到一个理想的视觉效果。

具体实施方式

下面结合实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。

本实施例提供了一种基于多GPU的图像解码拼控算法，该算法基于以下硬件系统实现：CPU主机系统，GT系列GPU，外围独立GPU，独立显示接口和拼接电视墙显示部分组成。在系统中，视频编码数据从网络或者存储载体上载入到系统内存中，然后通过GT系列GPU调入专用存储区进行解码等后续操作。以下是对系统中各部分的详细说明：

视频数据载体：网络高清摄像机的网络流媒体视频编码数据，或者是光盘，硬盘等永久存储之上的视频编码数据。

CPU主机系统：这里主要是指传统的计算机系统，主要由CPU，内存，主机板卡，机箱和电源等部分组成，其中还包含多种可扩展接口如PCIe，PCI，USB，并串口等。在本系统中，主要关注通过PCIe接口扩展的多个外围GPU模块，PCIe接口具有高带宽，多扩展的特点，每个通过PCIe接口扩展的外围GPU模块都可以附带多个独立的显示接口，且每个显示接口都具有独立的异步显示的功能。

GT系列GPU：GT系列GPU是Intel最新一代的CPU中集成的GPU模块，此模块除了具备GPU传统意义上的的2D/3D渲染显示功能外，还提供了专用的进行视频编解码，视频后处理，以及各种图形变换所需要的硬件模块，在本系统中，将充分利用到GT系列GPU的视频和图像处理能力。

外围GPU：外围GPU主要是指通过PCIe接口扩展出来的通用GPU模块，每个通过PCIe接口扩展的外围GPU模块都可以附带多个独立的显示接口，且每个显示接口都具有独立的异步显示的功能。

基于上述硬件系统，本发明主要包括以下步骤：

一、将编码数据从网络或者磁盘文件搬运至GT系列GPU的专用显存中

编码数据的来源往往是网络实时视频流或者是磁盘存储的永久保存视频文件，而GT系列GPU的解码过程是在GPU内完成的，而GPU不能直接访问系统内存，因为他们的访问、对齐和缓存的机制都是完全不同的；因此，在GPU能够进行解码之前，必须将编码数据从网络或者磁盘文件搬运至GT系列GPU的专用显存中去。

值得注意的是，搬运的过程需要注意从网络实时视频流或者磁盘视频文件中读取数据的方式和写入GT系列GPU专用显存的方式的区别，不能按照不同的数据拷贝方法进行，否则将带来数据对其和缓存错误。

因此，网络实时流的数据首先会被保存至系统内存，而系统内存并没有特别的对其要求，只要按照字节对齐即可；磁盘文件数据首先也会被保存至系统内存，因此对它的读取跟网络实时流保存的系统内存方式一致。

二、GT系列GPU对专用显存中的编码数据进行解码，得到一帧完整的视频图像数据；

GT系列GPU中，还有专门针对视频编解码进行加速的硬件编解码单元，该硬件编解码单元内部实现了宏块分割（根据视频序列的长度和宽度计算），帧类型确定（I/P/B排序），反量化，反DCT（离散余弦变换）变换，运动矢量的复原，CABAC熵解码等关键部分的运算。

GT系列GPU中的各种硬件资源可以并发工作，如果需要得到一个良好的解码效率，必须按照各种算法按照特点和次序排布到硬件流水线中，使其能够最大效率的进行工作。

一般来讲，一个关键帧的解码，需要经历的过程ZigZag重新排布，反量化，反DCT变换，重构等过程；而非关键帧则需要加入运动矢量复原的过程，因此，需要将上述提到的过程进行优化的流水线排布。

以上过程结束后，得到一帧完整的视频图像数据，此数据一般来说是按照NV12格式进行排布的，此时应注意的是，此数据虽然是可渲染的数据格式，但是还存在于GT系列GPU的专用存储区域中，如果后续用CPU进行直接访问，将大幅减低系统性能，因此，需要用到MOVNTDQA及MOVNTDQ等SSE4.1指令集指令和XMMS系列寄存器组进行访问和中转；

三、利用GT系列GPU中的VPP硬件逻辑对视频图像数据进行以下处理：视频去隔行处理、主动降噪、锐化以及亮度/对比度/色度调整

上述处理过程都极其的占用CPU运算能力，且此时的视频数据还在GT系列GPU的专用存储区域内，CPU无法进行高效的访问，因此，必须利用GT系列GPU中的VPP硬件逻辑进行处理，具体如下：

1、去隔行处理：

目前VPP支持的是线性时间，空间和时空滤波去隔行算法，此类去隔行算法的特点是实现简单，速度快，不管采用上述哪种算法，基本的思想都是才用场内或相邻场的信号进行加权处理；除了线性算法，VPP还支持中值滤波算法，它是也相对简单的一种非线性去隔行算法，简单的说，就是输出帧的内插行为当前场的上下点和前一场的当前点的中值，此算法相对于前面的线性算法的优点是，在各种运动画面的情况下，去隔行的效果都较为理想，能够适应较多类型的视频内容，包括动态变化比较小的视频和变化比较剧烈的视频。

2、视频降噪处理：

目前VPP支持的是空间降噪算法，主要去除视频中的高斯噪声，简单的说就是，采用平均算法，去除随机噪声。

3、亮度/对比度/色度调整：

此类处理类似于在解码图像上增强或者减弱某个分量，如亮度，UV等，此类处理虽然简单，但是由于视频数据量巨大，也必须有GPU出来完成，否则将严重降低系统性能。

完成上述处理后，由于GT系列GPU解码输出的数据排布是按照NV12规则实现的，而在渲染时，可能需要的目标大小不是视频的原始大小，因此需要大小变化或裁剪操作；也可能渲染需要的是其他色域空间的表达，比如RGB，YUV,YCbCr，YV12等，因此需要色域空间的转换。

在GT系列GPU中，VPP所支持的图像大小变换的算法为：双线性内插值算法，这种算法可以在保证一定的性能的前提下，实现较高的缩放图像的质量，变换后图像的亮度和色度信号采用如下计算公式得到：

f(x,y)=f(0,0)(1-x)(1-y)+f(0,1)(1-x)y+f(1,1)xy+f(1,0)x(1-y)

其中，公式中的x，y表示图像中各个像素的左边，从左到有，从上倒下从零开始递增。

此算法可以通过GT系列GPU中的MXF图像处理单元高效完成，不会占用整个系统的计算资源。

色域变换的目标格式比较多，在此不一一描述，此处仅举出目标色域空间为RGB的变换公式和计算方法为：

R=Y+1.4075*（V-128）

G=Y–0.3455*（U–128）–0.7169*（V–128）

B=Y+1.779*（U–128）

其中Y、U和V分别指图像的亮度及色度分量，R、G和B表述图像的红绿蓝分量，在GT系列GPU的VPP中有专用的计算矩阵完成，此处还需注意的是解码处理后的视频数据在内存中的存放方式为NV12，即在存储中排列的顺序为Line(Y+Ypitch）+Line（UV+UVPitch)。

四、数据分发：将视频图像数据分发至若干外围GPU

要实现拼接显示，显示图像的数据的一部分必须被高效的分发到外围GPU上去做渲染和显示，而GT系列GPU解码后的视频数据存放在专用的存储空间中，而且因为一些特殊对齐规则的要求，在视频数据中还夹杂了很多无用的填充数据，此数据不易被CPU访问，因此，还需要特殊的处理才能够做到高效分发。采用的处理方式是：采用按页对齐进行搬移，这样即可以充分利用CPU的Cache的访问性能。

五、拼接显示融合

该步骤即将分发好的视频图像数据放入到指定的外围GPU的指定数据接口上显示。

显示的过程最重要的是要做好同步，即一帧图像分发好后，要图示刷新到多个GPU的显示接口上显示，否则将会导致，拼接的各个子画面显示不同步，大大影响视觉感受，拼接显示融合的具体步骤如下：

（51）将分发好的视频图像数据传入各外围GPU的显示接口的指定区域所对应的Off-Screen存储区，此时不能直接显示，而需要等到同步信令；

（52）待所有数据都传送到各外围GPU后，向各个外围GPU发送显示信令；

（53）各外围GPU将Off-Screen的数据调入到On-Screen数据完成指定接口的指定区域的视频显示；

（54）发送显示完成信号给GT系列GPU，以便GT系列GPU能够调度下一帧的视频数据，重复以上过程直至视频结束或用户终止。

按照上述实施例，便可很好地实现本发明。值得说明的是，基于上述设计原理的前提下，为解决同样的技术问题，即使在本发明所公开的结构基础上做出的一些无实质性的改动或润色，所采用的技术方案的实质仍然与本发明一样，故其也应当在本发明的保护范围内。

Claims (8)

1.一种基于多GPU的图像解码拼控算法，其特征在于，包括以下步骤：

（1）将编码数据从网络或者磁盘文件搬运至GT系列GPU的专用显存中；

（2）GT系列GPU对专用显存中的编码数据进行解码，得到一帧完整的视频图像数据；

（3）利用GT系列GPU中的VPP硬件逻辑对视频图像数据进行以下处理：视频去隔行处理、主动降噪、锐化以及亮度/对比度/色度调整；

（4）数据分发：将视频图像数据分发至若干外围GPU；

（5）拼接显示融合：将分发好的视频图像数据放入到指定的外围GPU的指定数据接口上显示。

2.根据权利要求1所述的一种基于多GPU的图像解码拼控算法，其特征在于，所述步骤（1）中所述编码数据首先被保存至系统内存中，然后再搬运至GT系列GPU的专用显存中。

3.根据权利要求1所述的一种基于多GPU的图像解码拼控算法，其特征在于，所述步骤（2）中关键帧的解码，包括以下步骤：ZigZag重新排布、反量化、反DCT变换、重构；非关键帧的解码包括以下步骤：重构及运动矢量复原。

4.根据权利要求3所述的一种基于多GPU的图像解码拼控算法，其特征在于，所述步骤（2）中GT系列GPU中的各种硬件资源并发工作。

5.根据权利要求1所述的一种基于多GPU的图像解码拼控算法，其特征在于，所述GT系列GPU中还包括有针对视频编解码进行加速的硬件编解码单元，所述硬件编解码单元内部用于实现宏块分割、帧类型确定、反量化、反DCT变换、运动矢量的复原、CABAC熵解码的运算。

6.根据权利要求1所述的一种基于多GPU的图像解码拼控算法，其特征在于，所述步骤（3）和所述步骤（4）之间还包括步骤：变换处理，所述变换处理对视频图像数据进行大小变换/裁剪，以及色域时空转换。

7.根据权利要求1所述的一种基于多GPU的图像解码拼控算法，其特征在于，所述步骤（4）中数据分发采用按页对齐进行搬移。

8.根据权利要求1所述的一种基于多GPU的图像解码拼控算法，其特征在于，所述步骤（5）的具体方式如下：

（51）将分发好的视频图像数据传入各外围GPU的显示接口的指定区域所对应的Off-Screen存储区，此时不能直接显示，而需要等到同步信令；

（52）待所有数据都传送到各外围GPU后，向各个外围GPU发送显示信令；

（53）各外围GPU将Off-Screen的数据调入到On-Screen数据完成指定接口的指定区域的视频显示；

（54）发送显示完成信号给GT系列GPU，以便GT系列GPU能够调度下一帧的视频数据，重复以上过程直至视频结束或用户终止。