CN108366288A - 一种用于高清视频的高效解码和播放方法及系统 - Google Patents

Abstract

本发明公开的一种用于高清视频的高效解码和播放方法及系统，方法包括：创建窗口用于显示视频图像，并创建设备操作对象用以获取可编程图形中央处理器GPU设备的能力以及加速等级；向GPU申请一块后台缓冲区，将视频数据从主机内存传入到后台缓冲区中并进行解码；解码后的视频图像数据的颜色空间类型Y色度分量U V亮度分量以NV12的数据存放格式存储在图形处理器GPU的后台缓冲区中，在进行采样，插值计算，颜色空间转换，转换后的图像数据存储在后台缓冲区，由后台缓冲区切换到前台表面缓冲区进行视频图像数据显示。本发明通过GPU进行图像帧解码，降低中央处理器CPU的使用率，节省了不必要的数据传递时间及内存开销，且提高了图像显示效果。

Description

一种用于高清视频的高效解码和播放方法及系统

技术领域

本发明涉及视频处理技术领域，尤其涉及一种用于高清视频的高效解码和播放方法及系统。

背景技术

随着现代高清视频的广泛应用，视频数据量的急剧增加对中央处理器CPU造成了巨大的压力，虽然视频编码标准采用了最新的视频编码技术，获得了很好的效果，但是其压缩效率的提高是以压缩算法复杂度的提高为代价的。

相对于较高分辨率的视频来说，海量的视频数据使视频的编码和解码对于硬件和软件都提出了很高的要求，在现代计算机上大多数视频的编解码部分及视频图像数据绘制显示部分（例如windows 系统平台下的GDI图形设备接口(Graphics Device Interface)）,大部分的运算工作是依赖于中央处理器CPU来实现工作，对于路数相对较少，分辨率相对较低的视频来说，一般的中央处理器CPU可以胜任其工作。但若是对分辨率较高的超高清视频实时编解码或绘制视频图像时，对中央处理器CPU将是一个巨大的负担，多路超高清视频的编解码及绘制视频图像时尤其。

根据上述问题得出结论：如果单纯仅靠提高中央处理器CPU的时钟频率来完成多路超高清视频的编解码及超高清视频的图像绘制，效果已经不明显或不可能，直接后果将是中央处理器CPU负荷满载，导致出现不理想的效果，例如画面不流畅花屏，卡顿，甚至影响计算机系统程序处理的阻塞等一系列的问题。

发明内容

本发明的目的在于提供一种用于高清视频的高效解码和播放方法，。

为达成上述技术目的，本发明的技术方案如下：

一种用于高清视频的高效解码和播放方法，包括以下步骤：

步骤一、创建一个窗口，该窗口用于显示视频图像；

步骤二、根据主机使用的图形处理器GPU创建一个设备操作对象，以操作图形处理器GPU；

步骤三、通过设备操作对象获取图形处理器GPU支持解码加速的等级；

步骤四、向GPU申请一块后台缓冲区，后台缓冲区在显存中分配了一块线性区域，并且将该缓冲区的数据存放格式设置为NV12，然后将待解码的数据流传入后台缓冲区，进行解码；

步骤五、视频数据在GPU中解码后，获得颜色空间类型Y色度分量UV亮度分量数据，此时颜色空间类型YUV以NV12数据存放格式存储在后台缓冲区；

步骤六、对解码后的颜色空间类型Y色度分量UV亮度分量数据进行采样、插值计算以及颜色空间转换，转换后的图像数据存储在后台缓冲区之中；

步骤七、将存储了图像数据的后台缓冲区与前台表面缓冲区进行切换，从而实现在所述窗口进行图像数据的显示。

所述获取图形处理器GPU支持解码加速的等级是指：GPU中执行视频码流的所有关于解码的耗时运算，耗时运算的内容包括GPU中处理可变长编码、反离散余弦变换和运动补偿。

将存储了图像数据的后台缓冲区与前台表面缓冲区通过切换链技术进行切换。

一种用于高清视频的高效解码和播放的系统，其特征在于包括：

RTSP协议交互模块，用于处理RTSP指令交互，协商媒体格式、网络端口，并创建网络通道接收媒体流数据（视频数据）；

视频数据包缓存模块，用于申请主机内存缓冲区，并将RTSP协议交互模块接收到的所有与视频图像相关的包数据插入到预先申请好的主机内存缓冲区的队尾；

图像帧处理模块，用于取出主机内存缓冲区的数据包并进行解析及拼帧处理，最后将一个完整的图像帧送入图像数据解码模块当中

图像数据解码模块，用于对完整的图像帧进行解码，得到将解码后的YUV NV12数据并存入GPU的后台缓冲区；以及

图像绘制显示模块，用于对解码后的YUV NV12数据进行采样、插值计算以及颜色空间转换处理，在利用切换链技术将后台缓冲区与前台表面缓冲区进行切换，完成视频图像的绘制显示。

与现有技术相比，本发明具有以下优点：

本发明对视频图像数据的显示部分的耗时处理（即图形处理器GPU支持解码加速的等级获取），对解码后的视频数据采样、插值计算和颜色空间类型的变换等复杂耗时过程均在图形处理器GPU中处理实现，进一步的减少了在中央处理器CPU的中的处理过程，从而降低了中央处理器CPU的使用率，又因为GPU的并行处理特性使得运算处理过程的时间大大减少；

另外，因解码部分及显示视频图像数据部分仅一次性从主机内存传递到图形处理器GPU显存中，无需将显存数据频繁传递至主机系统内存数据中，避免了进行多余的双向传递交互的操作，从而节省了不必要的数据传递时间及内存占用。

以下结合附图和具体实施例对本发明作进一步详述。

附图说明

图1是本发明用于高清视频的高效解码及播放的方法的流程简图；

图2是用于高清视频的高效解码及播放的系统结构框图。

具体实施方式

本发明提出在现代主流PC机拥有一颗强劲的中央处理器CPU以外，都必须装配有一块集成图形处理器GPU或一块独立图形处理器GPU。图形处理器GPU强大的处理能力源于其核心模块—图形处理器(Graphics Processor Unit,GPU)。图形处理器GPU最初是为3D图形渲染而设计的,具有强大的浮点计算能力和并行特性，相对于中央处理器CPU而言图形处理器GPU拥有更大的数据传输带宽,更多的计算单元，更强的浮点运算能力，非常适合用于那些具有高度并行特征的计算领域，而高清视频的解码与视频图像的绘制渲染正好符合这一特点。 而可编程图形处理器GPU的出现,使得图形处理器GPU不再单纯的仅限于图形处理,也可以用于非图形化的计算领域。

本发明利用图形处理器GPU的强大浮点计算能力，并行特性，研究基于图形处理器GPU视频数据解码处理以及基于渲染绘制视频图像数据的设计与实现问题，提出一种用于高清视频的高效解码和播放方法，如图1所示，其具体包括如下步骤：

S101、创建一个窗口，该窗口用于显示视频图像；

S102、根据主机使用的图形处理器GPU（通常是用来显示windows桌面的显卡）创建一个设备操作对象，以操作图形处理器GPU；

S103、通过设备操作对象获取图形处理器GPU支持解码加速的等级；获取图形处理器GPU支持解码加速的等级具体是指：GPU中执行视频码流的所有关于解码的耗时运算，耗时运算的内容包括GPU中处理可变长编码（VLD）、反离散余弦变换（IDCT）和运动补偿（MC）。

以intel 集成图形处理器GPU hd graphics 4600 型号为例，其支持最高的加速等级；而加速等级越高，GPU所能处理的环节越多，解码的时间就越少，而且也能大幅度地减轻CPU的工作量。

S104、向GPU申请一块后台缓冲区，后台缓冲区在显存中分配了一块线性区域，并且将该缓冲区的数据存放格式设置为NV12(大多数显卡支持NV12的数据存放格式)，然后将待解码的数据流传入后台缓冲区，进行解码；

S105、视频数据在GPU中解码后，获得颜色空间类型Y色度分量UV亮度分量数据，此时颜色空间类型YUV以NV12数据存放格式存储在后台缓冲区，存放数据的格式取决于后台缓冲区的预置类型，本实施例的存放格式为步骤S103所述的NV12；

S106、根据以上所述，视频数据解码后存储在后台缓冲区当中，因与显示器能够显示的格式不相同，则还需要对解码后的颜色空间类型Y色度分量UV亮度分量数据进行采样、插值计算以及颜色空间转换，转换后的图像数据存储在后台缓冲区之中；

S107、在利用切换链技术将存储了图像数据的后台缓冲区与前台表面缓冲区进行切换，前台表面缓冲区是显示在显示屏上的，可以直观得看到内容，而后台缓冲区则主要用于图形绘制的准备工作。在切换后，后台缓冲区被置成前台表面缓冲区，从而实现在所述窗口进行图像数据的显示。

如图2所示，本发明还揭示了一种用于高清视频的高效解码和播放的系统，包括：

RTSP协议交互模块100，用于处理RTSP指令交互，协商媒体格式、网络端口，并创建网络通道接收媒体流数据（视频数据）；

视频数据包缓存模块200，用于申请主机内存缓冲区，并将RTSP协议交互模块接收到的所有与视频图像相关的包数据插入到预先申请好的主机内存缓冲区的队尾；

图像帧处理模块300，用于取出主机内存缓冲区的数据包进行解析及拼帧处理，最后将一个完整的图像帧送入图像数据解码模块400当中

图像数据解码模块400，用于对完整的图像帧进行解码，得到将解码后的YUV NV12数据并存入GPU的后台缓冲区；以及

图像绘制显示模块500，用于对解码后的YUV NV12数据进行采样、插值计算以及颜色空间转换处理，在利用切换链技术将后台缓冲区与前台表面缓冲区进行切换，完成视频图像的绘制显示。

具体地，RTSP协议交互模块100的指令的交互包括：

1、客户端发送OPTION指令询问服务端有哪些方法可用；服务端发送指令回应客户端所有可用的指令方法名称。

2、客户端发送DESCRIBE指令给服务端要求提供媒体初始化描述信息；服务端发送指令回应客户端需要的媒体初始化描述信息。

3、客户端发送SETUP指令给服务端设置会话属性，传输模式，并提醒服务端建立会话链接；服务端发送指令回应客户端需要的会话标识以及会话相关信息，并建立会话链接。

4、客户端发送PLAY指令给服务端请求传输视频数据流；服务端发送指令回应客户端请求信息状态（返回成功信息或返回失败原因代码信息），若成功则客户端创建网络数据接收通道，服务端开始往网络接收通道发送视频流数据。

5、客户端在需要结束播放时，发送TEARDOWN指令给服务端要求关闭会话；服务端回应该请求并停止视频数据的的传送，并结束会话链接。

上述视频数据包缓存模块200的工作内容具体有：首先向系统申请了一块主机内存缓冲区，该缓冲区的结构是一种特殊的线性结构，它的特殊之处在于插入的数据总是在队尾，而取出和删除操作总是在队头操作。 当上述的RTSP协议交互模块100中的数据传输通道接收到包含序列及图像参数集、增强信息单元、图像片等数据包后将所有与视频图像相关的包数据插入到预先申请好的主机内存缓冲区的队尾；

上述的图像帧处理模块300工作内容具体有：该模块首先总是向视频数据包缓存模块200索要主机内存缓冲区中的队首包数据，在获得数据包之后对其进行解析及拼帧。当经过处理获得一个完整的图像帧数据后，随后将该图像帧送入图像数据解码模块400，并释放已处理的数据包主机内存段。当一个图像帧解码完成后将解码后的图像数据送入图像数据绘制模块500，然后继续循环获得下一帧数据对其进行解码再将解码数据送入图像数据绘制模块500这一流程步骤；

以上的RTSP协议交互处理模块100、视频数据包缓存模块200和图像帧处理模块300的处理过程均由中央处理器CPU完成。

具体地，本实施例中图形处理器GPU负责处理复杂耗时的图像数据解码模块400和图像绘制显示模块500，首先需要将一个完整的图像帧数据传入图像数据解码模块400进行解码，图像数据解码模块400将图像帧数据传入预先在图形处理器GPU中申请的后台缓冲区中，经过在图形处理器GPU中运算熵解码，宏块解码以及环路滤波等系列步骤处理后得到对应的颜色空间类型YUV NV12图像数据，此时图像数据被存储在后台缓冲区中。图像绘制显示模块500首先将解码后的YUV NV12数据进行采样，经过采用、插值计算、颜色空间变化等处理最后利用所述的切换集合的技术将后台表面缓冲与前台表面缓冲进行切换，完成视频图像的绘制显示。本发明因为将采样、插值计算和颜色空间变化，图像绘制等复杂的，计算量大的过程均交由图形处理器GPU来进行运算处理，充分的利用了图形处理器的强大运算及图像绘制的能力，因而，为中央处理器CPU分担了大量的工作，进一步的减少了运算所需要的时间及中央处理器CPU的占用率，增加了画面的流畅程度。

可见，本发明用于高清视频的高效解码及播放的系统基于多通道负载，多处理器相互协作的思想，即中央处理器CPU负责处理视频数据接收及流程运算部分，图形处理器GPU负责处理视频解码及图像绘制部分的架构模式，非常好的减少了解码及图像绘制时所需要的时间，极大的降低了依靠中央处理CPU来完成整个流程的运算处理（视频数据的接收与处理，视频图像的解码，视频图像的绘制显示）的占用率，具有良好的适用性。

以上所述仅为本发明的优选实施例，并非对本案设计的限制，凡依本案的设计关键所做的等同变化，均落入本案的保护范围。

Claims (4)

1.一种用于高清视频的高效解码和播放方法，其特征在于，包括以下步骤：

步骤一、创建一个窗口，该窗口用于显示视频图像；

步骤二、根据主机使用的图形处理器GPU创建一个设备操作对象，以操作图形处理器GPU；

步骤三、通过设备操作对象获取图形处理器GPU支持解码加速的等级；

步骤四、向GPU申请一块后台缓冲区，后台缓冲区在显存中分配了一块线性区域，并且将该缓冲区的数据存放格式设置为NV12，然后将待解码的数据流传入后台缓冲区，进行解码；

步骤五、视频数据在GPU中解码后，获得颜色空间类型Y色度分量UV亮度分量数据，此时颜色空间类型YUV以NV12数据存放格式存储在后台缓冲区；

步骤六、对解码后的颜色空间类型Y色度分量UV亮度分量数据进行采样、插值计算以及颜色空间转换，转换后的图像数据存储在后台缓冲区之中；

步骤七、将存储了图像数据的后台缓冲区与前台表面缓冲区进行切换，从而实现在所述窗口进行图像数据的显示。

2.如权利要求1所述的一种用于高清视频的高效解码和播放方法，其特征在于：所述获取图形处理器GPU支持解码加速的等级是指：GPU中执行视频码流的所有关于解码的耗时运算，耗时运算的内容包括GPU中处理可变长编码、反离散余弦变换和运动补偿。

3.如权利要求1所述的一种用于高清视频的高效解码和播放方法，其特征在于：将存储了图像数据的后台缓冲区与前台表面缓冲区通过切换链技术进行切换。

4.一种用于高清视频的高效解码和播放的系统，其特征在于包括：

RTSP协议交互模块，用于处理RTSP指令交互，协商媒体格式、网络端口，并创建网络通道接收媒体流数据（视频数据）；

视频数据包缓存模块，用于申请主机内存缓冲区，并将RTSP协议交互模块接收到的所有与视频图像相关的包数据插入到预先申请好的主机内存缓冲区的队尾；

图像帧处理模块，用于取出主机内存缓冲区的数据包并进行解析及拼帧处理，最后将一个完整的图像帧送入图像数据解码模块当中

图像数据解码模块，用于对完整的图像帧进行解码，得到将解码后的YUV NV12数据并存入GPU的后台缓冲区；以及

图像绘制显示模块，用于对解码后的YUV NV12数据进行采样、插值计算以及颜色空间转换处理，在利用切换链技术将后台缓冲区与前台表面缓冲区进行切换，完成视频图像的绘制显示。