CN107613298A - 基于OpenCL的VP8视频的帧间预测方法及系统 - Google Patents

Abstract

本发明公开了一种基于OpenCL的VP8视频的帧间预测方法、系统及计算机可读存储介质，该方法包括：主机端将预测帧数据发送至FPGA板卡上的DDR内存；FPGA端利用OpenCL实现的帧间预测内核，采用预设预测模式对DDR内存中存储的预测帧数据中的每个宏块进行运功矢量预测，并将获取的预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息存储至DDR内存；从DDR内存获取预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息；本发明采用OpenCL语言实现利用FPGA对VP8视频压缩编码算法中的帧间预测的性能加速，提高了帧间预测的性能，降低了设计复杂度，减少了成本。

Description

基于OpenCL的VP8视频的帧间预测方法及系统

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于OpenCL的VP8视频的帧间预测方法、系统及计算机可读存储介质。

背景技术

随着移动互联网和社交网络的兴起，基于互联网和网络的视频数据规模呈指数级上涨。作为Google在2010年开源的一种全新的视频压缩格式，VP8提供了一种高质量、开放的开源视频压缩格式，能够在有限带宽情况下提供高质量的视频媒体传输，减少在网络中实时传输的视频数据量。

帧间预测是VP8视频压缩编码算法中的一种核心关键技术，在视频压缩编码过程中，相当一部分的比特花费在编码运动矢量上，尤其在低码率情况下预测帧中运动矢量的开销显得更加明显，而VP8提供了有效的运动矢量编码方案，通过重用邻近宏块的运动矢量信息，可以大大降低运动矢量的编码开销。

现有技术中，帧间预测的通常有两种实现方式，一种是常用的C语言实现，在基于冯诺依曼体系结构的CPU上串行执行，由于通用处理器串行执行方式的局限性，往往导致帧间预测的性能受限；另外一种是硬件实现，通过Verilog HDL等硬件语言设计的ASIC(Application Specific Integrated Circuit，集成电路)专用处理器进行视频数据的硬件实时解码，ASIC芯片由于专用的硬件电路设计，可以实现较高性能VP8视频解码，但是ASIC专用芯片不可复用和升级的特性，导致实现成本过高。因此，如何提供能够在提高帧间预测的性能的基础上，降低设计复杂度，减少成本，是现今急需解决的问题。

发明内容

本发明的目的是提供一种基于OpenCL的VP8视频的帧间预测方法、系统及计算机可读存储介质，以利用OpenCL(Open Computing Language，开放运算语言)实现FPGA(Field-Programmable Gate Array，现场可编程门阵列)对帧间预测的性能加速，提高帧间预测的性能。

为解决上述技术问题，本发明提供一种基于OpenCL的VP8视频的帧间预测方法，包括：

主机端通过OpenCL提供的写Buffer方式，将预测帧数据发送至FPGA板卡上的DDR内存；其中，所述预测帧数据为VP8视频数据流中的每一个预测帧的原始数据；

FPGA端利用OpenCL实现的帧间预测内核，采用预设预测模式对所述DDR内存中存储的所述预测帧数据中的每个宏块进行运功矢量预测，并将获取的所述预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息存储至所述DDR内存；

通过OpenCL提供的读Buffer方式，从所述DDR内存获取所述预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息。

可选的，所述预设预测模式，包括：NEARMV预测模式、NEARESTMV预测模式、ZEROMV预测模式、NEWMV预测模式和SPLITMV预测模式。

可选的，所述主机端通过OpenCL提供的写Buffer方式，将预测帧数据发送至FPGA板卡上的DDR内存之前，还包括：

主机端对所述VP8视频数据流进行解析，获取所述预测帧数据。

本发明还提供了一种基于OpenCL的VP8视频的帧间预测系统，包括：

主机端，用于通过OpenCL提供的写Buffer方式，将预测帧数据发送至FPGA板卡上的DDR内存；通过OpenCL提供的读Buffer方式，从所述DDR内存获取所述预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息；其中，所述预测帧数据为VP8视频数据流中的每一个预测帧的原始数据；

FPGA端，用于利用OpenCL实现的帧间预测内核，采用预设预测模式对所述DDR内存中存储的所述预测帧数据中的每个宏块进行运功矢量预测，并将获取的所述预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息存储至所述DDR内存。

可选的，所述FPGA端具体用于利用所述帧间预测内核，在所述FPGA中采用NEARMV预测模式、NEARESTMV预测模式、ZEROMV预测模式、NEWMV预测模式和SPLITMV预测模式对所述预测帧数据中的每个宏块进行运功矢量预测。

可选的，所述主机端还用于对所述VP8视频数据流进行解析，获取所述预测帧数据。

此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于OpenCL的VP8视频的帧间预测方法的步骤。

本发明所提供的一种基于OpenCL的VP8视频的帧间预测方法，包括：主机端通过OpenCL提供的写Buffer方式，将预测帧数据发送至FPGA板卡上的DDR内存；其中，预测帧数据为VP8视频数据流中的每一个预测帧的原始数据；FPGA端利用OpenCL实现的帧间预测内核，采用预设预测模式对DDR内存中存储的预测帧数据中的每个宏块进行运功矢量预测，并将获取的预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息存储至DDR内存；主机端通过OpenCL提供的读Buffer方式，从DDR内存获取预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息；

可见，本发明通过FPGA端利用OpenCL实现的帧间预测内核，采用预设预测模式对DDR内存中存储的预测帧数据中的每个宏块进行运功矢量预测，采用OpenCL语言实现利用FPGA对VP8视频压缩编码算法中的帧间预测的性能加速，提高了帧间预测的性能，降低了设计复杂度，减少了成本。此外，本发明还提供了一种基于OpenCL的VP8视频的帧间预测系统及计算机可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的一种基于OpenCL的VP8视频的帧间预测方法的流程图；

图2为本发明实施例所提供的一种基于OpenCL的VP8视频的帧间预测系统的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参考图1，图1为本发明实施例所提供的一种基于OpenCL的VP8视频的帧间预测方法的流程图。该方法可以包括：

步骤101：主机端通过OpenCL提供的写Buffer方式，将预测帧数据发送至FPGA板卡上的DDR内存；其中，预测帧数据为VP8视频数据流中的每一个预测帧的原始数据。

可以理解的是，本步骤的目的可以为主机端将FPGA端利用帧间预测内核进行计算所需的预测帧数据发送到FPGA板卡上的DDR内存。可以如本实施例所示，通过OpenCL的写Buffer方式将预测帧数据写至FPGA板卡上的DDR内存中，也可以通过其他方式，只要可以将预测帧数据发送到FPGA板卡上的DDR内存，对于具体的发送方式，本实施例不做任何限制。

具体的，由于FPGA板卡与主机端采用PCIE接口进行连接，通过可以OpenCL框架中提供的WriteBuffer函数将预测帧数据通过PCIE接口写到FPGA板卡上的DDR内存中，供FPGA利用的OpenCL实现的帧间预测内核使用。OpenCL提供了封装好的PCI-E接口驱动程序，与现有技术相比，省去了对PCIE通信驱动的开发，降低了系统的开发难度。

需要说明的是，本步骤之前还可以包括主机端获取测帧数据的步骤，如主机端可以对VP8视频数据流进行解析，获取预测帧数据。其中，在VP8视频数据流中，为了减少传输的数据量，采用预测帧的方式保存关键帧之间的过渡数据，预测帧中数据只保存相对于之前参考帧的运动矢量信息。

具体的，对于本步骤中的预测帧数据的具体结构，可以为VP8视频数据流中的每一个预测帧的原始数据，还可以为VP8视频数据流中的每一个预测帧的宏块的原始数据，只要可以确保FPGA端可以利用OpenCL实现的帧间预测内核对预测帧数据中的每个宏块进行运功矢量预测，对于预测帧数据的具体结构，可以由设计人员根据实用场景和用户需求自行设置，本实施例对此不做任何限制。

步骤102：FPGA端利用OpenCL实现的帧间预测内核，采用预设预测模式对DDR内存中存储的预测帧数据中的每个宏块进行运功矢量预测，并将获取的预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息存储至DDR内存。

其中，本步骤中的帧间预测内核可以为OpenCL语言描述实现的FPGA端可以运行对预测帧数据中的每个宏块进行运功矢量预测的文件。

具体的，本步骤中的预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息可以分别为预测帧数据中的每个宏块进行运功矢量预测后，得到的运动矢量和该宏块进行运功矢量预测时采用的预设预测模式中的预测模式的数据信息。

可以理解的是，对于FPGA端利用OpenCL实现的帧间预测内核，对预测帧数据中的每个宏块进行运功矢量预测的具体方式，也就是，OpenCL描述实现的帧间预测内核中的计算算法的预设预测模式，可以由设计人员根据实用场景和用户需求自行设置，如可以采用NEARMV预测模式、NEARESTMV预测模式、ZEROMV预测模式、NEWMV预测模式和SPLITMV预测模式对每个宏块的运动矢量进行预测，利用OpenCL语言的并行优化特性，实现五种预测模式之间的同时运行。对于前四种预测模式，宏块只使用一个运动矢量，而且前三种模式下宏块的运动矢量可以通过对相邻已重建宏块的运动矢量使用一种统计算法来得到。只要FPGA端可以利用OpenCL实现的帧间预测内核，对预测帧数据中的每个宏块进行运功矢量预测，对于具体的预测方式，本实施例不做任何限制。

其中，NEARESTMV预测模式可以为对上方、左侧、左上相邻宏块的运动矢量进行统计，得到最相邻非零运动矢量mv作为该宏块的运动矢量mv；NEARMV预测模式可以为对上方、左侧、左上相邻宏块的运动矢量进行统计，得到次相邻非零运动矢量mv作为该宏块的运动矢量mv；ZEROMV预测模式可以为该宏块的运动矢量mv使用零向量；NEWMV预测模式可以为该宏块的运动矢量mv需要从视频码流中解码得出运动矢量增量；SPLITMV预测模式是分区模式，包含NEW4x4、LEFT4x4、ABOVE4x4和ZERO4x4四种子模式，每个宏块的运动矢量有多个，每个分区都有一个自己的运动矢量，运动矢量的计算跟分区的子模式相关。

需要说明的是，对于帧间预测内核的具体内容，也就是OpenCL语言进行描述的具体内容，可以由设计人员自行设置，只要FPGA端可以利用帧间预测内核对预测帧数据中的每个宏块进行运功矢量预测，本实施例不做任何限制。

具体的，可以利用Intel FPGA SDK for OpenCL工具进行综合，将OpenCL语言进行描述实现的帧间预测内核，自动生成可在FPGA平台执行的硬件比特流文件。在采用OpenCL语言进行描述实现帧间预测内核时，可以通过制导语句#pragma unroll进行循环展开优化控制，同时消除循环相关的访存依赖关系，提高帧间预测内核中循环程序流水执行的效率，以及降低自动生成的FPGA硬件电路所占用的硬件资源开销。

步骤103：通过OpenCL提供的读Buffer方式，从DDR内存获取预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息。

可以理解的是，本步骤的目的可以为主机端从FPGA板卡上的DDR内存读取FPGA端利用帧间预测内核计算得到的预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息。可以如本实施例所示，通过OpenCL的读Buffer方式将预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息读取至主机端，也可以通过其他方式，只要主机端读取FPGA板卡上的DDR内存中的预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息，对于具体的读取方式，本实施例不做任何限制。

可以理解的是，本实施例所提供的方法中主机端写入预测帧数据的DDR内存和读取预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息的DDR内存，可以为FPGA板卡上的同一DDR内存，也可以为FPGA板卡上的不同内存。本实施例对此不做任何限制。

具体的，本实施例所提供的方法还可以包括主机端与FPGA端进行信息交互的过程，如主机端可以在步骤101之后，可以向FPGA端发送预测帧数据发送成功信息，以提示FPGA端进行步骤102的操作；FPGA端在步骤102之后，可以向主机端发送计算完成信号，以提示主机端从DDR内存获取预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息。对于主机端与FPGA端具体的信息交互过程，可以由设计人员根据实用场景和用户需求自行设置，本实施例对此不做任何限制。

本实施例中，本发明实施例通过FPGA端利用OpenCL实现的帧间预测内核，采用预设预测模式对DDR内存中存储的预测帧数据中的每个宏块进行运功矢量预测，采用OpenCL语言实现利用FPGA对VP8视频压缩编码算法中的帧间预测的性能加速，提高了帧间预测的性能，降低了设计复杂度，减少了成本。

请参考图2，图2为本发明实施例所提供的一种基于OpenCL的VP8视频的帧间预测系统的结构图。该系统可以包括：

主机端100，用于通过OpenCL提供的写Buffer方式，将预测帧数据发送至FPGA板卡上的DDR内存；通过OpenCL提供的读Buffer方式，从DDR内存获取预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息；其中，预测帧数据为VP8视频数据流中的每一个预测帧的原始数据；

FPGA端200，用于利用OpenCL实现的帧间预测内核，采用预设预测模式对DDR内存中存储的预测帧数据中的每个宏块进行运功矢量预测，并将获取的预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息存储至DDR内存。

可选的，FPGA端200具体用于利用帧间预测内核，在FPGA中采用NEARMV预测模式、NEARESTMV预测模式、ZEROMV预测模式、NEWMV预测模式和SPLITMV预测模式对预测帧数据中的每个宏块进行运功矢量预测。

可选的，主机端100还用于对VP8视频数据流进行解析，获取预测帧数据。

本实施例中，本发明实施例通过FPGA端200利用OpenCL实现的帧间预测内核，采用预设预测模式对DDR内存中存储的预测帧数据中的每个宏块进行运功矢量预测，采用OpenCL语言实现利用FPGA对VP8视频压缩编码算法中的帧间预测的性能加速，提高了帧间预测的性能，降低了设计复杂度，减少了成本。

本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的基于OpenCL的VP8视频的帧间预测方法的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统及计算机可读存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的基于OpenCL的VP8视频的帧间预测方法、系统及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (7)

1.一种基于OpenCL的VP8视频的帧间预测方法，其特征在于，包括：

主机端通过OpenCL提供的写Buffer方式，将预测帧数据发送至FPGA板卡上的DDR内存；其中，所述预测帧数据为VP8视频数据流中的每一个预测帧的原始数据；

FPGA端利用OpenCL实现的帧间预测内核，采用预设预测模式对所述DDR内存中存储的所述预测帧数据中的每个宏块进行运功矢量预测，并将获取的所述预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息存储至所述DDR内存；

所述主机端通过OpenCL提供的读Buffer方式，从所述DDR内存获取所述预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息。

2.根据权利要求1所述的基于OpenCL的VP8视频的帧间预测方法，其特征在于，所述预设预测模式，包括：NEARMV预测模式、NEARESTMV预测模式、ZEROMV预测模式、NEWMV预测模式和SPLITMV预测模式。

3.根据权利要求1或2所述的基于OpenCL的VP8视频的帧间预测方法，其特征在于，所述主机端通过OpenCL提供的写Buffer方式，将预测帧数据发送至FPGA板卡上的DDR内存之前，还包括：

主机端对所述VP8视频数据流进行解析，获取所述预测帧数据。

4.一种基于OpenCL的VP8视频的帧间预测系统，其特征在于，包括：

主机端，用于通过OpenCL提供的写Buffer方式，将预测帧数据发送至FPGA板卡上的DDR内存；通过OpenCL提供的读Buffer方式，从所述DDR内存获取所述预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息；其中，所述预测帧数据为VP8视频数据流中的每一个预测帧的原始数据；

FPGA端，用于利用OpenCL实现的帧间预测内核，采用预设预测模式对所述DDR内存中存储的所述预测帧数据中的每个宏块进行运功矢量预测，并将获取的所述预测帧数据中的每个宏块的运动矢量和采用的预测模式数据信息存储至所述DDR内存。

5.根据权利要求4所述的基于OpenCL的VP8视频的帧间预测系统，其特征在于，所述FPGA端具体用于利用所述帧间预测内核，在所述FPGA中采用NEARMV预测模式、NEARESTMV预测模式、ZEROMV预测模式、NEWMV预测模式和SPLITMV预测模式对所述预测帧数据中的每个宏块进行运功矢量预测。

6.根据权利要求4或5所述的基于OpenCL的VP8视频的帧间预测系统，其特征在于，所述主机端还用于对所述VP8视频数据流进行解析，获取所述预测帧数据。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的基于OpenCL的VP8视频的帧间预测方法的步骤。