CN109246331A - 一种视频处理方法和系统 - Google Patents

Abstract

本申请实施例公开了一种视频处理方法和系统，通过处理器单元和FPGA的合作，实现软硬件协同高效的完成视频数据处理。其中，处理器单元对视频数据进行处理量较小预处理得到预处理数据，并向现场可编程门阵列FPGA发送所述预处理数据；所述FPGA对所述预处理数据进行处理量较大的视频算法加速处理得到处理后的视频数据，并向所述处理器单元返回所述处理后的视频数据；所述处理器单元输出所述处理后的视频数据以供显示。由于FPGA本身具有高效的并行处理能力，故这种与处理器单元的协同处理方式能够各取所长，显著提高了对视频数据处理的性能和效率。

Description

一种视频处理方法和系统

技术领域

本申请涉及数据处理领域，特别是涉及一种视频处理方法和系统。

背景技术

随着当代科学技术的不断发展，视频处理系统性能也在不断提升。计算机设备的计算能力及存储性能的提高极大的推动了视频处理系统的发展。

但是，互联网及直播行业的迅速发展也导致对视频处理系统的性能要求不断提升。目前视频图像处理技术主要利用中央处理器(Central Processing Unit，CPU)或者数字信号处理(Digital Signal Processing，DSP)专用芯片来做实时视频图像处理，CPU本质上是顺序执行指令，不能实现并行处理，故实时性很差，而DSP专用芯片可以实现一定的并行处理和复杂算法，但无法实现一些更为复杂的逻辑运算和高速处理。

可见，目前这种通过CPU或DSP芯片对视频进行处理的方式已经难以满足当前的视频处理需求。

发明内容

为了解决上述技术问题，本申请提供了一种视频处理方法和系统，通过FPGA与处理器单元的协同处理方式能够各取所长，显著提高了对视频数据处理的性能和效率。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供了一种视频处理方法，所述方法包括：

处理器单元对视频数据进行预处理得到预处理数据，并向现场可编程门阵列FPGA发送所述预处理数据；

所述FPGA对所述预处理数据进行视频算法加速处理得到处理后的视频数据，并向所述处理器单元返回所述处理后的视频数据；

所述处理器单元输出所述处理后的视频数据以供显示。

可选的，所述处理器单元包括缓存模块，所述方法还包括：

所述缓存模块缓存所述预处理数据，以及缓存所述FPGA返回的所述处理后的视频数据。

可选的，所述FPGA包括存储模块，所述方法还包括：

所述存储模块存储所述处理器单元发送的所述预处理数据，以及存储所述处理后的视频数据。

可选的，所述处理器单元和所述FPGA之间通过高速总线进行数据交互。

可选的，所述预处理包括边缘检测、视频特征提取和视频格式转换中的任意一种或多种的组合；

所述FPGA对所述预处理数据进行视频算法加速处理得到处理后的视频数据，包括：

所述FPGA根据所编写的算法对所述预处理数据进行视频算法加速处理得到处理后的视频数据；其中，所述算法包括滤波算法、编解码算法、视频格式转换算法中任意一种或多种的组合。

第二方面，本申请实施例提供了一种视频处理系统，所述系统包括处理器单元和现场可编程门阵列FPGA：

处理器单元用于对视频数据进行预处理得到预处理数据，并向FPGA发送所述预处理数据；

所述FPGA用于对所述预处理数据进行视频算法加速处理得到处理后的视频数据，并向所述处理器单元返回所述处理后的视频数据；

所述处理器单元输出所述处理后的视频数据以供显示。

可选的，所述处理器单元包括缓存模块，所述缓存模块用于缓存所述预处理数据，以及缓存所述FPGA返回的所述处理后的视频数据。

可选的，所述FPGA包括存储模块，所述存储模块用于存储所述处理器单元发送的所述预处理数据，以及存储所述处理后的视频数据。

可选的，所述处理器单元和所述FPGA之间通过高速总线进行数据交互。

可选的，所述预处理包括边缘检测、视频特征提取和视频格式转换中的任意一种或多种的组合；

所述FPGA还用于根据所编写的算法对所述预处理数据进行视频算法加速处理得到处理后的视频数据；其中，所述算法包括滤波算法、编解码算法、视频格式转换算法中任意一种或多种的组合。

由上述技术方案可以看出，通过处理器单元和FPGA的合作，实现软硬件协同高效的完成视频数据处理。其中，处理器单元对视频数据进行处理量较小预处理得到预处理数据，并向现场可编程门阵列FPGA发送所述预处理数据；所述FPGA对所述预处理数据进行处理量较大的视频算法加速处理得到处理后的视频数据，并向所述处理器单元返回所述处理后的视频数据；所述处理器单元输出所述处理后的视频数据以供显示。由于FPGA本身具有高效的并行处理能力，故这种与处理器单元的协同处理方式能够各取所长，显著提高了对视频数据处理的性能和效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种视频处理系统的结构示意图；

图2为本申请实施例提供的一种视频处理方法的方法流程图；

图3为本申请实施例提供的一种视频处理系统的装置结构图。

具体实施方式

下面结合附图，对本申请的实施例进行描述。

由于目前这种通过CPU或DSP芯片对视频进行处理的方式已经难以满足当前的视频处理需求。故此本申请提出了采用现场可编程门阵列(Field Programmable GateArray，FPGA)参与视频数据处理中的方案，通过处理器单元和FPGA的合作，实现软硬件协同高效的完成视频数据处理。其中，处理器单元对视频数据进行处理量较小预处理得到预处理数据，并向现场可编程门阵列FPGA发送所述预处理数据；所述FPGA对所述预处理数据进行处理量较大的视频算法加速处理得到处理后的视频数据，并向所述处理器单元返回所述处理后的视频数据；所述处理器单元输出所述处理后的视频数据以供显示。由于FPGA本身具有高效的并行处理能力，故这种与处理器单元的协同处理方式能够各取所长，显著提高了对视频数据处理的性能和效率。

本申请实施例提供的视频处理系统的结构可以参见图1。

在一种可能的实现方式中，本申请实施例提供的视频处理系统可以为现场可编程门阵列系统级芯片(Field Programmable Gate Array System On Chip，FPGA SOC)系统。其中，包含ARM处理器系统(一款RISC微处理器。全称为Advanced RISC Machine)和FPGA。两者之间通过一种总线协议(Advanced extensible Interface，AXI)高速总线相连，完成实时的通信交互和数据传输，例如图1所示。

ARM处理器系统主要完成系统各模块的初始化及配置、视频预处理和视频输出，这部分功能算法较为简单，通过编写对应功能的软件程序实现指令操作，ARM处理器就可以高效的完成处理。FPGA可编程逻辑主要实现视频处理算法的硬件加速功能，该部分功能算法复杂，数据量大，通过编写RTL代码实现专用功能的硬件电路，在FPGA中高效并行处理视频加速算法。通过这种软硬件协同处理的方式，显著提高了视频处理系统的性能和效率。

接下来结合附图说明本申请实施例所提供系统实施的视频处理方法。如图2所示，所述方法包括：

201：处理器单元对视频数据进行预处理得到预处理数据，并向FPGA发送所述预处理数据。

所述预处理包括边缘检测、视频特征提取和视频格式转换中的任意一种或多种的组合。

处理器单元可以通过视频预处理模块对视频数据进行预处理。视频预处理模块主要完成边缘检测、视频特征提取及视频格式转换功能。边缘检测是通过相关算法检测出边缘宽度，精确定位边缘。视频特征提取是对视频动态特征的分析及处理，包括局部运动和全局运动的特征提取。视频格式转换是针对色彩空间模型的转换，将从外部接收到的色彩空间模型转换成FPGA中视频处理所用到的格式。

在一种可能的实现方式中，所述处理器单元和所述FPGA之间通过高速总线进行数据交互。故处理器单元可以通过该高速总线将预处理数据发向FPGA。

在一种可能的实现方式中，所述处理器单元包括缓存模块，所述缓存模块缓存所述预处理数据，以及缓存所述FPGA返回的所述处理后的视频数据。例如图1所示。

在一种可能的实现方式中，所述处理器单元还包括视频输出模块。视频输出模块主要完成视频数据对外输出的功能，将缓存控制模块中缓存的处理后的视频数据，转换成满足输出设备的格式文件，供外接视频显示设备使用。例如图1所示。

202：所述FPGA对所述预处理数据进行视频算法加速处理得到处理后的视频数据，并向所述处理器单元返回所述处理后的视频数据。

在一种可能的实现方式中，所述FPGA根据所编写的算法对所述预处理数据进行视频算法加速处理得到处理后的视频数据；其中，所述算法包括滤波算法、编解码算法、视频格式转换算法中任意一种或多种的组合。

FPGA可以通过视频算法加速处理模块对预处理数据进行视频算法加速处理。视频算法加速处理模块是视频处理的核心模块，通过编写RTL代码实现各种特定功能的算法如滤波算法、编解码算法、视频格式转换算法等，这些RTL代码通过相关软件工具烧录到FPGA中，从而形成实现相关功能的硬件电路，高效并行的完成各类算法功能。

在一种可能的实现方式中，所述FPGA包括存储模块，例如图1所示。所述方法还包括：

所述存储模块存储所述处理器单元发送的所述预处理数据，以及存储所述处理后的视频数据。同时该存储模块还可以实现通过高速总线例如AXI总线与缓存模块进行通信及数据传输。

203：所述处理器单元输出所述处理后的视频数据以供显示。

可见，通过处理器单元和FPGA的合作，实现软硬件协同高效的完成视频数据处理。其中，处理器单元对视频数据进行处理量较小预处理得到预处理数据，并向现场可编程门阵列FPGA发送所述预处理数据；所述FPGA对所述预处理数据进行处理量较大的视频算法加速处理得到处理后的视频数据，并向所述处理器单元返回所述处理后的视频数据；所述处理器单元输出所述处理后的视频数据以供显示。由于FPGA本身具有高效的并行处理能力，故这种与处理器单元的协同处理方式能够各取所长，显著提高了对视频数据处理的性能和效率。

本申请实施例还提供了一种视频处理系统，如图3所示，所述系统包括处理器单元300和FPGA400：

处理器单元用于对视频数据进行预处理得到预处理数据，并向FPGA发送所述预处理数据；

所述FPGA用于对所述预处理数据进行视频算法加速处理得到处理后的视频数据，并向所述处理器单元返回所述处理后的视频数据；

所述处理器单元输出所述处理后的视频数据以供显示。

在一种可能的实现方式中，所述处理器单元包括缓存模块，所述缓存模块用于缓存所述预处理数据，以及缓存所述FPGA返回的所述处理后的视频数据。

在一种可能的实现方式中，所述FPGA包括存储模块，所述存储模块用于存储所述处理器单元发送的所述预处理数据，以及存储所述处理后的视频数据。

在一种可能的实现方式中，所述处理器单元和所述FPGA之间通过高速总线进行数据交互。

在一种可能的实现方式中，所述预处理包括边缘检测、视频特征提取和视频格式转换中的任意一种或多种的组合；

所述FPGA还用于根据所编写的算法对所述预处理数据进行视频算法加速处理得到处理后的视频数据；其中，所述算法包括滤波算法、编解码算法、视频格式转换算法中任意一种或多种的组合。

可见，通过处理器单元和FPGA的合作，实现软硬件协同高效的完成视频数据处理。其中，处理器单元对视频数据进行处理量较小预处理得到预处理数据，并向现场可编程门阵列FPGA发送所述预处理数据；所述FPGA对所述预处理数据进行处理量较大的视频算法加速处理得到处理后的视频数据，并向所述处理器单元返回所述处理后的视频数据；所述处理器单元输出所述处理后的视频数据以供显示。由于FPGA本身具有高效的并行处理能力，故这种与处理器单元的协同处理方式能够各取所长，显著提高了对视频数据处理的性能和效率。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：ROM)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种视频处理方法，其特征在于，所述方法包括：

处理器单元对视频数据进行预处理得到预处理数据，并向现场可编程门阵列FPGA发送所述预处理数据；

所述FPGA对所述预处理数据进行视频算法加速处理得到处理后的视频数据，并向所述处理器单元返回所述处理后的视频数据；

所述处理器单元输出所述处理后的视频数据以供显示。

2.根据权利要求1所述的方法，其特征在于，所述处理器单元包括缓存模块，所述方法还包括：

所述缓存模块缓存所述预处理数据，以及缓存所述FPGA返回的所述处理后的视频数据。

3.根据权利要求1所述的方法，其特征在于，所述FPGA包括存储模块，所述方法还包括：

所述存储模块存储所述处理器单元发送的所述预处理数据，以及存储所述处理后的视频数据。

4.根据权利要求1所述的方法，其特征在于，所述处理器单元和所述FPGA之间通过高速总线进行数据交互。

5.根据权利要求1-4任意一项所述的方法，其特征在于，所述预处理包括边缘检测、视频特征提取和视频格式转换中的任意一种或多种的组合；

所述FPGA对所述预处理数据进行视频算法加速处理得到处理后的视频数据，包括：

所述FPGA根据所编写的算法对所述预处理数据进行视频算法加速处理得到处理后的视频数据；其中，所述算法包括滤波算法、编解码算法、视频格式转换算法中任意一种或多种的组合。

6.一种视频处理系统，其特征在于，所述系统包括处理器单元和现场可编程门阵列FPGA：

处理器单元用于对视频数据进行预处理得到预处理数据，并向FPGA发送所述预处理数据；

所述FPGA用于对所述预处理数据进行视频算法加速处理得到处理后的视频数据，并向所述处理器单元返回所述处理后的视频数据；

所述处理器单元输出所述处理后的视频数据以供显示。

7.根据权利要求6所述的系统，其特征在于，所述处理器单元包括缓存模块，所述缓存模块用于缓存所述预处理数据，以及缓存所述FPGA返回的所述处理后的视频数据。

8.根据权利要求6所述的系统，其特征在于，所述FPGA包括存储模块，所述存储模块用于存储所述处理器单元发送的所述预处理数据，以及存储所述处理后的视频数据。

9.根据权利要求6所述的系统，其特征在于，所述处理器单元和所述FPGA之间通过高速总线进行数据交互。

10.根据权利要求6-9任意一项所述的系统，其特征在于，所述预处理包括边缘检测、视频特征提取和视频格式转换中的任意一种或多种的组合；

所述FPGA还用于根据所编写的算法对所述预处理数据进行视频算法加速处理得到处理后的视频数据；其中，所述算法包括滤波算法、编解码算法、视频格式转换算法中任意一种或多种的组合。