CN109587484A - 基于双片dsp的多模式hevc视频编码器设计方法 - Google Patents

Abstract

本发明公布了一种基于双片DSP的多模式HEVC视频编码器设计方法。该方法首先设计一种基于双片多核DSP的HEVC并行编码框架，采用两片DSP分别对四种视频的上下半帧进行同时编码，有效利用双片DSP的计算资源。其次，设计一种高效的双片DSP数据通信机制，通过SRIO、DMA和EMIF实现片间和片内的多模式编码数据高速传输。最后，设计一种双片DSP编码器的自检机制，实现对编码器异常工作的检测，确保编码器持续稳定运行。本发明所提出的基于双片DSP的多模式HEVC视频编码器设计方法能够在确保编码器稳定工作的前提下，进行多模式视频编码，满足多种视频图像实时编码的应用需求。

Description

基于双片DSP的多模式HEVC视频编码器设计方法

技术领域

本发明属于多媒体编码领域，具体涉及一种基于双片DSP的多模式HEVC视频编码器设计方法，是一种在双片DSP上设计和实现高效HEVC硬件编码器的方法。

背景技术

新一代视频编码标准HEVC在H.264/AVC high profile的基础上，通过增加和改进多种编码技术，使视频压缩效率提高了一倍，即在保证相同视频图像质量的前提下，视频流的码率减少了50％。这种优势，使得HEVC比较有利于在高清视频编码中使用。但是编码性能的提升是以增加计算复杂度为代价的，对于计算资源有限的嵌入式设备，HEVC很难直接被应用在这些设备上。因此如何在保证HEVC的编码性能的前提下，降低其编码计算复杂度并能实用化应用，成为目前一个重要的研究方向。

针对不同的需求，HEVC硬件视频编码器的实现方案可以分成两类。一种是在专用编码芯片上实现。此类芯片的优点是编码过程完全依赖硬件实现，编码速度快。缺点是开发难度大，开发周期长，并且由于编码逻辑已经固化在芯片中，产品不易升级，并且多数芯片都面向特定的领域，灵活性较低。目前比较有代表性有华为海思的Hi3516A型芯片，索喜科技公司的HEVC的高清编码芯片MB86M31。另一种是在通用芯片上实现。其中以FPGA和DSP平台实现为主。采用通用平台实现的优势是可以实现较灵活的算法移植，满足多用途应用需求。目前，很多公司也推出了单DSP和多DSP的视频编码产品。比如研华公司的带有20片DSP的DSP-8901视频编码和处理板。采用多DSP的优点在于，可以提供强大的计算资源，来处理复杂度高的任务。不足之处在于，需要考虑功耗、成本和设计复杂度等问题。

DSP(Digital Signal Processor)是一种特别适合进行数字信号处理计算的微处理器。德州仪器公司(TI)的TMS320C6678芯片是一款高性能通用多核DSP处理器，芯片内集成了8个C66x内核和一个网络协处理器，兼具同构和异构的特点，在最高工作频率1.25GHz下，单核可以达到40GMAC的定点计算运算和20GFLOP的浮点运算能力，在信号处理、图像处理等定浮点运算能力及实时性要求较高的领域得到了广泛应用。DSP平台相较于其他软硬件平台，具有成本低、低功耗、高性能、易移植等特点，同时由于HEVC较高的计算复杂度，因此，DSP作为HEVC视频编码器实时化应用的平台具有明显的优势。

本发明首先设计一种基于双片DSP的HEVC并行编码框架，采用两片DSP分别对原始视频的上下半帧进行同时编码，有效利用双片DSP的计算资源。其次，设计一种高效的双片DSP数据通信机制，通过SRIO和DMA实现片间和片内的多模式编码数据高速传输。然后，设计一种双片DSP编码器的自检机制，实现对编码器异常工作的检测，确保编码器在复杂环境下的持续稳定运行。最后，设计一种高效的基于异构处理器的编码数据传输机制，通过EDMA和EMIF实现DSP和FPGA的之间多码率传输。

发明内容

为了克服现有技术的缺陷，本发明提出一种基于双片DSP的多模式HEVC视频编码器设计方法。首先设计一种基于双片多核DSP的HEVC并行编码框架，采用两片DSP分别对四种视频的上下半帧进行同时编码，有效利用双片DSP的计算资源。其次，设计一种高效的双片DSP数据通信机制，通过SRIO、DMA和EMIF实现片间和片内的多模式编码数据高速传输。最后，设计一种双片DSP编码器的自检机制，实现对编码器异常工作的检测，确保编码器在特定环境下的持续稳定运行。实验证明本方法能够在保证HEVC编码性能的前提下，大幅降低编码复杂度，满足实时应用的需求。

为实现上述目的，本发明采用下述技术方案：

一种基于双片DSP的多模式HEVC视频编码器设计方法，该方法的步骤如下：

(和权利要求保持一致)

本发明与现有技术相比的优点在于：

1、本发明针对不同类型的视频特性设计不同任务分配和编码策略，对于数码照片，首先将其分割成4行6列共24帧的832×1000小图，再根据其低帧率和高分辨率的特点，设置全I帧编码模式。针对可见光和模拟视频，首先进行上下帧分割，再根据其低延迟的特点，设置低延迟P帧编码模式。针对红外视频，首先对视频进行色度分量进行128像素值大小填充，再进行上下帧分割，并设置P帧编码模式。

2、本发明设计一种高效的双片DSP数据通信机制，针对多模式视频，实现高速的片间和片内数据传输和交互。其中，在片间采用SRIO中断方式进行DSP1至DSP2的数据传输。在片内，采用DMA控制器进行数据搬运，能有效降低DSP核的资源占用率，最大程度实现并行化工作。最后，通过DMA将码流发送缓冲区的码流搬至EMIF接口，实现DSP和FPGA的传输，可以有效减少占用核资源的时间。同时，针对高码率可能出现码率不足情况，采用填充零数据的方式，保证传输平滑稳定。

3、本发明设计一种双片DSP编码器的自检机制。两片DSP的主核定时检测编码核的工作状态，并分别以回报信息的方式发送给FPGA，确保硬件编码器在特定环境下能重启，以及可持续工作。

附图说明

图1为双片多核DSP的HEVC并行编码框架图。

图2为数码照片并行编码框架图。

图3为数码照片SRIO片间数据传输图。

图4为可见光并行编码框架图。

图5为模拟视频并行编码框架图。

图6为红外视频并行编码框架图。

图7为DSP多核工作自检原理图。

图8为DSP和FPGA异构处理器的编码数据传输机制原理图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步的说明。

为了提高HEVC视频编码器的编码速度，满足多模式视频的实时压缩编码需求，本发明提出了一种基于双片DSP的多模式HEVC视频编码器设计方法。该方法首先设计一种基于双片多核DSP的HEVC并行编码框架，充分利用双片多核DSP的计算资源。其次，设计一种高效的双片DSP数据通信机制，通过SRIO、DMA和EMIF实现片间和片内的多模式编码数据高速传输。最后，设计一种双片DSP编码器的自检机制。实现对编码器异常工作的检测。下面展开具体说明。

方法描述如下：

(1)如图1所示，FPGA从外部获取到带有模式信息的视频流后，对模式信息和视频流拆分，然后通过SRIO端口将视频数据发送到DSP1，同时通过GPIO端口将视频的模式信号分别发送到DSP1和DSP2，DSP1和DSP2上的编码器根据接收到模式信号配置相关编码参数。运行在DSP1上的编码器把每一帧的后半帧原始视频数据通过SRIO端口转发给DSP2，由DSP2完成相应编码工作。DSP1和DSP2利用DMA进行核内数据搬运。DSP1编码完前半帧数据以后，将码流经发送到DSP2，与DSP2上的半帧码流完成合并。合并完成后，DSP2发送回复报文给DSP1从而开始新的一帧编码，并由DSP2将码流通过EMIF接口发送到FPGA，再由FPGA转发至板卡外部。

(2)如图2所示，对于数码照片(4992×4000)编码模式，将其分割成4行6列共24帧的832×1000小图，每片DSP各自读入同一帧的上下半帧小图进行全I帧并行编码，完成一帧小图编码之后，再顺序编码剩余小图，从而完成一帧大图的编码，在解码端再将小图构造成数码照片。

(3)如图3所示,对于数码照片(4992×4000)编码模式，由于设计了每一张小图的上下帧编码方式，考虑到SRIO传输带宽有限，因此将每一行小图的第400行到1000行，由第一片DSP通过SRIO以4992宽度的像素行转发给第二片DSP，最后每一片DSP通过DMA只搬运各自负责编码的半帧视频数据进行全I帧编码。

(4)如图4所示，对于可见光(1392×1040)编码模式，考虑到SRIO传输带宽有限，第一片DSP将下半帧原始视频数据通过SRIO方式传输给第二片DSP视频缓存区，然后每片DSP从DDR3读入视频数据至片内后，进行低延迟P帧并行编码。

(5)如图5所示，对于模拟(720×576)编码模式，考虑到SRIO传输带宽有限，第一片DSP将下半帧原始视频数据通过SRIO方式传输给第二片DSP，然后每片DSP通过DMA调度从DDR3读入视频数据至片内后，进行低延迟P帧并行编码。

(6)如图6所示，对于红外(640×512)编码模式，第一片DSP通过SRIO方式将8个视频缓存区的数据按轮询方式传输至第二片DSP，每片DSP通过DMA调度从DDR3读入视频数据至片内后，进行低延迟P帧并行编码。

(7)如图7所示，主核负责检查从核的工作状态，主核定时发送回报信息至FPGA；在共享存储空间上，申请7个独立的存储空间，并设置为7个计数器，用于存储各从核的工作状态；各从核每编码完成一个Slice就将从核所对应的计数器加1；主核检查从核的计数器状态，若计数器的值长期没有变化，则说明编码器工作不正常，否则编码器工作正常；主核定时发送回报信息至FPGA，如果回报信息不正常或者FPGA长时间没有收到回报信息，则重启DSP。

(8)如图8所示，第二片DSP将两片DSP的码流进行重组，合成一帧码流，并存储在第二片DSP的DDR3缓存区上；主核在空闲时间负责提交码流搬运任务请求给DMA控制器，然后DMA负责将码流搬运至EMIF接口，由EMIF传输数据至FPGA的FIFO；主核根据不同的码率，对码流缓冲区数据进行填充操作，避免FIFO出现空闲状态，保证传输平滑稳定。

Claims (4)

1.一种基于双片DSP的多模式HEVC视频编码器设计方法，其特征在于具体步骤如下：

步骤(1)、利用双片多核DSP的计算资源，将每一帧的多模式视频进行双片DSP编码任务分配，包括片间和片内编码任务分配，其次针对不同的视频源设定不同的编码策略；

步骤(2)、根据编码任务分配，先使用SRIO进行视频源数据的双片片间传输，再使用DMA进行编码数据的片内搬运，最后将两片编码后的码流进行重组并通过EMIF传输至FPGA；

步骤(3)、在编码过程中，通过定时检测每个核的状态判断编码器是否工作异常。

多模式编码步骤：

步骤(11)、将待编码的一帧原始视频按CTU个数，均分给两片DSP进行并行编码，其中第一片DSP负责转发所述帧原始视频给第二片DSP，第二片DSP负责将两片DSP编码产生的码流进行合并及转发；

步骤(12)、将每片DSP的N个核划分成两类，即主核核0以及从核核1～N-1；

其中，主核负责控制从核编码，包括给各个从核分配编码任务、为从核编码调度相关数据、帧码流的打包及监控各从核的状态；每一个从核负责一个条带Slice的编码工作，各个从核之间相互独立，可同时进行编码；

步骤(13)、每片DSP的主核根据从核编码一个Slice的时间估计复杂度，为从核动态调整编码任务，以达到负载均衡。

数据传输步骤：

步骤(21)、根据视频源编码模式将视频进行划分，将其分类为数码照片、可见光、模拟和红外四种视频源编码模式；

步骤(22)、对于数码照片编码模式，将其分割成4行6列共24帧的832×1000小图，每一行小图的第400行到1000行，由第一片DSP通过SRIO以4992宽度的像素行转发给第二片DSP，每片DSP各自读入同一帧的上下半帧小图进行全I帧并行编码，完成一帧小图编码之后，再顺序编码剩余小图，从而完成一帧大图的编码,编码完后通过DMA和EMIF将数据传输至FPGA的FIFO；

步骤(23)、对于可见光编码模式，第一片DSP将下半帧原始视频数据通过SRIO方式传输给第二片DSP，然后每片DSP从DDR3读入视频数据至片内后，进行同时编码，编码完后通过DMA和EMIF将数据传输至FPGA的FIFO；

步骤(24)、对于模拟编码模式，第一片DSP将下半帧原始视频数据通过SRIO方式传输给第二片DSP，然后每片DSP从DDR3读入视频数据至片内后，进行同时编码，编码完后通过DMA和EMIF将数据传输至FPGA的FIFO；

步骤(25)、对于红外编码模式，第一片DSP对红外原始视频的色度分量填充128的像素值，然后通过SRIO方式传输至第二片DSP，每片DSP从DDR3读入视频数据至片内后，进行同时编码，编码完后通过DMA和EMIF将数据传输至FPGA的FIFO。

自检查步骤：

步骤(31)、主核负责检查从核的工作状态，主核定时发送回报信息至FPGA；

步骤(32)、在共享存储空间上，申请N-1个独立的存储空间，并设置为N-1个计数器，用于存储各从核的工作状态；

步骤(33)、各从核每编码完成一个Slice就将从核所对应的计数器加1；

步骤(34)、主核检查从核的计数器状态，若计数器的值长期没有变化，则说明编码器工作不正常，否则编码器工作正常；

步骤(35)、主核定时发送回报信息至FPGA，如果回报信息不正常或者FPGA长时间没有收到回报信息，则重启DSP。

2.如权利要求1所述的步骤1，其特征在于：

(1)对于数码照片具有低帧率和高分辨率的特点，设计全I帧编码模式。首先将其分割成4行6列共24帧的832×1000小图，每片DSP各自读入同一帧的上下半帧小图进行全I帧并行编码，完成一帧小图编码之后，再顺序编码剩余小图，从而完成一帧大图的编码；

(2)针对可见光和模拟视频低延迟的特点，设计低延迟P帧编码模式，第一片DSP将下半帧原始视频数据通过SRIO方式传输给第二片DSP，然后每片DSP从DDR3读入视频数据至片内后，进行上下帧并行编码；

(3)针对红外视频具有单分量的特点，设计亮度分量编码模式。第一片DSP通过先将色度分量填充成128，再通过SRIO方式将视频数据传输至第二片DSP，每片DSP从DDR3读入视频数据至片内后，进行并行编码。

3.如权利要求1所述的步骤2，其特征在于：

(1)通过SRIO方式完成FPGA到第二片DSP数据传输，SRIO数据传输采用中断触发机制用于通知接收方数据发送完成，并设计N个视频收发和码流缓冲区；

(2)第二片DSP通过EMIF传输机制将两片码流发送至FPGA，DSP根据FPGA的中断信号采用DMA方式将码流搬运至EMIF发送区。

4.如权利要求1所述的步骤3，其特征在于：

(1)为每个编码核在DSP共享空间上分配私有的标志位空间，每一次编码核完成一个slice的编码，标志位累加一次，同时，主核每25帧对所有编码核的标志位检查一次，判断标志位是否进行了累加。如果，未累加，则说明编码器工作异常，重启DSP；否则，说明编码器工作正常。