CN103237208A

CN103237208A - 一种基于fpga的高清视频输出方法

Info

Publication number: CN103237208A
Application number: CN2013101062142A
Authority: CN
Inventors: 吕杰
Original assignee: SUZHOU TEKNICE VIDEO TECHNOLOGY Co Ltd
Current assignee: SUZHOU TEKNICE VIDEO TECHNOLOGY Co Ltd
Priority date: 2013-03-29
Filing date: 2013-03-29
Publication date: 2013-08-07
Anticipated expiration: 2033-03-29
Also published as: CN103237208B

Abstract

本发明公开了一种基于FPGA的高清视频输出方法，包括以下步骤：CPU将解码后高清视频数据暂存在CPU端的RAM中，然后将RAM中暂存的高清视频数据量告知FPGA，并向FPGA发送数据通路开启命令，若RAM中暂存的高清视频数据量超过第一阈值，则FPGA开启DMA控制器，将高清视频数据从CPU端的RAM搬运至FPGA端的DDR2中；CPU向FPGA发送高清视频送显命令，若DDR2中缓存的高清视频数据量超过第二阈值，则FPGA开启DMA控制器，将高清视频数据从FPGA端的DDR2搬运至视频接口芯片中，输出高清视频。本发明解决了数据带宽较低、传输通路数受限的问题，实现高清视频的流畅显示。

Description

一种基于FPGA的高清视频输出方法

技术领域

本发明涉及FPGA应用领域，具体涉及一种基于FPGA的高清视频输出方法。

背景技术

目前，无论是在高清电视、网络视频点播等普通消费领域，还是在安防监控、医疗、工业现场等专业领域，对高清视频的清晰度和实时性的要求不断提高，由此带来视频处理的复杂度和计算量的几何级数增长，视频、语音、图形图像等数据的传输量迅速增加。

随着信息技术、嵌入式技术及高性能处理器的发展，高速串行总线，相较传统并行总线具有更高的数据带宽、更少的信号连接线、更稳定的传输质量，因而广泛用于大规模数据的高速传输中。

随着传输总线的不断升级，传统的并行总线逐渐退出历史舞台，新型的高速串行总线技术在芯片互连中扮演主要角色。PCIe总线采用了串行连接方式，使用数据包(Packet)进行数据传输，采用这种结构可以有效去除并行总线中存在的一些边带信号。

PCIe支持多种数据路由的传输方式，基于多通路的数据传递方式，和基于报文的数据传送方式，充分考虑了在数据传输过程中出现的服务质量(Quality of Service)问题。

高速串行总线可以提供相当高的数据带宽，最新PCIe2.0版本每通路可以提供高达5.0Gbps的数据带宽，非常适合要求带宽高及实时性高的高清视频应用领域。

FPGA(Field-Programmable Gate Array)，即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。

为了适应高清视频的海量数据输出，保证高清视频的显示质量，需要提供一种可以更高效合理的高清视频数据输出方法。

发明内容

本发明提供了一种基于FPGA的高清视频输出方法，解决了现有技术中CPU与视频接口芯片直接进行数据传输带来的数据带宽较低、传输通路数受限以及CPU负担过大的问题，实现高清视频的流畅显示。

一种基于FPGA的高清视频输出方法，包括以下步骤:

(l)CPU将解码后高清视频数据暂存在CPU端的RAM中，然后将RAM中暂存的高清视频数据量告知FPGA，并向FPGA发送数据通路开启命令，若RAM中暂存的高清视频数据量超过第一阈值，则FPGA开启DMA控制器，将高清视频数据从CPU端的RAM搬运至FPGA端的DDR2中;

(2)CPU向FPGA发送高清视频送显命令，若DDR2中缓存的高清视频数据量超过第二阈值，则FPGA开启DMA控制器，将高清视频数据从FPGA端的DDR2搬运至视频接口芯片中，输出高清视频。

在CPU向FPGA发送高清视频送显命令之前，在FPGA端的DDR2中缓存若干帧高清视频数据。

第一阈值为1～2帧，第二阈值为4～6帧。针对1080p分辨率，一帧数据大小约为4MByte，优选第一阈值设为1帧，第二阈值设为4帧，第一阈值和第二阈值都可以依据系统的延时情况进行调整。

FPGA的一端与CPU相连，FPGA的另一端与视频接口芯片相连，FPGA外扩DDR2SDRMA(以下简称DDR2)以增加数据的吞吐量，输出支持多种标准高清视频接口的数据。

FPGA与CPU之间通过PCIe总线进行数据传输，PCIe总线的数据传输率高，高数据带宽可以传输大规模的高清视频数据。

FPGA中设立PCIe接口模块，PCIe接口模块由事务层、数据链路层和物理层组成，各层都具有发送和接收两个功能模块。

PCIe接口模块负责接收来自于CPU端经由DMA控制器搬运的多通路1080P全高清视频数据、传输CPU向PFGA发送的命令和状态信息，其中，事务层负责进行PCIe事务层包(Transaction Layer Packet，TLP)的解析，经过转换接口后与FPGA内部协议实现较为简单的片内总线互连。

所述的PCIeTLP解析为，拆解TLP包得到TLP头标以及TLP数据载荷(Playload)。TLP头标通用字段的头标格式(Format of Header，FMT)描述该TLP包的事务类型，事务类型主要包括3种类型，分别为存储器写请求(MRd)、存储器读请求(MWr)和消息请求(Msg)，其中，存储器写请求(MRd)和存储器读请求(MWr)，表示该TLP载荷数据为DMA由CPU端的RAM搬运至FPGA端的DDR2中的高清视频数据。TLP头标中的地址(ADDR2ess)可以得到TLP基地址(Base ADDR2ess，BAR)偏移信息，确认该高清视频数据的通路映射信息;消息请求(Msg)，Msg包含CPU传输的各种命令，也包含FPGA传递给CPU的各种中断请求。

作为优选，所述步骤(2)中在将高清视频数据从FPGA端的DDR2搬运至视频接口芯片中之前，将高频视频数据依据ITU-RBT.709标准转换为标准格式。

将视频接口芯片支持HDMI、VGA、YPbPr分量等多种标准接口，按实际需要输出多通路的全高清视频。

DDR2用于按地址分区块存储DMA由CPU端的RAM搬运至FPGA的高清视频数据，可以增加数据吞吐量，当CPU向FPGA发送高清视频送显命令时，DDR2中存储的高清视频数据按照恒定的数据率进行视频格式的转换。

将高清视频数据从CPU端的RAM搬运至FPGA端的DDR2中时采取多通路数据操作，各通路数据操作之间轮询切换，针对每一通路数据操作，例化一个缓存用的输入FIFO和一个缓存用的输出FIFO;

当从CPU端的RAM搬运至输入FIFO中的某一通路高清视频数据量大于第三阈值时，将输入FIFO中的高清视频数据写入DDR2中;

当其一通路的输出FIFO中的高清视频数据量小于第四阈值时，从DDR2读取高清视频数据至该输出FIFO中。

FIFO的容量可以根据系统的延时情况进行调整，通常情况下设定第三阈值为输入FIFO容量的3/4，第三阈值为输出FIFO容量的1/4。

DDR2涉及多通路高清视频数据的写入和读取，由于传输通路的实时限制(写入和读取不能同时进行)，因此，DDR2需要对各通路高清视频数据的写入和读取进行优先级切换和状态机跳转，保证DDR2读写达到数据传输带宽，满足高清视频数据的输出要求。

为了避免在高清视频数据传输过程中出现的数据丢失，提高传输过程的稳定性，优选地，将高清视频数据从CPU端的RAM搬运至FPGA端的DDR2中时，每完成一帧高清视频数据的搬运，FPGA端向CPU端发送数据请求中断，CPU端向FPGA端发送中断响应;

若FPGA端没有接收到CPU端的中断响应，则FPGA将DDR2中缓存的前一帧高清视频数据搬运至视频接口芯片中;

若FPGA端接收到CPU端的中断响应，并确认当前帧高清视频数据与前一帧高清视频数据重复，则不搬运当前帧高清视频数据至视频接口芯片中。

本发明一种基于FPGA的高清视频输出方法，解决了CPU与视频接口芯片直接进行数据传输带来的数据带宽较低、传输通路数受限以及CPU负担过大的问题，实现高清视频的流畅显示。

附图说明

图1为实现本发明基于FPGA的高清视频输出方法的装置连接示意图;

图2为本发明一种基于FPGA的高清视频输出方法中DMA的切换流程示意图;

图3为本发明一种基于FPGA的高清视频输出方法中DDR2的读写切换流程示意图;

图4为本发明一种基于FPGA的高清视频输出方法中容错机制的操作示意图。

具体实施方式

下面结合附图，对本发明一种基于FPGA的高清视频输出方法做详细描述。

实现本发明基于FPGA的高清视频输出方法的装置如图1所示，FPGA主要包括DDR2读写控制模块、主控逻辑核、PCIe接口模块和视频格式转换模块，FPGA通过PCIe链路与CPU进行数据交互，通过并行接口与后端接口芯片相连接，FPGA外扩DDR2增加数据的吞吐量，实现全高清视频数据的输出。

PCIe接口模块110，主要包括物理层111、链路层112和事务层113，用于接收和发送PCIe物理链路的数据，完成TLP包的解析和打包，通过FPGA片内总线与主控逻辑核120相连，用于CPU与FPGA之间的高清视频数据以及命令的交互。通过PCIe链路，CPU对FPGA进行状态查询，通路控制等操作，FPGA根据高清视频传输需求向CPU发送中断请求，PCIe链路承担高清视频视频数据的大规模传输。

主控逻辑核120，用于多通路视频数据传输通路的实时控制，包括DMA控制器121、传输控制器122以及容错控制器123，根据主控逻辑核120所处位置，将数据传输通路分为上游数据通路和下游数据通路，无论是上游数据通路还是下游数据通路，主控逻辑核120可以实现对其中任意一路数据传输通路的实时控制。

对上游数据通路的实时控制，是指传输控制器122经PCIe接口模块110与CPU交互，接收来自CPU的命令，开启或关闭上游数据传输通路，其中，开启上游数据传输通路时，传输控制器122命令DMA控制器121开启DMA搬运机制，DMA控制器12l将PCIe接口模块110接收的高清视频数据传送给DDR2读写控制模块130存入外扩的DDR2中;关闭上游数据传输通路时，传输控制器122向DMA控制器121发送暂停或终止命令，DMA控制器121完成最近一次DMA操作后停止工作。

对下游数据通路的实时控制，是指传输控制器122经PCIe接口模块110与CPU交互，接收来自CPU的命令，开启或关闭下游数据传输通路，其中，开启下游数据传输通路时，传输控制器122命令视频格式转换模块140开启视频格式转换操作，DMA控制器122将外扩的DDR2存储的视频数据发送给视频格式转换模块140，按ITU-RBT.709标准转换格式后输出给视频接口芯片，对外输出全高清视频;关闭下游数据传输通路时，传输控制器122向视频格式转换模块140发送暂停或终止命令，视频格式转换模块140完成最近一次转换操作后停止工作，对外暂停输出高清视频。

DDR2读写控制模块130(包括DDR2控制器131好的读写仲裁132)，用于按地址分块存储DMA从CPU搬运至外扩的DDR2中的多通路高清视频数据(对应上游数据通路)，并将存储的高清视频数据按恒定数据率输出给视频格式转换模块140(对应下游数据通路)，由于上游数据通路和下游数据通路都包含多通路独立的高清视频数据，而主控逻辑核120对数据传输通路进行实时控制，因此，需要读写仲裁132对多通路写入读取操作进行优先级切换和状态机跳转，保证DDR2读写能够提供足够的数据带宽，满足高清视频的输出需求。

视频格式转换模块140，用于视频格式的转换，视频数据按照ITU-RBT.709标准进行转换，格式转换后将高清视频数据发送给视频接口芯片，接口芯片支持HDMI、VGA、YPbPr分量等多种标准接口，按实际需要输出多通路高清视频。

本发明一种基于FPGA的高清视频输出方法，包括以下步骤:

(l)CPU将解码后高清视频数据暂存在CPU端的RAM中，然后将RAM中暂存的高清视频数据量告知FPGA，并向FPGA发送数据通路开启命令，若RAM中暂存的高清视频数据量超过1帧(对于1080p分辨率，一帧数据大小约为4MByte)，则FPGA开启DMA控制器，将高清视频数据从CPU端的RAM搬运至FPGA端的DDR2中。

如图2所示，FPGA复位后处于空闲状态，CPU将RAM中暂存的高清视频数据量告知FPGA，当通路1视频流缓存量(即高清视频数据量)达到1帧时，开启DMA写操作，将通路1视频流数据从CPU端的RMA搬运至FPGA端DDR2中;完成通路1的操作后，当通路2视频流缓存量达到1帧时，开启DMA写操作，将通路2视频流数据从CPU端的RMA搬运至FPGA端DDR2中;直至完成所有通路中视频流数据从CPU端的RMA至FPGA端DDR2的搬运，即完成各个通路的一次轮询写操作。由于DMA搬运通过PCIe链路实现，PCIe的高带宽保证了多路数据通路的数据连续输送。

(2)在FPGA端的DDR2中缓存若干帧高清视频数据后，CPU向FPGA发送高清视频送显命令，若DDR2中缓存的高清视频数据量超过4帧，则FPGA开启DMA控制器，将FPGA端的DDR2中的高清视频数据依据ITU-RBT.709标准转换为标准格式后，搬运至视频接口芯片中，输出高清视频。

当从CPU端的RAM搬运至输入FIFO中的某一通路高清视频数据量大于输入FIFO容量的3/4时，将输入FIFO中的高清视频数据写入DDR2中;

当其一通路的输出FIFO中的高清视频数据量小于输出FIFO容量的1/4时，从DDR2读取高清视频数据至该输出FIFO中。

如图3所示，FPGA的DDR2涉及多通路数据操作的读写接口，每一通路的每个接口都例化一个缓存用的FIFO，以满足状态机在跳转过程中高清视频数据流不溢出或中断。一旦开始向视频接口芯片送显视频后，下游通路高清视频数据流就不能中断，因此DDR2读操作优先级高于写操作。

FPGA复位后处于空闲状态，此时CPU将解码后的高清视频数据流传输给FPGA，并不会发送开启送显高清视频的命令，FPGA在DDR2内存储一定量的数据，此时DDR2读操作不会开启。

当通路1视频流的输入FIFO缓存大于输入FIFO容量的3/4时，开启DDR2写操作，将通路1视频流数据写入相应DDR2的地址区块内，该写操作完成后，当通路2视频流的输入FIFO缓存大于输入FIFO容量的3/4时，开启DDR2写操作，将通路2视频流数据写入相应DDR2地址区块内，依次顺序轮询各通路输入FIFO并完成DDR2写操作。

当FPGA端DDR2存储视频流数据达到4帧后，FPGA会向CPU发送送显准备完毕信号，此时，CPU发送开启送显视频命令给FPGA，当通路1视频流的输出FIFO缓存小于输出FIFO容量的1/4时，开启DDR2读操作，将相应DDR2地址区块内通路1视频流数据读出至输出FIFO，该读操作完成后，当通路2视频流的输出FIFO缓存小于输出FIFO容量的1/4时，开启DDR2读操作，将相应DDR2地址区块内通路2视频流数据读出至输出FIFO，依次顺序轮询各通路的输出FIFO，完成DDR2读操作，各通路输出FIFO缓存都大于输出FIFO容量的1/4时，才去轮询输入FIFO状态。下游数据通路中的DDR2读写策略，满足系统工作时，CPU可能关闭开启数据通路的任意一路的需求。

多通路高清视频对外输出时，各传输通道须保证视频数据的连续性和正确性。根据当前各通道的送显情况，FPGA以视频帧间隔为时间单位向CPU发送数据请求中断，CPU须根据请求中断保证RAM中缓存的高清视频数据量及数据的正确性。CPU可能因各种原因偶尔出现高清视频数据出错，可预见的错误主要包括两种:一是，CPU丢失而未响应FPGA发送的数据请求中断，FPGA无法正常搬运下一帧视频数据，导致传输通道数据流中断，最终可能导致输出高清视频时出现漏帧的情况;二是，数据流出错误导致下一帧甚至连续几帧数据缓存为重复数据，FPGA不加区别进行搬运送显，可能导致视频连续显示同一帧数据，本发明根据相应错误增加了重发和跳帧机制，避免这两类错误的出现。

重发和跳帧机制如图4所示，FPGA会在DDR2内缓存若干帧数据以保证对外输出高清视频的连续性，并在每一帧视频帧发送完毕时向CPU发送数据请求中断，CPU收到中断请求后应作出响应，也可能因各种原因丢失FPGA发出的中断，导致没有做出响应。

FPGA得到CPU中断响应时，会查询CPU端此时缓存的高清视频数据量，待高清视频数数据量达到1帧时发起DMA写操作，搬运高清视频数据至FPGA端的DDR2内;FPGA未收到CPU中断响应时，FPGA最长等待一帧数据送显时间间隔(即两帧数据传输之间的时间间隔)，仍未收到CPU的中断响应时，则认为此次数据搬运失败，DMA搬运的DDR2目的地址区块将被回收，FPGA重复发送DDR2缓存的上一帧数据，以保持数据连续性。

FPGA得到中断响应并完成DMA写操作，将高清视频数据搬运至FPGA端的DDR2中后，会收到CPU数据确认信息，确认搬运的数据帧是否重复冗余，若数据帧并不重复冗余，FPGA端DDR2存储的数据量充分时，将按正常机制送显下一帧存储的视频帧，并继续发送数据请求中断;若数据帧重复冗余，则此次数据搬运失败，DMA搬运的DDR2目的地址区块将被回收，FPGA跳过此次接收的视频帧。重发和跳帧机制保证了高清视频输出的连续性，增加了方法的容错性。

Claims

1.一种基于FPGA的高清视频输出方法，其特征在于，包括以下步骤:

2.如权利要求1所述的基于FPGA的高清视频输出方法，其特征在于，第一阈值为1～2帧，第二阈值为4～6帧。

3.如权利要求2所述的基于FPGA的高清视频输出方法，其特征在于，第一阈值为1帧，第二阈值为4帧。

4.如权利要求1所述的基于FPGA的高清视频输出方法，其特征在于，所述步骤(2)中在将高清视频数据从FPGA端的DDR2搬运至视频接口芯片中之前，将高频视频数据依据ITU-R BT.709标准转换为标准格式。

5.如权利要求1所述的基于FPGA的高清视频输出方法，其特征在于，将高清视频数据从CPU端的RAM搬运至FPGA端的DDR2中时，每完成一帧高清视频数据的搬运，FPGA端向CPU端发送数据请求中断，CPU端向FPGA端发送中断响应;

6.如权利要求1所述的基于FPGA的高清视频输出方法，其特征在于，将高清视频数据从CPU端的RAM搬运至FPGA端的DDR2中时采取多通路数据操作，各通路数据操作之间轮询切换，针对每一通路数据操作，例化一个缓存用的输入FIFO和一个缓存用的输出FIFO;

7.如权利要求1所述的基于FPGA的高清视频输出方法，其特征在于，所述步骤(2)中在CPU向FPGA发送高清视频送显命令之前，在FPGA端的DDR2中缓存若干帧高清视频数据。

8.如权利要求6所述的基于FPGA的高清视频输出方法，其特征在于，第三阈值为输入FIFO容量的3/4，第三阈值为输出FIFO容量的1/4。