CN106851183B - 基于fpga的多路视频处理系统及其方法 - Google Patents

Abstract

一基于FPGA的多路视频处理系统及其方法，该处理系统包括：一FPGA数据处理模块，用于处理数据信息，一存储器，用于所述基于FPGA的多路视频处理系统的程序或数据的存取，一USB芯片，和一电源板。其中所述存储器为数据存储器，并且连接所述FPGA，所述USB芯片与所述FPGA连接，发出I2C控制信号，所述电源板与所述FPGA和一待测模块相连接，为所述基于FPGA的多路视频处理系统以及所述待测模块进行供电。本发明同时对多摄模组进行数据的采集、传送和处理，提高了检测的效率，节省了检测工序。

Description

基于FPGA的多路视频处理系统及其方法

技术领域

本发明涉及一多路视频的采集、处理和传输的系统和方法，尤其是涉及一基于FPGA的多路视频处理系统，应用于一个特别是多个摄像头的信号采集与处理领域。

背景技术

FPGA(Field－Programmable Gate Array)，即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。以硬件描述语言(Verilog或VHDL)所完成的电路设计，可以经过简单的综合与布局，快速的烧录至FPGA上进行测试，是现代IC设计(Integrated Circuit Design，或称为集成电路设计)验证的技术主流。这些可编辑元件可以被用来实现一些基本的逻辑门电路或者更复杂一些的组合功能比如解码器或数学方程式。在大多数的FPGA里面，这些可编辑的元件里也包含记忆元件例如触发器(Flip－flop)或者其他更加完整的记忆块。系统设计师可以根据需要通过可编辑的连接把FPGA内部的逻辑块连接起来，就好像一个电路试验板被放在了一个芯片里。一个出厂后的成品FPGA的逻辑块和连接可以按照设计者而改变，所以FPGA可以完成所需要的逻辑功能。

由于FPGA的优点，在摄像头视频处理系统的装置上可以基于FPGA进行开发和设计。现有技术中，检测摄像头图像的系统主要针对的是单摄模组。但是在信号采集与处理领域，多路视频的采集、处理和传输的需求越来越高。目前，一个工装上只能搭载一个摄像模组进行视频的采集处理和传输，而在车载、手机、机器人以及3D(Three-Dimension三维)等高科技领域，单摄像模组已经不能满足所有的需求，多模组已经在各类场合不断被应用。所以，对多模组图像进行检测的系统的需求也越来越高，而目前在工厂中由于现有的测试工装为单摄模组的检测平台，对于多摄像模组，只能以电子开关方式对生成出的模组图像进行检测。这种检测装置和方法导致检测效率低下。

发明内容

本发明的目的在于提供一基于FPGA的多路视频处理系统，所述基于FPGA的多路视频处理系统包括一FPGA数据处理模块，用于处理数据信息，一存储器，用于所述基于FPGA的多路视频处理系统的程序或数据的存取，一USB芯片，所述基于FPGA的多路视频处理系统能够同时对一工装的单摄模组以及两个以上的多摄模组进行数据的采集、传送和处理。

本发明的另一目的在于提供一基于FPGA的多路视频处理系统，所述基于FPGA的多路视频处理系统提高了检测工装上双摄的效率，节省了检测工序。

本发明的另一目的在于提供一基于FPGA的多路视频处理系统，所述基于FPGA的多路视频处理系统将MIPI数据分解模块设置于一测试服务器端，能够充分利用传输的带宽。

本发明的另一目的在于提供一基于FPGA的多路视频处理系统，所述基于FPGA的多路视频处理系统使用户能够提取目标区域。

为了达到上述目的，本发明提供一基于FPGA的多路视频处理系统，所述基于FPGA的多路视频处理系统包括：

一FPGA数据处理模块，用于处理数据信息，

一存储器，用于所述基于FPGA的多路视频处理系统的程序或数据的存取，

一USB芯片，和

一电源板，

其中所述存储器为数据存储器，并且连接所述FPGA，所述USB芯片与所述FPGA连接，发出I2C控制信号，所述电源板与所述FPGA和一待测模块相连接，为所述基于FPGA的多路视频处理系统以及所述待测模块进行供电。

在一个实施例中，所述待测模块采用MIPI串行接口模组或者并行接口模组，所述FPGA采用MIPI接口或者并行接口。

在一个实施例中，所述待测模块的输入输出参数由一测试服务器设置，所述待测模块含有多个待测单元，其中，所述待测模块的I2C地址通过一仲裁器判决，所述仲裁器与所述测试服务器连接。

在一个实施例中，所述USB芯片发出的I2C控制信号通过一I2C分离器分离。

在一个实施例中，所述待测模块为I2C地址相同的所述待测单元，所述I2C分离器将I2C控制信号同时发送给各待测单元，反馈选取各待测单元的或值，通过所述I2C分离器发送给所述I2C的发送端。

在一个实施例中，所述基于FPGA的多路视频处理系统包括一控制方法，该方法包括以下步骤：

(1)所述测试服务器设置所述待测模块的输入输出参数；

(2)所述仲裁器判断所述待测模块的I2C地址；

(3)所述I2C分离器将USB芯片发出的I2C控制信号进行分离；

(4)所述待测模块被所述仲裁器判断为I2C地址相同的所述待测单元，则所述I2C分离器将I2C控制信号同时发送给各待测单元；

(5)反馈选取各待测单元的或值，通过所述I2C分离器发送给所述I2C的发送端。

在上述实施例中，所述步骤(2)中，所述仲裁器判断所述待测模块为I2C地址不同的所述待测单元，则所述步骤(4)为所述仲裁器直连至各待测单元。

在一个实施例中，所述待测模块为I2C地址不同的所述待测单元，通过所述仲裁器直连至各所述待测单元。

在一个实施例中，其中所述基于FPGA的多路视频处理系统中的数据流传送通路为：

(1)所述待测单元以传输接口模式将所述测试服务器的参数设置传送给一接收器模块；

(2)一缓存器模块接受所述接收器模块发送过来的数据，并由一第一仲裁器决定何时读取所述缓存器模块的数据存入所述存储器中；

(3)所述存储器中的存储单元储存所述待测单元的模组数据；

(4)由一第二仲裁器仲裁后读取的数据放在一缓存器中，由一输出生成模块按序读取；

(5)所述输出生成模块将数据按行读取生成数据组合，并形成并行接口的输出时序；

(6)一输出模块接受输出生成的图像数据，并形成USB协议输出给所述测试服务器。

在一实施例中，读操作由所述第一仲裁器仲裁确定读取哪块内存，仲裁由所述输出生成模块决定如何仲裁。

在一实施例中，所述通路(4)中所述输出生成模块与所述第二仲裁器形成一循环数据流子通路，直至数据所述读操作完毕。

在一实施例中，其中每个模组数据按照预设存放于所述待测模块中，每个所述模组分多块所述存储单元储存多帧模组数据，其中所述存储单元的数目为存储所述待测模块的存储模块的容量大小与单个待测模块的容量大小的比值。

在一实施例中，其中所述存储模块分为n组，n组的数值如上述的比值为存储所述待测模块的存储模块的容量大小与单个待测模块的容量大小的比值，每一组有m个模块，m值等于所述待测模块90的模组数量。

在一实施例中，其中每次数据的写和读都按组为单位读写，读和写中间间隔多个模块，并通过读写仲裁确定读写标示值，以保证不会同时读写，造成错屏。

在一实施例中，其中所述输出生成模块的输出数据格式为Lsp。

在一实施例中，其中所述输出生成模块的时序由用户定义。

在一实施例中，其中所述输出模块的输出方式采用UVC模式。

在一实施例中，其中在传输过程中不对MIPI CSI数据存进行恢复，以保证带宽尽最大可能进行利用。

在一实施例中，数据恢复过程在所述服务器端进行。

根据本发明的另一方面，在一个实施例中，其中所述基于FPGA的多路视频处理系统，包括一数据流传送方法，该方法包括以下步骤：

(1)设置所述待测单元的输入输出参数于所述测试服务器；

(2)传送参数设置于一接收器模块；

(3)接受所述接收器模块发送过来的数据于一缓存器模块；

(4)仲裁确定何时读取所述缓存器模块的数据于一第一仲裁器；

(5)读取所述缓存器模块的数据存入所述存储器中；

(6)储存所述待测单元的模组数据于所述存储器中的存储单元；

(7)仲裁确定读取内存位置于一第二仲裁器；

(8)存储所述读取的数据于一缓存器中；

(9)按序读取所述步骤(8)中所述缓存器的数据于一输出生成模块；

(10)按行读取生成数据组合于所述输出生成模块；

(11)形成并行接口的输出时序；

(12)输出生成的图像数据于一输出模块；

(13)形成USB协议输出给所述测试服务器。

在一个实施例中，所述接收器、所述缓存器的数目与所述待测模块的模组数量一致。

在一个实施例中，所述接收器采用并行接口，所述并行接口直接从所述接收器传送至所述缓存器。

在一个实施例中，所述接收器采用MIPI接口，所述MIPI接口通过解析协议，保留原数据方式。

在一个实施例中，所述接收器的CSI解析器的数量由所述待测模块的模组数量决定，每个所述待测单元分别由单个所述CSI解析器解析。

在一个实施例中，模块决定如何仲裁。

在一个实施例中，所述输出生成模块与所述第二仲裁器连接，形成所述步骤(7)至(11)的循环，直至数据所述读操作完毕。

在一个实施例中，其中每个模组数据按照预设存放于所述待测模块中，每个所述模组分多块所述存储单元储存多帧模组数据，其中所述存储单元的数目为存储所述待测模块的存储模块的容量大小与单个待测模块的容量大小的比值。

在一个实施例中，其中所述存储模块分为n组，n组的数值如上述的比值为存储所述待测模块的存储模块的容量大小与单个待测模块的容量大小的比值，每一组有m个模块，m值等于所述待测模块的模组数量。

在一个实施例中，其中每次数据的写和读都按组为单位读写，读和写中间间隔多个模块，并通过读写仲裁确定读写标示值，以保证不会同时读写，造成错屏。

在一个实施例中，其中所述输出生成模块的输出数据格式为Lsp。

在一个实施例中，其中所述输出生成模块的时序由用户定义。

在一个实施例中，其中所述输出模块的输出方式采用UVC模式。

在一个实施例中，其中在传输过程中不对MIPI CSI数据存进行恢复，以保证带宽尽最大可能进行利用。

在一个实施例中，其中，数据恢复过程在所述服务器端进行。

根据本发明的另一个方面，在一个实施例中，所述FPGA包括一数据采集模块、一通信控制模块和一数据处理模块，所述FPGA的所述数据采集模块连接所述待测模块，用于采集所述待测模块的数据信息，所述数据采集模块电气性连接于所述FPGA，用于将采集到的数据信息传输给所述FPGA，所述USB芯片与所述FPGA的所述通讯控制模块连接，所述数据处理模块与所述存储器连接。

在一个实施例中，所述待测模块采用MIPI串行接口模组或者并行接口模组，所述数据采集模块采用MIPI串行接口或者并行接口。

在一个实施例中，所述测试服务器与所述USB芯片之间通过USB协议，所述的基于FPGA的多路视频处理系统的其他控制部分采用I2C控制。

在一个实施例中，所述USB芯片采用Cypress 3014芯片。

根据本发明的另一方面，本发明还揭露了一基于FPGA的多路视频处理方法，包括一控制方法和一数据流方法，其中所述控制方法包括以下步骤：

(1)一测试服务器设置一待测模块的输入输出参数；

(2)一仲裁器判断所述待测模块的I2C地址；

(3)一I2C分离器将一USB芯片发出的I2C控制信号进行分离；

(4)所述待测模块被所述仲裁器判断为I2C地址相同的所述待测单元，则所述I2C分离器将I2C控制信号同时发送给各待测单元；

(5)反馈选取各待测单元的或值，通过所述I2C分离器发送给所述I2C的发送端。

所述数据流方法包括以下步骤：

(1)设置所述待测单元的输入输出参数于所述测试服务器；

(2)传送参数设置于一接收器模块；

(3)接受所述接收器模块发送过来的数据于一缓存器模块；

(4)仲裁确定何时读取所述缓存器模块的数据于一第一仲裁器；

(5)读取所述缓存器模块的数据存入一存储器中；

(6)储存所述待测单元的模组数据于所述存储器中的存储单元；

(7)仲裁确定读取内存位置于一第二仲裁器；

(8)存储所述读取的数据于一缓存器中；

(9)按序读取所述步骤(8)中所述缓存器的数据于一输出生成模块；

(10)按行读取生成数据组合于所述输出生成模块；

(11)形成并行接口的输出时序；

(12)输出生成的图像数据于一输出模块；

(13)形成USB协议输出给所述测试服务器。

在一个实施例中，所述控制方法的所述步骤(2)中，所述仲裁器判断所述待测模块为I2C地址不同的所述待测单元，则所述步骤(4)为所述仲裁器直连至各待测单元。

在一个实施例中，所述数据流方法的读操作由所述第一仲裁器仲裁确定读取哪块内存，仲裁由所述输出生成模块决定如何仲裁。

在一个实施例中，所述数据流方法的所述输出生成模块与所述第二仲裁器连接，形成所述步骤(7)至(11)的循环，直至数据所述读操作完毕。

在一个实施例中，所述数据流方法中，数据的传输过程中不对MIPI CSI数据存进行恢复，以保证带宽尽最大可能进行利用。

在一个实施例中，所述数据流方法中，每次数据的写和读都按组为单位读写，读和写中间间隔多个模块，并通过读写仲裁确定读写标示值，以保证不会同时读写，造成错屏。

附图说明

图1是根据本发明的一优选实施例的基于FPGA的多路视频处理系统的内部结构示意图。

图2是根据本发明的一优选实施例的基于FPGA的多路视频处理系统的控制流程图。

图3是根据本发明的一优选实施例的基于FPGA的多路视频处理系统的数据流程图。

图4是根据本发明的一优选实施例的基于FPGA的多路视频处理系统的内存操作图。

图5是根据本发明的一优选实施例的基于FPGA的多路视频处理系统的输出格式图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

如图1至5所示为本发明一优选实施例的一基于FPGA的多路视频处理系统，在本优选实施例中，如图1所示为本发明系统的内部结构示意图，所述基于FPGA的多路视频处理系统包括一FPGA 10，一存储器20，一USB芯片30和一电源板40。其中，所述FPGA 10为数据处理模块，用于处理数据信息，为本发明的系统中的核心数据处理元件。所述存储器20为数据存储器，并且连接所述FPGA10，用于存储所述基于FPGA的多路视频处理系统的数据。所述存储器20存储所述基于FPGA的多路视频处理系统中的程序和各种数据，并能在运行过程中高速、自动地完成程序或数据的存取。所述USB芯片30与所述FPGA 10连接，发出I2C(Inter－Integrated Circuit，两线式串行总线)控制信号。所述电源板40与所述FPGA 10和一待测模块90相连接，为所述基于FPGA的多路视频处理系统以及所述待测模块90进行供电。

本领域的技术人员可以理解的是，所述待测模块90可以是一工装上的一个单摄相模组，也可以是双摄像模组以及多个摄像模组。优选地，在本发明的优选实施例中，以一个工装上的双摄像模组为例。

本领域的技术人员可以理解的是，所述FPGA 10的内部结构还包括可编程输入输出单元、基本可编程逻辑单元、完整的时钟管理、嵌入块式RAM(Random Access Memory随机存取存储器)、丰富的布线资源、内嵌的底层功能单元和内嵌专用硬件模块。其中，可编程输入输出单元简称I/O单元，是芯片与外界电路的接口部分，完成不同电气特性下对输入和输出信号的驱动与匹配要求。技术人员能够根据需要通过可编辑的连接把所述FPGA10内部的逻辑块连接起来，完成所需要的逻辑功能。

本领域的技术人员可以理解的是，所述FPGA10可以通过上述内部各功能的逻辑块组成一数据采集模块11、一通讯控制模块12和一数据处理模块13。所述FPGA10的所述数据采集模块11连接所述待测模块90，用于采集所述待测模块90的数据信息，所述数据采集模块11电气性连接于所述FPGA 10，将采集到的数据信息传输给所述FPGA 10。在本优选实施例中，所述USB芯片30与所述FPGA10的所述通讯控制模块12连接。所述数据处理模块13与所述存储器20连接。

图2为通讯控制流程图。图3为本优选实施例的数据流传送通路的流程图。具体地，在本优选实施例中，所述待测模块90和所述数据采集模块11连接，所述数据采集模块11与所述待测模块90通过传输接口连接并传输图像或视频数据。优选地，所述待测模块90采用MIPI(Mobile Industry Processor Interface移动产业处理器接口)的模组或者并行接口模组，所述数据采集模块11采用MIPI接口或者并行接口。

本领域的技术人员可以理解的是，并行接口，定义为采用并行传输方式来传输数据的接口标准。从最简单的一个并行数据寄存器或专用接口集成电路芯片，一直至较复杂的并行接口，种类可以有数十种。所述并行接口的接口特性可以从两个方面加以描述：一是以并行方式传输的数据通道的宽度，也称接口传输的位数；二是用于协调并行数据传输的额外接口控制线或称交互信号的特性。数据的宽度可以从1～128位或者更宽，最常用的是8位，可通过接口一次传送8个数据位。并行接口中各位数据都是并行传送的，它通常是以字节(8位)或字节(16位)为单位进行数据传输。在本发明的一实施例中采用所述并行接口为例，所述并行接口是一个双通道的接口，能完成数据的输入和输出。其中，数据的输入/输出是由输入/输出缓存器来实现的，状态寄存器提供状态信息供所述FPGA10查询，控制寄存器接收来自所述FPGA10的各种控制命令。具体地，在数据输入过程中，输入设备将数据送给接口同时使“数据输入准备好”有效。接口把数据送给输入缓冲寄存器时，使“数据输入回答”信号有效，当外设收到应答信号后，就撤消“数据输入准备好”和数据信号。同时，状态寄存器中的相应位(“数据输入准备好”)有效，以供所述FPGA10查询。当然，也可采用中断方式，向所述FPGA10发出中断请求。所述FPGA10在读取数据后，接口会自动将状态寄存器中的“数据输入准备好”位复位。然后，所述FPGA10进入下一个输入过程。在数据输出过程中，当所述FPGA10输出的数据送到数据输出缓冲寄存器后，接口会自动清除状态寄存器中的“输出准备好”状态位，并且把数据送给输出设备，输出设备收到数据后，向接口发一个应答信号，告诉接口数据已收到，接口收到信号后，将状态寄存器中的“输出准备好”状态位置“1”。然后，所述FPGA10进入下一个输出过程。

在本发明的另一实施例中，采用MIPI接口为例。本领域的技术人员可以理解的是，MIPI并不是一个单一的接口或协议，而是包含了一套协议和标准，以满足各种子系统独特的要求。传统接口一般都与多个物理层相关，与此不同的是，MIPI接口只在需要时连接到D-PHY或者M-PHY这两个物理层之上。具体地，例如，摄像头串行接口(CSI)和显示器串行接口(DSI)中的CSI-2和DSI都要求最多不超过6路信号，信号数的多少则取决于设计者使用的线路数。另外，CSI-2是一个单或双向差分串行界面，包含时钟和数据信号。CSI-2的层次结构是CSI-2由应用层、协议层、物理层组成。协议层包含三层：象素/字节打包/解包层，LLP(LowLevel Protocol)层，LANE管理层；物理层规范了传输介质、电气特性、IO电路、和同步机制，物理层遵守MIPI Alliance Standard for D-PHY，D-PHY为MIPI各个工作组共用标准；所有的CSI-2接收器和发射器必须支持连续的时钟，可以选择支持不连续时钟；连续时钟模式时，数据包之间时钟线保持HS模式，非连续时钟模式时，数据包之间时钟线保持LP11状态。CSI-2和DSI共享一个名为D-PHY的通用物理层接口，这样设计是为了提高速率、降低功耗。再例如摄像头传感器，一些传感器是直接把未经处理的数据传给应用处理器(SoC)，让它来完成后期的处理；而有些传感器则是先进行数据的预处理然后把处理后的结果传给SoC。虽然CSI-2和DSI都是串行方式传递数据，但他们都保存着与数据流相关的实时信息。例如DSI会包含类似V-Sync和H-Sync信息的事件数据。MIPI物理层是D-PHY(D-PHY采用一对源同步的差分时钟和1～4对差分数据线来进行数据传输。数据传输采用DDR方式，即在时钟的上下边沿都有数据传输)，但在行业中已经开始向名为M-PHY的下一代物理层过渡。这两个物理层要么提供高速信号，要么提供低功耗信号。M-PHY使用更少的引脚，但是能提供更多的选择和更灵活快速的信号传输，传输速率可达6GB/Sec。与CSI-2和DSI在D-PHY层之上的概念一样，各种高层协议共享M-PHY。MIPI接口的优点更适用于以适用于3D摄像机等新兴应用产品，能够将高速USB3.0引入芯片内部通信中，且只需更少的引脚和更低功耗，并允许使用现有的USB驱动。

也就是说，如果采用MIPI串行接口，该串行接口一般采用差分结构，利用几百mV的差分信号，在收发端之间传送数据。该串行接口与并行接口相比，更节省PCB板的布线面积，增强空间利用率；差分信号增强了自身的EMI(Electromagnetic Interference，电磁干扰)抗干扰能力，同时减少了对其他信号的干扰；低的电压摆幅可以做到更高的速度，更小的功耗。

值得一提的是，在本发明的所述基于FPGA的多路视频处理系统中，所述数据采集模块11和所述待测模块90的数据接口并不仅仅限制于MIPI接口和并行接口，还可以是其他类型的接口。

如图2所示的通讯控制流程图中，在本发明的优选实施例中，所述待测模块90的输入输出参数通过一测试服务器80设置。在本发明的一实施例中，摄像头结果模组全部输出到所述测试服务器80中。所述待测模块90含有多个待测单元91。其中，所述输入输出参数包括所述待测模块90的固有属性参数和可设置参数。其中，所述待测模块90不仅仅是I2C地址不同的模组，可以通过参数设置，由图2中的仲裁器60判决。具体地，所述USB芯片30发出的I2C控制信号通过一I2C分离器50分离。所述I2C分离器50将USB芯片发出的I2C控制信号进行分离。在本发明的实施例中，如果所述待测模块90为I2C地址相同的所述待测单元91，则所述I2C分离器将I2C控制信号同时发送给各待测单元91。之后，反馈选取各待测单元91的或值，通过所述I2C分离器50发送给所述I2C的发送端。但是，如果所述待测模块90为I2C地址不同的所述待测单元91，那通过所述仲裁器60后，直连至各待测单元91。

本领域的技术人员可以理解的是，I2C(Inter－Integrated Circuit)总线是由PHILIPS公司开发的两线式串行总线，用于连接微控制器及其外围设备，是微电子通信控制领域广泛采用的一种总线标准。它是同步通信的一种特殊形式，具有接口线少，控制方式简单，器件封装形式小，通信速率较高等优点。I2C总线支持任何光电IC(光电领域的电子元器件)的生产过程(CMOS、双极性)。通过串行数据(SDA)线和串行时钟(SCL)线在连接到总线的器件间传递信息。每个器件都有一个唯一的地址识别，而且都可以作为一个发送器或接收器(由器件的功能决定)。LCD驱动器只能作为接收器，而存储器则既可以接收又可以发送数据。除了发送器和接收器外，器件在执行数据传输时也可以被看作是主机或从机。主机是初始化总线的数据传输并产生允许传输的时钟信号的器件。此时，任何被寻址的器件都被认为是从机。其中有两条总线线路：一条串行数据线(SDA)，一条串行时钟线(SCL)；每个连接到总线的器件都可以通过唯一的地址和一直存在的简单的主机/从机关系软件设定地址，主机可以作为主机发送器或主机接收器；它是一个真正的多主机总线，如果两个或更多主机同时初始化，数据传输可以通过冲突检测和仲裁防止数据被破坏；串行的8位双向数据传输位速率在标准模式下可达100kbit/s，快速模式下可达400kbit/s，高速模式下可达3.4Mbit/s。连接到相同总线的IC数量只受到总线的最大电容400pF限制。本领域的技术人员可以理解的是，发送器定义为发送数据到总线的器件；接收器定义为从总线接收数据的器件；主机定义为启动数据传送并产生时钟信号的设备；从机定义为被主机寻址的器件；多主机定义为同时有多于一个主机尝试控制总线但不破坏传输；主模式定义为用I2C支持自动字节计数的模式，控制数据的接收和发送；从模式定义为发送和接收操作都是由I2C模块自动控制的；仲裁器定义为是一个在有多个主机同时尝试控制总线但只允许其中一个控制总线并使传输不被破坏的过程。

特别指出的是，除所述测试服务器80与所述USB芯片30之间通过USB协议外，本发明的实施例中其他控制部分采用I2C控制。此外，在本发明的一优选实施例中，所述USB芯片30采用Cypress 3014(Cypress公司是一家电子芯片制造商，其中文名称为赛普拉斯，Cypress 3014为该公司制造的USB芯片的型号)，但不仅仅限制于该芯片。

根据图2所示的通讯控制流程图所述，一基于FPGA的多路视频处理系统，其中包括一控制方法，该方法包括以下步骤：

(1)所述测试服务器80设置所述待测模块90的输入输出参数；

(2)所述仲裁器60判断所述待测模块90的I2C地址；

(3)所述I2C分离器50将USB芯片发出的I2C控制信号进行分离；

(4)所述待测模块90被所述仲裁器60判断为I2C地址相同的所述待测单元91，则所述I2C分离器将I2C控制信号同时发送给各待测单元91；

(5)反馈选取各待测单元91的或值，通过所述I2C分离器50发送给所述I2C的发送端。

其中，所述步骤(2)中，所述仲裁器60判断所述待测模块90为I2C地址不同的所述待测单元91，则所述步骤(4)为直连至各待测单元91。

本领域的技术人员可以理解的是，数据缓冲寄存器(Data Buffer Register，DBR，简称为缓存器)用来暂时存放由内存储器读出的一条指令或一个数据字；反之，当向内存存入一条指令或一个数据字时，也暂时将它们存放在数据缓冲寄存器中。缓存器多用在总线上，提高驱动能力、隔离前后级，缓存器多半有三态输出功能。当负载不具有非选通输出为高阻特性时，将起到隔离作用；当总线的驱动能力不够驱动负载时，将起到驱动作用。由于缓存器接在数据总线上，故必须具有三态输出功能。它分输入缓存器和输出缓存器两种。前者的作用是将外设送来的数据暂时存放，以便处理器将它取走；后者的作用是用来暂时存放处理器送往外部设备的数据。有了数控缓存器，就可以使高速工作的所述FPGA10与慢速工作的外部设备起协调和缓冲作用，实现数据传送的同步。

如图3至图5所示，根据本发明的一优选实施例，揭露了一基于FPGA的多路视频处理系统中数据流传送通路为：

(1)所述待测单元91以传输接口模式将所述测试服务器80的参数设置传送给一接收器模块70；

(2)一缓存器模块22接受所述接收器模块70发送过来的数据，并由一第一仲裁器61决定何时读取所述缓存器模块22的数据存入所述存储器20中；

(3)所述存储器20中的存储单元21储存所述待测单元91的模组数据；

(4)由一第二仲裁器62仲裁后读取的数据放在一缓存器23中，由所述输出生成模块31按序读取；

(5)所述输出生成模块31将数据按行读取生成数据组合，并形成并行接口的输出时序。

(6)一输出模块32接受输出生成的图像数据，并形成USB协议输出给所述测试服务器80。

值得一提的是，其中所述接收器70、所述缓存器22的数目与所述待测模块90的模组数量一致。

值得一提的是，所述接收器70能够处理并行接口和MIPI CSI(摄像头串行接口)接口模组的数据。如果采用并行接口，所述并行接口直接从所述接收器70传送至所述缓存器22。由于并口模组一般都是小尺寸模组，因此不做处理。如果采用MIPI接口，MIPI CSI则通过解析协议，但保留原来的数据方式，不对协议中的数据重组传送至所述缓存器22。此外，其中所述接收器70的CSI解析器71的数量由所述待测模块90的模组数量决定，也就是说每个所述待测单元91分别由单个所述CSI解析器71解析。

值得一提的是，所述数据流的通路(3)，其中，每个模组数据的所述待测模块90的大小预先根据每个模组一帧数据，所述模组数据按照预设存放于原先设定的所述待测模块90中，每个模组可以分多块所述存储单元21储存多帧模组数据，其中所述存储单元21的数目可以根据存储所述待测模块90的存储模块211的容量大小与单个待测模块90的容量大小的比值来确定。

值得一提的是，如图4所示为所述存储模块211的分配。具体地，所述存储模块211分为n组，n组的数值如上述的比值取得(根据存储所述待测模块90的存储模块211的容量大小与单个待测模块90的容量大小的比值来确定)，每一组有m个模块，m值等于所述待测模块90的模组数量。

特别地，每次写和读都按组为单位读写，读和写中间间隔多个模块，并通过读写仲裁确定读写标示值，以保证不会同时读写，造成错屏。

值得一提的是，如图5所示为所述数据流的通路(6)的输出数据格式，假设每个模组的输出尺寸为h*w，图5中所示的每一小块为模组的某行。例如，Lsp为第p个模组的s行数据。

值得一提的是，所述数据流的通路(6)中，所述输出生成模块31的时序由自己定义，包含行，场，时钟以及数据等时序。

值得一提的是，所述数据流的通路(7)中，所述输出模块32的输出方式可采用但不局限于UVC模式(USB video class或USB video device class，VC是Microsoft与另外几家设备厂商联合推出的为USB视频捕获设备定义的协议标准)。

根据本发明的另一方面，所述的基于FPGA的多路视频处理系统，还揭露了一数据流传送方法，该方法包括以下步骤：

(1)设置所述待测单元91的输入输出参数于所述测试服务器80；

(2)传送参数设置于一接收器模块70；

(3)接受所述接收器模块70发送过来的数据于一缓存器模块22；

(4)仲裁确定何时读取所述缓存器模块22的数据于一第一仲裁器61；

(5)读取所述缓存器模块22的数据存入所述存储器20中；

(6)储存所述待测单元91的模组数据于所述存储器20中的存储单元21；

(7)仲裁确定读取内存位置于一第二仲裁器62；

(8)存储所述读取的数据于一缓存器23中；

(9)按序读取所述步骤(8)中所述缓存器23的数据于一输出生成模块31；

(10)按行读取生成数据组合于所述输出生成模块31；

(11)形成并行接口的输出时序；

(12)输出生成的图像数据于一输出模块32；

(13)形成USB协议输出给所述测试服务器80。

其中，读操作由所述第一仲裁器61仲裁确定读取哪块内存，仲裁由所述输出生成模块31决定如何仲裁。值得一提的是，所述输出生成模块31与所述第二仲裁器62连接，形成所述步骤(7)至(11)的循环，直至数据所述读操作完毕。其中，每次数据的写和读都按组为单位读写，读和写中间间隔多个模块，并通过读写仲裁确定读写标示值，以保证不会同时读写，造成错屏。值得一提的是，所述输出生成模块31的时序由用户定义，所述输出模块32的输出方式采用UVC模式，但是不局限于该模式。其中，在上述方法中，数据在传输过程中不对MIPI CSI数据存进行恢复，以保证带宽尽最大可能进行利用。此外，数据恢复过程在所述服务器端80进行实现。

根据本发明的另一方面，本发明还揭露了一基于FPGA的多路视频处理方法，其中包括一控制方法和一数据流方法，所述控制方法包括以下步骤：

(1)所述测试服务器80设置所述待测模块90的输入输出参数；

(2)所述仲裁器60判断所述待测模块90的I2C地址；

(3)所述I2C分离器50将USB芯片发出的I2C控制信号进行分离；

(4)所述待测模块90被所述仲裁器60判断为I2C地址相同的所述待测单元91，则所述I2C分离器将I2C控制信号同时发送给各待测单元91；

(5)反馈选取各待测单元91的或值，通过所述I2C分离器50发送给所述I2C的发送端。

其中，所述步骤(2)中，所述仲裁器60判断所述待测模块90为I2C地址不同的所述待测单元91，则所述步骤(4)为直连至各待测单元91。

所述数据流传送方法包括以下步骤：

(1)设置所述待测单元91的输入输出参数于所述测试服务器80；

(2)传送参数设置于一接收器模块70；

(3)接受所述接收器模块70发送过来的数据于一缓存器模块22；

(4)仲裁确定何时读取所述缓存器模块22的数据于一第一仲裁器61；

(5)读取所述缓存器模块22的数据存入所述存储器20中；

(6)储存所述待测单元91的模组数据于所述存储器20中的存储单元21；

(7)仲裁确定读取内存位置于一第二仲裁器62；

(8)存储所述读取的数据于一缓存器23中；

(9)按序读取所述步骤(8)中所述缓存器23的数据于一输出生成模块31；

(10)按行读取生成数据组合于所述输出生成模块31；

(11)形成并行接口的输出时序；

(12)输出生成的图像数据于一输出模块32；

(13)形成USB协议输出给所述测试服务器80。

其中，所述数据流方法的读操作由所述第一仲裁器仲裁确定读取哪块内存，仲裁由所述输出生成模块决定如何仲裁。所述数据流方法的所述输出生成模块与所述第二仲裁器连接，形成所述步骤(7)至(11)的循环，直至数据所述读操作完毕。所述数据流方法中，数据的传输过程中不对MIPI CSI数据存进行恢复，以保证带宽尽最大可能进行利用。所述数据流方法中，每次数据的写和读都按组为单位读写，读和写中间间隔多个模块，并通过读写仲裁确定读写标示值，以保证不会同时读写，造成错屏。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (36)

1.一基于FPGA的多路视频处理系统，其特征在于，包括：

一FPGA数据处理模块，用于处理数据信息，

一存储器，用于所述基于FPGA的多路视频处理系统的程序或数据的存取，

一USB芯片，和

一电源板，

其中所述存储器为数据存储器，并且连接所述FPGA，所述USB芯片与所述FPGA连接，发出I2C控制信号，所述电源板与所述FPGA和一待测模块相连接，为所述基于FPGA的多路视频处理系统以及所述待测模块进行供电，所述待测模块的输入输出参数由一测试服务器设置，所述待测模块含有多个待测单元，其中，所述待测模块的I2C地址通过一仲裁器判决，所述仲裁器与所述测试服务器连接，所述USB芯片发出的I2C控制信号通过一I2C分离器分离；

其中所述待测模块为I2C地址相同的所述待测单元，所述I2C分离器将I2C控制信号同时发送给各待测单元，反馈选取各待测单元的或运算过程的结果值，通过所述I2C分离器发送给所述I2C的发送端；或者所述待测模块为I2C地址不同的所述待测单元，通过所述仲裁器直连至各所述待测单元。

2.如权利要求1中所述的基于FPGA的多路视频处理系统，其中所述待测模块采用MIPI串行接口模组或者并行接口模组，所述FPGA采用MIPI接口或者并行接口。

3.如权利要求1中所述的基于FPGA的多路视频处理系统，其中包括一控制方法，该方法包括以下步骤：

(A)所述测试服务器设置所述待测模块的输入输出参数；

(B)所述仲裁器判断所述待测模块的I2C地址；

(C)所述I2C分离器将USB芯片发出的I2C控制信号进行分离；

(D)所述待测模块被所述仲裁器判断为I2C地址相同的所述待测单元，则所述I2C分离器将I2C控制信号同时发送给各待测单元；

(E)反馈选取各待测单元的或运算过程的结果值，通过所述I2C分离器发送给所述I2C的发送端。

4.如权利要求3中所述的基于FPGA的多路视频处理系统，其中，所述步骤(B)中，所述仲裁器判断所述待测模块为I2C地址不同的所述待测单元，则所述步骤(D)为所述仲裁器直连至各待测单元。

5.如权利要求1至4中任一所述的基于FPGA的多路视频处理系统，其中所述基于FPGA的多路视频处理系统中的数据流传送通路为：

(i)所述待测单元以传输接口模式将所述测试服务器的参数设置传送给一接收器；

(ii)一缓存器接受所述接收器发送过来的数据，并由一第一仲裁器决定何时读取所述缓存器的数据存入所述存储器中；

(iii)所述存储器中的存储单元储存所述待测单元的模组数据；

(iv)由一第二仲裁器仲裁后读取的数据放在一缓存器中，由一输出生成模块按序读取；

(v)所述输出生成模块将数据按行读取生成数据组合，并形成并行接口的输出时序；

(vi)一输出模块接受输出生成的图像数据，并形成USB协议输出给所述测试服务器。

6.如权利要求5中所述的基于FPGA的多路视频处理系统，其中，读操作由所述第一仲裁器仲裁确定读取哪块内存，由所述输出生成模块决定如何仲裁。

7.如权利要求6中所述的基于FPGA的多路视频处理系统，其中，所述通路(iv)中所述输出生成模块与所述第二仲裁器形成一循环数据流子通路，直至数据所述读操作完毕。

8.如权利要求5所述的基于FPGA的多路视频处理系统，其中每次数据的写和读都按组为单位读写，读和写中间间隔多个模块，并通过读写仲裁确定读写标示值，以保证不会同时读写，造成错屏。

9.如权利要求5所述的基于FPGA的多路视频处理系统，其中所述输出生成模块的输出数据格式为Lsp。

10.如权利要求5中所述的基于FPGA的多路视频处理系统，其中所述输出生成模块的时序由用户定义。

11.如权利要求5中所述的基于FPGA的多路视频处理系统，其中所述输出模块的输出方式采用UVC模式。

12.如权利要求5中所述的基于FPGA的多路视频处理系统，其中在传输过程中不对MIPICSI数据存进行恢复，以保证带宽尽最大可能进行利用。

13.如权利要求5中所述的基于FPGA的多路视频处理系统，其中，数据恢复过程在所述测试服务器端进行。

14.如权利要求1至4中任一所述的基于FPGA的多路视频处理系统，其中包括一数据流传送方法，该方法包括以下步骤：

(1)设置所述待测单元的输入输出参数于所述测试服务器；

(2)传送参数设置于一接收器；

(3)接受所述接收器发送过来的数据于一缓存器；

(4)仲裁确定何时读取所述缓存器的数据于一第一仲裁器；

(5)读取所述缓存器的数据存入所述存储器中；

(6)储存所述待测单元的模组数据于所述存储器中的存储单元；

(7)仲裁确定读取内存位置于一第二仲裁器；

(8)存储所述读取的数据于一缓存器中；

(9)按序读取所述步骤(8)中所述缓存器的数据于一输出生成模块；

(10)按行读取生成数据组合于所述输出生成模块；

(11)形成并行接口的输出时序；

(12)输出生成的图像数据于一输出模块；

(13)形成USB协议输出给所述测试服务器。

15.如权利要求14所述的基于FPGA的多路视频处理系统，其中所述接收器、所述缓存器的数目与所述待测模块的模组数量一致。

16.如权利要求15中所述的基于FPGA的多路视频处理系统，其中所述接收器采用并行接口，所述并行接口直接从所述接收器传送至所述缓存器。

17.如权利要求15中所述的基于FPGA的多路视频处理系统，其中所述接收器采用MIPI接口，所述MIPI接口通过解析协议，保留原数据方式。

18.如权利要求17中所述的基于FPGA的多路视频处理系统，其中所述接收器的CSI解析器的数量由所述待测模块的模组数量决定，每个所述待测单元分别由单个所述CSI解析器解析。

19.如权利要求14中所述的基于FPGA的多路视频处理系统，其中，读操作由所述第一仲裁器仲裁确定读取哪块内存，由所述输出生成模块决定如何仲裁。

20.如权利要求14中所述的基于FPGA的多路视频处理系统，其中，所述输出生成模块与所述第二仲裁器连接，形成所述步骤(7)至(11)的循环，直至数据读操作完毕。

21.如权利要求14所述的基于FPGA的多路视频处理系统，其中每次数据的写和读都按组为单位读写，读和写中间间隔多个模块，并通过读写仲裁确定读写标示值，以保证不会同时读写，造成错屏。

22.如权利要求14所述的基于FPGA的多路视频处理系统，其中所述输出生成模块的输出数据格式为Lsp。

23.如权利要求14中所述的基于FPGA的多路视频处理系统，其中所述输出生成模块的时序由用户定义。

24.如权利要求14中所述的基于FPGA的多路视频处理系统，其中所述输出模块的输出方式采用UVC模式。

25.如权利要求14中所述的基于FPGA的多路视频处理系统，其中在传输过程中不对MIPICSI数据存进行恢复，以保证带宽尽最大可能进行利用。

26.如权利要求14中所述的基于FPGA的多路视频处理系统，其中，数据恢复过程在所述服务器端进行。

27.如权利要求1中所述的基于FPGA的多路视频处理系统，其中所述FPGA包括一数据采集模块、一通讯控制模块和一数据处理模块，所述FPGA的所述数据采集模块连接所述待测模块，用于采集所述待测模块的数据信息，所述数据采集模块电气性连接于所述FPGA，用于将采集到的数据信息传输给所述FPGA，所述USB芯片与所述FPGA的所述通讯控制模块连接，所述数据处理模块与所述存储器连接。

28.如权利要求27中所述的基于FPGA的多路视频处理系统，其中所述待测模块采用MIPI串行接口模组或者并行接口模组，所述数据采集模块采用MIPI串行接口或者并行接口。

29.如权利要求1-4、6-13、15-28中任一所述的基于FPGA的多路视频处理系统，其中所述测试服务器与所述USB芯片之间通过USB协议，所述的基于FPGA的多路视频处理系统的其他控制部分采用I2C控制。

30.如权利要求1-4、6-13、15-28中任一所述的基于FPGA的多路视频处理系统，其中所述USB芯片采用Cypress 3014芯片。

31.一基于FPGA的多路视频处理方法，其包括以下步骤：

(a)一测试服务器设置一待测模块的输入输出参数；

(b)一仲裁器判断所述待测模块的I2C地址；

(c)一I2C分离器将一USB芯片发出的I2C控制信号进行分离；

(d)所述待测模块被所述仲裁器判断为I2C地址相同的待测单元，则所述I2C分离器将I2C控制信号同时发送给各待测单元；以及

(e)反馈选取各待测单元的或运算过程的结果值，通过所述I2C分离器发送给所述I2C的发送端；

其中所述多路视频处理方法的所述步骤(b)中，所述仲裁器判断所述待测模块为I2C地址不同的所述待测单元，则所述步骤(d)为所述仲裁器直连至各待测单元。

32.根据权利要求31所述的多路视频处理方法，其中所述多路视频处理方法包括一数据流传送方法，所述数据流传送方法包括以下步骤：

(1)设置所述待测单元的输入输出参数于所述测试服务器；

(2)传送参数设置于一接收器；

(3)接受所述接收器发送过来的数据于一缓存器；

(4)仲裁确定何时读取所述缓存器的数据于一第一仲裁器；

(5)读取所述缓存器的数据存入一存储器中；

(6)储存所述待测单元的模组数据于所述存储器中的存储单元；

(7)仲裁确定读取内存位置于一第二仲裁器；

(8)存储所述读取的数据于一缓存器中；

(9)按序读取所述步骤(8)中所述缓存器的数据于一输出生成模块；

(10)按行读取生成数据组合于所述输出生成模块；

(11)形成并行接口的输出时序；

(12)输出生成的图像数据于一输出模块；

(13)形成USB协议输出给所述测试服务器。

33.如权利要求32所述的基于FPGA的多路视频处理方法，其中所述数据流传送方法的读操作由所述第一仲裁器仲裁确定读取哪块内存，由所述输出生成模块决定如何仲裁。

34.如权利要求33所述的基于FPGA的多路视频处理方法，其中所述数据流传送方法的所述输出生成模块与所述第二仲裁器连接，形成所述步骤(7)至(11)的循环，直至数据所述读操作完毕。

35.如权利要求32所述的基于FPGA的多路视频处理方法，其中所述数据流传送方法中，数据的传输过程中不对MIPI CSI数据存进行恢复，以保证带宽尽最大可能进行利用。

36.如权利要求32所述的基于FPGA的多路视频处理方法，其中所述数据流传送方法中，每次数据的写和读都按组为单位读写，读和写中间间隔多个模块，并通过读写仲裁确定读写标示值，以保证不会同时读写，造成错屏。

Images