CN102202171B

CN102202171B - 一种嵌入式高速多通道图像采集与存储系统

Info

Publication number: CN102202171B
Application number: CN201110100312A
Authority: CN
Inventors: 魏平; 侯广琦
Original assignee: Beijing Institute of Technology BIT
Current assignee: Beijing Institute of Technology BIT
Priority date: 2011-04-21
Filing date: 2011-04-21
Publication date: 2012-10-03
Anticipated expiration: 2031-04-21
Also published as: CN102202171A

Abstract

本发明涉及一种嵌入式高速多通道图像采集与存储系统，特别涉及一种用于高速摄像机或摄像机阵列的多通道图像数据流实时采集与存储系统，属于数字图像处理领域。系统由背板、主控制板、一台或者一台以上的摄像机和一个或者一个以上的子板组成，其中每台摄像机通过数据线连接到一个子板上，主控制板和子板均插在背板的不同插槽中，通过背板总线实现相互间的通信。本发明实现了系统中所有摄像机之间的帧同步，对高速的图像数据实时采集，同时可以对图像数据实现无损的高速存储。

Description

一种嵌入式高速多通道图像采集与存储系统

技术领域

本发明涉及一种嵌入式高速多通道图像采集与存储系统，特别涉及一种用于高速摄像机或摄像机阵列的多通道图像数据流实时采集与存储系统，属于数字图像处理领域。

背景技术

基于视觉感知的摄像机作为一种普遍的外界场景信息获取手段，已经在许多领域的很多方面得到了非常广泛的应用。图像采集设备作为图像处理系统必备的一个组成部分，其获取的图像质量状况直接决定了后续过程的处理难度和算法过程设计。

在如虹膜识别、姿态识别和目标跟踪等图像处理中，对采集图像进行实时处理的同时，需要对图像进行实时存储，以进行离线分析和算法研究。近年来，随着半导体工艺的不断提高，图像传感器在分辨率和响应灵敏度上都获得了极大的性能提升，图像传感器的行方向上和列方向上的像元数目各提高一倍，随之而来的数据量就提高了四倍。如何实现高速实时无损图像数据采集和存储成为了当前实际应用和研究领域迫切需要解决的难题。

现有的图像采集存储系统为保证系统传输的实时性，往往通过限制传输码率的有损压缩方法，达到对图像数据的实时存储。在很多对原始图像数据要求无损采集和存储的场合，当前的大部分系统无法满足需要。此外随着图像传感器分辨率的提高，对系统的数据传输带宽也提出了更高的要求。基于摄像机阵列的结构设计方法有着大视场高分辨率的优点，在虚拟现实、机器视觉、场景拼接等场合得到广泛研究和应用，这也增加了对图像采集和存储系统的性能要求。

发明内容

本发明的目的是为了满足超高速摄像机和摄像机阵列对数据采集存储设备的性能要求，以实现以超高速带宽对多通道图像数据流进行实时的无损图像数据采集和存储操作，提出一种嵌入式高速多通道图像采集与存储系统。

本发明是通过以下技术方案实现的。

本发明的一种嵌入式高速多通道图像采集与存储系统，由背板、主控制板、一台或者一台以上的摄像机和一个或者一个以上的子板组成，其中每台摄像机通过数据线连接到一个子板上，摄像机或者子板的最大数量均为10个，主控制板和子板均插在背板的不同插槽中，通过背板总线实现相互间的通信；

摄像机将图像数据以LVDS差分串行信号的方式通过数据线传输到其对应的子板，采用串行数据的方式可以提高图像数据流在传输过程中抗干扰能力，同时也提高了传输距离；

每个子板由子板控制器、串转并电路、LVDS驱动电路、SDRAM、VGA驱动电路、背板总线控制电路和8个SD卡座构成；其中子板控制器由FPGA实现，FPGA采用模块设计的方法，其程序由Verilog HDL语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、图像数据预处理模块、控制命令发送模块、SDRAM控制模块、VGA控制模块、10个PIPO控制模块和8个SD卡控制模块；FPGA中的SDRAM控制模块通过FPGA接口与SDRAM相连接，对SDRAM实现配置、读数据和写数据，SDRAM为子板的帧图像缓存；VGA控制模块通过FPGA接口与VGA驱动电路连接，为VGA驱动电路提供数据和同步配置；串转并电路负责接收摄像机通过数据线传输来的串行信号并将其转换为并行信号送入FPGA的图像数据预处理模块；系统控制模块通过控制命令发送模块为FPGA外部LVDS驱动电路提供控制命令，LVDS驱动电路将控制命令送至摄像机的控制接口，系统控制模块与背板总线控制电路相连；FPGA中图像预处理模块、VGA控制模块和8个SD卡控制模块分别通过一个PIPO控制模块与系统仲裁模块相连，此外SDRAM控制模块和系统控制模块也与系统仲裁模块相连，系统仲裁模块负责协调各个模块对SDRAM中帧数据的操作；FPGA中每个SD控制模块通过SD总线方式分别与一个SD卡座对应相连，实现SD卡座中SD卡的读写和配置操作；

主控制板由主板控制器、SDRAM、VGA驱动电路、红外控制电路、背板总线控制电路和USB总线控制电路构成；其中主板控制器由FPGA实现，FPGA采用模块设计的方法，其程序由Verilog HDL语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、SDRAM控制模块、VGA控制模块、红外控制模块和PIPO控制模块；FPGA中的SDRAM控制模块通过FPGA接口与SDRAM相连接，对SDRAM实现配置、读数据和写数据，SDRAM为主控制板的帧图像缓存；VGA控制模块通过FPGA接口与VGA驱动电路连接，为VGA驱动电路提供数据和同步配置；红外控制模块与红外控制电路相连，实现系统控制命令的人机接口；系统控制模块与背板总线控制电路相连；SDRAM控制模块和系统控制模块均与系统仲裁模块相连，此外VGA控制模块也通过PIPO控制模块与系统仲裁模块相连；USB控制模块与USB总线控制电路相连，实现与上位机之间的数据通讯；

背板包括12个插槽，其中1个用于插接主控制板，10个用于插接子板，另外1个为扩展板插槽，用于对其他应用实现外围扩展；同时背板上带有同步时钟发生电路，采用4个CY2309时钟发生器生成12个严格同步的时钟信号，作为背板总线通讯的时钟分别传输给主控制板、扩展板和子板，主控制板、扩展板和子板以该始终信号作为总线控制模块的时钟驱动源来进行工作；

上述子板中FPGA的系统控制模块的功能为：负责子板所有功能模块之间的状态协调，验证各模块的工作状态和运行情况，同时其内部总线控制状态机保持与主控制板进行通讯，接受主控制板发来的系统同步采集命令，转发对应摄像机中的FPGA控制单元，以实现对图像传感器进行配置，启动数据采集操作；

上述子板中的SDRAM作为系统图像数据流的缓冲中心，其存储空间分成三个缓冲区，每个缓冲区保存着一整帧图像数据，其中每两个缓冲区组成一个PIPO缓冲区，由FPGA的系统仲裁模块采用乒乓控制方法进行切换，实现了系统的数据协调；

上述子板中FPGA的系统仲裁器模块负责对SDRAM中的数据进行管理，具体过程为：首先将从摄像机传输过来的图像数据写入到SDRAM的一个缓冲区中，当写满一帧后，切换到一个新的缓冲区，而此时将开始将已经写满的一帧图像存储到SD卡中，如此往复循环；SD卡的写入速度大于摄像机数据的传输速度；

上述主控制板按照背板总线的通信协议，以数据轮询的方式对系统中所有的子板进行访问控制；

本发明的一种嵌入式高速多通道图像采集与存储系统，其工作过程为：

1)系统上电后，主控制板与所有子板均进行系统初始化，由主控制板确认系统当前状态，而摄像机配置图像传感器后进入暂停重启状态，此时无图像数据输出；

2)主控制板通过红外控制模块接收到启动摄像机运行的命令；

3)主控制板向所有子板发送摄像机重启命令，子板则通过LVDS驱动模块启动摄像机，这样所有摄像机同时开始工作，保证了每帧图像的时间同步；

4)摄像机通过数据线将图像数据传给子板，每块子板分别对当前帧数据进行缓存；摄像机每当传控制输完一帧图像数据后，即进入暂停重启状态；

5)主板设置当前子板为第一块子板；

6)主控制板向当前子板发送数据请求命令，该子板接收到后发送当前帧数据给主板；

7)当前子板接受并处理完毕一帧图像数据后，发送传输结束的状态给主控制板，主控制板查询到当前子板传输结束的状态后，设置下一块子板为当前子板，进行步骤4)；当主控制板查询到最后一块子板的传输结束状态后，进入步骤8)；

8)重复步骤3)至步骤7)，实现摄像机的连续采集和存储操作。

有益效果

本发明实现了系统中所有摄像机之间的帧同步，对高速的图像数据实时采集，同时可以对图像数据实现无损的高速存储。

附图说明

图1为本发明的结构示意图；

图2为本发明的子板硬件结构连接图；

图3为本发明的子板FPGA逻辑结构图；

图4为本发明的主控制板硬件结构连接图；

图5为本发明的主控制板FPGA逻辑结构图；

图6为本发明的摄像机、子板和主控板控制状态图。

具体实施方式

下面结合附图和实施例对本发明做进一步说明。

一种嵌入式高速多通道图像采集与存储系统，如图1所示，由背板、主控制板、8个摄像机和8个子板组成，其中每台摄像机通过数据线连接到一个子板上，主控制板和子板均插在背板的不同插槽中，通过背板总线实现相互间的通信；

每个子板由子板控制器、串转并电路、LVDS驱动电路、SDRAM、VGA驱动电路、背板总线控制电路和8个SD卡座构成，如图2所示，；其中子板控制器由FPGA实现，FPGA采用模块设计的方法，其程序由Verilog HDL语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、图像数据预处理模块、控制命令发送模块、SDRAM控制模块、VGA控制模块、10个PIPO控制模块和8个SD卡控制模块，如图3所示；

主控制板由主板控制器、SDRAM、VGA驱动电路、红外控制电路、背板总线控制电路和USB总线控制电路构成，如图4所示；其中主板控制器由FPGA实现，FPGA采用模块设计的方法，其程序由Verilog HDL语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、SDRAM控制模块、VGA控制模块、红外控制模块和PIPO控制模块，如图5所示；

上述主控制板与子板上FPGA均为Xilinx Spartan 6芯片，SDRAM均采用IS42S32800B芯片，VGA驱动电路的主芯片均采用ADV7125芯片；

上述子板上串转并电路采用SN65LV1224B芯片；

上述主控制板上USB总线控制电路采用CY7C68013A芯片；

上述一种嵌入式高速多通道图像采集与存储系统，工作过程中其摄像机、子板和主控板控制状态图如图6所示。

实施例

摄像机采用Aptina公司的MT9P031黑白图像传感器，在本实施例中使用2560×1920的分辨率，8位图像数据；

摄像机采用Xilinx公司的Spartan 3A型号FPGA进行传感器驱动配置和图像数据传输，并行信号包括8位数据信号和2位控制信号，由并转串电路生成高速串行LVDS差分信号。每个摄像机连接到一个子板，每个子板上插入了4块SD卡，选择了比较主流的SDHC存储卡，Sandisk公司的4G Class6的ExtremeIII 133x SDHC卡。

实施过程中进行约90秒的存储操作，每块卡存储2198380544 Byte数据，平均速度为24.4MB/s。

本实施例中的图像采集存储系统，每个子板上最多采用8块SDHC卡，单子板存储速度最大可达到192MB/s，通过最多10块子板的配置，可最大实现15.36Gbps的写入速度。

Claims

1.一种嵌入式高速多通道图像采集与存储系统，其特征在于：

由背板、主控制板、一台以上的摄像机和一个以上的子板组成，其中每台摄像机通过数据线连接到一个子板上，摄像机或者子板的最大数量均为10个，主控制板和子板均插在背板的不同插槽中，通过背板总线实现相互间的通信；

摄像机将图像数据以LVDS差分串行信号的方式通过数据线传输到其对应的子板；

每个子板由子板控制器、串转并电路、LVDS驱动电路、SDRAM、VGA驱动电路、背板总线控制电路和8个SD卡座构成；其中子板控制器由FPGA实现，FPGA采用模块设计的方法，其程序由Verilog HDL语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、图像数据预处理模块、控制命令发送模块、SDRAM控制模块、VGA控制模块、10个PIPO控制模块和8个SD卡控制模块；FPGA中的SDRAM控制模块通过FPGA接口与SDRAM相连接，对SDRAM实现配置、读数据和写数据，SDRAM为子板的帧图像缓存；VGA控制模块通过FPGA接口与VGA驱动电路连接，为VGA驱动电路提供数据和同步配置；串转并电路负责接收摄像机通过数据线传输来的串行信号并将其转换为并行信号送入FPGA的图像数据预处理模块；系统控制模块通过控制命令发送模块为FPGA外部LVDS驱动电路提供控制命令，LVDS驱动电路将控制命令送至摄像机的控制接口，系统控制模块与背板总线控制电路相连；FPGA中图像预处理模块、VGA控制模块和8个SD卡控制模块分别通过一个PIPO控制模块与系统仲裁模块相连，此外SDRAM控制模块和系统控制模块也与系统仲裁模块相连，系统仲裁模块负责协调各个模块对SDRAM中帧数据的操作；FPGA中每个SD卡控制模块通过SD总线方式分别与一个SD卡座对应相连，实现SD卡座中SD卡的读写和配置操作；

主控制板由主控制板控制器、SDRAM、VGA驱动电路、红外控制电路、背板总线控制电路和USB总线控制电路构成；其中主控制板控制器由FPGA实现，FPGA采用模块设计的方法，其程序由Verilog HDL语言进行开发，其硬件逻辑模块包括系统控制模块、系统仲裁模块、SDRAM控制模块、VGA控制模块、红外控制模块和PIPO控制模块；FPGA中的SDRAM控制模块通过FPGA接口与SDRAM相连接，对SDRAM实现配置、读数据和写数据，SDRAM为主控制板的帧图像缓存；VGA控制模块通过FPGA接口与VGA驱动电路连接，为VGA驱动电路提供数据和同步配置；红外控制模块与红外控制电路相连，实现系统控制命令的人机接口；系统控制模块与背板总线控制电路相连；SDRAM控制模块和系统控制模块均与系统仲裁模块相连，此外VGA控制模块也通过PIPO控制模块与系统仲裁模块相连；USB控制模块与USB总线控制电路相连，实现与上位机之间的数据通讯；

背板包括12个插槽，其中1个用于插接主控制板，10个用于插接子板，另外1个为扩展板插槽，用于对其他应用实现外围扩展；同时背板上带有同步时钟发生电路，采用4个CY2309时钟发生器生成12个严格同步的时钟信号，作为背板总线通讯的时钟分别传输给主控制板、扩展板和子板，主控制板、扩展板和子板以该时钟信号作为总线控制模块的时钟驱动源来进行工作；

上述子板中FPGA的系统控制模块负责子板所有功能模块之间的状态协调，验证各模块的工作状态和运行情况，同时其内部总线控制状态机保持与主控制板进行通讯，接受主控制板发来的系统同步采集命令，转发对应摄像机中的FPGA控制单元，以实现对图像传感器进行配置，启动数据采集操作；

上述子板中FPGA的系统仲裁模块负责对SDRAM中的数据进行管理，具体过程为：首先将从摄像机传输过来的图像数据写入到SDRAM的一个缓冲区中，当写满一帧后，切换到一个新的缓冲区，而此时将开始将已经写满的一帧图像存储到SD卡中，如此往复循环；SD卡的写入速度大于摄像机数据的传输速度；

上述主控制板按照背板总线的通信协议，以数据轮询的方式对系统中所有的子板进行访问控制。

2.根据权利要求1所述的一种嵌入式高速多通道图像采集与存储系统，其特征在于系统工作过程为：

1）系统上电后，主控制板与所有子板均进行系统初始化，由主控制板确认系统当前状态，而摄像机配置图像传感器后进入暂停重启状态，此时无图像数据输出；

2）主控制板通过红外控制模块接收到启动摄像机运行的命令；

3）主控制板向所有子板发送摄像机重启命令，子板则通过LVDS驱动电路启动摄像机，这样所有摄像机同时开始工作，保证了每帧图像的时间同步；

4）摄像机通过数据线将图像数据传给子板，每块子板分别对当前帧数据进行缓存；摄像机每当传输完一帧图像数据后，即进入暂停重启状态；

5）主控制板设置当前子板为第一块子板；

6）主控制板向当前子板发送数据请求命令，该子板接收到后发送当前帧数据给主控制板；

7）当前子板接受并处理完毕一帧图像数据后，发送传输结束的状态给主控制板，主控制板查询到当前子板传输结束的状态后，设置下一块子板为当前子板，进行步骤4）；当主控制板查询到最后一块子板的传输结束状态后，进入步骤8）；

8）重复步骤3）至步骤7），实现摄像机的连续采集和存储操作，直至任务完成。

3.根据权利要求1所述的一种嵌入式高速多通道图像采集与存储系统，其特征在于：所述主控制板与子板上FPGA均为Xilinx Spartan 6芯片。

4.根据权利要求1所述的一种嵌入式高速多通道图像采集与存储系统，其特征在于：所述主控制板与子板上SDRAM均采用IS42S32800B芯片。

5.根据权利要求1所述的一种嵌入式高速多通道图像采集与存储系统，其特征在于：所述主控制板与子板上VGA驱动电路的主芯片均采用ADV7125芯片。

6.根据权利要求1所述的一种嵌入式高速多通道图像采集与存储系统，其特征在于：所述子板上串转并电路采用SN65LV1224B芯片。

7.根据权利要求1所述的一种嵌入式高速多通道图像采集与存储系统，其特征在于：所述主控制板上USB总线控制电路采用CY7C68013A芯片。

8.根据权利要求1所述的一种嵌入式高速多通道图像采集与存储系统，其特征在于：所述摄像机采用Xilinx公司的Spartan 3A型号FPGA进行传感器驱动配置和图像数据传输，待传输的并行信号包括8位数据信号和2位控制信号，由并转串电路生成高速串行LVDS差分信号。