CN206757652U - 一种基于FPGA+ARM异构多核SoC平台的目标检测系统 - Google Patents

Abstract

本实用新型涉及一种基于FPGA+ARM异构多核SoC平台的目标检测系统，该系统包括：主控芯片、CMOS图像采集模块、SDRAM图像存储模块、调试接口、I/O模块、电源模块和时钟模块。本实用新型提高了实时性；减低了系统功耗，系统体积小，便于携带；提升了系统图像处理的速度；实现FPGA和HPS图像双向数据通信，提升了数据交换的速度；提高了系统的灵活性和集成化；基于ARM的高速低功耗的优势，系统能够满足现场的实时图像处理。

Description

一种基于FPGA+ARM异构多核SoC平台的目标检测系统

技术领域

本实用新型属于图像处理领域，特别是涉及一种基于FPGA+ARM异构多核SoC平台的目标检测系统。

背景技术

基于视频图像动态目标检测技术是计算机视觉和智能监控领域研究的基础，涉及到图像处理、模式识别和人工智能等许多领域，正受到越来越多的关注。

由于目标检测系统涉及到大量图像数据，目前，运动目标检测功能的实现过程，通常是先把摄像机拍摄的图像和视频数据传到PC机上缓存起来，再由相应的检测和跟踪算法来实现的。整个处理过程中处理的数据量非常庞大，存在比较大的延时，不易携带、移植性和实时性较差。采用通用DSP和多核处理器实现的话，价格昂贵，系统的集成度低，体积大，功耗高、可扩展性差。

实用新型内容

本实用新型的技术方案是：针对于传统方案的实现目标检测系统在功耗、移植性、实时性和体积上的局限性问题，本实用新型目的是：开发一种基于FPGA+ARM异构多核SoC平台的目标检测系统，实现了目标检测系统的高集成度、低功耗和高实时性。

一种基于FPGA+ARM异构多核SoC平台的目标检测系统，该系统包括：主控芯片、CMOS图像采集模块、SDRAM图像存储模块、调试接口、I/O模块、电源模块和时钟模块。

其中，主控芯片为内嵌双核ARM Cortex-A9硬核处理器的Cylcone V SoC_FPGA，FPGA内部的双口RAM通过轻量Lightweight HPS to FPGA的AXI桥与ARM处理器相连；

其中，CMOS图像采集模块包括CMOS传感器、CMOS图像捕捉模块、I2C控制模块和Bayer格式转换RGB模块；CMOS传感器与CMOS图像捕捉模块相连，I2C控制模块与CMOS传感器相连，来配置CMOS传感器的工作模式、采集图像的大小、曝光时间、内部锁相环的配置等。图像捕捉模块与Bayer格式转换RGB模块相连，因为图像数据流进入FPGA是Bayer格式，通过格式转换模块转换成RGB格式；

其中，SDRAM图像存储模块包括FIFO IP核模块、存储图像数据的SDRAM存储器、SDRAM控制器、双口RAM、双口RAM IP核控制器，存储程序和实现上电自动加载的Flash；Bayer格式转换RGB模块通过FPGA内部的FIFO IP核模块与SDRAM控制器相连；双口RAM通过SDRAM控制器与SDRAM存储器相连；双口RAM IP核控制器挂载在AXI interconnect总线上，HPS通过轻量Lightweight HPS to FPGA的AXI桥连接到双口RAM。Flash用于存储程序，可以实现上电自动加载FPGA的程序。

其中，调试接口包括USB Blaster II下载接口、EPM570芯片、HPS USB接口、UARTto USB接口和HPS Ethernet接口；USB Blaster II接口连接EPM570芯片，将PC机的VerilogHDL程序下载到FPGA芯片内；HPS USB接口用于与U盘连接，写入可执行文件和图像文件；计算机与HPS通过UART to USB接口互相通信；HPS Ethernet接口用于通过网络传送可执行文件到Linux中并执行。

其中，I/O模块包括PS/2键盘、按键、LED灯、SD Card和VGA图像显示器。PS/2键盘、按键、LED灯和VGA图像显示器分别与FPGA连接，PS/2键盘用于控制图像采集和显示；按键用于实现CMOS图像传感器的图像大小和曝光时间控制；LED灯用于状态显示；VGA显示器用于图像显示；SD卡连接到HPS，负责写入可执行文件、启动Linux操作系统并存储检测后的图片。

其中，12V电源模块连接到FPGA，用于系统供电，50MHz晶体振荡器时钟模块连接到HPS，用于提供系统的时钟脉冲。

优选的，该系统采用IP核技术设计了双口RAM控制器，用于产生FPGA内嵌双口RAM的读写时序信号和ARM的通信接口信号。

优选的，FPGA内嵌的双口RAM模块作为从设备经过Lightweight HPS to FPGA的AXI桥挂载在AXI interconnect总线上，实现与ARM处理器的图像数据双向通信。

本实用新型的优点是：

1.系统采用FPGA和ARM整合的Cyclone V SoC_FPGA作为系统主控芯片，减少了芯片之间的连线延时，提高了系统的集成度。系统集图像实时采集、存储、处理和显示等多功能于一体，省去图像传到PC上位机处理，提高了实时性。

2.采用片上系统的设计，整个系统集成在单个芯片，减低了系统功耗，系统体积小，便于携带。

3.在硬件部分实现了部分图像的预处理，Bayer格式转换成RGB格式、灰度图像转换由FPGA硬件来实现，提升了系统图像处理的速度。

4.为了解决HPS和SDRAM存储器内的图像数据通信问题，自定义双口RAM控制器的IP核，实现FPGA和HPS图像双向数据通信，提升了数据交换的速度，提高了系统的灵活性和集成化。

5.基于ARM的高速低功耗的优势，系统能够满足现场的实时图像处理。同时，在非现场的环境中，系统也可以将图像以BMP的形式存入SD卡中。

附图说明

图1是本实用新型基于FPGA+ARM异构多核SOC平台的目标检测系统硬件结构框图。

图2是本实用新型基于FPGA+ARM异构多核SOC平台的目标检测系统的SoC_FPGA的内部架构框图。

具体实施方式

为使本实用新型的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本实用新型进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本实用新型的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本实用新型的概念。

如图1所示，一种基于FPGA+ARM异构多核SoC平台的目标检测系统，主要由CycloneV SoC FPGA主控芯片，CMOS图像采集模块、SDRAM图像存储模块、调试接口、I/O模块、电源模块和时钟模块组成。其中，主控芯片为内嵌双核ARM Cortex-A9硬核处理器的Cylcone VSoC_FPGA，FPGA内部的双口RAM通过轻量Lightweight HPS to FPGA的AXI桥与ARM处理器相连；

其中，CMOS图像采集模块包括CMOS传感器、CMOS图像捕捉模块、I2C控制模块和Bayer格式转换RGB模块；其中，CMOS传感器具体采用外部500万CMOS摄像头，通过40-pinIDC软排线与SoC开发板相连接，CMOS传感器与CMOS图像捕捉模块相连，I2C控制模块与CMOS传感器相连，来配置CMOS传感器的工作模式、采集图像的大小、曝光时间、内部锁相环的配置等。图像捕捉模块与Bayer格式转换RGB模块相连，因为图像数据流进入FPGA是Bayer格式，通过格式转换模块转换成RGB格式；

其中，SDRAM图像存储模块包括FIFO IP核模块、存储图像数据的SDRAM存储器、SDRAM控制器、双口RAM、双口RAM IP核控制器，存储程序和实现上电自动加载的Flash；Bayer格式转换RGB模块通过FPGA内部的FIFO IP核模块与SDRAM控制器相连；双口RAM通过SDRAM控制器与SDRAM存储器相连；Bayer格式转换RGB模块通过FPGA内部的FIFO IP模块与SDRAM存储器相连。由于HPS难以和SDRAM存储器内的图像数据通信，因此将SDRAM数据传入双口RAM，即双口RAM通过SDRAM控制器与SDRAM存储器相连。双口RAM IP核控制器用于产生RAM的时序控制，并挂载在AXI interconnect总线上，HPS通过轻量Lightweight HPS toFPGA的AXI桥连接到双口RAM。Flash用于存储程序，可以实现上电自动加载FPGA的程序。

其中，调试接口包括USB Blaster II下载接口、EPM570芯片、USB接口、UART toUSB接口和HPS Ethernet接口；USB Blaster II接口连接EPM570芯片转换成JTAG连接，将PC机的Verilog HDL程序下载到FPGA芯片内；USB接口用于与U盘连接，写入可执行文件和图像；UART to USB接口用于计算机与HPS互相通信；HPS Ethernet接口用于通过网络传送可执行文件到Linux中并执行。

其中，I/O模块包括PS/2键盘、按键、LED灯、SD Card和VGA图像显示器。PS/2键盘、按键、LED灯和VGA图像显示器分别与FPGA连接，PS/2键盘用于控制图像采集和显示；按键用于实现CMOS图像传感器的图像大小和曝光时间控制；LED灯用于状态显示；VGA显示器用于图像显示；SD卡连接到HPS，负责写入可执行文件、启动Linux操作系统并存储检测后的图片。

其中，12V电源模块连接到FPGA，用于系统供电；50MHz晶体振荡器时钟模块连接到HPS，用于提供系统的时钟脉冲。

如图2所示，SDRAM图像存储模块包括FIFO IP核模块、存储图像数据的SDRAM存储器、双口RAM、双口RAM IP核控制器，存储程序和实现上电自动加载的Flash；采用FIFO的乒乓模式，将RGB图像数据存入SDRAM存储器。为了提高图像处理速度，在此只将灰阶图像存入双口RAM。图像数据通过FPGA内部的双口RAM经过Lightweight HPS to FPGA的AXI桥与HPS处理器实现数据通信。同时系统采用IP核技术设计了双口RAM IP核控制器，用于产生双口RAM的读写时序信号和ARM的通信接口信号。既提升了数据的访问速度，又提高了系统的灵活性。基于ARM_Based HPS处理器挂载Linux操作系统实现嵌入式系统软件的开发，主要实现图像处理、目标检测算法和BMP图像文件生成的实现。图像目标检测完成后，经由轻量HPSto FPGA的AXI桥送回到双口RAM，再送入VGA显示器显示。

本实用新型的实施方式并不受上述实施例的限制，其他任何未偏离本实用新型的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。

Claims (1)

1.一种基于FPGA+ARM异构多核SoC平台的目标检测系统，特征在于：该系统包括：主控芯片、CMOS图像采集模块、SDRAM图像存储模块、调试接口、I/O模块、电源模块和时钟模块；

其中，主控芯片为内嵌双核ARM Cortex-A9硬核处理器的Cylcone V SoC_FPGA，FPGA内部的双口RAM通过轻量Lightweight HPS to FPGA的AXI桥与ARM处理器相连；

其中，CMOS图像采集模块包括CMOS传感器、CMOS图像捕捉模块、I2C控制模块和Bayer格式转换RGB模块；CMOS传感器与CMOS图像捕捉模块相连，I2C控制模块与CMOS传感器相连，图像捕捉模块与Bayer格式转换RGB模块相连；

其中，SDRAM图像存储模块包括FIFO IP核模块、存储图像数据的SDRAM存储器、SDRAM控制器、双口RAM、双口RAM IP核控制器、存储程序和实现上电自动加载的Flash；Bayer格式转换RGB模块通过FPGA内部的FIFO IP核模块与SDRAM控制器相连；双口RAM通过SDRAM控制器与SDRAM存储器相连；双口RAM IP核控制器挂载在AXI interconnect总线上，HPS通过轻量Lightweight HPS to FPGA的AXI桥连接到双口RAM；

其中，调试接口包括USB Blaster II下载接口、EPM570芯片、HPS USB接口、UART toUSB接口和HPS Ethernet接口；USB Blaster II接口连接EPM570芯片，HPS USB接口用于与U盘连接，计算机与HPS通过UART to USB接口互相通信；

其中，I/O模块包括PS/2键盘、按键、LED灯、SD Card和VGA图像显示器；PS/2键盘、按键、LED灯和VGA图像显示器分别与FPGA连接，SD卡连接到HPS；

其中，12V电源模块连接到FPGA，50MHz晶体振荡器时钟模块连接到HPS。