CN220171649U - 一种基于fpga实时检测道路障碍物的装置 - Google Patents

Abstract

本实用新型提供了一种具有实时检测道路障碍物的装置，包括PLL时钟生成模块、电源模块、OV7725摄像头模块、上电复位模块、FPGA图像处理模块、SDRAM存储模块、JTAG下载模块、VGA显示模块、障碍物检测模块、报警模块。该装置中OV7725摄像头模块将实时采集的视频图像传输至FPGA图像处理模块，对视频图像进行预处理后的图像传输到障碍物检测模块，若判断有障碍物则将图像中的道路障碍物标注出来，同时控制报警模块进行声音报警，同时VGA显示模块将显示障碍物检测模块标注后的图像。本实用新型可以对道路上的障碍物进行实时检测，并通知交通警察及时处理道路上的障碍物。

Description

一种基于FPGA实时检测道路障碍物的装置

技术领域

本实用新型涉及数字图像处理领域，具体地涉及一种基于FPGA实时检测道路障碍物功能的装置。

背景技术

近几年来，我国交通发展迅速，相应的高速公路上的摄像头数量也在爆发增长，这就使得高速公路摄像头的监管更加困难，而且人眼无法做到同时对很多的高速路上的摄像头进行实时的监管，尤其在海量交通视频中对障碍物进行识别较为困难，所以为了减少人力的投入，同时为了及时的通知交通警察处理道路上的障碍物，因此，有必要提供一种实时监测道路障碍物的装置来解决上述问题。

随着计算机技术、人工智能的快速发展，各种智能技术的出现已经为人类的生活带来了极大便利。其中数字图像的捕获和处理技术正在向着更高层次的方向发展，人们对于图像处理系统也有了更高的要求，图像处理系统的硬件体积越来越小，同时实时性也越来越好，但传统基于软件平台的图像处理系统已经很难满足要求，加上图像处理算法的天然并行性，FPGA的加入给图像处理领域带来了新的活力，特别是针对图像底层一些图像处理算法，此外，FPGA在一些低成本的机器视觉领域也得到了广泛的应用，作为可编程器件的FPGA不仅具有硬件可编程的灵活性，能适应不同场景不同需求的需要，还具有天然的并行优势，可以实现对图像的实时增强处理，但是FPGA无法做到对增强后的图像进行目标检测，这就需要通过训练好道路障碍物检测的模型来对图像中的障碍物进行检测，从而做到对高速公路进行实时监测。

实用新型内容

为了解决上述技术所存在的不足之处，本实用新型提供了一种基于FPGA实时检测道路障碍物的装置。

为了解决上述技术问题，本实用新型的技术方案是：一种基于FPGA实时检测道路障碍物的装置，包括PLL时钟生成模块、电源模块、OV7725摄像头模块、上电复位模块、SDRAM存储模块、FPGA图像处理模块、JTAG下载模块、VGA显示模块、障碍物检测模块、报警模块，其结构特点在于：

PLL时钟生成模块与OV7725摄像头模块、SDRAM存储模块、VGA显示模块相连，并为OV7725图像传感器、SDRAM、VGA显示模块提供相应的时钟频率；

电源模块将5V直流电源通过AMS1117芯片转换成3.3V电压，为FPGA图像处理模块和SDRAM存储模块供电，并使用NCP1529型专用DC-DC降压器，将3.3V转换成输出为2.5V和1.2V的电源，其中1.2V为FPGA内核供电，2.5V电源为PLL时钟电路和JTAG下载模块供电；

OV7725摄像头模块是一款体积小、工作电压低的CMOS类型数字图像传感器，其根据PLL时钟生成模块生成的时钟频率，并利用其内部的CMOS数据采集模块进行道路图像的采集；

上电复位模块是在FPGA上电后保持一段时间的复位状态，上电后复位各个模块；

SDRAM存储模块用于在第零和第一BANK区存储FPGA预处理后的图像数据，在第二和第三BANK区存储障碍物检测模块检测后的图像数据，所述SDRAM存储模块与PLL时钟生成模块、FPGA图像处理模块、VGA显示模块、障碍物检测模块相连；

FPGA图像处理模块将OV7725摄像头模块采集到的视频图像进行图像增强，并将处理后的图像传输到SDRAM存储模块进行存储，方便后续障碍物检测模块的进一步处理，所述FPGA图像处理模块分别与PLL时钟生成模块、OV7725摄像头模块、SDRAM存储模块相连；

JTAG下载模块用于向FPGA芯片中下载程序或向flash中固化程序；

VGA显示模块用于把SDRAM中存储的障碍物检测后的图像数据读取出来，并传送到VGA显示器上显示，VGA显示模块与SDRAM存储模块相连；

障碍物检测模块读取SDRAM存储模块中存储的经过FPGA增强后的图像，并对其进行检测，若判断有障碍物则将图像中的道路障碍物标注出来，同时控制报警模块进行声音报警；

一种基于FPGA实时检测道路障碍物的装置，包括如下的运行过程：

上电后，电源模块为FPGA内的各个模块供电，FPGA控制模块执行上电复位，为了各个模块能够正常地进行工作，将所有模块的原始数据进行清零复位，PLL时钟生成模块为各个模块提供对应的时钟频率；

OV7725摄像头采集目标区域的视频信息并将其传输到FPGA图像处理模块，FPGA图像处理模块通过直方图均衡算法对原始视频图像进行增强处理，将处理好的图像数据存入到SDRAM中，方便后续障碍物检测模块的进一步处理；

障碍物检测模块读取SDRAM中处理好的图像数据，利用训练好的道路障碍物检测模型对视频图像进行检测，并将检测完的视频存回到SDRAM中，如果视频中的目标区域障碍物识别率大于0.8，则会将视频中有障碍物的区域框选出来，同时将控制报警模块中的蜂鸣器发出响声，提示交警及时去清理道路上的障碍物；

VGA显示模块将读取SDRAM中存储的障碍物检测后的图像数据，其中无论视频中的目标区域检测是否有障碍物，都会将检测后的视频实时显示，这便于交警观察视频图像上的道路是否有障碍物；

本实用新型具有积极的效果：(1)本实用新型的一种基于FPGA实时检测道路障碍物的装置，可以大量地减少人力投入，由于该装置可以做到实时的对道路障碍物的检测，所以能及时通知交警去处理道路上的障碍物，这样就可以有效地避免高速公路上因障碍物导致车祸的发生；(2)相较于传统的图像识别，该基于FPGA实时检测道路障碍物的装置通过障碍物检测模块可以将道路上的多种障碍物进行识别，且识别精度更高，识别速度更快；(3)通过FPGA对视频图像的增强，可以有效地克服多种环境天气对摄像头识别的影响，大大提高了装置识别的精度，同时该装置可根据用户个人或环境特点来调整障碍物检测模块识别的置信度，使该装置的适用场景更加广泛。

附图说明

图1为本实用新型的结构示意图

图2为本实用新型FPGA控制电路原理图

图3为本实用新型的SDRAM原理图

图4为本实用新型的OV7725摄像头接口原理图

图5为本实用新型的VGA接口电路原理图

图6为本实用新型的障碍物检测模块原理图

具体实施方式

下面结合附图和具体实施方式对本实用新型做进一步详细说明。

见图1，一种基于FPGA实时检测道路障碍物的装置，包括PLL时钟生成模块、电源模块、OV7725摄像头模块、上电复位模块、SDRAM存储模块、FPGA图像处理模块、JTAG下载模块、VGA显示模块、障碍物检测模块、报警模块；

见图2，为FPGA主控芯片，作为核心处理器，该基于FPGA实时检测道路障碍物的装置的主控芯片采用Altera公司的EP4CE10F17C8芯片，用于搭载对摄像头采集图像进行增强的装置中的算法，在图2中FPGA芯片的RESET、HREF和VSYNC引脚分别与OV7725摄像头模块中CAMERA芯片的RESET、HREF和VSYNC引脚连接，FPGA芯片的SCL和SDA引脚分别与CAMERA芯片SCL和SDA引脚连接，FPGA芯片的D0、D2、D4和D6引脚分别通过数据总线与CAMERA芯片D0、D2、D4和D6引脚连接，FPGA芯片的PCLK和SGM CTRL引脚分别与CAMERA芯片PCLK和PWDN引脚连接，FPGA芯片的XCLK引脚与CAMERA芯片XCLK引脚连接，FPGA芯片的D1、D3、D5和D7引脚分别通过数据总线与CAMERA芯片D1、D3、D5和D7引脚连接，电容C1并联在CAMERA芯片的VCC引脚和GND引脚之间，一端接入3.3V电源输入端，另一端接地；

见图3，为SDRAM存储器的原理图，该存储器采用的是W9812G6KH-6型的SDRAM存储芯片，该芯片用来存储FPGA预处理后的图像数据和障碍物检测模块识别后最终待显示的数据，其中A0～A12为芯片的地址总线，BA0和BA1用来选择存储单元，该模块与PLL时钟生成模块、FPGA图像处理模块、VGA显示模块、障碍物检测模块相连；

见图4，为摄像头接口原理图，摄像头采用的是OV7725型的摄像头，由PLL时钟生成模块提供该模块所需的25Mhz时钟，并输出640*480阵列的模拟数据，模拟信号处理器在时序发生器的控制下对模拟数据进行算法处理，模拟数据处理完成后分成G(绿色)和R/B(红色/蓝色)两路通道经过AD转换器后转换成数字信号，并且通过DSP进行相关图像处理，最终输出所配置格式的10位视频数据流，进而通过SCCB传输协议向FPGA芯片传输数字图像信号，从而实现将采集到的视频图像数据传入FPGA图像处理模块进行识别处理；

见图5，为VGA接口的电路原理图，通过VGA显示协议，采用逐行扫描的方式，从屏幕左上方逐行向右下方扫描实现视频图像的显示，用于图像处理后图像数据的显示；

见图6，为障碍物检测模块原理图，其中树莓派raspberrypi3与FPGA芯片通信总计用到了20个GPIO口，其中17个连接到FPGA，分别是m[2:0]、done、cclk、data[7:0]，用来直接配置FPGA；另外还有4个GPIO接口接到flash芯片，4个GPIO口用的是树莓派raspberrypi3专用的SPI传输接口，分别是spi_clk、spi_ce、spi_mosi、spi_miso。先将FPGA处理后的图像传入raspberrypi3中进行障碍物检测，再通过树莓派raspberrypi3将检测后的图像传输到flash芯片，由flash芯片在上电的时候将处理后的图像数据加载到FPGA中实现数据通信，当图像中障碍物检测的置信率超过0.8时，将触发报警模块的蜂鸣器发出警报声；

结合图1所示，本实用新型的一种基于FPGA实时检测道路障碍物的装置的工作原理如下：

通过JTAG接口，将本实用新型的Verilog程序固化到FPGA开发板的flash存储器中，防止程序掉电丢失；

装置上电后，执行上电复位，完成装置的初始化，PLL时钟生成模块为各个模块提供对应的时钟频率，以便本装置进行后续运作；

OV7725摄像头采集目标区域的视频信息并将其传输到FPGA图像处理模块，FPGA图像处理模块通过直方图均衡算法对原始视频图像进行增强处理，将处理好的图像数据存入到SDRAM中，方便后续障碍物检测模块的进一步处理；

障碍物检测模块读取SDRAM中处理好的图像数据，利用训练好的道路障碍物检测模型对视频图像进行检测，并将检测完的视频存回到SDRAM中，如果视频中的目标区域障碍物识别率大于0.8，则会将视频中有障碍物的区域框选出来，同时树莓派raspberrypi3将控制报警模块中的蜂鸣器发出响声，提示交警及时去清理道路上的障碍物；

VGA显示模块将读取SDRAM中存储的障碍物检测后的视频信息，并通过逐行扫描的方式在VGA显示屏上显示最终处理后的视频；

以上是对本实用新型的具体实施方式说明，而非对本实施新型的限制，有关技术领域的技术人员在不脱离本实用新型的精神和范围的情况下，是可以做出各种变换和变化而得到相应的同等的技术方案，因此所有等同的技术方案均应该归入本实用新型的专利范围。

Claims (2)

1.一种基于FPGA实时检测道路障碍物的装置，其特征在于，包括PLL时钟生成模块、电源模块、OV7725摄像头模块、上电复位模块、SDRAM存储模块、FPGA图像处理模块、JTAG下载模块、VGA显示模块、障碍物检测模块、报警模块；

所述PLL时钟生成模块与OV7725摄像头模块、SDRAM存储模块、VGA显示模块相连，并为OV7725图像传感器、SDRAM、VGA显示模块提供相应的时钟频率；

所述电源模块可以将5V直流电源通过AMS1117芯片转换成3.3V电压，为FPGA图像处理模块和SDRAM存储模块供电，并使用NCP1529型专用DC-DC降压器，将3.3V转换成输出为2.5V和1.2V的电源，其中1.2V为FPGA内核供电，2.5V电源为PLL时钟电路和JTAG下载模块供电；

所述OV7725摄像头模块是一款体积小、工作电压低的CMOS类型数字图像传感器，其根据PLL时钟生成模块生成的时钟频率，并利用其内部的CMOS数据采集模块进行道路图像的采集；

所述上电复位模块是在FPGA上电后保持一段时间的复位状态，上电后复位各个模块；

所述SDRAM存储模块用于在第零和第一BANK区存储FPGA预处理后的图像数据，在第二和第三BANK区存储障碍物检测模块分析后的图像数据，所述SDRAM存储模块与FPGA图像处理模块、VGA显示模块、障碍物检测模块相连；

所述FPGA图像处理模块将OV7725摄像头模块采集到的视频图像进行图像增强，并将处理后的图像传输到SDRAM存储模块进行存储，方便后续障碍物检测模块的进一步处理，所述FPGA图像处理模块分别与PLL时钟生成模块、OV7725摄像头模块、SDRAM存储模块相连；

所述JTAG下载模块，用于向FPGA芯片中下载程序或向flash中固化程序；

所述VGA显示模块，用于把SDRAM中存储的障碍物检测后的图像数据读取出来，并传送到VGA显示器上显示，VGA显示模块与SDRAM存储模块相连。

2.根据权利要求1所述一种基于FPGA实时检测道路障碍物的装置，其特征在于加入了障碍物检测模块，该模块会读取SDRAM存储模块中经FPGA增强后的图像，并对其进行检测，若判断有障碍物则将图像中的道路障碍物标注出来，同时控制报警模块进行声音报警。