CN210721562U - 一种基于PYNQ-z2的运动目标检测系统 - Google Patents
一种基于PYNQ-z2的运动目标检测系统 Download PDFInfo
- Publication number
- CN210721562U CN210721562U CN201922422851.6U CN201922422851U CN210721562U CN 210721562 U CN210721562 U CN 210721562U CN 201922422851 U CN201922422851 U CN 201922422851U CN 210721562 U CN210721562 U CN 210721562U
- Authority
- CN
- China
- Prior art keywords
- module
- pynq
- image
- sub
- hdmi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 34
- 230000001133 acceleration Effects 0.000 claims abstract description 22
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 238000003860 storage Methods 0.000 claims abstract description 9
- 238000011161 development Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000001914 filtration Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000003708 edge detection Methods 0.000 description 6
- 230000000877 morphologic effect Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本实用新型公开了一种基于PYNQ‑z2的运动目标检测系统，包括FPGA主控模块、图像采集模块和图像显示模块三部分。所述FPGA主控模块采用PYNQ‑z2板，兼容Python语言，用于控制图像处理单元以及图像输出单元；在PYNQ‑z2板上封装有图像处理硬件加速IP核；图像输出单元包括VDMA数据传输子模块、DRAM存储子模块以及HDMI输出子模块；VDMA数据传输子模块将数据流传向DRAM存储子模块，再通过HDMI输出子模块的接口将数据输出到HDMI显示器上。该检测系统以PYNQ‑z2开发板为平台，在开发板中设置硬件加速IP核，能显著提高其数据处理能力。
Description
技术领域
本实用新型涉及机器视觉领域，具体是一种基于PYNQ-z2的运动目标检测系统。
背景技术
目标检测技术在视频监控、工业生产、交通、军事、生物医学等诸多领域得到了广泛应用。目标检测在硬件上的实现一般采用数字信号处理器DSP、嵌入式ARM平台和通用FPGA芯片三种方式。DSP处理器具有高度的并行处理能力，但优化运算固定，难以满足目标检测对实时图像处理的更高要求。嵌入式ARM采用的是顺序执行语句，限制了硬件运算的数据处理能力，不能真正发挥目标检测算法的高效性。通过FPGA高速芯片采用并行处理方式，集成度高，具有极大的灵活性，能够有效降低系统工作效率，但仅仅通过FPGA芯片加速的方式由于不存在硬件加速仍存在较大的局限性。
实用新型内容
本实用新型针对现有技术的不足，提出一种基于PYNQ-z2的运动目标检测系统。该系统以PYNQ-z2开发板为平台，在开发板中设置硬件加速IP核，能显著提高其数据处理能力。
实现本实用新型的技术方案是：
一种基于PYNQ-z2的运动目标检测系统，其特征在于，包括：FPGA主控模块、图像采集模块及图像显示模块；
所述FPGA主控模块采用PYNQ-z2板，包括处理系统PS端和可编程逻辑模块PL端，设置图像输出单元和图像处理单元，
所述图像采集模块与PYNQ-z2板连接；
所述图像显示模块包括HDMI显示器；
在PYNQ-z2板上封装有图像处理硬件加速IP核；
图像输出单元包括VDMA数据传输子模块、DRAM存储子模块以及HDMI输出子模块；VDMA数据传输子模块将数据流传向DRAM存储子模块，再通过HDMI输出子模块的接口将数据输出到HDMI显示器上；
所述图像处理单元包括HDMI输入子模块。
FPGA主控模块上还设置以太网接口，连接网络访问Jupyter Notebook服务器。
硬件加速IP核连接硬件通路，所述硬件通路包括AXI Lite控制接口、用于连接内存的读写接口以及用于连接其他IP核的流接口。
与现有技术相比，本实用新型的有益效果是：
本实用新型系统，采用Vivado HLS软件设计图像处理用的硬件加速IP核写入到PYNQ-z2板中，实现了数据处理过程的加速。采用FPGA的PYNQ-z2核心板，兼容了Python编程语言，利用Vivado HLS软件设计硬件IP核来进一步加速，有效提高了运动图像实时识别和处理的能力，对提高运动目标检测的效率具有重大意义。
附图说明
图1为本实用新型检测系统的结构示意图；
图2为本实用新型的算法实现流程图。
具体实施方式
下面结合附图对实用新型的技术方案进行详细说明：
如图1所示，本实用新型设计的一种基于PYNQ-z2的运动目标检测系统，包括FPGA主控模块、图像采集模块和图像显示模块三部分。所述FPGA主控模块基于PYNQ-z2板，利用Vivado HLS设计的硬件加速IP核对FPGA主控模块进行了并行加速处理，为硬件加速IP核设置相应的硬件通路，FPGA主控模块用于图像处理及输出，包括图像处理单元及图像输出；
所述图像处理单元包括HDMI输入子模块、图像预处理子模块、边缘检测子模块以及形态学滤波子模块；所述图像输出单元包括VDMA数据传输子模块、DRAM存储子模块以及HDMI的输出子模块；
所述图像采集模块包括与PYNQ-z2板相连的摄像头单元；所述图像显示模块包括HDMI显示器。
图像显示模块所用HDMI显示器型号为铭速T240，图像采集模块为百脑通剑影HD1080P高清版，FPGA主控模块采用PYNQ-z2开发板。
在运动目标检测的应用中，软硬件协同工作，在软件端完成整体任务的调度，同时利用Vivado HLS设计的硬件IP核加速各模块的运算，具有极强的并行处理能力，体积小，集成度高，能够在具有大量高速运算的运动目标检测中发挥其独特优势，具有较高的实用价值。
本实用新型涉及到的图像处理方法可以采用现有的软件算法实现，如上面的图像预处理子模块、边缘检测子模块以及形态学滤波子模块均可以为本领域常用的算法过程。本申请的创新点不在于具体的软件方法，而在于整个硬件系统及设置硬件加速IP核。本实用新型硬件加速IP核加载到开发板上改变板子内部的电路结构，即采用IP核的加速电路具有更高的运算能力，硬件加速IP核的具体的设计过程可参考下述文献中的方法进行设计(谭检成，吴定祥，李明鑫，等.基于Vivado HLS的Canny算法实时加速设计[J].电子技术应用，2018，44(9)：59-62，66.)，此处不再赘述。
下面给出一种可行的软硬件实现过程。
针对运动目标检测，FPGA主控模块在Vivado HLS软件中设计硬件加速IP核，硬件加速IP核加载到PYNQ-z2板子上，来加速实现各子模块的功能。
由Vivado HLS进行FPGA图像算法硬件加速设计方式，能够有效地缩短开发周期。通过仿真与FPGA验证，采用Vivado HLS实现的边缘检测算法能在较复杂的情况下检测到图像边缘，实现运动目标检测功能，运算速度快，资源消耗少。
FPGA主控模块采用PYNQ-z2板，包括PS端(Processing System处理系统)和PL端(Progarmmable Logic可编程逻辑模块)，用于控制图像处理单元以及图像输出单元，PYNQ-z2板兼容了通用FPGA不具备的Python编程语言；
所述图像采集模块包括与PYNQ-z2板连接的摄像头单元，用于采集外部彩色图像；
所述图像显示模块包括HDMI显示器，用于显示最终的图像处理结果。
FPGA主控模块，其图像处理单元包括HDMI输入子模块、图像预处理子模块、边缘检测子模块以及形态学滤波子模块；
所述图像预处理子模块包括图像颜色空间转换以及高斯滤波处理；
所述边缘检测子模块，包括使用一阶微分Sobel算法、二阶微分Laplacian算法以及非微分Canny算法这三种方式对图像进行边缘检测，再给定阈值以确定边缘位置；
所述形态学滤波子模块，包括实现图像的腐蚀、膨胀、开运算以及闭运算。
FPGA主控模块，其图像输出单元包括VDMA数据传输子模块、DRAM存储子模块以及HDMI的输出子模块；
所述VDMA数据传输子模块，用于将数据流传向DRAM存储子模块，再通过HDMI输出子模块的接口将数据输出到HDMI显示器上。
所述的基于PYNQ-z2的运动目标检测系统，包括以太网接口，用于连接网络访问Notebook服务器。
所述的图像预处理子模块，高斯滤波处理所使用的滤波窗口为3×3规格。
如图2所示的算法实现流程，本实用新型系统基于PYNQ-z2平台的ARM部分进行算法实现，通过Jupyter Notebook工具进行python程序的设计，包括使用python程序对硬件加速IP核的调用。
在Base Overlay(基础覆盖层)中实现HDMI视频图像的读入，即调用HDMI输入的硬件电路；
数据流读入后进行灰度化处理，使用OpenCV函数库中cvtColor(frame,cv2.COLOR_BGR2GRAY)函数实现此过程；
采用高斯模糊的方案减弱噪声干扰，对应函数为GaussianBlur；
选用第一帧图像为背景，使用差分运算函数absdiff对每一帧图像(当前帧图像)进行差分运算；
采用二值化函数threshold对运动目标和背景进行分离。
进行形态学处理，调用膨胀函数dilate使得运动目标轮廓清晰饱满，寻找轮廓特征点；
调用轮廓面积计算函数contourArea计算特征值来滤除其他运动物体的干扰；
最后对运动物体轮廓进行加框处理经HDMI输出子模块呈现在显示器上。
在FPGA部分利用高层次综合工具，进行了图像预处理模块以及图像输出模块的硬件加速IP核设计。
在颜色空间转换中，首先设定IP核的顶层函数，应用cvtcolor函数将彩色图像转换成灰度图像，完成颜色空间转换后利用hls::Mat2AXIvideo函数将输出数据转换成AXI流数据与IP核输出接口相对应。
在高斯模糊中，使用GuassBlur函数将灰度图像处理为模糊图像，在完成模糊处理后，利用hls::Mat2AXIvideo函数将输出数据转换成AXI流数据。本系统选用3×3的高斯滤波窗口，σ值为1.5，且选择全部乘以256后取整的模板系数，将滤波模板系数与计算内核进行卷积，并对卷积后的结果进行右移8位操作。
在形态学滤波中，包括膨胀矩阵运算，指定膨胀操作的结构内核为3×3的矩阵：
本实施例系统利用Vivado HLS的视频库函数来代替OpenCV的功能函数，VivadoHLS中包含两个可综合的视频接口转换函数，hls::AXIvideo2Mat、hls::Mat2AXIvideo，当视频进入FPGA加速后，采用AXIvideo2MAT转换函数使得视频转化为HLS视频库可用部分，在图像进行FPGA加速处理后再采用Mat2AXIvideo转换函数将视频转化为传输的数据流。
在DRAM传输子模块后使用VDMA子模块进行数据的交换，将数据流传向DRAM子模块，并通过HDMI输出子模块将结果呈现在显示器上。
利用硬件通路将其与己封装好的IP核进行硬件连接，完成软硬件协同工作。
本实用新型首次将PYNQ-z2开发板应用于运动目标检测中，结合设计的硬件加速IP核实现加速功能。
本实用新型未述及之处适用于现有技术。
Claims (3)
1.一种基于PYNQ-z2的运动目标检测系统，其特征在于，包括：FPGA主控模块、图像采集模块及图像显示模块；
所述FPGA主控模块采用PYNQ-z2板，包括处理系统PS端和可编程逻辑模块PL端，设置图像输出单元和图像处理单元，
所述图像采集模块与PYNQ-z2板连接；
所述图像显示模块包括HDMI显示器；
在PYNQ-z2板上封装有图像处理硬件加速IP核；
图像输出单元包括VDMA数据传输子模块、DRAM存储子模块以及HDMI输出子模块；VDMA数据传输子模块将数据流传向DRAM存储子模块，再通过HDMI输出子模块的接口将数据输出到HDMI显示器上；
所述图像处理单元包括HDMI输入子模块。
2.根据权利要求1所述的基于PYNQ-z2的运动目标检测系统，其特征在于，FPGA主控模块上还设置以太网接口，连接网络访问JupyterNotebook服务器。
3.根据权利要求1所述的检测系统，其特征在于，硬件加速IP核连接硬件通路，
所述硬件通路包括AXI Lite控制接口、用于连接内存的读写接口以及用于连接其他IP核的流接口。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201922422851.6U CN210721562U (zh) | 2019-12-30 | 2019-12-30 | 一种基于PYNQ-z2的运动目标检测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201922422851.6U CN210721562U (zh) | 2019-12-30 | 2019-12-30 | 一种基于PYNQ-z2的运动目标检测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN210721562U true CN210721562U (zh) | 2020-06-09 |
Family
ID=70928002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201922422851.6U Expired - Fee Related CN210721562U (zh) | 2019-12-30 | 2019-12-30 | 一种基于PYNQ-z2的运动目标检测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN210721562U (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257490A (zh) * | 2020-07-19 | 2021-01-22 | 扬州大学 | 基于fpga的嵌入式行人密度统计系统及方法 |
-
2019
- 2019-12-30 CN CN201922422851.6U patent/CN210721562U/zh not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257490A (zh) * | 2020-07-19 | 2021-01-22 | 扬州大学 | 基于fpga的嵌入式行人密度统计系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106683171B (zh) | 一种GPU多线程纹理映射SystemC建模结构 | |
| US11023206B2 (en) | Dot product calculators and methods of operating the same | |
| CN110717852A (zh) | 一种基于fpga的田间视频图像实时分割系统及方法 | |
| CN112949767B (zh) | 样本图像增量、图像检测模型训练及图像检测方法 | |
| CN102663758A (zh) | 一种基于fpga控制核心的图像采集及处理方法 | |
| Sajjanar et al. | Implementation of real time moving object detection and tracking on FPGA for video surveillance applications | |
| CN114494087A (zh) | 无监督的多尺度视差/光流融合 | |
| CN210721562U (zh) | 一种基于PYNQ-z2的运动目标检测系统 | |
| CN116524195A (zh) | 语义分割方法、装置、电子设备及存储介质 | |
| CN111830039A (zh) | 一种智能化的产品质量检测方法及装置 | |
| CN103140049B (zh) | 一种基于fpga的贴片机快速定位系统及方法 | |
| CN101640795B (zh) | 一种视频解码优化方法及装置 | |
| CN105335943A (zh) | 一种图像的中值滤波方法及系统 | |
| Ni et al. | FPGA-based Binocular image feature extraction and matching system | |
| CN116403200A (zh) | 基于硬件加速的车牌实时识别系统 | |
| CN115589455A (zh) | 一种基于fpga+arm的夜间视频图像增强系统 | |
| Pan et al. | The study of target tracking based on ARM embedded platform | |
| CN110264488B (zh) | 一种二值图像边缘提取装置 | |
| Philip | Background subtraction algorithm for moving object detection using denoising architecture in FPGA | |
| WO2021035621A1 (zh) | 极值点提取方法、设备及计算机可读存储介质 | |
| CN114760414B (zh) | 一种用于cmv4000相机的图像采集与处理系统 | |
| CN109919962A (zh) | 一种基于Zynq实现边缘检测算法加速的方法 | |
| CN111814679A (zh) | 一种体素化3D网络voxel-encoder与VFE基于FPGA的实现算法 | |
| Bilal et al. | Rapid prototyping of image contrast enhancement hardware accelerator on FPGAs using high-level synthesis tools | |
| CN111026445A (zh) | 一种智能识别方法及芯片 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200609 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |