CN111242835B - 基于zynq和gpu的特征边缘检测系统和方法 - Google Patents
基于zynq和gpu的特征边缘检测系统和方法 Download PDFInfo
- Publication number
- CN111242835B CN111242835B CN202010048890.9A CN202010048890A CN111242835B CN 111242835 B CN111242835 B CN 111242835B CN 202010048890 A CN202010048890 A CN 202010048890A CN 111242835 B CN111242835 B CN 111242835B
- Authority
- CN
- China
- Prior art keywords
- gpu
- zynq
- ddr memory
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于ZYNQ和GPU的特征边缘检测系统和方法,其中检测系统中,图像采集模块将图像信号发送至ZYNQ处理模块;ZYNQ处理模块包括PL子模块、PS子模块和DDR存储器,PL子模块用于将接收到的图像信号通过DMA缓存至DDR存储器,并通过PCIE接口将图像数据传输至GPU检测模块;GPU检测模块用于运行特征边缘检测算法,以对接收到的图像数据进行特征边缘检测,并将特征边缘坐标信息输出;PS子模块用于获取GPU检测模块返回至DDR存储器的特征边缘坐标信息,并通过串口打印特征边缘坐标信息。通过本发明的技术方案,大大提高了图像处理的计算能力,实现了图像特征边缘的实时检测。
Description
技术领域
本发明涉及数字图像处理技术领域,尤其涉及一种基于ZYNQ和GPU的特征边缘检测系统和一种基于ZYNQ和GPU的特征边缘检测方法。
背景技术
边缘检测算法是初级机器视觉领域的研究问题,是模式识别、机器人视觉、图像分割、特征提取、图像压缩等中高层任务实施的基础,是图像处理问题中的经典技术难题。传统图像处理的特定边缘检测算法,需要针对待提取的边缘人工设计特征模板和特征提取方法,但人工设计的特征提取方法在背景复杂度不高的情况下比较有效,但在实际应用情况中往往需要提取指定类型或指定区域的物体边缘信息,在存在阴影、光照较差、背景杂物较多的环境,待提取的物体边缘往往会和阴影、杂物的边缘相混淆,难以取得良好的边缘轮廓效果。
深度神经网络算法已在图像、语音识别、广告预测等领域取得众多成果。该算法极大地提升了模式识别算法的识别精度。由于深度神经网络系统拥有众多的神经元,且训练过程的算法复杂度很高,巨大的计算量成为了深度神经网络研究领域发展的巨大障碍。
现有基于嵌入式的图像采集和处理系统大多以DSP、ARM等传统CPU为核心,受限于其有限的并行能力和计算能力,已经难以满足深度神经网络算法的计算需求。
发明内容
针对上述问题中的至少之一,本发明提供了一种基于ZYNQ和GPU的特征边缘检测系统和方法,通过ZYNQ处理模块和GPU检测模块相结合,将采集到的图像信号缓存至DDR存储器中,GPU检测模块通过PCIE接口对图像数据进行高速实时通信,并利用基于深度学习中卷积神经网络的特征边缘检测算法对图像数据进行边缘检测,大大提高了图像处理的计算能力,实现了图像特征边缘的实时检测。
为实现上述目的,本发明提供了一种基于ZYNQ和GPU的特征边缘检测系统,包括:图像采集模块、ZYNQ处理模块和GPU检测模块;所述图像采集模块用于采集图像,并将图像信号发送至所述ZYNQ处理模块;所述ZYNQ处理模块包括PL子模块、PS子模块和DDR存储器,所述PL子模块用于将接收到的图像信号通过DMA缓存至所述DDR存储器,并通过PCIE接口将所述DDR存储器缓存的图像数据传输至所述GPU检测模块;所述GPU检测模块用于运行特征边缘检测算法,以对接收到的图像数据进行特征边缘检测,并将特征边缘坐标信息输出;所述PS子模块用于获取所述GPU检测模块返回至所述DDR存储器的特征边缘坐标信息,并通过串口打印所述特征边缘坐标信息。
在上述技术方案中,优选地,所述GPU检测模块包括HDMI显示接口,所述GPU检测模块将接收到的原始图像数据及所述特征边缘坐标信息通过所述HDMI显示接口输出,所述HDMI显示接口外接显示器。
在上述技术方案中,优选地,所述图像采集模块采用CMOS摄像头,所述CMOS摄像头通过外围电路与所述PL子模块的接口相连。
在上述技术方案中,优选地,所述DDR存储器通过PCIE接口与所述GPU检测模块相连,通过调用PCIE读写函数对所述DDR存储器读取或写入数据。
本发明还提出一种基于ZYNQ和GPU的特征边缘检测方法,应用于上述技术方案所述的基于ZYNQ和GPU的特征边缘检测系统中,包括:采集图像,并将图像信号发送至ZYNQ处理模块;所述ZYNQ处理模块的PL子模块将所述图像信号通过DMA缓存至DDR存储器中;通过PCIE接口将所述DDR存储器中的图像数据发送至GPU检测模块;所述GPU检测模块对接收到的图像数据通过特征边缘检测算法进行检测;所述GPU检测模块将检测得到的特征边缘坐标信息通过所述PCIE接口写入所述DDR存储器。
在上述技术方案中,优选地,基于ZYNQ和GPU的特征边缘检测方法还包括:通过DDR控制器获取所述DDR存储器中写入的所述特征边缘坐标信息,并通过ARM处理器的串口输出打印。
在上述技术方案中,优选地,基于ZYNQ和GPU的特征边缘检测方法还包括:所述GPU检测模块通过HDMI输出接口将所述特征边缘坐标信息和所述图像数据发送至外接显示器显示。
在上述技术方案中,优选地,所述GPU检测模块通过调用PCIE读写函数来读取所述DDR存储器中的图像数据,通过调用PCIE读写函数将所述特征边缘坐标信息写入所述DDR存储器中。
在上述技术方案中,优选地,基于ZYNQ和GPU的特征边缘检测方法还包括:利用TensorRT算法对所述GPU检测模块运行所述特征边缘检测算法进行加速。
在上述技术方案中,优选地,所述特征边缘检测算法包括目标区域的识别与裁剪以及全卷积RCF神经网络,检测出所述图像的特征边缘,并输出特征边缘坐标信息。
与现有技术相比,本发明的有益效果为:通过ZYNQ处理模块和GPU检测模块相结合,将采集到的图像信号缓存至DDR存储器中,GPU检测模块通过PCIE接口对图像数据进行高速实时通信,并利用基于深度学习中卷积神经网络的特征边缘检测算法对图像数据进行边缘检测,大大提高了图像处理的计算能力,实现了图像特征边缘的实时检测。
附图说明
图1为本发明一种实施例公开的基于ZYNQ和GPU的特征边缘检测系统的结构示意图;
图2为本发明一种实施例公开的基于ZYNQ和GPU的特征边缘检测系统的直角特征检测效果示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述:
如图1所示,根据本发明提供的一种基于ZYNQ和GPU的特征边缘检测系统,包括:图像采集模块、ZYNQ处理模块和GPU检测模块;图像采集模块用于采集图像,并将图像信号发送至ZYNQ处理模块;ZYNQ处理模块包括PL子模块、PS子模块和DDR存储器,PL子模块用于将接收到的图像信号通过DMA缓存至DDR存储器,并通过PCIE接口将DDR存储器缓存的图像数据传输至GPU检测模块;GPU检测模块用于运行特征边缘检测算法,以对接收到的图像数据进行特征边缘检测,并将特征边缘坐标信息输出;PS子模块用于获取GPU检测模块返回至DDR存储器的特征边缘坐标信息,并通过串口打印特征边缘坐标信息。
在该实施例中,通过ZYNQ处理模块和GPU检测模块相结合,将采集到的图像信号缓存至DDR存储器中,GPU检测模块通过PCIE接口对图像数据进行高速实时通信,并利用基于深度学习中卷积神经网络的特征边缘检测算法对图像数据进行边缘检测,大大提高了图像处理的计算能力,实现了图像特征边缘的实时检测。
具体地,ZYNQ处理模块包含PS子模块和PL子模块,PL子模块用于信号接收,并将接收到的图像信号通过DMA缓存到DDR存储器中,PL子模块集成PCIE接口,用于将DDR存储器缓存的图像数据传输至GPU检测模块中;PS子模块用于系统控制和接收GPU检测模块返回的图像边缘坐标信息,并打印结果。GPU检测模块用于实现通过特征边缘检测算法对图像进行检测,以及向ZYNQ处理模块返回图像边缘坐标信息。
在上述实施例中,优选地,GPU检测模块还包括HDMI显示接口,GPU检测模块将接收到的原始图像数据及特征边缘坐标信息通过HDMI显示接口输出,HDMI显示接口外接带有HDMI接口的显示器,用于显示检测结果。
在上述实施例中,优选地,图像采集模块采用CMOS摄像头,CMOS摄像头通过外围电路与PL子模块的接口相连。CMOS摄像头可以是OV7725或者OV5640,用于采集待检测目标的图像。
在上述实施例中,优选地,DDR存储器通过PCIE接口与GPU检测模块相连,通过调用PCIE读写函数对DDR存储器读取或写入数据。
本发明还提出一种基于ZYNQ和GPU的特征边缘检测方法,应用于上述实施例的基于ZYNQ和GPU的特征边缘检测系统中,包括:采集图像,并将图像信号发送至ZYNQ处理模块;ZYNQ处理模块的PL子模块将图像信号通过DMA缓存至DDR存储器中;通过PCIE接口将DDR存储器中的图像数据发送至GPU检测模块;GPU检测模块对接收到的图像数据通过特征边缘检测算法进行检测;GPU检测模块将检测得到的特征边缘坐标信息通过PCIE接口写入DDR存储器。
在该实施例中,具体地,PL子模块部分的设计包括:
添加ZYNQ7Processing System IP,使能S_AXI_HP0_Interface和S_AXI_HP1_Interface,使能UART端口,用于打印目标特征边缘坐标;设置两个时钟,一个用于CMOS图像转换IP的时钟,另一个用于视频图像数据流的高速传输;配置DDR3存储器,用于数据缓存;使能M_AXI_GP0口,用于IP的寄存器读写和控制;设置1个中断,用于图像数据的DMA传输中断;使能IIC接口,用于外设的寄存器控制和读写;
添加Video In to AXI4-Stream IP,将视频图像信号转换成AXI4_Stream数据,设置Video Format为RGB,FIFO深度为2048;
添加AXI Direct Memory Access IP,使能写通道,将axi4_Stream的视频图像数据通过DMA搬移到DDR存储器中;
添加自定义CMOS图像转换IP,用于将输入的CMOS模块采集的视频图像数据转换成Video In to AXI4-Stream IP支持的图像数据;
添加DMA/Bridge Subsystem for PCI Express IP,lane width设置为4x,LinkSpeed设置为5.0Gb/s,参考时钟设置为100Mhz,用于ZYNQ与GPU之间的高速数据传输;
添加Utility Buffer IP,用于将外部差分时钟转换成单端时钟,给PCI ExpressIP提供时钟。
PS子模块部分的设计主要是对DMA、IIC等进行初始化,完成COMS传感器的初始化、控制,并设置DMA接收中断处理函数,通过串口打印GPU返回的特征边缘坐标信息。
GPU检测模块优选采用NVIDIA公司的基于嵌入式的JETSON TX系列组件,运行Ubuntu16.04操作系统;移植PCIe DMA接口驱动,完成PCIe bar空间映射、中断初始化及DMA引擎初始化。
在GPU检测模块中运行特征边缘检测算法,包括目标区域的识别与裁剪、全卷积RCF神经网络。进一步优选地,利用TensorRT算法对GPU检测模块运行特征边缘检测算法进行加速。
在上述实施例中,优选地,基于ZYNQ和GPU的特征边缘检测方法还包括:通过DDR控制器获取DDR存储器中写入的特征边缘坐标信息,并通过ARM处理器的串口输出打印。
在上述实施例中,优选地,基于ZYNQ和GPU的特征边缘检测方法还包括:GPU检测模块通过HDMI输出接口将特征边缘坐标信息和图像数据发送至外接显示器显示。
在上述实施例中,优选地,GPU检测模块通过调用PCIE读写函数来读取DDR存储器中的图像数据,通过调用PCIE读写函数将特征边缘坐标信息写入DDR存储器中。
在上述实施例中,优选地,特征边缘检测算法包括目标区域的识别与裁剪以及全卷积RCF神经网络,检测出图像的特征边缘,并输出特征边缘坐标信息。
如图2所示为根据上述实施例提供的基于ZYNQ和GPU的特征边缘检测方法,针对待检测目标的图像进行直角检测的效果对比图,其中,左边的两行为使用摄像头实时拍摄的两个目标检测物体,线圈区域为GPU识别到包含有直角的目标区域,右边两行是使用全卷积RCF神经网络前向推理得到的直角边缘。在实施过程中,可直接通过外接显示器显示上述检测结果。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于ZYNQ和GPU的特征边缘检测系统,其特征在于,包括:图像采集模块、ZYNQ处理模块和GPU检测模块;
所述图像采集模块用于采集图像,并将图像信号发送至所述ZYNQ处理模块;
所述ZYNQ处理模块包括PL子模块、PS子模块和DDR存储器,所述PL子模块用于将接收到的图像信号通过DMA缓存至所述DDR存储器,所述DDR存储器通过PCIE接口与所述GPU检测模块相连,并通过PCIE接口将所述DDR存储器缓存的图像数据传输至所述GPU检测模块,通过调用PCIE读写函数对所述DDR存储器读取或写入数据;
所述GPU检测模块用于运行特征边缘检测算法,以对接收到的图像数据进行特征边缘检测,并将特征边缘坐标信息输出;
所述PS子模块用于获取所述GPU检测模块返回至所述DDR存储器的特征边缘坐标信息,并通过串口打印所述特征边缘坐标信息。
2.根据权利要求1所述的基于ZYNQ和GPU的特征边缘检测系统,其特征在于,所述GPU检测模块包括HDMI显示接口,所述GPU检测模块将接收到的原始图像数据及所述特征边缘坐标信息通过所述HDMI显示接口输出,所述HDMI显示接口外接显示器。
3.根据权利要求1所述的基于ZYNQ和GPU的特征边缘检测系统,其特征在于,所述图像采集模块采用CMOS摄像头,所述CMOS摄像头通过外围电路与所述PL子模块的接口相连。
4.一种基于ZYNQ和GPU的特征边缘检测方法,应用于如权利要求1至3中任一项所述的基于ZYNQ和GPU的特征边缘检测系统中,其特征在于,包括:
采集图像,并将图像信号发送至ZYNQ处理模块;
所述ZYNQ处理模块的PL子模块将所述图像信号通过DMA缓存至DDR存储器中;
通过PCIE接口将所述DDR存储器中的图像数据发送至GPU检测模块;
所述GPU检测模块对接收到的图像数据通过特征边缘检测算法进行检测;
所述GPU检测模块将检测得到的特征边缘坐标信息通过所述PCIE接口写入所述DDR存储器,所述GPU检测模块通过调用PCIE读写函数来读取所述DDR存储器中的图像数据,通过调用PCIE读写函数将所述特征边缘坐标信息写入所述DDR存储器中。
5.根据权利要求4所述的基于ZYNQ和GPU的特征边缘检测方法,其特征在于,还包括:
通过DDR控制器获取所述DDR存储器中写入的所述特征边缘坐标信息,并通过ARM处理器的串口输出打印。
6.根据权利要求4所述的基于ZYNQ和GPU的特征边缘检测方法,其特征在于,还包括:
所述GPU检测模块通过HDMI输出接口将所述特征边缘坐标信息和所述图像数据发送至外接显示器显示。
7.根据权利要求4所述的基于ZYNQ和GPU的特征边缘检测方法,其特征在于,还包括:
利用TensorRT算法对所述GPU检测模块运行所述特征边缘检测算法进行加速。
8.根据权利要求4或7所述的基于ZYNQ和GPU的特征边缘检测方法,其特征在于,所述特征边缘检测算法包括目标区域的识别与裁剪以及全卷积RCF神经网络,检测出所述图像的特征边缘,并输出特征边缘坐标信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010048890.9A CN111242835B (zh) | 2020-01-16 | 2020-01-16 | 基于zynq和gpu的特征边缘检测系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010048890.9A CN111242835B (zh) | 2020-01-16 | 2020-01-16 | 基于zynq和gpu的特征边缘检测系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111242835A CN111242835A (zh) | 2020-06-05 |
CN111242835B true CN111242835B (zh) | 2023-10-10 |
Family
ID=70874637
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010048890.9A Active CN111242835B (zh) | 2020-01-16 | 2020-01-16 | 基于zynq和gpu的特征边缘检测系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111242835B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116721740A (zh) * | 2023-05-12 | 2023-09-08 | 天津御锦人工智能医疗科技有限公司 | 一种智能医疗显示系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107566770A (zh) * | 2017-08-25 | 2018-01-09 | 武汉精测电子技术股份有限公司 | 基于PCIe和HDMI的PG信号传输控制装置和方法 |
CN108229670A (zh) * | 2018-01-05 | 2018-06-29 | 中国科学技术大学苏州研究院 | 基于fpga的深度神经网络加速平台 |
CN110348574A (zh) * | 2019-07-17 | 2019-10-18 | 哈尔滨理工大学 | 一种基于zynq的通用卷积神经网络加速结构及设计方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10802992B2 (en) * | 2016-08-12 | 2020-10-13 | Xilinx Technology Beijing Limited | Combining CPU and special accelerator for implementing an artificial neural network |
US10269159B2 (en) * | 2017-07-27 | 2019-04-23 | Rockwell Collins, Inc. | Neural network foreground separation for mixed reality |
-
2020
- 2020-01-16 CN CN202010048890.9A patent/CN111242835B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107566770A (zh) * | 2017-08-25 | 2018-01-09 | 武汉精测电子技术股份有限公司 | 基于PCIe和HDMI的PG信号传输控制装置和方法 |
CN108229670A (zh) * | 2018-01-05 | 2018-06-29 | 中国科学技术大学苏州研究院 | 基于fpga的深度神经网络加速平台 |
CN110348574A (zh) * | 2019-07-17 | 2019-10-18 | 哈尔滨理工大学 | 一种基于zynq的通用卷积神经网络加速结构及设计方法 |
Non-Patent Citations (1)
Title |
---|
Rethinagiri S K , et al..An energy efficient hybrid FPGA-GPU based embedded platform to accelerate face recognition application.《2015 IEEE Symposium in Low-Power and High-Speed Chips》.2015,正文第1-3页. * |
Also Published As
Publication number | Publication date |
---|---|
CN111242835A (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11467661B2 (en) | Gaze-point determining method, contrast adjusting method, and contrast adjusting apparatus, virtual reality device and storage medium | |
CN107766812B (zh) | 一种基于MiZ702N的实时人脸检测识别系统 | |
CN109409368A (zh) | 矿用皮带纵撕检测装置及检测方法 | |
CN113449573A (zh) | 一种动态手势识别方法及设备 | |
CN111242835B (zh) | 基于zynq和gpu的特征边缘检测系统和方法 | |
CN105208275A (zh) | 一种支持流数据片内实时处理的系统及设计方法 | |
CN111242084B (zh) | 机器人控制方法、装置、机器人及计算机可读存储介质 | |
KR910000203B1 (ko) | 화상처리장치 | |
CN112146834B (zh) | 结构振动位移测量方法及装置 | |
CN101320319A (zh) | 一种适时识别水生动物的装置及其工作方法 | |
CN112581509A (zh) | 一种基于sopc的无人机载地面目标实时跟踪系统及跟踪方法 | |
CN111914786B (zh) | 一种手指静脉识别方法及其系统 | |
CN112416128B (zh) | 一种手势识别方法及终端设备 | |
CN113033256B (zh) | 一种指尖检测模型的训练方法和设备 | |
CN113850814A (zh) | 一种基于cnn模型的荔枝叶片病虫害识别方法 | |
CN205388775U (zh) | 一种采用并行数据处理的图形处理系统 | |
CN207503284U (zh) | 图像边缘检测系统 | |
TWI755849B (zh) | Fpga多主從硬體架構之即時物件追蹤系統 | |
CN112801080B (zh) | 基于fpga的印刷体数字字符自动识别装置 | |
CN205750885U (zh) | 一种线缆表观图像缺陷检测装置 | |
Chen et al. | Real-time buffering, parallel processing and high-speed transmission system for multi-channel video images based on ADER | |
CN111914787B (zh) | 一种用于指静脉识别soc系统的寄存器配置方法 | |
CN111881715B (zh) | 一种人脸检测硬件加速方法、系统和设备 | |
CN117435078A (zh) | 书写笔迹确定方法、装置、计算机设备及存储介质 | |
CN113628273B (zh) | 地图定位方法、装置、计算机可读存储介质及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |