CN109389120A - 一种基于zynqMP的目标检测装置 - Google Patents

一种基于zynqMP的目标检测装置 Download PDF

Info

Publication number
CN109389120A
CN109389120A CN201811267541.5A CN201811267541A CN109389120A CN 109389120 A CN109389120 A CN 109389120A CN 201811267541 A CN201811267541 A CN 201811267541A CN 109389120 A CN109389120 A CN 109389120A
Authority
CN
China
Prior art keywords
neural network
zynqmp
further include
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811267541.5A
Other languages
English (en)
Inventor
秦刚
姜凯
于治楼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Hi Tech Investment and Development Co Ltd
Original Assignee
Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Hi Tech Investment and Development Co Ltd filed Critical Jinan Inspur Hi Tech Investment and Development Co Ltd
Priority to CN201811267541.5A priority Critical patent/CN109389120A/zh
Publication of CN109389120A publication Critical patent/CN109389120A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management

Abstract

本发明提供一种基于zynqMP的目标检测装置，属于目标检测技术领域，该装置通过摄像头采集视频，进入zynqMP的PS端首先进行图像预处理，变为可以适合神经网络模型输入的格式，同时对图像数据进行优化，以减少神经网络模型加速时所需要的PL资源。PS和PL端通过AIX总线交换数据，经过神经网络的卷积池化激活加速后将在PS端完成全连接成的工作并把识别的最终结果显示到PS的终端上。该装置不仅可适合多种神经网络，还具有识别精度高速度快的特点。

Description

一种基于zynqMP的目标检测装置
技术领域
本发明涉及目标检测技术领域，尤其涉及一种基于zynqMP的目标检测装置。
背景技术
目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。
随着计算机技术的发展和计算机视觉原理的广泛应用，利用计算机图像处理技术对目标进行实时跟踪研究越来越热门，对目标进行动态实时跟踪定位在智能化交通系统、智能监控系统、军事目标检测及医学导航手术中手术器械定位等方面具有广泛的应用价值。
由于目标检测技术要求的日益提高，对目标处理及检测速度和精度都有了较高的要求，进而需要新的方法来面对现有的检测需求。
zynqMP芯片是包含了FPGA、多核ARM、图像处理器的一种SOC芯片，兼具了FPGA的灵活性和ARM芯片强大的处理功能。
发明内容
为了解决以上技术问题，本发明提出了一种基于zynqMP的目标检测装置，使用此类互联装置的系统具有目标检测速度快，检测精度高的特点。
本发明的技术方案是：
一种基于zynqMP的目标检测装置，该装置主要采用单主控芯片和外围存储芯片完成。主控芯片为包含arm核的zynqMP芯片。通过视频输入设备和视频输出部分完成图像截取和输出。
其中，该装置的PS（arm核心）主要包括视频获取并存储图像，对系统和告警进行管理，对系统错误进行重启恢复。
该装置的PS端图像的预处理，将输入图像转换成适宜神经网络处理的格式。并且对图像数据进行优化，剔除为0的数据，同时对图像数据进行清晰性处理。
进一步的，该装置的PS端还进行神经网络的全连接层运算。
进一步的，该装置的PS端还进行神经网络的指令和数据下发的控制。
进一步的，该装置的PL（FPGA）端完成神经网络的加速功能，包括卷积池化激活等模块
进一步的，该装置的PL（FPGA）端DDR存储神经网络计算的中间结果，PS端存储图像数据和神经网络训练的权重。
本发明的主要工作过程为：
该装置通过摄像头采集视频，进入zynqMP的PS端首先进行图像预处理，以减少神经网络模型加速时所需要的PL资源。PS和PL端通过AIX总线交换数据，经过神经网络的卷积池化激活加速后将在PS端完成全连接成的工作并把识别的最终结果显示到PS的终端上。
进一步的，
其中，主控芯片zynqMP的PS端完成图像接收和存储，将每帧图像做预处理，PS端DDR除了存储中间图像信息外，还需要存储用于神经网络的训练好的模型参数，PS端通过AXI接口下发模型参数和指令来指导神经网络的加速。同时接收PL端的错误信息并进行处理提高系统的容错性。
除此之外，为了减少PL端的资源占用，降低PL端计算的复杂度，将神经网络的全连接层放在PS端实现，最终结果通过DP等视频接口显示在外部显示器上。同时PS端也完成外围设备的驱动及PL端加速器的设备驱动实现。
zynqMP的PL端主要完成神经网络的算法加速。通过AXI加速模块完成与PS端数据间的数据交换，同时对PS端下发的指令进行解析，用于神经网络的各个主要模块的选择，由于神经网络的巨大的计算量，所以需要PL端DDR来存储中间计算的结果，同时为了节省资源将神经网络的全连接层放在PS端。同时PL端还会做容错处理，将PL端的错误上报给PS端，由PS端根据错误类型做进一步处理。
该装置不仅可适合多种神经网络，还具有识别精度高速度快的特点。
附图说明
图1是本发明的机构框图。
具体实施方式
下面对本发明的内容进行更加详细的阐述：
本发明提供了一种基于zynqMP的目标检测装置，该装置主要采用包含arm核的zynqMP芯片和外围存储芯片。
zynqMP芯片的PS（arm核心）主要包括视频获取并存储图像，对系统和告警进行管理，对系统错误进行重启恢复。PS端图像的预处理，将输入图像转换成适宜神经网络处理的格式。并且对图像数据进行优化，剔除为0的数据，同时对图像数据进行清晰性处理。
zynqMP芯片的PL（FPGA）端DDR存储神经网络计算的中间结果，PS端存储图像数据和神经网络训练的权重。
首先，主控芯片zynqMP的PS端完成图像接收和存储，将每帧图像做预处理，PS端DDR除了存储中间图像信息外，还需要存储用于神经网络的训练好的模型参数，PS端通过AXI接口下发模型参数和指令来指导神经网络的加速。同时接收PL端的错误信息并进行处理提高系统的容错性。
除此之外，为了减少PL端的资源占用，降低PL端计算的复杂度，将神经网络的全连接层放在PS端实现，最终结果通过DP等视频接口显示在外部显示器上。
同时PS端也完成外围设备的驱动及PL端加速器的设备驱动实现。
另外，zynqMP的PL端主要完成神经网络的算法加速。通过AXI加速模块完成与PS端数据间的数据交换，同时对PS端下发的指令进行解析，用于神经网络的各个主要模块的选择，由于神经网络的巨大的计算量，所以需要PL端DDR来存储中间计算的结果，同时为了节省资源将神经网络的全连接层放在PS端。同时PL端还会做容错处理，将PL端的错误上报给PS端，由PS端根据错误类型做进一步处理。
如图1所示，首先将训练好的神经网络模型参数以及适应神经网络模型的指令存储到SD卡中（或者通过外围接口下载到PS端）。
首先通过外围摄像头获取图像，在PS端对图像进行预处理，根据神经网络模型将图像预处理成所需的格式，随后将图像数据和指令根据不同神经网络每一层的需要通过AXI接口下发到PL端，PL端开始根据指令和数据进行卷积、池化的计算，同时将计算的中间结果存储到PL端的DDR中备用，由于PL端的DDR接口位宽比PS端的大很多，这样能显著提高存储和计算速度。
经过多次的复用计算，PL端将结果通过AXI接口发送到PS端，PS端对PL端接收到数据根据神经网络的模型指令进行全连接计算，并将最终的结果通过DP等视频端口输出到外部显示。

Claims (8)

1.一种基于zynqMP的目标检测装置，其特征在于，
主要包括单主控芯片、外围存储芯片、视频输入设备和视频输出部分；其中主控芯片为包含arm核的zynqMP芯片；
主控芯片zynqMP的PS端主要负责视频获取并存储图像，对系统和告警进行管理，对系统错误进行重启恢复；
主控芯片zynqMP的PL端主要完成神经网络的加速功能；
PS端首先进行图像预处理，PS端和PL端通过AIX总线交换数据，经过神经网络的卷积池化激活加速后将在PS端完成全连接成的工作并把识别的最终结果显示到PS的终端上。
2.根据权利要求1所述的装置，其特征在于，
进一步的包括，
主控芯片zynqMP的PS端负责图像的预处理，将输入图像转换成适宜神经网络处理的格式；并且对图像数据进行优化，剔除为0的数据，同时对图像数据进行清晰性处理。
3.根据权利要求2所述的装置，其特征在于，
进一步的包括，
PS端还进行神经网络的全连接层运算。
4.根据权利要求2或3所述的装置，其特征在于，
进一步的包括，
PS端还进行神经网络的指令和数据下发的控制。
5.根据权利要求4所述的装置，其特征在于，
进一步的包括，
PS端DDR存储图像数据和神经网络训练的权重；PL端DDR存储神经网络计算的中间结果。
6.根据权利要求5所述的装置，其特征在于，
进一步的包括，
PS端DDR除了存储中间图像信息外，还需要存储用于神经网络的训练好的模型参数，PS端通过AXI接口下发模型参数和指令来指导神经网络的加速，同时接收PL端的错误信息并进行处理提高系统的容错性。
7.根据权利要求6所述的装置，其特征在于，
进一步的包括，
zynqMP的PL端通过AXI加速模块完成与PS端数据间的数据交换，同时对PS端下发的指令进行解析，用于神经网络的各个主要模块的选择，同时为了节省资源将神经网络的全连接层放在PS端。
8.根据权利要求1所述的装置，其特征在于，
进一步的包括，
同时PL端还会做容错处理，将PL端的错误上报给PS端，由PS端根据错误类型做进一步处理。
CN201811267541.5A 2018-10-29 2018-10-29 一种基于zynqMP的目标检测装置 Pending CN109389120A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811267541.5A CN109389120A (zh) 2018-10-29 2018-10-29 一种基于zynqMP的目标检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811267541.5A CN109389120A (zh) 2018-10-29 2018-10-29 一种基于zynqMP的目标检测装置

Publications (1)

Publication Number Publication Date
CN109389120A true CN109389120A (zh) 2019-02-26

Family

ID=65428020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811267541.5A Pending CN109389120A (zh) 2018-10-29 2018-10-29 一种基于zynqMP的目标检测装置

Country Status (1)

Country Link
CN (1) CN109389120A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197497A (zh) * 2019-06-03 2019-09-03 山东浪潮人工智能研究院有限公司 一种基于深度学习的野外生物追踪系统及方法
CN110569713A (zh) * 2019-07-22 2019-12-13 北京航天自动控制研究所 一种利用dma控制器实现数据串并行二维传输的目标探测系统及方法
CN110827317A (zh) * 2019-11-04 2020-02-21 西安邮电大学 一种基于fpga的四目运动目标检测与识别设备及方法
CN111178322A (zh) * 2020-01-10 2020-05-19 济南浪潮高新科技投资发展有限公司 一种用于边缘端图像的识别加速系统和方法
CN111787321A (zh) * 2020-07-06 2020-10-16 济南浪潮高新科技投资发展有限公司 用于边缘端的基于深度学习的图片压缩、解压缩方法及系统
CN111953888A (zh) * 2019-05-16 2020-11-17 武汉Tcl集团工业研究院有限公司 暗光成像方法、装置、计算机可读存储介质及终端设备
CN112330524A (zh) * 2020-10-26 2021-02-05 沈阳上博智像科技有限公司 一种在图像跟踪系统中快速实现卷积的装置和方法
CN113139519A (zh) * 2021-05-14 2021-07-20 陕西科技大学 一种基于全可编程片上系统的目标检测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631798A (zh) * 2016-03-04 2016-06-01 北京理工大学 低功耗便携式实时图像目标检测与跟踪系统及方法
CN105847766A (zh) * 2016-05-30 2016-08-10 福州大学 一种基于Zynq-7000的运动目标检测与跟踪系统
CN107657316A (zh) * 2016-08-12 2018-02-02 北京深鉴科技有限公司 通用处理器与神经网络处理器的协同系统设计
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
CN108806243A (zh) * 2018-04-24 2018-11-13 东南大学 一种基于Zynq-7000的交通流量信息采集终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631798A (zh) * 2016-03-04 2016-06-01 北京理工大学 低功耗便携式实时图像目标检测与跟踪系统及方法
CN105847766A (zh) * 2016-05-30 2016-08-10 福州大学 一种基于Zynq-7000的运动目标检测与跟踪系统
CN107657316A (zh) * 2016-08-12 2018-02-02 北京深鉴科技有限公司 通用处理器与神经网络处理器的协同系统设计
US20180068198A1 (en) * 2016-09-06 2018-03-08 Carnegie Mellon University Methods and Software for Detecting Objects in an Image Using Contextual Multiscale Fast Region-Based Convolutional Neural Network
CN108806243A (zh) * 2018-04-24 2018-11-13 东南大学 一种基于Zynq-7000的交通流量信息采集终端

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111953888A (zh) * 2019-05-16 2020-11-17 武汉Tcl集团工业研究院有限公司 暗光成像方法、装置、计算机可读存储介质及终端设备
CN111953888B (zh) * 2019-05-16 2021-12-24 武汉Tcl集团工业研究院有限公司 暗光成像方法、装置、计算机可读存储介质及终端设备
CN110197497A (zh) * 2019-06-03 2019-09-03 山东浪潮人工智能研究院有限公司 一种基于深度学习的野外生物追踪系统及方法
CN110569713A (zh) * 2019-07-22 2019-12-13 北京航天自动控制研究所 一种利用dma控制器实现数据串并行二维传输的目标探测系统及方法
CN110569713B (zh) * 2019-07-22 2022-04-08 北京航天自动控制研究所 一种利用dma控制器实现数据串并行二维传输的目标探测系统及方法
CN110827317A (zh) * 2019-11-04 2020-02-21 西安邮电大学 一种基于fpga的四目运动目标检测与识别设备及方法
CN111178322A (zh) * 2020-01-10 2020-05-19 济南浪潮高新科技投资发展有限公司 一种用于边缘端图像的识别加速系统和方法
CN111178322B (zh) * 2020-01-10 2022-09-30 山东浪潮科学研究院有限公司 一种用于边缘端图像的识别加速系统和方法
CN111787321A (zh) * 2020-07-06 2020-10-16 济南浪潮高新科技投资发展有限公司 用于边缘端的基于深度学习的图片压缩、解压缩方法及系统
CN112330524A (zh) * 2020-10-26 2021-02-05 沈阳上博智像科技有限公司 一种在图像跟踪系统中快速实现卷积的装置和方法
CN113139519A (zh) * 2021-05-14 2021-07-20 陕西科技大学 一种基于全可编程片上系统的目标检测系统
CN113139519B (zh) * 2021-05-14 2023-12-22 陕西科技大学 一种基于全可编程片上系统的目标检测系统

Similar Documents

Publication Publication Date Title
CN109389120A (zh) 一种基于zynqMP的目标检测装置
CN111046948B (zh) 点云仿真和深度学习的工件位姿识别及机器人上料方法
CN107742311A (zh) 一种视觉定位的方法及装置
CN109801265B (zh) 一种基于卷积神经网络的实时输电设备异物检测系统
CN112446919A (zh) 物体位姿估计方法、装置、电子设备及计算机存储介质
CN109801590B (zh) 用于led显示屏的多接收单元自动配置方法、装置及系统
US20200286100A1 (en) Payment complaint method, device, server and readable storage medium
CN108052894A (zh) 一种目标对象的多属性识别方法、设备、介质及神经网络
CN107656991A (zh) 一种远程指导方法、装置及系统
CN112788110A (zh) 一种基于云边协同模型优化的产品外观检测方法及其实现系统
CN110134036A (zh) 一种串口数据采集轮询的方法、监控系统及存储介质
CN108182119A (zh) 读写分离控制方法和装置、存储介质及电子装置
CN113591580B (zh) 图像标注方法、装置、电子设备和存储介质
CN112468378B (zh) 一种基于can总线的大容量数据传输设备及方法
CN103942554A (zh) 一种图像识别方法及装置
CN112809672A (zh) 一种机械手臂用目标定位系统
CN112199154A (zh) 一种基于分布式协同采样中心式优化的强化学习训练系统及方法
US20220351495A1 (en) Method for matching image feature point, electronic device and storage medium
CN114579654B (zh) 一种银行多支付结算系统的统一运营管理方法及平台系统
CN101634939B (zh) 一种快速寻址装置和方法
JP7412489B2 (ja) 連合学習方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム
CN113721240B (zh) 一种目标关联方法、装置、电子设备及存储介质
CN115082795A (zh) 虚拟图像的生成方法、装置、设备、介质及产品
CN110378241B (zh) 作物生长状态监控方法、装置、计算机设备及存储介质
CN212367393U (zh) 一种基于ai芯片的视频图像处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190226

RJ01 Rejection of invention patent application after publication