CN112616043A - 基于pynq的神经网络的识别视频监控报警系统及方法 - Google Patents
基于pynq的神经网络的识别视频监控报警系统及方法 Download PDFInfo
- Publication number
- CN112616043A CN112616043A CN202011529183.8A CN202011529183A CN112616043A CN 112616043 A CN112616043 A CN 112616043A CN 202011529183 A CN202011529183 A CN 202011529183A CN 112616043 A CN112616043 A CN 112616043A
- Authority
- CN
- China
- Prior art keywords
- neural network
- data
- convolutional neural
- pynq
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 54
- 238000004891 communication Methods 0.000 claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000013145 classification model Methods 0.000 claims description 21
- 238000010586 diagram Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims 3
- 230000003139 buffering effect Effects 0.000 claims 2
- 230000003213 activating effect Effects 0.000 claims 1
- 238000002372 labelling Methods 0.000 claims 1
- 230000011218 segmentation Effects 0.000 claims 1
- 230000001537 neural effect Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 238000011176 pooling Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于PYNQ的神经网络的识别视频监控报警系统及方法，属于卷积神经网络与FPGA的结合以及应用，先利用算法进行训练得到网络模型，根据得到的网络模型在FPGA上搭建一个深度神经网络加速器，利用FPGA的低功耗和运算的并行特性，运用流水线输入，数据复用等方法对卷积神经系统的加速，并利用该神经网络加速器利用拍摄头采集到的图片进行特征提取和目标分类，实现监控环境中是否有陌生人。此外，利用无线通信模块将检测结果发送给客户端平台。本发明能够实现自动监控的功能，实时监控环境，并将异常情况反馈给监控者，无需人工观察，方便且极大节省了人力。
Description
技术领域
本发明涉及环境安全监控技术领域，尤其是涉及基于PYNQ平台的软硬相结合的神经网络加速器以及在智能监控上的应用。
背景技术
安全一直以来都是人类所关注的首要话题之一，过去是人类的站岗放哨，到现在的摄像头密布，一张安全监控的大网保障着我们人身财产的安全，也使得犯罪率下降。随着经济社会的发展，人们对于住宅等私人领域的隐私和安全以及果园等一些产业财产监控也越加看中，而单靠人力去监守显然是有较大的局限性的，智能监控的出现正好提供了这方面的需求。随着科技的发展，传统的监控手段已经逐渐被淘汰，基于深度学习的智能监控正在蓬勃发展，向着更低廉，更便捷，更智能，更人性化，更服务人类的方向迅猛前进。
ZYNQ是Xilinx（赛灵思公司）推出的ZYNQ平台，PYNQ是Python和ZYNQ的组合，是使用python在Xilinx的ZYNQ平台上进行开发。ZYNQ分为PS和PL两个部分，PS有两个ARM的核，在上面运行linux操作系统，在操作系统上再运行python，PL部分就是FPGA的逻辑资源。
神经网络的兴起，越来越得到市场的认可，可以通过训练后的神经网络来提高视频监控过程中的识别性能。
如何能够更好的结合神经网络在PYNQ上的应用，从而提高监控报警系统的性能，以便能够及时处理异常情况是目前相关领域关注的焦点。
发明内容
为解决现有技术的不足，实现神经网络与PYNQ更好的结合并应用于监控报警系统的目的，本发明采用如下的技术方案：
基于PYNQ的神经网络的识别视频监控报警系统，包括视频采集模块、控制模块、通信接口模块、无线通信模块、上位机模块，其中通信接口模块分别与采集模块、控制模块、无线通信模块连接，无线通信模块与上位机模块连接，还包括与通信接口模块连接的卷积神经网络加速器，所述卷积神经网络加速器是通过训练好的卷积神经网络分类模型实现的，在PYNQ的PL部分，所述控制模块，包括ARM芯片，在PYNQ的PS部分，控制模块通过总线实现对PL部分的控制及通信；
所述视频采集模块，将采集到的监控环境的特征图输入DDR；
所述ARM芯片，从DDR读取特征图经预处理，生成卷积神经网络分类模型的输入格式，并存入DDR中；
所述卷积神经网络加速器，读取DDR数据，采用卷积神经网络分类模型的权重利用FPGA的低功耗、并行计算特性等独特优势，在卷积神经网络分类模型的各层采用重复分配计算资源、数据复用、多级流水数据处理方法，并行的进行数据处理，通过数据移位的方法实现数据缓存，对训练模型进行硬件加速，并根据特征差异实现识别；
无线通信模块，将卷积神经网络加速器识别到的异常情况上传到上位机模块，最终实现终端（摄像头）数据上传到客户端平台，达到危险预警的作用。
针对环境异常情况识别模型的训练，将训练好的模型在PL上实现并加速，通过摄像头采集监控环境信息，经ARM预处理成网络加速器特征图输入格式后，存储的DDR中，然后PL端通过DMA读取DDR数据到卷积神经网络加速器，通过设计的神经网络加速器识别分类，从而判断是否存在对安全造成威胁的异常情况，如果有异常情况，系统将实时的异常情况通过通信接口模块，再经无线通信模块发送到服务器平台，达到预警的同时，能及时处理异常，预防意外，及时止损。
系统综合了软件与硬件，利用了ARM软件的灵活性和FPGA的独特优势，采用重复分配计算资源、数据复用、任务分段，在卷积层、池化层上采多级流水数据处理方法，并行的进行数据处理，通过数据移位的方法实现数据缓存，以实现卷积神经网络加速器。
进一步的，所述通信，是通过总线将ARM芯片与PL部分进行参数传输，配置核大小、步长；将监控的检测结果经通信接口模块通过无线通信模块将检测异常发送给上位机模块。
进一步的，所述控制，是检测各层网络的计算完成情况，以及控制神经网络的各层能够有序的进行，包括启动神经网络的各层。
进一步的，所述卷积神经网络分类模型的训练，将采集的数据作为训练集，对训练集中的特征进行标注，采用特征算法进行特征提取，然后用训练集进行训练，并在验证集上进行验证，卷积神经网络分类模型保存最优的权重，用于后续读取，并记录训练集和验证集的精度，便于调参。
进一步的，所述视频采集模块，通过在PL部分上的IIC驱动实现对摄像头的IIC配置，用于配置摄像头的工作参数，并利用摄像头将采集到的监控环境的特征图输入DDR。
进一步的，所述预处理包括锐化、裁剪操作。
基于PYNQ的神经网络的识别视频监控报警方法，包括如下步骤：
S1，将采集到的监控环境的特征图输入DDR；
S2，PYNQ的PS部分的控制模块，包括ARM芯片，所述ARM芯片，从DDR读取特征图经预处理，生成卷积神经网络分类模型的输入格式，并存入DDR中；控制模块通过总线实现对PL部分的控制及通信；
S3，PYNQ的PL部分的卷积神经网络加速器，对训练好的卷积神经网络分类模型进行加速；包括如下步骤：
S31，卷积神经网络加速器，读取DDR数据；
S32，读取卷积神经网络分类模型的权重；
S33，在卷积神经网络分类模型的各层采用重复分配计算资源、数据复用、多级流水数据处理方法，并行的进行数据处理，通过数据移位的方法实现数据缓存，对训练模型进行硬件加速；
S34，根据特征差异实现识别；
S4，无线通信模块，将卷积神经网络加速器识别到的异常情况上传到上位机模块。
针对环境异常情况识别模型的训练，将训练好的模型在PL上实现并加速，通过摄像头采集监控环境信息，经ARM预处理成网络加速器特征图输入格式后，存储的DDR中，然后PL端通过DMA读取DDR数据到卷积神经网络加速器，通过设计的神经网络加速器识别分类，从而判断是否存在对安全造成威胁的异常情况，如果有异常情况，系统将实时的异常情况通过通信接口模块，再经无线通信模块发送到服务器平台，达到预警的同时，能及时处理异常，预防意外，及时止损。
系统综合了软件与硬件，利用了ARM软件的灵活性和FPGA的独特优势，采用重复分配计算资源、数据复用、任务分段，在卷积层、池化层上采多级流水数据处理方法，并行的进行数据处理，通过数据移位的方法实现数据缓存，以实现卷积神经网络加速器。
进一步的，所述加速器的加速包括流水线分段计算，将多条指令的不同步骤重叠操作，实现几条指令并行处理，所述重叠操作，是将一个卷积n×n窗口分为n步操作，每一步对卷积窗口的一列数据进行乘操作，即一级流水，然后将结果累加，即二级流水，实现了乘累加操作，n步并行，最终产生n个值，然后再将这n个值进行累加，即三级流水，从而完成一个卷积窗口的卷积操作；当有m个通道，便同时操作m个n×n卷积窗口，实现多通道并行处理；完成一次n×n大小的卷积窗口时，如果是重叠卷积，将重叠部分的数据用于下次卷积，实现了复用计算资源。
进一步的，所述加速器的加速包括线性缓存，在卷积神经网络加速器输入特征图时，用ram进行缓存，数据每输入一个，存储模块向前移动一位，利用ram可以随意读写的特性，实现数据复用以及卷积核的并行处理。
本发明的优势和有益效果在于：
本发明采用软硬件相结合的资源利用方式，采用PL端实现深度学习推理部分的神经网络加速器以及实时无线传输监控结果到终端，利用硬件来实现神经网络加速器，这样的设计计算速度快，系统反应迅速，无线传输能及时反馈异常信息等优点。
附图说明
图1是本发明的模块结构示意图。
图2是本发明中基于PYNQ的卷积神经网络加速器的系统框图。
图3是本发明中卷积神经网络的流程图。
图4是本发明中缓存移位的示意图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
开发者在PL中实现卷积神经网络加速器，卷积神经网络加速器通过AXI总线连接到PS端，PYNQ有一个特有的库叫overlay，使用这个库可以对连接到PS端的接口进行解析，进而控制FPGA逻辑资源及IO。
如图1-3所示，一种基于PYNQ的卷积神经网络加速器的识别视频监控报警系统及方法，包括视频采集模块、控制模块、通信接口模块、无线通信模块、上位机模块，其中通信接口模块分别与采集模块、控制模块、无线通信模块连接，无线通信模块与上位机模块连接，还包括与通信接口模块连接的卷积神经网络加速器，所述卷积神经网络加速器是在PYNQ的PL部分，通过训练好的神经网络分类模型实现的；
所述视频采集模块，通过在FPGA（PL部分）上的IIC驱动实现对摄像头的IIC配置，用于配置摄像头的工作参数，并利用摄像头，将采集到的监控环境的特征图输入DDR；
所述控制模块，在PYNQ的PS部分，包括ARM芯片，ARM芯片从DDR读取特征图经预处理（锐化、裁剪操作），生成resnet卷积神经网络的输入格式（即所需的特征图大小，例如8位三通道的224*224像素的特征图），并存入DDR中；控制模块通过AXI总线实现对PL部分的控制及通信，控制是检测各层网络的计算完成情况，以及控制神经网络的各层能够有序的进行（启动网络的相应层，如卷积层、池化层、全连接层），通过AXI总线将ARM芯片与FPGA进行通信是传输参数配置核大小、步长，经通信接口模块通过无线通信模块将检测异常发送给上位机模块；
所述卷积神经网络加速器，PL部分通过DMA（Direct Memory Access，一种不经过CPU而直接从内存了存取数据的数据交换模式）读取DDR数据到卷积神经网络加速器，卷积神经网络加速器采用resnet卷积神经网络分类模型根据人与物的特征差异实现人与物的区分，检测所监控的环境是否有人存在；
resnet卷积神经网络分类模型的训练，需要将采集的环境信息作为训练集，对训练集中人体特征进行标注，用SURF算法、HOG特征算法、LBP特征算法、Haar特征算法等都可以进行特征提取；然后用训练集进行训练；在验证集上进行验证；模型可以保存最优的权重，并读取权重；记录下训练集和验证集的精度，便于调参；
卷积神经网络加速器，特征读取模块采用线性缓存的方法实现输入数据的复用，在做卷积时可以通过流水线分段计算的方法，用乒乓球缓存的方式实现卷积部分的加速。主要是对卷积层的加速，神经网络加速器的输入是8位三通道224*224像素的特征图，①将读入的数据用用ram进行缓存，如图4所示，数据每输入一个，存储模块向前移动一位，而ram的特性是可以随意读写的，这样就可以实现数据复用，以及卷积核的并行处理。②流水线（Pipeline）技术是一种将每条指令拆分为多个步骤，多条指令的不同步骤重叠操作，从而实现几条指令并行处理的技术。一个卷积n×n窗口可以分为n步操作，每一步对卷积窗口的一列数据进行乘操作（一级流水），然后将结果累加（二级流水），这样就实现了乘累加操作，n步并行，最终产生n个值，然后再将这n个值进行累加（三级流水）即可完成一个卷积窗口的卷积操作。如果是m通道，那么就将上述的操作同时操作m个n×n卷积窗口操作即可，实现多通道并行处理。做完一次n×n大小的卷积窗口时，如果是重叠卷积，那么重叠部分的数据可以用于下次卷积，这样就实现了复用计算资源。
PL上实现卷积神经网络加速器模块，根据得到的RESNET神经网络模型的网络权重，利用FPGA的低功耗、并行计算特性等独特优势，对训练模型进行硬件加速，在卷积层、池化层上、全连接层等，采用重复分配计算资源、数据复用、多级流水数据处理方法，并行的进行数据处理，通过数据移位的方法实现数据缓存以实现RESNET卷积神经网络的加速。
无线通信模块，通过将卷积神经网络加速器识别到的异常情况上传到上位机模块（客户端平台），最终实现终端（摄像头）数据上传到客户端平台，达到危险预警的作用；
通信接口模块，用于IIC、无线通信、PS与PL的通信协议转换和接口的匹配，实现PS部分和PL部分通过AXI通信，摄像头和PS部分ARM芯片的通信，以及无线通信模块的传输，通过IIC通信协议将视频数据接入PL部分。
所述上位机模块，即客户端平台，采用Qt编写，用高级语言来实现无线通信模块发送的信息的接收。
系统综合了软件与硬件，利用了ARM软件的灵活性和FPGA的独特优势，采用重复分配计算资源、数据复用、任务分段，在卷积层、池化层上采多级流水数据处理方法，并行的进行数据处理，通过数据移位的方法实现数据缓存，以实现卷积神经网络加速器。
针对环境异常情况识别模型的训练，将训练好的模型在PL上实现并加速，通过摄像头采集监控环境信息，经ARM预处理成网络加速器特征图输入格式后，存储的DDR中，然后PL端通过DMA读取DDR数据到卷积神经网络加速器，通过设计的神经网络加速器识别分类，从而判断是否存在对安全造成威胁的异常情况，如果有异常情况，系统将实时的异常情况通过通信接口模块，再经无线通信模块发送到服务器平台，达到预警的同时，能及时处理异常，预防意外，及时止损。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (9)
1.基于PYNQ的神经网络的识别视频监控报警系统，包括视频采集模块、控制模块、通信接口模块、无线通信模块、上位机模块，其中通信接口模块分别与采集模块、控制模块、无线通信模块连接，无线通信模块与上位机模块连接，其特征在于还包括与通信接口模块连接的卷积神经网络加速器，所述卷积神经网络加速器是通过训练好的卷积神经网络分类模型实现的，在PYNQ的PL部分，所述控制模块，包括ARM芯片，在PYNQ的PS部分，控制模块通过总线实现对PL部分的控制及通信；
所述视频采集模块，将采集到的监控环境的特征图输入DDR；
所述ARM芯片，从DDR读取特征图经预处理，生成卷积神经网络分类模型的输入格式，并存入DDR中；
所述卷积神经网络加速器，读取DDR数据，采用卷积神经网络分类模型的权重，在卷积神经网络分类模型的各层采用重复分配计算资源、数据复用、多级流水数据处理方法，并行的进行数据处理，通过数据移位的方法实现数据缓存，对训练模型进行硬件加速，并根据特征差异实现识别；
无线通信模块，将卷积神经网络加速器识别到的异常情况上传到上位机模块。
2.如权利要求1所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述通信，是通过总线将ARM芯片与PL部分进行参数传输，配置核大小、步长；将监控的检测结果经通信接口模块通过无线通信模块将检测异常发送给上位机模块。
3.如权利要求1所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述控制，是检测各层网络的计算完成情况，以及控制神经网络的各层能够有序的进行，包括启动神经网络的各层。
4.如权利要求1所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述卷积神经网络分类模型的训练，将采集的数据作为训练集，对训练集中的特征进行标注，采用特征算法进行特征提取，然后用训练集进行训练，并在验证集上进行验证，卷积神经网络分类模型保存最优的权重，用于后续读取，并记录训练集和验证集的精度。
5.如权利要求1所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述视频采集模块，通过在PL部分上的IIC驱动实现对摄像头的IIC配置，用于配置摄像头的工作参数，并利用摄像头将采集到的监控环境的特征图输入DDR。
6.如权利要求1所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述预处理包括锐化、裁剪操作。
7.基于PYNQ的神经网络的识别视频监控报警方法，其特征在于包括如下步骤：
S1，将采集到的监控环境的特征图输入DDR；
S2，PYNQ的PS部分的控制模块，包括ARM芯片，所述ARM芯片，从DDR读取特征图经预处理，生成卷积神经网络分类模型的输入格式，并存入DDR中；控制模块通过总线实现对PL部分的控制及通信；
S3，PYNQ的PL部分的卷积神经网络加速器，对训练好的卷积神经网络分类模型进行加速；包括如下步骤：
S31，卷积神经网络加速器，读取DDR数据；
S32，读取卷积神经网络分类模型的权重；
S33，在卷积神经网络分类模型的各层采用重复分配计算资源、数据复用、多级流水数据处理方法，并行的进行数据处理，通过数据移位的方法实现数据缓存，对训练模型进行硬件加速；
S34，根据特征差异实现识别；
S4，无线通信模块，将卷积神经网络加速器识别到的异常情况上传到上位机模块。
8.如权利要求7所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述加速器的加速包括流水线分段计算，将多条指令的不同步骤重叠操作，所述重叠操作，是将一个卷积n×n窗口分为n步操作，每一步对卷积窗口的一列数据进行乘操作，即一级流水，然后将结果累加，即二级流水，n步并行，最终产生n个值，然后再将这n个值进行累加，即三级流水，从而完成一个卷积窗口的卷积操作；当有m个通道，便同时操作m个n×n卷积窗口；完成一次n×n大小的卷积窗口时，如果是重叠卷积，将重叠部分的数据用于下次卷积。
9.如权利要求7所述的基于PYNQ的神经网络的识别视频监控报警系统，其特征在于所述加速器的加速包括线性缓存，在卷积神经网络加速器输入特征图时，用ram进行缓存，数据每输入一个，存储模块向前移动一位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529183.8A CN112616043A (zh) | 2020-12-22 | 2020-12-22 | 基于pynq的神经网络的识别视频监控报警系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011529183.8A CN112616043A (zh) | 2020-12-22 | 2020-12-22 | 基于pynq的神经网络的识别视频监控报警系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112616043A true CN112616043A (zh) | 2021-04-06 |
Family
ID=75244092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011529183.8A Pending CN112616043A (zh) | 2020-12-22 | 2020-12-22 | 基于pynq的神经网络的识别视频监控报警系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112616043A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114239646A (zh) * | 2021-12-01 | 2022-03-25 | 电子科技大学 | 一种基于复数神经网络的辐射源识别系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104545902A (zh) * | 2015-01-30 | 2015-04-29 | 中国科学院电子学研究所 | 4段流水线数字信号处理器及采用其的无线片上系统芯片 |
| CN109034281A (zh) * | 2018-07-18 | 2018-12-18 | 中国科学院半导体研究所 | 加速基于卷积神经网络的中文手写体识别的方法 |
| CN110414401A (zh) * | 2019-07-22 | 2019-11-05 | 杭州电子科技大学 | 一种基于pynq的智能监控系统及监控方法 |
| CN111860784A (zh) * | 2020-07-24 | 2020-10-30 | 上海仪电（集团）有限公司中央研究院 | 基于arm和fpga的卷积神经识别系统及方法 |
-
2020
- 2020-12-22 CN CN202011529183.8A patent/CN112616043A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104545902A (zh) * | 2015-01-30 | 2015-04-29 | 中国科学院电子学研究所 | 4段流水线数字信号处理器及采用其的无线片上系统芯片 |
| CN109034281A (zh) * | 2018-07-18 | 2018-12-18 | 中国科学院半导体研究所 | 加速基于卷积神经网络的中文手写体识别的方法 |
| CN110414401A (zh) * | 2019-07-22 | 2019-11-05 | 杭州电子科技大学 | 一种基于pynq的智能监控系统及监控方法 |
| CN111860784A (zh) * | 2020-07-24 | 2020-10-30 | 上海仪电（集团）有限公司中央研究院 | 基于arm和fpga的卷积神经识别系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 柳泽辰: "移位卷积神经网络的软硬件加速设计", 《上海交通大学》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114239646A (zh) * | 2021-12-01 | 2022-03-25 | 电子科技大学 | 一种基于复数神经网络的辐射源识别系统 |
| CN114239646B (zh) * | 2021-12-01 | 2023-06-16 | 电子科技大学 | 一种基于复数神经网络的辐射源识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111666921B (zh) | 车辆控制方法、装置、计算机设备和计算机可读存储介质 | |
| WO2021093468A1 (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| CN110321910B (zh) | 面向点云的特征提取方法、装置及设备 | |
| Chen et al. | Embedded system real-time vehicle detection based on improved YOLO network | |
| CN110704842A (zh) | 一种恶意代码家族分类检测方法 | |
| CN112861575A (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
| CN111079519B (zh) | 多姿态人体检测方法、计算机存储介质及电子设备 | |
| Sharma et al. | Vehicle identification using modified region based convolution network for intelligent transportation system | |
| CN110188766B (zh) | 基于卷积神经网络的图像主目标检测方法及装置 | |
| WO2023207778A1 (zh) | 数据修复方法、装置、计算机及可读存储介质 | |
| Hammam et al. | DeepPet: A pet animal tracking system in internet of things using deep neural networks | |
| CN113128476A (zh) | 一种基于计算机视觉目标检测的低功耗实时头盔检测方法 | |
| CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
| US20220147748A1 (en) | Efficient object detection using deep learning techniques | |
| CN112616043A (zh) | 基于pynq的神经网络的识别视频监控报警系统及方法 | |
| Qu et al. | Improved YOLOv5-based for small traffic sign detection under complex weather | |
| CN111753736A (zh) | 基于分组卷积的人体姿态识别方法、装置、设备和介质 | |
| US20240112448A1 (en) | Methods and systems of generating images utilizing machine learning and existing images with disentangled content and style encoding | |
| WO2023049387A1 (en) | System and method for reducing surveillance detection errors | |
| JP2024516642A (ja) | 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体 | |
| CN114004992A (zh) | 多标签分类模型的训练方法、图像的多标签分类方法 | |
| CN115147672A (zh) | 一种进行物体类别识别的人工智能系统及方法 | |
| Chen et al. | Pruning deep feature networks using channel importance propagation | |
| CN117372983B (zh) | 一种低算力的自动驾驶实时多任务感知方法及装置 | |
| CN117710755B (zh) | 一种基于深度学习的车辆属性识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210406 |