CN114926737A - 一种基于卷积脉冲神经网络的低功耗目标检测方法 - Google Patents

一种基于卷积脉冲神经网络的低功耗目标检测方法 Download PDF

Info

Publication number
CN114926737A
CN114926737A CN202210550280.8A CN202210550280A CN114926737A CN 114926737 A CN114926737 A CN 114926737A CN 202210550280 A CN202210550280 A CN 202210550280A CN 114926737 A CN114926737 A CN 114926737A
Authority
CN
China
Prior art keywords
pulse
neural network
weed
model
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210550280.8A
Other languages
English (en)
Inventor
汪祖民
张宇豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University
Original Assignee
Dalian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University filed Critical Dalian University
Priority to CN202210550280.8A priority Critical patent/CN114926737A/zh
Publication of CN114926737A publication Critical patent/CN114926737A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积脉冲神经网络的低功耗目标检测方法，包括：建立杂草图片数据集，并进行预处理；根据深层卷积神经网络转换条件，构建杂草检测的脉冲神经网络模型；将脉冲神经网络模型的脉冲序列进行神经元信息传递，获取的泄漏积分发射模型神经元累积输入到膜电压；利用所述杂草图片数据集对脉冲神经网络模型进行训练，实现其细粒度归一化，并设置模型参数；将待识别的杂草图片输入至训练后的脉冲神经网络模型中，得到带杂草范围框的图片。本发明能够解决常规转化后的脉冲发射频率过低，负值及偏置难以表示等问题，同时模型所具有的实时性和低功耗性可以在有神经形态芯片的嵌入式设备、移动设备和无人机器上进行应用。

Description

一种基于卷积脉冲神经网络的低功耗目标检测方法
技术领域
本发明涉及目标检测技术领域，具体涉及一种基于卷积脉冲神经网络的低功耗目标检测方法。
背景技术
脉冲神经网络是第三代神经网络，通过使用脉冲神经元作为计算单元来模拟人脑中信息的编码和处理，与传统神经网络不同，脉冲神经网络通过一系列离散的峰值组成峰值序列的时间来传输信息，而不是连续的真值，从而提供了稀疏但强大的计算能力。然而，脉冲神经网络一直局限于相对简单的图像分类任务和较小数据集上做测试，主要由于脉冲神经元的复杂动力学和不可微操作，缺乏可拓展的训练算法。在目标检测中，识别多个目标并在其周围绘制边界框是一项很大的挑战，预测网络的输出值需要很高数值精度。传统的深度神经网络转换为脉冲神经网络后，使用深层卷积神经网络进行检测时，性能下降严重，归一化方式过于低效，导致脉冲发射频率过低，同时在脉冲神经网络领域中，没有高效leaky-Relu的实现，最终难以检测到任何对象。在对原始卷积神经网络向脉冲神经网络进行转化过程中，卷积神经网络的某一层神经元可能输出负值，而负值对于脉冲神经网络的表示比较困难，卷积神经网络的偏置也难以表示；同时，需要两层的脉冲神经网络才能将卷积神经网络当中的Max-pooling层转换到脉冲神经网络当中。
农田中的杂草会对农作物的营养进行竞争带来作物疾病、引入害虫等，如果不及时处理会造成农业严重的损失，随着科技发展，如今的除草方式已由人工除草逐渐转换为机器除草，但常规的机器除草设备存在检测杂草速度慢，精度低，计算成本较高的问题，嵌入式等机器设备难以大规模、长时间、高效率的进行杂草检测和去除工作。
发明内容
本发明的目的在于，提供一种基于卷积脉冲神经网络的低功耗目标检测方法，其能够使机器设备进行高效率，低功耗的检测农作物周边杂草目标。
为实现上述目的，本申请提出一种基于卷积脉冲神经网络的低功耗目标检测方法，包括：
建立杂草图片数据集，并进行预处理；
根据深层卷积神经网络转换条件，构建杂草检测的脉冲神经网络模型；
将脉冲神经网络模型的脉冲序列进行神经元信息传递，获取的泄漏积分发射模型神经元累积输入到膜电压；
利用所述杂草图片数据集对脉冲神经网络模型进行训练，实现其细粒度归一化，并设置模型参数；
将待识别的杂草图片输入至训练后的脉冲神经网络模型中，得到带杂草范围框的图片。
进一步的，建立杂草图片数据集，并进行预处理，具体为：
对不同农作物生长环境周边的杂草进行拍照，制作杂草图片数据集，根据数据集的数据量，采用对抗生成网络得到杂草图片数据集的负样本；
使用图像滤波、伽马矫正和自适应直方图均衡化方式对杂草图片进行预处理，降低环境光照和噪声对杂草检测结果的干扰。
进一步的，根据深层卷积神经网络转换条件，构建杂草检测的脉冲神经网络模型，具体为：
由于每个脉冲神经网络单元和深层卷积神经网络单元之间存在对应关系，在深层卷积神经网络条件下，神经元i在t时刻的输入为
Figure BDA0003654781010000031
只有当膜电位超过阈值Vthr∈R+时才会产生脉冲，进而膜电位被复位；因此对于第l层的神经元输入，通过输入电位和深层卷积神经网络的激活值建立联系，得到脉冲发射率
Figure BDA0003654781010000032
如下：
Figure BDA0003654781010000033
其中i，j为参数所在维度下标，Ml-1，
Figure BDA0003654781010000034
分别为第l-1层的神经元个数和神经元激活值，
Figure BDA0003654781010000035
分别为第l层的权重和偏置，rmax为最高脉冲发射率，
Figure BDA0003654781010000036
为第l层第i个神经元在t时刻的膜电位，Vthr为阈值电位。
根据基于前向模型的泄漏积分发射模型，构建杂草检测的脉冲神经网络模型为：
Figure BDA0003654781010000037
Figure BDA0003654781010000038
其中，V代表膜电位，o代表脉冲输出，t代表时长，l代表所在层数；
Figure BDA0003654781010000041
代表膜电位的延迟效应，W为输入突触权重，f(·)是阶跃函数。
进一步的，将脉冲神经网络模型的脉冲序列进行神经元信息传递，获取的泄漏积分发射模型神经元累积输入到膜电压，具体为：
根据杂草图片数据集中的像素强度和脉冲序列所存在的比例关系，选取一个固定时间间隔，产生一个区间的符合均匀分布的随机数x[i]；在每个时间间隔，如果x[i]≤rΔt，则发放一个脉冲，否则不产生脉冲，相邻两个脉冲之间的等待时间概率分布p(τ)表示为：
Figure BDA0003654781010000042
其中τ为时间间隔，r为放电频率的估计值，d是求导函数，e-rτ表示在时间间隔内，发放脉冲数为0的概率；当一个脉冲发放完成之后，在符合指数分布的数集合中随机选择一个数作为下一次发放脉冲需等待的时间；依次类推，得到符合泊松分布的脉冲神经网络模型的脉冲序列；
通过所述脉冲神经网络模型中的脉冲序列进行神经元信息传递，获取的积分发射模型神经元累积输入到膜电压Vmem：
Figure BDA0003654781010000043
Figure BDA0003654781010000044
表示第l层的第j个神经元的膜电压，t为时间，
Figure BDA0003654781010000045
为t时间下第l层的权重，当膜电压Vmem大于阈值电压Vthr时产生脉冲输出
Figure BDA0003654781010000046
进一步的，利用所述杂草图片数据集对脉冲神经网络模型进行训练，实现其细粒度归一化，并设置模型参数，具体为：泄漏积分发射模型中设置静息电位和重置电位的值为0，积分时间窗口和代表延时效应的核函数设置为1，使脉冲神经网络模型的梯度沿着时间和空间维度进行传播，在利用杂草数据集对脉冲神经网络进行训练过程中，模型参数更新按照如下方式进行：
Figure BDA0003654781010000051
Figure BDA0003654781010000052
Figure BDA0003654781010000053
其中
Figure BDA0003654781010000054
为膜电位V到输出o的导数值，参数a决定了梯度宽度，L是损失函数。
进一步的，在脉冲神经网络模型中，令神经元和下层的连接关系为fout，用于杂草检测的神经元状态更新时只进行加法，从而使功耗进行降低，其中在仿真时间T内的网络总操作量为：
Figure BDA0003654781010000055
其中，L为神经元层数，Sl(t)代表在t时刻第l层神经元的脉冲数量。
更进一步的，使用杂草图片数据集训练过程中激活函数层存在负值不满足脉冲信号发射的情况，故设置阈值不平衡的有符号神经元，在正值区域使用临界电压Vth,pos，在负值区域使用临界电压Vth,neg，传递正负激活值，其公式为：
Figure BDA0003654781010000061
其中，α为可变参数，根据采用的具体激活函数进行更改。
更进一步的，所述脉冲神经网络模型的BN层引入仿射变换，使得每次进行优化的批量杂草图片数据在每层通道的维度上变成0均值、1方差，使用激活均值对模型权值
Figure BDA0003654781010000062
和偏置
Figure BDA0003654781010000063
进行归一化为：
Figure BDA0003654781010000064
Figure BDA0003654781010000065
其中，u为激活均值，
Figure BDA0003654781010000066
为标准差，
Figure BDA0003654781010000067
和
Figure BDA0003654781010000068
分别为待学习的尺度参数和转换参数。
更进一步的，将待识别的杂草图片输入至训练后的脉冲神经网络模型中，对每个神经元的发射情况进行修正，检测出输入图片中的杂草，并对使用范围框进行标记。
更进一步的，在脉冲神经网络模型进行杂草检测过程中，内存成本包括权重内存Mw、膜电位内存Mp和脉冲内存Ms，脉冲内存M通过下式计算：
M＝Mw+Mp+Ms
其中，Mw和Mp由网络模型决定，而Ms由每个时间戳最大脉冲数动态决定；
所述脉冲卷神经网络模型的消耗来自于脉冲输入的积分过程，设置积分时间窗口和代表延时效应的核函数为1，将积分运算变为纯加法运算；同时，积分是根据脉冲信号进行计算的，因此有：
C＝Cadd
其中，C表示模型总的计算消耗，Cadd表示积分运算消耗，其与脉冲事件成正比。
本发明采用的以上技术方案，与现有技术相比，具有的优点是：本发明中的杂草检测模型是基于深度卷积神经网络转化为脉冲神经网络，能够解决常规转化后的脉冲发射频率过低，负值及偏置难以表示等问题，同时模型所具有的实时性和低功耗性可以在有神经形态芯片的嵌入式设备、移动设备和无人机器上进行应用，使除草机器能够高效率，长时间的进行除草工作。
附图说明
图1是本发明的杂草检测流程图；
图2是本发明的模型转化流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请，即所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。
实施例1
如图1所示，本申请提供一种基于卷积脉冲神经网络的低功耗目标检测方法，包括：
S1：建立杂草图片数据集，并进行预处理；
具体的，对不同农作物生长环境周边的杂草进行拍照，制作杂草图片数据集，根据数据集的数据量，采用对抗生成网络得到杂草图片数据集的负样本，得到用于模型训练、测试的数据集。使用图像滤波、伽马矫正和自适应直方图均衡化方式对杂草图片进行预处理降低环境光照和噪声对杂草检测结果的干扰。
进行直方图均衡化时计算杂草图片中每个灰度值的像素个数nk和原图像的灰度累积分布函数Sk，得到灰度变换表；根据灰度变换表将原图像各灰度级映射为新的灰度级，直到完成直方图均衡化。
S2：根据深层卷积神经网络转换条件，构建杂草检测的脉冲神经网络模型；
具体的，由于每个脉冲神经网络单元和深层卷积神经网络单元之间存在对应关系，在深层卷积神经网络条件下，神经元i在t时刻的输入为
Figure BDA0003654781010000081
只有当膜电位超过阈值Vthr∈R+时才会产生脉冲，进而膜电位被复位；采取给膜电位减去一个阈值Vthr的复位机制，对于第l层的神经元输入，通过输入电位和深层卷积神经网络的激活值建立联系，得到脉冲发射率
Figure BDA0003654781010000082
如下：
Figure BDA0003654781010000083
其中i，j为参数所在维度下标，Ml-1，
Figure BDA0003654781010000084
分别为第l-1层的神经元个数和神经元激活值，
Figure BDA0003654781010000085
分别为第l层的权重和偏置，rmax为最高脉冲发射率，
Figure BDA0003654781010000086
为第l层第i个神经元在t时刻的膜电位，Vthr为阈值电位；
Figure BDA0003654781010000091
其中Vthr是阈值电位，对于每一个神经元l,
Figure BDA0003654781010000092
是常量，以后的每个时间步长膜电位都会加一个
Figure BDA0003654781010000093
提升低激活情况下的效率。
当膜电位高于阈值时，脉冲神经网络看作是一次点火，此时输出电位置为1，同时膜电位回归到重置电位；当膜电位低于阈值时，不点火，此时输出电位保持为0；在每一个time step膜电位进行更新时，膜电位下降于它与静息电位之间的差值，同时上升于神经元突触所传输而来的一个贡献值。故根据基于前向模型的泄漏积分发射模型，构建杂草检测的脉冲神经网络模型为：
Figure BDA0003654781010000094
Figure BDA0003654781010000095
其中，V代表膜电位，o代表脉冲输出，t代表时长，l代表所在层数；
Figure BDA0003654781010000096
代表膜电位的延迟效应，W为输入突触权重，f(·)是阶跃函数。
S3：将脉冲神经网络模型的脉冲序列进行神经元信息传递，获取的泄漏积分发射模型神经元累积输入到膜电压；
具体的，根据杂草图片数据集中的像素强度和脉冲序列所存在的比例关系，选取一个固定时间间隔，产生一个区间的符合均匀分布的随机数x[i]；在每个时间间隔，如果x[i]≤rΔt，则发放一个脉冲，否则不产生脉冲，相邻两个脉冲之间的等待时间概率分布p(τ)表示为：
Figure BDA0003654781010000101
其中τ为时间间隔，r为放电频率的估计值，d是求导函数，e-rτ表示在时间间隔内，发放脉冲数为0的概率；当一个脉冲发放完成之后，在符合指数分布的数集合中随机选择一个数作为下一次发放脉冲需等待的时间；依次类推，得到符合泊松分布的脉冲神经网络模型的脉冲序列；
通过所述脉冲神经网络模型中的脉冲序列进行神经元信息传递，获取的积分发射模型神经元累积输入到膜电压Vmem：
Figure BDA0003654781010000102
Figure BDA0003654781010000103
表示第l层的第j个神经元的膜电压，t为时间，
Figure BDA0003654781010000104
为t时间下第l层的权重，当膜电压Vmem大于阈值电压Vthr时产生脉冲输出
Figure BDA0003654781010000105
S4：利用所述杂草图片数据集对脉冲神经网络进行训练，实现脉冲神经网络归一化，设置模型参数；
具体的，泄漏积分发射模型中设置静息电位和重置电位的值为0，积分时间窗口和代表延时效应的核函数设置为1，使脉冲神经网络模型的梯度沿着时间和空间维度进行传播，在利用杂草数据集对脉冲神经网络进行训练过程中，模型参数更新按照如下方式进行：
Figure BDA0003654781010000106
Figure BDA0003654781010000107
Figure BDA0003654781010000111
其中
Figure BDA0003654781010000112
为膜电位V到输出o的导数值，参数a决定了梯度宽度，L是损失函数。
在脉冲神经网络模型中，令神经元和下层的连接关系为fout，用于杂草检测的神经元状态更新时只进行加法，从而使功耗进行降低，其中在仿真时间T内的网络总操作量为：
Figure BDA0003654781010000113
其中，L为神经元层数，Sl(t)代表在t时刻第l层神经元的脉冲数量。
使用杂草图片数据集训练过程中激活函数层存在负值不满足脉冲信号发射的情况，故设置阈值不平衡的有符号神经元，在正值区域使用临界电压Vth,pos，在负值区域使用临界电压Vth,neg，传递正负激活值，其公式为：
Figure BDA0003654781010000114
其中，α为可变参数，根据采用的具体激活函数进行更改。假设Vth,pos＝1V，在α＝0.1时，Vth,neg＝-10V，可以高效和准确地仿照leaky-Relu如下式：
Figure BDA0003654781010000115
所述脉冲神经网络模型的BN层引入仿射变换，使得每次进行优化的批量杂草图片数据在每层通道的维度上变成0均值、1方差，使用激活均值对模型权值
Figure BDA0003654781010000121
和偏置
Figure BDA0003654781010000122
进行归一化为：
Figure BDA0003654781010000123
Figure BDA0003654781010000124
其中，u为激活均值，
Figure BDA0003654781010000125
为标准差，
Figure BDA0003654781010000126
和
Figure BDA0003654781010000127
分别为待学习的尺度参数和转换参数。这使得将BN层折算进前层后，不需要对BN层进行额外转换，且使多个神经元以更高且更合适的频率发射脉冲。
S5：将待识别的杂草图片输入至训练后的脉冲神经网络模型中，得到带杂草范围框的图片；
具体的，将待识别的杂草图片输入至训练后的脉冲神经网络模型中，对每个神经元的发射情况进行修正，检测出输入图片中的杂草，并对使用范围框进行标记。
本发明还可以根据脉冲内存及消耗来评价脉冲神经网络模型，具体为：
考虑在嵌入式设备上部署模型，在脉冲神经网络模型进行杂草检测过程中，内存成本包括权重内存Mw、膜电位内存Mp和脉冲内存Ms，由于点火阈值uth和时间常数τ等可以被同一层或所有神经元共享，因此可以忽略，当脉冲触发时，脉冲内存M可以通过下式计算：
脉冲内存M通过下式计算：
M＝Mw+Mp+Ms
其中，Mw和Mp由网络模型决定，而Ms由每个时间戳最大脉冲数动态决定；
在进行杂草目标检测过程中，所述脉冲卷神经网络模型的消耗来自于脉冲输入的积分过程，设置积分时间窗口和代表延时效应的核函数为1，可以省略掉复杂的乘法计算，将积分运算变为纯加法运算；同时，积分是根据脉冲信号进行计算的，因此有：
C＝Cadd
其中，C表示模型总的计算消耗，Cadd表示积分运算消耗，其与脉冲事件成正比。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种基于卷积脉冲神经网络的低功耗目标检测方法，其特征在于，包括：
建立杂草图片数据集，并进行预处理；
根据深层卷积神经网络转换条件，构建杂草检测的脉冲神经网络模型；
将脉冲神经网络模型的脉冲序列进行神经元信息传递，获取的泄漏积分发射模型神经元累积输入到膜电压；
利用所述杂草图片数据集对脉冲神经网络模型进行训练，实现其细粒度归一化，并设置模型参数；
将待识别的杂草图片输入至训练后的脉冲神经网络模型中，得到带杂草范围框的图片。
2.根据权利要求1所述一种基于卷积脉冲神经网络的低功耗目标检测方法，其特征在于，建立杂草图片数据集，并进行预处理，具体为：
对不同农作物生长环境周边的杂草进行拍照，制作杂草图片数据集，根据数据集的数据量，采用对抗生成网络得到杂草图片数据集的负样本；
使用图像滤波、伽马矫正和自适应直方图均衡化方式对杂草图片进行预处理。
3.根据权利要求1所述一种基于卷积脉冲神经网络的低功耗目标检测方法，其特征在于，根据深层卷积神经网络转换条件，构建杂草检测的脉冲神经网络模型，具体为：
由于每个脉冲神经网络单元和深层卷积神经网络单元之间存在对应关系，在深层卷积神经网络条件下，神经元i在t时刻的输入为
Figure FDA0003654773000000021
只有当膜电位超过阈值Vthr∈R+时才会产生脉冲，进而膜电位被复位；因此对于第l层的神经元输入，通过输入电位和深层卷积神经网络的激活值建立联系，得到脉冲发射率
Figure FDA0003654773000000022
如下：
Figure FDA0003654773000000023
其中i，j为参数所在维度下标，Ml-1，
Figure FDA0003654773000000024
分别为第l-1层的神经元个数和神经元激活值，
Figure FDA0003654773000000025
分别为第l层的权重和偏置，rmax为最高脉冲发射率，
Figure FDA0003654773000000026
为第l层第i个神经元在t时刻的膜电位，Vthr为阈值电位；
根据基于前向模型的泄漏积分发射模型，构建杂草检测的脉冲神经网络模型为：
Figure FDA0003654773000000027
Figure FDA0003654773000000028
其中，V代表膜电位，o代表脉冲输出，t代表时长，l代表所在层数；
Figure FDA0003654773000000029
代表膜电位的延迟效应，W为输入突触权重，f(·)是阶跃函数。
4.根据权利要求1所述一种基于卷积脉冲神经网络的低功耗目标检测方法，其特征在于，将脉冲神经网络模型的脉冲序列进行神经元信息传递，获取的泄漏积分发射模型神经元累积输入到膜电压，具体为：
根据杂草图片数据集中的像素强度和脉冲序列所存在的比例关系，选取一个固定时间间隔，产生一个区间的符合均匀分布的随机数x[i]；在每个时间间隔，如果x[i]≤rΔt，则发放一个脉冲，否则不产生脉冲，相邻两个脉冲之间的等待时间概率分布p(τ)表示为：
Figure FDA0003654773000000031
其中τ为时间间隔，r为放电频率的估计值，d是求导函数，e-rτ表示在时间间隔内，发放脉冲数为0的概率；当一个脉冲发放完成之后，在符合指数分布的数集合中随机选择一个数作为下一次发放脉冲需等待的时间；依次类推，得到符合泊松分布的脉冲神经网络模型的脉冲序列；
通过所述脉冲神经网络模型中的脉冲序列进行神经元信息传递，获取的积分发射模型神经元累积输入到膜电压Vmem：
Figure FDA0003654773000000032
Figure FDA0003654773000000033
表示第l层的第j个神经元的膜电压，t为时间，
Figure FDA0003654773000000034
为t时间下第l层的权重，当膜电压Vmem大于阈值电压Vthr时产生脉冲输出
Figure FDA0003654773000000035
5.根据权利要求1所述一种基于卷积脉冲神经网络的低功耗目标检测方法，其特征在于，利用所述杂草图片数据集对脉冲神经网络模型进行训练，实现其细粒度归一化，并设置模型参数，具体为：泄漏积分发射模型中设置静息电位和重置电位的值为0，积分时间窗口和代表延时效应的核函数设置为1，使脉冲神经网络模型的梯度沿着时间和空间维度进行传播，在利用杂草数据集对脉冲神经网络进行训练过程中，模型参数更新按照如下方式进行：
Figure FDA0003654773000000041
Figure FDA0003654773000000042
Figure FDA0003654773000000043
其中
Figure FDA0003654773000000044
为膜电位V到输出o的导数值，参数a决定了梯度宽度，L是损失函数。
6.根据权利要求5所述一种基于卷积脉冲神经网络的低功耗目标检测方法，其特征在于，在脉冲神经网络模型中，令神经元和下层的连接关系为fout，用于杂草检测的神经元状态更新时只进行加法，其中在仿真时间T内的网络总操作量为：
Figure FDA0003654773000000045
其中，L为神经元层数，Sl(t)代表在t时刻第l层神经元的脉冲数量。
7.根据权利要求5所述一种基于卷积脉冲神经网络的低功耗目标检测方法，其特征在于，使用杂草图片数据集训练过程中激活函数层存在负值不满足脉冲信号发射的情况，故设置阈值不平衡的有符号神经元，在正值区域使用临界电压Vth,pos，在负值区域使用临界电压Vth,neg，传递正负激活值，其公式为：
Figure FDA0003654773000000046
其中，α为可变参数，根据采用的具体激活函数进行更改。
8.根据权利要求1所述一种基于卷积脉冲神经网络的低功耗目标检测方法，其特征在于，所述脉冲神经网络模型的BN层引入仿射变换，使得每次进行优化的批量杂草图片数据在每层通道的维度上变成0均值、1方差，使用激活均值对模型权值
Figure FDA0003654773000000051
和偏置
Figure FDA0003654773000000052
进行归一化为：
Figure FDA0003654773000000053
Figure FDA0003654773000000054
其中，u为激活均值，
Figure FDA0003654773000000055
为标准差，
Figure FDA0003654773000000056
和
Figure FDA0003654773000000057
分别为待学习的尺度参数和转换参数。
9.根据权利要求1所述一种基于卷积脉冲神经网络的低功耗目标检测方法，其特征在于，将待识别的杂草图片输入至训练后的脉冲神经网络模型中，对每个神经元的发射情况进行修正，检测出输入图片中的杂草，并对使用范围框进行标记。
10.根据权利要求9所述一种基于卷积脉冲神经网络的低功耗目标检测方法，其特征在于，在脉冲神经网络模型进行杂草检测过程中，内存成本包括权重内存Mw、膜电位内存Mp和脉冲内存Ms，脉冲内存M通过下式计算：
M＝Mw+Mp+Ms
其中，Mw和Mp由网络模型决定，而Ms由每个时间戳最大脉冲数动态决定；
所述脉冲卷神经网络模型的消耗来自于脉冲输入的积分过程，设置积分时间窗口和代表延时效应的核函数为1，将积分运算变为纯加法运算；同时，积分是根据脉冲信号进行计算的，因此有：
C＝Cadd
其中，C表示模型总的计算消耗，Cadd表示积分运算消耗，其与脉冲事件成正比。
CN202210550280.8A 2022-05-20 2022-05-20 一种基于卷积脉冲神经网络的低功耗目标检测方法 Pending CN114926737A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210550280.8A CN114926737A (zh) 2022-05-20 2022-05-20 一种基于卷积脉冲神经网络的低功耗目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210550280.8A CN114926737A (zh) 2022-05-20 2022-05-20 一种基于卷积脉冲神经网络的低功耗目标检测方法

Publications (1)

Publication Number Publication Date
CN114926737A true CN114926737A (zh) 2022-08-19

Family

ID=82808145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210550280.8A Pending CN114926737A (zh) 2022-05-20 2022-05-20 一种基于卷积脉冲神经网络的低功耗目标检测方法

Country Status (1)

Country Link
CN (1) CN114926737A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252239A (zh) * 2023-09-18 2023-12-19 北京邮电大学 一种对脉冲信号进行目标检测的方法及系统
CN118072114A (zh) * 2024-04-19 2024-05-24 合肥工大共达工程检测试验有限公司 一种基于脉冲神经网络的裂缝检测模型、方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252239A (zh) * 2023-09-18 2023-12-19 北京邮电大学 一种对脉冲信号进行目标检测的方法及系统
CN118072114A (zh) * 2024-04-19 2024-05-24 合肥工大共达工程检测试验有限公司 一种基于脉冲神经网络的裂缝检测模型、方法和系统

Similar Documents

Publication Publication Date Title
CN110210563B (zh) 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法
CN112633497B (zh) 一种基于重加权膜电压的卷积脉冲神经网络的训练方法
CN114926737A (zh) 一种基于卷积脉冲神经网络的低功耗目标检测方法
CN109492556B (zh) 面向小样本残差学习的合成孔径雷达目标识别方法
CN113449864B (zh) 用于图像数据分类的反馈型脉冲神经网络模型训练方法
CN110048827B (zh) 一种基于深度学习卷积神经网络的类模板攻击方法
CN112906828A (zh) 一种基于时域编码和脉冲神经网络的图像分类方法
CN112712170B (zh) 基于输入加权脉冲神经网络的神经形态视觉目标分类系统
CN114998659B (zh) 随时间在线训练脉冲神经网络模型的图像数据分类方法
CN113988357B (zh) 基于深度学习的高层建筑风致响应预测方法及装置
CN116822592A (zh) 一种基于事件数据和脉冲神经网络的目标跟踪方法
CN111310816B (zh) 基于无监督匹配追踪编码的仿脑架构图像识别方法
CN114863092A (zh) 一种基于知识蒸馏的联邦目标检测方法及系统
Ye et al. Recognition algorithm of emitter signals based on PCA+ CNN
CN113344168B (zh) 短期泊位预测方法及系统
CN117372843A (zh) 基于首脉冲编码的图片分类模型训练方法、图片分类方法
CN109993050B (zh) 一种合成孔径雷达图像识别方法
CN116629332A (zh) 一种基于光学储备池计算的信号补偿方法
CN116109489A (zh) 去噪方法和相关设备
Tan et al. Time Series Prediction using Backpropagation Network Optimized by Hybrid K-means-Greedy Algorithm.
CN111797968B (zh) 一种基于脉冲神经网络的重加权稀疏重建方法
CN115273004A (zh) 一种基于卷积神经网络的智能车巡线方法
CN114724245A (zh) 基于csi的增量学习人体动作识别方法
CN111582461B (zh) 神经网络训练方法、装置、终端设备和可读存储介质
CN113723594A (zh) 一种脉冲神经网络目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination