CN115238857B - 基于脉冲信号的神经网络及脉冲信号处理方法 - Google Patents
基于脉冲信号的神经网络及脉冲信号处理方法 Download PDFInfo
- Publication number
- CN115238857B CN115238857B CN202210672468.XA CN202210672468A CN115238857B CN 115238857 B CN115238857 B CN 115238857B CN 202210672468 A CN202210672468 A CN 202210672468A CN 115238857 B CN115238857 B CN 115238857B
- Authority
- CN
- China
- Prior art keywords
- output end
- convolution layer
- end convolution
- pulse signal
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 111
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000001514 detection method Methods 0.000 description 8
- 239000012528 membrane Substances 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 238000012421 spiking Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种基于脉冲信号的神经网络及脉冲信号处理方法，该神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，输出端卷积层分别与非输出端卷积层单元和YOLO层连接，非输出端卷积层单元包括M个依次连接的非输出端卷积层。非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理。输出端卷积层用于对非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号进行处理，得到脉冲信号的卷积值；YOLO层用于对输出端卷积层输出的卷积值进行处理，得到图像信息，并输出图像信息。本申请可以提高提高脉冲神经网络进行数据处理的速度，提高脉冲相机显示图片的速度。
Description
技术领域
本申请涉及脉冲相机图像处理技术，尤其涉及一种基于脉冲信号的神经网络及脉冲信号处理方法。
背景技术
近年来，脉冲相机由于可以很好捕捉场景中的高速运动，而被广泛应用在自主驾驶和智能视频分析中。脉冲相机的工作原理是感应光强度的变化生成脉冲信号，由脉冲相机的芯片上设置的脉冲神经网络对脉冲信号进行处理，以输出图像信息。
脉冲神经网络的性能没有卷积神经网络好，为了提高脉冲神经网络的性能，研发人员开发了Spiking-YOLO神经网络(Spiking Neural Network for Energy-EfficientObject Detection)，Spiking-YOLO神经网络与卷积神经网络相当的性能，而且能耗极低。
但是脉冲相机采样的频率很高，导致脉冲相机需要处理的数据过多，而Spiking-YOLO神经网络处理大量数据时存在速度慢的问题，这就导致脉冲相机显示图片的速度过慢的问题。因此，如何对Spiking-YOLO神经网络进行改进，以提高Spiking-YOLO神经网络进行数据处理的速度，提高脉冲相机显示图片的速度，仍然是亟待解决的问题。
发明内容
本申请提供一种基于脉冲信号的神经网络及脉冲信号处理方法，用以提高脉冲神经网络进行数据处理的速度，提高脉冲相机显示图片的速度。
一方面，一种基于脉冲信号的神经网络，所述神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，其中，所述输出端卷积层分别与所述非输出端卷积层单元和所述YOLO层连接，所述非输出端卷积层单元包括M个依次连接的非输出端卷积层，所述M为大于1的自然数；
所述非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理，所述第1个非输出端卷积层用于对信号采集设备根据时空信号生成的脉冲信号进行处理，所述N为大于或等于1的自然数，所述N小于或等于M，每个非输出端卷积层对应各自的膜电压；
所述输出端卷积层用于对所述非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号进行处理，得到脉冲信号的卷积值；
所述YOLO层用于对所述输出端卷积层输出的卷积值进行处理，得到图像信息，并输出所述图像信息，所述图像信息包括目标物在拍摄图像中的位置信息。
其中一个可选的实施例中，
若第一电压和第二电压的累加值大于或等于电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第一脉冲信号；
若第一电压和第二电压的累加值小于所述电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第二脉冲信号；
所述第一电压为所述非输出端卷积层接收的脉冲信号中的特征块与所述Spiking-YOLO神经网络中的特征权重进行卷积计算后得到的卷积值；
所述第二电压为所述非输出端卷积层对应的膜电压。
其中一个可选的实施例中，若所述第N个非输出端卷积层输出的脉冲信号为第一脉冲信号，所述非输出端卷积层还用于：
根据所述累加值与所述电压阈值的差值，获取第三电压；
根据所述第二电压和所述第三电压的累积值，更新所述第N个非输出端卷积层的膜电压。
其中一个可选的实施例中，所述神经网络为Spiking-YOLO神经网络，所述Spiking-YOLO神经网络中非输出端卷积层和输出端卷积层的步长为1或2。
另一方面，本申请提供一种脉冲信号处理方法，应用于基于脉冲信号的神经网络，所述神经网络为Spiking-YOLO神经网络，所述神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，其中，所述输出端卷积层分别与所述非输出端卷积层单元和所述YOLO层连接，所述非输出端卷积层单元包括M个依次连接的非输出端卷积层，所述M为自然数，所述方法包括：
获取信号采集设备根据时空信号生成的脉冲信号；
将所述脉冲信号输入至第1个非输出端卷积层，所述第1个非输出端卷积层输出的脉冲信号用于输入至第2个非输出端卷积层，其中，第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出进行处理，所述N为大于或等于1的自然数，每个非输出端卷积层对应各自的膜电压；
将所述非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号输入至所述输出端卷积层，得到所述输出端卷积层对所述脉冲信号进行处理后得到的脉冲信号的卷积值；
将所述输出端卷积层输出的卷积值输入至所述YOLO层，得到所述YOLO层输出的图像信息，所述图像信息包括目标物在拍摄图像中的位置信息。
其中一个可选的实施例中，所述方法包括：
若第一电压和第二电压的累加值大于或等于电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第一脉冲信号；
若第一电压和第二电压的累加值小于所述电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第二脉冲信号；
所述第一电压为所述非输出端卷积层接收的脉冲信号中的特征块与所述Spiking-YOLO神经网络中的特征权重进行卷积计算后得到的卷积值；
所述第二电压为所述非输出端卷积层对应的膜电压。
其中一个可选的实施例中，若所述第N个非输出端卷积层输出的脉冲信号为第一脉冲信号，所述方法还包括：
根据所述累加值与所述电压阈值的差值，获取第三电压；
根据所述第二电压和所述第三电压的累积值，更新所述第N个非输出端卷积层的膜电压。
另一方面，本申请提供一种脉冲信号处理装置，应用于基于脉冲信号的神经网络，所述神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，其中，所述输出端卷积层分别与所述非输出端卷积层单元和所述YOLO层连接，所述非输出端卷积层单元包括M个依次连接的非输出端卷积层，所述M为自然数，所述装置包括：
获取模块，用于获取信号采集设备根据时空信号生成的脉冲信号；
处理模块，用于将所述脉冲信号输入至第1个非输出端卷积层，所述第1个非输出端卷积层输出的脉冲信号用于输入至第2个非输出端卷积层，其中，第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的进行处理，所述N为大于或等于1的自然数，每个非输出端卷积层对应各自的膜电压；
所述处理模块还用于将所述非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号输入至所述输出端卷积层，得到所述输出端卷积层对所述脉冲信号进行处理后得到的脉冲信号的卷积值；
所述处理模块还用于将所述输出端卷积层输出的卷积值输入至所述YOLO层，得到所述YOLO层输出的图像信息，所述图像信息包括目标物在拍摄图像中的位置信息。
另一方面，本申请提供一种脉冲信号处理系统，包括处理器、第一存储单元、第二存储单元、电路模块，其中，所述电路模块上设置有如上任一项实施例所述的基于脉冲信号的神经网络；
所述第一存储单元用于存储每个非输出端卷积层各自对应的膜电压；
所述第二存储单元用于存储第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号；
所述处理器用于执行如上任一项实施例所述的脉冲信号处理方法。
另一方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如上任一项实施例所述的脉冲信号处理方法。
另一方面，本申请提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上任一项实施例所述的脉冲信号处理方法。
本申请的实施例提供一种基于脉冲信号的神经网络及脉冲信号处理方法，其中，该基于脉冲信号的神经网络包括非输出端卷积层单元、输出端卷积层和YOLO层。其中，该输出端卷积层分别与该非输出端卷积层单元和该YOLO层连接，该非输出端卷积层单元包括M个依次连接的非输出端卷积层。该非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理。如此，基于膜电压发送脉冲信号，从而加速了脉冲信号的发射，提高了神经网络进行数据处理的速度，间接提高了脉冲相机显示图片的速度。
除此之外，该神经网络中每个卷积层(包括非输出端卷积层和输出端卷积层)只存储一行脉冲信号，也就是说每个卷积层每次只计算一行卷积结果。因此，卷积计算所需的特征和计算结果占据的存储资源较小，信号传输呈现行级流水。
除此之外，本实施例提供的该神经网络既具有卷积神经网络加速的结构，同时引入了脉冲神经网络功耗低且具备时间信息的优点，提高了图像检测速率和准确率。本实施例提供的该神经网络还将脉冲相机独有的脉冲图像与Spiking-Yolo相结合，从而充分降低了脉冲相机的功耗。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本申请的一个实施例提供的神经网络的示意图；
图2为本申请的一个实施例提供的脉冲信号处理系统中卷积运算的示意图；
图3为本申请的一个实施例提供的每个卷积层内外的数据流示意图；
图4为本申请的一个实施例提供的脉冲信号处理方法的示意图；
图5为本申请的一个实施例提供的脉冲信号处理装置的示意图；
图6为本申请的一个实施例提供的脉冲信号处理系统的示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
首先对本申请涉及到的名词进行解释：
脉冲神经网络：脉冲神经网络(SNN-Spiking Neuron Networks)被誉为第三代人工神经网络，能更接近实际地模拟神经元，并把时间信息的影响考虑其中，常被用在信息处理中。脉冲神经网络是基于神经脉冲的频率进行编码(rate coded)的神经网络。
卷积神经网络：卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。它包括卷积层(alternating convolutional layer)和池层(pooling layer)。
近年来，脉冲相机由于可以很好捕捉场景中的高速运动，而被广泛应用在自主驾驶和智能视频分析中。脉冲相机的工作原理是感应光强度的变化生成脉冲信号，由脉冲相机的芯片上设置的脉冲神经网络对脉冲信号进行处理，以输出图像信息。脉冲神经网络的性能没有卷积神经网络好，为了提高脉冲神经网络的性能，研发人员开发了Spiking-YOLO神经网络(Spiking Neural Network for Energy-Efficient Object Detection)，Spiking-YOLO神经网络与卷积神经网络相当的性能，而且能耗极低。
Spiking-YOLO最大的计算量同样在于各个卷积层计算，但是脉冲相机采样的频率很高，导致脉冲相机需要处理的数据过多，而Spiking-YOLO神经网络处理大量数据时存在速度慢的问题，这就导致脉冲相机显示图片的速度过慢的问题。因此，如何对Spiking-YOLO神经网络进行改进，以提高Spiking-YOLO神经网络进行数据处理的速度，提高脉冲相机显示图片的速度，仍然是亟待解决的问题。
基于此，本申请提供一种基于脉冲信号的神经网络及脉冲信号处理方法，该基于脉冲信号的神经网络包括非输出端卷积层单元、输出端卷积层和YOLO层。其中，该输出端卷积层分别与该非输出端卷积层单元和该YOLO层连接，该非输出端卷积层单元包括M个依次连接的非输出端卷积层。该非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理，如此，基于膜电压发送脉冲信号，从而加速了脉冲信号的发射，提高了神经网络进行数据处理的速度，间接提高了脉冲相机显示图片的速度。
请参见图1，本申请的一个实施例提供一种基于脉冲信号的神经网络，该神经网络包括非输出端卷积层单元、输出端卷积层和YOLO层。
该非输出端卷积层单元包括M个依次连接的非输出端卷积层，该M为大于1的自然数。该非输出端卷积层例如图1所示的Conv0至Conv12，以及Conv14至Conv16。其中，Conv0至Conv12构成一个该非输出端卷积层单元。Conv0至Conv16构成又一个该非输出端卷积层单元。Conv0至Conv8，Conv8跨过Conv9至Conv15直接到Conv16，构成又一个该非输出端卷积层单元。图1所示的神经网络包括3个该非输出端卷积层单元。
该第1个非输出端卷积层(如图1所示的Conv0)用于对信号采集设备(例如脉冲相机)根据时空信号生成的脉冲信号进行处理，然后将处理后生成的脉冲信号发放至下一个连接的非输出端卷积层(如图1所示的Conv1)。Conv0在对信号采集设备根据时空信号生成的脉冲信号进行处理时，读取Conv0对应的膜电压，根据膜电压对信号采集设备根据时空信号生成的脉冲信号进行处理后，将生成的脉冲信号传递至Conv1。
每个非输出端卷积层对应各自的膜电压，该非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理。其中，N为大于或等于1的自然数，N小于或等于M。如图1所示的，Conv1读取对应的膜电压后，根据膜电压对Conv0输出的脉冲信号进行处理，Conv2读取对应的膜电压后，根据膜电压对Conv1输出的脉冲信号进行处理。
该输出端卷积层分别与该非输出端卷积层单元和该YOLO层连接。该输出端卷积层例如图1所示的Conv13和Conv17，该YOLO层如图1所示的YOLO1层和YOLO2层。
Conv0至Conv12构成的该非输出端卷积层单元所连接的输出端卷积层为Conv13，Conv13与YOLO1层连接。Conv0至Conv16构成的该非输出端卷积层所连接的输出端卷积层为Conv17，Conv17与YOLO2层连接。Conv0至Conv8，Conv8跨过Conv9至Conv15直接到Conv16，构成该非输出端卷积层单元所连接的输出端卷积层为Conv17，Conv17与YOLO2层连接。
由图1可知，从第Conv11开始，神经网络10分为两个分支，一个分支(由Conv11至Conv13的分支)做两层卷积后通向YOLO1层，另一个分支(由Conv11至Conv17的分支)先通过反卷积(在TConv15进行反卷积)进行上采样后，与Conv8输出的脉冲数据进行特征融合(由Conv16将Conv8和TConv15的脉冲数据进行特征融合)后经过两层卷积通向YOLO2层。
该输出端卷积层用于对该非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号进行处理，得到脉冲信号的卷积值。即如图1中的Conv13用于对Conv12输出的脉冲信号进行处理，Conv17用于对Conv16输出的脉冲信号进行处理，Conv16输出的脉冲信号一部分来自于Conv0至Conv8，一部分来自于Conv0至Conv15。
该YOLO层用于对该输出端卷积层输出的卷积值进行处理，得到图像信息，并输出该图像信息，该图像信息包括目标物在拍摄图像中的位置信息。拍摄图像包括了拍摄物和背景，该目标物指的是拍摄物。例如拍摄图像中包含的拍摄物是汽车，则该目标物在拍摄图像中的位置信息指的是汽车对应的图像在拍摄图像中的二维坐标位置信息。一副拍摄图像中可能有好多辆汽车，在拍摄时每辆汽车所处的位置不同，所以有的汽车图像占据的像素多，有的汽车图像占据的像素少。该YOLO1层输出的可以是占据像素多的目标物在拍摄图像中的位置信息，该YOLO2层输出的可以是占据像素少的目标物在拍摄图像中的位置信息。
请参见图2为该非输出端卷积层生成脉冲信号的示意图，此处以第一电压代表该非输出端卷积层接收的脉冲信号中的特征块与该神经网络中的特征权重进行卷积计算后得到的卷积值，以第二电压代表该非输出端卷积层对应的膜电压。则若第一电压和第二电压的累加值大于或等于电压阈值，则该第N个非输出端卷积层向该第N+1个非输出端卷积层输出的脉冲信号为第一脉冲信号，该第一脉冲信号如图2所示的脉冲信号“1”。若第一电压和第二电压的累加值小于该电压阈值，则该第N个非输出端卷积层向该第N+1个非输出端卷积层输出的脉冲信号为第二脉冲信号，该第二脉冲信号如图2所示的脉冲信号“0”。
而在该神经网络对下一帧图像的脉冲信号进行处理之前，非输出端卷积层的膜电压会发生累积。具体的，若该第N个非输出端卷积层输出的脉冲信号为第一脉冲信号，该非输出端卷积层还用于根据该累加值与该电压阈值的差值，获取第三电压，再根据该第二电压和该第三电压的累积值，更新该第N个非输出端卷积层的膜电压。该第二电压和该第三电压的累积值为第四电压，则该第N个非输出端卷积层在对下一帧图像的脉冲信号处理时，对应的膜电压即为该第四电压。
如图2所示，该第一电压等于非输出端卷积层接收的脉冲信号特征块中的第一特征块(图2中所示的C*W*W特征块，W*W为卷积核的尺寸、C为输入并行计算的特征图通道)与该神经网络中的特征权重(如图2所示的T0至TN)进行卷积计算后得到的卷积值。该神经网络中的特征权重是在该神经网络训练完成后生成的，是固定的。该特征权重也可以根据实际需要(例如提高检测精度)调整，本实施例不做限定。
一帧图像的脉冲信号特征块是C*H*H特征块，在对一帧图像的脉冲信号特征块进行处理时，是以第一特征块(C*W*W特征块)的方式对C*H*H特征块进行处理，即先基于第一特征块(C*W*W特征块)与N个卷积核生成N个脉冲信号，再以第一特征块(C*W*W特征块)为单位，遍历C*H*H特征块。
具体的，图2中所示的C*W*W特征块(W*W为卷积核的尺寸、C为输入并行计算的特征图通道)是从C*H*H特征块中取出的需要并行加速的特征块，是C*H*H特征块中的部分特征块。在C*W*W特征块与特征权重的卷积过程中，是先将包含C个通道的特征块(C*W*W特征块)和多个同样大小的权重块(如图2所示的T0至TN)进行卷积，包含C个通道的特征块(C*W*W)与权重块卷积完后，继续卷积下一个包含C通道的第一特征块。C*H*H有多少个C*W*W的特征块，就会生成多少个第一电压。
图2中仅示出了一个C*W*W特征块与特征权重的卷积过程，并未示出多个C*W*W特征块的卷积结果累加的过程。图2中输出的TN1特征块代表的是C*W*W特征块与特征权重的卷积值，并不是一个C*H*H特征块与特征权重的卷积结果。
如图2所示的TN2特征块代表的就是第二电压。
以Conv0和Conv1为例说明脉冲信号的处理过程。Conv0处理完第一行脉冲信号后，将第一行脉冲信号的处理结果输入Conv1，然后Conv0处理第二行脉冲信号。在Conv0处理第二行脉冲信号的同时，Conv1处理Conv0第一行脉冲信号的处理结果。如此，达到了行级流水式处理每帧图像的效果。
可选的，该神经网络为Spiking-YOLO神经网络，该Spiking-YOLO神经网络中预设卷积层(包含非输出端卷积层和输出端卷积层)的步长为1或2。该预设卷积层例如第1个卷积层(Conv1)、第3个卷积层(Conv3)、第5个卷积层(Conv5)、第7个卷积层(Conv7)和第9个卷积层(Conv9)。第15个卷积层(Conv15)是反卷积层，步长为2，其他层步长为1。
通过控制每个卷积层(包括非输出端卷积层和输出端卷积层)的运算单元的并行度(运算单元一个时钟可以实现一个3*3的卷积运算，图3中的PE为运算单元)，可以近乎无阻塞得实现上层和下层卷积层之间流水式的信号传输。示例性地，请参见表1，表1列出了输入和输出并行度都为8(即64个运算单元)时每层计算消耗的时钟数，以Conv0和Conv1为例，Conv0是步长为1的卷积，Conv1是步长为2的卷积，所以Conv1进行卷积需要两行Conv0的卷积结果,表1中，Conv0卷积一行消耗的时钟周期数为832，而Conv1卷积一行消耗时钟周期数为1664，恰好为Conv0卷积两行的结果，因此流水线几乎不存在阻塞的情况。
表1：
注：由于表1中Conv13，YOLO1，Conv17，YOLO2在CPU实现，故不计算时钟数。
请参见图3，图3示出了每个卷积层内外的数据流示意图，IBRAM内部存储有卷积运算所需的脉冲数据。buffer0和buffer1当中只存储1行的脉冲数据。当每层卷积层开始卷积运算时，从IBRAM中取出脉冲信号，从WBRAM和BIAS中取得权重和偏置(权重和偏置即以上描述的特征权重)，从feature中取得膜电压，输入PE单元中进行卷积运算。运算后，脉冲输入到buffer1。
下面以举例的形式对buffer0和buffer1的脉冲信号存储和卷积层运算进行说明。首先，IBRAM存储的是buffer0输进来的脉冲信号，IBRAM相当于W个buffer0的大小，我们设W为3，最开始IBRAM0中存放了第1行脉冲信号、第2行脉冲信号和第3行脉冲信号，buffer0中存了第四行脉冲信号。有了这3行脉冲信号(第1行脉冲信号、第2行脉冲信号和第3行脉冲信号)就可以进行3*3的卷积，当这3行脉冲信号卷积完了，得到一行脉冲结果输入buffer1，buffer0中存储的第四行脉冲信号输进IBRAM，此时IBRAM存放第2行脉冲信号、第3行脉冲信号和第4行脉冲信号，这三行同样进行卷积，同时buffer0获得第五行的脉冲，以此类推。
综上，本实施例提供一种基于脉冲信号的神经网络，该基于脉冲信号的神经网络包括非输出端卷积层单元、输出端卷积层和YOLO层。其中，该输出端卷积层分别与该非输出端卷积层单元和该YOLO层连接，该非输出端卷积层单元包括M个依次连接的非输出端卷积层。该非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理。如此，基于膜电压发送脉冲信号，从而加速了脉冲信号的发射，提高了神经网络进行数据处理的速度，间接提高了脉冲相机显示图片的速度。
除此之外，该神经网络中每个卷积层(包括非输出端卷积层和输出端卷积层)只存储一行脉冲信号，也就是说每个卷积层每次只计算一行卷积结果。因此，卷积计算所需的特征和计算结果占据的存储资源较小，信号传输呈现行级流水。
除此之外，本实施例提供的该神经网络既具有卷积神经网络加速的结构，同时引入了脉冲神经网络功耗低且具备时间信息的优点，提高了图像检测速率和准确率。本实施例提供的该神经网络还将脉冲相机独有的脉冲图像与Spiking-Yolo相结合，从而充分降低了脉冲相机的功耗。
请参见图4，本申请其中一个实施例还提供一种脉冲信号处理方法，应用于如上任一项实施例描述的基于脉冲信号的神经网络。该脉冲信号处理方法包括：
S410，获取信号采集设备根据时空信号生成的脉冲信号。
该信号采集设备例如脉冲相机，或其他采集脉冲信号的设备。例如该信号采集设备为脉冲相机时，该信号采集设备根据时空信号生成的脉冲信号可以理解为脉冲相机根据时空信号生成的脉冲信号，该时空信号指的是时域信号，通俗得说是时间。
S420，将该脉冲信号输入至第1个非输出端卷积层，该第1个非输出端卷积层输出的脉冲信号用于输入至第2个非输出端卷积层，其中，第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出进行处理，该N为大于或等于1的自然数，每个非输出端卷积层对应各自的膜电压。
根据时空信号生成的脉冲信号由该神经网络中的第1个非输出端卷积层(如图1所示的Conv0)接收，再基于对应的膜电压对根据时空信号生成的脉冲信号进行处理后输出脉冲信号至第2个非输出端卷积层(如图1所示的Conv1)。Conv0在对信号采集设备根据时空信号生成的脉冲信号进行处理时，读取Conv0对应的膜电压，根据膜电压对信号采集设备根据时空信号生成的脉冲信号进行处理后，将生成的脉冲信号传递至Conv1。
每个非输出端卷积层对应各自的膜电压，该非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理。如图1所示的，Conv1读取对应的膜电压后，根据膜电压对Conv0输出的脉冲信号进行处理，Conv2读取对应的膜电压后，根据膜电压对Conv1输出的脉冲信号进行处理。
S430，将该非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号输入至该输出端卷积层，得到该输出端卷积层对该脉冲信号进行处理后得到的脉冲信号的卷积值。
该输出端卷积层200分别与该非输出端卷积层单元100和该YOLO层300连接。该输出端卷积层200例如图1所示的Conv13和Conv17，该YOLO层300如图1所示的YOLO1层和Yolo2层。
Conv0至Conv12构成的该非输出端卷积层单元100所连接的输出端卷积层200为Conv13，Conv13与YOLO1层连接。Conv0至Conv16构成的该非输出端卷积层100所连接的输出端卷积层200为Conv17，Conv17与Yolo2层连接。Conv0至Conv8，Conv8跨过Conv9至Conv15直接到Conv16，构成该非输出端卷积层单元100所连接的输出端卷积层200为Conv17，Conv17与Yolo2层连接。
由图1可知，从第Conv11开始，神经网络10分为两个分支，一个分支(由Conv11至Conv13的分支)做两层卷积后通向YOLO1层，另一个分支(由Conv11至Conv17的分支)先通过反卷积(在TConv15进行反卷积)进行上采样后，与Conv8输出的脉冲数据进行特征融合(由Conv16将Conv8和TConv15的脉冲数据进行特征融合)后经过两层卷积通向YOLO2层。
该输出端卷积层用于对该非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号进行处理，得到脉冲信号的卷积值。即如图1中的Conv13用于对Conv12输出的脉冲信号进行处理，Conv17用于对Conv16输出的脉冲信号进行处理，Conv16输出的脉冲信号一部分来自于Conv0至Conv8，一部分来自于Conv0至Conv15。
S440，将该输出端卷积层输出的卷积值输入至该YOLO层，得到该YOLO层输出的图像信息，该图像信息包括目标物在拍摄图像中的位置信息。
该YOLO层用于对该输出端卷积层输出的卷积值进行处理，得到图像信息，并输出该图像信息，该图像信息包括目标物在拍摄图像中的位置信息。拍摄图像包括了拍摄物和背景，该目标物指的是拍摄物。例如拍摄图像中包含的拍摄物是汽车，则该目标物在拍摄图像中的位置信息指的是汽车对应的图像在拍摄图像中的二维坐标位置信息。一副拍摄图像中可能有好多辆汽车，在拍摄时每辆汽车所处的位置不同，所以有的汽车图像占据的像素多，有的汽车图像占据的像素少。该YOLO1层输出的可以是占据像素多的目标物在拍摄图像中的位置信息，该YOLO2层输出的可以是占据像素少的目标物在拍摄图像中的位置信息。
请参见图2为该非输出端卷积层生成脉冲信号的示意图，此处以第一电压代表该非输出端卷积层接收的脉冲信号中的特征块与该神经网络中的特征权重进行卷积计算后得到的卷积值，以第二电压代表该非输出端卷积层对应的膜电压。则若第一电压和第二电压的累加值大于或等于电压阈值，则该第N个非输出端卷积层向该第N+1个非输出端卷积层输出的脉冲信号为第一脉冲信号，该第一脉冲信号如图2所示的脉冲信号“1”。若第一电压和第二电压的累加值小于该电压阈值，则该第N个非输出端卷积层向该第N+1个非输出端卷积层输出的脉冲信号为第二脉冲信号，该第二脉冲信号如图2所示的脉冲信号“0”。
而在该神经网络对下一帧图像的脉冲信号进行处理之前，非输出端卷积层的膜电压会发生累积。具体的，若该第N个非输出端卷积层输出的脉冲信号为第一脉冲信号，该非输出端卷积层还用于根据该累加值与该电压阈值的差值，获取第三电压，再根据该第二电压和该第三电压的累积值，更新该第N个非输出端卷积层的膜电压。该第二电压和该第三电压的累积值为第四电压，则该第N个非输出端卷积层在对下一帧图像的脉冲信号处理时，对应的膜电压即为该第四电压。
关于本实施例提供的脉冲信号处理方法中对脉冲信号的处理，可以参考以上实施例关于该神经网络10对于脉冲信号的处理的相关描述，此处不再赘述。
综上，本实施例提供的脉冲信号处理方法，应用于如上任一项实施例提供的基于脉冲信号的该神经网络。该神经网络包括非输出端卷积层单元、输出端卷积层和YOLO层。其中，该输出端卷积层分别与该非输出端卷积层单元和该YOLO层连接，该非输出端卷积层单元包括M个依次连接的非输出端卷积层。该非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理。该神经网络基于膜电压发送脉冲信号，使得本实施例提供的脉冲信号处理方法加速了脉冲信号的发射，提高了神经网络进行数据处理的速度，间接提高了脉冲相机显示图片的速度。
请参见图5，本申请其中一个实施例还提供一种脉冲信号处理装置20，应用于如上任一项实施例描述的基于脉冲信号的该神经网络。该脉冲信号处理装置20包括：
获取模块21，用于获取信号采集设备根据时空信号生成的脉冲信号。
处理模块22，用于将该脉冲信号输入至第1个非输出端卷积层，该第1个非输出端卷积层输出的脉冲信号用于输入至第2个非输出端卷积层，其中，第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的进行处理，该N为大于或等于1的自然数，每个非输出端卷积层对应各自的膜电压。
该处理模块22，还用于将该非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号输入至该输出端卷积层，得到该输出端卷积层对该脉冲信号进行处理后得到的脉冲信号的卷积值。
该处理模块22，还用于将该输出端卷积层输出的卷积值输入至该YOLO层，得到该YOLO层输出的图像信息，该图像信息包括目标物在拍摄图像中的位置信息。
若第一电压和第二电压的累加值大于或等于电压阈值，则该第N个非输出端卷积层向该第N+1个非输出端卷积层输出的脉冲信号为第一脉冲信号；若第一电压和第二电压的累加值小于该电压阈值，则该第N个非输出端卷积层向该第N+1个非输出端卷积层输出的脉冲信号为第二脉冲信号；该第一电压为该非输出端卷积层接收的脉冲信号中的特征块与该Spiking-YOLO神经网络中的特征权重进行卷积计算后得到的卷积值；该第二电压为该非输出端卷积层对应的膜电压。
若该第N个非输出端卷积层输出的脉冲信号为第一脉冲信号，该处理模块22还用于根据该累加值与该电压阈值的差值，获取第三电压；根据该第二电压和该第三电压的累积值，更新该第N个非输出端卷积层的膜电压。
请参见图6，本申请的一个实施例还提供一种脉冲信号处理系统10，该脉冲信号处理系统10包括处理器11、第一存储单元12、第二存储单元13和电路模块14。其中，该电路模块14上设置有如以上任一项实施例提供的基于脉冲信号的该神经网络。
该第一存储单元12用于存储每个非输出端卷积层各自对应的膜电压。该第一存储单元12例如图6所示的双倍速率同步动态随机存储器(Synchronous Dynamic RandomAccess Memory，简称DDR)。
该第二存储单元13用于存储第N个非输出端卷积层向该第N+1个非输出端卷积层输出的脉冲信号，该第二存储单元13例如为包含BRAM资源的存储单元。
该处理器11用于执行如以上任一项实施例提供的脉冲信号处理方法，该处理器11例如现场可编程逻辑门阵列FPGA(Field－Programmable Gate Array)芯片。
如图6所示，该神经网络中的首个非输出端卷积层(Conv0)同时从该第一存储单元12中获取(读取)该首个非输出端卷积层的膜电压和该信号采集设备(例如脉冲相机)根据时空信号生成的脉冲信号后进行处理生成脉冲信号。该首个非输出端卷积层再将生成的脉冲信号发送至Conv1，Conv1从该第一存储单元12中读取Conv1的膜电压，根据Conv1的膜电压对接收到的脉冲信号进行处理后生成脉冲信号，将生成的脉冲信号发送至Conv2，依次类推。最终，由该YOLO层输出图像信息，该图像信息包括目标物在拍摄图像中的位置信息。
本实施例验证了该神经网络(如Spiking-Yolo神经网络)在脉冲域实现检测以及在FPGA芯片上实现加速的可行性。
本申请还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机执行指令，当该指令被执行时，使得计算机执行指令被处理器执行时用于实现如上任一项实施例描述的脉冲信号处理方法。
本申请还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上任一项实施例描述的脉冲信号处理方法。
需要说明的是，上述计算机可读存储介质可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器。也可以是包括上述存储器之一或任意组合的各种电子设备，如移动电话、计算机、平板设备、个人数字助理等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所描述的方法。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (11)
1.一种基于脉冲信号的神经网络，其特征在于，所述神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，其中，所述输出端卷积层分别与所述非输出端卷积层单元和所述YOLO层连接，所述非输出端卷积层单元包括M个依次连接的非输出端卷积层，所述M为大于1的自然数；
所述非输出端卷积层单元中的第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的脉冲信号进行处理，所述第1个非输出端卷积层用于对信号采集设备根据时空信号生成的脉冲信号进行处理，所述N为大于或等于1的自然数，所述N小于或等于M，每个非输出端卷积层对应各自的膜电压；
所述输出端卷积层用于对所述非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号进行处理，得到脉冲信号的卷积值；
所述YOLO层用于对所述输出端卷积层输出的卷积值进行处理，得到图像信息，并输出所述图像信息，所述图像信息包括目标物在拍摄图像中的位置信息。
2.根据权利要求1所述的神经网络，其特征在于，
若第一电压和第二电压的累加值大于或等于电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第一脉冲信号；
若第一电压和第二电压的累加值小于所述电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第二脉冲信号；
所述第一电压为所述非输出端卷积层接收的脉冲信号中的特征块与Spiking-YOLO神经网络中的特征权重进行卷积计算后得到的卷积值；
所述第二电压为所述非输出端卷积层对应的膜电压。
3.根据权利要求2所述的神经网络，其特征在于，若所述第N个非输出端卷积层输出的脉冲信号为第一脉冲信号，所述非输出端卷积层还用于：
根据所述累加值与所述电压阈值的差值，获取第三电压；
根据所述第二电压和所述第三电压的累积值，更新所述第N个非输出端卷积层的膜电压。
4.根据权利要求1-3任一项所述的神经网络，其特征在于，所述神经网络为Spiking-YOLO神经网络，所述Spiking-YOLO神经网络中非输出端卷积层和输出端卷积层的步长为1或2。
5.一种脉冲信号处理方法，其特征在于，应用于基于脉冲信号的神经网络，所述神经网络为Spiking-YOLO神经网络，所述神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，其中，所述输出端卷积层分别与所述非输出端卷积层单元和所述YOLO层连接，所述非输出端卷积层单元包括M个依次连接的非输出端卷积层，所述M为自然数，所述方法包括：
获取信号采集设备根据时空信号生成的脉冲信号；
将所述脉冲信号输入至第1个非输出端卷积层，所述第1个非输出端卷积层输出的脉冲信号用于输入至第2个非输出端卷积层，其中，第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出进行处理，所述N为大于或等于1的自然数，每个非输出端卷积层对应各自的膜电压；
将所述非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号输入至所述输出端卷积层，得到所述输出端卷积层对所述脉冲信号进行处理后得到的脉冲信号的卷积值；
将所述输出端卷积层输出的卷积值输入至所述YOLO层，得到所述YOLO层输出的图像信息，所述图像信息包括目标物在拍摄图像中的位置信息。
6.根据权利要求5所述的方法，其特征在于，包括：
若第一电压和第二电压的累加值大于或等于电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第一脉冲信号；
若第一电压和第二电压的累加值小于所述电压阈值，则所述第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号为第二脉冲信号；
所述第一电压为所述非输出端卷积层接收的脉冲信号中的特征块与所述Spiking-YOLO神经网络中的特征权重进行卷积计算后得到的卷积值；
所述第二电压为所述非输出端卷积层对应的膜电压。
7.根据权利要求6所述的方法，其特征在于，若所述第N个非输出端卷积层输出的脉冲信号为第一脉冲信号，所述方法还包括：
根据所述累加值与所述电压阈值的差值，获取第三电压；
根据所述第二电压和所述第三电压的累积值，更新所述第N个非输出端卷积层的膜电压。
8.一种脉冲信号处理装置，其特征在于，应用于基于脉冲信号的神经网络，所述神经网络包括：非输出端卷积层单元、输出端卷积层和YOLO层，其中，所述输出端卷积层分别与所述非输出端卷积层单元和所述YOLO层连接，所述非输出端卷积层单元包括M个依次连接的非输出端卷积层，所述M为自然数，所述装置包括：
获取模块，用于获取信号采集设备根据时空信号生成的脉冲信号；
处理模块，用于将所述脉冲信号输入至第1个非输出端卷积层，所述第1个非输出端卷积层输出的脉冲信号用于输入至第2个非输出端卷积层，其中，第N+1个非输出端卷积层用于根据膜电压对第N个非输出端卷积层输出的进行处理，所述N为大于或等于1的自然数，每个非输出端卷积层对应各自的膜电压；
所述处理模块还用于将所述非输出端卷积层单元中的第M个非输出端卷积层输出的脉冲信号输入至所述输出端卷积层，得到所述输出端卷积层对所述脉冲信号进行处理后得到的脉冲信号的卷积值；
所述处理模块还用于将所述输出端卷积层输出的卷积值输入至所述YOLO层，得到所述YOLO层输出的图像信息，所述图像信息包括目标物在拍摄图像中的位置信息。
9.一种脉冲信号处理系统，其特征在于，包括处理器、第一存储单元、第二存储单元、电路模块，其中，所述电路模块上设置有如权利要求1-4任一项所述的基于脉冲信号的神经网络；
所述第一存储单元用于存储每个非输出端卷积层各自对应的膜电压；
所述第二存储单元用于存储第N个非输出端卷积层向所述第N+1个非输出端卷积层输出的脉冲信号；
所述处理器用于执行如权利要求5至7任一项所述的脉冲信号处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行如权利要求5至7任一项所述的脉冲信号处理方法。
11.一种脉冲信号处理装置，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求5至7任一项所述的脉冲信号处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210672468.XA CN115238857B (zh) | 2022-06-15 | 2022-06-15 | 基于脉冲信号的神经网络及脉冲信号处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210672468.XA CN115238857B (zh) | 2022-06-15 | 2022-06-15 | 基于脉冲信号的神经网络及脉冲信号处理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115238857A CN115238857A (zh) | 2022-10-25 |
| CN115238857B true CN115238857B (zh) | 2023-05-05 |
Family
ID=83669514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210672468.XA Active CN115238857B (zh) | 2022-06-15 | 2022-06-15 | 基于脉冲信号的神经网络及脉冲信号处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115238857B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109460817A (zh) * | 2018-09-11 | 2019-03-12 | 华中科技大学 | 一种基于非易失存储器的卷积神经网络片上学习系统 |
| CN110119785A (zh) * | 2019-05-17 | 2019-08-13 | 电子科技大学 | 一种基于多层spiking卷积神经网络的图像分类方法 |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| CN113688976A (zh) * | 2021-08-26 | 2021-11-23 | 哲库科技(上海)有限公司 | 一种神经网络加速方法、装置、设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816026B (zh) * | 2019-01-29 | 2021-09-10 | 清华大学 | 卷积神经网络和脉冲神经网络的融合装置及方法 |
| CN112581414B (zh) * | 2019-09-30 | 2024-04-23 | 京东方科技集团股份有限公司 | 一种卷积神经网络、图像处理的方法及电子设备 |
| CN111797971B (zh) * | 2020-05-27 | 2024-08-23 | 北京迈格威科技有限公司 | 应用卷积神经网络进行数据处理的方法、装置和电子系统 |
| CN114037047A (zh) * | 2021-10-09 | 2022-02-11 | 鹏城实验室 | 一种脉冲神经网络的训练方法 |
-
2022
- 2022-06-15 CN CN202210672468.XA patent/CN115238857B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109460817A (zh) * | 2018-09-11 | 2019-03-12 | 华中科技大学 | 一种基于非易失存储器的卷积神经网络片上学习系统 |
| CN110119785A (zh) * | 2019-05-17 | 2019-08-13 | 电子科技大学 | 一种基于多层spiking卷积神经网络的图像分类方法 |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| CN113688976A (zh) * | 2021-08-26 | 2021-11-23 | 哲库科技(上海)有限公司 | 一种神经网络加速方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115238857A (zh) | 2022-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10977530B2 (en) | ThunderNet: a turbo unified network for real-time semantic segmentation | |
| US11361546B2 (en) | Action recognition in videos using 3D spatio-temporal convolutional neural networks | |
| US11462034B2 (en) | Generating images using neural networks | |
| WO2020238560A1 (zh) | 视频目标跟踪方法、装置、计算机设备及存储介质 | |
| CN112308200B (zh) | 神经网络的搜索方法及装置 | |
| US11157764B2 (en) | Semantic image segmentation using gated dense pyramid blocks | |
| CN108537824B (zh) | 基于交替反卷积与卷积的特征图增强的网络结构优化方法 | |
| CN111669514B (zh) | 高动态范围成像方法和装置 | |
| EP3427195A1 (en) | Convolutional neural networks, particularly for image analysis | |
| CN108520238B (zh) | 一种基于深度预测编码网络的夜视图像的场景预测方法 | |
| CN112149694B (zh) | 一种基于卷积神经网络池化模块的图像处理方法、系统、存储介质及终端 | |
| CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
| US11734557B2 (en) | Neural network with frozen nodes | |
| EP4038581A1 (en) | Spatio-temporal embeddings | |
| CN114885144B (zh) | 基于数据融合的高帧率3d视频生成方法及装置 | |
| CN114821058A (zh) | 一种图像语义分割方法、装置、电子设备及存储介质 | |
| US11704894B2 (en) | Semantic image segmentation using gated dense pyramid blocks | |
| CN103595922A (zh) | 一种基于电子快门曝光编码的成像方法 | |
| CN115238857B (zh) | 基于脉冲信号的神经网络及脉冲信号处理方法 | |
| CN112541972A (zh) | 一种视点图像处理方法及相关设备 | |
| US12002453B2 (en) | Methods and devices for irregular pruning for automatic speech recognition | |
| CN114418064A (zh) | 一种目标检测方法、终端设备及存储介质 | |
| CN113379746A (zh) | 图像检测方法、装置、系统、计算设备及可读存储介质 | |
| CN116129363B (zh) | 一种河流漂浮污染物的监测方法及存储介质 | |
| CN113642549B (zh) | 快速目标检测系统和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230329 Address after: 100193 302a4, 3 / F, building 2, east yard, No.10, northwest Wangdong Road, Haidian District, Beijing Applicant after: Beijing Fusion Future Technology Co.,Ltd. Address before: 100084 b501b-2, 5th floor, building 8, yard 1, Zhongguancun East Road, Haidian District, Beijing Applicant before: Pulse vision (Beijing) Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240829 Address after: 100089, 5th Floor, Building 7, Courtyard A2, West Third Ring North Road, Haidian District, Beijing Patentee after: Zhongguancun Technology Leasing Co.,Ltd. Country or region after: China Address before: 100193 302a4, 3 / F, building 2, east yard, No.10, northwest Wangdong Road, Haidian District, Beijing Patentee before: Beijing Fusion Future Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |