CN114282647A - 基于脉冲神经网络的神经形态视觉传感器目标检测方法 - Google Patents
基于脉冲神经网络的神经形态视觉传感器目标检测方法 Download PDFInfo
- Publication number
- CN114282647A CN114282647A CN202111497432.4A CN202111497432A CN114282647A CN 114282647 A CN114282647 A CN 114282647A CN 202111497432 A CN202111497432 A CN 202111497432A CN 114282647 A CN114282647 A CN 114282647A
- Authority
- CN
- China
- Prior art keywords
- pulse
- neural network
- layer
- network
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 57
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 230000001537 neural effect Effects 0.000 title abstract description 6
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 10
- 210000005036 nerve Anatomy 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 24
- 210000002569 neuron Anatomy 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 16
- 238000011176 pooling Methods 0.000 claims description 13
- 238000012421 spiking Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 2
- 230000000877 morphologic effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 abstract description 2
- 238000001994 activation Methods 0.000 description 16
- 230000004913 activation Effects 0.000 description 15
- 238000010606 normalization Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，包括以下步骤：S1，训练裁剪后的人工神经网络；S2，将人工神经网络转换为脉冲神经网络；S3，神经形态视觉传感器采集动态物体的画面信息，并对该画面信息进行图像重构后将时空脉冲信号输入脉冲神经网络；S4，脉冲神经网络对时空脉冲信号计算检测并进行解码后输出图像，根据检测结果在图像上做出标注，用矩形框标出每个目标中标注的位置和类型，并判断检测与识别的结果；S5，对识别和检测的结果进行验证。本发明对硬件具有友好性，能够处理高速动态物体的检测图像。
Description
技术领域
本发明属于神经网络目标检测技术领域，特别涉及一种基于脉冲神经网络的神经形态视觉传感器目标检测方法。
背景技术
近年来，神经形态视觉传感器凭借其高动态、低功耗、低冗余等优势在无人科技、智能工业等领域有着巨大的应用前景。深度学习彻底改变了机器学习领域，尤其是在计算机视觉，其使用反向传播以监督的方式训练深层人工神经网络，但训练过程需要大量带标签的训练样本、强大的算力以及漫长的训练时间。然而人工神经元与生物神经元传输数据与计算的方法完全不同，前者使用实值信号，而后者使用离散的脉冲来计算和传输信息，并且除了脉冲发放率外，脉冲时间也很重要，因此脉冲神经网络在生物学上更容易现实，也更具硬件友好性和能源效率，因此对便携式设备具有吸引力。
目标检测是计算机视觉领域中的一个重要的研究课题。已经被广泛的使用在多个真实场景的应用中，如人脸识别，交通安全，人群监控和图像检索等。面对海量的图像视频数据，低耗自动化和快速的目标检测方法是迫切需要的。
神经形态视觉传感器所捕捉的低冗余时空脉冲数据可以实现脉冲神经网络端到端的训练学习，所以神经形态视觉传感器对脉冲神经网络应用在目标检测领域的研究具有重要的理论意义和现实意义。
发明内容
针对传统的人工神经网络越来越难以应对海量的图像视频数据，本发明提出了一种基于脉冲神经网络的神经形态视觉传感器目标检测方法。
为了解决上述技术问题，本发明的技术方案为：
一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，包括以下步骤：
S1，训练裁剪后的人工神经网络；
S2，将人工神经网络转换为脉冲神经网络；
S3，神经形态视觉传感器采集动态物体的画面信息，并对该画面信息进行图像重构后将时空脉冲信号输入脉冲神经网络；
S4，脉冲神经网络对时空脉冲信号计算检测并进行解码后输出图像，根据检测结果在图像上做出标注，用矩形框标出每个目标中标注的位置和类型，并判断检测与识别的结果；
S5，对识别和检测的结果进行验证。
优选的，步骤S4包括以下步骤：
S41，将时空脉冲信号输入主干特征提取网络；
S42，主干特征提取网络分两路分布输出至平均池化层和加强特征提取网络；
S43，平均池化层输出至加强特征提取网络；
S44，加强特征提取网络输出两个有效特征至基于Vm脉冲译码层；
S45，对基于Vm脉冲译码层输出的检测与识别的结果进行判断。
优选的，步骤S41包括以下步骤：
S411，将时空脉冲信号导入输入层；
S412，时空脉冲信号通过输入层输入脉冲编码层；
S413，脉冲编码层进行编码后输出至两次脉冲卷积标准化处理层；
S414，脉冲卷积标准话处理层处理后输出至三次脉冲残差处理层；
S415，三次脉冲残差处理层处理后分别输出至平均池化层和加强特征提取网络。
优选的，步骤S44中加强特征提取网络包括第一脉冲卷积层和第二脉冲卷积层；三次脉冲残差处理层处理后分别输出至第一脉冲卷积层、第二脉冲卷积层和平均池化层，同时平均池化层输出至第二脉冲卷积层；第一脉冲卷积层输出第一有效特征以及第二脉冲卷积层输出第二有效特征。
优选的，步骤S2中人工神经网络的运算和输出全面转换为二进制时空脉冲信号为处理载体的脉冲神经网络，所有神经元用相应的脉冲神经元来替换，并且训练所得权重进行量化。
优选的，脉冲神经元采用剩余阈值不平衡脉冲神经元。
优选的，步骤S1包括：选择合适的目标检测人工神经网络，对网络进行结构约束，用图像数据集训练网络权值。
与现有技术相比，本发明的有益效果是：
本发明将人工神经网络转换成脉冲神经网络，神经视觉传感器结合脉冲神经网络可以对动态物体进行检测和识别，具有检测速度快、低数据冗余、高分辨率、低耗能和对硬件友好性的优点。
附图说明
图1为本发明系统框图；
图2为本发明脉冲神经网络算法框架图；
图3为本发明剩余阈值不平衡脉冲神经元正激活示意图；
图4为本发明剩余阈值不平衡脉冲神经元负激活示意图；
图5为本发明脉冲残差网络分层补偿结构图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
请综合参考图1至图5，一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，包括以下步骤：
S1，训练裁剪后的人工神经网络；
选择合适的目标检测人工神经网络，对网络进行结构约束，例如将偏置限制为零、采用平均池化，用图像数据集训练网络权值。
S2，将人工神经网络转换为脉冲神经网络；
将人工神经网络转化为脉冲神经网络，采用近似转换的方式，Reset to zero(适用于浅层网络)和Reset by subtraction(适用于深层网络)两种转换方式，其中每个步长为Δt∈R+，Vthr代表阈值电位，
为超过阈值剩余电位，最高脉冲发射率rmax＝1/Δt，脉冲发射率
和人工神经网络的激活值
成比例：
S3，神经形态视觉传感器采集动态物体的画面信息，并对该画面信息进行图像重构后将时空脉冲信号输入脉冲神经网络；
S4，脉冲神经网络对时空脉冲信号计算检测并进行解码后输出图像，根据检测结果在图像上做出标注，用矩形框标出每个目标中标注的位置和类型，并判断检测与识别的结果，如图2所示；
训练后将得到的权值全部迁移到对应的脉冲神经网络；输入、运算和输出上对DVS编码全面转换为以二级制时空脉冲信号为处理载体的网络；所有神经元采用剩余阈值不平衡脉冲神经元，满足正激活和负激活的同时有效地将剩余电势保持在膜电位上等待下一次激活。当膜电位小于阈值电位时，若α＝0.1，则负责正激活Vthr的阈值电压为1mV，而负责负激活Vthr的阈值电压为－10mV，如图3、4所示；
为了防止神经元激活不足或过度激活，需要仔细选择权值和阈值电压Vth，对输入极小激活进行逐层归一化处理，以保证神经元的有效和平衡激活。i和j为维度下标，l层权值ω通过在每个通道使用最大激活值
进行归一化，该值依然是从训练集计算的。对于非首层中，归一化的激活值必须乘上
来将输入还原为上一层归一化前的值，再进行本层的归一化，不然传递的信息会越来越小，其逐层归一化公式为：
确定每一个剩余阈值不平衡脉冲神经元的阈值后，当阈值电位Vthr缩小0.1～0.2倍时深层脉冲发射活跃度提高的同时更加规律，减少信息传输的损失。
在脉冲神经网络里的主干特征提取网络对输入先进行两次脉冲卷积标准化处理，二维函数I和H对应的卷积操作表示为：
卷积后的输出进行三次脉冲残差网络处理和一次脉冲卷积处理后作为两个输出。为了导出一个好的转换模型来缩放，如图5所示，Vmax1，Vmax2，Vmax3分别表示从上到下三个神经元的最大激活值，第一个神经元后为输入x，而W1、W2、b1、b2分别是两个权重层中的权重和偏差，则输出表示为：
y＝w2(w1x+b1)+b2+x (5)
残差网络中的激活与脉冲神经网络中的发射速率范围需匹配，因为如果脉冲神经元在一个时间步长内发射多个脉冲，这导致高激活值携带的信息将在转换过程中丢失，对于堆叠层每层的权重和偏差，通过训练集计算的最大可能激活采取归一化，这导致新的权重、剩余块中的偏差以及先前层中的权重发生变化。于是这里将新的权重、偏差和输入块的输出更新为：
假设必须根据堆叠层中的规范化按照参数进行缩放，因为根据标准化的基本原则，无论权重、偏差或输入如何变化，标准化输出必须始终是通过其最大可能激活来保持单元最大脉冲发放率，即输出的公式(5)变为：
假设也必须根据堆叠层中的规范化按照参数进行缩放，所以公式(7)变为：
故λ标准化为：
脉冲残差网络的转换机制是将每一层接收上一层采样误差的加权和，并且随着深度增加而不断累积，因为抽样误差的离散性和传输性，使得网络越深，累积的采样误差会减少脉冲发放率从而降低性能。所以每一层适当的增加了权重来减小采样误差，引入惩罚因子(大于1)在采样过程中，增加脉冲发放率。
输出连接平均池化层，池化处理后与上一个输出进行堆叠；
两个输出堆叠后输入加强特征提取层后进行一次脉冲卷积处理后作为两个输出，一个输出作为最后特征，另一个特征进行脉冲卷积一次输出作为最后特征；
得到两个特征后进行基于Vm脉冲译码，用矩形框标出每个目标中的标注的位置和类别，判断检测与识别的结果。
S5，对识别和检测的结果进行验证。
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。
Claims (7)
1.一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，其特征在于，包括以下步骤：
S1，训练裁剪后的人工神经网络；
S2，将人工神经网络转换为脉冲神经网络；
S3，神经形态视觉传感器采集动态物体的画面信息，并对该画面信息进行图像重构后将时空脉冲信号输入脉冲神经网络；
S4，脉冲神经网络对时空脉冲信号计算检测并进行解码后输出图像，根据检测结果在图像上做出标注，用矩形框标出每个目标中标注的位置和类型，并判断检测与识别的结果；
S5，对识别和检测的结果进行验证。
2.根据权利要求1所述的一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，其特征在于，步骤S4包括以下步骤：
S41，将时空脉冲信号输入主干特征提取网络；
S42，主干特征提取网络分两路分布输出至平均池化层和加强特征提取网络；
S43，平均池化层输出至加强特征提取网络；
S44，加强特征提取网络输出两个有效特征至基于Vm脉冲译码层；
S45，对基于Vm脉冲译码层输出的检测与识别的结果进行判断。
3.根据权利要求2所述的一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，其特征在于，步骤S41包括以下步骤：
S411，将时空脉冲信号导入输入层；
S412，时空脉冲信号通过输入层输入脉冲编码层；
S413，脉冲编码层进行编码后输出至两次脉冲卷积标准化处理层；
S414，脉冲卷积标准话处理层处理后输出至三次脉冲残差处理层；
S415，三次脉冲残差处理层处理后分别输出至平均池化层和加强特征提取网络。
4.根据权利要求3所述的一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，其特征在于，步骤S44中加强特征提取网络包括第一脉冲卷积层和第二脉冲卷积层；三次脉冲残差处理层处理后分别输出至第一脉冲卷积层、第二脉冲卷积层和平均池化层，同时平均池化层输出至第二脉冲卷积层；第一脉冲卷积层输出第一有效特征以及第二脉冲卷积层输出第二有效特征。
5.根据权利要求1所述的一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，其特征在于，步骤S2中人工神经网络的运算和输出全面转换为二进制时空脉冲信号为处理载体的脉冲神经网络，所有神经元用相应的脉冲神经元来替换，并且训练所得权重进行量化。
6.根据权利要求5所述的一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，其特征在于，脉冲神经元采用剩余阈值不平衡脉冲神经元。
7.根据权利要求1所述的一种基于脉冲神经网络的神经形态视觉传感器目标检测方法，其特征在于，步骤S1包括：选择合适的目标检测人工神经网络，对网络进行结构约束，用图像数据集训练网络权值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111497432.4A CN114282647B (zh) | 2021-12-09 | 2021-12-09 | 基于脉冲神经网络的神经形态视觉传感器目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111497432.4A CN114282647B (zh) | 2021-12-09 | 2021-12-09 | 基于脉冲神经网络的神经形态视觉传感器目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114282647A true CN114282647A (zh) | 2022-04-05 |
| CN114282647B CN114282647B (zh) | 2024-02-02 |
Family
ID=80871417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111497432.4A Active CN114282647B (zh) | 2021-12-09 | 2021-12-09 | 基于脉冲神经网络的神经形态视觉传感器目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114282647B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114997235A (zh) * | 2022-06-13 | 2022-09-02 | 脉冲视觉(北京)科技有限公司 | 基于脉冲信号的目标检测处理方法、装置、设备和介质 |
| CN117037287A (zh) * | 2023-10-08 | 2023-11-10 | 武汉理工大学 | 一种基于3d脉冲神经网络的行为识别方法、系统及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112232486A (zh) * | 2020-10-19 | 2021-01-15 | 南京宁麒智能计算芯片研究院有限公司 | 一种yolo脉冲神经网络的优化方法 |
| WO2021012752A1 (zh) * | 2019-07-23 | 2021-01-28 | 中建三局智能技术有限公司 | 一种基于脉冲神经网络的短程跟踪方法及系统 |
| CN112633497A (zh) * | 2020-12-21 | 2021-04-09 | 中山大学 | 一种基于重加权膜电压的卷积脉冲神经网络的训练方法 |
| CN112699956A (zh) * | 2021-01-08 | 2021-04-23 | 西安交通大学 | 一种基于改进脉冲神经网络的神经形态视觉目标分类方法 |
| CN113435570A (zh) * | 2021-05-07 | 2021-09-24 | 西安电子科技大学 | 可编程卷积神经网络处理器、方法、设备、介质、终端 |
-
2021
- 2021-12-09 CN CN202111497432.4A patent/CN114282647B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021012752A1 (zh) * | 2019-07-23 | 2021-01-28 | 中建三局智能技术有限公司 | 一种基于脉冲神经网络的短程跟踪方法及系统 |
| CN112232486A (zh) * | 2020-10-19 | 2021-01-15 | 南京宁麒智能计算芯片研究院有限公司 | 一种yolo脉冲神经网络的优化方法 |
| CN112633497A (zh) * | 2020-12-21 | 2021-04-09 | 中山大学 | 一种基于重加权膜电压的卷积脉冲神经网络的训练方法 |
| CN112699956A (zh) * | 2021-01-08 | 2021-04-23 | 西安交通大学 | 一种基于改进脉冲神经网络的神经形态视觉目标分类方法 |
| CN113435570A (zh) * | 2021-05-07 | 2021-09-24 | 西安电子科技大学 | 可编程卷积神经网络处理器、方法、设备、介质、终端 |
Non-Patent Citations (1)
| Title |
|---|
| 蔡荣太;吴庆祥;: "基于脉冲神经网络的红外目标提取", 计算机应用, no. 12 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114997235A (zh) * | 2022-06-13 | 2022-09-02 | 脉冲视觉(北京)科技有限公司 | 基于脉冲信号的目标检测处理方法、装置、设备和介质 |
| CN117037287A (zh) * | 2023-10-08 | 2023-11-10 | 武汉理工大学 | 一种基于3d脉冲神经网络的行为识别方法、系统及装置 |
| CN117037287B (zh) * | 2023-10-08 | 2023-12-29 | 武汉理工大学 | 一种基于3d脉冲神经网络的行为识别方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114282647B (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112347859B (zh) | 一种光学遥感图像显著性目标检测方法 | |
| CN111046583B (zh) | 基于DTW算法和ResNet网络的转辙机故障诊断方法 | |
| CN114282647A (zh) | 基于脉冲神经网络的神经形态视觉传感器目标检测方法 | |
| CN113242259B (zh) | 网络异常流量检测方法及装置 | |
| CN111967343A (zh) | 基于简单神经网络和极端梯度提升模型融合的检测方法 | |
| CN110956222B (zh) | 用于水下目标检测的检测网络的方法 | |
| CN111901024A (zh) | 基于抗拟合深度学习的mimo信道状态信息反馈方法 | |
| CN111447217A (zh) | 一种稀疏编码下的基于htm的流数据异常检测方法及系统 | |
| CN112949821A (zh) | 基于双重注意力机制的网络安全态势感知方法 | |
| CN115862319A (zh) | 一种面向时空图自编码器的交通流量预测方法 | |
| CN113989933B (zh) | 一种在线行为识别模型训练、检测方法及系统 | |
| Zhao et al. | An efficient and lightweight approach for intrusion detection based on knowledge distillation | |
| CN112348033B (zh) | 一种协同显著性目标检测方法 | |
| CN113707175A (zh) | 基于特征分解分类器与自适应后处理的声学事件检测系统 | |
| CN115761654B (zh) | 一种车辆重识别方法 | |
| CN116684138A (zh) | 基于注意力机制的drsn和lstm的网络入侵检测方法 | |
| Xie et al. | A kind of wireless modulation recognition method based on densenet and blstm | |
| CN110610261A (zh) | 基于神经网络的水体溶解氧预测方法 | |
| CN115719514A (zh) | 一种面向手势识别的领域自适应方法及系统 | |
| CN115208613A (zh) | 一种基于小样本学习的三元cct网络的入侵检测方法 | |
| CN115631771A (zh) | 基于组合卷积神经网络的声音事件检测与定位方法 | |
| CN115331301A (zh) | 一种基于Transformer的6D姿态估计方法 | |
| CN114596464A (zh) | 多特征交互的无监督目标检测方法、系统、电子设备和可读存储介质 | |
| JP7230324B2 (ja) | ニューラルネットワークの学習方法、コンピュータプログラム及びコンピュータ装置 | |
| CN113177599A (zh) | 一种基于gan的强化样本生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |