CN113902106A - 脉冲事件决策装置、方法、芯片及电子设备 - Google Patents
脉冲事件决策装置、方法、芯片及电子设备 Download PDFInfo
- Publication number
- CN113902106A CN113902106A CN202111476156.3A CN202111476156A CN113902106A CN 113902106 A CN113902106 A CN 113902106A CN 202111476156 A CN202111476156 A CN 202111476156A CN 113902106 A CN113902106 A CN 113902106A
- Authority
- CN
- China
- Prior art keywords
- decision
- pulse
- count
- event
- counting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 210000002569 neuron Anatomy 0.000 claims abstract description 100
- 238000013528 artificial neural network Methods 0.000 claims abstract description 86
- 238000012421 spiking Methods 0.000 claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000010304 firing Methods 0.000 claims description 4
- 210000005036 nerve Anatomy 0.000 claims 1
- 230000001537 neural effect Effects 0.000 abstract description 19
- 230000000694 effects Effects 0.000 abstract description 3
- 238000001914 filtration Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000007704 transition Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000011664 nicotinic acid Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000000946 synaptic effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种脉冲事件决策装置、方法、芯片及电子设备。为了解决神经拟态芯片输出脉冲事件在读出决策时的固有延时问题，本发明采用的第一计数模块，其被配置为对所述脉冲神经网路的输入脉冲事件的个数进行计数；第二计数模块，其被配置为对所述脉冲神经网络输出层中若干神经元各自发放脉冲事件的个数进行计数；决策模块，其被配置为在第一计数模块的计数达到第一预设值时或在第二计数模块的总计数达到第二预设值时，依据所述脉冲神经网络输出层中若干神经元各自发放脉冲事件的计数做出决策结果。本发明基于计数、滑动计数窗等技术手段，解决了决策时的固有延时或决策数据不足问题，实现了根据事件发生快慢而自适应地做出最终决策的技术效果。
Description
技术领域
本发明涉及一种脉冲事件决策装置、方法、芯片及电子设备，具体涉及一种在物联网（IoT）边缘侧根据事件发生快慢而自适应决策的脉冲事件决策装置、方法、芯片及电子设备。
背景技术
神经拟态计算（Neuromorphic Computing）是近期发展起来的一种新型计算架构，这种计算方式采用仿生（眼、脑等）的方式来完成针对输入信号的推理，首次突破冯诺伊曼架构。事件成像装置，包括但不限于动态视觉传感器，根据像素对应位置处光线的明暗变化而生成脉冲事件，在明暗没有变化时则处于静默状态，不产生冗余数据，这种事件驱动特点与传统的基于帧的图像处理逻辑完全不同。
神经拟态芯片，俗称类脑芯片，其上部署有一种新颖的神经网络，也即最新一代的神经网络——脉冲神经网络（Spiking Neural Networks，SNN）。传统的人工神经网络（Artificial Neural Networks，ANN）中神经元是基于数学函数的计算单元，而脉冲神经网络中的神经元则更加仿生：如果输入累积的膜电压（记忆性）超过阈值（稀疏性），则会发放脉冲（仿生性），这与生物神经元的动力学特性高度相似。
因为神经拟态计算高度仿生，因此也具有生物脑的超低功耗特点，这与物联网（IoT）中对边缘计算的需求不谋而合。由于部署在边缘端，相比于云端解决方案天然更具有低延迟优势，但极致超低延迟的信息处理，同样是神经拟态计算所追求的目标。此外，推理结果的准确性，同样是一个基础且核心的性能指标。
然而，现有技术中依然存在某些不合理的固有延时（图1），消除该些延时，将有助于芯片/系统更快地获得决策结果，为后一级系统做出更及时的响应赢取更为宝贵的时间。此外，可能因为这种固有延时，在某些情况下会导致芯片的推理结果不可靠。因此，降低芯片处理延迟实现超低延迟决策或/和提升芯片推理结果可靠性，均是本领域所期待实现的技术目标。
发明内容
为了降低芯片处理延迟或/和提升芯片推理结果可靠性，本发明是通过如下技术方案实现的：
一种脉冲事件决策装置，该脉冲事件决策装置依据神经拟态芯片中脉冲神经网络的输出脉冲事件进行决策，该脉冲事件决策装置包括：第一计数模块，其被配置为对所述脉冲神经网络的输入脉冲事件的个数进行计数；决策模块，其被配置为在第一计数模块的计数达到第一预设值时，依据所述脉冲神经网络的输出层中若干神经元各自发放脉冲事件的计数做出决策结果；其中，所述若干神经元为输出层中部分或全部神经元。
在某类实施例中，所述脉冲事件决策装置还包括：第二计数模块，其被配置为执行如下操作之一对所述脉冲神经网络的输出层中若干神经元发放脉冲事件的个数进行计数：（i）对输出层中每个神经元发放的脉冲进行计数，然后相加获得输出层部分或全部神经元发放脉冲的总计数；（ii）对输出层若干神经元发放的脉冲统一直接计数，得到总计数；（iii）对输出层中每个神经元发放的脉冲进行计数，但不相加。
在某类实施例中，决策模块，被配置为在第一计数模块的计数达到第一预设值，或第一计数模块的计数达到第一预设值且第二计数模块的计数达到第二预设值时，触发决策模块做出决策。
在某类实施例中，至少存在某相邻两次决策时，第一计数模块中对应的两次计数所对应的输入脉冲事件之间有部分重叠；或/和，第二计数模块中对应的两次计数所对应的脉冲神经网络的输出层若干神经元发放的脉冲事件之间有部分重叠。
在某类实施例中，第二计数模块对所述输出层中若干神经元的每一个发放的脉冲事件使用多个子计数器进行计数；移除子计数器中最早的计数，并利用归零的子计数器对新发放的脉冲事件计数；将输出层中每个神经元对应的所有子计数器中计数的和，作为做出决策结果所依据的计数。
在某类实施例中，若连续多个决策结果满足如下条件中的一个或多个，则输出所述连续多个决策结果中出现次数最多的决策结果：（i）若所述连续多个决策结果的跳变率或跳变数低于第一阈值；（ii）若所述连续多个决策结果中出现次数最多的决策结果所占比率高于第二阈值；否则，不输出决策结果或输出指示结果不确定的决策结果。
在某类实施例中，所述脉冲事件决策装置中的第一计数模块、第二计数模块、决策模块中的一个或多个被实施在神经拟态芯片之内或之外。
一种脉冲事件决策装置，该脉冲事件决策装置依据神经拟态芯片中脉冲神经网络的输出脉冲事件进行决策，该脉冲事件决策装置包括：第二计数模块，其被配置为对所述脉冲神经网络的部分或全部输出脉冲事件进行计数；决策模块，其被配置为在第二计数模块的总计数达到第二预设值时，依据所述脉冲神经网络的输出层中神经元各自发放脉冲事件的计数做出决策结果。
在某类实施例中，第二计数模块对所述输出层中若干神经元的每一个发放的脉冲事件使用多个子计数器进行计数；移除子计数器中最早的计数，并利用归零的子计数器对新发放的脉冲事件计数；将输出层中每个神经元对应的所有子计数器中计数的和，作为做出决策结果所依据的计数。
在某类实施例中，若连续多个决策结果满足如下条件中的一个或多个，则输出所述连续多个决策结果中出现次数最多的决策结果：（i）若所述连续多个决策结果的跳变率或跳变数低于第一阈值；（ii）若所述连续多个决策结果中出现次数最多的决策结果所占比率高于第二阈值；否则，不输出决策结果或输出指示结果不确定的决策结果。
在某类实施例中，所述脉冲事件决策装置中的第二计数模块或/和决策模块被实施在神经拟态芯片之内或之外。
一种脉冲事件决策方法，该脉冲事件决策方法依据神经拟态芯片中脉冲神经网络的输出脉冲事件进行决策，对所述脉冲神经网络的输入脉冲事件的个数进行计数，并获得第一计数值，在第一计数值达到第一预设值时，依据所述脉冲神经网络的输出层中若干神经元各自发放脉冲事件的计数做出决策结果；或者，对所述脉冲神经网络的输出层部分或全部神经元的输出脉冲事件进行计数，并获得第二计数值，在第二计数值达到第二预设值时，依据所述脉冲神经网络的输出层中神经元各自发放脉冲事件的计数做出决策结果。
在某类实施例中，至少存在某相邻两次做出决策结果时，相邻两次获得的第一计数值所对应的输入脉冲事件之间有部分重叠；或/和，对所述输出层的部分或全部神经元的每一个发放的脉冲事件使用多个子计数器进行计数；移除子计数器中最早的计数，并利用归零的子计数器对新发放的脉冲事件计数；将输出层中每个神经元对应的所有子计数器中计数的和，作为做出决策结果所依据的计数。
一种芯片，该芯片上部署有脉冲神经网络，且还包括前述任意一项脉冲事件决策装置，或应用上述脉冲事件决策方法，所述的脉冲事件决策装置或脉冲事件决策方法用于对脉冲神经网络的输出脉冲事件进行决策。
此处的脉冲事件决策装置，可能分布在多个不同的物理装置（如芯片）中，共同完成决策功能。
一种电子设备，该电子设备包括事件成像装置，以及包括如前任意一项所述的脉冲事件决策装置、芯片，或应用上述任一项脉冲事件决策方法；所述的脉冲事件决策装置或芯片或脉冲事件决策方法用于对事件成像装置经过处理后获得的输出脉冲事件进行决策。
一种脉冲神经网络训练方法，该方法包括如下步骤：对事件成像装置所采集的数据集，分别按照固定脉冲事件数量构建成若干幅图像；依据所述若干幅图像训练人工神经网络；将人工神经网络转换成脉冲神经网络；将转换成后的脉冲神经网络部署至神经拟态芯片中。
本发明部分或全部实施例，至少具有如下有益效果：
1、可以根据事件发生的快慢，来决定最终的决策结果；
2、消除固有延迟，提升响应速度；
3、避免因脉冲事件数量不足影响决策精度；
4、滑动计数窗可以有效提升决策结果整体可靠性。
更多的有益效果，将在后续的优选实施例中一并描述。
以上披露的技术方案、技术特征、技术手段，与后续的具体实施方式部分中所描述的技术方案、技术特征、技术手段之间可能不完全相同、一致。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的这些新的技术特征、技术手段与后续具体实施方式部分公开的技术特征、技术手段是以相互合理组合的方式，披露更多的技术方案，是具体实施方式部分的有益补充。与此相同，说明书附图中的部分细节内容可能在说明书中未被明确描述，但是如果本领域技术人员基于本发明其它相关文字或附图的描述、本领域的普通技术知识、其它现有技术（如会议、期刊论文等），可以推知其技术含义，那么该部分未明确被文字记载的技术方案、技术特征、技术手段，同样属于本发明所披露的技术内容，且如上描述的一样可以被用于组合，以获得相应的新的技术方案。本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
以下附图仅仅是对本发明所公开的部分技术方案的举例，未尽的其它技术方案以文字的形式被描述，这些方案对应的附图是可以合理推知的。本发明不以这些附图为必然限制。
图1是现有技术中基于时间窗口方案的示意图；
图2是本发明所提出的低延迟决策装置的示意图；
图3是某类实施例中滑动计数窗口方案示意图；
图4是某类实施例中第二计数模块多窗口计数方案。
图5是某类实施例中决策方案示意图；
图6是高频决策结果无法通过低通过滤的示意图；
图7是低频决策结果通过低通过滤的示意图；
图8是匹配基于计数决策的训练方案示意图。
具体实施方式
对于下文未详细披露的其它的技术方案和细节，一般均属于本领域的常规技术手段/公知常识，由于篇幅限制，本发明不对其详细介绍。
除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”、“第三”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。
本发明所述的各种模块（以及其构成的装置）可以通过硬件，如FPGA、ASIC 或其它IC 设计方式来实施，比如通过设计传感器与处理器之间的接口电路来实现，可以被设计在同一个裸晶中，也可以被设计在不同裸晶中，也可以是通过软硬件相结合的方式实现，实现本发明所描述的技术方案可以采取不同的物理实施形态，本发明对具体的实施方式不做限定。
本发明中任意位置处描述存在或包括某步骤、模块时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它技术方案，这种方案未脱离本发明的构思而在本发明保护范围之内。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前现有的技术中，系统做出决策是基于时间窗口的，而时间窗口意味着整个方案会存在固有延迟。
参考图1，其是现有技术中基于时间窗口的方案示意图。事件成像装置，比如动态视觉传感器，其感受环境信号的变化，并产生稀疏的输入脉冲事件（或脉冲）序列，这些脉冲事件被送入神经拟态芯片。而神经拟态芯片上部署有大量的模拟突触、神经元的电路以及其它辅助电路，这些脉冲事件被送入脉冲神经网络，根据被配置好的脉冲神经网络依序完成脉冲事件的发放、传递等操作。在网络的前端，有一个输入层，图1中脉冲神经网络最左侧示例地画出由3个黑色圆圈代表的神经元构成输入层。在网络的末端，有一个输出层，，其包括的若干神经元也会发放脉冲或脉冲序列，图1中脉冲神经网络最右侧示例地画出由2个黑色圆圈代表的神经元构成输出层。在输入层和输出层之间，可包含若干隐藏层，图1中脉冲神经网络示例地画出由灰色圆圈代表的神经元构成3层隐藏层。基于时间窗口的技术方案，通常是设定一个时间窗口（比如100ms、10ms、2ms等），在该时间窗口内读取输出层每个神经元输出的脉冲或脉冲事件的计数，并基于这些计数或神经元的输出，送入决策模块做决策。决策策略可能各不相同，在本发明中不以某种特定决策策略为限制。
时间窗口意味着固有延迟（或延时），尤其是当时间窗口较大时，这种延迟可能导致方案与场景需求不匹配。比如自动驾驶场景中，对于行人闯入、滚石等异物检测，需要极短的响应时间。即针对发生较快的事件，如果此时时间窗口较长，那么获得推理结果将会因固有时间窗口而较慢输出决策结果，难以满足更低延时的需求。
这种方案还存在另外一个缺点：事件发生的速度有快有慢，比如挥手动作可慢可快，因时、因人而异。比如针对较慢发生的动作/事件，时间窗口相对较短，该期间的输出脉冲事件的数据量可能不足，由于在该较短的时间内就得做出决策，导致推理精度不高，结果不可靠。
为此，本发明提出一种基于计数的决策装置、方法、芯片及电子设备。
参考图2，事件成像装置，比如DVS（后文以此为例），接收环境中目标对象带来的光线的明暗变化，并将这种变化转换成脉冲事件（或称像素事件、脉冲），并通过USB等传输方案将事件传递给神经拟态芯片。在某类优选实施例中，DVS与神经拟态芯片集成在一起，形成整体解决方案，可以降低USB传输带来的信号抖动等问题，具体至少可以参见申请人其它专利文件（如CN2021110755934）。本发明以全文引入的方式，将其并入本申请。本发明中，不论是否片上集成事件成像装置，只要部署有脉冲神经网络的芯片都可以视为神经拟态芯片。
对于神经拟态芯片，在接收事件成像装置输出的脉冲事件后，在某类实施例中，由第一计数模块对脉冲神经网络的输入脉冲事件的个数进行计数。计数技术是本领域公知的技术，这里可以通过软件、硬件或软硬件相结合的方式实现，其可以被实施于芯片中，也可以实施在芯片之外，本发明不限定该技术实现手段。神经拟态芯片接收输入脉冲事件，并将其送入脉冲神经网络，脉冲神经网络对输入脉冲事件执行推理过程，并传递信息至脉冲神经网络的输出层（若干神经元的集合）中。此处的脉冲神经网络基于各种硬件电路（比如突触电路、神经元电路）和特定的神经网络模型，组织、管理这些神经元电路、突触电路，搭建而成的。举例地，脉冲神经网络包括输入层、隐藏层和输出层，图2中脉冲神经网络最左侧示例地画出由3个黑色圆圈代表的神经元构成输入层，脉冲神经网络最右侧示例地画出由2个黑色圆圈代表的神经元构成输出层，脉冲神经网络中间示例地画出由灰色圆圈代表的神经元构成3层隐藏层。
经过脉冲神经网络的推理运算，在输出层经由若干神经元发放脉冲序列。脉冲序列中的每个脉冲通常会携带发放该脉冲的神经元地址。在前述基于时间窗口的方案中，统计该时间窗口内所有发放脉冲的脉冲地址（不同地址对应输出层中不同的神经元）的计数，即脉冲神经网络输出层中若干神经元各自发放脉冲事件的计数，并由决策模块判决结果。比如，将该时间窗口内，发放脉冲计数最多的神经元对应的结果，作为决策结果。
在本发明某类实施例中，第一计数模块对脉冲神经网络的输入脉冲事件（包括进入神经拟态的芯片的脉冲事件并未全部输入脉冲神经网络情形）的个数进行计数，所述的输入脉冲事件可以是事件成像装置生成但经过滤、图像分割等预处理后的输入脉冲事件，也可以是事件成像装置生成但未经噪声过滤、图像分割等预处理后的输入脉冲事件（此时脉冲神经网络的输入脉冲事件与神经拟态芯片的输入脉冲事件实质等同），本发明对此不做限定。
本发明中，在某类实施例中，由第二计数模块对输出层部分或全部神经元发放的脉冲进行计数。第二计数模块的计数方式，至少可以是：（1）、分别针对输出层中每个神经元发放的脉冲进行计数，然后相加获得输出层部分或全部神经元发放脉冲的总计数；（2）、也可以是对输出层部分或全部神经元发放的脉冲统一直接计数，得到总计数；（3）、分别针对输出层中每个神经元发放的脉冲进行计数，但不必相加。不同的计数方式应用于不同类型的实施例方案，以匹配不同的需要。这里的总计数，可以是输出层部分（比如出于某种特殊需要）或全部脉冲神经元所发放脉冲的计数，但优选为输出层全部脉冲神经元所发放脉冲的计数。换言之，第二计数模块的总计数是输出层中部分或全部神经元各自发放脉冲事件的计数之和。
在某类实施例中，第一计数模块或/和第二计数模块被实施于神经拟态芯片之中（片内计数）；而另一类实施例中，第一计数模块或/和第二计数模块被实施在神经拟态芯片之外（片外计数）。本发明优选第一计数模块和第二计数模块均为片内计数方案。
在某类实施例中，脉冲事件决策装置可以仅存在上述第二计数模块（该方案未在图中示出），也可以优选地同时存在第一计数模块和第二计数模块（图2所示）。
基于第一计数模块或/和第二计数模块的计数结果，触发决策模块做出决策。比如在第一计数模块的计数达到第一预设值时，或者另一类实施例中在第二计数模块的总计数达到第二预设值时，触发决策模块做出决策。
在某类实施例中，第一计数模块对脉冲神经网络的输入脉冲事件进行计数，当计数值到达第一预设值θ1时，分别获取输出层中不同神经元发放脉冲事件的计数值（可以是第二计数模块的第3种计数方式）。基于所获取的若干计数值，在决策模块中做出决策结果。比如，可以将输出层发放脉冲数量最多的神经元所对应的结果作为决策结果，示例地第1个神经元对应的第1分类、第2个神经元对应的第2分类。
在某类实施例中，第二计数模块对输出层部分或全部神经元所发放的脉冲事件进行总计数（比如，第二计数模块的第1、2种计数方式），若该总计数达到第二预设值θ2时，分别获取输出层中若干神经元各自发放脉冲事件的计数值，基于所获取的若干计数值，在决策模块中做出决策。
如此以来，基于计数的决策机制可以实现：当目标对象在DVS感受野的同一位置运动速度较快时，单位时间产生的脉冲事件较多，因此第一计数模块的计数或/和第二计数模块的计数较快就达到对应的第一预设值或第二预设值，那么决策模块就可以及时地获得输出推理结果，可打破时间窗的固有延迟；当目标对象在DVS感受野的同一位置运动速度较慢时，单位时间产生的脉冲事件较少，因此第一计数模块的计数或/和第二计数模块的计数较慢达到对应的第一预设值或第二预设值，而这将克服固定时间窗口内决策模块所统计/积攒的脉冲事件数量不足进而推理结果不精确的缺陷。
对于决策模块的具体实施方式，其可以是任意一种合理的决策逻辑，本申请不做限定。决策模块可以被实施为片内决策和片外决策。所谓片内决策即在神经拟态芯片内部完成推理，给出决策或推理结果；而片外决策则意味着芯片只完成神经网络的推理过程，并向芯片外传递输出层脉冲神经元发放的脉冲事件，在神经拟态芯片之外由后一级系统（如MCU、FPGA、CPU等）完成决策。
事实上，属于脉冲事件决策装置的决策模块（某些实施例还包括低通过滤装置）、第一计数模块、第二计数模块等，均可以根据实际需要而选择部分或全部实施于片内或片外，由此脉冲事件决策装置可能单独实施在神经拟态芯片中，或者分散在多个不同的物理部件中，本发明对此不做限定。片外或片内方案可以根据芯片的特点、实际应用场景的需要而做出不同的选择，比如某神经拟态芯片内部不支持本发明基于计数的决策方案，但通过片外的方式可以实施本发明的自适应决策方案，这些均在本发明保护范围之内。
参考图3，其展示的是某类改进的更优实施例。该类实施例中，引入滑动计数窗而可以考虑时间前后关联性。在t1-t1’时间段内，第一计数窗W1完成一次累积计数，在t1’时刻，做出一次决策。而此后并不将计数值（第一计数模块的计数值或第二计数模块的总计数值）清零或归零，而是减去某个数值（固定的或浮动的，比如θ1/4、θ2/4）后，继续计数。而对于输出层中不同神经元发放脉冲事件的计数值，则也同样做出必要的调整，以适应窗口滑动。
参考图4，其公开的第二计数模块中为适应滑动计数窗而设置的计数方案。因为前述计数值并未被清零，而是减去某个数值，因此在滑到下一个窗口后，对于输出层中每个神经元的计数起点，也应该做出调整，从新的计数起点（而非强制归零）开始计数。若一个脉冲事件被4个连续滑动计数窗口有效统计过（比如每次减去第一计数值/4或第二计数值/4，那么4次后将恰好彻底滑过某一个窗口；在子计数器中表现为某次计数，经历4次求和统计才被移除；t4-t1’中某次计数，经历W1~W4一共4次滑窗），那么输出层的每个神经元对应设置4个子计数器（被记为子计数1~4），每个子计数器对应1/4计数窗口。图4示例地画出脉冲神经网络的输出层具有3个神经元，其中，黑色圆圈、白色圆圈和灰色圆圈分别代表输出层中的第1个神经元、第2个神经元和第3个神经元，且第1个神经元对应分类1、第2个神经元对应分类2及第3个神经元对应分类3。
在某类实施例中，当滑动一次窗口时，移除最早被计数的子计数1，其它子计数顺序移位（图中为向左移动），并将新的子计数移入子计数4。4个子计数全部相加得到的计数，是当前窗口下输出层该神经元对应的脉冲事件计数。比如，对于输出层某个神经元，其子计数1+子计数2+子计数3+子计数4=该神经元的计数，示例地计数1、计数2、计数3分别对应输出层中三个不同的神经元。而滑动一次窗口后，假如移动了1/4窗口，那么移动后窗口对应的该神经元的计数=子计数2+子计数3+子计数4+新子计数。换言之，先移除子计数器中最早的计数，并利用归零的子计数器（可以是前述的子计数器1，或者顺序移位存储后的子计数器4）对新发放的脉冲事件计数。
继续参考图3，第一计数模块的计数值或第二计数模块的总计数值减去某个数值后，计数窗移动，在t2’时刻，被减去的某个数值被新的计数补足，因此t2’时刻做出一次决策，例如，计数窗移动到t2-t2’之间，如第二计数窗W2。依次类推，在t3’、t4’时刻同样各做出一次决策，并分别代表W3、W4计数窗。然而值得一提的是，脉冲事件因发生速率的不同，前述的t1~t4’之间各个时间间隔，如图所示的那样，并不一定等长。
参考图5、图6和图7，举例地，以输出层包括3个神经元为例，其中，黑色圆圈、白色圆圈和灰色圆圈分别代表输出层中的第1个神经元、第2个神经元和第3个神经元。参考图5，按照决策时序，分别对其进行计数结果做了展示。在每个决策时刻，根据决策逻辑做出决策结果。为了输出更可靠的结果，某类优选方案还包括一个低通过滤装置/步骤（软件、硬件、软硬件相结合，可以是决策模块的一部分或独立于决策模块，可以位于神经拟态芯片内部，也可以位于神经拟态芯片外部），被用于过滤不稳定的决策结果。如果决策结果在某连续短时间内，反复在不同结果之间跳变（即决策结果发生了改变），那么这样的结果具有高频特点，比如决策结果反复在分类1和分类2之间跳变：1-2-1-2-1-2-1-2-1-1-2-1-3（参考图6）。那么这样的决策结果，即连续多个决策结果跳变率不低于第一阈值，无法通过低通过滤，因而不会将该不可靠结果输出，或者输出指示结果不确定的决策结果。反之，则应输出所述连续多个决策结果中出现次数最多的决策结果。
如果在某连续短时间内，连续做出的多个决策结果的决策模块比较稳定地输出某一决策结果，如2-2-2-2-1-2-2-2-2-2-2-2-2-2（参考图7），这种结果具有低频特性，可以通过低通过滤，输出最可靠结果，比如对应输出层神经元所代表的分类2。
衡量输出结果是否稳定的指标，可以采取多种手段，本发明不做具体限定。举例地，可以对决策结果跳变进行计数，不论是跳变数还是跳变率，都可以作为上述指标。比如，前述无法通过低通过滤的决策结果序列，在13次决策结果中出现了11次跳变；而前述可以低通过滤的决策结果序列，在14次决策结果中出现了2次跳变。
在另一个示例中，可以通过决策结果比率作为前述指标，前述第一例子中决策结果为分类1的比率为54%、分类2的比率38%；第二例子中决策结果为分类2的比率为93%。若设定比率高于第二阈值70%则输出所述连续多个决策结果中出现次数最多的决策结果，而低于70%则不会将该不可靠结果输出，或者输出指示结果不确定的决策结果。而在另一实施例汇总，上述第一阈值和第二阈值可以被结合使用，即同时满足方可输出最终决策结果。
参考图8，其公开的是一种基于计数的脉冲神经网络的训练方法及装置。在该方案中，为了匹配前述的基于计数的决策方案，首先将经DVS这种事件成像装置所采集的事件生成数据集，然后按照固定事件数量进行压帧，形成一幅图像，并将该种图像所形成的数据集送入人工神经网络（ANN）模型进行训练。本发明不以某种特定的人工神经网络为限制，因此任意合适的ANN模型及其训练方法，在本发明中均可适用，比如卷积神经网络及误差反向传播训练。然后将ANN模型转化成SNN模型，这一步骤中可能涉及权重的量化、神经元模型（比如激活函数）的转化等过程，ANN到SNN的转化为本领域所熟知的技术手段，本发明对具体的实施手段不做限制。训练所得的神经网络配置参数最终被部署至神经拟态芯片中，该芯片即获得推理能力而可以投入到实际应用场景之中，比如手势检测、跌倒检测等。换言之，此处公开：一种脉冲神经网络训练方法，该方法包括如下步骤:对事件成像装置所采集的数据集，分别按照固定脉冲事件数量构建成若干幅图像；依据所述若干幅图像训练人工神经网络；将人工神经网络转换成脉冲神经网络；将转换成后的脉冲神经网络部署至神经拟态芯片中。
此外本发明还公开：一种脉冲事件决策方法，该脉冲事件决策方法依据神经拟态芯片中脉冲神经网络的输出脉冲事件进行决策，对所述脉冲神经网络的输入脉冲事件的个数进行计数，并获得第一计数值，在第一计数值达到第一预设值时，依据所述脉冲神经网络的输出层中若干神经元各自发放脉冲事件的计数做出决策结果；或者，对所述脉冲神经网络的输出层部分或全部神经元的输出脉冲事件进行计数，并获得第二计数值，在第二计数值达到第二预设值时，依据所述脉冲神经网络的输出层中神经元各自发放脉冲事件的计数做出决策结果。
在某实施例中，至少存在某相邻两次做出决策结果时，相邻两次获得的第一计数值所对应的输入脉冲事件之间有部分重叠；或/和，对所述输出层的部分或全部神经元的每一个发放的脉冲事件使用多个子计数器进行计数；移除子计数器中最早的计数，并利用归零的子计数器对新发放的脉冲事件计数；将输出层中每个神经元对应的所有子计数器中计数的和，作为做出决策结果所依据的计数。
一种芯片，该芯片上部署有脉冲神经网络，且还包括前述任意一项脉冲事件决策装置，或应用上述脉冲事件决策方法，所述的脉冲事件决策装置或脉冲事件决策方法用于对脉冲神经网络的输出脉冲事件进行决策。在某类实施例中，该芯片为神经拟态芯片。
一种电子设备，该电子设备包括事件成像装置，以及包括如前任意一项所述的脉冲事件决策装置、芯片，或应用上述任一项脉冲事件决策方法；所述的脉冲事件决策装置或芯片或脉冲事件决策方法用于对事件成像装置经过处理后获得的输出脉冲事件进行决策。
尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下可以对其进行各种修改和组合。因此，说明书和附图应简单地视为由所附权利要求限定的本发明的一些实施例的说明，并且预期涵盖落入本发明范围内的任何和所有修改、变化、组合或等同物。因此，尽管已经详细描述了本发明及其优点，但是在不脱离由所附权利要求限定的本发明的情况下，可以进行各种改变、替换和变更。此外，本发明的范围不旨在限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例。
本领域普通技术人员从本发明的公开内容将容易理解，可以根据本发明应用执行与本文描述的相应实施例实质上相同功能或达到实质上相同的结果的当前存在或稍后开发的过程、机器、制造、物质组成、装置、方法或步骤。因此，所附权利要求目的在于在其范围内包括这样的过程、机器、制造、物质组成、装置、方法或步骤。
为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案作出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要利用了本发明权利要求所覆盖的技术特征，依据“全面覆盖原则”，该技术方案同样应落入本发明的保护范围之内。
所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到了基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据“等同原则”而落入权利要求的保护范围。
对于权利要求中有明确的数值限定的，通常情况下，本领域技术人员能够理解，该数值附近的其它合理数值同样能够应用于某具体的实施方式中。这些未脱离本发明构思的通过细节规避的设计方案，同样落入该权利要求的保护范围。
结合本文中所公开的实施例中描述的各方法步骤和单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明所要求保护的范围。
Claims (15)
1.一种脉冲事件决策装置，该脉冲事件决策装置依据神经拟态芯片中脉冲神经网络的输出脉冲事件进行决策，其特征在于，该脉冲事件决策装置包括：
第一计数模块，其被配置为对所述脉冲神经网络的输入脉冲事件的个数进行计数；
决策模块，其被配置为在第一计数模块的计数达到第一预设值时，依据所述脉冲神经网络的输出层中若干神经元各自发放脉冲事件的计数做出决策结果。
2.根据权利要求1所述的脉冲事件决策装置，其特征在于：所述脉冲事件决策装置还包括：
第二计数模块，其被配置为执行如下操作之一对所述脉冲神经网络的输出层中若干神经元发放脉冲事件的个数进行计数：
（i）对输出层中每个神经元发放的脉冲进行计数，然后相加获得输出层部分或全部神经元发放脉冲的总计数；
（ii）对输出层若干神经元发放的脉冲统一直接计数，得到总计数；
（iii）对输出层中每个神经元发放的脉冲进行计数，但不相加。
3.根据权利要求1所述的脉冲事件决策装置，其特征在于：
决策模块，被配置为在第一计数模块的计数达到第一预设值，或第一计数模块的计数达到第一预设值且第二计数模块的计数达到第二预设值时，触发决策模块做出决策。
4.根据权利要求1所述的脉冲事件决策装置，其特征在于：
至少存在某相邻两次决策时，第一计数模块中对应的两次计数所对应的输入脉冲事件之间有部分重叠；或/和，第二计数模块中对应的两次计数所对应的脉冲神经网络的输出层若干神经元发放的脉冲事件之间有部分重叠。
5.根据权利要求2所述的脉冲事件决策装置，其特征在于：
第二计数模块对所述输出层中若干神经元的每一个发放的脉冲事件使用多个子计数器进行计数；
移除子计数器中最早的计数，并利用归零的子计数器对新发放的脉冲事件计数；
将输出层中每个神经元对应的所有子计数器中计数的和，作为做出决策结果所依据的计数。
6.根据权利要求1所述的脉冲事件决策装置，其特征在于：
若连续多个决策结果满足如下条件中的一个或多个，则输出所述连续多个决策结果中出现次数最多的决策结果：
（i）若所述连续多个决策结果的跳变率或跳变数低于第一阈值；
（ii）若所述连续多个决策结果中出现次数最多的决策结果所占比率高于第二阈值；
否则，不输出决策结果或输出指示结果不确定的决策结果。
7.根据权利要求1-6任意一项所述的脉冲事件决策装置，其特征在于：
所述脉冲事件决策装置中的第一计数模块、第二计数模块、决策模块中的一个或多个被实施在神经拟态芯片之内或之外。
8.一种脉冲事件决策装置，该脉冲事件决策装置依据神经拟态芯片中脉冲神经网络的输出脉冲事件进行决策，其特征在于，该脉冲事件决策装置包括：
第二计数模块，其被配置为对所述脉冲神经网络的部分或全部输出脉冲事件进行计数；
决策模块，其被配置为在第二计数模块的总计数达到第二预设值时，依据所述脉冲神经网络的输出层中神经元各自发放脉冲事件的计数做出决策结果。
9.根据权利要求8所述的脉冲事件决策装置，其特征在于：
第二计数模块对所述输出层中若干神经元的每一个发放的脉冲事件使用多个子计数器进行计数；
移除子计数器中最早的计数，并利用归零的子计数器对新发放的脉冲事件计数；
将输出层中每个神经元对应的所有子计数器中计数的和，作为做出决策结果所依据的计数。
10.根据权利要求8所述的脉冲事件决策装置，其特征在于：
若连续多个决策结果满足如下条件中的一个或多个，则输出所述连续多个决策结果中出现次数最多的决策结果：
（i）若所述连续多个决策结果的跳变率或跳变数低于第一阈值；
（ii）若所述连续多个决策结果中出现次数最多的决策结果所占比率高于第二阈值；
否则，不输出决策结果或输出指示结果不确定的决策结果。
11.根据权利要求8-10任意一项所述的脉冲事件决策装置，其特征在于：
所述脉冲事件决策装置中的第二计数模块或/和决策模块被实施在神经拟态芯片之内或之外。
12.一种脉冲事件决策方法，该脉冲事件决策方法依据神经拟态芯片中脉冲神经网络的输出脉冲事件进行决策，其特征在于：
对所述脉冲神经网络的输入脉冲事件的个数进行计数，并获得第一计数值，在第一计数值达到第一预设值时，依据所述脉冲神经网络的输出层中若干神经元各自发放脉冲事件的计数做出决策结果；或者，
对所述脉冲神经网络的输出层部分或全部神经元的输出脉冲事件进行计数，并获得第二计数值，在第二计数值达到第二预设值时，依据所述脉冲神经网络的输出层中神经元各自发放脉冲事件的计数做出决策结果。
13.根据权利要求12所述的脉冲事件决策方法，其特征在于：
至少存在某相邻两次做出决策结果时，相邻两次获得的第一计数值所对应的输入脉冲事件之间有部分重叠；或/和，
对所述输出层的部分或全部神经元的每一个发放的脉冲事件使用多个子计数器进行计数；移除子计数器中最早的计数，并利用归零的子计数器对新发放的脉冲事件计数；将输出层中每个神经元对应的所有子计数器中计数的和，作为做出决策结果所依据的计数。
14.一种芯片，其特征在于：该芯片上部署有脉冲神经网络，且还包括权利要求1-11任意一项所述的脉冲事件决策装置，或在芯片中应用权利要求12-13任意一项所述的脉冲事件决策方法；所述的脉冲事件决策装置或脉冲事件决策方法用于对脉冲神经网络的输出脉冲事件进行决策。
15.一种电子设备，其特征在于：该电子设备包括事件成像装置，以及包括权利要求1-11任意一项所述的脉冲事件决策装置，或权利要求14所述的芯片，或应用权利要求12-13任意一项所述的脉冲事件决策方法；所述的脉冲事件决策装置或芯片或脉冲事件决策方法用于对事件成像装置经过处理后获得的输出脉冲事件进行决策。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111476156.3A CN113902106B (zh) | 2021-12-06 | 2021-12-06 | 脉冲事件决策装置、方法、芯片及电子设备 |
| PCT/CN2022/072038 WO2023103149A1 (zh) | 2021-12-06 | 2022-01-14 | 脉冲事件决策装置、方法、芯片及电子设备 |
| US18/270,888 US20240086690A1 (en) | 2021-12-06 | 2022-01-14 | Spike event decision-making device, method, chip and electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111476156.3A CN113902106B (zh) | 2021-12-06 | 2021-12-06 | 脉冲事件决策装置、方法、芯片及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113902106A true CN113902106A (zh) | 2022-01-07 |
| CN113902106B CN113902106B (zh) | 2022-02-22 |
Family
ID=79195361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111476156.3A Active CN113902106B (zh) | 2021-12-06 | 2021-12-06 | 脉冲事件决策装置、方法、芯片及电子设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20240086690A1 (zh) |
| CN (1) | CN113902106B (zh) |
| WO (1) | WO2023103149A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114372019A (zh) * | 2022-03-21 | 2022-04-19 | 深圳时识科技有限公司 | 对脉冲事件进行传输的方法、装置及芯片 |
| CN114466153A (zh) * | 2022-04-13 | 2022-05-10 | 深圳时识科技有限公司 | 自适应脉冲生成方法、装置、类脑芯片和电子设备 |
| CN114659553A (zh) * | 2022-02-28 | 2022-06-24 | 联想(北京)有限公司 | 一种检测方法、装置、设备及存储介质 |
| CN116030535A (zh) * | 2023-03-24 | 2023-04-28 | 深圳时识科技有限公司 | 手势识别方法及装置、芯片和电子设备 |
| WO2023103149A1 (zh) * | 2021-12-06 | 2023-06-15 | 成都时识科技有限公司 | 脉冲事件决策装置、方法、芯片及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102621383A (zh) * | 2012-03-23 | 2012-08-01 | 重庆大学 | 一种纳秒级超窄脉冲测量方法及系统 |
| CN106934457A (zh) * | 2017-03-08 | 2017-07-07 | 杭州领芯电子有限公司 | 一种可灵活时分复用的脉冲神经元实现架构 |
| US20190034782A1 (en) * | 2017-07-31 | 2019-01-31 | Intel Corporation | Variable epoch spike train filtering |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| US20200143229A1 (en) * | 2018-11-01 | 2020-05-07 | Brainchip, Inc. | Spiking neural network |
| CN112232440A (zh) * | 2020-11-10 | 2021-01-15 | 北京理工大学 | 一种运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法 |
| CN113408714A (zh) * | 2021-05-14 | 2021-09-17 | 杭州电子科技大学 | 基于stdp法则的全数字脉冲神经网络硬件系统及方法 |
| CN113449864A (zh) * | 2021-07-21 | 2021-09-28 | 北京大学 | 用于图像数据分类的反馈型脉冲神经网络模型训练方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10248906B2 (en) * | 2016-12-28 | 2019-04-02 | Intel Corporation | Neuromorphic circuits for storing and generating connectivity information |
| US11157804B2 (en) * | 2019-01-25 | 2021-10-26 | Northrop Grumman Systems Corporation | Superconducting neuromorphic core |
| CN113033759A (zh) * | 2019-12-09 | 2021-06-25 | 南京惟心光电系统有限公司 | 脉冲卷积神经网络算法、集成电路、运算装置及存储介质 |
| CN113902106B (zh) * | 2021-12-06 | 2022-02-22 | 成都时识科技有限公司 | 脉冲事件决策装置、方法、芯片及电子设备 |
-
2021
- 2021-12-06 CN CN202111476156.3A patent/CN113902106B/zh active Active
-
2022
- 2022-01-14 WO PCT/CN2022/072038 patent/WO2023103149A1/zh active Application Filing
- 2022-01-14 US US18/270,888 patent/US20240086690A1/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102621383A (zh) * | 2012-03-23 | 2012-08-01 | 重庆大学 | 一种纳秒级超窄脉冲测量方法及系统 |
| CN106934457A (zh) * | 2017-03-08 | 2017-07-07 | 杭州领芯电子有限公司 | 一种可灵活时分复用的脉冲神经元实现架构 |
| US20190034782A1 (en) * | 2017-07-31 | 2019-01-31 | Intel Corporation | Variable epoch spike train filtering |
| US20200143229A1 (en) * | 2018-11-01 | 2020-05-07 | Brainchip, Inc. | Spiking neural network |
| CN110210563A (zh) * | 2019-06-04 | 2019-09-06 | 北京大学 | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 |
| CN112232440A (zh) * | 2020-11-10 | 2021-01-15 | 北京理工大学 | 一种运用特异化神经元团实现脉冲神经网络信息记忆和区分的方法 |
| CN113408714A (zh) * | 2021-05-14 | 2021-09-17 | 杭州电子科技大学 | 基于stdp法则的全数字脉冲神经网络硬件系统及方法 |
| CN113449864A (zh) * | 2021-07-21 | 2021-09-28 | 北京大学 | 用于图像数据分类的反馈型脉冲神经网络模型训练方法 |
Non-Patent Citations (4)
| Title |
|---|
| HAOWEN FANG等: "Exploiting Neuron and Synapse Filter Dynamics in Spatial Temporal Learning of Deep Spiking Neural Network", 《HTTPS://ARXIV.ORG/PDF/2003.02944.PDF》 * |
| 庄照照: "刍议如何利用PLC实现生产自动化控制", 《科技创新与应用》 * |
| 甘文: "计数器计数值的使用点滴", 《机床电器》 * |
| 胡一凡等: "脉冲神经网络研究进展综述", 《控制与决策》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023103149A1 (zh) * | 2021-12-06 | 2023-06-15 | 成都时识科技有限公司 | 脉冲事件决策装置、方法、芯片及电子设备 |
| CN114659553A (zh) * | 2022-02-28 | 2022-06-24 | 联想(北京)有限公司 | 一种检测方法、装置、设备及存储介质 |
| CN114372019A (zh) * | 2022-03-21 | 2022-04-19 | 深圳时识科技有限公司 | 对脉冲事件进行传输的方法、装置及芯片 |
| CN114372019B (zh) * | 2022-03-21 | 2022-07-15 | 深圳时识科技有限公司 | 对脉冲事件进行传输的方法、装置及芯片 |
| CN114466153A (zh) * | 2022-04-13 | 2022-05-10 | 深圳时识科技有限公司 | 自适应脉冲生成方法、装置、类脑芯片和电子设备 |
| CN116030535A (zh) * | 2023-03-24 | 2023-04-28 | 深圳时识科技有限公司 | 手势识别方法及装置、芯片和电子设备 |
| CN116030535B (zh) * | 2023-03-24 | 2023-06-20 | 深圳时识科技有限公司 | 手势识别方法及装置、芯片和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20240086690A1 (en) | 2024-03-14 |
| WO2023103149A1 (zh) | 2023-06-15 |
| CN113902106B (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113902106B (zh) | 脉冲事件决策装置、方法、芯片及电子设备 | |
| KR102551544B1 (ko) | 객체 정보 획득 방법 및 이를 수행하는 장치 | |
| CN111582201B (zh) | 一种基于几何注意力感知的车道线检测系统 | |
| CN108133188B (zh) | 一种基于运动历史图像与卷积神经网络的行为识别方法 | |
| US8977582B2 (en) | Spiking neuron network sensory processing apparatus and methods | |
| Wohler et al. | An adaptable time-delay neural-network algorithm for image sequence analysis | |
| US7707128B2 (en) | Parallel pulse signal processing apparatus with pulse signal pulse counting gate, pattern recognition apparatus, and image input apparatus | |
| CN112699956B (zh) | 一种基于改进脉冲神经网络的神经形态视觉目标分类方法 | |
| Zhuang et al. | Multichannel pulse-coupled-neural-network-based color image segmentation for object detection | |
| EP3796228A1 (en) | Device and method for generating a counterfactual data sample for a neural network | |
| EP3843035A1 (en) | Image processing method and apparatus for target recognition | |
| CN113287122A (zh) | 脉冲神经网络 | |
| US20170337469A1 (en) | Anomaly detection using spiking neural networks | |
| CN114067166A (zh) | 用于确定物理对象的物理特性的设备和方法 | |
| CN112101153A (zh) | 基于感受野模块与多重特征金字塔的遥感目标检测方法 | |
| CN113112521A (zh) | 一种基于脉冲阵列的运动检测方法 | |
| CN112528961A (zh) | 一种基于Jetson Nano的视频分析方法 | |
| CN113378775A (zh) | 一种基于深度学习的视频阴影检测与消除方法 | |
| Ye et al. | Recognition algorithm of emitter signals based on PCA+ CNN | |
| US7007002B2 (en) | Signal processing circuit involving local synchronous behavior | |
| CN109101884B (zh) | 一种脉冲阵列预测方法 | |
| JP2023517966A (ja) | イベントベースのイメージセンサを動作させるためのイベントフィルタリング方法 | |
| Subbarao et al. | Detection of Retinal Degeneration via High-Resolution Fundus Images using Deep Neural Networks | |
| US20200226432A1 (en) | Method for classifying a capture taken by a sensor | |
| CN112487874A (zh) | 一种基于事件相机消除背景噪声的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |