CN114418073B - 脉冲神经网络训练方法、存储介质、芯片及电子产品 - Google Patents
脉冲神经网络训练方法、存储介质、芯片及电子产品 Download PDFInfo
- Publication number
- CN114418073B CN114418073B CN202210322004.6A CN202210322004A CN114418073B CN 114418073 B CN114418073 B CN 114418073B CN 202210322004 A CN202210322004 A CN 202210322004A CN 114418073 B CN114418073 B CN 114418073B
- Authority
- CN
- China
- Prior art keywords
- data
- event
- chip
- neural network
- thermal noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 title claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 230000017074 necrotic cell death Effects 0.000 claims abstract description 15
- 230000003044 adaptive effect Effects 0.000 claims abstract description 6
- 238000009826 distribution Methods 0.000 claims description 25
- 230000001338 necrotic effect Effects 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000012421 spiking Methods 0.000 claims description 2
- 230000006978 adaptation Effects 0.000 abstract description 5
- 238000004088 simulation Methods 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241001607510 Daphne virus S Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003574 free electron Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000005036 potential barrier Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种脉冲神经网络训练方法、存储介质、芯片及电子产品。为了克服现有技术中因器件失配所带来的算法与硬件难契合的问题，使训练的网络很好地适应不同的传感器的硬件特性，本发明对训练数据进行了各种基于事件和速率的增强，包括随机热噪声生成、散粒噪声模拟、自适应数据速率调整和随机固件坏死，基于增强后的数据进行训练，得到使所述脉冲神经网络预测性能达到最优的配置参数。本发明高效、统一解决了不同传感器或不同环境下与脉冲神经网络硬件连接时的应用适配问题，芯片性能表现更稳定、有效，推理结果更一致。本发明适用于类脑芯片领域，尤其是训练脉冲神经网络领域。
Description
技术领域
本发明涉及一种脉冲神经网络训练方法、存储介质、芯片及电子产品，具体涉及一种为适配不同传感器之间器件失配的脉冲神经网络训练方法、存储介质、芯片及电子产品。
背景技术
传感器，例如事件相机（也称事件驱动相机、动态视觉传感器）、音频前端等，将变化的信息转换为事件。事件相机是一种新颖的图像传感硬件设备，也是近年来研究的热点之一。事件相机的每个像素单独接收光线变化信号，并在光线明暗变化时异步地发出脉冲事件，因此其并无传统相机中帧的概念。虽然也有通过传统人工神经网络（ANN）来处理事件相机所生成的数据（通常需要压帧处理）的案例，但是事件相机的事件驱动特性，与脉冲神经网络（SNN）处理器（也称神经拟态硬件、类脑芯片）天然契合，因此将事件相机所生成的脉冲事件交由SNN处理器处理，是类眼技术与类脑技术的天然组合。
器件失配是电子学领域中几乎不可避免的制造缺陷，即便使用相同的工艺、参数和生产条件，所制造的集成电路也会存在细微的差异，因此难以存在表现完全一致的两块事件相机。通常地，每个事件相机均有独特的特点，尤其是事件相机所生成的噪声事件。
对于噪声事件，事件相机会表现为热像素/热噪点（hot pixel）数量、位置的不确定性或随机性。在不同光照、温度、湿度环境下，热像素的发放频率、位置也具有随机性。热点噪声触发时间间隔通常在毫秒级别，其间隔内会有其它的噪声或者事件，从而也不存在若干连续的噪声在同一块较小的平面区域中出现。
对于坏死像素（也称像素坏点，即完全不产生事件输出的像素），其位置和数量也会随温度、湿度、光照等环境因素和芯片的不同而具有不确定性。与芯片的制造工艺高度相关的散粒噪声，同样带有随机或不确定性。
对于有效事件，在不同环境下事件相机也会有随机的脉冲事件发放数据率（简称数据率）、不同的芯片也会有随机的数据率。
综上所述，在芯片实际量产时，不同的硬件设备具有不同的硬件特性，因此需要考虑事件相机因器件失配所带来的数据干扰，如多个事件相机间的不匹配、同一事件相机与不同SNN硬件连接时的不匹配。芯片量产后，需要通过专用部署软件，将被训练好的脉冲神经网络的配置参数部署至芯片中。显然，相较于针对每个芯片特性而单独采集数据后再经过网络训练步骤和配置参数部署步骤，仅仅通过单次网络训练并部署配置参数至所有芯片中，将在时间、成本上具有突出的优势。
如果被训练的网络不能很好地适应不同的事件相机的不同硬件特性，即训练的数据分布不能契合不同的事件相机，那么网络表现将大打折扣，难以满足实际应用需求。如何低成本、高效率地使部署至神经拟态硬件中的脉冲神经网络能够适配不同事件相机在不同环境下的差异，使得SNN处理器具有稳定、一致的表现，是芯片量产的关键难题之一。
此外发明人发现，由于事件相机只能捕捉动态信息，如果目标物体处于静止不动状态而事件相机欲捕捉或检测当前状态，则无法获取有效的当前信息。如何解决事件相机静态视觉黑障问题，同样是需要待解决的技术问题。
在传统人工神经网络中，对于有限的训练数据，存在过拟合（over fitting）情形，如图1所示，过拟合就是模型可以很好的“记忆”每一个训练数据中随机噪音的部分而忘记了要去“学习”训练数据中的通用趋势。过拟合的分类只是适合于自己这个测试用例，难以通过训练出来的模型对未知的数据给予准确判断，对需要分类的真实样本而言，实用性很低。常见的解决方法有：降低模型复杂度，数据增强技术（如现有技术1）。
现有技术1：Shorten C , Khoshgoftaar T M . A survey on Image DataAugmentation for Deep Learning[J]. Journal of Big Data, 2019, 6(1).
虽然，数据增强技术能够增加数据的多样性，解决数据量不足导致的无法拟合或过拟合问题，但仍无法解决因器件失配所带来的算法与硬件难契合的问题。因此，本发明旨在解决算法模型根据硬件属性的应用适配问题。
发明内容
为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：
一种脉冲神经网络训练方法，对网络的待训练数据进行至少一次基于事件和速率的增强，所述基于事件和速率的增强包括以下操作中的至少两种：(a)基于热噪声的数据增强，插入热噪声，所述热噪声的位置和数量随机；(b)基于速率的数据增强，进行自适应数据速率调整；(c)基于散粒噪声的数据增强，随机插入散粒噪声，所述散粒噪声符合泊松分布；(d)基于固件坏死的数据增强，进行随机固件坏死；基于增强后的数据进行训练，得到使所述脉冲神经网络预测性能达到最优的配置参数。其中，本发明不限定上述基于事件和基于速率的增强手段的顺序，还可以并行执行。进一步地，增强后的数据进行训练前可以是对其进行压帧后再训练。
在某类实施例中，对网络的待训练数据进行基于事件和速率的增强之前，还包括对所述待训练数据进行降噪，或/和数据扩充步骤，所述数据扩充步骤用于对待训练数据或降噪后的数据进行仿射变换。
在某类实施例中，所述待训练数据为视觉、听觉、触觉、嗅觉、心电、肌电、震动、IMU信号中的一种或多种；所述待训练数据为至少一个事件数据的集合，所述事件数据包括事件的坐标信息。
在某类实施例中，将一定时间窗口内的待训练数据进行压帧得到等效帧数据集合；对等效帧数据集合进行至少一次所述基于事件和速率的增强。
在某类实施例中，利用事件相机产生待训练数据；基于热噪声的数据增强时，随机生成数量满足热噪声比例区间、位置在热噪声分布区间的热噪声事件合集，并基于随机采样频率，依次插入热噪声事件合集中的热噪声事件；其中，热噪声比例为产生热噪声的像素数量除以像素总数；基于速率的数据增强时，对数据速率进行线性或非线性变换；基于随机固件坏死的数据增强时，根据坏死像素点比例区间和分布区间，在坏死像素点分布区间内随机分配在坏死像素点比例区间内的坏死像素点数量，将分配的坏死像素点位置处的事件去除；基于散粒噪声的数据增强时，生成符合泊松分布的随机数序列；基于每个随机数与散粒噪声概率的大小，生成布尔序列，在为真的位置处插入散粒噪声。
一种存储介质，该存储介质上存储有计算机代码，通过执行该计算机代码，以实现前述脉冲神经网络训练方法。
一种芯片，该芯片部署有脉冲神经网络处理器，以及使用前述脉冲神经网络训练方法获得的最优配置参数；所述芯片为类脑芯片或神经拟态芯片，具有事件触发机制。
在某类实施例中，所述芯片包括传感器，所述传感器与脉冲神经网络处理器集成在同一裸晶中，或通过接口连接在一起。
在某类实施例中，当环境中不存在或者未达到触发条件时，所述传感器能够主动探知实时场景中的情形并产生事件流。
本发明的部分或全部实施例，具有如下有益技术效果：
（1）本发明基于事件和基于速率的增强，克服了硬件因工艺制造等原因导致的失配，高效解决了传感器与SNN硬件连接时的应用适配问题。
（2）本发明在训练阶段高效统一解决了因器件失配导致芯片精度或性能不稳定的问题，极大提高了开发效率。
（3）本发明训练的网络能很好地适应同一类传感器中不同个体的硬件特性，甚至在不同环境下的特性。
（4）本发明的类脑芯片，对于传感器获取的实际应用场景中的数据，芯片的性能表现更稳定、有效，推理结果更一致。
（5）当环境中不存在或者未达到触发条件时，本发明的传感器能够主动探知实时场景中的情形并产生事件流，解决了事件相机静态视觉黑障问题。
更多的有益效果将在优选实施例中作进一步的介绍。
以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。
本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。
附图说明
图1是神经网络过拟合情形；
图2是本发明某优选实施例中基于事件和速率的数据增强方法。
具体实施方式
由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。
除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。
本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。
本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例；基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。
脉冲事件通常包括坐标信息，坐标信息表示事件坐标。对于产生事件的图像传感器，如事件相机，事件坐标为(x,y)。其中，坐标为两位（x,y）表示传感器是二维传感器，还可以是产生事件的一维传感器，如音频传感器、振动传感器等，或者更多维传感器，本发明不仅限于此。优选地，坐标信息包括事件坐标和偏置bias，其中偏置bias用于重置操作。
本发明为克服硬件因工艺制造等原因导致的失配（mismatch），针对性的进行数据增强，高效解决了传感器与SNN硬件连接时的应用适配问题，训练得到的配置参数部署在SNN硬件中能很好地适应同一类传感器中不同个体的硬件特性。
本发明适配不同传感器之间器件失配的脉冲神经网络训练方法包括如下步骤：
步骤S100：对传感器产生的数据进行降噪。
传感器产生的数据为视觉、听觉、触觉、嗅觉、心电、肌电、震动、IMU信号中的一种或多种。传感器由于固件等问题，会频繁误触发，形成固定的噪声事件，例如事件相机的热噪声等，或者音频前端采集数据中的背景噪声等。这些噪声事件对SNN网络进行甄别分析产生较大困扰，不仅消耗了不必要的网络带宽、存储资源和能耗，还影响分析的准确性。
因此，在实际应用时，通常需要对采集的数据进行降噪，例如，基于时间或/和空间关系（聚类方法）消除事件相机的热噪声，或者利用分裂归一化方法消除音频前端的背景噪声。
若传感器本身能够较大程度的避免噪声问题，例如带降噪功能的事件相机或音频前端，该步骤可省略。
步骤S200：数据扩充。
对于采集的数据集，可以通过数据增强的方法增加训练数据量，例如仿射变换，包括随机平移、旋转和缩放等。若训练数据足够多（远远大于神经网络的参数量），该步骤可省略。
由于传感器的不一致性，会导致不同传感器在同样场景中生成的数据不一致，例如事件数量（包括有效事件和噪声事件）、事件速率。而去除噪声后的数据集过于理想，与真实场景下生成的数据不匹配，因此，本发明包括步骤S300：对网络训练数据进行了各种基于事件和基于速率的增强：随机热噪声生成、散粒噪声模拟、自适应数据速率调整和随机固件坏死。
热噪声来源于导体中自由电子的热运动，散粒噪声源于电流的不连续性发生在有势垒的地方（如PN结），二者都是随机的，不随频率变化。但散粒噪声由有限的载流子引起，符合泊松分布，且比热噪声小很多。泊松分布中涨落与单位时间预计通过的平均粒子数有关。
本发明随机生成一些热噪声，这些热噪声的位置和数量随机以尽可能的保证随机性。
本发明随机生成符合泊松分布的散粒噪声，在训练数据集中随机加入符合散粒噪声范围的噪声量进行数据增强。
本发明利用自适应数据速率调整技术进行数据增强，以适应不同传感器。
真实的应用场景下，传感器可能存在固件坏死，例如事件相机存在坏死像素点、音频前端的多个通道中存在坏死通道，因此，本发明对固件随机坏死的情形进行了数据增强。
上述基于事件和基于速率的增强手段顺序可交换或并行执行，本发明不以此为限。
以事件相机为例，每个离散事件表示为（x,y,p,t），其中x、y分别为产生该事件的像素横坐标x、纵坐标y，p为该事件的极性，t为该事件所产生的时间戳。图2为本发明针对事件相机基于事件和速率的数据增强方法，包括如下步骤：
S301：对事件相机采集的数据进行降噪。
例如进行热噪点消除，热噪声由于某些像素单元非正常工作，持续产生脉冲事件，其邻近范围内通常不会有其它的噪声事件或者有效事件，表现为孤立且高度重复（同一热像素位置产生大量噪声事件），热噪声事件发放（fire）频率极高（数千至数万赫兹）。
因此，可以通过设置频率阈值，将同一坐标处事件出现数量大于阈值的事件进行去重。假设采集的事件数据集合为S，遍历事件数据集合S，计算坐标信息（x，y）相同的事件的数量，若数量大于阈值，则认为该坐标处的事件为热噪声，进行去除。
由于噪声来源多种多样，具体的降噪手段可参照申请人的在先专利（中国发明专利，202111522819.0、2021115224698、202111413612.X），降噪后的事件集合为S1。
S302：基于热噪声的数据增强。
在某优选实施例中，对多个事件相机产生的热噪声分布进行分析，确定热噪声比例区间[a, b]和热噪声分布区间[c, d]，其中，a、b、c、d为实数，热噪声比例等于产生热噪声的像素数量除以像素点总数。
基于分析结果，对于每一热噪声位置，在区间[c, d]之间分配随机采样频率f，随机生成满足区间[a, b] 的热噪声数量，得到热噪声序列{h1, h2, h3, ..., hN}，生成热噪声位置合集{Xh, Yh} = {( Xh1, Yh1), ( Xh2, Yh2), ...., ( XhN, YhN)}，Xh和Yh分别表示热噪声横坐标和纵坐标。插入事件时间戳顺序为 {（ts[-1] - ts[0]）*1/f, （ts[-1] -ts[0]）*2/f, ……, （ts[-1] - ts[0]）*N/f}，其中，N为热噪声数量，f为采样频率，ts[-1]为最晚产生事件的时间戳，ts[0]为最早产生事件的时间戳。
插入随机噪声后，得到新的事件数据集合S2，其中数据集合S2为数据集合S1或S中插入随机噪声后所得。
S303：基于速率的数据增强。
在某优选实施例中，确定至少一个数据集合（集合S、S1、S2）中事件速率的分布范围[e, f]，其中，e、f为实数。选定速率增强系数h，其中速率增强系数h可以是线性或非线性操作，使用基于速率的数据增强后的事件速率的分布范围不发生明显的改变，即e<h*数据集合<f。
以数据集合S为例，基于速率增强系数h进行一次数据增强，e<h*S<f。在某优选实施例中，可进行不止一次基于速率的数据增强，也可针对其他数据集合进行基于速率的数据增强，本发明不以此为限。
进行速率调整后，得到新的事件数据集合S3。进一步地，数据集合S3为数据集合S至S2中任一项插入随机噪声后所得。
S304：基于随机像素坏死（或消除）的数据增强。
在某优选实施例中，对多个事件相机的像素坏死情况进行分析，确定坏死像素点比例区间[g, h]和坏死像素点分布区间[i, j]，其中，g、h、i、j为实数，坏死像素点比例等于坏死像素点个数除以像素点总数。
在坏死像素点分布区间[i, j]之间随机分配在比例区间[g, h]内的坏死像素点数量M，得到随机坏死像素点位置合集{Xk, Yk} = {( Xk1, Yk1), ( Xk2, Yk2), ...., (XkM, YkM)}，Xk和Yk分别表示坏死像素点横坐标和纵坐标。
像素坏死，即将任意随机坏死像素点位置{Xk, Yk} = {( Xk1, Yk1), ( Xk2, Yk2),...., ( XkM, YkM)}处的事件去除，M为坏死像素点数量。
随机像素坏死后，得到新的事件数据集合S4。进一步地，数据集合S4为数据集合S至S3中任一项进行随机坏死像后所得。
S305：基于散粒噪声的数据增强。
生成长度为T、时间解析度为1/fs符合泊松分布随机数序列Z，实现基于散粒噪声的数据增强。
进一步地，基于散粒噪声概率ρ，生成布尔序列：
其中，t为时间戳，判断每个时间戳处的随机数与概率ρ的大小，若小于则为True，否则为False。在相应位置插入散粒噪声，进一步地，插入的散粒噪声符合散粒噪声的分布范围。
基于散粒噪声的数据增强后，得到新的事件数据集合S5。进一步地，数据集合S5为数据集合S至S4中任一项进行随机坏死像后所得。
对网络训练数据进行了上述各种基于事件和基于速率的增强后，最终的训练数据集合为：S总＝S+S1+S2+S3+S4+S5或者S1+S2+S3+S4+S5。进一步地，可选择性地进行基于事件和速率的增强，包括上述手段中的至少两种，例如包括步骤S304和S305，则最终的训练数据集合为：S总＝S+S4+S5。
在本发明中，除原始事件数据集S外，本发明另一改进实施例中使用基于等效帧（也称为事件帧）的数据增强方法，等效帧指将一定时间窗口内的事件进行压缩以生成帧图像，可用四维张量表示[Ts,P,H,W]，其中{H, W}为事件相机的像素大小，Ts为帧标签，表示预选时间步长Δt内的一段时间，P表示事件极性。将每个Δt内的事件进行压缩，得到等效帧集合F，F = {f1,f2,f3......fn}，其中，f1,f2,f3分别表示第一、第二和第三时间步长内的等效帧，fn表示第n时间步长内的等效帧，具体地，任意时间步长内的等效帧为：
其中，t表示时间戳，P表示事件极性，获取在时间步长Δt内所有事件的数量并求和，得到该时间段内的等效帧。其中，时间步长Δt的值小于原始事件数据集S中事件最晚发生时间戳ts[-1]与最早发生时间戳ts[0]的差值。
对事件相机采集的数据进行降噪时，将像素位置（x,y）处事件出现次数大于阈值的事件进行去重后以时间步长Δt为单位进行压帧，得到等效帧集合F1。
基于热噪声的数据增强时，将噪声合集{Xh, Yh} = {( Xh1, Yh1), ( Xh2, Yh2),...., ( XhN, YhN)}中的热噪声事件插入等效帧集合中的每一帧，得到新的等效帧集合F2。
基于速率的数据增强时，根据速率增强系数 h得到速率调整后的等效帧集合F3，其中F3＝h*F1或h*F2等。
基于随机像素坏死（或消除）的数据增强时，将随机坏死像素点位置合集{Xk, Yk}= {( Xk1, Yk1), ( Xk2, Yk2), ...., ( XkM, YkM)}处的事件去除，得到新的等效帧集合F4。
基于散粒噪声的数据增强时，生成张量矩阵维度为[Ts,P,H,W]，符合泊松分布的随机数序列M，基于散粒噪声概率ρ，生成布尔矩阵：
其中，Ts为帧标签，P为事件极性，[Ts, P, x, y]表示帧Ts上坐标（x,y）处的事件。判断每一帧处的随机数与概率ρ的大小，若小于则为True，否则为False。在相应张量位置，插入符合散粒噪声分布范围的散粒噪声后得到新的等效帧集合F5。
行了上述各种基于事件和基于速率的增强后，最终基于等效帧的训练集合变为F总＝F+F1+F2+F3+F4+F5。进一步地，可选择性地对等效帧进行基于事件和速率的增强，包括上述手段中的至少两种。
通过前述方法，增强后的训练数据分布考虑了制造过程中难以避免的各种缺陷，例如因器件失配带来的数据干扰，增强后的训练数据能够契合不同传感器（如事件相机、音频前端、惯性传感器IMU等）各自的硬件特性。利用该增强后的训练数据在训练设备中进行训练，获得使脉冲神经网络SNN预测性能达到最优的配置参数。芯片量产后，利用工具将最优配置参数部署至芯片中，部署有上述配置参数的芯片获得推理能力，能够根据传感器采集的声音或图像信息进行推理。显然，由于训练时使用的增强数据集充分考虑了制造过程中难以避免的各种缺陷，部署有上述配置参数的类脑芯片能够很好地适应不同事件相机（或不同音频前端）的硬件特性，甚至在不同环境下的特性，对于实际应用场景中的实时数据，网络的表现性能更稳定、有效，推理结果更一致。
通过前述方法，解决了传感器误差导致的与SNN硬件不适配的问题，高效、统一地提升了芯片对未知数据的推理能力和开发效率。其中，脉冲神经网络SNN可以是擅长图像处理的脉冲卷积神经网络SCNN，或者是擅长声音/振动信号处理的递归神经网络SRNN、波形感知神经网络（wave-sense SNN，中国发明专利202110879189.6）等。
本发明还公开一种存储介质，该存储介质上存储有计算机代码，通过执行该计算机代码，以实现如前任意一项所述的适配不同传感器（如事件相机）之间器件失配的脉冲神经网络训练方法。
本发明还公开一种训练设备，使用如上述基于事件和基于速率的增强手段对训练数据进行增强，基于增强后的数据进行训练，在总损失函数或平均损失函数最小时，获得最优网络配置参数（如突触权重、时间常数等）。损失函数可以有多种，包括但不限于：均方误差、前向Kullback-Leibler差、逆向Kullback-Leibler差等（参考已公开的中国发明专利202110550756.3）。该训练设备包括计算单元，以及如前所述的存储介质，通过加载或编译存储介质上的计算机代码并交由计算单元执行，获得脉冲神经网络的配置参数。
本发明还公开一种部署设备，将上述最优网络配置参数部署（或映射）至芯片中。部署设备可以是一种计算设备，比如各种类型的计算机，或者配置有专用映射工具的设备。
本发明还公开一种芯片，该芯片部署有脉冲神经网络SNN，以及经前述方法获取的配置参数。该芯片，能够在实时应用场景中对未知数据进行有效的推理，克服训练与硬件属性的应用适配问题。在某类实施例中，该芯片为类脑芯片或神经拟态芯片，具有事件触发机制，相比于传统方案，其可以实现超低功耗。部署有上述网络配置参数的芯片可对不同传感器实时采集的输入信号进行推理，例如视觉信号、听觉信号、嗅觉信号、惯性、心电信号、振动信号等，输出与样本匹配的结果。由于训练阶段考虑了器件失配等原因，因此，部署有训练获得的上述网络配置参数的芯片，能够适配不同传感器（如事件相机）之间器件失配，芯片的性能表现更稳定、有效。
在一些实施例中，该芯片还包括传感器，同时具备感知与处理能力，传感器与脉冲神经网络SNN处理器集成在同一裸晶中，或者通过接口连接在一起。
在一些实施例中，本发明的传感器在环境中存在触发情形时产生事件，例如事件相机感受环境中光强度的变化产生事件流、音频前端感受变化的声音信号产生事件流等。
在另一些实施例中，当环境中不存在或者未达到触发条件时，本发明的传感器能够主动探知实时应用场景中的情形并产生事件流。例如，事件相机主动或被动震动以捕捉环境中的实时情形，并将捕捉的脉冲事件传递至脉冲神经网络SNN处理。可以根据用户的需要制定特定的震动逻辑及对应控制指令以使事件相机震动，震动可以来自其他模块或装置，也可来自事件相机本身。特定的震动逻辑可以是周期性震动，或者在脉冲神经网络SNN有特定输出后产生以实现持续检测或再次确认。在另一些实施例中，事件相机可以是单目传感器或双目传感器（例如包括两块及以上DVS，或者一目是DVS而另一目是基于帧的图像传感器）。
尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。
因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。
为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。
所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。
结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。
Claims (10)
1.一种脉冲神经网络训练方法，其特征在于：
对网络的待训练数据进行至少一次基于事件和速率的增强，所述待训练数据为事件流，所述基于事件和速率的增强包括：基于速率的数据增强，进行自适应数据速率调整；
所述基于事件和速率的增强还包括以下操作中的至少一种：
(a)基于热噪声的数据增强，插入热噪声，所述热噪声的位置和数量随机；
(b)基于散粒噪声的数据增强，随机插入散粒噪声，所述散粒噪声符合泊松分布；
(c)基于固件坏死的数据增强，进行随机固件坏死；
基于所述基于事件和速率的 增强后的数据进行训练，得到使所述脉冲神经网络预测性能达到最优的配置参数。
2.根据权利要求1所述的脉冲神经网络训练方法，其特征在于：
对网络的待训练数据进行基于事件和速率的增强之前，还包括对所述待训练数据进行降噪，或/和数据扩充步骤，所述数据扩充步骤用于对待训练数据或降噪后的数据进行仿射变换。
3.根据权利要求1所述的脉冲神经网络训练方法，其特征在于：
所述待训练数据为视觉、听觉、触觉、嗅觉、心电、肌电、震动、IMU信号中的一种或多种；所述待训练数据为至少一个事件数据的集合，所述事件数据包括事件的坐标信息。
4.基于权利要求3所述的脉冲神经网络训练方法，其特征在于：
将一定时间窗口内的待训练数据进行压帧得到等效帧数据集合；对等效帧数据集合进行至少一次所述基于事件和速率的增强。
5.根据权利要求1-4任意一项所述的脉冲神经网络训练方法，其特征在于：
利用事件相机产生待训练数据；
基于热噪声的数据增强时，随机生成数量满足热噪声比例区间、位置在热噪声分布区间的热噪声事件合集，并基于随机采样频率，依次插入热噪声事件合集中的热噪声事件；其中，热噪声比例为产生热噪声的像素数量除以像素总数；
基于速率的数据增强时，对数据速率进行线性或非线性变换；
基于随机固件坏死的数据增强时，根据坏死像素点比例区间和分布区间，在坏死像素点分布区间内随机分配在坏死像素点比例区间内的坏死像素点数量，将分配的坏死像素点位置处的事件去除；
基于散粒噪声的数据增强时，生成符合泊松分布的随机数序列；基于每个随机数与散粒噪声概率的大小，生成布尔序列，在为真的位置处插入散粒噪声。
6.一种存储介质，该存储介质上存储有计算机代码，其特征在于：通过执行该计算机代码，以实现权利要求1-5任意一项所述的脉冲神经网络训练方法。
7.一种芯片，其特征在于：该芯片部署有脉冲神经网络处理器，以及使用权利要求1-5任意一项所述的脉冲神经网络训练方法获得的最优配置参数；所述芯片为类脑芯片或神经拟态芯片，具有事件触发机制。
8.根据权利要求7所述的芯片，其特征在于：所述芯片包括传感器，所述传感器与脉冲神经网络处理器集成在同一裸晶中，或通过接口连接在一起。
9.根据权利要求8所述的芯片，其特征在于：当环境中不存在或者未达到触发条件时，所述传感器能够主动探知实时场景中的情形并产生事件流。
10.一种电子产品，其特征在于：所述电子产品上配有如权利要求7-9任意一项所述的芯片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210322004.6A CN114418073B (zh) | 2022-03-30 | 2022-03-30 | 脉冲神经网络训练方法、存储介质、芯片及电子产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210322004.6A CN114418073B (zh) | 2022-03-30 | 2022-03-30 | 脉冲神经网络训练方法、存储介质、芯片及电子产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114418073A CN114418073A (zh) | 2022-04-29 |
| CN114418073B true CN114418073B (zh) | 2022-06-21 |
Family
ID=81263545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210322004.6A Active CN114418073B (zh) | 2022-03-30 | 2022-03-30 | 脉冲神经网络训练方法、存储介质、芯片及电子产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114418073B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023212857A1 (zh) * | 2022-05-05 | 2023-11-09 | 中国科学院深圳先进技术研究院 | 一种基于类脑智能的脑机接口系统及设备 |
| CN114861892B (zh) * | 2022-07-06 | 2022-10-21 | 深圳时识科技有限公司 | 芯片在环代理训练方法及设备、芯片及电子设备 |
| CN115825853A (zh) * | 2023-02-14 | 2023-03-21 | 深圳时识科技有限公司 | 声源定向方法及其装置、声源分离及跟踪方法和芯片 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110246105A (zh) * | 2019-06-15 | 2019-09-17 | 南京大学 | 一种基于实际相机噪声建模的视频去噪方法 |
| CN111260579A (zh) * | 2020-01-17 | 2020-06-09 | 北京理工大学 | 一种基于物理噪声生成模型的微光图像去噪增强方法 |
| CN112487874A (zh) * | 2020-11-11 | 2021-03-12 | 中电海康集团有限公司 | 一种基于事件相机消除背景噪声的方法及系统 |
| CN113168671A (zh) * | 2019-03-21 | 2021-07-23 | 华为技术有限公司 | 噪点估计 |
| CN114078100A (zh) * | 2021-11-25 | 2022-02-22 | 成都时识科技有限公司 | 聚类降噪装置、方法、芯片、事件成像装置及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4055557A4 (en) * | 2020-03-04 | 2023-01-11 | Samsung Electronics Co., Ltd. | METHODS AND SYSTEMS FOR DE-NOISED MEDIA USING CONTEXTUAL MEDIA INFORMATION |
-
2022
- 2022-03-30 CN CN202210322004.6A patent/CN114418073B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113168671A (zh) * | 2019-03-21 | 2021-07-23 | 华为技术有限公司 | 噪点估计 |
| CN110246105A (zh) * | 2019-06-15 | 2019-09-17 | 南京大学 | 一种基于实际相机噪声建模的视频去噪方法 |
| CN111260579A (zh) * | 2020-01-17 | 2020-06-09 | 北京理工大学 | 一种基于物理噪声生成模型的微光图像去噪增强方法 |
| CN112487874A (zh) * | 2020-11-11 | 2021-03-12 | 中电海康集团有限公司 | 一种基于事件相机消除背景噪声的方法及系统 |
| CN114078100A (zh) * | 2021-11-25 | 2022-02-22 | 成都时识科技有限公司 | 聚类降噪装置、方法、芯片、事件成像装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114418073A (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114418073B (zh) | 脉冲神经网络训练方法、存储介质、芯片及电子产品 | |
| CN109086873B (zh) | 递归神经网络的训练方法、识别方法、装置及处理设备 | |
| EP2549759B1 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras | |
| CN110348475A (zh) | 一种基于空间变换的对抗样本增强方法和模型 | |
| KR101971278B1 (ko) | 인공신경망을 이용한 비정상 데이터 구분 장치 | |
| JP3970877B2 (ja) | 追跡装置および追跡方法 | |
| CN111031266B (zh) | 基于哈希函数的动态视觉传感器背景活动噪声过滤方法、系统及介质 | |
| CN110827265B (zh) | 基于深度学习的图片异常检测方法 | |
| JP2006146626A (ja) | パターン認識方法および装置 | |
| CN113424516B (zh) | 处理从基于事件的光传感器的像素阵列异步地接收的一系列事件的方法 | |
| CN111738054A (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
| CN112084826A (zh) | 图像处理方法、图像处理设备以及监控系统 | |
| JP2021507398A (ja) | 情報処理装置、方法、およびプログラム | |
| CN111414886A (zh) | 一种人体动态特征的智能识别系统 | |
| EP3767534A1 (en) | Device and method for evaluating a saliency map determiner | |
| CN115546736A (zh) | 基于图像采集的河道采砂监控处理方法及系统 | |
| Bhargava et al. | An Adaptive Approach for Eigenfaces-based Facial Recognition | |
| JP2021072106A (ja) | イメージ処理システム | |
| JP2006506724A (ja) | 映像に固有の時間変動情報を介するオブジェクト分類 | |
| Kumar et al. | Compact Hardware of Running Gaussian Average Algorithm for Moving Object Detection Realized on FPGA and ASIC. | |
| CN117237676B (zh) | 一种核电厂基于事件相机对小目标掉落轨迹的处理方法 | |
| Salvatore et al. | Dynamic Vision-Based Satellite Detection: A Time-Based Encoding Approach with Spiking Neural Networks | |
| CN117237644B (zh) | 基于红外小目标检测的森林余火检测方法及系统 | |
| Bandi et al. | Performance evaluation of various foreground extraction algorithms for object detection in visual surveillance | |
| Vijayan et al. | A novel foreground segmentation method using convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |