CN109871940B - 一种脉冲神经网络的多层训练算法 - Google Patents
一种脉冲神经网络的多层训练算法 Download PDFInfo
- Publication number
- CN109871940B CN109871940B CN201910100113.1A CN201910100113A CN109871940B CN 109871940 B CN109871940 B CN 109871940B CN 201910100113 A CN201910100113 A CN 201910100113A CN 109871940 B CN109871940 B CN 109871940B
- Authority
- CN
- China
- Prior art keywords
- layer
- training
- neurons
- connection
- pulse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
一种脉冲神经网络的多层训练算法，利用逐层训练的方式，允许层内连接，并将权值训练和结构训练相结合，锐化数据之间的关联性，具体包括：1)数据预处理：将输入数据通过转换函数转化为脉冲序列；2)网络层初始化：设置脉冲神经网络层数、每层神经元数量和层内神经元分布状态；3)层间结构预训练：在初始网络中，网络层间不设置连接，层间连接采用逐层递推的方式生成；4)层间权值归一化：通过对层间权值的归一化操作消除数据差异带来的影响；5)进行层内结构训练：利用神经网络的结构训练算法，进行网络层内的结构训练；6)进行网络权值因果性训练。本发明算法训练的网络具备自组织、自生长能力，算法规则简单，计算量小，对模型精度要求低，易于仿真。
Description
技术领域
本发明属于人工智能技术领域，特别涉及一种脉冲神经网络的多层训练算法。
背景技术
人工神经网络起源于对生物神经网络的模拟，仿生性既是人工神经网络的重要特征之一，也是它智能性的推动力。而脉冲神经是目前生物解释性最强的人工神经网络，相比于前向传播网络和深度学习网络等主流神经网络具有更强的仿生性，因此，脉冲神经网络的研究对类脑智能有着重要意义。
脉冲神经网络中的数据以脉冲编码的方式表示，这导致了它与反向传播算法的不兼容。有效训练算法是人工神经网络最基础和最重要的问题，但脉冲神经网络在这方面的研究还处在相对空白阶段。合理有效的训练算法不仅是脉冲神经网络的关键性技术难题，也是推动脉冲神经网络研究的重要技术环节。
综上所述，设计一种有效的脉冲神经网络训练算法有利于推动脉冲神经网络的研究与应用，对人工智能行业有着重要意义。
发明内容
本发明解决的技术问题是：克服了当前脉冲神经网络多层训练难以收敛的问题，从权值和结构两个方面设置训练算法，从而提供了一种针对于多层神经网络且具备自组织、自生长能力的训练算法。
为了实现上述目的，本发明采用的技术方案是：
一种脉冲神经网络的多层训练算法，利用逐层训练的方式，允许层内连接，并将权值训练和结构训练相结合，锐化数据之间的关联性，具体训练包括以下步骤：
1)数据预处理：将输入数据通过转换函数，根据算法定义的脉冲编码规则转化为脉冲序列；
2)网络层初始化：根据配置文件，设置脉冲神经网络层数、每层神经元数量和层内神经元分布状态；
3)层间结构预训练：本算法规定在初始网络中，网络层间不设置连接，层间连接采用逐层递推的方式生成；
4)层间权值归一化：为避免数据差异对网络性能的影响，通过对层间权值的归一化操作消除数据差异带来的影响；
5)进行层内结构训练：本部分算法基于Hebb规则的核心思想，同时考虑神经元位置因素，利用神经网络的结构训练算法，进行网络层内的结构训练；
6)进行网络权值因果性训练：本部分算法基于STDP规则，对网络权值进行因果性调整，弥补结构训练不足。
所述步骤1)中，通过转换函数，将输入数据转换为输入层神经元的脉冲发射时间，将一组输入数据转换出来的脉冲发射时间称为一组脉冲序列，为了保证每一组的脉冲发射时间分布在同一的区间内，定义如下归一化操作：
其中，t为归一化之前的脉冲发射时间，f(t)为归一化之后的脉冲发射时间，min为这一组脉冲发射时间的最小值，max为这一组脉冲发射时间的最大值，T为归一化后脉冲发射时间的最大值，经过归一化操作之后，每一组脉冲发射时间将分布在[0,T]的区间内，为了表述方便，将输入数据最大理论值记为M，输入数据的值记为x，以黑白图片数据为例，M则为灰度值的最大理论值(一般为255)，x为每个像素点的灰度值(取值范围为0-255)；
所述的转换函数为如下四种函数之一：
a)线性函数
linear:令t＝M–x，直接用M减去该输入数据的值，得到脉冲发送时间，那么输入数据的值越高，得到的脉冲发射时间越小，即脉冲发射时间越靠前，然后，对t进行归一化操作，将归一化后的f(t)作为最终输出；
b)指数函数
exponential:令t＝2-x，通过指数函数将输入数据的值经过放大，显著地区分不同的数据值，然后，对t进行归一化操作，将归一化后的f(t)作为最终输出；
c)反函数
inverse:令t＝M/x，当x＝M时，y为1最早发射时间，同样保证了重要的信息先发送，然后，对t进行归一化操作，将归一化后的f(t)作为最终输出；
d)幂函数
power:令t＝(M-x)2，通过幂函数将输入数值经过放大，凸显数据特征，然后，对t进行归一化操作，将归一化后的f(t)作为最终输出。
所述步骤1)中，将输入数据转化为脉冲序列过程中，根据数据类型和应用需求添加特征提取操作。
例如，在处理图片数据时，可以添加卷积池化操作。经过卷积和池化后的数据，能够凸显出数据的特征，有利于加速网络的收敛。对于彩色图像可以进行图像灰度化和二值化操作，从而降低计算量。
对于声音数据，也可以进行滤波或者傅里叶变换等操作，消除噪声影响，提升输入数据的质量。
本发明中，脉冲神经网络层数、每层神经元数量和层内神经元分布状态由使用者根据数据的复杂度和数据类型灵活设计，以MNIST手写体数字数据集为例，由于手写体数字分类任务较为简单，若希望借助本发明的算法实现对手写体数字的识别，可设置两层神经网络用于实现，第一层为输入层，第二层为输出层。由于MNIST数据集中图片尺寸为28*28，分类类别共计10种，所以输入层尺寸应该为784个神经元，采用一维或者二维的神经元分布都可以，输出层为10个神经元，可以采用一维的神经元分布。如果使用者需要进行更为复杂的分类任务，可根据自身经验设计网络层数和每层神经元数量。
所述步骤3)中，预训练的方法如下：将第一组数据对应的脉冲序列加载到输入层，产生脉冲序列信号，并统计一个仿真周期内第一层内被激发的神经元，将这部分神经元连接到第二层中的目标神经元；该目标神经元根据第二层分类要求选定，并与该仿真周期内输入数据相对应；然后，更换脉冲信号并重复上述过程，直至遍历完成所有训练集数据或达到指定结束条件；当第一层到第二层连接完成预训练后，按照相同的方法生成第二层到第三层连接、第三层到第四次连接，……，直至生成所有层间连接。
所述步骤4)中，所述层间权值归一化是指脉冲神经网络中前一层神经元与后一层目标神经元连接权值的总和应该近似等于一个常数，在完成层间结构预训练之后，需要根据前一层连向后一层目标神经元的连接数量更新权值，更新公式如下：
其中，W为所有连接权重的总和，Connections_num为前一层神经元与后一层目标神经元连接数量，weight为前一层神经元与后一层目标神经元连接的权值。
所述步骤5)中，神经网络的结构训练算法仅针对不存在连接的神经元生效，并将两个不存在连接的神经元记为N1和N2，若N1和N2之间的距离超过一定阈值，则不会在两者之间建立连接，如果距离没有超过阈值，则在一个仿真周期内观察N1和N2的激活状态，如果任意一个神经元未被激活，则不进行任何操作，若两个神经元都处于激活状态，则将激活时间分别记为t1，t2，然后根据下面三种情况进行判断：
若(t1-t2)的绝对值小于阈值，并且t1<t2，就建立一条从N1到N2的连接；
若(t1-t2)的绝对值小于阈值，并且t2<t1，就建立一条从N2到N1的连接；
若(t1-t2)的绝对值不小于阈值，不进行任何操作。
所述步骤6)的训练算法基于STDP规则，且仅针对存在连接的神经元生效，并规定连接前面的神经元记为Npre，连接后面的神经元记为Npost；神经元发射脉冲的动作称作激活，发射脉冲的时间称为激活时间，在一个仿真周期内观察Npre和Npost状态，如果任意一个神经元未被激活，则不进行任何操作，如果两个神经元都处于激活状态，则将激活时间分别记为t1，t2，然后根据下面三种情况进行判断：
若t1<t2,则加强Npre和Npost之间的连接；
若t1>t2,则减弱Npre和Npost之间的连接；
若t1＝t2,不进行任何操作。
与现有技术相比，本发明脉冲神经网络的多层训练算法，从权值和结构两方面对训练算法进行了设计。该算法训练的网络具备自组织、自生长能力，算法规则简单，计算量小，对模型精度要求低，易于仿真。
附图说明
图1是层间结构预训练算法示意图。
图2是基于Hebb规则的层内结构训练算法示意图。
图3是基于STDP规则的权值训练算法示意图。
图4是仿生型记忆网络模型的数据预处理过程示意图
图5是仿生型记忆网络模型的网络结构示意图
图6是仿生型记忆网络模型训练中记忆层连接数量变化统计图
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
为方便表述，本文做如下规定：神经元发射脉冲的动作称作激活，发射脉冲的时间称为激活时间。
本发明利用逐层训练的方式，允许层内连接，并将权值训练和结构训练相结合，锐化数据之间的关联性，具体训练包括以下步骤：
1、数据预处理：将实数值通过转换函数，根据算法定义的脉冲编码规则转化为脉冲序列，并可以根据数据类型和应用需求添加特征提取操作。
2、根据数据尺寸和各层功能需求，设置脉冲神经网络层数、每层神经元数量和层内神经元分布状态。
3、层间结构预训练：本算法规定在初始网络中，网络层间不设置连接，层间连接采用逐层递推的方式生成。将第一组数据对应的脉冲序列加载到输入层，产生脉冲序列信号，并统计一个仿真周期内第一层内被激发的神经元，将这部分神经元连接到第二层中的目标神经元。该目标神经元根据第二层分类要求选定，并与该仿真周期内输入数据相对应。以图1为例，仿真过程中前一网络层中的神经元I1、I3、In被激活，而此仿真周期内后一网络中的目标神经元为O2，则建立从I1、I3、In到O2的连接。
然后，更换脉冲信号并重复上述过程，直至遍历完成所有训练集数据或达到指定结束条件。当第一层到第二层连接完成预训练后，按照相同的方法生成第二层到第三层连接、第三层到第四次连接……，直至生成所有层间连接。
4、层间权值归一化：脉冲神经网络中前一层神经元与后一层目标神经元连接权值的总和应该近似等于一个常数，在完成层间结构预训练之后，需要根据前一层连向后一层目标神经元的连接数量更新权值。
其中，W为所有连接权重的总和，Connections_num为前一层神经元与后一层目标神经元连接数量，weight为前一层神经元与后一层目标神经元连接的权值。
5、进行层内结构训练：本部分算法基于Hebb规则的核心思想，同时考虑神经元位置因素，设计了神经网络的结构训练算法。本算法仅针对不存在连接的神经元生效，并将两个神经元记为N1和N2，如图2所示。
若N1和N2之间的距离超过一定阈值，则不会在两者之间建立连接。如果距离没有超过阈值，则在一个仿真周期内观察两个神经元N1，N2的激活状态，如果任意一个神经元未被激活，则不进行任何操作。若两个神经元都处于激活状态，则将激活时间分别记为t1，t2，然后根据下面三种情况进行判断：
若(t1-t2)的绝对值小于阈值，并且t1<t2，就建立一条从N1到N2的连接；
若(t1-t2)的绝对值小于阈值，并且t2<t1，就建立一条从N2到N1的连接；
若(t1-t2)的绝对值不小于阈值，不进行任何操作。
6、进行网络权值因果性训练：本部分算法基于STDP规则，且仅针对存在连接的神经元生效，并规定连接前面的神经元记为Npre，连接后面的神经元记为Npost，如图3所示。
神经元发射脉冲的动作称作激活，发射脉冲的时间称为激活时间。在一个仿真周期内观察Npre和Npost状态，如果任意一个神经元未被激活，则不进行任何操作。如果两个神经元都处于激活状态，则将激活时间分别记为t1，t2，然后根据下面三种情况进行判断：
若t1<t2,则加强Npre和Npost之间的连接；
若t1>t2,则减弱Npre和Npost之间的连接；
若t1＝t2,不进行任何操作。在本发明的一个具体实施例中，针对仿生型记忆网络模型，模拟生物记忆网络结构，搭建了具备记忆功能的网络结构，采用MNIST手写体数字图片作为输入数据，并对网络记忆能力做了测试。模型结构方面分为两个部分：
一、数据预处理部分：
这一部分负责原始数据的预处理工作，主要是将图片数据转换为脉冲序列，以便后面的脉冲神经网络使用。在这一预处理过程中，为了提取数据特征，加入了卷积和池化操作，如图4所示。
数据：本实施例采用MNIST数据集中的图片作为输入，但并不以识别率为研究目标，仅已MNIST数据集图片作为网络代表性输入。初始的MNIST数据集图片尺寸为28*28。
卷积层：用于提取图像特征。卷积层的卷积核由4个尺寸为4*4固定的卷积核组成，分别对图像数据横、竖、左斜和右斜四个方向的特征进行提取，卷积处理后的图片尺寸为25*25*4。
池化层：主要起到了降低数据量和锐化特征的目的，池化层尺寸为2*2，池化后的尺寸为12*12*4。
转换函数：将预处理后的数据转换为脉冲序列，作为脉冲神经网络的输入；
脉冲序列：数据预处理部分的最终输出，每张图片对应一组脉冲序列，每组脉冲序列尺寸为12*12*4＝576个。
二、脉冲神经网络部分：
这一部分网络训练算法的主要体现部分，主要分为三层：输入层、记忆层和输出层，如图5所示。
输入层：为整个脉冲神经网络提供脉冲信号，输入层神经元数量为12*12*4＝576个，与输入脉冲序列数量一致。输入层到记忆层的连接，采用一对一的方式连接，该部分连接为固定连接，既不参与权值训练，也不参与结构训练。
记忆层：脉冲信息的存储主要存储体，为12*12*4＝576个神经元的三维阵列，神经元之间距离的最小单位记为1。在记忆层内部无初始连接，只有在开启仿真后，经过输入信号和学习算法的共同作用，记忆层内部才会不断生长出新的连接。
输出层：共计10个神经元，与图片的10个标签值相对应。记忆层与输出层之间也无初始连接，在每次仿真中，根据输入数据的标签值选定对应位置的输出神经元为目标神经元，例如输入的图片为数字0，则选定输出层中第0个神经元为目标神经元(以0位起始编号)；若输入图片为数字9，则选定输出层中第9个神经元为目标神经元。然后根据算法所述，将记忆层中被激活的神经元连接到与目标神经元上即可。
本实施例选取了10张不同数字的图片对网络进行训练，发现在训练的过程中网络的连接数量会不断变化，通过对记忆层中连接数量的记录，可以得到如图6所示的结果。训练后的网络，能够对10张图片产生差异性响应，如表1所示。
表1仿生型记忆网络模型对图片记忆效果测试
| 图片标签 | 输出层激活神经元列表 | 输出 | 识别结果 |
| 0 | [9 0 7 4 6 0 0 3 7 6 5 0] | 0 | 正确 |
| 1 | [1] | 1 | 正确 |
| 2 | [9 7 2 5 3 4 0 8 1 6 2 7 8 9 5 2 2] | 2 | 正确 |
| 3 | [9 8 5 3 6 7 9 0 2 8 3 5 7 9 3 3] | 3 | 正确 |
| 4 | [1 9 4 9 4 6 4 4] | 4 | 正确 |
| 5 | [5 7 9 0 6 3 5 5] | 5 | 正确 |
| 6 | [6 9 6 4 5 8 6 6] | 6 | 正确 |
| 7 | [9 7 9 7 7 9 7] | 7 | 正确 |
| 8 | [8 8 5 2 6 3 9 7 4 8 8] | 8 | 正确 |
| 9 | [9 7 9 9 6 7 4 9] | 9 | 正确 |
其中，输出层激活神经元列表中元素值对应了输出层的10个神经元，只不过为了表述方便，将输出层的神经元按照顺序标记为0-9。若检测到输出层的神经元激活，则将其编号添加到列表中，列表顺序反映了输出层神经元激活时间的先后关系。未激活的神经元不记录到列表中，多次激活的神经元会根据激活时间多次记录。最终，将本次仿真中激活次数最多的输出神经元标号作为输出结果。例如，输入数字7的图片，激活7号输出神经元4次，激活了9号输出神经元3次，最终模型识别结果输出为7。
Claims (7)
1.一种脉冲神经网络的多层训练系统，其特征在于，利用逐层训练的方式，允许层内连接，并将权值训练和结构训练相结合，锐化数据之间的关联性，具体训练包括以下步骤：
1)数据预处理模块：将输入数据通过转换函数，根据算法定义的脉冲编码规则转化为脉冲序列，作为脉冲神经网络的输入，所述输入数据为MNIST手写体数字图片，图片尺寸为28*28；
其中数据预处理模块包括：
卷积层：用于提取图像特征，卷积层的卷积核由4个尺寸为4*4固定的卷积核组成，分别对图像数据横、竖、左斜和右斜四个方向的特征进行提取，卷积处理后的图片尺寸为25*25*4；
池化层：降低数据量和锐化特征，池化层尺寸为2*2，池化后的尺寸为12*12*4；
每张图片对应一组脉冲序列，每组脉冲序列为12*12*4＝576个；
2)网络层初始化模块：根据配置文件，设置脉冲神经网络层数、每层神经元数量和层内神经元分布状态；
3)层间结构预训练模块：在初始网络中，网络层间不设置连接，层间连接采用逐层递推的方式生成；
4)层间权值归一化模块：为避免数据差异对网络性能的影响，通过对层间权值的归一化操作消除数据差异带来的影响；
5)层内结构训练模块：基于Hebb规则的核心思想，同时考虑神经元位置因素，利用神经网络的结构训练算法，进行网络层内的结构训练；
6)网络权值因果性训练模块：基于STDP规则，对网络权值进行因果性调整，弥补结构训练不足；
所述脉冲神经网络分为三层：输入层、记忆层和输出层，其中：
输入层：为整个脉冲神经网络提供脉冲信号，输入层神经元数量为12*12*4＝576个，与输入脉冲序列数量一致；输入层到记忆层的连接，采用一对一的方式连接，该部分连接为固定连接，既不参与权值训练，也不参与结构训练；
记忆层：脉冲信息的存储体，为12*12*4＝576个神经元的三维阵列，神经元之间距离的最小单位记为1，在记忆层内部无初始连接，只有在开启仿真后，经过输入信号和学习算法的共同作用，记忆层内部才会不断生长出新的连接；
输出层：共计10个神经元，与图片的10个标签值相对应，记忆层与输出层之间无初始连接，在每次仿真中，根据输入数据的标签值选定对应位置的输出神经元为目标神经元，然后根据算法，将记忆层中被激活的神经元连接到目标神经元上。
2.根据权利要求1所述脉冲神经网络的多层训练系统，其特征在于，所述数据预处理模块中，通过转换函数，将输入数据转换为输入层神经元的脉冲发射时间，将一组输入数据转换出来的脉冲发射时间称为一组脉冲序列，为了保证每一组的脉冲发射时间分布在统一的区间内，定义如下归一化操作：
其中，t为归一化之前的脉冲发射时间，f(t)为归一化之后的脉冲发射时间，min为这一组脉冲发射时间的最小值，max为这一组脉冲发射时间的最大值，T为归一化后脉冲发射时间的最大值，经过归一化操作之后，每一组脉冲发射时间将分布在[0,T]的区间内，为了表述方便，将输入数据最大理论值记为M，输入数据的值记为x；
所述的转换函数为如下三种函数之一：
a)线性函数
linear:令t＝M–x，直接用M减去该输入数据的值，得到脉冲发送时间，那么输入数据的值越高，得到的脉冲发射时间越小，即脉冲发射时间越靠前，然后，对t进行归一化操作，将归一化后的f(t)作为最终输出；
b)指数函数
exponential:令t＝2-x，通过指数函数将输入数据的值经过放大，显著地区分不同的数据值，然后，对t进行归一化操作，将归一化后的f(t)作为最终输出；
c)幂函数
power:令t＝(M-x)2，通过幂函数将输入数值经过放大，凸显数据特征，然后，对t进行归一化操作，将归一化后的f(t)作为最终输出。
3.根据权利要求1所述脉冲神经网络的多层训练系统，其特征在于，所述数据预处理模块中，将输入数据转化为脉冲序列过程中，根据数据类型和应用需求添加特征提取操作。
4.根据权利要求1所述脉冲神经网络的多层训练系统，其特征在于，所述层间结构预训练模块中，预训练的方法如下：将第一组数据对应的脉冲序列加载到输入层，产生脉冲序列信号，并统计一个仿真周期内第一层内被激发的神经元，将这部分神经元连接到第二层中的目标神经元；该目标神经元根据第二层分类要求选定，并与该仿真周期内输入数据相对应；然后，更换脉冲信号并重复上述过程，直至遍历完成所有训练集数据或达到指定结束条件；当第一层到第二层连接完成预训练后，按照相同的方法生成第二层到第三层连接、第三层到第四层连接，……，直至生成所有层间连接。
5.根据权利要求1所述脉冲神经网络的多层训练系统，其特征在于，所述层间权值归一化模块中，所述层间权值归一化是指脉冲神经网络中前一层神经元与后一层目标神经元连接权值的总和应该近似等于一个常数，在完成层间结构预训练之后，需要根据前一层连向后一层目标神经元的连接数量更新权值，更新公式如下：
其中，W为所有连接权重的总和，Connections_num为前一层神经元与后一层目标神经元连接数量，weight为前一层神经元与后一层目标神经元连接的权值。
6.根据权利要求1所述脉冲神经网络的多层训练系统，其特征在于，所述层内结构训练模块中，神经网络的结构训练算法仅针对不存在连接的神经元生效，并将两个不存在连接的神经元记为N1和N2，若N1和N2之间的距离超过一定阈值，则不会在两者之间建立连接，如果距离没有超过阈值，则在一个仿真周期内观察N1和N2的激活状态，如果任意一个神经元未被激活，则不进行任何操作，若两个神经元都处于激活状态，则将激活时间分别记为t1，t2，然后根据下面三种情况进行判断：
若(t1-t2)的绝对值小于阈值，并且t1<t2，就建立一条从N1到N2的连接；
若(t1-t2)的绝对值小于阈值，并且t2<t1，就建立一条从N2到N1的连接；
若(t1-t2)的绝对值不小于阈值，不进行任何操作。
7.根据权利要求1所述脉冲神经网络的多层训练系统，其特征在于，所述网络权值因果性训练模块的训练算法基于STDP规则，且仅针对存在连接的神经元生效，并规定连接前面的神经元记为Npre，连接后面的神经元记为Npost；神经元发射脉冲的动作称作激活，发射脉冲的时间称为激活时间，在一个仿真周期内观察Npre和Npost状态，如果任意一个神经元未被激活，则不进行任何操作，如果两个神经元都处于激活状态，则将激活时间分别记为t1，t2，然后根据下面三种情况进行判断：
若t1<t2,则加强Npre和Npost之间的连接；
若t1>t2,则减弱Npre和Npost之间的连接；
若t1＝t2,不进行任何操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910100113.1A CN109871940B (zh) | 2019-01-31 | 2019-01-31 | 一种脉冲神经网络的多层训练算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910100113.1A CN109871940B (zh) | 2019-01-31 | 2019-01-31 | 一种脉冲神经网络的多层训练算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109871940A CN109871940A (zh) | 2019-06-11 |
| CN109871940B true CN109871940B (zh) | 2021-07-27 |
Family
ID=66918429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910100113.1A Active CN109871940B (zh) | 2019-01-31 | 2019-01-31 | 一种脉冲神经网络的多层训练算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109871940B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659666B (zh) * | 2019-08-06 | 2022-05-13 | 广东工业大学 | 一种基于相互作用的多层脉冲神经网络的图像分类方法 |
| CN113033759A (zh) * | 2019-12-09 | 2021-06-25 | 南京惟心光电系统有限公司 | 脉冲卷积神经网络算法、集成电路、运算装置及存储介质 |
| CN111260054B (zh) * | 2020-01-13 | 2023-05-30 | 清华大学 | 一种提高联想记忆脉冲神经网络准确度的学习方法 |
| CN111275742B (zh) * | 2020-01-19 | 2022-01-11 | 北京大学 | 一种目标识别方法、装置、系统及计算机可读存储介质 |
| CN111310816B (zh) * | 2020-02-07 | 2023-04-07 | 天津大学 | 基于无监督匹配追踪编码的仿脑架构图像识别方法 |
| US11494634B2 (en) | 2020-05-13 | 2022-11-08 | International Business Machines Corporation | Optimizing capacity and learning of weighted real-valued logic |
| CN112734012B (zh) * | 2021-01-07 | 2024-03-05 | 北京灵汐科技有限公司 | 脉冲神经网络训练方法、数据处理方法、电子设备和介质 |
| CN112966815A (zh) * | 2021-03-31 | 2021-06-15 | 中国科学院自动化研究所 | 基于脉冲神经网络的目标检测方法、系统及设备 |
| CN113361575B (zh) * | 2021-05-28 | 2023-10-20 | 北京百度网讯科技有限公司 | 模型训练方法、装置和电子设备 |
| CN114222142B (zh) * | 2022-02-23 | 2022-05-06 | 北京智芯微电子科技有限公司 | 基于脉冲神经网络的图像编码方法及装置 |
| CN117709418A (zh) * | 2022-10-09 | 2024-03-15 | 航天科工集团智能科技研究院有限公司 | 基于实值放电的脉冲神经网络训练方法、识别系统及设备 |
| CN116432726B (zh) * | 2023-06-14 | 2023-08-25 | 之江实验室 | 一种光电混合的深度神经网络运算装置和运算方法 |
| CN117839224A (zh) * | 2024-01-10 | 2024-04-09 | 广州市光合未来科技文化传媒有限公司 | 一种ai虚拟人的交互方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846349A (zh) * | 2018-06-08 | 2018-11-20 | 电子科技大学 | 一种基于动态Spiking神经网络的人脸识别方法 |
| CN108985252A (zh) * | 2018-07-27 | 2018-12-11 | 陕西师范大学 | 改进的脉冲深度神经网络的图像分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8655813B2 (en) * | 2010-12-30 | 2014-02-18 | International Business Machines Corporation | Synaptic weight normalized spiking neuronal networks |
-
2019
- 2019-01-31 CN CN201910100113.1A patent/CN109871940B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108846349A (zh) * | 2018-06-08 | 2018-11-20 | 电子科技大学 | 一种基于动态Spiking神经网络的人脸识别方法 |
| CN108985252A (zh) * | 2018-07-27 | 2018-12-11 | 陕西师范大学 | 改进的脉冲深度神经网络的图像分类方法 |
Non-Patent Citations (2)
| Title |
|---|
| 《Computational modeling of spiking neural network with learning rules from STDP and intrinsic plasticity》;Li, Xiumin；et al;《PHYSICA A-STATISTICAL MECHANICS AND ITS APPLICATIONS》;20180201;第491卷;第716-728页 * |
| 《Spiking神经网络学习算法及其应用研究》;解修蕊;《中国博士学位论文全文数据库 信息科技辑》;20180115(第01期);第I140-17页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109871940A (zh) | 2019-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871940B (zh) | 一种脉冲神经网络的多层训练算法 | |
| CN110210563B (zh) | 基于Spike cube SNN的图像脉冲数据时空信息学习及识别方法 | |
| CN108830157B (zh) | 基于注意力机制和3d卷积神经网络的人体行为识别方法 | |
| Hou et al. | Fruit recognition based on convolution neural network | |
| CN108985252B (zh) | 改进的脉冲深度神经网络的图像分类方法 | |
| CN108765319A (zh) | 一种基于生成对抗网络的图像去噪方法 | |
| CN112906828A (zh) | 一种基于时域编码和脉冲神经网络的图像分类方法 | |
| CN106228185A (zh) | 一种基于神经网络的通用图像分类识别系统及方法 | |
| CN110490265B (zh) | 一种基于双路卷积和特征融合的图像隐写分析方法 | |
| CN108664950A (zh) | 一种基于深度学习的电能质量扰动识别与分类方法 | |
| CN107609634A (zh) | 一种基于增强极速学习的卷积神经网络训练方法 | |
| CN114186672A (zh) | 一种用于脉冲神经网络的高效高精度训练算法 | |
| CN111611972A (zh) | 基于多视图多任务集成学习的作物叶片种类识别方法 | |
| CN113553972A (zh) | 一种基于深度学习的苹果病害诊断方法 | |
| CN113344077A (zh) | 一种基于卷积胶囊网络结构的抗噪茄科病害识别方法 | |
| CN113222103A (zh) | 神经网络的更新方法、分类方法和电子设备 | |
| CN110956201B (zh) | 一种基于卷积神经网络的图像失真类型分类方法 | |
| CN104036242A (zh) | 基于Centering Trick卷积限制玻尔兹曼机的物体识别方法 | |
| CN114488069A (zh) | 基于图神经网络的雷达高分辨率距离像识别方法 | |
| Cai et al. | Cloud classification of satellite image based on convolutional neural networks | |
| CN110188621A (zh) | 一种基于ssf-il-cnn的三维人脸表情识别方法 | |
| Goswami et al. | Automatic object recognition from satellite images using artificial neural network | |
| CN110543888B (zh) | 一种基于群集递归神经网络的图像分类方法 | |
| Sekeroglu et al. | Review and analysis of hidden neuron number effect of shallow backpropagation neural networks | |
| CN116187418A (zh) | 一种适用于神经形态硬件的脉冲神经网络压缩方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230815 Address after: Room 3715, Shangmei International, No. 4168 Liuxian Avenue, Taoyuan Street, Nanshan District, Shenzhen, Guangdong Province, 518000 Patentee after: Shenzhen Youzhi Chuangxin Technology Co.,Ltd. Address before: 100084, Haidian District, 100084 mailbox, 82 boxes, Tsinghua University patent office, Beijing Patentee before: TSINGHUA University |
|
| TR01 | Transfer of patent right |