CN109816026A - 卷积神经网络和脉冲神经网络的融合结构及方法 - Google Patents
卷积神经网络和脉冲神经网络的融合结构及方法 Download PDFInfo
- Publication number
- CN109816026A CN109816026A CN201910087183.8A CN201910087183A CN109816026A CN 109816026 A CN109816026 A CN 109816026A CN 201910087183 A CN201910087183 A CN 201910087183A CN 109816026 A CN109816026 A CN 109816026A
- Authority
- CN
- China
- Prior art keywords
- neural networks
- pulse
- convolutional neural
- impulsive
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 100
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 93
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title abstract description 34
- 210000002569 neuron Anatomy 0.000 claims abstract description 56
- 210000000225 synapse Anatomy 0.000 claims description 32
- 230000000946 synaptic effect Effects 0.000 claims description 32
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 25
- 238000009825 accumulation Methods 0.000 claims description 12
- 238000007500 overflow downdraw method Methods 0.000 claims description 11
- 239000012528 membrane Substances 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 210000001367 artery Anatomy 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 5
- 210000003462 vein Anatomy 0.000 claims description 5
- 230000000926 neurological effect Effects 0.000 claims description 4
- 239000003990 capacitor Substances 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 24
- 238000000605 extraction Methods 0.000 abstract description 10
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000012421 spiking Methods 0.000 description 6
- 210000004218 nerve net Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 230000000541 pulsatile effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000036982 action potential Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000000170 cell membrane Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种卷积神经网络和脉冲神经网络的融合结构及方法，其中，结构包括：卷积神经网络结构、脉冲转换与编码结构和脉冲神经网络结构，其中，卷积神经网络结构包括输入层、卷积层和池化层；脉冲转换与编码结构包括脉冲转换神经元和可配置脉冲编码器；脉冲神经网络结构包括脉冲卷积层、脉冲池化层和脉冲输出层。该结构能够同时兼顾卷积神经网络和脉冲神经网络的优点，利用了卷积神经网络在图像识别领域具有较高识别率的优势，同时能发挥脉冲神经网络在稀疏性、低功耗、缓解过拟合等方面的优势，可以应用于对高速时变信息进行特征提取和准确分类等领域。
Description
技术领域
本发明涉及高速图像识别技术领域，特别涉及一种卷积神经网络和脉冲神经网络的融合结构及方法。
背景技术
在图像识别领域中，目前广泛采用卷积神经网络进行图像分类与识别，并且已经具有相对成熟的网络结构和训练算法，现有研究成果显示，如果训练样本保证质量且充分，卷积神经网络在传统图像识别中具有较高的识别率。然而，卷积神经网络也具有一定的缺陷，随着样本特征的复杂化，卷积神经网络的结构也越来越复杂，网络层级结构不断增加，导致完成网络训练和推导的计算量急剧增加，网络计算延时也越来越大。
因此，在高速图像识别领域，尤其针对一些实时性嵌入式系统领域，卷积神经网络难以满足这些系统的计算延时需求。另一方面，脉冲神经网络是一种利用离散神经脉冲进行信息处理的新型神经网络，与传统人工神经网络相比，具有更好的生物仿真性能，是近年来的研究热点之一。脉冲神经网络的离散脉冲具有稀疏性特征，可以大量减少网络运算量，在实现高性能、低功耗以及缓解过拟合等方面具有优势。因此，有必要实现一种卷积神经网络和脉冲神经网络的融合网络，这种融合网络既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，从而实现高速时变信息特征提取和准确分类。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种卷积神经网络和脉冲神经网络的融合结构，该结构能够同时兼顾卷积神经网络和脉冲神经网络的优点，利用了卷积神经网络在图像识别领域具有较高识别率的优势，同时能发挥脉冲神经网络在稀疏性、低功耗、缓解过拟合等方面的优势，可以应用于对高速时变信息进行特征提取和准确分类等领域。
本发明的另一个目的在于提出一种卷积神经网络和脉冲神经网络的融合方法。
为达到上述目的，本发明一方面实施例提出了一种卷积神经网络和脉冲神经网络的融合结构，包括：卷积神经网络结构，所述卷积神经网络结构包括输入层、卷积层和池化层，其中，所述输入层用于接收像素级图像数据，所述卷积层用于卷积运算，所述池化层用于池化运算；脉冲转换与编码结构，所述脉冲转换与编码结构包括脉冲转换神经元和可配置脉冲编码器，其中，所述脉冲转换神经元用于将所述像素级图像数据换成基于预设编码形式的脉冲信息，所述可配置脉冲编码器用于将所述脉冲转换与编码结构配置成时间编码或频率编码；脉冲神经网络结构，所述脉冲神经网络结构包括脉冲卷积层、脉冲池化层和脉冲输出层，其中，脉冲卷积层和脉冲池化层分别用于对所述脉冲信息进行脉冲卷积运算和脉冲池化运算得到运算结果，所述脉冲输出层用于输出所述运算结果。
本发明实施例的卷积神经网络和脉冲神经网络的融合结构，融合网络结构明确，训练算法简单，既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，并具有可裁剪性和普适性，实现方法简单，代价适中，且可以快速部署到不同的实际工程应用中，可以在任何需要实现高速图像识别相关工程项目中，通过融合网络设计完成高速时变信息特征提取和准确分类。
另外，根据本发明上述实施例的卷积神经网络和脉冲神经网络的融合结构还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述脉冲转换神经元进一步用于根据脉冲频率转换将所述像素级图像数据映射成模拟电流，并根据所述模拟电流得到所述脉冲信息。
进一步地，在本发明的一个实施例中，所述脉冲频率与所述模拟电流之间的对应关系为：
其中，Rate表示所述脉冲频率，tref表示神经不应期时间长度，τRC表示根据膜电阻和膜电容确定的时间常数，V(t0)和V(t1)分别表示t0和t1时刻的膜电压，I表示模拟电流。
进一步地，在本发明的一个实施例中，所述脉冲卷积运算进一步包括：像素级卷积核根据基于LIF(Leaky-Integrate-and-Fire Model)模型神经元的突触强度和突触延时映射关系生成脉冲卷积核，并根据所述脉冲卷积核和所述脉冲信息且经过脉冲乘加运算生成脉冲卷积特征图。
进一步地，在本发明的一个实施例中，所述脉冲池化运算进一步包括：像素级池化窗口根据所述突触强度和所述突触延时映射关系生成脉冲池化窗口，并根据所述脉冲池化窗口和所述脉冲信息经过所述脉冲累加运算生成脉冲池化特征图。
进一步地，在本发明的一个实施例中，所述突触强度和所述突触延时映射关系进一步包括：所述像素级卷积核和所述像素级池化窗口根基于MP(McCulloch-Pitts Model)模型的人工神经元的权重和偏置分别映射成所述基于LIF模型神经元的突触强度和突触延时。
进一步地，在本发明的一个实施例中，所述突触强度和所述突触延时映射关系进一步包括：在把基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时的基础上，采用模拟电流叠加原理实现脉冲信息叠加。
进一步地，在本发明的一个实施例中，所述脉冲累加运算进一步包括：所述像素级卷积核基于所述MP模型的人工神经元的权重和偏置分别映射成基于所述LIF模型神经元的突触强度和突触延时。
为达到上述目的，本发明另一方面实施例提出了一种卷积神经网络和脉冲神经网络的融合方法，包括以下步骤：建立等效卷积神经网络和融合神经网络的对应关系；根据所述对应关系转换等效卷积神经网络学习训练结果与卷积神经网络和脉冲神经网络的融合网络学习训练结果，以得到卷积神经网络和脉冲神经网络的融合结果。
本发明实施例的卷积神经网络和脉冲神经网络的融合方法，融合网络结构明确，训练算法简单，既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，并具有可裁剪性和普适性，实现方法简单，代价适中，且可以快速部署到不同的实际工程应用中，可以在任何需要实现高速图像识别相关工程项目中，通过融合网络设计完成高速时变信息特征提取和准确分类。
另外，根据本发明上述实施例的卷积神经网络和脉冲神经网络的融合方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述等效卷积神经网络和融合神经网络的对应关系包括网络层结构、权重和偏置，以及激活函数之间的映射关系。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的卷积神经网络和脉冲神经网络的融合结构的结构示意图；
图2为根据本发明一个实施例的卷积神经网络和脉冲神经网络融合网络结构框图；
图3为根据本发明一个实施例的卷积神经网络和脉冲神经网络融合网络层级结构图；
图4为根据本发明一个实施例的脉冲卷积运算流程图；
图5为根据本发明一个实施例的脉冲池化运算流程图；
图6为根据本发明一个实施例的脉冲乘加运算和脉冲累加运算流程图；
图7为根据本发明一个实施例的融合网络学习训练方法流程图；
图8为根据本发明一个实施例的卷积神经网络和脉冲神经网络的融合方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的卷积神经网络和脉冲神经网络的融合结构及方法，首先将参照附图描述根据本发明实施例提出的卷积神经网络和脉冲神经网络的融合结构。
图1是本发明一个实施例的卷积神经网络和脉冲神经网络的融合结构的结构示意图。
如图1所示，该卷积神经网络和脉冲神经网络的融合结构10包括：卷积神经网络结构100、脉冲转换与编码结构200和脉冲神经网络结构300。
其中，卷积神经网络结构100包括输入层、卷积层和池化层，其中，输入层用于接收像素级图像数据，卷积层用于卷积运算，池化层用于池化运算。脉冲转换与编码结构200包括脉冲转换神经元和可配置脉冲编码器，其中，脉冲转换神经元用于将像素级图像数据换成基于预设编码形式的脉冲信息，可配置脉冲编码器用于将脉冲转换与编码结构配置成时间编码或频率编码。脉冲神经网络结构300包括脉冲卷积层、脉冲池化层和脉冲输出层，其中，脉冲卷积层和脉冲池化层分别用于对脉冲信息进行脉冲卷积运算和脉冲池化运算得到运算结果，脉冲输出层用于输出运算结果。本发明实施例的结构10能够同时兼顾卷积神经网络和脉冲神经网络的优点，利用了卷积神经网络在图像识别领域具有较高识别率的优势，同时能发挥脉冲神经网络在稀疏性、低功耗、缓解过拟合等方面的优势，可以应用于对高速时变信息进行特征提取和准确分类等领域。
具体而言，如图2所示，卷积神经网络和脉冲神经网络融合网络结构10包括三个部分，分别是：卷积神经网络结构部分、脉冲神经网络结构部分和脉冲转换与编码部分。其中，卷积神经网络结构部分进一步包括：输入层、卷积层和输出层；脉冲神经网络结构部分进一步包括：脉冲卷积层、脉冲层和脉冲输出层。
其中，如图3所示，卷积神经网络结构部分进一步包括：基于MP模型的人工神经元实现(MPN)的输入层、卷积层和池化层，分别用于接收外部的像素级图像数据输入、卷积和池化运算。卷积神经网络结构部分中所涉及的完成卷积运算或池化运算的网络层数量可根据实际应用任务需要适当增加或者删减。需要说明的是，“MP模型”即McCulloch-PittsModel，是一种按不同方式组合可完成各种逻辑运算的二值开关模型。
脉冲转换与编码部分进一步包括：脉冲转换神经元(SEN)和可配置脉冲编码器，实现把像素级数据转换成基于特定编码形式的脉冲信息。也就是说，脉冲转换与编码部分涉及把像素级数据转换成脉冲信息的转换和编码过程，该部分层级结构可配置，可根据需要配置成时间编码、频率编码或者其他新型编码方式。
脉冲神经网络结构部分进一步包括：基于LIF模型的脉冲神经元(LIFN)实现的脉冲卷积层、脉冲池化层和脉冲输出层。脉冲神经网络结构部分中所涉及的完成卷积运算或池化运算的网络层数量可根据实际应用任务需要适当增加或者删减。脉冲卷积层和脉冲池化层进一步分别包括：脉冲卷积运算和脉冲池化运算，分别用于处理经过上一网络层级转换后的基于脉冲信息的卷积和池化运算以及最终结果输出。需要说明的是，“LIF模型”即Leaky-Integrate-and-Fire Model，是描述动作电位在神经元中传递关系的神经元动力学微分方程。
进一步地，在本发明的一个实施例中，脉冲转换神经元进一步用于根据脉冲频率转换将像素级图像数据映射成模拟电流，并根据模拟电流得到脉冲信息。
可以理解的是，脉冲转换神经元(SEN)和可配置脉冲编码器进一步包括：根据脉冲频率转换公式把卷积神经网络的像素级输出数据映射成模拟电流，实现把像素级数据转换成基于频率编码的脉冲信息。
其中，在本发明的一个实施例中，脉冲频率与模拟电流之间的对应关系为：
其中，Rate表示脉冲频率，tref表示神经不应期时间长度，τRC表示根据膜电阻和膜电容确定的时间常数，V(t0)和V(t1)分别表示t0和t1时刻的膜电压，I表示模拟电流。需要说明的是，“膜电阻”、“膜电容”和“膜电压”，均是指在LIF模型中用来表示细胞膜生物物理学特征的物理量，并且用于描述神经元离子电流在突触中的传导关系。
具体而言，脉冲转换与编码部分进一步包括：像素级数据与脉冲信息之间的转换与编码实现方法，例如，基于LIF模型的脉冲神经元的脉冲发放频率和模拟电流之间的对应关系可用公式1描述：
其中，Rate表示脉冲频率，tref表示神经不应期时间长度，τRC表示根据膜电阻和膜电容确定的时间常数，V(t0)和V(t1)分别表示t0和t1时刻的膜电压，I表示模拟电流。特别地，在t0到t1时间区间，膜电压从0上升到1时，公式1可以简化为公式2描述：
根据公式1或公式2，卷积神经网络的像素级输出数据可以映射成模拟电流，再根据实际需要适当调整tref和τRC常数，可把像素级数据转换成基于频率编码的脉冲信息。公式1和公式2还可以根据实际需要采用其他变形或者更高阶的修正形式。
进一步地，在本发明的一个实施例中，脉冲卷积运算进一步包括：像素级卷积核根据基于LIF模型神经元的突触强度和突触延时映射关系生成脉冲卷积核，并根据脉冲卷积核和脉冲信息且经过脉冲乘加运算生成脉冲卷积特征图。
可以理解的是，脉冲卷积运算进一步包括：像素级卷积核根据突触强度和突触延时映射关系生成脉冲卷积核，输入脉冲信息和已完成映脉冲卷积核经过脉冲乘加运算生成脉冲卷积特征图。
其中，在本发明的一个实施例中，突触强度和突触延时映射关系进一步包括：像素级卷积核和像素级池化窗口根基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时。
可以理解的是，突触强度和突触延时映射关系进一步包括：像素级卷积核和池化窗口基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时方法。
具体而言，如图4所示，首先像素级卷积核根据一一对应关系分别映射为突触强度和突触延时，然后输入脉冲信息和已完成映射的脉冲卷积核经过脉冲乘加运算生成脉冲卷积特征图。具体地，脉冲神经网络结构部分中脉冲卷积运算进一步包括：基于MP模型人工神经元和基于LIF模型脉冲神经元在完成卷积运算过程中所建立对应关系实现映射和替换的方法。其中，基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时。
进一步地，在本发明的一个实施例中，脉冲池化运算进一步包括：像素级池化窗口根据突触强度和突触延时映射关系生成脉冲池化窗口，并根据脉冲池化窗口和脉冲信息经过脉冲累加运算生成脉冲池化特征图。
可以理解的是，脉冲池化运算进一步包括：像素级池化窗口根据突触强度和突触延时映射关系生成脉冲池化窗口，输入脉冲信息和已完成映脉冲池化窗口经过脉冲累加运算生成脉冲池化特征图。
具体而言，如图5所示，脉冲神经网络结构部分中脉冲池化运算进一步包括：基于MP模型人工神经元和基于LIF模型脉冲神经元在完成卷积运算过程中所建立对应关系实现映射和替换的方法。其中，基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时。脉冲卷积特征图在池化函数(均值池化或最大池化等)控制下，调整池化窗口遍历脉冲卷积特征图，最终输出脉冲池化特征图。
进一步地，在本发明的一个实施例中，脉冲累加运算进一步包括：像素级卷积核基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时。
可以理解的是，脉冲乘加运算进一步包括：像素级卷积核基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时方法。
进一步地，在本发明的一个实施例中，突触强度和突触延时映射关系进一步包括：在把基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时的基础上，采用模拟电流叠加原理实现脉冲信息叠加。
可以理解的是，突触强度和突触延时映射关系进一步包括：在把基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时的基础上，通过采用模拟电流叠加原理实现脉冲信息叠加方法。
具体而言，如图6所示，脉冲神经网络结构部分中脉冲卷积运算和脉冲池化运算所涉及的脉冲乘加运算和脉冲累加运算进一步包括：基于模拟电流叠加实现脉冲信息叠加的方法。其中，模拟电流叠加由公式3描述：
公式3中的I(t)表示模拟电流，Si和di分别表示突触强度和突触延时，Ψ(t)表示一个修正函数，可根据实际工程需要调整。
更进一步地，脉冲池化运算涉及脉冲乘加、脉冲累加或脉冲比较运算。脉冲累加是脉冲乘加的特殊形式(加权系数为1)，图6显示脉冲乘加运算的更多细节，脉冲比较运算可由简单脉冲计数器对脉冲频率实现比较。
脉冲乘加运算和脉冲累加运算在把基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时的基础上，通过采用模拟电流叠加原理实现脉冲信息叠加，图6显示了脉冲乘加运算或脉冲累加运算实施流程的更多细节，具体地：
如图6所示，当脉冲神经元接收到上一层网络的输出信号时，首先判断该信号是否为脉冲信息或者像素级数据，如果是像素级数据则需要完成一次脉冲转换与编码(脉冲信息转换与编码①)；否则，直接按照公式(3)完成模拟电流的叠加，模拟电流的叠加遵循突触强度和突触延时映射关系，完成叠加的模拟电流对膜电容充放电过程再经过一次脉冲转换与编码(脉冲信息转换与编码②)可以表征脉冲信息的乘加或者累加，其中累加运算可以理解为乘加运算的特殊情况(加权系数为1)。
进一步地，一种基于等效卷积神经网络实现融合网络训练的方法进一步包括：通过建立等效卷积神经网络和融合神经网络的对应关系，实现等效卷积神经网络学习训练结果与卷积神经网络和脉冲神经网络的融合网络学习训练结果转换。等效卷积神经网络和融合神经网络的对应关系进一步包括：等效卷积神经网络和融合网络分别在网络层结构、权重和偏置，以及激活函数等方面的映射关系。
具体而言，卷积神经网络和脉冲神经网络的融合网络学习训练利用了一种基于等效卷积神经网络实现融合网络训练的方法。其中，等效卷积神经网络和融合网络分别在网络层结构、权重和偏置、以及激活函数等方面建立一一对应关系。图6显示了卷积神经网络和脉冲神经网络的融合网络学习训练的更多细节，具体地：
如图6所示，首先根据卷积神经网络和脉冲神经网络的融合网络结构参数生成等效卷积神经网络，然后根据公式(1)或公式(2)替换或调整等效卷积神经网络的激活函数，在反向传播计算过程中监控训练算法的收敛性，直到选择合适的等效激活函数。在等效卷积神经网络的训练结果达到要求后，将相应的网络参数(如权重、偏置等)按照突触强度和突触延时映射，从而获得卷积神经网络和脉冲神经网络融合网络的训练结果。
综上，本发明的卷积神经网络和脉冲神经网络的融合网络与现有技术相比较具有以下优点和有益效果：
(1)相比于传统卷积神经网络，本发明提出的融合网络既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，在脉冲神经网络结构部分充分利用脉冲信息稀疏性，极大降低网络运算量和计算延时，更加符合实际高速目标识别工程应用的实时性需求。
(2)相比于传统脉冲神经网络，本发明提出的融合网络提供了一种在脉冲神经网络基础上实现图像识别的方法，融合网络所涉及的脉冲转换与编码方法、脉冲卷积运算方法、脉冲池化运算方法等均具有较强的通用性，可以应用在任何可能需要利用脉冲神经网络结构进行特征提取和分类的问题中，解决了如何利用脉冲神经网络实现特征提取和准确分类的问题。
(3)本发明提出的融合网络结构所涉及的卷积神经网络部分、脉冲转换与编码部分、脉冲神经网络部分，以及其中完成卷积运算或池化运算的网络层数量均可根据实际应用任务需要适当增加或者删减，能够适配任意规模的神经网络结构，具有较强的灵活性和可扩展性。
(4)本发明提出的融合网络的中所涉及的基于MP模型人工神经元和基于LIF模型脉冲神经元之间的映射和替换方法简单明确，并且融合网络的训练方法借鉴于传统卷积神经网络的训练方法，突触强度和突触延时映射方法简单可行，本发明提出的融合网络可以迅速部署到实际工程应用中，具有较高的实用性。
根据本发明实施例提出的卷积神经网络和脉冲神经网络的融合结构，融合网络结构明确，训练算法简单，既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，并具有可裁剪性和普适性，实现方法简单，代价适中，且可以快速部署到不同的实际工程应用中，可以在任何需要实现高速图像识别相关工程项目中，通过融合网络设计完成高速时变信息特征提取和准确分类。
其次参照附图描述根据本发明实施例提出的卷积神经网络和脉冲神经网络的融合方法。
图8是本发明一个实施例的卷积神经网络和脉冲神经网络的融合方法的流程图。
如图8所示，该卷积神经网络和脉冲神经网络的融合方法包括以下步骤：
步骤S801，建立等效卷积神经网络和融合神经网络的对应关系；
步骤S802，根据对应关系转换等效卷积神经网络学习训练结果与卷积神经网络和脉冲神经网络的融合网络学习训练结果，以得到卷积神经网络和脉冲神经网络的融合结果。
进一步地，在本发明的一个实施例中，等效卷积神经网络和融合神经网络的对应关系包括网络层结构、权重和偏置，以及激活函数之间的映射关系。
需要说明的是，前述对卷积神经网络和脉冲神经网络的融合结构实施例的解释说明也适用于该实施例的卷积神经网络和脉冲神经网络的融合方法，此处不再赘述。
根据本发明实施例提出的卷积神经网络和脉冲神经网络的融合方法，融合网络结构明确，训练算法简单，既能够发挥卷积神经网络在保证图像识别率方面的优势，同时也能发挥脉冲神经网络在低功耗和低延时等方面的优势，并具有可裁剪性和普适性，实现方法简单，代价适中，且可以快速部署到不同的实际工程应用中，可以在任何需要实现高速图像识别相关工程项目中，通过融合网络设计完成高速时变信息特征提取和准确分类。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种卷积神经网络和脉冲神经网络的融合结构，其特征在于，包括：
卷积神经网络结构，所述卷积神经网络结构包括输入层、卷积层和池化层，其中，所述输入层用于接收像素级图像数据，所述卷积层用于卷积运算，所述池化层用于池化运算；
脉冲转换与编码结构，所述脉冲转换与编码结构包括脉冲转换神经元和可配置脉冲编码器，其中，所述脉冲转换神经元用于将所述像素级图像数据换成基于预设编码形式的脉冲信息，所述可配置脉冲编码器用于将所述脉冲转换与编码结构配置成时间编码或频率编码；以及
脉冲神经网络结构，所述脉冲神经网络结构包括脉冲卷积层、脉冲池化层和脉冲输出层，其中，脉冲卷积层和脉冲池化层分别用于对所述脉冲信息进行脉冲卷积运算和脉冲池化运算得到运算结果，所述脉冲输出层用于输出所述运算结果。
2.根据权利要求1所述的卷积神经网络和脉冲神经网络的融合结构，其特征在于，所述脉冲转换神经元进一步用于根据脉冲频率转换将所述像素级图像数据映射成模拟电流，并根据所述模拟电流得到所述脉冲信息。
3.根据权利要求2所述的卷积神经网络和脉冲神经网络的融合结构，其特征在于，所述脉冲频率与所述模拟电流之间的对应关系为：
其中，Rate表示所述脉冲频率，tref表示神经不应期时间长度，τRC表示根据膜电阻和膜电容确定的时间常数，V(t0)和V(t1)分别表示t0和t1时刻的膜电压，I表示模拟电流。
4.根据权利要求1所述的卷积神经网络和脉冲神经网络的融合结构，其特征在于，所述脉冲卷积运算进一步包括：
像素级卷积核根据基于LIF模型神经元的突触强度和突触延时映射关系生成脉冲卷积核，并根据所述脉冲卷积核和所述脉冲信息且经过脉冲乘加运算生成脉冲卷积特征图。
5.根据权利要求4所述的卷积神经网络和脉冲神经网络的融合结构，其特征在于，所述脉冲池化运算进一步包括：
像素级池化窗口根据所述突触强度和所述突触延时映射关系生成脉冲池化窗口，并根据所述脉冲池化窗口和所述脉冲信息经过所述脉冲累加运算生成脉冲池化特征图。
6.根据权利要求5任一项所述的卷积神经网络和脉冲神经网络的融合结构，其特征在于，所述突触强度和所述突触延时映射关系进一步包括：
所述像素级卷积核和所述像素级池化窗口根基于MP模型的人工神经元的权重和偏置分别映射成所述基于LIF模型神经元的突触强度和突触延时。
7.根据权利要求6任一项所述的卷积神经网络和脉冲神经网络的融合结构，其特征在于，所述突触强度和所述突触延时映射关系进一步包括：
在把基于MP模型的人工神经元的权重和偏置分别映射成基于LIF模型神经元的突触强度和突触延时的基础上，采用模拟电流叠加原理实现脉冲信息叠加。
8.根据权利要求7所述的卷积神经网络和脉冲神经网络的融合结构，其特征在于，所述脉冲累加运算进一步包括：
所述像素级卷积核基于所述MP模型的人工神经元的权重和偏置分别映射成基于所述LIF模型神经元的突触强度和突触延时。
9.一种如权利要求1所述的卷积神经网络和脉冲神经网络的融合方法，其特征在于，包括以下步骤：
建立等效卷积神经网络和融合神经网络的对应关系；
根据所述对应关系转换等效卷积神经网络学习训练结果与卷积神经网络和脉冲神经网络的融合网络学习训练结果，以得到卷积神经网络和脉冲神经网络的融合结果。
10.根据权利要求9所述的卷积神经网络和脉冲神经网络的融合方法，其特征在于，所述等效卷积神经网络和融合神经网络的对应关系包括网络层结构、权重和偏置，以及激活函数之间的映射关系。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910087183.8A CN109816026B (zh) | 2019-01-29 | 2019-01-29 | 卷积神经网络和脉冲神经网络的融合装置及方法 |
| PCT/CN2019/117039 WO2020155741A1 (zh) | 2019-01-29 | 2019-11-11 | 卷积神经网络和脉冲神经网络的融合结构及方法 |
| US17/386,570 US20210357726A1 (en) | 2019-01-29 | 2021-07-28 | Fusion structure and method of convolutional neural network and spiking neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910087183.8A CN109816026B (zh) | 2019-01-29 | 2019-01-29 | 卷积神经网络和脉冲神经网络的融合装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109816026A true CN109816026A (zh) | 2019-05-28 |
| CN109816026B CN109816026B (zh) | 2021-09-10 |
Family
ID=66605701
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910087183.8A Active CN109816026B (zh) | 2019-01-29 | 2019-01-29 | 卷积神经网络和脉冲神经网络的融合装置及方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210357726A1 (zh) |
| CN (1) | CN109816026B (zh) |
| WO (1) | WO2020155741A1 (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110322010A (zh) * | 2019-07-02 | 2019-10-11 | 深圳忆海原识科技有限公司 | 用于类脑智能与认知计算的脉冲神经网络运算系统及方法 |
| CN110458136A (zh) * | 2019-08-19 | 2019-11-15 | 广东工业大学 | 一种交通标志识别方法、装置和设备 |
| CN110555523A (zh) * | 2019-07-23 | 2019-12-10 | 中建三局智能技术有限公司 | 一种基于脉冲神经网络的短程跟踪方法及系统 |
| WO2020155741A1 (zh) * | 2019-01-29 | 2020-08-06 | 清华大学 | 卷积神经网络和脉冲神经网络的融合结构及方法 |
| CN112188093A (zh) * | 2020-09-24 | 2021-01-05 | 北京灵汐科技有限公司 | 双模态信号融合系统和方法 |
| WO2021027214A1 (zh) * | 2019-08-12 | 2021-02-18 | 北京大学 | 基于flash存算阵列的脉冲型卷积神经网络 |
| CN112381857A (zh) * | 2020-11-12 | 2021-02-19 | 天津大学 | 一种基于脉冲神经网络的类脑目标跟踪方法 |
| CN112633497A (zh) * | 2020-12-21 | 2021-04-09 | 中山大学 | 一种基于重加权膜电压的卷积脉冲神经网络的训练方法 |
| CN113159276A (zh) * | 2021-03-09 | 2021-07-23 | 北京大学 | 模型优化部署方法、系统、设备及存储介质 |
| WO2022078334A1 (zh) * | 2020-10-13 | 2022-04-21 | 北京灵汐科技有限公司 | 利用神经元模型及网络处理信号的处理方法、介质、设备 |
| CN115238857A (zh) * | 2022-06-15 | 2022-10-25 | 脉冲视觉(北京)科技有限公司 | 基于脉冲信号的神经网络及脉冲信号处理方法 |
| TWI787691B (zh) * | 2019-12-24 | 2022-12-21 | 財團法人工業技術研究院 | 神經網路運算裝置及方法 |
| CN116205274A (zh) * | 2023-04-27 | 2023-06-02 | 苏州浪潮智能科技有限公司 | 一种脉冲神经网络的控制方法、装置、设备及存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085768B (zh) * | 2020-09-02 | 2023-12-26 | 北京灵汐科技有限公司 | 光流信息预测方法、装置、电子设备和存储介质 |
| CN113628615B (zh) * | 2021-10-12 | 2022-01-04 | 中国科学院自动化研究所 | 语音识别方法、装置、电子设备及存储介质 |
| KR20230096657A (ko) * | 2021-12-23 | 2023-06-30 | 한국전자기술연구원 | Snn/cnn 동시 구동이 가능한 데이터 처리 시스템 및 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9195934B1 (en) * | 2013-01-31 | 2015-11-24 | Brain Corporation | Spiking neuron classifier apparatus and methods using conditionally independent subsets |
| CN105095965A (zh) * | 2015-07-16 | 2015-11-25 | 清华大学 | 人工神经网络和脉冲神经网络神经的混合通信方法 |
| CN105760930A (zh) * | 2016-02-18 | 2016-07-13 | 天津大学 | 用于aer的多层脉冲神经网络识别系统 |
| US20160358069A1 (en) * | 2015-06-03 | 2016-12-08 | Samsung Electronics Co., Ltd. | Neural network suppression |
| CN109214250A (zh) * | 2017-07-05 | 2019-01-15 | 中南大学 | 一种基于多尺度卷积神经网络的静态手势识别方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7496546B2 (en) * | 2003-03-24 | 2009-02-24 | Riken | Interconnecting neural network system, interconnecting neural network structure construction method, self-organizing neural network structure construction method, and construction programs therefor |
| CN105095961B (zh) * | 2015-07-16 | 2017-09-29 | 清华大学 | 一种人工神经网络和脉冲神经网络的混合系统 |
| CN105095966B (zh) * | 2015-07-16 | 2018-08-21 | 北京灵汐科技有限公司 | 人工神经网络和脉冲神经网络的混合计算系统 |
| CN108717570A (zh) * | 2018-05-23 | 2018-10-30 | 电子科技大学 | 一种脉冲神经网络参数量化方法 |
| CN109816026B (zh) * | 2019-01-29 | 2021-09-10 | 清华大学 | 卷积神经网络和脉冲神经网络的融合装置及方法 |
-
2019
- 2019-01-29 CN CN201910087183.8A patent/CN109816026B/zh active Active
- 2019-11-11 WO PCT/CN2019/117039 patent/WO2020155741A1/zh active Application Filing
-
2021
- 2021-07-28 US US17/386,570 patent/US20210357726A1/en active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9195934B1 (en) * | 2013-01-31 | 2015-11-24 | Brain Corporation | Spiking neuron classifier apparatus and methods using conditionally independent subsets |
| US20160358069A1 (en) * | 2015-06-03 | 2016-12-08 | Samsung Electronics Co., Ltd. | Neural network suppression |
| CN105095965A (zh) * | 2015-07-16 | 2015-11-25 | 清华大学 | 人工神经网络和脉冲神经网络神经的混合通信方法 |
| CN105760930A (zh) * | 2016-02-18 | 2016-07-13 | 天津大学 | 用于aer的多层脉冲神经网络识别系统 |
| CN109214250A (zh) * | 2017-07-05 | 2019-01-15 | 中南大学 | 一种基于多尺度卷积神经网络的静态手势识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| CAO, Y等: "Spiking Deep Convolutional Neural Networks for Energy-Efficient Object Recognition", 《INT J COMPUT VIS 113》 * |
| X. LI 等: "SAR ATR based on dividing CNN into CAE and SNN", 《2015 IEEE 5TH ASIA-PACIFIC CONFERENCE ON SYNTHETIC APERTURE RADAR (APSAR)》 * |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020155741A1 (zh) * | 2019-01-29 | 2020-08-06 | 清华大学 | 卷积神经网络和脉冲神经网络的融合结构及方法 |
| CN110322010A (zh) * | 2019-07-02 | 2019-10-11 | 深圳忆海原识科技有限公司 | 用于类脑智能与认知计算的脉冲神经网络运算系统及方法 |
| CN110322010B (zh) * | 2019-07-02 | 2021-06-25 | 深圳忆海原识科技有限公司 | 用于类脑智能与认知计算的脉冲神经网络运算系统及方法 |
| CN110555523B (zh) * | 2019-07-23 | 2022-03-29 | 中建三局智能技术有限公司 | 一种基于脉冲神经网络的短程跟踪方法及系统 |
| CN110555523A (zh) * | 2019-07-23 | 2019-12-10 | 中建三局智能技术有限公司 | 一种基于脉冲神经网络的短程跟踪方法及系统 |
| WO2021012752A1 (zh) * | 2019-07-23 | 2021-01-28 | 中建三局智能技术有限公司 | 一种基于脉冲神经网络的短程跟踪方法及系统 |
| WO2021027214A1 (zh) * | 2019-08-12 | 2021-02-18 | 北京大学 | 基于flash存算阵列的脉冲型卷积神经网络 |
| CN110458136A (zh) * | 2019-08-19 | 2019-11-15 | 广东工业大学 | 一种交通标志识别方法、装置和设备 |
| TWI787691B (zh) * | 2019-12-24 | 2022-12-21 | 財團法人工業技術研究院 | 神經網路運算裝置及方法 |
| CN112188093A (zh) * | 2020-09-24 | 2021-01-05 | 北京灵汐科技有限公司 | 双模态信号融合系统和方法 |
| WO2022078334A1 (zh) * | 2020-10-13 | 2022-04-21 | 北京灵汐科技有限公司 | 利用神经元模型及网络处理信号的处理方法、介质、设备 |
| CN112381857A (zh) * | 2020-11-12 | 2021-02-19 | 天津大学 | 一种基于脉冲神经网络的类脑目标跟踪方法 |
| CN112633497A (zh) * | 2020-12-21 | 2021-04-09 | 中山大学 | 一种基于重加权膜电压的卷积脉冲神经网络的训练方法 |
| CN112633497B (zh) * | 2020-12-21 | 2023-08-18 | 中山大学 | 一种基于重加权膜电压的卷积脉冲神经网络的训练方法 |
| CN113159276A (zh) * | 2021-03-09 | 2021-07-23 | 北京大学 | 模型优化部署方法、系统、设备及存储介质 |
| CN113159276B (zh) * | 2021-03-09 | 2024-04-16 | 北京大学 | 模型优化部署方法、系统、设备及存储介质 |
| CN115238857A (zh) * | 2022-06-15 | 2022-10-25 | 脉冲视觉(北京)科技有限公司 | 基于脉冲信号的神经网络及脉冲信号处理方法 |
| CN116205274A (zh) * | 2023-04-27 | 2023-06-02 | 苏州浪潮智能科技有限公司 | 一种脉冲神经网络的控制方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109816026B (zh) | 2021-09-10 |
| WO2020155741A1 (zh) | 2020-08-06 |
| US20210357726A1 (en) | 2021-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816026A (zh) | 卷积神经网络和脉冲神经网络的融合结构及方法 | |
| Afifi et al. | Implementation of biologically plausible spiking neural network models on the memristor crossbar-based CMOS/nano circuits | |
| CN108985447A (zh) | 一种硬件脉冲神经网络系统 | |
| Guthikonda | Kohonen self-organizing maps | |
| CN108717570A (zh) | 一种脉冲神经网络参数量化方法 | |
| CN109102000A (zh) | 一种基于分层特征提取与多层脉冲神经网络的图像识别方法 | |
| WO2015020802A2 (en) | Computed synapses for neuromorphic systems | |
| CN108875906B (zh) | 一种多尺度逐步累加的卷积神经网络学习方法 | |
| CN108490965A (zh) | 基于遗传算法优化神经网络的旋翼飞行器姿态控制方法 | |
| Valova et al. | Optimization of convolutional neural networks for imbalanced set classification | |
| Afifi et al. | STDP implementation using memristive nanodevice in CMOS-Nano neuromorphic networks | |
| CN109033994A (zh) | 一种基于卷积神经网络的人脸表情识别方法 | |
| CN108280436A (zh) | 一种基于堆叠递归单元的多级残差网络的动作识别方法 | |
| JP2021033415A (ja) | スパイキングニューラルネットワーク装置およびその学習方法 | |
| CN112712170A (zh) | 基于输入加权脉冲神经网络的神经形态视觉目标分类系统 | |
| CN115222026A (zh) | 一种脉冲神经网络硬件电路 | |
| CN110378476A (zh) | 脉冲卷积神经网络的最大池化层的近似实现方法、系统及介质 | |
| Cai et al. | Cloud classification of satellite image based on convolutional neural networks | |
| Indiveri | Synaptic plasticity and spike-based computation in VLSI networks of integrate-and-fire neurons | |
| CN110874629A (zh) | 基于兴奋性与抑制性stdp的储备池网络的结构优化方法 | |
| Mohemmed et al. | Incremental learning algorithm for spatio-temporal spike pattern classification | |
| CN115238864A (zh) | 一种光神经单元装置、深度学习光神经网络的构建方法 | |
| Lin et al. | An automatic image segmentation algorithm based on spiking neural network model | |
| Wang | Applications of memristors in neural networks and neuromorphic computing: A review | |
| LI et al. | Research on learning algorithm of spiking neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |