CN111797968B - 一种基于脉冲神经网络的重加权稀疏重建方法 - Google Patents
一种基于脉冲神经网络的重加权稀疏重建方法 Download PDFInfo
- Publication number
- CN111797968B CN111797968B CN202010565223.8A CN202010565223A CN111797968B CN 111797968 B CN111797968 B CN 111797968B CN 202010565223 A CN202010565223 A CN 202010565223A CN 111797968 B CN111797968 B CN 111797968B
- Authority
- CN
- China
- Prior art keywords
- neural network
- pulse
- sparse
- neuron
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 210000002569 neuron Anatomy 0.000 claims description 55
- 238000012421 spiking Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 239000012528 membrane Substances 0.000 claims description 7
- 210000005056 cell body Anatomy 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 30
- 238000012545 processing Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000036279 refractory period Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于脉冲神经网络的重加权稀疏重建方法,该方法包括以下步骤:1)获取待重建的输入信号;2)选择重加权惩罚项;3)建立超完备字典,用于后续信号重建;4)根据输入信号和字典尺寸,构建脉冲神经网络模型;5)根据脉冲神经网络的运行状态,重建出稀疏信号。本发明通过结合脉冲神经网络模型的高效性和重加权算法的优势,针对重加权后的稀疏重建问题,用脉冲神经网络模型的动态演化对其求解,显著提升了稀疏信号重建的精度和效率。
Description
技术领域
本发明涉及信号处理领域,尤其涉及一种基于脉冲神经网络的重加权稀疏重建方法。
背景技术
信号内在的稀疏性被广泛应用于图像处理、语音信号处理、医学影像以及雷达信号处理等诸多领域。通过引入稀疏性的约束,不仅使信号的表示更为简洁,适应于大数据趋势下的应用,同时也降低了处理成本,大大提升了传统算法的性能。因此,稀疏理论一直以来都是信号处理领域的研究热点之一,也是信号处理领域中压缩感知理论的基础。当前,稀疏重建算法主要分为两种:基于离散迭代和基于模拟系统的方法。
基于离散迭代的方法有许多分支,例如贪婪算法、贝叶斯算法和阈值收缩算法等等。但由于稀疏信号重建的问题往往是欠定的,不存在显示解,离散迭代算法的求解过程通常需要消耗大量的计算资源,复杂度高且效率较低,限制了实际场景中的应用。
基于模拟系统的方法是近些年来研究的热点,其中局部竞争算法(LCA)是最具代表性的工作之一。通过微分方程的动态演化和神经元间抑制信号的加入,LCA算法具有计算高效、能耗低等优势,具有广泛的应用潜力。
而模拟稀疏重建算法仍有性能提升的空间。一方面,通过将模拟稀疏重建系统与脉冲神经网络相结合,不仅使信号处理的过程更贴近与真实的生物神经系统,同时也显著减少了神经元间不必要的信息交流,进一步提升了计算的高效性,并降低系统运行所需功耗。另一方面,通过引入重加权思想,优化了对稀疏惩罚项的选择,从而提升稀疏信号的重建精度。
发明内容
本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种基于脉冲神经网络的重加权稀疏重建方法。
本发明解决其技术问题所采用的技术方案是:一种基于脉冲神经网络的重加权稀疏重建方法,包括以下步骤:
2)选择重加权惩罚项;
4)根据输入信号和字典尺寸,构建脉冲神经网络模型;
5)根据脉冲神经网络的运行状态,重建出稀疏信号。
按上述方案,所述步骤2)中重加权惩罚项的选定需要满足设定的选取准则;
设g(x)为选定惩罚项,则g(x)需满足以下准则:
2.1)g(x)关于x的一阶导数与二阶导数存在;
2.2)g(x)的一阶导数非负,即g′(x)≥0;
2.3)g(x)为凹函数。
按上述方案,所述步骤2)中重加权惩罚项选取指数惩罚项。
按上述方案,所述步骤4)中构建脉冲神经网络模型如下:
按上述方案,所述步骤5)中根据脉冲神经网络的运行情况,重建的稀疏信号是通过计算各个脉冲神经元的脉冲发射率,得到重建的稀疏信号。
按上述方案,所述步骤5)中神经元的脉冲发射率计算方式如下:
其中,ai(t)代表第i个神经元在t时刻的脉冲发射率,t0代表计算起始时刻,σi(t)代表第i个神经元的脉冲序列,δ(t)代表冲激函数,{ti,k}代表第i个神经元产生脉冲的有序时间序列。
本发明产生的有益效果是:本发明通过结合脉冲神经网络模型的高效性和重加权算法的优势,针对重加权后的稀疏重建问题,用脉冲神经网络模型的动态演化对其求解,显著提升了稀疏信号重建的精度和效率。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例的方法流程图;
图2为基于字典的稀疏重建方法示意图;
图3为脉冲神经元的模型示意图;
图4为脉冲神经元三种运行状态的示意图;
图5为一个三神经元的脉冲神经网络运行过程示意图;
图6(a)为相同条件下,三种不同重加权形式的脉冲稀疏重建算法与原始算法的收敛情况比较结果;
图6(b)为不同稀疏度下,三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果;
图6(c)为不同信噪比下,三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果;
图6(d)为不同字典尺寸下,三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,一种基于脉冲神经网络的重加权稀疏重建方法,包括以下步骤:
1)获取待重建的图像输入信号;
2)选择重加权惩罚项;
在经典的稀疏重建算法中,通常使用l1范数作为稀疏惩罚项对优化问题进行求解,然而在实际计算中,l1范数常常会过度惩罚重建信号中的大值元素,影响最终的重建精度。因此,可以通过选择满足以下条件的重加权惩罚项g(x)代替l1范数,在保障计算可行的前提下缓解对重建信号中大值元素的过度惩罚,由此提升算法的重建精度。
选取准则;
设g(x)为选定惩罚项,则g(x)需满足以下准则:
2.1)g(x)关于x的一阶导数与二阶导数存在;
2.2)g(x)的一阶导数非负,即g′(x)≥0;
2.3)g(x)为凹函数。
3)建立超完备字典,用于后续信号重建;
字典作为稀疏重建算法中的特征集合,与稀疏重建的结果有着密切关系,如图2所示。常用的字典主要分为两类:一种是预先给定的分析字典,比如小波基、DCT等,其优点在于有较强的通用性,且容易获取,而缺点在于处理特定数据集时信号重建效果较差。另一种则是针对特定数据集学习出特定的字典,常用方法有K-SVD、MOD等算法,其优点在于能够大大提升在特定数据集上的重建效果,而缺点在于获取过程较为复杂,且对数据集的要求较高。
4)根据输入信号和字典尺寸,构建脉冲神经网络模型;
在脉冲神经网络中,脉冲神经元的模型如图3所示。而每个神经元在运行过程中都拥有三种状态:激活态、非激活态和不应期,如图4所示。与其他人工神经网络不同,脉冲神经元并不会在接收到外界刺激时马上激活,而是将其转化为胞体电流μ(t)对自身膜电势v(t)进行充电,并且在膜电势超过脉冲发射阈值时才激活,即v(t)>vspike。假设第i个神经元在ti,k时刻激活,则它将产生一个脉冲信号作用于其他的神经元,同时其膜电势vi(t)将会被重置到电位vreset上。随后,神经元i将进入不应期tref>0,期间其膜电势将会保持在重置电位vreset上不变。首先定义神经元i的胞体电流μi(t)如下:
其中,为恒定的偏置电流;表示神经元i与神经元j之间的脉冲影响权重;为指数衰减函数,τ为动态系统的时间常数,而H(t)为阶跃函数;σi(t)=∑kδ(t-ti,k)为神经元i产生的脉冲序列,{ti,k}代表第i个神经元产生脉冲的有序时间序列。基于此,可以对胞体电流μi(t)进行形象理解:当没有脉冲产生时,胞体电流μi(t)与输入信号bi相等,且为恒定常量,而当其他神经元产生脉冲时,则会对神经元i的胞体电流以权重wij产生影响,并且该脉冲的影响会在后续指数衰减的过程中仍然存在。
随后,基于胞体电流μi(t)的定义,可将非激活状态下的神经元膜电势vi(t)表述如下:
其中,g′(|a|)为重加权惩罚项关于|a|的一阶导数。通过对重加权项的引入,脉冲神经网络能够在运行过程中动态地调整神经元的充电快慢,使得活性较强的神经元能够更容易地充电到脉冲发射阈值vspike上,缓解了对大值元素的惩罚,从而提升重建精度。
5)根据脉冲神经网络的运行状态,重建出稀疏信号;
通过求解脉冲神经元的脉冲发射率如下,即可获得重建的稀疏信号。
σi(t)=∑kδ(t-ti,k),
其中,ai(t)代表第i个神经元在t时刻的脉冲发射率,t0代表计算起始时刻,σi(t)代表第i个神经元的脉冲序列,δ(t)代表冲激函数,{ti,k}代表第i个神经元产生脉冲的有序时间序列。
由于脉冲神经元中脉冲发射阈值和不应期的机制,脉冲神经网络在实际运行过程中仅需少量神经元激活即可处理复杂的输入信号,并且神经元间的交流较为稀疏、高效,因此具有高效计算和低功耗的优点。
图5为一个三神经元的脉冲神经网络运行过程示意图,图5上图为神经元脉冲发射情况,图5下图为神经元膜电势变化情况。三个神经元的脉冲神经网络的运作过程(设定vspike=1,vreset=0),其中活性较强的神经元1和神经元3较为频繁地发射脉冲,而神经元2则由于其他神经元脉冲信号的影响,始终保持在非激活态中,并且该脉冲神经网络仅需少量的脉冲便可达到系统的周期性稳定,显示出其运作高效的特性。
此外,本发明中的重加权方式有众多的选择。图6中以三种不同形式的重加权惩罚项为例:指数惩罚项γ=1(RW-exp);对数惩罚项g(|a|)=log(|a|+∈),∈=1(RW-log);反正切惩罚项η=1(RW-atan),并与无重加权机制的脉冲稀疏重建算法(SSR)进行对比,以标准均方差NMSE作为衡量指标,定义如下:
其中,a*代表原始解。NMSE的数值越低,则代表重建精度越高。图6(a)为相同条件下,三种不同重加权形式的脉冲稀疏重建算法与原始算法的收敛情况比较结果,图6(b)为不同稀疏度下,三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果,图6(c)为不同信噪比下,三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果,图6(d)为不同字典尺寸下,三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果。从图6的实验结果可知,三种不同形式的重加权算法在不同稀疏度、不同信噪比和不同字典尺寸下都取得了更高的重建精度,表明了本发明的优秀性能和鲁棒性,而在上述实验中,指数惩罚项的重加权脉冲稀疏重建方法取得了最优的性能。
本发明方法适用于图像处理、语音信号处理、医学影像以及雷达信号处理,尤其在图像处理效果优秀。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (3)
1.一种基于脉冲神经网络的重加权稀疏重建方法,其特征在于,包括以下步骤:
2)选择重加权惩罚项;
4)根据输入信号和字典尺寸,构建脉冲神经网络模型;
构建脉冲神经网络模型如下:
在脉冲神经网络中,对于脉冲神经元定义神经元i的胞体电流μi(t)如下:
其中,为恒定的偏置电流;表示神经元i与神经元j之间的脉冲影响权重;为指数衰减函数,τ为动态系统的时间常数,而H(t)为阶跃函数;σi(t)=∑kδ(t-ti,k)为神经元i产生的脉冲序列,{ti,k}代表第i个神经元产生脉冲的有序时间序列;
基于胞体电流μi(t)的定义,将非激活状态下的神经元膜电势vi(t)表述如下:
其中,g′(|ai(t)|)为重加权惩罚项关于|ai(t)|的一阶导数;通过重加权惩罚项,脉冲神经网络能够在运行过程中动态地调整神经元的充电快慢,使得活性较强的神经元能够更容易地充电到脉冲发射阈值vspike上,缓解了对大值元素的惩罚,从而提升重建精度;
5)根据脉冲神经网络的运行状态,重建出稀疏信号;重建的稀疏信号是通过计算各个脉冲神经元的脉冲发射率得到;
神经元的脉冲发射率计算方式如下:
其中,ai(t)代表第i个神经元在t时刻的脉冲发射率,t0代表计算起始时刻,σi(t)代表第i个神经元的脉冲序列,δ(t)代表冲激函数,{ti,k}代表第i个神经元产生脉冲的有序时间序列。
2.根据权利要求1所述的基于脉冲神经网络的重加权稀疏重建方法,其特征在于,所述步骤2)中重加权惩罚项的选定需要满足设定的选取准则;
设g(x)为选定惩罚项,则g(x)需满足以下准则:
2.1)g(x)关于x的一阶导数与二阶导数存在;
2.2)g(x)的一阶导数非负,即g′(x)≥0;
2.3)g(x)为凹函数。
3.根据权利要求1所述的基于脉冲神经网络的重加权稀疏重建方法,其特征在于,所述步骤2)中重加权惩罚项选取指数惩罚项。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010565223.8A CN111797968B (zh) | 2020-06-19 | 2020-06-19 | 一种基于脉冲神经网络的重加权稀疏重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010565223.8A CN111797968B (zh) | 2020-06-19 | 2020-06-19 | 一种基于脉冲神经网络的重加权稀疏重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111797968A CN111797968A (zh) | 2020-10-20 |
CN111797968B true CN111797968B (zh) | 2022-09-16 |
Family
ID=72803595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010565223.8A Expired - Fee Related CN111797968B (zh) | 2020-06-19 | 2020-06-19 | 一种基于脉冲神经网络的重加权稀疏重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111797968B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112884851B (zh) * | 2021-01-27 | 2022-06-14 | 武汉大学 | 基于展开迭代优化算法的深度压缩感知网络的构建方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8369653B1 (en) * | 2009-02-27 | 2013-02-05 | Adobe Systems Incorporated | System and method for image upsampling using natural image statistics of first and second derivatives |
US20130318020A1 (en) * | 2011-11-03 | 2013-11-28 | Georgia Tech Research Corporation | Analog programmable sparse approximation system |
CN102722877B (zh) * | 2012-06-07 | 2014-09-10 | 内蒙古科技大学 | 基于双通道pcnn的多聚焦图像融合方法 |
CN102970044B (zh) * | 2012-11-23 | 2017-10-27 | 南开大学 | 一种基于回溯的迭代重加权压缩传感重构方法 |
US10679118B2 (en) * | 2016-12-20 | 2020-06-09 | Intel Corporation | Solving matrix inverse problems using neuromorphic computing |
CN106845541A (zh) * | 2017-01-17 | 2017-06-13 | 杭州电子科技大学 | 一种基于生物视觉与精确脉冲驱动神经网络的图像识别方法 |
CN110570351B (zh) * | 2019-08-01 | 2021-05-25 | 武汉大学 | 一种基于卷积稀疏编码的图像超分辨率重建方法 |
-
2020
- 2020-06-19 CN CN202010565223.8A patent/CN111797968B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN111797968A (zh) | 2020-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112633497B (zh) | 一种基于重加权膜电压的卷积脉冲神经网络的训练方法 | |
Attias | A variational baysian framework for graphical models | |
CN112699956B (zh) | 一种基于改进脉冲神经网络的神经形态视觉目标分类方法 | |
CN111091045A (zh) | 一种基于时空注意力机制的手语识别方法 | |
CN112906828A (zh) | 一种基于时域编码和脉冲神经网络的图像分类方法 | |
CN115511177A (zh) | 基于ingo-swgmn混合模型的超短期风速预测方法 | |
CN112712170B (zh) | 基于输入加权脉冲神经网络的神经形态视觉目标分类系统 | |
CN111723874A (zh) | 一种基于宽度和深度神经网络的声场景分类方法 | |
CN111948622A (zh) | 基于并联cnn-lstm的线性调频雷达信号toa估计算法 | |
CN113988357B (zh) | 基于深度学习的高层建筑风致响应预测方法及装置 | |
CN114636975A (zh) | 基于谱图融合和注意力机制的lpi雷达信号识别方法 | |
CN114912666A (zh) | 一种基于ceemdan算法和注意力机制的短时客流量预测方法 | |
CN111797968B (zh) | 一种基于脉冲神经网络的重加权稀疏重建方法 | |
CN114548532A (zh) | 一种基于vmd的tgcn-gru超短期负荷预测方法、装置和电子设备 | |
CN115032602A (zh) | 一种基于多尺度卷积胶囊网络的雷达目标识别方法 | |
CN113344168B (zh) | 短期泊位预测方法及系统 | |
Lei et al. | A joint convolutional neural network for simultaneous despeckling and classification of SAR targets | |
CN117439069A (zh) | 一种基于神经网络的电量预测方法 | |
CN116822592A (zh) | 一种基于事件数据和脉冲神经网络的目标跟踪方法 | |
CN116543289A (zh) | 一种基于编码器-解码器及Bi-LSTM注意力模型的图像描述方法 | |
CN113311429B (zh) | 一种基于对抗样本的1比特雷达成像方法 | |
CN115345207A (zh) | 一种自适应的多气象要素预测方法 | |
Zheng et al. | Image segmentation method based on spiking neural network with adaptive synaptic weights | |
Zhang et al. | Low probability of intercept radar signal recognition by staked autoencoder and SVM | |
CN114926737A (zh) | 一种基于卷积脉冲神经网络的低功耗目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220916 |