CN111797968B - 一种基于脉冲神经网络的重加权稀疏重建方法 - Google Patents

Abstract

本发明公开了一种基于脉冲神经网络的重加权稀疏重建方法，该方法包括以下步骤：1)获取待重建的输入信号；2)选择重加权惩罚项；3)建立超完备字典，用于后续信号重建；4)根据输入信号和字典尺寸，构建脉冲神经网络模型；5)根据脉冲神经网络的运行状态，重建出稀疏信号。本发明通过结合脉冲神经网络模型的高效性和重加权算法的优势，针对重加权后的稀疏重建问题，用脉冲神经网络模型的动态演化对其求解，显著提升了稀疏信号重建的精度和效率。

Description

一种基于脉冲神经网络的重加权稀疏重建方法

技术领域

本发明涉及信号处理领域，尤其涉及一种基于脉冲神经网络的重加权稀疏重建方法。

背景技术

信号内在的稀疏性被广泛应用于图像处理、语音信号处理、医学影像以及雷达信号处理等诸多领域。通过引入稀疏性的约束，不仅使信号的表示更为简洁，适应于大数据趋势下的应用，同时也降低了处理成本，大大提升了传统算法的性能。因此,稀疏理论一直以来都是信号处理领域的研究热点之一,也是信号处理领域中压缩感知理论的基础。当前，稀疏重建算法主要分为两种：基于离散迭代和基于模拟系统的方法。

基于离散迭代的方法有许多分支，例如贪婪算法、贝叶斯算法和阈值收缩算法等等。但由于稀疏信号重建的问题往往是欠定的,不存在显示解,离散迭代算法的求解过程通常需要消耗大量的计算资源，复杂度高且效率较低，限制了实际场景中的应用。

基于模拟系统的方法是近些年来研究的热点，其中局部竞争算法(LCA)是最具代表性的工作之一。通过微分方程的动态演化和神经元间抑制信号的加入，LCA算法具有计算高效、能耗低等优势，具有广泛的应用潜力。

而模拟稀疏重建算法仍有性能提升的空间。一方面，通过将模拟稀疏重建系统与脉冲神经网络相结合，不仅使信号处理的过程更贴近与真实的生物神经系统，同时也显著减少了神经元间不必要的信息交流，进一步提升了计算的高效性，并降低系统运行所需功耗。另一方面，通过引入重加权思想，优化了对稀疏惩罚项的选择，从而提升稀疏信号的重建精度。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于脉冲神经网络的重加权稀疏重建方法。

本发明解决其技术问题所采用的技术方案是：一种基于脉冲神经网络的重加权稀疏重建方法，包括以下步骤：

1)获取待重建的输入信号

M为输入信号的长度；

2)选择重加权惩罚项；

3)建立超完备字典

用于后续信号重建；其中，N为待重建稀疏信号的长度；

4)根据输入信号和字典尺寸，构建脉冲神经网络模型；

5)根据脉冲神经网络的运行状态，重建出稀疏信号。

按上述方案，所述步骤2)中重加权惩罚项的选定需要满足设定的选取准则；

设g(x)为选定惩罚项，则g(x)需满足以下准则：

2.1)g(x)关于x的一阶导数与二阶导数存在；

2.2)g(x)的一阶导数非负，即g′(x)≥0；

2.3)g(x)为凹函数。

按上述方案，所述步骤2)中重加权惩罚项选取指数惩罚项。

按上述方案，所述步骤4)中构建脉冲神经网络模型如下：

假设选定字典

针对输入信号

构建包含N个脉冲神经元的单层脉冲神经网络对其进行稀疏重建，通过脉冲神经网络模型的动态演化求解如下最小化问题，

其中，λ＞0为稀疏惩罚系数，N为脉冲神经网络中神经元的个数，

为待求解的稀疏信号，也是脉冲神经网络的最终输出。

按上述方案，所述步骤5)中根据脉冲神经网络的运行情况，重建的稀疏信号是通过计算各个脉冲神经元的脉冲发射率，得到重建的稀疏信号。

按上述方案，所述步骤5)中神经元的脉冲发射率计算方式如下：

其中，a_i(t)代表第i个神经元在t时刻的脉冲发射率，t₀代表计算起始时刻，σ_i(t)代表第i个神经元的脉冲序列，δ(t)代表冲激函数，{t_i,k}代表第i个神经元产生脉冲的有序时间序列。

本发明产生的有益效果是：本发明通过结合脉冲神经网络模型的高效性和重加权算法的优势，针对重加权后的稀疏重建问题，用脉冲神经网络模型的动态演化对其求解，显著提升了稀疏信号重建的精度和效率。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图；

图2为基于字典的稀疏重建方法示意图；

图3为脉冲神经元的模型示意图；

图4为脉冲神经元三种运行状态的示意图；

图5为一个三神经元的脉冲神经网络运行过程示意图；

图6(a)为相同条件下，三种不同重加权形式的脉冲稀疏重建算法与原始算法的收敛情况比较结果；

图6(b)为不同稀疏度下，三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果；

图6(c)为不同信噪比下，三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果；

图6(d)为不同字典尺寸下，三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于脉冲神经网络的重加权稀疏重建方法，包括以下步骤：

1)获取待重建的图像输入信号；

2)选择重加权惩罚项；

在经典的稀疏重建算法中，通常使用l₁范数作为稀疏惩罚项对优化问题进行求解，然而在实际计算中，l₁范数常常会过度惩罚重建信号中的大值元素，影响最终的重建精度。因此，可以通过选择满足以下条件的重加权惩罚项g(x)代替l₁范数，在保障计算可行的前提下缓解对重建信号中大值元素的过度惩罚，由此提升算法的重建精度。

选取准则；

设g(x)为选定惩罚项，则g(x)需满足以下准则：

2.1)g(x)关于x的一阶导数与二阶导数存在；

2.2)g(x)的一阶导数非负，即g′(x)≥0；

2.3)g(x)为凹函数。

3)建立超完备字典，用于后续信号重建；

字典作为稀疏重建算法中的特征集合，与稀疏重建的结果有着密切关系，如图2所示。常用的字典主要分为两类：一种是预先给定的分析字典，比如小波基、DCT等，其优点在于有较强的通用性，且容易获取，而缺点在于处理特定数据集时信号重建效果较差。另一种则是针对特定数据集学习出特定的字典，常用方法有K-SVD、MOD等算法，其优点在于能够大大提升在特定数据集上的重建效果，而缺点在于获取过程较为复杂，且对数据集的要求较高。

4)根据输入信号和字典尺寸，构建脉冲神经网络模型；

在选定重加权惩罚项g(x)和超完备字典

后，即可构造N神经元的脉冲神经网络模型，来解决相应的重加权优化问题：

其中，

为输入信号，

为待求解的稀疏信号，λ＞0为稀疏惩罚系数；

在脉冲神经网络中，脉冲神经元的模型如图3所示。而每个神经元在运行过程中都拥有三种状态：激活态、非激活态和不应期，如图4所示。与其他人工神经网络不同，脉冲神经元并不会在接收到外界刺激时马上激活，而是将其转化为胞体电流μ(t)对自身膜电势v(t)进行充电，并且在膜电势超过脉冲发射阈值时才激活，即v(t)＞v_spike。假设第i个神经元在t_i，k时刻激活，则它将产生一个脉冲信号作用于其他的神经元，同时其膜电势v_i(t)将会被重置到电位v_reset上。随后，神经元i将进入不应期t_ref＞0，期间其膜电势将会保持在重置电位v_reset上不变。首先定义神经元i的胞体电流μ_i(t)如下：

其中，

为恒定的偏置电流；

表示神经元i与神经元j之间的脉冲影响权重；

为指数衰减函数，τ为动态系统的时间常数，而H(t)为阶跃函数；σ_i(t)＝∑_kδ(t-t_i，k)为神经元i产生的脉冲序列，{t_i，k}代表第i个神经元产生脉冲的有序时间序列。基于此，可以对胞体电流μ_i(t)进行形象理解：当没有脉冲产生时，胞体电流μ_i(t)与输入信号b_i相等，且为恒定常量，而当其他神经元产生脉冲时，则会对神经元i的胞体电流以权重w_ij产生影响，并且该脉冲的影响会在后续指数衰减的过程中仍然存在。

随后，基于胞体电流μ_i(t)的定义，可将非激活状态下的神经元膜电势v_i(t)表述如下：

其中，g′(|a|)为重加权惩罚项关于|a|的一阶导数。通过对重加权项的引入，脉冲神经网络能够在运行过程中动态地调整神经元的充电快慢，使得活性较强的神经元能够更容易地充电到脉冲发射阈值v_spike上，缓解了对大值元素的惩罚，从而提升重建精度。

5)根据脉冲神经网络的运行状态，重建出稀疏信号；

通过求解脉冲神经元的脉冲发射率如下，即可获得重建的稀疏信号。

σ_i(t)＝∑_kδ(t-t_i，k)，

其中，a_i(t)代表第i个神经元在t时刻的脉冲发射率，t₀代表计算起始时刻，σ_i(t)代表第i个神经元的脉冲序列，δ(t)代表冲激函数，{t_i，k}代表第i个神经元产生脉冲的有序时间序列。

由于脉冲神经元中脉冲发射阈值和不应期的机制，脉冲神经网络在实际运行过程中仅需少量神经元激活即可处理复杂的输入信号，并且神经元间的交流较为稀疏、高效，因此具有高效计算和低功耗的优点。

图5为一个三神经元的脉冲神经网络运行过程示意图，图5上图为神经元脉冲发射情况，图5下图为神经元膜电势变化情况。三个神经元的脉冲神经网络的运作过程(设定v_spike＝1，v_reset＝0)，其中活性较强的神经元1和神经元3较为频繁地发射脉冲，而神经元2则由于其他神经元脉冲信号的影响，始终保持在非激活态中，并且该脉冲神经网络仅需少量的脉冲便可达到系统的周期性稳定，显示出其运作高效的特性。

此外，本发明中的重加权方式有众多的选择。图6中以三种不同形式的重加权惩罚项为例：指数惩罚项

γ＝1(RW-exp)；对数惩罚项g(|a|)＝log(|a|+∈)，∈＝1(RW-log)；反正切惩罚项

η＝1(RW-atan)，并与无重加权机制的脉冲稀疏重建算法(SSR)进行对比，以标准均方差NMSE作为衡量指标，定义如下：

其中，a^*代表原始解。NMSE的数值越低，则代表重建精度越高。图6(a)为相同条件下，三种不同重加权形式的脉冲稀疏重建算法与原始算法的收敛情况比较结果，图6(b)为不同稀疏度下，三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果，图6(c)为不同信噪比下，三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果，图6(d)为不同字典尺寸下，三种不同重加权形式的脉冲稀疏重建算法与原始算法的信号重建结果。从图6的实验结果可知，三种不同形式的重加权算法在不同稀疏度、不同信噪比和不同字典尺寸下都取得了更高的重建精度，表明了本发明的优秀性能和鲁棒性，而在上述实验中，指数惩罚项的重加权脉冲稀疏重建方法取得了最优的性能。

本发明方法适用于图像处理、语音信号处理、医学影像以及雷达信号处理，尤其在图像处理效果优秀。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (3)

1.一种基于脉冲神经网络的重加权稀疏重建方法，其特征在于，包括以下步骤：

1)获取待重建的输入信号

M为输入信号的长度；

2)选择重加权惩罚项；

3)建立超完备字典

用于后续信号重建；其中，N为待重建稀疏信号的长度；

4)根据输入信号和字典尺寸，构建脉冲神经网络模型；

构建脉冲神经网络模型如下：

选定字典

针对输入信号

构建包含N个脉冲神经元的单层脉冲神经网络对其进行稀疏重建，通过脉冲神经网络模型的动态演化求解如下最小化问题，

其中，λ>0为稀疏惩罚系数，N为脉冲神经网络中神经元的个数，

为待求解的稀疏信号，也是脉冲神经网络的最终输出；

在脉冲神经网络中，对于脉冲神经元定义神经元i的胞体电流μ_i(t)如下：

其中，

为恒定的偏置电流；

表示神经元i与神经元j之间的脉冲影响权重；

为指数衰减函数，τ为动态系统的时间常数，而H(t)为阶跃函数；σ_i(t)＝∑_kδ(t-t_i,k)为神经元i产生的脉冲序列，{t_i,k}代表第i个神经元产生脉冲的有序时间序列；

基于胞体电流μ_i(t)的定义，将非激活状态下的神经元膜电势v_i(t)表述如下：

其中，g′(|a_i(t)|)为重加权惩罚项关于|a_i(t)|的一阶导数；通过重加权惩罚项，脉冲神经网络能够在运行过程中动态地调整神经元的充电快慢，使得活性较强的神经元能够更容易地充电到脉冲发射阈值vspike上，缓解了对大值元素的惩罚，从而提升重建精度；

5)根据脉冲神经网络的运行状态，重建出稀疏信号；重建的稀疏信号是通过计算各个脉冲神经元的脉冲发射率得到；

神经元的脉冲发射率计算方式如下：

其中，a_i(t)代表第i个神经元在t时刻的脉冲发射率，t₀代表计算起始时刻，σ_i(t)代表第i个神经元的脉冲序列，δ(t)代表冲激函数，{t_i,k}代表第i个神经元产生脉冲的有序时间序列。

2.根据权利要求1所述的基于脉冲神经网络的重加权稀疏重建方法，其特征在于，所述步骤2)中重加权惩罚项的选定需要满足设定的选取准则；

设g(x)为选定惩罚项，则g(x)需满足以下准则：

2.1)g(x)关于x的一阶导数与二阶导数存在；

2.2)g(x)的一阶导数非负，即g′(x)≥0；

2.3)g(x)为凹函数。

3.根据权利要求1所述的基于脉冲神经网络的重加权稀疏重建方法，其特征在于，所述步骤2)中重加权惩罚项选取指数惩罚项。

Images