CN115130651A - 一种记忆环路多层异构机制启发的脉冲神经网络 - Google Patents

Abstract

本发明公开了一种记忆环路多层异构机制启发的脉冲神经网络，包括：复杂的自我抑制性的记忆环路神经元模型和类脑异构学习框架，在学习优化过程中使用双层优化算法，在具有正交数据分布的分层循环中学习脉冲神经网络中嵌套的神经元内生物物理变量和神经元间突触权重变量，每个神经元都学习到了独特的仿生系统来实现脉冲信号的输入输出。本发明提出的脉冲神经网络在小鼠体内脉冲信号数据中表现出了极高的生物保真度，在人工智能(AI)任务中表现出更高的精度，更卓越的能效，更低的时延，同时在科学探索方面也表现出极高的潜能和优越性。

Description

一种记忆环路多层异构机制启发的脉冲神经网络

技术领域

本发明涉及类脑智能，人工智能，神经网络领域，特别涉及一种记忆环路多层异构机制启发的脉冲神经网络。

背景技术

实数型神经网络(Analog-valued Neural Network，ANN)是由数十亿个神经细胞组成的结构紧凑的神经网络，使本发明的大脑成为自然界中一个奇妙的系统。这些神经细胞通过突触连接并以传递脉冲信号的形式相互交流，赋予了脑高效的认知能力。在人工智能和神经科学的交叉学科领域，寻找可以接近生物大脑性能的类脑人工智能模型一直是研究的长期追求。作为最具影响力的类脑启发模型，实数神经网络(Analog-valued NeuralNetwork，ANN)在图像分类，多物体识别探测，图像分割，自然语言处理等多个方向都体现出来较为优异的准确性。

当前的ANN虽然在精度方面取得了很大的优势，但其牺牲了能效，ANN在标准计算机识别1000种不同的物体时就需要消耗250瓦的能量。另一方面ANN的模型泛化能力差，当系统遇到新的情况得到新的样本时，往往需要对已经训练成型的模型在包含新样本的数据集上进行从零开始的训练，否则已经训练好的模型无法在新样本上得以应用。推理效率随着网络规模的扩大而降低，当前实数型神经网络主要以乘法和加法方式为主要运算手段，随着网络的深度和规模的扩大，运算量也随之变多和复杂，导致网络的运算速度降低，推理速度变慢。

脉冲神经网络(Spiking Neural Network，SNN)是类脑脉冲计算网络，采用更加仿生的方式直接表征神经细胞的脉冲机制，被誉为第三代人工神经网络，在时序动力学、稳态-可塑性平衡、功能特异性等方面存在天然的优势，是一种更加类生物的神经网络。脉冲神经网络具备强大的非线性计算能力、异步时序信息处理能力、自适应能力等，在低能耗、高速计算、鲁棒性、存算一体化硬件实现方面具有巨大前景，有望突破当前冯·诺伊曼体系架构的局限，是未来信息智能产业化的发展方向。

然而现有的脉冲神经元模型只是对复杂生物神经元的过度简化和抽象，且神经元在网络中的运行方式相同，不具备真正大脑网络中形态功能特异性，有望利用更多的生物学知识来优化其精度，能耗及延迟。

在神经科学领域中，最近的研究从哺乳动物身上发现了与学习和记忆相关的各种基本神经元活动模式。在微观尺度上，研究者观察到神经元通过从轴突到其自身的体细胞之间的自突触来执行自我抑制，从而实现一种细胞内的记忆环路。这种自突触机制有助于提高脉冲信号的精度，调整整个网络的活跃程度，形成了神经记忆的生物物理基础。在介观尺度上，大脑被解剖为由数十亿个具有不同表现型的神经元所组成的异构系统，这些异构神经元以其独特的神经元内系统理解收到的脉冲信号，确保大脑学习中丰富的生物活性。受上述研究的启发，本发明设计了具有记忆环路多层异构机制启发的神经网络模型(Heterogeneous spiking Framework with self-inhibiting neurons，HIFI)用于增强神经的记忆和学习能力。整体而言，HIFI是一种更加仿生的SNN，在神经元和网络设计方面都源于复杂的生物学灵感。

发明内容

本发明针对现有技术的缺陷，提供了一种记忆环路多层异构机制启发的脉冲神经网络。

为了实现以上发明目的，本发明采取的技术方案如下：

一种记忆环路多层异构机制启发的脉冲神经网络，包括：自抑制记忆环路神经元模型和类脑异构学习框架；

自抑制记忆环路神经元模型：

其中

是以α^k为参数的神经元内系统(公式(1))，S^k(t)是t时刻该神经元的输入信号，O^k(t-1)是t-1时刻该神经元的发射脉冲。

类脑异构学习框架：包含两组可学习的参数，即神经元间突触权重集合W＝{W^k}和神经元内生物物理参数集合α＝{α^k}。将HIFI学习过程表达为嵌套目标求解过程，通过双层优化算法学习突触权重集合W与神经元内参数集合α。

双层优化中的下层目标是在训练集D_t上根据外层循环中返回的α，利用经验损失

优化W。上层目标中的第一项定义了HIFI在验证集D_v上根据当前学习到的参数W^*(α)和α得到的经验损失

第二项Ω(·)是包含拉普拉斯平滑度的正则化项，用于鼓励相邻神经元共享相似的神经元内参数，λ是超参数。实际上，神经元可以被视为由不同权重的突触连接的图G的节点。

正则化项被表述为如下形式：

Ω(W，α)＝tr(F^TLF). (3)

式中，L＝D-A是图的拉普拉斯矩阵，D表示图的度矩阵，由A中的每行元素累加构成的对角阵，A为邻接矩阵。所有节点的神经元内参数可以张成一个特征矩阵

其中每一列

代表一个神经元节点的的神经元内生物物理参数。

进一步地，自抑制记忆环路神经元模型建模如下：

第一个方程定义了神经元接受外部刺激的过程：其中，S^k(t)代表神经元k在第t步时接收到的外部邻接神经元脉冲刺激，N(k)表示所有与神经元k相连的神经元集合，w_ik表示神经元i与神经元k之间的突触连接权重，Oⁱ(t-1)是神经元i在上一步的最终脉冲输出。

第二个方程模拟了神经元的自抑制记忆环路机制：其中，I^k(t)是神经元k的综合输入，由当前时刻接收到的外部输入S^k(t)以及自身在上一时刻的输出O^k(t-1)决定，以及可训练的自适应参数γ^k。

第三个方程描述了膜电位的更新：其中，u^k(t)表示神经元k在第t步时的膜电位，f(·)是Leaky-ReLU方程，τ^k、C^k和

分别代表膜电位衰减常数，电容常数以及膜静息电位。

第四个方程描绘了脉冲信号的产生：其中，O^k(t)表示表示神经元k在第t步时的脉冲输出，利用阶跃函数Θ(·)比较当前膜电位u^k(t)和膜电位阈值

前者高于后者时神经元将发放脉冲信号。

第五个方程实现了膜电位的重置：一旦神经元发放脉冲信号，其膜电位就将被重置为静息电位

进一步地，自抑制记忆性神经元模型的所有可学习变量都定义在神经元内参数集合

中，每个神经元具有独立的内参数属性。

本发明还公开了一种记忆环路多层异构机制启发的脉冲神经网络学习方法，包括：

通过在内部和外部循环之间迭代交替来执行。内循环中使用替代梯度的方法，通过

对突触权重参数进行更新，其中ξ₁为内层学习率，α是由外循环返回的神经元内参数。

外循环通过

对神经元内参数进行更新，其中

是整个上层目标函数，ξ₂为外层学习率。

使用单步更新作为W^*(α)的近似，然后通过链式法则推导

的梯度值，

在上述公式(4)中，为了便于表示，本发明将数据项D_v和D_t隐藏在L_u和L_t之中，为了降低上式的复杂性，本发明使用了有限差分作为二阶导数的近似，

其中，

且ε表示趋近于0的有限差分标量。当取ξ₁＝0时，上式中的二阶微分也可以简化为一阶微分

学习K个组成神经元的神经元级参数α＝{α^k}，k＝1，...，K。通过双层优化来学习逐级参数：

在约束中，

定义了W在训练数据集D_t上的训练损失，α为固定值。在目标中，通过用超参数λ权衡经验损失

和惩罚项Ω(·)来优化α。第一个经验损失

使用从约束中学习到的W^*(α)在验证数据集D_v上评估α。惩罚项Ω(W^*(α)，α)施加拉普拉斯平滑项以鼓励相邻神经元共享相似的神经元级参数。

与现有技术相比，本发明的优点在于：

本发明神经元模型拥有生物高保真度。此外，HIFI在执行多项AI任务时表现出更高的准确性(相比于其他SNN提高1-8％)、卓越的效率(相比于ANN最大降低12倍的能量消耗)和更低的延迟(相比于SNN和ANN最大提高500倍)，同时也表现出了高鲁棒性和高泛化能力(相比于其他SNN和ANN在抗噪音及跨数据跨样本泛化能力方面最高可达10％-40％的提升)。同时，对于单细胞测序数据中细胞类型识别这一科学探索中，我们的模型正确识别了与严重脑疾病密切关联的稀有细胞类型，而其他SNN和ANN无法正确识别。

附图说明

图1是本发明实施例HIFI示意图。(a)，自我抑制神经元模型的神经科学启示，包括泄漏的整合和激发过程(leaky integrate-and-fire)和自抑制记忆环路(self-inhibiting autapse)。(b)，在宏观网络级别定义的突触权重(synapse weight)和在微神经元级别定义的神经元内系统(intra-neuron system)。(c)，HIFI建模(上)。在HIFI中，脉冲神经网络(SNN)由具有不同神经元级参数α^k的异质自抑制神经元，这些神经元通过权重为W的突触连接。HIFI学习(下)。双层HIFI学习是通过在神经元级循环(用于α更新)和网络级循环(用于W更新)之间交替来进行的。

图2是本发明实施例验证人工神经元模型对小鼠大脑生物脉冲信号的保真度示意图。(a)，生物神经脉冲采集(I)和生物保真度评估(II)。(I)：通过显微内窥镜视频记录钙图像堆栈，捕捉小鼠大脑中不同时间步长的尖峰信号。(II)：神经元模型的生物保真度是通过将其生成的人工脉冲序列与来自大脑中同一生物神经元的地面真实生物脉冲序列进行比较来量化的。(b)，我们捕获的大脑神经元在92个测试步骤中发射的生物脉冲的数量。(c)：样本神经元恢复性能的可视化。热图显示了92个测试步骤中真正的生物和人工自回归脉冲序列。混淆矩阵显示详细的统计结果。S：静息步(负)，F：发射步(正)。(d)，不同人工神经元模型在所有脑神经元中的整体恢复性能。(I)：散点图使用点来标记所有局部神经元的宏观F1分数。更大和更暗的点表示神经元的恢复分数更好。(二)：每个小提琴图显示了不同人工神经元模型的宏观F1分数分布。第25、50和75个百分位数由中间的方框表示。(III)：三种不同放电水平下脑神经元的宏观F1分数箱线图。箱线图：中位数(中心线)、四分位距(方框)和数据范围(晶须)。

图3是本发明实施例在计算机视觉数据集上评估HIFI示意图。(a-c)，不同SNN在MNIST数据集上的性能。(a)，用于手写数字识别的全连接HIFI架构。(b)，不同SNN在MNIST上的分类精度和延迟(以时间步长评估)比较。(c)，MNIST上不同SNN的噪声鲁棒性评估。(d-f)，不同SNN在CIFAR10上的表现。(d)，不同SNN与四种典型卷积神经网络(CNN)架构的分类精度和延迟比较。(e)，HIFI与实数CNN的精度和能量比较。；

图4是本发明实施例在神经形态数据集上评估HIFI示意图。(a)，神经形态数据集的可视化。具有“开”和“关”脉冲的N-MNIST(上)。DVS128-具有11种不同动作的手势(顶部)。带有英语和德语录音的SHD和带有英语录音的SSC(底部)。(b)，四个神经形态数据集上不同SNN的分类精度。(c)，SHD测试集上针对12个说话人的不同SNN的分类准确度，其中说话人4和说话人5(蓝色)仅涉及测试数据集。(d)，不同SNN的混淆矩阵和分类精度。SHD-SSC代表在整个SHD上进行训练但在SSC上进行测试的场景，反之亦然。每个模型的分类准确率都标注在相应的混淆矩阵之上；

图5是本发明实施例在四个RNA-seq数据集上评估HIFI用于细胞类型识别示意图。(a-d)，在消除次要细胞类型后，Allen Mouse Brain Atlas上的SNN与两个注释级别16(AMB16)和92(AMB92)的比较。(a)，来自AMB16的scRNA-seq的tSNE可视化。(b)，AMB16(左)和AMB92(右)上不同神经网络的5倍数据的平均预测精度。(c)，AMB16(左)和AMB92(右)的F1分数的箱线图可视化。箱线图：中位数(中心线)、四分位距(方框)和数据范围(晶须)。(d)，AMB16上不同神经网络的Sankey图(桑基图)。桑基图：每种地面实况细胞类型的细胞数(左节点)，从地面实况到预测的细胞流(中间链接)，每种预测细胞类型的细胞数(右节点)。(例如)，比较跨物种的三个不同大脑数据集的SNN。(e)组合scRNA-seq数据的tSNE可视化。(f)跨不同大脑数据集的预测性能。条形图显示了使用配对ALM-MTG(左)、V1-MTG(中)和ALM+V1-MTG(右)数据集的不同神经网络的F1分数。混淆矩阵显示了STBP和HIFI在V1-MTG上的详细预测结果。(g)SNU和HIFI在ALM-MTG上的Sankey图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。

一种记忆环路多层异构机制启发的脉冲神经网络包括：

HIFI(图1)受神经科学的生物发现为启发(图1a)，其的创新在于两个方面：(1)复杂的自我抑制性的记忆环路神经元模型(图1b)，更重要的是，(2)类脑异构学习框架(图1c)。

自抑制记忆环路神经元动力学建模如下：

第一个方程定义了神经元接受外部刺激的过程：其中，S^k(t)代表神经元k在第t步时接收到的外部邻接神经元脉冲刺激，N(k)表示所有与神经元k相连的神经元集合，w_ik表示神经元i与神经元k之间的突触连接权重，Oⁱ(t-1)是神经元i在上一步的最终脉冲输出。

第二个方程模拟了神经元的自抑制记忆环路机制：其中，I^k(t)是神经元k的综合输入，由当前时刻接收到的外部输入S^k(t)以及自身在上一时刻的输出O^k(t-1)决定，以及可训练的自适应参数γ^k。

第三个方程描述了膜电位的更新：其中，u^k(t)表示神经元k在第t步时的膜电位，f(·)是Leaky-ReLU方程，τ^k、C^k和

分别代表膜电位衰减常数，电容常数以及膜静息电位。

第四个方程描绘了脉冲信号的产生：其中，O^k(t)表示表示神经元k在第t步时的脉冲输出，利用阶跃函数Θ(·)比较当前膜电位u^k(t)和膜电位阈值

前者高于后者时神经元将发放脉冲信号。

第五个方程实现了膜电位的重置：一旦神经元发放脉冲信号，其膜电位就将被重置为静息电位

综上，本发明的自抑制记忆性神经元模型的所有可学习变量都定义在神经元内参数集合

中，每个神经元具有独立的内参数属性。

类脑异构学习框架：

HIFI包含两组可学习的参数(图1c)，即神经元间突触权重集合W＝{W^k}和神经元内生物物理参数集合α＝{α^k}。这两组参数共同作用于控制整个神经网络的信息编码和学习过程。本发明将HIFI学习过程表达为嵌套目标求解过程，通过双层优化算法学习突触权重集合W与神经元内参数集合α。

上述学习问题是一个双层优化问题，因为在下层目标的求解过程中，W是α的约束条件。具体而言，双层优化中的下层目标是在训练集D_t上根据外层循环中返回的α，利用经验损失

优化W。上层目标中的第一项定义了HIFI在验证集D_v上根据当前学习到的参数W^*(α)和α得到的经验损失

第二项Ω(·)是包含拉普拉斯平滑度的正则化项，用于鼓励相邻神经元共享相似的神经元内参数，λ是超参数。实际上，神经元可以被视为由不同权重的突触连接的图G的节点。所有节点的神经元内参数可以张成一个特征矩阵

其中每一列

代表一个神经元节点的的神经元内生物物理参数。正则化项被表述为如下形式：

Ω(W，α)＝tr(F^TLF)， (3)

在上面的等式中，L＝D-A是图的拉普拉斯矩阵，D表示图的度矩阵，由A中的每行元素累加构成的对角阵，A为邻接矩阵。

HIFI学习过程

HIFI学习过程通过在内部和外部循环之间迭代交替来执行。内循环中使用替代梯度的方法，通过

对突触权重参数进行更新，其中ξ₁为内层学习率，α是由外循环返回的神经元内参数。外循环通过

对神经元内参数进行更新，其中

是整个上层目标函数，ξ₂为外层学习率。在计算过程中，因为W^*(α)是含α的隐函数，所以在求解梯度

时将造成较大的计算负担。在实际处理时，本发明遵循双层优化中的常用做法，使用单步更新作为W^*(α)的近似，然后通过链式法则推导

的梯度值，

在上述公式(4)中，为了便于表示，本发明将数据项D_v和D_t隐藏在L_u和L_t之中，为了降低上式的复杂性，本发明使用了有限差分作为二阶导数的近似，

其中，

且ε表示趋近于0的有限差分标量。当取ξ₁＝0时，上式中的二阶微分也可以简化为一阶微分

这种一阶近似在不牺牲精度的情况下展现了更高的计算效率。因此，除非另有说明，本发明在HIFI的学习中都使用一阶近似处理。

上述实施例的技术方案总结如下：

结合自抑制记忆环路和泄露的整合和激发过程(图1(a))，我们设计了自抑制记忆环路神经元模型(图1(b))，

其中

是以α^k为参数的神经元内系统(公式(1))，S^k(t)是t时刻该神经元的输入信号，O^k(t-1)是t-1时刻该神经元的发射脉冲，代表过去记忆通过环路对当前及未来时刻的影响。神经元内系统描述了神经元膜电位和离子交换的动力学，它由电阻-电容(RC)电路的一组生物物理方程建模。

HIFI通过在每个节点上允许不同的神经元级参数α^k来模拟大脑神经网络的异构性质(图1c)。因此，与仅学习网络级突触权重W的传统SNN不同，HIFI还需要学习K个组成神经元的神经元级参数α＝{α^k}，k＝1，...，K。因此，我们通过双层优化来学习这些逐级参数(图1c)，

在约束中，

定义了W在训练数据集D_t上的训练损失，α为固定值。在目标中，通过用超参数λ权衡经验损失

和惩罚项Ω(·)来优化α。第一个经验损失

使用从约束中学习到的W^*(α)在验证数据集D_v上评估α。惩罚项Ω(W^*(α)，α)施加拉普拉斯平滑项以鼓励相邻神经元共享相似的神经元级参数。本发明在这两个优化级别中使用从整个训练数据集中划分的正交子训练和子验证数据集，以减少过度拟合。这种双层优化框架的基本原理也在生物学上通过大脑中的神经科学观察得到解释，即突触可以随着时间的推移随着神经元的进化而消除或形成。

自抑制神经元是一种还原真实生物神经脉冲的高保真神经元模型

为了验证HIFI的生物可靠性，本实施例通过钙成像平台，收集了来自小鼠脑区的生物脉冲信号。在信号采集过程中，本实施例让小鼠观看固定的视觉图形，通过视野大小6.6mm、分辨率3.2um的钙成像(图2a(I))记录其大脑的神经动力学数据。然后从不同时刻的钙成像数据中反卷积得到其中29个神经元的脉冲序列。本实施例还为每个生物神经元训练了一个人工神经元作为其替代品，并使用相应的生物脉冲序列作为输入(图2a(II))，将人工替代神经元自回归得到的人工脉冲序列与原始生物脉冲序列进行比较。考虑到macroF1-score常用于评估模型在不平衡数据集的学习性能，由于小鼠神经元脉冲序列的分布不平衡，发射步骤少，静息步骤多(图2b)，因此本实施例使用macro F1-score度量自回归结果与原始序列的相似性，分数越高代表着对相应生物神经元的神经模拟越好。

为进行实验对照，在模拟神经元的选择上本实施例使用了LIF、iLIF、SNU以及本实施例所设计的自抑制记忆性神经元模型。实验过程中，本实施例选择不同的神经元作为回归样本，将生成的人工序列可视化并与原始生物序列进行比对。根据定量评估的混淆矩阵来看(图2c)，本实施例的自抑制记忆性神经元在具有最高真阳性(True Positive，TP)的情况下，能够具有较低的假阳性(False Positive，FP)。为了更加直观地比较不同人工神经元模型之间的性能差异，所有29个神经元的macro F1-score在其相应脑区位置上被可视化(图2d(I))，并绘制了小提琴图(图2d(II))。这些图表明了，对于大多数脑神经元而言，本实施例的自抑制记忆性神经元模型相对于其他三种神经元模型，是神经动力学的最佳仿生模型。此外，本实施例在箱线图中分别分析了不同模型在三个放电水平下跨脑神经元的回归分数(图2d(III))，本实施例的神经元在三个放电水平下，分数的中位数均保持在0.5以上，优于其他参与比较的模型，这表明了本实施例的神经元模型可以更好地近似不同生物神经元的神经动力学，并为异构配置提供了可行性。与其他常用的SNN相比，本实施例的神经元模型能够模范不同脑神经元的脉冲动力学。

HIFI在计算机视觉任务中表现优异

本实施例测试了HIFI在MNIST和CIFAR10数据集上的图像分类性能，并与其他SNN框架诸如STBP、SNU、TSSL-BP和Optimal conversion(Optimal)进行了横向对比。

在MNIST上，本实施例用三个全连接层(784-250-10)搭建HIFI(图3a)。在所有参与比较的SNN中，HIFI展现了最高的分类精度(98.23％)和最低的时间延迟(5个时间步长)(图3b)。虽然Optimal SNN也具有相当水平的预测精度，但它的推理延迟比HIFI高12倍左右。此外，本实施例考虑添加噪声来验证具有噪声扰动的不同AI模型的鲁棒性，其中噪声不参与训练，但被添加到测试样本中。HIFI对不同级别的噪声具有高鲁棒性(图3c)。

在CIFAR10中，将不同的SNN模型应用于AlexNet、CifarNet、VGG9和ResNet11四种常见CNN框架中。HIFI在这四种不同的CNN架构上实现了最佳性能和最低延迟，显示出HIFI神经元对网络结构的鲁棒性(图3d)。本实施例通过与ANN的比较进一步评估了HIFI性能。HIFI可以与相应的实数CNN网络具有相当的分类精度，在计算CMOS上的能耗后，本实施例发现HIFI可以将相应的ANN能耗降低高达11.5倍(图3e)。换言之，HIFI保持了与ANN相似的高精度，与此同时在计算能量效率方面取得了很大的进步。HIFI是一种更快、更节能、更准确的SNN，在不同的网络架构上具有出色的泛化能力。

HIFI在神经形态数据中表现出高精度和强泛化能力

本实施例在四个神经形态数据集上评估了HIFI。神经形态数据集是由仿生视觉或音频设备记录的脉冲数据，例如异步视觉传感器和人工内耳。这些数据集是专为SNN设计的。本实施例在实验过程中使用了两个神经形态视频数据集(N-MNIST和DVS128-Gesture)和两个神经形态音频数据集(SHD和SSC)(图4a)。HIFI与STBP、SNU、TSSL-BP进行了预测精度对比(图4b)和跨样本人员(图4c)及跨数据集泛化性能(图4d)对比，显示出了卓越的性能和更好的泛化能力。

HIFI能够从单细胞测序数据中识别出稀有但关键细胞类型

单细胞测序(scRNA-seq)可以实现单个细胞的高分辨率图谱，这使得人类对于复杂组织和生物体细胞异质性的理解迅速加深。从scRNA-seq数据中识别细胞类型，对于促进许多下游生物学发现至关重要。由于scRNA-seq数据无论是数据量还是数据维度而言都很大，因此该领域迫切需要一个准确、高效、低延迟的计算框架。本实施例尝试使用SNN来进行基于RNA序列的细胞类别识别。据本实施例所知，这是首次在这一流行的生物信息学任务上对SNN进行基准测试。

本实施例首先在Allen Mouse Brain数据集(图5a)上评估了HIFI在细胞分类任务的表现，特别是在识别稀有细胞类型上的表现。本实施例将HIFI与ACTINN(一种专门用于细胞分类的人工神经网络)以及两个SNN(STBP、SNU)进行了比较。在预测精度(图5b)和F1-score方面(图5c)HIFI均取得了较大的优势，表明其在发现稀有细胞类方面的敏感性，同时在Sankey图中也体现出了HIFI对稀有细胞类型的鉴别能力(图5d)。

此外，本实施例还衡量了HIFI在不同物种中的预测表现，这种跨物种测试有助于揭示不同物种的潜在相关性。该测试共使用三个数据集：小鼠ALM、小鼠V1和人类MTG。虽然这些数据是从不同大脑区域(ALM与V1)、不同物种(小鼠与人类)测序获得的，但它们可以嵌入到2D tSNE空间中临近的位置(图5e)，证明其具有深度相关性。为测试上述数据，本实施例配对了三个“训练-测试”数据集，包括ALM-MTG、V1-MTG和ALM+V1-MTG。HIFI模型在所有三个配对的数据集上均取得了最好的平均F1分数(图5f)，表明HIFI在提取跨物种的共同遗传特征方面具有良好的泛化性能和鲁棒性。在其他SNN和ACTINN均表现不佳的情况下，HIFI可以在交叉物种条件下精确预测每个细胞类型(图5f，图5g)。

综上，HIFI可以准确识别稀有但信息丰富的生物标志物，并更好地适应跨物种任务。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (4)

1.一种记忆环路多层异构机制启发的脉冲神经网络，包括：自抑制记忆环路神经元模型和类脑异构学习框架；

自抑制记忆环路神经元模型：

其中

是以α^k为参数的神经元内系统(公式(1))，S^k(t)是t时刻该神经元的输入信号，O^k(t-1)是t-1时刻该神经元的发射脉冲；

类脑异构学习框架：包含两组可学习的参数，即神经元间突触权重集合W＝{W^k}和神经元内生物物理参数集合α＝{α^k}；将HIFI学习过程表达为嵌套目标求解过程，通过双层优化算法学习突触权重集合W与神经元内参数集合α；

双层优化中的下层目标是在训练集D_t上根据外层循环中返回的α，利用经验损失

优化W；上层目标中的第一项定义了HIFI在验证集D_v上根据当前学习到的参数W^*(α)和α得到的经验损失

第二项Ω(·)是包含拉普拉斯平滑度的正则化项，用于鼓励相邻神经元共享相似的神经元内参数，λ是超参数；实际上，神经元可以被视为由不同权重的突触连接的图G的节点；

正则化项被表述为如下形式：

Ω(W，α)＝tr(F^TLF). (3)

式中，L＝D-A是图的拉普拉斯矩阵，D表示图的度矩阵，由A中的每行元素累加构成的对角阵，A为邻接矩阵；所有节点的神经元内参数可以张成一个特征矩阵

其中每一列

代表一个神经元节点的的神经元内生物物理参数。

2.根据权利要求1所述的一种记忆环路多层异构机制启发的脉冲神经网络，其特征在于：所述自抑制记忆环路神经元模型建模如下：

第一个方程定义了神经元接受外部刺激的过程：其中，S^k(t)代表神经元k在第t步时接收到的外部邻接神经元脉冲刺激，N(k)表示所有与神经元k相连的神经元集合，w_ik表示神经元i与神经元k之间的突触连接权重，Oⁱ(t-1)是神经元i在上一步的最终脉冲输出；

第二个方程模拟了神经元的自抑制记忆环路机制：其中，I^k(t)是神经元k的综合输入，由当前时刻接收到的外部输入S^k(t)以及自身在上一时刻的输出O^k(t-1)决定，以及可训练的自适应参数γ^k；

第三个方程描述了膜电位的更新：其中，u^k(t)表示神经元k在第t步时的膜电位，f(·)是Leaky-ReLU方程，τ^k、C^k和

分别代表膜电位衰减常数，电容常数以及膜静息电位；

第四个方程描绘了脉冲信号的产生：其中，O^k(t)表示表示神经元k在第t步时的脉冲输出，利用阶跃函数Θ(·)比较当前膜电位u^k(t)和膜电位阈值

前者高于后者时神经元将发放脉冲信号；

第五个方程实现了膜电位的重置：一旦神经元发放脉冲信号，其膜电位就将被重置为静息电位

3.根据权利要求2所述的一种记忆环路多层异构机制启发的脉冲神经网络，其特征在于：自抑制记忆性神经元模型的所有可学习变量都定义在神经元内参数集合

中，每个神经元具有独立的内参数属性。

4.一种记忆环路多层异构机制启发的脉冲神经网络学习方法，其特征在于，包括：

通过在内部和外部循环之间迭代交替来执行；内循环中使用替代梯度的方法，通过

对突触权重参数进行更新，其中ξ₁为内层学习率，α是由外循环返回的神经元内参数；

外循环通过

对神经元内参数进行更新，其中

是整个上层目标函数，ξ₂为外层学习率；

使用单步更新作为W^*(α)的近似，然后通过链式法则推导

的梯度值，

在上述公式(4)中，为了便于表示，本发明将数据项D_v和D_t隐藏在L_u和L_t之中，为了降低上式的复杂性，本发明使用了有限差分作为二阶导数的近似，

其中，

且ε表示趋近于0的有限差分标量；当取ξ₁＝0时，上式中的二阶微分也可以简化为一阶微分

学习K个组成神经元的神经元级参数α＝{α^k}，k＝1，...，K；通过双层优化来学习逐级参数：

在约束中，

定义了W在训练数据集D_t上的训练损失，α为固定值；在目标中，通过用超参数λ权衡经验损失

和惩罚项Ω(·)来优化α；第一个经验损失

使用从约束中学习到的W^*(α)在验证数据集D_v上评估α；惩罚项Ω(W^*(α)，α)施加拉普拉斯平滑项以鼓励相邻神经元共享相似的神经元级参数。

Images