CN113361688A - 一种针对乌贼巨型轴突中动作电位的建模方法 - Google Patents
一种针对乌贼巨型轴突中动作电位的建模方法 Download PDFInfo
- Publication number
- CN113361688A CN113361688A CN202110623080.6A CN202110623080A CN113361688A CN 113361688 A CN113361688 A CN 113361688A CN 202110623080 A CN202110623080 A CN 202110623080A CN 113361688 A CN113361688 A CN 113361688A
- Authority
- CN
- China
- Prior art keywords
- fitzhugh
- neural network
- nagumo
- noise
- membrane potential
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 241000238371 Sepiidae Species 0.000 title claims abstract description 31
- 210000003050 axon Anatomy 0.000 title claims abstract description 31
- 230000036982 action potential Effects 0.000 title claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000011176 pooling Methods 0.000 claims abstract description 19
- 238000002922 simulated annealing Methods 0.000 claims abstract description 17
- 239000012528 membrane Substances 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 21
- 238000003266 membrane potential measurement method Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 abstract description 22
- 230000000977 initiatory effect Effects 0.000 abstract description 5
- 230000007246 mechanism Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000002779 inactivation Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 102000004257 Potassium Channel Human genes 0.000 description 3
- 108010052164 Sodium Channels Proteins 0.000 description 3
- 102000018674 Sodium Channels Human genes 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 108020001213 potassium channel Proteins 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 2
- 238000000137 annealing Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 229910052708 sodium Inorganic materials 0.000 description 2
- 239000011734 sodium Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种针对乌贼巨型轴突中动作电位的建模方法。首先，采用FitzHugh‑Nagumo模型描述乌贼巨型轴突中动作电位的发起与传递的离子机制。再根据FitzHugh‑Nagumo模型参数的弱先验知识，并结合所建立的FitzHugh‑Nagumo模型生成数据集。建立由卷积层、池化层和全连接层构成的用于FitzHugh‑Nagumo模型参数估计的神经网络。利用模拟退火算法对所建立的神经网络超参数进行整定。将整定好超参数的神经网络用于FitzHugh‑Nagumo模型参数估计。对乌贼巨型轴突中动作电位进行建模。本发明避免了神经网络超参数的选择问题，从而节省了繁琐的人工试凑过程，大大减少了训练集的大小，分析了噪声在训练和/或测试数据中的影响，还考虑并分析了训练集的大小对参数估计结果的影响，且得到的参数估计结果较好。
Description
技术领域
本发明涉及生物神经科学及常微分方程参数估计领域，具体地涉及一种针对乌贼巨型轴突中动作电位的建模方法。
背景技术
Hodgkin-Huxley模型是根据测定乌贼巨型轴突细胞膜与离子电导的时间特征而建立的模型，是一个描述如何发起和传递神经元动作电位的数学模型，从而解释了乌贼巨型轴突中动作电位发起和传递的离子机制。Hodgkin-Huxley模型是一组非线性微分方程，是一个连续时间模型。FitzHugh-Nagumo模型由两个耦合的非线性常微分方程组成，其中一个方程描述了神经元膜电位的快速演化，另一个方程表示钠通道失活和钾通道失活的缓慢“恢复”作用。FitzHugh-Nagumo模型是Hodgkin-Huxley模型的简化模型，但又保留了Hodgkin-Huxley模型的许多特性。
FitzHugh-Nagumo模型中常见的参数估计方法利用启发式和试错法，可能包含复杂的回归步骤。所采用的技术包括微分进化、遗传算法和蛮力网格搜索等。这些方法的缺点是计算成本昂贵或收敛速度缓慢。另一方面，使用梯度下降来寻找基于FitzHugh-Nagumo的回归问题的最小值，在目标函数中存在强非线性，需要良好的初始猜测。
虽然机器学习技术通常广泛地应用于预测和分类任务，但它们很少用来估计数学模型的参数。已有学者提出了基于神经网络的神经动力学参数估计方法，但其方法的代价是大量的训练集(105阶)，这大约比我们的工作大两个数量级，且每个训练样本都需要一个ODE模型的解，如果经常执行，这就造成了大量的计算成本。而且，前人没有分析噪声在训练和/或测试数据中的影响，并且训练集的大小没有变化。
发明内容
针对现有技术中存在的问题，本发明提出了一种针对乌贼巨型轴突中动作电位的建模方法。该方法利用模拟退火法对所建立的神经网络超参数进行整定，避免了神经网络超参数的选择问题，从而节省了繁琐的人工试凑过程。通过神经网络的拟合，克服了反演问题目标函数(或损失函数)的高度非线性和非凸性、参数之间的强非线性和依赖性，以及潜在的多个局部极小值挑战。本发明大大减少了训练集的大小，分析了噪声在训练和/或测试数据中的影响，还考虑并分析了训练集的大小对参数估计结果的影响，且得到参数估计结果较好。
为实现上述目的，本发明采用如下技术方案：一种针对乌贼巨型轴突中动作电位的建模方法，包括以下步骤：
S1：根据FitzHugh-Nagumo模型参数的弱先验知识生成FitzHugh-Nagumo模型参数，再利用生成的模型参数并结合FitzHugh-Nagumo模型生成不含噪声的膜电位数据，在不含噪声的膜电位数据上添加一阶自回归噪声模拟生成含有噪声的膜电位测量数据，将FitzHugh-Nagumo模型参数和对应的含噪声的膜电位测量数据构建成数据集；其中，FitzHugh-Nagumo模型表示为：
膜电位u＝u(t)以及恢复变量v＝v(t)是FitzHugh-Nagumo ODE的未知量。γ是一个恒定值，ζ表示总膜电流，θ0和θ1为模型参数。所述模型参数的弱先验知识具体为：模型参数的取值区间大于[0,1]。
S2：建立由卷积层、池化层和全连接层构成的用于FitzHugh-Nagumo模型参数估计的神经网络；其中，所述神经网络的输入为含噪声的膜电位测量值，输出为FitzHugh-Nagumo模型参数估计值。
S3：利用步骤S1构建的数据集对神经网络进行训练，同时使用模拟退火法对所建立的神经网络超参数进行整定；
S4：将实际测量的膜电位数据输入至整定好超参数的神经网络进行FitzHugh-Nagumo模型参数估计。
S5：利用估计所得的FitzHugh-Nagumo模型参数对乌贼巨型轴突中动作电位进行建模。
3.进一步地，所述步骤S1具体包括如下子步骤：
S1.1：假设FitzHugh-Nagumo模型参数θ0,θ1是独立同分布的正态分布：
θ0～N(0.4，0.3)，θ1～N(0.4，0.4)
且θ0,θ1的区间范围：
θ0∈[-0.2,1.0]，θ1∈[-0.4,1.2]
通过从先验分布中采样参数θ，求解FitzHugh-Nagumo ODE并在等步长存储膜电位uθ(ti)，i＝1,...,Nt。
S1.2：在不含噪声的膜电位数据上添加一阶自回归噪声模拟生成含有噪声的膜电位测量数据d(ti)，表示为：
d(ti):＝uθ(ti)+η(ti)
其中，d(ti)为模拟的含有噪声的ti时刻的膜电位测量数据，η(ti)为一阶自回归有色噪声。η(ti)大小为原始uθ(ti)的5～10％左右。
S1.3：最后将采样得到的参数θ和对应的含噪声的膜电位测量数据构成数据集。
进一步地，所述步骤S3中，使用模拟退火法整定的神经网络超参数包括卷积层滤波器数量(filters)、卷积核大小(kernel_size)、卷积步长(convolution_strides)、池化层类型(pool_type)、池化层滤波器大小(pool_strides)、池化步长(pool_strides)、全连接层节点数(units)、激活函数(activation)、学习率(learning_rate)、时期(epoch)、批大小(batch_size)、损失函数(loss_function)、卷积层层数以及全连接层层数。
进一步地，所述步骤S3中，所述模拟退火利用固体退火原理，模拟固体由高温的无序状态徐徐降温至低温的有序状态。模拟退火算法以一定的概率接受一个比当前解要差的解，因此可能会跳出当前的局部最优解而达到全局最优解。根据Metropolis准则，粒子在温度T时趋于平衡的概率为exp(-ΔE/kT)，其中E为温度T时的内能，ΔE为其改变量，k为Boltzmann常数。Metropolis准则可表示为：
与现有技术相比，本发明的有益效果是：本发明的针对乌贼巨型轴突中动作电位的建模方法利用模拟退火法对所建立的神经网络超参数进行整定，避免了神经网络超参数的选择问题，从而节省了繁琐的人工试凑过程；通过神经网络的拟合，克服了反演问题目标函数(或损失函数)的高度非线性和非凸性、参数之间的强非线性和依赖性，以及潜在的多个局部极小值挑战；大大减少了训练集的大小，分析了噪声在训练和/或测试数据中的影响，还考虑并分析了训练集的大小对参数估计结果的影响，且得到参数估计结果较好。
附图说明
图1为本发明中当使用θ0＝0.7、θ1＝0.8、γ＝3.0、ζ＝-0.4、u0＝v0＝0时FitzHugh-Nagumo模型两个ODEs系统的解。
具体实施方式
本发明采用FitzHugh-Nagumo模型描述乌贼巨型轴突中动作电位的发起与传递的离子机制，采用FitzHugh-Nagumo模型描述乌贼巨型轴突中动作电位的发起与传递的离子机制，利用FitzHugh-Nagumo ODE参数的弱先验知识生成不含/含一阶自回归有色噪声的训练集和测试集。建立由卷积层、池化层和全连接层构成的用于FitzHugh-Nagumo模型参数估计的神经网络。将该神经网络的超参数当成待估参数，用模拟退火算法寻找该神经网络的最优超参数。将整定好超参数的神经网络用于FitzHugh-Nagumo模型参数估计。利用估计所得的FitzHugh-Nagumo模型参数对乌贼巨型轴突中动作电位进行建模。
本发明针对乌贼巨型轴突中动作电位的建模方法具体包括如下步骤：
(1)：采用FitzHugh-Nagumo模型描述乌贼巨型轴突中动作电位的发起与传递的离子机制；
FitzHugh-Nagumo模型由两个耦合的非线性常微分方程组成，其中一个方程描述了神经元膜电位的快速演化，另一个方程表示钠通道失活和钾通道失活的缓慢“恢复”作用：
其中，膜电位u＝u(t)以及恢复变量v＝v(t)是FitzHugh-Nagumo ODE(ordinarydifferential equation,常微分方程)的未知量。γ是一个恒定值，ζ表示总膜电流，是一种应用于神经元的刺激，假设它在时间上是恒定的。θ0和θ1为模型参数。FitzHugh-Nagumo ODE的初始条件为u(0)＝u0，v(0)＝v0。
由于通常在实验中只能观察到膜电位，因此FitzHugh-Nagumo ODE的第二个变量v被排除在数据中，而我们得到的测量数据为：
其中，d(t)为t时刻的测量数据，uθ*(t)为由未知参数真值θ*＝(θ0 *,θ1 *)得到的FitzHugh-Nagumo ODE的解，η(t)为一阶自回归有色噪声，满足以下形式：
η(ti):＝ρη(ti-1)+ε(ti)，i＝2,...,Nt，
其中，|ρ|<1，ε(ti)是正态分布的白噪声且与η(ti-1)是互相独立的。
表示正态分布的方差，Nt为时间采样点数，Δt表示采样时间间隔，由于自相关系数的绝对值|ρ|<1，因此该噪声过程是平稳的，故有色噪声η(ti)在时间上是恒定的，因此可以得到η(ti)和ε(ti)分布：
η(ti)大小为原始uθ(ti)的5～10％左右。
(2)：根据FitzHugh-Nagumo模型参数的弱先验知识，并结合所建立的FitzHugh-Nagumo ODE模型生成训练集和测试集；
因假设对参数θ分布的了解甚少，即仅有弱先验知识，因此对θ分布选择相对较大的方差。由于在实践中，FitzHugh-Nagumo模型选择θ0,θ1∈[0,1]，因此选择更弱的先验知识，假设θ0,θ1是独立同分布的正态分布：
θ0～N(0.4，0.3)，θ1～N(0.4，0.4)
进一步限制θ0,θ1的区间范围：
θ0∈[-0.2,1.0]，θ1∈[-0.4,1.2]
通过从其先验分布中采样参数θ，并舍弃先验边界之外的样本。在获得θ的样本后，求解FitzHugh-Nagumo ODE并在等步长Δt＝0.2ms上存储膜电位uθ(ti)，i＝1,...,Nt。由此，将采样得到的参数θ和对应的不含噪声的的膜电位数据或对应的含噪声的膜电位测量数据构成数据集。
在统计/贝叶斯框架中，反演问题转化为找到给定数据d的参数θ的后验概率密度π(θ|d)，其中d是d(t)的离散化。通过贝叶斯原理，后验项π(θ|d)是由一个似然项π(d|θ)和先验项π(θ)组成的：
π(θ|d)∝π(d|θ)π(θ)
通过最小化上式的负对数来获得后验概率密度的点估计，称为极大后验点(MAP,maximum a posteriori)，以从给定的时间序列d推导θ的点估计：
(3)：建立由卷积层、池化层和全连接层构成的用于FitzHugh-Nagumo模型参数估计的神经网络；
通过构造神经网络来计算学习反演问题的重建映射。神经网络的输入是来自FitzHugh-Nagumo ODE的解的时间序列，输出是生成时间序列的相应参数θ。将基于神经网络的映射定义为：
其中，神经网络的输入d是时间序列d(t)的离散形式，Fl表示神经网络的第l层，
是神经网络的输出，作为预测模型的参数。
每个全连接层都由nu个节点组成，并且每一层的每个节点都连接到相邻层的所有节点上。一个全连接层被写成仿射映射和非线性函数的组合：
Fl(yl-1)＝φ(Wlyl-1+bl)
其中，Wl∈Rnu×nu是第l层的权重矩阵，bl是第l层的偏置，φ是非线性激活函数。通过Adam算法和损失函数，利用随机梯度下降来优化Wl和bl。
一个卷积层由nf个滤波器组成，每个滤波器都与一个卷积核相关联。一个卷积层的nf个卷积核与所有相邻层连接，类似于上述全连接层的节点。这些连接的权重构成了要优化的神经网络参数。由于这些权重是共享的，因此需要优化的权重会大大减少。
卷积层与池化层交织连接，卷积步骤和池化步骤都会将上一层的一小块区域变为一个值，即与输入yl-1相比，输出向量yl的大小减少了。在几个卷积层与池化层的组合后连接的是全连接层。
(4)：利用步骤2构建的训练集对神经网络进行反向传播训练，同时使用模拟退火法对所建立的神经网络超参数进行整定，其中，神经网络训练的目标函数为最小化均方误差，其中均方误差表示为：
其中，θ(j)为真实值，θ^(j)为预测值，j为样本索引。
模拟退火利用固体退火原理，模拟固体由高温的无序状态徐徐降温至低温的有序状态。模拟退火算法以一定的概率接受一个比当前解要差的解，因此可能会跳出当前的局部最优解而达到全局最优解。根据Metropolis准则，粒子在温度T时趋于平衡的概率为exp(-ΔE/kT)，其中E为温度T时的内能，ΔE为其改变量，k为Boltzmann常数。Metropolis准则可表示为：
在具体实施时，需要设置好初始温度和终止温度，以及学习率和目标函数。学习率一般取0.99或0.98，用以徐徐降温。目标函数一般为神经网络输出值与真实值的最小化均方误差(mean squared error,MSE)，对应于温度T时的内能E，k为Boltzmann常数，在实践过程中通常取值为1。直至达到预设的迭代次数、终止温度或ΔE小于预设的阈值，停止训练，获得整定好超参数的神经网络。
(5)：将整定好超参数的神经网络用于FitzHugh-Nagumo模型参数估计。
根据膜电位的实际测量值，输入本发明中的神经网络可以获得FitzHugh-Nagumo模型参数，进而构建获得接近真实的FitzHugh-Nagumo模型，可应用于乌贼巨型轴突的随机共振、放电节律、分岔现象、混沌行为、动力学行为等研究中。
(6)：对乌贼巨型轴突中动作电位进行建模。
将神经网络训练所得的FitzHugh-Nagumo模型参数代入到FitzHugh-Nagumo模型中，得到乌贼巨型轴突中动作电位动态模型。
实施例针对用于描述乌贼巨型轴突中动作电位的FitzHugh-Nagumo模型进行参数估计。
步骤一：实验设置；
该算法是基于Python来实现的，使用3(2)阶的显式龙格-库塔(Runge-Kutta)(RK23)法来对FitzHugh-Nagumo ODE进行时间上的积分，并利用Tensorflow/Keras(2.4.1)来实现神经网络。在所有实验中固定使用M＝2000个随机选择的测试样本，以评估不同神经网络的参数估计性能。训练样本N分别取500、1000、2000、4000、8000，以评估不同训练样本数对参数估计的影响。该神经网络固定使用Adam优化器，卷积层和池化层的Padding固定使用SAME。
步骤二：生成不含/含一阶自回归有色噪声的训练集和测试集；
通过从FitzHugh-Nagumo模型参数θ的先验分布中采样参数θ，并舍弃先验边界之外的样本，得到10000组参数θ。在获得θ的样本后，求解FitzHugh-Nagumo ODE并在等步长Δt＝0.2ms上存储膜电位uθ(ti)，i＝1,...,Nt，从而为每个模型参数θ生成一个大小为Nt＝1000的时间序列。由此，可以分别得到8000组和2000组不含一阶自回归有色噪声的训练集和测试集。通过在膜电位uθ(ti)上添加一阶自回归有色噪声来得到实际的含有噪声的测量数据，同样可以分别得到8000组和2000组含一阶自回归有色噪声的训练集和测试集。
一阶自回归有色噪声模型中的ρ和σ并不是恒定值，而是取随机值。其中，ρ～N(0.6,0.052)，σ～N(0.07,0.012)。随机取样100个独立的ρ和σ，用以生成10000对参数(ρ,σ)，用于产生一阶自回归有色噪声并添加到10000组训练集和测试集的膜电位uθ(ti)上。
步骤三：利用模拟退火算法整定神经网络的超参数；
建立由卷积层、池化层和全连接层构成的用于FitzHugh-Nagumo模型参数估计的神经网络。选择待整定的神经网络超参数：卷积层滤波器数量(filters)、卷积核大小(kernel_size)、卷积步长(convolution_strides)、池化层类型(pool_type)、池化层滤波器大小(pool_strides)、池化步长(pool_strides)、全连接层节点数(units)、激活函数(activation)、学习率(learning_rate)、时期(epoch)、批大小(batch_size)、损失函数(loss_function)、卷积层层数以及全连接层层数。
用模拟退火对上述选定的神经网络超参数进行整定。先设定初始温度为105℃，终止温度为10-5℃，学习率为0.98，目标函数选用MSE。利用Metropolis准则，接受一个比当前解要好的解，并以概率exp(-ΔE/kT)接受一个比当前解要差的解。
因为无噪声数据的优势在于可以针对使用随机梯度下降的优化算法执行足够多的迭代次数，而不会由于数据中的噪声而导致过拟合。因此，整定神经网络超参数所选用的训练集和测试集分别为1000/2000组不含一阶自回归有色噪声的数据。
经模拟退火整定得到的神经网络超参数为：filters＝16，kernel_size＝3，convolution_strides＝1，pool_size＝3，pool_strides＝1，units＝64，learning_rate＝0.0013，epochs＝500，batch_size＝64，activation为swish，pool_type为averagepooling，loss_function为mean squared error，卷积层为3层，全连接层为2层。
步骤四：将整定好超参数的神经网络用于FitzHugh-Nagumo模型参数估计。
神经网络超参数整定好后，对FitzHugh-Nagumo模型进行参数估计。实验结果如图1所示，评估准则为相对误差绝对值中位数(Median-APE,the median of the absolutepercentage error)，其中，相对误差绝对值表示为|θ(j)-θ^(j)|/|θ(j)|，θ(j)为真实值，θ^(j)为预测值，j为样本索引，Median-APE的值越小预测精度越高。表中有三列表示不同的噪声配置：测试集和训练集均不含噪声(第二列)，仅测试集包含噪声(第三列)，测试集和训练集均含噪声(第四列)。该表的第一列表示不同训练集数量N对模型参数估计的影响。在所有实验中，M＝2000大小的测试集保持不变，以便进行比较。
表1 FitzHugh-Nagumo模型参数估计结果
表1的结果表明，测试集和训练集都不含/含噪声时，随着训练集样本数N的增加，预测精度逐渐提高。仅测试集含噪声时预测精度反而随着训练集样本数N的增加而降低。测试集和训练集都不含噪声时预测精度最好，当训练集N＝8000时，Median-APE仅为1.30E-2；当仅测试集有噪声时，预测精度都较差，且当N＝8000时，Median-APE达到了2.25E-1；当训练集和测试集都含噪声时，预测精度较好，当N＝8000时，Median-APE为6.45E-2。此外，我们的训练集样本数N较前人工作的105至少降了一个数量级，大大减少了神经网络训练时间。
步骤五：对乌贼巨型轴突中动作电位进行建模。
将神经网络训练所得的FitzHugh-Nagumo模型参数代入到FitzHugh-Nagumo模型中，得到乌贼巨型轴突中动作电位动态模型。由于测试集样本数为M＝2000，故取平均值，得到θ＝[0.404391454119409,0.4001243252087388]而真值为θ＝[0.4,0.4]，可见效果很好。因此可以建立如下的乌贼巨型轴突中动作电位模型：
上述模型可以模拟乌贼巨型轴突的钠通道失活和钾通道失活的缓慢“恢复”现象，并进行乌贼巨型轴突的放电节律研究。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也涉及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (4)
1.一种针对乌贼巨型轴突中动作电位的建模方法，其特征在于，包括以下步骤：
S1：根据FitzHugh-Nagumo模型参数的弱先验知识生成FitzHugh-Nagumo模型参数，再利用生成的模型参数并结合FitzHugh-Nagumo模型生成不含噪声的膜电位数据，在不含噪声的膜电位数据上添加一阶自回归噪声模拟生成含有噪声的膜电位测量数据，将FitzHugh-Nagumo模型参数和对应的含噪声的膜电位测量数据构建成数据集；其中，FitzHugh-Nagumo模型表示为：
膜电位u＝u(t)以及恢复变量v＝v(t)是FitzHugh-Nagumo ODE的未知量。γ是一个恒定值，ζ表示总膜电流，θ0和θ1为模型参数。所述模型参数的弱先验知识具体为：模型参数的取值区间大于[0,1]。
S2：建立由卷积层、池化层和全连接层构成的用于FitzHugh-Nagumo模型参数估计的神经网络；其中，所述神经网络的输入为含噪声的膜电位测量值，输出为FitzHugh-Nagumo模型参数估计值。
S3：利用步骤S1构建的数据集对神经网络进行训练，同时使用模拟退火法对所建立的神经网络超参数进行整定；
S4：将实际测量的膜电位数据输入至整定好超参数的神经网络进行FitzHugh-Nagumo模型参数估计。
S5：利用估计所得的FitzHugh-Nagumo模型参数对乌贼巨型轴突中动作电位进行建模。
2.如权利要求1所述一种针对乌贼巨型轴突中动作电位的建模方法，其特征在于：所述步骤S1具体包括如下子步骤：
S1.1：假设FitzHugh-Nagumo模型参数θ0,θ1是独立同分布的正态分布：
θ0～N(0.4，0.3)，θ1～N(0.4，0.4)
且θ0,θ1的区间范围：
θ0∈[-0.2,1.0]，θ1∈[-0.4,1.2]
通过从先验分布中采样参数θ，求解FitzHugh-Nagumo ODE并在等步长存储膜电位uθ(ti)，i＝1,...,Nt。
S1.2：在不含噪声的膜电位数据上添加一阶自回归噪声模拟生成含有噪声的膜电位测量数据d(ti)，表示为：
d(ti):＝uθ(ti)+η(ti)
其中，d(ti)为模拟的含有噪声的ti时刻的膜电位测量数据，η(ti)为一阶自回归有色噪声。η(ti)大小为原始uθ(ti)的5～10％左右。
S1.3：最后将采样得到的参数θ和对应的含噪声的膜电位测量数据构成数据集。
3.如权利要求1所述针对乌贼巨型轴突中动作电位的建模方法，其特征在于：所述步骤S3中，使用模拟退火法整定的神经网络超参数包括卷积层滤波器数量(filters)、卷积核大小(kernel_size)、卷积步长(convolution_strides)、池化层类型(pool_type)、池化层滤波器大小(pool_strides)、池化步长(pool_strides)、全连接层节点数(units)、激活函数(activation)、学习率(learning_rate)、时期(epoch)、批大小(batch_size)、损失函数(loss_function)、卷积层层数以及全连接层层数。
4.如权利要求1所述一种针对乌贼巨型轴突中动作电位的建模方法，其特征在于：所述步骤S3中，采用模拟退火法对所建立的神经网络超参数进行整定时，将神经网络输出值与真实值的最小化均方误差作为内能，根据Metropolis准则以一定的概率接受一个比当前解要差的解，表示为：
其中，p为概率，E为温度T时的内能，ΔE为两组超参数对应的E的改变量，k为Boltzmann常数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110623080.6A CN113361688A (zh) | 2021-06-04 | 2021-06-04 | 一种针对乌贼巨型轴突中动作电位的建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110623080.6A CN113361688A (zh) | 2021-06-04 | 2021-06-04 | 一种针对乌贼巨型轴突中动作电位的建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113361688A true CN113361688A (zh) | 2021-09-07 |
Family
ID=77532023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110623080.6A Pending CN113361688A (zh) | 2021-06-04 | 2021-06-04 | 一种针对乌贼巨型轴突中动作电位的建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113361688A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709569A (zh) * | 2015-11-12 | 2017-05-24 | 江南大学 | 一种FitzHugh-Nagumo神经元系统参数估计方法 |
| CN109978159A (zh) * | 2019-03-19 | 2019-07-05 | 常州大学 | 一种简易的Fitzhugh-Nagumo神经元电路 |
| CN110378383A (zh) * | 2019-06-19 | 2019-10-25 | 江苏大学 | 一种基于Keras框架和深度神经网络的图片分类方法 |
-
2021
- 2021-06-04 CN CN202110623080.6A patent/CN113361688A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106709569A (zh) * | 2015-11-12 | 2017-05-24 | 江南大学 | 一种FitzHugh-Nagumo神经元系统参数估计方法 |
| CN109978159A (zh) * | 2019-03-19 | 2019-07-05 | 常州大学 | 一种简易的Fitzhugh-Nagumo神经元电路 |
| CN110378383A (zh) * | 2019-06-19 | 2019-10-25 | 江苏大学 | 一种基于Keras框架和深度神经网络的图片分类方法 |
Non-Patent Citations (1)
| Title |
|---|
| 彭建华 等: "Fitz Hugh-Nagumo神经元网络的联想记忆与分割", 《计算物理》, 25 July 2005 (2005-07-25), pages 337 - 343 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Kernel least mean square with adaptive kernel size | |
| Alain et al. | Variance reduction in sgd by distributed importance sampling | |
| Ma et al. | Robust kernel adaptive filters based on mean p-power error for noisy chaotic time series prediction | |
| Wang et al. | Quantized kernel maximum correntropy and its mean square convergence analysis | |
| JP2020038704A (ja) | データ識別器訓練方法、データ識別器訓練装置、プログラム及び訓練方法 | |
| CN112445131A (zh) | 一种线性系统自适应最优跟踪控制方法 | |
| Wei et al. | An adaptive wavelet neural network for spatio-temporal system identification | |
| Krishnamoorthy et al. | Diffusion models for black-box optimization | |
| Patil et al. | Variational quantum linear solver with a dynamic ansatz | |
| CN115860100A (zh) | 一种神经网络模型训练方法、装置及计算设备 | |
| Regazzoni et al. | A physics-informed multi-fidelity approach for the estimation of differential equations parameters in low-data or large-noise regimes | |
| Wang et al. | Adaptive echo state network with a recursive inverse-free weight update algorithm | |
| Heimel et al. | The MadNIS Reloaded | |
| CN113361688A (zh) | 一种针对乌贼巨型轴突中动作电位的建模方法 | |
| Gandy et al. | QuickMMCTest: quick multiple Monte Carlo testing | |
| Payne et al. | Bayesian big data classification: A review with complements | |
| CN115081323A (zh) | 求解多目标约束优化问题的方法及其存储介质 | |
| Serpen | Hopfield network as static optimizer: Learning the weights and eliminating the guesswork | |
| KR20190129422A (ko) | 뉴럴 네트워크를 이용한 변분 추론 방법 및 장치 | |
| Vetter et al. | Sourcerer: Sample-based maximum entropy source distribution estimation | |
| Gong | A novel learning algorithm of back-propagation neural network | |
| Zhao et al. | A policy optimization algorithm based on sample adaptive reuse and dual-clipping for robotic action control | |
| CN111416595A (zh) | 一种基于多核融合的大数据滤波方法 | |
| Blekas et al. | Artificial neural networks with an infinite number of nodes | |
| Thawakar et al. | Training optimization of feedforward neural network for binary classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |