CN109272111A - 一种基于化学反应网络的神经网络元件实现方法 - Google Patents

一种基于化学反应网络的神经网络元件实现方法 Download PDF

Info

Publication number
CN109272111A
CN109272111A CN201810927385.4A CN201810927385A CN109272111A CN 109272111 A CN109272111 A CN 109272111A CN 201810927385 A CN201810927385 A CN 201810927385A CN 109272111 A CN109272111 A CN 109272111A
Authority
CN
China
Prior art keywords
reaction
chemical reaction
neural network
neuron
implementation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810927385.4A
Other languages
English (en)
Inventor
张川
方崇舟
尤肖虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201810927385.4A priority Critical patent/CN109272111A/zh
Publication of CN109272111A publication Critical patent/CN109272111A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Physical Or Chemical Processes And Apparatus (AREA)

Abstract

本发明公开了一种基于化学反应网络的神经网络元件实现方法，包括如下步骤：(1)数值计算的实现；对于加法、减法和乘法计算，分别构造相应模型进行计算；(2)神经元的实现；利用步骤(1)中的计算模型实现神经元的相关计算。本发明构造了一个功能由化学反应网络实现的神经元，经仿真测试，该神经元在训练过程中能输出正确结果，同时相应地对输入端的权值进行正确调整。

Description

一种基于化学反应网络的神经网络元件实现方法
技术领域
本发明涉及化学反应网络计算技术领域，尤其是一种基于化学反应网络的神经网络元件实现方法。
背景技术
由于摩尔定律不断逼近其物理极限，人们不断寻求传统计算在其他的计算领域的实现，其中包括分子计算。化学反应网络是由一系列形式化的反应(如A+B→C)组成的集合，结合化学反应动力学，可以在功能层面对化学反应网络进行设计。若将这一系列反应映射到具体存在的物质的反应(如DNA的链置换反应)，则可以生成具体存在的具有所需功能的反应体系。
而目前神经网络技术正快速发展，但当前研究主要集中于其算法及传统的硬件实现。之前关于分子计算与神经网络结合的研究包括加州理工大学钱璐璐教授的工作等，但少有从神经网络的具有可级联性的基本单元的实现着手的工作。本发明提出了一个神经元的化学反应网络实现方式，主要侧重于化学反应网络的设计。
发明内容
本发明所要解决的技术问题在于，提供一种基于化学反应网络的神经网络元件实现方法，能够实现一个具有将输入进行加权和、将该结果代入激活函数进行非线性化、根据输出结果与正确答案的差值调整权值功能的神经元。
为解决上述技术问题，本发明提供一种基于化学反应网络的神经网络元件实现方法，包括如下步骤：
(1)数值计算的实现；对于加法、减法和乘法计算，分别构造相应模型进行计算；
(2)神经元的实现；利用步骤(1)中的计算模型实现神经元的相关计算。
优选的，步骤(1)中，对于加法，基于多种反应物同时进行反应生成同一产物，该产物最终浓度等于反应物初始浓度之和的事实，可以构造一组反应以进行加法计算。
优选的，步骤(1)中，对于减法，考虑当两种反应物进行反应且相互消耗，若其中有一方过量，当反应体系稳定后，剩余的反应物浓度必为两反应物初始浓度之差，且可以根据剩余的反应物的种类判断减法计算结果的正负。
优选的，步骤(1)中，对于乘法计算，可以通过构造一个反应使体系中一辅助反应物浓度以指数规律减小，并将此辅助反应物与代表需进行计算的量的反应物同时加入一个反应物浓度不变的自催化反应产生代表结果的产物，最终产物的浓度趋于各反应物初始浓度之积。
优选的，步骤(2)中，利用步骤(1)中的计算模型实现神经元的相关计算具体为：实现一个具有对输入进行加权和，具有激活函数及利用backpropagation算法进行加权权重调整的神经元；
(21)加权和：通过前述加法及乘法操作可以实现加权和操作；
(22)激活函数：将激活函数利用泰勒定理展开为忽略高阶无穷小项即得激活函数的近似多项式，该多项式仍可以利用前述加法及乘法操作实现；
(23)backpropagation算法实现：该算法将权值wi进调整，由于激活函数已知，则可根据前述计算模型得到权值调整的幅度。
本发明的有益效果为：本发明构造了一个功能由化学反应网络实现的神经元，经仿真测试，该神经元在训练过程中能输出正确结果，同时相应地对输入端的权值进行正确调整。
附图说明
图1为本发明神经元的功能示意图。
图2为本发明神经元的架构示意图。
图3为本发明的实施例的仿真结果示意图。
具体实施方式
如图1所示，一种基于化学反应网络的神经网络元件实现方法，包括如下步骤：
(1)数值计算的实现；对于加法、减法和乘法计算，分别构造相应模型进行计算；
(2)神经元的实现；利用步骤(1)中的计算模型实现神经元的相关计算。
1、计算模型的实现
(1)加法：设反应体系中有反应物A1，A2，A3...且初始浓度分别为A1(0)，A2(0)，A3(0)...
若有反应当体系稳定时，所有反应物A1，A2，A3...均全部转化为物质O，从而物质O的浓度为由此加法操作得以实现。
(2)减法：当反应体系中有物质A、B，且则当反应结束，若A、B中有一物质过量则剩余物质的浓度为两反应物初始浓度之差。根据剩余物质的种类，还可定义结果的正负(如剩余A为正，剩余B为负)。
(3)显然，若反应物的浓度随时间的变化率为v(t)，则其最终浓度为(若此积分收敛)通过构造v(t)可以使最终浓度为所需计算的值。
若有反应 设C初始浓度为1，则根据反应动力学，(式中[C]表示C的瞬时浓度，之后将沿用这一记号)，从而由于第一个反应不改变A、B、C的浓度，从而
则D的最终浓度为从而实现了A、B初始浓度相乘的操作。
2、神经元的具体实现
此处以一个两输入神经元为例，该神经元具有激活函数为简化设计，假设反应速率常数只取kf，km，ks三个值且满足kf＞＞km＞＞ks。由于对于负数权、负数输入的操作是对称的，此处也只考虑输入、权为正的情况。
(1)对输入进行加权求和的实现
假设输入为input1，input2的初始浓度，权重为w1，w2的浓度，加权和的操作用以
根据此前讨论，最终x的浓度为
(2)激活函数的计算
将f(x)进行泰勒展开，得到忽略高阶无穷小项后得到f(x)的近似多项式。该多项式的计算利用以下反应实现：
其中，设置p初始浓度为p代表多项式中具有正系数的项(x0，x1，x3)的和，q代表具有负系数的项(x2)。显然，由于f(x)＞0，在多项式的值≈f(x)的条件下应有p＞q。为计算f(x)还需利用反应计算p-q的值。因后续反应的需要，此处添加反应其中y为输出的值。
(3)权值的调整
假设训练时设定的正确答案为d。
定义误差函数根据backpropagation算法，权值wi将作如下调整：
根据链式法则以上计算将通过如下反应实现。
计算[d]-[y]：
计算1-[y]：设物质π初始浓度为1
计算当
当
根据计算得到的修改wi：
同时考虑到在反应开始时(3)中除y0外其他物质均已存在，且该反应为快反应，故该反应可能产生多余的w1n，w2n。为此，我们考虑增加反应
其中γ1、γ2可视为阈值，当且仅当w1n，w2n超过由γ1、γ2的初始浓度设置的阈值时权值会进行调整。
选取正确答案[d]＝1，阈值[γ1]＝[γ2]＝0.05，输入[input1]＝1，[input2]＝2，初始权值[w1]＝[w2]＝0.3，仿真结果如图3所示。可以看到，输出计算结果是正确的，同时权值的调整趋势也是正确的。

Claims (5)

1.一种基于化学反应网络的神经网络元件实现方法，其特征在于，包括如下步骤：
(1)数值计算的实现；对于加法、减法和乘法计算，分别构造相应模型进行计算；
(2)神经元的实现；利用步骤(1)中的计算模型实现神经元的相关计算。
2.如权利要求1所述的基于化学反应网络的神经网络元件实现方法，其特征在于，步骤(1)中，对于加法，基于多种反应物同时进行反应生成同一产物，该产物最终浓度等于反应物初始浓度之和的事实，可以构造一组反应以进行加法计算。
3.如权利要求1所述的基于化学反应网络的神经网络元件实现方法，其特征在于，步骤(1)中，对于减法，考虑当两种反应物进行反应且相互消耗，若其中有一方过量，当反应体系稳定后，剩余的反应物浓度必为两反应物初始浓度之差，且可以根据剩余的反应物的种类判断减法计算结果的正负。
4.如权利要求1所述的基于化学反应网络的神经网络元件实现方法，其特征在于，步骤(1)中，对于乘法计算，可以通过构造一个反应使体系中一辅助反应物浓度以指数规律减小，并将此辅助反应物与代表需进行计算的量的反应物同时加入一个反应物浓度不变的自催化反应产生代表结果的产物，最终产物的浓度趋于各反应物初始浓度之积。
5.如权利要求1所述的基于化学反应网络的神经网络元件实现方法，其特征在于，步骤(2)中，利用步骤(1)中的计算模型实现神经元的相关计算具体为：实现一个具有对输入进行加权和，具有激活函数及利用backpropagation算法进行加权权重调整的神经元；
(21)加权和：通过前述加法及乘法操作可以实现加权和操作；
(22)激活函数：将激活函数利用泰勒定理展开为忽略高阶无穷小项即得激活函数的近似多项式，该多项式仍可以利用前述加法及乘法操作实现；
(23)backpropagation算法实现：该算法将权值wi进调整，由于激活函数已知，则可根据前述计算模型得到权值调整的幅度。
CN201810927385.4A 2018-08-15 2018-08-15 一种基于化学反应网络的神经网络元件实现方法 Pending CN109272111A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810927385.4A CN109272111A (zh) 2018-08-15 2018-08-15 一种基于化学反应网络的神经网络元件实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810927385.4A CN109272111A (zh) 2018-08-15 2018-08-15 一种基于化学反应网络的神经网络元件实现方法

Publications (1)

Publication Number Publication Date
CN109272111A true CN109272111A (zh) 2019-01-25

Family

ID=65153485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810927385.4A Pending CN109272111A (zh) 2018-08-15 2018-08-15 一种基于化学反应网络的神经网络元件实现方法

Country Status (1)

Country Link
CN (1) CN109272111A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593159A (zh) * 2012-08-14 2014-02-19 重庆重邮信科通信技术有限公司 一种高效率高精度除法实现方法及装置
CN107067077A (zh) * 2017-04-18 2017-08-18 武汉大学 一种卷积神经网络的加权算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593159A (zh) * 2012-08-14 2014-02-19 重庆重邮信科通信技术有限公司 一种高效率高精度除法实现方法及装置
CN107067077A (zh) * 2017-04-18 2017-08-18 武汉大学 一种卷积神经网络的加权算法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112991358A (zh) * 2020-09-30 2021-06-18 北京字节跳动网络技术有限公司 风格图像生成方法、模型训练方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
Mohammadi et al. A new hybrid evolutionary based RBF networks method for forecasting time series: a case study of forecasting emergency supply demand time series
Gan et al. A hybrid algorithm to optimize RBF network architecture and parameters for nonlinear time series prediction
Stinis et al. Enforcing constraints for interpolation and extrapolation in generative adversarial networks
CN109709802B (zh) 基于迭代学习控制的有源电子梯形电路的控制方法
CN104865979A (zh) 一种污水处理过程自适应广义预测控制方法及系统
Li et al. An FPGA-based silicon neuronal network with selectable excitability silicon neurons
Igiri et al. Effect of learning rate on artificial neural network in machine learning
Lotfi et al. Constraint-guided deep neural network for solving optimal power flow
CN109408896B (zh) 一种污水厌氧处理产气量多元智能实时监控方法
CN109272111A (zh) 一种基于化学反应网络的神经网络元件实现方法
Yüzgeç Performance comparison of differential evolution techniques on optimization of feeding profile for an industrial scale baker’s yeast fermentation process
Sun et al. A multimode structured prediction model based on dynamic attribution graph attention network for complex industrial processes
Balasubramaniam et al. Optimal control for nonlinear singular systems with quadratic performance using neural networks
CN106371321A (zh) 一种焦化炉炉膛压力系统模糊网络优化pid控制方法
Molani et al. A new approach to software project cost estimation using a hybrid model of radial basis function neural network and genetic algorithm
CN115453884A (zh) 一种基于强化学习的多时间尺度系统最优跟踪控制方法
Xiong et al. Training pi-sigma network by online gradient algorithm with penalty for small weight update
CN112684707B (zh) 基于干扰观测器的苯乙烯本体聚合抗干扰分布形状控制方法
CN108873705A (zh) 一种基于非线性pid的hh神经元同步控制方法
Berrones et al. Parameter inference of general nonlinear dynamical models of gene regulatory networks from small and noisy time series
CN106444389A (zh) 一种废塑料裂解温度系统的模糊rbf网络优化pi控制方法
Sarode et al. Embedded multiple shooting methodology in a genetic algorithm framework for parameter estimation and state identification of complex systems
Chaer et al. Teaching a Robot the optimal operation of an Electrical Energy System with high integration of renewable energies
Zhang et al. A clustering and SVM regression learning-based spatiotemporal fuzzy logic controller with interpretable structure for spatially distributed systems
Leite et al. Parameter estimation of dynamic fuzzy models from uncertain data streams

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125

RJ01 Rejection of invention patent application after publication