CN115271027A - 新型多维神经网络拓扑结构构建系统 - Google Patents

新型多维神经网络拓扑结构构建系统 Download PDF

Info

Publication number
CN115271027A
CN115271027A CN202210359562.XA CN202210359562A CN115271027A CN 115271027 A CN115271027 A CN 115271027A CN 202210359562 A CN202210359562 A CN 202210359562A CN 115271027 A CN115271027 A CN 115271027A
Authority
CN
China
Prior art keywords
neural network
multidimensional
neurons
neuron
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210359562.XA
Other languages
English (en)
Inventor
王建明
王佩明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Chixin Intelligent Control Technology Co ltd
Original Assignee
Shanghai Chixin Intelligent Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Chixin Intelligent Control Technology Co ltd filed Critical Shanghai Chixin Intelligent Control Technology Co ltd
Priority to CN202210359562.XA priority Critical patent/CN115271027A/zh
Publication of CN115271027A publication Critical patent/CN115271027A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)

Abstract

本申请涉及一种新型多维神经网络拓扑结构构建系统，根据多维动态S曲线构建规则，生成的S曲线导数可由分段S曲线表达；根据所述反馈连接方式将所述多维动态S曲线作为所述神经网络拓扑结构中的神经元之间的连接方式配置到神经网络拓扑结构中，构建并获得多维神经网络；通过配置相应神经元的数量可预设神经网络拓扑结构的构建阶数，根据所述多维神经元并基于所述构建阶数，构建获得针对不同系统复杂度的多维神经网络拓扑结构。根据不同的应用场景，建立神经元之间多种可选择的连接方式，从而实现神经元之间高效信息传递和协调，减少神经网络节点规模，显著提高神经网络的“神经元”品质，使之更聪明，动态响应好，适应性更广。

Description

新型多维神经网络拓扑结构构建系统
技术领域
本公开涉及人工智能技术领域，尤其涉及一种基于多维动态S传递函数的多维神经网络构建方法、装置和新型多维神经网络拓扑结构构建系统。
背景技术
神经网络技术提供了直接以数据为驱动解决复杂问题的有效途径。通用的神经网络是由一系列神经元组成的网络拓扑结构形成。由计算机模拟的脑细胞神经元通常是通过传递函数的方式构成，输入的信息通过神经元的传递函数变换后输出，再通过连接各神经元之间的系数融合传递给另一个神经元，从输入层到中间的隐藏层再到输出层构成信息相互紧密连接的神经网络。构成神经网络的神经元之间的系数通过输出端的指导样本进行学习，不断调整神经元之间的系数直到其输出满足给定的误差。因此，神经元可以看作是信息输入/输出的中转站，其传递函数的变化特性直接影响到输入信息的处理效率和整个神经网络的规模和计算精度。
如附图1所示，当前通用神经网络的神经元是由一维传递函数构成，并通过相互连接构成神经网络拓扑结构，这种神经网络拓扑结构中的各神经元之间相互独立，无信息沟通和协调。因此，对于实际应用，往往需要构建大规模神经网络才能有效解决问题。
然而，这种一维传递函数的神经元靠“人海战术”构建大规模神经网络方法，最终可能难以维续。这是因为：
(1)大规模神经网络对于实时在线工业应用构成挑战；
(2)网络规模的不断上升带来输出精度不确定性增加；
(3)计算效率需求驱动硬件要求不断提高，成本上升；
(4)随着计算量呈指数增长，能耗上升。
因此，在不断提高计算机硬件“算力”的同时，迫切需要更“聪敏”的智能神经元和更高效的神经网络拓扑结构，才能有效地把人工智能技术推向广泛的商业应用。
发明内容
有鉴于此，本公开提出了一种基于多维动态S传递函数的多维神经网络拓扑结构、装置和新型多维神经网络拓扑结构构建系统。
根据本公开的一方面，提供了一种基于多维动态S传递函数的多维神经网络构建方法，包括如下步骤：
S100.预设函数构建规则，根据所述函数构建规则可生成由分段S曲线组成的多维动态S曲线各阶导数；其中，所述多维动态S曲线按需要可根据预设控制条件，输出能覆盖变化区域的各种S曲线，实现神经元之间多种不同的相互连接方式；
S200.预设反馈连接方式，根据所述反馈连接方式将多维动态S传递函数不同的连接方式配置到神经网络拓扑结构中，构建获得多维神经元；
S300.根据系统复杂度，预设神经网络拓扑结构的构建阶数，根据所述多维神经元并基于所述构建阶数，配置相应的神经元数目和类型可获得高阶多维神经网络拓扑结构。
在一种可能的实现方式中，可选地，在步骤S100中，所述多维动态S曲线采用曲线生成器产生，其中，由所述多维动态S曲线组成的多维神经元传递函数为：
S＝f(Ⅰ1,Ⅰ2,…,Ⅰ5)，
其中，Ⅰ1～Ⅰ5为曲线生成器中不同应用模块的S曲线输入变量。
在一种可能的实现方式中，可选地，在步骤S100中，所述多维动态S曲线的多维神经元传递函数为：
(a)一维神经元：S＝f(Ⅰ1,a,b,c,d)(a,b,c,d为常数)；或
(b)二维神经元：S＝f(Ⅰ1,Ⅰ2,a,b,c)(a,b,c为常数)；或
(c)三维神经元：S＝f(Ⅰ1,Ⅰ2,Ⅰ3,a,b)(a,b为常数)；或
(d)四维神经元：S＝f(Ⅰ1,Ⅰ2,Ⅰ3,Ⅰ4,a)(a为常数)；或
(e)五维神经元：S＝f(Ⅰ1,Ⅰ2,Ⅰ3,Ⅰ4,Ⅰ5)；
其中，Ⅰ1～Ⅰ5为曲线生成器中不同应用模块的S曲线输入变量。
在一种可能的实现方式中，可选地，在步骤S200中，所述反馈连接方式，包括：
设置在神经元输入端的自反馈网络：在神经元输入端和该神经元本身之间新增第一反馈联结网络，通过所述第一反馈联结网络，将神经元输入端处新增的信号反馈给神经元本身，用于自适应响应传递函数；和/或，
设置在神经元输出端的自反馈网络：在神经元输出端和该神经元本身之间新增第二反馈联结网络，通过所述第二反馈联结网络，将神经元输出端处新增的信号反馈给神经元本身，用于自适应响应传递函数。
在一种可能的实现方式中，可选地，在步骤S200中，所述反馈连接方式，包括：
设置在神经元之间的互反馈网络：在相邻神经元之间新增第三反馈联结网络，通过所述第三反馈联结网络，将新增的共同输入信号分别反馈给互联的两个神经元本身，用于协调各自传递函数的响应，消除不连续性。
在一种可能的实现方式中，可选地，在步骤S300中，在配置相应的神经元数目和类型构建相应阶数的多维神经网络拓扑结构后，还包括：
基于新的多维神经网络拓扑结构，根据预设算法对输入的变量进行计算，并根据神经元反馈信息进行反馈调节，计算并输出结果；其中，所述预设算法为误差反向传播算法。
在一种可能的实现方式中，可选地，在步骤S300中，所述基于新的多维神经网络拓扑结构，根据预设算法对输入的变量进行计算，并根据神经元反馈信息进行反馈调节，计算并输出结果，包括：
S301.初始化：赋予神经网络的神经系数wi(i＝1～12)任意接近0的初值；
S302.计算输出误差：定义误差E＝0.5*(d-o)2，其中o为神经网络的计算输出，d为神经网络的学习样本；
S303.计算误差下降方向：输出误差的减小是通过不断更新神经网络系数实现，其误差下降的方向由输出误差对神经系数的负导数计算：
Figure RE-GDA0003858102950000041
S304.寻找最优下降步长：求解神经系数的变化量，确定下降步长λ；设λmax为最大步长，搜索步长范围为：λ＝0-λmax，求解最优步长使得输出误差E 为最小；
S305.更新神经元输出变量：
Figure RE-GDA0003858102950000042
S306.计算神经元输出：三维神经元的输出为：
S＝f(Ⅰ1,Ⅰ2,Ⅰ3,a,b)(a,b为常数)；
其中，输出变量：Ⅰi＝Σwixi，x为多维神经元的输入，w为相应的神经系数。
在一种可能的实现方式中，可选地，所述多维神经元的输入和输出的无量纲数竖直范围均为0～1。
根据本公开的另一方面，提供了一种实现所述的一种基于多维动态S传递函数的多维神经网络构建方法的装置，包括：
多维动态曲线生成单元：用于预设函数构建规则，根据所述函数构建规则生成导数由分段曲线表达的多维动态S曲线；其中，所述多维动态S曲线用于根据预设控制条件并按需要控制变化，输出能覆盖变化区域的各种S曲线，实现神经元之间多种不同的相互连接方式；
第一构建单元：用于预设反馈连接方式，根据所述反馈连接方式将所述多维动态S曲线作为所述神经网络拓扑结构中的若干神经元之间的连接方式配置到神经网络拓扑结构中，并构建获得多维神经元；
第二构建单元：用于预设神经网络拓扑结构的构建阶数，根据所述多维神经元并基于所述构建阶数，配置相应的神经元数目和类型可获得高阶多维神经网络拓扑结构。
根据本公开的另一方面，还提供了一种新型多维神经网络拓扑结构构建系统，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的一种基于多维动态S传递函数的多维神经网络构建方法。
本申请的技术效果：
本发明通过预设函数构建规则，根据所述函数构建规则生成导数由分段S 曲线表达的多维动态S曲线；根据所述函数构建规则配置相应的神经元数目和类型可获得用于高阶复杂系统的多维神经网络拓扑结构；预设反馈连接方式，根据所述反馈连接方式，将所述多维动态S曲线作为传递函数配置到神经网络拓扑结构中，构成新的多维神经网络拓扑结构；基于新的多维神经网络拓扑结构，根据预设算法对输入的数据进行计算，并根据神经元反馈信息进行数据反馈调节，计算并输出结果。能够扩展传统神经网络拓扑结构，在原有纵向输入/输出传递基础上，实现了神经元之间多种可选择的连接方式，建立了神经元横向信息传递和协调，根据不同的应用场景，可以高效构建复杂系统的神经网络，显著提高神经网络的“神经元”品质，使之更聪明，动态响应好，适应性更广。同时，能显著减少神经网络节点规模，降低硬件“算力”成本和能耗，以最少的神经单元数得到最优解。这些优势对于人工智能技术在工程领域各种应用，特别是在线实时系统识别，基于数据的系统模型，高精度闭环控制和数字孪生等应用场景中尤为重要，具有广泛的商业前景。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出为传统神经网络中神经元之间采用的一维传递函数曲线示意图；
图2示出为本发明本发明基于多维动态S传递函数的多维神经网络构建方法的实施流程示意图；
图3示出为本发明采用的多维动态S曲线示意图；
图4示出为本发明采用多维动态S曲线构成新的神经网络拓扑结构的示意图；
图5示出为本发明具备自反馈的神经元与不具备自反馈的传统神经元之间的联结结构对比示意图；
图6示出为本发明实施例1中不同的神经元自反馈联结方式意图；
图7示出为本发明实施例1中两个神经元之间的互反馈联结方式示意图；
图8示出为本发明实施例1中不同的互反馈联结方式示意图；
图9示出为本发明其中一个三阶系统神经网络拓扑结构的示意图；
图10示出为本发明一个采用自反馈传递函数的神经元计算数据的流程示意图；
图11示出为本发明几种使用三维神经元的传递函数示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和其他方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
实施例1
如图2所示，根据本公开的一方面，提供了一种基于多维动态S传递函数的多维神经网络构建方法，包括如下步骤：
S100.预设函数构建规则，根据所述函数构建规则可生成由分段S曲线组成的多维动态S曲线各阶导数；其中，所述多维动态S曲线按需要可根据预设控制条件，输出能覆盖变化区域的各种S曲线，实现神经元之间多种不同的相互连接方式；
其中，多维动态S曲线采用曲线生成器产生，函数构建规则，由所需要的计算场景和数据计算需求进行设定，根据所需要的维度进行设定，设定完毕，输入曲线生成器产生多维动态S曲线。
本实施例，形成多维S函数的数据矩阵是由一款多维动态S曲线生成器产生，它能根据用户需求自动生成连续平滑的多维空间S超曲面数据，能直接在Windows环境下运行，输出其他软件如Matlab/Simulink等所要求的数据格式文件。该软件生成的多维数据矩阵可为不同应用领域的S应用模块提供支撑，满足用户对于各种多变量应用场景的控制需求。
作为本申请的优选选择方式，采用“软著登字号第2669759号，中华人民共和国国家版权局，2018年5月15日”所申请的S型自然对数曲线生成软件产生多维动态S曲线。对应配置“软著登字号第7817000号，中华人民共和国国家版权局，2021年7月26日”登记的一种多用途的多维空间动态S模块软件。本处不再具体提供和详述。
如图3所示，通过S型自然对数曲线生成软件，产生的多维动态S曲线示意图。
通过S型自然对数曲线生成软件，可以根据需要实时控制调整S曲线的形状，因此，相比单一输入输出关系的函数，它可以输入多维控制信号，并按需要控制变化，使输出能覆盖变化区域的各种S形状，同时根据S函数构建规则，其各阶导数可由分段S曲线构成，满足无限求导后连续，整个控制过程极为平滑。基于多维动态S曲线技术，可以描述自然界绝大多数物理状态量的变化规律，即从量变到质变的连续过程，应用极为广泛。
如图4所示(图中粗虚线为采用多维动态S曲线进行反馈调节的连接网络)，采用多维动态S曲线作为神经元的传递函数后，构成新的神经网络拓扑结构，从而实现了神经元之间的多种沟通方式，扩展了传统神经网络的拓扑架构，不仅神经元本身的传递函数不再是固定不变的函数，而是根据反馈信号动态变化，一方面显著增强了输入信息的处理能力和范围，另一方面不同神经元之间实现了信息沟通协调，从而能显著减少网络规模，能以最少的单元得到最优解。另一方面，由于神经元实现了多种可选择的连接方式，利用S曲线的微分特点可以用最少神经单元数构造由任意高阶微分方程描述的复杂系统。
在一种可能的实现方式中，可选地，在步骤S100中，所述多维动态S曲线采用曲线生成器产生，其中，由所述多维动态S曲线组成的多维神经元传递函数为：
S＝f(Ⅰ1,Ⅰ2,…,Ⅰ5)，
其中，Ⅰ1～Ⅰ5为曲线生成器中不同应用模块的S曲线输入变量。
在一种可能的实现方式中，可选地，在步骤S100中，所述多维动态S曲线的多维神经元传递函数为：
(a)一维神经元：S＝f(Ⅰ1,a,b,c,d)(a,b,c,d为常数)；或
(b)二维神经元：S＝f(Ⅰ1,Ⅰ2,a,b,c)(a,b,c为常数)；或
(c)三维神经元：S＝f(Ⅰ1,Ⅰ2,Ⅰ3,a,b)(a,b为常数)；或
(d)四维神经元：S＝f(Ⅰ1,Ⅰ2,Ⅰ3,Ⅰ4,a)(a为常数)；或
(e)五维神经元：S＝f(Ⅰ1,Ⅰ2,Ⅰ3,Ⅰ4,Ⅰ5)；
其中，Ⅰ1～Ⅰ5为曲线生成器中不同应用模块的S曲线输入变量，通过多维动态S曲线生成器中不同应用领域的S应用模块输入上述变量即可。
本实施例，上述5个S神经元的传递函数可根据系统复杂度作相应选择。随着技术升级，可以采用超过三维的神经元传递函数，不应当对其技术原理和技术思路进行限制。
在本实施例，重点关注的所述多维动态S曲线的多维神经元传递函数为：
三维神经元：S＝f(Ⅰ1,Ⅰ2,Ⅰ3,a,b)(a,b为常数)。
本实施例，如图11所示，采用上述多维神经元传递函数，可以选择产生 (a)-(e)5种神经元的传递函数。本实施例，优选使用三维神经元的传递函数。
除了上述S曲线的输出，多维神经元还可以输出线性变换，反函数，以及对各输入变量的偏导数。根据实际需要，多维输入还可以同时接入模拟数字混合信号。
其中，根据S曲线构建规则导数可由分段S曲线表达。因此，运用多维神经元的不同连接方式和多段S曲线的微分特点，可以构造任意高阶微分方程描述的复杂系统。并且，模拟一个系统需要的基本多维神经单元数(NC) 可以表达为：
NC＝2(n-1)，n为系统复杂度(微分方程阶数)；
由此可见，从二阶系统开始，系统所需要的神经元为偶数，传递函数具有对称特点，其构成的神经网络拓扑结构以上述方程所需要的多维神经元展开。
为了适用于不同领域和不同尺度的变量，在一种可能的实现方式中，可选地，所述多维S神经元的输入和输出均为(0-1)的无量纲数，实际输出可由输出量纲转换器转换成实际量，可广泛应用于各类实际应用场景。
S200.预设反馈连接方式，根据所述反馈连接方式将多维动态S传递函数不同的连接方式配置到神经网络拓扑结构中，构建获得多维神经元；
步骤S100中，通过多维动态S曲线，使得多维神经元扩展了传统输入输出的一维传递函数关系。多维输入能力的拓展决定了神经元有多种不同的自身连接和相互连接的方式，不同的连接方式会影响神经元的响应特性，从而对神经网络的计算精度产生一定的影响，作为计算参数，可为系统提供优化选择。
本实施例，设置了神经元的自反馈和神经元之间的互反馈两种反馈方式，通过新增的多维动态S曲线，对神经元进行输入反馈，对各自信号的传递函数进行协调，建立神经元横向信息传递和协调，根据不同的应用场景，可以高效构建复杂系统的神经网络，显著提高神经网络的“神经元”品质，使之更聪明，动态响应好，适应性更广。
下面将具体进行说明。
在一种可能的实现方式中，可选地，在步骤S200中，所述反馈连接方式，包括：
设置在神经元输入端的自反馈网络：在神经元输入端和该神经元本身之间新增第一反馈联结网络，通过所述第一反馈联结网络，将神经元输入端处新增的信号反馈给神经元本身，用于自适应响应传递函数；和/或，
设置在神经元输出端的自反馈网络：在神经元输出端和该神经元本身之间新增第二反馈联结网络，通过所述第二反馈联结网络，将神经元输出端处新增的信号反馈给神经元本身，用于自适应响应传递函数。
如图5所示，为本发明具备自反馈的神经元，与不具备自反馈的传统神经元之间的联结结构对比示意图，右上和左下示意图分别为输入端和输出端的单端自反馈，右下示意图为同时具备输入和输出两个自反馈的联结示意图。在传统神经元的联结结构上，本申请，在神经元的输入/输出端，新增有能够对神经元本身进行反馈的反馈联结网络，通过该网络，能够通过新增的多维动态S曲线，将函数调节信号反馈给神经元自身，用于自适应响应传递函数。
如图6所示，a-i为本实施例具体实施时，可以采用的几种不同的神经元自反馈联结方式，其中，反馈联结网络与神经元上的具体联结节点和位置，根据用户需求进行选择即可。需要构建任意高价复杂系统的神经网络时，通过组合使用即可在原有纵向输入/输出的基础上，神经元横向之间增加了多种不同的连接方式，显著提高神经网络的“神经元”品质，使之动态响应更好，适应性更广。本实施例，a-i仅仅为本实施中几种优选的自反馈方式，在实际中，可以根据用户对神经元端口的选择，以及通过不同反馈方式和维度的选择，通过分段S曲线构建任意高价复杂系统的神经网络，使得改神经网络拓扑结构可以扩展至更多维度的应用场景。
在一种可能的实现方式中，可选地，在步骤S200中，所述反馈连接方式，包括：
设置在神经元之间的互反馈网络：在相邻神经元之间新增第三反馈联结网络，通过所述第三反馈联结网络，将新增的共同输入信号分别反馈给互联的两个神经元本身，用于协调各自传递函数的响应，消除不连续性。
如图7所示，为本发明具备互反馈的神经元联结结构示意图。为相邻的两个多维神经元不同的连接方式。图中相邻神经元之间的反馈联结网络，同时为相邻的神经元输入新增的共同输入信号，通过神经元的互连，可以协调各自传递函数的响应(互馈)，消除不连续性，这对于通过分段S曲线构建高阶复杂系统神经网络至关重要。
如图8所示，a-f为本实施例具体实施时，可以采用的几种不同的神经元互反馈联结方式，其中，反馈联结网络与神经元上的具体联结节点和位置，根据用户需求进行选择即可。需要构建任意高价复杂系统的神经网络时，通过组合使用即可在原有纵向输入/输出的基础上，神经元横向之间增加了多种不同的连接方式，显著提高神经网络的“神经元”品质，使之动态响应更好，适应性更广。本实施例，a-f仅仅为本实施中几种优选的互反馈方式，在实际中，可以根据用户对神经元端口的选择，以及通过不同反馈方式和维度的选择，通过分段S曲线构建任意高价复杂系统的神经网络，使得神经网络拓扑结构可以更好针对不同的高维度应用场景。
如图9所示，为通过上述自反馈和互反馈的联结结构，形成的一个三阶系统神经网络拓扑结构，它的输入层由4个多维神经元组成，左右的神经元按图6中i的自反馈方式连接，中间的相邻神经元之间按图8中e和a的两种互反馈方式连接。它的输出层由2个多维神经元组成，左右按图6中h的自反馈方式连接，中间神经元之间按图8中b的互反馈方式连接。
采用上述多维神经元和所组成的三维神经网络，可以扩展传统神经网络拓扑结构，在原有纵向输入/输出传递基础上，实现了神经元之间多种可选择的连接方式，建立了神经元横向信息传递和协调，根据不同的应用场景，可以高效构建复杂系统的神经网络，显著提高神经网络的“神经元”品质，使之更聪明，动态响应好，适应性更广。同时，能显著减少神经网络节点规模，降低硬件“算力”成本和能耗，以最少的神经单元数得到最优解。这些优势对于人工智能技术在工程领域各种应用，特别是在线实时系统识别，基于数据的系统模型，高精度闭环控制和数字孪生等应用场景中尤为重要，具有广泛的商业前景。
新的多维神经网络拓扑结构构建完毕，即可对输入所需要进行计算的数值，按照所设定和选择的反馈方式进行计算调整即可，最终输出计算数据。
S300.根据系统复杂度，预设神经网络拓扑结构的构建阶数，根据所述多维神经元并基于所述构建阶数，配置相应的神经元数目和类型可获得高阶多维神经网络拓扑结构。
如图10所示，为一个采用自反馈传递函数的神经元计算数据的流程。在一种可能的实现方式中，可选地，在步骤S300中，所述基于新的多维神经网络拓扑结构，根据预设算法对输入的数据进行计算，并根据神经元反馈信息进行数据反馈调节，计算并输出结果，包括：
S301.初始化：赋予神经网络的神经系数wi(i＝1～12)任意接近0的初值；
S302.计算输出误差：定义误差E＝0.5*(d-o)2，其中o为神经网络的计算输出，d为神经网络的学习样本；
S303.计算误差下降方向：输出误差的减小是通过不断更新神经网络系数实现，其误差下降的方向由输出误差对神经系数的负导数计算：
Figure RE-GDA0003858102950000131
S304.寻找最优下降步长：求解神经系数的变化量，确定下降步长λ；设λmax为最大步长，搜索步长范围为：λ＝0-λmax，求解最优步长使得输出误差E 为最小；
S305.更新神经元输出变量：
Figure RE-GDA0003858102950000132
S306.计算神经元输出：三维神经元的输出为：
S＝f(Ⅰ1,Ⅰ2,Ⅰ3,a,b)(a,b为常数)；
其中，输出变量：Ⅰi＝Σwixi，x为多维神经元的输入，w为相应的神经系数。
在一种可能的实现方式中，可选地，在步骤S300中，在构建阶数获得新的多维神经网络拓扑结构后，还包括：
基于新的多维神经网络拓扑结构，根据预设算法对输入的数据进行计算，并根据神经元反馈信息进行数据反馈调节，计算并输出结果；其中，所述预设算法为误差反向传播算法。
需要说明的是，尽管以上述反馈联结网络和三维神经元作为示例介绍了本发明的原理和思路的具体实施，但本领域技术人员能够理解，本公开应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定神经元维度和反馈联结方式，只要根据本技术思路达到多维神经网络数据处理即可。
这样，通过预设函数构建规则，根据所述函数构建规则生成多维动态S 曲线；预设反馈连接方式，根据所述反馈连接方式，将所述多维动态S曲线作为传递函数配置到神经网络拓扑结构中，构成新的多维神经网络拓扑结构；基于新的多维神经网络拓扑结构，根据预设算法对输入的数据进行计算，并根据神经元反馈信息进行数据反馈调节，计算并输出结果。能够扩展传统神经网络拓扑结构，在原有纵向输入/输出传递基础上，实现了神经元之间多种可选择的连接方式，建立了神经元横向信息传递和协调，根据不同的应用场景，可以高效构建复杂系统的神经网络，显著提高神经网络的“神经元”品质，使之更聪明，动态响应好，适应性更广。同时，能显著减少神经网络节点规模，降低硬件“算力”成本和能耗，以最少的神经单元数得到最优解。这些优势对于人工智能技术在工程领域各种应用，特别是在线实时系统识别，基于数据的系统模型，高精度闭环控制和数字孪生等应用场景中尤为重要，具有广泛的商业前景。
实施例2
基于实施例1的实施原理，本实施，对应提供实现所述的基于多维动态S 传递函数的多维神经网络构建方法的装置，包括：
多维动态S曲线生成单元：用于预设函数构建规则，根据所述函数构建规则生成由分段S曲线表达的多维动态S曲线导数；其中，所述多维动态S 曲线用于根据预设控制条件并按需要控制变化，输出能覆盖变化区域的各种S 曲线，实现神经元之间多种不同的相互连接方式；
第一构建单元：用于预设反馈连接方式，根据所述反馈连接方式将所述多维动态S曲线作为所述神经网络拓扑结构中的若干神经元之间的连接方式配置到神经网络拓扑结构中，并构建获得多维神经元；
第二构建单元：用于预设神经网络拓扑结构的构建阶数，根据所述多维神经元并基于所述构建阶数，配置相应的神经元数目和类型可获得高阶多维神经网络拓扑结构。
多维动态曲线生成单元，采用“软著登字号第2669759号，中华人民共和国国家版权局，2018年5月15日”所申请的S型自然对数曲线生成软件。对应配置“软著登字号第7817000号，中华人民共和国国家版权局，2021年7月26日”登记的一种多用途的多维空间动态S模块软件。本处不再具体提供和详述。
形成多维S函数的数据矩阵是由一款多维动态S曲线生成器产生，它能根据用户需求自动生成连续平滑的多维空间S超曲面数据，能直接在Windows 环境下运行，输出其他软件如Matlab/Simulink等所要求的数据格式文件。该软件生成的多维数据矩阵可为不同应用领域的S应用模块提供支撑，满足用户对于各种多变量应用场景的控制需求。
通过S型自然对数曲线生成软件，可以根据需要实时控制调整S曲线的形状，因此，相比单一输入输出关系的函数，它可以输入多维控制信号，并按需要控制变化，使输出能覆盖变化区域的各种S形状，同时其各阶导数可由分段S曲线构成，满足无限求导后连续，整个控制过程极为平滑。基于多维动态S曲线技术，可以描述自然界绝大多数物理状态量的变化规律，即从量变到质变的连续过程，应用极为广泛。
第一和第二构建单元，对应在线构建即可。各个模块/单元/硬件的功能和实施原理，具体参见上述实施例的描述，本处不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
实施例3
更进一步地，根据本公开的另一方面，还提供了一种新型多维神经网络拓扑结构构建系统。
根据本公开的另一方面，还提供了一种新型多维神经网络拓扑结构构建系统，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现所述的一种基于多维动态传递函数的多维神经网络构建方法。
本公开实施例新型多维神经网络拓扑结构构建系统包括处理器以及用于存储处理器可执行指令的存储器。其中，处理器被配置为执行可执行指令时实现前面任一所述的一种基于多维动态传递函数的多维神经网络构建方法。
此处，应当指出的是，处理器的个数可以为一个或多个。同时，在本公开实施例的新型多维神经网络拓扑结构构建系统中，还可以包括输入装置和输出装置。其中，处理器、存储器、输入装置和输出装置之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的一种基于多维动态传递函数的多维神经网络构建方法所对应的程序或模块。处理器通过运行存储在存储器中的软件程序或模块，从而执行新型多维神经网络拓扑结构构建系统的各种功能应用及数据处理。
输入装置可用于接收输入的数字或信号。其中，信号可以为产生与设备/ 终端/服务器的用户设置以及功能控制有关的键信号。输出装置可以包括显示屏等显示设备。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于多维动态S传递函数的多维神经网络构建方法，其特征在于，包括如下步骤：
S100.预设函数构建规则，根据所述函数构建规则可生成由分段S曲线组成的多维动态S曲线各阶导数；其中，所述多维动态S曲线按需要可根据预设控制条件，输出能覆盖变化区域的各种S曲线，实现神经元之间多种不同的相互连接方式；
所述多维动态S曲线采用曲线生成器产生，其中，由所述多维动态S曲线组成的多维神经元传递函数为：
S＝f(Ⅰ1,Ⅰ2,…,Ⅰ5)，
其中，Ⅰ1～Ⅰ5为曲线生成器中不同应用模块的S曲线输入变量。
2.根据权利要求1所述的一种基于多维动态S传递函数的多维神经网络构建方法，其特征在于，在步骤S100中，所述多维动态S曲线的多维神经元传递函数为：
(a)一维神经元：S＝f(Ⅰ1,a,b,c,d)(a,b,c,d为常数)；或
(b)二维神经元：S＝f(Ⅰ1,Ⅰ2,a,b,c)(a,b,c为常数)；或
(c)三维神经元：S＝f(Ⅰ1,Ⅰ2,Ⅰ3,a,b)(a,b为常数)；或
(d)四维神经元：S＝f(Ⅰ1,Ⅰ2,Ⅰ3,Ⅰ4,a)(a为常数)；或
(e)五维神经元：S＝f(Ⅰ1,Ⅰ2,Ⅰ3,Ⅰ4,Ⅰ5)；
其中，Ⅰ1～Ⅰ5为曲线生成器中不同应用模块的S曲线输入变量。
3.根据权利要求1所述的一种基于多维动态S传递函数的多维神经网络构建方法，其特征在于，还包括如下步骤：
S200.预设反馈连接方式，根据所述反馈连接方式将多维动态S传递函数的不同连接方式配置到神经网络拓扑结构中，构建获得多维神经元。
4.根据权利要求3所述的一种基于多维动态S传递函数的多维神经网络构建方法，其特征在于，在步骤S200中，所述反馈连接方式，包括：
设置在神经元输入端的自反馈网络：在神经元输入端和该神经元本身之间新增第一反馈联结网络，通过所述第一反馈联结网络，将神经元输入端处新增的信号反馈给神经元本身，用于自适应响应传递函数；和/或，
设置在神经元输出端的自反馈网络：在神经元输出端和该神经元本身之间新增第二反馈联结网络，通过所述第二反馈联结网络，将神经元输出端处新增的信号反馈给神经元本身，用于自适应响应传递函数。
5.根据权利要求4所述的一种基于多维动态S传递函数的多维神经网络构建方法，其特征在于，在步骤S200中，所述反馈连接方式，还包括：
设置在神经元之间的互反馈网络：在相邻神经元之间新增第三反馈联结网络，通过所述第三反馈联结网络，将新增的共同输入信号分别反馈给互联的两个神经元本身，用于协调各自传递函数的响应，消除不连续性。
6.根据权利要求3所述的一种基于多维动态S传递函数的多维神经网络构建方法，其特征在于，还包括如下步骤：
S300.根据系统复杂度，预设神经网络拓扑结构的构建阶数，根据所述多维神经元并基于所述构建阶数，配置相应的神经元数目和类型可获得高阶多维神经网络拓扑结构；
在配置相应的神经元数目和类型构建相应阶数的多维神经网络拓扑结构后，还包括：
基于新的多维神经网络拓扑结构，根据预设算法对输入的变量进行计算，并根据神经元反馈信息进行反馈调节，计算并输出结果；其中，所述预设算法为误差反向传播算法。
7.根据权利要求6所述的一种基于多维动态S传递函数的多维神经网络构建方法，其特征在于，所述的多维神经网络拓扑结构，根据预设算法对输入的变量进行计算，并根据神经元反馈信息进行反馈调节，计算并输出结果，包括：
S301.初始化：赋予神经网络的神经系数wi(i＝1～12)任意接近0的初值；
S302.计算输出误差：定义误差E＝0.5*(d-o)2，其中o为神经网络的计算输出，d为神经网络的学习样本；
S303.计算误差下降方向：输出误差的减小是通过不断更新神经网络系数实现，其误差下降的方向由输出误差对神经系数的负导数计算：
Figure RE-FDA0003858102940000031
S304.寻找最优下降步长：求解神经系数的变化量，确定下降步长λ；设λmax为最大步长，搜索步长范围为：λ＝0-λmax，求解最优步长使得输出误差E为最小；
S305.更新神经元输出变量：
Figure RE-FDA0003858102940000032
S306.计算神经元输出：三维神经元的输出为：
S＝f(Ⅰ1,Ⅰ2,Ⅰ3,a,b)(a,b为常数)；
其中，输出变量：Ⅰi＝Σwixi，x为多维输入变量，w为神经网络神经元之间的连接系数。
8.根据权利要求2所述的一种基于多维动态S传递函数的多维神经网络构建方法，其特征在于，所述多维神经元的输入和输出的无量纲数范围均为0～1。
9.一种实现权利要求1-8任一项所述的一种基于多维动态S传递函数的多维神经网络构建方法的装置，其特征在于，包括：
多维动态S曲线生成单元：用于预设函数构建规则，根据所述函数构建规则生成的多维动态S曲线；其中，所述多维动态S曲线用于根据预设控制条件并按需要控制变化，输出能覆盖变化区域的各种S曲线，实现神经元之间多种不同的相互连接方式；
第一构建单元：用于预设反馈连接方式，根据所述反馈连接方式将所述多维动态S曲线作为所述神经网络拓扑结构中的神经元之间的连接方式配置到神经网络拓扑结构中，并构建获得多维神经元；
第二构建单元：用于预设神经网络拓扑结构的构建阶数，根据所述多维神经元并基于所述构建阶数，配置相应的神经元数目和类型可获得高阶多维神经网络拓扑结构。
10.一种新型多维神经网络拓扑结构构建系统，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至8中任意一项所述的一种基于多维动态S传递函数的多维神经网络构建方法。
CN202210359562.XA 2022-04-07 2022-04-07 新型多维神经网络拓扑结构构建系统 Pending CN115271027A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210359562.XA CN115271027A (zh) 2022-04-07 2022-04-07 新型多维神经网络拓扑结构构建系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210359562.XA CN115271027A (zh) 2022-04-07 2022-04-07 新型多维神经网络拓扑结构构建系统

Publications (1)

Publication Number Publication Date
CN115271027A true CN115271027A (zh) 2022-11-01

Family

ID=83758490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210359562.XA Pending CN115271027A (zh) 2022-04-07 2022-04-07 新型多维神经网络拓扑结构构建系统

Country Status (1)

Country Link
CN (1) CN115271027A (zh)

Similar Documents

Publication Publication Date Title
Matias et al. Learning of a single-hidden layer feedforward neural network using an optimized extreme learning machine
Hu et al. Finite-time synchronization of delayed neural networks with Cohen–Grossberg type based on delayed feedback control
Liu Delayed standard neural network models for control systems
Mukherjee et al. Reduced-dimensional reinforcement learning control using singular perturbation approximations
Song et al. Robust neural network tracking controller using simultaneous perturbation stochastic approximation
Howell et al. Continuous action reinforcement learning automata and their application to adaptive digital filter design
Lu et al. On robust control of uncertain chaotic systems: a sliding-mode synthesis via chaotic optimization
Abrazeh et al. Virtual hardware-in-the-loop FMU co-simulation based digital twins for heating, ventilation, and air-conditioning (HVAC) systems
Zhang et al. Global iterative learning control based on fuzzy systems for nonlinear multi-agent systems with unknown dynamics
Shi et al. Intermittent output tracking control of heterogeneous multi-agent systems over wide-area clustered communication networks
Guo et al. An adaptive multi-agent system with duplex control laws for distributed resource allocation
Abdollahipour et al. Consensus of uncertain linear multi-agent systems with granular fuzzy dynamics
Shynk et al. Convergence properties and stationary points of a perceptron learning algorithm
Sun et al. Optimal tracking control of switched systems applied in grid-connected hybrid generation using reinforcement learning
CN114609909A (zh) 一种切换拓扑下的随机多智体系统控制协议的设计方法
CN115271027A (zh) 新型多维神经网络拓扑结构构建系统
Lin et al. Distributed fuzzy inverse optimal fixed-time control for uncertain multi-agent systems
Yu et al. Bionic swarm control based on second-order communication topology
Yu et al. A data-driven distributed adaptive control approach for nonlinear multi-agent systems
CN113019594B (zh) 基于多智能体tlbo算法的球磨机制粉优化控制方法
CN113359474B (zh) 基于梯度反馈的可扩展分布式多智能体一致性控制方法
CN112925197B (zh) 基于有限时间的多智能体系统二分一致跟踪方法
Ma et al. Linear-extended-state-observer based pinning control of nonlinear multi-robots system
Ma et al. Distributed MPC based on robustly controllable sets for PWA systems
Flentge Locally weighted interpolating growing neural gas

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination