CN108977897B - 基于局部内在可塑性回声状态网络的熔纺工艺控制方法 - Google Patents

基于局部内在可塑性回声状态网络的熔纺工艺控制方法 Download PDF

Info

Publication number
CN108977897B
CN108977897B CN201810580350.8A CN201810580350A CN108977897B CN 108977897 B CN108977897 B CN 108977897B CN 201810580350 A CN201810580350 A CN 201810580350A CN 108977897 B CN108977897 B CN 108977897B
Authority
CN
China
Prior art keywords
generation
learning rate
plasticity
network
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810580350.8A
Other languages
English (en)
Other versions
CN108977897A (zh
Inventor
金耀初
王新杰
郝矿荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Tianwu Intelligent Technology Co ltd
Donghua University
Original Assignee
Zhejiang Tianwu Intelligent Technology Co ltd
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Tianwu Intelligent Technology Co ltd, Donghua University filed Critical Zhejiang Tianwu Intelligent Technology Co ltd
Priority to CN201810580350.8A priority Critical patent/CN108977897B/zh
Publication of CN108977897A publication Critical patent/CN108977897A/zh
Application granted granted Critical
Publication of CN108977897B publication Critical patent/CN108977897B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • D—TEXTILES; PAPER
    • D01—NATURAL OR MAN-MADE THREADS OR FIBRES; SPINNING
    • D01D—MECHANICAL METHODS OR APPARATUS IN THE MANUFACTURE OF ARTIFICIAL FILAMENTS, THREADS, FIBRES, BRISTLES OR RIBBONS
    • D01D5/00—Formation of filaments, threads, or the like
    • D01D5/08—Melt spinning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及一种基于局部内在可塑性回声状态网络的熔纺工艺控制方法，采集工艺生产过程中t+1时刻的聚合物熔融纺丝工艺参数数据作为网络的输入u(t+1)，通过局部内在可塑性回声状态网络输入层实现t+1时刻聚合物熔融纺丝工艺参数数据u(t+1)的输入，并经过局部内在可塑性回声状态网络的储备池状态方程和输出层状态方程计算出下一时刻的预测值，并按该预测值调整聚合物熔融纺丝工艺参数，其中，聚合物为聚酰胺，局部内在可塑性回声状态网络是指储备池内部不同的神经元通过不同的内在可塑性规则进行局部优化的可塑性回声状态网络。本发明方法能够进一步提升生产工艺参数的预测精度，进而使预测结果能够更好地指导聚酰胺纤维纺丝工艺过程，最终提高原丝的产出性能及品质。

Description

基于局部内在可塑性回声状态网络的熔纺工艺控制方法
技术领域
本发明属于人工智能纺丝领域，涉及一种基于局部内在可塑性回声状态网络的熔纺工艺控制方法。
背景技术
聚酰胺纤维(Polyamide，俗称尼龙)具有优良的力学性能、耐热性、耐化学腐蚀性、耐磨损性和自润滑性，在服装、家纺和产业用领域应用广泛，是仅次于聚酯纤维的第二大合成纤维品种。聚酰胺纤维品种繁多，主要品种为聚酰胺6(PA6)纤维和聚酰胺66(PA66)纤维，约占其总量的98％。近年来，我国聚酰胺纤维工业快速发展，从2007年起聚酰胺纤维产量一直稳居世界第一。
目前，熔融纺丝法是聚酰胺纤维生产的常用方法，由于聚酰胺纤维的生产制备过程工艺复杂且环节众多，因而对其生产过程中纺丝工艺参数的预测相对较难。聚酰胺纤维生产过程主要包括聚合、纺丝和后加工三部分，其中原丝的质量是制约聚酰胺纤维性能提高的直接因素，聚酰胺纤维原丝质量易受纺丝温度和纺丝速度等生产工艺参数的影响。此外，在聚酰胺熔体冷却形成原丝的过程中，聚酰胺纤维原丝质量还易受吹风区的温度和速度影响。因此，对这些工艺参数的预测精度要求很高。目前，能够实现的聚酰胺纤维的原丝性能与理论上能够达到的性能有很大的差距，因此，对聚酰胺纤维的生产工艺及其控制系统的研究还有着艰巨的任务。
近年来，基于数据驱动的系统建模在复杂工业过程控制方面得到了越来越广泛的应用，并在实践中取得了比传统方法更加优越的性能。神经网络是目前数据驱动系统建模的常用方法。鉴于纺丝工艺过程的时序性，相较于前向型神经网络，递归神经网络(Recurrent Neural Networks,RNN)在处理时序问题上具有更丰富的动力学记忆特性，然而，传统的RNN算法在实际应用中存在着训练算法过于复杂、计算量大、容易陷入局部最优和收敛速度慢以及网络结构难以确定等问题。基于此，Jaeger于2001年提出一种新型的递归神经网络—回声状态网络(Echo State Networks,ESN)。回声状态网络只需训练输出权值，并且采用求逆的学习算法，克服了传统递归网络的某些固有问题，并逐渐成为预测时间序列的重要方式之一，然而ESN的提出虽然简化了网络的训练过程并克服记忆渐消等问题。然而储备池的不可扩展性直接影响了网络的性能，因而，储备池的优化问题有着一定的研究意义。
在神经科学中，研究者认为记忆主要存储于突触强度之中，而学习是改变突触强度的过程。突触强度的改变由神经系统的突触可塑性机制控制。神经科学领域已经积累了关于突触可塑性的大量生理实验和生物建模研究。
近年来，神经可塑性机制成为系统优化中的新的研究热点。例如专利CN107092959A开发了一种基于脉冲序列相关的可塑性(Spike Timing DependentPlasticity，STDP)的硬件友好型脉冲神经网络模型，该发明完全依赖数字硬件电路平台进行脉冲神经网络的模型设计，并且创新性的将STDP非监督学习算法用于该脉冲神经网络模型的学习训练中，并能够实现特定功能。该硬件平台脉冲神经网络模型具有较高的稳定性，能够在占用较少硬件资源的条件下拥有较快的速度，加上网络结构并行连接的特点，其拓展性也大大提高，对于实现超大规模的脉冲神经网络也提供了新的思路。专利CN102959566A开发了一种用于具有离散级突触和概率性STDP的数字神经处理的方法和系统。该数字神经处理单元具有一个或多个突触和连接至一个或多个突触的突触后神经元电路。其中，一个或多个突触中的一个突触的权重按概率以离散级来改变数值，其概率取决于在源自所述突触后神经元电路以及连接至该突触的突触前神经元电路的一对峰电位之间所经过的时间。专利CN104899640A通过研究分析大脑神经元及突触的工作过程的一些细节特征，以电子电路来模拟和实现这些细节特征，从而能够更合理和更准确地模拟神经元及突触的工作过程，并构造了性能更优的神经模拟网络。其中神经元模拟装置包括：树突输入端、信号处理模块和轴突输出端；信号处理模块包括：膜积分电路、膜放电电路、第一阈值触发电路电路和第一动作电位脉冲电路。
神经科学领域已经积累了多种有关神经可塑性系统优化的生理实验和生物机理的建模工作。神经系统主要包括两大学习机制，即突触可塑性(Synaptic plasticity)和内在可塑化(intrinsic plasticity)。简而言之，神经科学领域中的突触可塑性对应了机器学习领域人工神经网络的权重训练算法。在机器学习领域，连接权重学习方法使人工神经网络具备强大的学习能力来解决各类实际工程应用问题。独立于突触强度变化，最近的神经生理实验结果表明单个神经元同样具有改变自身激活性来匹配突触输入分布的调整能力。这种单个神经元的调整能力被称为神经元内在可塑性。
然而，目前机器学习领域神经内在可塑性的系统优化，仍局限在某种单一内在可塑性规则下的全局优化，通过局部内在可塑性规则系统优化的相关研究仍局限在神经科学领域。
因此，研究一种基于局部内在可塑性回声状态网络的熔纺工艺控制方法具有十分重要的意义。
发明内容
本发明的目的是克服上述现有技术中存在的问题，提供一种基于局部内在可塑性回声状态网络的熔纺工艺控制方法。本发明提出一种基于局部内在可塑性规则的回声状态网络模型，并将其应用于对聚酰胺纤维纺丝过程工艺参数的预测，从而进一步提升了生产工艺参数的预测精度，进而使预测结果能够更好地指导聚酰胺纤维纺丝工艺过程，最终提高原丝的产出性能及品质。
为了达到上述目的，本发明采用的技术方案为：
基于局部内在可塑性回声状态网络的熔纺工艺控制方法，采集工艺生产过程中t+1时刻的聚酰胺熔融纺丝工艺参数数据作为网络的输入u(t+1)，通过局部内在可塑性回声状态网络输入层实现t+1时刻聚酰胺熔融纺丝工艺参数数据u(t+1)的输入，并经过局部内在可塑性回声状态网络的储备池状态方程和输出层状态方程计算出下一时刻的预测值，并按该预测值调整聚酰胺熔融纺丝工艺参数；
所述局部内在可塑性回声状态网络是指储备池内部不同的神经元通过不同的内在可塑性规则进行局部优化的可塑性回声状态网络；
所述不同的内在可塑性规则是指通过不同学习率参数构建的局部内在可塑性规则；其中，通过不同学习率参数构建的局部内在可塑性规则中表示从t时刻到t+1时刻的激活函数斜率的调整项Δai(t+1)和偏移的调整项Δbi(t+1)为：
Figure BDA0001688102750000031
Figure BDA0001688102750000041
式中，ai(t)表示在t时刻储备池内部神经元i的激活函数的斜率，
Figure BDA0001688102750000042
表示在t时刻储备池内部神经元i的输入状态，xi(t)表示在t时刻储备池内部神经元i的输出状态，i取值范围在[1,n]之间，n为储备池神经元的个数，τ表示激活函数指数分布的平均值，σ2表示激活函数指数分布的方差；Δbi(t)为从t-1时刻到t时刻的偏移的调整项，Δbi(1)为初始时刻偏移的调整项，记为0，ηi表示储备池内部神经元i对应的学习率，学习率参数为学习率的集合，记为{η1,η2,...,ηi,...ηn}，学习率参数通过进化算法实现网络的迭代寻优。
作为优选的技术方案：
如上所述的控制方法，所述进化算法为CMA_ES算法，通过CMA_ES算法实现对局部内在可塑性回声状态网络中学习率参数迭代寻优的过程如下：
(1)对CMA_ES算法的策略参数进行初始化，通过初始化的策略参数生成初始学习率参数即为初始种群，通过初始学习率参数构建局部内在可塑性回声状态网络Ⅰ，其中策略参数包括步长δ、协方差矩阵C和学习率参数的均值m，初始步长、初始协方差矩阵和学习率参数的初始均值分别为δ(0)、C(0)和m(0)；
(2)令g＝0，g为种群更新的代数；
(3)采用竞争和选择策略中的(μ,λ)策略在第g代种群的λ个个体中选择出适应度值最小的μ个个体作为第g代的最优子群，λ为第g代种群的大小；适应度值为网络训练阶段采集的聚酰胺纺丝工艺参数与预测值Ⅰ之间的均方误差，预测值Ⅰ为学习率参数Ⅰ输入局部内在可塑性回声状态网络Ⅰ得到的预测值，学习率参数Ⅰ为g-1代最优子群中适应度值最小时所对应的个体，g＝0时，学习率参数Ⅰ为初始学习率参数；
(4)利用第g代最优子群中的个体信息更新得到第g+1代的策略参数，具体如下：
4.1)均值m的更新公式如下所示：
Figure BDA0001688102750000051
式中，m(g+1)为第g+1代学习率参数的均值，wb为第b个最优个体所对应的权重，
Figure BDA0001688102750000052
为第g代最优子群μ个个体中的第b个个体；
4.2)协方差矩阵C的更新公式如下所示：
Figure BDA0001688102750000053
式中，C(g+1)为第g+1代的协方差矩阵，ccov为协方差矩阵的学习率，μcov为权重更新参数，C(g)为第g代的协方差矩阵，m(g)为第g代学习率参数的均值，δ(g)为第g代分布的步长，T为转置运算符号，
Figure BDA0001688102750000054
为第g+1代协方差矩阵的进化路径，
Figure BDA0001688102750000055
按下述所示公式更新：
Figure BDA0001688102750000056
式中，
Figure BDA0001688102750000057
为第g代的协方差矩阵的进化路径，当g＝0时，第0代协方差矩阵的进化路径的取值为0，ap为协方差矩阵进化路径的学习率，ap≤1；
4.3)步长δ的更新公式如下所示：
Figure BDA0001688102750000058
式中，δ(g+1)为第g+1代分布的步长，exp为以自然常数e为底的指数函数，ds为阻尼系数，N(0,I)为一个均值为0、协方差矩阵为I的多维正态分布，I代表单位矩阵，||N(0,I)||为一个均值为0、协方差矩阵为单位矩阵的多维正态分布的欧几里得范式，E||N(0,I)||为欧几里得范式||N(0,I)||的期望，as为共轭进化路径的参数，
Figure BDA0001688102750000059
为第g+1代步长的进化路径，
Figure BDA00016881027500000510
为第g+1代步长的进化路径的欧几里得范式，
Figure BDA00016881027500000511
按下述所示公式更新：
Figure BDA0001688102750000061
式中，
Figure BDA0001688102750000062
为第g代步长的进化路径，当g＝0时，第0代步长的进化路径的取值为0，(C(g))1/2为第g代的协方差矩阵的根式；
(5)利用g+1代策略参数生成第g+1代种群，具体如下：
Figure BDA0001688102750000063
式中，
Figure BDA0001688102750000064
为突变后的第g+1代种群中的第k个个体，k∈[1,λ]，N(0,C(g+1))为一个均值为0、协方差矩阵为C(g+1)的多维正态分布；
(6)判断g+1是否满足条件：g+1大于等于3000，如果是，则进入步骤(7)，反之，令g＝g+1，返回步骤(3)；
(7)采用竞争和选择策略中的(μ,λ)策略选择得到g+1代适应度值最小的个体并将其输出，第g+1代适应度值最小的个体即为迭代寻优后的学习率参数。
如上所述的控制方法，所述聚酰胺纺丝工艺参数为纺丝温度、纺丝速度、吹风温度或吹风速度，单位分别为℃、m/s、℃和m/s。
如上所述的控制方法，所述通过不同学习率参数构建的局部内在可塑性规则为：
ai(t+1)＝ai(t)+Δai(t+1)；
bi(t+1)＝bi(t)+Δbi(t+1)；
式中，ai(t+1)表示在t+1时刻储备池内部神经元i的激活函数的斜率，bi(t+1)表示在t+1时刻储备池内部神经元i的激活函数的偏移，bi(t)表示在t时刻储备池内部神经元i的激活函数的偏移。
如上所述的控制方法，所述储备池状态方程为：
xin(t+1)＝Winu(t+1)+Wresx(t)；
x(t+1)＝sigmoid(ai(t+1)xin(t+1)+bi(t+1))；
式中，xin(t+1)和x(t+1)分别表示在t+1时刻的储备池神经元的输入状态和输出状态，x(t)表示在t时刻的储备池神经元的输出状态，Win和Wres分别为输入层与储备池的连接权值和储备池内部的连接权值，sigmoid为储备池单元的激活函数。
如上所述的控制方法，所述输出层状态方程为：
y(t+1)＝Woutx(t+1)；
式中，y(t+1)为计算出的下一时刻的预测值，Wout为网络输出权重；
所述网络输出权重的计算通过最小二乘法完成，网络输出权重Wout的计算公式如下：
Wout＝(XTX)-1X·Y；
式中，X＝[x(1),x(2),...,x(t+1),...,x(L)]为网络训练阶段记录下的每一时刻的储备池状态量矩阵，x(1),x(2),...,x(t+1),...,x(L)分别为在第1时刻、第2时刻、...第t+1时刻、...第L时刻的储备池神经元的输出状态，L为网络训练阶段训练样本的个数，Y＝[ylabel(1),ylabel(2),...,ylabel(t+1),...,ylabel(L)]为在第1时刻、第2时刻、...第t+1时刻、...第L时刻的标签矩阵，ylabel(1),ylabel(2),...,ylabel(t+1),...,ylabel(L)分别为在第1时刻、第2时刻、...第t+1时刻、...第L时刻采集的聚酰胺纺丝工艺参数的真实值。
如上所述的控制方法，储备池个数n为50～1000。
有益效果：
相较于现有的储备池的全局可塑性优化，本发明基于局部内在可塑性回声状态网络的储备池内部不同的神经元采用不同的可塑性规则，局部内在可塑性规则能够进一步提高储备池内部每一个神经元激活函数的激活性，从而进一步提升生产工艺参数的预测精度，进而使预测结果能够更好地指导聚酰胺纤维纺丝工艺过程，最终提高原丝的产出性能及品质。
附图说明
图1为初始化过程中构建的局部内在可塑性回声状态网络Ⅰ(即现有技术中全局内在可塑性回声状态网络)的结构示意图；
图2为本发明通过不同的内在可塑性规则进行局部优化的回声状态网络的结构示意图；
图3为聚酰胺纤维熔融纺丝过程示意图；
图4为吹风温度在局部内在可塑性回声状态网络的优化过程。
具体实施方式
下面结合具体实施方式，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
基于局部内在可塑性回声状态网络的熔纺工艺控制方法，其步骤如下：
(1)通过CMA_ES算法对学习率参数迭代寻优；
(1.1)对CMA_ES算法的策略参数进行初始化，通过初始化的策略参数生成初始学习率参数即为初始种群，通过初始学习率参数构建局部内在可塑性回声状态网络Ⅰ，其中策略参数包括步长δ、协方差矩阵C和学习率参数的均值m，初始步长、初始协方差矩阵和学习率参数的初始均值分别为δ(0)、C(0)和m(0)；局部内在可塑性回声状态网络Ⅰ的结构示意图如图1所示，从图1中可以看出，局部内在可塑性回声状态网络Ⅰ具有三层网络结构，即输入层、储备池及输出层，且局部内在可塑性回声状态网络Ⅰ是储备池内部不同的神经元通过相同的可塑性规则进行全局优化的可塑性回声状态网络；
(1.2)令g＝0，g为种群更新的代数；
(1.3)采用竞争和选择策略中的(μ,λ)策略在第g代种群的λ个个体中选择出适应度值最小的μ个个体作为第g代的最优子群，λ为第g代种群的大小；适应度值为网络训练阶段采集的聚酰胺纺丝工艺参数与预测值Ⅰ之间的均方误差，预测值Ⅰ为学习率参数Ⅰ输入局部内在可塑性回声状态网络Ⅰ得到的预测值，学习率参数Ⅰ为g-1代最优子群中适应度值最小时所对应的个体，g＝0时，学习率参数Ⅰ为初始学习率参数；
(1.4)利用第g代最优子群中的个体信息更新得到第g+1代的策略参数，具体如下：
1.4.1)均值m的更新公式如下所示：
Figure BDA0001688102750000091
式中，m(g+1)为第g+1代学习率参数的均值，wb为第b个最优个体所对
应的权重，
Figure BDA0001688102750000092
为第g代最优子群μ个个体中的第b个个体；
1.4.2)协方差矩阵C的更新公式如下所示：
Figure BDA0001688102750000093
式中，C(g+1)为第g+1代的协方差矩阵，ccov为协方差矩阵的学习率，μcov为权重更新参数，C(g)为第g代的协方差矩阵，m(g)为第g代学习率参数的均值，δ(g)为第g代分布的步长，T为转置运算符号，
Figure BDA0001688102750000094
为第g+1代协方差矩阵的进化路径，
Figure BDA0001688102750000095
按下述所示公式更新：
Figure BDA0001688102750000096
式中，
Figure BDA0001688102750000097
为第g代的协方差矩阵的进化路径，当g＝0时，第0代协方差矩阵的进化路径的取值为0，ap为协方差矩阵进化路径的学习率，ap≤1；
1.4.3)步长δ的更新公式如下所示：
Figure BDA0001688102750000098
式中，δ(g+1)为第g+1代分布的步长，exp为以自然常数e为底的指数函数，ds为阻尼系数，N(0,I)为一个均值为0、协方差矩阵为I的多维正态分布，I代表单位矩阵，||N(0,I)||为一个均值为0、协方差矩阵为单位矩阵的多维正态分布的欧几里得范式；E||N(0,I)||为欧几里得范式||N(0,I)||的期望，as为共轭进化路径的参数，
Figure BDA0001688102750000099
为第g+1代步长的进化路径，
Figure BDA00016881027500000910
为第g+1代步长的进化路径的欧几里得范式，
Figure BDA0001688102750000101
按下述所示公式更新：
Figure BDA0001688102750000102
式中，
Figure BDA0001688102750000103
为第g代步长的进化路径，当g＝0时，第0代步长的进化路径的取值为0，(C(g))1/2为第g代的协方差矩阵的根式；
(1.5)利用g+1代策略参数生成第g+1代种群，具体如下：
Figure BDA0001688102750000104
式中，
Figure BDA0001688102750000105
为突变后的第g+1代种群中的第k个个体，k∈[1,λ]，N(0,C(g+1))为一个均值为0、协方差矩阵为C(g+1)的多维正态分布；
(1.6)判断g+1是否满足条件：g+1大于等于3000，如果是，则进入步骤(7)，反之，令g＝g+1，返回步骤(3)；
(1.7)采用竞争和选择策略中的(μ,λ)策略选择得到g+1代适应度值最小的个体并将其输出，第g+1代适应度值最小的个体即为迭代寻优后的学习率参数；
(2)通过不同的学习率参数构建局部内在可塑性规则；
Figure BDA0001688102750000106
Figure BDA0001688102750000107
ai(t+1)＝ai(t)+Δai(t+1)；
bi(t+1)＝bi(t)+Δbi(t+1)；
式中，Δai(t+1)和Δbi(t+1)分别从t时刻到t+1时刻的激活函数斜率的调整项和偏移的调整项，ai(t)表示在t时刻储备池内部神经元i的激活函数的斜率，
Figure BDA0001688102750000108
表示在t时刻储备池内部神经元i的输入状态，xi(t)表示在t时刻储备池内部神经元i的输出状态，i取值范围在[1,n]之间，n为储备池神经元的个数，τ表示激活函数指数分布的平均值，σ2表示激活函数指数分布的方差；Δbi(t)为从t-1时刻到t时刻的偏移的调整项，Δbi(1)为初始时刻偏移的调整项，记为0，ηi表示储备池内部神经元i对应的学习率，学习率参数为学习率的集合，记为{η1,η2,...,ηi,...ηn}，储备池个数n为50～1000，ai(t+1)表示在t+1时刻储备池内部神经元i的激活函数的斜率，bi(t+1)表示在t+1时刻储备池内部神经元i的激活函数的偏移，bi(t)表示在t时刻储备池内部神经元i的激活函数的偏移；
(3)通过不同的局部内在可塑性规则对局部内在可塑性回声状态网络Ⅰ进行局部优化，通过不同的可塑性规则进行局部优化的局部内在可塑性回声状态网络的结构示意图如图2所示，从图2中可以看出，与图1相比，在图2中的局部内在可塑性回声状态网络为储备池内部不同的神经元通过不同的可塑性规则进行局部优化的可塑性回声状态网络；
(4)采集工艺生产过程中t+1时刻的聚酰胺纺丝工艺参数数据作为网络的输入u(t+1)，通过局部内在可塑性回声状态网络输入层实现t+1时刻聚酰胺纺丝工艺参数数据u(t+1)的输入，其中，聚酰胺纺丝工艺参数为纺丝温度、纺丝速度、吹风温度或吹风速度，单位分别为℃、m/s、℃和m/s；
(5)根据局部内在可塑性回声状态网络的储备池状态方程和输出层状态方程计算出下一时刻的预测值，其中，储备池状态方程为：
xin(t+1)＝Winu(t+1)+Wresx(t)；
x(t+1)＝sigmoid(ai(t+1)xin(t+1)+bi(t+1))；
式中，xin(t+1)和x(t+1)分别表示在t+1时刻的储备池神经元的输入状态和输出状态，x(t)表示在t时刻的储备池神经元的输出状态，Win和Wres分别为输入层与储备池的连接权值和储备池内部的连接权值，sigmoid为储备池单元的激活函数；
输出层状态方程为：
y(t+1)＝Woutx(t+1)；
式中，y(t+1)为计算出的下一时刻的预测值，Wout为网络输出权重；其中网络输出权重Wout的计算公式如下：
Wout＝(XTX)-1X·Y；
式中，X＝[x(1),x(2),...,x(t+1),...,x(L)]为网络训练阶段记录下的每一时刻的储备池状态量矩阵，x(1),x(2),...,x(t+1),...,x(L)分别为在第1时刻、第2时刻、...第t+1时刻、...第L时刻的储备池神经元的输出状态，L为网络训练阶段训练样本的个数Y＝[ylabel(1),ylabel(2),...,ylabel(t+1),...,ylabel(L)]为在第1时刻、第2时刻、...第t+1时刻、...第L时刻的标签矩阵，ylabel(1),ylabel(2),...,ylabel(t+1),...,ylabel(L)分别为在第1时刻、第2时刻、...第t+1时刻、...第L时刻采集的聚酰胺纺丝工艺参数的真实值；
(6)按输出的下一时刻的预测值调整聚酰胺熔融纺丝工艺参数。
实施例1
一种基于局部内在可塑性回声状态网络的熔纺工艺控制方法，按照前述步骤运行：
初始步长δ(0)为3*10-6，学习率参数的初始均值m(0)为设定为10-5，C(0)＝In，In为一个n维的单位矩阵，种群大小设定为20个，储备池内部神经元个数的设定为70，因此，种群中每个个体的维度为70维，即70个学习率，局部内在可塑性回声状态网络Ⅰ主要包括各层神经元的个数及初始权重，其中，输入层神经元个数设定为3，输出层神经元个数设定为1，预测时间为单步预测，输入层与储备池之间的初始权重通过标准正态分布随机产生并进行0.05倍的缩放，储备池之间的初始权重也是通过标准正态分布产生，为了保证网络模型的回声特性，储备池的初始权重也进行缩放，τ设定为0，σ2设定为0.04，训练样本个数L为30000组，迭代次数为3000代；
聚酰胺纤维纺丝过程示意图如图3所示，聚酰胺纤维熔体经喷丝板计量挤出丝束，进而经过吹风区冷却，最后经卷绕棍卷绕成形，其中T0为纺丝温度，Tq为吹风温度，Vq为吹风纺丝速度，VL为纺丝速度，单位分别为℃、℃、m/s和m/s，采集的聚酰胺纺丝工艺参数为聚酰胺纤维纺丝过程中吹风冷却过程中的吹风温度，吹风温度是指在聚酰胺熔体冷却成型的过程中，对其施加的环吹风或侧吹风这两种冷却操作下的温度，吹风温度在局部内在可塑性回声状态网络的优化过程如图4所示，通过3000代进化寻优后，局部内在可塑性优化的ESN比全局内在可塑性优化的ESN具有更低的预测误差，验证了局部内在可塑性的有效性。

Claims (5)

1.基于局部内在可塑性回声状态网络的熔纺工艺控制方法，其特征是：采集工艺生产过程中t+1时刻的聚合物熔融纺丝工艺参数数据作为网络的输入u(t+1)，通过局部内在可塑性回声状态网络输入层实现t+1时刻聚合物熔融纺丝工艺参数数据u(t+1)的输入，并经过局部内在可塑性回声状态网络的储备池状态方程和输出层状态方程计算出下一时刻的预测值，并按该预测值调整聚合物熔融纺丝工艺参数；
所述局部内在可塑性回声状态网络是指储备池内部不同的神经元通过不同的内在可塑性规则进行局部优化的可塑性回声状态网络；
所述不同的内在可塑性规则是指通过不同学习率参数构建的局部内在可塑性规则；
所述通过不同学习率参数构建的局部内在可塑性规则为：
ai(t+1)＝ai(t)+Δai(t+1)；
bi(t+1)＝bi(t)+Δbi(t+1)；
式中，ai(t+1)表示在t+1时刻储备池内部神经元i的激活函数的斜率，bi(t+1)表示在t+1时刻储备池内部神经元i的激活函数的偏移，bi(t)表示在t时刻储备池内部神经元i的激活函数的偏移；
其中，通过不同学习率参数构建的局部内在可塑性规则中表示从t时刻到t+1时刻的激活函数斜率的调整项Δai(t+1)和偏移的调整项Δbi(t+1)为：
Figure FDA0003222014010000011
Figure FDA0003222014010000012
式中，ai(t)表示在t时刻储备池内部神经元i的激活函数的斜率，
Figure FDA0003222014010000013
表示在t时刻储备池内部神经元i的输入状态，xi(t)表示在t时刻储备池内部神经元i的输出状态，i取值范围在[1,n]之间，n为储备池神经元的个数，τ表示激活函数指数分布的平均值，σ2表示激活函数指数分布的方差；Δbi(t)为从t-1时刻到t时刻的偏移的调整项，Δbi(1)为初始时刻偏移的调整项，记为0，ηi表示储备池内部神经元i对应的学习率，学习率参数为学习率的集合，记为{η1,η2,...,ηi,...ηn}，学习率参数通过进化算法实现网络的迭代寻优；
所述进化算法为CMA_ES算法，通过CMA_ES算法实现对局部内在可塑性回声状态网络中学习率参数迭代寻优的过程如下：
(1)对CMA_ES算法的策略参数进行初始化，通过初始化的策略参数生成初始学习率参数即为初始种群，通过初始学习率参数构建局部内在可塑性回声状态网络Ⅰ，其中策略参数包括步长δ、协方差矩阵C和学习率参数的均值m，初始步长、初始协方差矩阵和学习率参数的初始均值分别为δ(0)、C(0)和m(0)；
(2)令g＝0，g为种群更新的代数；
(3)采用竞争和选择策略中的(μ,λ)策略在第g代种群的λ个个体中选择出适应度值最小的μ个个体作为第g代的最优子群，λ为第g代种群的大小；适应度值为网络训练阶段采集的聚合物纺丝工艺参数与预测值Ⅰ之间的均方误差，预测值Ⅰ为学习率参数Ⅰ输入局部内在可塑性回声状态网络Ⅰ得到的预测值，学习率参数Ⅰ为g-1代最优子群中适应度值最小时所对应的个体，g＝0时，学习率参数Ⅰ为初始学习率参数；
(4)利用第g代最优子群中的个体信息更新得到第g+1代的策略参数，具体如下：
4.1)均值m的更新公式如下所示：
Figure FDA0003222014010000021
式中，m(g+1)为第g+1代学习率参数的均值，wb为第b个最优个体所对应的权重，
Figure FDA0003222014010000022
为第g代最优子群μ个个体中的第b个个体；
4.2)协方差矩阵C的更新公式如下所示：
Figure FDA0003222014010000023
式中，C(g+1)为第g+1代的协方差矩阵，ccov为协方差矩阵的学习率，μcov为权重更新参数，C(g)为第g代的协方差矩阵，m(g)为第g代学习率参数的均值，δ(g)为第g代分布的步长，T为转置运算符号，
Figure FDA0003222014010000024
为第g+1代协方差矩阵的进化路径，
Figure FDA0003222014010000025
按下述所示公式更新：
Figure FDA0003222014010000026
式中，
Figure FDA0003222014010000027
为第g代的协方差矩阵的进化路径，当g＝0时，第0代协方差矩阵的进化路径的取值为0，ap为协方差矩阵进化路径的学习率，ap≤1；
4.3)步长δ的更新公式如下所示：
Figure FDA0003222014010000031
式中，δ(g+1)为第g+1代分布的步长，exp为以自然常数e为底的指数函数，ds为阻尼系数，N(0,I)为一个均值为0、协方差矩阵为I的多维正态分布，I代表单位矩阵，||N(0,I)||为一个均值为0、协方差矩阵为单位矩阵的多维正态分布的欧几里得范式，E||N(0,I)||为欧几里得范式||N(0,I)||的期望，as为共轭进化路径的参数，
Figure FDA0003222014010000032
为第g+1代步长的进化路径，
Figure FDA0003222014010000033
为第g+1代步长的进化路径的欧几里得范式，
Figure FDA0003222014010000034
按下述所示公式更新：
Figure FDA0003222014010000035
式中，
Figure FDA0003222014010000036
为第g代步长的进化路径，当g＝0时，第0代步长的进化路径的取值为0，(C(g))1/2为第g代的协方差矩阵的根式；
(5)利用g+1代策略参数生成第g+1代种群，具体如下：
Figure FDA0003222014010000037
式中，
Figure FDA0003222014010000038
为突变后的第g+1代种群中的第k个个体，k∈[1,λ]，N(0,C(g+1))为一个均值为0、协方差矩阵为C(g+1)的多维正态分布；
(6)判断g+1是否满足条件：g+1大于等于3000，如果是，则进入步骤(7)，反之，令g＝g+1，返回步骤(3)；
(7)采用竞争和选择策略中的(μ,λ)策略选择得到g+1代适应度值最小的个体并将其输出，第g+1代适应度值最小的个体即为迭代寻优后的学习率参数。
2.根据权利要求1所述的控制方法，其特征在于，所述聚合物为聚酰胺，所述聚合物纺丝工艺参数为纺丝温度、纺丝速度、吹风温度或吹风速度，单位分别为℃、m/s、℃和m/s。
3.根据权利要求1所述的控制方法，其特征在于，所述储备池状态方程为：
xin(t+1)＝Winu(t+1)+Wresx(t)；
x(t+1)＝sigmoid(ai(t+1)xin(t+1)+bi(t+1))；
式中，xin(t+1)和x(t+1)分别表示在t+1时刻的储备池神经元的输入状态和输出状态，x(t)表示在t时刻的储备池神经元的输出状态，Win和Wres分别为输入层与储备池的连接权值和储备池内部的连接权值，sigmoid为储备池单元的激活函数。
4.根据权利要求3所述的控制方法，其特征在于，所述输出层状态方程为：
y(t+1)＝Woutx(t+1)；
式中，y(t+1)为计算出的下一时刻的预测值，Wout为网络输出权重；
所述网络输出权重Wout的计算公式如下：
Wout＝(XTX)-1X·Y；
式中，X＝[x(1),x(2),...,x(t+1),...,x(L)]为网络训练阶段记录下的每一时刻的储备池状态量矩阵，x(1),x(2),...,x(t+1),...,x(L)分别为在第1时刻、第2时刻、...第t+1时刻、...第L时刻的储备池神经元的输出状态，L为网络训练阶段训练样本的个数，Y＝［ylabel(1),ylabel(2),...,ylabel(t+1),...,ylabel(L)］为在第1时刻、第2时刻、...第t+1时刻、...第L时刻的标签矩阵，ylabel(1),ylabel(2),...,ylabel(t+1),...,ylabel(L)分别为在第1时刻、第2时刻、...第t+1时刻、...第L时刻采集的聚合物纺丝工艺参数的真实值。
5.根据权利要求1所述的控制方法，其特征在于，储备池个数n为50～1000。
CN201810580350.8A 2018-06-07 2018-06-07 基于局部内在可塑性回声状态网络的熔纺工艺控制方法 Expired - Fee Related CN108977897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810580350.8A CN108977897B (zh) 2018-06-07 2018-06-07 基于局部内在可塑性回声状态网络的熔纺工艺控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810580350.8A CN108977897B (zh) 2018-06-07 2018-06-07 基于局部内在可塑性回声状态网络的熔纺工艺控制方法

Publications (2)

Publication Number Publication Date
CN108977897A CN108977897A (zh) 2018-12-11
CN108977897B true CN108977897B (zh) 2021-11-19

Family

ID=64540933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810580350.8A Expired - Fee Related CN108977897B (zh) 2018-06-07 2018-06-07 基于局部内在可塑性回声状态网络的熔纺工艺控制方法

Country Status (1)

Country Link
CN (1) CN108977897B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110656385B (zh) * 2019-10-28 2021-01-12 季华实验室 一种基于神经网络的静电纺丝纤维平均直径预测方法
CN113657038B (zh) * 2021-08-19 2023-10-27 华东理工大学 数据驱动的加氢裂化过程反应温度优化方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5065339A (en) * 1990-05-22 1991-11-12 International Business Machines Corporation Orthogonal row-column neural processor
CN101688332A (zh) * 2007-05-01 2010-03-31 帝斯曼知识产权资产管理有限公司 Uhmwpe纤维及其生产方法
CN102817088A (zh) * 2012-08-09 2012-12-12 东华大学 一种熔体直纺涤纶长丝熔体输送工艺
CN107145935A (zh) * 2017-05-12 2017-09-08 东华大学 一种基于改进型神经网络的Smith预估控制方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5822220A (en) * 1996-09-03 1998-10-13 Fisher-Rosemount Systems, Inc. Process for controlling the efficiency of the causticizing process
US6493689B2 (en) * 2000-12-29 2002-12-10 General Dynamics Advanced Technology Systems, Inc. Neural net controller for noise and vibration reduction
US8209027B2 (en) * 2004-07-07 2012-06-26 The Cleveland Clinic Foundation System and method to design structure for delivering electrical energy to tissue
CN100461210C (zh) * 2006-12-14 2009-02-11 东华大学 一种基于模糊逻辑的神经网络输入参数筛选方法
CN103254513B (zh) * 2007-12-20 2015-08-26 埃克森美孚研究工程公司 全同立构聚丙烯和乙烯-丙烯共聚物的共混物
EP2263165A4 (en) * 2008-03-14 2011-08-24 Hewlett Packard Development Co NEUROMORPHIC CIRCUIT
CN101782771B (zh) * 2010-03-17 2011-12-14 东华大学 基于免疫神经网络的纺丝工艺智能优化设计方法
WO2012047356A2 (en) * 2010-07-26 2012-04-12 The University Of Vermont Uses of systems with degrees of freedom poised between fully quantum and fully classical states
CN102505553B (zh) * 2011-11-02 2015-03-04 东营正和木业有限公司 用于直接模压加工的纤维板生产工艺
CN104157293B (zh) * 2014-08-28 2017-04-05 福建师范大学福清分校 一种增强声环境中目标语音信号拾取的信号处理方法
US10325202B2 (en) * 2015-04-28 2019-06-18 Qualcomm Incorporated Incorporating top-down information in deep neural networks via the bias term
GB2552014B (en) * 2016-07-07 2020-05-13 Advanced Risc Mach Ltd Reconfigurable artificial neural networks comprising programmable non-volatile memory elements
CN106777922A (zh) * 2016-11-30 2017-05-31 华东理工大学 一种cta加氢精制生产过程代理模型建模方法
CN107028681B (zh) * 2017-04-11 2018-11-30 清华大学深圳研究生院 一种组织工程支架的3d打印装置及方法
CN107400935B (zh) * 2017-08-23 2019-10-18 东华大学 基于改进elm的熔融纺丝工艺的调节方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5065339A (en) * 1990-05-22 1991-11-12 International Business Machines Corporation Orthogonal row-column neural processor
CN101688332A (zh) * 2007-05-01 2010-03-31 帝斯曼知识产权资产管理有限公司 Uhmwpe纤维及其生产方法
CN102817088A (zh) * 2012-08-09 2012-12-12 东华大学 一种熔体直纺涤纶长丝熔体输送工艺
CN107145935A (zh) * 2017-05-12 2017-09-08 东华大学 一种基于改进型神经网络的Smith预估控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种有效的储备池在线稀疏学习算法;韩敏 等;《自动化学报》;20111231;第37卷(第12期);第1536-1540页 *

Also Published As

Publication number Publication date
CN108977897A (zh) 2018-12-11

Similar Documents

Publication Publication Date Title
Fielding et al. Evolving image classification architectures with enhanced particle swarm optimisation
CN108388213B (zh) 基于局部可塑性回声状态网络的聚酯纺丝工艺控制方法
CN1043543C (zh) 推断装置
CN110794842A (zh) 基于势场的强化学习路径规划算法
CN107992976B (zh) 热点话题早期发展趋势预测系统及预测方法
CN109472397B (zh) 基于粘度变化的聚合工艺参数调节方法
CN108977897B (zh) 基于局部内在可塑性回声状态网络的熔纺工艺控制方法
CN109670580A (zh) 一种基于时间序列的数据修复方法
CN109766989B (zh) 一种聚酯纤维生产过程工艺参数的智能配置方法
CN112001113A (zh) 一种基于粒子群优化长短时记忆网络的电池寿命预测方法
CN110032069B (zh) 一种基于误差补偿的聚酯纤维纺丝工序分段参数配置方法
Wang et al. Complex dynamic neurons improved spiking transformer network for efficient automatic speech recognition
CN108985323A (zh) 一种光伏功率的短期预测方法
CN112950963A (zh) 一种城市主支路交叉口自适应信号控制优化方法
Hampson et al. A Boolean complete neural model of adaptive behavior
CN116796207A (zh) 一种基于脉冲神经网络的自组织映射聚类方法
CN110263380A (zh) 一种纺丝工序级联建模分段区间参数配置方法
Cui et al. Intelligent fault quantitative identification via the improved deep deterministic policy gradient (DDPG) algorithm accompanied with imbalanced sample
CN111709519B (zh) 一种深度学习并行计算架构方法及其超参数自动配置优化
CN113128124A (zh) 基于改进神经网络的多牌号C-Mn钢力学性能预测方法
Feng A self-tuning fuzzy control system design
CN113095500B (zh) 一种基于多智能体强化学习的机器人追捕方法
CN115412332A (zh) 基于混合神经网络模型优化的物联网入侵检测系统及方法
Huang et al. WeNet: Weighted networks for recurrent network architecture search
Wang et al. A new learning algorithm for adaptive spiking neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211119

CF01 Termination of patent right due to non-payment of annual fee