CN114611373A - 一种基于变种sigmoid函数和粒子变异的PSO改进算法 - Google Patents

一种基于变种sigmoid函数和粒子变异的PSO改进算法 Download PDF

Info

Publication number
CN114611373A
CN114611373A CN202210326805.XA CN202210326805A CN114611373A CN 114611373 A CN114611373 A CN 114611373A CN 202210326805 A CN202210326805 A CN 202210326805A CN 114611373 A CN114611373 A CN 114611373A
Authority
CN
China
Prior art keywords
particle
value
iter
optimal
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210326805.XA
Other languages
English (en)
Inventor
马森标
黄正鹏
徐飞
陈友武
黄祖海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Zhongrui Network Co ltd
Original Assignee
Fujian Zhongrui Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Zhongrui Network Co ltd filed Critical Fujian Zhongrui Network Co ltd
Priority to CN202210326805.XA priority Critical patent/CN114611373A/zh
Publication of CN114611373A publication Critical patent/CN114611373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/25—Design optimisation, verification or simulation using particle-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提供了一种基于变种sigmoid函数和粒子变异的PSO改进算法，包括以下步骤：步骤1：设定STVPSO寻优的目标函数以及需要寻优的参数；步骤2设定PSO参数；步骤3初始化粒子位置及速度；步骤4计算粒子目标函数值；步骤5更新粒子历史最优位置；步骤6更新全局历史最优位置；步骤7判断是否达到最大迭代次数；步骤8更新惯性权重；步骤9变异种群最优粒子位置；步骤10变异种群最劣粒子位置；骤11更新粒子速度、位置；步骤12循环步骤4‑11；步骤13输出全局最优历史位置；应用本技术方案可以实现通过调节最大惯性权重、最小惯性权重、伸缩系数、变形系数，来调节模型的全局寻优能力与局部寻优能力。

Description

一种基于变种sigmoid函数和粒子变异的PSO改进算法
技术领域
本发明涉及神经网络模型参数优化技术领域，特别是一种基于变种sigmoid函数和粒子变异的PSO改进算法。
背景技术
传统的PSO算法存在着早期搜索精度较低、易发散等缺点，容易错过最优解；SPSO算法能够平衡PSO算法的前期全局搜索能力与后期收敛能力，但效果并非十分优越，且线性递减惯性权重的方式单一，无法适应复杂的应用环境；PPSO加快粒子的收敛速度，增强局部寻优能力，但其粒子速度下降过快，容易错过全局最优解，全局搜索能力较差；CPSO算法加快收敛速度的同时，变异种群最优粒子的位置，使其跳出局部最优，但其适应度低的粒子，会始终保持一个较高的惯性权重，难以收敛，且自适应度的权重基于自适应度均值判断，对于自适应度波动较大的函数寻优效果不佳。
发明内容
有鉴于此，本发明的目的在于提供一种基于变种sigmoid函数和粒子变异的PSO改进算法，可以通过调节最大惯性权重、最小惯性权重、伸缩系数、变形系数，来调节模型的全局寻优能力与局部寻优能力。
为实现上述目的，本发明采用如下技术方案：一种基于变种sigmoid函数和粒子变异的PSO改进算法，包括以下步骤：
步骤1：设定STVPSO寻优的目标函数以及需要寻优的参数；
步骤2：STVPSO的参数包括：粒子数量、最大惯性权重、最小惯性权重、学习因子、最大迭代次数、搜寻维度个数、每个维度的搜寻精度、取值范围及速度限制；
步骤3：在各超参数的取值范围内，随机初始化粒子的位置,粒子的位置用
Figure BDA0003571768650000023
表示，其中t表示迭代次数，i表示第i个粒子，j表示第j个维度；考虑到粒子速度过大导致搜索精度低、粒子位置容易陷入极值，过小则全局寻优能力低，将粒子速度的初始化范围设置在
Figure BDA0003571768650000021
可以一定程度兼顾全局寻优能力与搜索精度；X为粒子的位置，Xman代表粒子的最大取值，Xmin代表粒子的最小取值；
步骤4：将粒子的位置输入目标函数中，返回计算结果；
步骤5：对比当前目标函数值与该粒子历史最优目标函数值，若当前值更优，则更新该粒子历史最优位置，执行步骤6，否则执行步骤7；
步骤6：对比当前loss函数值与全局历史最优loss函数值，若当前值更优，则更新全局历史最优位置；
步骤7：若达到最大迭代次数，执行步骤13；否则执行步骤8；
步骤8：惯性权重ω决定了STVPSO算法的寻优策略,ω值较大时,全局寻优能力强、局部寻优能力弱；ω值较小时,全局寻优能力弱,局部寻优能力；其权重更新表达式为：
Figure BDA0003571768650000022
其中,H为中间变量，iter为当前迭代次数,itermax为最终迭代次数,ωmax为最大惯性权重,ωmin为最小惯性权重,σ为伸缩系数，取值范围(0，+∞)，θ为变形系数，取值范围(-1，+∞)；e为自然对数；
步骤9：判断当前ω是否小于0.9ωmax+0.1ωmin，若小于则变异种群中loss函数值最优的粒子位置，否则进入步骤11；变异方式如下：
Figure BDA0003571768650000031
其中，
Figure BDA0003571768650000032
为第iter次迭代时，第i个粒子变异后的位置，
Figure BDA0003571768650000033
为[0，1]区间内的随机数，itermax为最大迭代次数，iter为当前迭代次数，Giter为迭代iter次时的全局历史最优位置；
Figure BDA0003571768650000034
为变异后的粒子位置；
步骤10：判断当前ω是否小于0.1ωmax+0.9ωmin，若小于则变异种群中loss函数值最差的粒子位置，否则进入步骤11；变异方式如下：
Figure BDA0003571768650000035
其中，
Figure BDA0003571768650000036
为[0，1]区间内的随机数，itermax为最大迭代次数，iter为当前迭代次数，Pi为迭代iter次时的粒子历史最优位置；
步骤11：更新所有粒子的速度与未变异粒子的位置，更新公式如下：
Figure BDA0003571768650000037
Figure BDA0003571768650000038
其中，
Figure BDA0003571768650000039
为第iter+1次迭代时第i个粒子第j维的速度，ω为惯性权重，
Figure BDA00035717686500000310
为第iter次迭代时第i个粒子第j维的速度，c1、c2代表个体学习因子与种群学习因子，
Figure BDA00035717686500000311
代表第iter次迭代时第i个粒子第j维的个体历史最优位置，
Figure BDA00035717686500000312
代表第iter次迭代时,迭代到第i个粒子时，第j维的种群历史最优位置；
Figure BDA00035717686500000313
为第iter+1次迭代时第i个粒子第j维的位置，
Figure BDA00035717686500000314
为第iter次迭代时第i个粒子第j维的位置。
步骤12：循环步骤4至步骤11，直到达到最大迭代次数：
步骤13：输出STVPSO算法寻到的最优参数组合与最优值。
与现有技术相比，本发明具有以下有益效果：
本方法提出的一种基于变种sigmoid函数和粒子变异的PSO改进算法，可以通过调节最大惯性权重、最小惯性权重、伸缩系数、变形系数，来调节模型的全局寻优能力与局部寻优能力，增强了算法的对各种复杂场景的适应能力；改变了CPSO算法在迭代前期就开始变异最优粒子的策略，选择在迭代初期粒子速度较快时令粒子保持全局搜索状态，在惯性权重开始快速下降后开始变异最优粒子的位置，使其跳出局部最优点，在惯性权重减小至趋于稳定后，变异最劣粒子的位置，使其跳到自身历史最由位置附近，寻找可能存在的局部最优点。
附图说明
图1为本发明优选实施例中一种基于变种sigmoid函数和粒子变异的PSO改进算法的流程图；
图2为本发明优选实施例中形成的惯性权重ω变化曲线称为标准STVPSO权重变化曲线。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
一种基于变种sigmoid函数和粒子变异的PSO改进算法，包括以下步骤：
步骤1：设定STVPSO寻优的目标函数以及需要寻优的参数；
步骤2：STVPSO的参数包括：粒子数量、最大惯性权重、最小惯性权重、学习因子、最大迭代次数、搜寻维度个数、每个维度的搜寻精度、取值范围及速度限制；
Figure BDA0003571768650000051
Figure BDA0003571768650000061
步骤3：在各超参数的取值范围内，随机初始化粒子的位置,粒子的位置用
Figure BDA0003571768650000062
表示，其中t表示迭代次数，i表示第i个粒子，j表示第j个维度；考虑到粒子速度过大导致搜索精度低、粒子位置容易陷入极值，过小则全局寻优能力低，将粒子速度的初始化范围设置在
Figure BDA0003571768650000063
可以一定程度兼顾全局寻优能力与搜索精度；X为粒子的位置，Xman代表粒子的最大取值，Xmin代表粒子的最小取值；
步骤4：将粒子的位置输入目标函数中，返回计算结果；
步骤5：对比当前目标函数值与该粒子历史最优目标函数值，若当前值更优，则更新该粒子历史最优位置，执行步骤6，否则执行步骤7；
步骤6：对比当前loss函数值与全局历史最优loss函数值，若当前值更优，则更新全局历史最优位置；
步骤7：若达到最大迭代次数，执行步骤13；否则执行步骤8；
步骤8：惯性权重ω决定了STVPSO算法的寻优策略,ω值较大时,全局寻优能力强、局部寻优能力弱；ω值较小时,全局寻优能力弱,局部寻优能力；其权重更新表达式为：
Figure BDA0003571768650000071
其中,H为中间变量,iter为当前迭代次数,itermax为最终迭代次数,ωmax为最大惯性权重,ωmin为最小惯性权重,e为自然对数，σ为伸缩系数，取值范围(0，+∞)，一般设为5，θ为变形系数，取值范围(-1，+∞)，一般设置为0；σ＝5、θ＝0时，形成的惯性权重ω变化曲线称为标准STVPSO权重变化曲线，如图2所示。
步骤9：判断当前ω是否小于0.9ωmax+0.1ωmin，若小于则变异种群中loss函数值最优的粒子位置，否则进入步骤11；变异方式如下：
Figure BDA0003571768650000072
其中，
Figure BDA0003571768650000073
为第iter次迭代时，第i个粒子变异后的位置，
Figure BDA0003571768650000074
为[0，1]区间内的随机数，itermax为最大迭代次数，iter为当前迭代次数，Giter为迭代iter次时的全局历史最优位置；
Figure BDA0003571768650000075
为变异后的粒子位置；
步骤10：判断当前ω是否小于0.1ωmax+0.9ωmin，若小于则变异种群中loss函数值最差的粒子位置，否则进入步骤11；变异方式如下：
Figure BDA0003571768650000076
其中，
Figure BDA0003571768650000077
为[0，1]区间内的随机数，itermax为最大迭代次数，iter为当前迭代次数，Pi为迭代iter次时的粒子历史最优位置；
步骤11：更新所有粒子的速度与未变异粒子的位置，更新公式如下：
Figure BDA0003571768650000081
Figure BDA0003571768650000082
其中，
Figure BDA0003571768650000083
为第iter+1次迭代时第i个粒子第j维的速度，ω为惯性权重，
Figure BDA0003571768650000084
为第iter次迭代时第i个粒子第j维的速度，c1、c2代表个体学习因子与种群学习因子，
Figure BDA0003571768650000085
代表第iter次迭代时第i个粒子第j维的个体历史最优位置，
Figure BDA0003571768650000086
代表第iter次迭代时,迭代到第i个粒子时，第j维的种群历史最优位置；
Figure BDA0003571768650000087
为第iter+1次迭代时第i个粒子第j维的位置，
Figure BDA0003571768650000088
为第iter次迭代时第i个粒子第j维的位置。
步骤12：循环步骤4至步骤11，直到达到最大迭代次数：
步骤13：输出STVPSO算法寻到的最优参数组合与最优值。
通过实验表明，本方法提出的STVPSO方法，参数寻优搜索综合能力强。
实验环境
Figure BDA0003571768650000089
测试函数
Figure BDA00035717686500000810
Figure BDA0003571768650000091
分别使用STVPSO、PSO、SPSO、CPSO、PPSO搜索Griewank、Rastrigrin、Ackley三个函数的最优值，每种测试函数独立运行50次，取均值与标准差为评价指标。最终的结果如下表所示：
Figure BDA0003571768650000092
本方法提出的STVPSO算法，可以通过调节最大惯性权重、最小惯性权重、伸缩系数、变形系数，来调节模型的全局寻优能力与局部寻优能力，增强了算法的对各种复杂场景的适应能力；改变了CPSO算法在迭代前期就开始变异最优粒子的策略，选择在迭代初期粒子速度较快时令粒子保持全局搜索状态，在惯性权重开始快速下降后开始变异最优粒子的位置，使其跳出局部最优点，在惯性权重减小至趋于稳定后，变异最劣粒子的位置，使其跳到自身历史最由位置附近，寻找可能存在的局部最优点。

Claims (1)

1.一种基于变种sigmoid函数和粒子变异的PSO改进算法，其特征在于，包括以下步骤：
步骤1：设定STVPSO寻优的目标函数以及需要寻优的参数；
步骤2：STVPSO的参数包括：粒子数量、最大惯性权重、最小惯性权重、学习因子、最大迭代次数、搜寻维度个数、每个维度的搜寻精度、取值范围及速度限制；
步骤3：在各超参数的取值范围内，随机初始化粒子的位置,粒子的位置用
Figure FDA0003571768640000011
表示，其中t表示迭代次数，i表示第i个粒子，j表示第j个维度；考虑到粒子速度过大导致搜索精度低、粒子位置容易陷入极值，过小则全局寻优能力低，将粒子速度的初始化范围设置在
Figure FDA0003571768640000012
可以一定程度兼顾全局寻优能力与搜索精度；X为粒子的位置，Xman代表粒子的最大取值，Xmin代表粒子的最小取值；
步骤4：将粒子的位置输入目标函数中，返回计算结果；
步骤5：对比当前目标函数值与该粒子历史最优目标函数值，若当前值更优，则更新该粒子历史最优位置，执行步骤6，否则执行步骤7；
步骤6：对比当前loss函数值与全局历史最优loss函数值，若当前值更优，则更新全局历史最优位置；
步骤7：若达到最大迭代次数，执行步骤13；否则执行步骤8；
步骤8：惯性权重ω决定了STVPSO算法的寻优策略,ω值较大时,全局寻优能力强、局部寻优能力弱；ω值较小时,全局寻优能力弱,局部寻优能力；其权重更新表达式为：
Figure FDA0003571768640000021
其中,H为中间变量，iter为当前迭代次数,itermax为最终迭代次数,ωmax为最大惯性权重,ωmin为最小惯性权重,σ为伸缩系数，取值范围(0，+∞)，θ为变形系数，取值范围(-1，+∞)；e为自然对数；
步骤9：判断当前ω是否小于0.9ωmax+0.1ωmin，若小于则变异种群中loss函数值最优的粒子位置，否则进入步骤11；变异方式如下：
Figure FDA0003571768640000022
其中，
Figure FDA0003571768640000023
为第iter次迭代时，第i个粒子变异后的位置，
Figure FDA0003571768640000024
为[0，1]区间内的随机数，itermax为最大迭代次数，iter为当前迭代次数，Giter为迭代iter次时的全局历史最优位置；
Figure FDA0003571768640000025
为变异后的粒子位置；
步骤10：判断当前ω是否小于0.1ωmax+0.9ωmin，若小于则变异种群中loss函数值最差的粒子位置，否则进入步骤11；变异方式如下：
Figure FDA0003571768640000026
其中，
Figure FDA0003571768640000027
为[0，1]区间内的随机数，itermax为最大迭代次数，iter为当前迭代次数，Pi为迭代iter次时的粒子历史最优位置；
步骤11：更新所有粒子的速度与未变异粒子的位置，更新公式如下：
Figure FDA0003571768640000028
Figure FDA0003571768640000029
其中，
Figure FDA0003571768640000031
为第iter+1次迭代时第i个粒子第j维的速度，ω为惯性权重，
Figure FDA0003571768640000032
为第iter次迭代时第i个粒子第j维的速度，c1、c2代表个体学习因子与种群学习因子，
Figure FDA0003571768640000033
代表第iter次迭代时第i个粒子第j维的个体历史最优位置，
Figure FDA0003571768640000034
代表第iter次迭代时,迭代到第i个粒子时，第j维的种群历史最优位置；
Figure FDA0003571768640000035
为第iter+1次迭代时第i个粒子第j维的位置，
Figure FDA0003571768640000036
为第iter次迭代时第i个粒子第j维的位置；
步骤12：循环步骤4至步骤11，直到达到最大迭代次数：
步骤13：输出STVPSO算法寻到的最优参数组合与最优值。
CN202210326805.XA 2022-03-30 2022-03-30 一种基于变种sigmoid函数和粒子变异的PSO改进算法 Pending CN114611373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210326805.XA CN114611373A (zh) 2022-03-30 2022-03-30 一种基于变种sigmoid函数和粒子变异的PSO改进算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210326805.XA CN114611373A (zh) 2022-03-30 2022-03-30 一种基于变种sigmoid函数和粒子变异的PSO改进算法

Publications (1)

Publication Number Publication Date
CN114611373A true CN114611373A (zh) 2022-06-10

Family

ID=81866347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210326805.XA Pending CN114611373A (zh) 2022-03-30 2022-03-30 一种基于变种sigmoid函数和粒子变异的PSO改进算法

Country Status (1)

Country Link
CN (1) CN114611373A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116011502A (zh) * 2023-03-27 2023-04-25 南昌航空大学 基于多收敛方向粒子群寻优提升良品率的数据处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116011502A (zh) * 2023-03-27 2023-04-25 南昌航空大学 基于多收敛方向粒子群寻优提升良品率的数据处理方法

Similar Documents

Publication Publication Date Title
CN110308649B (zh) 应用于工业过程控制的基于pso-soa融合算法的pid参数优化方法
CN112926139B (zh) 一种基于混沌映射和黄金正弦策略的改进麻雀智能优化方法
CN107272403A (zh) 一种基于改进粒子群算法的pid控制器参数整定算法
CN111523749B (zh) 一种水电机组模型智能辨识方法
JP2000250604A (ja) 特性最適化方法における最適化の協調方法
CN113552797A (zh) 一种基于改进粒子群优化的加热炉炉温控制方法和系统
CN114611373A (zh) 一种基于变种sigmoid函数和粒子变异的PSO改进算法
CN113269322A (zh) 一种基于自适应超参数的深度强化学习改进方法
CN110245746A (zh) 一种bp神经网络学习率的改进方法
CN111594322A (zh) 一种基于Q-Learning的变循环航空发动机推力控制方法
CN113255206A (zh) 一种基于深度强化学习的水文预报模型参数率定方法
CN115113628A (zh) 一种基于改进灰狼算法的巡检机器人路径规划方法
CN115713057A (zh) 基于深度神经网络的模拟集成电路设计参数自动优化方法
CN114545766A (zh) 一种麻雀搜索算法优化的bp神经网络pid控制方法
CN113722980A (zh) 海洋浪高预测方法、系统、计算机设备、存储介质、终端
CN115983130A (zh) 一种基于改进粒子群优化算法的全局最优解搜索方法
CN113609761A (zh) 一种模型参数的计算方法、装置、设备和存储介质
CN114880806A (zh) 基于粒子群优化的新能源汽车销量预测模型参数优化方法
CN113323821B (zh) 风力机模型预测偏航控制参数调节方法
CN108428012B (zh) 一种优化神经网络的风机噪音预测方法
He et al. Variable step size LMS adaptive algorithm based on exponential function
CN116388232B (zh) 风电调频综合惯性控制方法、系统、电子设备和存储介质
CN116449686A (zh) 改进麻雀种群算法优化rbf神经网络的pid控制方法及装置
CN113032934B (zh) 基于me-td3算法的风电场动态参数智能校核方法
CN114330119B (zh) 一种基于深度学习的抽蓄机组调节系统辨识方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination