CN116596021A - 基于改进的麻雀搜索算法的模型参数优化方法、装置 - Google Patents

基于改进的麻雀搜索算法的模型参数优化方法、装置 Download PDF

Info

Publication number
CN116596021A
CN116596021A CN202310529667.XA CN202310529667A CN116596021A CN 116596021 A CN116596021 A CN 116596021A CN 202310529667 A CN202310529667 A CN 202310529667A CN 116596021 A CN116596021 A CN 116596021A
Authority
CN
China
Prior art keywords
model
sparrow
search algorithm
improved
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310529667.XA
Other languages
English (en)
Inventor
李凯
李国栋
张坤
杨大伟
马军
胡美慧
万姣
马天福
马斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Xinjiang Electric Power CorporationInformation & Telecommunication Co ltd
State Grid Corp of China SGCC
North China Electric Power University
Original Assignee
State Grid Xinjiang Electric Power CorporationInformation & Telecommunication Co ltd
State Grid Corp of China SGCC
North China Electric Power University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Xinjiang Electric Power CorporationInformation & Telecommunication Co ltd, State Grid Corp of China SGCC, North China Electric Power University filed Critical State Grid Xinjiang Electric Power CorporationInformation & Telecommunication Co ltd
Priority to CN202310529667.XA priority Critical patent/CN116596021A/zh
Publication of CN116596021A publication Critical patent/CN116596021A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种机器学习技术领域，是一种基于改进的麻雀搜索算法的模型参数优化方法、装置，前者包括设置改进的麻雀搜索算法参数和模型超参数搜索范围；利用PWLCM混沌映射初始化麻雀种群；根据改进的麻雀搜索算法对个体位置进行迭代更新；以麻雀个体位置信息为超参数构建模型，确定个体适应度并排序，得到最优、最差适应度个体位置；多次迭代，以全局最优个体位置信息为超参数构建模型，完成模型参数优化。本发明基于改进的麻雀搜索算法输出的全局最优个体位置信息构建模型，完成模型参数优化，由于改进的麻雀搜索算法的全局寻优与局部搜索能力强，所以模型参数优化效果更好，使得模型的预测更加准确。

Description

基于改进的麻雀搜索算法的模型参数优化方法、装置
技术领域
本发明涉及一种机器学习技术领域，是一种基于改进的麻雀搜索算法的模型参数优化方法、装置。
背景技术
机器学习的超参数寻优，通常采取的方法是随机搜索和网格搜索，随机搜索是对各个超参数可能的值进行随机组合，然后从中选取性能最优的组合，网格搜索是把各个超参数可能的值都进行组合，取其中性能最好的组合。但这两种方法计算量大，尤其是网格搜索方法，并且不一定能在找到使模型效果最优的超参数。
发明内容
本发明提供了一种基于改进的麻雀搜索算法的模型参数优化方法、装置，克服了上述现有技术之不足，其能有效解决现有利用随机搜索和网格搜索进行超参数寻优的方法存在的全局寻优效果能力弱、不稳定的问题。
本发明的技术方案之一是通过以下措施来实现的：一种基于改进的麻雀搜索算法的模型参数优化方法，包括：
设置改进的麻雀搜索算法参数和模型超参数搜索范围；
利用PWLCM混沌映射初始化麻雀种群；
根据改进的麻雀搜索算法对个体位置进行迭代更新；
以麻雀个体位置信息为超参数构建模型，确定个体适应度并排序，得到最优、最差适应度个体位置；
多次迭代，以全局最优个体位置信息为超参数构建模型，完成模型参数优化。
下面是对上述发明技术方案的进一步优化或/和改进：
上述利用PWLCM混沌映射初始化麻雀种群，包括：
利用PWLCM混沌映射获取PWLCM混沌序列，其中PWLCM混沌映射如下所示：
其中，p∈(0,1)，zi为PWLCM混沌序列；
将PWLCM混沌序列转换为麻雀个体，初始化麻雀种群，其中转换公式如下所示：
xi＝lb+(ub-lb)×zi
其中，若xi∈[lb,ub]，lb、ub为解空间的上界和下界。
上述根据改进的麻雀搜索算法对个体位置进行迭代更新，包括：
引入自适应权重对改进的麻雀搜索算法中发现者位置进行迭代更新，其中，自适应权重公式和发现者位置更新方法分别如下所示：
(1)适应权重：
其中，t为第t轮迭代，T为迭代轮的最多数量；
(2)发现者位置更新方法：
其中，为第i只麻雀在第t轮迭代时第j维的位置信息；α为落在区间(0，1]的随机数；R为落在[0，1]区间的随机数，作为报警值；ST为[0.5，1]区间内的常数，表示报警触发条件；Q为服从正态分布的随机数；L是1×d且元素全为1的矩阵；
对改进的麻雀搜索算法中加入者位置进行迭代更新，包括：
(1)利用优化的局部搜索方法对改进的麻雀搜索算法中食物充足的加入者位置进行迭代更新；
(2)引入随机差分变异策略对改进的麻雀搜索算法中食物匮乏的加入者位置进行迭代更新。
上述利用优化的局部搜索方法对改进的麻雀搜索算法中食物充足的加入者位置进行迭代更新，包括：
通过下式以当前最优解扰动初始解X*，得到中间解X**；
X**＝Xbest+|X*-Xbest|·A+·L
其中，表示当前发现者中适应度最优的位置；/>表示当前位置；/>表示更新后位置；A为1×d且元素随机取值1或-1的矩阵，A+＝AT(AAT)-1；对X*和X**进行局部搜索来获得更优解：
X1＝X*·rand()
X2＝X**·rand()
其中，rand()为一个0到1之间的随机值；
结合贪心算法计算并比较X1和X2的适应度值选择二者中较优的个体进行位置更新；
利用下式对改进的麻雀搜索算法中食物充足的加入者位置进行更新：
上述引入随机差分变异策略对改进的麻雀搜索算法中食物匮乏的加入者位置进行迭代更新，包括：引入随机差分变异策略,帮助加入者跳出局部最优并改善种群的多样性，并通过下式对改进的麻雀搜索算法中食物匮乏的加入者位置进行更新：
其中，t为当前迭代次数；r1和r2均为[0,1]之间的随机数，为第t轮迭代时，发现者中适应度最优的麻雀在第j维的位置信息；/>为群体中随机选出的个体在第j维的位置信息。
上述模型为XGBoost模型。
上述以麻雀个体位置信息为超参数构建XGBoost模型，XGBoost模型多分类对数损失为适应度值，具体如下所示：
其中，N为样本个数；M为分类类别数；yi,j为真实类别标签，若第i个样本属于j类，则yi,j为1；为模型预测第i个样本属于j类的概率。
本发明的技术方案之二是通过以下措施来实现的：一种基于改进的麻雀搜索算法的模型参数优化装置，包括：
参数设置单元，设置改进的麻雀搜索算法参数和模型超参数搜索范围；
初始化单元，利用PWLCM混沌映射初始化麻雀种群；
位置更新单元，根据改进的麻雀搜索算法对个体位置进行迭代更新；
初步构建单元，以麻雀个体位置信息为超参数构建模型，确定个体适应度并排序，得到最优、最差适应度个体位置；
迭代优化单元，多次迭代，以全局最优个体位置信息为超参数构建模型，完成模型参数优化方法。
本发明基于改进的麻雀搜索算法输出的全局最优个体位置信息构建模型，完成模型参数优化，由于改进的麻雀搜索算法的全局寻优与局部搜索能力强，所以模型参数优化效果更好，使得模型的预测更加准确。
附图说明
附图1为本发明的方法流程图。
附图2为本发明实施例中的各算法优化XGBoost模型时适应度变化曲线对比图。
附图3为本发明的装置结构示意图。
具体实施方式
本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。
下面结合实施例及附图对本发明作进一步描述：
实施例1：如附图1所示，本发明实施例公开了一种基于改进的麻雀搜索算法的模型参数优化方法，包括：
步骤S101，设置改进的麻雀搜索算法参数和模型超参数搜索范围；
步骤S102，利用PWLCM混沌映射初始化麻雀种群；
步骤S103，根据改进的麻雀搜索算法对个体位置进行迭代更新；
步骤S104，以麻雀个体位置信息为超参数构建模型，确定个体适应度并排序，得到最优、最差适应度个体位置；
步骤S105，多次迭代，以全局最优个体位置信息为超参数构建模型，完成模型参数优化。
本发明实施例中使用改进的麻雀搜索算法(Improved Sparrow SearchAlgorithm,ISSA)对模型进行超参数寻优，其中改进的麻雀搜索算法相对于麻雀搜索算法(Sparrow Search Algorithm,SSA)进行改进的地方在于，利用PWLCM混沌映射初始化麻雀种群，在更新发现者位置的过程中引入自适应权重，利用优化的迭代局部搜索方法和随机差分变异策略改进个体位置更新过程，基于上述改进，改进的麻雀搜索算法的初始种群多样性得到提升，全局寻优与局部搜索能力得到增强。因此本发明基于改进的麻雀搜索算法输出的全局最优个体位置信息构建模型，完成模型参数优化，由于改进的麻雀搜索算法的全局寻优与局部搜索能力强，所以模型参数优化效果更好，使得模型的预测更加准确。
实施例2：本发明实施例公开了一种基于改进的麻雀搜索算法的模型参数优化方法，包括：
步骤S201，设置改进的麻雀搜索算法参数和模型超参数搜索范围。
步骤S202，利用PWLCM混沌映射初始化麻雀种群，具体包括：
(1)利用PWLCM混沌映射获取PWLCM混沌序列，其中,PWLCM混沌映射如下所示：
其中，p∈(0,1)，zi为PWLCM混沌序列；
(2)将PWLCM混沌序列转换为麻雀个体，初始化麻雀种群，其中转换公式如下所示：
xi＝lb+(ub-lb)×zi
其中，若xi∈[lb,ub]，lb、ub为解空间的上界和下界。
步骤S203，根据改进的麻雀搜索算法对个体位置进行迭代更新，具体包括：
(一)引入自适应权重对改进的麻雀搜索算法中发现者位置进行迭代更新，其中，自适应权重公式和发现者位置更新方法分别如下所示：
(1)适应权重：
其中，t为第t轮迭代，T为迭代轮的最多数量；
(2)发现者位置更新方法：
其中，Xt i,j为第i只麻雀在第t轮迭代时第j维的位置信息；α为落在区间(0，1]的随机数；R为落在[0，1]区间的随机数，作为报警值；ST为[0.5，1]区间内的常数，表示报警触发条件；Q为服从正态分布的随机数；L是1×d且元素全为1的矩阵。
需要说明的是，引入自适应权重改进麻雀搜索算法中发现者的位置更新过程，动态调控原发现者在寻优过程中的参与程度，在迭代后期加强了算法在解空间的邻域寻优能力。
(二)对改进的麻雀搜索算法中加入者位置进行迭代更新，包括：
(1)利用优化的局部搜索方法对改进的麻雀搜索算法中食物充足的加入者位置进行迭代更新，包括：
通过下式以当前最优解扰动初始解X*，得到中间解X**；
X**＝Xbest+|X*-Xbest|·A+·L
其中，表示当前发现者中适应度最优的位置；/>表示当前位置；/>表示更新后位置；A为1×d且元素随机取值1或-1的矩阵，A+＝AT(AAT)-1；
对X*和X**进行局部搜索来获得更优解：
X1＝X*·rand()
X2＝X**·rand()
其中，rand()为一个0到1之间的随机值；
结合贪心算法计算并比较X1和X2的适应度值选择二者中较优的个体进行位置更新；
利用下式对改进的麻雀搜索算法中食物充足的加入者位置进行更新：
需要说明的是，该步骤中对于食物充足的加入者，利用优化的迭代局部搜索方法，加入者向食物丰富的最优个体靠近后，在其原位置和中间位置进行局部搜索，提升局部搜索的精度，然后根据贪心策略取最优解，保证解的质量。
(2)引入随机差分变异策略对改进的麻雀搜索算法中食物匮乏的加入者位置进行迭代更新，包括：引入随机差分变异策略,帮助加入者跳出局部最优并改善种群的多样性，并通过下式对改进的麻雀搜索算法中食物匮乏的加入者位置进行更新：
其中，t为当前迭代次数；r1和r2均为[0,1]之间的随机数，为第t轮迭代时，发现者中适应度最优的麻雀在第j维的位置信息；/>为群体中随机选出的个体在第j维的位置信息。
需要说明的是，对于食物匮乏的加入者，对其位置更新过程的改进是引入随机差分变异策略,帮助加入者跳出局部最优并改善种群的多样性。
步骤S204，以麻雀个体位置信息为超参数构建模型，确定个体适应度并排序，得到最优、最差适应度个体位置。
在模型为XGBoost模型时，以麻雀个体位置信息为超参数构建XGBoost模型，以该模型多分类对数损失(Multi-LogLoss)为适应度值(fitness)，如下式所示，通过改进麻雀搜索算法寻找一组使模型损失最低的超参数来构建预测模型。
其中，N为样本个数；M为分类类别数；yi,j为真实类别标签，若第i个样本属于j类，则yi,j为1；为模型预测第i个样本属于j类的概率。
步骤S205，多次迭代，以全局最优个体位置信息为超参数构建模型，完成模型参数优化。
实施例3：设置模型为XGBoost模型，利用实施例1和实施例2完成基于改进的麻雀搜索算法的模型参数优化，具体如下：
步骤S301，设置改进的麻雀搜索算法参数和XGBoost模型超参数搜索范围。
具体的，设置改进的麻雀搜索算法参数时，ISSA和SSA中麻雀数量为30，发现者占比20％，警戒者占比10％，安全值为0.8，最多迭代30次；PSO种群数为30，c1，c2为1.5，w为0.8，最多迭代30次。
具体的，模型为XGBoost模型，则在设置模型超参数搜索范围时n_estimators取值范围为2至50，eta取值范围为0.01至0.5，gamma取值范围为0至0.5，max_depth取值范围为3至10。
步骤S302，利用PWLCM混沌映射初始化麻雀种群。其中对应于XGBoost模型，PWLCM混沌序列在转换成麻雀个体时，位置1在2至50之间，作为参数n_estimators的值；位置2在0.01至0.5之间，作为参数eta的值；位置3在0至0.5之间，作为参数gamma的值；位置4在3至10之间，作为参数max_depth的值。
步骤S303，根据改进的麻雀搜索算法对个体位置进行迭代更新，即根据改进的麻雀搜索算法的更新规则，更新发现者、加入者、警戒者的位置信息。
步骤S304，以麻雀个体位置信息为超参数构建XGBoost模型，确定个体适应度并排序，得到最优、最差适应度个体位置。即对比位置更新前后麻雀个体的适应度值，适应度优于当前位置则对位置进行替换，得到新的麻雀个体，进一步得到新的麻雀种群。
步骤S305，多次迭代，以全局最优个体位置信息为超参数构建XGBoost模型，完成模型参数优化。
进一步的，本实施例在验证本发明模型参数优化方法有效性时，利用各类算法优化XGBoost模型，其优化后对应的适应度变化曲线如图2所示。如图2所示中可以看出，从第一轮迭代时的适应度值可以看出，改进的麻雀搜索算法(ISSA)引入混沌映射初始化的麻雀种群质量较高，同时ISSA算法比麻雀搜索算法(SSA)和粒子群优化算法(PSO)的全局寻优能力更强，寻优精度更高，收敛速度更快；改进麻雀搜索算法经过4轮迭代后模型适应度收敛于0.0197。优化得到的n_estimators参数值为24，eta参数值为0.108，gamma参数值为0.185，max_depth参数值为5。
进一步的，各类算法优化XGBoost模型在测试集上的预测能力如表1所示，从表中可以看出ISSA算法相比于SSA算法和PSO算法，其模型优化效果更好。
实施例4：如附图3所示，本发明实施例公开了一种基于改进的麻雀搜索算法的模型参数优化装置，包括：
参数设置单元，设置改进的麻雀搜索算法参数和模型超参数搜索范围；
初始化单元，利用PWLCM混沌映射初始化麻雀种群；
位置更新单元，根据改进的麻雀搜索算法对个体位置进行迭代更新；
初步构建单元，以麻雀个体位置信息为超参数构建模型，确定个体适应度并排序，得到最优、最差适应度个体位置；
迭代优化单元，多次迭代，以全局最优个体位置信息为超参数构建模型，完成模型参数优化方法。
上述参数设置单元、初始化单元、位置更新单元、初步构建单元和迭代优化单元具体的实现过程对应于实施例1和实施例2，不在赘述。
实施例5：本发明实施例公开了一种存储介质，所述存储介质上存储有能被计算机读取的计算机程序，所述计算机程序被设置为运行时执行基于改进的麻雀搜索算法的模型参数优化方法。
上述存储介质可以包括但不限于：U盘、只读存储器、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例6：本发明实施例公开了一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，计算机程序由处理器加载并执行以实现基于改进的麻雀搜索算法的模型参数优化方法。
上述处理器可以是中央处理器CPU，通用处理器，数字信号处理器DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。存储器可以包括但不限于：U盘、只读存储器、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
以上技术特征构成了本发明的最佳实施例，其具有较强的适应性和最佳实施效果，可根据实际需要增减非必要的技术特征，来满足不同情况的需求。
表1预测结果表
模型 精确率 召回率 F1-score
PSO-XGBoost 0.8836 0.8814 0.8818
SSA-XGBoost 0.9170 0.9153 0.9152
ISSA-XGBoost 0.9337 0.9322 0.9323

Claims (10)

1.一种基于改进的麻雀搜索算法的模型参数优化方法，其特征在于，包括：
设置改进的麻雀搜索算法参数和模型超参数搜索范围；
利用PWLCM混沌映射初始化麻雀种群；
根据改进的麻雀搜索算法对个体位置进行迭代更新；
以麻雀个体位置信息为超参数构建模型，确定个体适应度并排序，得到最优、最差适应度个体位置；
多次迭代，以全局最优个体位置信息为超参数构建模型，完成模型参数优化。
2.根据权利要求1所述的基于改进的麻雀搜索算法的模型参数优化方法，其特征在于，所述利用PWLCM混沌映射初始化麻雀种群，包括：
利用PWLCM混沌映射获取PWLCM混沌序列，其中PWLCM混沌映射如下所示：
其中，p∈(0,1)，zi为PWLCM混沌序列；
将PWLCM混沌序列转换为麻雀个体，初始化麻雀种群，其中转换公式如下所示：
xi＝lb+(ub-lb)×zi
其中，若xi∈[lb,ub]，lb、ub为解空间的上界和下界。
3.根据权利要求1或2所述的基于改进的麻雀搜索算法的模型参数优化方法，其特征在于，所述根据改进的麻雀搜索算法对个体位置进行迭代更新，包括：
引入自适应权重对改进的麻雀搜索算法中发现者位置进行迭代更新，其中，自适应权重公式和发现者位置更新方法分别如下所示：
(1)适应权重：
其中，t为第t轮迭代，T为迭代轮的最多数量；
(2)发现者位置更新方法：
其中，为第i只麻雀在第t轮迭代时第j维的位置信息；α为落在区间(0，1]的随机数；R为落在[0，1]区间的随机数，作为报警值；ST为[0.5，1]区间内的常数，表示报警触发条件；Q为服从正态分布的随机数；L是1×d且元素全为1的矩阵；
对改进的麻雀搜索算法中加入者位置进行迭代更新，包括：
(1)利用优化的局部搜索方法对改进的麻雀搜索算法中食物充足的加入者位置进行迭代更新；
(2)引入随机差分变异策略对改进的麻雀搜索算法中食物匮乏的加入者位置进行迭代更新。
4.根据权利要求3所述的基于改进的麻雀搜索算法的模型参数优化方法，其特征在于，所述利用优化的局部搜索方法对改进的麻雀搜索算法中食物充足的加入者位置进行迭代更新，包括：
通过下式以当前最优解扰动初始解X*，得到中间解X**；
X**＝Xbest+|X*-Xbest|·A+·L
其中，表示当前发现者中适应度最优的位置；/>表示当前位置；表示更新后位置；A为1×d且元素随机取值1或-1的矩阵，A+＝AT(AAT)-1；
对X*和X**进行局部搜索来获得更优解：
X1＝X*·rand()
X2＝X**·rand()
其中，rand()为一个0到1之间的随机值；
结合贪心算法计算并比较X1和X2的适应度值选择二者中较优的个体进行位置更新；
利用下式对改进的麻雀搜索算法中食物充足的加入者位置进行更新：
5.根据权利要求3所述的基于改进的麻雀搜索算法的模型参数优化方法，其特征在于，所述引入随机差分变异策略对改进的麻雀搜索算法中食物匮乏的加入者位置进行迭代更新，包括：引入随机差分变异策略,帮助加入者跳出局部最优并改善种群的多样性，并通过下式对改进的麻雀搜索算法中食物匮乏的加入者位置进行更新：
其中，t为当前迭代次数；r1和r2均为[0,1]之间的随机数，为第t轮迭代时，发现者中适应度最优的麻雀在第j维的位置信息；/>为群体中随机选出的个体在第j维的位置信息。
6.根据权利要求1至5中任一项所述的基于改进的麻雀搜索算法的模型参数优化方法，其特征在于，所述模型为XGBoost模型。
7.根据权利要求6所述的基于改进的麻雀搜索算法的模型参数优化方法，其特征在于，所述以麻雀个体位置信息为超参数构建XGBoost模型，XGBoost模型多分类对数损失为适应度值，具体如下所示：
其中，N为样本个数；M为分类类别数；yi,j为真实类别标签，若第i个样本属于j类，则yi,j为1；为模型预测第i个样本属于j类的概率。
8.一种应用权利要求1至7中任意一项所述方法的基于改进的麻雀搜索算法的模型参数优化装置，其特征在于，包括：
参数设置单元，设置改进的麻雀搜索算法参数和模型超参数搜索范围；
初始化单元，利用PWLCM混沌映射初始化麻雀种群；
位置更新单元，根据改进的麻雀搜索算法对个体位置进行迭代更新；
初步构建单元，以麻雀个体位置信息为超参数构建模型，确定个体适应度并排序，得到最优、最差适应度个体位置；
迭代优化单元，多次迭代，以全局最优个体位置信息为超参数构建模型，完成模型参数优化方法。
9.一种存储介质，其特征在于，所述存储介质上存储有能被计算机读取的计算机程序，所述计算机程序被设置为运行时执行如权利要求1至7任一项所述的基于改进的麻雀搜索算法的模型参数优化方法。
10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，计算机程序由处理器加载并执行以实现如权利要求1至7任一项所述的基于改进的麻雀搜索算法的模型参数优化方法。
CN202310529667.XA 2023-05-11 2023-05-11 基于改进的麻雀搜索算法的模型参数优化方法、装置 Pending CN116596021A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310529667.XA CN116596021A (zh) 2023-05-11 2023-05-11 基于改进的麻雀搜索算法的模型参数优化方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310529667.XA CN116596021A (zh) 2023-05-11 2023-05-11 基于改进的麻雀搜索算法的模型参数优化方法、装置

Publications (1)

Publication Number Publication Date
CN116596021A true CN116596021A (zh) 2023-08-15

Family

ID=87594848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310529667.XA Pending CN116596021A (zh) 2023-05-11 2023-05-11 基于改进的麻雀搜索算法的模型参数优化方法、装置

Country Status (1)

Country Link
CN (1) CN116596021A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648552A (zh) * 2023-12-18 2024-03-05 深圳世纪前沿量化科技有限公司 一种基于云计算的量化数据处理方法
CN117787105A (zh) * 2024-01-08 2024-03-29 西南交通大学 一种隧道围岩分级方法、装置、设备及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117648552A (zh) * 2023-12-18 2024-03-05 深圳世纪前沿量化科技有限公司 一种基于云计算的量化数据处理方法
CN117787105A (zh) * 2024-01-08 2024-03-29 西南交通大学 一种隧道围岩分级方法、装置、设备及可读存储介质
CN117787105B (zh) * 2024-01-08 2024-06-07 西南交通大学 一种隧道围岩分级方法、装置、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN116596021A (zh) 基于改进的麻雀搜索算法的模型参数优化方法、装置
CN112101530B (zh) 神经网络训练方法、装置、设备及存储介质
CN107506865B (zh) 一种基于lssvm优化的负荷预测方法及系统
CN109872330A (zh) 一种改进狮群优化的二维Otsu快速图像分割方法
CN113469426A (zh) 基于改进bp神经网络的光伏输出功率预测方法及系统
CN117117859B (zh) 基于神经网络的光伏发电功率预测方法及系统
CN116596095B (zh) 基于机器学习的碳排放量预测模型的训练方法及装置
CN114580281A (zh) 模型量化方法、装置、设备、存储介质及程序产品
CN113391894A (zh) 一种基于rbp神经网络的最优超任务网优化方法
CN109961129A (zh) 一种基于改进粒子群的海上静止目标搜寻方案生成方法
CN109492816B (zh) 一种基于混合智能的煤与瓦斯突出动态预测方法
CN109214610B (zh) 一种基于长短期记忆神经网络的饱和电力负荷预测方法
CN113094899B (zh) 一种随机潮流计算方法、装置、电子设备及存储介质
CN111813669B (zh) 基于多目标群体智能的适应性随机测试用例生成方法
CN117236541A (zh) 基于注意力指针网络的分布式物流配送路径规划方法及系统
CN112232401A (zh) 一种基于差分隐私及随机梯度下降的数据分类方法
CN115546626B (zh) 面向数据双重不平衡的降偏场景图生成方法及系统
CN115690476A (zh) 一种基于改进和声搜索算法的数据自动聚类方法
CN115102868A (zh) 一种基于SOM聚类与深度自编码器的web服务QoS预测方法
CN114064235A (zh) 多任务教与学优化方法、系统及设备
CN114399152B (zh) 产业园区综合能源调度优化方法及装置
CN112161621B (zh) 一种无模型辅助导航适配区域选取方法
Dhivya et al. Weighted particle swarm optimization algorithm for randomized unit testing
CN112669893B (zh) 确定待使用读电压的方法、系统、装置及设备
CN113469244B (zh) 小众app分类系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination