CN109255428A - 一种基于快速傅里叶变换的新型智能优化算法 - Google Patents

一种基于快速傅里叶变换的新型智能优化算法 Download PDF

Info

Publication number
CN109255428A
CN109255428A CN201811153754.5A CN201811153754A CN109255428A CN 109255428 A CN109255428 A CN 109255428A CN 201811153754 A CN201811153754 A CN 201811153754A CN 109255428 A CN109255428 A CN 109255428A
Authority
CN
China
Prior art keywords
fast fourier
algorithm
region
fourier transform
fft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811153754.5A
Other languages
English (en)
Inventor
赵付青
杨国强
宋厚彬
何继爱
唐建新
姚毓凯
丁凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN201811153754.5A priority Critical patent/CN109255428A/zh
Publication of CN109255428A publication Critical patent/CN109255428A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Discrete Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Development Economics (AREA)
  • Computing Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Complex Calculations (AREA)

Abstract

本发明公开了一种基于快速傅里叶变换的新型智能优化算法，在该算法中，通过快速傅立叶变换将整个解空间划分为不同的连通区域。首先，解空间每个维度的频谱可以由快速傅立叶变换获得，振幅小的频率将会被过滤。搜索空间被划分为多个子空间，并确保每个子空间都是单调的。其次，利用二分搜索算法在每个子空间中找到局部最优解。最后，使用梯度下降算法在所有的子空间中找到最优的区域并将其作为下一次迭代的初始搜索区域。本发明算法通过区域分割快速排除了大量不包含最优解的搜索区域，具有收敛速度快的特点，适合解决连续函数优化问题。与最近的启发式优化算法相比，本发明算法在解的质量及鲁棒性方面，均具有较好的性能。

Description

一种基于快速傅里叶变换的新型智能优化算法
技术领域
本发明涉及优化算法领域，尤其涉及一种基于快速傅里叶变换的新型智能优化算法。
背景技术
函数的极值问题是数学中的重要问题之一。目前优化算法主要分为两类，一类是传统的优化算法，如牛顿法、单纯形法、共扼梯度法、区间算法、模式搜索法、分枝定界法和填充函数法等。另一类则是基于生物学、物理学和人工智能发展的群智能优化算法，如遗传算法、粒子群算法、蚁群算法、和声算法、鱼群算法和猴群算法等。传统的优化算法在处理非线性函数以及复杂、多峰值高纬度函数时，计算速度、收敛速度慢，并且容易陷入局部最优解。近些年逐渐兴起的群智能优化算法，能较好地解决组合优化问题中约束条件的限制，并不易陷入局部最优解，被广泛应用。
目前，群智能优化算法已经在各个领域都发挥了很重要的作用，但群体智能优化算法普遍存在早熟收敛，全局寻优能力较弱，算法循环次数较多，在高维情况下收敛速度慢，容易陷入局部最优等问题。因此，存在进一步的研究空间和价值。傅里叶变换最初由Jean Baptiste在1807年提出。傅里叶变换可以将连续信号分为一系列的正弦函数。傅里叶变换被广泛应用于不同的领域中，比如信号处理，图像压缩，图像处理，数学分析等。然而，并没有相关的研究使用傅里叶变换来解决连续函数的全局数值优化问题。
发明内容
本发明的目的就在于为了解决上述问题而提供一种基于快速傅里叶变换的新型智能优化算法。本发明提出了基于快速傅里叶变换的方法使得搜索空间不再是以点为基本单元，而是以每个维度最小频率对应的周期的1/2或更小所围成的区域为基本单元。这种分割方法能保证在每个维度上只存在4中可能性：1) 单调上升；2)单调下降；3)有且只有1个极大值点；4)有且只有1个极小值点。在这种特殊的区域内就能使用二分查找法来寻找每个维度上所能达到的最优解所在位置的集合。各个维度上的最好位置组合成的个体便是这个区域内最优解所在的位置。这使得算法不再与种群的数量有关，而是和数据的最小频率的数量有关。这将极大的减少了搜索空间，提高了搜索效率。HSAS/FFT是快速傅里叶变换、梯度下降算法和二分搜索算法的有机结合。利用快速傅里叶变换对搜索区域进行划分，然后采用梯度下降算法对分割搜索区域进行过滤，最终使用二分搜索算法在分割搜索区域中寻找全局最优解。实验结果表明，该算法在搜索区域划分的基础上优于其他比较算法。
算法开始时，搜索空间根据FFT产生的频率被划分为不同的子区域。然后利用梯度下降算法在所有的子区域中寻找最优的区域。最后，采用二分搜索算法，寻找最优值的最优值。
本发明通过以下技术方案来实现上述目的：
本发明包括以下步骤：
(A)参数初始化：梯度下降法中使用的种群数量、评价子区域时的抽样数目；记录已搜索区域的禁忌表长度；
(B)通过快速傅里叶变换获得目标函数每个维度的频谱，这些函数的每一个维度都由快速傅里叶变换进行处理，并获得相应的频率和振幅，得到大于平均振幅的频率；根据上述振幅，相应的频率得到了实现；如下所示：
ffi＝find(FA＞mean(FAi)*divF)i＝1，2，…，D (1)
其中ffi为第i维进行快速傅里叶变换后振幅满足条件的对应频率
FAi为快速傅里叶变换后各个频率的振幅，divF为频率过滤倍数；
快速傅里叶变化结果与真实频率的转换公式：
其中xu为区域上界,xl为区域下界，realfi为第i维的真实频率集合；
子区域大小如下：
其中Si为第i维度进行分割的长度，divT为周期分割倍数；
(C)种群初始化及种群评估；
根据式(1)、(2)和(3)将搜索空间划分为不同的区域，并由式(6)随机选取一部分作为初始搜索区域；在选取的子区域中进行无偏随机抽样，然后用取样点函数值的均值对划分区域进行评估；
ai＝AREASi×randi＝1，2，…，D (4)
其中AREASi为第i维子区域的数量，ai为起始搜索区域；将初始搜索区域作为初始种群POP；
其中mean(f(Ak))代表第k个子区域随机抽样点函数值的均值；
(D)使用梯度下降算法在所有的子区域中找到最优的区域；
(E)使用一个小概率Pm对子区域进行随机重置；
(F)检查收敛准则；如果相同的个体(same_indiv)大于div_Cvg，那么该相同区域被视为最优解存在的区域；否则，返回步骤4继续进行迭代；
其中div_Cvg是判断是否收敛的阈值。
本发明的有益效果在于：
本发明是一种基于快速傅里叶变换的新型智能优化算法，与现有技术相比，本发明具有如下优点：
(1)算法仅需比较目标函数值，无需利用具体的函数表达式。目标函数可以是具体的函数表达式，也可以是黑盒函数；
(2)利用傅里叶变换将搜索区域划分为多个子区域，通过对各个子区域的评价能快速地排除某些劣势区域加快算法收敛速度；
(3)对高维多峰复杂问题具有较强的全局收敛性、较少的循环次数以及较高的稳定性。
附图说明
图1为函数f9两个维度的图形和频谱图；
图2为HSAS/FFT的流程图；
图3为HSAS/FFT,CMA-ES,DE,HIS和PS-MEABC对某些典型函数的收敛曲线。
具体实施方式
下面结合附图对本发明作进一步说明：
本发明包括以下步骤：
(A)参数初始化：梯度下降法中使用的种群数量、评价子区域时的抽样数目；记录已搜索区域的禁忌表长度；
(B)通过快速傅里叶变换获得目标函数每个维度的频谱，这些函数的每一个维度都由快速傅里叶变换进行处理，并获得相应的频率和振幅，得到大于平均振幅的频率；根据上述振幅，相应的频率得到了实现；如下所示：
ffi＝find(FAi＞mean(FAi)*divF)i＝1，2，…，D (1)
其中ffi为第i维进行快速傅里叶变换后振幅满足条件的对应频率 FAi为快速傅里叶变换后各个频率的振幅，divF为频率过滤倍数；
快速傅里叶变化结果与真实频率的转换公式：
其中xu为区域上界，xl为区域下界，realfi为第i维的真实频率集合；
子区域大小如下：
其中si为第i维度进行分割的长度，divT为周期分割倍数；
例如，附图1中(a)和(c)为IEEE CEC 2017基准测试函数f9第一维度及第二维度的图形；附图1中(b)和(d)为f9第一维度及第二维度对应的频谱图，其横坐标为频率，纵坐标为振幅；选择振幅最大的频率并由式(2)及式(3)转化为区域分割大小；
(C)种群初始化及种群评估；
根据式(1)、(2)和(3)将搜索空间划分为不同的区域，并由式(6)随机选取一部分作为初始搜索区域；在选取的子区域中进行无偏随机抽样，然后用取样点函数值的均值对划分区域进行评估；
ai＝AREASi×rand i＝1，2，…，D (4)
其中AREASi为第i维子区域的数量，ai为起始搜索区域；将初始搜索区域作为初始种群POP；
其中mean(f(Ak))代表第k个子区域随机抽样点函数值的均值；
(D)使用梯度下降算法在所有的子区域中找到最优的区域；
(E)使用一个小概率Pm对子区域进行随机重置；
(F)检查收敛准则；如果相同的个体(same_indit)大于div_Cvg，那么该相同区域被视为最优解存在的区域；否则，返回步骤4继续进行迭代；
其中div_Cvg是判断是否收敛的阈值。
为了检验HSAS/FFT算法的性能，采用IEEE CEC 2017中30个单目标实值基准函数对该算法进行评价。表1中列出了这些具有不同特征的函数。f1-f3是单峰函数；f4–f10为简单多模态函数，其具有较多的局部最优解；f11-f20是混合函数，其变量不同子部分拥有不同的特性。f21–f30为复合函数。所有这些基准函数都为最小化问题。有关这些函数的详细定义请参见文献[1]。
将HSAS/FFT算法与四种最先进的元启发式算法相比较，包括协方差矩阵自适应进化策略[2](Covariance Matrix Adaptation Evolutionary Strategies， CMA-ES)，标准差分进化算法[3](Differential Evolution，DE)，改进的和声搜索算法[4](Improved HarmonySearch，IHS)和粒子群启发的多精英的人工蜂群算法[5](Particle Swarm InspiredMulti-elitist Artificial Bee Colony， PS-MEABC)。
为了同上述算法进行公平的比较，函数维度设为30，所有的算法均运行20 秒。每一个函数独立重复运行30次并统计其最优值、最差值、平均值及标准差。所有的算法在具有3.4GhzCoreTMi7-6700CPU，8GB内存及64位操作系统的PC上运行。
各算法的参数设置如下：
a)HSAS/FFT：div F＝10,div_T＝1/3,Pm＝0.05,
div_Cvg＝8/10,area_FS＝20，种群数目＝10。
b)CMA-ES：参数设定遵从文献[2]，其默认参数设置为:
c)DE：交叉概率CR＝0.9，缩放因子F＝0.5种群数目NP＝100。
d)HIS：HMS＝8,HMCR＝0.95,gn为算法的运行时间，NI为
最大运行时间，PAR及bw计算如下：
e)PS-MEABC：种群数目为100，旁观蜂(onlooker bees)数目为50，雇佣蜂(employbees)数目为50，L＝25,a＝1，精英大小为5。
表2为上述5个算法对表1中30个函数的优化结果。
图2为上述5个算法对某些典型函数的收敛曲线。
从表2中得知，对于单峰函数f1–f3，与其他算法相比，所有函数都有显著的改进。从相应的收敛曲线中可以看出，HSAS/FFT的收敛速度比其他收敛速度快。对于多模态函数f4–f10，在f4、f6、f8和f9上的性能优于所有指标中的比较算法。对于混合函数f11–f20，除了f12和f20之外，HSAS/FFT所实现的所有函数的平均值和最优值均优于其它算法。对于组合函数f21–f30，HSAS/FFT 所实现的所有函数的平均值和最优值均优于其它算法，除了f21、f24和f29。综上所述，HSAS/FFT对于大部分测试函数，其优化结果均优于目前的四种最先进的元启发式算法，具有较好的全局收敛性及鲁棒性。
表2.HSAS/FFT,CMA-ES,DE,HIS和PS-MEABC对IEEE CEC 2017的优化结果。
以下给出检索的相关文献：
[1]Awad N,Ali M,Liang J,Qu B,Suganthan P.Problem Definitions andEvaluation Criteria for the CEC 2017 Special Session and Competition onSingle Objective Real-Parameter Numerical Optimization[J].2016.
[2]Hansen N,Ostermeier A.Completely derandomized self-adaptation inevolution strategies[J].Evolutionary Computation,2001,9(2):159.
[3]price R s a k.Differential Evolution-A Simple and EfficientHeuristic for global Optimization over Continuous Spaces[J].Journal of GlobalOptimization,1997,11(4):341-359.
[4]Gao K,Pan Q,Zuo F,Duan J.A harmony search algorithm for the no-wait flow shop optimization scheduling [C].Proceedings of the ControlConference(CCC),2010 29th Chinese,2010:1723-1726.
[5]Xiang Y,Peng Y,Zhong Y,Chen Z,Lu X,Zhong X.A particle swarminspired multi-elitist artificial bee colony algorithm for real-parameteroptimization[J].Computational Optimization and Applications,2014, 57(2):493-516.
以上显示和描述了本发明的基本原理和主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种基于快速傅里叶变换的新型智能优化算法，其特征在于，包括以下步骤：
(A)参数初始化：梯度下降法中使用的种群数量、评价子区域时的抽样数目；记录已搜索区域的禁忌表长度；
(B)通过快速傅里叶变换获得目标函数每个维度的频谱，这些函数的每一个维度都由快速傅里叶变换进行处理，并获得相应的频率和振幅，得到大于平均振幅的频率；根据上述振幅，相应的频率得到了实现；如下所示：
ffi＝find(FAi＞mean(FAi)*divF)i＝1，2，…，D (1)
其中ffi为第i维进行快速傅里叶变换后振幅满足条件的对应频率FAi为快速傅里叶变换后各个频率的振幅，divF为频率过滤倍数；
快速傅里叶变化结果与真实频率的转换公式：
其中xu为区域上界,xl为区域下界，realfi为第i维的真实频率集合；
子区域大小如下：
其中Si为第i维度进行分割的长度，divT为周期分割倍数；
(C)种群初始化及种群评估；
根据式(1)、(2)和(3)将搜索空间划分为不同的区域，并由式(6)随机选取一部分作为初始搜索区域；在选取的子区域中进行无偏随机抽样，然后用取样点函数值的均值对划分区域进行评估；
ai＝AREASi×rand i＝1，2，…，D (4)
其中AREASi为第i维子区域的数量，ai为起始搜索区域；将初始搜索区域作为初始种群POP；
其中mean(f(Ak))代表第k个子区域随机抽样点函数值的均值；
(D)使用梯度下降算法在所有的子区域中找到最优的区域；
(E)使用一个小概率Pm对子区域进行随机重置；
(F)检查收敛准则；如果相同的个体(same_indiv)大于div_Cvg，那么该相同区域被视为最优解存在的区域；否则，返回步骤4继续进行迭代；
其中div_Cvg是判断是否收敛的阈值。
CN201811153754.5A 2018-09-30 2018-09-30 一种基于快速傅里叶变换的新型智能优化算法 Pending CN109255428A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811153754.5A CN109255428A (zh) 2018-09-30 2018-09-30 一种基于快速傅里叶变换的新型智能优化算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811153754.5A CN109255428A (zh) 2018-09-30 2018-09-30 一种基于快速傅里叶变换的新型智能优化算法

Publications (1)

Publication Number Publication Date
CN109255428A true CN109255428A (zh) 2019-01-22

Family

ID=65044924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811153754.5A Pending CN109255428A (zh) 2018-09-30 2018-09-30 一种基于快速傅里叶变换的新型智能优化算法

Country Status (1)

Country Link
CN (1) CN109255428A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115659109A (zh) * 2022-12-29 2023-01-31 湖南毂梁微电子有限公司 非顺序访问的可配置快速傅里叶运算装置及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115659109A (zh) * 2022-12-29 2023-01-31 湖南毂梁微电子有限公司 非顺序访问的可配置快速傅里叶运算装置及方法

Similar Documents

Publication Publication Date Title
CN109167835A (zh) 一种基于kubernetes的物理资源调度方法及系统
CN115563610B (zh) 入侵检测模型的训练方法、识别方法和装置
CN113344128B (zh) 一种基于微簇的工业物联网自适应流聚类方法及装置
CN111275132A (zh) 一种基于sa-pfcm++算法的目标分群方法
Kim et al. Fine-grained neural architecture search
CN116701979A (zh) 基于受限k-均值的社交网络数据分析方法及系统
CN109255428A (zh) 一种基于快速傅里叶变换的新型智能优化算法
Fernandes et al. Convolutional neural networks for the classification of glitches in gravitational-wave data streams
Wang et al. An adaptive firefly algorithm for multilevel image thresholding based on minimum cross-entropy
CN117193992A (zh) 模型训练方法、任务调度方法、装置以及计算机存储介质
Cholachgudda et al. Performance Analysis of Deep Neural Networks for Tomato Leaf Disease Classification with Server-Based Computing
CN104468276A (zh) 基于随机抽样多分类器的网络流量识别方法
Ferianc et al. Vinnas: Variational inference-based neural network architecture search
CN103544501B (zh) 基于傅里叶变换的室内室外场景分类方法
Lu et al. Compressed network in network models for traffic classification
CN108446740B (zh) 一种用于脑影像病历特征提取的多层一致协同方法
Kundu et al. Optimal Machine Learning Based Automated Malaria Parasite Detection and Classification Model Using Blood Smear Images.
CN114511760B (zh) 一种样本均衡方法、装置、设备及存储介质
CN116430317A (zh) 一种辐射源调制样式与个体识别方法及系统
KR20200103177A (ko) 빅데이터 분석을 위한 시장 세분화 반딧불 알고리즘 방법 및 시스템
CN113296947B (zh) 基于改进XGBoost模型的资源需求预测方法
CN111274498B (zh) 一种网络特征社区查找方法
Danesh et al. Data clustering based on an efficient hybrid of K-harmonic means, PSO and GA
Li et al. A BYY scale-incremental EM algorithm for Gaussian mixture learning
CN112598048A (zh) 一种根据物体的统计特性自适应的选择正负样本的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190122