CN113391894A - 一种基于rbp神经网络的最优超任务网优化方法 - Google Patents

一种基于rbp神经网络的最优超任务网优化方法 Download PDF

Info

Publication number
CN113391894A
CN113391894A CN202110649240.4A CN202110649240A CN113391894A CN 113391894 A CN113391894 A CN 113391894A CN 202110649240 A CN202110649240 A CN 202110649240A CN 113391894 A CN113391894 A CN 113391894A
Authority
CN
China
Prior art keywords
neural network
task
particle
rbf neural
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110649240.4A
Other languages
English (en)
Inventor
刘晓
齐德昱
黄文豪
姚佳俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110649240.4A priority Critical patent/CN113391894A/zh
Publication of CN113391894A publication Critical patent/CN113391894A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于RBP神经网络的最优超任务网优化方法，涉及最优超任务网优化技术领域，包括以下步骤：预先选取每个任务的数据训练集对多个任务进行模型训练，获得RBF神经网络模型，并标定RBF神经网络的参数信息和获取核函数中心点特征信息，对任意未知的新点进行目标值的预测，获取其对应的多个任务的目标函数值，并筛选出真实目标函数值最大时所对应的点作为对应任务优化后的超参数组合，本发明通过将该RBP神经网络模型应用到贝叶斯优化算法中，实现超参数的优化，通过标量的学习因子标定为向量，并进行范围适应的初始化，实现了对多个任务的目标函数值进行筛选的，获取候选点的选择优化，提高了任务执行调度效率和适应度。

Description

一种基于RBP神经网络的最优超任务网优化方法
技术领域
本发明涉及最优超任务网优化技术领域，具体来说，涉及一种基于RBP神经网络的最优超任务网优化方法。
背景技术
相关多任务与大任务(简称相关任务集)的在基础计算设施上的面向透明并行高性能执行，解决目前的众核系统调度算法存在的问题：A)不能应对任务相关性的动态变化，B)不能充分利用数目众多的计算设施(如即将到来的核的数目成数量级的增长的多核系统)。这些问题导致了任务执行调度效率低下、调度复杂度激增的的情况；
目前对于超任务网优化问题常用的解决办法是使用贝叶斯优化算法，并将高斯过程模型作为代理模型，然后利用采集函数作为搜索的指导函数，选择出最有可能是最优解的点。但是，在随着训练样本的数据量增加时，高斯过程中协方差矩阵的计算量会变得非常大，需要很长的时间，并且现有的使用贝叶斯优化算法是将单个任务进行优化，若存在多个相关任务，无法学习到多个任务之间的相关信息。
检索专利CN108924192A公开了一种数据中心网络下基于伪树结构的最优任务调度方法及系统，以映射代价为目标，根据工作负载请求WK和基础设施网络SN建立约束优化问题模型COP，将工作负载请求WK中的虚拟节点建立伪树，从伪树的叶节点开始向父节点逐级报告并生成最优部分解集合，直至伪树的根节点生成最终的最优部分解集合，从伪树的根节点开始向子节点逐级传递解消息，各个节点根据解消息确认取值。能够实现规模适中环境下的虚拟网络映射、数据中心网络下资源分配等应用，从而实现高效甚至最优的任务资源调度。但其存在任务执行调度效率低下、调度复杂度激增的的情况，另外存在无法对多个相关任务进行优化。
针对相关技术中的问题，目前尚未提出有效的解决方案。
发明内容
针对相关技术中的问题，本发明提出一种基于RBP神经网络的最优超任务网优化方法，以克服现有相关技术所存在的上述技术问题。
本发明的技术方案是这样实现的：
一种基于RBP神经网络的最优超任务网优化方法，包括以下步骤：
预先选取每个任务的数据训练集对多个任务进行模型训练，获得RBF神经网络模型，其中包括标定RBF神经网络的参数信息和获取核函数中心点特征信息；
进行RBF神经网络预测，当RBF神经网络模型训练完成，基于训练好的RBF神经网络模模型对任意未知的新点x*进行目标值的预测，获取其对应的多个任务的目标函数值；
对多个任务的目标函数值进行筛选，筛选出每个任务的一个候选点，并筛选出真实目标函数值最大时所对应的点作为对应任务优化后的超参数组合，其中包括获取候选点的选择优化，包括以下步骤：
设置采集函数EI作为粒子群算法的适应度函数，并且设置粒子的种群大小，每个粒子的搜索维度和空间，迭代的最大次数，其中包括：
将标量的学习因子标定为向量，表示为：
Figure BDA0003111095780000021
其中，
Figure BDA0003111095780000022
为第k次迭代中的粒子i速度的第d维分量，
Figure BDA0003111095780000023
为第k次迭代中的粒子i位置的第d维分量，
Figure BDA0003111095780000024
是第k次迭代过后粒子i历史最优解值得第d维分量，
Figure BDA0003111095780000025
为整个粒子群全局最优值得第d维分量，w是惯性权重，r1和r2为(0，1)的随机数，c1d和c2d分别是各自在第d维度的分量，c1和c2是学习因子；
进行范围适应的初始化：表示为：
Figure BDA0003111095780000026
其中，cd为d维度的学习因子，
Figure BDA0003111095780000027
和bd 分别代表d维度所表示的超参数的上界和下界，通常学习因子要大于等于1，其中，学习因子设置为0，表示该维度的粒子分量不参与更新；
开始迭代，对每个粒子进行预测，并获取出每个粒子的EI值，并将每个粒子的EI值与其当前最优位置进行比较，若粒子的EI值大于当前最优位置，那么更新粒子的当前最优位置，将每个粒子的当前最优位置与粒子的全局最优位置进行比较，若存在某个粒子的当前最优位置更好，那么就用当前最优位置替代全局最优位置gbest；
将每个粒子的信息进行更新，并输出粒子的全局最优位置gbest；
进行对于选出的候选点x*，对其总共进行N次真实评价，获得数据，表示为：
f1(x*),f2(x*),...,fN(x*)；
再将新的数据加入到原来的数据集中，对新的候选点进行评价与更新数据集，表示为：
Figure BDA0003111095780000031
进一步的，所述RBF神经网络模型的参数，包括标定高斯核函数作为径向基函数，表示为：
Figure BDA0003111095780000032
其中，xp为数据集中的一个数据，xc为核函数的中心点，σ为核函数的宽度参数，控制着函数的径向范围。
进一步的，所述核函数的中心点，包括以下步骤：
确定中心点的个数n，初始化各类别集合
Figure BDA0003111095780000033
k＝1,2,...,n；
从数据集
Figure BDA0003111095780000034
中随机选取n个样本作为初始的聚类中心{c1,c2,...,cn}；
计算数据集中每一个样xi,i＝1,2,...,n0和各个聚类中心cj,j＝1,2,...,n之间的距离
Figure BDA0003111095780000035
对每一个xi，将其划分到距离最近的聚类中心所属的类别λi，更新
Figure BDA0003111095780000037
重新计算各类别的中心，表示为：
Figure BDA0003111095780000036
j＝1,2,...,n；
输出各聚类中心cj,j＝1,2,...,n。
进一步的，基于获取所述核函数的中心点，还包括以下步骤：
基于核函数的中心点，获取方差，表示为：
Figure BDA0003111095780000041
其中，cmax为观察点与中心点之间的最大距离，n是中心点的数量。
进一步的，对所述RBF神经网络模型进行训练，包括以下步骤：
获取初始训练数据集；
对RBF神经网络的权值进行初始化，并设置RBF神经网络的初始学习率；
将训练数据集输入RBF神经网络，开始RBF神经网络的训练；
根据RBF神经网络的输出值和目标函数的真实值计算各个任务在输出层上的误差，误差使用δi＝yi-y′i,i＝1,2,...,N表示，然后将其向前一层传播到达相关性层，并计算出相关性层上的误差为
Figure BDA0003111095780000042
i＝1,2,...,N；
根据输出层的误差来更新相似性参数L，表示为：
Lij′＝Lij+ηδjhi,i,j＝1,2,...,N，基于相关性层的误差来更新权值W，表示为：
Figure BDA0003111095780000046
计算出多个任务的总误差为：
Figure BDA0003111095780000043
结束RBF神经网络训练，模型训练完成，将训练好的模型与其对应的权值进行保存；
其中，n和N分别代表径向基函数中心点的数量和相关任务的数量，参数η为学习率。
进一步的，所述RBF神经网络模型预测，包括以下步骤：
确定需要被预测的新点x*；
基于确定的n个中心点，计算出输入层到隐藏层的映射，表示为：
Figure BDA0003111095780000044
基于训练所述RBF神经网络中的权值矩阵W，计算出隐藏层的输出，表示为：
Figure BDA0003111095780000045
基于训练所述RBF神经网络的相关性参数矩阵L，计算出每个任务对应的输出为，表示为：
Figure BDA0003111095780000051
其中，n和N同样分别代表径向基函数中中心点的数量和一起学习的相关任务的数量，ci为第i个中心点。
进一步的，所述对多个任务的目标函数值进行筛选，筛选出每个任务的一个候选点，包括以下步骤：
预先标定输入参数，包括初始数据量n0、学习的相关任务数量N、最大迭代次数Nmax和代理模型的数量m；
输出
Figure BDA0003111095780000052
获取在搜索空间中寻找到的任务j的最优值，包括以下步骤：
在搜索空间范围内产生均匀分布的初始数据。初始数据，表示为：
An0＝{(xi,f1(xi),f2(xi),...,fN(xi)),i＝1,2,...,n0}；
分别确定m个模型的中心点个数C1,C2,…,Cm；
使用K均值聚类算法选出每个模型所对应的中心点；
使用初始数据An0和核函数中心点的选择策略，获取多个不同的代理模型，表示为：
S1(x),S2(x),…,Sm(x)；
根据多个模型的预测值分别计算出均值和方差。
根据采集函数EI，分别对每个任务选择出一个新的候选点，总共得到个多个候选点，表示为：
xi *＝arg max EIi(x),i＝1,2,…,N；
对候选解进行真实评价，表示为：
fj(xi*):i,j＝1,2,…,N；
将新点加入到初始数据集，表示为：
Figure BDA0003111095780000053
获得算法找到的每个任务的最优值所对应的点，表示为：
Figure BDA0003111095780000054
进一步的，还包括基于RBP神经网络模型的输出值获取预测的均值和方差，其中均值，表示为：
Figure BDA0003111095780000061
方差，表示为：
Figure BDA0003111095780000062
其中，参数m代表所使用的模型个数，C1,C2,…,Cm为每个模型所对应的中心点个数。
本发明的有益效果：
本发明基于RBP神经网络的最优超任务网优化方法，通过预先选取每个任务的数据训练集对多个任务进行模型训练，获得RBF神经网络模型，并标定RBF神经网络的参数信息和获取核函数中心点特征信息，基于训练好的RBF神经网络模模型对任意未知的新点x*进行目标值的预测，获取其对应的多个任务的目标函数值，对多个任务的目标函数值进行筛选，筛选出每个任务的一个候选点，并筛选出真实目标函数值最大时所对应的点作为对应任务优化后的超参数组合，通过将径向基神经网络取代传统的高斯模型，并将径向基神经网络的输出通过一个全连接层连接一起，将多个任务的信息得到共享，进而形成RBP神经网络模型，并将该RBP神经网络模型应用到贝叶斯优化算法中，实现超参数的优化，不仅可以避免高斯过程中的巨大计算量，还可以加快学习的速度，另外通过设置采集函数EI作为粒子群算法的适应度函数，将标量的学习因子标定为向量，并进行范围适应的初始化，实现了对多个任务的目标函数值进行筛选的，获取候选点的选择优化，提高了任务执行调度效率和适应度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的一种基于RBP神经网络的最优超任务网优化方法的流程示意图；
图2是根据本发明实施例的一种基于RBP神经网络的最优超任务网优化方法的原理框图一；
图3是根据本发明实施例的一种基于RBP神经网络的最优超任务网优化方法的原理框图二；
图4是根据本发明实施例的一种基于RBP神经网络的最优超任务网优化方法的原理框图三。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
根据本发明的实施例，提供了一种基于RBP神经网络的最优超任务网优化方法。
如图1-图4所示，根据本发明实施例的基于RBP神经网络的最优超任务网优化方法，包括以下步骤：
预先选取每个任务的数据训练集对多个任务进行模型训练，获得RBF神经网络模型，其中包括标定RBF神经网络的参数信息和获取核函数中心点特征信息；
进行RBF神经网络预测，当RBF神经网络模型训练完成，基于训练好的RBF神经网络模模型对任意未知的新点x*进行目标值的预测，获取其对应的多个任务的目标函数值；
对多个任务的目标函数值进行筛选，筛选出每个任务的一个候选点，并筛选出真实目标函数值最大时所对应的点作为对应任务优化后的超参数组合，其中包括获取候选点的选择优化，包括以下步骤：
设置采集函数EI作为粒子群算法的适应度函数，并且设置粒子的种群大小，每个粒子的搜索维度和空间，迭代的最大次数，其中包括：
将标量的学习因子标定为向量，表示为：
Figure BDA0003111095780000071
其中，
Figure BDA0003111095780000081
为第k次迭代中的粒子i速度的第d维分量，
Figure BDA0003111095780000082
为第k次迭代中的粒子i位置的第d维分量，
Figure BDA0003111095780000083
是第k次迭代过后粒子i历史最优解值得第d维分量，
Figure BDA0003111095780000084
为整个粒子群全局最优值得第d维分量，w是惯性权重，r1和r2为(0，1)的随机数，c1d和c2d分别是各自在第d维度的分量，c1和c2是学习因子；
进行范围适应的初始化：表示为：
Figure BDA0003111095780000085
其中，cd为d维度的学习因子，
Figure BDA0003111095780000086
和bd 分别代表d维度所表示的超参数的上界和下界，通常学习因子要大于等于1，其中，学习因子设置为0，表示该维度的粒子分量不参与更新；
开始迭代，对每个粒子进行预测，并获取出每个粒子的EI值，并将每个粒子的EI值与其当前最优位置进行比较，若粒子的EI值大于当前最优位置，那么更新粒子的当前最优位置，将每个粒子的当前最优位置与粒子的全局最优位置进行比较，若存在某个粒子的当前最优位置更好，那么就用当前最优位置替代全局最优位置gbest；
将每个粒子的信息进行更新，并输出粒子的全局最优位置gbest；
进行对于选出的候选点x*，对其总共进行N次真实评价，获得数据，表示为：
f1(x*),f2(x*),…,fN(x*)；
再将新的数据加入到原来的数据集中，对新的候选点进行评价与更新数据集，表示为：
Figure BDA0003111095780000087
借助于上述技术方案，通过预先选取每个任务的数据训练集对多个任务进行模型训练，获得RBF神经网络模型，并标定RBF神经网络的参数信息和获取核函数中心点特征信息，基于训练好的RBF神经网络模模型对任意未知的新点x*进行目标值的预测，获取其对应的多个任务的目标函数值，对多个任务的目标函数值进行筛选，筛选出每个任务的一个候选点，并筛选出真实目标函数值最大时所对应的点作为对应任务优化后的超参数组合，通过将径向基神经网络取代传统的高斯模型，并将径向基神经网络的输出通过一个全连接层连接一起，将多个任务的信息得到共享，进而形成RBP神经网络模型，并将该RBP神经网络模型应用到贝叶斯优化算法中，实现超参数的优化，不仅可以避免高斯过程中的巨大计算量，还可以加快学习的速度，另外通过设置采集函数EI作为粒子群算法的适应度函数，将标量的学习因子标定为向量，并进行范围适应的初始化，实现了对多个任务的目标函数值进行筛选的，获取候选点的选择优化，提高了任务执行调度效率和适应度。
另外，具体的，其标定RBF神经网络的参数，其中包括标定高斯核函数作为径向基函数，表示为：
Figure BDA0003111095780000091
其中，xp为数据集中的一个数据，xc为核函数的中心点，σ为核函数的宽度参数，控制着函数的径向范围。
另外，对于核函数中心点的获取，使用K均值聚类算法，包括：首先是需要确定中心点的个数n，然后K均值聚类算法先在输入数据中随机选取n个对象作为初始的聚类中心，然后计算每个对象与每个聚类中心之间的距离并分配给距离最近的类别；当全部对象分配完成后，重新计算每个类别的聚类中心；不断重复以上过程，直到没有对象被重新分配或者聚类中心不再发生变化，因此核函数中的中心点也便确定了，确定中心点的步骤，表示为：
步骤1：确定中心点的个数n，初始化各类别集合
Figure BDA0003111095780000092
k＝1,2,...,n；
步骤2：从数据集
Figure BDA0003111095780000093
中随机选取n个样本作为初始的聚类中心{c1,c2,...,cn}；
步骤3：计算数据集中每一个样xi,i＝1,2,...,n0和各个聚类中心cj,j＝1,2,...,n之间的距离
Figure BDA0003111095780000094
对每一个xi，将其划分到距离最近的聚类中心所属的类别λi，更新
Figure BDA0003111095780000095
步骤4：重新计算各类别的中心，表示为：
Figure BDA0003111095780000096
j＝1,2,...,n；
步骤5：判断是否聚类中心没有发生变化，若是，则执行步骤6，否则返回步骤3继续执行；
步骤6：输出各聚类中心cj,j＝1,2,...,n。
另外，在核函数的中心点确定之后，通过公式
Figure BDA0003111095780000101
计算得到方差，其中，cmax为观察点与中心点之间的最大距离，n是中心点的数量。
另外，进行对RBF神经网络训练，其基于反向传播算法来将误差从输出层依次传到共享层和隐藏层，然后来更新权值W和相似性参数L。具体的训练，包括以下步骤：
步骤1：获取初始训练数据集；
步骤2：对RBF神经网络的权值进行初始化，并设置RBF神经网络的初始学习率；
步骤3：将训练数据集输入RBF神经网络，开始RBF神经网络的训练；
步骤4：根据RBF神经网络的输出值和目标函数的真实值计算各个任务在输出层上的误差，误差使用δi＝yi-y′i,i＝1,2,...,N表示，然后将其向前一层传播到达相关性层，并计算出相关性层上的误差为
Figure BDA0003111095780000102
i＝1,2,...,N；
步骤5：根据输出层的误差来更新相似性参数L，表示为：
Lij′＝Lij+ηδjhi,i,j＝1,2,...,N，然后根据相关性层的误差来更新权值W，表示为：
Figure BDA0003111095780000103
步骤6：计算出多个任务的总误差为：
Figure BDA0003111095780000104
然后将总误差与阀值e进行比较，若loss＜e或者达到最大迭代次数，则进入步骤7，否则返回步骤3；
步骤7：结束RBF神经网络训练，模型训练完成，将训练好的模型与其对应的权值进行保存。
其中，n和N分别代表径向基函数中心点的数量和相关任务的数量，参数η为学习率，并需要提前进行设定。通过反向传播算法，权值W和相似性参数L不断地更新，当达到停止更新的条件时，例如迭代次数或者误差阈值之下时，就停止更新参数，模型也就训练完成了。
此外，进行RBF神经网络预测，当RBF神经网络模型训练完成，基于训练好的模型对任意未知的新点x*进行目标值的预测，RBF神经网络的预测过程，包括以下步骤：
步骤1：确定需要被预测的新点x*；
步骤2：根据模型训练阶段确定的n个中心点，计算出输入层到隐藏层的映射，表示为：
Figure BDA0003111095780000111
步骤3：根据模型训练完成之后保存下来的RBF神经网络中的权值矩阵W，计算出隐藏层的输出，表示为：
Figure BDA0003111095780000112
步骤4：根据保存下来的相关性参数矩阵L，计算出每个任务对应的输出为，表示为：
Figure BDA0003111095780000113
其中，n和N同样分别代表径向基函数中中心点的数量和一起学习的相关任务的数量，并且ci，代表第i个中心点。所以对于任意一个输入x*，通过模型可以将其对应的多个任务的目标函数值都预测出来。
另外，根据模型的输出值计算出预测的均值，表示为：
Figure BDA0003111095780000114
方差为：
Figure BDA0003111095780000115
其中，参数m代表所使用的模型个数，C1,C2,...,Cm为每个模型所对应的中心点个数。
当多个模型训练完成，就利用粒子群算法搜索选择出模型预测的EI值最大的点作为下一个评价的候选点。其中，需要分别对每一个任务都选出一个候选点，那么经过一次迭代后可以选出多个候选点，
Figure BDA0003111095780000116
所示。然后根据贝叶斯优化算法，对于选出的这多个候选点，每个任务都对其真实评价一次，获得其对应的目标函数真实值，然后判断这些候选点中是否存在真实最优值，若不存在，则将这些数据加入到原始训练集中，然后再次对模型进行训练。重复以上过程，直到找到最优值或达到最大评价次数，则程序停止。
具体的，贝叶斯优化算法，选出的这多个候选点，包括以下步骤：
预先标定输入参数，包括初始数据量n0、学习的相关任务数量N、最大迭代次数Nmax和代理模型的数量m；
输出
Figure BDA0003111095780000121
获取在搜索空间中寻找到的任务j的最优值，包括以下步骤：
在搜索空间范围内产生均匀分布的初始数据。初始数据，表示为：
An0＝{(xi,f1(xi),f2(xi),...,fN(xi)),i＝1,2,...,n0}；
分别确定m个模型的中心点个数C1,C2,...,Cm；
使用K均值聚类算法选出每个模型所对应的中心点；
使用初始数据An0和核函数中心点的选择策略，获取多个不同的代理模型，表示为：
S1(x),S2(x),...,Sm(x)；
根据多个模型的预测值分别计算出均值和方差。
根据采集函数EI，分别对每个任务选择出一个新的候选点，总共得到个多个候选点，表示为：
xi *＝arg max EIi(x),i＝1,2,...,N；
对候选解进行真实评价，表示为：
fj(xi*):i,j＝1,2,...,N；
将新点加入到初始数据集，表示为：
Figure BDA0003111095780000122
获得算法找到的每个任务的最优值所对应的点，表示为：
Figure BDA0003111095780000123
此外，还包括获取候选点的选择优化，包括以下步骤：
步骤1：设置采集函数EI作为粒子群算法的适应度函数，并且设置粒子的种群大小，每个粒子的搜索维度和空间，迭代的最大次数等其他基本参数；
步骤2：将种群中每个粒子的信息初始化，包括位置x和速度v，以及全局最优位置gbest和每个粒子的当前最优位置pbest；
步骤3：开始迭代，使用多任务学习模型对每个粒子进行预测，并计算出每个粒子的EI值，并将每个粒子的EI值与其当前最优位置进行比较，如果粒子的EI值大于当前最优位置，那么更新粒子的当前最优位置；
步骤4：将每个粒子的当前最优位置与粒子的全局最优位置进行比较，如果存在某个粒子的当前最优位置更好，那么就用当前最优位置替代全局最优位置gbest；
步骤5：将每个粒子的信息进行更新；
步骤6：判断是否达到实验设置的最大迭代次数或满足停止标准，若是，则执行下一步，否则返回步骤3继续执行程序；
步骤7：输出粒子的全局最优位置gbest。
此外，对于选出的候选点x*，对其总共进行N次真实评价，获得数据，表示为：
f1(x*),f2(x*),...,fN(x*)；
再将新的数据加入到原来的数据集中，对新的候选点进行评价与更新数据集，表示为：
Figure BDA0003111095780000131
综上所述，借助于本发明的上述技术方案，通过预先选取每个任务的数据训练集对多个任务进行模型训练，获得RBF神经网络模型，并标定RBF神经网络的参数信息和获取核函数中心点特征信息，基于训练好的RBF神经网络模模型对任意未知的新点x*进行目标值的预测，获取其对应的多个任务的目标函数值，对多个任务的目标函数值进行筛选，筛选出每个任务的一个候选点，并筛选出真实目标函数值最大时所对应的点作为对应任务优化后的超参数组合，通过将径向基神经网络取代传统的高斯模型，并将径向基神经网络的输出通过一个全连接层连接一起，将多个任务的信息得到共享，进而形成RBP神经网络模型，并将该RBP神经网络模型应用到贝叶斯优化算法中，实现超参数的优化，不仅可以避免高斯过程中的巨大计算量，还可以加快学习的速度，另外通过设置采集函数EI作为粒子群算法的适应度函数，将标量的学习因子标定为向量，并进行范围适应的初始化，实现了对多个任务的目标函数值进行筛选的，获取候选点的选择优化，提高了任务执行调度效率和适应度。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于RBP神经网络的最优超任务网优化方法，其特征在于，包括以下步骤：
预先选取每个任务的数据训练集对多个任务进行模型训练，获得RBF神经网络模型，其中包括标定RBF神经网络的参数信息和获取核函数中心点特征信息；
进行RBF神经网络预测，当RBF神经网络模型训练完成，基于训练好的RBF神经网络模模型对任意未知的新点x*进行目标值的预测，获取其对应的多个任务的目标函数值；
对多个任务的目标函数值进行筛选，筛选出每个任务的一个候选点，并筛选出真实目标函数值最大时所对应的点作为对应任务优化后的超参数组合，其中包括获取候选点的选择优化，包括以下步骤：
设置采集函数EI作为粒子群算法的适应度函数，并且设置粒子的种群大小，每个粒子的搜索维度和空间，迭代的最大次数，其中包括：
将标量的学习因子标定为向量，表示为：
Figure FDA0003111095770000011
其中，
Figure FDA0003111095770000012
为第k次迭代中的粒子i速度的第d维分量，
Figure FDA0003111095770000013
为第k次迭代中的粒子i位置的第d维分量，
Figure FDA0003111095770000014
是第k次迭代过后粒子i历史最优解值得第d维分量，
Figure FDA0003111095770000015
为整个粒子群全局最优值得第d维分量，w是惯性权重，r1和r2为(0，1)的随机数，c1d和c2d分别是各自在第d维度的分量，c1和c2是学习因子；
进行范围适应的初始化：表示为：
Figure FDA0003111095770000016
其中，cd为d维度的学习因子，
Figure FDA0003111095770000017
和bd 分别代表d维度所表示的超参数的上界和下界，通常学习因子要大于等于1，其中，学习因子设置为0，表示该维度的粒子分量不参与更新；
开始迭代，对每个粒子进行预测，并获取出每个粒子的EI值，并将每个粒子的EI值与其当前最优位置进行比较，若粒子的EI值大于当前最优位置，那么更新粒子的当前最优位置，将每个粒子的当前最优位置与粒子的全局最优位置进行比较，若存在某个粒子的当前最优位置更好，那么就用当前最优位置替代全局最优位置gbest；
将每个粒子的信息进行更新，并输出粒子的全局最优位置gbest；
进行对于选出的候选点x*，对其总共进行N次真实评价，获得数据，表示为：
f1(x*),f2(x*),...,fN(x*)；
再将新的数据加入到原来的数据集中，对新的候选点进行评价与更新数据集，表示为：
Figure FDA0003111095770000021
2.根据权利要求1所述的基于RBP神经网络的最优超任务网优化方法，其特征在于，所述RBF神经网络模型的参数，包括标定高斯核函数作为径向基函数，表示为：
Figure FDA0003111095770000022
其中，xp为数据集中的一个数据，xc为核函数的中心点，σ为核函数的宽度参数，控制着函数的径向范围。
3.根据权利要求2所述的基于RBP神经网络的最优超任务网优化方法，其特征在于，所述核函数的中心点，包括以下步骤：
确定中心点的个数n，初始化各类别集合
Figure FDA0003111095770000023
从数据集
Figure FDA0003111095770000024
中随机选取n个样本作为初始的聚类中心{c1,c2,...,cn}；
计算数据集中每一个样xi,i＝1,2,...,n0和各个聚类中心cj,j＝1,2,...,n之间的距离
Figure FDA0003111095770000025
对每一个xi，将其划分到距离最近的聚类中心所属的类别λi，更新
Figure FDA0003111095770000026
重新计算各类别的中心，表示为：
Figure FDA0003111095770000027
输出各聚类中心cj,j＝1,2,...,n。
4.根据权利要求3所述的基于RBP神经网络的最优超任务网优化方法，其特征在于，基于获取所述核函数的中心点，还包括以下步骤：
基于核函数的中心点，获取方差，表示为：
Figure FDA0003111095770000031
其中，cmax为观察点与中心点之间的最大距离，n是中心点的数量。
5.根据权利要求4所述的基于RBP神经网络的最优超任务网优化方法，其特征在于，对所述RBF神经网络模型进行训练，包括以下步骤：
获取初始训练数据集；
对RBF神经网络的权值进行初始化，并设置RBF神经网络的初始学习率；
将训练数据集输入RBF神经网络，开始RBF神经网络的训练；
根据RBF神经网络的输出值和目标函数的真实值计算各个任务在输出层上的误差，误差使用δi＝yi-y′i,i＝1,2,...,N表示，然后将其向前一层传播到达相关性层，并计算出相关性层上的误差为
Figure FDA0003111095770000032
根据输出层的误差来更新相似性参数L，表示为：
Lij′＝Lij+ηδjhi,i,j＝1,2,...,N，基于相关性层的误差来更新权值W，表示为：
Figure FDA0003111095770000033
计算出多个任务的总误差为：
Figure FDA0003111095770000034
结束RBF神经网络训练，模型训练完成，将训练好的模型与其对应的权值进行保存；
其中，n和N分别代表径向基函数中心点的数量和相关任务的数量，参数η为学习率。
6.根据权利要求5所述的基于RBP神经网络的最优超任务网优化方法，其特征在于，所述RBF神经网络模型预测，包括以下步骤：
确定需要被预测的新点x*；
基于确定的n个中心点，计算出输入层到隐藏层的映射，表示为：
Figure FDA0003111095770000035
基于训练所述RBF神经网络中的权值矩阵W，计算出隐藏层的输出，表示为：
Figure FDA0003111095770000041
基于训练所述RBF神经网络的相关性参数矩阵L，计算出每个任务对应的输出为，表示为：
Figure FDA0003111095770000042
其中，n和N同样分别代表径向基函数中中心点的数量和一起学习的相关任务的数量，ci为第i个中心点。
7.根据权利要求6所述的基于RBP神经网络的最优超任务网优化方法，其特征在于，所述对多个任务的目标函数值进行筛选，筛选出每个任务的一个候选点，包括以下步骤：
预先标定输入参数，包括初始数据量n0、学习的相关任务数量N、最大迭代次数Nmax和代理模型的数量m；
输出
Figure FDA0003111095770000043
获取在搜索空间中寻找到的任务j的最优值，包括以下步骤：
在搜索空间范围内产生均匀分布的初始数据。初始数据，表示为：
An0＝{(xi,f1(xi),f2(xi),...,fN(xi)),i＝1,2,...,n0}；
分别确定m个模型的中心点个数C1,C2,...,Cm；
使用K均值聚类算法选出每个模型所对应的中心点；
使用初始数据An0和核函数中心点的选择策略，获取多个不同的代理模型，表示为：
S1(x),S2(x),...,Sm(x)；
根据多个模型的预测值分别计算出均值和方差。
根据采集函数EI，分别对每个任务选择出一个新的候选点，总共得到个多个候选点，表示为：
xi *＝argmaxEIi(x),i＝1,2,...,N；
对候选解进行真实评价，表示为：
fj(xi*):i,j＝1,2,...,N；
将新点加入到初始数据集，表示为：
Figure FDA0003111095770000044
获得算法找到的每个任务的最优值所对应的点，表示为：
Figure FDA0003111095770000045
8.根据权利要求7所述的基于RBP神经网络的最优超任务网优化方法，其特征在于，还包括基于RBP神经网络模型的输出值获取预测的均值和方差，其中均值，表示为：
Figure FDA0003111095770000051
方差，表示为：
Figure FDA0003111095770000052
其中，参数m代表所使用的模型个数，C1,C2,...,Cm为每个模型所对应的中心点个数。
CN202110649240.4A 2021-06-10 2021-06-10 一种基于rbp神经网络的最优超任务网优化方法 Pending CN113391894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110649240.4A CN113391894A (zh) 2021-06-10 2021-06-10 一种基于rbp神经网络的最优超任务网优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110649240.4A CN113391894A (zh) 2021-06-10 2021-06-10 一种基于rbp神经网络的最优超任务网优化方法

Publications (1)

Publication Number Publication Date
CN113391894A true CN113391894A (zh) 2021-09-14

Family

ID=77620304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110649240.4A Pending CN113391894A (zh) 2021-06-10 2021-06-10 一种基于rbp神经网络的最优超任务网优化方法

Country Status (1)

Country Link
CN (1) CN113391894A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580636A (zh) * 2022-05-06 2022-06-03 江苏省现代企业信息化应用支撑软件工程技术研发中心 基于三目标联合优化的神经网络轻量化部署方法
CN115222007A (zh) * 2022-05-31 2022-10-21 复旦大学 面向胶质瘤多任务一体化网络的改进粒子群参数优化方法
CN116502566A (zh) * 2023-06-27 2023-07-28 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于贝叶斯优化的燃气轮机燃烧室性能多目标优化方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114580636A (zh) * 2022-05-06 2022-06-03 江苏省现代企业信息化应用支撑软件工程技术研发中心 基于三目标联合优化的神经网络轻量化部署方法
CN114580636B (zh) * 2022-05-06 2022-09-16 江苏省现代企业信息化应用支撑软件工程技术研发中心 基于三目标联合优化的神经网络轻量化部署方法
CN115222007A (zh) * 2022-05-31 2022-10-21 复旦大学 面向胶质瘤多任务一体化网络的改进粒子群参数优化方法
CN116502566A (zh) * 2023-06-27 2023-07-28 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于贝叶斯优化的燃气轮机燃烧室性能多目标优化方法

Similar Documents

Publication Publication Date Title
US20200364664A1 (en) Method for determining transportation scheme, method for training fast loading model, and device
CN113391894A (zh) 一种基于rbp神经网络的最优超任务网优化方法
WO2022121289A1 (en) Methods and systems for mining minority-class data samples for training neural network
CN110390345B (zh) 一种基于云平台的大数据集群自适应资源调度方法
US11663486B2 (en) Intelligent learning system with noisy label data
US8775338B2 (en) Computer-implemented systems and methods for constructing a reduced input space utilizing the rejected variable space
CN111612528A (zh) 用户分类模型的确定方法、装置、设备及存储介质
US20220156508A1 (en) Method For Automatically Designing Efficient Hardware-Aware Neural Networks For Visual Recognition Using Knowledge Distillation
US11366806B2 (en) Automated feature generation for machine learning application
Da Silva et al. A hybrid memetic approach for fully automated multi-objective web service composition
Li et al. Heterogeneous ensemble learning with feature engineering for default prediction in peer-to-peer lending in China
CN110569870A (zh) 基于多粒度标签融合的深度声学场景分类方法及系统
CN114925938B (zh) 一种基于自适应svm模型的电能表运行状态预测方法、装置
CN114880806A (zh) 基于粒子群优化的新能源汽车销量预测模型参数优化方法
CN113722980A (zh) 海洋浪高预测方法、系统、计算机设备、存储介质、终端
CN113255873A (zh) 一种聚类天牛群优化方法、系统、计算机设备和存储介质
Felten et al. A toolkit for reliable benchmarking and research in multi-objective reinforcement learning
JP5909943B2 (ja) 情報処理装置、推定機生成方法、及びプログラム
CN111860622A (zh) 一种应用于编程现场大数据的聚类方法及系统
CN116911459A (zh) 适应于虚拟电厂的多输入多输出超短期电力负荷预测方法
CN117273125A (zh) 基于强化学习的多模型在线自适应择优技术驱动的进化算法
Kalita et al. A lightweight knowledge-based PSO for SVM hyper-parameters tuning in a dynamic environment
CN114064235A (zh) 多任务教与学优化方法、系统及设备
CN112241811A (zh) “互联网+”环境下定制产品的分层混合性能预测方法
CN113222256A (zh) 一种基于mpso-lstm模型的股票预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210914