CN113962386A - 一种模型参数优化选择方法、系统、计算机设备和存储介质 - Google Patents

一种模型参数优化选择方法、系统、计算机设备和存储介质 Download PDF

Info

Publication number
CN113962386A
CN113962386A CN202111288811.2A CN202111288811A CN113962386A CN 113962386 A CN113962386 A CN 113962386A CN 202111288811 A CN202111288811 A CN 202111288811A CN 113962386 A CN113962386 A CN 113962386A
Authority
CN
China
Prior art keywords
population
individual
parameters
minimized
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111288811.2A
Other languages
English (en)
Inventor
刘新波
徐凯波
李霞
孙泽懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Mininglamp Software System Co ltd
Original Assignee
Beijing Mininglamp Software System Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Mininglamp Software System Co ltd filed Critical Beijing Mininglamp Software System Co ltd
Priority to CN202111288811.2A priority Critical patent/CN113962386A/zh
Publication of CN113962386A publication Critical patent/CN113962386A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Genetics & Genomics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种模型参数优化选择方法、系统、设备及存储介质，方法包括以下步骤：个体初始化步骤及种群初始化步骤；优化值计算步骤：针对种群中的各个个体，将个体的参数传入内层机器学习模型进行计算，得到参数的最小化泛化偏差和最小化泛化方差；种群进化步骤：基于种群中各个个体的参数的最小化泛化偏差和最小化泛化方差，采用选择、交叉、变异操作生成父代后，继续迭代执行优化值计算步骤，直到执行到预设迭代代数后停止，获得优化的参数的组合，实现模型参数的优化选择。本发明实现了一种针对机器学习模型超参数的智能选择及如何在考虑模型方差和偏差后选择最优参数的多目标优化方法。

Description

一种模型参数优化选择方法、系统、计算机设备和存储介质
技术领域
本申请涉及多目标求解方法技术领域，特别是涉及一种模型参数优化选择方法、系统、计算机设备和计算机可读存储介质。
背景技术
当前，随着人工智能技术的不断发展，机器学习的模型也越来越多样化、复杂化，这主要体现在模型的参数维度和取值越来越多，不同的参数组合训练出来的模型效果往往天差地别。而模型参数的选择通常是靠经验即手动调参，这个过程是一个费时费力的过程。一个模型的好坏主要体现它的泛化能力上，而泛化误差可分解为偏差、方差，两者之间的关系如图1所示。其中，偏差刻画的是算法本身的拟合能力，代表学习算法的期望预测与真实结果的偏离程度；方差则刻画了数据扰动所造成的影响，代表同样大小的训练集的变动所导致的学习性能的变化。由上可见，泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。对于特定的学习任务，为了取得好的泛化性能，则需使偏差较小，既能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。
目前针对相关技术中，存在以下瓶颈，尚未提出有效解决方案：
1)机器学习的模型也越来越多样化、复杂化；模型的参数维度和取值也越来越多；
2)模型参数的选择通常是靠经验，费时费力；
3)对于特定的学习任务，为了取得好的泛化性能，则需使偏差较小，既能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响要小。
因此，基于以上现有技术中存在的问题，本发明针对机器学习中超参数选择效率低下，不准确的问题，本文从模型泛化能力出发，以最小化模型泛化偏差和误差为目标，对模型的参数进行优化选择，提供一个更高效的参数智能选择方案。
发明内容
本申请实施例提供了一种模型参数优化选择方法、系统、计算机设备和计算机可读存储介质，以解决针对机器学习中超参数选择效率低下，不准确的问题，本文从模型泛化能力出发，以最小化模型泛化偏差和误差为目标，对模型的参数进行优化选择，提供一个更高效的参数智能选择方案。
第一方面，本申请实施例提供了一种模型参数优化选择方法，包括以下步骤：
个体初始化步骤：将模型对应的所有参数进行分类，并对分类后的参数进行自然数编码，基于自然数编码初始化生成包含多个自然数编码的集合，自然数编码集合为一个个体；
种群初始化步骤：基于初始化生成的多个个体及预设种群规模进行种群初始化，种群包含多个个体；
优化值计算步骤：针对种群中的各个个体，将个体的参数传入内层机器学习模型进行计算，得到参数的最小化泛化偏差和最小化泛化方差；
种群进化步骤：基于种群中各个个体的参数的最小化泛化偏差和最小化泛化方差，采用选择、交叉、变异操作生成父代后，继续迭代执行优化值计算步骤，直到执行到预设迭代代数后停止，获得优化的参数的组合，实现模型参数的优化选择。
在本发明实施例中，上述最小化泛化偏差为：
obj1＝(ED[f(x；D)]-y)2
其中：
x—代表输入的参数；
y—代表x在数据集y的真实标记；
f(x；D)—代表训练集D上学得模型f在x上的预测输出；
ED—代表训练集D上的期望值。
在本发明实施例中，上述最小化泛化方差为：
obj2＝ED[(f(x；D)-ED[f(x；D)])2]
其中：
ED—代表训练集D上的期望值。
在本发明实施例中，上述种群进化步骤包括：
选择步骤：基于各个个体参数的最小化泛化偏差和最小化泛化方差，对种群进行非劣分层排序，计算各个个体拥挤度，选择适应度更优的个体进入下一代个体，并从下一代个体中两两选择父体配对；
交叉步骤：采用顺序交叉法，将配对的父体顺序完成交叉，生成交叉父体；
变异步骤：采用逆转变异法，将交叉父体的任意两个自然数编码位置间的顺序倒置，完成变异，生成子代；
调整步骤：对子代的每个个体基于预设规则及取值范围进行可行性调整；
合并步骤：将完成可行性调整的子代与父代合并为大种群，执行优化值计算步骤。
第二方面，本申请实施例提供了一种模型参数优化选择系统，采用如上所述模型参数优化选择方法，包括以下模块：
个体初始化模块：将模型对应的所有参数进行分类，并对分类后的参数进行自然数编码，基于自然数编码初始化生成包含多个自然数编码的集合，自然数编码集合为一个个体；
种群初始化模块：基于初始化生成的多个个体及预设种群规模进行种群初始化，种群包含多个个体；
优化值计算模块：针对种群中的各个个体，将个体的参数传入内层机器学习模型进行计算，得到参数的最小化泛化偏差和最小化泛化方差；
种群进化模块：基于种群中各个个体的参数的最小化泛化偏差和最小化泛化方差，采用选择、交叉、变异操作生成父代后，继续迭代执行优化值计算，直到执行到预设迭代代数后停止，获得优化的参数的组合，实现模型参数的优化选择。
本发明实施例中，上述最小化泛化偏差为：
obj1＝(ED[f(x；D)]-y)2
其中：
x—代表输入的参数；
y—代表x在数据集y的真实标记；
f(x；D)—代表训练集D上学得模型f在x上的预测输出；
ED—代表训练集D上的期望值。
本发明实施例中，上述最小化泛化方差为：
obj2＝ED[(f(x；D)-ED[f(x；D)])2]
其中：
ED—代表训练集D上的期望值。
本发明实施例中，上述种群进化模块包括：
选择模块：基于各个个体参数的最小化泛化偏差和最小化泛化方差，对种群进行非劣分层排序，计算各个个体拥挤度，选择适应度更优的个体进入下一代个体，并从下一代个体中两两选择父体配对；
交叉模块：采用顺序交叉法，将配对的父体顺序完成交叉，生成交叉父体；
变异模块：采用逆转变异法，将交叉父体的任意两个自然数编码位置间的顺序倒置，完成变异，生成子代；
调整模块：对子代的每个个体基于预设规则及取值范围进行可行性调整；
合并模块：将完成可行性调整的子代与父代合并为大种群，继续执行优化值计算。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的模型参数优化选择方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的模型参数优化选择方法。
相比于现有技术，本发明具有有益效果：
1)本发明提出了一种针对机器学习模型超参数的智能选择的方法；
2)本发明提出了一种如何在考虑模型方差和偏差后选择最优参数的多目标优化方法；
3)本发明方法的模型参数的选择依靠自动化计算，节省人力物力；
5)本发明方法对于特定的学习任务，取得好的泛化性能，偏差较小，既能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为现有技术偏差与方差示意图；
图2为本发明方法流程示意图；
图3为本发明具体实施例NSGA-II算法流程图；
图4为本发明系统结构示意图；
图5为计算机设备的硬件结构示意图。
以上图中：
10、个体初始化模块，20、种群初始化模块，30、优化值计算模块，40、种群进化模块
81、处理器；82、存储器；83、通信接口；80、总线。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请所涉及的模型参数优化选择方法是一种可用于针对机器学习模型超参数的智能选择的方法；本发明方法提出了一种如何在考虑模型方差和偏差后选择最优参数的多目标优化方法；本发明方法对于特定的学习任务，取得好的泛化性能，偏差较小，既能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。
本发明涉及到的帕累托最优解指：对于最小化多目标优化问题，对于n个目标分量fi(x),i＝1…n,任意给定两个决策变量Xa,Xb,如果有以下两个条件成立，则称Xa支配Xb。如果对于一个决策变量，不存在其他决策变量能够支配他，那么就称该决策变量为非支配解，也叫帕累托最优解。
1.对于
Figure BDA0003333849950000071
都有fi(Xa)≤fi(Xb)成立
2.
Figure BDA0003333849950000072
都有fi(Xa)≤fi(Xb)成立
此外，本发明采用NSGA-Ⅱ算法为：
NSGA-Ⅱ是带有精英保留策略的快速非支配多目标优化遗传算法，是一种基于帕累托最优解的多目标优化算法。该算法在初始遗传算法的基础上，采用了精英保留策略对种群内个体进行选择，并引入拥挤度和非支配排序的概念，使得种群表现优良的个体得以延续保留。其中，拥挤度主要在不同的目标函数上进行操作，对于聚集密度较小的点，选中的概率就会越大，这保证了种群的多样性。而非支配排序则是基于帕累托最优的概念对不同的解进行筛选，保证种群内良好的基因。
图2为本发明模型参数优化选择方法示意图，如图2所示，本申请实施例提供了一种模型参数优化选择方法，包括以下步骤：
个体初始化步骤S10：将模型对应的所有参数进行分类，并对分类后的参数进行自然数编码，基于自然数编码初始化生成包含多个自然数编码的集合，自然数编码集合为一个个体；
种群初始化步骤S20：基于初始化生成的多个个体及预设种群规模进行种群初始化，种群包含多个个体；
优化值计算步骤S30：针对种群中的各个个体，将个体的参数传入内层机器学习模型进行计算，得到参数的最小化泛化偏差和最小化泛化方差；
种群进化步骤S40：基于种群中各个个体的参数的最小化泛化偏差和最小化泛化方差，采用选择、交叉、变异操作生成父代后，继续迭代执行优化值计算步骤S30，直到执行到预设迭代代数后停止，获得优化的参数的组合，实现模型参数的优化选择。
在本发明实施例中，上述最小化泛化偏差为：
obj1＝(ED[f(x；D)]-y)2
其中：
x—代表输入的参数；
y—代表x在数据集y的真实标记；
f(x；D)—代表训练集D上学得模型f在x上的预测输出；
ED—代表训练集D上的期望值。
在本发明实施例中，上述最小化泛化方差为：
obj2＝ED[(f(x；D)-ED[f(x；D)])2]
其中：
ED—代表训练集D上的期望值。
在本发明实施例中，上述种群进化步骤S40包括：
选择步骤：基于各个个体参数的最小化泛化偏差和最小化泛化方差，对种群进行非劣分层排序，计算各个个体拥挤度，选择适应度更优的个体进入下一代个体，并从下一代个体中两两选择父体配对；
交叉步骤：采用顺序交叉法，将配对的父体顺序完成交叉，生成交叉父体；
变异步骤：采用逆转变异法，将交叉父体的任意两个自然数编码位置间的顺序倒置，完成变异，生成子代；
调整步骤：对子代的每个个体基于预设规则及取值范围进行可行性调整；
合并步骤：将完成可行性调整的子代与父代合并为大种群，迭代执行优化值计算步骤S30。
以下结合附图对本发明具体实施例进行详细说明：
本发明提供一种机器学习模型参数选取的方法，以最小化模型泛化偏差和方差为目标，对模型的参数集进行智能选择，提供了一种求解该优化问题的多目标算法。
1、优化目标
本问题以回归任务为例，包括两个目标，目标1是最小化模型泛化偏差，目标2是最小化模型泛化方差。从图1可知，这两个目标是冲突的，因此应该尽可能多的给出帕累托最优解，再根据实际的学习任务，去衡量取舍二者，最后选择相应的参数组合。
目标1:最小化泛化偏差
obj1＝(ED[f(x；D)]-y)2
目标2:最小化泛化方差
obj2＝ED[(f(x；D)-ED[f(x；D)])2]
其中：
x—代表测试的样本数据；
y—代表x在数据集的真实标记；
f(x；D)—代表训练集D上学得模型f在x上的预测输出；
ED—代表训练集上的期望值。
本发明具体实施例中，假设预测未来北京某小区的房价，那么数据集里面一行记录的数据就包括很多与房价这个值有关的其他属性值，比如地理位置，居民人均收入等等，这些就是对应的x，然后在这些属性值特定取值下每行最后有一个对应的房价，这个就是y。
2、图3为本发明算法示意图，如图3所示，本发明以NSGA-II算法为基础，设计的求解步骤如下所示：
Step0.染色体生成。首先将模型对应的各个参数罗列出来形成大的参数集合，有多少种参数便对应有多少个基因，对所有参数进行自然数编码，以神经网络为例，假设有网络层数、网络节点、dropout比率、正则化参数4个参数，则{3621}代表网络层数选择的是待搜索层数集合中的第三个值，其他以此类推。
Step1.设置最大迭代代数Imax。令I＝0。
Step2.种群初始化：种群规模为50，个体随机生成。个体为{3621}，{2451}...，种群由50个个体组成，个体即一个染色体；
Step3.对个体进行可行性调整操作，使其满足参数选择范围。例如：网络层数的取值范围为最大为7层；
Step4.计算各个体的各目标函数值。将参数传入内层机器学习模型进行训练，得到两个目标函数值偏差和方差。
Step5.对种群进行非劣分层排序，并计算各个体拥挤度。利用两规模联赛法，根据分层排序和拥挤度，选择适应度更高的个体进入下一代，保证种群的差异性和优良性。从下一代种群中选择两个个体作为父体。重复选择父体这一操作，并将所有父体配对放入交配池。实现父体两两配对。
Step6.交叉。采用顺序交叉法，首先随机生成一串0/1的值，得到一个具有n个基因位的交叉算子，例如参数数量为4时的{1,0,0,1}。首先，对应1基因位的位置，从父体1中相应位置拷贝而来；继而，对应0基因位的位置，按照各基因在父体2中的顺序依次拷贝而来。父体1：{3621}和父体2：{2451}→{3451}。
Step7.变异。采用逆转变异法，随机选择两个基因位，将这两个位置间的顺序倒置。例如：将个体{3621}倒置为{3261}；
Step8.对子代个体进行可行性调整。
Step9.合并子代与父代个体为大种群，对大种群进行非劣分层排序，并计算各个体拥挤度，根据分层排序、拥挤度和种群规模，选择下一代个体。
Step10.更新种群，I＝I+1。若I<Imax，转入Step4；否则，输出可行个体，停止。
图4为本发明模型参数优化选择系统示意图，如图4所示，本发明还提供了一种模型参数优化选择系统100，采用如上所述模型参数优化选择方法，包括以下模块：
个体初始化模块10：将模型对应的所有参数进行分类，并对分类后的参数进行自然数编码，基于自然数编码初始化生成包含多个自然数编码的集合，自然数编码集合为一个个体；
种群初始化模块20：基于初始化生成的多个个体及预设种群规模进行种群初始化，种群包含多个个体；
优化值计算模块30：针对种群中的各个个体，将个体的参数传入内层机器学习模型进行计算，得到参数的最小化泛化偏差和最小化泛化方差；
种群进化模块40：基于种群中各个个体的参数的最小化泛化偏差和最小化泛化方差，采用选择、交叉、变异操作生成父代后，继续执行优化值计算，直到执行到预设迭代代数后停止，获得优化的参数的组合，实现模型参数的优化选择。
本发明实施例中，上述最小化泛化偏差为：
obj1＝(ED[f(x；D)]-y)2
其中：
x—代表输入的参数；
y—代表x在数据集y的真实标记；
f(x；D)—代表训练集D上学得模型f在x上的预测输出；
ED—代表训练集D上的期望值。
本发明实施例中，上述最小化泛化方差为：
obj2＝ED[(f(x；D)-ED[f(x；D)])2]
其中：
ED—代表训练集D上的期望值。
本发明实施例中，上述种群进化模块40包括：
选择模块：基于各个个体参数的最小化泛化偏差和最小化泛化方差，对种群进行非劣分层排序，计算各个个体拥挤度，选择适应度更优的个体进入下一代个体，并从下一代个体中两两选择父体配对；
交叉模块：采用顺序交叉法，将配对的父体顺序完成交叉，生成交叉父体；
变异模块：采用逆转变异法，将交叉父体的任意两个自然数编码位置间的顺序倒置，完成变异，生成子代；
调整模块：对子代的每个个体基于预设规则及取值范围进行可行性调整；
合并模块：将完成可行性调整的子代与父代合并为大种群，继续执行优化值计算。
另外，结合图1描述的本申请实施例的模型参数优化选择方法可以由计算机设备来实现。图5为根据本申请实施例的计算机设备的硬件结构示意图。
计算机设备可以包括处理器81以及存储有计算机程序指令的存储器82。
具体地，上述处理器81可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器82可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器82可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器82可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器82可在数据处理装置的内部或外部。在特定实施例中，存储器82是非易失性(Non-Volatile)存储器。在特定实施例中，存储器82包括只读存储器(Read-Only Memory，简称为ROM)和随机存取存储器(RandomAccess Memory，简称为RAM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory，简称为PROM)、可擦除PROM(Erasable ProgrammableRead-Only Memory，简称为EPROM)、电可擦除PROM(Electrically Erasable ProgrammableRead-Only Memory，简称为EEPROM)、电可改写ROM(Electrically Alterable Read-OnlyMemory，简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器(Static Random-Access Memory，简称为SRAM)或动态随机存取存储器(Dynamic Random Access Memory，简称为DRAM)，其中，DRAM可以是快速页模式动态随机存取存储器(Fast Page Mode Dynamic Random Access Memory，简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic RandomAccess Memory，简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory，简称SDRAM)等。
存储器82可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器81所执行的可能的计算机程序指令。
处理器81通过读取并执行存储器82中存储的计算机程序指令，以实现上述实施例中的任意一种模型参数优化选择方法。
在其中一些实施例中，计算机设备还可包括通信接口83和总线80。其中，如图5所示，处理器81、存储器82、通信接口83通过总线80连接并完成相互间的通信。
通信接口83用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信端口83还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线80包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线80包括但不限于以下至少之一：数据总线(Data Bus)、地址总线(Address Bus)、控制总线(Control Bus)、扩展总线(Expansion Bus)、局部总线(Local Bus)。举例来说而非限制，总线80可包括图形加速接口(Accelerated Graphics Port，简称为AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture，简称为EISA)总线、前端总线(Front Side Bus，简称为FSB)、超传输(Hyper Transport，简称为HT)互连、工业标准架构(Industry Standard Architecture，简称为ISA)总线、无线带宽(InfiniBand)互连、低引脚数(Low Pin Count，简称为LPC)总线、存储器总线、微信道架构(Micro ChannelArchitecture，简称为MCA)总线、外围组件互连(Peripheral Component Interconnect，简称为PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(Serial AdvancedTechnology Attachment，简称为SATA)总线、视频电子标准协会局部(Video ElectronicsStandards Association Local Bus，简称为VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线80可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。
该计算机设备可以实现结合图1描述的模型参数优化选择方法。
另外，结合上述实施例中的模型参数优化选择方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种模型参数优化选择方法。
本发明模型参数优化选择方法与现有技术相比，本发明方法是一种针对机器学习模型超参数的智能选择的方法；本发明提出了一种如何在考虑模型方差和偏差后选择最优参数的多目标优化方法；本发明方法的模型参数的选择依靠自动化计算，节省人力物力；本发明方法对于特定的学习任务，取得好的泛化性能，偏差较小，既能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种模型参数优化选择方法，其特征在于，包括以下步骤：
个体初始化步骤：将模型对应的所有参数进行分类，并对分类后的所述参数进行自然数编码，基于所述自然数编码初始化生成包含多个所述自然数编码的集合，所述自然数编码集合为一个个体；
种群初始化步骤：基于初始化生成的多个所述个体及预设种群规模进行种群初始化，所述种群包含多个所述个体；
优化值计算步骤：针对所述种群中的各个个体，将所述个体的参数传入内层机器学习模型进行计算，得到所述参数的最小化泛化偏差和最小化泛化方差；
种群进化步骤：基于所述种群中各个个体的参数的最小化泛化偏差和最小化泛化方差，采用选择、交叉、变异操作生成父代后，继续迭代执行优化值计算步骤，直到执行到预设迭代代数后停止，获得优化的所述参数的组合，实现模型参数的优化选择。
2.根据权利要求1所述模型参数优化选择方法，其特征在于，所述最小化泛化偏差为：
obj1＝(ED[f(x；D)]-y)2
其中：
x—代表输入的所述参数；
y—代表x在数据集y的真实标记；
f(x；D)—代表训练集D上学得模型f在x上的预测输出；
ED—代表训练集D上的期望值。
3.根据权利要求1所述模型参数优化选择方法，其特征在于，所述最小化泛化方差为：
obj2＝ED[(f(x；D)-ED[f(x；D)])2]
其中：ED—代表训练集D上的期望值。
4.根据权利要求1所述模型参数优化选择方法，其特征在于，所述种群进化步骤包括：
选择步骤：基于所述各个个体参数的最小化泛化偏差和最小化泛化方差，对所述种群进行非劣分层排序，计算各个所述个体拥挤度，选择适应度更优的个体进入下一代个体，并从所述下一代个体中两两选择父体配对；
交叉步骤：采用顺序交叉法，将所述配对的父体顺序完成交叉，生成交叉父体；
变异步骤：采用逆转变异法，将所述交叉父体的任意两个自然数编码位置间的顺序倒置，完成变异，生成子代；
调整步骤：对所述子代的每个个体基于预设规则及取值范围进行可行性调整；
合并步骤：将完成可行性调整的所述子代与所述父代合并为大种群，迭代执行所述优化值计算步骤。
5.一种模型参数优化选择系统，采用如权利要求1-4中任意一项所述模型参数优化选择方法，其特征在于，包括以下模块：
个体初始化模块：将模型对应的所有参数进行分类，并对分类后的所述参数进行自然数编码，基于所述自然数编码初始化生成包含多个所述自然数编码的集合，所述自然数编码集合为一个个体；
种群初始化模块：基于初始化生成的多个所述个体及预设种群规模进行种群初始化，所述种群包含多个所述个体；
优化值计算模块：针对所述种群中的各个个体，将所述个体的参数传入内层机器学习模型进行计算，得到所述参数的最小化泛化偏差和最小化泛化方差；
种群进化模块：基于所述种群中各个个体的参数的最小化泛化偏差和最小化泛化方差，采用选择、交叉、变异操作生成父代后，继续执行优化值计算，直到执行到预设迭代代数后停止，获得优化的所述参数的组合，实现模型参数的优化选择。
6.根据权利要求5所述模型参数优化选择系统，其特征在于，所述最小化泛化偏差为：
obj1＝(ED[f(x；D)]-y)2
其中：
x—代表输入的参数；
y—代表x在数据集y的真实标记；
f(x；D)—代表训练集D上学得模型f在x上的预测输出；
ED—代表训练集D上的期望值。
7.根据权利要求5所述模型参数优化选择系统，其特征在于，所述最小化泛化方差为：
obj2＝ED[(f(x；D)-ED[f(x；D)])2]
其中：
ED—代表训练集D上的期望值。
8.根据权利要求5所述模型参数优化选择系统，其特征在于，所述种群进化模块包括：
选择模块：基于所述各个个体参数的最小化泛化偏差和最小化泛化方差，对所述种群进行非劣分层排序，计算各个所述个体拥挤度，选择适应度更优的个体进入下一代个体，并从所述下一代个体中两两选择父体配对；
交叉模块：采用顺序交叉法，将所述配对的父体顺序完成交叉，生成交叉父体；
变异模块：采用逆转变异法，将所述交叉父体的任意两个自然数编码位置间的顺序倒置，完成变异，生成子代；
调整模块：对所述子代的每个个体基于预设规则及取值范围进行可行性调整；
合并模块：将完成可行性调整的所述子代与所述父代合并为大种群，继续执行优化值计算。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的模型参数优化选择方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述模型参数优化选择方法。
CN202111288811.2A 2021-11-02 2021-11-02 一种模型参数优化选择方法、系统、计算机设备和存储介质 Pending CN113962386A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111288811.2A CN113962386A (zh) 2021-11-02 2021-11-02 一种模型参数优化选择方法、系统、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111288811.2A CN113962386A (zh) 2021-11-02 2021-11-02 一种模型参数优化选择方法、系统、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN113962386A true CN113962386A (zh) 2022-01-21

Family

ID=79468786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111288811.2A Pending CN113962386A (zh) 2021-11-02 2021-11-02 一种模型参数优化选择方法、系统、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113962386A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115982862A (zh) * 2023-02-22 2023-04-18 成都赛力斯科技有限公司 一种整车动态参数优化方法、模型训练方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115982862A (zh) * 2023-02-22 2023-04-18 成都赛力斯科技有限公司 一种整车动态参数优化方法、模型训练方法及系统
CN115982862B (zh) * 2023-02-22 2023-05-26 成都赛力斯科技有限公司 一种整车动态参数优化方法、模型训练方法及系统

Similar Documents

Publication Publication Date Title
Cui et al. A multi-objective particle swarm optimization algorithm based on two-archive mechanism
Liu et al. Automated design of analog and high-frequency circuits
US20220147680A1 (en) Method for co-design of hardware and neural network architectures using coarse-to-fine search, two-phased block distillation and neural hardware predictor
Zhang et al. Evolutionary computation
US20170262752A1 (en) Adaptive cataclysms in genetic algorithms
Filatovas et al. A preference-based multi-objective evolutionary algorithm R-NSGA-II with stochastic local search
CN107491434A (zh) 基于语义相关性的文本摘要自动生成方法及装置
CN113128432B (zh) 基于演化计算的机器视觉多任务神经网络架构搜索方法
CN110738362A (zh) 一种基于改进的多元宇宙算法构建预测模型的方法
Wang et al. An improved real-coded genetic algorithm using the heuristical normal distribution and direction-based crossover
CN111079074A (zh) 一种基于改进的正弦余弦算法构建预测模型的方法
Ducange et al. Multi-objective evolutionary fuzzy systems
Zhou et al. ACDB-EA: Adaptive convergence-diversity balanced evolutionary algorithm for many-objective optimization
CN113962386A (zh) 一种模型参数优化选择方法、系统、计算机设备和存储介质
Dong et al. Boosting Kernel search optimizer with slime mould foraging behavior for combined economic emission dispatch problems
CN115203631A (zh) 一种基于改进遗传算法的多模态数据分析方法、系统
CN110991494A (zh) 一种基于改进的飞蛾优化算法构建预测模型的方法
CN111310985B (zh) 一种行程规划方法及系统
CN109377111A (zh) 基于改进模拟退火算法的作业调度方法和装置
Azghani et al. Intelligent modified mean shift tracking using genetic algorithm
Hu et al. Apenas: An asynchronous parallel evolution based multi-objective neural architecture search
Liu et al. Experience-based optimization: A coevolutionary approach
Mao et al. An XGBoost-assisted evolutionary algorithm for expensive multiobjective optimization problems
Taghavi et al. Ensemble pruning based on oblivious Chained Tabu Searches
CN116820110B (zh) 基于智能优化算法的生态环境监测任务规划方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination