CN113392983B - 自动机器学习的超参数自适应寻优优化系统和方法 - Google Patents
自动机器学习的超参数自适应寻优优化系统和方法 Download PDFInfo
- Publication number
- CN113392983B CN113392983B CN202110723700.3A CN202110723700A CN113392983B CN 113392983 B CN113392983 B CN 113392983B CN 202110723700 A CN202110723700 A CN 202110723700A CN 113392983 B CN113392983 B CN 113392983B
- Authority
- CN
- China
- Prior art keywords
- hyper
- parameter
- optimal
- image recognition
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 71
- 238000010801 machine learning Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000003044 adaptive effect Effects 0.000 title claims description 13
- 230000006870 function Effects 0.000 claims abstract description 59
- 238000012216 screening Methods 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 238000013508 migration Methods 0.000 claims description 14
- 230000005012 migration Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000013526 transfer learning Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 230000010076 replication Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000004519 manufacturing process Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 3
- 241000282465 Canis Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000282324 Felis Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Neurology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
本发明属于大数据机器学习领域，具体涉及了一种自动机器学习的超参数寻优优化系统和方法，旨在解决现有的机器学习方法难以支撑数据模态多样化、规模巨大化进行超参数调优的问题。本发明包括：根据现有超参数数据构建超参数初始空间；按照预设的学习目标任务定义超参数自适应选择策略函数，从超参数初始空间筛选出满足所述学习目标任务的候选超参数集合；通过预设的自适应寻优推理算法，遍历候选超参数集合并同时生成参数保真度密度曲线，根据保真度密度曲线的变异获得最优超参数；将所述最优超参数迁移到新增目标任务域超参数空间，完成新增目标任务域超参数初始寻优。本发明解决了大数据机器学习的参数优化耗费计算资源过多，参数共享难的问题。
Description
技术领域
本发明属于大数据自动机器学习领域，具体涉及了一种自动机器学习的超参数自适应寻优优化系统和方法。
背景技术
自动机器自动学习作为新一代人工智能前沿研究热点，与传统机器学习方法相比，从系统认知学角度，按照特定学习任务，自动从多模态大数据中获得高保真系统机理模型。这些优势使得自动机器学习成为推动人工智能走向多用途通用化发展重要里程碑，也就是说让机器像人类一样学习、思考和理解知识。
自动机器学习过程中超参数优化决定模型优劣关键。传统机器学习算法的超参数配置通常基于实验和前人经验进行选择，不仅包括优化器的超参数，还有和网络结构、训练迭代次数等相关的超参数，而且包括学习率、批量尺寸大小等优化器相关的超参数。已取得较好效果的超参数优化方法，通常采用网格搜索、随机搜索、贝叶斯优化、遗传算法、粒子群优化等。这些超参数优化方法使得机器自动化学习成为可能，然而现有方法不能从动态演化的大数据环境，自适应配置机器自动学习超参数集。
发明内容
为了解决现有技术中的上述问题，即现有的方法自适应配置超参数泛化能力差和鲁棒性脆弱，难以从多模态动态大数据中搜索出满足学习任务需求模型的问题，本发明提供了一种自动机器学习的超参数自适应寻优优化系统，应用于图像识别模型的构建，包括：超参数初始空间构建模块、超参数自适应选择策略模块、自适应寻优推理模块和超参数自动迁移模块；
所述超参数初始空间构建模块，配置为基于现有自动机器学习算法的超参数数据，将所述现有自动机器学习算法的超参数数据划分为不同自动机器学习算法超参数种群，进而构建超参数初始空间Dtrain，所述现有自动机器学习算法的超参数数据包括图像识别模型的超参数数据；
所述超参数自适应选择策略模块，配置为按照预设的学习目标任务，定义超参数自适应选择策略函数，自动从超参数初始空间Dtrain筛选出满足所述学习目标任务的候选超参数集合γ，所述预设的学习目标任务为图像识别任务，所述候选超参数集合为满足图像识别任务的超参数集合；
所述自适应寻优推理模块，配置为基于所述候选超参数集合，通过自适应寻优推理算法，根据预设的学习目标任务，采用并行和序列相结合的方法迭代探索候选算法最优结构及学习速率、正则化和网络结构深度等超参数组合，每次探索均生成超参数最优曲线，自动比对多次生成的超参数最优曲线的变异，增加干扰信息直至变异超过阈值，终止自适应寻优，获得最优超参数组合；
所述超参数自动迁移模块，配置为将新增学习目标任务与初始空间里已有最优超参数的源任务算法进行同类匹配，将相似度高于预设阈值的算法的最优超参数配置迁移到新增学习目标任务的超参数空间，为新增学习目标任务配置最优超参数，获得最优新增目标任务模型，所述新增学习目标任务是与学习目标任务不同的图像识别任务。
在一些优选的实施方式中，所述超参数初始空间构建模块包括：超参数库获取单元、超参数种群划分单元和超参数初始空间构建单元；
所述超参数库单元，配置为将所述现有自动机器学习算法的超参数数据中的模型结构超参数、优化超参数和自动学习流水线超参数构建为超参数库，模型结构超参数包括与网络结构相关的超参数、隐藏层层数、激活函数的选择、正则化方法；优化超参数包括学习率、批量尺寸大小；自动学习流水线超参数包括卷积核选择、迭代次数、激活函数、滑动窗口和流行共性指数；
所述超参数种群划分单元，配置为将所述超参数分类按照某个算法的模型结构超参数、优化超参数和自动学习流水线超参数，通过分割、复制、合并和更新的聚合划分分类方法，生成多种自动机器学习算法的超参数种群；
所述超参数初始空间构建单元，配置为基于所述自动机器学习算法的超参数种群，计算超参数种群中的超参数欧式相似度，将欧式相似度大于或等于预设共享边阈值的超参数间设置共享边，将欧式相似度小于预设共享边阈值的超参数生成不同种群算法节点相关超参数分布子图，构建超参数初始空间Dtrain。
在一些优选的实施方式中，所述超参数自适应选择策略函数η为：
其中，V(γi,Ai,Dtest,Dtrain)主要用来度量具有满足所述图像识别任务的候选超参数γi的算法Ai在超参数初始空间Dtrain和图像识别任务数据集Dtest中的损失，A表示超参数库中的算法。
在一些优选的实施方式中，所述自适应寻优推理算法目标函数y为：
其中，
表示根据图像识别任务定义的超参数选择策略函数
的组合最优曲线函数，
表示按照图像识别任务超参数选择策略从满足图像识别任务的候选超参数集合γ自适应寻优训练函数，所述自适应寻优训练函数结合实时获取的测试样本，自动为每个算法设置最优超参数，c表示第i训练样本超参数组合数目。
在一些优选的实施方式中，所述自适应寻优推理模块，具体包括：基于所述自适应寻优推理算法目标函数y，自动迭代遍历候选超参数集合获取超参数保真度密度函数，随机设定一个超参数最优曲线检查阈值，根据每个阈值自动比对超参数最优曲线变异情况；
若超参数最优曲线的变异度高于预设的阈值，则重复自适应寻优推理模块的功能替换更新最优超参数组合，并添加随机扰动淘汰机制，对算法超参配置进行剔除，直至所述超参数最优曲线的变异度低于或等于预设的阈值，则该目标学习任务获得最优超参数组合。
在一些优选的实施方式中，所述超参数迁移模块，具体包括：
设定最优超参数的源任务域Ds为：
其中，
表示具有具有满足图像识别任务最优超参数选择策略
的超参数集合，ηs表示满足图像识别任务的源算法集合数量，i表示循环迭代计数器，
表示迭代了i次的源算法；
所述目标任务域Do为：
将所述设定了最优超参数
的满足图像识别任务的源任务域Ds和目标任务域Do按照预设的迁移权重
通过基于样本的超参数迁移学习函数，迁移到目新增标任务域超参数空间，自动寻优出具有最优超参数
的目标任务模型，完成目标算法模型初始化；
所述基于样本的超参数迁移学习函数为：
其中，
为新增学习目标任务域超参数变量，ι表示超参数库中算法对应的图像识别目标预测函数，
表示根据图像识别任务定义的超参数选择策略函数
的组合最优曲线函数。
本发明的另一方面，提出了一种自动机器学习的超参数寻优优化方法，针对图像识别模型的构建，包括：
步骤S100，构建超参数初始空间，其为获取图像识别模型超参数数据的基础；
基于现有自动机器学习算法的超参数数据，将所述现有自动机器学习算法的超参数数据划分为不同自动机器学习算法超参数种群，进而构建超参数初始空间Dtrain；
步骤S200，预设学习目标任务为图像识别任务，定义超参数自适应选择策略函数，自动从超参数初始空间Dtrain筛选出满足所述所述图像识别任务的候选超参数集合γ；
步骤S300，基于所述候选超参数集合γ，通过自适应寻优推理算法，根据预设的学习目标任务，采用并行和序列相结合的方法迭代探索候选算法最优结构及学习速率、正则化和网络结构深度等超参数组合，每探索一次生成超参数最优曲线，自动比对多次生成的超参数最优曲线的变异，增加干扰信息直至变异超过阈值，终止自适应寻优，获得满足图像识别任务的最优超参数组合；
步骤S400，将新增学习目标任务与初始空间里已有最优超参数的满足图像识别任务的源任务算法进行同类匹配，将相似度高于预设阈值的算法的最优超参数配置迁移到新增学习目标任务的超参数空间，为新增学习目标任务配置最优超参数，其中，所述新增学习目标任务是与学习目标任务不同的图像识别任务。
在一些优选的实施方式中，所述步骤S300具体为：通过进化搜索迭代推理计算公式，对所述图像识别任务模型自动化学习流水线进行优化；
所述超参数自适应选择策略函数η为：
其中，V(γi,Ai,Dtest,Dtrain)主要用来度量具有满足所述图像识别任务的候选超参数γi的算法Ai在超参数初始空间Dtrain和图像识别任务任务数据集Dtest中的损失，A表示超参数库中的算法。
本发明的第三方面，提出了一种电子设备，包括：
至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的自动机器学习的超参数寻优优化方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述自动机器学习的超参数寻优优化方法。
本发明的有益效果：
(1)本发明自动机器学习的超参数寻优优化系统，受自然生物进化机理启发，通过S300自适应寻优推理，对当前输入训练数据集，进行自适应进化寻优预测，自动搜索出不同任务阶段的自动学习最优超参数组合系列，能够自动探索出学习模型的结构和训练机制，使得自动机器学习能够支撑百万级超参数自动选配。
(2)本发明自动机器学习的超参数寻优优化方法，构建了超参数优化贯穿自动学习全流水线自动优化机制，极大了改善了学习模型训练效率和泛化能力，实现超参数迁移共享，提升参数保真度，开辟了自动机器学习的自适应寻优优化新模式。
(3)本发明自动机器学习的超参数寻优优化方法，通过将同类算法的超参数配置进行迁移，解决了需要进行新增学习目标任务时先验信息不足导致的准确性不足的问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明实施例自动机器学习的超参数寻优优化系统的结构框图；
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种自动机器学习的超参数自适应寻优优化系统，本系统解决了对动态多模态大数据机器自动学习过程的超参数动态优选不仅耗费计算资源过多，有限时间内难以取得预期成效，模型保真度低，参数共享难的问题，开辟了自动机器学习的自适应寻优优化模型，应用于图像识别模型的构建，实现图像识别模型的自适应构建。
本发明的一种自动机器学习的超参数寻优优化系统，应用于图像识别模型的构建，包括：超参数初始空间构建模块、超参数自适应选择策略模块、自适应寻优推理模块和超参数自动迁移模块；
所述超参数初始空间构建模块，配置为基于现有自动机器学习算法的超参数数据，将所述现有自动机器学习算法的超参数数据划分为不同自动机器学习算法超参数种群，进而构建超参数初始空间Dtrain，所述现有自动机器学习算法的超参数数据包括图像识别模型的超参数数据；
所述超参数自适应选择策略模块，配置为按照预设的学习目标任务，定义超参数自适应选择策略函数，自动从超参数初始空间Dtrain筛选出满足所述学习目标任务的候选超参数集合γ，所述预设的学习目标任务为图像识别任务，所述候选超参数集合为满足图像识别任务的超参数集合；
所述自适应寻优推理模块，配置为基于所述候选超参数集合，通过自适应寻优推理算法，根据预设的学习目标任务，采用并行和序列相结合的方法迭代探索候选算法最优结构及学习速率、正则化和网络结构深度等超参数组合，每探索一次生成超参数最优曲线，自动比对多次生成的超参数最优曲线的变异，增加干扰信息直至变异超过阈值，终止自适应寻优，获得最优超参数组合；在本实施例中，所述最优曲线可优选为保真度密度曲线；
所述超参数自动迁移模块，配置为将新增学习目标任务与初始空间里已有最优超参数的源任务算法进行同类匹配，将相似度高于预设阈值的算法的最优超参数配置迁移到新增学习目标任务的超参数空间，为新增学习目标任务配置最优超参数，获得最优新增目标任务模型，所述新增学习目标任务是与学习目标任务不同的图像识别任务。
为了更清晰地对本发明自动机器学习的超参数寻优优化系统进行说明，下面结合图1对本发明实施例中各功能模块展开详述。
本发明第一实施例的自动机器学习的超参数寻优优化系统，包括超参数初始空间构建模块、超参数自适应选择策略模块、自适应寻优推理模块和超参数自动迁移模块，各模块详细描述如下：
所述超参数初始空间构建模块，配置为基于现有自动机器学习算法的超参数数据，将所述现有自动机器学习算法的超参数数据划分为不同自动机器学习算法超参数种群，进而构建超参数初始空间Dtrain，所述现有自动机器学习算法的超参数数据包括图像识别模型的超参数数据；
在本实施例中，所述超参数初始空间构建模块包括：超参数库获取单元、超参数种群划分单元和超参数初始空间构建单元；
所述超参数库单元，配置为将所述现有自动机器学习算法的超参数数据中的模型结构超参数、优化超参数和自动学习流水线超参数构建为超参数库，模型结构超参数包括与网络结构相关的超参数、隐藏层层数、激活函数的选择、正则化方法；优化超参数包括学习率、批量尺寸大小；自动学习流水线超参数包括卷积核选择、迭代次数、激活函数、滑动窗口和流行共性指数；
所述自动机器学习算法超参数库中，包括：学习率、神经元网络层数、网络结构、卷积核选择、迭代次数、隐含层层数、神经元规模、滑动窗口和流行共性指数、激活函数、聚类个数和话题个数。
所述超参数种群划分单元，配置为将所述超参数分类按照某个算法的模型结构超参数、优化超参数和自动学习流水线超参数，通过分割、复制、合并和更新的聚合划分分类方法，生成多种自动机器学习算法的超参数种群；
所述超参数初始空间构建单元，配置为基于所述自动机器学习算法的超参数种群，计算超参数种群中的超参数欧式相似度，将欧式相似度大于或等于预设共享边阈值的超参数间设置共享边，将欧式相似度小于预设共享边阈值的超参数生成不同种群算法节点相关超参数分布子图，构建超参数初始空间Dtrain。
所述超参数自适应选择策略模块，配置为按照预设的学习目标任务，定义超参数自适应选择策略函数，自动从超参数初始空间Dtrain筛选出满足所述学习目标任务的候选超参数集合γ，所述预设的学习目标任务为图像识别任务，所述候选超参数集合为满足图像识别任务的超参数集合；
在本实施例中，所述超参数自适应选择策略函数η为：
其中，V(γi,Ai,Dtest,Dtrain)用来度量具有满足所述图像识别任务的候选超参数γi的算法Ai在超参数初始空间Dtrain和图像识别任务数据集Dtest中的损失，A表示超参数库中的算法。
在本实施例中，Ai可选取的策略优选算法的包括：基于强化学习的学习式超参数优化、基于进化算法的搜索式超参数优化和基于贝叶斯优化的概率式超参数优化等，通过单个或者组合的超参搜索策略，自动训练评估具有γi参数的算法Ai在实验验证数据集Dtest和已有超参空间Dtrain之间损失。
所述自适应寻优推理模块，配置为基于所述候选超参数，通过预设的自适应寻优推理函数，遍历候选超参数集合，并生成参数保真度密度曲线，进而根据保真度密度曲线的变异度获得最优超参数；
在本实施例中，所述自适应寻优推理算法目标函数y为：
其中，
表示根据图像识别任务定义的超参数选择策略函数
的组合最优曲线函数，
表示按照图像识别任务超参数选择策略从满足图像识别任务的候选超参数集合γ自适应寻优训练函数，所述自适应寻优训练函数结合实时获取的测试样本，自动为每个算法设置最优超参数，所述测试样本来源于图像识别任务，c表示第i训练样本超参数组合数目；
所述自适应寻优推理模块，配置为基于所述候选超参数集合γ，通过自适应寻优推理算法，根据预设的学习目标任务，采用并行和序列相结合的方法迭代探索候选算法最优结构及学习速率、正则化和网络结构深度等超参数组合，每探索一次生成超参数最优曲线，自动比对多次生成的超参数最优曲线的变异，增加干扰信息直至变异超过阈值，终止自适应寻优，获得最优超参数组合；
所述超参数自动迁移模块，配置为将新增学习目标任务与初始空间里已有最优超参数的源任务算法进行同类匹配，将相似度高于预设阈值的算法的最优超参数配置迁移到新增学习目标任务的超参数空间，为新增学习目标任务配置最优超参数，获得最优新增目标任务模型，所述新增学习目标任务是与学习目标任务不同的图像识别任务。
在本实施例中，所述超参数迁移模块，具体包括：
设定最优超参数的源任务域Ds为：
其中，
表示具有具有满足图像识别任务最优超参数选择策略
的超参数集合，ηs表示满足图像识别任务的源算法集合数量，i表示循环迭代计数器，
表示迭代了i次的源算法；
所述目标任务域Do为：
将所述设定了最优超参数
的满足图像识别任务的源任务域Ds和目标任务域Do按照预设的迁移权重
通过基于样本的超参数迁移学习函数，迁移到目新增标任务域超参数空间，自动寻优出具有最优超参数
的目标任务模型，完成目标算法模型初始化；
所述基于样本的超参数迁移学习函数为：
其中，
为新增学习目标任务域超参数变量，ι表示超参数库中算法对应的图像识别目标预测函数，
表示根据图像识别任务定义的超参数选择策略函数
的组合最优曲线函数。
在具体的应用场景中，容易出现模型训练任务的先验信息不足的情况即对应与本发明的新增学习目标任务所需的训练数据不足的情况，可通过本发明的从现有的自动机器学习算法的超参数数据中获取配置最优超参数的模型即学习目标任务的模型，并将模型中的超参数迁移到新增学习目标任务中，新增学习目标任务配置最优超参数，获得获得最优新增目标任务模型。比如，若需要训练一个识别犬类图像的模型，但是先验信息不足无法训练模型，则可通过本发明获取识别猫类图像的算法的最优超参数，进而迁移到识别犬类图像的模型中。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考下述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的自动机器学习的超参数寻优优化系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第二实施例的自动机器学习的超参数寻优优化方法，包括：
步骤S100，构建超参数初始空间，其为获取图像识别模型超参数数据的基础；
基于现有自动机器学习算法的超参数数据，将所述现有自动机器学习算法的超参数数据划分为不同自动机器学习算法超参数种群，进而构建超参数初始空间Dtrain；
步骤S200，预设学习目标任务为图像识别任务，定义超参数自适应选择策略函数，自动从超参数初始空间Dtrain筛选出满足所述学习目标任务的候选超参数集合γ；
步骤S300，基于所述候选超参数集合γ，通过自适应寻优推理算法，根据预设的学习目标任务，采用并行和序列相结合的方法迭代探索候选算法最优结构及学习速率、正则化和网络结构深度等超参数组合，每探索一次生成超参数最优曲线，自动比对多次生成的超参数最优曲线的变异，增加干扰信息直至变异超过阈值，终止自适应寻优，获得满足图像识别任务的最优超参数组合；
步骤S400，将新增学习目标任务与初始空间里已有最优超参数的满足图像识别任务的源任务算法进行同类匹配，将相似度高于预设阈值的算法的最优超参数配置迁移到新增学习目标任务的超参数空间，为新增学习目标任务配置最优超参数，其中，所述新增学习目标任务是与学习目标任务不同的图像识别任务。
在本实施例中所述步骤S300具体为，通过进化搜索迭代推理计算公式，对所述图像识别任务模型自动化学习流水线进行优化；
所述超参数自适应选择策略函数η为：
其中，V(γi,Ai,Dtest,Dtrain)主要用来度量具有满足所述图像识别任务的候选超参数γi的算法Ai在超参数初始空间Dtrain和图像识别任务任务数据集Dtest中的损失，A表示超参数库中的算法。
本发明第三实施例的一种电子设备，包括：
至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的自动机器学习的超参数自适应寻优优化方法。
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的自动机器学习的超参数自适应寻优优化方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (3)
1.一种自动机器学习的超参数自适应寻优优化系统，其特征在于，应用于图像识别模型的构建，所述系统包括：超参数初始空间构建模块、超参数自适应选择策略模块、自适应寻优推理模块和超参数自动迁移模块；
所述超参数初始空间构建模块，配置为基于现有自动机器学习算法的超参数数据，将所述现有自动机器学习算法的超参数数据划分为不同自动机器学习算法超参数种群，进而构建超参数初始空间Dtrain，所述现有自动机器学习算法的超参数数据包括图像识别模型的超参数数据；
所述超参数初始空间构建模块包括：超参数库获取单元、超参数种群划分单元和超参数初始空间构建单元；
所述超参数库获取单元，配置为将所述现有自动机器学习算法的超参数数据中的模型结构超参数、优化超参数和自动学习流水线超参数构建为超参数库，模型结构超参数包括与网络结构相关的超参数、隐藏层层数、激活函数的选择、正则化方法；优化超参数包括学习率、批量尺寸大小；自动学习流水线超参数包括卷积核选择、迭代次数、激活函数、滑动窗口和流行共性指数；
所述超参数种群划分单元，配置为将所述超参数按照某个算法的模型结构超参数、优化超参数和自动学习流水线超参数，通过分割、复制、合并和更新的聚合划分分类方法，生成多种自动机器学习算法的超参数种群；
所述超参数初始空间构建单元，配置为基于所述自动机器学习算法的超参数种群，计算超参数种群中的超参数欧式相似度，将欧式相似度大于或等于预设共享边阈值的超参数间设置共享边，将欧式相似度小于预设共享边阈值的超参数生成不同种群算法节点相关超参数分布子图，构建超参数初始空间Dtrain；
所述超参数自适应选择策略模块，配置为按照预设的学习目标任务，定义超参数自适应选择策略函数，自动从超参数初始空间Dtrain筛选出满足所述学习目标任务的候选超参数集合γ，所述预设的学习目标任务为图像识别任务，所述候选超参数集合为满足图像识别任务的超参数集合；
所述自适应寻优推理模块，配置为基于所述候选超参数集合通过自适应寻优推理算法，根据预设的学习目标任务，采用并行和序列相结合的方法迭代探索出候选算法的最优结构、学习速率、正则化和网络结构深度的超参数组合，并生成超参数最优曲线，自动比对多次生成的超参数最优曲线的变异，增加干扰信息直至变异超过阈值，终止自适应寻优，获得最优超参数组合；
基于所述自适应寻优推理算法目标函数y，自动迭代遍历候选超参数集合获取超参数保真度密度函数，随机设定一个超参数最优曲线检查阈值，根据每个阈值自动比对超参数最优曲线变异情况；
若超参数最优曲线的变异度高于预设的阈值，则重复自适应寻优推理模块的功能替换更新最优超参数组合，并添加随机扰动淘汰机制，对算法超参配置进行剔除，直至所述超参数最优曲线的变异度低于或等于预设的阈值，则该学习目标任务获得最优超参数组合；
所述超参数自动迁移模块，配置为将新增学习目标任务与初始空间里已有最优超参数的源任务算法进行同类匹配，将相似度高于预设阈值的算法的最优超参数配置迁移到新增学习目标任务的超参数空间，为新增学习目标任务配置最优超参数，获得最优新增目标任务模型，通过所述最优新增目标任务模型执行新增目标任务获得图像识别结果；所述新增学习目标任务是与学习目标任务不同的图像识别任务；
所述图像识别模型的构建方法为：
步骤S100，构建超参数初始空间，其为获取图像识别模型超参数数据的基础；
基于现有自动机器学习算法的超参数数据，将所述现有自动机器学习算法的超参数数据划分为不同自动机器学习算法超参数种群，进而构建超参数初始空间Dtrain；
步骤S200，预设学习目标任务为图像识别任务，定义超参数自适应选择策略函数，自动从超参数初始空间Dtrain筛选出满足所述图像识别任务的候选超参数集合γ；
所述超参数自适应选择策略函数η为：
其中，V(γi,Ai,Dtest,Dtrain)用来度量具有满足所述图像识别任务的候选超参数γi的算法Ai在超参数初始空间Dtrain和图像识别任务数据集Dtest中的损失，A表示超参数库中的算法；
步骤S300，基于所述候选超参数集合γ，通过自适应寻优推理算法，根据预设的图像识别任务，采用并行和序列相结合的方法迭代探索候选算法最优结构及学习速率、正则化和网络结构深度的超参数组合，每探索一次生成超参数最优曲线，自动比对多次生成的超参数最优曲线的变异，增加干扰信息直至变异超过阈值，终止自适应寻优，获得满足图像识别任务的最优超参数组合；通过进化搜索迭代推理计算公式，对所述图像识别模型自动化学习流水线进行优化；
所述自适应寻优推理算法目标函数y为：
其中，
表示根据图像识别任务定义的超参数选择策略函数
的组合最优曲线函数，
表示按照图像识别任务超参数选择策略从满足图像识别任务的候选超参数集合γ自适应寻优训练函数，所述自适应寻优训练函数结合实时获取的测试样本，自动为每个算法设置最优超参数，所述测试样本来源于图像识别任务，c表示第i训练样本超参数组合数目；
步骤S400，将新增学习目标任务与初始空间里已有最优超参数的满足图像识别任务的算法进行同类匹配，将相似度高于预设阈值的算法的最优超参数配置迁移到新增学习目标任务的超参数空间，为新增学习目标任务配置最优超参数，获得最优新增目标任务模型，通过所述最优新增目标任务模型执行新增目标任务获得图像识别结果；其中，所述新增学习目标任务是与学习目标任务不同的图像识别任务；
设定最优超参数的满足图像识别任务的源任务域Ds为：
其中，
表示具有满足图像识别任务最优超参数选择策略
的超参数集合，ηs表示满足图像识别任务的源算法集合数量，i表示循环迭代计数器，
表示迭代了i次的源算法；
目标任务域Do为：
将所述设定了最优超参数
的满足图像识别任务的源任务域Ds和目标任务域Do按照预设的迁移权重
通过基于样本的超参数迁移学习函数，迁移到新增目标任务域超参数空间，自动寻优出具有最优超参数
的目标任务模型，完成目标算法模型初始化；
所述基于样本的超参数迁移学习函数为：
其中，
为新增学习目标任务域超参数变量，ι表示超参数库中算法对应的图像识别目标预测函数，
表示根据图像识别任务定义的超参数选择策略函数
的组合最优曲线函数。
2.一种电子设备，其特征在于，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1所述的图像识别模型的构建方法。
3.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1所述的图像识别模型的构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110723700.3A CN113392983B (zh) | 2021-06-29 | 2021-06-29 | 自动机器学习的超参数自适应寻优优化系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110723700.3A CN113392983B (zh) | 2021-06-29 | 2021-06-29 | 自动机器学习的超参数自适应寻优优化系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113392983A CN113392983A (zh) | 2021-09-14 |
| CN113392983B true CN113392983B (zh) | 2023-01-13 |
Family
ID=77624312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110723700.3A Active CN113392983B (zh) | 2021-06-29 | 2021-06-29 | 自动机器学习的超参数自适应寻优优化系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113392983B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115524615A (zh) * | 2022-10-08 | 2022-12-27 | 深圳先进技术研究院 | 基于电池制浆工艺的材料参数组合预测电池性能的方法 |
| CN116975731B (zh) * | 2023-08-08 | 2024-02-20 | 山东大学 | 一种基于迁移学习的跨域刀具破损监测方法及系统 |
| CN118520303A (zh) * | 2024-07-19 | 2024-08-20 | 智慧眼科技股份有限公司 | 一种基于结构化数据的自动机器学习方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458210A (zh) * | 2019-07-25 | 2019-11-15 | 武汉理工大学 | 一种基于迁移学习的汽车驾驶员状态监测方法及系统 |
| CN111178486A (zh) * | 2019-11-27 | 2020-05-19 | 湖州师范学院 | 一种基于种群演化的超参数异步并行搜索方法 |
| CN111260073A (zh) * | 2020-01-09 | 2020-06-09 | 京东数字科技控股有限公司 | 数据处理方法、装置和计算机可读存储介质 |
| CN111612528A (zh) * | 2020-04-30 | 2020-09-01 | 中国移动通信集团江苏有限公司 | 用户分类模型的确定方法、装置、设备及存储介质 |
| CN112434462A (zh) * | 2020-10-21 | 2021-03-02 | 华为技术有限公司 | 一种模型的获取方法及设备 |
| CN113011559A (zh) * | 2021-02-24 | 2021-06-22 | 中国科学院空天信息创新研究院 | 基于kubernetes的自动机器学习方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108062587A (zh) * | 2017-12-15 | 2018-05-22 | 清华大学 | 一种无监督机器学习的超参数自动优化方法及系统 |
| CN110443364A (zh) * | 2019-06-21 | 2019-11-12 | 深圳大学 | 一种深度神经网络多任务超参数优化方法及装置 |
| CN110598842A (zh) * | 2019-07-17 | 2019-12-20 | 深圳大学 | 一种深度神经网络超参数优化方法、电子设备及存储介质 |
-
2021
- 2021-06-29 CN CN202110723700.3A patent/CN113392983B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458210A (zh) * | 2019-07-25 | 2019-11-15 | 武汉理工大学 | 一种基于迁移学习的汽车驾驶员状态监测方法及系统 |
| CN111178486A (zh) * | 2019-11-27 | 2020-05-19 | 湖州师范学院 | 一种基于种群演化的超参数异步并行搜索方法 |
| CN111260073A (zh) * | 2020-01-09 | 2020-06-09 | 京东数字科技控股有限公司 | 数据处理方法、装置和计算机可读存储介质 |
| CN111612528A (zh) * | 2020-04-30 | 2020-09-01 | 中国移动通信集团江苏有限公司 | 用户分类模型的确定方法、装置、设备及存储介质 |
| CN112434462A (zh) * | 2020-10-21 | 2021-03-02 | 华为技术有限公司 | 一种模型的获取方法及设备 |
| CN113011559A (zh) * | 2021-02-24 | 2021-06-22 | 中国科学院空天信息创新研究院 | 基于kubernetes的自动机器学习方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113392983A (zh) | 2021-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113392983B (zh) | 自动机器学习的超参数自适应寻优优化系统和方法 | |
| Rostami et al. | Integration of multi-objective PSO based feature selection and node centrality for medical datasets | |
| US20210049512A1 (en) | Explainers for machine learning classifiers | |
| WO2022121289A1 (en) | Methods and systems for mining minority-class data samples for training neural network | |
| Thomas et al. | A systematic review of machine learning-based missing value imputation techniques | |
| Khayyam et al. | A novel hybrid machine learning algorithm for limited and big data modeling with application in industry 4.0 | |
| Beheshti | BMPA-TVSinV: A Binary Marine Predators Algorithm using time-varying sine and V-shaped transfer functions for wrapper-based feature selection | |
| Feng et al. | A hierarchical multi-label classification method based on neural networks for gene function prediction | |
| Islam et al. | A comprehensive survey on the process, methods, evaluation, and challenges of feature selection | |
| Shaw et al. | Hybridization of ring theory-based evolutionary algorithm and particle swarm optimization to solve class imbalance problem | |
| Kadhim et al. | Artificial Neural Network Hyperparameters Optimization: A Survey. | |
| Jaddi et al. | Master-leader-slave cuckoo search with parameter control for ANN optimization and its real-world application to water quality prediction | |
| Khan et al. | Ant colony optimization based hierarchical multi-label classification algorithm | |
| Yong et al. | Improved firefly algorithm for feature selection with the ReliefF-based initialization and the weighted voting mechanism | |
| Akbar et al. | Optimizing Software Defect Prediction Models: Integrating Hybrid Grey Wolf and Particle Swarm Optimization for Enhanced Feature Selection with Popular Gradient Boosting Algorithm | |
| Pamila et al. | Ensemble classifier based big data classification with hybrid optimal feature selection | |
| US20220121924A1 (en) | Configuring a neural network using smoothing splines | |
| Kewat et al. | Performance evaluation of wrapper-based feature selection techniques for medical datasets | |
| Vieira et al. | An automated approach for binary classification on imbalanced data | |
| Singh et al. | Enhanced data stream classification by optimized weight updated meta-learning: Continuous learning-based on concept-drift | |
| Mahmoudi et al. | ANFIS-based wrapper model gene selection for cancer classification on microarray gene expression data | |
| Louati et al. | Embedding channel pruning within the CNN architecture design using a bi-level evolutionary approach | |
| Guo et al. | End-to-end variational graph clustering with local structural preservation | |
| Varshavardhini et al. | An Efficient Feature Subset Selection with Fuzzy Wavelet Neural Network for Data Mining in Big Data Environment. | |
| US20210256374A1 (en) | Method and apparatus with neural network and training |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |