CN111768004A - 一种基于智能计算框架的模型自适应方法及系统 - Google Patents
一种基于智能计算框架的模型自适应方法及系统 Download PDFInfo
- Publication number
- CN111768004A CN111768004A CN202010524366.4A CN202010524366A CN111768004A CN 111768004 A CN111768004 A CN 111768004A CN 202010524366 A CN202010524366 A CN 202010524366A CN 111768004 A CN111768004 A CN 111768004A
- Authority
- CN
- China
- Prior art keywords
- model
- neural network
- intelligent computing
- computing framework
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000013528 artificial neural network Methods 0.000 claims abstract description 56
- 238000005457 optimization Methods 0.000 claims abstract description 39
- 238000005516 engineering process Methods 0.000 claims abstract description 37
- 238000010801 machine learning Methods 0.000 claims abstract description 31
- 238000010276 construction Methods 0.000 claims abstract description 28
- 238000013508 migration Methods 0.000 claims abstract description 18
- 230000005012 migration Effects 0.000 claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 24
- 230000006978 adaptation Effects 0.000 claims description 19
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000008676 import Effects 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 abstract description 23
- 230000008569 process Effects 0.000 abstract description 8
- 238000011161 development Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例提供一种基于智能计算框架的模型自适应方法及系统。该方法包括：基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索；基于拓展的开放式神经网络交换技术，在模型构建后实现模型跨框架的迁移。本发明实施例通过在模型构建时的自适应方法将与特征、模型、优化、评价有关的重要步骤进行自动化学习，从而降低机器学习过程中的人工干预程度，使得机器学习方法能够更加简单高效的被用户所使用，将各个主流框架的算法库抽象出来，借助神经网络交换技术，将模型存为统一格式，实现模型跨框架迁移，提升模型的复用性，降低开发成本。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于智能计算框架的模型自适应方法及系统。
背景技术
近年来，人工智能的理论和技术都得到了突飞猛进的发展，智能算法层出不穷。传统的机器学习算法有决策树、随机森林、人工神经网络、贝叶斯学习等，基于大量数据驱动的人工智能算法，比如深度学习、强化学习、迁移学习、元学习等，在各个领域都得到了广泛的应用。然而机器学习算法特别是深度神经网络的应用往往需要大量的人工干预工作，这些干预主要表现在：特征提取、模型选择、参数调节等多个方面。智能算法的效果与其相应的模型结构和模型参数息息相关，由于目前模型结构的设计和模型参数的调优严重依赖开发人员的个人经验，这不仅导致算法效果难以复现，而且耗时长、易出错。
即使很多经过调优的算法模型已在各自领域取得成功，但由于其基于的框架之间相互独立，导致不同框架之间的模型无法互用。目前，学术界和工业界与学术界都推出了各种各样的智能计算框架，技术发展迭代速度快，支持的硬件架构和软件平台也越来越多。主流的机器学习智能算法计算框架主要有：Caffe、TensorFlow、PyTorch、MXNet、CNTK、Theano等。这些框架有各自特定的数据格式和模型表示方式，适用于不同能力和量级的计算平台，但由于框架间缺乏转换机制，使得不同框架下训练好的深度学习模型不可互用，从而导致切换深度学习计算框架时需要再次进行算法训练，耗时耗力。由微软、亚马逊、Facebook和IBM等公司共同开发神经网络共享技术标准开放式神经网络交换(Open Neural NetworkExchange，ONNX)，可使模型在不同框架之间进行迁移。基于ONNX技术，不同的人工智能计算框架可以采用相同格式存储模型数据并交互。
目前，ONNX已经支持大多数框架，主流的机器学习框架例如PyTorch、Caffe2等都已经内嵌了ONNX接口插件，使用者可以直接通过API(Application ProgrammingInterface，应用编程接口)将模型导出为ONNX格式；而一些框架例如TensorFlow并不支持直接ONNX格式导出，但是可以通过提供的转换工具导入或导出这些框架的模型。然而，ONNX技术发展还不成熟，现阶段的ONNX技术只支持模型推理，导入的模型都需要在原计算框架下完成训练，这就导致很难根据实际应用需求训练调整ONNX模型文件。而且，即使能够利用模型框架迁移技术实现模型在框架之间的转换，但其参数调优的效果依然难以实现无缝迁移。
发明内容
本发明实施例提供一种基于智能计算框架的模型自适应方法及系统，用以解决现有技术中存在的问题。
第一方面，本发明实施例提供一种基于智能计算框架的模型自适应方法，包括：
基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索；
基于拓展的开放式神经网络交换技术，在模型构建后实现模型跨框架的迁移。
进一步地，所述基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索，之后还包括：
当预训练模型与任务需求不相匹配时，通过所述神经网络架构搜索，构建新的模型进行学习训练。
进一步地，所述基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索，具体包括：
通过从数据集中自动创建候选特征或采用预设特征增强方法实现对数据特征的后处理；
在模型开始学习之前进行人为参数设置，采用预设超参数调优方法进行模型参数调整；
当现有模型的网络结构与计算需求不相匹配时，通过人工干预，自动生成对当前任务最有效的网络结构。
进一步地，所述当现有模型的网络结构与计算需求不相匹配时，通过人工干预，自动生成对当前任务最有效的网络结构，具体包括：
定义搜索空间；
在所述搜索空间内寻找最优网络结构配置；
依据预设评估指标方法，通过对所述最优网络结构配置测试生成最优网络结构。
进一步地，所述预设特征增强方法包括特征选择、特征降维、特征生成和特征编码。
进一步地，所述搜索空间的定义方法包括基于链状结构组成和基于单元结构组成。
进一步地，所述基于拓展的开放式神经网络交换技术，在模型构建后实现模型跨框架的迁移，具体包括：
对于内设开放式神经网络交换接口的框架，调用API导出或导入已训练好的模型，导出预训练模型并查看所述预训练模型的结构信息，将导出的开放式神经网络交换模型加载至其余框架下执行推理；
对于不支持开放式神经网络交换接口的框架，进行转化工具的开发和集成，对导入或导出的预训练模型进行转换，实现智能模型的异构框架迁移。
第二方面，本发明实施例提供一种基于智能计算框架的模型自适应系统，包括：
第一处理模块，用于基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索；
第二处理模块，用于基于拓展的开放式神经网络交换技术，在模型构建后实现模型跨框架的迁移。
第三方面，本发明实施例提供一种电子设备，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述基于智能计算框架的模型自适应方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现任一项所述基于智能计算框架的模型自适应方法的步骤。
本发明实施例提供的基于智能计算框架的模型自适应方法及系统，通过在模型构建时的自适应方法将与特征、模型、优化、评价有关的重要步骤进行自动化学习，从而降低机器学习过程中的人工干预程度，使得机器学习方法能够更加简单高效的被用户所使用，将各个主流框架的算法库抽象出来，借助神经网络交换技术，将模型存为统一格式，实现模型跨框架迁移，提升模型的复用性，降低开发成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于智能计算框架的模型自适应方法流程图；
图2为本发明实施例提供的智能计算框架的模型自适应技术全流程图；
图3为本发明实施例提供的基于自动化机器学习的模型构建时的自适应示意图；
图4为本发明实施例提供的神经网络结构搜索的自动构建流程图；
图5为本发明实施例提供的一种基于智能计算框架的模型自适应系统结构图；
图6为本发明实施例提供的电子设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的一种基于智能计算框架的模型自适应方法流程图，如图1所示，包括：
S1，基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索；
S2，基于拓展的开放式神经网络交换技术，在模型构建后实现模型跨框架的迁移。
其中，所述基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索，之后还包括：
当预训练模型与任务需求不相匹配时，通过所述神经网络架构搜索，构建新的模型进行学习训练。
具体地，本发明实施例提出了智能计算框架的模型自适应技术，划分为智能计算模型构建时的自适应和构建后的自适应。模型构建时的自适应，基于自动化机器学习技术(AutoML)，在模型构建中既可以实现特征选择、模型选择及参数调优的自适应；同时，当预训练模型与任务需求不相匹配时，通过神经网络架构搜索方法，构建新的网络模型进行学习训练。模型构建后的自适应，基于拓展的开放式神经网络交换技术(ONNX)，将模型保存为统一格式，使得机器学习模型可以跨框架迁移，实现了模型构建后的复用，具体的全流程示意参见图2。
本发明实施例通过在模型构建时的自适应方法将与特征、模型、优化、评价有关的重要步骤进行自动化学习，从而降低机器学习过程中的人工干预程度，使得机器学习方法能够更加简单高效的被用户所使用，将各个主流框架的算法库抽象出来，借助神经网络交换技术，将模型存为统一格式，实现模型跨框架迁移，提升模型的复用性，降低开发成本。
基于上述实施例，该方法中步骤S1具体包括：
通过从数据集中自动创建候选特征或采用预设特征增强方法实现对数据特征的后处理；
在模型开始学习之前进行人为参数设置，采用预设超参数调优方法进行模型参数调整；
当现有模型的网络结构与计算需求不相匹配时，通过人工干预，自动生成对当前任务最有效的网络结构。
其中，所述当现有模型的网络结构与计算需求不相匹配时，通过人工干预，自动生成对当前任务最有效的网络结构，具体包括：
定义搜索空间；
在所述搜索空间内寻找最优网络结构配置；
依据预设评估指标方法，通过对所述最优网络结构配置测试生成最优网络结构。
其中，所述预设特征增强方法包括特征选择、特征降维、特征生成和特征编码。
其中，所述搜索空间的定义方法包括基于链状结构组成和基于单元结构组成。
具体地，如图3所示，在模型构建时的自适应包括基于AutoML实现自动特征提取、超参数优化、神经网络架构搜索，具体步骤分为：
1)自动特征提取，由于数据的原始特征较少或者不够好，比如特征的维度太高或样本在现有特征空间中不可辨别，需要对这些特征进行后处理。具体有两种方式，一种是从数据集中自动创建候选特征，从中选择若干最佳特征进行训练的一种方式。自动挖掘并构造一些相关特征，使得模型可以有最优的表现。另外，还需要一些特定的特征增强方法，比如特征选择、特征降维、特征生成以及特征编码。可以借助现有自动特征工程工具，实现自动的特征工程，比如Featuretools和ExploreKit等。ExploreKit通过基于输入特征之间的交互自动构建新的特征；Featuretools使用一种称为深度特征合成(DFS)的算法，通过遍历关系数据库的模式描述的关系路径，进行聚合和转换操作，生成综合特征。
2)超参数优化：超参数是指模型开始学习过程之前需要人为设置的参数，而不是通过训练可得到的参数数据，比如随机梯度下降算法中的学习速率。超参数优化是通过对现有模型进行超参数优化从而满足计算需求的一种自动化模型优化方法。常用的超参数调优方法为：网格搜索(Grid Search)，遍历所有可能的参数组合，遍历所有可能的参数组合；随机搜索(Random Search)，限定搜索次数，随机选择参数进行试验；贝叶斯优化，一开始可以采用随机搜索确定几个样本点，通过高斯过程回归，计算后验概率分布，最大化期望函数得到最优参数。现有的超参数优化工具有Auto-sklearn，就是基于sklearn包含的机器学习模型，使用贝叶斯优化进行模型的超参数调优。
3)神经网络架构搜索：当现有模型的网络结构与计算需求不匹配时，需要通过人工干预，自动生成一个对当前任务最有效的网络结构，这一类方法称为神经网络架构搜索(Neural Architecture Search,NAS)。NAS算法的思想是通过很多小的、重复的单元组成一个大的网络结构。这种单元(Cell)包含两种类型，一种是维持维度的正常单元(NormalCell)，另外一种是降低维度的还原单元(Reduction Cell)。NAS算法包括三个部分：搜索空间，优化方法以及评估方法，如图4所示：
第一步：定义搜索空间，常用的搜索空间定义方法有基于链状结构组成和基于单元结构组成；
第二步：在给定的搜索空间内找到最优的网络结构配置，常用的优化方法是随机搜索、基于梯度的算法、贝叶斯优化、进化搜索以及强化学习等；
第三步：依据特定的评估指标方法，如网络同态映射、权重共享以及超网络等，通过不断的测试从而生成一个最适合的网络结构。
可以理解的是，现有自动神经架构搜索的工具有Google Cloud的AutoML以及Auto-Keras。GoogleCloud的AutoML不开源，而AutoKeras是一个开源的、免费的工具，与Google的AutoML功能相似，能为深度学习模型自动搜索架构和超参数，使用的方法是高效神经架构搜索(ENAS)，引入神经网络核和树结构的采集函数优化算法，用贝叶斯优化来引导神经网络的网络态射。
基于上述任一实施例，该方法中步骤S2具体包括：
对于内设开放式神经网络交换接口的框架，调用API导出或导入已训练好的模型，导出预训练模型并查看所述预训练模型的结构信息，将导出的开放式神经网络交换模型加载至其余框架下执行推理；
对于不支持开放式神经网络交换接口的框架，进行转化工具的开发和集成，对导入或导出的预训练模型进行转换，实现智能模型的异构框架迁移。
具体地，模型构建后的自适应包括基于拓展的开放式神经网络交换(ONNX)技术，实现模型跨框架的迁移。开放式神经网络交换技术通过定义可扩展的计算图模型，标准数据类型以及内置运算符，使用序列化的图格式，序列化图由一组元数据字段、模型参数列表以及计算节点列表组成。不同深度学习框架中的模型都可以导出或转换为标准ONNX格式，将模型统一为ONNX格式后，就可以在平台和设备上进行运算，从而实现模型跨框架的迁移。具体分为两种方式：
第一种，对于内建了ONNX接口的框架而言，使用起来非常简单，只需要调用API导出或导入已训练好的模型即可。例如PyTorch，首先需要加载torch.onnx模块，然后导出预训练模型并查看模型结构信息，最后将导出的ONNX模型加载到另外的框架下执行推理。
第二种，对于不支持ONNX接口的框架，需要开发和集成转化工具，对导入或导出的预训练模型进行转换，实现智能模型的异构框架的迁移。
下面以一个具体的实施例来说明本发明实施例提出的实现基于智能计算框架的模型自适应，包括模型构建时的自适应和模型构建后的自适应，具体步骤为：
步骤一:自动特征选取：基于自动化特征工程工具包Featuretools，构建新的特征；Featuretools使用一种称为深度特征合成(DFS)的算法，既可以单独使用现有的特征基元也可以叠加使用这些基元，通过遍历关系数据库的模式描述的关系路径，进行聚合和转换操作，生成综合特征；进一步，特征过多时，可以选用主成分分析方法进行特征降维。
步骤二：超参数优化，基于Auto-sklearn实现现有模型的自动调优，Auto-sklearn主要包含Sklearn机器学习模型，使用贝叶斯优化进行模型的超参数调优。贝叶斯优化采用高斯过程定义优化的目标函数，根据其后验分布进行采样，通过权衡开发和探索，进行高效采样，不断优化目标函数，从而得到最优的超参数。
步骤三：神经网络架构搜索：当现有的网络模型不能满足计算要求时，通过神经网络架构搜索，自动构建神经网络模型。基于开Auto-Keras实现自动神经架构搜索，Auto-Keras依赖Keras和PyTorch构建，根据输入数据集，采用高效神经架构搜索算法将自动搜索最佳架构和相应参数。
1)定义搜索空间
2)基于优化方法(比如贝叶斯优化方法)在给定的搜索空间内找到一组最佳的架构建单元；
3)利用数据进行训练，选择合适的评价方式(比如网络同态映射)，不断学习训练从而生成一个满足任务需求的网络模型；
步骤四：将在特定框架(比如PyTorch)下自动构建好网络模型，通过加载torch.onnx模块或者通过模型转换工具，导出预训练模型并查看模型结构信息，保存为ONNX格式；
步骤五：根据不同类型的任务需求选用预训练好的ONNX模型，导入到设定的推理环境(比如Caffe2)中进行计算。
图5为本发明实施例提供的一种基于智能计算框架的模型自适应系统结构图，如图5所示，包括：第一处理模块51和第二处理模块52；其中：
第一处理模块51用于基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索；第二处理模块52用于基于拓展的开放式神经网络交换技术，在模型构建后实现模型跨框架的迁移。
本发明实施例提供的系统用于执行上述对应的方法，其具体的实施方式与方法的实施方式一致，涉及的算法流程与对应的方法算法流程相同，此处不再赘述。
本发明实施例通过在模型构建时的自适应方法将与特征、模型、优化、评价有关的重要步骤进行自动化学习，从而降低机器学习过程中的人工干预程度，使得机器学习方法能够更加简单高效的被用户所使用，将各个主流框架的算法库抽象出来，借助神经网络交换技术，将模型存为统一格式，实现模型跨框架迁移，提升模型的复用性，降低开发成本。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行如下方法：基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索；基于拓展的开放式神经网络交换技术，在模型构建后实现模型跨框架的迁移。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索；基于拓展的开放式神经网络交换技术，在模型构建后实现模型跨框架的迁移。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于智能计算框架的模型自适应方法，其特征在于，包括：
基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索；
基于拓展的开放式神经网络交换技术，在模型构建后实现模型跨框架的迁移。
2.根据权利要求1所述的基于智能计算框架的模型自适应方法，其特征在于，所述基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索，之后还包括：
当预训练模型与任务需求不相匹配时，通过所述神经网络架构搜索，构建新的模型进行学习训练。
3.根据权利要求1所述的基于智能计算框架的模型自适应方法，其特征在于，所述基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索，具体包括：
通过从数据集中自动创建候选特征或采用预设特征增强方法实现对数据特征的后处理；
在模型开始学习之前进行人为参数设置，采用预设超参数调优方法进行模型参数调整；
当现有模型的网络结构与计算需求不相匹配时，通过人工干预，自动生成对当前任务最有效的网络结构。
4.根据权利要求3所述的基于智能计算框架的模型自适应方法，其特征在于，所述当现有模型的网络结构与计算需求不相匹配时，通过人工干预，自动生成对当前任务最有效的网络结构，具体包括：
定义搜索空间；
在所述搜索空间内寻找最优网络结构配置；
依据预设评估指标方法，通过对所述最优网络结构配置测试生成最优网络结构。
5.根据权利要求3所述的基于智能计算框架的模型自适应方法，其特征在于，所述预设特征增强方法包括特征选择、特征降维、特征生成和特征编码。
6.根据权利要求4所述的基于智能计算框架的模型自适应方法，其特征在于，所述搜索空间的定义方法包括基于链状结构组成和基于单元结构组成。
7.根据权利要求1所述的基于智能计算框架的模型自适应方法，其特征在于，所述基于拓展的开放式神经网络交换技术，在模型构建后实现模型跨框架的迁移，具体包括：
对于内设开放式神经网络交换接口的框架，调用API导出或导入已训练好的模型，导出预训练模型并查看所述预训练模型的结构信息，将导出的开放式神经网络交换模型加载至其余框架下执行推理；
对于不支持开放式神经网络交换接口的框架，进行转化工具的开发和集成，对导入或导出的预训练模型进行转换，实现智能模型的异构框架迁移。
8.一种基于智能计算框架的模型自适应系统，其特征在于，包括：
第一处理模块，用于基于自动化机器学习技术，在模型构建时实现自动特征选择、超参数优化和神经网络架构搜索；
第二处理模块，用于基于拓展的开放式神经网络交换技术，在模型构建后实现模型跨框架的迁移。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于智能计算框架的模型自适应方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述基于智能计算框架的模型自适应方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010524366.4A CN111768004A (zh) | 2020-06-10 | 2020-06-10 | 一种基于智能计算框架的模型自适应方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010524366.4A CN111768004A (zh) | 2020-06-10 | 2020-06-10 | 一种基于智能计算框架的模型自适应方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111768004A true CN111768004A (zh) | 2020-10-13 |
Family
ID=72720427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010524366.4A Pending CN111768004A (zh) | 2020-06-10 | 2020-06-10 | 一种基于智能计算框架的模型自适应方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768004A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112183768A (zh) * | 2020-10-23 | 2021-01-05 | 福州大学 | 一种基于语义网的机器学习流程智能组装方法(面向深度学习) |
| CN112488206A (zh) * | 2020-12-02 | 2021-03-12 | 厦门渊亭信息科技有限公司 | 一种基于数据挖掘的自动化特征选取方法 |
| CN112671757A (zh) * | 2020-12-22 | 2021-04-16 | 无锡江南计算技术研究所 | 一种基于自动机器学习的加密流量协议识别方法及装置 |
| CN113570030A (zh) * | 2021-01-18 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备以及存储介质 |
| WO2022083536A1 (zh) * | 2020-10-21 | 2022-04-28 | 华为技术有限公司 | 一种神经网络构建方法以及装置 |
| CN116108764A (zh) * | 2023-04-14 | 2023-05-12 | 中国科学院长春光学精密机械与物理研究所 | 光学智能优化方法、装置、设备、介质 |
| WO2023125869A1 (zh) * | 2021-12-31 | 2023-07-06 | 维沃移动通信有限公司 | Ai网络信息传输方法、装置及通信设备 |
-
2020
- 2020-06-10 CN CN202010524366.4A patent/CN111768004A/zh active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022083536A1 (zh) * | 2020-10-21 | 2022-04-28 | 华为技术有限公司 | 一种神经网络构建方法以及装置 |
| CN112183768A (zh) * | 2020-10-23 | 2021-01-05 | 福州大学 | 一种基于语义网的机器学习流程智能组装方法(面向深度学习) |
| CN112488206A (zh) * | 2020-12-02 | 2021-03-12 | 厦门渊亭信息科技有限公司 | 一种基于数据挖掘的自动化特征选取方法 |
| CN112671757A (zh) * | 2020-12-22 | 2021-04-16 | 无锡江南计算技术研究所 | 一种基于自动机器学习的加密流量协议识别方法及装置 |
| CN112671757B (zh) * | 2020-12-22 | 2023-10-31 | 无锡江南计算技术研究所 | 一种基于自动机器学习的加密流量协议识别方法及装置 |
| CN113570030A (zh) * | 2021-01-18 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备以及存储介质 |
| CN113570030B (zh) * | 2021-01-18 | 2024-05-10 | 腾讯科技（深圳）有限公司 | 数据处理方法、装置、设备以及存储介质 |
| WO2023125869A1 (zh) * | 2021-12-31 | 2023-07-06 | 维沃移动通信有限公司 | Ai网络信息传输方法、装置及通信设备 |
| CN116108764A (zh) * | 2023-04-14 | 2023-05-12 | 中国科学院长春光学精密机械与物理研究所 | 光学智能优化方法、装置、设备、介质 |
| CN116108764B (zh) * | 2023-04-14 | 2023-07-07 | 中国科学院长春光学精密机械与物理研究所 | 光学智能优化方法、装置、设备、介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111768004A (zh) | 一种基于智能计算框架的模型自适应方法及系统 | |
| KR102302609B1 (ko) | 신경망 아키텍처 최적화 | |
| Chiang et al. | Cluster-gcn: An efficient algorithm for training deep and large graph convolutional networks | |
| US11182677B2 (en) | Evolving recurrent networks using genetic programming | |
| EP4036803A1 (en) | Neural network model processing method and apparatus, computer device, and storage medium | |
| US11556850B2 (en) | Resource-aware automatic machine learning system | |
| CN112579063B (zh) | 一种用于深度学习编译器中探索优化空间的加速方法 | |
| US20190279088A1 (en) | Training method, apparatus, chip, and system for neural network model | |
| WO2021175058A1 (zh) | 一种神经网络架构搜索方法、装置、设备及介质 | |
| Qi et al. | Multi-objective immune algorithm with Baldwinian learning | |
| CN107943945A (zh) | 一种大数据分析开发平台中异构算子管理方法 | |
| CN107451230A (zh) | 一种问答方法以及问答系统 | |
| CA3129731A1 (en) | System and method for implementing modular universal reparameterization for deep multi-task learning across diverse domains | |
| CN113128689A (zh) | 一种调控知识图谱的实体关系路径推理方法及系统 | |
| CN114385233A (zh) | 一种跨平台自适应数据处理工作流系统及方法 | |
| CN115544029A (zh) | 一种数据处理方法及相关装置 | |
| KR102430482B1 (ko) | 금지 영역 정보를 기반으로 반도체 소자를 배치하는 방법 | |
| WO2022252694A1 (zh) | 神经网络优化方法及其装置 | |
| Egele et al. | Asynchronous distributed bayesian optimization at hpc scale | |
| CN117494775A (zh) | 训练神经网络模型的方法、电子设备、云端、集群及介质 | |
| CN115238775A (zh) | 模型构建方法 | |
| CN113706285A (zh) | 一种信用卡欺诈检测方法 | |
| CN113590691A (zh) | 目标对象处理方法以及装置 | |
| Scardapane et al. | Adaptation and learning over networks for nonlinear system modeling | |
| KR102430484B1 (ko) | 인공지능 기반의 반도체 설계 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201013 |