CN112862107A - 自动建模运行系统及运行方法 - Google Patents

自动建模运行系统及运行方法 Download PDF

Info

Publication number
CN112862107A
CN112862107A CN202110107144.7A CN202110107144A CN112862107A CN 112862107 A CN112862107 A CN 112862107A CN 202110107144 A CN202110107144 A CN 202110107144A CN 112862107 A CN112862107 A CN 112862107A
Authority
CN
China
Prior art keywords
hyper
parameter
parameters
model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110107144.7A
Other languages
English (en)
Inventor
姜汉
王臣汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Computing Tianjin Information Technology Co ltd
Original Assignee
Beijing Computing Tianjin Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Computing Tianjin Information Technology Co ltd filed Critical Beijing Computing Tianjin Information Technology Co ltd
Priority to CN202110107144.7A priority Critical patent/CN112862107A/zh
Publication of CN112862107A publication Critical patent/CN112862107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种自动建模运行系统及运行方法。所述系统包括:样本模型选取单元根据待训练数据,获取对应待训练数据的问题类型信息,并根据问题类型信息,选取相应的样本模型;参数范围选取单元根据样本模型,选取相应的历史超参数和对应历史超参数的参数范围;调参单元基于样本模型,对历史超参数和参数范围进行训练处理,得到训练后超参数以及对应训练后超参数的优化模型;评估单元用于对优化模型进行评估处理,生成评估报告信息,实现自动建模和模型优化,量化了调参训练过程,实现系统的高易用性和高准确性,在深度学习的训练过程无需人工确立模型结构和参数范围,就能得到高准确度的训练模型结果,且简化了模型建立、优化和评估的过程。

Description

自动建模运行系统及运行方法
技术领域
本申请涉及深度学习技术领域,具体而言,涉及一种自动建模运行系统及运行方法。
背景技术
目前深度学习的应用场景越来越广泛,深度学习在安防、影像识别、预测和估计等领域都有很重度的使用。在使用深度学习的过程中,我们可以把深度学习的训练过程分为数据准备、模型构建、参数调试和结果评估。数据准备是收集并整理解决问题需要的训练数据和相关测试数据;模型构建是选择解决问题的深度学习模型;参数调试是筛选一组超参数使选择的模型最终效果最好;结果评估是使用一些测试数据对生成的模型进行评估,计算该模型效果的优劣。其中模型构建和参数调试是这一过程的核心,也是对算法工程师要求较高的地方。
算法工程师或者算法专家在进行模型构建和参数调试的过程中,需要人工确立模型结构和参数范围,并根据每一次的结果评估进行模型参数取值的调整,这一过程主要依靠算法工程师的经验。另外,调优的方式并没有一个可量化的方式,去寻找最优模型参数取值。
针对相关技术中传统深度学习的训练过程需要人工确立模型结构和参数范围,且需要凭借人为经验根据每一次的结果评估进行模型参数取值的调整,调试过程无法量化的问题,目前尚未提出有效的解决方案。
发明内容
本申请的主要目的在于提供一种自动建模运行系统及运行方法,以解决传统深度学习的训练过程需要人工确立模型结构和参数范围,且需要凭借人为经验根据每一次的结果评估进行模型参数取值的调整,调试过程无法量化的问题。
为了实现上述目的,第一方面,本申请提供了一种自动建模运行系统。
根据本申请的自动建模运行系统,包括:
样本模型选取单元,样本模型选取单元用于根据待训练数据,获取对应待训练数据的问题类型信息,并根据问题类型信息,选取相应的样本模型;
参数范围选取单元,参数范围选取单元用于根据样本模型,选取相应的历史超参数和对应历史超参数的参数范围;
调参单元,调参单元用于基于样本模型,对历史超参数和参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型;
评估单元,评估单元用于对优化模型进行评估处理,并根据评估的结果,生成评估报告信息。
在其中一个实施例中,还包括超参数存储单元;
超参数存储单元用于存储历史超参数;
调参单元还用于将训练后超参数作为历史超参数存储至超参数存储单元。
在其中一个实施例中,调参单元还包括超参数获取子单元;
超参数获取子单元用于根据当前的评估报告信息,从超参数存储单元获取相应的历史超参数。
在其中一个实施例中,待训练数据包括字段类型、字段名称和数据样本。
在其中一个实施例中,字段类型包括int类型、float类型、category类型、txt类型、text类型、image类型、video类型或json类型。
在其中一个实施例中,评估单元还用于对优化模型进行评估处理,并根据评估的结果,得到评价指标信息。
在其中一个实施例中,评价指标信息包括准确率、召回率、mAP信息或自定义指标信息。
第二方面,本申请还提供了一种自动建模运行方法,包括以下步骤:
根据待训练数据,获取对应待训练数据的问题类型信息,并根据问题类型信息,选取相应的样本模型;
根据样本模型,选取相应的历史超参数和对应历史超参数的参数范围;
基于样本模型,对历史超参数和参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型;
对优化模型进行评估处理,并根据评估的结果,生成评估报告信息。
在其中一个实施例中,根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型的步骤之后包括:
将训练后超参数作为历史超参数存储至超参数存储单元。
在其中一个实施例中,基于样本模型,对历史超参数和参数范围进行训练处理的步骤之前包括:
根据当前的评估报告信息,从超参数存储单元获取相应的历史超参数。
在本申请实施例中,提供了一种自动建模运行系统,样本模型选取单元根据待训练数据,获取对应待训练数据的问题类型信息,并根据问题类型信息,选取相应的样本模型;参数范围选取单元根据样本模型,选取相应的历史超参数和对应历史超参数的参数范围;调参单元基于样本模型,对历史超参数和参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型;评估单元用于对优化模型进行评估处理,并根据评估的结果,生成评估报告信息,实现自动建模和模型优化,量化了调参训练过程。本申请提供的自动建模运行系统具有高易用性和高准确性,在深度学习的训练过程无需人工确立模型结构和参数范围,就能得到高准确度的训练模型结果,且简化了模型建立、优化和评估的过程,便于用户使用。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例提供的自动建模运行系统的第一方框示意图;
图2是根据本申请实施例提供的自动建模运行系统的第二方框示意图;
图3是根据本申请实施例提供的自动建模运行方法的第一流程示意图;
图4是根据本申请实施例提供的自动建模运行方法的第二流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
另外,术语“多个”的含义应为两个以及两个以上。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
在一个实施例中,如图1所示,提供了一种自动建模运行系统,包括:
样本模型选取单元110,样本模型选取单元110用于根据待训练数据,获取对应待训练数据的问题类型信息,并根据问题类型信息,选取相应的样本模型;
参数范围选取单元120,参数范围选取单元120用于根据样本模型,选取相应的历史超参数和对应历史超参数的参数范围;
调参单元130,调参单元130用于基于样本模型,对历史超参数和参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型;
评估单元140,评估单元140用于对优化模型进行评估处理,并根据评估的结果,生成评估报告信息。
其中,待训练数据指的是为深度学习相应的标注数据。在一个示例中,待训练数据可以是具有数据自定义格式的训练数据。问题类型信息可以是主流问题信息例如,问题类型信息可以但不限于是图片分类信息、语义分割信息、目标检测信息、实例分割信息、文字检测信息、文字识别实现、文本分类信息、文本翻译信息和语音识别信息。另外,问题类型信息还可以是一般性分类和回归问题类型信息。样本模型指的是对应问题类型信息的深度学习算法模型。例如,图片分类信息对应的样本模型可以是ResNet模型或Inception模型;语义分割信息对应的样本模型可以是U-Net模型、PSPNet模型或DeepLabv3模型;目标检测信息对应的样本模型可以是R-CNN模型、SSD模型或YOLO模型;实例分割信息对应的样本模型可以是YOLACT++模型;文字检测信息对应的样本模型可以是TextBoxes++模型或PAN模型;文字识别实现对应的样本模型可以是CRNN模型;文本分类信息对应的样本模型可以是LSTM+Attention模型;文本翻译信息对应的样本模型可以是Tensor2Tensor模型或Attention模型;语音识别信息对应的样本模型可以是GRU+Attention模型。
历史超参数指的是系统已有的超参数。在一个示例中,以文字检测和对应的超参数为例,历史超参数可以是卷积核尺寸、卷积核通道数、取景框阈值、旋转角度(度)、文字框最大个数、批次大小、输入图片大小、优化器、迭代次数和学习率。每个超参数对应有一个参数范围。例如,参数范围可以是卷积核尺寸的参数范围可以是:1*7;1*5;3*3;3*5;5*3;5*5;5*1;7*1。卷积核通道数的参数范围可以是:16;32;64;128;256。取景框阈值的参数范围可以是:[0.3,0.8]。旋转角度(度)的参数范围可以是:-45;-30;-20;-10;0;10;20;30;45。文字框最大个数的参数范围可以是:10;20;50;100。批次大小的参数范围可以是:4;8;16;24;32;64。输入图片大小的参数范围可以是Adam;SGD:256;512;768。优化器的参数范围可以是:10000;20000;50000;100000。迭代次数的参数范围可以是:。学习率的参数范围可以是:5e-3;1e-3;5e-4;1e-4;5e-5;1e-5。
需要说明的是,在样本模型中,每一个样本模型都可以根据输入的超参数来调整自身的网络结构,达到不同的训练效果。比如,卷积核尺寸、全联接个数、泛化参数、注意力机制等。每个超参数会有一个预先设定的参数范围,通过在参数范围内调整超参数来适应对应问题的不同情况。针对不同的样本模型,系统在这个样本模块中为每个模型配置了不同的超参数,同时为每一个超参数设定了一个通常较好的参数范围。在这个范围中,能够得到一个相对较好的模型,以解决用户的深度学习问题。
训练后超参数指的是基于调参单元130使用一套历史超参数进行训练处理后,得到的优化后的超参数。优化模型可包含通过学习训练后,得到最优指标的超参数和相应的参数范围。评估报告信息可用来评价模型全面的指标特征。
需要说明的是,调参单元130可针对一个指定问题的指定数据集,根据设定进行一次自动建模。一次自动建模需要设置最主要的三个变量:问题类型、学习目标、最大尝试次数;在问题类型设定好之后,可以认为系统已经确定样本模型和参数范围的配置。调参单元130在一次自动建模的过程中,使用一套超参数进行一次完整的训练。该套超参数的每一个参数值都要在系统配置的参数范围之内,进而系统可根据已经进行过训练的超参数,在参数范围中选择一套最有可能得到模型最优指标的超参数。
在一个示例中,第一次从平台获取历史超参数时,可系统随机获取任意一个历史超参数;在获取历史超参数之后,对历史超参数进行训练并评估结果,并将训练评估结果上传的超参数存储单元,由于超参数存储单元拥有了训练后超参数,后续的历史超参数也会从超参数存储单元中重新选取。
具体地,样本模型选取单元110可用来接收待训练数据,并根据接收到的待训练数据,获取对应待训练数据的问题类型信息;样本模型选取单元110可根据问题类型信息,选取相应的样本模型,并将选取的样本模型传输给参数范围选取单元120。参数范围选取单元120可根据获取到的样本模型,从数据库中选取相应的历史超参数和对应历史超参数的参数范围,并将选取到的历史超参数和参数范围传输给调参单元130;调参单元130可基于样本模型,对获取到的历史超参数和参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型;调参单元130可将处理得到的优化模型传输给评估单元140,进而评估单元140可对获取到的优化模型进行评估处理,并根据评估的结果,生成评估报告信息,实现对自动构建深度学习模型并给出最优的参数组合,达到自动建模的目的
上述实施例中,样本模型选取单元110可根据待训练数据,获取对应待训练数据的问题类型信息,并根据问题类型信息,选取相应的样本模型;参数范围选取单元120根据样本模型,选取相应的历史超参数和对应历史超参数的参数范围;调参单元130基于样本模型,对历史超参数和参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型;评估单元140用于对优化模型进行评估处理,并根据评估的结果,生成评估报告信息,实现自动建模和模型优化,量化了调参训练过程。本申请提供的自动建模运行系统具有高易用性和高准确性,在深度学习的训练过程无需人工确立模型结构和参数范围,就能得到高准确度的训练模型结果,且简化了模型建立、优化和评估的过程,便于用户使用。
在一个示例中,调参单元130可基于贝叶斯算法进行调参训练,具体的调参过程为:把所有的参数范围看作是x,把最终目标看作是y,假设有一个函数f,可以把x和y对应起来,表示为y=f(x)。通过对y=f(x)进行训练,得到三个训练结果(x1,y1)、(x2,y3)和(x3,y3)。根据y1<y2<y3和拟合出来的f范围,确认最可能出现最优结果的点在x2,x3之间,则可以在x2到x3之间选取一个超参数作为第四个点(x4)。重复上述训练过程,至少达到预设的最大训练次数,则完成训练。实现了随着训练的次数越多,得到的f和参数范围越精确,进而可得到已有的尝试集合中,最优的(xmax,ymax)。
在一个实施例中,如图2中,自动建模运行系统还包括超参数存储单元150;超参数存储单元150用于存储历史超参数;调参单元130还用于将训练后超参数作为历史超参数存储至超参数存储单元150。
其中,超参数存储单元150可用来存储历史超参数和训练后的超参数;超参数存储单元150还可用来存储参数范围。
具体地,参数范围选取单元120可根据获取到的样本模型,从超参数存储单元150中选取相应的历史超参数和对应历史超参数的参数范围,并将选取到的历史超参数和参数范围传输给调参单元130;调参单元130可基于样本模型,对获取到的历史超参数和参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型;调参单元130可将得到的训练后超参数存储在超参数存储单元150中,便于调参单元130在后续的训练调参过程中使用。
在其中一个实施例中,调参单元130还包括超参数获取子单元;
超参数获取子单元用于根据当前的评估报告信息,从超参数存储单元150获取相应的历史超参数。
具体地,调参单元130在后续的训练过程中,可通过超参数获取子单元获取评估单元140得到的评估报告信息,并根据该评估报告信息从超参数存储单元150获取相应的历史超参数,进而调参单元130对可获取到的历史超参数进行下一次的训练处理,直至达到预设的最大训练次数,进而可得到模型最优指标的超参数。
在一个实施例中,待训练数据包括字段类型、字段名称和数据样本。
其中,待训练数据的数据格式可以是OpenBayes数据格式。OpenBayes数据格式指的是使用OpenBayes定义的一套统一数据集整理的格式标准。OpenBayes以meta.csv为数据集的主要格式文件,文件以csv格式为主体:第一行为字段类型和字段名称,格式为:[类型]_[名称];第二行以及以后每一行为数据样本。
在一个具体的实施例中,字段类型包括int类型、float类型、category类型、txt类型、text类型、image类型、video类型或json类型。
具体地,字段类型表示该列字段的数据类型,其中包括简单字段:int、float、category和txt,简单字段的值就是meta.csv中每一行对应列的值。另一类是复杂字段:text、image、video和json,复杂字段因为无法在meta.csv中表示,所以复杂字段对应的值是一个相对路径,表示该字段的值在数据集中对应的文件。json格式用来表示复杂标注格式,不同的问题会使用不同的字段和解析方式。
在一个实施例中,评估单元140还用于对优化模型进行评估处理,并根据评估的结果,得到评价指标信息。
具体地,评估单元140可对获取到的优化模型进行评估处理,并根据评估的结果,得到评价指标信息,进而可实现对生成的优化模型的评价指标,便于用户直接查看评估的结果。
在其中一个实施例中,评价指标信息包括准确率、召回率、mAP信息或自定义指标信息。
在一个实施例中,如图3中,还提供了一种自动建模运行方法,包括以下步骤:
步骤S310,根据待训练数据,获取对应待训练数据的问题类型信息,并根据问题类型信息,选取相应的样本模型。
步骤S320,根据样本模型,选取相应的历史超参数和对应历史超参数的参数范围。
步骤S330,基于样本模型,对历史超参数和参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型。
步骤S340,对优化模型进行评估处理,并根据评估的结果,生成评估报告信息。
具体而言,根据待训练数据,获取对应待训练数据的问题类型信息,并根据问题类型信息,选取相应的样本模型;根据样本模型,选取相应的历史超参数和对应历史超参数的参数范围;基于样本模型,对历史超参数和参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型;对优化模型进行评估处理,并根据评估的结果,生成评估报告信息,实现自动建模和模型优化,量化了调参训练过程,具有高易用性和高准确性,在深度学习的训练过程无需人工确立模型结构和参数范围,就能得到高准确度的训练模型结果,且简化了模型建立、优化和评估的过程,便于用户使用。
在一个实施例中,如图4中,还提供了一种自动建模运行方法,包括以下步骤:
步骤S410,根据待训练数据,获取对应待训练数据的问题类型信息,并根据问题类型信息,选取相应的样本模型。
步骤S420,根据样本模型,选取相应的历史超参数和对应历史超参数的参数范围。
步骤S430,基于样本模型,对历史超参数和参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型。
步骤S440,将训练后超参数作为历史超参数存储至超参数存储单元。
具体地,可根据获取到的样本模型,从超参数存储单元中选取相应的历史超参数和对应历史超参数的参数范围,并将选取到的历史超参数和参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应训练后超参数的优化模型;可将得到的训练后超参数存储在超参数存储单元中,便于在后续的训练调参过程中使用。
步骤S450,对优化模型进行评估处理,并根据评估的结果,生成评估报告信息。
其中,上述步骤S430、步骤S420、步骤S430和步骤S450的具体内容过程可参考上文内容,此处不再赘述。
上述实施例中,实现自动建模和模型优化,量化了调参训练过程,具有高易用性和高准确性,在深度学习的训练过程无需人工确立模型结构和参数范围,就能得到高准确度的训练模型结果,且简化了模型建立、优化和评估的过程,便于用户使用。
在一个实施例中,基于样本模型,对历史超参数和参数范围进行训练处理的步骤之前包括:
根据当前的评估报告信息,从超参数存储单元获取相应的历史超参数。
具体地,在后续的训练过程中,可获取处理得到的评估报告信息,并根据该评估报告信息从超参数存储单元获取相应的历史超参数,进而对可获取到的历史超参数进行下一次的训练处理,直至达到预设的最大训练次数,进而可得到模型最优指标的超参数。
应该理解的是,虽然图3-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述任一项的自动建模运行方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种自动建模运行系统,其特征在于,包括:
样本模型选取单元,所述样本模型选取单元用于根据待训练数据,获取对应所述待训练数据的问题类型信息,并根据所述问题类型信息,选取相应的样本模型;
参数范围选取单元,所述参数范围选取单元用于根据所述样本模型,选取相应的历史超参数和对应所述历史超参数的参数范围;
调参单元,所述调参单元用于基于所述样本模型,对所述历史超参数和所述参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应所述训练后超参数的优化模型;
评估单元,所述评估单元用于对所述优化模型进行评估处理,并根据评估的结果,生成评估报告信息。
2.如权利要求1所述的自动建模运行系统,其特征在于,还包括超参数存储单元;
所述超参数存储单元用于存储所述历史超参数;
所述调参单元还用于将所述训练后超参数作为历史超参数存储至所述超参数存储单元。
3.如权利要求2所述的自动建模运行系统,其特征在于,所述调参单元还包括超参数获取子单元;
所述超参数获取子单元用于根据当前的所述评估报告信息,从所述超参数存储单元获取相应的所述历史超参数。
4.如权利要求1所述的自动建模运行系统,其特征在于,所述待训练数据包括字段类型、字段名称和数据样本。
5.如权利要求4所述的自动建模运行系统,其特征在于,所述字段类型包括int类型、float类型、category类型、txt类型、text类型、image类型、video类型或json类型。
6.如权利要求1所述的自动建模运行系统,其特征在于,所述评估单元还用于对所述优化模型进行评估处理,并根据评估的结果,得到评价指标信息。
7.如权利要求6所述的自动建模运行系统,其特征在于,所述评价指标信息包括准确率、召回率、mAP信息或自定义指标信息。
8.一种自动建模运行方法,其特征在于,包括以下步骤:
根据待训练数据,获取对应所述待训练数据的问题类型信息,并根据所述问题类型信息,选取相应的样本模型;
根据所述样本模型,选取相应的历史超参数和对应所述历史超参数的参数范围;
基于所述样本模型,对所述历史超参数和所述参数范围进行训练处理,并根据训练的结果,得到训练后超参数以及对应所述训练后超参数的优化模型;
对所述优化模型进行评估处理,并根据评估的结果,生成评估报告信息。
9.如权利要求8所述的自动建模运行方法,其特征在于,所述根据训练的结果,得到训练后超参数以及对应所述训练后超参数的优化模型的步骤之后包括:
将所述训练后超参数作为历史超参数存储至超参数存储单元。
10.如权利要求9所述的自动建模运行方法,其特征在于,所述基于所述样本模型,对所述历史超参数和所述参数范围进行训练处理的步骤之前包括:
根据当前的所述评估报告信息,从所述超参数存储单元获取相应的所述历史超参数。
CN202110107144.7A 2021-01-26 2021-01-26 自动建模运行系统及运行方法 Pending CN112862107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110107144.7A CN112862107A (zh) 2021-01-26 2021-01-26 自动建模运行系统及运行方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110107144.7A CN112862107A (zh) 2021-01-26 2021-01-26 自动建模运行系统及运行方法

Publications (1)

Publication Number Publication Date
CN112862107A true CN112862107A (zh) 2021-05-28

Family

ID=76009344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110107144.7A Pending CN112862107A (zh) 2021-01-26 2021-01-26 自动建模运行系统及运行方法

Country Status (1)

Country Link
CN (1) CN112862107A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114154406A (zh) * 2021-11-22 2022-03-08 厦门深度赋智科技有限公司 基于黑盒优化器的ai模型自动建模系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014186488A2 (en) * 2013-05-15 2014-11-20 Microsoft Corporation Tuning hyper-parameters of a computer-executable learning algorithm
WO2018189279A1 (en) * 2017-04-12 2018-10-18 Deepmind Technologies Limited Black-box optimization using neural networks
WO2020075644A1 (ja) * 2018-10-09 2020-04-16 株式会社Preferred Networks ハイパーパラメータチューニング方法、装置及びプログラム
CN111260243A (zh) * 2020-02-10 2020-06-09 京东数字科技控股有限公司 风险评估方法、装置、设备及计算机可读存储介质
CN111523798A (zh) * 2020-04-21 2020-08-11 武汉市奥拓智能科技有限公司 一种自动建模的方法、装置、系统、及其电子设备
CN111598139A (zh) * 2020-04-24 2020-08-28 北京奇艺世纪科技有限公司 数据处理方法及系统
CN111931946A (zh) * 2020-08-13 2020-11-13 北京达佳互联信息技术有限公司 数据处理方法、装置、计算机设备及存储介质
CN112052932A (zh) * 2020-07-29 2020-12-08 上海明略人工智能(集团)有限公司 超参数的调整方法及装置
CN112232508A (zh) * 2020-09-18 2021-01-15 苏州浪潮智能科技有限公司 一种模型的训练方法、系统、设备以及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014186488A2 (en) * 2013-05-15 2014-11-20 Microsoft Corporation Tuning hyper-parameters of a computer-executable learning algorithm
WO2018189279A1 (en) * 2017-04-12 2018-10-18 Deepmind Technologies Limited Black-box optimization using neural networks
WO2020075644A1 (ja) * 2018-10-09 2020-04-16 株式会社Preferred Networks ハイパーパラメータチューニング方法、装置及びプログラム
CN111260243A (zh) * 2020-02-10 2020-06-09 京东数字科技控股有限公司 风险评估方法、装置、设备及计算机可读存储介质
CN111523798A (zh) * 2020-04-21 2020-08-11 武汉市奥拓智能科技有限公司 一种自动建模的方法、装置、系统、及其电子设备
CN111598139A (zh) * 2020-04-24 2020-08-28 北京奇艺世纪科技有限公司 数据处理方法及系统
CN112052932A (zh) * 2020-07-29 2020-12-08 上海明略人工智能(集团)有限公司 超参数的调整方法及装置
CN111931946A (zh) * 2020-08-13 2020-11-13 北京达佳互联信息技术有限公司 数据处理方法、装置、计算机设备及存储介质
CN112232508A (zh) * 2020-09-18 2021-01-15 苏州浪潮智能科技有限公司 一种模型的训练方法、系统、设备以及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴佳;陈森朋;陈修云;周瑞;: "基于强化学习的模型选择和超参数优化", 电子科技大学学报, no. 02 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114154406A (zh) * 2021-11-22 2022-03-08 厦门深度赋智科技有限公司 基于黑盒优化器的ai模型自动建模系统

Similar Documents

Publication Publication Date Title
CN109840588B (zh) 神经网络模型训练方法、装置、计算机设备及存储介质
Zhou et al. Estimating stock depletion level from patterns of catch history
CN106557576B (zh) 基于人工智能的提示信息推荐方法以及装置
US20180157965A1 (en) Device and method for determining convolutional neural network model for database
WO2020251680A1 (en) Collecting observations for machine learning
CN108960269B (zh) 数据集的特征获取方法、装置及计算设备
CN113239168B (zh) 一种基于知识图谱嵌入预测模型的可解释性方法和系统
JPWO2018079225A1 (ja) 自動予測システム、自動予測方法および自動予測プログラム
CN112862107A (zh) 自动建模运行系统及运行方法
CN112383828B (zh) 一种具有类脑特性的体验质量预测方法、设备及系统
CN113779214B (zh) 跳转条件的自动生成方法、装置、计算机设备及存储介质
CN114547917A (zh) 仿真预测方法、装置、设备及存储介质
CN110852149A (zh) 基于分类和回归树算法的植被指数预测方法、系统及设备
Van Dijk et al. On solving a bi-level stochastic dynamic programming model for analyzing fisheries policies: Fishermen behavior and optimal fish quota
Amor et al. Possibilistic sequential decision making
JP7202757B1 (ja) 情報処理システム、情報処理方法およびプログラム
CN113239272B (zh) 一种网络管控系统的意图预测方法和意图预测装置
CN112804304B (zh) 基于多点输出模型的任务节点分配方法、装置及相关设备
CN108536811B (zh) 基于机器学习的语音交互路径确定方法及装置、存储介质、终端
Davies et al. Stochastic and deterministic projections: A framework to evaluate the potential impacts of limit reference points including multi-species considerations
CN117808638B (zh) 基于用户行为分析的学习内容优化方法及系统
JP7462254B1 (ja) プログラム、方法、情報処理装置、システム
CN115393659B (zh) 基于多级决策树的个性化分类流程优化方法和装置
CN117435516B (zh) 一种测试用例优先级排序方法和系统
CN111191692B (zh) 基于决策树的数据计算方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination