CN110991658A - 模型训练方法、装置、电子设备和计算机可读存储介质 - Google Patents
模型训练方法、装置、电子设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN110991658A CN110991658A CN201911189106.XA CN201911189106A CN110991658A CN 110991658 A CN110991658 A CN 110991658A CN 201911189106 A CN201911189106 A CN 201911189106A CN 110991658 A CN110991658 A CN 110991658A
- Authority
- CN
- China
- Prior art keywords
- training
- model
- parameter
- target
- parameter combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
Abstract
本申请提供一种模型训练方法、装置、电子设备和计算机可读存储介质,涉及人工智能的机器学习领域。该模型训练方法应用于电子设备,该模型训练方法包括:根据训练数据集和超参数搜索空间,获取多个比对模型;超参数搜索空间包括多种训练参数以及每种训练参数的多个训练方式,比对模型为依据训练参数组合获取的;根据多个比对模型,获取超参数搜索空间中与训练目标匹配的待选参数组合;根据训练数据集,获取与待选参数组合对应的目标模型。使用本申请提供的模型训练方法,先获取多个比对模型,由电子设备取代开发人员来选择与训练目标匹配的待选参数组合,进而获取目标模型,有效的减少了对专业人士的依赖。
Description
技术领域
本申请涉及人工智能的机器学习领域,具体而言,涉及模型训练方法、装置、电子设备和计算机可读存储介质。
背景技术
目前人工智能正处于赋能百业的阶段在各行各业中落地开花,促进行业飞速发展。机器学习作为人工智能领域内的一个重要分支,在推进人工智能发展和技术落地的起着极其重要的作用。
深度学习在视觉、自然语言等诸多领域内有实际的落地和发展。但是在实际的算法模型的开发过程中需要经验的丰富的算法工程师对模型结构进行精心的设计和调优。此外,经由算法工程师设计的模型一般只能合适有某些特定的平台部署落地。在实际的应用过程中,由于实际的平台差异导致会存在算法性能变差。同一个任务针对不同平台在算法模型设计过程需要工程师对实际部署平台有一定的理解,这无疑提高了算法落地的门槛,以及模型训练部署的便捷性。因此,如何在减少专业人士的依赖的情况下,快速的获取模型是目前亟待解决的问题。
发明内容
为了至少克服现有技术中的上述不足,本申请的目的之一在于提供一种模型训练方法、装置、电子设备和计算机可读存储介质。
第一方面,实施例提供一种模型训练方法,应用于电子设备,所述方法包括:根据训练数据集和超参数搜索空间,获取多个比对模型;所述超参数搜索空间包括多种训练参数以及每种所述训练参数的多个训练方式,所述比对模型为依据训练参数组合获取的,所述训练参数组合包括多种所述训练参数以及每种所述训练参数中的任一所述训练方式。根据多个所述比对模型,获取所述超参数搜索空间中与训练目标匹配的待选参数组合。根据所述训练数据集,获取与所述待选参数组合对应的目标模型。
在可选的实施方式中,所述训练数据集包括训练集和验证集,所述根据所述训练数据集,获取与所述待选参数组合对应的目标模型,包括:根据所述训练集和待选参数组合,获取待确认模型。根据所述验证集,判断所述待确认模型与所述训练目标是否匹配。若匹配,则将所述待确认模型作为所述目标模型。
在可选的实施方式中,所述方法还包括:当所述待确认模型与所述训练目标不匹配时,则返回执行所述根据多个所述比对模型,获取所述超参数搜索空间中与训练目标匹配的待选参数组合的步骤。
在可选的实施方式中,所述根据多个所述比对模型,获取所述超参数搜索空间中与训练目标匹配的待选参数组合,包括:获取用户输入的所述训练目标。确定所述比对模型对应的所述训练参数组合。对多个所述训练参数组合进行回归分析,获取与所述训练目标匹配的待选参数组合。
第二方面,实施例提供一种模型训练装置,包括:训练模块和处理模块。所述训练模块用于根据训练数据集和超参数搜索空间,获取多个比对模型;所述超参数搜索空间包括多种训练参数以及每种所述训练参数的多个训练方式,所述比对模型为依据训练参数组合获取的,所述训练参数组合包括多种所述训练参数以及每种所述训练参数中的任一所述训练方式。所述处理模块,用于根据多个所述比对模型,获取所述超参数搜索空间中与训练目标匹配的待选参数组合。所述训练模块还用于根据所述训练数据集,获取与所述待选参数组合对应的目标模型。
在可选的实施方式中,所述训练数据集包括训练集和验证集,所述模型训练装置还包括:判断模块。所述训练模块还用于根据所述训练集,获取待确认模型。所述判断模块,用于根据所述验证集,判断所述待确认模型与所述待选参数组合是否匹配。所述训练模块还用于当所述待确认模型与所述待选参数组合匹配时,将所述待确认模型作为所述目标模型。
在可选的实施方式中,所述处理模块还用于当所述待确认模型与所述待选参数组合不匹配时,返回执行所述根据多个所述比对模型,获取所述超参数搜索空间中与训练目标匹配的待选参数组合。
在可选的实施方式中,所述处理模块还用于:获取用户输入的所述训练目标;确定所述比对模型对应的所述训练参数组合;对多个所述训练参数组合进行回归分析,获取与所述训练目标匹配的待选参数组合。
第三方面,实施例提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现前述实施方式任一项所述的模型训练方法。
第四方面,实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的模型训练方法。
相对于现有技术而言,本申请提供一种模型训练方法、装置、电子设备和计算机可读存储介质,涉及人工智能的机器学习领域。该模型训练方法应用于电子设备,该模型训练方法包括:根据训练数据集和超参数搜索空间,获取多个比对模型;超参数搜索空间包括多种训练参数以及每种训练参数的多个训练方式,比对模型为依据训练参数组合获取的,训练参数组合包括多种训练参数以及每种训练参数中的任一训练方式;根据多个比对模型,获取超参数搜索空间中与训练目标匹配的待选参数组合;根据训练数据集,获取与待选参数组合对应的目标模型。使用本申请提供的模型训练方法,先获取多个比对模型,由电子设备取代开发人员来选择与训练目标匹配的待选参数组合,进而获取目标模型,有效的减少了对专业人士的依赖。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的方框示意图;
图2为本申请实施例提供的一种模型训练方法的流程示意图;
图3为本申请实施例提供的另一种模型训练方法的流程示意图;
图4为本申请实施例提供的另一种模型训练方法的流程示意图;
图5为本申请实施例提供的另一种模型训练方法的流程示意图;
图6为本申请实施例提供的另一种模型训练方法的流程示意图;
图7为本申请实施例提供的一种模型训练装置的方框示意图;
图8为本申请实施例提供的另一种模型训练装置的方框示意图。
图标:40-模型训练装置,41-训练模块,42-处理模块,43-判断模块,60-电子设备,61-存储器,62-处理器,63-通信接口。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中,还需要说明的是,除非另有明确的规定和限定,术语“设置”、“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本申请中的具体含义。
当前机器学习应用对算法人员的要求比较高,导致机器学习具体实施过程中门槛比较高。此外,目前模型参数对于机器学习算法模型训练有着至关重要的影响,尤其在参数量十分庞大的深度学习模型训练的任务中超参数的好坏直接影响着模型的最终性能。当前大部分机器学习任务的流程包括了数据获取、数据预处理、特征处理、算法选择、参数调试、性能评估、上线预测。按照该流程开发的一个机器学习算法存在如下问题:
1.算法工程师需要对上述的每一个过程中进行逐步开发调试、优化提升,这是一个需要花费大量精力和时间的任务。特别是算法选择和参数调试这两个步骤对工程师自身的经验和能力有着较高的要求。
2.算法模型训练结束之后,由于算法模型部署使用的环境和训练环境有所不同,环境底层架构也不同,因此在训练服务器上训练得到的效果优异的模型在实际部署环境中性能可能会大打折扣,这是就需要算法工程师从头开始在准备数据、设计算法模型、调试参数、部署验证,一个好的算法模型需要这样繁复的调参试错。
基于背景技术提出的问题,如何把算法工程师从繁复的调参工作中解放出来。降低机器学习的门槛提高机器学习算法的受众面;与此同时,提供一种可以直接面向实际部署环境优化算法模型的方法,使得训练出来的模型性能预实际部署环境中的性能保持一致成为目前的迫切需求。
为了解决上述的问题,本申请实施例提供一种模型训练方法,应用于电子设备,请参见图1,图1为本申请实施例提供的一种电子设备的方框示意图。该电子设备60包括存储器61、处理器62和通信接口63。该存储器61、处理器62和通信接口63相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器61可用于存储软件程序及模块,如本申请实施例所提供的模型训练方法对应的程序指令/模块,处理器62通过执行存储在存储器61内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口63可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备60可以具有多个通信接口63。
其中,存储器61可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器62可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
电子设备60可以实现本申请提供的任一种模型训练方法。该电子设备60可以是,但不限于,手机、平板电脑、笔记本电脑、服务器或其它具有处理能力的电子设备。该电子设备60还可以是具有通过本申请提供的模型训练方法获取的目标模型的电子设备。
基于图1示出的电子设备60,本申请实施例提供一种模型训练方法,请参见图2,图2为本申请实施例提供的一种模型训练方法的流程示意图。
该模型训练方法包括:
S200、根据训练数据集和超参数搜索空间,获取多个比对模型。
该超参数搜索空间包括多种训练参数以及每种训练参数的多个训练方式,比对模型为依据训练参数组合获取的,训练参数组合包括多种训练参数以及每种训练参数中的任一训练方式。训练参数的类型可以包括,但不限于数据预处理相关参数、特征处理相关参数、分类算法相关参数、优化器相关参数以及其它相关可搜索的参数;可以理解的,数据预处理相关参数可以包括是否需要做数据增强采用哪些增强方式、是否需要对数据采样采用何种采样方式等;特征处理相关参数可以包括是否需要做特征融合,具体的,是否需要将不同尺度的特征融合用于最后任务、特征选择等;分类算法相关参数可以包括采用什么算法,如随机森林算法(Random Forest,RF)、支持向量机(Support Vector Mac,SVM)、卷积神经网络(Convolutional Neural Networks,CNN),采用CNN话是选用现有网络结构、还是从零搜索新式结构等;优化器相关参数可以包括学习率、Batch size、正则化方式等。
S201、根据多个比对模型,获取超参数搜索空间中与训练目标匹配的待选参数组合。
S202、根据训练数据集,获取与待选参数组合对应的目标模型。
可以理解的,上述的训练目标可以是,但不限于测试准确率、测试前向时间、以及模型大小、模型复杂度等,还可以配置最大搜索时长以及最大训练实验次数、实验终止条件等。例如,选择准确率作为训练目标的优化指标,最后得到模型(多个)都可以达到既定的准确率指标;选择前向时间这可以保证训练的模型在部署阶段获得符合速度要求的算法模型,这对于部署在端设备上模型有着至关重要的意义;或,当自动机器学习算法运行到达了指定的时间或者训练次数,则终止当前实验;或,还可以是到达了准确率或者运算速度的要求,提前停止训练。模型真实复杂度指的是算法模型中所包含的所有乘法和加法的基本操作数量,或者说是每秒所执行的浮点运算次数(Floating Points Operations,FLOPs)是一个和模型实际大小(模型文件大小)成正相关的一个指标,以该指标作为优化目标,自动机器学习算法可以在一定准确率的前提下,得到一个较小的模型,这样的配置可以灵活的得到适合部署在运行内存较小的端设备上(如抓拍摄像机、低功耗芯片等)。
应理解,机器学习指的是通过计算的手段,学习经验(也可以说是利用经验)来改善系统的性能,而自动机器学习则是在最小化人为干预的情况下,让机器学习任务可以完成既定的目标任务。通过自动机器学习获得符合需求(不同复杂度和性能)的机器学习目标模型,以获得不同使用场景下性能和速度的最优折中。并且可以直接通过自动训练得到适合在指定目标设备上部署机器学习模型。相比于传统的机器学习Pipeline该方法极大程度的减少了模型训练对于算法工程师的依赖。极大程度的降低的算法训练的门槛,是的更多算法经验不足的用户可以更容易的加入到算法开发当中。在实际使用过程中用户只需要配置极少设置可以直接不配置(有系统默认提供)就可以实现算法模型训练。
在可选的实施方式中,为了获取目标模型,在图2的基础上,以训练数据集包括训练集和验证集为例,请参见图3,图3为本申请实施例提供的另一种模型训练方法的流程示意图。上述的S202可以包括:
S202a、根据训练集和待选参数组合,获取待确认模型。
S202b、根据验证集,判断待确认模型与训练目标是否匹配。
若匹配,则执行S202c。
S202c、将待确认模型作为目标模型。
可以理解的,在训练模型之前,可以将训练数据按照指定的格式要求,整理除去那些有问题的数据,并且标注好,例如将明显不符合训练要求的数据进行过滤等;将训练数据按照比例划分成训练集和验证集等,并将数据和相应的标注等生成训练所需要的列表等,其具体形式可以根据训练目标进行调整。
为了实现自主机器学习,请参见图3,当待确认模型与待选参数组合不匹配时,则返回执行S201。
例如,将待确认模型需要部署的设备连接到训练服务器上,并将自动机器学习系统推荐训练的模型在目标设备上运行,计算前项的准确率和运行时间,将指标反馈给自动机器学习系统:如果指标符合训练目标,则将模型和训练模型的超参数保存下来;如果不符合预期则将模型剔除,接受新的待选参数组合训练、验证,直到到达终止条件或者获取到符合要求的算法模型。
在可选的实施方式中,为了获取待选参数组合,在图2的基础上,给出一种可能的实现方式,请参见图4,图4为本申请实施例提供的另一种模型训练方法的流程示意图。上述的S201可以包括:
S201a、获取用户输入的训练目标。
S201b、确定比对模型对应的训练参数组合。
S201c、对多个训练参数组合进行回归分析,获取与训练目标匹配的待选参数组合。
例如,支持用户指定多种控制条件来训练模型,如前项时间、测试准确率等。相比于仅仅把训练集上的Loss作为优化训练目标和通过算法工程师的经验来设计模型大小的传统算法模型训练方式,把算法模型在目标电子设备上前向推理时间和测试集或验证集上的准确率作为算法优化目标,可以更加直接反映出算法模型在实际应用部署环境的中的性能,因为不同平台底层架构(ARM、X86、Power等)不同,在前向推理的过程中适合其架构的算子也不相同。因此,直接把目标电子设备上的性能指标作为优化训练目标更具实际使用价值。例如,获取多个比对模型时可以采用随机采样式超参数优化方法来进行,在超参数搜索空间中获取与训练目标匹配的多组训练参数组合,可以用参数“n_iter”来指定等,针对每一个训练参数组合,既可以使用可能取值范围内的概率分布,也可以指定一个离散的取值列表(离散的列表可以被均匀采样),已获取多个训练参数组合以及其对应的比对模型。可以理解的,为了获取与训练目标匹配的待选参数组合,作为另一种可能的实现方式,还可以是使用贝叶斯优化的方式,贝叶斯优化有以下特点:xpensive to evaluate(每次给定一个目标来获取数值都有一定的成本,因此目标是尽可能少地去采样而找到一个好的解);贝叶斯优化可以包括以下的相关流程:Prior(确定函数的先验分布);Initial Space-FillingExperimental Design(在函数的定义域上找一些尽可能分布均匀的初始点,并且得到它们相应的函数值);Posterior(通过一些概率模型根据已有的数据点来确定函数的后验分布);Acquisition function(根据求得的后验分布来确定下一个或者下一批实验点,即待选参数组合)。
应理解,模型训练的过程中,可以在超参数搜索空间中随机选取多组训练参数集合,以便获取比对模型,通过对多组比对模型对应的训练参数集合进行回归分析或其它分析方式,获取与训练目标匹配的待选参数集合,进而获取相应的目标模型,可以有效的减少算法工程师的工作量,提高模型训练部署的便捷性。
为了便于理解上述任一实施例提出的模型训练方法,本申请实施例提供一种可能的训练方式,请参见图5,图5为本申请实施例提供的另一种模型训练方法的流程示意图。首先获取训练数据,将训练数据进行预处理,数据预处理可以包括数据清洗、数据增强(Crop、Flip、Color)、数据采样等;继而对训练数据进行特征处理,特征处理可以包括特征生成(转换、合成、组合)、特征选择等;下一步则进行模型训练的算法选择和超参数配置等,算法可以包括但不限于SVM、RF、CNN等;还可以对模型训练的过程进行参数调试,其可以包括学习率、Batch Size、正则化方式等;继而对生成的待确认模型进行性能评估,性能评估的方式可以包括但不限于准确率、模型大小和推理时间等。可以理解的,还可以将训练好的目标模型部署在电子设备上,对其进行使用。
为了便于理解图5示出的模型训练方法,请参见图6,图6为本申请实施例提供的另一种模型训练方法的流程示意图。在电子设备上部署自动机器学习系统,将数据预处理方法、特征处理方法和模型训练方法和其他相关方法进行选择、组合和优化,通过对训练数据进行模型训练,获取符合训练目标的目标模型。
基于深度学习的安全帽算法分类算法模型开发,通过深度学习的方式训练得到一个可以用于实际场景的部署的安全帽分类算法。本申请例通过对比实际情况下,一个具有三年深度学习算法开发的相关经历的算法工程师和采用本文提出的自动机学习系统来完成该任务,其过程中人力和物力的投入,以及最后模型效果的对比。本申请实施例中,算法工程师和自动机器学习系统采用的同一批标注好的安全帽图片数据,包括训练集、验证集和测试集。安全帽图片数据中包含三个类别:无帽子、安全帽、普通帽数据集,其基本信息如表1所示:
表1
通过实际的操作,算法工程师从数据准备到最后得到模型前后花两天时间,经过多次参数调试和修改使用了2块GPU V100进行训练。使用本申请提供的模型训练方法,自动机器学习系统在同样的训练服务器上,采用两块V100 GPU在6.5小时内完成了训练任务达到了预先要求,测试集准确率超过95%的目标。两种方式的详细对比如表2所示:
表2
可以理解的,上述对比试验可以得出,自动机器学习系统可以以更为高效的方式通过算力,代替算法工程师的人力来实现算法模型的快速开发和迭代;另一方面也降低了算法模型开发入门门槛,有助于模型训练的大范围推广。
为了实现上述的模型训练方法,本申请实施例提供一种模型训练装置,请参见图7,图7为本申请实施例提供的一种模型训练装置的方框示意图。该模型训练装置40包括:训练模块41和处理模块42。
训练模块41用于根据训练数据集和超参数搜索空间,获取多个比对模型。超参数搜索空间包括多种训练参数以及每种训练参数的多个训练方式,比对模型为依据训练参数组合获取的,训练参数组合包括多种训练参数以及每种训练参数中的任一训练方式。处理模块42用于根据多个比对模型,获取超参数搜索空间中与训练目标匹配的待选参数组合。训练模块41还用于根据训练数据集,获取与待选参数组合对应的目标模型。应理解,训练模块41和处理模块42可以实现上述的S200~S202。
在可选的实施方式中,为了获取目标模型,在图7的基础上,以训练数据集包括训练集和验证集为例,请参见图8,图8为本申请实施例提供的另一种模型训练装置的方框示意图。模型训练装置40还包括:判断模块43。
训练模块41还用于根据训练集,获取待确认模型。判断模块43用于根据验证集,判断待确认模型与待选参数组合是否匹配。训练模块41还用于当待确认模型与待选参数组合匹配时,将待确认模型作为目标模型。应理解,判断模块43和训练模块41可以协同实现上述的S202a、S202b、S202c。
在可选的实施方式中,处理模块42还用于当待确认模型与待选参数组合不匹配时,返回执行根据多个比对模型,获取超参数搜索空间中与训练目标匹配的待选参数组合。
在可选的实施方式中,处理模块42还用于:获取用户输入的训练目标;确定比对模型对应的训练参数组合;对多个训练参数组合进行回归分析,获取与训练目标匹配的待选参数组合。应理解,处理模块42可以实现上述的S201a、S201b、S201c。
本申请实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前述实施方式中任一项的模型训练方法。该计算机可读存储介质可以是,但不限于,U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述,本申请提供一种模型训练方法、装置、电子设备和计算机可读存储介质,涉及人工智能的机器学习领域。该模型训练方法应用于电子设备,该模型训练方法包括:根据训练数据集和超参数搜索空间,获取多个比对模型;超参数搜索空间包括多种训练参数以及每种训练参数的多个训练方式,比对模型为依据训练参数组合获取的,训练参数组合包括多种训练参数以及每种训练参数中的任一训练方式;根据多个比对模型,获取超参数搜索空间中与训练目标匹配的待选参数组合;根据训练数据集,获取与待选参数组合对应的目标模型。使用本申请提供的模型训练方法,先获取多个比对模型,由电子设备取代开发人员来选择与训练目标匹配的待选参数组合,进而获取目标模型,有效的减少了对专业人士的依赖。
以上所述,仅为本申请的各种实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种模型训练方法,其特征在于,应用于电子设备,所述方法包括:
根据训练数据集和超参数搜索空间,获取多个比对模型;所述超参数搜索空间包括多种训练参数以及每种所述训练参数的多个训练方式,所述比对模型为依据训练参数组合获取的,所述训练参数组合包括多种所述训练参数以及每种所述训练参数中的任一所述训练方式;
根据多个所述比对模型,获取所述超参数搜索空间中与训练目标匹配的待选参数组合;
根据所述训练数据集,获取与所述待选参数组合对应的目标模型。
2.根据权利要求1所述的方法,其特征在于,所述训练数据集包括训练集和验证集,所述根据所述训练数据集,获取与所述待选参数组合对应的目标模型,包括:
根据所述训练集和所述待选参数,获取待确认模型;
根据所述验证集,判断所述待确认模型与所述训练目标是否匹配;
若匹配,则将所述待确认模型作为所述目标模型。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
当所述待确认模型与所述训练目标不匹配时,则返回执行所述根据多个所述比对模型,获取所述超参数搜索空间中与训练目标匹配的待选参数组合的步骤。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据多个所述比对模型,获取所述超参数搜索空间中与训练目标匹配的待选参数组合,包括:
获取用户输入的所述训练目标;
确定所述比对模型对应的所述训练参数组合;
对多个所述训练参数组合进行回归分析,获取与所述训练目标匹配的待选参数组合。
5.一种模型训练装置,其特征在于,包括:训练模块和处理模块;
所述训练模块,用于根据训练数据集和超参数搜索空间,获取多个比对模型;所述超参数搜索空间包括多种训练参数以及每种所述训练参数的多个训练方式,所述比对模型为依据训练参数组合获取的,所述训练参数组合包括多种所述训练参数以及每种所述训练参数中的任一所述训练方式;
所述处理模块,用于根据多个所述比对模型,获取所述超参数搜索空间中与训练目标匹配的待选参数组合;
所述训练模块还用于根据所述训练数据集,获取与所述待选参数组合对应的目标模型。
6.根据权利要求5所述的装置,其特征在于,所述训练数据集包括训练集和验证集,所述模型训练装置还包括:判断模块;
所述训练模块还用于根据所述训练集和所述待选参数组合,获取待确认模型;
所述判断模块,用于根据所述验证集,判断所述待确认模型与所述训练目标是否匹配;
所述训练模块还用于当所述待确认模型与所述待选参数组合匹配时,将所述待确认模型作为所述目标模型。
7.根据权利要求6所述的装置,其特征在于,所述处理模块还用于当所述待确认模型与所述训练目标不匹配时,返回执行所述根据多个所述比对模型,获取所述超参数搜索空间中与训练目标匹配的待选参数组合。
8.根据权利要求5-7任一项所述的装置,其特征在于,所述处理模块还用于:
获取用户输入的所述训练目标;
确定所述比对模型对应的所述训练参数组合;
对多个所述训练参数组合进行回归分析,获取与所述训练目标匹配的待选参数组合。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现权利要求1-4任一项所述的模型训练方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911189106.XA CN110991658A (zh) | 2019-11-28 | 2019-11-28 | 模型训练方法、装置、电子设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911189106.XA CN110991658A (zh) | 2019-11-28 | 2019-11-28 | 模型训练方法、装置、电子设备和计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110991658A true CN110991658A (zh) | 2020-04-10 |
Family
ID=70087711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911189106.XA Pending CN110991658A (zh) | 2019-11-28 | 2019-11-28 | 模型训练方法、装置、电子设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110991658A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111882059A (zh) * | 2020-07-17 | 2020-11-03 | 北京市商汤科技开发有限公司 | 数据处理方法及装置、电子设备和存储介质 |
CN112036578A (zh) * | 2020-09-01 | 2020-12-04 | 成都数字天空科技有限公司 | 智能体训练方法及装置、存储介质及电子设备 |
CN112328236A (zh) * | 2020-11-25 | 2021-02-05 | 用友网络科技股份有限公司 | 模型构建方法、系统、电子设备和可读存储介质 |
CN112418392A (zh) * | 2020-10-21 | 2021-02-26 | 华为技术有限公司 | 一种神经网络构建方法以及装置 |
CN112488245A (zh) * | 2020-12-21 | 2021-03-12 | 中国移动通信集团江苏有限公司 | 业务模型超参数配置确定方法、装置、设备及存储介质 |
CN113762514A (zh) * | 2020-06-05 | 2021-12-07 | 京东数字科技控股有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
CN114254764A (zh) * | 2021-12-27 | 2022-03-29 | 西安交通大学 | 基于反馈的机器学习模型搜索方法、系统、设备及介质 |
CN114385876A (zh) * | 2022-01-13 | 2022-04-22 | 北京九章云极科技有限公司 | 一种模型搜索空间生成方法、装置及系统 |
CN116188834A (zh) * | 2022-12-08 | 2023-05-30 | 赛维森(广州)医疗科技服务有限公司 | 基于自适应训练模型的全切片图像分类方法及装置 |
WO2023123851A1 (zh) * | 2021-12-27 | 2023-07-06 | 上海商汤智能科技有限公司 | 数据可视化方法、装置、电子设备、存储介质和程序 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160132787A1 (en) * | 2014-11-11 | 2016-05-12 | Massachusetts Institute Of Technology | Distributed, multi-model, self-learning platform for machine learning |
CN109165249A (zh) * | 2018-08-07 | 2019-01-08 | 阿里巴巴集团控股有限公司 | 数据处理模型构建方法、装置、服务器和用户端 |
CN109657805A (zh) * | 2018-12-07 | 2019-04-19 | 泰康保险集团股份有限公司 | 超参数确定方法、装置、电子设备及计算机可读介质 |
CN109800277A (zh) * | 2018-12-18 | 2019-05-24 | 合肥天源迪科信息技术有限公司 | 一种机器学习平台及基于该平台的数据模型优化方法 |
CN110110862A (zh) * | 2019-05-10 | 2019-08-09 | 电子科技大学 | 一种基于适应性模型的超参数优化方法 |
-
2019
- 2019-11-28 CN CN201911189106.XA patent/CN110991658A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160132787A1 (en) * | 2014-11-11 | 2016-05-12 | Massachusetts Institute Of Technology | Distributed, multi-model, self-learning platform for machine learning |
CN109165249A (zh) * | 2018-08-07 | 2019-01-08 | 阿里巴巴集团控股有限公司 | 数据处理模型构建方法、装置、服务器和用户端 |
CN109657805A (zh) * | 2018-12-07 | 2019-04-19 | 泰康保险集团股份有限公司 | 超参数确定方法、装置、电子设备及计算机可读介质 |
CN109800277A (zh) * | 2018-12-18 | 2019-05-24 | 合肥天源迪科信息技术有限公司 | 一种机器学习平台及基于该平台的数据模型优化方法 |
CN110110862A (zh) * | 2019-05-10 | 2019-08-09 | 电子科技大学 | 一种基于适应性模型的超参数优化方法 |
Non-Patent Citations (2)
Title |
---|
量子位: "训练模型让你厌烦?莫慌,收下这篇深度学习模型超参数搜索指南", 《HTTPS://BAIJIAHAO.BAIDU.COM/S?ID=1612645634118111736&WFR=SPIDER&FOR=PC》 * |
韩跃平: "《X射线视觉自动检测技术及应用》", 30 November 2012, 国防工业出版社 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113762514A (zh) * | 2020-06-05 | 2021-12-07 | 京东数字科技控股有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
CN113762514B (zh) * | 2020-06-05 | 2024-04-16 | 京东科技控股股份有限公司 | 数据处理方法、装置、设备及计算机可读存储介质 |
CN111882059A (zh) * | 2020-07-17 | 2020-11-03 | 北京市商汤科技开发有限公司 | 数据处理方法及装置、电子设备和存储介质 |
CN112036578B (zh) * | 2020-09-01 | 2023-06-27 | 成都数字天空科技有限公司 | 智能体训练方法及装置、存储介质及电子设备 |
CN112036578A (zh) * | 2020-09-01 | 2020-12-04 | 成都数字天空科技有限公司 | 智能体训练方法及装置、存储介质及电子设备 |
CN112418392A (zh) * | 2020-10-21 | 2021-02-26 | 华为技术有限公司 | 一种神经网络构建方法以及装置 |
WO2022083536A1 (zh) * | 2020-10-21 | 2022-04-28 | 华为技术有限公司 | 一种神经网络构建方法以及装置 |
CN112328236A (zh) * | 2020-11-25 | 2021-02-05 | 用友网络科技股份有限公司 | 模型构建方法、系统、电子设备和可读存储介质 |
CN112488245A (zh) * | 2020-12-21 | 2021-03-12 | 中国移动通信集团江苏有限公司 | 业务模型超参数配置确定方法、装置、设备及存储介质 |
CN114254764A (zh) * | 2021-12-27 | 2022-03-29 | 西安交通大学 | 基于反馈的机器学习模型搜索方法、系统、设备及介质 |
WO2023123851A1 (zh) * | 2021-12-27 | 2023-07-06 | 上海商汤智能科技有限公司 | 数据可视化方法、装置、电子设备、存储介质和程序 |
CN114254764B (zh) * | 2021-12-27 | 2024-04-05 | 西安交通大学 | 基于反馈的机器学习模型搜索方法、系统、设备及介质 |
CN114385876A (zh) * | 2022-01-13 | 2022-04-22 | 北京九章云极科技有限公司 | 一种模型搜索空间生成方法、装置及系统 |
CN116188834A (zh) * | 2022-12-08 | 2023-05-30 | 赛维森(广州)医疗科技服务有限公司 | 基于自适应训练模型的全切片图像分类方法及装置 |
CN116188834B (zh) * | 2022-12-08 | 2023-10-20 | 赛维森(广州)医疗科技服务有限公司 | 基于自适应训练模型的全切片图像分类方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110991658A (zh) | 模型训练方法、装置、电子设备和计算机可读存储介质 | |
US11720822B2 (en) | Gradient-based auto-tuning for machine learning and deep learning models | |
Chen et al. | MMDetection: Open mmlab detection toolbox and benchmark | |
US10565442B2 (en) | Picture recognition method and apparatus, computer device and computer- readable medium | |
US11915104B2 (en) | Normalizing text attributes for machine learning models | |
CN110766080B (zh) | 一种标注样本确定方法、装置、设备及存储介质 | |
US11538237B2 (en) | Utilizing artificial intelligence to generate and update a root cause analysis classification model | |
CN111047563B (zh) | 一种应用于医学超声图像的神经网络构建方法 | |
CN111026409A (zh) | 一种自动监控方法、装置、终端设备及计算机存储介质 | |
CN110991871A (zh) | 风险监测方法、装置、设备与计算机可读存储介质 | |
CN115563610B (zh) | 入侵检测模型的训练方法、识别方法和装置 | |
CN110874634A (zh) | 神经网络的优化方法及装置、设备和存储介质 | |
CN115048370B (zh) | 用于大数据清洗的人工智能处理方法及大数据清洗系统 | |
CN109583367A (zh) | 图像文本行检测方法及装置、存储介质和电子设备 | |
CN112766402A (zh) | 算法选择方法、装置和电子设备 | |
CN111966361A (zh) | 用于确定待部署模型的方法、装置、设备及其存储介质 | |
CN110968664A (zh) | 一种文书检索方法、装置、设备及介质 | |
Sampaio et al. | Towards the mobile detection of cervical lesions: A region-based approach for the analysis of microscopic images | |
Majidi et al. | An empirical study on the usage of automated machine learning tools | |
US20240095529A1 (en) | Neural Network Optimization Method and Apparatus | |
CN115034379A (zh) | 一种因果关系确定方法及相关设备 | |
CN110855474B (zh) | Kqi数据的网络特征提取方法、装置、设备及存储介质 | |
CN111353577B (zh) | 基于多任务的级联组合模型的优化方法、装置及终端设备 | |
CN114048148A (zh) | 一种众包测试报告推荐方法、装置及电子设备 | |
US11288269B2 (en) | Optimizing breakeven points for enhancing system performance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200410 |