CN109558941A - 一种模型训练方法、存储介质及电子设备 - Google Patents
一种模型训练方法、存储介质及电子设备 Download PDFInfo
- Publication number
- CN109558941A CN109558941A CN201811363488.9A CN201811363488A CN109558941A CN 109558941 A CN109558941 A CN 109558941A CN 201811363488 A CN201811363488 A CN 201811363488A CN 109558941 A CN109558941 A CN 109558941A
- Authority
- CN
- China
- Prior art keywords
- parameter
- model
- data set
- training method
- model training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种模型训练方法,用于整合多个基模型,以准确的预测数据集的结果,该方法包括步骤,获取数据集,数据集包括特征参数及验证参数;训练基础模型,并将特征参数输入基础模型中预测结果;及利用预测结果及验证参数训练终模型。本发明还提供一种存储介质,存储介质中存储有计算机程序,计算机程序被设置为运行时执行模型训练方法。本发明还提供一种电子装置,其包括存储器和处理器,存储器中存储有计算机程序,处理器被设置为通过所述计算机程序执行模型训练方法。
Description
【技术领域】
本发明涉及机器学习领域,尤其涉及一种模型训练方法、存储介质及电子设备。
【背景技术】
机器学习是一门多领域交叉学科,涉及概率论、统计学、算法复杂度理论等多门学科。专门研究计算机怎么模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。如,利用多组数据的输入与输出关系,总结出基础模型,继而可以利用数据输入基础模型,直接得到结果。
现有的基础模型通常只能针对数据的一项参数,如预测商店一天购买的人数,基础模型通常提取一个特征参数,如天气因素、过往经验等等,无法整合多个参数进行预测,模型针对数据的利用率不高。
【发明内容】
为克服现有问题,本发明提供一种模型训练方法、存储介质及电子设备。
本发明解决技术问题的技术方案是提供一种模型训练方法,用于整合多个基模型,以准确的预测数据集的结果,该方法包括步骤,
获取数据集,数据集包括特征参数及验证参数;
训练基础模型,并将特征参数输入基础模型中预测结果;及利用预测结果及验证参数训练终模型。
优选地,终模型为将预测结果当作输入参数及将验证参数当作输出参数进行模型训练后得到的模型。
优选地,模型训练为利用输入参数与输出参数建立的函数关系式,以使向训练出的模型中输入参数可生成输出参数。
优选地,获取数据集后还包括从数据集中提取特征集。
优选地,特征集为输入参数,所述验证参数为输出结果,利用所述特征集及所述验证参数可进行模型的训练。
优选地,特征集包括多个特征参数,所述特征参数包括属性及属性值,所述特征集中的特征参数属性相同。
优选地,将数据集输入基础模型中预测结果包括训练基础模型及利用训练好的基础模型对输入的参数进行预测。
优选地,基础模型为对应一种输入参数进行结果预测的函数关系式。
本发明还提供一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行模型训练方法。
本发明还提供一种电子装置,其包括存储器和处理器,其特征在于:所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行模型训练方法。
与现有技术相比,本发明提供的一种模型训练方法具有以下优点:
1.通过以基础模型的预测结果为输入参数,训练出终模型,将终模型与基础模型配合,以充分利用数据集中的特征参数,提高预测的效果。
2.解决基础模型面对数据类型的单一性问题,可以同时以多个特征参数为输入值进行预测,不使数据集中的部分特征丢失,进而预测的效果更加全面。
【附图说明】
图1是模型训练方法流程示意图。
图2是数据集组成模块示意图。
图3是模型训练方法细节流程示意图。
图4A是决策函数模型原理示意图。
图4B是条件概率分布模型原理示意图。
图5是利用基础模型获取预测结果流程示意图。
图6是数据集通过基础模型及终模型预测原理示意图。
图7是电子装置的模块示意图。
附图标记说明:10、电子装置;11、存储器;12、处理器。
【具体实施方式】
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图及实施实例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参阅图1,本发明提供的一种模型训练方法包括以下步骤:
S1:获取数据集,数据集包括特征参数及验证参数;
S2:训练多个基础模型,并将特征参数输入基础模型中生成多个预测结果;
S3:利用预测结果及验证集训练终模型。
具体的,通过将数据集输入基础模型,可得到初步的预测结果,将初步的预测结果当做数据集,进行模型训练,可得到终模型,终模型与基础模型配合,可充分利用数据集中的数据,以得到更准确的预测结果。
请参阅图2,在步骤S1中,数据集为经过长期统计的一组数据,其包括特征参数及验证参数,特征参数作为输入参数,验证参数作为输出参数,用于模型的训练。
具体的,模型的本质即为一函数公式,模型的训练为将数据集中的特征参数当作输入参数,验证参数当作输出参数,通过输入与输出构建出模型函数。即,通过已知的输入与输出,构建函数关系式。
请参阅图3,在将数据集输入基础模型前,即步骤S2之前,还包括步骤:
S11从数据集中提取特征集。
数据集中的数据具有多个不同的特征参数,不同的特征参数对应不同的基础模型,也即每个基础模型对应的特征参数不同,将对应的特征参数输入到对应的基础模型中,才可得到输出的结果。
特征参数包括属性及属性值,属性与属性值为相互对应关系,如属性为天气,属性值为阴天或晴天或多云等,即天气=晴天为一组特征参数。数据集中包括多个特征参数,如天气=晴天、天气=阴天、日期=周一、日期=周日等。将属性相同的特征参数提取到同一个集合中,即一个特征集,具体的表现形式为:
天气特征集=[晴天,阴天,多云]
日期特征集=[周一,周二,周三]
可以理解,从数据集中提取多个特征集即为将数据集中的特征参数按照其属性归类。
请参阅图4A-4B,机器学习分为有监督的机器学习和无监督的机器学习,有数据输入及输出的为有监督的机器学习,即本实施例属于有监督的机器学习。
在有监督的机器学习中,基础模型的作用为对输入的X进行预测以输出Y,也即基础模型是通过输入X及输出Y建立的函数关系式,以下面两种不同的基础模型为例:
决策函数:Y=f(X)
条件概率分布:P(Y|X)
决策函数为输入一个X与一个阈值比较,根据比较结果判定X输出Y。如输入一个物品西瓜的数据,西瓜的数据包括颜色、大小等,就会输出其中的一个特征参数X,假设输出的特征参数X的属性及属性值为颜色=青色,将X的属性值与阈值进行比较,阈值本质为模型中的判断条件,且与特征参数的属性关联,即假设阈值为当颜色为青色时为好瓜,那么当特征参数输入决策函数时,根据比较判断输出Y为西瓜属于A好瓜类,反之,则判断西瓜属于B坏瓜类。即,决策函数为输入西瓜的部分参数,并将其与判断条件比较的过程。
条件概率分布也为输入一个X,它通过比较它属于所有类的概率,然后输出概率最大的那个作为该X对应的类别,如输入的物品依然为西瓜的特征参数X,X的属性及属性值也为颜色=青色,在条件概率分布函数中判断颜色=青色的西瓜属于好瓜或坏瓜的概率,将概率较大的结果Y输出。如颜色为青色时,60%为A好瓜,40%为B坏瓜,那么输出的结果Y为A好瓜。
具体的,基础模型为根据需求,通过已知的输入与输出数据,训练得到的一组函数公式,每一个基础模型对应一组特征集。如需预测店铺当日进店人数的模型,天气特征集即为输入参数,当日实际进店人数即为输出参数,通过天气特征集与对应天气的当人实际进店人数对模型进行训练,得到天气模型。也即,通过多组天气特征集的属性值,如晴天、阴天、多云等,对应这些属性值的实际进店人数,建立出的函数公式,即为天气基础模型。
基础模型训练好后,将从数据集中提取到的特征集输入到相互对应的基础模型中,如天气特征集对应天气基础模型,日期特征集对应日期基础模型,得到的结果为输出值。如当日天气为晴天,输入天气基础模型得到的输出值为5人,那么5人即为结果。也即,基础模型实质上为通过多组输入输出参数总结归纳出的经验函数公式,通过该经验函数公式,可在后续输入对应的特征参数时进行预测。
可以理解,基础模型不止上述两种类型,只要是能实现输入与输出对应关系的函数表达式即可。
请参阅图5,步骤S2包括步骤S21训练基础模型及步骤S22利用训练好的基础模型对输入参数进行预测。
S21:训练基础模型具体为通过输入X与输出Y训练出对应的函数关系式,也即确定在决策函数中的阈值(判断条件)或在条件概率函数中的比例,如确定颜色=青色的瓜为A好瓜,或颜色=青色为A好瓜的百分比几率。
可以理解,训练出的基础模型对应其用于训练的特征参数,如在本实施例中,输入X为西瓜一个的特征参数,其利用的特征参数为颜色,所训练出的模型就只能够通过西瓜的颜色输入来进行结果的预测。在其他实施例中,可以用到各种输入X,如需训练一个预测单日商店进店人数的基础模型,那么可以输入天气=[晴天,阴天,雨天]结合实际进店人数(验证参数)训练出天气的预测基础模型。
在步骤S22中,将数据集中的特征参数输入对应的训练好的基础模型中,如天气基础模型、日期基础模型等,利用基础模型对输入特征集进行预测,得到输出的结果y1、y2....yn。
步骤S3利用预测结果训练终模型具体为,将步骤S2中输出的结果当做输入参数,将验证参数作为输出参数,进行终模型的模型训练,即将结果y1、y2....yn当做一个特征集P,即P=[y1、y2....yn],以数据集中的验证参数与特征集P配合,训练出终模型。即,与基础模型的训练原理相同,将特征集P中的y1、y2....yn分别对应验证参数中的数据,训练得到的模型函数即为终模型。如,终模型依然是用于预测进店人数,那么P=[y1、y2...yn]作为输入的特征参数,实际到店人数依然为输出结果,该终模型只是利用多个基础模型的输出当做特征参数,以将多个基础模型进行整合。
请参阅图6,终模型训练完成后,可配合基础模型对输入的特征参数进行结果的预测。如,将天气特征参数输入天气基础模型预测得到结果y1,将日期特征参数输入日期基础模型预测得到结果y2,然后再将y1和y2输入到终模型里,输出综合得到的结果。利用终模型与基础模型配合,可以充分利用数据集中的特征,如在基础模型中,每个基础模型只针对一个特征集,而通过基础模型与终模型的配合,可以充分利用到数据集中的每一个特征集。
在本施例还提供一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述方法步骤。存储介质可以包括如软盘、光盘、DVD、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒(Memory Stick)、XD卡等。
计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可以是个人计算机设备、服务器或其他网络设备等)用以执行本发明方法的全部或部分步骤。
请参阅图7,本发明还提供一电子装置10,电子装置10用于实施上述模型训练方法。电子装置10包括存储器11和处理器12。
具体地,存储器11中存储有计算机程序,处理器12被设置为通过计算机程序执行如上所述的模型训练方法。
存储器11可用于存储软件程序以及模块,如本发明上述的模型训练方法和装置对应的程序指令或模块。而处理器12通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的模型训练方法。
与现有技术相比,本发明所述提供的一种模型训练方法具有以下优点:
1.通过以基础模型的预测结果为输入参数,训练出终模型,将终模型与基础模型配合,以充分利用数据集中的特征参数,提高预测的效果。
2.解决基础模型面对数据类型的单一性问题,可以同时以多个特征参数为输入值进行预测,不使数据集中的部分特征丢失,进而预测的效果更加全面。
本发明所提供的数据处理装置、电子装置及存储介质均具有如上的有益效果。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内所作的任何修改,等同替换和改进等均应包含本发明的保护范围之内。
Claims (10)
1.一种模型训练方法,用于整合多个基模型,以准确的预测数据集的结果,其特征在于:该方法包括步骤,
获取数据集,数据集包括特征参数及验证参数;
训练多个基础模型,并将特征参数输入基础模型中生成多个预测结果;及
利用预测结果及验证参数训练终模型。
2.如权利要求1所述的一种模型训练方法,其特征在于:
所述终模型为将预测结果当作输入参数及将验证参数当作输出参数进行模型训练后得到的模型。
3.如权利要求1所述的一种模型训练方法,其特征在于:
所述模型训练为利用输入参数与输出参数建立的函数关系式,以使向训练出的模型中输入参数可生成输出参数。
4.如权利要求1所述的一种模型训练方法,其特征在于:
获取数据集后还包括从数据集中提取特征集。
5.如权利要求4所述的一种模型训练方法,其特征在于:
所述特征集为输入参数,所述验证参数为输出结果,利用所述特征集及所述验证参数可进行模型的训练。
6.如权利要求4所述的一种模型训练方法,其特征在于:
所述特征集包括多个特征参数,所述特征参数包括属性及属性值,所述特征集中的特征参数属性相同。
7.如权利要求1所述的一种模型训练方法,其特征在于:
将数据集输入基础模型中预测结果包括训练基础模型及利用训练好的基础模型对输入的参数进行预测。
8.如权利要求7所述的一种支持多种模型训练方法,其特征在于:
基础模型为对应一种输入参数进行结果预测的函数关系式。
9.一种存储介质,其特征在于:所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1-8中任一项中所述模型训练方法。
10.一种电子装置,包括存储器和处理器,其特征在于:所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1-8中任一项中所述的模型训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811363488.9A CN109558941A (zh) | 2018-11-16 | 2018-11-16 | 一种模型训练方法、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811363488.9A CN109558941A (zh) | 2018-11-16 | 2018-11-16 | 一种模型训练方法、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109558941A true CN109558941A (zh) | 2019-04-02 |
Family
ID=65866393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811363488.9A Pending CN109558941A (zh) | 2018-11-16 | 2018-11-16 | 一种模型训练方法、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109558941A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110929414A (zh) * | 2019-12-06 | 2020-03-27 | 创新奇智(成都)科技有限公司 | 一种基于级联时序模型的暖通系统能效优化方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120303564A1 (en) * | 2011-05-26 | 2012-11-29 | World Heart Corporation | Systems and methods for predicting characteristics of an artificial heart using an artificial neural network |
CN107045673A (zh) * | 2017-03-31 | 2017-08-15 | 杭州电子科技大学 | 基于堆模型融合的公共自行车流量变化量预测方法 |
CN107169573A (zh) * | 2017-05-05 | 2017-09-15 | 第四范式(北京)技术有限公司 | 利用复合机器学习模型来执行预测的方法及系统 |
-
2018
- 2018-11-16 CN CN201811363488.9A patent/CN109558941A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120303564A1 (en) * | 2011-05-26 | 2012-11-29 | World Heart Corporation | Systems and methods for predicting characteristics of an artificial heart using an artificial neural network |
CN107045673A (zh) * | 2017-03-31 | 2017-08-15 | 杭州电子科技大学 | 基于堆模型融合的公共自行车流量变化量预测方法 |
CN107169573A (zh) * | 2017-05-05 | 2017-09-15 | 第四范式(北京)技术有限公司 | 利用复合机器学习模型来执行预测的方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110929414A (zh) * | 2019-12-06 | 2020-03-27 | 创新奇智(成都)科技有限公司 | 一种基于级联时序模型的暖通系统能效优化方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Avila et al. | NTL detection in electric distribution systems using the maximal overlap discrete wavelet-packet transform and random undersampling boosting | |
CN110377984B (zh) | 一种工业设备剩余有效寿命预测方法、系统及电子设备 | |
CN106909933B (zh) | 一种三阶段多视角特征融合的窃电分类预测方法 | |
CN109711609B (zh) | 基于小波变换和极限学习机的光伏电站输出功率预测方法 | |
CN110378699A (zh) | 一种交易反欺诈方法、装置及系统 | |
CN102629904A (zh) | 一种网络水军的探测与判定方法 | |
CN107506865A (zh) | 一种基于lssvm优化的负荷预测方法及系统 | |
Zheng et al. | Generative adversarial networks-based synthetic pmu data creation for improved event classification | |
CN111369299A (zh) | 识别的方法、装置、设备及计算机可读存储介质 | |
CN111932367A (zh) | 贷前信用评估方法及装置 | |
CN103745002A (zh) | 一种基于行为特征与内容特征融合的水军识别方法及系统 | |
CN116231871B (zh) | 一种基于数字孪生的电网态势监管方法、系统及存储介质 | |
CN112925824A (zh) | 针对极端天气类型的光伏功率预测方法及系统 | |
CN110826237A (zh) | 基于贝叶斯信念网络的风电设备可靠性分析方法及装置 | |
CN113449919A (zh) | 一种基于特征和趋势感知的用电量预测方法及系统 | |
CN107402859A (zh) | 软件功能验证系统及其验证方法 | |
CN108683658A (zh) | 基于多rbm网络构建基准模型的工控网络流量异常识别方法 | |
CN109558941A (zh) | 一种模型训练方法、存储介质及电子设备 | |
CN107590747A (zh) | 基于综合能源大数据分析的电网资产周转率计算方法 | |
CN109977984B (zh) | 基于支持向量机的窃电用户判断方法 | |
CN109636068A (zh) | 一种列车门电机故障预测方法 | |
CN113870052A (zh) | 基于多输入lstm-cnn的工作票安全措施识别方法及终端 | |
Ma et al. | Review of machine learning in power system | |
CN116630989A (zh) | 智能电表可视故障检测方法、系统、电子设备及存储介质 | |
CN116400168A (zh) | 一种基于深度特征聚类的电网故障诊断方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190402 |
|
WD01 | Invention patent application deemed withdrawn after publication |