CN111221517A - 一种模型创建方法、装置、计算机设备和可读存储介质 - Google Patents
一种模型创建方法、装置、计算机设备和可读存储介质 Download PDFInfo
- Publication number
- CN111221517A CN111221517A CN201910969192.XA CN201910969192A CN111221517A CN 111221517 A CN111221517 A CN 111221517A CN 201910969192 A CN201910969192 A CN 201910969192A CN 111221517 A CN111221517 A CN 111221517A
- Authority
- CN
- China
- Prior art keywords
- model
- interface
- configuration parameters
- variable
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000004044 response Effects 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 53
- 230000004927 fusion Effects 0.000 claims description 23
- 238000010219 correlation analysis Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000677647 Proba Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/31—Programming languages or programming paradigms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
- G06F9/4451—User profiles; Roaming
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种模型创建方法,包括:响应于客户端发送的模型创建指令,提取用于生成所述模型配置界面的界面配置参数,其中,所述配置界面用于接收模型配置参数;将所述界面配置参数返回至所述客户端,以使所述客户端基于所述界面参数生成并展示所述模型配置界面;获取通过所述配置界面接收到的所述模型配置参数;从预先配置好的代码模板中确定出与所述模型配置参数对应目标代码模板;将所述模型配置参数填充至所述目标代码模板中,形成完整代码;执行所述完整代码,以创建所述模型。本公开还提供了一种模型创建装置、一种计算机设备和一种计算机可读存储介质。
Description
技术领域
本发明涉及计算机技术领域,具体涉及一种模型创建方法、装置、计算机设备和计算机可读存储介质。
背景技术
目前,一台服务器中可以同时存储有多个模型创建代码,每个模型创建代码可以用于创建一个模型。但是,发明人在研究本发明的过程中,现有技术至少存在如下缺陷:不同的模型分别对应于不同的模型创建代码,由于各个模型创建代码之间没有统一的标准,使得不同模型创建代码中相似的功能代码可能存在冲突,并且,在同时执行多个模型创建代码时,运行中的模型创建代码之间调用关系也比较混乱,容易相互影响,另外,每个模型创建代码内部也可能存在依赖,不利于更新迭代。
发明内容
本发明的目的在于提供一种模型创建方法、装置、计算机设备和计算机可读存储介质,能够解决上述现有技术的缺陷。
本发明的一个方面提供了模型创建方法,包括:响应于客户端发送的模型创建指令,提取用于生成上述模型配置界面的界面配置参数,其中,上述配置界面用于接收模型配置参数;将上述界面配置参数返回至上述客户端,以使上述客户端基于上述界面配置参数生成并展示上述配置界面;获取通过上述配置界面接收到的上述模型配置参数;从预先配置好的代码模板中确定出与上述模型配置参数对应目标代码模板;将上述模型配置参数填充至上述目标代码模板中,形成完整代码;执行上述完整代码,以创建上述模型。
可选地,上述配置界面包括训练数据选择界面,获取通过上述配置界面接收到的上述模型配置参数,包括:获取通过上述训练数据选择界面接收到的上述模型配置参数,其中,上述训练数据选择界面接收的上述模型配置参数包括模型训练集名称。
可选地,上述配置界面还包括变量选择界面,获取通过上述配置界面接收到的上述模型配置参数,还包括:获取通过上述变量选择界面接收到的上述模型配置参数,其中,上述变量选择界面接收的上述模型配置参数包括变量名称及上述变量名称对应的变量类型,上述变量类型包括以下至少之一:输出型、离散型、连续型、日期型和忽略。
可选地,上述配置界面还包括变量处理界面,获取通过上述配置界面接收到的上述模型配置参数,还包括:获取通过上述变量处理界面接收到的上述模型配置参数,其中,上述变量处理界面接收的上述模型配置参数包括:缺失值填充方式、是否对连续型变量进行相关性分析、是否进行PCA降维处理、对离散型变量进行HASH编码的除数、是否对上述连续型变量进行分箱处理,其中,在对上述连续型变量进行分箱处理时,上述模型配置参数还包括分箱方法。
可选地,上述配置界面还包括建模算法选择界面,获取通过上述配置界面接收到的上述模型配置参数,还包括:获取通过上述建模算法选择界面接收到的上述模型配置参数,其中,上述建模算法选择界面接收的上述模型配置参数包括:建模算法、是否进行模型融合、抽样比例、模型名称和模型评价指标,其中,在进行模型融合时,上述模型配置参数还包括:模型融合算法和上述模型融合算法的参数。
可选地,执行上述完整代码,以创建上述模型,包括:从基础建模数据中提取与上述模型训练集名称对应的数据作为模型训练集;从上述基础建模数据中提取与上述变量名称对应的数据作为变量数据;根据上述变量处理界面接收的参数对上述变量数据进行处理;根据上述模型训练集、上述变量类型、处理后的变量数据和上述建模算法选择界面接收的参数创建上述模型。
本发明的另一个方面提供了一种模型创建装置,包括:提取模块,用于响应于客户端发送的模型创建指令,提取用于生成上述模型配置界面的界面配置参数,其中,上述配置界面用于接收模型配置参数;展示模块,用于将上述界面配置参数返回至上述客户端,以使上述客户端基于上述界面配置参数生成并展示上述配置界面;获取模块,用于获取通过上述配置界面接收到的上述模型配置参数;确定模块,用于从预先配置好的代码模板中确定出与上述模型配置参数对应目标代码模板;填充模块,用于将上述模型配置参数填充至上述目标代码模板中,形成完整代码;创建模块,用于执行上述完整代码,以创建上述模型。
可选地,上述配置界面包括训练数据选择界面,上述获取模块还用于:获取通过上述训练数据选择界面接收到的上述模型配置参数,其中,上述训练数据选择界面接收的上述模型配置参数包括模型训练集名称。
可选地,上述配置界面还包括变量选择界面,上述获取模块还用于:获取通过上述变量选择界面接收到的上述模型配置参数,其中,上述变量选择界面接收的上述模型配置参数包括变量名称及上述变量名称对应的变量类型,上述变量类型包括以下至少之一:输出型、离散型、连续型、日期型和忽略。
可选地,上述配置界面还包括变量处理界面,上述获取模块还用于:获取通过上述变量处理界面接收到的上述模型配置参数,其中,上述变量处理界面接收的上述模型配置参数包括:缺失值填充方式、是否对连续型变量进行相关性分析、是否进行PCA降维处理、对离散型变量进行HASH编码的除数、是否对上述连续型变量进行分箱处理,其中,在对上述连续型变量进行分箱处理时,上述模型配置参数还包括分箱方法。
可选地,上述配置界面还包括建模算法选择界面,上述获取模块还用于:获取通过上述建模算法选择界面接收到的上述模型配置参数,其中,上述建模算法选择界面接收的上述模型配置参数包括:建模算法、是否进行模型融合、抽样比例、模型名称和模型评价指标,其中,在进行模型融合时,上述模型配置参数还包括:模型融合算法和上述模型融合算法的参数。
可选地,上述创建模块还用于:从基础建模数据中提取与上述模型训练集名称对应的数据作为模型训练集;从上述基础建模数据中提取与上述变量名称对应的数据作为变量数据;根据上述变量处理界面接收的参数对上述变量数据进行处理;根据上述模型训练集、上述变量类型、处理后的变量数据和上述建模算法选择界面接收的参数创建上述模型。
本发明的又一个方面提供了一种计算机设备,该计算机设备包括:存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现上述任一实施例所述的模型创建方法。
本发明的又一个方面提供了一种计算机可读存储介质,其上存储有计算机程序,上述计算机程序被处理器执行时实现上述任一实施例所述的模型创建方法。
本发明提供的模型创建方法、装置、计算机设备和计算机可读存储介质,提供一可视化配置界面并预先配置标准的代码模板,在需要创建任意模型时,只需将由可视化配置界面接收的模型配置参数填充至对应的目标代码模板,即可形成完整代码,进而通过执行该完整代码即可实现模型创建。本实施例中,通过预先构建的代码模板可以创建多种类型的模型,不仅解决了现有技术中多个模型创建代码存在冲突、相互影响的缺陷,而且在修改或更新任一代码模板时,不会影响其他模板,进而解决了现有技术不利于更新迭代的缺陷。另外,本实施例通过可视化的配置过程,对于任一模型,均可通过配置界面配置参数,实现自动创建模型,降低多模型创建的复杂度。
进一步,通过变量处理界面,对于之前选择的变量自动选出最优者,通过建模算法选择界面,设置模型评价指标,自动筛选出最优的模型,足以保证模型创建的准确度。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例一提供的应用场景示意图;
图2为本发明实施例二提供的模型创建方法的流程图;
图3为本发明实施例二中训练数据选择界面的示意图;
图4为本发明实施例二中变量选择界面的示意图;
图5为本发明实施例二中变量处理界面的示意图;
图6为本发明实施例二中建模算法选择界面的示意图;
图7为本发明实施例三提供的模型创建装置的框图;
图8为本发明实施例四提供给的适于实现模型创建方法的计算机设备的框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
实施例一
本发明实施例一提供了模型创建方法的应用场景示意图,应该理解,本实施例的应用场景仅用于解释本发明提供的模型创建方法,并不会对本发明造成限定,本发明还可以应用于其他场景。具体地,如图1所示,该应用场景包括三大系统:业务系统、加工系统和模型创建系统,业务系统(如Claim系统)用于生产业务数据,并将业务数据存储至业务数据库(如Claim数据库),业务系统定期从业务数据库中提取业务数据并发送至加工系统(如大数据平台)的ODS(Operational Data Store,操作数据存储),加工系统将业务数据进行加工(即图1中的因子加工,因子加工可以包括加法、乘法、乘法、除法以及其结合或者其他算法等,如,业务数据为理赔数据,理赔数据包括多个因子,如上次理赔时间和本次理赔时间,计算该二者之差,得到理赔时间间隔)后,得到基础建模数据,然后将基础建模数据存储至因子库,并分别发送至业务系统的HBase数据库/TiDB数据库、业务系统的业务数据库和模型创建系统(如AI开放平台),其中,模型创建系统中的基础建模数据用于模型训练。模型创建系统还提供一服务接口,在业务系统侧通过模型查询界面调用该服务接口可以查询并使用模型创建系统创建完成的模型,其中,模型创建系统可以包括客户端和服务端。需要说明的是,图1中的“T+1”表示当天同步前一天的数据,比如2018年2月3号同步2018年2月2号的数据。
实施例二
本发明的实施例二提供了一种模型创建方法,应用于服务端,具体地,图2为本发明实施例二提供的模型创建方法的流程图。如图2所示,该模型创建方法可以包括步骤S201~步骤S206,其中:
步骤S201,响应于客户端发送的模型创建指令,提取用于生成所述模型配置界面的界面配置参数,其中,所述配置界面用于接收模型配置参数。
本实施例中,客户端用于根据服务端的控制提供一可视化的界面,服务端根据可视化的界面上接收到的内容实现模型创建。其中,客户端可提供一登录界面,运营人员或维护人员(以下统称为用户)通过自己的账号等登录信息登录成功后,通过客户端向服务端发送模型创建指令,该模型创建指令可以包括用于请求打开配置界面的指令,服务端响应于该指令,可以从本地提取存储的界面配置参数。其中,界面配置参数可以包括多种参数,每种参数又可包括多个参数值,例如界面配置参数包括模型训练集名称、变量名称和变量类型等,模型训练集名称包括多个值,也即不同的名称。
步骤S202,将所述界面配置参数返回至所述客户端,以使所述客户端基于所述界面配置参数生成并展示所述配置界面。
客户端可以根据服务器返回的界面配置参数生成配置界面,其中,配置界面上可以包括多个参数接收框,每个参数接收框显示有对应的参数,如,客户端可以将所有模型训练集名称显示在参数接收框中,还可以将所有的变量名称显示在参数接收框中,等等。进一步,用户通过选中参数接收框中的内容实现配置参数的输入。
步骤S203,获取通过所述配置界面接收到的所述模型配置参数。
具体地,在配置界面上,用户可直接在点击相应参数接收框对应的参数,当客户端接收到参数选择操作时,可以将被选择的参数区别于未被选择的参数显示在参数接收框中,如未被选择的参数呈灰度展示,被选择的参数呈高亮展示。进一步,客户端可以将通过配置界面接收到的模型配置参数发送至服务器,服务器获取这些模型配置参数。
可选地,所述配置界面可以包括训练数据选择界面、变量选择界面、变量处理界面和建模算法选择界面,步骤S203可以包括步骤S2031~步骤S2034,其中:
步骤S2031,获取通过所述训练数据选择界面接收到的所述模型配置参数。
其中,所述训练数据选择界面接收的所述模型配置参数包括模型训练集名称。
图3为本发明实施例二中训练数据选择界面的示意图,在图3中,数据选择列表下的各个参数接收框显示的参数为存储训练数据的模型训练集名称,用户通过选中任一参数接收框,可以选择用于训练模型的训练数据。用户还可以通过设置图3中删除整列阈值设置接收框的数值,确定在训练集中某一列的缺失值占比达到该数值时,删除该列数据。
步骤S2032,获取通过所述变量选择界面接收到的所述模型配置参数。
其中,所述变量选择界面接收的所述模型配置参数包括变量名称及所述变量名称对应的变量类型,所述变量类型包括以下至少之一:输出型、离散型、连续型、日期型和忽略。
图4为本发明实施例二中变量选择界面的示意图,在图4中,左侧一列的数据为变量,右侧5列的数据为变量类型,依次为:输出型(output)、离散型(categorical)、连续型(continuous)、日期型(date)和忽略(ignore),通过选中变量类型可以间接的确定本次模型所需的变量。
步骤S2033,获取通过所述变量处理界面接收到的所述模型配置参数。
其中,所述变量处理界面接收的所述模型配置参数包括:缺失值填充方式、是否对连续型变量进行相关性分析、是否进行PCA降维处理、对离散型变量进行HASH编码的除数、是否对所述连续型变量进行分箱处理,其中,在对所述连续型变量进行分箱处理时,所述模型配置参数还包括分箱方法,具体可以参考图5示出的示意图。
需要说明的是,对连续型变量进行相关性分析时,可以包括先计算连续型变量的IV(information value,信息价值)值,用于相关性分析之后得到建模所需的最优变量数据。
步骤S2034,获取通过所述建模算法选择界面接收到的所述模型配置参数。
其中,所述建模算法选择界面接收的所述模型配置参数包括:建模算法、是否进行模型融合、抽样比例、模型名称和模型评价指标,其中,在进行模型融合时,所述模型配置参数还包括:模型融合算法和所述模型融合算法的参数。具体可以参考图6,在图6中,用于选择在进行模型融合时,以模型融合算法为stacking为例,该模型融合算法的参数包括:stacking的交差验证重数stacking_cv为3以及使用概率输出classifier_use_proba。模型评价指标可以包括:准确度分数(accuracy_score)、召回率(recall)、精密度(precision)、曲线下面积(roc_auc)和成本函数(brier_score_loss)等。
步骤S204,从预先配置好的代码模板中确定出与所述模型配置参数对应目标代码模板。
步骤S205,将所述模型配置参数填充至所述目标代码模板中,形成完整代码。
本实施中,设置有多个代码模板,如用于模型训练的代码模板、用于确定模型参数的代码模板、以及用于评价模型的代码模板等等,如,对于模型训练集名称,其对应的目标代码模板为用于模型训练的代码模板。
需要说明的是,代码模板为执行模型创建算法的代码框架,通过将必要的参数即模型配置参数添加入对应的目标代码模板中,可以形成完整代码。
例如,对于用于模型训练的代码模板,该代码模板中存在一空缺参数位置,通过将模型训练集名称填充至该空缺参数位置,可以形成用于模型训练的完整代码。
步骤S206,执行所述完整代码,以创建所述模型。
由于已经将通过将配置界面获取的模型配置参数填充至目标代码模板,形成了完整代码,则可以通过完整代码执行模型创建任务。
具体地,步骤S206可以包括步骤S2061~步骤S2064,其中:
步骤S2061,从基础建模数据中提取与所述模型训练集名称对应的数据作为模型训练集;
步骤S2062,从所述基础建模数据中提取与所述变量名称对应的数据作为变量数据;
步骤S2063,根据所述变量处理界面接收的参数对所述变量数据进行处理;
步骤S2064,根据所述模型训练集、所述变量类型、处理后的变量数据和所述建模算法选择界面接收的参数创建所述模型。
具体地,服务端从本地存储的基础建模数据中提取与所述模型训练集名称对应的数据作为模型训练集,然后从基础建模数据中提取与变量名称对应的数据作为变量数据,进一步,基于变量处理界面接收的参数,对提取的变量数据进行处理,如处理后的变量数据包括:已经进行缺失值填充且已经通过相关系分析筛选出的最优变量数据。进一步,服务端可以利用模型训练集、变量类型、处理后的变量数据和建模算法选择界面接收的参数自动创建并筛选出最优的模型。
本发明提供的模型创建方法、装置、计算机设备和计算机可读存储介质,提供一可视化配置界面并预先配置标准的代码模板,在想要创建任意模型时,只需将由可视化界面接收的模型配置参数填充至对应的目标代码模板,即可形成完整代码,进而通过执行该完整代码即可实现模型创建。本实施例中,通过预先构建的代码模板可以创建多种类型的模型,不仅解决了现有技术中多个模型创建代码存在冲突、相互影响的缺陷,而且在修改或更新任一代码模板时,不会影响其他模板,进而解决了现有技术不利于更新迭代的缺陷。另外,本实施例通过可视化的配置过程,对于任一模型,均可通过配置界面配置参数,实现自动创建模型,降低多模型创建的复杂度。进一步,通过变量处理界面,对于之前选择的变量自动选出最优者,通过建模算法选择界面,设置模型评价指标,自动筛选出最优的模型,足以保证模型创建的准确度。
实施例三
本发明的实施例三还提供了一种模型创建装置,该模型创建装置与所述实施例二提供的模型创建方法相对应,相应的技术特征和技术效果在本实施例中不再详述,相关之处可参考所述实施例二。具体地,图7为本发明实施例三提供的模型创建装置的框图。如图7所示,所述模型创建装置700可以包括提取模块701、展示模块702、获取模块703、确定模块704、填充模块705和创建模块706,其中:
提取模块701,用于响应于客户端发送的模型创建指令,提取用于生成所述模型配置界面的界面配置参数,其中,所述配置界面用于接收模型配置参数;
展示模块702,用于将所述界面配置参数返回至所述客户端,以使所述客户端基于所述界面配置参数生成并展示所述配置界面;
获取模块703,用于获取通过所述配置界面接收到的所述模型配置参数;
确定模块704,用于从预先配置好的代码模板中确定出与所述模型配置参数对应目标代码模板;
填充模块705,用于将所述模型配置参数填充至所述目标代码模板中,形成完整代码;
创建模块706,用于执行所述完整代码,以创建所述模型。
可选地,所述配置界面包括训练数据选择界面,所述获取模块还用于:获取通过所述训练数据选择界面接收到的所述模型配置参数,其中,所述训练数据选择界面接收的所述模型配置参数包括模型训练集名称。
可选地,所述配置界面还包括变量选择界面,所述获取模块还用于:获取通过所述变量选择界面接收到的所述模型配置参数,其中,所述变量选择界面接收的所述模型配置参数包括变量名称及所述变量名称对应的变量类型,所述变量类型包括以下至少之一:输出型、离散型、连续型、日期型和忽略。
可选地,所述配置界面还包括变量处理界面,所述获取模块还用于:获取通过所述变量处理界面接收到的所述模型配置参数,其中,所述变量处理界面接收的所述模型配置参数包括:缺失值填充方式、是否对连续型变量进行相关性分析、是否进行PCA降维处理、对离散型变量进行HASH编码的除数、是否对所述连续型变量进行分箱处理,其中,在对所述连续型变量进行分箱处理时,所述模型配置参数还包括分箱方法。
可选地,所述配置界面还包括建模算法选择界面,所述获取模块还用于:获取通过所述建模算法选择界面接收到的所述模型配置参数,其中,所述建模算法选择界面接收的所述模型配置参数包括:建模算法、是否进行模型融合、抽样比例、模型名称和模型评价指标,其中,在进行模型融合时,所述模型配置参数还包括:模型融合算法和所述模型融合算法的参数。
可选地,所述创建模块还用于:从基础建模数据中提取与所述模型训练集名称对应的数据作为模型训练集;从所述基础建模数据中提取与所述变量名称对应的数据作为变量数据;根据所述变量处理界面接收的参数对所述变量数据进行处理;根据所述模型训练集、所述变量类型、处理后的变量数据和所述建模算法选择界面接收的参数创建所述模型。
实施例四
图8为本发明实施例四提供给的适于实现模型创建方法的计算机设备的框图。本实施例中,计算机设备800可以是执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式服务器、刀片式服务器、塔式服务器或机柜式服务器(包括独立的服务器,或者多个服务器所组成的服务器集群)等。如图8所示,本实施例的计算机设备800至少包括但不限于:可通过系统总线相互通信连接的存储器801、处理器802、网络接口803。需要指出的是,图8仅示出了具有组件801-803的计算机设备800,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
本实施例中,存储器803至少包括一种类型的计算机可读存储介质,可读存储介质包括包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中,存储器801可以是计算机设备800的内部存储单元,例如该计算机设备800的硬盘或内存。在另一些实施例中,存储器801也可以是计算机设备800的外部存储设备,例如该计算机设备800上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。当然,存储器801还可以既包括计算机设备800的内部存储单元也包括其外部存储设备。在本实施例中,存储器801通常用于存储安装于计算机设备800的操作系统和各类应用软件,例如模型创建方法的程序代码等。此外,存储器801还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器802在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器802通常用于控制计算机设备800的总体操作。例如执行与计算机设备800进行数据交互或者通信相关的控制和处理等的模型创建方法的程序代码。
在本实施例中,存储于存储器801中的模型创建方法还可以被分割为一个或者多个程序模块,并由一个或多个处理器(本实施例为处理器802)所执行,以完成本发明。
网络接口803可包括无线网络接口或有线网络接口,该网络接口803通常用于在计算机设备800与其他计算机设备之间建立通信链接。例如,网络接口803用于通过网络将计算机设备800与外部终端相连,在计算机设备800与外部终端之间的建立数据传输通道和通信链接等。网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication,简称为GSM)、宽带码分多址(Wideband CodeDivision Multiple Access,简称为WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi等无线或有线网络。
实施例五
本实施例还提供一种计算机可读存储介质,包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器、App应用商城等,其上存储有计算机程序,所述计算机程序被处理器执行时实现模型创建方法。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种模型创建方法,其特征在于,包括:
响应于客户端发送的模型创建指令,提取用于生成所述模型配置界面的界面配置参数,其中,所述配置界面用于接收模型配置参数;
将所述界面配置参数返回至所述客户端,以使所述客户端基于所述界面配置参数生成并展示所述配置界面;
获取通过所述配置界面接收到的所述模型配置参数;
从预先配置好的代码模板中确定出与所述模型配置参数对应目标代码模板;
将所述模型配置参数填充至所述目标代码模板中,形成完整代码;
执行所述完整代码,以创建所述模型。
2.根据权利要求1所述的方法,其特征在于,所述配置界面包括训练数据选择界面,获取通过所述配置界面接收到的所述模型配置参数,包括:
获取通过所述训练数据选择界面接收到的所述模型配置参数,其中,所述训练数据选择界面接收的所述模型配置参数包括模型训练集名称。
3.根据权利要求2所述的方法,其特征在于,所述配置界面还包括变量选择界面,获取通过所述配置界面接收到的所述模型配置参数,还包括:
获取通过所述变量选择界面接收到的所述模型配置参数,其中,所述变量选择界面接收的所述模型配置参数包括变量名称及所述变量名称对应的变量类型,所述变量类型包括以下至少之一:输出型、离散型、连续型、日期型和忽略。
4.根据权利要求3所述的方法,其特征在于,所述配置界面还包括变量处理界面,获取通过所述配置界面接收到的所述模型配置参数,还包括:
获取通过所述变量处理界面接收到的所述模型配置参数,其中,所述变量处理界面接收的所述模型配置参数包括:缺失值填充方式、是否对连续型变量进行相关性分析、是否进行PCA降维处理、对离散型变量进行HASH编码的除数、是否对所述连续型变量进行分箱处理,其中,在对所述连续型变量进行分箱处理时,所述模型配置参数还包括分箱方法。
5.根据权利要求4所述的方法,其特征在于,所述配置界面还包括建模算法选择界面,获取通过所述配置界面接收到的所述模型配置参数,还包括:
获取通过所述建模算法选择界面接收到的所述模型配置参数,其中,所述建模算法选择界面接收的所述模型配置参数包括:建模算法、是否进行模型融合、抽样比例、模型名称和模型评价指标,其中,在进行模型融合时,所述模型配置参数还包括:模型融合算法和所述模型融合算法的参数。
6.根据权利要求5所述的方法,其特征在于,执行所述完整代码,以创建所述模型,包括:
从基础建模数据中提取与所述模型训练集名称对应的数据作为模型训练集;
从所述基础建模数据中提取与所述变量名称对应的数据作为变量数据;
根据所述变量处理界面接收的参数对所述变量数据进行处理;
根据所述模型训练集、所述变量类型、处理后的变量数据和所述建模算法选择界面接收的参数创建所述模型。
7.一种模型创建装置,其特征在于,包括:
提取模块,用于响应于客户端发送的模型创建指令,提取用于生成所述模型配置界面的界面配置参数,其中,所述配置界面用于接收模型配置参数;
展示模块,用于将所述界面配置参数返回至所述客户端,以使所述客户端基于所述界面配置参数生成并展示所述配置界面;
获取模块,用于获取通过所述配置界面接收到的所述模型配置参数;
确定模块,用于从预先配置好的代码模板中确定出与所述模型配置参数对应目标代码模板;
填充模块,用于将所述模型配置参数填充至所述目标代码模板中,形成完整代码;
创建模块,用于执行所述完整代码,以创建所述模型。
8.根据权利要求7所述的装置,其特征在于,所述创建模块还用于:
从基础建模数据中提取与所述模型训练集名称对应的数据作为模型训练集;
从所述基础建模数据中提取与所述变量名称对应的数据作为变量数据;
根据所述变量处理界面接收的参数对所述变量数据进行处理;
根据所述模型训练集、所述变量类型、处理后的变量数据和所述建模算法选择界面接收的参数创建所述模型。
9.一种计算机设备,所述计算机设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910969192.XA CN111221517A (zh) | 2019-10-12 | 2019-10-12 | 一种模型创建方法、装置、计算机设备和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910969192.XA CN111221517A (zh) | 2019-10-12 | 2019-10-12 | 一种模型创建方法、装置、计算机设备和可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111221517A true CN111221517A (zh) | 2020-06-02 |
Family
ID=70827500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910969192.XA Pending CN111221517A (zh) | 2019-10-12 | 2019-10-12 | 一种模型创建方法、装置、计算机设备和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111221517A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116230149A (zh) * | 2022-12-26 | 2023-06-06 | 北京百度网讯科技有限公司 | 医疗变量数据的处理方法、装置、电子设备和存储介质 |
CN117474125A (zh) * | 2023-12-21 | 2024-01-30 | 环球数科集团有限公司 | 一种自动训练机器学习模型系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108256691A (zh) * | 2018-02-08 | 2018-07-06 | 成都智宝大数据科技有限公司 | 还款概率预测模型构建方法及装置 |
CN108446225A (zh) * | 2018-03-06 | 2018-08-24 | 平安科技(深圳)有限公司 | 模拟接口的创建装置、方法及计算机可读存储介质 |
CN108710949A (zh) * | 2018-04-26 | 2018-10-26 | 第四范式(北京)技术有限公司 | 用于创建机器学习建模模板的方法及系统 |
CN108764273A (zh) * | 2018-04-09 | 2018-11-06 | 中国平安人寿保险股份有限公司 | 一种数据处理的方法、装置、终端设备及存储介质 |
CN109102396A (zh) * | 2018-08-17 | 2018-12-28 | 北京玖富普惠信息技术有限公司 | 一种用户信用评级方法、计算机设备及可读介质 |
CN109409528A (zh) * | 2018-09-10 | 2019-03-01 | 平安科技(深圳)有限公司 | 模型生成方法、装置、计算机设备及存储介质 |
CN109409533A (zh) * | 2018-09-28 | 2019-03-01 | 深圳乐信软件技术有限公司 | 一种机器学习模型的生成方法、装置、设备及存储介质 |
-
2019
- 2019-10-12 CN CN201910969192.XA patent/CN111221517A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108256691A (zh) * | 2018-02-08 | 2018-07-06 | 成都智宝大数据科技有限公司 | 还款概率预测模型构建方法及装置 |
CN108446225A (zh) * | 2018-03-06 | 2018-08-24 | 平安科技(深圳)有限公司 | 模拟接口的创建装置、方法及计算机可读存储介质 |
CN108764273A (zh) * | 2018-04-09 | 2018-11-06 | 中国平安人寿保险股份有限公司 | 一种数据处理的方法、装置、终端设备及存储介质 |
CN108710949A (zh) * | 2018-04-26 | 2018-10-26 | 第四范式(北京)技术有限公司 | 用于创建机器学习建模模板的方法及系统 |
CN109102396A (zh) * | 2018-08-17 | 2018-12-28 | 北京玖富普惠信息技术有限公司 | 一种用户信用评级方法、计算机设备及可读介质 |
CN109409528A (zh) * | 2018-09-10 | 2019-03-01 | 平安科技(深圳)有限公司 | 模型生成方法、装置、计算机设备及存储介质 |
CN109409533A (zh) * | 2018-09-28 | 2019-03-01 | 深圳乐信软件技术有限公司 | 一种机器学习模型的生成方法、装置、设备及存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116230149A (zh) * | 2022-12-26 | 2023-06-06 | 北京百度网讯科技有限公司 | 医疗变量数据的处理方法、装置、电子设备和存储介质 |
CN117474125A (zh) * | 2023-12-21 | 2024-01-30 | 环球数科集团有限公司 | 一种自动训练机器学习模型系统 |
CN117474125B (zh) * | 2023-12-21 | 2024-03-01 | 环球数科集团有限公司 | 一种自动训练机器学习模型系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170343983A1 (en) | System and method for generating machining control data of numerical control machine tool | |
CN112035111A (zh) | 页面编辑方法、系统、计算机设备与计算机可读存储介质 | |
CN105094775B (zh) | 网页生成方法和装置 | |
CN112231416B (zh) | 知识图谱本体更新方法、装置、计算机设备及存储介质 | |
CN108038655A (zh) | 部门需求的推荐方法、应用服务器及计算机可读存储介质 | |
CN110738038A (zh) | 合同文本的生成方法、装置、设备及计算机可读存储介质 | |
CN110659258A (zh) | 单证生成方法、系统、计算机设备和计算机可读存储介质 | |
CN111221517A (zh) | 一种模型创建方法、装置、计算机设备和可读存储介质 | |
CN112597745A (zh) | 一种智能图表的生成方法、装置、计算机系统及可读存储介质 | |
CN113448862A (zh) | 软件版本测试方法、装置及计算机设备 | |
CN111737577A (zh) | 一种基于业务平台的数据查询方法、装置、设备和介质 | |
CN112990455A (zh) | 网络模型的发布方法及装置、存储介质、电子设备 | |
CN113220657A (zh) | 数据处理方法、装置及计算机设备 | |
CN115712422A (zh) | 表单页面的生成方法、装置、计算机设备及存储介质 | |
CN113609697A (zh) | 一种基于事件网的模拟仿真方法、装置及计算机设备 | |
CN117725047A (zh) | 业务指标的处理方法、装置、设备及存储介质 | |
CN111026613A (zh) | 日志处理方法及装置 | |
CN113835704B (zh) | 一种布局文件生成方法、装置、设备以及存储介质 | |
CN114116761A (zh) | 变量加工方法、装置、计算机设备和存储介质 | |
CN110532533B (zh) | 表格精度配置化方法、装置、计算机设备以及存储介质 | |
CN116263659A (zh) | 数据处理方法、装置、计算机程序产品、设备及存储介质 | |
CN114169306A (zh) | 一种生成电子回执单的方法、装置、设备及可读存储介质 | |
CN109388647B (zh) | 一种基于web的数据填报方法及系统 | |
CN113610558A (zh) | 资源分发方法、装置、电子设备及存储介质 | |
CN111966688A (zh) | 基于大数据的表单处理方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |