CN108875289A - 一种算法调试方法、客户端、后台服务器及系统 - Google Patents

一种算法调试方法、客户端、后台服务器及系统 Download PDF

Info

Publication number
CN108875289A
CN108875289A CN201710317474.2A CN201710317474A CN108875289A CN 108875289 A CN108875289 A CN 108875289A CN 201710317474 A CN201710317474 A CN 201710317474A CN 108875289 A CN108875289 A CN 108875289A
Authority
CN
China
Prior art keywords
algorithm
task data
tuning parameter
debugging
parameter item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710317474.2A
Other languages
English (en)
Other versions
CN108875289B (zh
Inventor
周斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710317474.2A priority Critical patent/CN108875289B/zh
Publication of CN108875289A publication Critical patent/CN108875289A/zh
Application granted granted Critical
Publication of CN108875289B publication Critical patent/CN108875289B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明实施例提供一种算法调试方法、客户端、后台服务器及系统,该方法包括:客户端获取目标算法可调整的至少一项调试参数项;绘制显示界面,在所述显示界面至少显示所述调试参数项;确定通过所述显示界面所修改的调试参数项的参数值;根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值;根据各调试参数项的目标参数值构建算法调试任务数据;将所述算法调试任务数据提交至后台服务器,以获取到所述后台服务器反馈的所述算法调试任务数据的执行结果。本发明实施例可实现简便、高效的算法调试。

Description

一种算法调试方法、客户端、后台服务器及系统
技术领域
本发明涉及数据处理技术领域,具体涉及一种算法调试方法、客户端、后台服务器及系统。
背景技术
机器学习算法作为人工智能的核心,其应用越来越广泛;机器学习算法的执行主要分为算法训练和结果模型预测,算法训练是指使用机器学习算法对训练数据源进行训练,得到结果模型的过程,结果模型往往可以实现某一特定功能;结果模型预测是指通过预测所用的预测数据源,对结果模型的准确性等效果进行预测的过程。
为实现结果模型的效果优化提升,在进行算法训练得到结果模型后,往往需要根据结果模型预测过程所得出的预测结果进行算法调试;算法调试是指,通过不断的调整算法的调试参数,判断每次调试参数调整后的结果模型的效果,从而选取出结果模型的效果最优的调试参数,使得结果模型的效果得以优化提升。
目前的算法调试方式主要是,在算法的代码中定位算法可修改的调试参数,然后在每次算法调试时,相应的修改算法的代码中的调试参数,从而判断每次调试参数调整后的结果模型的效果,选取出结果模型的效果最优的调试参数,实现算法的调试;然而,这种通过在算法的代码中修改调试参数,来实现算法调试的方式,明显存在算法调试过程繁琐,效率较低的问题。
发明内容
有鉴于此,本发明实施例提供一种算法调试方法、客户端、后台服务器及系统,以实现简便、高效的算法调试。
为实现上述目的,本发明实施例提供如下技术方案:
一种算法调试方法,包括:
获取目标算法可调整的至少一项调试参数项;
绘制显示界面,在所述显示界面至少显示所述调试参数项;
确定通过所述显示界面所修改的调试参数项的参数值;
根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值;
根据各调试参数项的目标参数值构建算法调试任务数据;
将所述算法调试任务数据提交至后台服务器,以获取到所述后台服务器反馈的所述算法调试任务数据的执行结果。
本发明实施例还提供一种算法调试方法,包括:
获取客户端提交的目标算法的算法调试任务数据,所述算法调试任务数据至少包括:通过客户端的显示界面修改确定的目标算法的各调试参数项的目标参数值;
执行所述算法调试任务数据,确定所述算法调试任务数据的执行结果;
将所述执行结果反馈给所述客户端。
本发明实施例还提供一种客户端,包括:
调试参数项获取模块,用于获取目标算法可调整的至少一项调试参数项;
界面绘制显示模块,用于绘制显示界面,在所述显示界面至少显示所述调试参数项;
修改参数值确定模块,用于确定通过所述显示界面所修改的调试参数项的参数值;
目标参数值确定模块,用于根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值;
任务数据构建模块,用于根据各调试参数项的目标参数值构建算法调试任务数据;
提交模块,用于将所述算法调试任务数据提交至后台服务器,以获取到所述后台服务器反馈的所述算法调试任务数据的执行结果。
本发明实施例还提供一种后台服务器,包括:
任务数据获取模块,用于获取客户端提交的目标算法的算法调试任务数据,所述算法调试任务数据至少包括:通过客户端的显示界面修改确定的目标算法的各调试参数项的目标参数值;
任务执行模块,用于执行所述算法调试任务数据,确定所述算法调试任务数据的执行结果;
结果反馈模块,用于将所述执行结果反馈给所述客户端。
本发明实施例还提供一种算法调试系统,包括:
客户端,用于获取目标算法可调整的至少一项调试参数项;绘制显示界面,在所述显示界面至少显示所述调试参数项;确定通过所述显示界面所修改的调试参数项的参数值;根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值;根据各调试参数项的目标参数值构建算法调试任务数据;将所述算法调试任务数据提交至后台服务器,以获取到所述后台服务器反馈的所述算法调试任务数据的执行结果;
后台服务器,用于获取客户端提交的目标算法的算法调试任务数据;执行所述算法调试任务数据,确定所述算法调试任务数据的执行结果;将所述执行结果反馈给所述客户端。
基于上述技术方案,本发明实施例提供的算法调试方法中,客户端可通过可视化的显示界面显示目标算法可调整的调试参数项,从而用户可通过显示界面修改调试参数项的参数值,实现目标算法调试过程中调试参数的调整,进而客户端可根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值,从而构建出调试任务数据;客户端将该调试任务数据提交到后台服务器后,后台服务器可执行该调试任务数据,确定出算法调试任务数据的执行结果,得到以修改参数值后的调试参数进行目标算法训练后的结果模型的效果,实现目标算法的调试。
可以看出,本发明实施例提供的算法调试方法中,用户可通过可视化的显示界面,对目标算法可调整的调试参数项的参数值进行调整,实现简便、高效的调试参数的调整,后续后台服务器基于用户通过可视化的显示界面调整的调试参数,进行目标算法的训练与结果模型的预测,可实现基于调整后的调试参数的简便、高效的算法调试工作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的算法调试系统的结构示意图;
图2为本发明实施例提供的算法调试方法的信令流程图;
图3为显示界面的示意图;
图4为显示界面展示的算法调试任务数据的执行结果的示意图;
图5为客户端根据算法调试任务数据的执行结果进行分析比对的示意图;
图6为本发明实施例提供的算法调试方法的另一信令流程图;
图7为目标算法的执行基础信息的确定方法流程图;
图8为标识块的拖拽选择示意图;
图9为标识块的关联示意图;
图10为标识块的另一关联示意图;
图11为后台服务器实现算法调试的方法流程图;
图12为算法调试任务数据执行过程中的交互示意流程图;
图13为本发明实施例提供的客户端的结构框图;
图14为本发明实施例提供的客户端的另一结构框图;
图15为本发明实施例提供的客户端的再一结构框图;
图16为本发明实施例提供的客户端的又一结构框图;
图17为本发明实施例提供的后台服务器的结构框图;
图18为本发明实施例提供的后台服务器的另一结构框图;
图19为本发明实施例提供的后台服务器的再一结构框图;
图20为本发明实施例提供的后台服务器的又一结构框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为实现简便、高效的算法调试,本发明的发明人考虑调整算法的调试参数调整方式,具体可在进行算法调试时,在用户侧的客户端以可视化界面展示算法的调试参数项,从而使得用户可对可视化界面展示的调试参数项的参数值进行调整,进而同步到后台服务器,后台服务器可根据用户在客户端的可视化界面确定的调试参数项的参数值执行算法,实现算法调试;
基于此思路,图1示出了本发明实施例提供的算法调试系统,利用该算法调试系统可实现本发明实施例提供的算法调试方法,参照图1,该算法调试系统可以包括:客户端10和后台服务器20;
其中,客户端10可设置于智能手机、平板电脑、笔记本电脑等用户设备上,该用户设备至少具有数据处理能力以及图形显示能力(如用户设备具有处理器、显示屏等器件);
后台服务器20可以是网络侧设置的具有数据处理能力的服务设备,后台服务器20可以由单台服务器实现,也可以由多台服务器组成的服务器群组实现。
基于图1所示算法调试系统,图2示出了本发明实施例提供的算法调试方法的一种可选的信令流程,值得注意的是,图2所示部分方法内容的实现功能可以由其他替换方式实现;参照图2,该流程可以包括:
步骤S10、客户端确定目标算法的训练基础信息,及表示预测数据源的预测数据源标识。
目标算法可以认为是本发明实施例待进行算法调试的算法,以算法的执行分为算法训练和结果模型预测为例,目标算法在执行时需要确定利用目标算法训练所需的基础信息(训练基础信息),以及训练得到的结果模型进行预测的预测数据源;
可选的,目标算法的训练基础信息和预测数据源,可以由用户在客户端指定;可选的,在一种实现中,预测数据源可以记录在网络侧,如记录在后台服务器本地或者与后台服务器相通信的数据库中,客户端可以相应记录各预测数据源的预测数据源标识,以便用户选定预测结果模型的预测数据源时,通过选定相应的预测数据源标识实现。
可选的,目标算法的训练基础信息,及表示预测数据源的预测数据源标识可以认为是目标算法的执行基础信息的一种可选形式;目标算法的执行基础信息可以认为是利用目标算法训练所需的基础信息,涵盖利用目标算法进行训练以及结果模型预测所需的基础信息;在确定目标算法的训练基础信息,及预测数据源标识后,可将所述训练基础信息与所述预测数据源标识相关联,得到目标算法的执行基础信息。
可选的,目标算法的训练基础信息可以至少包括:目标算法训练所使用的算法类型;算法类型可以是机器学习算法所使用的算法类型,如LDA(Latent DirichletAllocation,文档主题生成模型,是一种聚类算法),word2vec(一种特征提取算法),DNN(深度神经网络算法,一种深度学习算法),CNN(卷积神经网络,一种深度学习算法)等;本发明实施例所使用的算法类型可以根据实际需要持续扩展;
显然,目标算法的训练基础信息还可以包括:表示训练数据源的训练数据源标识,训练数据源可以认为是目标算法训练所使用的数据源;训练数据源可以记录在网络侧,如记录在后台服务器本地或者与后台服务器相通信的数据库中,分布式文件系统(如hdfs(Hadoop分布式文件系统))中等;客户端可以相应记录各训练数据源的训练数据源标识,以便用户选定训练目标算法的训练数据源时,通过选定相应的训练数据源标识实现;
进一步,目标算法的训练基础信息还可以包括:利用目标算法训练时对应的输出类型,结果模型的评估指标等(在进行结果模型预测时,可使用预测数据源预测结果模型的各评估指标的数值,可选的,评估指标可通过目标算法的算法类型预定得到,也可以自设定);
示例性的,利用目标算法训练时对应的输出类型如,利用目标算法训练的状态数据(执行进度,成功、失败状态,耗时等),结果模型,训练过程数据(迭代次数,准确率,损失函数等);结果模型的评估指标比如要求的迭代次数下的准确率,评估展示方式(柱状图,折线图,饼图等)等。
步骤S11、客户端向后台服务器请求所述目标算法可调整的调试参数项。
可选的,后台服务器可以预置各机器学习算法对应的可调整的调试参数项,从而客户端可在确定待调试的目标算法后,向后台服务器请求目标算法的可调整的调试参数项;
在一种可选实现中,后台服务器可以预置各算法类型对应的可调整的调试参数项,从而客户端在确定目标算法的训练基础信息后,可根据训练基础信息指示的目标算法的算法类型,向后台服务器请求所述目标算法的可调整的调试参数项;
所请求得到的调试参数项可能为至少一项,且一项调试参数项可以对应一个可调整的参数值范围;以LDA的算法类型为例,LDA可调整的调试参数项可能有主题数、迭代次数等,相应的,主题数的调试参数项可以相应调整算法训练时的主题数值,迭代次数的调试参数项可以相应调整算法训练时的迭代次数数值。
可选的,客户端可通过异步请求方式(如ajax异步请求,ajax可以认为是通过javascript异步访问后台服务器,javascript是一种直译式脚本语言),向后台服务器请求所述目标算法可调整的调试参数项。
步骤S12、客户端获取后台服务器反馈的所述目标算法可调整的调试参数项。
可选的,步骤S11和步骤S12仅是客户端获取目标算法可调整的调试参数项的一种可选方式,如果客户端本地预置有各算法对应的可调整的调试参数项(如客户端本地预置有各算法类型对应的可调整的调试参数项),则客户端可以调取本地预置的目标算法可调整的调试参数项。
步骤S13、客户端绘制显示界面,所述显示界面至少显示有所述调试参数项。
可选的,客户端在获取后台服务器反馈的各调试参数项后,可根据各调试参数项,以及目标算法的执行基础信息的简介信息,确定显示界面的绘制布局信息,根据该绘制布局信息布局显示界面并进行绘制,从而在绘制的显示界面显示客户端所获取的所述调试参数项;
可选的,所述显示界面除显示所述调试参数项外,还可显示目标算法的执行基础信息的简介信息(比如利用目标算法训练所使用的训练数据源的简介、所使用的算法类型的名称简介等)。
步骤S14、客户端确定通过所述显示界面所修改的调试参数项的参数值。
客户端的显示界面显示目标算法可调整的调试参数项后,用户可在显示界面修改希望调整的调试参数项的参数值;如显示界面可对应显示各调试参数项的参数值修改框,从而用户可在希望调整的调试参数项的参数值修改框中,填入修改后的参数值,实现对目标算法的调试参数项的参数值的修改,用户确定修改完成后,客户端可确定通过所述显示界面所修改的调试参数项的参数值。
进一步,后台服务器除向客户端反馈目标算法可调整的调试参数项外,还可反馈各调试参数项的默认值以及可调整的参数值范围(各调试参数项的默认值以及可调整的参数值范围,可在后台服务器中事先预置);从而显示界面还可对应显示各调试参数项的默认值,并且客户端可在用户修改某一调试参数项的参数值时,限制所修改的参数值在该调试参数项对应的可调整的参数值范围内;
即,客户端还可获取后台服务器反馈的各调试参数项的默认值以及可调整的参数值范围;在所述显示界面对应显示各调试参数项的默认值,并限制各调试参数项修改的参数值在相应的可调整的参数值范围内。
可选的,图3示出了显示界面的一种可选示意,如图3所示可以看出,显示界面显示了目标算法的数据源简介,所使用的算法类型,可调整的调试参数项维数以及迭代次数,同时,在维数的调试参数项对应的调整框内显示默认的维数,在迭代次数的调试参数项对应的调整框内显示默认的迭代次数;进而,用户可在显示界面调整维数和/或迭代次数的调试参数项内的参数值,一种调整后的参数值示意可如图3右半部分示意。
步骤S15、客户端根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值。
可选的,对于一调试参数项而言,用户在显示界面可能对其修改了参数值,也可能未对其修改参数值,因此一调试参数项的目标参数值可能是用户修改后的参数值,也可能保留原值;
相应的,整体的各调试参数项的目标参数值包括如下三种情况:
修改参数值的调试参数项对应的参数值(所有的调试参数项的参数值均被修改);
修改参数值的调试参数项对应的参数值,以及未修改参数值的调试参数项对应的原值(部分调试参数项的参数值被修改,而另一部分调试参数项的参数值未被修改)。
步骤S16、客户端根据各调试参数项的目标参数值,所述训练基础信息和所述预测数据源标识构建算法调试任务数据。
可选的,客户端根据各调试参数项的目标参数值,所述训练基础信息和所述预测数据源标识构建算法调试任务数据,可以认为是,客户端根据各调试参数项的目标参数值,以及目标算法的执行基础信息构建算法调试任务数据的一种可选实现形式。
可选的,算法调试任务数据可以是客户端发送至后台服务器的用于进行目标算法调试的依据数据;后台服务器在进行目标算法的调试时,需要确定目标算法执行所需的训练基础信息,构建出目标算法,从而以各调试参数项的目标参数值,进行目标算法的训练,然后以预测数据源对训练得出的结果模型进行效果预测,得出调试参数调整后的结果模型效果,实现目标算法的算法调试;
进一步,算法调试任务数据中还可以包括显示界面的绘制布局信息,以便客户端后续可通过算法调试任务数据携带的绘制布局信息还原显示出所述显示界面。
步骤S17、客户端将所述算法调试任务数据提交至后台服务器。
所述算法调试任务数据至少包括:通过客户端的显示界面修改确定的目标算法的各调试参数项的目标参数值。
步骤S18、后台服务器将所述算法调试任务数据加入数据库。
可选的,数据库可以是后台服务器设置的用于存储算法调试任务数据的数据库,数据库可选用mysql数据库实现;
可选的,后台服务器可以将任务数据以特定格式(如json格式)存储到数据库中。
可选的,后台服务器所需要执行的算法调试任务可能有多条,一条算法调试任务由相应的算法调试任务数据表示;因此数据库中所存储的算法调试任务数据可能有多条。
步骤S19、如果当前空闲资源满足所述算法调试任务数据执行所需的资源,后台服务器调取所述算法调试任务数据并执行。
可选的,后台服务器将所述算法调试任务数据加入数据库后,可轮询数据库中记录的算法调试任务数据,对于查询到的未执行的算法调试任务数据,后台服务器可在当前空闲资源满足所述算法调试任务数据执行所需的资源,时,调取所述算法调试任务数据并执行。
可选的,后台服务器执行算法调试任务数据的过程可以是以各调试参数项的目标参数值,利用目标算法进行训练,并以预测数据源标识表示的预测数据源,对训练得到的结果模型进行效果预测,得到所述算法调试任务数据的执行结果;
可选的,在一种实现中,后台服务器调取所述算法调试任务数据后,可根据算法调试任务数据指示的训练基础信息,构建目标算法,并以算法调试任务数据指示的各调试参数项的目标参数值,利用目标算法进行训练,确定训练得到的结果模型;进而,根据算法调试任务数据指示的预测数据源标识调取相应的预测数据源,对该结果模型进行效果预测,确定算法调试任务数据的执行结果。
可选的,算法调试任务数据的执行结果至少包括以预测数据源,对结果模型进行效果预测的预测结果(预测结果表示的评估指标,可与训练基础信息所指示的评估指标相应);同时,根据利用目标算法训练时对应的输出类型还可以将输出类型相应的结果内容,加入到算法调试任务数据的执行结果中。
可选的,步骤S18至步骤S19所示内容可以认为是,后台服务器将所述算法调试任务数据加入数据库,然后执行算法调试任务数据,确定所述算法调试任务数据的执行结果的可选实现形式。
步骤S20、后台服务器将所述算法调试任务数据的执行结果反馈给所述客户端。
后台服务器在得到所述算法调试任务数据的执行结果后,可以明确以参数值调整后的调试参数,利用目标算法进行训练后的结果模型的效果,从而将相应的执行结果反馈给客户端。
步骤S21、客户端展示所述执行结果。
客户端在接收所述算法调试任务数据的执行结果后,可在显示界面中对该执行结果进行展示(如展示结果模型的准确率,迭代次数等评估指标),以便用户判断以调整后调试参数进行目标算法调试的效果。
可选的,图4示出了显示界面展示的算法调试任务数据的执行结果的可选示意,可参照;需要说明的是,算法执行后有一个结果排序,这个结果可以用于验证算法执行的准确度;Top1表示,排在第一位的结果正确的比例,top5表示前五位中有正确的比例。正确与否都是有一个标准值来验证的。类似于算法分析一个图片中的文字,它会按照相似度给出一系列的可能结果,这个时候,第一个结果就对的,叫做top1的准确率,前五个结果中有分析对的,叫做top5准确率;
可选的,图5示出了客户端根据算法调试任务数据的执行结果进行分析比对的示意,可参照。
可见,本发明实施例提供的算法调试方法中,客户端可通过可视化的显示界面显示目标算法可调整的调试参数项,从而用户可通过显示界面修改调试参数项的参数值,实现目标算法调试过程中调试参数的调整,进而客户端可根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值,从而构建出调试任务数据;客户端将该调试任务数据提交到后台服务器后,后台服务器可执行该调试任务数据,确定出算法调试任务数据的执行结果,得到以修改参数值后的调试参数利用目标算法进行训练后的结果模型的效果,实现目标算法的调试。
可以看出,本发明实施例提供的算法调试方法中,用户可通过可视化的显示界面,对目标算法可调整的调试参数项的参数值进行调整,实现简便、高效的调试参数的调整,后续后台服务器基于用户通过可视化的显示界面调整的调试参数,进行目标算法的训练与结果模型的预测,可实现基于调整后的调试参数的简便、高效的算法调试工作。
需要说明的是,在后台服务器与客户端已事先约定目标算法的执行基础信息后(如事先约定了利用目标算法训练所使用的算法类型、训练数据源、输出类型等训练基础数据,以及预测数据源),则客户端可通过目标算法的调试参数项的参数值,构建算法调试任务数据,从而后台服务器在执行目标算法的调试时,可根据事先约定的目标算法的训练基础数据,和算法调试任务数据中指示的各调试参数项的参数值,利用目标算法进行训练得出结果模型,再以约定的预测数据源对结果模型进行效果预测,得到算法调试任务数据的执行结果;
示例性的,如在第一次的目标算法的调试时,通过用户选定的方式,客户端与后台服务器约定了目标算法的训练基础数据以及预测数据源等执行基础信息后,在后续进行目标算法调试时,后台服务器可直接使用约定的目标算法的执行基础信息,配合用户通过显示界面调整的调试参数进行目标算法的调试;
可选的,图6示出了本发明实施例提供的算法调试方法的另一种可选的信令流程,参照图6,该流程可以包括:
步骤S30、客户端与后台服务器约定目标算法的执行基础信息。
可选的,执行基础信息可以包括:目标算法的训练基础信息,及表示预测数据源的预测数据源标识。
可选的,客户端与后台服务器约定目标算法的执行基础信息,可以是在第一次进行目标算法的调试时,客户端确定目标算法的执行基础信息并发送至后台服务器后进行约定;如此,在后续进行该目标算法的调试时,可直接利用已约定的执行基础信息,配合下文确定的调整的调试参数进行目标算法的再次调试;
可选的,对于执行基础信息相同的同一目标算法的调试,后台服务器可采用相同的信息标识进行定义;如在客户端与后台服务器第一次进行目标算法的调试,并约定目标算法的执行基础信息后,后台服务器可分配一信息标识对应该目标算法的执行基础信息并反馈给客户端;从而客户端可在后续提交的调试任务数据中携带该信息标识,以便后台服务器通过该信息标识调取相应的执行基础信息,配合调试任务数据中指示的调试参数的参数值进行目标算法的再次调试。
步骤S31、客户端获取目标算法可调整的调试参数项。
可选的,客户端可向后台服务器请求的方式,获取目标算法可调整的调试参数项;也可以是获取预置(本地预置,或者是上一次调试时获取目标算法可调整的调试参数项并预置)的目标算法可调整的调试参数项。
步骤S32、客户端绘制显示界面,所述显示界面至少显示有所述调试参数项。
步骤S33、客户端确定通过所述显示界面所修改的调试参数项的参数值。
步骤S34、客户端根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值。
可选的,步骤S32至步骤S34的内容可参照图2相应部分所示。
步骤S35、客户端根据各调试参数项的目标参数值构建算法调试任务数据。
可选的,该算法调试任务数据中可以携带目标算法的执行基础信息对应的信息标识。
步骤S36、客户端将所述算法调试任务数据提交至后台服务器。
可选的,后台服务器可将调试任务数据记录到数据库中。
步骤S37、后台服务器执行所述算法调试任务数据,得到执行结果。
可选的,后台服务器可轮询数据库中记录的算法调试任务数据,在一次查询时,若当前空闲资源满足所述算法调试任务数据执行所需的资源,则后台服务器可执行所述算法调试任务数据;
进一步,后台服务器可根据算法调试任务数据中携带的信息标识,调取事先约定的目标算法的执行基础信息,根据所述执行基础信息和算法调试任务数据中携带的各调试参数项的目标参数值,执行该算法调试任务数据,得到执行结果。
步骤S38、后台服务器将执行结果反馈给客户端。
步骤S39、客户端展示所述执行结果。
可选的,在确定目标算法的执行基础信息时,本发明实施例可通过可视化界面,实现执行基础信息中各关键信息的关联;如可将目标算法中训练基础信息中的各关键信息以可视化操作方式关联,并将预测数据源标识以可化操作方式与训练结果的结果模型相关联;
具体的,以目标算法的执行基础信息的确定包括:执行基础信息以及预测数据源标识的确定为例;图7示出了目标算法的执行基础信息的确定方法流程,图7所示方法可应用于客户端,参照图7,该方法可以包括:
步骤S100、客户端至少显示各训练数据源标识的标识块,各算法类型的标识块,以及各预测数据源标识的标识块。
在客户端的显示界面,客户端可采用标识块的形式表示各训练数据源标识,其中,一个训练数据源标识对应一个标识块;同时,采用标识块的形式表示各算法类型,一个算法类型对应一个标识块,并采用标识块的形式表示各预测数据源标识,一个预测数据源标识对应一个标识块;
进一步,目标算法的训练基础信息可能还包括利用目标算法训练时对应的输出类型,目标算法的结果模型的评估指标等;客户端还可采用标识块的形式表示各输出类型,和各评估指标;
可选的,一个标识块中可对应显示所表示的信息的简介。
步骤S110、客户端至少从各训练数据源标识的标识块中,确定被拖曳选取的训练数据源标识的标识块,并加载在关联区域;及至少从各算法类型的标识块中,确定被拖曳选取的算法类型的标识块,并加载在关联区域;及从各预测数据源标识的标识块中,确定被拖曳选取的预测数据源标识的标识块,并加载在关联区域。
可选的,在一种实现中,如图8所示,客户端界面可显示拖拽选择区域,和关联区域;拖拽选择区域可分区显示训练数据源标识的标识块,算法类型的标识块,和预测数据源标识的标识块(进一步,如果需要确定利用目标算法训练时对应的输出类型,目标算法的结果模型的评估指标,则还可在拖拽选择区域中相应的分出输出类型的标识块显示分区,和评估指标的标识块显示分区);
进而,用户可从训练数据源标识的标识块的显示分区中,采用拖曳方式,选定目标算法所使用的训练数据源标识的标识块,并拖拽到关联区域中,使得被拖拽选取的训练数据源标识的标识块,加载到关联区域;采用拖拽方式,实现算法类型的标识块,预测数据源标识的标识块等标识块的拖拽选取过程可与此相参照。
步骤S120、客户端将至少加载在关联区域中的训练数据源标识的标识块,算法类型的标识块相关联,确定目标算法的训练基础信息;并将所确定的确定目标算法的训练基础信息,与加载在关联区域中的预测数据源标识的标识块相关联,确定目标算法的执行基础信息。
在一种实现中,如图9所示,将关联区域中加载的训练数据源标识的标识块,与算法类型的标识块关联(关联可以图9所示连接表示)后,可得到目标算法的训练基础信息,然后再将关联区域中加载的预测数据源标识的标识块相关联,可得到目标算法的执行基础信息;进一步,图9中,目标算法的训练基础信息还可增加与拖拽选取的目标算法的输出类型的标识块,目标算法的结果模型的评估指标的标识块的关联;
图10示出了另一种通过标识块关联,得到目标算法的训练基础信息的示意,可参照。
可选的,在本发明实施例中,可使用JavaScript+HTML(超文本标记语言)的方式,实现标识块的拖拽选取和关联;具体的,拖曳的选取方式主要通过JavaScript中的jquery框架,来实现由HTML模块表示的标识块的draggable(拖动),放下(droppable);然后通过ajax与后台服务器交互,获取到各个标识块对应的数据(如获取到拖拽选取的训练数据源标识的标识块,所对应的训练数据源),再使用JavaScript中的jsPlumb工具来连接关联区域中加载的标识块,实现标识块的关联。
可选的,在将关联区域中的训练数据源标识的标识块,算法类型的标识块相关联时,本发明实施例可向后台服务器请求训练数据源标识的标识块对应的训练数据源,以及算法类型的标识块对应的算法类型,判断所请求的训练数据源和算法类型的是否匹配,当判断结果为训练数据源和算法类型匹配时,才生成所确定的目标算法的训练基础信息;比如LDA算法只能匹配LDA训练数据源或者LDA预测数据源,只有关联的训练数据源和算法类型匹配时,才能生成训练基础信息。
后台服务器在获取到客户端提交的算法调试任务数据并记录到数据库后,后台服务器可定时调度监控脚本,轮询读取数据库中记录的算法调试任务数据,通过任务状态(等待执行,执行中,执行成功等)挑选出等待执行的算法调试任务数据,从而在当前资源满足等待执行的算法调试任务数据的执行时,调取该算法调试任务数据进行执行;
可选的,后台服务器将算法调试任务数据记录到数据库的方式,可以是为算法调试任务数据分配相应的任务ID,并创建与数据库中该任务ID对应的文件夹,将算法调试任务数据存放到该文件夹的文件中,以此来保证数据库中记录的算法调试任务数据的独立性与完整性;
从而对于各算法调试任务数据,后台服务器可根据算法调试任务数据的执行进度,为相应的任务ID分配任务状态;后台服务器在轮询后台服务器中记录的算法调试任务数据的任务状态时,可轮询各任务ID的任务状态,在查询到任务状态为等待执行的任务ID,且当前资源满足该任务ID对应的算法调试任务数据的执行时,后台服务器可根据任务ID与文件夹的对应关系,从该任务ID对应的文件夹中调取出相应的算法调试任务数据并执行;
相应的,图11示出了后台服务器实现算法调试的方法流程,参照图11,该方法可以包括:
步骤S200、后台服务器获取客户端提交的算法调试任务数据。
步骤S210、后台服务器为所述算法调试任务数据分配任务ID,并创建与数据库中该任务ID对应的文件夹。
步骤S220、后台服务器将所述算法调试任务数据存储到所述文件夹下的文件中,及将所述任务ID存储到所述数据库中,并根据所述算法调试任务数据的执行进度,为所述任务ID分配任务状态。
步骤S230、后台服务器轮询所述数据库中记录的各任务ID的任务状态。
步骤S240、后台服务器若轮询到任务状态为等待执行的任务ID,且当前资源满足该任务ID对应的算法调试任务数据的执行,则后台服务器根据任务ID与文件夹的对应关系,从该任务ID对应的文件夹中调取出相应的算法调试任务数据。
步骤S250、后台服务器执行所调取的算法调试任务数据。
可选的,后台服务器在执行算法调试任务数据的过程中,可将执行中间结果同步给客户端,以便客户端在显示界面进行展示;执行中间结果如任务运行的状态,运行的时间,进度(执行百分比),当前迭代次数等;
在一种可选实现中,后台服务器可在执行算法调试任务数据的过程中,将执行中间结果写入到状态文件(status.info文件)中,并存放在数据库中该算法调试任务数据对应的文件夹中,状态文件可以包含目标算法的当前执行进度,启动时间,迭代次数等;当算法调试任务数据执行完成后,后台服务器可创建执行成功文件(SUCCESS.info文件),并生成结果模型文件(通过结果模型文件表示的结果模型,以预测数据源进行预测,可得到结果模型的效果数据),这些文件可全部存储在数据库中该算法调试任务数据对应的文件夹中;
可选的,客户端可通过ajax不断轮询后台服务器的数据库,从而在所提交的算法调试任务数据的任务ID对应的文件中,查询到状态文件(可选的算法调试任务数据的任务ID可在后台服务器分配后,同步给客户端),解析状态文件中的执行中间结果,从而实现算法调试任务数据执行过程中执行中间结果到客户端的同步展示;
相应的,图12示出了算法调试任务数据执行过程中,客户端与后台服务器交互示意流程,参照图12,该过程可以包括:
步骤S300、后台服务器将算法调试任务数据执行过程的执行中间结果写入到状态文件中。
步骤S310、后台服务器将状态文件存储到所述算法调试任务数据的任务ID对应的文件夹中。
步骤S320、客户端根据所述算法调试任务数据的任务ID,轮询文件夹中的状态文件。
相应的,后台服务器可获取客户端发送的轮询文件夹中的状态文件的请求,从而后台服务器可将客户端所请求的状态文件反馈给客户端。
步骤S330、客户端获取所查询到的状态文件。
步骤S340、客户端解析查询到的状态文件中的执行中间结果并展示。
可选的,在算法调试任务数据执行完成后,后台服务器可将创建的执行成功文件(SUCCESS.info文件),结果模型文件,结果模型的预测结果写入到所述算法调试任务数据的任务ID对应的文件夹中,客户端也可通过轮询的方式,在检测到该文件夹中记录有执行成功文件后,获取到算法调试任务数据的执行结果(如结果模型的预测效果、结果模型文件等)。
本发明实施例提供的算法调试方法中,用户可通过可视化的显示界面,对目标算法可调整的调试参数项的参数值进行调整,实现简便、高效的调试参数的调整,后续后台服务器基于用户可通过可视化的显示界面调整的调试参数,进行目标算法的训练与结果模型的预测,可实现基于调整后的调试参数的简便、高效的算法调试工作。
下面对本发明实施例提供的客户端进行介绍,下文描述的客户端内容可与上文客户端角度执行的算法调试方法内容相互对应参照。下文描述的客户端内容,可以认为是客户端为实现本发明实施例提供的算法调试方法,所需设置的功能模块结构。
图13为本发明实施例提供的客户端的结构框图,参照图13,该客户端可以包括:
调试参数项获取模块100,用于获取目标算法可调整的至少一项调试参数项;
界面绘制显示模块110,用于绘制显示界面,在所述显示界面至少显示所述调试参数项;
修改参数值确定模块120,用于确定通过所述显示界面所修改的调试参数项的参数值;
目标参数值确定模块130,用于根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值;
任务数据构建模块140,用于根据各调试参数项的目标参数值构建算法调试任务数据;
提交模块150,用于将所述算法调试任务数据提交至后台服务器,以获取到所述后台服务器反馈的所述算法调试任务数据的执行结果。
进一步,如图13所示,客户端还可以包括:展示模块160,用于展示所述执行结果;可选的,执行结果的展示方式可以设定,如以柱状图,折线图,饼图等展示方式表示。
可选的,调试参数项获取模块100,用于获取目标算法可调整的至少一项调试参数项,具体包括:
根据目标算法的算法类型,向后台服务器请求所述目标算法可调整的调试参数项;
获取后台服务器反馈的与所述目标算法的算法类型相应的可调整的调试参数项。
可选的,如图14所示,客户端还可以包括:
执行基础信息确定模块170,用于确定目标算法的执行基础信息;
相应的,任务数据构建模块140,用于根据各调试参数项的目标参数值构建算法调试任务数据,具体包括:
根据各调试参数项的目标参数值,以及目标算法的执行基础信息构建算法调试任务数据。
可选的,执行基础信息确定模块170,用于确定目标算法的执行基础信息,具体包括:
确定目标算法的训练基础信息,及表示预测数据源的预测数据源标识;
将所述训练基础信息与所述预测数据源标识相关联,得到目标算法的执行基础信息;
其中,所述训练基础信息至少包括:目标算法的算法类型,表示训练数据源的训练数据源标识。
可选的,所述训练基础信息还可以包括:利用目标算法训练时对应的输出类型,目标算法的结果模型的评估指标。
可选的,执行基础信息确定模块170,用于确定目标算法的训练基础信息,具体包括:
至少显示各训练数据源标识的标识块,各算法类型的标识块;
至少从各训练数据源标识的标识块中,确定被拖曳选取的训练数据源标识的标识块,并加载在关联区域;及至少从各算法类型的标识块中,确定被拖曳选取的算法类型的标识块,并加载在关联区域;
将至少加载在关联区域中的训练数据源标识的标识块,算法类型的标识块相关联,确定目标算法的训练基础信息。
可选的,客户端还可用于:
显示各预测数据源标识的标识块;
从各预测数据源标识的标识块中,确定被拖曳选取的预测数据源标识的标识块,并加载在关联区域;
相应的,执行基础信息确定模块170,用于将所述训练基础信息与所述预测数据源标识相关联,得到目标算法的执行基础信息,具体包括:
将所确定的确定目标算法的训练基础信息,与预测数据源标识的标识块相关联,确定目标算法的执行基础信息。
可选的,界面绘制显示模块110,用于绘制显示界面,具体包括:
根据各调试参数项,以及目标算法的执行基础信息的简介信息,确定显示界面的绘制布局信息,根据该绘制布局信息布局显示界面并进行绘制;
进一步,如图15所示,客户端还可以包括:
参数值获取模块180,用于获取后台服务器反馈的各调试参数项的默认值以及可调整的参数值范围;
默认显示及限制模块190,用于在所述显示界面对应显示各调试参数项的默认值,并限制各调试参数项修改的参数值在相应的可调整的参数值范围内。
可选的,所述算法调试任务数据还可携带有所述显示界面的绘制布局信息;
进一步,如图16所示,客户端还可以包括:
还原显示模块200,用于向后台服务器请求所述算法调试任务数据,根据所述算法调试任务数据携带的绘制布局信息,还原显示所述显示界面。
可选的,客户端还可用于:
与所述后台服务器事先约定目标算法的执行基础信息,并确定所述后台服务器为所述执行基础信息分配的信息标识;
相应的,任务数据构建模块140,用于根据各调试参数项的目标参数值构建算法调试任务数据,具体包括:
根据各调试参数项的目标参数值,以及所述信息标识构建调试任务数据。
可选的,上述描述的客户端内设置的功能模块架构可以认为是客户端为实现本发明实施例提供的算法调试方法,所设置的程序模块;这些程序模块可以以装载在客户端的终端设备中的程序表示,相应的,设置有客户端的终端设备的硬件结构可以包括:至少一个处理器,至少一个通信接口,至少一个存储器和至少一个通信总线;
在本发明实施例中,处理器、通信接口、存储器、通信总线的数量为至少一个,且处理器、通信接口、存储器通过通信总线完成相互间的通信;
可选的,通信接口可以为通信模块的接口,如GSM模块的接口;
处理器可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。
其中,存储器存储有程序,处理器调用存储所存储的程序,该程序具体用于:
获取目标算法可调整的至少一项调试参数项;
绘制显示界面,在所述显示界面至少显示所述调试参数项;
确定通过所述显示界面所修改的调试参数项的参数值;
根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值;
根据各调试参数项的目标参数值构建算法调试任务数据;
将所述算法调试任务数据提交至后台服务器,以获取到所述后台服务器反馈的所述算法调试任务数据的执行结果。
下面对本发明实施例提供的后台服务器进行介绍,下文描述的后台服务器内容可与上文后台服务器角度执行的算法调试方法内容相互对应参照。下文描述的后台服务器内容,可以认为是后台服务器为实现本发明实施例提供的算法调试方法,所需设置的功能模块结构。
图17示出了本发明实施例提供的后台服务器的结构框图,参照图17,该后台服务器可以包括:
任务数据获取模块300,用于获取客户端提交的目标算法的算法调试任务数据,所述算法调试任务数据至少包括:通过客户端的显示界面修改确定的目标算法的各调试参数项的目标参数值;
任务执行模块310,用于执行所述算法调试任务数据,确定所述算法调试任务数据的执行结果;
结果反馈模块320,用于将所述执行结果反馈给所述客户端。
可选的,如图18所示,该后台服务器还可以包括:
任务加入模块330,用于将所述算法调试任务数据加入数据库;
相应的,任务执行模块310,用于执行所述算法调试任务数据,具体包括:
轮询所述数据库中记录的算法调试任务数据,当查询到未执行的所述算法调试任务数据,且当前空闲资源满足所述算法调试任务数据执行所需的资源时,调取所述算法调试任务数据;
执行所调取的所述算法调试任务数据。
可选的,任务执行模块310,用于执行所调取的所述算法调试任务数据,具体包括:
根据算法调试任务数据指示的训练基础信息,构建目标算法;
以算法调试任务数据指示的各调试参数项的目标参数值,利用目标算法进行训练,确定训练得到的结果模型;
根据算法调试任务数据指示的预测数据源标识对应的预测数据源,对该结果模型进行效果预测,确定算法调试任务数据的执行结果。
可选的,在另一种实现上,任务执行模块310,用于执行所调取的所述算法调试任务数据,具体包括:
根据所述算法调试任务数据携带的信息标识,调取与所述客户端事先约定的执行基础信息;
根据算法调试任务数据指示的各调试参数项的目标参数值,以及所述执行基础信息,执行所述算法调试任务数据。
可选的,任务加入模块330,用于将所述算法调试任务数据加入数据库,具体包括:
为所述算法调试任务数据分配任务ID,并创建与数据库中该任务ID对应的文件夹;
将所述算法调试任务数据存储到所述文件夹下的文件中;
进一步,如图19所示,该后台服务器还可以包括:
存储及状态分配模块340,用于将所述任务ID存储到所述数据库中,并根据所述算法调试任务数据的执行进度,为所述任务ID分配任务状态。
可选的,任务执行模块310,用于轮询所述数据库中记录的算法调试任务数据,具体包括:
轮询所述数据库中记录的各任务ID的任务状态;
相应的,任务执行模块310,用于当查询到未执行的所述算法调试任务数据,且当前空闲资源满足所述算法调试任务数据执行所需的资源时,调取所述算法调试任务数据,具体包括:
若轮询到任务状态为等待执行的任务ID,且当前资源满足该任务ID对应的算法调试任务数据的执行,根据任务ID与文件夹的对应关系,从该任务ID对应的文件夹中调取出相应的算法调试任务数据。
可选的,如图20所示,该后台服务器还可以包括:
中间结果写入模块350,用于将算法调试任务数据执行过程的执行中间结果写入到状态文件中;
状态文件存储模块360,用于将所述状态文件存储到所述算法调试任务数据的任务ID对应的文件夹中;
状态文件反馈模块370,用于获取客户端发送的轮询文件夹中的状态文件的请求,将所述客户端所请求的状态文件反馈给客户端,以便所述反馈展示所述状态文件中的执行中间结果。
可选的,后台服务器还可用于:
在所述算法调试任务数据执行完成后,将创建的执行成功文件和结果模型文件,写入到所述算法调试任务数据的任务ID对应的文件夹中;
相应的,结果反馈模块320,用于将所述执行结果反馈给所述客户端,具体包括:
获取客户端轮询执行结果的请求;
当所述文件夹中记录有所述执行成功文件时,根据所述客户端轮询执行结果的请求,将文件夹中记录的包含结果模型文件,结果模型的预测结果的执行结果反馈给所述客户端。
本发明实施例提供的算法调试方法中,用户可通过可视化的显示界面,对目标算法可调整的调试参数项的参数值进行调整,实现简便、高效的调试参数的调整,后续后台服务器基于用户可通过可视化的显示界面调整的调试参数,进行目标算法的训练与结果模型的预测,可实现基于调整后的调试参数的简便、高效的算法调试工作。
可选的,上述描述的后台服务器内设置的功能模块架构可以认为是后台服务器为实现本发明实施例提供的算法调试方法,所设置的程序模块;这些程序模块可以以装载在后台服务器中的程序表示,相应的,后台服务器的硬件结构可以包括:至少一个处理器,至少一个通信接口,至少一个存储器和至少一个通信总线;
其中,存储器存储有程序,处理器调用存储所存储的程序,该程序具体用于:
获取客户端提交的目标算法的算法调试任务数据,所述算法调试任务数据至少包括:通过客户端的显示界面修改确定的目标算法的各调试参数项的目标参数值;
执行所述算法调试任务数据,确定所述算法调试任务数据的执行结果;
将所述执行结果反馈给所述客户端。
本发明实施例还提供一种算法调试系统,该算法调试系统的结构可以如图1所示,包括:客户端和后台服务器;
其中,客户端,用于获取目标算法可调整的至少一项调试参数项;绘制显示界面,在所述显示界面至少显示所述调试参数项;确定通过所述显示界面所修改的调试参数项的参数值;根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值;根据各调试参数项的目标参数值构建算法调试任务数据;将所述算法调试任务数据提交至后台服务器,以获取到所述后台服务器反馈的所述算法调试任务数据的执行结果;
后台服务器,用于获取客户端提交的目标算法的算法调试任务数据;执行所述算法调试任务数据,确定所述算法调试任务数据的执行结果;将所述执行结果反馈给所述客户端。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种算法调试方法,其特征在于,包括:
获取目标算法可调整的至少一项调试参数项;
绘制显示界面,在所述显示界面至少显示所述调试参数项;
确定通过所述显示界面所修改的调试参数项的参数值;
根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值;
根据各调试参数项的目标参数值构建算法调试任务数据;
将所述算法调试任务数据提交至后台服务器,以获取到所述后台服务器反馈的所述算法调试任务数据的执行结果。
2.根据权利要求1所述的算法调试方法,其特征在于,所述获取目标算法可调整的至少一项调试参数项包括:
根据目标算法的算法类型,向后台服务器请求所述目标算法可调整的调试参数项;
获取后台服务器反馈的与所述目标算法的算法类型相应的可调整的调试参数项。
3.根据权利要求1或2所述的算法调试方法,其特征在于,还包括:
确定目标算法的执行基础信息;
所述根据各调试参数项的目标参数值构建算法调试任务数据包括:
根据各调试参数项的目标参数值,以及目标算法的执行基础信息构建算法调试任务数据。
4.根据权利要求3所述的算法调试方法,其特征在于,所述确定目标算法的执行基础信息包括:
确定目标算法的训练基础信息,及表示预测数据源的预测数据源标识;
将所述训练基础信息与所述预测数据源标识相关联,得到目标算法的执行基础信息;
其中,所述训练基础信息至少包括:目标算法的算法类型,表示训练数据源的训练数据源标识。
5.根据权利要求4所述的算法调试方法,其特征在于,所述确定目标算法的训练基础信息包括:
至少显示各训练数据源标识的标识块,各算法类型的标识块;
至少从各训练数据源标识的标识块中,确定被拖曳选取的标识块,并加载在关联区域;及至少从各算法类型的标识块中,确定被拖曳选取的标识块,并加载在关联区域;
将至少加载在关联区域中的训练数据源标识的标识块,算法类型的标识块相关联,确定目标算法的训练基础信息。
6.根据权利要求5所述的算法调试方法,其特征在于,还包括:
显示各预测数据源标识的标识块;
从各预测数据源标识的标识块中,确定被拖曳选取的标识块,并加载在关联区域;
所述将所述训练基础信息与所述预测数据源标识相关联,得到目标算法的执行基础信息包括:
将所确定的确定目标算法的训练基础信息,与关联区域中加载的预测数据源标识的标识块相关联,确定目标算法的执行基础信息。
7.根据权利要求2所述的算法调试方法,其特征在于,所述绘制显示界面包括:
根据各调试参数项,以及目标算法的执行基础信息的简介信息,确定显示界面的绘制布局信息,根据该绘制布局信息绘制显示界面;
所述方法还包括:
获取后台服务器反馈的各调试参数项的默认值以及,各调试参数项可调整的参数值范围;
在所述显示界面对应显示各调试参数项的默认值,并限制各调试参数项修改的参数值在相应的可调整的参数值范围内。
8.一种算法调试方法,其特征在于,包括:
获取客户端提交的目标算法的算法调试任务数据,所述算法调试任务数据至少包括:通过客户端的显示界面修改确定的目标算法的各调试参数项的目标参数值;
执行所述算法调试任务数据,确定所述算法调试任务数据的执行结果;
将所述执行结果反馈给所述客户端。
9.根据权利要求8所述的算法调试方法,其特征在于,还包括:
将所述算法调试任务数据加入数据库;
所述执行所述算法调试任务数据包括:
轮询所述数据库中记录的算法调试任务数据,当查询到未执行的所述算法调试任务数据,且当前空闲资源满足所述算法调试任务数据执行所需的资源时,调取所述算法调试任务数据;
执行所调取的所述算法调试任务数据。
10.根据权利要求9所述的算法调试方法,其特征在于,执行所调取的所述算法调试任务数据包括:
根据算法调试任务数据指示的训练基础信息,构建目标算法;
以算法调试任务数据指示的各调试参数项的目标参数值,利用目标算法进行训练,确定训练得到的结果模型;
根据算法调试任务数据指示的预测数据源标识对应的预测数据源,对该结果模型进行效果预测,确定算法调试任务数据的执行结果。
11.根据权利要求9所述的算法调试方法,其特征在于,所述将所述算法调试任务数据加入数据库包括:
为所述算法调试任务数据分配任务ID,并创建与数据库中该任务ID对应的文件夹;
将所述算法调试任务数据存储到所述文件夹下的文件中;
所述方法还包括:
根据所述算法调试任务数据的执行进度,为所述任务ID分配任务状态。
12.根据权利要求11所述的算法调试方法,其特征在于,所述轮询所述数据库中记录的算法调试任务数据包括:
轮询所述数据库中记录的各任务ID的任务状态;
所述当查询到未执行的所述算法调试任务数据,且当前空闲资源满足所述算法调试任务数据执行所需的资源时,调取所述算法调试任务数据包括:
若轮询到任务状态为等待执行的任务ID,且当前资源满足该任务ID对应的算法调试任务数据的执行,根据任务ID与文件夹的对应关系,从该任务ID对应的文件夹中调取出相应的算法调试任务数据。
13.一种客户端,其特征在于,包括:
调试参数项获取模块,用于获取目标算法可调整的至少一项调试参数项;
界面绘制显示模块,用于绘制显示界面,在所述显示界面至少显示所述调试参数项;
修改参数值确定模块,用于确定通过所述显示界面所修改的调试参数项的参数值;
目标参数值确定模块,用于根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值;
任务数据构建模块,用于根据各调试参数项的目标参数值构建算法调试任务数据;
提交模块,用于将所述算法调试任务数据提交至后台服务器,以获取到所述后台服务器反馈的所述算法调试任务数据的执行结果。
14.一种后台服务器,其特征在于,包括:
任务数据获取模块,用于获取客户端提交的目标算法的算法调试任务数据,所述算法调试任务数据至少包括:通过客户端的显示界面修改确定的目标算法的各调试参数项的目标参数值;
任务执行模块,用于执行所述算法调试任务数据,确定所述算法调试任务数据的执行结果;
结果反馈模块,用于将所述执行结果反馈给所述客户端。
15.一种算法调试系统,其特征在于,包括:
客户端,用于获取目标算法可调整的至少一项调试参数项;绘制显示界面,在所述显示界面至少显示所述调试参数项;确定通过所述显示界面所修改的调试参数项的参数值;根据修改参数值后的调试参数项的参数值,确定各调试参数项的目标参数值;根据各调试参数项的目标参数值构建算法调试任务数据;将所述算法调试任务数据提交至后台服务器,以获取到所述后台服务器反馈的所述算法调试任务数据的执行结果;
后台服务器,用于获取客户端提交的目标算法的算法调试任务数据;执行所述算法调试任务数据,确定所述算法调试任务数据的执行结果;将所述执行结果反馈给所述客户端。
CN201710317474.2A 2017-05-08 2017-05-08 一种算法调试方法、客户端、后台服务器及系统 Active CN108875289B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710317474.2A CN108875289B (zh) 2017-05-08 2017-05-08 一种算法调试方法、客户端、后台服务器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710317474.2A CN108875289B (zh) 2017-05-08 2017-05-08 一种算法调试方法、客户端、后台服务器及系统

Publications (2)

Publication Number Publication Date
CN108875289A true CN108875289A (zh) 2018-11-23
CN108875289B CN108875289B (zh) 2021-12-14

Family

ID=64287826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710317474.2A Active CN108875289B (zh) 2017-05-08 2017-05-08 一种算法调试方法、客户端、后台服务器及系统

Country Status (1)

Country Link
CN (1) CN108875289B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109696618A (zh) * 2019-02-21 2019-04-30 徐晨阳 一种射频器件的调试方法、装置、设备、存储介质及系统
CN110083249A (zh) * 2019-05-07 2019-08-02 万达文化旅游规划研究院有限公司 一种动感设备调试方法及装置
CN111210022A (zh) * 2020-01-09 2020-05-29 深圳前海微众银行股份有限公司 向后模型选择方法、设备及可读存储介质
CN111241745A (zh) * 2020-01-09 2020-06-05 深圳前海微众银行股份有限公司 逐步模型选择方法、设备及可读存储介质
CN111241746A (zh) * 2020-01-09 2020-06-05 深圳前海微众银行股份有限公司 向前模型选择方法、设备和可读存储介质
CN111814951A (zh) * 2019-04-10 2020-10-23 国际商业机器公司 调试深度神经网络
CN111880761A (zh) * 2020-06-24 2020-11-03 广州四为电子科技有限公司 一种屏幕参数调试系统
CN112148420A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 基于容器技术的异常任务处理方法、服务器及云平台
CN112699994A (zh) * 2020-12-25 2021-04-23 科讯嘉联信息技术有限公司 一种深度学习模型的自动化训练与测试系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1118473A (zh) * 1994-06-30 1996-03-13 坦德姆计算机公司 计算机程序中错误的诊断和改正工具及方法
CN101938566A (zh) * 2010-09-10 2011-01-05 青岛海信移动通信技术股份有限公司 一种可视化的终端调试方法和装置
CN104714852A (zh) * 2015-03-17 2015-06-17 华中科技大学 一种适用于分布式机器学习的参数同步优化方法及其系统
CN104866585A (zh) * 2015-05-28 2015-08-26 华北计算技术研究所 一种试验试飞数据综合处理系统
CN105183987A (zh) * 2015-09-07 2015-12-23 北京航空航天大学 一种复杂工程多学科综合设计优化软件平台系统
CN105847325A (zh) * 2016-03-14 2016-08-10 广州酷狗计算机科技有限公司 应用客户端的调试方法及装置
CN106020811A (zh) * 2016-05-13 2016-10-12 乐视控股(北京)有限公司 算法模型的开发方法和装置
CN106529673A (zh) * 2016-11-17 2017-03-22 北京百度网讯科技有限公司 基于人工智能的深度学习网络训练方法及装置
US20170124487A1 (en) * 2015-03-20 2017-05-04 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing machine learning model training and deployment with a rollback mechanism

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1118473A (zh) * 1994-06-30 1996-03-13 坦德姆计算机公司 计算机程序中错误的诊断和改正工具及方法
CN101938566A (zh) * 2010-09-10 2011-01-05 青岛海信移动通信技术股份有限公司 一种可视化的终端调试方法和装置
CN104714852A (zh) * 2015-03-17 2015-06-17 华中科技大学 一种适用于分布式机器学习的参数同步优化方法及其系统
US20170124487A1 (en) * 2015-03-20 2017-05-04 Salesforce.Com, Inc. Systems, methods, and apparatuses for implementing machine learning model training and deployment with a rollback mechanism
CN104866585A (zh) * 2015-05-28 2015-08-26 华北计算技术研究所 一种试验试飞数据综合处理系统
CN105183987A (zh) * 2015-09-07 2015-12-23 北京航空航天大学 一种复杂工程多学科综合设计优化软件平台系统
CN105847325A (zh) * 2016-03-14 2016-08-10 广州酷狗计算机科技有限公司 应用客户端的调试方法及装置
CN106020811A (zh) * 2016-05-13 2016-10-12 乐视控股(北京)有限公司 算法模型的开发方法和装置
CN106529673A (zh) * 2016-11-17 2017-03-22 北京百度网讯科技有限公司 基于人工智能的深度学习网络训练方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109696618A (zh) * 2019-02-21 2019-04-30 徐晨阳 一种射频器件的调试方法、装置、设备、存储介质及系统
CN111814951B (zh) * 2019-04-10 2024-03-26 国际商业机器公司 调试深度神经网络
CN111814951A (zh) * 2019-04-10 2020-10-23 国际商业机器公司 调试深度神经网络
CN110083249A (zh) * 2019-05-07 2019-08-02 万达文化旅游规划研究院有限公司 一种动感设备调试方法及装置
CN112148420A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 基于容器技术的异常任务处理方法、服务器及云平台
CN112148420B (zh) * 2019-06-28 2024-04-02 杭州海康威视数字技术股份有限公司 基于容器技术的异常任务处理方法、服务器及云平台
CN111241746A (zh) * 2020-01-09 2020-06-05 深圳前海微众银行股份有限公司 向前模型选择方法、设备和可读存储介质
WO2021139483A1 (zh) * 2020-01-09 2021-07-15 深圳前海微众银行股份有限公司 向前模型选择方法、设备和可读存储介质
CN111241746B (zh) * 2020-01-09 2024-01-26 深圳前海微众银行股份有限公司 向前模型选择方法、设备和可读存储介质
CN111241745A (zh) * 2020-01-09 2020-06-05 深圳前海微众银行股份有限公司 逐步模型选择方法、设备及可读存储介质
CN111210022A (zh) * 2020-01-09 2020-05-29 深圳前海微众银行股份有限公司 向后模型选择方法、设备及可读存储介质
CN111210022B (zh) * 2020-01-09 2024-05-17 深圳前海微众银行股份有限公司 向后模型选择方法、设备及可读存储介质
CN111241745B (zh) * 2020-01-09 2024-05-24 深圳前海微众银行股份有限公司 逐步模型选择方法、设备及可读存储介质
CN111880761A (zh) * 2020-06-24 2020-11-03 广州四为电子科技有限公司 一种屏幕参数调试系统
CN111880761B (zh) * 2020-06-24 2023-04-07 广州四为电子科技有限公司 一种屏幕参数调试系统
CN112699994A (zh) * 2020-12-25 2021-04-23 科讯嘉联信息技术有限公司 一种深度学习模型的自动化训练与测试系统

Also Published As

Publication number Publication date
CN108875289B (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN108875289A (zh) 一种算法调试方法、客户端、后台服务器及系统
KR102358604B1 (ko) 융합 데이터 처리 방법 및 정보 추천 시스템
CN113094037B (zh) 表单和工作流的交互方法、开发平台、设备及存储介质
CN111079015B (zh) 一种推荐方法、装置、计算机设备和存储介质
CN109241141A (zh) 深度学习的训练数据处理方法和装置
CN112561386A (zh) 一种获得业务流程的方法、装置及设备
CN106469169A (zh) 信息处理方法及装置
CN109144997A (zh) 数据关联方法、装置及存储介质
CN110688104A (zh) 可视化流程处理方法、装置、电子设备及可读存储介质
CN110276074B (zh) 自然语言处理的分布式训练方法、装置、设备及存储介质
CN109598576A (zh) 服务推荐方法、装置及设备
CN109582872A (zh) 一种信息推送方法、装置、电子设备及存储介质
CN109360028A (zh) 用于推送信息的方法和装置
CN109062700A (zh) 一种基于分布式系统的资源管理方法及服务器
CN111782635B (zh) 数据处理方法和装置、存储介质和电子装置
CN110833693B (zh) 游戏运行方法和装置、存储介质及电子装置
US20200074509A1 (en) Business data promotion method, device, terminal and computer-readable storage medium
CN108255707A (zh) 测试用例的开发角色创建方法、装置、设备及存储介质
CN106446283A (zh) 网页样式的生成方法和装置
CN109857388A (zh) 代码生成方法、装置、服务器及计算机可读介质
CN111651989B (zh) 命名实体识别方法和装置、存储介质及电子装置
CN110472109A (zh) 动态化数据质量分析方法及平台系统
CN109101309A (zh) 用于更新用户界面方法和装置
CN110909888A (zh) 泛型决策树构建方法、装置、设备及可读存储介质
CN113868219A (zh) 账套数据的迁移方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant