CN108628669A - 一种调度机器学习算法任务的方法和装置 - Google Patents

一种调度机器学习算法任务的方法和装置 Download PDF

Info

Publication number
CN108628669A
CN108628669A CN201810378413.1A CN201810378413A CN108628669A CN 108628669 A CN108628669 A CN 108628669A CN 201810378413 A CN201810378413 A CN 201810378413A CN 108628669 A CN108628669 A CN 108628669A
Authority
CN
China
Prior art keywords
algorithm task
information
algorithm
task
encapsulation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810378413.1A
Other languages
English (en)
Inventor
吕延猛
王瑶
王霞
陈倩倩
冯玉敏
孙志梅
孙荣章
王科
马泽国
李跃
李宽
姬广滕
刘永和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810378413.1A priority Critical patent/CN108628669A/zh
Publication of CN108628669A publication Critical patent/CN108628669A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Abstract

本发明公开了调度机器学习算法任务的方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:获取执行的算法任务以及所述算法任务的运行规则信息;将所述算法任务相对应的参数信息和监控报警配置信息进行封装;根据所述算法任务的运行规则信息,执行封装后的算法任务;保存封装后算法任务执行的运行日志,并呈现封装后算法任务的执行状态和执行结果信息。该实施方式能够实现周期性调度机器学习算法任务,且保证执行结果的时效性。

Description

一种调度机器学习算法任务的方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种调度机器学习算法任务的方法和装置。
背景技术
第四次零售革命时代,人工智能(AI)将成为提高零售服务的重要技术手段。机器学习作为机器算法的重要一环,提高机器学习的效率对提高算法模型的准确性来说很重要,实现周期性执行任务脚本是提高机器学习的一个重要途径,故其具有重大的意义和价值。其中,所述的人工智能(AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
现有人工运行算法任务,无法满足实际的业务场景需要周期性或定时性的运行算法任务的需要。并且,不能个性化定制算法任务运行的周期,需要投入大量人力周期性或定时性运行,人力成本高。另外,没有监控机制,需要时刻人为关注运行结果、数据等信息,运维成本高。从而,无法及时得知算法任务运行情况及运行结果数据,算法任务运行结果等信息缺乏通知时效性。
发明内容
有鉴于此,本发明实施例提供一种调度机器学习算法任务的方法和装置,能够实现周期性调度机器学习算法任务,且保证执行结果的时效性。
为实现上述目的,根据本发明实施例的一个方面,提供了一种调度机器学习算法任务的方法,包括获取执行的算法任务以及所述算法任务的运行规则信息;将所述算法任务相对应的参数信息和监控报警配置信息进行封装;根据所述算法任务的运行规则信息,执行封装后的算法任务;保存封装后算法任务执行的运行日志,并呈现封装后算法任务的执行状态和执行结果信息。
可选地,预先配置算法任务以获得所述算法任务的参数信息;以及预先配置算法任务的运行规则信息和监控报警配置信息;将所述算法任务的参数信息、运行规则信息和监控报警配置信息存储至数据库中;
获取执行的算法任务以及所述算法任务的运行规则信息之前,包括:
读取数据库中保存的算法任务的运行规则信息;
获取执行的算法任务;
根据所述算法任务,获取相对应的参数信息和监控报警配置信息。
可选地,所述执行封装后的算法任务,包括:
获得所述算法配置的执行引擎信息,然后根据执行引擎信息拼装对应的引擎启动命令,以在对应的执行引擎上执行所述封装后的算法任务。
可选地,所述算法任务的运行规则信息包括:运行方式、执行周期、运行时间以及失败重试配置;
其中,运行方式为周期性运行或临时运行;
其中,失败重试配置包括算法任务执行失败是否重新执行,重试次数和重试时间间隔。
可选地,所述监控报警配置信息包括任务失败监控、报警方式和报警通知人;
其中,任务失败监控为是否开启任务失败告警;
其中,报警通知人为设置算法任务失败报警通知人信息。
可选地,还包括:
根据算法任务的监控报警配置信息,将封装后算法任务的执行结果信息发送至监控中心,由监控中心推送所述封装后算法任务的通知信息。
另外,根据本发明实施例的一个方面,提供了一种调度机器学习算法任务的装置,包括调度模块,用于获取执行的算法任务以及所述算法任务的运行规则信息;将所述算法任务相对应的拓扑结果参数信息和监控报警配置信息进行封装;算法任务执行层,用于根据所述算法任务的运行规则信息,执行封装后的算法任务;保存封装后算法任务执行的运行日志;web界面交互层,用于呈现封装后算法任务的执行状态和执行结果信息。
可选地,所述web界面交互层,还用于:
预先配置算法任务的拓扑结构,以获得所述算法任务的拓扑结果参数信息;以及预先配置算法任务的运行规则信息和监控报警配置信息;将所述算法任务的拓扑结果参数信息、运行规则信息和监控报警配置信息存储至数据库中;
所述调度模块获取执行的算法任务以及所述算法任务的运行规则信息之前,包括:
读取数据库中保存的算法任务的运行规则信息;
获取执行的算法任务;
根据所述算法任务,获取相对应的拓扑结果参数信息和监控报警配置信息。
可选地,所述算法任务执行层执行封装后的算法任务,包括:
获得所述算法配置的执行引擎信息,然后根据执行引擎信息拼装对应的引擎启动命令,以在对应的执行引擎上执行所述封装后的算法任务。
可选地,所述算法任务的运行规则信息包括:运行方式、执行周期、运行时间以及失败重试配置;
其中,运行方式为周期性运行或临时运行;
其中,失败重试配置包括算法任务执行失败是否重新执行,重试次数和重试时间间隔。
可选地,所述监控报警配置信息包括任务失败监控、报警方式和报警通知人;
其中,任务失败监控为是否开启任务失败告警;
其中,报警通知人为设置算法任务失败报警通知人信息。
可选地,所述算法任务执行层,还用于:
根据算法任务的监控报警配置信息,将封装后算法任务的执行结果信息发送至监控中心,由监控中心推送所述封装后算法任务的通知信息。
根据本发明实施例的另一个方面,还提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一调度机器学习算法任务的实施例所述的方法。
根据本发明实施例的另一个方面,还提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一调度机器学习算法任务的实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果:本发明主要实现算法任务的周期性或定时性的执行,让用户能够个性化定制算法任务执行的周期,取代大量的人工操作,同时支持算法任务执行结果高效通知,降低人工成本。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的调度机器学习算法任务的方法的主要流程的示意图;
图2是根据本发明实施例的调度机器学习算法任务的装置的主要模块的示意图;
图3是本发明实施例可以应用于其中的示例性系统架构图;
图4是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的调度机器学习算法任务的方法,如图1所示,所述调度机器学习算法任务的方法包括:
步骤S101,获取执行的算法任务以及所述算法任务的运行规则信息。
在实施例中,在执行调度机器学习算法任务之前,需要预先配置算法任务,以获得所述算法任务的参数信息。其中,所述算法任务的参数信息是指:每个算法任务执行时配置的输入参数信息、其他变量信息等等。而算法任务则是将一个算法学习过程(算法学习过程包括数据预处理、模型训练、模型评估等)整合在一起。
另外,还需要预先配置算法任务的运行规则信息和监控报警配置信息。
需要说明的是,用户可以通过可视化的web网页操作,来预先配置算法任务,以获得所述算法任务的参数信息。以及预先配置算法任务的运行规则信息和监控报警配置信息。
较佳地,可以将所述算法任务的参数信息、运行规则信息和监控报警配置信息存储至数据库中。在具体实施例中,是将所述算法任务的参数信息、运行规则信息和监控报警配置信息存储至MySQL数据库中。其中,所述的MySQL是一种开放源代码的关系型数据库管理系统(RDBMS),使用最常用的数据库管理语言--结构化查询语言(SQL)进行数据库管理。
作为一个实施例,可以读取数据库中保存的算法任务的运行规则信息以及获取执行的算法任务。然后,根据所述的算法任务,在数据库中获取所述算法任务对应的参数信息和监控报警配置信息。
其中,获取要执行的算法任务时,是从存储有算法脚本名称和保存路径的数据库中获得所述算法任务对应的算法脚本名称和保存路径,然后根据对应的算法脚本名称和保存路径下载所述算法任务的脚本。
值得说明的是,所述监控报警配置信息包括任务失败监控、报警方式和报警通知人。其中,所述的任务失败监控为是否开启任务失败告警。所述的报警通知人为设置算法任务失败报警通知人信息。而所述的报警方式可以为短信、邮件等等通知方式。
步骤S102,将所述算法任务相对应的参数信息和监控报警配置信息进行封装。
也就是说,可以将相对应的参数信息和监控报警配置信息一起封装起来,以备执行所述算法任务时使用。
步骤S103,根据所述算法任务的运行规则信息,执行封装后的算法任务。
值得说明的是,所述算法任务的运行规则信息包括:运行方式、执行周期、运行时间以及失败重试配置。其中,所述的运行方式为周期性运行或临时运行。所述执行周期为确认算法任务执行周期类型,例如每天执行、每周执行、每月执行等等。所述的运行时间为算法任务具体时间设置,可以精确到小时、分钟等等。还有,所述的失败重试配置包括算法任务执行失败是否重新执行,重试次数和重试时间间隔。
也就是说,根据预设的该算法任务的运行规则信息,来执行封装后的算法任务。
步骤S104,保存封装后算法任务执行的运行日志,并呈现封装后算法任务的执行状态和执行结果信息。
较佳地,可以将封装后算法任务执行的运行日志、封装后算法任务执行过程中的中间结果数据等信息保存到Hadoop集群中。其中,Hadoop是一个能够对大量数据进行分布式处理的软件框架。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理。而Hadoop集群则实现了一个分布式的基础框架,Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算,Hadoop集群就是将这些海量的数据分部到不同的机器上进行处理。
需要说明的是,在上述实施例中是将算法任务执行的运行日志、中间结果数据等信息保存到Hadoop集群中,在不仅限于所述的保存到Hadoop集群中,也可以是其他类型集群或数据库,只要是能够实现保存所述封装后算法任务执行的运行日志、结果数据等信息的功能即可。
另外,可以通过web界面呈现封装后算法任务的执行状态和执行结果信息,以供用户可以实时获得调度该机器学习算法任务的执行状态和执行结果信息,即提供了一种可视化的算法任务执行状态和执行结果信息的呈现。其中,所述的执行结果信息是指执行算法任务之后获得的结果信息。
在本发明的另一个实施例中,在获得封装后算法任务的执行结果等信息之后,可以根据算法任务的监控报警配置信息,将所述执行结果等信息发送至监控中心,且由监控中心推送所述封装后算法任务的通知信息。其中,所述的监控中心可以为数据监控平台,提供全面的监控数据接入、监控规则设置、监控报警、监控数据分析等功能。当然,所述的监控中心也可以支持多种业务场景的监控数据、报警通知服务。
在又一实施例中,在执行封装后的算法任务时,可以通过调用执行引擎,在所述执行引擎上执行所述封装后的算法任务。进一步地,数据库中保存着所述算法配置的执行引擎信息,在所述算法任务执行时可以获取对应的执行引擎信息,然后根据执行引擎信息拼装对应的引擎启动命令,进而在对应的执行引擎上执行所述封装后的算法任务。
例如:各种执行引擎有自己对应的Linux操作命令
举个例子:算法脚本名称为:test.jar
算法指定的执行引擎是:Spark
那么解析出来的启动命令是:spark-submit--jar test.jar
作为实施例,本发明还可以设置定时器,以实现在预设时间执行封装后算法任务。进一步地,通过Spring定时器实现在预设时间执行算法任务。优选地,通过Spring定时器实现每10秒执行一次。其中,Spring:是一个开放源代码的设计层面框架,可以解决业务逻辑层和其他各层的松耦合问题,因此它将面向接口的编程思想贯穿整个系统应用。
综上所述,根据上面的各种实施例,可以看出所述的调度机器学习算法任务的方法,实现算法任务的周期性或定时性的执行,让用户能够个性化定制算法任务执行的周期,取代大量的人工操作,同时支持算法任务执行结果高效通知,降低人工成本。也就是说,本发明所述的调度机器学习算法任务方法实现了周期性、定时性,同时可以实时对执行过程进行监控,并且将执行情况和执行结果等信息进行实时通知。
图2是根据本发明实施例的调度机器学习算法任务的装置,如图2所示,所述调度机器学习算法任务的装置200包括web界面交互层201、调度模块202和算法任务执行层203。其中,所述的调度模块202可以获取执行的算法任务以及所述算法任务的运行规则信息;将所述算法任务相对应的参数信息和监控报警配置信息进行封装。然后,所述的算法任务执行层203根据所述算法任务的运行规则信息,执行封装后的算法任务;以及保存封装后算法任务执行的运行日志。最后,web界面交互层则可以呈现封装后算法任务的执行状态和执行结果信息。
较佳地,web界面交互层201可以预先配置算法任务,以获得所述算法任务的参数信息。还需要,预先配置算法任务的运行规则信息和监控报警配置信息。
需要说明的是,用户可以通过可视化的web网页操作,来预先配置算法任务,以获得所述算法任务的参数信息。以及预先配置算法任务的运行规则信息和监控报警配置信息。
较佳地,web界面交互层201可以将所述算法任务的参数信息、运行规则信息和监控报警配置信息存储至数据库中。在具体实施例中,是将所述算法任务的参数信息、运行规则信息和监控报警配置信息存储至MySQL数据库中。
另外,web界面交互层201也可以通过web界面呈现封装后算法任务的执行状态和执行结果信息,以供用户可以实时获得调度该机器学习算法任务的执行状态和执行结果信息,即提供了一种可视化的算法任务执行状态和执行结果信息的呈现。
作为实施例,所述的调度模块202可以读取数据库中保存的算法任务的运行规则信息,并且获取执行的算法任务。之后,根据所述算法任务,获取相对应的参数信息和监控报警配置信息。
较佳地,调度模块202可以设置定时器,以实现在预设时间执行算法任务,即在预设时间读取数据库中保存的算法任务的运行规则信息,并且获取执行的算法任务。进一步地,通过Spring定时器实现在预设时间执行算法任务。优选地,通过Spring定时器实现每10秒执行一次。
另外,所述的调度模块202可以将所述算法任务相对应的参数信息和监控报警配置信息进行封装,然后将封装后的算法任务发送给算法任务执行层203,由算法任务执行层203根据所述算法任务的运行规则信息,执行封装后的算法任务。
较佳地,算法任务执行层203在执行封装后的算法任务时,可以根据算法配置的执行引擎信息,在指定的执行引擎上执行封装后的算法任务。
优选地,所述的算法任务执行层203可以将封装后算法任务执行的运行日志、中间结果数据等信息保存到Hadoop集群中。
还有,算法任务执行层203根据算法任务的监控报警配置信息,将所述执行结果信息发送至监控中心,且由监控中心推送所述封装后算法任务的通知信息。
需要说明的是,在本发明所述调度机器学习算法任务的装置的具体实施内容,在上面所述调度机器学习算法任务的方法中已经详细说明了,故在此重复内容不再说明。
图3示出了可以应用本发明实施例的调度机器学习算法任务的方法或调度机器学习算法任务的装置的示例性系统架构300。或者图3示出了可以应用本发明实施例的调度机器学习算法任务的方法或调度机器学习算法任务的装置的示例性系统架构300。
如图3所示,系统架构300可以包括终端设备301、302、303,网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备301、302、303通过网络304与服务器305交互,以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器305可以是提供各种服务的服务器,例如对用户利用终端设备301、302、303所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理,并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的调度机器学习算法任务的方法一般由服务器305执行,相应地,调度机器学习算法任务的装置一般设置于服务器305中。
应该理解,图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图4,其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机系统400包括中央处理单元(CPU)401,其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM403中,还存储有系统400操作所需的各种程序和数据。CPU401、ROM 402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405:包括键盘、鼠标等的输入部分406;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407;包括硬盘等的存储部分408;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器410上,以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分409从网络上被下载和安装,和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括web界面交互层、调用模块和算法任务执行层。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:获取执行的算法任务以及所述算法任务的运行规则信息;将所述算法任务相对应的参数信息和监控报警配置信息进行封装;根据所述算法任务的运行规则信息,执行封装后的算法任务;保存封装后算法任务执行的运行日志,并呈现封装后算法任务的执行状态和执行结果信息。
根据本发明实施例的技术方案,能够实现周期性调度机器学习算法任务,且保证执行结果的时效性。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (14)

1.一种调度机器学习算法任务的方法,其特征在于,包括:
获取执行的算法任务以及所述算法任务的运行规则信息;
将所述算法任务相对应的参数信息和监控报警配置信息进行封装;
根据所述算法任务的运行规则信息,执行封装后的算法任务;
保存封装后算法任务执行的运行日志,并呈现封装后算法任务的执行状态和执行结果信息。
2.根据权利要求1所述的方法,其特征在于,预先配置算法任务以获得所述算法任务的参数信息,以及预先配置算法任务的运行规则信息和监控报警配置信息;将所述算法任务的参数信息、运行规则信息和监控报警配置信息存储至数据库中;
获取执行的算法任务以及所述算法任务的运行规则信息之前,包括:
读取数据库中保存的算法任务的运行规则信息;
获取执行的算法任务;
根据所述算法任务,获取相对应的参数信息和监控报警配置信息。
3.根据权利要求1所述的方法,其特征在于,所述执行封装后的算法任务,包括:
获得所述算法配置的执行引擎信息,然后根据执行引擎信息拼装对应的引擎启动命令,以在对应的执行引擎上执行所述封装后的算法任务。
4.根据权利要求1所述的方法,其特征在于,所述算法任务的运行规则信息包括:运行方式、执行周期、运行时间以及失败重试配置;
其中,运行方式为周期性运行或临时运行;
其中,失败重试配置包括算法任务执行失败是否重新执行,重试次数和重试时间间隔。
5.根据权利要求1所述的方法,其特征在于,所述监控报警配置信息包括任务失败监控、报警方式和报警通知人;
其中,任务失败监控为是否开启任务失败告警;
其中,报警通知人为设置算法任务失败报警通知人信息。
6.根据权利要求1-5任一所述的方法,其特征在于,还包括:
根据算法任务的监控报警配置信息,将封装后算法任务的执行结果信息发送至监控中心,由监控中心推送所述封装后算法任务的通知信息。
7.一种调度机器学习算法任务的装置,其特征在于,包括:
调度模块,用于获取执行的算法任务以及所述算法任务的运行规则信息;将所述算法任务相对应的参数信息和监控报警配置信息进行封装;
算法任务执行层,用于根据所述算法任务的运行规则信息,执行封装后的算法任务;保存封装后算法任务执行的运行日志;
web界面交互层,用于呈现封装后算法任务的执行状态和执行结果信息。
8.根据权利要求7所述的装置,其特征在于,所述web界面交互层,还用于:
预先配置算法任务以获得所述算法任务的参数信息,以及预先配置算法任务的运行规则信息和监控报警配置信息;将所述算法任务的参数信息、运行规则信息和监控报警配置信息存储至数据库中;
所述调度模块获取执行的算法任务以及所述算法任务的运行规则信息之前,包括:
读取数据库中保存的算法任务的运行规则信息;
获取执行的算法任务;
根据所述算法任务,获取相对应的参数信息和监控报警配置信息。
9.根据权利要求7所述的装置,其特征在于,所述算法任务执行层执行封装后的算法任务,包括:
获得所述算法配置的执行引擎信息,然后根据执行引擎信息拼装对应的引擎启动命令,以在对应的执行引擎上执行所述封装后的算法任务。
10.根据权利要求7所述的装置,其特征在于,所述算法任务的运行规则信息包括:运行方式、执行周期、运行时间以及失败重试配置;
其中,运行方式为周期性运行或临时运行;
其中,失败重试配置包括算法任务执行失败是否重新执行,重试次数和重试时间间隔。
11.根据权利要求7所述的装置,其特征在于,所述监控报警配置信息包括任务失败监控、报警方式和报警通知人;
其中,任务失败监控为是否开启任务失败告警;
其中,报警通知人为设置算法任务失败报警通知人信息。
12.根据权利要求7-11所述的装置,其特征在于,所述算法任务执行层,还用于:
根据算法任务的监控报警配置信息,将封装后算法任务的执行结果信息发送至监控中心,由监控中心推送所述封装后算法任务的通知信息。
13.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201810378413.1A 2018-04-25 2018-04-25 一种调度机器学习算法任务的方法和装置 Pending CN108628669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810378413.1A CN108628669A (zh) 2018-04-25 2018-04-25 一种调度机器学习算法任务的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810378413.1A CN108628669A (zh) 2018-04-25 2018-04-25 一种调度机器学习算法任务的方法和装置

Publications (1)

Publication Number Publication Date
CN108628669A true CN108628669A (zh) 2018-10-09

Family

ID=63694371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810378413.1A Pending CN108628669A (zh) 2018-04-25 2018-04-25 一种调度机器学习算法任务的方法和装置

Country Status (1)

Country Link
CN (1) CN108628669A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725998A (zh) * 2018-12-26 2019-05-07 亚信科技(中国)有限公司 一种任务重试方法及装置
CN110018906A (zh) * 2019-02-26 2019-07-16 上海丽人丽妆网络科技有限公司 调度方法、服务器及调度系统
CN111681158A (zh) * 2020-08-14 2020-09-18 支付宝(杭州)信息技术有限公司 一种执行前端模型的预处理方法
CN111782351A (zh) * 2019-07-18 2020-10-16 北京京东尚科信息技术有限公司 一种分布式任务调度的方法和装置
CN112825044A (zh) * 2019-11-21 2021-05-21 杭州海康威视数字技术股份有限公司 任务执行方法、装置及计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101782976A (zh) * 2010-01-15 2010-07-21 南京邮电大学 一种云计算环境下机器学习自动选择方法
CN104866619A (zh) * 2015-06-09 2015-08-26 北京京东尚科信息技术有限公司 数据仓库的数据监控方法和系统
CN106250987A (zh) * 2016-07-22 2016-12-21 无锡华云数据技术服务有限公司 一种机器学习方法、装置及大数据平台
CN106529673A (zh) * 2016-11-17 2017-03-22 北京百度网讯科技有限公司 基于人工智能的深度学习网络训练方法及装置
US20170132555A1 (en) * 2015-11-10 2017-05-11 Rolf Ritter Semi-automated machine learning process to match work to worker
CN106779087A (zh) * 2016-11-30 2017-05-31 福建亿榕信息技术有限公司 一种通用机器学习数据分析平台

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101782976A (zh) * 2010-01-15 2010-07-21 南京邮电大学 一种云计算环境下机器学习自动选择方法
CN104866619A (zh) * 2015-06-09 2015-08-26 北京京东尚科信息技术有限公司 数据仓库的数据监控方法和系统
US20170132555A1 (en) * 2015-11-10 2017-05-11 Rolf Ritter Semi-automated machine learning process to match work to worker
CN106250987A (zh) * 2016-07-22 2016-12-21 无锡华云数据技术服务有限公司 一种机器学习方法、装置及大数据平台
CN106529673A (zh) * 2016-11-17 2017-03-22 北京百度网讯科技有限公司 基于人工智能的深度学习网络训练方法及装置
CN106779087A (zh) * 2016-11-30 2017-05-31 福建亿榕信息技术有限公司 一种通用机器学习数据分析平台

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109725998A (zh) * 2018-12-26 2019-05-07 亚信科技(中国)有限公司 一种任务重试方法及装置
CN110018906A (zh) * 2019-02-26 2019-07-16 上海丽人丽妆网络科技有限公司 调度方法、服务器及调度系统
CN111782351A (zh) * 2019-07-18 2020-10-16 北京京东尚科信息技术有限公司 一种分布式任务调度的方法和装置
CN112825044A (zh) * 2019-11-21 2021-05-21 杭州海康威视数字技术股份有限公司 任务执行方法、装置及计算机存储介质
CN112825044B (zh) * 2019-11-21 2023-06-13 杭州海康威视数字技术股份有限公司 任务执行方法、装置及计算机存储介质
CN111681158A (zh) * 2020-08-14 2020-09-18 支付宝(杭州)信息技术有限公司 一种执行前端模型的预处理方法

Similar Documents

Publication Publication Date Title
CN108628669A (zh) 一种调度机器学习算法任务的方法和装置
CN108334449A (zh) 一种接口自动化测试的方法和装置
CN108984370A (zh) 一种确定监控阈值的方法和装置
CN111459763B (zh) 跨kubernetes集群监控系统及方法
CN107506451A (zh) 用于数据交互的异常信息监控方法及装置
CN109726094A (zh) 压力测试的方法和装置
CN110083660A (zh) 一种同步数据的方法、装置、介质和电子设备
CN109558134A (zh) 业务数据校验的方法和装置
CN107103064B (zh) 数据统计方法及装置
CN108510081A (zh) 机器学习方法和平台
CN109241033A (zh) 创建实时数据仓库的方法和装置
CN110780856B (zh) 一种基于微服务的用电数据发布平台
CN109254914A (zh) 软件开发包测试方法、系统、计算机装置及可读存储介质
CN110019158A (zh) 一种监控数据质量的方法和装置
CN108170843A (zh) 用于获取数据的方法和装置
CN110427304A (zh) 用于银行系统的运维方法、装置、电子设备以及介质
CN110019214A (zh) 对数据拆分结果进行校验的方法和装置
CN110019539A (zh) 一种数据仓库的数据同步的方法和装置
CN109960212A (zh) 任务发送方法和装置
CN108763482A (zh) 用于数据分析流程调度的方法、装置和服务器集群
CN109814957A (zh) 一种用于ios系统的标签添加方法和装置
CN108628954A (zh) 一种海量数据自助查询方法和装置
CN110109983A (zh) 一种操作Redis数据库的方法和装置
CN110389976A (zh) 一种多接口数据的调度方法和装置
CN110071952A (zh) 服务调用量的控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181009

RJ01 Rejection of invention patent application after publication