CN110941486A - 任务管理方法及装置、电子设备和计算机可读存储介质 - Google Patents

任务管理方法及装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN110941486A
CN110941486A CN201911176593.6A CN201911176593A CN110941486A CN 110941486 A CN110941486 A CN 110941486A CN 201911176593 A CN201911176593 A CN 201911176593A CN 110941486 A CN110941486 A CN 110941486A
Authority
CN
China
Prior art keywords
task
information
historical
executed
training sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911176593.6A
Other languages
English (en)
Inventor
吴龑飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Speech Information Technology Co Ltd
Original Assignee
Suzhou Speech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Speech Information Technology Co Ltd filed Critical Suzhou Speech Information Technology Co Ltd
Priority to CN201911176593.6A priority Critical patent/CN110941486A/zh
Publication of CN110941486A publication Critical patent/CN110941486A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system

Abstract

本发明公开了一种任务管理方法及装置、电子设备和计算机可读存储介质,该方法包括:设置待执行任务的任务信息;将所述任务信息和集群资源信息输入预训练的任务分配模型,并通过所述任务分配模型输出任务分配结果;将所述待执行任务分配给所述任务分配结果指示的节点执行。通过本发明的技术方案,提升了任务管理的自动化和便捷程度,降低了开发和维护成本。

Description

任务管理方法及装置、电子设备和计算机可读存储介质
技术领域
本发明涉及计算机技术领域,尤其涉及一种任务管理方法及装置、电子设备和计算机可读存储介质。
背景技术
目前,在操作系统中一般采用任务调度组件进行任务的分配。常用的任务调度组件有Quartz、Azkaban等。
Quartz是一个开源的任务调度组件,它支持分布式调度和任务持久化,然而,Quartz不支持流程调度,无法应用于任务之间有先后依赖关系的调度场景,在遭遇流程调度场景时,需要开发人员对其进行补充开发和配置。
Azkaban则是一个工作流任务调度组件,支持流程调度,可在一个工作流内以一个特定的顺序运行一组工作和流程。但是,Azkaban只能集成于常用的Hadoop生态的大数据组件,对其他通用任务缺乏个性化支持,仍需要开发人员对其进行补充配置。
由此可知,相关技术中的任务分配方式的应用范围单一,均缺乏可扩展性和兼容性,在扩展过程中会消耗大量的开发成本。
因此,如何提供一种兼容性强的任务分配方式,成为目前亟待解决的技术问题。
发明内容
本发明提供一种任务管理方法及装置、电子设备和计算机可读存储介质,针对相关技术中的任务分配方式缺乏可扩展性和兼容性的技术问题,提供一种兼容性强的任务分配方式,可自动进行任务管理,大量减少了开发成本。
本发明第一方面提供一种任务管理方法,包括:设置待执行任务的任务信息;将所述任务信息和集群资源信息输入预训练的任务分配模型,并通过所述任务分配模型输出任务分配结果;将所述待执行任务分配给所述任务分配结果指示的节点执行。
在本发明上述实施例中,可选地,在所述设置待执行任务的任务信息的步骤之前,还包括:获取所述任务分配模型的训练样本集合,所述训练样本集合中的每个训练样本包括历史任务的历史任务信息、所述历史任务执行前的历史集群资源信息和执行所述历史任务的历史节点;初始化初始任务分配模型的模型参数;将所述每个训练样本的所述历史任务信息和所述历史集群资源信息输入所述初始任务分配模型,得到所述每个训练样本对应的预测节点;基于所述每个训练样本的所述预测节点和所述历史节点的差异,对所述初始任务分配模型的模型参数进行调整,得到所述任务分配模型。
在本发明上述实施例中,可选地,还包括:在所述任务分配结果指示的节点执行所述待执行任务的过程中,定时获取任务状态信息;对所述任务状态信息进行可视化显示。
在本发明上述实施例中,可选地,还包括:检测所述任务状态信息是否全部满足预设安全条件;基于所述任务状态信息未全部满足所述预设安全条件的情况下,将所述任务状态信息中不满足所述预设安全条件的部分识别为异常信息;发出针对所述异常信息的告警信息。
在本发明上述实施例中,可选地,还包括:将所述告警信息存储至所述集群资源信息;将存储有所述告警信息的所述集群资源信息加入所述任务分配模型的训练样本集合,得到更新后的训练样本集合;根据所述更新后的训练样本集合,更新所述任务分配模型。
在本发明上述实施例中,可选地,在所述设置待执行任务的任务信息的步骤之前,还包括:根据任务创建指令,创建所述待执行任务;获取针对所述待执行任务的任务信息设置指令;则所述设置待执行任务的任务信息的步骤,具体包括:根据针对所述待执行任务的所述任务信息设置指令,为所述待执行任务设置所述任务信息。
本发明第二方面提供一种任务管理装置,包括:任务信息设置单元,用于设置待执行任务的任务信息;任务分配计算单元,将所述任务信息和集群资源信息输入预训练的任务分配模型,并通过所述任务分配模型输出任务分配结果;任务分配单元,用于将所述待执行任务分配给所述任务分配结果指示的节点执行。
在本发明上述实施例中,可选地,还包括:训练样本集合获取单元,用于在所述任务信息设置单元设置所述任务信息之前,获取所述任务分配模型的训练样本集合,所述训练样本集合中的每个训练样本包括历史任务的历史任务信息、所述历史任务执行前的历史集群资源信息和执行所述历史任务的历史节点;参数初始化单元,用于初始化初始任务分配模型的模型参数;模型训练单元,用于将所述每个训练样本的所述历史任务信息和所述历史集群资源信息输入所述初始任务分配模型,得到所述每个训练样本对应的预测节点;参数调整单元,用于基于所述每个训练样本的所述预测节点和所述历史节点的差异,对所述初始任务分配模型的模型参数进行调整,得到所述任务分配模型。
在本发明上述实施例中,可选地,还包括:状态信息获取单元,用于在所述任务分配结果指示的节点执行所述待执行任务的过程中,定时获取任务状态信息;状态信息显示单元,用于对所述任务状态信息进行可视化显示。
在本发明上述实施例中,可选地,还包括:状态信息检测单元,用于检测所述任务状态信息是否全部满足预设安全条件;异常信息识别单元,用于基于所述任务状态信息未全部满足所述预设安全条件的情况下,将所述任务状态信息中不满足所述预设安全条件的部分识别为异常信息;告警单元,用于发出针对所述异常信息的告警信息。
在本发明上述实施例中,可选地,还包括:告警信息存储单元,用于将所述告警信息存储至所述集群资源信息;训练样本更新单元,用于将存储有所述告警信息的所述集群资源信息加入所述任务分配模型的训练样本集合,得到更新后的训练样本集合;模型更新单元,用于根据所述更新后的训练样本集合,更新所述任务分配模型。
在本发明上述实施例中,可选地,还包括:任务创建单元,用于在所述任务信息设置单元设置所述任务信息之前,根据任务创建指令,创建所述待执行任务;设置指令获取单元,用于获取针对所述待执行任务的任务信息设置指令;则所述任务信息设置单元具体用于根据针对所述待执行任务的所述任务信息设置指令,为所述待执行任务设置所述任务信息。
本发明第三方面提供一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被设置为用于执行上述第一方面和第二方面中任一项所述的方法。
本发明第四方面提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行上述第一方面和第二方面中任一项所述的方法流程。
本发明的技术方案,针对相关技术中的任务分配方式缺乏可扩展性和兼容性的技术问题,提供一种兼容性强的任务分配方式,该任务分配方式可依据任务信息与任务分配结果的历史规律自动进行任务分配,提升了任务管理的自动化和便捷程度。
具体来说,首先,用户在客户端新建待执行任务,并为新建的待执行任务设置包括任务类型、任务内容、执行时间等在内的任务信息,接着,将任务信息和当前场景下实时的集群资源信息输入预训练的任务分配模型。任务分配模型为提前进行机器学习得到的,其训练样本的输入为历史任务信息及其当时场景下的历史集群资源信息,其输出为历史任务信息对应的任务分配结果。由此可知,任务分配模型是将任务信息和所处场景的集群资源信息作为条件,训练学习得到了其与任务分配结果之间的关联关系。因此,当前,将任务信息和当前场景下实时的集群资源信息输入预训练的任务分配模型,可依照这一关联关系,对应计算得到该任务信息的任务分配结果。
由于任务分配结果包括执行该任务的节点、任务内容、执行时间等,则可将待执行任务分配给执行该任务的节点,以供该节点在任务分配结果指定的执行时间执行任务分配结果指定的任务内容。
在相关技术中,无论采用哪种任务调度组件,每当遭遇不支持的任务调度场景,开发人员均需要对任务调度组件进行进一步的补充开发和配置,使其能够适用于该任务调度场景。而以上技术方案,通过机器学习的方式利用任务分配模型自动为任务选择节点去执行,而任务分配模型则是由各种各样的历史任务信息和历史集群资源信息作为输入训练,已然囊括了所有任务调度场景,因此,无需人工再进行补充开发和配置,大大降低了任务管理所需的人力成本和时间成本,并避免了人工补充开发配置易导致的出错问题,使得任务管理可脱离开发人员自动进行,大大提升了任务管理的自动化和便捷程度,降低了开发和维护成本。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出了根据本发明的一个实施例的任务管理方法的流程图;
图2示出了根据本发明的一个实施例的训练任务分配模型的流程图;
图3示出了根据本发明的另一个实施例的任务管理方法的流程图;
图4示出了根据本发明的一个实施例的任务管理过程的示意图;
图5示出了根据本发明的一个实施例的任务管理装置的框图;
图6示出了根据本发明的一个实施例的电子设备的框图。
具体实施方式
为使本发明的目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在相关技术中,无论采用哪种任务调度组件,每当遭遇不支持的任务调度场景,开发人员均需要对任务调度组件进行进一步的补充开发和配置,使其能够适用于该任务调度场景。
本发明的技术方案,针对上述问题,通过机器学习的方式利用任务分配模型自动为任务选择节点去执行,而任务分配模型则是由各种各样的历史任务信息和历史集群资源信息作为输入训练,已然囊括了所有任务调度场景,因此,无需人工再进行补充开发和配置。
下面通过具体实施方式对本发明的技术方案进行详细分析。
图1示出了根据本发明的一个实施例的任务管理方法的流程图。
如图1所示,根据本发明的一个实施例的任务管理方法包括:
步骤102,设置待执行任务的任务信息。
用户在客户端新建待执行任务,并为新建的待执行任务设置包括任务类型、任务内容、执行时间等在内的任务信息。
步骤104,将所述任务信息和集群资源信息输入预训练的任务分配模型,并通过所述任务分配模型输出任务分配结果。
任务分配模型为提前进行机器学习得到的,其训练样本的输入为历史任务信息及其当时场景下的历史集群资源信息,其输出为历史任务信息对应的任务分配结果。由此可知,任务分配模型是将任务信息和所处场景的集群资源信息作为条件,训练学习得到了其与任务分配结果之间的关联关系。因此,当前,将任务信息和当前场景下实时的集群资源信息输入预训练的任务分配模型,可依照这一关联关系,对应计算得到该任务信息的任务分配结果。
步骤106,将所述待执行任务分配给所述任务分配结果指示的节点执行。
由于任务分配结果包括执行该任务的节点、任务内容、执行时间等,则可将待执行任务分配给执行该任务的节点,以供该节点在任务分配结果指定的执行时间执行任务分配结果指定的任务内容。
综上,针对相关技术中的任务分配方式缺乏可扩展性和兼容性的技术问题,提供一种兼容性强的任务分配方式,该任务分配方式可依据任务信息与任务分配结果的历史规律自动进行任务分配。因此,无需人工再进行补充开发和配置,大大降低了任务管理所需的人力成本和时间成本,并避免了人工补充开发配置易导致的出错问题,使得任务管理可脱离开发人员自动进行,大大提升了任务管理的自动化和便捷程度,降低了开发和维护成本。
图2示出了根据本发明的一个实施例的训练任务分配模型的流程图。
如图2所示,根据本发明的另一个实施例的任务管理方法包括:
步骤202,获取任务分配模型的训练样本集合,所述训练样本集合中的每个训练样本包括历史任务的历史任务信息、所述历史任务执行前的历史集群资源信息和执行所述历史任务的历史节点。
在创建待执行任务之前,首先需要获得预训练的任务分配模型,以便通过任务分配模型直接输出任务分配结果。
任务分配模型为进行机器学习得到的,其训练样本的输入为历史任务信息及其当时场景下的历史集群资源信息,其输出为历史任务信息对应的任务分配结果。历史任务信息对应的任务分配结果为根据历史任务信息及其当时场景下的历史集群资源信息得出的适应于该历史任务信息的任务分配结果,因此,将大量合理的历史信息作为训练的输入样本进行下一步的机器学习,可为建立实用有效的模型建立可靠的基础。
其中,机器学习的方法包括但不限于决策树算法、朴素贝叶斯算法、随机森林算法、神经网络算法、关联规则算法、期望最大化算法和深度学习。本发明的技术方案可采取其中任一方式或任多个方式的组合训练得到最终的任务分配模型。
步骤204,初始化初始任务分配模型的模型参数。
步骤206,将所述每个训练样本的所述历史任务信息和所述历史集群资源信息输入所述初始任务分配模型,得到所述每个训练样本对应的预测节点。
步骤208,基于所述每个训练样本的所述预测节点和所述历史节点的差异,对所述初始任务分配模型的模型参数进行调整,得到任务分配模型。
每种机器学习的方法都具有通用的初始任务分配模型,可供将样本集合的训练样本输入初始任务分配模型得到预测结果,再将预测结果与训练样本对应的历史结果进行比对,从而对初始任务分配模型进行逐步修正。在本发明的技术方案中,将每个训练样本的历史任务信息和历史集群资源信息输入初始任务分配模型,得到每个训练样本对应的预测节点,接着,判断该预测节点是否与训练样本对应的历史节点一致,若不一致,则对初始任务分配模型的模型参数进行调整,直至其得出与训练样本对应的历史节点一致的预测节点。
由于训练样本数量巨大,则可基于其对初始任务分配模型的模型参数不断修正,直至得到合理的任务分配模型。
由此,将任务信息和当前场景下实时的集群资源信息输入预训练的任务分配模型,可依照这一关联关系,对应计算得到该任务信息的任务分配结果,无需人工再进行补充开发和配置,大大降低了任务管理所需的人力成本和时间成本,并避免了人工补充开发配置易导致的出错问题,使得任务管理可脱离开发人员自动进行,大大提升了任务管理的自动化和便捷程度,降低了开发和维护成本。
图3示出了根据本发明另一个实施例的任务管理方法的流程图。
如图3所示,根据本发明的另一个实施例的任务管理方法包括:
步骤302,根据任务创建指令,创建所待执行任务。
用户可在客户端进行任务创建操作,相应的,系统即可接收到任务创建指令,创建相应的待执行任务。
步骤304,获取针对所述待执行任务的任务信息设置指令。
步骤306,根据针对所述待执行任务的所述任务信息设置指令,为所述待执行任务设置任务信息。
接着,用户可在客户端为新建的待执行任务设置包括任务类型、任务内容、执行时间等在内的任务信息。
步骤308,将所述任务信息和集群资源信息输入预训练的任务分配模型,并通过所述任务分配模型输出任务分配结果。
任务分配模型为提前进行机器学习得到的,其训练样本的输入为历史任务信息及其当时场景下的历史集群资源信息,其输出为历史任务信息对应的任务分配结果。由此可知,任务分配模型是将任务信息和所处场景的集群资源信息作为条件,训练学习得到了其与任务分配结果之间的关联关系。因此,当前,将任务信息和当前场景下实时的集群资源信息输入预训练的任务分配模型,可依照这一关联关系,对应计算得到该任务信息的任务分配结果。
步骤310,将所述待执行任务分配给所述任务分配结果指示的节点执行。
由于任务分配结果包括执行该任务的节点、任务内容、执行时间等,则可将待执行任务分配给执行该任务的节点,以供该节点在任务分配结果指定的执行时间执行任务分配结果指定的任务内容。
步骤312,在所述任务分配结果指示的节点执行所述待执行任务的过程中,定时获取任务状态信息。
在本发明的技术方案中,还增设了监控系统,监控节点执行任务过程中的任务状态信息,任务状态信息包括节点工作状态、节点繁忙程度、任务执行速度、任务已执行内容、任务执行量占任务总量的百分比等。在一种可能的设计中,对所述任务状态信息进行可视化显示,从而便于用户根据可视化显示内容做出人工判断,识别任务是否处于正常执行过程中。
步骤314,检测所述任务状态信息是否全部满足预设安全条件。
通过这些任务状态信息,可判断任务是否处于正常执行过程中。比如,可为每种任务状态信息设置指定阈值或指定状态等预定安全条件,系统可自动判断每种任务状态信息是否达到其指定阈值或指定状态,若达到,说明任务是处于正常执行过程中,若未达到,说明任务执行或节点本身出现了问题。
步骤316,基于所述任务状态信息未全部满足所述预设安全条件的情况下,将所述任务状态信息中不满足所述预设安全条件的部分识别为异常信息。
步骤318,发出针对所述异常信息的告警信息。
将任务状态信息中未达到预设安全条件的部分识别为异常信息,并对异常信息进行告警。其中,告警信息的发布方式包括但不限于可视化显示、音频提示、短信提示、振动提示等。
步骤320,将所述告警信息存储至所述集群资源信息。
已发生的告警信息也是当前场景的一部分,因此,可将其作为集群资源信息的一部分进行存储。
步骤322,将存储有所述告警信息的所述集群资源信息加入所述任务分配模型的训练样本集合,得到更新后的训练样本集合。
步骤324,根据所述更新后的训练样本集合,更新所述任务分配模型。
由于当前的集群资源信息发生了更新,而该当前的集群资源信息也具有对应的任务及执行任务节点,因此,已可作为一项有效的历史训练样本而存在。故可将其存储至训练样本集合,实现对训练样本集合的更新。
最终,根据更新后的训练样本集合重新训练任务分配模型,以实现根据实际情况对任务分配模型的修正,使其始终能够囊括最新的训练样本的特征。
综上,可根据告警信息对集群资源信息乃至任务分配模型进行同步更新,使任务分配模型始终能够将已发生的全部训练样本的特征学习在内,提升任务分配模型的实用性和有效性。
结合图4所示,用户在任务管理系统中创建任务,任务管理系统将任务存储至存储系统,接着,任务管理系统读取机器学习系统中的任务分配模型,通过该任务分配模型输出执行任务的节点。
然后,将执行任务的节点发送给任务调度器,由任务调度器调度任务执行器在该节点执行此任务。在该节点执行此任务的过程中,监控系统对此任务进行监控,并在监控到异常信息时,将异常信息发送至告警系统,由告警系统向用户进行告警。
其中,任务管理系统主要用于用户管理自己的任务,新建、提交、取消、查询等功能。存储系统主要用于存储用户信息、任务信息、执行历史信息、告警信息等数据,一方面提供用户查询历史,一方面为机器学习系统模型提供训练数据。机器学习系统主要用于读取历史任务调度信息,以及当前集群资源使用情况,有针对性地训练模型。根据模型对消息队列中的任务信息,做出调度决策结果的自学习过程。任务调度器则主要用于根据机器学习系统产生的决策结果,将任务实际分发到工作集群中的任务执行器。任务执行器主要用于接受任务调度器发来的任务并执行,定时上报任务状态信息到监控系统中。监控系统主要用于把任务执行的情况,可视化地展现给用户,方便用户跟踪任务的进度。告警系统主要用于把告警与用户进行关联,跟踪任务的执行结果,让用户可以在任务执行异常后第一时间知道。
具体地,用户在任务管理系统中,根据自己需要创建相关的任务,创建完任务后,用户在任务管理系统中,可以选择立即执行和定时执行等方式,提交任务。提交的任务信息保存在存储系统中,机器学习系统通过对存储系统中的历史信息进行模型训练,将当前接收到的任务和集群资源信息放入模型中进行决策,产生结果,选择将任务分发到具体哪一个节点。
任务调度器根据决策产生的结果,将任务分发到相应的节点,任务执行器开始执行分配到的任务,并定时上报任务状态信息给监控系统。监控系统将接收到的任务信息进行可视化的展示,方便用户查看任务运行的状态情况。告警系统将异常的任务信息发送告警给用户,并将告警信息保存到存储系统中,为后续机器学习系统训练提供数据。
本发明的技术方案,通过在网页上填写任务相关的信息,无需额外的编程基础,即可创建任务,并立刻提交运行任务,在网页上即可实时地观察执行进度,操作使用流程简洁方便。以及,通过机器学习方法对提交的历史任务进行训练,针对历史任务中的用户信息、任务的类型、集群资源、调度时间等维度提升模型的自学习能力,减少了开发人员识别的成本,并且通过成熟的机器学习算法能够快速、准确的进行模型的训练,通过训练的模型,可以智能的选择合适节点执行任务,从而提升整个集群上任务调度的效率和资源的利用率。另外,还可通过对任务进行监控、告警和重试机制的集成实现,完成了对于提交任务的实时监控和异常告警,并且对设置了异常任务(如发生失败重启的任务)进行的管理和跟踪,提高了任务运行成功的及时性和准确性,减少人工工作量。
图5示出了根据本发明的一个实施例的任务管理装置的框图。
如图5所示,根据本发明的一个实施例的任务管理装置500包括:任务信息设置单元502,用于设置待执行任务的任务信息;任务分配计算单元504,将所述任务信息和集群资源信息输入预训练的任务分配模型,并通过所述任务分配模型输出任务分配结果;任务分配单元506,用于将所述待执行任务分配给所述任务分配结果指示的节点执行。
在本发明上述实施例中,可选地,还包括:训练样本集合获取单元,用于在所述任务信息设置单元502设置所述任务信息之前,获取所述任务分配模型的训练样本集合,所述训练样本集合中的每个训练样本包括历史任务的历史任务信息、所述历史任务执行前的历史集群资源信息和执行所述历史任务的历史节点;参数初始化单元,用于初始化初始任务分配模型的模型参数;模型训练单元,用于将所述每个训练样本的所述历史任务信息和所述历史集群资源信息输入所述初始任务分配模型,得到所述每个训练样本对应的预测节点;参数调整单元,用于基于所述每个训练样本的所述预测节点和所述历史节点的差异,对所述初始任务分配模型的模型参数进行调整,得到所述任务分配模型。
在本发明上述实施例中,可选地,还包括:状态信息获取单元,用于在所述任务分配结果指示的节点执行所述待执行任务的过程中,定时获取任务状态信息;状态信息显示单元,用于对所述任务状态信息进行可视化显示。
在本发明上述实施例中,可选地,还包括:状态信息检测单元,用于检测所述任务状态信息是否全部满足预设安全条件;异常信息识别单元,用于基于所述任务状态信息未全部满足所述预设安全条件的情况下,将所述任务状态信息中不满足所述预设安全条件的部分识别为异常信息;告警单元,用于发出针对所述异常信息的告警信息。
在本发明上述实施例中,可选地,还包括:告警信息存储单元,用于将所述告警信息存储至所述集群资源信息;训练样本更新单元,用于将存储有所述告警信息的所述集群资源信息加入所述任务分配模型的训练样本集合,得到更新后的训练样本集合;模型更新单元,用于根据所述更新后的训练样本集合,更新所述任务分配模型。
在本发明上述实施例中,可选地,还包括:任务创建单元,用于在所述任务信息设置单元502设置所述任务信息之前,根据任务创建指令,创建所述待执行任务;设置指令获取单元,用于获取针对所述待执行任务的任务信息设置指令;则所述任务信息设置单元具体用于根据针对所述待执行任务的所述任务信息设置指令,为所述待执行任务设置所述任务信息。
该任务管理装置500使用图1至图4示出的实施例中任一项所述的方案,因此,具有上述所有技术效果,在此不再赘述。
图6示出了根据本发明的一个实施例的电子设备的框图。
如图6所示,本发明的一个实施例的电子设备600,包括至少一个存储器602;以及,与所述至少一个存储器602通信连接的处理器604;其中,所述存储器存储有可被所述至少一个处理器604执行的指令,所述指令被设置为用于执行上述图1至图4实施例中任一项所述的方案。因此,该电子设备600具有和图1至图4实施例中任一项相同的技术效果,在此不再赘述。
本发明实施例的电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
另外,本发明实施例提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行上述图1至图4实施例中任一项所述的方法流程。
以上结合附图详细说明了本发明的技术方案,通过本发明的技术方案,无需人工再进行补充开发和配置,大大降低了任务管理所需的人力成本和时间成本,并避免了人工补充开发配置易导致的出错问题,使得任务管理可脱离开发人员自动进行,大大提升了任务管理的自动化和便捷程度,降低了开发和维护成本。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在本发明所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种任务管理方法,其特征在于,包括:
设置待执行任务的任务信息;
将所述任务信息和集群资源信息输入预训练的任务分配模型,并通过所述任务分配模型输出任务分配结果;
将所述待执行任务分配给所述任务分配结果指示的节点执行。
2.根据权利要求1所述的任务管理方法,其特征在于,在所述设置待执行任务的任务信息的步骤之前,还包括:
获取所述任务分配模型的训练样本集合,所述训练样本集合中的每个训练样本包括历史任务的历史任务信息、所述历史任务执行前的历史集群资源信息和执行所述历史任务的历史节点;
初始化初始任务分配模型的模型参数;
将所述每个训练样本的所述历史任务信息和所述历史集群资源信息输入所述初始任务分配模型,得到所述每个训练样本对应的预测节点;
基于所述每个训练样本的所述预测节点和所述历史节点的差异,对所述初始任务分配模型的模型参数进行调整,得到所述任务分配模型。
3.根据权利要求2所述的任务管理方法,其特征在于,还包括:
在所述任务分配结果指示的节点执行所述待执行任务的过程中,定时获取任务状态信息;
对所述任务状态信息进行可视化显示。
4.根据权利要求3所述的任务管理方法,其特征在于,还包括:
检测所述任务状态信息是否全部满足预设安全条件;
基于所述任务状态信息未全部满足所述预设安全条件的情况下,将所述任务状态信息中不满足所述预设安全条件的部分识别为异常信息;
发出针对所述异常信息的告警信息。
5.根据权利要求4所述的任务管理方法,其特征在于,还包括:
将所述告警信息存储至所述集群资源信息;
将存储有所述告警信息的所述集群资源信息加入所述任务分配模型的训练样本集合,得到更新后的训练样本集合;
根据所述更新后的训练样本集合,更新所述任务分配模型。
6.根据权利要求1至5中任一项所述的任务管理方法,其特征在于,在所述设置待执行任务的任务信息的步骤之前,还包括:
根据任务创建指令,创建所述待执行任务;
获取针对所述待执行任务的任务信息设置指令;
则所述设置待执行任务的任务信息的步骤,具体包括:
根据针对所述待执行任务的所述任务信息设置指令,为所述待执行任务设置所述任务信息。
7.一种任务管理装置,其特征在于,包括:
任务信息设置单元,用于设置待执行任务的任务信息;
任务分配计算单元,将所述任务信息和集群资源信息输入预训练的任务分配模型,并通过所述任务分配模型输出任务分配结果;
任务分配单元,用于将所述待执行任务分配给所述任务分配结果指示的节点执行。
8.根据权利要求7所述的任务管理装置,其特征在于,还包括:
训练样本集合获取单元,用于在所述任务信息设置单元设置所述任务信息之前,获取所述任务分配模型的训练样本集合,所述训练样本集合中的每个训练样本包括历史任务的历史任务信息、所述历史任务执行前的历史集群资源信息和执行所述历史任务的历史节点;
参数初始化单元,用于初始化初始任务分配模型的模型参数;
模型训练单元,用于将所述每个训练样本的所述历史任务信息和所述历史集群资源信息输入所述初始任务分配模型,得到所述每个训练样本对应的预测节点;
参数调整单元,用于基于所述每个训练样本的所述预测节点和所述历史节点的差异,对所述初始任务分配模型的模型参数进行调整,得到所述任务分配模型。
9.一种电子设备,其特征在于,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;
其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被设置为用于执行上述权利要求1至6中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,存储有计算机可执行指令,所述计算机可执行指令用于执行如权利要求1至6中任一项所述的方法流程。
CN201911176593.6A 2019-11-26 2019-11-26 任务管理方法及装置、电子设备和计算机可读存储介质 Withdrawn CN110941486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911176593.6A CN110941486A (zh) 2019-11-26 2019-11-26 任务管理方法及装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911176593.6A CN110941486A (zh) 2019-11-26 2019-11-26 任务管理方法及装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN110941486A true CN110941486A (zh) 2020-03-31

Family

ID=69908866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911176593.6A Withdrawn CN110941486A (zh) 2019-11-26 2019-11-26 任务管理方法及装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110941486A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344383A (zh) * 2021-06-04 2021-09-03 兰州理工大学 一种用于分布式异构工厂的节能车间调度系统
CN113342535A (zh) * 2021-06-30 2021-09-03 中国工商银行股份有限公司 任务数据分配方法及装置
CN114358649A (zh) * 2022-01-17 2022-04-15 安徽君鲲科技有限公司 一种海事现场监管方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113344383A (zh) * 2021-06-04 2021-09-03 兰州理工大学 一种用于分布式异构工厂的节能车间调度系统
CN113342535A (zh) * 2021-06-30 2021-09-03 中国工商银行股份有限公司 任务数据分配方法及装置
CN114358649A (zh) * 2022-01-17 2022-04-15 安徽君鲲科技有限公司 一种海事现场监管方法及系统

Similar Documents

Publication Publication Date Title
EP3842948B1 (en) Method and apparatus for testing edge computing, device, and readable storage medium
CN105357038B (zh) 监控虚拟机集群的方法和系统
US11531909B2 (en) Computer system and method for machine learning or inference
US11457029B2 (en) Log analysis based on user activity volume
US10783002B1 (en) Cost determination of a service call
US20080183855A1 (en) System and method for performance problem localization
US9384114B2 (en) Group server performance correction via actions to server subset
CN110941486A (zh) 任务管理方法及装置、电子设备和计算机可读存储介质
US10452469B2 (en) Server performance correction using remote server actions
AU2016200021A1 (en) End-to-end project management
US11456979B2 (en) Automated natural language communication analysis
CN111770002B (zh) 测试数据转发控制方法、装置、可读存储介质和电子设备
EP3798930A2 (en) Machine learning training resource management
US11726893B2 (en) System for automatically evaluating a change in a large population of processing jobs
US10313457B2 (en) Collaborative filtering in directed graph
CN117149665A (zh) 持续集成方法、控制设备、持续集成系统及存储介质
CN105511959A (zh) 虚拟资源分配方法和装置
US11093266B2 (en) Using a generative model to facilitate simulation of potential policies for an infrastructure as a service system
CN113220463B (zh) 一种绑定策略推断方法、装置、电子设备及存储介质
CN111860855B (zh) 一种行为引导资源投放策略生成方法及装置
CN110008098B (zh) 评估业务流程中的节点的运行状况的方法和装置
CN113138896A (zh) 一种应用运行情况的监控方法、装置和设备
CN112764957A (zh) 应用故障定界方法及装置
CN114637564B (zh) 数据可视化方法、装置、电子设备及存储介质
CN111026571B (zh) 处理器降频处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Building 14, Tengfei science and Technology Park, 388 Xinping street, Suzhou Industrial Park, Suzhou area, China (Jiangsu) pilot Free Trade Zone, Suzhou, Jiangsu 215000

Applicant after: Sipic Technology Co.,Ltd.

Address before: 215024 building 14, Tengfei Innovation Park, 388 Xinping street, Suzhou Industrial Park, Jiangsu Province

Applicant before: AI SPEECH Ltd.

CB02 Change of applicant information
WW01 Invention patent application withdrawn after publication

Application publication date: 20200331

WW01 Invention patent application withdrawn after publication