CN110780981A - 一种hadoop大数据平台的任务调度管理系统及方法 - Google Patents

Abstract

本发明公开了一种hadoop大数据平台的任务调度管理系统及方法，系统包括权限模块、任务检索模块、任务依赖模块、调度检索模块、任务合规检查模块、调度模块、报警模块和任务状态检索模块；本发明提供一种可视化系统，用于可视化的进行任务的调度依赖管理，以及任务血缘关系的查看和管理，便于用户进行问题的追溯以任务的依赖关系配置；不再需要用户进行手动配置任务的运行时间，调度的任务会根据前置依赖任务的运行结束时间自动开始运行后置任务；当任务发生运行错误时，会根据用户配置的重试次数进行任务的重试运行，并提供报警机制，提醒依赖了当前运行失败的用户；任务依赖的环自动检索功能，有效避免任务运行死循环的问题。

Description

一种hadoop大数据平台的任务调度管理系统及方法

技术领域

本发明涉及管理系统技术领域，具体为一种hadoop大数据平台的任务调度管理系统及方法。

背景技术

大数据时代的来临，使hadoop开源技术广泛的被使用，在实际的业务场景中，基于hadoop平台的计算任务越来越多，计算任务的增加导致任务间的相互依赖难以调度管理，缺少任务的可视化依赖关系管理，任务依赖关系不明确，而且任务依赖关系依靠人工维护，维护成本高，在任务的运行时间需要手动设置，只能根据所依赖的任务的运行时间预估当前任务的运行开始时间，若依赖的任务运行时间出现变化，当前任务无法感知，可能造成依赖的任务未计算完成当前任务就开始计算，或者依赖任务早已完成，但是当前任务还要等待开始时间到达才能运行，浪费计算资源且可能出现任务的数据错误，而且当前置依赖任务失败时，无法有效提醒后续的任务，且无法自动重新自动运行失败任务，导致任务链失效，而且任务依赖关系中可能存在任务依赖环导致任务死循环，缺少报警机制，当依赖的任务运行失败时，用户无法感知，因此，设计一种hadoop大数据平台的任务调度管理系统及方法是很有必要的。

发明内容

本发明的目的在于提供一种hadoop大数据平台的任务调度管理系统及方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种hadoop大数据平台的任务调度管理系统，包括权限模块、任务检索模块、任务依赖模块、调度检索模块、任务合规检查模块、调度模块、报警模块和任务状态检索模块，所述权限模块与任务检索模块通过信号连接，所述任务检索模块与调度检索模块通过信号连接，所述调度检索模块与任务合规检查模块通过信号连接，所述任务合规检查模块与调度模块通过信号连接，所述调度模块分别与任务状态检索模块和任务依赖模块通过信号连接，所述任务状态检索模块与报警模块通过信号连接。

一种hadoop大数据平台的任务调度管理系统的方法，包括如下步骤：步骤一，获取权限；步骤二，任务检索；步骤三，任务展示；步骤四，调度检索；步骤五，任务合规检查；步骤六，任务调度；步骤七，任务安全报警；步骤八，任务运行；

其中在上述的步骤一中，用户登录平台后，进入任务调度功能，新建任务调度，权限模块获取用户权限，获取用户权限下所属的任务标识ID信息；

其中在上述的步骤二中，用户可以选取权限下所属的某一任务，任务检索模块会根据用户所选的任务获取任务所有信息，并展示给当前用户；

其中在上述的步骤三中，让用户确认当前所选任务是正确的，用户可以使用搜索框输入要依赖的任务的名称，任务检索模块会根据用户输入获取依赖任务的所有信息，依赖任务会根据任务检索模块向用户展示依赖任务的名称，类型，所有者信息，用于确认搜索的依赖任务是期望的；

其中在上述的步骤四中，同时还会根据输入的任务名称，调用调度检索模块，获取当前名称的任务的调度信息，包括运行周期，上级依赖，调度表达式，任务调度状态，用户可以根据依赖任务的调度信息决定当前任务的调度信息；

其中在上述的步骤五中，用户确认依赖任务后，可以选择对任务进行依赖，会触发任务合规检查模块对依赖关系进行检查，此操作会触发依赖环检查模块，检查当前任务与依赖任务以及依赖任务所依赖的任务是否存在环关系，若存在环关系，可能会导致任务的死循环，依赖环检查模块主要是通过使用拓扑排序的方式检查任务依赖关系，若存在环关系，提示用户依赖关系中存在环关系，并提示存在环关系的任务依赖名称，调度配置无法继续进行，死循环会导致所有在环中的任务出现死循环的错误，导致任务无法运行成功，若不存在环关系，用户可以继续进行调度配置操作，配置任务调度的信息；

其中在上述的步骤六中，配置任务调度的信息，可以选择两种方式对任务进行调度：方式一：手动配置执行，用户需要配置任务运行的周期，以及配置频率表达式，使用这种方法任务不会根据前置依赖任务的运行时间来进行自动运行，而是根据用户配置的调度信息来执行，调度配置方式一会触发任务合规检查模块中的手动运行设置调度合理性检查模块，手动运行设置调度合理性检查模块会检查用户选择的依赖任务的运行周期，调度信息，与用户手动填写的调度配置信息进行对比，可能存在两种情况：情况一：手动配置的运行时间早于前置依赖任务的结束时间，可能会造成依赖无效，因为前置任务未完成的情况下当前任务就会执行，无法获取依赖任务所计算的数据结果，这种情况下会提示用户调度配置与依赖任务存在不合规匹配，提示用户重新配置，用户重新手动配置后依然会重复执行，直至用户配置的信息正确，情况二：手动配置的运行时间晚于前置任务依赖任务的结束时间，且时间差较大，这种情况会造成资源的浪费以及时间的过度等待，会提示用户调整调度信息或选择自动调度，若用户不进行修改依然可进行下一步操作；方式二：自动调度，用户可以在设置调度信息时，可以选择根据依赖任务进行自动调度，这种情况下调度模块会记录任务的依赖关系，当前置任务完成时，自动执行后续对此前置任务依赖的任务；用户可以选择设置任务失败之后的重试次数，以确保任务在出错的情况下，调度模块会根据用户设置的重试次数对任务进行重试运行；

其中在上述步骤七中，用户可以配置报警信息，报警信息由报警模块提供，用户点击提交任务调度信息，调度模块会保存当前任务的调度信息，任务依赖模块则保存任务的依赖关系，报警模块保存用户的报警相关信息；

其中在上述步骤八中，调度模块会根据任务的调度配置信息设置定时任务，当到达设置的定时任务执行时间时，调度模块会将任务提交到jobworker中进行执行；任务的每次执行都会有运行状态，其中包含了等待运行，运行中，运行成功，运行失败；其中所有未满足运行周期且周期内尚未运行过的任务皆为等待运行状态；已经提交到jobworker中执行的任务状态为运行中状态；已经运行成功的任务状态为运行成功；运行失败且包含重试之后运行失败的任务状态为运行失败；任务状态检索模块会每隔一段时间检索一次任务状态，并实时记录；若当前任务运行失败，调度模块会根据用户配置的重试次数对失败任务进行重试操作；若当前任务运行成功，调度模块会对任务依赖模块发出指令，获取所有依赖当前任务且调度方式配置为自动调度的所有任务，并开始执行；调度模块会循环执行，直至每一个任务依赖链条中的任务执行至任务链的末尾任务完成，从而完成任务调度管理。

根据上述技术方案，所述任务合规检查模块包含依赖环检查模块和手动运行设置调度合理性检查模块。

根据上述技术方案，所述步骤七中，用户可以设置两种报警方式，邮件报警以及短信报警，选择对应的报警方式需要提供接收报警信息的联系方式。

根据上述技术方案，所述任务状态检索模块的检索周期为30s一次

与现有技术相比，本发明的有益效果是：本发明能够支持可视化的任务调度管理，用户可以在界面上配置所依赖的任务，且可以通过可视化的任务依赖关系血缘关系图查看自己权限下的任务依赖图，可以明确的了解每一个自己权限下的任务的依赖关系任务依赖关系清晰明确，便于追溯，任务依赖关系自动检索，自动纠错，当任务出现问题是可以进行问题的追述；采用job-worker可线性扩展，分布式高可用，且自动化的进行任务运行调度，提供失败重试功能，并自动形成任务运行时间链；同时会检查任务依赖关系中是否存在任务环，解决任务运行死循环的问题；服务解耦无状态存储；并提供报警机制，当某一任务运行失败时，会邮件或短信通知依赖了当前任务的所有任务拥有者，任务自动运行重试，降低任务故障率。

附图说明

图1是本发明的管理系统的整体结构示意图；

图2是本发明的任务合规检查模块的结构示意图；

图3是本发明的管理系统的方法流程图；

图中标号：1、权限模块；2、任务检索模块；3、任务依赖模块；4、调度检索模块；5、任务合规检查模块；6、依赖环检查模块；7、手动运行设置调度合理性检查模块；8、调度模块；9、报警模块；10、任务状态检索模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供提供一种技术方案：一种hadoop大数据平台的任务调度管理系统，包括权限模块1、任务检索模块2、任务依赖模块3、调度检索模块4、任务合规检查模块5、调度模块8、报警模块9和任务状态检索模块10，权限模块1与任务检索模块2通过信号连接，任务检索模块2与调度检索模块4通过信号连接，调度检索模块4与任务合规检查模块5通过信号连接，任务合规检查模块5与调度模块8通过信号连接，调度模块8分别与任务状态检索模块10和任务依赖模块3通过信号连接，任务状态检索模块10与报警模块9通过信号连接。

一种hadoop大数据平台的任务调度管理系统的方法，包括如下步骤：步骤一，获取权限；步骤二，任务检索；步骤三，任务展示；步骤四，调度检索；步骤五，任务合规检查；步骤六，任务调度；步骤七，任务安全报警；步骤八，任务运行；

其中在上述的步骤一中，用户登录平台后，进入任务调度功能，新建任务调度，权限模块1获取用户权限，获取用户权限下所属的任务标识ID信息；

其中在上述的步骤二中，用户可以选取权限下所属的某一任务，任务检索模块2会根据用户所选的任务获取任务所有信息，并展示给当前用户；

其中在上述的步骤三中，让用户确认当前所选任务是正确的，用户可以使用搜索框输入要依赖的任务的名称，任务检索模块2会根据用户输入获取依赖任务的所有信息，依赖任务会根据任务检索模块2向用户展示依赖任务的名称，类型，所有者信息，用于确认搜索的依赖任务是期望的；

其中在上述的步骤四中，同时还会根据输入的任务名称，调用调度检索模块4，获取当前名称的任务的调度信息，包括运行周期，上级依赖，调度表达式，任务调度状态，用户可以根据依赖任务的调度信息决定当前任务的调度信息；

其中在上述的步骤五中，用户确认依赖任务后，可以选择对任务进行依赖，会触发任务合规检查模块5对依赖关系进行检查，此操作会触发依赖环检查模块6，检查当前任务与依赖任务以及依赖任务所依赖的任务是否存在环关系，若存在环关系，可能会导致任务的死循环，依赖环检查模块6主要是通过使用拓扑排序的方式检查任务依赖关系，若存在环关系，提示用户依赖关系中存在环关系，并提示存在环关系的任务依赖名称，调度配置无法继续进行，死循环会导致所有在环中的任务出现死循环的错误，导致任务无法运行成功，若不存在环关系，用户可以继续进行调度配置操作，配置任务调度的信息；

其中在上述的步骤六中，配置任务调度的信息，可以选择两种方式对任务进行调度：方式一：手动配置执行，用户需要配置任务运行的周期，以及配置频率表达式，使用这种方法任务不会根据前置依赖任务的运行时间来进行自动运行，而是根据用户配置的调度信息来执行，调度配置方式一会触发任务合规检查模块5中的手动运行设置调度合理性检查模块7，手动运行设置调度合理性检查模块7会检查用户选择的依赖任务的运行周期，调度信息，与用户手动填写的调度配置信息进行对比，可能存在两种情况：情况一：手动配置的运行时间早于前置依赖任务的结束时间，可能会造成依赖无效，因为前置任务未完成的情况下当前任务就会执行，无法获取依赖任务所计算的数据结果，这种情况下会提示用户调度配置与依赖任务存在不合规匹配，提示用户重新配置，用户重新手动配置后依然会重复执行，直至用户配置的信息正确，情况二：手动配置的运行时间晚于前置任务依赖任务的结束时间，且时间差较大，这种情况会造成资源的浪费以及时间的过度等待，会提示用户调整调度信息或选择自动调度，若用户不进行修改依然可进行下一步操作；方式二：自动调度，用户可以在设置调度信息时，可以选择根据依赖任务进行自动调度，这种情况下调度模块8会记录任务的依赖关系，当前置任务完成时，自动执行后续对此前置任务依赖的任务；用户可以选择设置任务失败之后的重试次数，以确保任务在出错的情况下，调度模块8会根据用户设置的重试次数对任务进行重试运行；

其中在上述步骤七中，用户可以配置报警信息，报警信息由报警模块9提供，用户点击提交任务调度信息，调度模块8会保存当前任务的调度信息，任务依赖模块3则保存任务的依赖关系，报警模块9保存用户的报警相关信息；

其中在上述步骤八中，调度模块8会根据任务的调度配置信息设置定时任务，当到达设置的定时任务执行时间时，调度模块8会将任务提交到jobworker中进行执行；任务的每次执行都会有运行状态，其中包含了等待运行，运行中，运行成功，运行失败；其中所有未满足运行周期且周期内尚未运行过的任务皆为等待运行状态；已经提交到jobworker中执行的任务状态为运行中状态；已经运行成功的任务状态为运行成功；运行失败且包含重试之后运行失败的任务状态为运行失败；任务状态检索模块10会每隔一段时间检索一次任务状态，并实时记录；若当前任务运行失败，调度模块8会根据用户配置的重试次数对失败任务进行重试操作；若当前任务运行成功，调度模块8会对任务依赖模块3发出指令，获取所有依赖当前任务且调度方式配置为自动调度的所有任务，并开始执行；调度模块8会循环执行，直至每一个任务依赖链条中的任务执行至任务链的末尾任务完成，从而完成任务调度管理。

根据上述技术方案，任务合规检查模块5包含依赖环检查模块6和手动运行设置调度合理性检查模块7，依赖环检查模块6负责检查任务依赖过程中是否存在环依赖导致任务运行死循环，手动运行设置调度合理性检查模块7负责当用户手动设置了任务的运行周期等调度配置时，是否能够正常的获取依赖任务所产出的数据的合理性检查。

根据上述技术方案，步骤七中，用户可以设置两种报警方式，邮件报警以及短信报警，选择对应的报警方式需要提供接收报警信息的联系方式，能够在任务出错后会通过制定的方式通知相关人员。

根据上述技术方案，任务状态检索模块10的检索周期为30s一次，能够便于及时发现任务的状态。

基于上述，本发明的优点在于，使用时，用户登录平台后，进入任务调度功能，新建任务调度，权限模块1获取用户权限，获取用户权限下所属的任务标识ID信息；用户可以选取权限下所属的某一任务，任务检索模块2会根据用户所选的任务获取任务所有信息，并展示给当前用户；让用户确认当前所选任务是正确的，用户可以使用搜索框输入要依赖的任务的名称，任务检索模块2会根据用户输入获取依赖任务的所有信息，依赖任务会根据任务检索模块2向用户展示依赖任务的名称，类型，所有者信息，用于确认搜索的依赖任务是期望的；同时还会根据输入的任务名称，调用调度检索模块4，获取当前名称的任务的调度信息，包括运行周期，上级依赖，调度表达式，任务调度状态，用户可以根据依赖任务的调度信息决定当前任务的调度信息；用户确认依赖任务后，可以选择对任务进行依赖，会触发任务合规检查模块5对依赖关系进行检查，此操作会触发依赖环检查模块6，检查当前任务与依赖任务以及依赖任务所依赖的任务是否存在环关系，若存在环关系，可能会导致任务的死循环，依赖环检查模块6主要是通过使用拓扑排序的方式检查任务依赖关系，若存在环关系，提示用户依赖关系中存在环关系，并提示存在环关系的任务依赖名称，调度配置无法继续进行，死循环会导致所有在环中的任务出现死循环的错误，导致任务无法运行成功，若不存在环关系，用户可以继续进行调度配置操作，配置任务调度的信息，可以选择两种方式对任务进行调度：方式一：手动配置执行，用户需要配置任务运行的周期，以及配置频率表达式，使用这种方法任务不会根据前置依赖任务的运行时间来进行自动运行，而是根据用户配置的调度信息来执行，调度配置方式一会触发任务合规检查模块5中的手动运行设置调度合理性检查模块7，手动运行设置调度合理性检查模块7会检查用户选择的依赖任务的运行周期，调度信息，与用户手动填写的调度配置信息进行对比，可能存在两种情况：情况一：手动配置的运行时间早于前置依赖任务的结束时间，可能会造成依赖无效，因为前置任务未完成的情况下当前任务就会执行，无法获取依赖任务所计算的数据结果，这种情况下会提示用户调度配置与依赖任务存在不合规匹配，提示用户重新配置，用户重新手动配置后依然会重复执行，直至用户配置的信息正确，情况二：手动配置的运行时间晚于前置任务依赖任务的结束时间，且时间差较大，这种情况会造成资源的浪费以及时间的过度等待，会提示用户调整调度信息或选择自动调度，若用户不进行修改依然可进行下一步操作；方式二：自动调度，用户可以在设置调度信息时，可以选择根据依赖任务进行自动调度，这种情况下调度模块8会记录任务的依赖关系，当前置任务完成时，自动执行后续对此前置任务依赖的任务；用户可以选择设置任务失败之后的重试次数，以确保任务在出错的情况下，调度模块8会根据用户设置的重试次数对任务进行重试运行；用户可以配置报警信息，报警信息由报警模块9提供，用户点击提交任务调度信息，调度模块8会保存当前任务的调度信息，任务依赖模块3则保存任务的依赖关系，报警模块9保存用户的报警相关信息；调度模块8会根据任务的调度配置信息设置定时任务，当到达设置的定时任务执行时间时，调度模块8会将任务提交到jobworker中进行执行；任务的每次执行都会有运行状态，其中包含了等待运行，运行中，运行成功，运行失败；其中所有未满足运行周期且周期内尚未运行过的任务皆为等待运行状态；已经提交到jobworker中执行的任务状态为运行中状态；已经运行成功的任务状态为运行成功；运行失败且包含重试之后运行失败的任务状态为运行失败；任务状态检索模块10会每隔30s检索一次任务状态，并实时记录；若当前任务运行失败，调度模块8会根据用户配置的重试次数对失败任务进行重试操作；若当前任务运行成功，调度模块8会对任务依赖模块3发出指令，获取所有依赖当前任务且调度方式配置为自动调度的所有任务，并开始执行；调度模块8会循环执行，直至每一个任务依赖链条中的任务执行至任务链的末尾任务完成，从而完成任务调度管理。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种hadoop大数据平台的任务调度管理系统，包括权限模块(1)、任务检索模块(2)、任务依赖模块(3)、调度检索模块(4)、任务合规检查模块(5)、调度模块(8)、报警模块(9)和任务状态检索模块(10)，其特征在于：所述权限模块(1)与任务检索模块(2)通过信号连接，所述任务检索模块(2)与调度检索模块(4)通过信号连接，所述调度检索模块(4)与任务合规检查模块(5)通过信号连接，所述任务合规检查模块(5)与调度模块(8)通过信号连接，所述调度模块(8)分别与任务状态检索模块(10)和任务依赖模块(3)通过信号连接，所述任务状态检索模块(10)与报警模块(9)通过信号连接。

2.一种hadoop大数据平台的任务调度管理系统的方法，包括如下步骤：步骤一，获取权限；步骤二，任务检索；步骤三，任务展示；步骤四，调度检索；步骤五，任务合规检查；步骤六，任务调度；步骤七，任务安全报警；步骤八，任务运行；其特征在于：

其中在上述的步骤一中，用户登录平台后，进入任务调度功能，新建任务调度，权限模块(1)获取用户权限，获取用户权限下所属的任务标识ID信息；

其中在上述的步骤二中，用户可以选取权限下所属的某一任务，任务检索模块(2)会根据用户所选的任务获取任务所有信息，并展示给当前用户；

其中在上述的步骤三中，让用户确认当前所选任务是正确的，用户可以使用搜索框输入要依赖的任务的名称，任务检索模块(2)会根据用户输入获取依赖任务的所有信息，依赖任务会根据任务检索模块(2)向用户展示依赖任务的名称，类型，所有者信息，用于确认搜索的依赖任务是期望的；

其中在上述的步骤四中，同时还会根据输入的任务名称，调用调度检索模块(4)，获取当前名称的任务的调度信息，包括运行周期，上级依赖，调度表达式，任务调度状态，用户可以根据依赖任务的调度信息决定当前任务的调度信息；

其中在上述的步骤五中，用户确认依赖任务后，可以选择对任务进行依赖，会触发任务合规检查模块(5)对依赖关系进行检查，此操作会触发依赖环检查模块(6)，检查当前任务与依赖任务以及依赖任务所依赖的任务是否存在环关系，若存在环关系，可能会导致任务的死循环，依赖环检查模块(6)主要是通过使用拓扑排序的方式检查任务依赖关系，若存在环关系，提示用户依赖关系中存在环关系，并提示存在环关系的任务依赖名称，调度配置无法继续进行，死循环会导致所有在环中的任务出现死循环的错误，导致任务无法运行成功，若不存在环关系，用户可以继续进行调度配置操作，配置任务调度的信息；

其中在上述的步骤六中，配置任务调度的信息，可以选择两种方式对任务进行调度：方式一：手动配置执行，用户需要配置任务运行的周期，以及配置频率表达式，使用这种方法任务不会根据前置依赖任务的运行时间来进行自动运行，而是根据用户配置的调度信息来执行，调度配置方式一会触发任务合规检查模块(5)中的手动运行设置调度合理性检查模块(7)，手动运行设置调度合理性检查模块(7)会检查用户选择的依赖任务的运行周期，调度信息，与用户手动填写的调度配置信息进行对比，可能存在两种情况：情况一：手动配置的运行时间早于前置依赖任务的结束时间，可能会造成依赖无效，因为前置任务未完成的情况下当前任务就会执行，无法获取依赖任务所计算的数据结果，这种情况下会提示用户调度配置与依赖任务存在不合规匹配，提示用户重新配置，用户重新手动配置后依然会重复执行，直至用户配置的信息正确，情况二：手动配置的运行时间晚于前置任务依赖任务的结束时间，且时间差较大，这种情况会造成资源的浪费以及时间的过度等待，会提示用户调整调度信息或选择自动调度，若用户不进行修改依然可进行下一步操作；方式二：自动调度，用户可以在设置调度信息时，可以选择根据依赖任务进行自动调度，这种情况下调度模块(8)会记录任务的依赖关系，当前置任务完成时，自动执行后续对此前置任务依赖的任务；用户可以选择设置任务失败之后的重试次数，以确保任务在出错的情况下，调度模块(8)会根据用户设置的重试次数对任务进行重试运行；

其中在上述步骤七中，用户可以配置报警信息，报警信息由报警模块(9)提供，用户点击提交任务调度信息，调度模块(8)会保存当前任务的调度信息，任务依赖模块(3)则保存任务的依赖关系，报警模块(9)保存用户的报警相关信息；

其中在上述步骤八中，调度模块(8)会根据任务的调度配置信息设置定时任务，当到达设置的定时任务执行时间时，调度模块(8)会将任务提交到jobworker中进行执行；任务的每次执行都会有运行状态，其中包含了等待运行，运行中，运行成功，运行失败；其中所有未满足运行周期且周期内尚未运行过的任务皆为等待运行状态；已经提交到jobworker中执行的任务状态为运行中状态；已经运行成功的任务状态为运行成功；运行失败且包含重试之后运行失败的任务状态为运行失败；任务状态检索模块(10)会每隔一段时间检索一次任务状态，并实时记录；若当前任务运行失败，调度模块(8)会根据用户配置的重试次数对失败任务进行重试操作；若当前任务运行成功，调度模块(8)会对任务依赖模块(3)发出指令，获取所有依赖当前任务且调度方式配置为自动调度的所有任务，并开始执行；调度模块(8)会循环执行，直至每一个任务依赖链条中的任务执行至任务链的末尾任务完成，从而完成任务调度管理。

3.根据权利要求1所述的一种hadoop大数据平台的任务调度管理系统，其特征在于：所述任务合规检查模块(5)包含依赖环检查模块(6)和手动运行设置调度合理性检查模块(7)。

4.根据权利要求2所述的一种hadoop大数据平台的任务调度管理系统的方法，其特征在于：所述步骤七中，用户可以设置两种报警方式，邮件报警以及短信报警，选择对应的报警方式需要提供接收报警信息的联系方式。

5.根据权利要求2所述的一种hadoop大数据平台的任务调度管理系统的方法，其特征在于：所述任务状态检索模块(10)的检索周期为30s一次。

Images