CN118034886A - 一种大数据平台调度管理方法和系统 - Google Patents

Abstract

本发明涉及数据处理技术领域，尤其是一种大数据平台调度管理方法和系统。该系统由四个模块组成：调度服务模块、实例管理模块、回溯与参数配置模块、以及策略管理模块。调度服务模块用于执行不同频率的触发调度，以适应多样化的数据处理需求。实例管理模块控制并发执行的任务调度实例，并提供实例执行情况的监控与管理。回溯与参数配置模块使任务能够进行回溯处理，并管理调度任务中的变量和参数。策略管理模块则管理执行优先级和任务失败的处理策略。此系统的设计可以增强大数据平台的调度能力，确保高效和稳定的数据处理流程。

Description

一种大数据平台调度管理方法和系统

技术领域

本发明涉及数据处理技术领域，尤其是一种大数据平台调度管理方法和系统。

背景技术

随着大数据技术的迅速发展，企业内部数据量急剧膨胀，数据处理的复杂性不断上升，数据调度和数据治理的重要性愈加突显。

目前市场上的调度平台和数据治理平台多为独立部署和执行的系统。虽然存在多种开源的调度工具，但这些工具往往难以适应快速变化的业务需求，尤其是在大型企业环境中，其功能的局限性逐渐凸显，例如，企业往往需要将多种工具组合使用，以满足复杂的业务场景。这不仅增加了工具间耦合性，提高了维护难度，并导致数据调度效率低下。

发明内容

本发明的目的是提供一种大数据平台调度管理系统，提高调度效率。

本发明提供的基础方案：一种大数据平台调度管理系统，包括调度服务模块、实例管理模块、回溯与参数配置模块、策略管理模块；所述调度服务模块，用于实现不同频率的触发调度；所述实例管理模块，用于控制任务调度实例的并发执行，并提供监控和管理调度实例的执行情况；所述回溯与参数配置模块，用于实现任务回溯处理和管理调度任务中变量与参数的设置；所述策略管理模块，管理任务的执行优先级以及任务失败时的处理。

本发明的实现原理与有益效果：调度服务模块，能够根据不同的频率触发任务调度，从而适应多样化的业务场景；实例管理模块提供并发执行的控制和监控，确保任务按计划执行；回溯与参数配置模块让用户可以回溯处理任务并管理任务中的变量与参数，以适应动态变化的业务需求；策略管理模块则优化了任务执行的优先级和失败时的处理策略，提高了调度系统的整体稳定性和可靠性。因此，本发明可以提高调度任务的效率和准确性。

进一步，所述调度服务模块的调度频率类型包括CRONTAB表达式、固定间隔、指定日期时间单次及手动触发。

本方案的有益效果为：通过支持这些不同的调度频率类型，系统能够适应各种不同的业务场景和需求。

进一步，所述实例管理模块基于任务依赖性和资源限制动态调整实例并发度；所述实例管理模块还使用甘特图对调度实例进行监控。

本方案的有益效果为：通过动态调整实例的并发度，系统能够根据当前的资源可用性和任务之间的依赖关系分配和优化资源使用，从而提升整体的任务执行效率和减少等待时间。使用甘特图对调度实例进行监控能够提供直观的视图，使管理员能够清楚地看到每个任务的进度、持续时间以及它们之间的依赖关系。

进一步，所述回溯与参数配置模块包括回溯单元，所述回溯单元按照指定时间周期进行任务回溯。

本方案的有益效果为：通过任务回溯功能，系统可以重新处理过去某个时间点的数据或任务，增强了系统处理历史数据和纠正过去错误的能力。

进一步，所述回溯与参数配置模块还包括参数配置单元，所述参数配置单元用于静态变量和动态变量的配置。

本方案的有益效果为：参数配置单元让用户可以配置静态和动态变量，使得系统可以更灵活地处理各种任务。静态变量为那些不经常改变的设置提供了稳定性，而动态变量则允许系统根据当前的执行环境或任务的特定条件自动调整变量值，可以提高任务执行的效率和准确性。

进一步，所述策略管理模块包括优先级策略管理单元，所述优先级策略管理单元基于任务的下游依赖数量自动调整任务优先级，实现下游优先策略。

本方案的有益效果为：通过基于任务的下游依赖数量自动调整任务优先级，实现下游优先策略，优化任务执行顺序，确保关键任务的及时完成。

进一步，所述策略管理模块还包括任务失败策略管理单元，所述任务失败策略管理单元用于定义任务失败时的处理策略，所述处理策略包括忽略失败继续执行下游任务、终止所有相关任务、挂起调度以及重试或通知相关负责人。

本方案的有益效果为：通过任务失败策略管理单元提供更加灵活和全面的错误处理机制，增强了调度系统的可靠性。

本发明还公开一种大数据平台调度管理方法，包括以下步骤：

实现任务的定时和触发调度，其中调度方式包括CRONTAB表达式、固定间隔、指定日期时间单次及手动触发；

控制任务调度的并发执行，并根据任务依赖性和资源限制动态调整并发度，同时监控执行情况；

执行任务回溯处理，并进行调度任务中变量与参数的设置和管理，包括按照指定时间周期进行任务回溯，以及基于调度上下文动态计算变量值。

还包括管理任务执行优先级和失败时的处理策略，其中，所述任务优先级根据任务的下游依赖数量自动调整任务优先级；所述任务失败时的处理策略，包括忽略失败、终止任务、挂起调度或重试及通知相关负责人。

还包括提供可视化监控，其中监控方式可包括使用甘特图来展示任务执行情况。

附图说明

图1为一种大数据平台调度管理系统的系统架构图；

图2为一种大数据平台调度管理系统的甘特图。

具体实施方式

下面通过具体实施方式进一步详细说明：

实施例一

如图1所示的一种大数据平台调度管理系统，包括调度服务模块、实例管理模块、回溯与参数配置模块、策略管理模块。其中，调度服务模块，用于实现不同频率的触发调度；实例管理模块，控制任务调度实例的并发执行，并提供监控和管理调度实例的执行情况；回溯与参数配置模块，实现任务回溯处理和调度任务中变量与参数的设置管理；策略管理模块，管理任务的执行优先级和失败时的处理策略。

本实施例中，调度服务模块的调度频率类型包括CRONTAB表达式、固定间隔、指定日期时间单次调度及手动触发。

CRONTAB表达式类似于Linux服务器CRONTAB功能，用户可以准确地定义任务执行的时间点，如每天、每周或每月的特定时间；固定间隔调度则适用于需要按固定时间间隔执行的任务，比如在上次调度任务完成后的固定时间间隔后自动启动下一次任务；指定日期时间单次调度类似于Linux服务器的AT命令，可以实现在特定时间点运行一次的任务；而手动触发则为用户提供了即时启动任务的功能，适合上线测试或紧急情况下的使用。通过多样化的调度选项使得系统能够处理定期和预测性的任务，也能灵活应对突发和特殊情况，提高整个系统的效能和响应能力。

本实施例中的实例管理模块基于任务依赖性和资源限制动态调整实例并发度，用户可以设置每个调度实例的并发度，即在同一时间内可以并行执行的调度实例的数量。

调度实例是指根据调度规则生成的每一次具体的调度操作。例如，使用CRONTAB表达式“0 0 * * *”设定的调度将在每天生成一个新的调度实例。实例并发度配置的目的是为了控制同时运行的任务数量，确保系统资源得到有效利用，同时避免因资源过载或依赖任务未完成而导致的性能问题。通过合理配置实例的并发度，可以防止在上一个调度实例尚未执行完成时，下一个调度实例就开始执行的情况。

此外，实例管理模块还使用甘特图对调度实例进行监控，如图2所示。通过甘特图，用户能够清晰地看到每个任务的开始时间、结束时间，以及任务之间的依赖关系。此外，甘特图还使得监控过程中的异常情况变得一目了然，如任务延迟或过长的执行时间等。

本实施例中的回溯与参数配置模块包括回溯单元，回溯单元按照指定时间周期进行任务回溯。回溯与参数配置模块还包括参数配置单元，参数配置单元用于静态变量和动态变量的配置，动态变量的配置基于当前调度状态动态地计算变量值。

回溯单元让系统可以回顾并重新执行过去某个时间点的任务，及时修复过去的错误、应对数据变更。例如，如果发现过去某一周的数据处理存在问题，用户可以简单地设置该周为回溯周期，系统将自动重新处理该周期内的所有任务。对于并行回溯操作，用户还可以指定并发度，即在同一时间内可以同时回溯的任务数量。通过回溯处理，可以确保数据的一致性和准确性。

在变量和参数管理方面，参数配置单元可以用于静态变量配置和动态变量配置。静态变量适用于在调度过程中保持不变的设置，常见的包括但不限于诸如T-1的日期（即昨天的日期）、月末月初、周末周初等特定时间的值。这些变量的值通常根据调度频率的时间来计算，使得任务可以针对这些特定的时间点进行调整或执行。而动态变量则可以根据当前调度的状态动态地计算和调整。类似于Spring Boot中的spel表达式，用户可以定义复杂的表达式来计算变量值。参数配置单元可以设置各种变量和参数，并将这些设置应用到该调度下的所有任务中。在实际应用场景中，这些参数和变量通常是应用于一些下属任务中变值的情况，如对数据库的链接、调整特定产品的编号等。

本实施例中的策略管理模块包括优先级策略管理单元，优先级策略管理单元基于任务的下游依赖数量自动调整任务优先级，实现下游优先策略。策略管理模块还包括任务失败策略管理单元，任务失败策略管理单元用于定义任务失败时的处理策略，处理策略包括忽略失败继续执行下游任务、终止所有相关任务、挂起调度以及重试或通知相关负责人。

优先级策略管理单元可以基于每个任务的下游依赖数量，自动调整任务的执行优先级，即下游总计的任务数越多，优先级越高。这种“下游优先”的策略是可以确保关键任务及时完成，从而避免因关键任务延误而影响整个工作流程的效率。

任务失败策略管理单元提供了任务失败时的处理策略。例如：在任务失败时配置为忽略错误并继续执行后续的下游任务；或者，可以选择终止所有相关的上下游任务，防止错误进一步传播。在某些情况下，还可以挂起整个调度过程或重试失败的任务。此外，还可以配置为在任务失败时通知相关负责人，确保及时的干预和问题解决。

在本实施例中，大数据平台调度管理系统还包括调度权限管理，用于根据需要配置对调度任务的访问和操作权限。调度权限管理确保系统中不同用户和角色能够按需访问和管理调度任务，同时防止未授权的访问和操作，增强了系统的安全性和数据保护能力。

实施例二

本实施例与实施例一的不同之处在于，本实施例中优先级策略管理单元不仅考虑任务的下游依赖数量，还结合过去的日志数据来评估每个任务的紧急程度和对整体工作流的影响。

通过分析历史日志文件，确定任务的执行模式和时间敏感性。例如，某些任务可能在特定时间段内频繁执行，或在特定事件后紧急执行。使用机器学习模型来分析日志数据，并根据任务的历史执行频率、执行结果的影响力以及任务间的相关性，为每个任务分配一个“重要性评分”。结合下游依赖数量和重要性评分，计算出一个综合优先级分数。在分配任务时，不仅考虑下游依赖的数量，还考虑任务的紧迫性和对业务流程的潜在影响。随着新日志的生成和历史数据的累积，定期更新机器学习模型，以反映最新的业务情况和任务重要性。

本实施例中的优先级策略更加智能化，不仅响应下游依赖的静态结构，而且能够预测和适应不断变化的业务需求和任务紧迫度，有助于保证关键任务的及时完成，并优化整个工作流的效率和响应性。

以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (10)

1.一种大数据平台调度管理系统，其特征在于，包括调度服务模块、实例管理模块、回溯与参数配置模块、策略管理模块；所述调度服务模块，用于实现不同频率的触发调度；所述实例管理模块，用于控制任务调度实例的并发执行，并提供监控和管理调度实例的执行情况；所述回溯与参数配置模块，用于实现任务回溯处理和管理调度任务中变量与参数的设置；所述策略管理模块，管理任务的执行优先级以及任务失败时的处理。

2.根据权利要求1所述的大数据平台调度管理系统，其特征在于，所述调度服务模块的调度频率类型包括CRONTAB表达式、固定间隔、指定日期时间单次及手动触发。

3.根据权利要求2所述的大数据平台调度管理系统，其特征在于，所述实例管理模块基于任务依赖性和资源限制动态调整实例并发度；所述实例管理模块还使用甘特图对调度实例进行监控。

4.根据权利要求1所述的大数据平台调度管理系统，其特征在于，所述回溯与参数配置模块包括回溯单元，所述回溯单元按照指定时间周期进行任务回溯。

5.根据权利要求1所述的大数据平台调度管理系统，其特征在于，所述回溯与参数配置模块还包括参数配置单元，所述参数配置单元用于静态变量和动态变量的配置。

6.根据权利要求1所述的大数据平台调度管理系统，其特征在于，所述策略管理模块包括优先级策略管理单元，所述优先级策略管理单元基于任务的下游依赖数量自动调整任务优先级，实现下游优先策略。

7.根据权利要求1所述的大数据平台调度管理系统，其特征在于，所述策略管理模块还包括任务失败策略管理单元，所述任务失败策略管理单元用于定义任务失败时的处理策略，所述处理策略包括忽略失败继续执行下游任务、终止所有相关任务、挂起调度以及重试或通知相关负责人。

8.一种大数据平台调度管理方法，其特征在于，包括以下步骤：

实现任务的定时和触发调度，其中调度方式包括CRONTAB表达式、固定间隔、指定日期时间单次及手动触发；

控制任务调度的并发执行，并根据任务依赖性和资源限制动态调整并发度，同时监控执行情况；

执行任务回溯处理，并进行调度任务中变量与参数的设置和管理，包括按照指定时间周期进行任务回溯，以及基于调度上下文动态计算变量值。

9.根据权利要求8所述的大数据平台调度管理方法，其特征在于，还包括管理任务执行优先级和失败时的处理策略，其中，所述任务优先级根据任务的下游依赖数量自动调整任务优先级；所述任务失败时的处理策略，包括忽略失败、终止任务、挂起调度或重试及通知相关负责人。

10.根据权利要求9所述的大数据平台调度管理方法，其特征在于，还包括提供可视化监控，其中监控方式可包括使用甘特图来展示任务执行情况。