CN111625414A - 一种数据转换整合软件的自动调度监控系统实现方法 - Google Patents

Abstract

本发明公开了一种数据转换整合软件的自动调度监控系统实现方法。本发明属于数据转换整合技术领域，该自动调度监控系统实现方法的具体工作过程：万级作业规模调度支持；高可用(HA)、分布式企业级特征；多级组织架构；强大的核心调度功能；全方位实时监控任务运行；灵活的人工干预维护；跨集群调用全链路监控；本发明实现了对数据整合系统任务集群级、跨区域级的全自动调度，能够对任务运行状态、调用链路进行监控和追踪。

Description

一种数据转换整合软件的自动调度监控系统实现方法

技术领域

本发明属于数据转换整合技术领域，特别是涉及一种数据转换整合软件的自动调度监控系统实现方法。

背景技术

数据调度自动化技术是大数据时代数据整合后台不可缺少的重要技术。数据是黄金，数据是整个社会乃各企业团体的重要资产，管好数据、用好数据是整个社会的重要命题。想要用好数据，首先就应该管好数据。而调度自动化技术，正是管好数据的重要保证。在众多大大小小数据仓库、数据集市以及各种各样的数据池子中，是批量调度自动化技术让大量数据的进出、存放、清洗、过滤、粗加工、细加工等各种各样的工作有序、高效的展开。没有批量调度自动化的数据管理、数据整合等ETL工作，就像一家大公司没有领导，所有工作必将变得紊乱、低效、失控。同时随着业务结构的逐渐复杂，面对着跨区域的数据交换的需求，单集群的数据调度自动化已经不能够完全适应，但是跨区域的调度必然会引入额外的问题，就是业务逻辑难以梳理，出现问题难以追踪。因此，如何对数据调度的进行一个全链路的追踪已经成为加强企业数据管理水平的必要能力。

当前许多国外的企业级数据集成领域中，主要技术包括Informatica公司研发Informatica Enterprise Data Integration、InfoSphere Information Server和东方通研发的数据集成平台。现有技术中缺乏对任务的全自动调度，或者调度往往局限于单节点中，缺乏分布式集群的任务调度和跨集群的调度链路监控。其非分布式架构，产品性能无法完全满足日益增长的数据集成需求，无法做到数据处理能力动态横向扩展。其缺乏全链路监控能力，使得数据跨区传输转化的流程纠缠不清，当异常发生时难以准确定位到异常所在的节点。

发明内容

为了解决上述问题；本发明提供一种基于数据转换整合软件的自动调度监控系统，实现对海量数据转换作业的分布式调度监控，以及跨区域的全链路监控分析。

本发明的技术方案是：一种数据转换整合软件的自动调度监控系统的实现方法，其步骤具体如下：

步骤1.1：自动调度监控系统开始进行工作，通过外部模块/系统向自动调度监控系统中的节点发送命令从而添加一个服务；

步骤1.2：节点在接收到发送的命令后将任务信息的服务记录到资源库，并在任务分配表中登记；

步骤1.3：各节点每隔1秒轮询一次，确认是否有新的等待执行的任务或其他节点过期未打开的任务；如轮询的结果是确认有新的等待执行的任务或其他节点过期未打开的任务，则进行抢占任务成功；

如未轮询到新的等待执行的任务或其他节点过期未打开的任务，则返回，从而继续进行轮询，直到轮询成功；

其中，当节点在轮询时发现可用任务则更新其节点ID与打卡时间；

步骤1.4：抢占任务成功后，则对节点采用读取任务；

步骤1.5：对节点采用读取任务信息后再执行该任务；

步骤1.6：执行任务后，该工作结束。

进一步的，步骤(1.4)中当抢占任务成功后，如节点出现异常，则返回至轮询阶段，继续进行轮询，确认是否有新的等待执行的任务或其他节点过期未打开的任务，直至异常的节点恢复正常，然后进行打卡，当打卡发现任务被抢占，则中断任务并退出。

进一步的，步骤(1.5)中所述执行任务的具体操作步骤如下：

1.5.1：执行任务开始后，确定执行任务的模式为定时启动或接口调用，通过调度容器生成运行ID，

1.5.2：生成运行ID后判断本次运行的任务是否通过接口调用启动，如是，则返回运行ID，再进行到下一步，获取主模块ID；如否，则直接进入下一步，获取主模块ID；；

1.5.3：获取该主模块ID后，通过主模块ID获取依赖模块列表；

1.5.4：从获取的依赖模块列表中获取主任务ID；

1.5.5：通过主任务ID获取依赖任务列表；

1.5.6：从依赖任务列表中获取所有的跟随任务，监测跟随任务是否并发，如是，则并发执行列表里的任务；如否，则顺序执行列表里的任务；

当跟随任务中的一个执行任务完成后，则保存该任务的执行状态；接着等待全部执行任务运行结束后，再进入下一步骤；

1.5.7：将执行结果入库，判断执行任务的启动模式是否为接口回调，如是，则调用回调接口传递执行状态，上述任务全部完成，任务结束；

如否，则上述任务直接全部完成，任务结束。

进一步的，步骤(1.5.1)中，每次执行任务运行都会生成集群唯一的ID来标识本次任务。

进一步的，步骤(1.5.2)中所述接口调用：是指一次超文本传输协议请求，将运行ID返回给调用方，调度集群会记录返回的运行ID，生成数据库记录，以供后续处理与追踪；

检查启动方式是否为定时启动或接口调用，如是定时启动，则根据模块执行时间和调度信息计算下次执行时间，并将下次执行时间写入数据库中；如是接口调用，则直接进入下一步骤。

进一步的，步骤(1.5.3)中，通过主模块ID获取增量信息，通过查询数据库获取该主模块ID的增量时间，并将增量时间存在在时间列表中。

进一步的，每个任务均有错误处理方式，如选择不处理错误，当错误发生时，则所有的任务将会继续执行；如果选择处理错误，则任务运行停止，且所有的任务停止执行；当一个子任务完成或者被停止，则数据库将会记录其运行状态。

本发明的有益效果：本发明所述的一种数据转换整合软件的自动调度监控系统的实现方法实现了数据转换整合系统的分布式调度监控，及跨域全链路追踪功能，满足了二十万级作业规模调度支持、高可用(HA)分布式企业级、多级组织架构业务需求；本发明实现了对数据整合系统任务集群级、跨区域级的全自动调度，能够对任务运行状态、调用链路进行监控和追踪。

附图说明

图1为本发明中一种数据转换整合软件的自动调度监控系统的实现方法的流程示意图；

图2为本发明一种数据转换整合软件的自动调度监控系统的实现方法中执行任务的流程示意图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明公开了一种数据转换整合软件的自动调度监控系统的实现方法，其步骤具体如下：

步骤1.1：自动调度监控系统开始进行工作，通过外部模块/系统向自动调度监控系统中的节点发送命令从而添加一个服务；

步骤1.2：节点在接收到发送的命令后将任务信息的服务记录到资源库，并在任务分配表中登记；

步骤1.3：各节点每隔1秒轮询一次，确认是否有新的等待执行的任务或其他节点过期未打开的任务；如轮询的结果是确认有新的等待执行的任务或其他节点过期未打开的任务，则进行抢占任务成功；

如未轮询到新的等待执行的任务或其他节点过期未打开的任务，则返回，从而继续进行轮询，直到轮询成功；

其中，当节点在轮询时发现可用任务则更新其节点ID与打卡时间；

步骤1.4：抢占任务成功后，则对节点采用读取任务；

步骤1.5：对节点采用读取任务信息后再执行该任务；

步骤1.6：执行任务后，该工作结束。

进一步的，步骤(1.4)中当抢占任务成功后，如节点出现异常，则返回至轮询阶段，继续进行轮询，确认是否有新的等待执行的任务或其他节点过期未打开的任务，直至异常的节点恢复正常，然后进行打卡，当打卡发现任务被抢占，则中断任务并退出。

进一步的，步骤(1.5)中所述执行任务的具体操作步骤如下：

1.5.1：执行任务开始后，确定执行任务的模式为定时启动或接口调用，通过调度容器生成运行ID，

1.5.2：生成运行ID后判断本次运行的任务是否通过接口调用启动，如是，则返回运行ID，再进行到下一步，获取主模块ID；如否，则直接进入下一步，获取主模块ID；；

1.5.3：获取该主模块ID后，通过主模块ID获取依赖模块列表；

1.5.4：从获取的依赖模块列表中获取主任务ID；

1.5.5：通过主任务ID获取依赖任务列表；

1.5.6：从依赖任务列表中获取所有的跟随任务，监测跟随任务是否并发，如是，则并发执行列表里的任务；如否，则顺序执行列表里的任务；

当跟随任务中的一个执行任务完成后，则保存该任务的执行状态；接着等待全部执行任务运行结束后，再进入下一步骤；

1.5.7：将执行结果入库，判断执行任务的启动模式是否为接口回调，如是，则调用回调接口传递执行状态，上述任务全部完成，任务结束；

如否，则上述任务直接全部完成，任务结束。

进一步的，步骤(1.5.1)中，每次执行任务运行都会生成集群唯一的ID来标识本次任务。

进一步的，步骤(1.5.2)中所述接口调用：是指一次超文本传输协议(http)请求，将运行ID返回给调用方，调度集群会记录返回的运行ID，生成数据库记录，以供后续处理与追踪；

检查启动方式是否为定时启动或接口调用，如是定时启动，则根据模块执行时间和调度信息计算下次执行时间，并将下次执行时间写入数据库中；如是接口调用，则直接进入下一步骤；

另外，所述的主模块ID即该模块不依赖其他模块，但可以被其他模块依赖。

进一步的，步骤(1.5.3)中，通过主模块ID获取增量信息，通过查询数据库获取该主模块ID的增量时间，并将增量时间存在在时间列表中。

进一步的，每个任务均有错误处理方式，如选择不处理错误，当错误发生时，则所有的任务将会继续执行；如果选择处理错误，则任务运行停止，且所有的任务停止执行；当一个子任务完成或者被停止，则数据库将会记录其运行状态。

本自动调度监控系统的研发，实现了数据转换整合系统的分布式调度监控，及跨域全链路追踪功能，满足了二十万级作业规模调度支持、高可用(HA)分布式企业级、多级组织架构业务需求；其作用在于：

具体包括万级作业规模调度支持；高可用(HA)、分布式企业级特征；多级组织架构；强大的核心调度功能；全方位实时监控任务运行；灵活的人工干预维护；跨集群调用全链路监控。

(1)、二十万级作业规模调度支持：

DS-SERVER从开始，就定位为企业级调度基础软件，能实现二十万级任务调度控制，能满足多种数据的调度规模需求；

(2)、高可用(HA)、分布式企业级特征：

为了保证本系统的高可用性、高扩展性，整个产品核心设计采用层级架构；通过"DS-SERVER(调度控制中心)"+"DMS(页面管理)"协调工作，完成各种复杂的调度控制，同时，通过数据库主备，实现高可用性的企业级系统特性；

调度服务DS-Server基础原理上采用对等引擎节点机制实现基于云架构的横向无缝扩容，通过系统的任务表进行多节点对等的执行任务抢占，各引擎节点使用Docker容器在云平台部署，Docker内的运行节点设计上对等运行可以按需增加减少，利用数据库行锁实现任务分配到节点的唯一性，抢占到执行任务后节点定期刷新打卡时间，一旦超过约定的间隔未刷新打卡时间，说明对应节点异常，此任务可被其它节点再次抢占；数据库通过虚拟IP与流复制同步实现热备；

如图1所述，运行过程主要如下：

步骤1.1：自动调度监控系统开始进行工作，通过外部模块/系统向自动调度监控系统中的节点发送命令从而添加一个服务；

步骤1.2：节点在接收到发送的命令后将任务信息的服务记录到资源库，并在任务分配表中登记；

步骤1.3：各节点每隔1秒轮询一次，确认是否有新的等待执行的任务或其他节点过期未打开的任务；如轮询的结果是确认有新的等待执行的任务或其他节点过期未打开的任务，则进行抢占任务成功；

如未轮询到新的等待执行的任务或其他节点过期未打开的任务，则返回，从而继续进行轮询，直到轮询成功；

其中，当节点在轮询时发现可用任务则更新其节点ID与打卡时间；

步骤1.4：抢占任务成功后，则对节点采用读取任务；

步骤1.5：对节点采用读取任务信息后再执行该任务；

步骤1.6：执行任务后，该工作结束。

(3)、多级组织架构：

系统任务信息是调度的核心信息，为了有效管理与控制这些信息，本系统通过任务、模块等多级体系来组织作业信息，使整个发布到的整个系统的任务信息结构更清晰、更易管理、更易控制；

各任务是本系统中可调度的最小粒度作业，各任务本身有定时配置，错误处理等；各任务之间是有依赖关系的，若任务B依赖任务A，任务C依赖任务B，这样这三个任务之间就是一种串行执行关系，只有当任务A执行完才会执行任务B，任务A我们称之为主任务；B、C为A的依赖任务，其中每个任务又由其子任务组成；

系统任务的集合(模块)是本系统中用来给子任务分类的可调度作业；此模块不是指系统上的什么模块；模块本身有定时配置，错误处理等；模块与模块之间也是有依赖关系的，若模块B依赖模块A，模块C依赖模块B，这样这三个模块之间也是一种串行执行关系，只有当模块A执行完才会执行模块B，模块A我们称之为主模块；

模块是用来给子任务分类的，子任务属于某个模块我们称之为任务跟随模块，执行模块即执行模块下的跟随任务；如果模块下有多个子任务，这时会根据模块本身的运行策略串行还是并行；

所谓并行是指多个子任务同时运行的情况，即若两个子任务的执行时间存在重叠，两个子任务同时运行的情况；串行则是指一个子任务必须等其前一个子任务执行完毕之后再执行的策略；

并行通过为每个请求创建一个新的线程来提供服务，从而实现更高的响应性；

串行最简单的策略就是在单个线程中串行地执行各项子任务；但串行处理机制通常都无法提供高吞吐率或快速响应性；

子任务是一组逻辑工作单元，而线程则是使子任务异步执行的机制；介绍了两种在线程中执行任务的策略，即把所有子任务放在单个线程中串行执行，以及将每个子任务放在各自的线程中执行；这两种方式都存在一些严格的限制：串行执行的问题在于其糟糕的响应性和吞吐量，而“为每个子任务都分配一个线程”的问题在于资源管理的复杂性；

各种执行策略都是一种资源管理工具，最佳策略取决于可用的计算资源以及对服务质量的需求；通过限制并发任务的数量，可以确保应用程序不会由于资源耗尽而失败，或者由于在稀缺资源发生竞争而严重影响性能；通过将任务的提交于任务的执行分离开来，有助于在部署阶段选择与可用硬件资源最匹配的执行策略；

(4)、强大的核心调度功能：

灵活的流程驱动：一个任务的开始，可以通过文件到达触发、自定义周期定时触发(n分钟、n小时、n天等)以及自定义事件触发等；

关系策略：可以实现任务之间的并行、串行、依赖控制；特别是依赖控制，本系统依赖机制，可以实现任务与任务，模块与模块的控制；

容错策略：可以实现任务与模块错误后自动重跑；

灵活的参数传递：用户可以通过定义增量参数来实现任务执行；

调度中心的核心元素是scheduler,trigger和job，其中trigger和job是任务调度的元数据，scheduler是实际执行调度的调度器；

(5)、全方位实时监控任务运行：

为了用户实时了解作业的运行状况，DMS整体采用实时刷新、图形、多角度多口径统计等方式对整个平台作业进行全方位监控，以便用户及时掌握哪些作业正在运行、错误原因、失败、警告等信息；

(6)、灵活的人工干预维护：

人工干预是自动调度系统必不可少的功能，用户可以通过人工操作实现任务的重跑；

(7)、跨集群调用全链路监控：

针对跨集群之间的调用做到全链路的监控，精准把握调用链路以及执行情况；

一个完整的调度流程可以通过以下两种方式来启动一种是在调度容器中定时启动，另外一种是通过接口调用来启动(其中手动调用、与外部集群都通过该方式来启动)。当已经注册的模块在调度容器中被启动，如图2所述，会有如下几个步骤：

1.5.1：执行任务开始后，确定执行任务的模式为定时启动或接口调用，通过调度容器生成运行ID，

1.5.2：生成运行ID后判断本次运行的任务是否通过接口调用启动，如是，则返回运行ID，再进行到下一步，获取主模块ID；如否，则直接进入下一步，获取主模块ID；；

1.5.3：获取该主模块ID后，通过主模块ID获取依赖模块列表；

1.5.4：从获取的依赖模块列表中获取主任务ID；

1.5.5：通过主任务ID获取依赖任务列表；

1.5.6：从依赖任务列表中获取所有的跟随任务，监测跟随任务是否并发，如是，则并发执行列表里的任务；如否，则顺序执行列表里的任务；

当跟随任务中的一个执行任务完成后，则保存该任务的执行状态；接着等待全部执行任务运行结束后，再进入下一步骤；

1.5.7：将执行结果入库，判断执行任务的启动模式是否为接口回调，如是，则调用回调接口传递执行状态，上述任务全部完成，任务结束；

如否，则上述任务直接全部完成，任务结束。

本系统系统支持云环境部署、跨域级联部署、分布式部署。

本系统的服务器配置：处理器32核，内存32GB，存储800GB，网络千兆带宽。

本发明实现了对数据整合系统任务集群级、跨区域级的全自动调度，能够对任务运行状态、调用链路进行监控和追踪。

最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；因此，作为示例而非限制，本发明实施例的替代配置可视为与本发明的教导一致；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims (7)

1.一种数据转换整合软件的自动调度监控系统的实现方法，其特征在于：其步骤具体如下：

步骤1.1：自动调度监控系统开始进行工作，通过外部模块/系统向自动调度监控系统中的节点发送命令从而添加一个服务；

步骤1.2：节点在接收到发送的命令后将任务信息的服务记录到资源库，并在任务分配表中登记；

步骤1.3：各节点每隔1秒轮询一次，确认是否有新的等待执行的任务或其他节点过期未打开的任务；如轮询的结果是确认有新的等待执行的任务或其他节点过期未打开的任务，则进行抢占任务成功；

如未轮询到新的等待执行的任务或其他节点过期未打开的任务，则返回，从而继续进行轮询，直到轮询成功；

其中，当节点在轮询时发现可用任务则更新其节点ID与打卡时间；

步骤1.4：抢占任务成功后，则对节点采用读取任务；

步骤1.5：对节点采用读取任务信息后再执行该任务；

步骤1.6：执行任务后，该工作结束。

2.根据权利要求1所述的一种数据转换整合软件的自动调度监控系统的实现方法，，其特征在于：步骤(1.4)中当抢占任务成功后，如节点出现异常，则返回至轮询阶段，继续进行轮询，确认是否有新的等待执行的任务或其他节点过期未打开的任务，直至异常的节点恢复正常，然后进行打卡，当打卡发现任务被抢占，则中断任务并退出。

3.根据权利要求1所述的一种数据转换整合软件的自动调度监控系统的实现方法，其特征在于：步骤(1.5)中所述执行任务的具体操作步骤如下：

1.5.1：执行任务开始后，确定执行任务的模式为定时启动或接口调用，通过调度容器生成运行ID，

1.5.2：生成运行ID后判断本次运行的任务是否通过接口调用启动，如是，则返回运行ID，再进行到下一步，获取主模块ID；如否，则直接进入下一步，获取主模块ID；；

1.5.3：获取该主模块ID后，通过主模块ID获取依赖模块列表；

1.5.4：从获取的依赖模块列表中获取主任务ID；

1.5.5：通过主任务ID获取依赖任务列表；

1.5.6：从依赖任务列表中获取所有的跟随任务，监测跟随任务是否并发，如是，则并发执行列表里的任务；如否，则顺序执行列表里的任务；

当跟随任务中的一个执行任务完成后，则保存该任务的执行状态；接着等待全部执行任务运行结束后，再进入下一步骤；

1.5.7：将执行结果入库，判断执行任务的启动模式是否为接口回调，如是，则调用回调接口传递执行状态，上述任务全部完成，任务结束；

如否，则上述任务直接全部完成，任务结束。

4.根据权利要求3所述的一种数据转换整合软件的自动调度监控系统的实现方法，其特征在于：步骤(1.5.1)中，每次执行任务运行都会生成集群唯一的ID来标识本次任务。

5.根据权利要求3所述的一种数据转换整合软件的自动调度监控系统的实现方法，其特征在于：步骤(1.5.2)中所述接口调用：是指一次超文本传输协议请求，将运行ID返回给调用方，调度集群会记录返回的运行ID，生成数据库记录，以供后续处理与追踪；

检查启动方式是否为定时启动或接口调用，如是定时启动，则根据模块执行时间和调度信息计算下次执行时间，并将下次执行时间写入数据库中；如是接口调用，则直接进入下一步骤。

6.根据权利要求3所述的一种数据转换整合软件的自动调度监控系统的实现方法，其特征在于：步骤(1.5.3)中，通过主模块ID获取增量信息，通过查询数据库获取该主模块ID的增量时间，并将增量时间存在在时间列表中。

7.根据权利要求3所述的一种数据转换整合软件的自动调度监控系统的实现方法，其特征在于：每个任务均有错误处理方式，如选择不处理错误，当错误发生时，则所有的任务将会继续执行；如果选择处理错误，则任务运行停止，且所有的任务停止执行；当一个子任务完成或者被停止，则数据库将会记录其运行状态。

Images