CN111124806A - 一种基于分布式调度任务的设备状态实时监测方法及系统 - Google Patents

Abstract

本公开提出了一种基于分布式调度任务的设备状态实时监测方法及系统，包括：接收设备关键故障部位的监测信息并传输至实时数据库；调度中心实现任务的分配和调度，作业执行器分布于不同的机器，调度中心根据配置的任务分配策略来分配每一个机器上的作业执行器执行的任务及执行时间；执行器通过实时数据库获取设备监测需要的数据，然后，对数据进行处理，计算出设备当前的运行状态。本公开主要是通过将定时任务调度，拆分成调度中心和执行器个两部分来提高调度任务的并发率，提高定时调度的执行效率，来确保设备的状态可以被实时监测，将设备的状态变化检测精确到秒级，进一步提高设备监测的实时性和准确性。

Description

一种基于分布式调度任务的设备状态实时监测方法及系统

技术领域

本公开涉及设备实时监测技术领域，特别是涉及一种基于分布式调度任务的设备状态实时监测方法及系统。

背景技术

为了对设备的工作或运行状态进行及时的监控，针对的设备是已经添加了监控点的电厂运行设备。对设备本身没有特殊要求，仅仅需要在设备上添加相应状态传感器。

发明人在研究中发现，现有的设备监控系统对于设备状态的监测一般做法是通过定时任务，直接处理业务逻辑，业务逻辑和定时任务调度器耦合在一起。使得后期随着业务的拓展，整个任务调度器的压力不断增大，以至于，无法在期望的时间内完成任务，最终导致整个设备监测系统崩溃。

发明内容

本说明书实施方式的目的是提供一种基于分布式调度任务的设备状态实时监测方法，将业务逻辑和调度引擎解耦合，便于调度任务的管理和业务逻辑的拓展、变更，提高了整个设备监督系统的整体稳定性和对复杂系统监督逻辑的适应能力。

本说明书实施方式提供一种基于分布式调度任务的设备状态实时监测方法，通过以下技术方案实现：

包括：

接收设备关键故障部位的监测信息并传输至实时数据库；

调度中心实现任务的分配和调度，作业执行器分布于不同的机器，调度中心根据配置的任务分配策略来分配每一个机器上的作业执行器执行的任务及执行时间；

执行器通过实时数据库获取设备监测需要的数据，然后，对数据进行处理，计算出设备当前的运行状态。

进一步的技术方案，调度中心启动并且接收执行器注册和根据配置的执行器地址挂载调度任务执行器；

执行器注册到调度中心之后，调度中心通过心跳服务确认执行器是否在线以及执行器的繁忙程度，以便于调度中心分配作业任务给执行器；

调度中心根据配置的调度策略选择符合规则的执行器，然后向这个执行器发送调度请求；

执行器接到调度中心发送过来的调度请求，就向系统请求资源开启一个任务线程来执行这个调度任务。

进一步的技术方案，在调度任务执行过程中，日志信息通过RPC回写给调度中心，通过调度中心的日志服务来统一管理所有的调度任务的日志，以及调度任务的执行情况。

进一步的技术方案，执行器上的调度任务执行完毕之后，向调度中心发送执行完成的回掉消息，调度中心记录调度任务的执行情况。执行器上的任务线程在调度任务执行完成之后，则自动让出资源。

本说明书实施方式提供一种基于分布式调度任务的设备状态实时监测系统，通过以下技术方案实现：

包括：调度中心、作业执行器及实时数据库

所述实时数据库接收设备关键故障部位的监测信息；

所述调度中心实现任务的分配和调度，作业执行器分布于不同的机器，调度中心根据配置的任务分配策略来分配每一个机器上的作业执行器执行的任务及执行时间；

所述执行器通过实时数据库获取设备监测需要的数据，然后，对数据进行处理，计算出设备当前的运行状态。

与现有技术相比，本公开的有益效果是：

本公开主要是通过将定时任务调度，拆分成调度中心和执行器个两部分来提高调度任务的并发率，调度中心和执行器分别搭建在服务器上，提高定时调度的执行效率，来确保设备的状态可以被实时监测，将设备的状态变化检测精确到秒级，进一步提高设备监测的实时性和准确性。

将任务触法和任务执行分开，调度中心仅仅进行任务触法操作，每一个任务触法可以在毫秒级别，执行器负责执行具体业务逻辑。可以通过增加相应的服务器来横向扩展执行能力。

本公开将业务逻辑和调度引擎解耦合，便于调度任务的管理和业务逻辑的拓展、变更，提高了整个设备监督系统的整体稳定性和对复杂系统监督逻辑的适应能力。

将业务逻辑和调度引擎解耦合：将所有的任务触发操作当成消息进入消息队列，然后，将消息根据消息分发规则进行分发，最后通过远程过程调用执行对应的消息逻辑。

消息的触发和生成是调度引擎实现的，执行业务逻辑是执行器的实现的，解耦是消息队列和远程过程调用RPC实现的。

本公开可以动态拓展调度任务，管理在线任务。日志统一管理，便于问题收集和及时发现。提高调度性能，能够更快的发现设备问题，支持大量复杂设备的实时状态监控。为设备复杂计算逻辑提供性能支撑。便于日常维护管理。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1为本公开实施例子中调度中心及执行器的逻辑关系示意图；

图2为本公开实施例子中调度中心及执行器的连接关系示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例子一

该实施例公开了一种基于分布式调度任务的设备状态实时监测方法，为了更好的监测大量复杂设备的实时状态，采用分布式任务调度来将作业执行器独立出来，并且通过RPC技术将任务调度器和任务作业进行解耦，降低任务调度器的业务处理压力，并且可以做到随着业务的拓展，任务作业可以水平平拓展。

参见附图1所示，分布式调度任务是由一个分布式调度器(调度中心)和一系列的作业执行器组成的。分布式调度器(调度中心)是基于OpenSymphony开源组织的Quartz开源项目实现的。其主要功能是实现任务的分配和调度。作业执行器是基于著名开源java框架Spring来实现的具体设备监测任务作业，负责完成数据获取、数据清洗、数据筛选、数据整合处理、状态判断、异常报警等具体的任务作业。并且，作业执行器可以分布于不同的服务器，具体到每一个机器上的作业执行器执行什么任务，什么时候执行，需要由分布式调度器(调度中心)根据配置的任务分配策略来分配。

上述任务是一个逻辑包。就是一个完成的逻辑。可以是分析某种设备的某一个故障。

整个分布式调度任务的工作流程是：

1、调度中心启动并且接收执行器注册(被动)和根据配置的执行器地址挂载调度任务执行器(主动)；

2、执行器注册到调度中心之后，调度中心通过心跳服务确认执行器是否在线以及执行器的繁忙程度，以便于调度中心分配作业任务给执行器。

3、调度中心根据配置的调度策略(一致性哈希、故障转移、忙碌转移、分片广播等)选择符合规则的执行器，然后向这个执行器发送调度请求。

4、执行器接到调度中心发送过来的调度请求，就向系统请求资源开启一个任务线程来执行这个调度任务。

5、在调度任务执行过程中，日志信息通过RPC回写给调度中心，通过调度中心的日志服务来统一管理所有的调度任务的日志，以及调度任务的执行情况。

6、执行器上的调度任务执行完毕之后，向调度中心发送执行完成的回掉消息，调度中心记录调度任务的执行情况。执行器上的任务线程在调度任务执行完成之后，则自动让出资源。

整个分布式调度任务的物理分布拓扑如图2所示，执行原理quarzt集群是基于数据库的，所以，不同的quartz执行引擎做集群需要使用同一个数据库。调度中心是封装的quartz，所以，不同的调度中心做引擎使用的也是同一个数据库。每一个调度中心将调度定时任务分配给已经注册到本调度中心的执行器上去执行。

基于上面的分布式调度任务来完成设备的实时状态检测的基本步骤如下：

步骤一：整理分析需要实时状态监督的设备。

步骤二：将设备进行拆解，拆解成不可再拆解的最小故障部位。

步骤三：按照故障部位发生故障对设备运行状态的影响将故障部位分成关键故障部位和非关键故障部位；

步骤四：在设备的关键故障部位安装传感器；对于非关键的部位需要满足多个信息条件或者仅仅记录不报警。

具体的，对于非关键部位，监控的方式是一样的只是程度不一样。比如一个设备分为3个模块，每个模块有十多个部位，针对每一个部位有多个判断条件。关键故障部位只要有异常就报警，非关键的部位可能要多个或者仅仅记录不报警，也就是敏感度不一致。

步骤五：将设备上传感器获取到的数据接入实时数据库，确保数据可以实时接入，并且能及时存档，确保数据不会丢失。

步骤六：在调度中心配置设备监测调度任务，并给任务设置具体的执行时间和执行频率。

步骤七：调度中心将设备监测调度任务分配给执行器。

同类型不同执行器可以并行，理论上是按照时序顺序执行。不同任务类型执行器互不干扰。均是取数据库，先取缓存数据库redis，然后是关系型数据库，结果数据最终存关系数据库中。

执行器从实时数据库中获取设备监测需要的数据，然后，对数据进行处理，根据配置的规则计算出设备当前的运行状态。

在一实际例子中，比如汽轮机，可以将汽轮机拆分成气缸、进气部分、滑销系统等，然后进气部分又分成各种进气管，进气口等，最小的就是某个监控点，比如进气口的温度、震动、压力等。有些是直接影响其工作的，可以定义为关键参数，有些不直接影响定义为非关键参数。

然后监督各种参数的实时状态数据。

添加规则，如温度超过X并且压力小于Y并且震动大于M时定义为异常状态。数据为实时数据。

然后调度中心就生成相应的判断任务，发送给执行器。执行器收到命令之后，就会根据配置的逻辑条件实时检查。一旦出现符合条件的情况，就会报警。

本申请与现有技术的重要不同点在于：1、增加配置中心即服务注册中心，主要用于服务的注册和发现。这个就是说执行器的注册和发现，执行器统一注册到Zookeeper中。通过Zookeeper的服务发现能力，快速定位执行器，然后通过Zookeeper的协调能力处理调度中心和执行器的关系。确保服务的可靠性和协调性。可靠性是指某一个执行器挂掉之后，同类的执行器可以继续执行，确保服务执行。协调性是如果一个任务是分片任务，可以根据分片规则均衡压力，并行执行。

2、执行器工作单一化，仅仅用于逻辑实现。负责具体的数据转换，或者状态判断等业务逻辑。其他的辅助功能，如日志、服务时间统计、逻辑执行分析等都在调度中心统一处理。提高分析对比和资源协调分配的能力，同时降低执行器复杂度，使其可以专注于逻辑处理。

实施例子二

本说明书实施方式提供一种基于分布式调度任务的设备状态实时监测系统，通过以下技术方案实现：参见附图2所示，包括：调度中心、作业执行器及实时数据库；

所述实时数据库接收设备关键故障部位的监测信息；

所述调度中心实现任务的分配和调度，作业执行器分布于不同的机器，调度中心根据配置的任务分配策略来分配每一个机器上的作业执行器执行的任务及执行时间；

所述执行器通过实时数据库获取设备监测需要的数据，然后，对数据进行处理，计算出设备当前的运行状态。

该实施例子中的具体实现过程可参见实施例子一的具体描述，此处不再进行说明。

可以理解的是，在本说明书的描述中，参考术语“一实施例”、“另一实施例”、“其他实施例”、或“第一实施例～第N实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料的特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于分布式调度任务的设备状态实时监测方法，其特征是，包括：

接收设备关键故障部位的监测信息并传输至实时数据库；

调度中心实现任务的分配和调度，作业执行器分布于不同的机器，调度中心根据配置的任务分配策略来分配每一个机器上的作业执行器执行的任务及执行时间；

执行器通过实时数据库获取设备监测需要的数据，然后，对数据进行处理，计算出设备当前的运行状态。

2.如权利要求1所述的一种基于分布式调度任务的设备状态实时监测方法，其特征是，调度中心启动并且接收执行器注册和根据配置的执行器地址挂载调度任务执行器；

执行器注册到调度中心之后，调度中心通过心跳服务确认执行器是否在线以及执行器的繁忙程度，以便于调度中心分配作业任务给执行器；

调度中心根据配置的调度策略选择符合规则的执行器，然后向这个执行器发送调度请求；

执行器接到调度中心发送过来的调度请求，就向系统请求资源开启一个任务线程来执行这个调度任务。

3.如权利要求1所述的一种基于分布式调度任务的设备状态实时监测方法，其特征是，在调度任务执行过程中，日志信息通过RPC回写给调度中心，通过调度中心的日志服务来统一管理所有的调度任务的日志，以及调度任务的执行情况。

4.如权利要求1所述的一种基于分布式调度任务的设备状态实时监测方法，其特征是，执行器上的调度任务执行完毕之后，向调度中心发送执行完成的回掉消息，调度中心记录调度任务的执行情况，执行器上的任务线程在调度任务执行完成之后，则自动让出资源。

5.如权利要求1所述的一种基于分布式调度任务的设备状态实时监测方法，其特征是，对于非关键的部位需要满足多个信息条件或者仅仅记录不报警。

6.如权利要求1所述的一种基于分布式调度任务的设备状态实时监测方法，其特征是，同类型不同执行器可以并行，不同任务类型执行器互不干扰。

7.如权利要求6所述的一种基于分布式调度任务的设备状态实时监测方法，其特征是，不同任务类型执行器先取缓存数据库redis，然后是关系型数据库，结果数据最终存关系数据库中。

8.如权利要求6所述的一种基于分布式调度任务的设备状态实时监测方法，其特征是，执行器从数据库中获取设备监测需要的数据，然后，对数据进行处理，根据配置的规则计算出设备当前的运行状态。

9.一种基于分布式调度任务的设备状态实时监测系统，其特征是，包括：调度中心、作业执行器及实时数据库；

所述实时数据库接收设备关键故障部位的监测信息；

所述调度中心实现任务的分配和调度，作业执行器分布于不同的机器，调度中心根据配置的任务分配策略来分配每一个机器上的作业执行器执行的任务及执行时间；

所述执行器通过实时数据库获取设备监测需要的数据，然后，对数据进行处理，计算出设备当前的运行状态。

10.如权利要求9所述的一种基于分布式调度任务的设备状态实时监测系统，其特征是，调度中心启动并且接收执行器注册和根据配置的执行器地址挂载调度任务执行器；

执行器注册到调度中心之后，调度中心通过心跳服务确认执行器是否在线以及执行器的繁忙程度，以便于调度中心分配作业任务给执行器；

调度中心根据配置的调度策略选择符合规则的执行器，然后向这个执行器发送调度请求；

执行器接到调度中心发送过来的调度请求，就向系统请求资源开启一个任务线程来执行这个调度任务。

Images