CN106780149A - 一种基于定时任务调度的设备实时监测系统 - Google Patents
一种基于定时任务调度的设备实时监测系统 Download PDFInfo
- Publication number
- CN106780149A CN106780149A CN201611257835.0A CN201611257835A CN106780149A CN 106780149 A CN106780149 A CN 106780149A CN 201611257835 A CN201611257835 A CN 201611257835A CN 106780149 A CN106780149 A CN 106780149A
- Authority
- CN
- China
- Prior art keywords
- data
- timed task
- task scheduling
- acquisition unit
- data acquisition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 238000012546 transfer Methods 0.000 claims abstract description 3
- 230000008569 process Effects 0.000 claims description 9
- 239000010453 quartz Substances 0.000 claims description 5
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims 1
- 230000001960 triggered effect Effects 0.000 abstract description 2
- 241001269238 Data Species 0.000 abstract 1
- 230000003993 interaction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
Abstract
本发明属于核电站设备可靠性系统定时调度任务技术领域，具体涉及一种基于定时任务调度的设备实时监测系统，目的在于实现多个多源数据访问、定时处理任务和处理过程定制化，建立多台服务器集群化运行。其特征在于：它包括定时任务调度引擎、业务逻辑处理器和数据采集器；数据采集器将不同的数据源上的实时数据采集过来，将采集过来的数据进行数据清洗和格式转换，最终转化成可以处理的格式统一的数据，将处理好的数据传递给业务逻辑处理器；业务逻辑处理器接收到数据之后，根据配置的或者固化到代码中的业务逻辑处理这些数据；数据处理完成之后，再将数据发送给数据采集器，由数据采集器将这些数据写入到指定的数据库中。
Description
技术领域
本发明属于核电站设备可靠性系统定时调度任务技术领域，具体涉及一种基于定时任务调度的设备实时监测系统。
背景技术
在电厂的监测数据展示方面，由于需要处理的是实时的数据流，并且有时数据量比较大。需要实时展示设备参数的状态，而参数状态的判断以及渲染处理需要消耗大量的系统资源，导致页面在展示的时候经常卡顿，导致用户体验不佳。
如果使用调度服务在后台处理数据，将参数的状态以及相关的运算，在后台进行预处理，直接在前台展示结果，会提高页面的展示速度。但是，在集团级层面上，将会涉及多个电站的计算机系统。在多个计算机系统中，不同软件供应商的产品差异巨大，导致数据的汇集处理复杂。需要使用多个调度程序，分别处理汇总、统一到一个地方，然后再进行处理。整个处理过程环节比较多，处理复杂，数据结果延时较长，不适用于实时性要求比较高的数据处理。
发明内容
本发明目的在于提出一种基于定时任务调度的设备实时监测系统，可以实现多个多源数据访问、定时处理任务和处理过程定制化，建立多台服务器集群化运行。
本发明是这样实现的：
一种基于定时任务调度的设备实时监测系统，包括定时任务调度引擎、业务逻辑处理器和数据采集器；数据采集器将不同的数据源上的实时数据采集过来，将采集过来的数据进行数据清洗和格式转换，最终转化成可以处理的格式统一的数据，将处理好的数据传递给业务逻辑处理器；业务逻辑处理器接收到数据之后，根据配置的或者固化到代码中的业务逻辑处理这些数据；数据处理完成之后，再将数据发送给数据采集器，由数据采集器将这些数据写入到指定的数据库中。
如上所述的定时任务调度引擎采用terracotta的quartz来处理定时任务的调度。
如上所述的数据采集器为专门和数据库交互的组件，用于将从不同数据库中读取的数据归集到一起，然后进行数据清洗。
如上所述的数据清洗的步骤为：
步骤1：将不同类型的数据转换成相同类型的数据；
步骤2：筛选需要的数据；
步骤3：数据去重。
如上所述的数据采集器还用于将处理完成的数据归集到一起，然后写入到数据库中。
如上所述的业务逻辑处理器用于处理业务逻辑。
如上所述的业务逻辑是固化到代码中的，或使用简单的代码表述业务逻辑处理过程。
本发明的有益效果是：
本发明可以降低后台处理程序的复杂程度，减轻运维工作量。同时，提高页面的展示速度，提升数据处理的能力。具体如下：
1.便于集团化大型项目的数据处理，支持多数据源、海量实时数据处理。特别是多个数据源格式不一致，可以是存储方式不一致也可以是数据格式本身就不一致。
2.提升预处理的能力，降低页面操作后台处理的复杂程度，提升页面的展示效率，以助于提升用户体验。
3.集群化使得多进程与多线程同时生效，充分利用多核心多计算机的计算能力，使得后台计算量更大，计算速度更快。
附图说明
图1是本发明的一种基于定时任务调度的设备实时监测系统的结构原理图；
图2是本发明的一种基于定时任务调度的设备实时监测系统的定时任务调度引擎配置后的系统架构图。
具体实施方式
下面结合附图和实施例对本发明进行进一步描述。
本发明使用的基于调度任务的设备实时状态检测系统可以分成三个部分，包括：1.定时任务调度引擎采用quartz-scheduler实现；2.业务逻辑处理器——处理特殊的业务逻辑；3.数据采集器——数据采集、清洗以及持久化。各个部分的逻辑组成关系是，首先需要使用数据采集器，将不同的数据源上的实时数据采集过来，然后，将采集过来的数据进行数据清洗，格式转换，最终转化成可以处理的格式统一的数据，将处理好的数据传递给下一个环节业务逻辑处理器。业务逻辑处理器拿到数据之后，根据配置的(或者固化到代码中的)业务逻辑处理这些数据。数据处理完成之后，再将数据交给数据采集器，由数据采集器将这些数据写入到指定的数据库中去，如图1所示。
定时任务调度引擎：
采用terracotta的quartz来处理定时任务的调度。首先，需要将quartz嵌入你的应用，这个可以参考官方的文档(http://www.quartz-scheduler.org/documentation/quartz-2.2.x/quick-start.html#quartz-quick-start-guide)。如果需要处理的数据量比较大，调度任务分配的很多，一个调度程序单机完全无法处理，那么，可以考虑使用其提供的集群功能。只需要在配置文件中配置一个使用集群的参数，然后，将集群内的机器时间同步在误差1s以内就可以直接运行相同配置的quartz实例了。配置后的实例架构参考图2。
数据采集器：
数据采集器是专门和数据库交互的组件，主要负责从不同数据库中的数据读取归集到一起，然后，进行数据清洗。数据清洗的步骤：1、将不同类型的数据转换成相同类型的，比如，将字符型、浮点型、整数型统一转化成字符型数据处理。具体需要怎样转换，需要根据具体的业务需求来确定，以方便后面的数据处理。2、筛选需要的数据。将读取过来的数据进行分析，判断甄选保留需要的数据，将不需要的数据以及质量不好的数据过滤掉，以免其对后面数据处理的精度造成不良影响。3、数据去重。将重复的数据删除，防止重复处理同一条数据。在采集数据的时候，可能会在不同的地方存在同样的一条数据，经过前面的两步之后就可以判断这两条数据是否一致，一旦发现存在相同的数据，则将这样的数据忽略(删除)。
数据采集器的另外一个功能就是将处理完成的数据归集到一起，然后写入到数据中心数据库中去，以便于后续使用。
业务逻辑处理器：
业务逻辑处理器主要用于处理业务逻辑，这个业务逻辑可以是固化到代码中的，也可以使用简单的代码表述业务逻辑处理过程，即通过配置少量的代码，来完成比较复杂的逻辑，这样可以比较灵活的配置业务逻辑。
本发明的数据处理流程如下：1.业务逻辑处理器接受在数据采集器传递过来的数据，根据数据特征获取对应的业务逻辑处理配置。2.获取到对应的特殊配置或者使用默认配置，并将对应的配置加载到内存中。3.解析这些业务逻辑(可能是配置的简单的规则，也可以是配置的简单的js代码)，可以使用对应的解析器去解析。如果是简单的规则配置可以直接使用代码解析，如果是使用javascript语言表述的比较复杂的逻辑则需要使用javascript的解析器来解析这些规则。4.执行业务逻辑规则配置的代码，来对数据进行处理。5.将这些处理完成的数据回写到数据采集器，通过数据采集器回写到数据中心数据库。完整的数据处理流程参见图2。
上面结合实施例对本发明的实施方法作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。本发明说明书中未作详细描述的内容均可以采用现有技术。
Claims (7)
1.一种基于定时任务调度的设备实时监测系统，其特征在于：它包括定时任务调度引擎、业务逻辑处理器和数据采集器；数据采集器将不同的数据源上的实时数据采集过来，将采集过来的数据进行数据清洗和格式转换，最终转化成可以处理的格式统一的数据，将处理好的数据传递给业务逻辑处理器；业务逻辑处理器接收到数据之后，根据配置的或者固化到代码中的业务逻辑处理这些数据；数据处理完成之后，再将数据发送给数据采集器，由数据采集器将这些数据写入到指定的数据库中。
2.根据权利要求1所述的基于定时任务调度的设备实时监测系统，其特征在于：所述的定时任务调度引擎采用terracotta的quartz来处理定时任务的调度。
3.根据权利要求1所述的基于定时任务调度的设备实时监测系统，其特征在于：所述的数据采集器为专门和数据库交互的组件，用于将从不同数据库中的数据读取归集到一起，然后进行数据清洗。
4.根据权利要求3所述的基于定时任务调度的设备实时监测系统，其特征在于：所述的数据清洗的步骤为：
步骤1：将不同类型的数据转换成相同类型的数据；
步骤2：筛选需要的数据；
步骤3：数据去重。
5.根据权利要求1所述的基于定时任务调度的设备实时监测系统，其特征在于：所述的数据采集器还用于将处理完成的数据归集到一起，然后写入到数据库中。
6.根据权利要求1所述的基于定时任务调度的设备实时监测系统，其特征在于：所述的业务逻辑处理器用于处理业务逻辑。
7.根据权利要求6所述的基于定时任务调度的设备实时监测系统，其特征在于：所述的业务逻辑是固化到代码中的，或使用简单的代码表述业务逻辑处理过程。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611257835.0A CN106780149A (zh) | 2016-12-30 | 2016-12-30 | 一种基于定时任务调度的设备实时监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611257835.0A CN106780149A (zh) | 2016-12-30 | 2016-12-30 | 一种基于定时任务调度的设备实时监测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106780149A true CN106780149A (zh) | 2017-05-31 |
Family
ID=58953665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611257835.0A Pending CN106780149A (zh) | 2016-12-30 | 2016-12-30 | 一种基于定时任务调度的设备实时监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106780149A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107315839A (zh) * | 2017-07-17 | 2017-11-03 | 广东交通职业技术学院 | 一种教育资源数据采集方法 |
| CN107368576A (zh) * | 2017-07-17 | 2017-11-21 | 广东交通职业技术学院 | 一种教育资源数据采集系统 |
| CN107894919A (zh) * | 2017-11-30 | 2018-04-10 | 中国平安财产保险股份有限公司 | 定时任务触发方法、装置、设备及可读存储介质 |
| CN107944005A (zh) * | 2017-12-07 | 2018-04-20 | 北京能源集团有限责任公司 | 一种数据展示方法及装置 |
| CN109245937A (zh) * | 2018-10-08 | 2019-01-18 | 郑州云海信息技术有限公司 | 一种pim平台的告警方法及装置 |
| CN109597681A (zh) * | 2018-10-22 | 2019-04-09 | 平安科技（深圳）有限公司 | 云端控制方法、装置、计算机设备及存储介质 |
| CN109992388A (zh) * | 2019-04-08 | 2019-07-09 | 中国核动力研究设计院 | 一种用于核电厂安全级设备软件多任务管理系统 |
| CN110221905A (zh) * | 2019-05-22 | 2019-09-10 | 网联清算有限公司 | 定时任务监测方法、装置、系统、设备和存储介质 |
| CN111090268A (zh) * | 2020-03-24 | 2020-05-01 | 上海飞旗网络技术股份有限公司 | 基于线程划分的数据采集方法、装置及数据采集设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202058147U (zh) * | 2011-05-23 | 2011-11-30 | 北京六所和瑞科技发展有限公司 | 分布式实时数据库管理系统 |
| CN104391989A (zh) * | 2014-12-16 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种分布式etl一体机系统 |
| CN105760272A (zh) * | 2016-01-29 | 2016-07-13 | 山东鲁能智能技术有限公司 | 基于插件的监控后台业务定制方法及其系统 |
-
2016
- 2016-12-30 CN CN201611257835.0A patent/CN106780149A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202058147U (zh) * | 2011-05-23 | 2011-11-30 | 北京六所和瑞科技发展有限公司 | 分布式实时数据库管理系统 |
| CN104391989A (zh) * | 2014-12-16 | 2015-03-04 | 浪潮电子信息产业股份有限公司 | 一种分布式etl一体机系统 |
| CN105760272A (zh) * | 2016-01-29 | 2016-07-13 | 山东鲁能智能技术有限公司 | 基于插件的监控后台业务定制方法及其系统 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107368576A (zh) * | 2017-07-17 | 2017-11-21 | 广东交通职业技术学院 | 一种教育资源数据采集系统 |
| CN107315839A (zh) * | 2017-07-17 | 2017-11-03 | 广东交通职业技术学院 | 一种教育资源数据采集方法 |
| CN107894919A (zh) * | 2017-11-30 | 2018-04-10 | 中国平安财产保险股份有限公司 | 定时任务触发方法、装置、设备及可读存储介质 |
| CN107944005B (zh) * | 2017-12-07 | 2021-05-11 | 北京能源集团有限责任公司 | 一种数据展示方法及装置 |
| CN107944005A (zh) * | 2017-12-07 | 2018-04-20 | 北京能源集团有限责任公司 | 一种数据展示方法及装置 |
| CN109245937A (zh) * | 2018-10-08 | 2019-01-18 | 郑州云海信息技术有限公司 | 一种pim平台的告警方法及装置 |
| CN109245937B (zh) * | 2018-10-08 | 2022-03-25 | 郑州云海信息技术有限公司 | 一种pim平台的告警方法及装置 |
| CN109597681A (zh) * | 2018-10-22 | 2019-04-09 | 平安科技（深圳）有限公司 | 云端控制方法、装置、计算机设备及存储介质 |
| CN109992388A (zh) * | 2019-04-08 | 2019-07-09 | 中国核动力研究设计院 | 一种用于核电厂安全级设备软件多任务管理系统 |
| CN109992388B (zh) * | 2019-04-08 | 2021-04-13 | 中核控制系统工程有限公司 | 一种用于核电厂安全级设备软件多任务管理系统 |
| CN110221905B (zh) * | 2019-05-22 | 2022-02-18 | 网联清算有限公司 | 定时任务监测方法、装置、系统、设备和存储介质 |
| CN110221905A (zh) * | 2019-05-22 | 2019-09-10 | 网联清算有限公司 | 定时任务监测方法、装置、系统、设备和存储介质 |
| CN111090268B (zh) * | 2020-03-24 | 2020-06-12 | 上海飞旗网络技术股份有限公司 | 基于线程划分的数据采集方法、装置及数据采集设备 |
| CN111090268A (zh) * | 2020-03-24 | 2020-05-01 | 上海飞旗网络技术股份有限公司 | 基于线程划分的数据采集方法、装置及数据采集设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106780149A (zh) | 一种基于定时任务调度的设备实时监测系统 | |
| CN105608223B (zh) | 针对kafka的Hbase数据库的入库方法和系统 | |
| CN108804630B (zh) | 一种面向行业应用的大数据智能分析服务系统 | |
| CN106897322A (zh) | 一种数据库和文件系统的访问方法和装置 | |
| CN108280023B (zh) | 任务执行方法、装置和服务器 | |
| CN109840298B (zh) | 大规模网络数据的多信息来源采集方法和系统 | |
| CN109753596B (zh) | 用于大规模网络数据采集的信源管理与配置方法和系统 | |
| CN111324445A (zh) | 一种任务调度模拟系统 | |
| CN108664635B (zh) | 数据库统计信息的获取方法、装置、设备和存储介质 | |
| CN111339071A (zh) | 一种多源异构数据的处理方法及装置 | |
| CN113360554B (zh) | 一种数据抽取、转换和加载etl的方法和设备 | |
| CN109815382B (zh) | 大规模网络数据的感知与获取方法和系统 | |
| CN102880509B (zh) | 基于cuda的格网数字高程模型邻域分析的系统和方法 | |
| CN113742298B (zh) | 一种机载二进制文件通用并行的解析方法、装置及电子设备 | |
| CN106383746A (zh) | 大数据处理系统的配置参数确定方法和装置 | |
| CN113741883B (zh) | 一种rpa轻量级数据中台系统 | |
| CN109190025A (zh) | 信息监控方法、装置、系统和计算机可读存储介质 | |
| CN114417408A (zh) | 数据处理方法、装置、设备以及存储介质 | |
| CN111814959A (zh) | 模型训练数据的处理方法、装置、系统和存储介质 | |
| CN105095255A (zh) | 一种数据索引创建方法及装置 | |
| CN111914013A (zh) | 基于pandas库与InfluxDB数据库的数据管理方法、系统、终端及介质 | |
| CN103488564A (zh) | 一种分布式实时测试系统多路测试数据压缩与归并方法 | |
| WO2020259155A1 (zh) | 一种生成告警数据报表的方法及装置 | |
| CN103049310A (zh) | 一种基于采样的多核模拟并行加速方法 | |
| Cascajo et al. | Performance-aware scheduling of parallel applications on non-dedicated clusters |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170531 |
|
| RJ01 | Rejection of invention patent application after publication |