CN105071994A - 一种海量数据监控系统 - Google Patents

一种海量数据监控系统 Download PDF

Info

Publication number
CN105071994A
CN105071994A CN201510534232.XA CN201510534232A CN105071994A CN 105071994 A CN105071994 A CN 105071994A CN 201510534232 A CN201510534232 A CN 201510534232A CN 105071994 A CN105071994 A CN 105071994A
Authority
CN
China
Prior art keywords
data
real
cluster
scada
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510534232.XA
Other languages
English (en)
Other versions
CN105071994B (zh
Inventor
王建章
余海溶
罗开明
康振全
张新坡
张妮
张航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Xuji Group Co Ltd
State Grid Hubei Electric Power Co Ltd
Xuchang XJ Software Technology Co Ltd
Original Assignee
State Grid Corp of China SGCC
Xuji Group Co Ltd
Xuchang XJ Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Xuji Group Co Ltd, Xuchang XJ Software Technology Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201510534232.XA priority Critical patent/CN105071994B/zh
Publication of CN105071994A publication Critical patent/CN105071994A/zh
Application granted granted Critical
Publication of CN105071994B publication Critical patent/CN105071994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明涉及一种海量数据监控系统，为多级集群架构，包括分成若干个分区的数据源、前置机集群、SCADA集群、操作员工作站和用于连接操作员工作站与SCADA集群的通信网络，基于数据源的每个分区，在前置机集群中相应的建立有前置机集群节点，在SCADA集群中相应的建立有SCADA集群节点，每个数据源的分区跟相应的前置机集群节点、SCADA集群节点形成一个单独的数据处理通道。本发明基于分区集群技术的海量数据监控系统，解决了行业应用中因数据量大而带来的数据采集监控难度较大的问题，实现了数据的分布式并行采集处理，提高了数据监控系统的数据处理容量、提升了数据处理速度、极大地扩展了系统的应用范围。

Description

一种海量数据监控系统
技术领域
本发明涉及软件工程领域及工控管理领域，尤其涉及一种基于分区集群技术的海量数据监控系统。
背景技术
随着计算机和信息技术的迅猛发展，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。面对动辄达到数百TB甚至数十上百PB规模的行业或者企业大数据，传统的计算机技术和信息系统的处理能力已经远远不能够满足。分区集群技术对海量数据的获取和处理呈现出了无可比拟的优势，具有良好的可扩展性、高度的可用性、负载平衡性和并行运算高效性等特点，非常适合于海量数据的处理。
现阶段对海量数据的处理中，往往是仅采用集群技术，而且其集群技术多没有出现分级集群的处理。
上述实施方式中，有效的解决了系统管理大规模数据的问题，但对于海量数据的采集和监控问题，没有给出较好的处理方案，因此，亟需一种方案来解决这一问题。
发明内容
本发明的目的是提供一种基于分区集群技术的海量数据监控系统，实现对海量数据的并行处理，用以解决行业应用中海量数据采集和监控难度大的问题。
为实现上述目的，本发明的方案包括：
一种海量数据监控系统，为多级集群架构，包括分成若干个分区的数据源、前置机集群、SCADA集群、操作员工作站和用于连接操作员工作站与SCADA集群的通信网络，基于数据源的每个分区，在前置机集群中相应的建立有前置机集群节点，在SCADA集群中相应的建立有SCADA集群节点，每个数据源的分区跟相应的前置机集群节点、SCADA集群节点形成一个单独的数据处理通道，其中前置机集群直接采集数据源的数据，SCADA集群访问前置机集群获取数据。
进一步的，一个数据处理通道中，前置机集群的一个节点中设置有一个前置处理服务模块；SCADA集群的一个节点中，设有一个数据处理服务模块、实时态实时数据库，以及一个用于访问所述实时态实时数据库的实时库访问服务模块。
进一步的，一个数据处理通道中，在前置集群的一个节点中设有两个前置处理服务模块，在SCADA集群的一个节点中相应的设有两个数据处理服务模块、两个实时态实时数据库、两个仿真态实时数据库和两个控制服务模块，一个用于访问实时态实时数据库的实时库访问服务模块。
进一步的，工作员站中设有用于访问SCADA集群节点中实时库访问服务模块的实时库访问客户端。
进一步的，SCADA集群中每一个节点中并行于实时态实时数据库还设有一个仿真态实时数据库，设有一个用于访问仿真态实时数据库的控制服务模块，在每一个操作员工作站中设有访问一个用于访问SCADA集群节点中控制服务模块的控制客户端。
优选的，通信网络是高速数据总线。
进一步的，在通信网络与SCADA集群直接设有实时数据库路由，实时库路由连接有节点状态库。
进一步的，海量数据监控系统还包括连接在通信网络上用于访问SCADA集群的应用集群节点。
本发明基于分区集群技术的海量数据监控系统，解决了行业应用中因数据量大而带来的数据采集监控难度较大的问题，实现了数据的分布式并行采集处理，从数据源到前置采集再到后台实时处理，都是一个单独的数据处理通道，充分解决了数据的并发性，提高了数据监控系统的数据处理容量、提升了数据处理速度、极大地扩展了系统的应用范围。
并且，系统具有仿真态实时数据库，能够满足高级应用进行非实时态数据分析研究系统能够。充分的保证系统数据的并发性处理，加快了数据的采集和处理速度。
同时，该数据监控系统具备数据冗余性，在保证数据采集快速性的同时还保证了可靠性。另外，系统增加的应用集群，满足高级应用对海量数据监控系统的需求。
附图说明
图1是海量数据监控系统的框图；
图2是具有仿真分析功能的海量数据监控系统框图；
图3是具有冗余和仿真分析功能的海量数据监控系统框图；
图4是分布式实时库访问机制原理框图。
具体实施方式
下面结合附图对本发明做进一步详细的说明。
海量数据监控系统实施例1
基于分区集群技术的海量数据监控系统，将所要采集的海量数据源进行分区，然后采用集群技术构建前置机集群、SCADA集群、工作员站集群三级集群架构，实现对海量数据的并行采集和监控处理。
具体的，如图1所示，采用三台前置集群服务器，三台SCADA集群处理服务器，两台操作工作员站，九个用于分区的数据模拟源。此处，采用九个数据模拟源代替真实的数据源来完成海量数据监控系统的搭建，具体的是按照一定的物理及逻辑意义将九个数据模拟源分为三个数据源分区，如图1所示，数据模拟源1、2、3分为数据源分区A，数据模拟源4、5、6分为数据源分区B，数据模拟源7、8、9分为数据源分区C。
三台前置集群服务器分别对应于三个数据源分区A、B、C，每个前置集群节点中都设置有一个前置处理服务模块，如图1所示，前置集群节点A中的前置处理服务模块1采集数据源分区A中的三个数据模拟源的数据；前置集群节点B中的前置处理服务模块2采集数据源分区B中的三个数据模拟源的数据；前置集群节点C中的前置处理服务模块3采集数据源分区C中的三个数据模拟源的数据。这样，每个数据源分区的数据都是通过单独的前置处理服务模块进行处理的，不但保证了数据的并行处理，同时还保证了数据采集的快速性。
前置机集群节点采集到的数据经过前置处理后送到相应SCADA集群节点的数据处理服务单元，数据处理服务单元将数据处理完毕后直接传输到可靠的数据总线上或者送入实时数据库中以供实时库访问服务模块访问。从图1中可以看出，每个SCADA节点中都具有一个单独的实时数据处理服务模块，用以对应于每个前置集群节点中的前置处理服务模块，从而保证了数据从数据源到前置采集再到后台实时处理，都是一个单独的数据处理通道，充分的解决了数据的并发性。相应的，每个SCADA集群节点中每个数据处理服务模块还配置了一套实时态实时数据库，以供高级应用进行实时态数据分析研究。进一步的，每个SCADA集群节点中，配备了一套实时库访问服务模块用于访问SCADA集群节点中的实时态实时数据库，以对外提供数据访问接口和控制操作。
从图1中可以看出，海量数据监控系统设置了两个操作员工作站，操作员工作站与SCADA集群节点之间通过可靠的数据总线来提供消息数据总线服务。操作员工作站中配备了实时库访问客户端，用以访问SCADA集群节点的实时库访问服务模块，读取实时数据库的数据，以满足高级应用分析的需求。
进一步的，可靠的高速数据总线上还连接有用于访问SCADA集群的高级应用集群，以满足高级应用需求。应用集群里的高级应用对数据的时效性要求可能会比较高，为此系统还提供了一条特别通道，数据处理服务可以直接抛送熟数据到数据总线，然后提供给高级应用，这样就保证了数据的时效性，高级应用下面还配有独立的实时库，并对外提供单独的实时库访问服务。
作为其他实施方式，通信网络还可以是其他通信线，如以太网线、RS485线等。
海量数据监控系统实施例2
上述实施例给出了海量数据监控系统的一种实施方式，作为其他实施方式，如图2所示，在SCADA集群的每一个节点中对应于实时态实时数据库还并行的设有一个仿真态实时数据库。同时，在SCADA集群的节点中还设有用于访问仿真态实时库的控制服务模块，在每个操作员工作站中设有用于访问SCADA集群节点中控制服务模块的控制客户端。这样，就实现了上层的高级应用进行非实时态数据分析研究，对系统做出一些趋势性的预测。
海量数据监控系统实施例3
上述实施例给出了海量数据监控系统并行采集和处理数据的实施方式，作为其他实施方式，海量数据监控系统还具有冗余功能。如图3所示，在前置集群的每个节点中，相应于原有前置处理服务模块并行的设置有另外一个前置处理服务模块，在SCADA集群的每个节点中也并行的设有另外一个数据处理服务模块、实时态实时数据库、仿真态实时数据库和控制服务模块。如图3所示，在前置集群节点A中设有前置处理服务模块1和前置处理服务模块2，前置处理服务模块1采集数据源的分区A，前置处理服务模块2采集数据源的分区B；在前置集群节点B中设有前置处理服务模块2和前置处理服务模块3，前置处理服务模块2采集数据源的分区B，前置处理服务模块3采集数据源的分区C；在前置集群节点C中设有前置处理服务模块1和前置处理服务模块3，前置处理服务模块1采集数据源的分区A，前置处理服务模块3采集数据源的分区C；这样可以保证每个数据源的分区在同一时间被两个前置集群节点前置处理服务模块处理，形成实时热备用，实现对数据的冗余处理。
由于实时库都是分布式的，所以在海量数据监控系统中设置了一套分布式实时库访问机制。具体的，如图2所示，Rtdbrouter(实时库访问路由)每个连接SCADA集群节点的仿真态实时数据库和实时态实时数据库，通过节点状态库对Rtdbrouter的控制，Rtdbrouter向上通过消息总线连接到RtdbrouterClient，RtdbrouterClient则向上连接到Xbrowser。
以上给出了本发明具体的实施方式，但本发明不局限于所描述的实施方式。在本发明给出的思路下，采用对本领域技术人员而言容易想到的方式对上述实施例中的技术手段进行变换、替换、修改，并且起到的作用与本发明中的相应技术手段基本相同、实现的发明目的也基本相同，这样形成的技术方案是对上述实施例进行微调形成的，这种技术方案仍落入本发明的保护范围内。

Claims (8)

1.一种海量数据监控系统，其特征在于，海量数据监控系统为多级集群架构，包括分成若干个分区的数据源、前置机集群、SCADA集群、操作员工作站和用于连接操作员工作站与SCADA集群的通信网络，基于数据源的每个分区，在前置机集群中相应的建立有前置机集群节点，在SCADA集群中相应的建立有SCADA集群节点，每个数据源的分区跟相应的前置机集群节点、SCADA集群节点形成一个单独的数据处理通道，其中前置机集群直接采集数据源的数据，SCADA集群访问前置机集群获取数据。
2.根据权利要求1所述的一种海量数据监控系统，其特征在于，一个数据处理通道中，前置机集群的一个节点中设置有一个前置处理服务模块；SCADA集群的一个节点中，设有一个数据处理服务模块、实时态实时数据库，以及一个用于访问所述实时态实时数据库的实时库访问服务模块，其中前置处理服务模块直接采集数据源数据后传输到数据处理服务模块进行再次加工，加工完成的数据存入到实时数据库中供实时库访问服务模块访问调用。
3.根据权利要求1所述的一种海量数据监控系统，其特征在于，一个数据处理通道中，在前置集群的一个节点中设有两个前置处理服务模块，在SCADA集群的一个节点中相应的设有两个数据处理服务模块、两个实时态实时数据库、两个仿真态实时数据库和两个控制服务模块，一个用于访问实时态实时数据库的实时库访问服务模块，上述的一个处理通道为冗余架构，其中前置处理服务模块直接采集数据源数据后传输到数据处理服务模块进行再次加工，加工完成的数据存入到实时数据库中供实时库访问服务模块访问调用。
4.根据权利要求1所述的一种海量数据监控系统，其特征在于，所述工作员站中设有用于访问SCADA集群节点中实时库访问服务模块的实时库访问客户端。
5.根据权利要求2或3所述的一种海量数据监控系统，其特征在于，所述SCADA集群中每一个节点中并行于实时态实时数据库还设有一个仿真态实时数据库，设有一个用于访问仿真态实时数据库的控制服务模块，在每一个操作员工作站中设有访问一个用于访问SCADA集群节点中控制服务模块的控制客户端。
6.根据权利要求1所述的一种海量数据监控系统，其特征在于，所述通信网络是高速数据总线。
7.根据权利要求1所述的一种海量数据监控系统，其特征在于，在通信网络与SCADA集群直接设有实时数据库路由，实时库路由连接有节点状态库。
8.根据权利要求1所述的一种海量数据监控系统，其特征在于，所述海量数据监控系统还包括连接在通信网络上用于访问SCADA集群的应用集群节点。
CN201510534232.XA 2015-08-27 2015-08-27 一种海量数据监控系统 Active CN105071994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510534232.XA CN105071994B (zh) 2015-08-27 2015-08-27 一种海量数据监控系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510534232.XA CN105071994B (zh) 2015-08-27 2015-08-27 一种海量数据监控系统

Publications (2)

Publication Number Publication Date
CN105071994A true CN105071994A (zh) 2015-11-18
CN105071994B CN105071994B (zh) 2018-08-03

Family

ID=54501281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510534232.XA Active CN105071994B (zh) 2015-08-27 2015-08-27 一种海量数据监控系统

Country Status (1)

Country Link
CN (1) CN105071994B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106230664A (zh) * 2016-09-08 2016-12-14 国电南瑞科技股份有限公司 调度主站前置机状态异常监测及自恢复方法
CN106445991A (zh) * 2016-06-30 2017-02-22 中国石化销售有限公司 加气站scada系统海量数据处理方法
CN107870946A (zh) * 2016-09-28 2018-04-03 北京京东尚科信息技术有限公司 实时数据动态连接方法和装置
CN109508354A (zh) * 2018-09-25 2019-03-22 许继集团有限公司 一种并行处理系统
CN109886041A (zh) * 2019-01-30 2019-06-14 新奥数能科技有限公司 实时数据的采集方法及装置
CN112241472A (zh) * 2020-08-26 2021-01-19 帝杰曼科技股份有限公司 一种用于大数据状态监控系统
CN112260398A (zh) * 2020-09-18 2021-01-22 许继集团有限公司 一种支持动态扩展的电网监控系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427252A (zh) * 2010-10-28 2012-04-25 上海市电力公司 电动汽车充放电监控系统
CN103246497A (zh) * 2013-04-19 2013-08-14 国家电网公司 一种基于数据划分的实时数据并行处理方法
CN103618671A (zh) * 2013-11-20 2014-03-05 国家电网公司 大规模数据采集业务多组分发系统及其分发方法
CN104301244A (zh) * 2014-10-22 2015-01-21 许继电气股份有限公司 一种大型配电网系统的集群通讯系统和方法
CN104580482A (zh) * 2015-01-16 2015-04-29 国家电网公司 一种基于用电信息采集系统前置机的数据实时传输方法
CN104573948A (zh) * 2014-12-30 2015-04-29 国家电网公司 基于分布式计算的配网拓扑分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427252A (zh) * 2010-10-28 2012-04-25 上海市电力公司 电动汽车充放电监控系统
CN103246497A (zh) * 2013-04-19 2013-08-14 国家电网公司 一种基于数据划分的实时数据并行处理方法
CN103618671A (zh) * 2013-11-20 2014-03-05 国家电网公司 大规模数据采集业务多组分发系统及其分发方法
CN104301244A (zh) * 2014-10-22 2015-01-21 许继电气股份有限公司 一种大型配电网系统的集群通讯系统和方法
CN104573948A (zh) * 2014-12-30 2015-04-29 国家电网公司 基于分布式计算的配网拓扑分析方法
CN104580482A (zh) * 2015-01-16 2015-04-29 国家电网公司 一种基于用电信息采集系统前置机的数据实时传输方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445991A (zh) * 2016-06-30 2017-02-22 中国石化销售有限公司 加气站scada系统海量数据处理方法
CN106445991B (zh) * 2016-06-30 2019-03-08 中国石化销售有限公司 加气站scada系统海量数据处理方法
CN106230664A (zh) * 2016-09-08 2016-12-14 国电南瑞科技股份有限公司 调度主站前置机状态异常监测及自恢复方法
CN106230664B (zh) * 2016-09-08 2020-02-04 国电南瑞科技股份有限公司 调度主站前置机状态异常监测及自恢复方法
CN107870946A (zh) * 2016-09-28 2018-04-03 北京京东尚科信息技术有限公司 实时数据动态连接方法和装置
CN109508354A (zh) * 2018-09-25 2019-03-22 许继集团有限公司 一种并行处理系统
CN109886041A (zh) * 2019-01-30 2019-06-14 新奥数能科技有限公司 实时数据的采集方法及装置
CN109886041B (zh) * 2019-01-30 2021-09-24 新奥数能科技有限公司 实时数据的采集方法及装置
CN112241472A (zh) * 2020-08-26 2021-01-19 帝杰曼科技股份有限公司 一种用于大数据状态监控系统
CN112241472B (zh) * 2020-08-26 2023-03-28 帝杰曼科技股份有限公司 一种用于大数据状态监控系统
CN112260398A (zh) * 2020-09-18 2021-01-22 许继集团有限公司 一种支持动态扩展的电网监控系统
CN112260398B (zh) * 2020-09-18 2024-05-28 许继集团有限公司 一种支持动态扩展的电网监控系统

Also Published As

Publication number Publication date
CN105071994B (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
CN105071994A (zh) 一种海量数据监控系统
CN107330056B (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN103761309A (zh) 一种运营数据处理方法及系统
CN103473141A (zh) 一种带外查看及修改bios设置选项的方法
CN113176948B (zh) 边缘网关、边缘计算系统及其配置方法
CN102724313B (zh) 基于云计算的集群式桥梁运营安全监控系统
Ramprasad et al. Leveraging existing sensor networks as IoT devices for smart buildings
CN105760459A (zh) 一种分布式数据处理系统及方法
CN104391750A (zh) 一种基于软件定义的混合异构主机系统
CN103441878B (zh) Vcf网络中pe设备的归属处理方法及设备
CN105069702A (zh) 一种电网集成信息处理方法
CN106056322A (zh) 基于云计算的智能电网调度系统
CN112884164B (zh) 面向智能移动终端实现的联邦机器学习迁移方法与系统
CN104360980A (zh) 一种多平面分离式多分区计算机体系结构
CN109754076B (zh) 多核心类脑芯片
Lee et al. mIoTwins: design and evaluation of mIoT framework for private edge networks
CN105302276A (zh) 一种限制SmartRack整机柜功耗的设计方法
CN109508354A (zh) 一种并行处理系统
CN112860657B (zh) Tias系统实时数据库地址空间的构建方法及系统
US20230079205A1 (en) Computer system
TW202315360A (zh) 微服務分配方法、電子設備及儲存介質
CN107241445A (zh) 一种分布式服务器集群部署方法及系统
CN114004585A (zh) 一种电力用户数据管理系统
CN103118121A (zh) 一种高可用集群在虚拟化技术中的应用方法
CN110727686A (zh) 一种大数据块结构化存储方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160922

Address after: No. 1298 Xuchang City, Henan province 461000 XJ Avenue

Applicant after: Xuji Group Co., Ltd.

Applicant after: Xuchang Xuji Software Technology Co., Ltd.

Applicant after: State Grid Corporation of China

Applicant after: STATE GRID HUBEI ELECTRIC POWER COMPANY

Address before: No. 1298 Xuchang City, Henan province 461000 XJ Avenue

Applicant before: Xuji Group Co., Ltd.

Applicant before: State Grid Corporation of China

Applicant before: Xuchang Xuji Software Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant