CN106445991B - 加气站scada系统海量数据处理方法 - Google Patents

加气站scada系统海量数据处理方法 Download PDF

Info

Publication number
CN106445991B
CN106445991B CN201610507202.4A CN201610507202A CN106445991B CN 106445991 B CN106445991 B CN 106445991B CN 201610507202 A CN201610507202 A CN 201610507202A CN 106445991 B CN106445991 B CN 106445991B
Authority
CN
China
Prior art keywords
data
server
gas station
station
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610507202.4A
Other languages
English (en)
Other versions
CN106445991A (zh
Inventor
沈青祁
王靓
赵锴
周金广
赵亮
晏祖泽
王林
唐顺武
许超
胥泽文
许延贺
易思安
李嘉清
朱建国
陈桂强
王万胜
谢涛
钟杰
罗奕
王凯
孙勇
李洪彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHONGQING ENDURANCE AUTOMATION TECHNOLOGY Co Ltd
Sinopec Sales Co Ltd
Sinopec Sales Co Ltd Chongqing Petroleum Branch
Sinopec Sales Co Ltd Jiangsu Petroleum Branch
Chongqing Endurance Industry Stock Co Ltd
Original Assignee
CHONGQING ENDURANCE AUTOMATION TECHNOLOGY Co Ltd
Sinopec Sales Co Ltd
Sinopec Sales Co Ltd Chongqing Petroleum Branch
Sinopec Sales Co Ltd Jiangsu Petroleum Branch
Chongqing Endurance Industry Stock Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CHONGQING ENDURANCE AUTOMATION TECHNOLOGY Co Ltd, Sinopec Sales Co Ltd, Sinopec Sales Co Ltd Chongqing Petroleum Branch, Sinopec Sales Co Ltd Jiangsu Petroleum Branch, Chongqing Endurance Industry Stock Co Ltd filed Critical CHONGQING ENDURANCE AUTOMATION TECHNOLOGY Co Ltd
Priority to CN201610507202.4A priority Critical patent/CN106445991B/zh
Publication of CN106445991A publication Critical patent/CN106445991A/zh
Application granted granted Critical
Publication of CN106445991B publication Critical patent/CN106445991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种加气站SCADA系统海量数据处理方法，通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，能提高对加气站海量监测数据的存储运行效率，满足海量数据的存储要求，同时对数据的查询方便，能多线程并行查询，可极大提高查询效率，且能方便的满足加气站数量的横向扩展。

Description

加气站SCADA系统海量数据处理方法
技术领域
本发明涉及一种数据处理方法，特别涉及一种加气站SCADA系统海量数据的存储查询方法。
背景技术
运用于加气站的SCADA系统，在数据处理方面对其有两个基本的需求：
1、由于加气站的数据采集点多，采集频率高，同时又需要保存相当长一段时间内所采集到设备工况历史数据，因此要求加气站SCADA系统能保存海量的设备工况历史数据。
2、由于用户需要随机的查询设备工况历史数据，因此要求加气站SCADA系统能对用户的查询请求提供尽可能快的响应。
但是现有的SCADA系统对加气站设备海量历史监测数据的存储、查询并不能满足用户的需求。
发明内容
有鉴于此，本发明的目的是提供一种加气站SCADA系统海量数据处理方法，以解决现有SCADA系统不能满足用户对加气站设备海量历史监测数据的存储、查询需求的技术问题。
本发明加气站SCADA系统海量数据处理方法，包括数据存储方法和数据查询方法；
所述数据存储方法包括以下步骤：
S1.通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，所述中心分布式数据存储集群包括多个主存储服务器和多个从存储服务器；
S2.将站级数据采集主机通过串口或以太网接口与PLC连接，通过PLC采集加气站设备的实时工况数据和报警信号，然后将数据存储在站级数据库服务器中；
S3.将站级数据通信客户端主机与中心数据通信服务器通过以太网相连，站级数据通信客户端主机从站级数据库中取出工况数据并通过TCP/IP协议将数据远传给中心数据通信服务器，中心数据通信服务器收到数据后，先将数据暂存在内存中，然后每隔一段时间把内存中的数据通过相应的压缩算法进行压缩打包，并对每个压缩包中的数据进行预先的统计计算；
S4.中心数据通信服务器的负载均衡集群中的每台服务器上都运行相同的通信服务端进程与数据管理进程，当负载均衡集群收到站级数据通信客户端的连接请求后将它们均衡的分配给集群中的各服务器进行处理；若集群中有服务器出现故障，集群的负载均衡策略则排除掉故障服务器，并对剩下的正常工作的服务器重新分配工作负担；
S5.中心数据通信服务器将数据压缩包与统计计算结果交付给中心数据管理服务器，中心数据管理服务器按照路由策略将数据包分配到中心分布式数据存储集群的不同节点中；
S6.中心分布式数据存储集群的物理结构上由多个存储节点组成，每个存储节点包括一台主存储服务器和多台从存储服务器；主存储服务器与从存储服务器之间配置三个策略：读写分离、数据实时同步、以及故障转移；主存储服务器配置为可写可读，从存储服务器配置为只读，且主存储服务器的读优先级低于从存储服务器的读优先级，数据写入主存储服务器后实时同步到从存储服务器；
S7.中心分布式数据存储集群的逻辑结构上由1个主管理数据库与多个子数据库组成，主管理数据库存储数据路由策略，所述数据路由策略即加气站编号到数据存储节点IP的映射表，子数据库存储每个加气站中的所有设备产生的实时数据、历史数据、以及报警数据，一个子数据库只存储一个加气站的数据；一个存储节点安装一个数据库实例，主管理数据库与多个子数据库部署于同一个数据库实例中，即部署于同一个存储节点中，或者是每一个数据库分别部署于一个数据库实例中；
S8.每个子数据库中用于存放设备工况历史数据和报警历史数据的数据表分区处理，将数据表按年份分区，每一年的数据存放在对应的分区中；
S9.中心数据通信服务器将数据来源的加气站编号以及数据压缩包提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据存储于其中；
所述数据查询方法包括以下步骤：
S10.将要查询的加气站编号提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据从目标存储节点中取出、解压并返回给客户端。
进一步，所述加气站SCADA系统海量数据处理方法，还包括当客户端查询多个加气站的数据时，开辟多个线程，每个线程负责一个加气站数据的查询，然后将多个线程的查询结果聚合后返回给客户端。
本发明的有益效果：
本发明加气站SCADA系统海量数据处理方法，其能提高对加气站海量监测数据的存储运行效率，满足海量数据的存储要求，同时对数据的查询方便，能多线程并行查询，可极大提高查询效率，且能方便的满足加气站数量的横向扩展。
具体实施方式
下面结合实施例对本发明作进一步描述。
本实施例加气站SCADA系统海量数据处理方法，包括数据存储方法和数据查询方法；
所述数据存储方法包括以下步骤：
S1.通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，所述中心分布式数据存储集群包括多个主存储服务器和多个从存储服务器；
当然在具体实施例中，所述站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机可以为同一台工控机或服务器，也可为多台不同的服务器，因此站级数据采集进程、站级数据存储进程、站级数据通信客户端进程可分别运行于独立的工控机或服务器中，也可运行于同一台服务器中，但各进程间必须通过以太网互连；
S2.将站级数据采集主机通过串口或以太网接口与PLC连接，通过PLC采集加气站设备的实时工况数据和报警信号，然后将数据存储在站级数据库服务器中；采集频率存储在配置文件中，可默认设置为1次/10秒；
S3.将站级数据通信客户端主机与中心数据通信服务器通过以太网相连，站级数据通信客户端主机从站级数据库中取出工况数据并通过TCP/IP协议将数据远传给中心数据通信服务器，中心数据通信服务器收到数据后，先将数据暂存在内存中，然后每隔一段时间把内存中的数据通过相应的压缩算法进行压缩打包，并对每个压缩包中的数据进行预先的统计计算；
S4.中心数据通信服务器的负载均衡集群中的每台服务器上都运行相同的通信服务端进程与数据管理进程，当负载均衡集群收到站级数据通信客户端的连接请求后将它们均衡的分配给集群中的各服务器进行处理，这样可以提高运行效率；若集群中有服务器出现故障，集群的负载均衡策略则排除掉故障服务器，并对剩下的正常工作的服务器重新分配工作负担，可解决通讯服务器的单点故障问题；
S5.中心数据通信服务器将数据压缩包与统计计算结果交付给中心数据管理服务器，中心数据管理服务器按照路由策略将数据包分配到中心分布式数据存储集群的不同节点中；
S6.中心分布式数据存储集群的物理结构上由多个存储节点组成，每个存储节点包括一台主存储服务器和多台从存储服务器；主存储服务器与从存储服务器之间配置三个策略：读写分离、数据实时同步、以及故障转移；主存储服务器配置为可写可读，从存储服务器配置为只读，且主存储服务器的读优先级低于从存储服务器的读优先级，数据写入主存储服务器后实时同步到从存储服务器；
这样写数据请求将被导向到主服务器，读数据请求将被导向到从服务器，当读数据请求压力过大时，会将一部分读请求分流到主服务器，尽可能均衡的将读写压力分配到主从服务器上，满足系统的数据吞吐量要求；并且当主服务器发生故障时，故障转移策略会自动将主服务器移除集群，并将所有的读写数据请求导向到从服务器，使系统提供无单点故障的数据存储服务；
S7.中心分布式数据存储集群的逻辑结构上由1个主管理数据库与多个子数据库组成，主管理数据库存储数据路由策略，所述数据路由策略即加气站编号到数据存储节点IP的映射表，子数据库存储每个加气站中的所有设备产生的实时数据、历史数据、以及报警数据，一个子数据库只存储一个加气站的数据；一个存储节点安装一个数据库实例，主管理数据库与多个子数据库部署于同一个数据库实例中，即部署于同一个存储节点中；当在在具体实施例中也可以者是每一个数据库分别部署于一个数据库实例中，部署方式可灵活组合；
主库中的数据路由策略就是记录每个加气站的子库实际部署的数据存储节点的IP地址，每个加气站对应一个子数据库的方式可从逻辑上支持数据库集群的横向扩展，并且避免了哈希分片方法会带来的哈希一致性问题；当有新的加气站需要连入系统，只需要将新的服务器配置为一个主从节点，然后在主管理数据库中增加其数据路由策略即可；
S8.每个子数据库中用于存放设备工况历史数据和报警历史数据的数据表分区处理，将数据表按年份分区，每一年的数据存放在对应的分区中；这样所有的数据逻辑上还是在同一个表中，但物理上不同年份的数据存储在不同的文件中，能提高数据库的IO吞吐量；
S9.中心数据通信服务器将数据来源的加气站编号以及数据压缩包提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据存储于其中；
所述数据查询方法包括以下步骤：
S10.将要查询的加气站编号提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据从目标存储节点中取出、解压并返回给客户端。
作对对本实施例的改进，本加气站SCADA系统海量数据处理方法，还包括当客户端查询多个加气站的数据时，开辟多个线程，每个线程负责一个加气站数据的查询，然后将多个线程的查询结果聚合后返回给客户端；多线程并行查询可极大提高查询效率。
同时当客户端要进行数据统计查询时，由于数据库中存储了数据压缩包以及每个包对应的预先统计结果值，那么只需把满足查询条件的统计结果值查询出来再做二次统计计算，即可得到最终结果，可大大的节省查询时的统计计算时间。
本实施例加气站SCADA系统海量数据处理方法，其能提高对加气站海量监测数据的存储运行效率，满足海量数据的存储要求，同时对数据的查询方便，能多线程并行查询，可极大提高查询效率，且能方便的满足加气站数量的横向扩展。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种加气站SCADA系统海量数据处理方法，其特征在于：包括数据存储方法和数据查询方法；
所述数据存储方法包括以下步骤：
S1.通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，所述中心分布式数据存储集群包括多个主存储服务器和多个从存储服务器；
S2.将站级数据采集主机通过串口或以太网接口与PLC连接，通过PLC采集加气站设备的实时工况数据和报警信号，然后将数据存储在站级数据库服务器中；
S3.将站级数据通信客户端主机与中心数据通信服务器通过以太网相连，站级数据通信客户端主机从站级数据库中取出工况数据并通过TCP/IP协议将数据远传给中心数据通信服务器，中心数据通信服务器收到数据后，先将数据暂存在内存中，然后每隔一段时间把内存中的数据通过相应的压缩算法进行压缩打包，并对每个压缩包中的数据进行预先的统计计算；
S4.中心数据通信服务器的负载均衡集群中的每台服务器上都运行相同的通信服务端进程与数据管理进程，当负载均衡集群收到站级数据通信客户端的连接请求后将它们均衡的分配给集群中的各服务器进行处理；若集群中有服务器出现故障，集群的负载均衡策略则排除掉故障服务器，并对剩下的正常工作的服务器重新分配工作负担；
S5.中心数据通信服务器将数据压缩包与统计计算结果交付给中心数据管理服务器，中心数据管理服务器按照路由策略将数据包分配到中心分布式数据存储集群的不同节点中；
S6.中心分布式数据存储集群的物理结构上由多个存储节点组成，每个存储节点包括一台主存储服务器和多台从存储服务器；主存储服务器与从存储服务器之间配置三个策略：读写分离、数据实时同步、以及故障转移；主存储服务器配置为可写可读，从存储服务器配置为只读，且主存储服务器的读优先级低于从存储服务器的读优先级，数据写入主存储服务器后实时同步到从存储服务器；
S7.中心分布式数据存储集群的逻辑结构上由1个主管理数据库与多个子数据库组成，主管理数据库存储数据路由策略，所述数据路由策略即加气站编号到数据存储节点IP的映射表，子数据库存储每个加气站中的所有设备产生的实时数据、历史数据、以及报警数据，一个子数据库只存储一个加气站的数据；一个存储节点安装一个数据库实例，主管理数据库与多个子数据库部署于同一个数据库实例中，即部署于同一个存储节点中，或者是每一个数据库分别部署于一个数据库实例中；
S8.每个子数据库中用于存放设备工况历史数据和报警历史数据的数据表分区处理，将数据表按年份分区，每一年的数据存放在对应的分区中；
S9.中心数据通信服务器将数据来源的加气站编号以及数据压缩包提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据存储于其中；
所述数据查询方法包括以下步骤：
S10.将要查询的加气站编号提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据从目标存储节点中取出、解压并返回给客户端。
2.根据权利要求1中所述加气站SCADA系统海量数据处理方法，其特征在于：
还包括当客户端查询多个加气站的数据时，开辟多个线程，每个线程负责一个加气站数据的查询，然后将多个线程的查询结果聚合后返回给客户端。
CN201610507202.4A 2016-06-30 2016-06-30 加气站scada系统海量数据处理方法 Active CN106445991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610507202.4A CN106445991B (zh) 2016-06-30 2016-06-30 加气站scada系统海量数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610507202.4A CN106445991B (zh) 2016-06-30 2016-06-30 加气站scada系统海量数据处理方法

Publications (2)

Publication Number Publication Date
CN106445991A CN106445991A (zh) 2017-02-22
CN106445991B true CN106445991B (zh) 2019-03-08

Family

ID=58183355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610507202.4A Active CN106445991B (zh) 2016-06-30 2016-06-30 加气站scada系统海量数据处理方法

Country Status (1)

Country Link
CN (1) CN106445991B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798062A (zh) * 2017-09-20 2018-03-13 中国电力科学研究院 一种变电站历史数据统一存储方法和系统
CN110096546A (zh) * 2019-03-18 2019-08-06 视联动力信息技术股份有限公司 分布式级联数据处理方法及装置
CN110659327A (zh) * 2019-08-16 2020-01-07 平安科技（深圳）有限公司 实现异构数据库之间数据交互式查询的方法和相关装置
CN113050875B (zh) * 2019-12-27 2024-06-21 北京百度网讯科技有限公司 数据搬迁系统、方法、电子设备及存储介质
CN115328882A (zh) * 2022-06-27 2022-11-11 光大环境科技（中国）有限公司 一种创建分布式数据库集群的方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116595A (zh) * 2012-10-24 2013-05-22 中国电力科学研究院 面向电网的scada历史数据分布式存储的实现方法
CN105071994A (zh) * 2015-08-27 2015-11-18 许继集团有限公司 一种海量数据监控系统
CN105117171A (zh) * 2015-08-28 2015-12-02 南京国电南自美卓控制系统有限公司 一种能源scada海量数据分布式处理系统及其方法
CN205281200U (zh) * 2015-12-07 2016-06-01 四川蓉腾自动化设备有限公司 一种cng加气站数据采集及监控系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9372603B2 (en) * 2013-03-12 2016-06-21 Air Liquide Large Industries U.S. Lp Data sampling method for determining salient values in a large data stream

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116595A (zh) * 2012-10-24 2013-05-22 中国电力科学研究院 面向电网的scada历史数据分布式存储的实现方法
CN105071994A (zh) * 2015-08-27 2015-11-18 许继集团有限公司 一种海量数据监控系统
CN105117171A (zh) * 2015-08-28 2015-12-02 南京国电南自美卓控制系统有限公司 一种能源scada海量数据分布式处理系统及其方法
CN205281200U (zh) * 2015-12-07 2016-06-01 四川蓉腾自动化设备有限公司 一种cng加气站数据采集及监控系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
加气站SCADA监控管理系统;何安琴 等;《自动化与仪器仪表》;20150425(第4期);第153,154,157页

Also Published As

Publication number Publication date
CN106445991A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106445991B (zh) 加气站scada系统海量数据处理方法
CN105117171B (zh) 一种能源scada海量数据分布式处理系统及其方法
CN109729129A (zh) 存储集群的配置修改方法、存储集群及计算机系统
CN104423889B (zh) 一种多路径管理方法和系统
CN106156328B (zh) 一种银行运行日志数据监控方法及系统
CN106453665A (zh) 基于分布式缓存系统的数据缓存方法、服务器和系统
CN106416132A (zh) 使用控制器处的交换机建模接口控制网络交换机的系统和方法
CN107784098A (zh) 实时数据仓库平台
WO2010121218A2 (en) Policy-based storage structure distribution
CN110069210B (zh) 一种存储系统、存储资源的分配方法及装置
CN106953926A (zh) 一种路由方法及装置
CN105335448A (zh) 基于分布式环境的数据存储及处理系统
CN104410531B (zh) 冗余的系统架构方法
CN105827678B (zh) 一种基于高可用架构下的通信方法和节点
CN108881512A (zh) Ctdb的虚拟ip均衡分配方法、装置、设备及介质
CN109669812A (zh) 基于数据分流备份的云数据中心容灾系统及方法
CN110300130A (zh) 一种资源调度方法、装置、电子设备及存储介质
CN106027270A (zh) 在联网计算环境中的按需功率管理
CN107171971A (zh) 利用一致性哈希策略实现网络流量负载均衡的方法
CN109845192A (zh) 用于动态地适配软件定义的网络的计算机系统和方法
CN111614760A (zh) 一种将物联网设备均衡分配接入的方法及装置
CN109936480A (zh) 网络拓扑发现方法及装置、存储介质及电子设备
CN107277144A (zh) 一种分布式高并发云存储数据库系统及其负荷均衡方法
CN102790692A (zh) 计算网元接口的方法及网管
US20130226867A1 (en) Apparatus and method for converting replication-based file into parity-based file in asymmetric clustering file system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant