CN106445991A - 加气站scada系统海量数据处理方法 - Google Patents

Abstract

本发明公开了一种加气站SCADA系统海量数据处理方法，通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，能提高对加气站海量监测数据的存储运行效率，满足海量数据的存储要求，同时对数据的查询方便，能多线程并行查询，可极大提高查询效率，且能方便的满足加气站数量的横向扩展。

Description

加气站SCADA系统海量数据处理方法

技术领域

本发明涉及一种数据处理方法，特别涉及一种加气站SCADA系统海量数据的存储查询方法。

背景技术

运用于加气站的SCADA系统，在数据处理方面对其有两个基本的需求：

1、由于加气站的数据采集点多，采集频率高，同时又需要保存相当长一段时间内所采集到设备工况历史数据，因此要求加气站SCADA系统能保存海量的设备工况历史数据。

2、由于用户需要随机的查询设备工况历史数据，因此要求加气站SCADA系统能对用户的查询请求提供尽可能快的响应。但是现有的SCADA系统对加气站设备海量历史监测数据的存储、查询并不能满足用户的需求。

发明内容

有鉴于此，本发明的目的是提供一种加气站SCADA系统海量数据处理方法，以解决现有SCADA系统不能满足用户对加气站设备海量历史监测数据的存储、查询需求的技术问题。

本发明加气站SCADA系统海量数据处理方法，包括数据存储方法和数据查询方法；

所述数据储存方法包括以下步骤：

S1.通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，所述中心分布式数据存储集群包括多个主存储服务器和多个从存储服务器；

S2.将站级数据采集主机通过串口或以太网接口与PLC连接，通过PLC采集加气站设备的实时工况数据和报警信号，然后将数据存储在站级数据库服务器中；

S3.将站级数据通信客户端主机与中心数据通信服务器通过以太网相连，站级数据通信客户端主机从站级数据库中取出工况数据并通过TCP/IP协议将数据远传给中心数据通信服务器，中心数据通信服务器收到数据后，先将数据暂存在内存中，然后每隔一段时间把内存中的数据通过相应的压缩算法进行压缩打包，并对每个压缩包中的数据进行预先的统计计算；

S4.中心数据通信服务器的负载均衡集群中的每台服务器上都运行相同的通信服务端进程与数据管理进程，当负载均衡集群收到站级数据通信客户端的连接请求后将它们均衡的分配给集群中的各服务器进行处理；若集群中有服务器出现故障，集群的负载均衡策略则排除掉故障服务器，并对剩下的正常工作的服务器重新分配工作负担；

S5.中心数据通信服务器将数据压缩包与统计计算结果交付给中心数据管理服务器，中心数据管理服务器按照路由策略将数据包分配到中心分布式数据存储集群的不同节点中；

S6.中心分布式数据存储集群的物理结构上由多个存储节点组成，每个存储节点包括一台主存储服务器和多台从存储服务器；主存储服务器与从存储服务器之间配置三个策略：读写分离、数据实时同步、以及故障转移；主存储服务器配置为可写可读，从存储服务器配置为只读，且主存储服务器的读优先级低于从存储服务器的读优先级，数据写入主存储服务器后实时同步到从存储服务器；

S7.中心分布式数据存储集群的逻辑结构上由1个主管理数据库与多个子数据库组成，主管理数据库存储数据路由策略，所述数据路由策略即加气站编号到数据存储节点IP的映射表，子数据库存储每个加气站中的所有设备产生的实时数据、历史数据、以及报警数据，一个子数据库只存储一个加气站的数据；一个存储节点安装一个数据库实例，主管理数据库与多个子数据库部署于同一个数据库实例中，即部署于同一个存储节点中，或者是每一个数据库分别部署于一个数据库实例中；

S8.每个子数据库中用于存放设备工况历史数据和报警历史数据的数据表分区处理，将数据表按年份分区，每一年的数据存放在对应的分区中；

S9.中心数据通信服务器将数据来源的加气站编号以及数据压缩包提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据存储于其中；

所述数据查询方法包括以下步骤：

S10.将要查询的加气站编号提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据从目标存储节点中取出、解压并返回给客户端。

进一步，所述加气站SCADA系统海量数据处理方法，还包括当客户端查询多个加气站的数据时，开辟多个线程，每个线程负责一个加气站数据的查询，然后将多个线程的查询结果聚合后返回给客户端。

本发明的有益效果：

本发明加气站SCADA系统海量数据处理方法，其能提高对加气站海量监测数据的存储运行效率，满足海量数据的存储要求，同时对数据的查询方便，能多线程并行查询，可极大提高查询效率，且能方便的满足加气站数量的横向扩展。

具体实施方式

下面结合实施例对本发明作进一步描述。

本实施例加气站SCADA系统海量数据处理方法，包括数据存储方法和数据查询方法；

所述数据储存方法包括以下步骤：

S1.通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，所述中心分布式数据存储集群包括多个主存储服务器和多个从存储服务器；

当然在具体实施例中，所述站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机可以为同一台工控机或服务器，也可为多台不同的服务器，因此站级数据采集进程、站级数据存储进程、站级数据通信客户端进程可分别运行于独立的工控机或服务器中，也可运行于同一台服务器中，但各进程间必须通过以太网互连；

S2.将站级数据采集主机通过串口或以太网接口与PLC连接，通过PLC采集加气站设备的实时工况数据和报警信号，然后将数据存储在站级数据库服务器中；采集频率存储在配置文件中，可默认设置为1次/10秒；

S3.将站级数据通信客户端主机与中心数据通信服务器通过以太网相连，站级数据通信客户端主机从站级数据库中取出工况数据并通过TCP/IP协议将数据远传给中心数据通信服务器，中心数据通信服务器收到数据后，先将数据暂存在内存中，然后每隔一段时间把内存中的数据通过相应的压缩算法进行压缩打包，并对每个压缩包中的数据进行预先的统计计算；

S4.中心数据通信服务器的负载均衡集群中的每台服务器上都运行相同的通信服务端进程与数据管理进程，当负载均衡集群收到站级数据通信客户端的连接请求后将它们均衡的分配给集群中的各服务器进行处理，这样可以提高运行效率；若集群中有服务器出现故障，集群的负载均衡策略则排除掉故障服务器，并对剩下的正常工作的服务器重新分配工作负担，可解决通讯服务器的单点故障问题；

S5.中心数据通信服务器将数据压缩包与统计计算结果交付给中心数据管理服务器，中心数据管理服务器按照路由策略将数据包分配到中心分布式数据存储集群的不同节点中；

S6.中心分布式数据存储集群的物理结构上由多个存储节点组成，每个存储节点包括一台主存储服务器和多台从存储服务器；主存储服务器与从存储服务器之间配置三个策略：读写分离、数据实时同步、以及故障转移；主存储服务器配置为可写可读，从存储服务器配置为只读，且主存储服务器的读优先级低于从存储服务器的读优先级，数据写入主存储服务器后实时同步到从存储服务器；

这样写数据请求将被导向到主服务器，读数据请求将被导向到从服务器，当读数据请求压力过大时，会将一部分读请求分流到主服务器，尽可能均衡的将读写压力分配到主从服务器上，满足系统的数据吞吐量要求；并且当主服务器发生故障时，故障转移策略会自动将主服务器移除集群，并将所有的读写数据请求导向到从服务器，使系统提供无单点故障的数据存储服务；

S7.中心分布式数据存储集群的逻辑结构上由1个主管理数据库与多个子数据库组成，主管理数据库存储数据路由策略，所述数据路由策略即加气站编号到数据存储节点IP的映射表，子数据库存储每个加气站中的所有设备产生的实时数据、历史数据、以及报警数据，一个子数据库只存储一个加气站的数据；一个存储节点安装一个数据库实例，主管理数据库与多个子数据库部署于同一个数据库实例中，即部署于同一个存储节点中；当在在具体实施例中也可以者是每一个数据库分别部署于一个数据库实例中，部署方式可灵活组合；

主库中的数据路由策略就是记录每个加气站的子库实际部署的数据存储节点的IP地址，每个加气站对应一个子数据库的方式可从逻辑上支持数据库集群的横向扩展，并且避免了哈希分片方法会带来的哈希一致性问题；当有新的加气站需要连入系统，只需要将新的服务器配置为一个主从节点，然后在主管理数据库中增加其数据路由策略即可；

S8.每个子数据库中用于存放设备工况历史数据和报警历史数据的数据表分区处理，将数据表按年份分区，每一年的数据存放在对应的分区中；这样所有的数据逻辑上还是在同一个表中，但物理上不同年份的数据存储在不同的文件中，能提高数据库的IO吞吐量；

S9.中心数据通信服务器将数据来源的加气站编号以及数据压缩包提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据存储于其中；

所述数据查询方法包括以下步骤：

S10.将要查询的加气站编号提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据从目标存储节点中取出、解压并返回给客户端。

作对对本实施例的改进，本加气站SCADA系统海量数据处理方法，还包括当客户端查询多个加气站的数据时，开辟多个线程，每个线程负责一个加气站数据的查询，然后将多个线程的查询结果聚合后返回给客户端；多线程并行查询可极大提高查询效率。

同时当客户端要进行数据统计查询时，由于数据库中存储了数据压缩包以及每个包对应的预先统计结果值，那么只需把满足查询条件的统计结果值查询出来再做二次统计计算，即可得到最终结果，可大大的节省查询时的统计计算时间。

本实施例加气站SCADA系统海量数据处理方法，其能提高对加气站海量监测数据的存储运行效率，满足海量数据的存储要求，同时对数据的查询方便，能多线程并行查询，可极大提高查询效率，且能方便的满足加气站数量的横向扩展。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种加气站SCADA系统海量数据处理方法，其特征在于：包括数据存储方法和数据查询方法；

所述数据储存方法包括以下步骤：

S1.通过以太网将站级数据采集主机、站级数据存储服务器、站级数据通信客户端主机、中心数据通信服务器、中心数据管理服务器、以及中心分布式数据存储集群互连，所述中心分布式数据存储集群包括多个主存储服务器和多个从存储服务器；

S2.将站级数据采集主机通过串口或以太网接口与PLC连接，通过PLC采集加气站设备的实时工况数据和报警信号，然后将数据存储在站级数据库服务器中；

S3.将站级数据通信客户端主机与中心数据通信服务器通过以太网相连，站级数据通信客户端主机从站级数据库中取出工况数据并通过TCP/IP协议将数据远传给中心数据通信服务器，中心数据通信服务器收到数据后，先将数据暂存在内存中，然后每隔一段时间把内存中的数据通过相应的压缩算法进行压缩打包，并对每个压缩包中的数据进行预先的统计计算；

S4.中心数据通信服务器的负载均衡集群中的每台服务器上都运行相同的通信服务端进程与数据管理进程，当负载均衡集群收到站级数据通信客户端的连接请求后将它们均衡的分配给集群中的各服务器进行处理；若集群中有服务器出现故障，集群的负载均衡策略则排除掉故障服务器，并对剩下的正常工作的服务器重新分配工作负担；

S5.中心数据通信服务器将数据压缩包与统计计算结果交付给中心数据管理服务器，中心数据管理服务器按照路由策略将数据包分配到中心分布式数据存储集群的不同节点中；

S6.中心分布式数据存储集群的物理结构上由多个存储节点组成，每个存储节点包括一台主存储服务器和多台从存储服务器；主存储服务器与从存储服务器之间配置三个策略：读写分离、数据实时同步、以及故障转移；主存储服务器配置为可写可读，从存储服务器配置为只读，且主存储服务器的读优先级低于从存储服务器的读优先级，数据写入主存储服务器后实时同步到从存储服务器；

S7.中心分布式数据存储集群的逻辑结构上由1个主管理数据库与多个子数据库组成，主管理数据库存储数据路由策略，所述数据路由策略即加气站编号到数据存储节点IP的映射表，子数据库存储每个加气站中的所有设备产生的实时数据、历史数据、以及报警数据，一个子数据库只存储一个加气站的数据；一个存储节点安装一个数据库实例，主管理数据库与多个子数据库部署于同一个数据库实例中，即部署于同一个存储节点中，或者是每一个数据库分别部署于一个数据库实例中；

S8.每个子数据库中用于存放设备工况历史数据和报警历史数据的数据表分区处理，将数据表按年份分区，每一年的数据存放在对应的分区中；

S9.中心数据通信服务器将数据来源的加气站编号以及数据压缩包提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据存储于其中；

所述数据查询方法包括以下步骤：

S10.将要查询的加气站编号提交给中心数据管理服务器，中心数据管理服务器通过查询主管理数据库中的路由策略来确定数据存储节点，然后将数据从目标存储节点中取出、解压并返回给客户端。

2.根据权利要求1中所述加气站SCADA系统海量数据处理方法，其特征在于：

还包括当客户端查询多个加气站的数据时，开辟多个线程，每个线程负责一个加气站数据的查询，然后将多个线程的查询结果聚合后返回给客户端。