CN109684416A - 一种高并发实时历史数据存储系统 - Google Patents

Abstract

本发明公开了一种高并发实时历史数据存储系统，包括服务器、显示模块和数据采集模块，显示模块和所有数据采集模块均与服务器通信连接，数据采集模块用以采集智能电厂的实时数据，显示模块用以画面显示，服务器：响应于接收到实时数据，将实时数据写入循环消息队列；定时从循环消息队列中读取热数据，将热数据存入内存数据库；定时从循环消息队列中读取冷数据，将冷数据存入关系数据库。本发明采用循环消息队列、内存数据库和关系数据库相结合的系统架构方式，以缓冲高并发请求，并将热数据放到内存数据库，提高查询性能，将冷数据持久化到关系数据库中，便于以后离线分析，实现了高并发、海量规模数据存储的高可靠性及高可用性。

Description

一种高并发实时历史数据存储系统

技术领域

本发明涉及一种高并发实时历史数据存储系统，属于电力数据存储领域。

背景技术

随着智能化的快速发展以及“互联网+”国家战略的实施，电力行业作为我国国民经济的基础性支柱行业，与国民经济发展息息相关，以物联网和云计算为代表的新一代技术在电力行业的有了广泛的应用，智能化电厂和智能化电网是电力行业技术发展的必然趋势，并且已经有智能电厂投入运营。

电力行业中智能化的应用必然会带来监测点的增多，一个传统的电厂一般需要监测的点数为2万多，智能电厂会成倍增加，监测的点数会达到5万甚至更多，假如数据采集周期为1秒，则每秒需要入库的记录为至少要5万，在如此高的并发请求操作情况下，只用传统的关系数据库是很难满足需求的，而且还要实时显示和历史趋势查询，综合这些需求，仅用传统关系数据库是无法实现高可靠及高可用的。

发明内容

本发明提供了一种高并发实时历史数据存储系统，解决了高并发、海量规模数据存储的问题。

为了解决上述技术问题，本发明所采用的技术方案是：

一种高并发实时历史数据存储系统，包括服务器、显示模块和数据采集模块，显示模块和所有数据采集模块均与服务器通信连接，数据采集模块用以采集智能电厂的实时数据，显示模块用以画面显示，服务器：响应于接收到实时数据，将实时数据写入循环消息队列；根据预设的规则定时从循环消息队列中读取热数据，将热数据存入内存数据库；根据预设的规则定时从循环消息队列中读取冷数据，将冷数据存入关系数据库。

数据采集模块与服务器之间的通信协议整合了TCP协议和UDP协议；响应于实时数据量大于设定阈值，数据采集模块与服务器之间采用TCP协议传输；响应于实时数据量不大于设定阈值，数据采集模块与服务器之间采用UDP协议传输。

服务器上线后，数据采集模块将自己的IP和标签名发送到服务器，服务器存储数据采集模块的IP、标签名以及标签名实时值质量；如果一个标签名对应一个IP，则在获取此标签名的实时数据时，直接访问对应IP的数据采集模块；如果一个标签名对应多个IP，则比较这些IP对应的标签名实时值质量，标签名实时值质量最高的IP就是目标数据采集模块IP。

服务器上线时，数据采集模块将自己的标签名发送到服务器，服务器通过哈希算法得到每个标签名对应的标签Id，将标签名和对应的标签Id存储到内存数据库的Hash中；服务器接收到标签名对应的实时数据后，从Hash表中获取到此标签名对应的标签Id，然后将标签Id、实时数据对应的时间戳和实时数据写入循环消息队列。

循环消息队列采用无锁循环消息队列。

内存数据库采用redis，通过redis的publish/subscribe功能实现实时显示。

关系数据库采用MySQL，采用分库分表策略存储冷数据。

服务器设置有两台，采用双机热备模式。

服务器根据预设的规则订阅实时数据，预设的规则包括需存储实时数据对应的标签名、最小采集频率、最大采集频率、实时数据最小变化量以及过期数据的删除策略。

本发明所达到的有益效果：本发明采用循环消息队列、内存数据库和关系数据库相结合的系统架构方式，以缓冲高并发请求，并将热数据放到内存数据库，提高查询性能，将冷数据持久化到关系数据库中，便于以后离线分析，实现了高并发、海量规模数据存储的高可靠性及高可用性。

附图说明

图1为本发明的系统架构图；

图2为数据查询流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

如图1所示，一种高并发实时历史数据存储系统，包括服务器、显示模块和数据采集模块，显示模块和所有数据采集模块均与服务器通信连接。

显示模块的功能为：用以画面显示。数据采集模块的功能为：采集智能电厂的实时数据。数据采集模块分布在智能电厂内，实际中可以是各种传感器、装置、通讯管理机、DPU等设备，它们直接或间接产生遥信量、遥测量、中间量等数据，通过通信协议将实时数据传输到服务器，采集频率可以通过配置工具配置，一般为秒级，对于变化较快的过程量，其采集频率也会相应的提高，可以为毫秒级。

数据采集模块与服务器之间的通信协议整合了TCP协议和UDP协议。响应于实时数据量不大于设定阈值，数据采集模块与服务器之间采用UDP协议传输，响应于实时数据量大于设定阈值，数据采集模块与服务器之间采用TCP协议传输，以提高传输的可靠性。

服务器的功能为：服务器根据预设的规则订阅实时数据；响应于接收到实时数据，将实时数据写入循环消息队列；根据预设的规则定时从循环消息队列中读取热数据，将热数据存入内存数据库；根据预设的规则定时从循环消息队列中读取冷数据，将冷数据存入关系数据库。

服务器可设置两台，采用双机热备模式，在生产中，一台服务器为Active状态，另一台为InActive状态，一旦主机宕机，备机检测到后立即变为主机，由InActive变为Active，进入工作状态。

服务器首次启动时，将预设的规则加载到服务器。预设的规则通过配置工具进行配置，并存储到一个XML文件中，包括需存储实时数据对应的标签名、最小采集频率（minTime）、最大采集频率（maxTime）、实时数据最小变化量（Delta）以及过期数据的删除策略；。具体逻辑如下：首先，只有在XML文件中存在的tagname对应的实时数据才会被采集；其次，对于模拟量，一般每隔minTime就采集，而对于信号量，要参考Delta，在minTime和maxTime之间，变化量超过了Delta时，才会被采集。

服务器上线后，数据采集模块会检测到服务器上线，数据采集模块将自己的IP和标签名（tagname）发送到服务器，服务器存储数据采集模块的IP、tagname以及标签名实时值质量（Quality，标签名的一个属性），一般存储在一张表中；如果一个tagname对应一个IP，则在获取此tagname的实时数据时，直接访问对应IP的数据采集模块；如果一个tagname对应多个IP，则比较这些IP对应的Quality，Quality最高的IP就是目标数据采集模块IP，这样，只要知道tagname，就能透明化的访问到对应数据采集模块采集的实时数据。

服务器通过哈希算法得到每个tagname对应的标签Id（tagId），将tagname和对应的tagId存储到内存数据库的Hash中；服务器接收到tagname对应的实时数据后，从Hash表中获取到此tagname对应的tagId，然后将tagId、实时数据对应的时间戳（time）和实时数据写入循环消息队列。在后续的数据库存储中也是存储整型的tagId，而不是字符串类型的tagname，这么做不仅仅节省存储空间，在进行条件查询时，整型比较的效率也要高于字符串的比较，因此，也提高了查询效率。假如入关系数据库的tagId总数为5万个，用整型类型存储，只需要0到4999即可，UNSIGNED SMALLINT可表示的范围为0到65535，可以表示5万个tagId，SMALLINT只需要2个字节；而如果用varchar类型，则至少需要24个字节，一个就节省了22个字节，按每秒5万点计算，一天入库24*3600*50000(40多亿)条记录，一天就可以节省95G的磁盘存储空间，通过合理的存储数据类型的选择，实现了客观的数据压缩。

对于上述的循环消息队列，生产者负责将数据写入队列，消费者负责将数据从队列中取出，既能解耦多个模块之间的关联，对于高并发请求的情形又能起到削峰的作用；之所以用循环队列，而不是顺序队列，是为了避免“假溢出”现象，有效的利用内存空间。此循环消息队列在一写多读的情况下，是不用加锁的，也可称之为无锁循环消息队列，不同于普通的循环消息队读指针由队列结构自己维护，这里的循环消息队读指针是由消费线程自己维护，每个消费线程维护自己的读指针，这种设计的优点是在多个消费线程同时读数据时不加锁，也不会造成丢失数据，提高了读的效率。

内存数据库采用redis，redis作为一个高性能的key-value存储系统，支持的数据类型有string(字符串)、list(链表)、set(集合)、zset(sorted set，有序集合)和hash(哈希)，官方的bench-mark测试数据为读速度是110000次/秒，写速度是81000次/秒，读写性能都非常好，redis还支持主从同步。由于常用的历史趋势的查询缺省是近一个小时的数据，因此，redis中也存储最近一个小时的热数据，数据结构选用zset，时间戳作为score，时间戳和tagname的值的组合作为zset的value（值），这样就可以从有序集合中查询出score介于min（最小值）和max（最大值）之间的所有值，实现了类似关系数据库的范围查询，而且查询效率很高，起到了Cache和缓冲的作用；key的过期时间为1个小时，时间到后自动清除过期的key。借助redis的publish/subscribe功能，服务器记录下显示模块IP，每当有新的数据来时，分别发布到相应的显示模块上进行实时的画面显示。

关系数据库采用MySQL，采用分库分表策略存储冷数据。由于数据的并发量很大，每天会产生40多亿条的记录，如果都存储到关系数据库的一张表中，表的容量会非常大，对于查询这样一张大表来说，性能会变得很慢，这里采用的是分库分表的策略，具体的设计方案为：分库的个数可以通过配置文件配置，根据tagname的总数来决定要分多少个库，假设分了DBCount个库，库以类似“db_1”的方式命名，每个库先建一张表，表名以固定字符串加当天日期的方式命名，如“table_20180906”，分表采用的是横向分表的方式，利用MySQL的Event和Stored Procedure技术在每天的零时零分零秒时定时重新创建一张新表，用来存储当天的数据，即每天一张表。从循环消息队列中取出数据后，首先进行分组，每组都有一个编号index，利用取出数据的tagId对DBCount取模，取模的结果等于哪个组的编号，就放到哪个组中，这里使用字符数组来存放，字符数组里存放的是sql语句，每个index对应一个批量插入的sql语句，每来一条数据，就将其拼接到对应index的sql语句的后面，定时时间到后，遍历字符数组，执行每条sql语句写入MySQL数据库，这样可以大大提高MySQL的插入性能。字符数组的index就是库名的后缀，即数组中index为1的sql语句写入到后缀为1的库中，表名的后缀为当天日期

如图2所示，在首次启动查看某个tagname的历史趋势的时候，缺省显示的时间为最近20分钟，也可以设置时间区间，缺省的情况就从redis取数据，速度很快；查询某一时间区间历史数据的时候，给出的查询条件是tagname、startTime（开始时间）和endTime（结束时间），首先通过查redis中的Hash表获取到tagname对应的tagId，然后用系统当前时间减去1个小时，减的结果分别与startTime和endTime作比较，如果时间区间都落在redis内，就直接从redis中查询；如果时间区间一部分落在redis中，另一部分落在关系数据库MySQL中，则需要分别从redis和关系数据库MySQL查询，否则直接从MySQL中查询。这样就做到了冷数据和热数据分离，提高了查询效率和系统的整体性能。

上述系统采用循环消息队列、内存数据库redis和关系数据库MySQL相结合的系统架构方式，以缓冲高并发请求，并将热数据放到内存数据库，提高查询性能，将冷数据持久化到关系数据库中，便于以后离线分析，实现了高并发、海量规模数据存储的高可靠性及高可用性；同时redis和MySQL都是开源的数据库，成本很低。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (9)

1.一种高并发实时历史数据存储系统，包括服务器、显示模块和数据采集模块，显示模块和所有数据采集模块均与服务器通信连接，数据采集模块用以采集智能电厂的实时数据，显示模块用以画面显示，其特征在于：

服务器：响应于接收到实时数据，将实时数据写入循环消息队列；定时从循环消息队列中读取热数据，将热数据存入内存数据库；定时从循环消息队列中读取冷数据，将冷数据存入关系数据库。

2.根据权利要求1所述的一种高并发实时历史数据存储系统，其特征在于：数据采集模块与服务器之间的通信协议整合了TCP协议和UDP协议；响应于实时数据量大于设定阈值，数据采集模块与服务器之间采用TCP协议传输；响应于实时数据量不大于设定阈值，数据采集模块与服务器之间采用UDP协议传输。

3.根据权利要求1所述的一种高并发实时历史数据存储系统，其特征在于：服务器上线后，数据采集模块将自己的IP和标签名发送到服务器，服务器存储数据采集模块的IP、标签名以及标签名实时值质量；如果一个标签名对应一个IP，则在获取此标签名的实时数据时，直接访问对应IP的数据采集模块；如果一个标签名对应多个IP，则比较这些IP对应的标签名实时值质量，标签名实时值质量最高的IP就是目标数据采集模块IP。

4.根据权利要求1所述的一种高并发实时历史数据存储系统，其特征在于：服务器上线时，数据采集模块将自己的标签名发送到服务器，服务器通过哈希算法得到每个标签名对应的标签Id，将标签名和对应的标签Id存储到内存数据库的Hash中；服务器接收到标签名对应的实时数据后，从Hash表中获取到此标签名对应的标签Id，然后将标签Id、实时数据对应的时间戳和实时数据写入循环消息队列。

5.根据权利要求1所述的一种高并发实时历史数据存储系统，其特征在于：循环消息队列采用无锁循环消息队列。

6.根据权利要求1所述的一种高并发实时历史数据存储系统，其特征在于：内存数据库采用redis，通过redis的publish/subscribe功能实现实时显示。

7.根据权利要求1所述的一种高并发实时历史数据存储系统，其特征在于：关系数据库采用MySQL，采用分库分表策略存储冷数据。

8.根据权利要求1所述的一种高并发实时历史数据存储系统，其特征在于：服务器设置有两台，采用双机热备模式。

9.根据权利要求1所述的一种高并发实时历史数据存储系统，其特征在于：服务器根据预设的规则订阅实时数据，预设的规则包括需存储实时数据对应的标签名、最小采集频率、最大采集频率、实时数据最小变化量以及过期数据的删除策略。