CN115905268B - 一种基于队列的电表数据处理方法、系统及电子设备 - Google Patents

Abstract

本发明提供一种基于队列的电表数据处理方法、系统及电子设备，属于数据处理技术领域，方法包括：初始化多个队列；将消息中间件中的电表实时数据分别写入多个队列中；所述消息中间件实时获取电表设备的数据，以得到电表实时数据；各队列中存储部分电表实时数据；采用多线程的方式提取多个队列中的电表实时数据，得到对应每个队列的电表数据；将各电表数据并行写入线程安全队列；采用多线程并行读取所述线程安全队列中的电表数据，并将读取出的电表数据批量写入时序数据库。通过使用多个队列对数据进行缓存，大大提高了数据的吞吐量，使得数据处理的每个步骤互不影响，在异步执行的同时保证了数据有序、安全地入库，提高了电表数据的入库效率。

Description

一种基于队列的电表数据处理方法、系统及电子设备

技术领域

本发明涉及数据处理领域，特别是涉及一种基于队列的电表数据处理方法、系统及电子设备。

背景技术

在设备监控系统中，为了更好的监控电表设备的实时电流、电压等数据，需要对电表设备的数据进行高效、有序以及安全的存储。边缘层中网关通过各种采集协议与电表设备通讯，采集电表设备数据并转发到云服务器的消息中间件，云服务经过数据处理将电表数据存储到时序数据库。

主流的时序数据库在存储以及查询方面做的都很完善，网关采集以及转发电表数据的技术也已经相当成熟，但是在云服务进行数据处理时还是会发生数据处理效率慢，容易丢失数据的问题。从消息中间件中订阅到消息之后，直接写入数据库，这样的写入效率很不理想，而且由于业务需求，需要对数据进行二次处理，会更加延长数据从上传到入库的时间。当每条消息不能高效地消费，会导致消息中间件中的数据积压，从而导致各个客户端连接断开，影响数据上传。

发明内容

本发明的目的是提供一种基于队列的电表数据处理方法、系统及电子设备，可避免消息中间件中的数据积压，提高电表数据的入库效率。

为实现上述目的，本发明提供了如下方案：

一种基于队列的电表数据处理方法，包括：

初始化多个队列；

将消息中间件中的电表实时数据分别写入多个队列中；所述消息中间件实时获取电表设备的数据，以得到电表实时数据；各队列中存储部分电表实时数据；

采用多线程的方式提取多个队列中的电表实时数据，得到对应每个队列的电表数据；

将各电表数据并行写入线程安全队列；

采用多线程并行读取所述线程安全队列中的电表数据，并将读取出的电表数据批量写入时序数据库。

可选地，所述电表实时数据包括实时电流及实时电压。

可选地，所述将消息中间件中的电表实时数据分别写入多个队列中，具体包括：

启动多个客户端，并建立各客户端与消息中间件的通讯连接；客户端的数量与队列的数量相同，且每个客户端对应一个队列；

通过消息中间件将电表实时数据分发到每个客户端上；每个客户端存储部分电表实时数据；

各客户端将对应的电表实时数据写入对应的队列中。

可选地，所述采用多线程的方式提取多个队列中的电表实时数据，得到对应每个队列的电表数据，具体包括：

初始化一个线程池，并启动多个核心线程；所述核心线程的数量与队列的数量相同，且每个核心线程对应一个队列；

每隔设定时间间隔，将多个队列同时提交到所述线程池中；

针对任一队列，通过与所述队列对应的核心线程从所述队列中读取电表实时数据，并将读取出的电表实时数据转换为字符串数据，得到对应所述队列的电表数据。

可选地，所述线程安全队列为有界阻塞队列。

可选地，所述采用多线程并行读取所述线程安全队列中的电表数据，并将读取出的电表数据批量写入时序数据库，具体包括：

通过多个线程轮询从所述线程安全队列中读取电表数据，并将读取出的电表数据添加到预设的数组中；

在将所述线程安全队列中的电表数据全部读取并添加到所述数组中后，将所述数组序列化成一个字符串，得到序列化字符串；

调用时序数据库的写入接口，将所述序列化字符串写入所述时序数据库。

可选地，所述基于队列的电表数据处理方法还包括：

根据所述时序数据库中存储的电表数据，对电表设备的数据进行监控。

为实现上述目的，本发明还提供了如下方案：

一种基于队列的电表数据处理系统，包括：

初始化单元，用于初始化多个队列；

队列写入单元，与所述初始化单元连接，用于将消息中间件中的电表实时数据分别写入多个队列中；所述消息中间件实时获取电表设备的数据，以得到电表实时数据；各队列中存储部分电表实时数据；

数据提取单元，与所述队列写入单元连接，用于采用多线程的方式提取多个队列中的电表实时数据，得到对应每个队列的电表数据；

并行写入单元，与所述数据提取单元连接，用于将各电表数据并行写入线程安全队列；

入库单元，与所述并行写入单元连接，用于采用多线程并行读取所述线程安全队列中的电表数据，并将读取出的电表数据批量写入时序数据库。

为实现上述目的，本发明还提供了如下方案：

一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的基于队列的电表数据处理方法。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

通过使用多个队列对电表实时数据进行缓存，大大提高了数据的吞吐量，并且使得数据处理的每个步骤互不影响，在异步执行的同时保证了数据有序、安全地入库，有效避免了消息中间件中的数据积压，提高了电表数据的入库效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于队列的电表数据处理方法的流程图；

图2为电表数据入库的过程示意图；

图3为本发明基于队列的电表数据处理系统的模块示意图。

符号说明：

初始化单元-1，队列写入单元-2，数据提取单元-3，并行写入单元-4，入库单元-5。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于队列的电表数据处理方法、系统及电子设备，使用多个有界阻塞队列对数据进行缓存，提高处理数据的吞吐量和效率，使得数据处理的每个步骤异步执行的同时，保证数据有序、安全地入库。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

首先介绍本发明使用到的相关技术：

队列：一种特殊的线性表，特殊之处在于它只允许在表的前端(front)进行删除操作，而在表的后端(rear)进行插入操作，和栈一样，队列是一种操作受限制的线性表。进行插入操作的端称为队尾，进行删除操作的端称为队头。

线程：操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。

线程池：一种线程使用模式。线程过多会带来调度开销，进而影响缓存局部性和整体性能。而线程池维护着多个线程，对线程统一管理。

实施例一

如图1和图2所示，本实施例提供一种基于队列的电表数据处理方法，包括：

S1：初始化多个队列。并将多个队列放入缓存。

S2：将消息中间件中的电表实时数据分别写入多个队列中。所述消息中间件实时获取电表设备的数据，以得到电表实时数据。各队列中存储部分电表实时数据。具体地，电表实时数据包括实时电流、实时电压等。优选地，每个队列均为有界阻塞队列。

进一步地，步骤S2具体包括：

S21：启动多个客户端，并建立各客户端与消息中间件的通讯连接。客户端的数量与队列的数量相同，且每个客户端对应一个队列。在本实施例中，客户端为EMQ(Erlang/Enterprise/ElasticMQTT，物联网实时消息引擎)客户端，消息中间件为EMQ消息中间件。采用EMQ中的共享订阅的方式从消息中间件中订阅电表实时数据。

S22：通过消息中间件将电表实时数据分发到每个客户端上。每个客户端存储部分电表实时数据。

具体地，EMQ消息中间件根据电表实时数据的上传顺序，将电表实时数据依次分发到每个客户端上。

S23：各客户端将对应的电表实时数据写入对应的队列中。

消息中间件对电表实时数据的分发以及客户端将电表实时数据写入队列的过程中不做任何业务处理。每个队列的写入和读取互不影响，以提高步骤S3中对电表数据处理的效率。

S3：采用多线程的方式提取多个队列中的电表实时数据，得到对应每个队列的电表数据。在步骤S3可以根据实际需要对电表实时数据进行处理。由于网关上传的报文是个JSON字符串，包含了电表设备的信息、点信息以及时间戳等，需要提取其中关键的信息处理成方便写入数据库的格式。

进一步地，步骤S3具体包括：

S31：初始化一个线程池，并启动多个核心线程。所述核心线程的数量与队列的数量相同，且每个核心线程对应一个队列。

S32：每隔设定时间间隔，将多个队列同时提交到所述线程池中。作为一种具体的实施方式，每隔0.5秒，把所有队列作为多个任务同时提交到线程池中，使得所有任务同时执行。

S33：针对任一队列，通过与所述队列对应的核心线程从所述队列中读取电表实时数据，并将读取出的电表实时数据转换为字符串数据，得到对应所述队列的电表数据。

作为一种具体的实施方式，在一个任务中，轮询从当前队列获取电表实时数据，然后把电表实时数据通过parseObject方法转换为JSON对象，方便从中提取点长名、值以及时间戳，然后组合成一个字符串数组，通过步骤S4将字符串数组写入线程安全队列，直至所有队列中的电表实时数据取完为止。

S4：将各电表数据并行写入线程安全队列。优选地，所述线程安全队列为有界阻塞队列。

线程安全队列内部分别使用读锁和写锁进行并发控制。线程安全队列是作为入库前的缓存队列，将数据处理与数据入库解耦，互不影响效率，异步执行的同时又保证了数据有序、安全地入库。步骤S3中的电表数据处理成字符串数组后并发线程安全队列中，步骤S5并发地从此线程安全队列中读取字符串数组。

在本实施例中，所有写入线程共用一个写锁，即同一时刻只能有一个线程获取写锁进行写操作。一个队列中的电表数据处理完写入到此线程安全队列之后，下一个队列中的数据才能写入到此线程安全队列。

S5：采用多线程并行读取所述线程安全队列中的电表数据，并将读取出的电表数据批量写入时序数据库。由于队列是线程安全的，多个线程同时进行读取操作时，保证操作的不会是同一条数据。

步骤S5中所有读取线程共用一个读锁，同一时刻只能有一个线程获取读锁进行读操作，保证写入数据和读取数据的安全性和有序性，实现出入队列的线程安全。此外，写入和读取电表的实时数据可以同时进行，进而大大提高吞吐量。

进一步地，步骤S5具体包括：

S51：通过多个线程轮询从所述线程安全队列中读取电表数据，并将读取出的电表数据添加到预设的数组中。

S52：在将所述线程安全队列中的电表数据全部读取并添加到所述数组中后，将所述数组序列化成一个字符串，得到序列化字符串。

S53：调用时序数据库的写入接口，将所述序列化字符串写入所述时序数据库。

作为一种具体的实施方式，每个线程会初始化一个时序数据库API(ApplicationProgramInterface，应用程序编程接口)中的BatchPoints数组，轮询从线程安全队列中取出电表数据，把点长名、值以及时间戳，调用measurement方法封装成一个Point对象，调用point方法添加到数组中，直到把队列中的数据取完，然后再调用lineProtocol方法把BatchPoints数组序列化成一个字符串，最后调用时序数据库的write写入接口，传入参数为序列化的字符串，完成入库，提高了写入数据库的速率。

此外，所述基于队列的电表数据处理方法还包括：

S6：根据所述时序数据库中存储的电表数据，对电表设备的数据进行监控。

本发明通过使用多个有界阻塞队列对数据进行缓存，大大提高了处理数据的吞吐量和效率，使得数据处理的每个步骤互不影响，每个步骤异步执行的同时又保证了数据有序、安全地入库，充分利用了CPU(centralprocessing unit，中央处理器)多核的性能。

实施例二

为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种基于队列的电表数据处理系统。

如图3所示，本实施例提供的基于队列的电表数据处理系统包括：初始化单元1、队列写入单元2、数据提取单元3、并行写入单元4及入库单元5。

其中，初始化单元1用于初始化多个队列。

队列写入单元2与所述初始化单元1连接，队列写入单元2用于将消息中间件中的电表实时数据分别写入多个队列中。所述消息中间件实时获取电表设备的数据，以得到电表实时数据。各队列中存储部分电表实时数据。

数据提取单元3与所述队列写入单元2连接，数据提取单元3用于采用多线程的方式提取多个队列中的电表实时数据，得到对应每个队列的电表数据。

并行写入单元4与所述数据提取单元3连接，并行写入单元4用于将各电表数据并行写入线程安全队列。

入库单元5与所述并行写入单元4连接，入库单元5用于采用多线程并行读取所述线程安全队列中的电表数据，并将读取出的电表数据批量写入时序数据库。

相对于现有技术，本实施例提供的基于队列的电表数据处理系统与实施例一提供的基于队列的电表数据处理方法的有益效果相同，在此不再赘述。

实施例三

本实施例提供一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例一的基于队列的电表数据处理方法。

可选地，上述电子设备可以是服务器。

另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的基于队列的电表数据处理方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于队列的电表数据处理方法，其特征在于，所述基于队列的电表数据处理方法包括：

初始化多个队列；

将消息中间件中的电表实时数据分别写入多个队列中；所述消息中间件实时获取电表设备的数据，以得到电表实时数据；各队列中存储部分电表实时数据；

所述将消息中间件中的电表实时数据分别写入多个队列中，具体包括：

启动多个客户端，并建立各客户端与消息中间件的通讯连接；客户端的数量与队列的数量相同，且每个客户端对应一个队列；

通过消息中间件将电表实时数据分发到每个客户端上；每个客户端存储部分电表实时数据；

各客户端将对应的电表实时数据写入对应的队列中；

采用多线程的方式提取多个队列中的电表实时数据，得到对应每个队列的电表数据；

将各电表数据并行写入线程安全队列；

采用多线程并行读取所述线程安全队列中的电表数据，并将读取出的电表数据批量写入时序数据库，具体包括：

通过多个线程轮询从所述线程安全队列中读取电表数据，并将读取出的电表数据添加到预设的数组中；

在将所述线程安全队列中的电表数据全部读取并添加到所述数组中后，将所述数组序列化成一个字符串，得到序列化字符串；

调用时序数据库的写入接口，将所述序列化字符串写入所述时序数据库。

2.根据权利要求1所述的基于队列的电表数据处理方法，其特征在于，所述电表实时数据包括实时电流及实时电压。

3.根据权利要求1所述的基于队列的电表数据处理方法，其特征在于，所述采用多线程的方式提取多个队列中的电表实时数据，得到对应每个队列的电表数据，具体包括：

初始化一个线程池，并启动多个核心线程；所述核心线程的数量与队列的数量相同，且每个核心线程对应一个队列；

每隔设定时间间隔，将多个队列同时提交到所述线程池中；

针对任一队列，通过与所述队列对应的核心线程从所述队列中读取电表实时数据，并将读取出的电表实时数据转换为字符串数据，得到对应所述队列的电表数据。

4.根据权利要求1所述的基于队列的电表数据处理方法，其特征在于，所述线程安全队列为有界阻塞队列。

5.根据权利要求1所述的基于队列的电表数据处理方法，其特征在于，所述基于队列的电表数据处理方法还包括：

根据所述时序数据库中存储的电表数据，对电表设备的数据进行监控。

6.一种基于队列的电表数据处理系统，其特征在于，所述基于队列的电表数据处理系统包括：

初始化单元，用于初始化多个队列；

队列写入单元，与所述初始化单元连接，用于将消息中间件中的电表实时数据分别写入多个队列中；所述消息中间件实时获取电表设备的数据，以得到电表实时数据；各队列中存储部分电表实时数据；

所述将消息中间件中的电表实时数据分别写入多个队列中，具体包括：

启动多个客户端，并建立各客户端与消息中间件的通讯连接；客户端的数量与队列的数量相同，且每个客户端对应一个队列；

通过消息中间件将电表实时数据分发到每个客户端上；每个客户端存储部分电表实时数据；

各客户端将对应的电表实时数据写入对应的队列中；

数据提取单元，与所述队列写入单元连接，用于采用多线程的方式提取多个队列中的电表实时数据，得到对应每个队列的电表数据；

并行写入单元，与所述数据提取单元连接，用于将各电表数据并行写入线程安全队列；

入库单元，与所述并行写入单元连接，用于采用多线程并行读取所述线程安全队列中的电表数据，并将读取出的电表数据批量写入时序数据库，具体包括：

通过多个线程轮询从所述线程安全队列中读取电表数据，并将读取出的电表数据添加到预设的数组中；

在将所述线程安全队列中的电表数据全部读取并添加到所述数组中后，将所述数组序列化成一个字符串，得到序列化字符串；

调用时序数据库的写入接口，将所述序列化字符串写入所述时序数据库。

7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行权利要求1至5中任一项所述的基于队列的电表数据处理方法。