CN110138506A - 大规模物联网断路器数据传输方法 - Google Patents

Abstract

本发明提供了一种大规模物联网断路器数据传输方法，基于级联组网方式，按照下述步骤分别处理相应的数据，并对每个步骤配置一个消息队列，用于存储每个步骤输出的数据，所述步骤包括：步骤一：获取断路器数据；步骤二：对获取的断路器数据进行序列化处理；步骤三：将序列化处理的数据进行传输；步骤四：云端服务器获取序列化处理后的数据并进行反序列化处理。本发明通过异步分批并行传输的方式，可以支持大数据量的数据传输，并且提高了传输效率，传输时间短，占用内存小，避免了出现内存溢出的问题，占用较小的网络资源即可，彻底解决了海量物联网断路器数据有效传输的问题。

Description

大规模物联网断路器数据传输方法

技术领域

本发明属于物联网断路器组网与数据采集方式技术领域，具体涉及一种大规模物联网断路器数据传输方法。

背景技术

断路器是指能够关合、承载和开断正常回路条件下的电流关合，在规定的时间内承载和开断异常回路条件下的电流的开关装置。物联网断路器是基于嵌入式微型芯片对线路的电压、电流、漏电流、温度、细分电量和故障报警等数据进行实时采集的新型断路器。

现有技术中大多数物联网断路器采用的数据传输方式为同步方式，即所有数据发送节点在同一时间开始数据发送与接收工作，传输时间较为集中，且部分数据采集节点为末端节点，需要上传至本地网关后，才可进行后续的数据传输工作。

上述物联网断路器的组网与数据传输方式，在大规模数据并发且传输量较大的情况下，短时间内需要处理的数据较多，易造成数据传输延时、丢包及网络阻塞，导致数据失真。

发明内容

本发明的目的是提供一种实用性强、支持多并发大数据量的大规模物联网断路器数据传输方法，以解决上述技术问题。

本发明提供了一种大规模物联网断路器数据传输方法，基于级联组网方式，按照下述步骤分别处理相应的数据，并对每个步骤配置一个消息队列，用于存储每个步骤输出的数据，所述步骤包括：

步骤一：获取断路器数据；

步骤二：对获取的断路器数据进行序列化处理；

步骤三：将序列化处理的数据进行传输；

步骤四：云端服务器获取序列化处理后的数据并进行反序列化处理。

进一步地，步骤一包括：

逐条读取断路器的数据，并将数据按顺序发送到该步骤对应的消息队列中。

进一步地，步骤二包括：

每隔设定的时间周期，逐条从步骤一对应的消息队列中读取消息，在后台对读取的每个消息进行序列化处理，并把序列化后的数据发送到步骤二对应的消息队列中。

进一步地，步骤三包括：

每隔设定的时间周期，逐条从步骤二对应的消息队列中读取消息，把读取后的数据放到内存中，当内存中的数据累加到n条时，将数据传输到云端服务器，并发送到步骤三对应的消息队列，其中，n为自然数。

进一步地，步骤四包括：

每隔设定的时间周期，逐条从步骤三对应的消息队列中读取消息，将读取后的数据反序列化，并把数据追加到目标数据结果集中。

与现有技术相比本发明的有益效果是：

通过异步分批并行传输的方式，可以支持大数据量的数据传输，并且提高了传输效率，传输时间短，占用内存小，避免了出现内存溢出的问题，占用较小的网络资源即可，彻底解决了海量物联网断路器数据有效传输的问题。

附图说明

图1是本发明级联组网方式的结构示意图；

图2是本发明一实施例的流程图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

本实施例提供了一种大规模物联网断路器数据传输方法，该方法基于级联组网方式，按照下述步骤分别处理相应的数据，并对每个步骤配置一个消息队列，用于存储每个步骤输出的数据(为了控制内存占用，每个消息队列可以设置容量)，即每个步骤对应一个线程，并行执行每个线程，该步骤包括：

步骤一：获取断路器数据；

步骤二：对获取的断路器数据进行序列化处理；

步骤三：将序列化处理的数据进行传输；

步骤四：云端服务器获取序列化处理后的数据并进行反序列化处理。

该大规模物联网断路器数据传输方法，使用消息队列技术进行分批并行数据传输(异步分批并行传输方式)，可以支持大数据量的数据传输，并且提高了传输效率，传输时间短，占用内存小，避免了出现内存溢出的问题，占用较小的网络资源即可，彻底解决了海量物联网断路器数据有效传输的问题。

在本实施例中，步骤一包括：

逐条读取断路器的数据，并将数据按顺序发送到该步骤对应的消息队列中。

在本实施中，步骤二包括：

每隔设定的时间周期(默认设置为2s)，逐条从步骤一对应的消息队列中读取消息，在后台对读取的每个消息进行序列化处理，并把序列化后的数据发送到步骤二对应的消息队列中。对读取的消息进行序列化处理时，消息队列执行出队操作，即消息从步骤一对应的消息队列删除；每条数据序列化是在断路器并行处理的。

在本实施中，步骤三包括：

每隔设定的时间周期(默认设置为2s)，逐条从步骤二对应的消息队列中读取消息，把读取后的数据放到内存中，当内存中的数据累加到n条时，将数据传输到云端服务器，并发送到步骤三对应的消息队列，其中，n为自然数，可根据使用场景设置n的大小。

在本实施中，步骤四包括：

每隔设定的时间周期(默认设置为2s)，逐条从步骤三对应的消息队列中读取消息，将读取后的数据反序列化，并把数据追加到目标数据结果集DataArray中。

下面对本发明作进一步详细说明。

某用电环境中，采用级联组网方式，如图1所示，通过数据采集功能，把断路器所采集的电气指标数据上传至云端服务器。

首先配置初始化并启动数据传输的各个步骤。系统把数据传输流程中的几个步骤分解为以下几个线程，且并行启动。

T1：读取断路器数据；

T2：序列化断路器数据；

T3：传输数据；

T4：反序列化数据。

然后，上述线程分别按照对应步骤的逻辑分别处理相应的数据，并把处理结果发送到对应的消息队列中。传输流程如图2所示。

在T1线程中(S11)，逐条读取断路器的电气指标数据，并把数据按顺序发送到S11-MQ中。

在T2线程中(S12)，每隔2s逐条从S11-MQ中读取消息进行序列化处理，并把序列化后的数据发送到S12-MQ中。读取消息时，消息队列执行出队操作，即消息从S11-MQ删除；每条数据序列化是在断路器并行处理的。

在T3线程中(S13)，每隔2s逐条从S12-MQ中读取数据放到内存中，当内存中的数据累加到10条时，把数据传输到云端服务器，并发送到S13-MQ中。

在T4线程中(S14)，每隔2s逐条从S13-MQ中读取消息，把读取后的数据反序列化，并把数据追加到目标数据结果集DataArray中。

本发明的应用场景，主要针对把断路器采集的数据传输到云端服务器的场景；本实施例仅介绍了结构化数据的传输，非结构化数据的传输也可以采用本发明的思想进行分解并行传输。

本发明采用分布级联组网方式的物联网断路器，各个层级的断路器分工明确，且所有断路器均可连接网络，不存在末端采集节点数据汇聚网关的情况。通过异步数据传输方式，将大量数据分为多个传输数据单元，可自动进行传输线路规划与传输过程协调，提高了传输频率与速度，进而提升了大规模数据采集的传输效率并形成数据采集全息快照。全息快照是基于精准识别与采集技术，准确采集多条用电线路的电气指标数据，全息既覆盖多种电气指标数据、采集数据全面，快照既在采集数据的基础上，只对改变的数据进行传输，可减少传输数据量。同时结合分布式采集策略，对采集频率进行控制，从而形成采集数据的高清断面展示。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (5)

1.一种大规模物联网断路器数据传输方法，其特征在于，基于级联组网方式，按照下述步骤分别处理相应的数据，并对每个步骤配置一个消息队列，用于存储每个步骤输出的数据，所述步骤包括：

步骤一：获取断路器数据；

步骤二：对获取的断路器数据进行序列化处理；

步骤三：将序列化处理的数据进行传输；

步骤四：云端服务器获取序列化处理后的数据并进行反序列化处理。

2.根据权利要求1所述的大规模物联网断路器数据传输方法，其特征在于，所述步骤一包括：

逐条读取断路器的数据，并将数据按顺序发送到该步骤对应的消息队列中。

3.根据权利要求2所述的大规模物联网断路器数据传输方法，其特征在于，所述步骤二包括：

每隔设定的时间周期，逐条从步骤一对应的消息队列中读取消息，在后台对读取的每个消息进行序列化处理，并把序列化后的数据发送到步骤二对应的消息队列中。

4.根据权利要求3所述的大规模物联网断路器数据传输方法，其特征在于，所述步骤三包括：

每隔设定的时间周期，逐条从步骤二对应的消息队列中读取消息，把读取后的数据放到内存中，当内存中的数据累加到n条时，将数据传输到云端服务器，并发送到步骤三对应的消息队列，其中，n为自然数。

5.根据权利要求4所述的大规模物联网断路器数据传输方法，其特征在于，所述步骤四包括：

每隔设定的时间周期，逐条从步骤三对应的消息队列中读取消息，将读取后的数据反序列化，并把数据追加到目标数据结果集中。