CN111966498B - 一种配电房物联网网关数据快速处理方法、系统及存储介质 - Google Patents

Abstract

本发明公开了一种配电房物联网网关数据快速处理方法及系统，包括以下过程：写数据时：获取读写信号量；根据写指针向缓冲区中写入数据，写指针加1；释放读写信号量；读数据时：重定位读指针并计算未读取数据的个数；根据重定位的读指针从缓冲区中读取数据，读指针加1；重复以上过程，直至读完未读取数据的个数。实现写入数据需要信号量来实现同步，读取数据时不需要信号量的同步。

Description

一种配电房物联网网关数据快速处理方法、系统及存储介质

技术领域

本发明物联网网关技术领域，具体涉及一种配电房物联网网关数据快速处理方法，还涉及一种配电房物联网网关数据快速处理系统。

背景技术

配电房物联网网关负责将配电房内各种智能设备（包括各种智能仪表、传感器，在线监测数据等）的数据通过通讯的方式收集到网关机，由网关机通过GPRS或者网络的方式传输到云平台和就地监控后台。网关机在接入不同厂家、不同通讯方式的设备时采用多任务的处理方式，将智能设备的实时数据及告警信息及时快速的写入实时库及转发库。在转发库中包含SOE、COS和变化遥测，通常的做法是变化数据采用固定大小的缓冲区，通过读、写指针的方式实现环形缓冲区的功能，存放这些变化数据的是结构化数据，以固定大小的数据块的方式写入环形缓冲区，结构化数据中指定变化数据的个数和数据存放的地址，读写指针指向的是结构化数据，写入数据时写指针加1，读取数据时读指针加1，在读取的时候如果读指针和写指针相等，则表示无新数据，在写数据时，需要判断写指针是否到达缓冲区的尾部，如果超过尾部需要回环到缓冲区头部位置，如果写指针和读指针相等，说明写入数据出现了覆盖的现象，需要将读指针后移，然后将需写入的数据覆盖读指针后移后空出的缓冲区位置，这样保证读指针永远按照写入的先后顺序读取数据缓冲区的数据。

各任务通过信号量的方式去同步写入和读取，由于信号量是系统内核资源，大量频繁访问会降低数据处理的效率，并且由于价格的原因，配电房网关一般采用成本较低的ARM架构的中低端产品，在处理海量变化数据时，CPU负荷很高，信号延迟时间较长。

发明内容

本发明的目的在于克服现有技术中的不足，提供了一种配电房物联网网关数据快速处理方法，写入数据需要信号量来实现同步，读取数据时不需要信号量的同步。

本发明采取的技术方案如下。

第一方面，本发明提供了一种配电房物联网网关数据快速处理方法，包括以下过程：

写数据时：

获取读写信号量；

根据写指针向缓冲区中写入数据，写指针加1；

释放读写信号量；

读数据时：

重定位读指针并计算未读取数据的个数；

根据重定位的读指针从缓冲区中读取数据，读指针加1；

重复以上过程，直至读完未读取数据的个数。

进一步的，所述写指针为无符号整型。

进一步的，根据写指针向缓冲区中写入数据的位置为：

写指针对缓冲区最大存放结构化数据个数取模。

进一步的，所述读指针为无符号整型。

进一步的，所述重定位读指针并计算未读取数据的个数包括：

计算读写指针位置差；

根据读写指针位置差，计算重定位的读指针和未读取数据个数。

进一步的，所述计算读写指针位置差，包括：

如果写指针>=读指针：

读写指针位置差 = （写指针位置 - 读指针位置）

否则：读写指针位置差 = （无符号整型操作系统所能表示的最大值 - 读指针位置+写指针位置）。

进一步的，所述根据读写指针位置差，计算重定位的读指针和未读取数据个数，包括：

如果读写指针位置差 < 缓冲区最大个数：

重定位的读指针 = 当前读指针的位置%缓冲区最大个数

未读取数据个数 = 读写指针位置差

否则：

重定位的读指针 = （当前写指针的位置-缓冲区最大个数）%缓冲区最大个数

读指针 = 当前写指针的位置 - 缓冲区最大个数

未读取数据个数 = 缓冲区最大个数。

第二方面，本发明还提供了一种配电房物联网网关数据快速处理系统，包括写数据模块和读数据模块，其中：

写数据模块，被配置用于获取读写信号量；根据写指针向缓冲区中写入数据，写指针加1；释放读写信号量；

读数据模块，被配置用于重定位读指针，并计算未读取数据的个数；根据重定位的读指针从缓冲区中读取数据，读指针加1；重复以上过程，直至读完未读取数据的个数。

第三方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如第一方面所述的配电房物联网网关数据快速处理方法。

与现有技术相比，本发明所达到的有益效果是：只需要在写入数据时通过信号量来实现各线程间的同步，读取数据时不需要信号量的同步，这样可以大大减小系统内核调用次数，降低CPU使用率，提高系统数据的吞吐能力。

附图说明

图1是本发明方法写数据的流程图；

图2是本发明方法读数据的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明的一种配电房物联网网关数据快速处理方法，包括以下过程：

S1，写数据时：获取读写信号量；根据写指针向缓冲区中写入数据，写指针加1；

写数据的流程参见图1所示，在数据写入时各线程通过获取读写信号量获得写入权限，在写入数据时不需要去计算读指针的位置，也不用根据写入的个数去调整读指针，只需要写入数据，然后写指针+1。写入数据完成后释放信号量。

写入数据时的位置为写指针对缓冲区最大存放结构化数据个数取模（如果缓冲区最大存储个数为8000，当前写指针的数值为13000，那么数据写入的位置为13000%8000 =5000），写指针不需要回头，一直加下去，由存储写指针的无符号整型累加到操作系统所能表示的最大值后自然回0。

S2，读数据时：重定位读指针，并计算未读取数据的个数；根据重定位的读指针从缓冲区中读取数据，直至读完未读取数据的个数。

读指针与写指针一样，都是无符号整型，读指针加1不需要回头，一直加下去，由存储读指针的无符号整型累加到操作系统所能表示的最大值后自然回0。

读数据流程参见图2所示，在读取数据时需要计算读取的缓冲区的实际位置，因为有时候缓冲区中的数据长时间没有读取，写指针在不断写入数据时有可能将缓冲区未送出的数据进行了覆盖，这时需要重新计算读取的位置，将缓冲区的数据按照写入的顺序送出，不能从缓冲区的起始位置发送数据。

读指针重定位的方法是：

首先需要计算出读指针和写指针的差值和未读取数据的个数，未读取数据的个数主要用来告诉调用者缓冲区内未读走的数据的个数，在重新计算读指针后加上未读取的个数应该等于写指针的个数，在送出为读走的数据之后，读写指针保持一致。计算方法如下：

1、先计算出读写指针位置差：

如果写指针>=读指针：

读写指针位置差 = （写指针位置 - 读指针位置）

否则：读写指针位置差 = （无符号整型操作系统所能表示的最大值 - 读指针位置+写指针位置）。

2、再计算读指针和未读取数据的个数

如果读写指针位置差 < 缓冲区最大个数：（说明写入缓冲区的数据没有覆盖未读取过的缓冲区的数据）

重定位的读指针 = 当前读指针的位置%缓冲区最大个数

未读取数据个数 = 读写指针位置差

否则：（说明写入缓冲区的数据覆盖过未读取过的缓冲区的数据，可能是一次也可能是多次，现在整个缓冲区的数据都需要发送出去，但要保证先写入的数据先发送出去，因此需要调整读指针，实际是读指针指向的缓冲区位置为写指针下一次写入数据的位置，从缓冲区中最早写入的数据开始发送数据，当前写指针的位置就是下一次要写入数据的位置，因为每次写完数据后，写指针+1）

重定位的读指针 = （当前写指针的位置-缓冲区最大个数）%缓冲区最大个数

读指针 = 当前写指针的位置-缓冲区最大个数

未读取数据个数 = 缓冲区最大个数

然后根据重定位的读指针开始读取缓冲区中的数据，每读取一个，读指针+1，在读完未读取数据个数之后，读指针和写指针相等。

本发明采用了读指针重定位技术减少了读取数据时多线程之间的信号量同步，减少了写入数据时头指针的校正过程，提高了数据的吞吐能力。

各通讯任务只需要在写入数据时通过信号量来实现各线程间的同步，读取数据时不需要信号量的同步，这样可以大大减小系统内核调用次数，降低CPU使用率，提高系统数据的吞吐能力。

实施例2

与实施例1基于相同的发明构思，本实施例介绍一种配电房物联网网关数据快速处理系统，其特征是，包括：

写数据模块，被配置用于获取读写信号量；根据写指针向缓冲区中写入数据，写指针加1；释放读写信号量；

读数据模块，被配置用于重定位读指针，并计算未读取数据的个数；根据重定位的读指针从缓冲区中读取数据，读指针加1；重复以上过程，直至读完未读取数据的个数。

以上各模块的具体功能实现参考实施例1。

实施例3

本实施例介绍一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如实施例1所述的配电房物联网网关数据快速处理方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (4)

1.一种配电房物联网网关数据快速处理方法，其特征是，包括以下过程：

写数据时：

获取读写信号量；

根据写指针向缓冲区中写入数据，写指针加1；

释放读写信号量；

读数据时：

重定位读指针并计算未读取数据的个数；

根据重定位的读指针从缓冲区中读取数据，读指针加1；

重复以上过程，直至读完未读取数据的个数；

根据写指针向缓冲区中写入数据的位置为：

写指针对缓冲区最大存放结构化数据个数取模；

所述读指针为无符号整型；

所述重定位读指针并计算未读取数据的个数包括：

计算读写指针位置差；

根据读写指针位置差，计算重定位的读指针和未读取数据个数；

所述计算读写指针位置差，包括：

如果写指针>=读指针：

读写指针位置差 = （写指针位置 - 读指针位置）

否则：读写指针位置差 = （无符号整型操作系统所能表示的最大值 - 读指针位置+写指针位置）；

所述根据读写指针位置差，计算重定位的读指针和未读取数据个数，包括：

如果读写指针位置差 < 缓冲区最大个数：

重定位的读指针 = 当前读指针的位置%缓冲区最大个数

未读取数据个数 = 读写指针位置差

否则：

重定位的读指针 = （当前写指针的位置-缓冲区最大个数）%缓冲区最大个数

读指针 = 当前写指针的位置 - 缓冲区最大个数

未读取数据个数 = 缓冲区最大个数。

2.根据权利要求1所述的一种配电房物联网网关数据快速处理方法，其特征是，所述写指针为无符号整型。

3.一种配电房物联网网关数据快速处理系统，其特征是，包括写数据模块和读数据模块，其中：

写数据模块，被配置用于获取读写信号量；根据写指针向缓冲区中写入数据，写指针加1；释放读写信号量；

读数据模块，被配置用于重定位读指针，并计算未读取数据的个数；根据重定位的读指针从缓冲区中读取数据，读指针加1；重复以上过程，直至读完未读取数据的个数；

根据写指针向缓冲区中写入数据的位置为：

写指针对缓冲区最大存放结构化数据个数取模；

所述读指针为无符号整型；

所述重定位读指针并计算未读取数据的个数包括：

计算读写指针位置差；

根据读写指针位置差，计算重定位的读指针和未读取数据个数；

所述计算读写指针位置差，包括：

如果写指针>=读指针：

读写指针位置差 = （写指针位置 - 读指针位置）

否则：读写指针位置差 = （无符号整型操作系统所能表示的最大值 - 读指针位置+写指针位置）；

所述根据读写指针位置差，计算重定位的读指针和未读取数据个数，包括：

如果读写指针位置差 < 缓冲区最大个数：

重定位的读指针 = 当前读指针的位置%缓冲区最大个数

未读取数据个数 = 读写指针位置差

否则：

重定位的读指针 = （当前写指针的位置-缓冲区最大个数）%缓冲区最大个数

读指针 = 当前写指针的位置 - 缓冲区最大个数

未读取数据个数 = 缓冲区最大个数。

4.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如权利要求1-2任一项所述的配电房物联网网关数据快速处理方法。