CN114338671A - 一种用于小水电站边缘计算网关数据处理方法 - Google Patents

Abstract

本发明涉及一种用于小水电站边缘计算网关数据处理方法。包括：接收水电站传感器数据；对收到的实时数据进行分类有效性验证算法模块；对有效数据的组织和存储算法模块；根据通信信道状态确定可变长的数据的打包算法模块；打包数据的转发模块。本发明方法可以应用各类水电站数据的采集与存储与传输，提升数据的传输完整性和可靠性，避免实时在线监测系统的误告警。

Description

一种用于小水电站边缘计算网关数据处理方法

技术领域

本发明涉及分布式水电站数据采集领域，具体涉及一种用于小水电站边缘计算网关数据处理方法。

背景技术

分布式水电站数据采集，通常是数据采集到一个集中控制器，集中控制将数据汇总后，通过局域网络实现上传。大部分小水电站位于较为偏远的深山，电力专用网络大多未能覆盖，公网通信也没有覆盖，给电力数据通信带来极大困难，部署了不稳定、不安全的通信方式，严重影响用电安全，导致数据传输过程中数据大量丢失。另外水电厂基础设施简陋，现有的设备及环境等监测水平较低，信息化程度不够，无法满足小水电厂数字化转型的需求。同时在数据告警的临界点位置，水位的微小变化可能会引起系统的报警和正常值直接的反复切换，影响系统的正常工作。同时由于运营商网络质量不可控，因此系统设计时必须考虑复杂环境下的通信处理。

因此，本领域需要一种用于小水电站边缘计算网关数据处理系统，对采集的数据初步处理，确保系统的报警的可靠性，保证数据传输的全面性和准确性。对于上层的应用开发，该系统能保证水电站端将采集到的数据准确完全送达上层应用系统。

发明内容

针对现有技术的不足，本发明的目的是提供一种用于小水电站边缘计算网关数据处理方法，对采集的数据初步处理，确保系统的报警的可靠性，保证数据传输的全面性和准确性。

本发明的目的是采用下述技术方案实现的：

本发明提供一种用于小水电站边缘计算网关数据处理方法，其改进之处在于，所述方法包括：

接收传感器发送过来的电信号，转换成对应的数字信号，放入缓存队列；

将该数据类型进行初步校验，超范围的信息丢弃；

数据与上一条有效数据比较，确定该数据是否有效，如有效，将该条记录打时间戳，计算与告警点位数据的绝对差。如在告警范围内，设置告警值为1，否则设置为0。

数据存储有两个缓存区，历史缓冲区和实时缓存区。

数据容器中缓存队列中的记录信息不低于5条信息，每次收到的数据与前5条数据比较，比较内容为数据值和时间信息，确定是否为告警信息，是设置告警值为1，否则设置为0。

网关对外网络正常时，实时向外通过5G网络推送最新数据。

网络故障时，将数据存储压缩存储，网络恢复后，将压缩数据按固定格式通过网络打包发出。

其特征在于，所述一种水电站在线监测AI数据网关的数据接受存储转发包括：其特征包括通信模块和告警计算模块以及数据存储模块。

所述对数据通信模块具有数据接收功能和数据转发功能，边缘计算功能具有数据边缘分析功能和数据存储组织功能包括：

系统开机后，接受传感系统发送的数据，收到数据后，最前5条数据按照规则，设置对应的告警位，并将数据依次存放到对应的历史缓存区，最新的数据存放到实时缓存区并推送到前端。历史缓存的数据超过5条后，新接受的数据开始比较，系统接通过有线网络收到传感器数据后，结合最近的5条记录，自动对该数据进行分析，通过与最新的5条数据，计算并设置告警位。对数据按系统预定的格式组织放入实时数据队列。判断当前网络状态，网络状态正常，将最新的一条放入实时数据缓存区，当网络故障时候，将该数据放入历史缓存队列。网络故障恢复后，该历史缓存队列数据全打包发出，保留最后的5条记录，移除其余的数据记录。

所述系统接通过有线网络收到传感器数据后，结合历史数值对该数据进行计算分析，通过与最新的5条数据，确定当前数据告警位的值并设置告警位，包括：

S1.网管系统正常开启，实时数据缓存区和历史缓存区为空，接收第一条数据，发送到接收到数据后，与系统设置的正常值门限值比较，超出正常门限值，该记录为无效数据，直接删除，不做其它处理；

S2.在正常值门限范围以内的数据，将该数据和将告警门限值比较，并初步确定该数据的标识位，与上一条数据的告警标识位比较，如果和上一条数据的标识位一致，设置该条数据的标识位和上一条记录的标志位一致。结果与上一条不一致，再与前比较前四条记录。如果前四条记录告警位数据不一致，判断该数据的告警误差，如果告警误差范围内，设置本次告警位和前次记录一致。

S3.发送实时缓存区数据。

S4.若数据发送成功，清空实时缓存区数据；扫描存储文件，存储文件存在，发送存储文件并清空存储文件。

S5.若发送失败，将该条数据写入存储文件。存储文件格式与写入方式如下：

存储文件采用独立的文件方式，文件头前2个字节用于存放该条数据对应的设备ID，随后的2个字节存放本文件记录总条数，再后面依次存放未发送的数据。

重复执行S2～S5，

所述数据存储模块包括：

实时缓存：其特征在于每次接受到传感器数据，将该数据经过初步处理后，放入实时缓存区，通过网络向数据接收端发送数据，若发送成功，清空该缓存区，该缓存区最多只有一条最新数据。

历史数据缓存：其特征在于每次接受到传感器数据，将该数据经过初步处理后，采用先进先出方式，将该数据排队，该队列中，最多存放5条最新的数据。每次最新的数据收到后，若转发成功，队列数据更新，否则，将该数据存入对应的数据文件。

所述数据存储模块包括

历史数据缓存区包含两类文件，一类是最新数据缓存队列，用于数据的告警位设置的参考数据，另一类是未发送成功的数据存储文件。

与最接近的现有技术相比，本发明具有的有益效果：

发明提供的一种用于小水电站边缘计算网关数据处理方法。通过接收水电站传感器数据，对收到的实时数据进行分类有效性验证，保证数据的准确性，对有效数据的组织和存储算法，根据通信信道状态确定可变长的数据的打包算法，保证数据的完整性，提升系统的告警准确率，打包后数据的转发模块，保证数据的可靠发送。本发明方法可以应用各类水电站数据的采集与存储与传输，提升数据的传输完整性和可靠性，避免实时在线监测系统的误告警。

附图说明

图1是小水电站边缘计算网关数据流程图；

图2是数据告警推送处理的流程图；

图3是网络故障状态下，存储文件组织图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提供一种用于小水电站边缘计算网关数据处理方法，如图1所示，所述方法包括：

综上所述，发明提供的一种用于小水电站边缘计算网关数据处理方法。通过接收水电站传感器数据，对收到的实时数据进行分类有效性验证，保证数据的准确性，对有效数据的组织和存储算法，根据通信信道状态确定可变长的数据的打包算法，保证数据的完整性，提升系统的告警准确率，打包后数据的转发模块，保证数据的可靠发送。本发明方法可以应用各类水电站数据的采集与存储与传输，提升数据的传输完整性和可靠性，避免实时在线监测系统的误告警。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (6)

1.本发明涉及一种用于小水电站边缘计算网关数据处理方法其特征在于，所述方法包括：

接收传感器发送过来的电信号，转换成对应的数字信号；

将该数据类型进行初步校验，超范围的信息丢弃；

数据初步计算，放入缓存队列；

数据存储有两个缓存区，历史缓冲区和实时缓存区。

数据与上一条有效数据比较，确定该数据是否异常，如正常，将该条记录打时间戳，并计算。设置该条数据对应告警位为1或0。

数据容器中缓存队列中的记录信息不低于5条信息，每次收到的数据与前5条数据比较，比较内容为数据值和时间信息，确定是否为告警信息，是设置告警值为1，否则设置为0。

网关对外网络正常时，实时向外通过5G网络推送最新数据。

网络故障时，将数据压缩存储，网络恢复后，将压缩数据按自定义格式通过5G网络打包发出。

2.如权利要求1所述的方法，其特征在于，所述小水电站边缘计算网关的数据接受存储转发包括：其特征包括通信模块和告警计算模块以及数据存储模块。

3.如权利要求2所述的方法，其特征在于，所述对数据通信模块具有数据接收功能和数据转发功能，边缘计算功能具有数据边缘分析功能和数据存储组织功能包括：

系统开机后，接受传感系统发送的数据，收到数据后，最前5条数据按照规则，设置对应的告警位，并将数据依次存放到对应的历史缓存区，最新的数据存放到实时缓存区并推送到前端。历史缓存的数据超过5条后，新接受的数据开始比较，系统接通过有线网络收到传感器数据后，结合最后接收的5条记录，自动对该数据进行分析，通过与最后接收的5条数据比较，计算并设置告警位。同时对数据按系统预定的格式组织放入实时数据队列。判断当前网络状态，网络状态正常，将最新的一条放入实时数据缓存区，当网络故障时候，将该数据放入历史缓存队列。网络故障恢复后，该历史缓存队列数据全打包发出，保留最新的5条记录，移除其余的数据记录。

4.如权利要求3所述的方法，其特征在于，所述系统接通过有线网络收到传感器数据后，结合历史数值对该数据进行计算分析，通过与最新的5条数据，确定当前数据告警位的值并设置告警位，包括：

S1.接收到数据后，与系统设置的正常值门限值比较，超出正常门限值，该记录为无效数据，直接删除，不做其它处理；

S2.在正常值门限范围以内的数据，将该数据和将告警门限值比较，并初步确定该数据的标识位，与上一条数据的告警标识位比较，如果和上一条数据的标识位一致，设置该条数据的标识位和上一条记录的标志位一致。结果与上一条不一致，再与前比较前四条记录。如果前四条记录告警位数据不一致，判断该数据的告警误差，如果告警误差范围内，设置本次告警位和前次记录一致。

S3.发送实时缓存区数据。

S4.若数据发送成功，清空实时缓存区数据；扫描存储文件，存储文件存在，发送存储文件并清空存储文件。

S5.若发送失败，将该条数据写入存储文件。存储文件格式与写入方式如下：

存储文件采用独立的文件方式，文件头前2个字节用于存放该条数据对应的设备ID，随后的2个字节存放本文件记录总条数，再后面依次存放未发送的数据。

重复执行S2～S5。

5.如权利要求2所述的方法，其特征在于，所述数据存储模块包括：

实时缓存：其特征在于每次接受到传感器数据，将该数据经过初步处理后，放入实时缓存区，通过网络向数据接收端发送数据，若发送成功，清空该缓存区，该缓存区最多只有一条最新数据。

历史数据缓存：其特征在于每次接受到传感器数据，将该数据经过初步处理后，采用先进先出方式，将该数据排队，该队列中，最多存放5条最新的数据。每次最新的数据收到后，若转发成功，队列数据更新，否则，将该数据存入对应的数据文件。

6.如权利要求5所述的方法，其特征在于，所述数据存储模块包括

历史数据缓存区包含两类文件，一类是最新数据缓存队列，用于数据的告警位设置的参考数据，另一类是未发送成功的数据存储文件。

Images