CN110572445A - 配用电数据采集存储空间管理方法、终端及存储介质 - Google Patents

Abstract

本发明公开了一种配用电数据采集存储空间管理方法包括如下步骤：监测网络状态，如网络处于连接状态则数据保持云存储，如网络处于未连接状态则数据采用本地存储；对未联网状态计时，如计时时长在预设时长内则数据保持本地存储，如计时时长超过预设时长则对本地存储空间内的数据进行打包存储；判断打包数据是否低于预设存储空间，如打包数据大小低于预设存储空间大小则保持本地存储，如打包数据高于预设存储空间则删除最早的打包数据。本发明提供一种配用电数据采集存储空间管理方法，在网络未连接的情况下，防止本地数据出现挤压，减少本地存储空间的不合理占用。

Description

配用电数据采集存储空间管理方法、终端及存储介质

技术领域

本发明涉及电能数据存储管理技术领域，尤其涉及一种配用电数据采集存储空间管理方法、终端及存储介质。

背景技术

随着社会数字化工业技术的快速发展，大多数工厂均采用数字化管理模式进行生产，通过少数工作人员对数字化参数进行监控，即可对工厂设备进行管控。

工厂相关的配用电系统数据为实时数据，对应设备运转过程会源源不断的产生配用电系统数据。随着运转时长的推移，对应的数据量也将成为一个天文数字。目前，应对庞大的数据量的办法通常采用云存储的办法将配用电系统数据转移至云端服务器进行存储，以缓解本地数据出现挤压的状况。

但是，由于天气、信号等因素的影响，工厂的网络通常会出现无法连接的状况。导致本地数据挤压，无法进行数据更新存储。因此，急需一种针对于配用电数据存储空间管理方法，对空间进行合理分配实用。

发明内容

本发明的目的在于提供一种配用电数据采集存储空间管理方法，在网络未连接的情况下，防止本地数据出现挤压，减少本地存储空间的不合理占用。

本发明公开的配用电数据采集存储空间管理方法所采用的技术方案是:

一种配用电数据采集存储空间管理方法包括如下步骤：

监测网络状态，如网络处于连接状态则数据保持云存储，如网络处于未连接状态则数据采用本地存储；

对未联网状态计时，如计时时长在预设时长内则数据保持本地存储，如计时时长超过预设时长则对本地存储空间内的数据进行打包存储；

判断打包数据是否低于预设存储空间，如打包数据大小低于预设存储空间大小则保持本地存储，如打包数据高于预设存储空间则删除最早的打包数据。

作为优选方案，所述数据保持云存储步骤中之前，数据预先存储于本地，再通过本地存储将数据实时进行云存储。

作为优选方案，所述存储打包数据的同时还需要删除原数据。

作为优选方案，所述打包数据以打包时间先后顺序进行排序。

作为优选方案，还包括网络恢复步骤，具体步骤如下：

判断恢复网络所需时长是否大于预设时长，如恢复网络所需时长大于预设时长则进行数据解包处理，如恢复网络所需时长小于预设时长则执行云存储；

判断打包存储的数据是否低于预设存储空间，如打包数据大小低于预设存储空间大小则进行解包处理，如打包数据高于预设存储空间则数据保持打包状态。

作为优选方案，所述解包数据的同时还需要删除原打包数据。

作为优选方案，所述解包数据以打包时间先后顺序进行排序。

本技术方案还提供一种终端，所述终端包括：

一个或多个处理器。

存储装置，用于存储一个或多个程序。

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前述的配用电数据采集存储空间管理方法。

本技术方案还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述的配用电数据采集存储空间管理方法。

本发明公开的配用电数据采集存储空间管理方法的有益效果是：当网络处于未连接状态时，数据采用本地存储。同时结合时间和空间两个维度对数据量进行评估。通过双重影响因素逐步进行打包存储管理，对本地存储空间进行合理的利用，有效防止本地数据出现挤压现象。

附图说明

图1是本发明配用电数据采集存储空间管理方法的流程图。

图2是本发明配用电数据采集存储空间管理方法打包文件结构示意图。

图3是本发明配用电数据采集存储空间管理方法解包流程图。

具体实施方式

下面结合具体实施例和说明书附图对本发明做进一步阐述和说明:

请参考图1，一种配用电数据采集存储空间管理方法包括如下步骤：

第一步，监测网络状态，判断网络是否处于连接状态。

如网络处于连接状态，即采集设备的各项数据资料时时通过网络传递至云端存储。本实施例中的云存储的具体步骤如下：

首先各个传感器采集用电设备各项配用电数据，将各项配用电数据预先存储于本地存储模块，即本地硬盘或者本地数据库。再通过本地存储将数据实时进行云存储。

如网络处于未连接状态，即采集设备的各项配用电数据资料直接存入本地硬盘或者本地数据库。

换句话说上述步骤无论网络处于何种状态，均会将采集到设备各项配用电数据存储至本地资源内。然后再对网络的连接状态进行判断，而实行不同的存储模式。

第二步，当网络处于未连接状态时，将会对未联网状态开始计时，记录未联网状态的时长。

预设时长的设定：采集设备各项数据经过一段自然时长所积累的总量恰好到达本地存储空间所能存储临界值，该临界值同时还需要保证系统正常运行所要调用的本地存储空间，这一段自然时长记为预设时长。本实施例中的预设时长可以根据设备数据量的产出速率以及本地存储设备空间大小两个因素具体协同设定。具体的，本实施例预设时间设为3天。

如计时时长在预设时长内，则表示本地存储空间充足，可以保持执行数据的本地存储。即数据按照时间先后的顺序，以及单项配用电数据序列进行存储。具体的在存储器中，采集到的数据按产生的日期分别存放至不同的目录，如N0:/SendData/2019/07/01/。

与此同时将会以1分钟的时间间隔检测一次N0:/SendData/目录下积压计时时长的数据。

如计时时长超过预设时长，则表示本地存储空间不足，随即将对本地存储空间内的数据进行打包存储。即当网络处于未连接状态，同时造成N0:/SendData/目录下积压超过3天的数据时，触发数据打包流程。

本实施例中存储打包数据的同时还需要删除原数据，避免等同的数据占用空间。

第三步，判断打包数据是否低于预设存储空间，在网络长期处于未连接状态，存储空间内的数据将会被多次打包，同时打包数据将会以打包时间的先后顺序进行排序。本步骤将对其具体的存储数量及存储总量的数据大小进行判断。

如打包数据大小低于预设存储空间大小则保持本地存储。如打包数据高于预设存储空间则删除最早的打包数据。

上述方法步骤结合时间和空间两个维度对数据量进行评估。通过双重影响因素逐步进行打包存储管理，对本地存储空间进行合理的利用，有效防止本地数据出现挤压现象。并且可以存储更多的数据。

结合实际软件运行流程，本实施例将详细说明打包的具体步骤：

每天采集汇总设备的各项配用电数据按照时间先后的顺序分别存储于N0:/SendData/2019/07/01/、N0:/SendData/2019/06/30/、N0:/SendData/2019/06/29/、N0:/SendData/2019/06/28/等多个目录下。

(1)、对N0:/SendData/目录下的日期目录进行排序，对最最早一天的目录(即N0:/SendData/2019/06/28/)进行打包。

(2)、在N0:/DataPack/目录下创建20190628.ptmp文件，同时创建PackInfo.txt文件。

*.ptmp文件的作用：临时打包文件，当系统检测到存在此类型的文件时，说明打包尚未完成文件信息的写入，系统应当删除此类型文件，重新执行打包流程。

PackInfo.txt文件的作用：记录写入打包文件的相关信息(文件路径、文件大小、偏移量)，用于后续解包。

(3)、对于N0:/SendData/2019/06/28/目录下的每个文件，将文件内容写入20190628.ptmp。在写入文件内容的同时，在PackInfo.txt中记录该文件的原路径，文件大小，以及在20190628.ptmp中的偏移量。

(4)、将PackInfo.txt的文件内容写入20190628.ptmp，同时，在20190628.ptmp的结尾记录下PackInfo.txt文件内容的位置，然后删除PackInfo.txt。

(5)、将20190628.ptmp重命名为20190628.rDel，然后删除N0:/SendData/2019/06/28/目录下的所有文件。待删除完成后，将20190628.rDel重命名为20190628.pack。至此，打包结束。

*.rDel文件的作用：当系统检测到存在此类型的文件时，说明文件删除未完成，系统应当删除剩余的文件。在完成剩余文件的删除后，将*.rDel重命名为*.pack以完成打包。

在打包过程中，当出现断电等意外情况造成设备停止工作时，在设备重新启动运行后，通过*.ptmp以及*.rDel文件，系统可以知道上次未完成的打包处于哪个流程，然后根据情况自动完成打包。也就是说，打包过程中出现任何意外情况，系统都可自行恢复。

在打包完成后，20190628.pack的文件结构如图2所示。

较佳的，本实施例在单片机上使用的RL-FlashFS文件系统，对于大小不足4KB的文件，仍然会占用4KB的存储空间。而具体到实际采集到设备的各项配用电数据通常不足1KB。因此，本实施例中在文件打包时，将多个文件的内容写入单个文件中，可以节省存储空间。

请参考图3，本实施例中还包括网络恢复步骤，具体步骤如下：

第一步，判断恢复网络所需时长是否大于预设时长。

如恢复网络所需时长小于预设时长，则表示还未执行上述打包步骤，即目前本地存储空间充足，此时采集设备的各项数据资料将直接存入云端。如恢复网络所需时长大于预设时长，则表示数据至少已经被打包存储过一次，因此，要获取到打包后的数据就必须进行数据解包处理。当N0:/SendData/目录下的积压数据的天数大于2天时，触发数据解包流程。解包数据的同时还需要删除原打包数据，避免等同的数据占用空间。

第二步，判断打包存储的数据是否低于预设存储空间。

如打包数据大小低于预设存储空间大小，则表示有解包所需的存储空间，因此，进行解包处理。同时，解包数据以打包时间先后顺序进行排序。如打包数据高于预设存储空间，则表示存储空间不足以执行解包操作，因此，数据保持打包状态直至空间充足。

请参考图2，结合实际软件运行流程，本实施例将详细说明解包的具体步骤：

(1)、在20190628.pack文件的末尾，读出C部分的内容，通过该内容找到B部分在文件中的位置，然后读出B部分的内容，将内容写入PackInfo.txt文件。

(2)、将20190628.pack重命名为20190628.rDel文件。

(3)、根据PackInfo.txt文件，可知写入20190628.rDel的每个文件的原路径、文件大小以及在20190628.rDel中的位置，根据这些信息即可还原文件。

(4)、在20190628.rDel中的所有文件都还原后，删除PackInfo.txt及20190628.rDel。至此，解包完成。

本实施例还提供一种终端，所述终端包括：

一个或多个处理器。

存储装置，用于存储一个或多个程序。

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前述的配用电数据采集存储空间管理方法。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述的配用电数据采集存储空间管理方法。

本发明提供一种配用电数据采集存储空间管理方法，当网络处于未连接状态时，数据采用本地存储。同时结合时间和空间两个维度对数据量进行评估。通过双重影响因素逐步进行打包存储管理，对本地存储空间进行合理的利用，有效防止本地数据出现挤压现象。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (9)

1.一种配用电数据采集存储空间管理方法，其特征在于，包括如下步骤：

监测网络状态，如网络处于连接状态则数据保持云存储，如网络处于未连接状态则数据采用本地存储；

对未联网状态计时，如计时时长在预设时长内则数据保持本地存储，如计时时长超过预设时长则对本地存储空间内的数据进行打包存储；

判断打包数据是否低于预设存储空间，如打包数据大小低于预设存储空间大小则保持本地存储，如打包数据高于预设存储空间则删除最早的打包数据。

2.如权利要求1所述的配用电数据采集存储空间管理方法，其特征在于，所述数据保持云存储步骤中之前，数据预先存储于本地，再通过本地存储将数据实时进行云存储。

3.如权利要求1所述的配用电数据采集存储空间管理方法，其特征在于，所述存储打包数据的同时还需要删除原数据。

4.如权利要求1-3任一项所述的配用电数据采集存储空间管理方法，其特征在于，所述打包数据以打包时间先后顺序进行排序。

5.如权利要求4所述的配用电数据采集存储空间管理方法，其特征在于，还包括网络恢复步骤，具体步骤如下；

判断恢复网络所需时长是否大于预设时长，如恢复网络所需时长大于预设时长则进行数据解包处理，如恢复网络所需时长小于预设时长则执行云存储；

判断打包存储的数据是否低于预设存储空间，如打包数据大小低于预设存储空间大小则进行解包处理，如打包数据高于预设存储空间则数据保持打包状态。

6.如权利要求5所述的配用电数据采集存储空间管理方法，其特征在于，所述解包数据的同时还需要删除原打包数据。

7.如权利要求6所述的配用电数据采集存储空间管理方法，其特征在于，所述解包数据以打包时间先后顺序进行排序。

8.一种终端，其特征在于，所述终端包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的配用电数据采集存储空间管理方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的配用电数据采集存储空间管理方法。