CN111523004B - 一种边缘计算网关数据的存储方法及系统 - Google Patents

Abstract

本发明公开了一种边缘计算网关数据的存储方法及系统，涉及数据管理技术领域。本发明的方法为：在内存中建立n个链表，每个链表设有m个节点，且链表与设备进行一一对应关联；同时获取n个不同设备的实时数据，再将n个不同设备的实时数据同步存储至对应链表的节点，其中，每个节点存储数据的开始时刻和结束时刻之间的时间间隔相同，且n个不同设备同时刻的数据存储至对应链表的节点序号相同。本发明的系统包括存储器和处理器；存储器用于存储计算机程序，处理器用于执行计算机程序，实现上述的方法。本发明目的在于克服现有技术中，难以保证网关数据存储的同步性的不足，本发明可以保证网关数据的周期一致性，且可以实现对网关数据的快速查询。

Description

一种边缘计算网关数据的存储方法及系统

技术领域

本发明涉及数据管理技术领域，更具体地说，涉及一种边缘计算网关数据的存储方法及系统。

背景技术

边缘计算起源于传媒领域，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。而云端计算，仍然可以访问边缘计算的历史数据。

现有技术中，工业系统的设备会产生海量的工业数据，海量工业数据需要进行存储分析，这对网络带宽提出了的巨大的挑战；将边缘计算应用至工业系统，结合边缘计算网关可以实现工业数据上云等IOT互联网应用。例如发明创造名称为：一种应用于边缘计算网关的数据处理方法及系统（申请日：2019年12月18日；申请号：201911312788.9），该方案公开了一种应用于边缘计算网关的数据处理方法及系统，包括获取生产系统中各工业设备进行应用操作时所产生的工业应用数据，并将该工业应用数据进行数据预处理后转发至多个数据分支，以使各数据分支进行相应的分支数据处理；将进行分支数据处理的工业应用数据分类存储于相应的存储空间内，并对各存储空间的空间容量进行实时监测；当当前存储空间的空间容量不足时，根据所需存储的工业应用数据的数据量执行相应的空间管理策略，并将生成的空间预警日志传送至云端服务器，以使云端服务器根据当前日志的日志等级执行相应的决策策略。该方案解决了工业数据的实时存储管理问题。

但是现有技术中，针对边缘计算网关数据的存储，现有存在以下问题：1）数据的同周期一致性难以保证；2）持久化存储和更新的速度比内存操作慢，一旦掉电会导致数据不一致；3）数据查询效率低，且数据管理效率要求网关具有强大的硬件资源或软件能力。

综上所述，如何实现边缘计算网关数据的周期一致性，是现有技术亟需解决的问题。

发明内容

1. 要解决的问题

本发明的目的在于克服现有技术中，难以保证边缘计算网关数据存储的同步性的不足，提供了一种边缘计算网关数据的存储方法及系统，可以保证边缘计算网关数据的周期一致性，并且进一步可以实现对边缘计算网关数据的快速查询。

2. 技术方案

为了解决上述问题，本发明所采用的技术方案如下：

本发明的一种边缘计算网关数据的存储方法，包括在内存中建立n个链表，每个链表设有m个节点，且链表与设备进行一一对应关联；而后利用链表对设备数据进行存储，具体地，先同时获取n个不同设备的实时数据；而后将n个不同设备的实时数据同步存储至各自对应链表的节点，其中，每个节点存储数据的开始时刻和结束时刻之间的时间间隔相同，从而可以保证数据的周期性存储，进一步的n个不同设备同时刻的数据存储至对应链表的节点序号相同，即可以保证设备数据的周期一致性。

进一步地，设定单位时段，每隔一个单位时段将内存中n个设备的数据同步存储至持久性存储空间；本方案中单位时段与节点存储数据的开始时刻和结束时刻之间的时间间隔相等，持久性存储空间为硬盘。其中，每隔一个单位时段将内存中n个设备的数据同步存储至持久性存储空间的具体过程为：

在持久性存储空间内建立时间轮，每隔一个单位时段则在时间轮上增加一个格子，每个单位时段对应一个时间轮的格子；每个格子对应设有链表A，链表A设有n个节点a；而后将单位时段内的n个设备数据依序存储至对应格子的链表A；第x个设备的数据存储至对应格子的链表A中第x个节点a；其中x∈[1,2,3…n]。

进一步地，实时数据包括配置信息，当某个设备在某个单位时段内配置信息有变化时，根据当前配置信息变化时刻在时间轮上增加一个格子，且该新增的格子设有链表A；将单位时段的开始时刻或者上一个配置信息变化时刻至当前配置信息变化时刻的时段内的所有设备数据存储至新增格子的链表A。通过根据配置信息的变化新增格子并对数据进行存储，从而可实现根据配置信息的变化对数据进行快速查询，不需要另设置索引，大大提高了数据的检索查询效率，并且节省了大量的存储空间。

此外，本发明的存储方法为：实时数据包括配置信息，当某个设备的配置信息在时刻t进行变化时，将上一个变化时刻t0至时刻t时段内的内存存储的n个设备的数据保存至持久性存储空间，其中，t0∈[0,1,2…t]。其中，将上一个变化时刻t0至时刻t时段内的内存存储的n个设备的数据保存至持久性存储空间的具体过程为：在持久性存储空间内建立时间轮，当有设备的配置信息变化时，则根据配置信息变化时刻在时间轮上增加一个格子；每个格子对应设有链表B，链表B设有n个节点b；而后在上一个变化时刻t0至时刻t时段内的内存存储的n个设备的数据依序存储至对应格子的链表B；第y个设备的数据存储至对应格子的链表B中第y个节点b；其中y∈[1,2,3…n]。

本发明的一种边缘计算网关数据的存储系统，包括存储器和处理器；存储器用于存储计算机程序；处理器用于执行计算机程序，实现上述的一种边缘计算网关数据的存储方法。

3. 有益效果

相比于现有技术，本发明的有益效果为：

本发明的一种边缘计算网关数据的存储方法，通过在内存中设置多个链表存储对应设备数据，可以保证各链表中对应的某个节点保存的都是同时段的数据，从而可以保证不同设备数据存储的同步性，进一步可以实现边缘计算网关数据的周期一致性。此外，本发明通过设置时间轮对设备数据进行持久性存储，便于对数据进行增删管理和查询，进一步通过配置信息增加格子，即可实现根据配置信息的变化对数据进行快速查询，不需要另设置索引，通过时间轮的二分法查找，即可快速定位到需要查询的数据，大大提高了数据的检索查询效率，并且节省了大量的存储空间。本发明的系统可以实现网关数据的存储方法，保证了边缘计算网关数据的周期一致性，并且实现了对边缘计算网关数据的快速查询。

附图说明

图1为本发明中设备数据存储至内存的流程示意图；

图2为本发明中设备数据存储至持久性存储空间的流程示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例；而且，各个实施例之间不是相对独立的，根据需要可以相互组合，从而达到更优的效果。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。

实施例1

结合图1所示，本发明的一种边缘计算网关数据的存储方法，应用至工业系统中的各种工业设备，边缘计算网关对各工业设备的数据进行采集，本发明可以对边缘计算网关中各种设备的数据进行同步存储，以此保证各设备数据的周期一致性。本发明的方法具体步骤为：

（1）将数据存储至内存

首先，根据设备的数量在内存中建立n个链表，每个链表设有m个节点，n和m均为整数；进一步地，链表与设备进行一一对应关联，即一个设备对应设有一个链表用于存储数据。针对数据在内存缓存中的存储，具体过程如下：

将同时获取的n个设备的实时数据传输至内存缓存，具体地，将n个不同设备的实时数据同步存储至各自对应链表的节点，值得说明的是，每个节点存储数据的开始时刻和结束时刻之间的时间间隔相同，即每隔一段固定时间，则各设备对应的链表上建立新的节点，将设备的数据存储至新增节点。进一步地，n个不同设备同时刻的数据存储至对应链表的节点序号相同。

本实施例中令每个节点存储数据的开始时刻和结束时刻之间的时间间隔为T，则各链表中第一个节点存储的为0~T的数据，第二个节点存储的为T~2T的数据，以此类推，第K个节点存储的则为（K-1）T~KT的数据，K∈[1,2,3…m]。针对各个设备的实时数据的同步存储，以第一个节点为例，同时将n个设备的0~T时段采集的数据存储至各自对应链表的第一个节点，即将第p个设备的数据存储至第p个链表的第一个节点，p∈[1,2,3…n]，从而可以保证各链表中对应的某个节点保存的都是同时段的数据，从而可以保证不同设备数据存储的同步性，进一步可以实现边缘计算网关数据的周期一致性。

（2）将数据存储至持久性存储空间

内存对于数据的读取速度快，但难以存储设备的大量数据，进而将设备的数据从内存中移至持久性存储空间，本实施例中的持久性存储空间为硬盘。本发明中当内存数据存满时或将数据周期性同步写入持久性存储空间。本实施例中内存则将设备数据周期性同步写入持久性存储空间，具体地，先设定单位时段，每隔一个单位时段将内存中n个设备的数据同步存储至持久性存储空间；本实施例中单位时段与节点存储数据的开始时刻和结束时刻之间的时间间隔相等，即单位时段为T，内存先后依次将0~T、T~2T、2T~3T等时段的设备数据存储至持久性存储空间。

对数据在持久性存储空间的存储进行进一步详细的描述，具体如下：

在持久性存储空间内建立时间轮，每隔一个单位时段则在时间轮上增加一个格子，每个单位时段对应一个时间轮的格子；即当时间到T时刻时，则在时间轮上增加一个格子，该新增的格子对应单位时段0~T；同理当时间到2T时刻时，则在时间轮上增加第二个格子，该新增的格子对应单位时段T~2T，此次类推，当时间到qT时刻时，则在时间轮上增加第q个格子，第q个格子对应（q-1）T~qT。通过单位时段对应设置格子，从而可以保证数据存储的一致性。

进一步地，每个格子对应设有链表A，链表A设有n个节点a；即每个链表A的节点a的数量与设备的数量相同。将单位时段内的n个设备数据依序存储至对应格子的链表A；第x个设备的数据存储至对应格子的链表A中第x个节点a；其中x∈[1,2,3…n]。本实施例以0~T时段的设备数据存储进行举例，0~T时段对应时间轮的第一个格子，将n个设备各自对应链表的第一个节点内的数据从内存中依序存储至对应格子的第一个链表A，即第一个设备对应链表的第一个节点内的数据存储至第一个节点a，第二个设备对应链表的第一个节点内的数据存储至第二个节点a，以此类推，第n个设备的数据存储至第n个节点a。从而便于对该时段的不同设备的数据进行查询，进一步对数据进行删除时，可以统一删除同时段的不同设备的数据，保证了不同设备的数据的周期一致性，避免了不同设备不同时段数据的混合存储，大大提高了数据的存储效率以及查询效率。

进一步地，结合图2所示，本发明的实时数据包括配置信息，当配置信息变化时，将内存中存储的设备数据写入持久性存储空间。具体地，当某个设备在某个单位时段内配置信息有变化时，根据当前配置信息变化时刻在时间轮上增加一个格子，且该新增的格子设有链表A；时间轮上的格子根据时间轴依序排布。需要说明的是，配置信息指的是设备数据的属性，例如设备为电机，则配置信息包括温度、振动频率、振动力矩、电流、电压、不平衡度、谐波电流、瞬时有功功率、瞬时无功功率、功率因数等信息。根据配置信息变化增加时间轮格子并对数据进行存储，便于对数据进行管理和检索。

进一步通过举例说明，例如配置信息变化时刻为t，该配置信息变化时刻对应的单位时段为3T~4T，即3T≤t≤4T，3T至t时段内采集了电机的所有属性，t至4T时段内采集了电机属性中的某几类，例如温度、振动频率、振动力矩、电流和电压，即表示从t时刻开始电机的采集数据属性有所变化，此时在时间轮上新增一个格子P1，格子P1对应设置链表A，该格子P1对应的时段为3T~t，t~4T对应的格子则增加于3T~t对应的格子P1后面。

进一步地将单位时段的开始时刻或者上一个配置信息变化时刻至当前配置信息变化时刻的时段内的所有设备数据存储至新增格子的链表A，即包括两种情况：

一、将单位时段的开始时刻至当前配置信息变化时刻的时段内的所有设备数据存储至新增格子的链表A；例如当单位时段3T~4T只有一次配置信息变化时，当前配置信息变化时刻为t，则先将3T至t时段内的n个设备的数据依序存储至格子P1的链表A，具体地，3T至t时段内的第x个设备的数据存储至对应格子P1的链表A中第x个节点a；而后当时间到时刻4T时，则在时间轮上的格子P1后新增一个格子P2，格子P2对应设置链表A格子P2对应的时段为t~4T，再将t至4T时段内的n个设备的数据依序存储至格子P2的链表A，具体地，将t至4T时段内的第x个设备的数据存储至对应格子P2的链表A中第x个节点a；其中x∈[1,2,3…n]。

二、将上一个配置信息变化时刻至当前配置信息变化时刻的时段内的所有设备数据存储至新增格子的链表A，例如：当单位时段3T~4T有多次配置信息变化时，本实施例以两次配置信息变化为例，即t至4T时段内又有一次配置信息变化，令配置信息变化时刻为t1，根据配置信息变化时刻t1在时间轮的格子P1后新增一个格子P2，该格子P2对应设有链表A，链表A对应存储t至新的配置变化时刻t1时段内的所有设备的数据；而后在格子P2后新增一个格子P3，该格子P3对应设有链表A，链表A对应存储t1至4T时段内的所有设备的数据。综上所述，每当有配置信息变化时，即在时间轮上对应新增一个格子，新增的格子用于存储对应单位时段的开始时刻或者上一个配置变化时刻至当前配置信息变化时刻的时段内数据，从而可以保证数据的一致性，并且可以实现数据的快速检索。

此外值得说明的是，根据配置信息的变化对数据进行存储，从而可以根据配置信息的变化对数据进行快速查询，不需要另设置索引，通过时间轮的二分法查找，即可快速定位到需要查询的数据，大大提高了数据的检索查询效率。进一步地根据配置信息可分配存储空间，即节点a不需要为未采集的数据属性设置字段，进而大大节省了大量的空间。

本发明的一种边缘计算网关数据的存储系统，包括存储器和处理器，该存储器用于存储计算机程序；处理器用于执行计算机程序，实现上述的一种边缘计算网关数据的存储方法，从而可以保证边缘计算网关数据的周期一致性，并且进一步可以实现对边缘计算网关数据的快速查询。

实施例2

本实施例的内容基本同实施例1，本实施例将数据存储至持久性存储空间的具体过程为：

实时数据包括配置信息，当某个设备的配置信息在时刻t进行变化时，将上一个变化时刻t0至时刻t时段内的内存存储的n个设备的数据保存至持久性存储空间，其中，t0∈[0,1,2…t]。即每当某个设备的配置信息变化时，则将内存存储的对应时段的所有设备的数据存储至持久性存储空间。

具体地，在持久性存储空间内建立时间轮，当有设备的配置信息变化时，则根据配置信息变化时刻在时间轮上增加一个格子；即当时间轮对应的总时间段中有L次配置信息变化，则时间轮的格子数量为L+1个；每个格子对应设有链表B，链表B设有n个节点b；在上一个变化时刻t0至时刻t时段内的内存存储的n个设备的数据依序存储至对应格子的链表B；第y个设备的数据存储至对应格子的链表B中第y个节点b；其中y∈[1,2,3…n]。例如0~t0对应第一个格子，t0~t对应第二个格子，以此类推。0~t0时段内的内存存储的n个设备的数据存储至第一个格子的链表B，第一个设备的数据存储至第一个节点b，第二个设备的数据存储至第二个节点b，以此类推，第n个设备的数据存储至第n个节点b。本实施例可以根据配置信息的变化对数据进行快速查询，大大提高了数据的检索查询效率；此外每个链表B保存的都是同时段的所有设备的数据，保证了设备数据的同步性，进而提高了设备数据的周期一致性。

在上文中结合具体的示例性实施例详细描述了本发明。但是，应当理解，可在不脱离由所附权利要求限定的本发明的范围的情况下进行各种修改和变型。详细的描述和附图应仅被认为是说明性的，而不是限制性的，如果存在任何这样的修改和变型，那么它们都将落入在此描述的本发明的范围内。此外，背景技术旨在为了说明本技术的研发现状和意义，并不旨在限制本发明或本申请和本发明的应用领域。

Claims (9)

1.一种边缘计算网关数据的存储方法，其特征在于，包括：

在内存中建立n个链表，每个链表设有m个节点，且链表与设备进行一一对应关联；

同时获取n个不同设备的实时数据；

将n个不同设备的实时数据同步存储至各自对应链表的节点，其中，每个节点存储数据的开始时刻和结束时刻之间的时间间隔相同，且n个不同设备相同时刻的数据存储至对应链表的节点序号相同。

2.根据权利要求1所述的一种边缘计算网关数据的存储方法，其特征在于，设定单位时段，每经过一个单位时段则将内存中该单位时段内的n个设备的数据同步存储至持久性存储空间。

3.根据权利要求2所述的一种边缘计算网关数据的存储方法，其特征在于，每经过一个单位时段则将内存中该单位时段内的n个设备的数据同步存储至持久性存储空间的具体过程为：

在持久性存储空间内建立时间轮，每经过一个单位时段则在时间轮上增加一个格子，每个单位时段对应一个时间轮的格子；

每个格子对应设有链表A，链表A设有n个节点a；

将单位时段内的n个设备数据依序存储至对应格子的链表A；第x个设备的数据存储至对应格子的链表A中第x个节点a；其中x∈[1,2,3…n]。

4.根据权利要求3所述的一种边缘计算网关数据的存储方法，其特征在于，实时数据包括配置信息，当某个设备在某个单位时段内配置信息有变化时，根据当前配置信息变化时刻在时间轮上增加一个格子，且该新增的格子设有链表A；

将单位时段的开始时刻或者上一个配置信息变化时刻至当前配置信息变化时刻的时段内的所有设备数据存储至新增格子的链表A。

5.根据权利要求1所述的一种边缘计算网关数据的存储方法，其特征在于，实时数据包括配置信息，当某个设备的配置信息在时刻t进行变化时，将上一个变化时刻t0至时刻t时段内的内存存储的n个设备的数据保存至持久性存储空间，其中，t0∈[0,1,2…t]。

6.根据权利要求5所述的一种边缘计算网关数据的存储方法，其特征在于，将上一个变化时刻t0至时刻t时段内的内存存储的n个设备的数据保存至持久性存储空间的具体过程为：

在持久性存储空间内建立时间轮，当有设备的配置信息变化时，则根据配置信息变化时刻在时间轮上增加一个格子；

每个格子对应设有链表B，链表B设有n个节点b；

在上一个变化时刻t0至时刻t时段内的内存存储的n个设备的数据依序存储至对应格子的链表B；第y个设备的数据存储至对应格子的链表B中第y个节点b；其中y∈[1,2,3…n]。

7.根据权利要求2~4任一项所述的一种边缘计算网关数据的存储方法，其特征在于，单位时段与节点存储数据的开始时刻和结束时刻之间的时间间隔相等。

8.根据权利要求2~6任一项所述的一种边缘计算网关数据的存储方法，其特征在于，持久性存储空间为硬盘。

9.一种边缘计算网关数据的存储系统，其特征在于，包括存储器和处理器；

所述存储器，用于存储计算机程序；

所述处理器，用于执行所述计算机程序，实现如权利要求1~8任一项所述的一种边缘计算网关数据的存储方法。

Images