CN116546025B - 一种基于云计算的边缘数据管理系统 - Google Patents
一种基于云计算的边缘数据管理系统 Download PDFInfo
- Publication number
- CN116546025B CN116546025B CN202310809330.4A CN202310809330A CN116546025B CN 116546025 B CN116546025 B CN 116546025B CN 202310809330 A CN202310809330 A CN 202310809330A CN 116546025 B CN116546025 B CN 116546025B
- Authority
- CN
- China
- Prior art keywords
- edge
- data
- gateway
- edge gateway
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013523 data management Methods 0.000 title claims abstract description 38
- 230000005540 biological transmission Effects 0.000 claims abstract description 92
- 230000003993 interaction Effects 0.000 claims abstract description 20
- 238000007726 management method Methods 0.000 claims abstract description 19
- 238000004140 cleaning Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 19
- 230000010354 integration Effects 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 17
- 239000012634 fragment Substances 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 14
- 238000013500 data storage Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/108—Network architectures or network communication protocols for network security for controlling access to devices or network resources when the policy decisions are valid for a limited amount of time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/101—Server selection for load balancing based on network conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1012—Server selection for load balancing based on compliance of requirements or conditions with available server resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1031—Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种基于云计算的边缘数据管理系统，涉及边缘数据管理技术领域，包括云计算平台、边缘网关管理模块、边云交互模块以及云端数据管理模块；本发明通过边云网关采集获得边缘数据，并对边缘数据进行安全检测以及数据清洗得到标准的边缘数据；通过互联网建立高危数据样本库并建立敏感数据指针，进而对边缘数据进行遍历，根据遍历结果对边缘数据设置“问题数据”标签，同时生成边缘传输链路建立策略，进而边缘网关和其他边缘网关与云端数据管理模块建立传输链路，云端数据管理模块通过建立树状数据库对边缘数据进行存储；本发明有效地提高了边缘网关对边缘数据的传输效率。
Description
技术领域
本发明涉及边缘数据管理技术领域，具体是一种基于云计算的边缘数据管理系统。
背景技术
边缘网关通过将数据采集、计算以及存储在网络边缘，并将数据存储、计算以及处理功能集成为一个计算平台。它将网络的计算和存储功能转移到边缘，从而减少将请求从客户端发送到云端引起的延迟；当网络边缘的设备产生请求时，边缘网关可以更快地提供服务，从而促进网络技术的发展；
但随着网络规模的增大、用户需求的多样性以及数据处理时的复杂性以及体积不断增加，使得采用单一的边缘网关对边缘数据进行处理已经达不到当前用户日益增长数据请求，为此发明提供一种基于云计算的边缘数据管理系统。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于云计算的边缘数据管理系统。
为了实现上述目的，本发明提供如下技术方案：
一种基于云计算的边缘数据管理系统，包括云计算平台，所述云计算平台通信连接有边缘网关管理模块、边云交互模块以及云端数据管理模块；
所述边缘网关管理模块设有边缘数据采集单元以及边缘数据预处理单元，用于管理边缘网关采集边缘数据，并对边缘数据进行安全验证以及数据清洗；
所述边云交互模块用于根据建立边缘传输链路建立策略并设置悬赏积分池，进而建立边缘网关与云端数据管理之间的传输链路；
所述云端数据管理模块用于根据各个边缘网关的编号建立树状数据库，进而对边缘数据进行存储以及管理。
进一步的，所述边缘数据的采集过程包括：
边缘网关对各个边缘网关设置唯一编号，例如S1、S2、……、n，其中n表示边缘网关的总数，n为大于0的自然数，同时各个边缘网关向边缘网关管理模块发送响应信号，进而根据响应信号获得对应边缘网关的IP地址并建立边缘网关信息表；
对于每一个边缘网关设置边缘数据采集单元与边缘数据预处理单元，在进行边缘数据采集之前，边缘数据采集单元向边缘网关发送边缘数据采集任务，边缘网关接收到边缘数据采集任务后，根据边缘数据采集任务中的采集地点以及采集事项确定执行过程，进而通过传感器或网络监听的方式获得采集事项中的边缘数据。
进一步的，对所述边缘数据进行预处理的过程包括：
边缘数据预处理单元通过互联网获得若干个高危数据，进而建立高危数据样本库，进而根据高危数据样本库中的高危数据建立若干个敏感数据指针，通过敏感数据指针对任务执行记录中的边缘数据进行遍历；
在敏感数据指针遍历边缘数据后统计其高危指数以及高危数据段占比，进而根据获得对应边缘数据的安全指数，并设置安全指数阈值，根据二者对比结果，对边缘数据设置“问题数据”标签后进行数据清洗。
进一步的，所述边缘传输链路建立策略的建立过程包括：
根据边缘数据的大小，边缘交互模块向任务边缘网关开放若干个传输链路建立临时权限，且各个传输链路的数据传输速率以及传输的边缘数据大小一致，传输链路建立临时权限在边缘网关确认边缘数据传输完成后自动解除，同时根据数据基本信息在各个传输链路上标识“物理采集数据”或“网络采集数据”标签；
若数据基本信息中未表示将要传输的边缘数据带有“问题数据”标签则不做任何操作，若表示带有“问题数据”标签，则向云端数据管理发送问题数据传输提示。
进一步的，所述边缘传输链路建立策略的执行过程包括：
边云交互模块根据边缘网关的IP地址向对应边缘网关发送链接请求，边缘网关根据链接请求发送端的IP地址判断其为边云交互模块确认链接请求，进而云计算平台将对应边缘网关标注为任务边缘网关；
任务边缘网关根据边缘传输链路建立策略获得传输链路建立权限，并从边缘网关管理模块获取边缘网关信息表，进而根据边缘网关信息表中各个边缘网关的IP地址向其各个边缘网关发送传输链路建立请求以及其自身编号，若边缘网关处于空闲状态则向任务边缘网关请求响应；
任务边缘网关根据请求响应确认空闲状态的边缘网关，进而根据边缘传输链路建立策略所授予的传输链路建立临时权限设置传输链路悬赏，以及设置悬赏积分池，根据需要设置的传输链路数量对悬赏积分池设置积分总数；
将各个边缘网关按其获得的积分从高到低依次排列，并积分高低依次挑选边缘网关，进而向各个边缘网关发送数据链路建立请求，并将要传输的边缘数据划分成若干个大小相等的边缘数据片段，进而将边缘数据通过传输链路传输至云端数据管理模块。
进一步的，所述边缘网关获得积分的过程包括：
任务边缘网关向所有发送请求响应的边缘网关发送传输链路悬赏竞争指令，进而各个边缘网关向任务边缘网关发送时延信号；在任务边缘网关接收到时延信号后，对边缘网关依次设置排列序号进而根据任务边缘网关与对应边缘网关的历史传输链路建立记录以及时延信号的排列序号和时延对各个边缘网关依次分发积分；
积分J的分发公式为：
；
，/>，/>，/>；
需要说明的是，若J剩余，i-1<Ji，则将Ji清零，并将J剩余，i-1中的所有积分赋值于Ji，其中Ji、Hi、Xi分别表示编号为Si的边缘网关的积分、排列序号以及与任务边缘网关之间的传输链路建立次数，timeHi表示排列序号为Hi的时延信号的时延时长，其单位秒。
进一步的，各个边缘网关所获得的积分带有发布传输链路悬赏竞争指令的任务边缘网关的编号，进而边缘网关可通过消耗积分向任务对应任务边缘网关发送边缘数据采集任务。
进一步的，所述树状数据库存储边缘数据的过程包括：
以时间日期建立数据库枝干，并根据边缘数据的采集地点在各个时间日期的数据枝干点建立物理数据存储树洞和网络存储树洞，每个数据存储树洞内分为问题数据树洞和正常数据树洞；
在接收到来自边缘网关的边缘数据片段后，根据边缘数据片段的传输顺序，将边缘数据片段依次进行拼接得到对应的边缘数据，同时根据数据传输日期以及传输链路上的标签，将边缘数据自动调配至对应数据枝干点上的数据存储树洞中。
进一步的，所述树状数据库管理边缘数据的过程包括：
在树状数据库生成下一个数据库枝干点时，对上一个数据库枝干点内的所有边缘数据设置公共生命周期，同时边缘网关可在边缘数据上传时向云端数据管理模块发送至“重要数据”提示，则树状数据库为对应边缘数据设置私有生命周期，当数据库枝干点的公共生命周期结束时，云端数据管理模块自动生成“砍树”指令用于删除数据库枝干点；
进一步的，所述“砍树”指令用于控制树状数据库对公共生命周期结束的数据库枝干点进行删除，若其中存在带有私有生命周期的边缘数据，则建立临时数据库枝干点并将带有私有生命周期的边缘数据移动至该处进行存储，且其私有生命周期结束后将其自动删除。
与现有技术相比，本发明的有益效果是：
1、本发明通过建立边缘传输链路建立策略并将其发送至对应任务边缘网关中，进而任务边缘网关根据边缘传输链路建立策略向边缘网关发送请求，同时设置悬赏积分池，进而根据各个边缘网关的响应速度对其分配积分，另一方面，边缘网关可通过积分向任务边缘网关发送边缘数据采集任务，进而建立边缘网关之间的数据采集以及传输生态体系，提高了边缘网关计算资源的利用率；
2、本发明通过建立树状数据库来存储以及管理边缘数据，同时对各个边缘数据设置第一层的公共生命周期和第二层的私有生命周期，进而当公共生命周期结束将对应的数据库枝干点进行删除，对带有私有生命周期的边缘数据进行临时保存，进而提高了云计算平台的存储空间利用率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明的原理图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
如图1所示，一种基于云计算的边缘数据管理系统包括云计算平台，所述云计算平台通信连接有边缘网关管理模块、边云交互模块以及云端数据管理模块；
所述边缘网关管理模块设有边缘数据采集单元以及边缘数据预处理单元，用于管理边缘网关采集边缘数据，并对边缘数据进行安全验证以及数据清洗；
其中边缘数据采集单元管理边缘网关采集边缘数据的具体过程包括：
步骤A1：边缘网关对各个边缘网关设置唯一编号，例如S1、S2、……、n，其中n表示边缘网关的总数，n为大于0的自然数，同时各个边缘网关向边缘网关管理模块发送响应信号，进而边缘网关管理模块根据响应信号获得对应边缘网关的IP地址并建立边缘网关信息表；
其中边缘网关信息表包括各个边缘网关对应的编号以及IP地址；
步骤A2：对于每一个边缘网关，边缘网关管理模块都对其设有一个边缘数据采集单元与边缘数据预处理单元，在进行边缘数据采集之前，边缘数据采集单元向边缘网关发送边缘数据采集任务，其中边缘数据采集任务可有其他边缘网关生成并发送至该边缘网关执行，或由自身生成并执行，所述边缘数据采集任务包括采集地点、采集事项以及采集时间，其中采集地点包括物理采集地点和网络采集地点；
步骤A3：边缘网关接收到边缘数据采集任务后，根据边缘数据采集任务中的采集地点以及采集事项确定执行过程，进而通过传感器或网络监听的方式获得采集事项中的边缘数据；
步骤A4：边缘网关确定边缘数据执行完成后生成任务完成记录并发送至其对应的边缘数据采集单元，其中任务完成记录包括边缘数据、任务开始时间、任务完成时间以及执行边缘数据采集任务的边缘网关编号；若边缘数据采集任务来自其他的边缘数据采集单元，则由边缘网关对应的边缘数据采集单元将任务执行记录发送至相应的边缘数据采集单元；
进一步的，边缘数据采集单元接收到任务执行记录后，将其发送至关联的边缘数据预处理单元，进而边缘数据预处理单元对任务执行记录中的边缘数据进行安全检测以及数据清洗，并将预处理后的边缘数据发送至云端交互模块，其中边缘数据预处理单元对边缘数据进行预处理的具体过程包括：
步骤B1：边缘数据预处理单元通过互联网获得若干个高危数据，进而建立高危数据样本库，进而根据高危数据样本库中的高危数据建立若干个敏感数据指针，在接收到来自任务执行记录后，通过敏感数据指针对任务执行记录中的边缘数据进行遍历；
需要说明的是，在边缘数据预处理单元通过互联网获得高危数据时同时获得其所造的危害记录，进而在获得高危数据时对其设置高危指数，同时在根据高危数据建立的对应敏感数据指针也设有相同的高危指数；
步骤B2：在敏感数据指针遍历边缘数据后统计其高危指数Num以及高危数据段占比P，进而根据获得对应边缘数据的安全指数L，并设置安全指数阈值，若边缘数据的安全指数L大于或等于安全指数阈值，则直接对其进行数据清洗，若边缘数据的安全指数L小于安全指数阈值，则对其设置“问题数据”标签后在进行数据清洗，其中安全指数L的计算公式为：；
步骤B3：边缘数据预处理单元对边缘数据进行数据类型转换以及数据重复处理后，向边缘网关管理模块发送数据处理完成提示，进而边缘网关管理模块向云计算平台发送边缘数据传输请求，其中边缘数据传输请求包括边缘网关的编号、请求日期以及边缘数据传输提示。
所述边云交互模块用于建立并管理云计算平台与边缘网关之间的传输链路，具体过程包括：
云计算平台接收到边缘网关管理模块的数据传输请求后，根据数据传输请求中的边缘网关编号获得其IP地址，同时将边缘网关的IP地址以及边缘数据传输请求发送至边云交互模块；
边云交互模块根据边缘网关的IP地址向对应边缘网关发送链接请求，边缘网关根据链接请求发送端的IP地址判断其为边云交互模块确认链接请求，进而云计算平台将对应边缘网关标注为任务边缘网关；
任务边缘网关根据将要上传的边缘数据生成数据基本信息并发送至边云交互模块，其中数据基本信息包括边缘数据的大小、是否带有“问题数据”标签以及其为物理采集数据或网络采集数据；
边缘交互模块根据数据基本信息向任务边缘网关发送边缘传输链路建立策略；
其中边缘传输链路建立策略包括：
根据边缘数据的大小，边缘交互模块向任务边缘网关开放若干个传输链路建立临时权限，且各个传输链路的数据传输速率以及传输的边缘数据大小一致，需要说明的是，传输链路建立临时权限在边缘网关确认边缘数据传输完成后自动解除；
同时根据数据基本信息在各个传输链路上标识“物理采集数据”或“网络采集数据”标签；
另一方面，若数据基本信息中未表示将要传输的边缘数据带有“问题数据”标签则不做任何操作，若表示带有“问题数据”标签，则向云端数据管理发送问题数据传输提示；
进一步的，任务边缘网关根据边缘传输链路建立策略获得传输链路建立权限，并从边缘网关管理模块获取边缘网关信息表，进而根据边缘网关信息表中各个边缘网关的IP地址向其各个边缘网关发送传输链路建立请求以及其自身编号，若边缘网关处于空闲状态则向任务边缘网关请求响应，其中请求响应中包括边缘网关离任务边缘的距离、编号以及对应历史传输链路建立记录；
所述历史传输链路建立记录包括当前边缘网关与任务边缘网关的传输链路建立时间、次数、传输的文件是否“问题数据”标签以及对应时间日期；
任务边缘网关根据请求响应确认空闲状态的边缘网关，进而根据边缘传输链路建立策略所授予的传输链路建立临时权限设置N条传输链路悬赏，以及设置悬赏积分池，根据需要设置的传输链路数量对悬赏积分池设置N*10个积分j；
任务边缘网关向所有发送请求响应的边缘网关发送传输链路悬赏竞争指令，进而各个边缘网关向任务边缘网关发送时延信号，用以获取悬赏积分池中的积分J；
进一步的，在任务边缘网关接收到时延信号后，对边缘网关依次设置排列序号H，例如1、2、……、N，进而根据任务边缘网关与对应边缘网关的历史传输链路建立记录以及时延信号的排列序号H和时延time对各个边缘网关依次分发积分，其中积分J的分发公式为：
；
，/>，/>，/>；
需要说明的是，若J剩余，i-1<Ji，则将Ji清零，并将J剩余，i-1中的所有积分赋值于Ji，其中Ji、Hi、Xi分别表示编号为Si的边缘网关的积分、排列序号以及与任务边缘网关之间的传输链路建立次数，timeHi表示排列序号为Hi的时延信号的时延，其单位秒；
将各个边缘网关按其获得的积分从高到低依次排列，并积分高低依次挑选出N个边缘网关，进而向各个边缘网关发送数据链路建立请求，并将要传输的边缘数据划分成N+1个大小相等的边缘数据片段；
任务边缘网关将自身设为主传输链路，同时根据边缘数据的采集地点为物理采集地点或网络采集地点，对各个传输链路标识“物理采集数据”或“网络采集数据”标签，并将N个边缘数据片段依次发送至各个边缘网关，在各个边缘网关和任务边缘网关将边缘数据片段依次通过传输链路传输至云端数据管理模块后，自动解除传输链路，并生成历史传输链路建立记录；
需要说明的是，各个边缘网关所获得的积分带有发布传输链路悬赏竞争指令的任务边缘网关的编号，进而边缘网关可通过消耗积分向任务对应任务边缘网关发送边缘数据采集任务。
所述云端数据管理模块用于根据各个边缘网关的编号建立树状数据库，进而对边缘数据进行存储以及管理，具体过程包括：
步骤C1：云端数据管理模块以时间日期建立数据库枝干，并根据边缘数据的采集地点在各个时间日期的数据枝干点建立两个数据存储树洞，分别为物理数据存储树洞和网络存储树洞，每个数据存储树洞内分为问题数据树洞和正常数据树洞，且问题数据树洞设有防火墙；
步骤C2：在接收到来自边缘网关的边缘数据片段后，根据边缘数据片段的传输顺序，将边缘数据片段依次进行拼接得到对应的边缘数据，同时根据数据传输日期以及传输链路上的标签，将边缘数据自动调配至对应数据枝干点上的数据存储树洞中，若在边缘数据为传输前接收到带有“问题数据”标签提示时，则将其分配至问题数据树洞，若未接收到提示，则将其分配至正常数据树洞；
步骤C3：在树状数据库生成下一个数据库枝干点时，对上一个数据库枝干点内的所有边缘数据设置公共生命周期，同时边缘网关可在边缘数据上传时向云端数据管理模块发送至“重要数据”提示以及期望生命周期，则树状数据库为对应边缘数据设置私有生命周期；
步骤C4：当一个数据库枝干点的公共生命周期结束时，云端数据管理模块自动生成“砍树”指令，所述“砍树”指令用于控制树状数据库对公共生命周期结束的数据库枝干点进行删除，若其中存在带有私有生命周期的边缘数据，则建立临时数据库枝干点并将带有私有生命周期的边缘数据移动至该处进行存储，且私有生命周期结束后将其自动删除。
以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。
Claims (6)
1.一种基于云计算的边缘数据管理系统，包括云计算平台，其特征在于，所述云计算平台通信连接有边缘网关管理模块、边云交互模块以及云端数据管理模块；
所述边缘网关管理模块设有边缘数据采集单元以及边缘数据预处理单元，用于管理边缘网关采集边缘数据，并对边缘数据进行安全验证以及数据清洗；
所述边云交互模块用于根据建立边缘传输链路建立策略并设置悬赏积分池，进而建立边缘网关与云端数据管理模块之间的传输链路；
所述云端数据管理模块用于根据各个边缘网关的编号建立树状数据库，进而对边缘数据进行存储以及管理；
所述边缘传输链路建立策略的建立过程包括：
根据边缘数据的大小，边云交互模块向任务边缘网关开放若干个传输链路建立临时权限，传输链路建立临时权限在边缘网关确认边缘数据传输完成后自动解除，同时根据数据基本信息在各个传输链路上标识“物理采集数据”或“网络采集数据”标签；
所述边缘传输链路建立策略的执行过程包括：
边云交互模块根据边缘网关的IP地址向对应边缘网关发送链接请求，边缘网关根据链接请求发送端的IP地址判断其为边云交互模块确认链接请求，进而云计算平台将对应边缘网关标注为任务边缘网关；
任务边缘网关根据边缘传输链路建立策略获得传输链路建立权限，并从边缘网关管理模块获取边缘网关信息表，进而根据边缘网关信息表中各个边缘网关的IP地址向其各个边缘网关发送传输链路建立请求以及其自身编号，若边缘网关处于空闲状态则向任务边缘网关请求响应；
任务边缘网关根据请求响应确认空闲状态的边缘网关，进而根据边缘传输链路建立策略所授予的传输链路建立临时权限设置传输链路悬赏，以及设置悬赏积分池，根据需要设置的传输链路数量对悬赏积分池设置积分总数；
将各个边缘网关按其获得的积分从高到低依次排列，并积分高低依次挑选边缘网关，进而向各个边缘网关发送数据链路建立请求，并将要传输的边缘数据划分成若干个大小相等的边缘数据片段，进而将边缘数据通过传输链路传输至云端数据管理模块。
2.根据权利要求1所述的一种基于云计算的边缘数据管理系统，其特征在于，所述边缘数据的采集过程包括：
边缘网关管理模块对各个边缘网关设置唯一编号同时各个边缘网关向边缘网关管理模块发送响应信号，进而根据响应信号获得对应边缘网关的IP地址并建立边缘网关信息表；
对于每一个边缘网关设置边缘数据采集单元与边缘数据预处理单元，在进行边缘数据采集之前，边缘数据采集单元向边缘网关发送边缘数据采集任务，边缘网关接收到边缘数据采集任务后，根据边缘数据采集任务中的采集地点以及采集事项确定执行过程，进而通过传感器或网络监听的方式获得采集事项中的边缘数据。
3.根据权利要求2所述的一种基于云计算的边缘数据管理系统，其特征在于，对所述边缘数据进行安全验证的过程包括：
边缘数据预处理单元通过互联网获得若干个高危数据，进而建立高危数据样本库，进而根据高危数据样本库中的高危数据建立若干个敏感数据指针，通过敏感数据指针对边缘数据进行遍历；
在敏感数据指针遍历边缘数据后统计其高危指数以及高危数据段占比，进而根据获得对应边缘数据的安全指数，并设置安全指数阈值，根据二者对比结果，对边缘数据设置“问题数据”标签后进行数据清洗。
4.根据权利要求1所述的一种基于云计算的边缘数据管理系统，其特征在于，所述边缘网关获得积分的过程包括：
任务边缘网关向所有发送请求响应的边缘网关发送传输链路悬赏竞争指令，进而各个边缘网关向任务边缘网关发送时延信号；在任务边缘网关接收到时延信号后，对边缘网关依次设置排列序号进而根据任务边缘网关与对应边缘网关的历史传输链路建立记录以及时延信号的排列序号和时延对各个边缘网关依次分发积分。
5.根据权利要求1所述的一种基于云计算的边缘数据管理系统，其特征在于，所述树状数据库存储边缘数据的过程包括：
以时间日期建立数据库枝干，并根据边缘数据的采集地点在各个时间日期的数据枝干点建立物理数据存储树洞和网络存储树洞，每个数据存储树洞内分为问题数据树洞和正常数据树洞；
在接收到来自边缘网关的边缘数据片段后，根据边缘数据片段的传输顺序，将边缘数据片段依次进行拼接得到对应的边缘数据，同时根据数据传输日期以及传输链路上的标签，将边缘数据自动调配至对应数据枝干点上的数据存储树洞中。
6.根据权利要求5所述的一种基于云计算的边缘数据管理系统，其特征在于，所述树状数据库管理边缘数据的过程包括：
在树状数据库生成下一个数据库枝干点时，对上一个数据库枝干点内的所有边缘数据设置公共生命周期，同时边缘网关可在边缘数据上传时向云端数据管理模块发送至“重要数据”提示，则树状数据库为对应边缘数据设置私有生命周期，当数据库枝干点的公共生命周期结束时，云端数据管理模块自动生成“砍树”指令用于删除数据库枝干点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310809330.4A CN116546025B (zh) | 2023-07-04 | 2023-07-04 | 一种基于云计算的边缘数据管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310809330.4A CN116546025B (zh) | 2023-07-04 | 2023-07-04 | 一种基于云计算的边缘数据管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116546025A CN116546025A (zh) | 2023-08-04 |
| CN116546025B true CN116546025B (zh) | 2023-09-12 |
Family
ID=87456297
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310809330.4A Active CN116546025B (zh) | 2023-07-04 | 2023-07-04 | 一种基于云计算的边缘数据管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116546025B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117097592B (zh) * | 2023-10-20 | 2023-12-15 | 南京科控奇智能科技有限公司 | 一种基于云计算的边缘计算网关 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113612819A (zh) * | 2021-07-13 | 2021-11-05 | 武汉万德智新科技股份有限公司 | 一种边缘计算系统 |
| CN113938928A (zh) * | 2021-10-12 | 2022-01-14 | 广州浩瀚电子科技有限公司 | 一种用于内陆湖泊观测网的通讯系统 |
| CN115087143A (zh) * | 2022-06-15 | 2022-09-20 | 万申科技股份有限公司 | 一种基于嵌入式系统的AIoT测控边缘网关 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10606818B2 (en) * | 2016-06-21 | 2020-03-31 | International Business Machines Corporation | Sensor module registration and configuration |
-
2023
- 2023-07-04 CN CN202310809330.4A patent/CN116546025B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113612819A (zh) * | 2021-07-13 | 2021-11-05 | 武汉万德智新科技股份有限公司 | 一种边缘计算系统 |
| CN113938928A (zh) * | 2021-10-12 | 2022-01-14 | 广州浩瀚电子科技有限公司 | 一种用于内陆湖泊观测网的通讯系统 |
| CN115087143A (zh) * | 2022-06-15 | 2022-09-20 | 万申科技股份有限公司 | 一种基于嵌入式系统的AIoT测控边缘网关 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116546025A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104969213B (zh) | 用于低延迟数据存取的数据流分割 | |
| CN116546025B (zh) | 一种基于云计算的边缘数据管理系统 | |
| CN103955405B (zh) | 一种应用管理方法及其装置 | |
| CN103559231B (zh) | 一种文件系统配额管理方法、装置及系统 | |
| CN103229143B (zh) | 具有可扩展和可定制的计算引擎的面向网络服务的架构内的服务提供者 | |
| WO2001077828A2 (en) | Incremental alarm correlation method and apparatus | |
| CN110113188A (zh) | 跨子域通信运维方法、总运维服务器和介质 | |
| CN113535518B (zh) | 一种用户行为的分布式实时动态监控方法及系统 | |
| CN114328132A (zh) | 外部数据源的状态监控方法、装置、设备和介质 | |
| CN110109807B (zh) | 一种空管重要设备的预警维护系统 | |
| CN109003432A (zh) | 基于电力线载波通信系统的信息抄读方法 | |
| CN109600254A (zh) | 全链路日志的生成方法及相关系统 | |
| CN115660791B (zh) | 一种差旅服务的订单处理方法及系统 | |
| CN116132625A (zh) | 交易流程的监管方法和装置 | |
| CN110619023A (zh) | 结合区块链的物联网的水源检测数据上链方法及装置 | |
| CN112422504B (zh) | 通过云平台进行远程安全信息认证识别的工作方法 | |
| CN109558744B (zh) | 一种数据处理方法和系统 | |
| CN113269339A (zh) | 一种网约车任务自动创建和分发的方法及系统 | |
| CN105701738A (zh) | 一种区域建筑能耗平台数据采集处理方法及装置 | |
| CN110674219A (zh) | 基于区块链的物联网的环境空气检测数据上链方法及设备 | |
| CN110544043A (zh) | 一种调度快递员的方法、装置、服务器及存储介质 | |
| CN110647769A (zh) | 结合区块链的物联网的室内空气检测数据上链方法及设备 | |
| CN108415854A (zh) | 基于共享缓存的数据采集系统及方法 | |
| CN116346888B (zh) | 一种配置文件生成方法、装置及设备 | |
| CN116471002B (zh) | 一种工业互联网数据传输方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |