CN117014460B - 一种基于5g通信的分布式信息管理系统 - Google Patents

Abstract

本发明公开了一种基于5G通信的分布式信息管理系统，涉及互联网技术领域，包括：5G通信模块，所述5G通信模块传输和接收信息；存储节点模块，所述存储节点模块用于分布式信息存储和上载；静态资源划分模块，所述静态资源划分模块依据数据存取速度和带宽占用率对存储节点进行划分；信息上载速度优化模块，所述信息上载速度优化模块用于对伴随区块信息的存储路径进行优化；资源调度模块，所述资源调度模块包括中央调度模块和框架调度模块。通过设置信息存储模块、存储节点模块、静态资源划分模块、信息上载速度优化模块和资源调度模块，使得数据加载速度符合预期要求，并可以避免某个节点负载过重的问题。

Description

一种基于5G通信的分布式信息管理系统

技术领域

本发明涉及互联网技术领域，具体是涉及一种基于5G通信的分布式信息管理系统。

背景技术

互联网的飞速发展，带来了大数据时代，从而出现了各种各样的云计算服务，其中主要的方案就是分布式系统，如何将数据分散投递至系统中的各节点，是其核心问题之一。目前的各种主流解决方案都是基于不同的哈希算法，在各数据与各节点之间形成映射，然后将数据分解传送至业务节点进行逻辑处理和存储，对于整个系统而言，容易出现某个节点负载过重的问题，且未对节点算力进行区分，导致数据上载反应速度不确定，部分数据加载速度会低于预期要求。

发明内容

为解决上述技术问题，提供一种基于5G通信的分布式信息管理系统，本技术方案解决了上述背景技术中提出的目前的各种主流解决方案都是基于不同的哈希算法，在各数据与各节点之间形成映射，然后将数据分解传送至业务节点进行逻辑处理和存储，对于整个系统而言，容易出现某个节点负载过重的问题，且未对节点算力进行区分，导致数据上载反应速度不确定，部分数据加载速度会低于预期要求的问题。

为达到以上目的，本发明采用的技术方案为：

一种基于5G通信的分布式信息管理系统，包括：

5G通信模块，所述5G通信模块传输和接收信息，5G通信模块创建通信端点，通信端点进行信息的获取和接收；

消息排队模块，所述消息排队模块用于将通信端点获取的信息进行排队标识，并赋予信息对应的地址，消息排队模块采用排队消除法进行排队；

信息分解模块，所述信息分解模块用于将信息分解分块，生成多个伴随区块信息；

信息存储模块，所述信息存储模块用于存储各伴随区块信息；

存储节点模块，所述存储节点模块用于分布式信息存储和上载，信息存储模块存储各伴随区块信息至相应的存储节点，存储节点模块对存储节点进行删除和增加；

静态资源划分模块，所述静态资源划分模块依据数据存取速度和带宽占用率对存储节点进行划分，存储节点被分为五级，静态资源划分模块依据数据冗余度和带宽占用率对伴随区块信息进行划分，伴随区块信息被分为五级；

信息上载速度优化模块，所述信息上载速度优化模块用于对伴随区块信息的存储路径进行优化，信息上载速度优化模块使用最小时间原理进行优化；

信息上载速度优化模块根据存储节点的级别和伴随区块信息的级别，选定候选存储节点；

资源调度模块，所述资源调度模块包括中央调度模块和框架调度模块，中央调度模块控制所有调度框架的状态，根据信息上载速度优化模块生成的路径分配各伴随区块信息至框架调度模块，框架调度模块检测候选存储节点的负载率，选取低负载率的候选存储节点，进行各伴随区块信息分配，各伴随区块信息被分配至对应的存储节点，由信息存储模块进行存储；

路径存储模块，所述路径存储模块存储信息存储的路径；

信息调取模块，所述信息调取模块读取信息存储的路径，从各存储节点调取各伴随区块信息，合并伴随区块信息为初始信息，发送至5G通信模块，5G通信模块对初始信息进行传输。

优选的，所述生成多个伴随区块信息包括以下步骤：

统计信息总字节长度，记为D；

以信息开头作为初始点，按字节长度d对信息进行分割，以前一个分割点作为下一个初始点，按字节长度d对信息进行分割，重复操作，直至信息被分割完毕；

每个分割的部分即为伴随区块信息，伴随区块信息均映射对应至原信息，伴随区块信息按分割顺序被分配序列号。

优选的，所述存储节点模块对存储节点进行删除和增加包括以下步骤：

存储节点总负载率超过70%，则对存储节点进行增加，存储节点总负载率低于20%，则对存储节点进行删除；

存储节点增加：存储节点模块创建新的存储节点地址，将新的存储节点的地址汇总至已有存储节点中，当存储节点总负载率首次小于70%时，停止增加存储节点；

存储节点删除：存储节点模块遍历所有存储节点地址，对闲置存储节点进行汇总，将闲置存储节点按存储量从大到小排列，依次对排列后的闲置存储节点的地址进行删除，当存储节点总负载率首次高于20%时，停止删除存储节点。

优选的，所述存储节点被分为五级包括以下步骤：

静态资源划分模块测定存储节点数据存取速度V和带宽占用率；

当数据存取速度V小于250KB/s时，存储节点被定为一级存储节点；

当数据存取速度V介于250KB/s和500KB/s之间时，存储节点被定为二级存储节点，若带宽占用率大于10%，则存储节点被降级为一级存储节点；

当数据存取速度V介于500KB/s和750KB/s之间时，存储节点被定为三级存储节点，若带宽占用率大于10%，则存储节点被降级为二级存储节点；

当数据存取速度V介于750KB/s和1000KB/s之间时，存储节点被定为四级存储节点，若带宽占用率大于10%，则存储节点被降级为三级存储节点；

当数据存取速度V大于1000KB/s时，存储节点被定为五级存储节点，若带宽占用率大于10%，则存储节点被降级为四级存储节点。

优选的，所述伴随区块信息被分为五级包括以下步骤：

静态资源划分模块测定伴随区块信息的数据冗余度W和带宽占用率；

当数据冗余度W小于0.2d时，伴随区块信息被定为一级伴随区块信息；

当数据冗余度W介于0.2d和0.4d之间时，伴随区块信息被定为二级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为一级伴随区块信息；

当数据冗余度W介于0.4d和0.6d之间时，伴随区块信息被定为三级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为二级伴随区块信息；

当数据冗余度W介于0.6d和0.8d之间时，伴随区块信息被定为四级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为三级伴随区块信息；

当数据冗余度W介于0.8d和d时，伴随区块信息被定为五级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为四级伴随区块信息。

与现有技术相比，本发明的有益效果在于：

通过设置信息存储模块、存储节点模块、静态资源划分模块、信息上载速度优化模块和资源调度模块，对存储节点的算力进行区分识别，明确每个存储节点的存储或上载数据的速度，在存储数据时，将数据分割，以便能找到合适大小的存储节点对其进行存储，并保证存储或上载的速度尽可能大，从而数据加载速度符合预期要求，同时，还对存储节点的负载率进行统计，选取负载率小的存储节点，从而可以避免某个节点负载过重的问题。

附图说明

图1为本发明的流程示意图；

图2为本发明的排队消除法流程示意图；

图3为本发明的存储节点删除和增加流程示意图；

图4为本发明的最小时间原理流程示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。

参照图1所示，一种基于5G通信的分布式信息管理系统，包括：

5G通信模块，所述5G通信模块传输和接收信息，5G通信模块创建通信端点，通信端点进行信息的获取和接收；

消息排队模块，所述消息排队模块用于将通信端点获取的信息进行排队标识，并赋予信息对应的地址，消息排队模块采用排队消除法进行排队；

信息分解模块，所述信息分解模块用于将信息分解分块，生成多个伴随区块信息；

信息存储模块，所述信息存储模块用于存储各伴随区块信息；

存储节点模块，所述存储节点模块用于分布式信息存储和上载，信息存储模块存储各伴随区块信息至相应的存储节点，存储节点模块对存储节点进行删除和增加；

静态资源划分模块，所述静态资源划分模块依据数据存取速度和带宽占用率对存储节点进行划分，存储节点被分为五级，静态资源划分模块依据数据冗余度和带宽占用率对伴随区块信息进行划分，伴随区块信息被分为五级；

信息上载速度优化模块，所述信息上载速度优化模块用于对伴随区块信息的存储路径进行优化，信息上载速度优化模块使用最小时间原理进行优化，信息上载速度优化模块根据存储节点的级别和伴随区块信息的级别，选定候选存储节点；

资源调度模块，所述资源调度模块包括中央调度模块和框架调度模块，中央调度模块控制所有调度框架的状态，根据信息上载速度优化模块生成的路径分配各伴随区块信息至框架调度模块，框架调度模块检测候选存储节点的负载率，选取低负载率的候选存储节点，进行各伴随区块信息分配，各伴随区块信息被分配至对应的存储节点，由信息存储模块进行存储；

路径存储模块，所述路径存储模块存储信息存储的路径；

信息调取模块，所述信息调取模块读取信息存储的路径，从各存储节点调取各伴随区块信息，合并伴随区块信息为初始信息，发送至5G通信模块，5G通信模块对初始信息进行传输。

接收信息时，5G通信模块将信息接收，消息排队模块将信息按顺序排布成一列，信息分解模块调取排在最前的信息，后面的信息依次递进一位，信息分解模块将信息肢解分块，生成多个伴随区块信息，这里单个信息的数据量可能巨大，整存整取在单个存储节点，则其时间必定远远大于分解后，分别存储不同的多个存储节点处，信息上载速度优化模块根据静态资源划分模块划分的等级，对每个伴随区块信息找到其候选的存储节点，资源调度模块根据候选的存储节点，挑选其中负载率低的，由信息存储模块进行存储作业，信息存储模块同时将每个伴随区块信息存储的位置存储进入到路径存储模块中；

上载信息时，即将存储的信息重新读取，根据路径存储模块存储的信息存储的路径，到对应的存储节点调取各伴随区块信息，按照各伴随区块信息的序列号，对各伴随区块信息进行排序，信息调取模块重新将各伴随区块信息组合为原来的信息，发送至5G通信模块，由5G通信模块将该信息充传输出去。

参照图2所示，排队消除法包括以下步骤：

调用进程注册一个处理程序；

处理程序将5G通信模块接收的信息追加进指定信息排布队列尾部；

处理程序分配该信息对应的地址；

查看指定队列中的信息，并且取出队列中的第一个信息进行信息存储；

信息存储完毕，指定信息排布队列中的其余信息均依次前置一格，替换第一个信息的位置；

重复上述操作，直到指定队列变为空为止。

生成多个伴随区块信息包括以下步骤：

统计信息总字节长度，记为D；

以信息开头作为初始点，按字节长度d对信息进行分割，以前一个分割点作为下一个初始点，按字节长度d对信息进行分割，重复操作，直至信息被分割完毕，在分割时，设，其中s和r均为整数，当r=0时，则信息被分割为s块，当r大于0时，则信息被分割为s+1块，最后一份伴随区块信息的字节长度为r；

每个分割的部分即为伴随区块信息，伴随区块信息均映射对应至原信息，伴随区块信息按分割顺序被分配序列号。

参照图3所示，存储节点模块对存储节点进行删除和增加包括以下步骤：

存储节点总负载率超过70%，则对存储节点进行增加，存储节点总负载率低于20%，则对存储节点进行删除；

存储节点总负载率的计算公式为

式中，k为总负载率，a为存储节点已存储数据的总量，b为存储节点的存储总量；

存储节点增加：存储节点模块创建新的存储节点地址，将新的存储节点的地址汇总至已有存储节点中，当存储节点总负载率首次小于70%时，停止增加存储节点，每次增加一个新的存储节点，则存储节点的存储总量b在增加，但新的存储节点中没有数据，因此，存储节点已存储数据的总量a不变，故k不断减小；

存储节点删除：存储节点模块遍历所有存储节点地址，对闲置存储节点进行汇总，将闲置存储节点按存储量从大到小排列，依次对排列后的闲置存储节点的地址进行删除，当存储节点总负载率首次高于20%时，停止删除存储节点，每次删除一个新的存储节点，则存储节点的存储总量b在减小，但闲置的存储节点中没有数据，因此，存储节点已存储数据的总量a不变，故k不断减增大。

存储节点被分为五级包括以下步骤：

静态资源划分模块测定存储节点数据存取速度V和带宽占用率；

当数据存取速度V小于250KB/s时，存储节点被定为一级存储节点；

当数据存取速度V介于250KB/s和500KB/s之间时，存储节点被定为二级存储节点，若带宽占用率大于10%，则存储节点被降级为一级存储节点；

当数据存取速度V介于500KB/s和750KB/s之间时，存储节点被定为三级存储节点，若带宽占用率大于10%，则存储节点被降级为二级存储节点；

当数据存取速度V介于750KB/s和1000KB/s之间时，存储节点被定为四级存储节点，若带宽占用率大于10%，则存储节点被降级为三级存储节点；

当数据存取速度V大于1000KB/s时，存储节点被定为五级存储节点，若带宽占用率大于10%，则存储节点被降级为四级存储节点。

伴随区块信息被分为五级包括以下步骤：

静态资源划分模块测定伴随区块信息的数据冗余度W和带宽占用率；

当数据冗余度W小于0.2d时，伴随区块信息被定为一级伴随区块信息；

当数据冗余度W介于0.2d和0.4d之间时，伴随区块信息被定为二级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为一级伴随区块信息；

当数据冗余度W介于0.4d和0.6d之间时，伴随区块信息被定为三级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为二级伴随区块信息；

当数据冗余度W介于0.6d和0.8d之间时，伴随区块信息被定为四级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为三级伴随区块信息；

当数据冗余度W介于0.8d和d时，伴随区块信息被定为五级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为四级伴随区块信息。

参照图4所示，最小时间原理具体包括以下步骤：

统计伴随区块信息的数据冗余度W，即伴随区块信息的字节长度 ；

在五级存储节点中寻找大于预设空间的存储节点，若五级存储节点中无所需的存储节点，则依次进入四、三 、二和一级存储节点中，直至找到所需的存储节点；

计算存储节点的数据存储或上载的时间t，，根据t的大小对存储节点进行排序，时间t越小，存储节点越靠前；

选取前列的存储节点作为候选存储节点；

这样选取的存储节点由于对应的上载时间最小，因此，其伴随区块信息在读取时，花费的时间最小，由于每个伴随区块信息存储在不同存储节点中，而若采用其余的存储节点，则根据取法，其必定导致每个伴随区块信息的读取时间增大0或大于0的数，因此其总的读取时间也会更大，因此该种最小时间原理选取的存储节点的读取时间为条件下最小情况。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (5)

1.一种基于5G通信的分布式信息管理系统，其特征在于，包括：

5G通信模块，所述5G通信模块传输和接收信息，5G通信模块创建通信端点，通信端点进行信息的获取和接收；

消息排队模块，所述消息排队模块用于将通信端点获取的信息进行排队标识，并赋予信息对应的地址，消息排队模块采用排队消除法进行排队；

信息分解模块，所述信息分解模块用于将信息分解分块，生成多个伴随区块信息；

信息存储模块，所述信息存储模块用于存储各伴随区块信息；

存储节点模块，所述存储节点模块用于分布式信息存储和上载，信息存储模块存储各伴随区块信息至相应的存储节点，存储节点模块对存储节点进行删除和增加；

静态资源划分模块，所述静态资源划分模块依据数据存取速度和带宽占用率对存储节点进行划分，存储节点被分为五级，静态资源划分模块依据数据冗余度和带宽占用率对伴随区块信息进行划分，伴随区块信息被分为五级；

信息上载速度优化模块，所述信息上载速度优化模块用于对伴随区块信息的存储路径进行优化，信息上载速度优化模块使用最小时间原理进行优化；

信息上载速度优化模块根据存储节点的级别和伴随区块信息的级别，选定候选存储节点；

资源调度模块，所述资源调度模块包括中央调度模块和框架调度模块，中央调度模块控制所有调度框架的状态，根据信息上载速度优化模块生成的路径分配各伴随区块信息至框架调度模块，框架调度模块检测候选存储节点的负载率，选取低负载率的候选存储节点，进行各伴随区块信息分配，各伴随区块信息被分配至对应的存储节点，由信息存储模块进行存储；

路径存储模块，所述路径存储模块存储信息存储的路径；

信息调取模块，所述信息调取模块读取信息存储的路径，从各存储节点调取各伴随区块信息，合并伴随区块信息为初始信息，发送至5G通信模块，5G通信模块对初始信息进行传输。

2.根据权利要求1所述的一种基于5G通信的分布式信息管理系统，其特征在于，所述生成多个伴随区块信息包括以下步骤：

统计信息总字节长度，记为D；

以信息开头作为初始点，按字节长度d对信息进行分割，以前一个分割点作为下一个初始点，按字节长度d对信息进行分割，重复操作，直至信息被分割完毕；

每个分割的部分即为伴随区块信息，伴随区块信息均映射对应至原信息，伴随区块信息按分割顺序被分配序列号。

3.根据权利要求2所述的一种基于5G通信的分布式信息管理系统，其特征在于，所述存储节点模块对存储节点进行删除和增加包括以下步骤：

存储节点总负载率超过70%，则对存储节点进行增加，存储节点总负载率低于20%，则对存储节点进行删除；

存储节点增加：存储节点模块创建新的存储节点地址，将新的存储节点的地址汇总至已有存储节点中，当存储节点总负载率首次小于70%时，停止增加存储节点；

存储节点删除：存储节点模块遍历所有存储节点地址，对闲置存储节点进行汇总，将闲置存储节点按存储量从大到小排列，依次对排列后的闲置存储节点的地址进行删除，当存储节点总负载率首次高于20%时，停止删除存储节点。

4.根据权利要求3所述的一种基于5G通信的分布式信息管理系统，其特征在于，所述存储节点被分为五级包括以下步骤：

静态资源划分模块测定存储节点数据存取速度V和带宽占用率；

当数据存取速度V小于250KB/s时，存储节点被定为一级存储节点；

当数据存取速度V介于250KB/s和500KB/s之间时，存储节点被定为二级存储节点，若带宽占用率大于10%，则存储节点被降级为一级存储节点；

当数据存取速度V介于500KB/s和750KB/s之间时，存储节点被定为三级存储节点，若带宽占用率大于10%，则存储节点被降级为二级存储节点；

当数据存取速度V介于750KB/s和1000KB/s之间时，存储节点被定为四级存储节点，若带宽占用率大于10%，则存储节点被降级为三级存储节点；

当数据存取速度V大于1000KB/s时，存储节点被定为五级存储节点，若带宽占用率大于10%，则存储节点被降级为四级存储节点。

5.根据权利要求4所述的一种基于5G通信的分布式信息管理系统，其特征在于，所述伴随区块信息被分为五级包括以下步骤：

静态资源划分模块测定伴随区块信息的数据冗余度W和带宽占用率；

当数据冗余度W小于0.2d时，伴随区块信息被定为一级伴随区块信息；

当数据冗余度W介于0.2d和0.4d之间时，伴随区块信息被定为二级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为一级伴随区块信息；

当数据冗余度W介于0.4d和0.6d之间时，伴随区块信息被定为三级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为二级伴随区块信息；

当数据冗余度W介于0.6d和0.8d之间时，伴随区块信息被定为四级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为三级伴随区块信息；

当数据冗余度W介于0.8d和d时，伴随区块信息被定为五级伴随区块信息，若带宽占用率大于10%，则伴随区块信息被降级为四级伴随区块信息。