CN117714475A - 用于边缘云存储的智能管理方法及系统 - Google Patents
用于边缘云存储的智能管理方法及系统 Download PDFInfo
- Publication number
- CN117714475A CN117714475A CN202311680774.9A CN202311680774A CN117714475A CN 117714475 A CN117714475 A CN 117714475A CN 202311680774 A CN202311680774 A CN 202311680774A CN 117714475 A CN117714475 A CN 117714475A
- Authority
- CN
- China
- Prior art keywords
- data
- transaction
- level
- edge node
- grouping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 151
- 238000007726 management method Methods 0.000 title claims abstract description 29
- 230000003068 static effect Effects 0.000 claims abstract description 72
- 238000004364 calculation method Methods 0.000 claims abstract description 61
- 230000005540 biological transmission Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000004458 analytical method Methods 0.000 claims description 10
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 14
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了用于边缘云存储的智能管理方法及系统,涉及数据处理领域,其中,所述方法包括:对静态类数据进行事务级分组,生成第一事务级分组结果;对执行类数据进行计算级分组,生成计算级分组结果;加载云端存储器的第一冗余存储量,判断第一数据量是否大于或等于第一冗余存储量;若第一数据量大于或等于第一冗余存储量,加载边缘节点基础信息;基于加载边缘节点基础信息,结合第一事务级分组结果和计算级分组结果,对待存储数据进行存储优化,生成边缘云存储方案,执行待存储数据的存储传输。解决了现有技术中在进行边缘云存储时,未考虑数据的事务差异,导致数据调度协同性较差,以及边缘云存储效果不佳的技术问题。
Description
技术领域
本发明涉及数据处理领域,具体地,涉及用于边缘云存储的智能管理方法及系统。
背景技术
边缘云存储是一种高效、实时的数据存储和处理方式。边缘云存储适用于智能监控、车联网、物联网等诸多场景的数据存储。边缘云存储具有提高数据处理效率、减少网络带宽和传输延迟、提高数据隐私性和安全性等优点。与此同时,还存在着在进行边缘云存储时,未考虑数据的事务差异,导致数据调度协同性较差,以及边缘云存储效果不佳的技术问题。
发明内容
本申请提供了用于边缘云存储的智能管理方法及系统。解决了现有技术中在进行边缘云存储时,未考虑数据的事务差异,导致数据调度协同性较差,以及边缘云存储效果不佳的技术问题。通过数据的事务差异对待存储数据进行存储优化,提高了边缘云存储的数据调度协同性及灵活性,提升了边缘云存储效果。
鉴于上述问题,本申请提供了用于边缘云存储的智能管理方法及系统。
第一方面,本申请提供了一种用于边缘云存储的智能管理方法,其中,所述方法应用于一种用于边缘云存储的智能管理系统,所述方法包括:加载待存储数据,其中,所述待存储数据包括静态类数据和执行类数据;对所述静态类数据进行事务级分组,生成第一事务级分组结果;对所述执行类数据进行计算级分组,生成计算级分组结果;加载云端存储器的第一冗余存储量,判断所述待存储数据的第一数据量是否大于或等于所述第一冗余存储量;若所述第一数据量大于或等于所述第一冗余存储量,加载边缘节点基础信息,其中,所述边缘节点基础信息包括边缘节点冗余存储量和边缘节点部署位置;基于所述边缘节点冗余存储量和所述边缘节点部署位置,结合所述第一事务级分组结果和所述计算级分组结果,对所述待存储数据进行存储优化,生成边缘云存储方案,执行所述待存储数据的存储传输。
第二方面,本申请还提供了一种用于边缘云存储的智能管理系统,其中,所述系统包括:数据加载模块,所述数据加载模块用于加载待存储数据,其中,所述待存储数据包括静态类数据和执行类数据;事务级分组模块,所述事务级分组模块用于对所述静态类数据进行事务级分组,生成第一事务级分组结果;计算级分组模块,所述计算级分组模块用于对所述执行类数据进行计算级分组,生成计算级分组结果;判断模块,所述判断模块用于加载云端存储器的第一冗余存储量,判断所述待存储数据的第一数据量是否大于或等于所述第一冗余存储量;边缘节点基础信息加载模块,所述边缘节点基础信息加载模块用于若所述第一数据量大于或等于所述第一冗余存储量,加载边缘节点基础信息,其中,所述边缘节点基础信息包括边缘节点冗余存储量和边缘节点部署位置;存储传输模块,所述存储传输模块用于基于所述边缘节点冗余存储量和所述边缘节点部署位置,结合所述第一事务级分组结果和所述计算级分组结果,对所述待存储数据进行存储优化,生成边缘云存储方案,执行所述待存储数据的存储传输。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
通过对静态类数据进行事务级分组,生成第一事务级分组结果;通过对执行类数据进行计算级分组,生成计算级分组结果;判断待存储数据的第一数据量是否大于或等于第一冗余存储量;若第一数据量大于或等于第一冗余存储量,加载边缘节点冗余存储量和边缘节点部署位置;基于边缘节点冗余存储量和边缘节点部署位置,结合第一事务级分组结果和计算级分组结果,对待存储数据进行存储优化,生成边缘云存储方案,并根据边缘云存储方案执行待存储数据的存储传输。通过数据的事务差异对待存储数据进行存储优化,提高了边缘云存储的数据调度协同性及灵活性,提升了边缘云存储效果。
上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的附图作简单地介绍。明显地,下面描述中的附图仅仅涉及本发明的一些实施例,而非对本发明的限制。
图1为本申请一种用于边缘云存储的智能管理方法的流程示意图;
图2为本申请一种用于边缘云存储的智能管理方法中加载待存储数据的流程示意图;
图3为本申请一种用于边缘云存储的智能管理系统的结构示意图。
具体实施方式
本申请通过提供用于边缘云存储的智能管理方法及系统。解决了现有技术中在进行边缘云存储时,未考虑数据的事务差异,导致数据调度协同性较差,以及边缘云存储效果不佳的技术问题。通过数据的事务差异对待存储数据进行存储优化,提高了边缘云存储的数据调度协同性及灵活性,提升了边缘云存储效果。
实施例一
请参阅附图1,本申请提供一种用于边缘云存储的智能管理方法,其中,所述方法应用于一种用于边缘云存储的智能管理系统,所述方法具体包括如下步骤:
加载待存储数据,其中,所述待存储数据包括静态类数据和执行类数据;
如附图2所示,加载待存储数据,包括:
加载待存储数据,其中,所述待存储数据具有数据来源标识;
当所述数据来源标识为底层感知终端,将所述待存储数据设为低纬静态数据;
当所述数据来源标识为数据处理组件的参数数据,将所述待存储数据设为所述执行类数据;
当所述数据来源标识为数据处理组件的输出数据,将所述待存储数据设为高纬静态数据;
将所述低纬静态数据和所述高纬静态数据添加进所述静态类数据。
连接所述一种用于边缘云存储的智能管理系统,读取多个待存储数据,且,每个待存储数据具有对应的数据来源标识。其中,数据来源标识是指产生待存储数据的来源或位置。数据来源标识包括底层感知终端/数据处理组件的参数数据/数据处理组件的输出数据。底层感知终端包括现有技术中可以直接获取数据的物理设备、软件系统、数据库、传感器、API(应用程序接口)等数据获取端。数据处理组件是指可以对数据进行处理、转换、分析的数据清洗工具(Trifacta、OpenRefine等)、神经网络、决策树等数据处理工具。数据处理组件的参数数据是指在对数据进行处理、转换、分析时,数据处理组件的运行参数(如,神经网络的激活函数、权重值、学习率、正则化参数、训练次数等)。数据处理组件的输出数据是指数据处理组件对应的输出信息(如,神经网络的输出参数等)。
当数据来源标识为底层感知终端时,将该数据来源标识对应的待存储数据设置为低纬静态数据。当数据来源标识为数据处理组件的参数数据时,将该数据来源标识对应的待存储数据设置为执行类数据。当数据来源标识为数据处理组件的输出数据时,将该数据来源标识对应的待存储数据设置为高纬静态数据。继而,将多个低纬静态数据和多个高纬静态数据添加至静态类数据。静态类数据包括多个低纬静态数据和多个高纬静态数据。
对所述静态类数据进行事务级分组,生成第一事务级分组结果;
其中,对所述静态类数据进行事务级分组,生成第一事务级分组结果,包括:
采集所述静态类数据的第一数据属性和第一数据来源进行事务配置回溯,生成事务执行日志,其中,所述事务执行日志包括事务类型标签和事务时间标签;
根据所述事务类型标签,统计第一事务类型触发频率;
根据所述事务时间标签,统计第一事务类型时间跨度;
当所述第一事务类型触发频率大于或等于触发频率阈值,且所述第一事务类型时间跨度大于或等于时间跨度阈值,将所述第一数据属性和所述第一数据来源,添加进第一事务类型分组数据;
对静态类数据进行随机选择,获得第一静态类数据。第一静态类数据可以为静态类数据内,随机的一个低纬静态数据/随机的一个高纬静态数据。继而,将第一静态类数据的数据类型记为第一数据属性。将第一静态类数据的数据来源标识记为第一数据来源。
进一步,对第一静态类数据进行事务配置回溯,即,对第一静态类数据进行数据使用记录采集,获得多个事务执行日志。每个事务执行日志包括事务类型标签和事务时间标签。事务类型标签为第一静态类数据对应的数据使用目的参数、数据用途参数。事务时间标签包括第一静态类数据的事务类型标签对应的数据使用时间信息。
根据多个事务执行日志,计算第一事务类型触发频率和第一事务类型时间跨度。第一事务类型触发频率为多个事务执行日志中,随机的一个事务类型标签出现的频率信息。第一事务类型时间跨度为多个事务执行日志中,第一事务类型触发频率对应的事务类型标签的数据使用时间范围。继而,如果第一事务类型触发频率大于或等于触发频率阈值,且第一事务类型时间跨度大于或等于时间跨度阈值,将第一数据属性和第一数据来源添加至第一事务类型分组数据。触发频率阈值包括由所述一种用于边缘云存储的智能管理系统预先设置确定的事务类型触发频率阈值。时间跨度阈值包括由所述一种用于边缘云存储的智能管理系统预先设置确定的事务类型时间跨度阈值。
根据所述第一事务类型分组数据,构建所述第一事务级分组结果。
其中,根据所述第一事务类型分组数据,构建所述第一事务级分组结果,包括:
加载第一事务类型分组数据、第二事务类型分组数据直到第N事务类型分组数据,其中,N表征事务类型序号,N为整数,N≥1;
配置计数器k值,其中,N≥k≥2,k初始值等于N,k为整数;
激活所述计数器k值,对所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据求交集,生成一级交集数据;
将所述计数器k值减一,对所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据进行k组事务枚举组合交集分析,生成若干组二级交集数据,其中,当所述若干组二级交集数据具有所述一级交集数据时,将所述一级交集数据从所述若干组二级交集数据删除;
重复迭代,当k等于2时,所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据进行k组事务枚举组合交集分析,生成若干组N-1级交集数据,其中,当所述若干组N-1级交集数据具有N-2级交集数据时,将所述N-2级交集数据从所述若干组N-1级交集数据删除;
将所述一级交集数据、所述若干组二级交集数据直到所述若干组N-1级交集数据的每组数据,分别命名为第一通用事务级数据、第二通用事务级数据直到第M通用事务级数据,其中,所述第一通用事务级数据、所述第二通用事务级数据直到所述第M通用事务级数据具有通用事务类型标签,M表征通用事务分组序号,M为整数,M≥1;
将所述第一通用事务级数据、所述第二通用事务级数据直到所述第M通用事务级数据从所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据删除,获得第一事务类型独立数据,第二事务类型独立数据直到第N事务类型独立数据;
将所述第一通用事务级数据、所述第二通用事务级数据直到所述第M通用事务级数据,以及所述第一事务类型独立数据,所述第二事务类型独立数据直到所述第N事务类型独立数据,添加进所述第一事务级分组结果。
根据触发频率阈值、时间跨度阈值继续对静态类数据进行事务类型分析,获得第二事务类型分组数据……第N事务类型分组数据。N表征事务类型序号,N为整数,N≥1。且,第二事务类型分组数据……第N事务类型分组数据与第一事务类型分组数据的获得方式相同,在此不再赘述。
进一步,连接所述一种用于边缘云存储的智能管理系统,读取计数器k值。N≥k≥2,k初始值等于N,k为整数。继而,按照计数器k值(此时,k为初始值,k等于N),对第一事务类型分组数据、第二事务类型分组数据……第N事务类型分组数据求交集,生成一级交集数据。一级交集数据为第一事务类型分组数据、第二事务类型分组数据……第N事务类型分组数据的交集数据。
继而,将计数器k值减一,获得第一更新计数器k值(第一更新计数器k值为N-1),并按照第一更新计数器k值对第一事务类型分组数据、第二事务类型分组数据……第N事务类型分组数据进行k组事务枚举组合交集分析,即,按照第一更新计数器k值对第一事务类型分组数据、第二事务类型分组数据……第N事务类型分组数据进行随机组合,获得多个枚举组合。每个枚举组合包括第一事务类型分组数据、第二事务类型分组数据……第N事务类型分组数据中随机的N-1个事务类型分组数据。进而,分别对每个枚举组合求交集,获得多个枚举组合对应的多个二级交集数据。每个二级交集数据为每个枚举组合的交集数据。继而,判断每个二级交集数据是否具有一级交集数据。若二级交集数据具有一级交集数据时,将该二级交集数据中的一级交集数据删除,获得该二级交集数据对应的一组二级交集数据。若二级交集数据不具有一级交集数据,则,直接将该二级交集数据输出为一组二级交集数据。由此,获得若干组二级交集数据。
进一步,将第一更新计数器k值减一,获得第二更新计数器k值(第二更新计数器k值为N-2),并按照第二更新计数器k值继续对第一事务类型分组数据、第二事务类型分组数据……第N事务类型分组数据进行k组事务枚举组合交集分析,获得若干组三级交集数据,并根据第二更新计数器k值进行重复迭代,直至k等于2时,按照此时的k值(k等于2)对第一事务类型分组数据、第二事务类型分组数据……第N事务类型分组数据进行k组事务枚举组合交集分析,获得若干组N-1级交集数据。且,当若干组N-1级交集数据具有N-2级交集数据时,将N-2级交集数据从若干组N-1级交集数据删除。
进一步,将一级交集数据、若干组二级交集数据……若干组N-1级交集数据的每组数据分别设置为第一通用事务级数据、第二通用事务级数据……第M通用事务级数据。且,第一通用事务级数据、第二通用事务级数据……第M通用事务级数据中的每个通用事务级数据具有对应的通用事务类型标签,M表征通用事务分组序号,M为整数,M≥1。通用事务类型标签为每个通用事务级数据对应的事务类型标签。
进一步,将第一通用事务级数据、第二通用事务级数据……第M通用事务级数据从第一事务类型分组数据、第二事务类型分组数据……第N事务类型分组数据删除,获得第一事务类型独立数据,第二事务类型独立数据……第N事务类型独立数据。继而,将第一通用事务级数据、第二通用事务级数据……第M通用事务级数据,以及第一事务类型独立数据、第二事务类型独立数据……第N事务类型独立数据添加至第一事务级分组结果。第一事务级分组结果包括第一通用事务级数据、第二通用事务级数据……第M通用事务级数据,以及第一事务类型独立数据、第二事务类型独立数据……第N事务类型独立数据。
通过对静态类数据进行事务级分组,获得第一事务级分组结果,从而提高边缘云存储的数据调度协同性,提高边缘云存储的灵活性。
对所述执行类数据进行计算级分组,生成计算级分组结果;
其中,对所述执行类数据进行计算级分组,生成计算级分组结果,包括:
获得所述执行类数据的计算任务特征,其中,所述计算任务特征包括若干个计算单元;
根据所述若干个计算单元,对所述执行类数据进行分组,生成所述计算级分组结果。
每个执行类数据具有对应的计算任务特征。计算任务特征包括每个执行类数据对应的若干个计算单元。计算单元为单一的加法、减法、乘法、乘方、积分等基础计算单元。
按照每个执行类数据对应的若干个计算单元对多个执行类数据进行分组,即,将每个执行类数据对应的计算单元记为一级计算组,并将每个执行类数据对应的所有计算单元记为二级计算组,获得多个计算级分组,并将多个计算级分组输出为计算级分组结果。计算级分组结果包括多个计算级分组。每个计算级分组包括一个执行类数据,以及该执行类数据对应的多个一级计算组、二级计算组。
通过对执行类数据进行计算级分组,提高边缘云存储的数据调度灵活性,提升边缘云存储效果。
加载云端存储器的第一冗余存储量,判断所述待存储数据的第一数据量是否大于或等于所述第一冗余存储量;
若所述第一数据量大于或等于所述第一冗余存储量,加载边缘节点基础信息,其中,所述边缘节点基础信息包括边缘节点冗余存储量和边缘节点部署位置;
连接所述一种用于边缘云存储的智能管理系统,读取云端存储器的剩余存储量,获得第一冗余存储量,并判断第一数据量是否大于或等于第一冗余存储量。其中,云端存储器即为现有技术中的云端存储设备。第一数据量为多个待存储数据的总数据量。第一冗余存储量为云端存储器的剩余存储量。
如果第一数据量大于或等于第一冗余存储量,调取边缘节点基础信息。边缘节点基础信息包括边缘节点冗余存储量和边缘节点部署位置。边缘节点冗余存储量包括多个边缘节点(边缘节点即为边缘存储设备)对应的剩余存储量之和。边缘节点部署位置包括多个边缘节点对应的多个设备位置。
基于所述边缘节点冗余存储量和所述边缘节点部署位置,结合所述第一事务级分组结果和所述计算级分组结果,对所述待存储数据进行存储优化,生成边缘云存储方案,执行所述待存储数据的存储传输。
其中,基于所述边缘节点冗余存储量和所述边缘节点部署位置,结合所述第一事务级分组结果和所述计算级分组结果,对所述待存储数据进行存储优化,生成边缘云存储方案,包括:
基于所述边缘节点冗余存储量,将所述第一事务级分组结果和所述计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案;
其中,所述第一事务级分组结果和所述计算级分组结果的每组数据需要部署于相同边缘节点;
其中,基于所述边缘节点冗余存储量,将所述第一事务级分组结果和所述计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案,包括:
当所述边缘节点冗余存储量小于所述第一数据量,遍历边缘节点,提取低纬已存储静态数据;
其中,所述低纬已存储静态数据包括执行状态标签和事务类型标签;
当所述执行状态标签为已执行,且所述事务类型标签为可优化事务类型,将所述低纬已存储静态数据从所述边缘节点删除,更新所述边缘节点冗余存储量,将所述第一事务级分组结果和所述计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案;
当所述边缘节点冗余存储量大于或等于所述第一数据量,将所述第一事务级分组结果和所述计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案。
对边缘节点冗余存储量是否小于第一数据量进行判断。如果边缘节点冗余存储量小于第一数据量,则,遍历多个边缘节点进行数据提取,获得每个边缘节点对应的多个低纬已存储静态数据。且,每个低纬已存储静态数据具有执行状态标签和事务类型标签。执行状态标签为已执行/未执行。事务类型标签为可优化事务类型/不可优化事务类型。
当低纬已存储静态数据的执行状态标签为已执行,且,该低纬已存储静态数据的事务类型标签为可优化事务类型时,将该低纬已存储静态数据从对应的边缘节点删除,并对边缘节点冗余存储量进行更新,从而对多个边缘节点进行存储空间优化,提高多个边缘节点的存储空间利用率。当更新后的边缘节点冗余存储量大于或等于第一数据量时,按照多个边缘节点对第一事务级分组结果和计算级分组结果进行多次随机分配,获得若干个边缘节点部署方案。每个边缘节点部署方案包括第一事务级分组结果和计算级分组结果中,每个数据对应匹配的边缘节点。且,第一事务级分组结果和计算级分组结果的每组数据部署于相同的边缘节点。例如,一个计算级分组内的执行类数据、多个一级计算组、二级计算组匹配同一个边缘节点。此外,如果边缘节点冗余存储量大于或等于第一数据量,则,直接将第一事务级分组结果和计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案。
基于所述边缘节点部署位置,遍历所述若干个边缘节点部署方案,统计若干个数据传输距离;
提取所述若干个数据传输距离的最小值的边缘节点部署方案,设为所述边缘云存储方案。
根据边缘节点部署位置,分别计算每个边缘节点部署方案对应的总数据传输距离参数,获得若干个数据传输距离。每个数据传输距离包括每个边缘节点部署方案对应的总数据传输距离参数。总数据传输距离参数为边缘节点部署方案内每个数据对应的传输距离参数(传输距离参数为将数据传输至匹配的边缘节点的传输距离)之和。继而,将最优数据传输距离(若干个数据传输距离中的最小值)对应的边缘节点部署方案设置为边缘云存储方案,并按照边缘云存储方案对待存储数据进行存储传输,从而提高边缘云存储效果。
综上所述,本申请所提供的一种用于边缘云存储的智能管理方法具有如下技术效果:
通过对静态类数据进行事务级分组,生成第一事务级分组结果;通过对执行类数据进行计算级分组,生成计算级分组结果;判断待存储数据的第一数据量是否大于或等于第一冗余存储量;若第一数据量大于或等于第一冗余存储量,加载边缘节点冗余存储量和边缘节点部署位置;基于边缘节点冗余存储量和边缘节点部署位置,结合第一事务级分组结果和计算级分组结果,对待存储数据进行存储优化,生成边缘云存储方案,并根据边缘云存储方案执行待存储数据的存储传输。通过数据的事务差异对待存储数据进行存储优化,提高了边缘云存储的数据调度协同性及灵活性,提升了边缘云存储效果。
实施例二
基于与前述实施例中一种用于边缘云存储的智能管理方法,同样发明构思,本发明还提供了一种用于边缘云存储的智能管理系统,请参阅附图3,所述系统包括:
数据加载模块,所述数据加载模块用于加载待存储数据,其中,所述待存储数据包括静态类数据和执行类数据;
事务级分组模块,所述事务级分组模块用于对所述静态类数据进行事务级分组,生成第一事务级分组结果;
计算级分组模块,所述计算级分组模块用于对所述执行类数据进行计算级分组,生成计算级分组结果;
判断模块,所述判断模块用于加载云端存储器的第一冗余存储量,判断所述待存储数据的第一数据量是否大于或等于所述第一冗余存储量;
边缘节点基础信息加载模块,所述边缘节点基础信息加载模块用于若所述第一数据量大于或等于所述第一冗余存储量,加载边缘节点基础信息,其中,所述边缘节点基础信息包括边缘节点冗余存储量和边缘节点部署位置;
存储传输模块,所述存储传输模块用于基于所述边缘节点冗余存储量和所述边缘节点部署位置,结合所述第一事务级分组结果和所述计算级分组结果,对所述待存储数据进行存储优化,生成边缘云存储方案,执行所述待存储数据的存储传输。
进一步而言,所述数据加载模块还用于:
加载待存储数据,其中,所述待存储数据具有数据来源标识;
当所述数据来源标识为底层感知终端,将所述待存储数据设为低纬静态数据;
当所述数据来源标识为数据处理组件的参数数据,将所述待存储数据设为所述执行类数据;
当所述数据来源标识为数据处理组件的输出数据,将所述待存储数据设为高纬静态数据;
将所述低纬静态数据和所述高纬静态数据添加进所述静态类数据。
进一步而言,所述事务级分组模块还用于:
采集所述静态类数据的第一数据属性和第一数据来源进行事务配置回溯,生成事务执行日志,其中,所述事务执行日志包括事务类型标签和事务时间标签;
根据所述事务类型标签,统计第一事务类型触发频率;
根据所述事务时间标签,统计第一事务类型时间跨度;
当所述第一事务类型触发频率大于或等于触发频率阈值,且所述第一事务类型时间跨度大于或等于时间跨度阈值,将所述第一数据属性和所述第一数据来源,添加进第一事务类型分组数据;
根据所述第一事务类型分组数据,构建所述第一事务级分组结果。
进一步而言,所述事务级分组模块还用于:
加载第一事务类型分组数据、第二事务类型分组数据直到第N事务类型分组数据,其中,N表征事务类型序号,N为整数,N≥1;
配置计数器k值,其中,N≥k≥2,k初始值等于N,k为整数;
激活所述计数器k值,对所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据求交集,生成一级交集数据;
将所述计数器k值减一,对所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据进行k组事务枚举组合交集分析,生成若干组二级交集数据,其中,当所述若干组二级交集数据具有所述一级交集数据时,将所述一级交集数据从所述若干组二级交集数据删除;
重复迭代,当k等于2时,所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据进行k组事务枚举组合交集分析,生成若干组N-1级交集数据,其中,当所述若干组N-1级交集数据具有N-2级交集数据时,将所述N-2级交集数据从所述若干组N-1级交集数据删除;
将所述一级交集数据、所述若干组二级交集数据直到所述若干组N-1级交集数据的每组数据,分别命名为第一通用事务级数据、第二通用事务级数据直到第M通用事务级数据,其中,所述第一通用事务级数据、所述第二通用事务级数据直到所述第M通用事务级数据具有通用事务类型标签,M表征通用事务分组序号,M为整数,M≥1;
将所述第一通用事务级数据、所述第二通用事务级数据直到所述第M通用事务级数据从所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据删除,获得第一事务类型独立数据,第二事务类型独立数据直到第N事务类型独立数据;
将所述第一通用事务级数据、所述第二通用事务级数据直到所述第M通用事务级数据,以及所述第一事务类型独立数据,所述第二事务类型独立数据直到所述第N事务类型独立数据,添加进所述第一事务级分组结果。
进一步而言,所述计算级分组模块还用于:
获得所述执行类数据的计算任务特征,其中,所述计算任务特征包括若干个计算单元;
根据所述若干个计算单元,对所述执行类数据进行分组,生成所述计算级分组结果。
进一步而言,所述存储传输模块还用于:
基于所述边缘节点冗余存储量,将所述第一事务级分组结果和所述计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案;
其中,所述第一事务级分组结果和所述计算级分组结果的每组数据需要部署于相同边缘节点;
基于所述边缘节点部署位置,遍历所述若干个边缘节点部署方案,统计若干个数据传输距离;
提取所述若干个数据传输距离的最小值的边缘节点部署方案,设为所述边缘云存储方案。
进一步而言,所述存储传输模块还用于:
当所述边缘节点冗余存储量小于所述第一数据量,遍历边缘节点,提取低纬已存储静态数据;
其中,所述低纬已存储静态数据包括执行状态标签和事务类型标签;
当所述执行状态标签为已执行,且所述事务类型标签为可优化事务类型,将所述低纬已存储静态数据从所述边缘节点删除,更新所述边缘节点冗余存储量,将所述第一事务级分组结果和所述计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案;
当所述边缘节点冗余存储量大于或等于所述第一数据量,将所述第一事务级分组结果和所述计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案。
本发明实施例所提供的一种用于边缘云存储的智能管理系统可执行本发明任意实施例所提供的一种用于边缘云存储的智能管理方法,具备执行方法相应的功能模块和有益效果。
所包括的各个模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能模块的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
本申请提供了一种用于边缘云存储的智能管理方法,其中,所述方法应用于一种用于边缘云存储的智能管理系统,所述方法包括:通过对静态类数据进行事务级分组,生成第一事务级分组结果;通过对执行类数据进行计算级分组,生成计算级分组结果;判断待存储数据的第一数据量是否大于或等于第一冗余存储量;若第一数据量大于或等于第一冗余存储量,加载边缘节点冗余存储量和边缘节点部署位置;基于边缘节点冗余存储量和边缘节点部署位置,结合第一事务级分组结果和计算级分组结果,对待存储数据进行存储优化,生成边缘云存储方案,并根据边缘云存储方案执行待存储数据的存储传输。解决了现有技术中在进行边缘云存储时,未考虑数据的事务差异,导致数据调度协同性较差,以及边缘云存储效果不佳的技术问题。通过数据的事务差异对待存储数据进行存储优化,提高了边缘云存储的数据调度协同性及灵活性,提升了边缘云存储效果。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合和替代。任何在本申请的精神和原则之内所做的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (8)
1.用于边缘云存储的智能管理方法,其特征在于,包括:
加载待存储数据,其中,所述待存储数据包括静态类数据和执行类数据;
对所述静态类数据进行事务级分组,生成第一事务级分组结果;
对所述执行类数据进行计算级分组,生成计算级分组结果;
加载云端存储器的第一冗余存储量,判断所述待存储数据的第一数据量是否大于或等于所述第一冗余存储量;
若所述第一数据量大于或等于所述第一冗余存储量,加载边缘节点基础信息,其中,所述边缘节点基础信息包括边缘节点冗余存储量和边缘节点部署位置;
基于所述边缘节点冗余存储量和所述边缘节点部署位置,结合所述第一事务级分组结果和所述计算级分组结果,对所述待存储数据进行存储优化,生成边缘云存储方案,执行所述待存储数据的存储传输。
2.如权利要求1所述的方法,其特征在于,加载待存储数据,包括:
加载待存储数据,其中,所述待存储数据具有数据来源标识;
当所述数据来源标识为底层感知终端,将所述待存储数据设为低纬静态数据;
当所述数据来源标识为数据处理组件的参数数据,将所述待存储数据设为所述执行类数据;
当所述数据来源标识为数据处理组件的输出数据,将所述待存储数据设为高纬静态数据;
将所述低纬静态数据和所述高纬静态数据添加进所述静态类数据。
3.如权利要求1所述的方法,其特征在于,对所述静态类数据进行事务级分组,生成第一事务级分组结果,包括:
采集所述静态类数据的第一数据属性和第一数据来源进行事务配置回溯,生成事务执行日志,其中,所述事务执行日志包括事务类型标签和事务时间标签;
根据所述事务类型标签,统计第一事务类型触发频率;
根据所述事务时间标签,统计第一事务类型时间跨度;
当所述第一事务类型触发频率大于或等于触发频率阈值,且所述第一事务类型时间跨度大于或等于时间跨度阈值,将所述第一数据属性和所述第一数据来源,添加进第一事务类型分组数据;
根据所述第一事务类型分组数据,构建所述第一事务级分组结果。
4.如权利要求3所述的方法,其特征在于,根据所述第一事务类型分组数据,构建所述第一事务级分组结果,包括:
加载第一事务类型分组数据、第二事务类型分组数据直到第N事务类型分组数据,其中,N表征事务类型序号,N为整数,N≥1;
配置计数器k值,其中,N≥k≥2,k初始值等于N,k为整数;
激活所述计数器k值,对所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据求交集,生成一级交集数据;
将所述计数器k值减一,对所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据进行k组事务枚举组合交集分析,生成若干组二级交集数据,其中,当所述若干组二级交集数据具有所述一级交集数据时,将所述一级交集数据从所述若干组二级交集数据删除;
重复迭代,当k等于2时,所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据进行k组事务枚举组合交集分析,生成若干组N-1级交集数据,其中,当所述若干组N-1级交集数据具有N-2级交集数据时,将所述N-2级交集数据从所述若干组N-1级交集数据删除;
将所述一级交集数据、所述若干组二级交集数据直到所述若干组N-1级交集数据的每组数据,分别命名为第一通用事务级数据、第二通用事务级数据直到第M通用事务级数据,其中,所述第一通用事务级数据、所述第二通用事务级数据直到所述第M通用事务级数据具有通用事务类型标签,M表征通用事务分组序号,M为整数,M≥1;
将所述第一通用事务级数据、所述第二通用事务级数据直到所述第M通用事务级数据从所述第一事务类型分组数据、所述第二事务类型分组数据直到所述第N事务类型分组数据删除,获得第一事务类型独立数据,第二事务类型独立数据直到第N事务类型独立数据;
将所述第一通用事务级数据、所述第二通用事务级数据直到所述第M通用事务级数据,以及所述第一事务类型独立数据,所述第二事务类型独立数据直到所述第N事务类型独立数据,添加进所述第一事务级分组结果。
5.如权利要求1所述的方法,其特征在于,对所述执行类数据进行计算级分组,生成计算级分组结果,包括:
获得所述执行类数据的计算任务特征,其中,所述计算任务特征包括若干个计算单元;
根据所述若干个计算单元,对所述执行类数据进行分组,生成所述计算级分组结果。
6.如权利要求1所述的方法,其特征在于,基于所述边缘节点冗余存储量和所述边缘节点部署位置,结合所述第一事务级分组结果和所述计算级分组结果,对所述待存储数据进行存储优化,生成边缘云存储方案,包括:
基于所述边缘节点冗余存储量,将所述第一事务级分组结果和所述计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案;
其中,所述第一事务级分组结果和所述计算级分组结果的每组数据需要部署于相同边缘节点;
基于所述边缘节点部署位置,遍历所述若干个边缘节点部署方案,统计若干个数据传输距离;
提取所述若干个数据传输距离的最小值的边缘节点部署方案,设为所述边缘云存储方案。
7.如权利要求6所述的方法,其特征在于,基于所述边缘节点冗余存储量,将所述第一事务级分组结果和所述计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案,包括:
当所述边缘节点冗余存储量小于所述第一数据量,遍历边缘节点,提取低纬已存储静态数据;
其中,所述低纬已存储静态数据包括执行状态标签和事务类型标签;
当所述执行状态标签为已执行,且所述事务类型标签为可优化事务类型,将所述低纬已存储静态数据从所述边缘节点删除,更新所述边缘节点冗余存储量,将所述第一事务级分组结果和所述计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案;
当所述边缘节点冗余存储量大于或等于所述第一数据量,将所述第一事务级分组结果和所述计算级分组结果部署至边缘节点,生成若干个边缘节点部署方案。
8.用于边缘云存储的智能管理系统,其特征在于,所述系统用于执行权利要求1至7任一项所述的方法,所述系统包括:
数据加载模块,所述数据加载模块用于加载待存储数据,其中,所述待存储数据包括静态类数据和执行类数据;
事务级分组模块,所述事务级分组模块用于对所述静态类数据进行事务级分组,生成第一事务级分组结果;
计算级分组模块,所述计算级分组模块用于对所述执行类数据进行计算级分组,生成计算级分组结果;
判断模块,所述判断模块用于加载云端存储器的第一冗余存储量,判断所述待存储数据的第一数据量是否大于或等于所述第一冗余存储量;
边缘节点基础信息加载模块,所述边缘节点基础信息加载模块用于若所述第一数据量大于或等于所述第一冗余存储量,加载边缘节点基础信息,其中,所述边缘节点基础信息包括边缘节点冗余存储量和边缘节点部署位置;
存储传输模块,所述存储传输模块用于基于所述边缘节点冗余存储量和所述边缘节点部署位置,结合所述第一事务级分组结果和所述计算级分组结果,对所述待存储数据进行存储优化,生成边缘云存储方案,执行所述待存储数据的存储传输。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311680774.9A CN117714475B (zh) | 2023-12-08 | 2023-12-08 | 用于边缘云存储的智能管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311680774.9A CN117714475B (zh) | 2023-12-08 | 2023-12-08 | 用于边缘云存储的智能管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117714475A true CN117714475A (zh) | 2024-03-15 |
CN117714475B CN117714475B (zh) | 2024-05-14 |
Family
ID=90152604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311680774.9A Active CN117714475B (zh) | 2023-12-08 | 2023-12-08 | 用于边缘云存储的智能管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117714475B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684083A (zh) * | 2018-12-11 | 2019-04-26 | 北京工业大学 | 一种面向边缘-云异构下的多级事务调度分配策略 |
CN113051448A (zh) * | 2021-03-17 | 2021-06-29 | 平安普惠企业管理有限公司 | 数据处理方法、装置、电子设备及存储介质 |
WO2021136068A1 (zh) * | 2019-12-30 | 2021-07-08 | 中兴通讯股份有限公司 | 资源调度方法、装置、电子设备及计算机可读介质 |
US20210304199A1 (en) * | 2020-03-30 | 2021-09-30 | Dwolla, Inc. | Distributed database stored at an edge application |
US20220011977A1 (en) * | 2020-07-13 | 2022-01-13 | Hitachi, Ltd. | Storage system, control method, and recording medium |
CN114500529A (zh) * | 2021-12-28 | 2022-05-13 | 航天科工网络信息发展有限公司 | 一种基于可感知冗余的云边协同缓存方法及系统 |
CN114531455A (zh) * | 2022-03-02 | 2022-05-24 | 北京工业大学 | 基于边缘协助的多云安全存储方法 |
CN114706675A (zh) * | 2022-01-24 | 2022-07-05 | 北京邮电大学深圳研究院 | 基于云边协同系统的任务部署方法及装置 |
US11412061B1 (en) * | 2021-12-03 | 2022-08-09 | National University Of Defense Technology | Mobile-assisted edge computing framework for emerging IoT applications |
WO2022227105A1 (zh) * | 2021-04-30 | 2022-11-03 | 广州中国科学院软件应用技术研究所 | 一种基于端云融合的协同控制系统及方法 |
CN116048799A (zh) * | 2023-01-10 | 2023-05-02 | 重庆工业大数据创新中心有限公司 | 一种基于联邦学习的工业互联网多模态边缘数据处理方法 |
WO2023089350A1 (en) * | 2021-11-19 | 2023-05-25 | Telefonaktiebolaget Lm Ericsson (Publ) | An architecture for a self-adaptive computation management in edge cloud |
WO2023124928A1 (zh) * | 2021-12-31 | 2023-07-06 | 中兴通讯股份有限公司 | 信息传输方法、设备和存储介质 |
CN116708451A (zh) * | 2023-08-08 | 2023-09-05 | 广东奥飞数据科技股份有限公司 | 一种边云协同调度方法及系统 |
-
2023
- 2023-12-08 CN CN202311680774.9A patent/CN117714475B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109684083A (zh) * | 2018-12-11 | 2019-04-26 | 北京工业大学 | 一种面向边缘-云异构下的多级事务调度分配策略 |
WO2021136068A1 (zh) * | 2019-12-30 | 2021-07-08 | 中兴通讯股份有限公司 | 资源调度方法、装置、电子设备及计算机可读介质 |
US20210304199A1 (en) * | 2020-03-30 | 2021-09-30 | Dwolla, Inc. | Distributed database stored at an edge application |
US20220011977A1 (en) * | 2020-07-13 | 2022-01-13 | Hitachi, Ltd. | Storage system, control method, and recording medium |
CN113051448A (zh) * | 2021-03-17 | 2021-06-29 | 平安普惠企业管理有限公司 | 数据处理方法、装置、电子设备及存储介质 |
WO2022227105A1 (zh) * | 2021-04-30 | 2022-11-03 | 广州中国科学院软件应用技术研究所 | 一种基于端云融合的协同控制系统及方法 |
WO2023089350A1 (en) * | 2021-11-19 | 2023-05-25 | Telefonaktiebolaget Lm Ericsson (Publ) | An architecture for a self-adaptive computation management in edge cloud |
US11412061B1 (en) * | 2021-12-03 | 2022-08-09 | National University Of Defense Technology | Mobile-assisted edge computing framework for emerging IoT applications |
CN114500529A (zh) * | 2021-12-28 | 2022-05-13 | 航天科工网络信息发展有限公司 | 一种基于可感知冗余的云边协同缓存方法及系统 |
WO2023124928A1 (zh) * | 2021-12-31 | 2023-07-06 | 中兴通讯股份有限公司 | 信息传输方法、设备和存储介质 |
CN114706675A (zh) * | 2022-01-24 | 2022-07-05 | 北京邮电大学深圳研究院 | 基于云边协同系统的任务部署方法及装置 |
CN114531455A (zh) * | 2022-03-02 | 2022-05-24 | 北京工业大学 | 基于边缘协助的多云安全存储方法 |
CN116048799A (zh) * | 2023-01-10 | 2023-05-02 | 重庆工业大数据创新中心有限公司 | 一种基于联邦学习的工业互联网多模态边缘数据处理方法 |
CN116708451A (zh) * | 2023-08-08 | 2023-09-05 | 广东奥飞数据科技股份有限公司 | 一种边云协同调度方法及系统 |
Non-Patent Citations (2)
Title |
---|
梅雅欣;沈雪微;赵丹;王田;: "传感云中基于边缘计算的差分数据保护方法", 北京邮电大学学报, no. 04, 12 August 2020 (2020-08-12) * |
贾冬青;高永芹;陈玉芳;: "基于云存储的内容分发技术研究", 西南师范大学学报(自然科学版), no. 06, 20 June 2016 (2016-06-20) * |
Also Published As
Publication number | Publication date |
---|---|
CN117714475B (zh) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11438212B2 (en) | Fault root cause analysis method and apparatus | |
CN110298663B (zh) | 基于序列宽深学习的欺诈交易检测方法 | |
Haverkort | Markovian models for performance and dependability evaluation | |
CN115098705B (zh) | 基于知识图谱推理的网络安全事件分析方法及系统 | |
GB2604552A (en) | Fusing multimodal data using recurrent neural networks | |
CN112328688B (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
Zaragoza et al. | A two-step method to learn multidimensional Bayesian network classifiers based on mutual information measures | |
CN112925964A (zh) | 基于云计算服务的大数据采集方法及大数据采集服务系统 | |
CN117714475B (zh) | 用于边缘云存储的智能管理方法及系统 | |
CN103207804A (zh) | 基于集群作业日志的MapReduce负载模拟方法 | |
CN117278313A (zh) | 一种计算机网络结构优化的安全检测方法及系统 | |
CN113778681B (zh) | 基于云计算的数据处理方法、装置及存储介质 | |
CN113988045B (zh) | 文本相似度确定方法、文本处理方法、相应的装置和设备 | |
CN113628043B (zh) | 基于数据分类的投诉有效性判断方法、装置、设备及介质 | |
Lahdhiri et al. | DNNZip: selective layers compression technique in deep neural network accelerators | |
CN112925831A (zh) | 基于云计算服务的大数据挖掘方法及大数据挖掘服务系统 | |
CN112181825A (zh) | 测试案例库构建方法、装置、电子设备及介质 | |
CN113722554A (zh) | 数据分类方法、装置及计算设备 | |
CN111913881B (zh) | 一种应用程序I/O trace的生成方法 | |
Brownlee et al. | Relating training instances to automatic design of algorithms for bin packing via features (detailed experiments and results) | |
CN117271098B (zh) | 一种ai模型计算核调度方法、装置、设备及存储介质 | |
CN116383883B (zh) | 一种基于大数据的数据管理权限处理方法及系统 | |
CN114896401B (zh) | 一种结合ai的云计算业务威胁分析方法及服务器 | |
CN115859911B (zh) | 适应数据动态变化下的标签自动生成演进方法、装置 | |
CN112100161B (zh) | 数据处理方法及系统、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |