CN116455919A - 一种基于存储节点状态感知的动态云数据副本管理方法 - Google Patents

一种基于存储节点状态感知的动态云数据副本管理方法 Download PDF

Info

Publication number
CN116455919A
CN116455919A CN202310264703.4A CN202310264703A CN116455919A CN 116455919 A CN116455919 A CN 116455919A CN 202310264703 A CN202310264703 A CN 202310264703A CN 116455919 A CN116455919 A CN 116455919A
Authority
CN
China
Prior art keywords
availability
data
node
mobile node
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310264703.4A
Other languages
English (en)
Inventor
白亚南
邵元勋
牛中盈
郝强
滕海
郑大国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Science And Technology Network Information Development Co ltd
Second Research Institute Of Casic
Original Assignee
Aerospace Science And Technology Network Information Development Co ltd
Second Research Institute Of Casic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Science And Technology Network Information Development Co ltd, Second Research Institute Of Casic filed Critical Aerospace Science And Technology Network Information Development Co ltd
Priority to CN202310264703.4A priority Critical patent/CN116455919A/zh
Publication of CN116455919A publication Critical patent/CN116455919A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于云数据存储技术领域，具体涉及一种基于存储节点状态感知的动态云数据副本管理方法、系统、电子设备，旨在解决现有移动分布式云存储系统的可用度不稳定、存储效率以及性能较低的问题。本发明方法包括：获取移动分布式云存储系统中各移动节点的基础资源环境因素、网络资源环境因素，作为输入数据；通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度；计算数据块的可用度；基于数据块的可用度，对数据副本写入或删除。本发明提高移动分布式云存储系统的可用性，提升了存储效率以及存储性能。

Description

一种基于存储节点状态感知的动态云数据副本管理方法
技术领域
本发明属于云数据存储技术领域，具体涉及一种基于存储节点状态感知的动态云数据副本管理方法、系统、电子设备。
背景技术
数据副本策略对分布式云存储系统的可用性和可靠性至关重要。在机动环境下，由于单节点可用性低，资源有限等特征，利用移动节点构造分布式云存储系统，能够提供灵活的数据存储服务。在移动分布式存储系统中，由于节点的资源异构且有限，节点所处的网络环境恶劣，现有的在固定环境下的数据副本冗余策略难以直接应用。因此，如何以低代价的方式实现高可靠的存储是移动分布式存储系统面临的首要难题。
数据副本策略分为静态副本策略和动态副本策略。静态副本策略是在预设数据副本数量下，通过优化算法来决策副本放置位置，以提高文件可用性、均衡存储节点负载、提高访问速率等。Hadoop Distributed file system(HDFS)和Google file system(GFS)都默认文件副本数为3，并通过Round-Robin算法来为每个数据节点上的数据选择存储磁盘。静态副本策略是在分布式存储系统为同构的前提下实现负载均衡。而分布式存储系统中存储资源的和数据访问往往是异构的，故动态副本策略相继提出。动态副本策略依据文件访问特征、用户需求和存储空间等因素周期性地调整文件的副本数量，更有效地提高云存储系统的性能，减少文件的响应时间，为用户提供高质量的存储服务。而在移动环境下，由于存储数据节点的动态性以及所处环境的复杂性，显著降低节点的可用性，因此数据可用性是移动分布式存储系统的更重要指标。针对移动环境下分布式存储系统的数据副本策略，姜春茂等人[9]针对单个节点能耗大、可用性低的问题，提出了考虑存储负载和并行传输，提出了一种适合移动节点的数据分布策略。
在移动云存储环境中，影响数据节点可用的因素包括基础资源环境因素和网络资源环境因素。而现有的关于分布式存储系统在动态副本策略中所考虑的数据可用性主要关注节点自身的故障，缺乏考虑对节点移动性以及所处的通信环境对数据节点可用性的影响。除此之外，数据的动态副本策略在动态调整副本时需要额外传输大量数据。频繁的数据传输会造成巨大的网络开销，这对于通信环境复杂，节点资源受限的移动分布式数据存储系统而言，更是不可接受。基于此，本发明提出了一种基于存储节点状态感知的动态云数据副本管理方法。
发明内容
为了解决现有技术中的上述问题，即为了解决现有数据副本策略没有考虑在移动云存储环境中节点移动性、节点可用性，而且在动态调整副本时需要频发传输大量数据，造成节点负载不均衡，进而导致移动分布式云存储系统的可用度不稳定、存储效率以及性能较低的问题，本发明提出了一种基于存储节点状态感知的动态云数据副本管理方法，应用于移动分布式云存储系统，该方法包括：
获取所述移动分布式云存储系统中各移动节点的基础资源环境因素、网络资源环境因素，作为输入数据；
基于所述输入数据，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度；所述基于状态感知的服务可用性评估模型为基于预设的基础资源环境因素、网络资源环境因素以及各因素对应的可用度的权重，计算移动节点的可用度的模型；
根据各移动节点的可用度，计算在当前时间周期内各数据块的可用度；
基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除。
在一些优选的实施方式中，所述基础资源环境因素包括移动节点的计算能力、存储能力、电源能力；所述网络资源环境因素包括带宽、时延率、节点连通性、节点移动性；
在一些优选的实施方式中，移动节点的计算能力，其获取方法为：
其中，F11表示移动节点的计算能力，ωL表示设定的常数，Li表示第i个移动节点的已用磁盘空间的大小，LM表示在不降低性能的条件下，第i个移动节点的磁盘空间负载的最大值。
在一些优选的实施方式中，移动节点的存储能力，其获取方法为：
其中，F12表示移动节点的存储能力，ωP表示设定的常数，Pi表示第i个移动节点的并发访问次数，LM表示在不降低性能的条件下，第i个移动节点的并发访问次数的最大值。
在一些优选的实施方式中，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度，其方法为：
其中，RN表示移动节节点的可用度，Wij为通过两层的层次分析法进行确定的相应因素Fij可用度的权重，代表了该因素对移动节点可用度的影响程度，且
在一些优选的实施方式中，计算在当前时间周期内各数据块的可用度，其方法为：
其中，RD表示数据块的可用度。
在一些优选的实施方式中，基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除，其方法为：
若当前时间周期内数据块的可用度低于设定的低可用度阈值，则在关键节点中选取可用度最大的移动节点，对数据副本进行数据写入；所述关键节点为度大于设定的度阈值的移动节点；
若当前时间周期内数据块的可用度高于设定的高可用度阈值，则在该数据块所有副本中选择最小可用度的移动节点，对数据副本进行数据删除。
本发明的第二方面，提出了一种基于存储节点状态感知的动态云数据副本管理系统，该系统包括：数据获取模块、节点可用度计算模块、数据块可用度计算模块、数据副本选取模块；
所述数据获取模块，配置为获取所述移动分布式云存储系统中各移动节点的基础资源环境因素、网络资源环境因素，作为输入数据；
所述节点可用度计算模块，配置为基于所述输入数据，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度；所述基于状态感知的服务可用性评估模型为基于预设的基础资源环境因素、网络资源环境因素以及各因素对应的可用度的权重，计算移动节点的可用度的模型；
所述数据块可用度计算模块，配置为根据各移动节点的可用度，计算在当前时间周期内各数据块的可用度；
所述数据副本选取模块，配置为基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除。
本发明的第三方面，提出了一种电子设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的基于存储节点状态感知的动态云数据副本管理方法。
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于存储节点状态感知的动态云数据副本管理方法。
本发明的有益效果：
本发明提高移动分布式云存储系统的可用性，提升了存储效率以及存储性能。
本发明从移动节点的基础资源环境因素和网络资源环境因素两个方面对节点的可用度进行评估。通过选择高可用的节点进行数据存储。在对数据进行副本复制时，同样选择高可用的节点进行存储。针对动态变化的网络环境，周期性地对数据可用性进行评估。对于低可用的数据进行副本复制，对于高可用的数据进行副本删除。由于数据可用性随网络环境的变化而频繁变化，为避免频繁的数据操作，本发明增大节点可用性的区分度，且对于一个周期的数据可用性评估，只对节点进行一次最优操作，即将节点可用度最低的副本删除，或向节点可用度最高的节点复制副本，能够显著提高分布式云存储系统的可用性。
附图说明
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
图1是本发明一种实施例的基于存储节点状态感知的动态云数据副本管理方法的流程示意图；
图2是本发明一种实施例的基于存储节点状态感知的动态云数据副本管理系统的框架示意图；
图3是本发明一种实施例的基于存储节点状态感知的数据副本策略下的移动分布式存储系统各节点的负载的示意图；
图4是本发明一种实施例的随机副本策略下的移动分布式存储系统各节点的负载的示意图；
图5是本发明一种实施例的基于存储节点状态感知的数据副本策略下的移动分布式存储系统所存储的数据可用度的变化趋势示意图；
图6是本发明一种实施例的随机副本策略下的移动分布式存储系统所存储的数据可用度的变化趋势示意图；
图7是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
本发明第一实施例的一种基于存储节点状态感知的动态云数据副本管理方法，应用于移动分布式云存储系统，如图1所示，该方法包括：
获取所述移动分布式云存储系统中各移动节点的基础资源环境因素、网络资源环境因素，作为输入数据；
基于所述输入数据，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度；所述基于状态感知的服务可用性评估模型为基于预设的基础资源环境因素、网络资源环境因素以及各因素对应的可用度的权重，计算移动节点的可用度的模型；
根据各移动节点的可用度，计算在当前时间周期内各数据块的可用度；
基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除。
为了更清晰地对本发明基于存储节点状态感知的动态云数据副本管理方法进行说明，下面结合附图，对本发明方法一种实施例中各步骤进行展开详述。
在机动环境下，移动的节点因受地理地貌、电磁干扰、恶意破坏等极端条件的影响，其可用性是该节点提供存储服务的前提。因此，本发明将节点的可用性作为节点提供存储服务的一个重要因素。分布式存储系统可提供一个可扩展，海量的数据存储服务。在数据存储的过程中，数据往往会集中在部分节点之上，造成节点负载的不均衡。进一步，由于节点负载的不均衡，通常会导致文件热度集中同一节点之上。节点负载的不均衡和文件热度集中都会降低系统的性能。因此，本发明在分布式存储系统的动态副本管理中，基于移动节点的基础环境资源和网络环境资源进行节点可用性评估，进而选择高可用节点进行数据副本复制，以提高移动云存储系统的数据可用度和系统性能。具体如下：
A10，获取所述移动分布式云存储系统中各移动节点的基础资源环境因素、网络资源环境因素，作为输入数据；
在机动环境下，数据块的可用度主要取决于数据块所在移动节点的可用度，因此，在本实施例中，先获取移动分布式云存储系统中基础资源环境因素、网络资源环境因素，计算移动节点的可用度。其中，所述基础资源环境因素包括移动节点的计算能力、存储能力、电源能力；所述网络资源环境因素包括带宽、时延率、节点连通性、节点移动性。
A20，基于所述输入数据，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度；所述基于状态感知的服务可用性评估模型为基于预设的基础资源环境因素、网络资源环境因素以及各因素对应的可用度的权重，计算移动节点的可用度的模型；
在本实施例中，对于节点服务的可用度，本发明采用基于状态感知的服务可用性评估模型对网络节点可用性进行评估。该模型考虑基础资源环境因素(包括计算能力的指标F11、存储能力的指标F12和电源能力的指标F13)和网络资源环境因素(包括带宽的指标F21、时延率的指标F22、节点连通性的指标F23、节点移动性的指标F24)，通过层次分析法和多属性综合评估法对节点服务的可用度RN进行量化评估，具体如下述公式所示：
其中，RN表示移动节节点的可用度，即节点能为存储系统提供数据存储服务的概率，Wij为通过两层的层次分析法进行确定的相应因素Fij可用度的权重，代表了该因素对移动节点可用度的影响程度，且
考虑分布式存储系统更加注重节点的公平性，即注重负载均衡，本发明将节点基础资源环境因素中的计算能力指标和存储能力指标分别改进，移动节点的计算能力，其获取方法为：
其中，F11表示移动节点的计算能力，ωL表示设定的常数，Li表示第i个移动节点的已用磁盘空间的大小，LM表示在不降低性能的条件下，第i个移动节点的磁盘空间负载的最大值。
移动节点的存储能力，其获取方法为：
其中，F12表示移动节点的存储能力，ωP表示设定的常数，Pi表示第i个移动节点的并发访问次数，LM表示在不降低性能的条件下，第i个移动节点的并发访问次数的最大值。
在本实施例中，优选ωL＝ωP＝8，LM＝0.8LC，PM＝0.9PC，其中LC，PC为第第i个移动节点的磁盘容量和最大并发访问次数。
A30，根据各移动节点的可用度，计算在当前时间周期内各数据块的可用度；
在本实施例中，通过数据块所在移动节点的可用度以及数据冗余机制来表征该所存储数据块的可用度，如下式所示：
其中，RD表示数据块的可用度，即支持数据读写操作的概率。
A40，基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除。
机动环境下，分布式存储系统中节点的可用度和数据块的并发访问都是随时间动态变化的。数据块的可用度仅度量了当前时间周期内节点的可用程度，考虑到状态的相关性，以及数据的平滑性，在数据副本复制或删除操作过程中只对一个副本进行相应的操作。而且在分布式存储系统中，数据副本能够提高数据的可用度，但并不是数据副本越多越好。过多的数据副本会占用存储资源，也增加了网络的负载。
在本实施例中，以移动节点可用度为目标，评估数据块的可用性，并根据数据块的可用度与预设的可用度阈值进行判断该数据块是增加副本还是删除副本。
假定数据块的低可用度阈值和高可用度阈值分别优选设置为RLC＝0.6，RHC＝0.9，即在数据副本复制时，由于新增加的数据副本会改变网络的负载情况，因此我们优先在关键节点中选择高可用节点进行数据复制，即当数据块的可用度满足RD＜RLC时，执行数据块的复制操作；在数据副本删除时，可根据数据块所在节点的可用度RN，选择最小的节点可用度进行删除，即当数据块的可用度满足RD＞RHC时，执行数据块的删除操作。具体为：
选择数据块的可用度低于低可用度阈值RLC的数据块构建危险数据块集，选择数据块的可用度高于高可用度阈值RHC的数据块构造冗余数据块集；
针对危险数据块集中每个数据块，在关键节点中选取可用度最大的移动节点，对数据副本进行数据写入，即复制数据副本；所述关键节点为度大于设定的度阈值的移动节点；
针对冗余数据块集中的每个数据块，在该数据块所有副本中选择最小可用度的移动节点，对数据副本进行数据删除。
另外，为了证明本发明的有效性，本发明通过数字仿真来对比验证所提出的动态副本管理算法的有效性，在仿真验证中，通过一个无线移动网络来模拟分布式移动云存储系统的物理设施，通过向无线移动网络的节点上增加属性，来仿真云存储系统所提供的数据存储服务。通过对网络节点的属性进行数据可靠性和负载均衡进行评估，以此来对比不同的数据副本策略的优劣性。在实际运行的数据副本测中，HDFS和GFS均采用的是随机副本策略，因此，本发明将与随机副本策略进行对比，借助于数据可靠性和负载均衡性来对比说明本文提出的基于状态感知的数据副本策略的优势。
无线移动网络的节点规模为20，id表示节点的编号，节点的容量为[50,120]的随机数，节点的移动性为[0.7,1]的随机数。通过300次迭代，统计在基于存储节点状态感知的数据副本策略和随机副本策略下的移动分布式存储系统的性能。图3和4分别展示了在两种策略下的各节点的负载与容量占比(即load_radio)。从图3和图4可以看出，基于本发明方法的策略进行数据副本放置能够显著提高存储节点的负载均衡。
图5和图6分别展示了在两种策略下的所存储数据的可用度变化趋势。为便于直观对比，计算了300次迭代的两种策略下的整网数据可靠性分别为从图5和图6中数据可靠性的变化趋势以及两种策略的可知，基于存储节点状态感知的动态云数据副本管理算法策略进行数据副本复制，能够使得移动云存储系统的数据可用度提高且数据可用度更稳定。
本发明第二实施例的一种基于存储节点状态感知的动态云数据副本管理系统，如图2所示，该系统包括：数据获取模块100、节点可用度计算模块200、数据块可用度计算模块300、数据副本选取模块400；
所述数据获取模块100，配置为获取所述移动分布式云存储系统中各移动节点的基础资源环境因素、网络资源环境因素，作为输入数据；
所述节点可用度计算模块200，配置为基于所述输入数据，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度；所述基于状态感知的服务可用性评估模型为基于预设的基础资源环境因素、网络资源环境因素以及各因素对应的可用度的权重，计算移动节点的可用度的模型；
所述数据块可用度计算模块300，配置为根据各移动节点的可用度，计算在当前时间周期内各数据块的可用度；
所述数据副本选取模块400，配置为基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除。
需要说明的是，上述实施例提供的基于存储节点状态感知的动态云数据副本管理系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种基于存储节点状态感知的动态云数据副本管理装置，该装置包括：数据采集设备、中央处理设备；
所述数据采集设备包括硬盘读取器、硬件网关、电池电量检测芯片，用于获取所述移动分布式云存储系统中各移动节点的基础资源环境因素、网络资源环境因素，作为输入数据；
所述中央处理设备包括GPU，配置为基于所述输入数据，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度；根据各移动节点的可用度，计算在当前时间周期内各数据块的可用度；基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除；其中，所述基于状态感知的服务可用性评估模型为基于预设的基础资源环境因素、网络资源环境因素以及各因素对应的可用度的权重，计算移动节点的可用度的模型。
本发明第四实施例的一种电子设备，至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求上述的基于存储节点状态感知的动态云数据副本管理方法。
本发明第五实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的基于存储节点状态感知的动态云数据副本管理方法。
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的基于存储节点状态感知的动态云数据副本管理装置、电子设备、计算机可读存储介质的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
面参考图7，其示出了适于用来实现本申请方法、系统、装置实施例的服务器的计算机系统的结构示意图。图7示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统包括中央处理单元(CPU，Central Processing Unit)701，其可以根据存储在只读存储器(ROM，Read Only Memory)702中的程序或者从存储部分708加载到随机访问存储器(RAM，Random Access Memory)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统操作所需的各种程序和数据。CPU701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O，Input/Output)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，Liquid Crystal Display)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN(局域网，Local AreaNetwork)卡、调制解调器等的网络接口卡的通讯部分709。通讯部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU701执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于存储节点状态感知的动态云数据副本管理方法，应用于移动分布式云存储系统，其特征在于，该方法包括：
获取所述移动分布式云存储系统中各移动节点的基础资源环境因素、网络资源环境因素，作为输入数据；
基于所述输入数据，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度；所述基于状态感知的服务可用性评估模型为基于预设的基础资源环境因素、网络资源环境因素以及各因素对应的可用度的权重，计算移动节点的可用度的模型；
根据各移动节点的可用度，计算在当前时间周期内各数据块的可用度；
基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除。
2.根据权利要求1所述的基于存储节点状态感知的动态云数据副本管理方法，其特征在于，所述基础资源环境因素包括移动节点的计算能力、存储能力、电源能力；所述网络资源环境因素包括带宽、时延率、节点连通性、节点移动性。
3.根据权利要求2所述的基于存储节点状态感知的动态云数据副本管理方法，其特征在于，移动节点的计算能力，其获取方法为：
其中，F11表示移动节点的计算能力，ωL表示设定的常数，Li表示第i个移动节点的已用磁盘空间的大小，LM表示在不降低性能的条件下，第i个移动节点的磁盘空间负载的最大值。
4.根据权利要求2所述的基于存储节点状态感知的动态云数据副本管理方法，其特征在于，移动节点的存储能力，其获取方法为：
其中，F12表示移动节点的存储能力，ωP表示设定的常数，Pi表示第i个移动节点的并发访问次数，LM表示在不降低性能的条件下，第i个移动节点的并发访问次数的最大值。
5.根据权利要求2所述的基于存储节点状态感知的动态云数据副本管理方法，其特征在于，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度，其方法为：
其中，RN表示移动节节点的可用度，Wij为通过两层的层次分析法进行确定的相应因素Fij可用度的权重，代表了该因素对移动节点可用度的影响程度，且
6.根据权利要求5所述的基于存储节点状态感知的动态云数据副本管理方法，其特征在于，计算在当前时间周期内各数据块的可用度，其方法为：
其中，RD表示数据块的可用度。
7.根据权利要求1所述的基于存储节点状态感知的动态云数据副本管理方法，其特征在于，基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除，其方法为：
若当前时间周期内数据块的可用度低于设定的低可用度阈值，则在关键节点中选取可用度最大的移动节点，对数据副本进行数据写入；所述关键节点为度大于设定的度阈值的移动节点；
若当前时间周期内数据块的可用度高于设定的高可用度阈值，则在该数据块所有副本中选择最小可用度的移动节点，对数据副本进行数据删除。
8.一种基于存储节点状态感知的动态云数据副本管理系统，其特征在于，该系统包括：数据获取模块、节点可用度计算模块、数据块可用度计算模块、数据副本选取模块；
所述数据获取模块，配置为获取所述移动分布式云存储系统中各移动节点的基础资源环境因素、网络资源环境因素，作为输入数据；
所述节点可用度计算模块，配置为基于所述输入数据，通过预构建的基于状态感知的服务可用性评估模型计算各移动节节点的可用度；所述基于状态感知的服务可用性评估模型为基于预设的基础资源环境因素、网络资源环境因素以及各因素对应的可用度的权重，计算移动节点的可用度的模型；
所述数据块可用度计算模块，配置为根据各移动节点的可用度，计算在当前时间周期内各数据块的可用度；
所述数据副本选取模块，配置为基于当前时间周期内各数据块的可用度，获取数据副本的位置，进而对数据副本进行写入或删除。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及与至少一个所述处理器通信连接的存储器；
其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现权利要求1-7任一项所述的基于存储节点状态感知的动态云数据副本管理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现权利要求1-7任一项所述的基于存储节点状态感知的动态云数据副本管理方法。
CN202310264703.4A 2023-03-14 2023-03-14 一种基于存储节点状态感知的动态云数据副本管理方法 Pending CN116455919A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310264703.4A CN116455919A (zh) 2023-03-14 2023-03-14 一种基于存储节点状态感知的动态云数据副本管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310264703.4A CN116455919A (zh) 2023-03-14 2023-03-14 一种基于存储节点状态感知的动态云数据副本管理方法

Publications (1)

Publication Number Publication Date
CN116455919A true CN116455919A (zh) 2023-07-18

Family

ID=87119274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310264703.4A Pending CN116455919A (zh) 2023-03-14 2023-03-14 一种基于存储节点状态感知的动态云数据副本管理方法

Country Status (1)

Country Link
CN (1) CN116455919A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116954920A (zh) * 2023-08-02 2023-10-27 深圳世纪京深科技有限公司 基于云计算的分布式计算机ups系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116954920A (zh) * 2023-08-02 2023-10-27 深圳世纪京深科技有限公司 基于云计算的分布式计算机ups系统

Similar Documents

Publication Publication Date Title
Lin et al. QoS-aware data replication for data-intensive applications in cloud computing systems
Mokadem et al. A data replication strategy with tenant performance and provider economic profit guarantees in Cloud data centers
Singh et al. EARTH: Energy-aware autonomic resource scheduling in cloud computing
CN107734052B (zh) 面向组件依赖的负载均衡容器调度方法
CN111580954B (zh) 一种可扩展的分布式数据采集方法和系统
Su et al. Systematic data placement optimization in multi-cloud storage for complex requirements
CN113391765A (zh) 基于分布式存储系统的数据存储方法、装置、设备及介质
US20180165693A1 (en) Methods and systems to determine correlated-extreme behavior consumers of data center resources
Limam et al. Data replication strategy with satisfaction of availability, performance and tenant budget requirements
Javadpour et al. Improving load balancing for data-duplication in big data cloud computing networks
CN111381928B (zh) 一种虚拟机迁移方法、云计算管理平台和存储介质
Tu et al. An optimized cluster storage method for real-time big data in Internet of Things
Amoon et al. On the design of reactive approach with flexible checkpoint interval to tolerate faults in cloud computing systems
CN116455919A (zh) 一种基于存储节点状态感知的动态云数据副本管理方法
KR20220129085A (ko) 통계 수집 오프로딩
CN109582649A (zh) 一种元数据存储方法、装置、设备及可读存储介质
Noel et al. Towards self-managing cloud storage with reinforcement learning
Guo et al. Fast replica recovery and adaptive consistency preservation for edge cloud system
He et al. File block multi-replica management technology in cloud storage
Al Mistarihi et al. Replica management in data grid
US10594620B1 (en) Bit vector analysis for resource placement in a distributed system
US20230259451A1 (en) Co-operative memory management system
Proficz et al. Performance and power-aware modeling of MPI applications for cluster computing
Mohd. Zin et al. Replication techniques in data grid environments
CN111967938B (zh) 云资源推荐方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination