CN104407816B - 一种分布式存储系统数据可靠性评价的方法及系统 - Google Patents

一种分布式存储系统数据可靠性评价的方法及系统 Download PDF

Info

Publication number
CN104407816B
CN104407816B CN201410690810.4A CN201410690810A CN104407816B CN 104407816 B CN104407816 B CN 104407816B CN 201410690810 A CN201410690810 A CN 201410690810A CN 104407816 B CN104407816 B CN 104407816B
Authority
CN
China
Prior art keywords
probability
data
destination node
success
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410690810.4A
Other languages
English (en)
Other versions
CN104407816A (zh
Inventor
杨树强
黄鸿杰
陈志坤
尹洪
蒋千越
束阳雪
薛竹君
贾焰
韩伟红
李爱平
周斌
金松昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201410690810.4A priority Critical patent/CN104407816B/zh
Publication of CN104407816A publication Critical patent/CN104407816A/zh
Application granted granted Critical
Publication of CN104407816B publication Critical patent/CN104407816B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2247Verification or detection of system hardware configuration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/22Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2294Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing by remote test
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种分布式存储系统数据可靠性评价的方法,该方法包括:确定数据块副本的数目和各个所述副本对应的目标节点;根据所述目标节点工作状态,分别计算所述数据块的读取成功概率和写入成功概率;根据预设的数据分布策略和所述数据块的读取成功概率,计算整个系统的读数据成功概率;根据预设的数据分布策略和所述数据块的写入成功概率,计算整个系统的写数据成功概率;根据所述整个系统的读数据成功和写数据成功概率,判断所述分布式存储系统中数据的可靠性,能够进行分布式存储系统中数据分布对数据可靠性的评价。本申请还提供了一种分布式存储系统数据可靠性评价的系统,同样能够进行分布式存储系统中数据分布对数据可靠性的评价。

Description

一种分布式存储系统数据可靠性评价的方法及系统
技术领域
本申请涉及数据安全领域,特别涉及一种分布式存储系统数据可靠性评价的方法及系统。
背景技术
随着分布式存储系统的广泛应用,人们对分布式存储系统的数据可靠性的关注日益增加。
现有的针对分布式存储系统的评价,只是对系统存储数据的能力进行了评价,而没有评价数据分布对数据可靠性的影响。
因此,如何进行分布式存储系统中数据分布对数据可靠性的评价是本领域技术人员目前需要解决的技术问题。
发明内容
本申请所要解决的技术问题是提供一种分布式存储系统数据可靠性评价的方法及系统,解决了现有技术中没有评价数据分布对数据可靠性影响的问题。其具体方案如下:
一种分布式存储系统数据可靠性评价的方法,该方法包括:
确定数据块副本的数目和各个所述副本对应的目标节点;
根据所述目标节点工作状态,分别计算所述数据块的读取成功概率和写入成功概率;
根据预设的数据分布策略和所述数据块的读取成功概率,计算整个系统的读数据成功概率;
根据预设的数据分布策略和所述数据块的写入成功概率,计算整个系统的写数据成功概率;
根据所述整个系统的读数据成功概率和写数据成功概率,判断所述分布式存储系统中数据的可靠性。
上述的方法,优选的,
所述计算数据块的读取成功概率包括:
根据所述目标节点的失效概率,计算至少有一个所述目标节点处于工作状态下的概率;
根据预设的副本选取策略,在处于工作状态下的所述目标节点中选取一个所述目标节点;
计算所述选中的目标节点中数据块副本的读取成功概率;
根据预设的副本一致性维护方式,计算所述数据块的读取成功概率。
上述的方法,优选的,
所述计算选中的目标节点中数据块副本的读取成功概率具体为:
利用进行所述数据块副本读取成功概率的计算,其中Fi(T)为第i个节点在时刻T的失效概率,ei为第i个所述目标节点被选中的概率,Si表示第i个所述目标节点的工作状态。
上述的方法,优选的,
所述根据预设的副本一致性维护方式,计算所述数据块的读取成功概率具体为:
利用进行所述数据块读取成功概率的计算,其中Pθ·Pπ·γ为一个数据块在θ状态下数据读取成功的概率,γ为部分副本丢失时系统进行副本维护而影响读写服务的系数,θ总共有2n种情况。
上述的方法,优选的,
所述计算整个系统的读数据成功概率包括:
根据预设的数据分布策略,确定所述目标节点被选中的概率;
根据所述目标节点被选中的概率和所述数据块的读取成功概率,计算所述整个系统的读数据成功概率。
上述的方法,优选的,
所述计算整个系统的读数据成功概率具体为:
利用进行所述整个系统读数据成功概率的计算,其中,为所述目标节点被选中的组合情况,N为系统中的节点数目,n(N≥n)为选中的所述目标节点的数目,ck为每一种组合被选中的概率。
上述的方法,优选的,
所述计算数据块的写入成功概率包括:
根据预设的副本一致性策略,计算满足预设要求的所述目标节点工作状态的概率;
根据所述目标节点工作状态的概率,计算所述数据块的写入成功概率。
上述的方法,优选的,
所述计算数据块的写入成功概率具体为:
利用进行所述数据块写入成功概率的计算,其中,Fi(T)为第i个选中节点在T时刻的失效概率,参与计算的状态为选中节点集合中正常工作的所述目标节点数目满足系统要求写入要求数目的状态,ui表示第i个所述目标节点的工作状态。
上述的方法,优选的,
所述计算整个系统的写入成功概率包括:
根据预设的数据分布策略,确定所述目标节点被选中的概率;
根据所述目标节点被选中的概率和所述数据块的写入成功概率,计算所述整个系统的写数据成功概率。
上述的方法,优选的,
所述计算整个系统的写数据成功概率具体为:
利用进行所述整个系统写数据成功概率的计算,其中,为所述目标节点被选中的组合情况,N为系统中的节点数目,n(N≥n)为选中的所述目标节点的数目,ck为每一种组合被选中的概率。
一种分布式存储系统数据可靠性评价的系统,该系统包括:
确定单元:用于确定数据块副本的数目和各个所述副本对应的目标节点;
第一计算单元:用于根据所述目标节点工作状态,分别计算所述数据块的读取成功概率和写入成功概率;
第二计算单元:用于根据预设的数据分布策略和所述数据块的读取成功概率,计算整个系统的读数据成功概率;
第三计算单元:用于根据预设的数据分布策略和所述数据块的写入成功概率,计算整个系统的写数据成功概率;
判断单元:用于根据所述整个系统的读数据成功概率和写数据成功概率,判断所述分布式存储系统中数据的可靠性。
上述的系统,优选的,还包括:
第四计算单元:用于根据所述目标节点的失效概率,计算至少有一个所述目标节点处于工作状态下的概率;
选取单元:用于根据预设的副本选取策略,在处于工作状态下的所述目标节点中选取一个数据块副本;
第五计算单元:用于计算所述数据块副本的读取成功概率;
第六计算单元:根据预设的副本一致性维护方式,计算所述数据块的读取成功概率。
本申请提供的一种分布式存储系统数据可靠性评价的方法中,首先,确定数据块副本的数目和各个所述副本对应的目标节点;然后,根据所述目标节点工作状态,分别计算所述数据块的读取成功概率和写入成功概率;根据预设的数据分布策略和所述数据块的读取成功概率,计算整个系统的读数据成功概率以及根据预设的数据分布策略和所述数据块的写入概率,计算整个系统的写数据成功概率;最后,根据所述整个系统的读数据成功概率和写数据成功概率,判断所述分布式存储系统中数据的可靠性,适用于在分布式存储系统中进行数据分布对数据可靠性的评价。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的一种分布式存储系统数据可靠性评价的方法实施例1的流程图;
图2是本申请的一种分布式存储系统数据可靠性评价的方法实施例2的流程图;
图3是本申请的一种分布式存储系统数据可靠性评价的方法实施例3的流程图;
图4是本申请的一种分布式存储系统数据可靠性评价的方法实施例4的流程图;
图5是本申请的一种分布式存储系统数据可靠性评价的方法实施例5的流程图;
图6是本申请的一种分布式存储系统数据可靠性评价的系统实施例1的结构示意图;
图7为本申请的一种分布式存储系统数据可靠性评价的系统实施例2的结构示意图。
具体实施方式
本发明的核心是提供一种分布式存储系统数据可靠性评价的方法及系统,解决了现有技术中没有评价数据分布对数据可靠性影响的问题。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参考图1,示出了本申请一种分布式存储系统数据可靠性评价的方法实施例1的流程图,可以包括以下步骤:
步骤S101:确定数据块副本的数目和各个所述副本对应的目标节点。
分布式存储系统的数据可靠性模型应当体现系统提供正常数据存取服务的能力。从用户的角度考察一个分布式存储系统的可靠性,主要是考查:系统提供正常的读数据服务的能力和系统提供正常的写数据服务的能力。
数据可靠性指存储系统在规定的条件下、规定时间内能够提供正常数据存取服务的能力。
本申请中,分布式存储系统的数据可靠性模型则围绕这两类服务,构造出系统读数据成功概率和系统写数据成功概率(简称系统读写数据成功概率)来描述系统提供这两类服务的能力。
分布式存储系统的存储设备是由多个服务器节点所构成。用户将数据存储到系统时,系统将数据划分为一定粒度大小的数据块,为每一个数据块创建多个相同的副本数据块,并将这些副本数据块存储到若干个相互独立的节点上。
考虑到系统内部是以数据块为单位进行操作,可以从数据块进行分析。而每个数据块储存在相互独立的节点上,根据每个节点失效概率,可以计算出每个数据块被读写成功的概率,再进一步计算出系统读写数据成功概率。
对于分布式存储系统中单个节点失效时间的不确定性,不仅与节点自身属性相关,还受节点的运行状态所影响,可以用概率密度函数f(t)表示。
则节点在时刻T的失效概率为:
在进行所述系统读数据和写数据之前,需要先确定数据块有多少个副本,并且每个副本均分配对应的目标节点,所述每个副本均保存在不同的所述目标节点上。
步骤S102:根据所述目标节点工作状态,分别计算所述数据块的读取成功概率和写入成功概率。
所述目标节点的工作状态包括两种:所述目标节点失效状态和所述目标节点正常工作状态,然后根据所述目标节点的工作状态,分别计算所述一个数据块成功读取的概率和成功写入的概率。
步骤S103:根据预设的数据分布策略和所述数据块的读取成功概率,计算整个系统的数据读数据成功概率。
由于所述整个系统中包括大量的节点,为了得到适合的节点,本申请根据预设的数据分布策略来选取所需要的目标节点,然后再根据计算出的所述一个数据块读取成功的概率,计算所述整个系统的数据读数据成功概率。
步骤S104:根据预设的数据分布策略和所述数据块的写入成功概率,计算整个系统的数据写数据成功概率。
由于所述整个系统中包括大量的节点,为了得到适合的节点,本申请根据预设的数据分布策略来选取所需要的目标节点,然后再根据计算出的所述一个数据块成功写入的概率,计算所述整个系统的写数据成功概率。
步骤S105:根据所述整个系统的读数据成功概率和写数据成功概率,判断所述分布式存储系统中数据的可靠性。
所述系统的读数据成功概率和写数据成功概率均在0到1之间,当所述计算出的系统的读数据成功概率越大时,所述系统能够正常提供读数据服务的可能性越高,该系统的数据可靠性越高,反之,则该系统的数据可靠性越低;同理,当所述计算出的系统的写数据成功概率越大时,所述系统能够正常提供写数据服务的可能性越高,该系统的数据可靠性也就越高,反之则该系统的数据可靠性越低。综合所述系统的读数据成功概率和所述系统的写数据成功概率最终得到所述系统的可靠性。
本申请提供的一种分布式存储系统数据可靠性评价的方法中,首先,确定数据块副本的数目和各个所述副本对应的目标节点;然后,根据所述目标节点工作状态,分别计算所述数据块的读取成功概率和写入成功概率;根据预设的数据分布策略和所述数据块的读取成功概率,计算整个系统的数据读数据成功概率以及根据预设的数据分布策略和所述数据块的写入成功概率,计算整个系统的写数据成功概率;最后,根据所述整个系统的读数据成功概率和写数据成功概率,判断所述分布式存储系统中数据的可靠性,适用于在分布式存储系统中进行数据分布对数据可靠性的评价,且简单易于比较。
参考图2,示出了本申请一种分布式存储系统数据可靠性评价的方法实施例2的流程图,所述计算数据块的读取成功概率可以包括以下步骤:
本申请中,对于系统能否提供正常读数据服务,首先需要考虑访问的数据是否在系统中,各个副本是否完好,只有在数据存在的情况下才可以进一步的去读取数据;其次,在数据存在的情况下,考虑读取过程是否会出现问题,导致读取任务受到影响。
步骤S201:根据所述目标节点的失效概率,计算至少有一个所述目标节点处于工作状态下的概率。
在分布式存储系统中,每一块数据都存有多个副本。假设若一个节点失效,则认为该节点中保存的数据均不可用。当一个数据块的所有副本所在的节点都正常工作时,则认为该数据块是完好的;当一个数据块的部分副本所在的节点出现失效时,则认为该数据块的部分副本丢失,系统会根据其一致性维护策略对副本进行维护;当一个数据块各副本的所有节点都出现失效时,该数据块将丢失且无法恢复。
假设数据有n个副本,每个数据块都被保存在n个不同的节点上。这些节点的状态可以表示为一个n维向量θ=(s1,s2,s3,…,sn),si∈{0,1},当si=0表示第i个节点失效,而si=1表示第i个节点正常工作。假设各节点之间相互独立,在时刻T状态θ出现的概率Pθ为:
其中Fi(T)为第i个节点在时刻T的失效概率。
本申请中,根据所述目标节点的失效概率,计算所述目标节点的工作状态,只要至少有一个所述目标节点处于工作状态,即可进行读数据操作。
步骤S202:根据预设的副本选取策略,在处于工作状态下的所述目标节点中选取一个所述目标节点。
在分布式存储系统中,如果所读取的数据块存在副本,存储系统将根据一定的策略选择该数据的一个可用副本提供读取服务。而在读取过程中,如果该副本所在节点失效,则会造成该次读取过程失败。
本申请中,根据预先设置好的副本选取策略,在处于工作状态下的所述目标节点中选区一个可用的目标节点,也即确定了所述目标节点对应的副本。
步骤S203:计算所述选中的目标节点中数据块副本的读取成功概率。
所述计算选中的目标节点中数据块副本的读取成功概率具体为:
利用进行所述数据块副本读取成功概率的计算,其中Fi(T)为第i个节点在时刻T的失效概率,ei为第i个所述目标节点被选中的概率,Si表示第i个所述目标节点的工作状态。
步骤S204:根据预设的副本一致性维护方式,计算所述数据块的读取成功概率。
所述根据预设的副本一致性维护方式,计算所述数据块的读取成功概率具体为:
利用进行所述数据块读取成功概率的计算,其中Pθ·Pπ·γ为一个数据块在θ状态下数据读取成功的概率,γ为部分副本丢失时系统进行副本维护而影响读写服务的系数,θ总共有2n种情况。
参考图3,示出了本申请一种分布式存储系统数据可靠性评价的方法实施例3的流程图,所述计算整个系统的读数据成功概率可以包括以下步骤:
步骤S301:根据预设的数据分布策略,确定所述目标节点被选中的概率。
假设系统有N(N≥n)个节点,每个数据块选中n个节点保存副本,节点被选中的组合情况有种。每一种组合被选中的概率ck,由系统数据分布策略决定。
步骤S302:根据所述目标节点被选中的概率和所述数据块的读取成功概率,计算所述整个系统的读数据成功概率。
所述计算整个系统的读数据成功概率具体为:
利用进行所述整个系统读数据成功概率的计算,其中,为所述目标节点被选中的组合情况,N为系统中的节点数目,n(N≥n)为选中的所述目标节点的数目,ck为每一种组合被选中的概率。
系统读数据成功概率Pr取值在0到1之间。Pr越大表示系统能够正常提供读数据服务的可能性越高,该系统的数据可靠性越高;反之则该系统的数据可靠性越低。
参考图4,示出了本申请一种分布式存储系统数据可靠性评价的方法实施例4的流程图,所述计算数据块的写入概率包括:
步骤S401:根据预设的副本一致性策略,计算满足预设要求的所述目标节点工作状态的概率。
在分布式存储系统中,写入的数据被系统划分成若干个数据块,每个数据块在多个不同的节点上保存副本。系统写数据成功概率与分布式存储系统所采取的副本一致性维护方式相关。在数据写入过程中,数据块被写入到一定数量的节点中就可以视为写入系统成功,有些副本一致性策略只要求写入一个或少量节点即可,而有些则要求写入到大部分甚至所有节点。
本申请中,需要根据预设的副本一致性策略,计算满足预设要求的所述目标节点工作状态的概率,以便确定可以进行数据写入的目标节点。
步骤S402:根据所述目标节点工作状态的概率,计算所述数据块的写入概率。
设系统要求数据有n个副本,将有n个可用节点被选中,它们的状态可以表示为一个n维向量ui∈{0,1},当ui=0表示第i个节点在写入数据过程中会失效,而ui=1表示第i个节点工作正常。
那么,这n个节点写数据成功的概率:
利用进行所述数据块写入概率的计算,其中,Fi(T)为第i个选中节点在T时刻的失效概率,参与计算的状态为选中节点集合中正常工作的所述目标节点数目满足系统要求写入要求数目的状态,ui表示第i个所述目标节点的工作状态。
参考图5,示出了本申请一种分布式存储系统数据可靠性评价的方法实施例5的流程图,所述计算整个系统的写数据成功概率包括:
步骤S501:根据预设的数据分布策略,确定所述目标节点被选中的概率。
系统有N(N≥n)个节点,n个副本被选中的组合情况有种。系统数据分布策略决定了每一种组合被选中的概率ck
步骤S502:根据所述目标节点被选中的概率和所述数据块的写入成功概率,计算所述整个系统的写数据成功概率。
所述计算整个系统的写入概率具体为:
利用进行所述整个系统写入概率的计算,其中,为所述目标节点被选中的组合情况,N为系统中的节点数目,n(N≥n)为选中的所述目标节点的数目,ck为每一种组合被选中的概率。
系统写数据成功概率Pw取值在0到1之间。Pw越大表示系统能够正常提供写数据服务的可能性越高,该系统的数据可靠性也就越高,反之则该系统的数据可靠性越低。
综上,本申请中的评价方法,以系统读数据成功概率和系统写数据成功概率作为评价,简单而且易于比较,能够适用于分布式存储系统。同时模型能够直接反应出不同系统策略(系统副本数目、系统数据分布策略、系统一致性维护策略等)对系统数据可靠性的影响。
与上述本申请一种分布式存储系统数据可靠性评价的方法实施例1所提供的方法相对应,参见图6,本申请还提供了一种分布式存储系统数据可靠性评价的系统实施例1,在本实施例中,该系统包括:
确定单元601:用于确定数据块副本的数目和各个所述副本对应的目标节点;
第一计算单元602:用于根据所述目标节点工作状态,分别计算所述数据块的读取成功概率和写入成功概率;
第二计算单元603:用于根据预设的数据分布策略和所述数据块的读取成功概率,计算整个系统的读数据成功概率;
第三计算单元604:用于根据预设的数据分布策略和所述数据块的写入概率,计算整个系统的写数据成功概率;
判断单元605:用于根据所述整个系统的读数据成功概率和写数据成功概率,判断所述分布式存储系统中数据的可靠性。
参见图7,本申请还提供了一种分布式存储系统数据可靠性评价的系统实施例2,在本实施例中,该系统包括:
第四计算单元701:用于根据所述目标节点的失效概率,计算至少有一个所述目标节点处于工作状态下的概率;
选取单元702:用于根据预设的副本选取策略,在处于工作状态下的所述目标节点中选取一个数据块副本;
第五计算单元703:用于计算所述数据块副本的读取成功概率;
第六计算单元704:根据预设的副本一致性维护方式,计算所述数据块的读取成功概率。
综上所述,本申请提供的一种分布式存储系统数据可靠性评价的方法及系统,进行分布式存储系统中数据分布对数据可靠性的评价。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
以上对本申请所提供的一种分布式存储系统数据可靠性评价的方法及系统进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (2)

1.一种分布式存储系统数据可靠性评价的方法,其特征在于,该方法包括:
确定数据块副本的数目和各个所述副本对应的目标节点;
利用进行所述数据块读取成功概率的计算,其中Pθ·Pπ·γ为一个数据块在θ状态下数据读取成功的概率,γ为部分副本丢失时系统进行副本维护而影响读写服务的系数,θ总共有2n种情况,表示n个目标节点的状态,Fi(T)为第i个目标节点在时刻T的失效概率,取值范围为[0,1],f(t)为概率密度函数,ei为第i个目标节点被选中的概率,si表示第i个目标节点的工作状态,si∈{0,1},si=0表示第i个目标节点失效,si=1表示第i个目标节点正常工作;
利用进行所述数据块写入成功概率的计算,其中,参与计算的状态为目标节点集合中正常工作的目标节点数目满足系统要求写入要求数目的状态,ui表示第i个目标节点的工作状态,ui∈{0,1},ui=0表示第i个目标节点在写入数据过程中会失效,ui=1表示第i个目标节点正常工作;
根据预设的数据分布策略,确定所述目标节点被选中的概率;
根据所述目标节点被选中的概率和所述数据块的读取成功概率,利用进行所述系统读数据成功概率的计算,其中,为所述目标节点被选中的组合情况,N为系统中的节点数目,n(N≥n)为选中的所述目标节点的数目,ck为每一种组合被选中的概率;
根据所述目标节点被选中的概率和所述数据块的写入成功概率,利用进行所述系统写数据成功概率的计算,其中,为所述目标节点被选中的组合情况,N为系统中的节点数目,n(N≥n)为选中的所述目标节点的数目,ck为每一种组合被选中的概率;
根据所述系统的读数据成功概率和写数据成功概率,判断所述分布式存储系统中数据的可靠性。
2.一种分布式存储系统数据可靠性评价的系统,其特征在于,该系统包括:
确定单元:用于确定数据块副本的数目和各个所述副本对应的目标节点;
第一计算单元:用于利用进行所述数据块读取成功概率的计算,其中Pθ·Pπ·γ为一个数据块在θ状态下数据读取成功的概率,γ为部分副本丢失时系统进行副本维护而影响读写服务的系数,θ总共有2n种情况,表示n个目标节点的状态,Fi(T)为第i个目标节点在时刻T的失效概率,取值范围为[0,1],f(t)为概率密度函数,ei为第i个目标节点被选中的概率,si表示第i个目标节点的工作状态,si∈{0,1},si=0表示第i个目标节点失效,si=1表示第i个目标节点正常工作;利用进行所述数据块写入成功概率的计算,其中,参与计算的状态为目标节点集合中正常工作的目标节点数目满足系统要求写入要求数目的状态,ui表示第i个目标节点的工作状态,ui∈{0,1},ui=0表示第i个目标节点在写入数据过程中会失效,ui=1表示第i个目标节点正常工作;
第二计算单元:用于根据预设的数据分布策略,确定所述目标节点被选中的概率;根据所述目标节点被选中的概率和所述数据块的读取成功概率,利用进行系统读数据成功概率的计算,其中,为所述目标节点被选中的组合情况,N为系统中的节点数目,n(N≥n)为选中的所述目标节点的数目,ck为每一种组合被选中的概率;
第三计算单元:用于根据所述目标节点被选中的概率和所述数据块的写入成功概率,利用进行所述系统写数据成功概率的计算,其中,为所述目标节点被选中的组合情况,N为系统中的节点数目,n(N≥n)为选中的所述目标节点的数目,ck为每一种组合被选中的概率;
判断单元:用于根据所述系统的读数据成功概率和写数据成功概率,判断所述分布式存储系统中数据的可靠性。
CN201410690810.4A 2014-11-25 2014-11-25 一种分布式存储系统数据可靠性评价的方法及系统 Expired - Fee Related CN104407816B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410690810.4A CN104407816B (zh) 2014-11-25 2014-11-25 一种分布式存储系统数据可靠性评价的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410690810.4A CN104407816B (zh) 2014-11-25 2014-11-25 一种分布式存储系统数据可靠性评价的方法及系统

Publications (2)

Publication Number Publication Date
CN104407816A CN104407816A (zh) 2015-03-11
CN104407816B true CN104407816B (zh) 2017-10-13

Family

ID=52645449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410690810.4A Expired - Fee Related CN104407816B (zh) 2014-11-25 2014-11-25 一种分布式存储系统数据可靠性评价的方法及系统

Country Status (1)

Country Link
CN (1) CN104407816B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106294511B (zh) * 2015-06-10 2019-07-02 中国移动通信集团广东有限公司 一种Hadoop分布式文件系统的存储方法及装置
CN106095336B (zh) * 2016-06-10 2018-12-28 北京银信长远科技股份有限公司 为数据副本设定独立的权重因子和速度因子的方法
CN108182615B (zh) * 2016-12-08 2021-01-26 北京京东尚科信息技术有限公司 用于任务数据处理的方法和系统
CN107665258B (zh) * 2017-10-20 2020-12-04 北京小米移动软件有限公司 文件系统可用性确定方法及装置
CN113438521B (zh) * 2021-05-28 2023-04-18 曙光网络科技有限公司 视频文件生成方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008124875A (ja) * 2006-11-14 2008-05-29 Nippon Telegr & Teleph Corp <Ntt> 通信網信頼性計算装置と方法およびプログラム
CN102097133A (zh) * 2010-12-31 2011-06-15 中国人民解放军装备指挥技术学院 一种海量存储系统的可靠性测试系统及测试方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9378829B2 (en) * 2013-02-07 2016-06-28 Cypress Semiconductor Corporation Non-volatile memory device with an EPLI comparator

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008124875A (ja) * 2006-11-14 2008-05-29 Nippon Telegr & Teleph Corp <Ntt> 通信網信頼性計算装置と方法およびプログラム
CN102097133A (zh) * 2010-12-31 2011-06-15 中国人民解放军装备指挥技术学院 一种海量存储系统的可靠性测试系统及测试方法

Also Published As

Publication number Publication date
CN104407816A (zh) 2015-03-11

Similar Documents

Publication Publication Date Title
CN104407816B (zh) 一种分布式存储系统数据可靠性评价的方法及系统
Zhou et al. Resilience of transportation systems: concepts and comprehensive review
US11710131B2 (en) Method and apparatus of identifying a transaction risk
US10665137B2 (en) Inconsistency detecting method, inconsistency detecting system, inconsistency detecting device, and program
CN107844976A (zh) 一种基于区块链的存证应用交易系统及方法
CN110471820B (zh) 一种基于循环神经网络的云存储系统磁盘故障预测方法
CA3177172A1 (en) Consortium-blockchain-based method and system for movable-collateral supervision
Gow Policymaking for critical infrastructure: a case study on strategic interventions in public safety telecommunications
Dey et al. On the role of local blockchain network features in cryptocurrency price formation
US9104320B2 (en) Data integrity protection in storage volumes
CN109407976A (zh) 一种分布式存储方法及分布式存储装置
CN112035350B (zh) 针对区块链系统的测试方法、装置及计算机设备
Xu et al. Optimal adaptive sequential designs for crossover bioequivalence studies
US20220245302A1 (en) Sparse and non congruent stochastic roll-up
CN113656802B (zh) 基于知识联邦无向图联邦环检测方法、系统、设备和介质
Wang et al. Spatial distribution of water supply reliability and critical links of water supply to crucial water consumers under an earthquake
CN106909436A (zh) 产生虚拟机消息队列应用程序的相关关系的方法与系统
US11606442B2 (en) Subscription to edits of blockchain transaction
CN110278246A (zh) 一种针对联盟链的存证业务转移方法、装置及设备
Chulahwat et al. Integrated graph measures reveal survival likelihood for buildings in wildfire events
Li et al. Analysis on influence factors of implementing e-government public cloud
CN107193679A (zh) 一种容灾方法及系统
Morris From Silk to Sanctions and Back Again: Contemporary Sino-Iranian Economic Relations
CN114971180A (zh) 网络系统风险评估方法、装置、计算机设备和存储介质
Liaghati et al. Utilizing a maximin optimization approach to maximize system resiliency

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171013

Termination date: 20201125