CN101923558B - 基于(d，k)摩尔图的存储网络及数据读写方法 - Google Patents

基于(d，k)摩尔图的存储网络及数据读写方法 Download PDF

Info

Publication number
CN101923558B
CN101923558B CN201010127477.8A CN201010127477A CN101923558B CN 101923558 B CN101923558 B CN 101923558B CN 201010127477 A CN201010127477 A CN 201010127477A CN 101923558 B CN101923558 B CN 101923558B
Authority
CN
China
Prior art keywords
data
node
mollier chart
storage
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010127477.8A
Other languages
English (en)
Other versions
CN101923558A (zh
Inventor
王劲林
王玲芳
尤佳莉
李挺屹
齐向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Yixun Technology Co ltd
Institute of Acoustics CAS
Original Assignee
Beijing Zhongke Yixun Technology Co ltd
Institute of Acoustics CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Yixun Technology Co ltd, Institute of Acoustics CAS filed Critical Beijing Zhongke Yixun Technology Co ltd
Priority to CN201010127477.8A priority Critical patent/CN101923558B/zh
Publication of CN101923558A publication Critical patent/CN101923558A/zh
Application granted granted Critical
Publication of CN101923558B publication Critical patent/CN101923558B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/12—Discovery or management of network topologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2211/00—Indexing scheme relating to details of data-processing equipment not covered by groups G06F3/00 - G06F13/00
    • G06F2211/10—Indexing scheme relating to G06F11/10
    • G06F2211/1002—Indexing scheme relating to G06F11/1076
    • G06F2211/1028—Distributed, i.e. distributed RAID systems with parity

Abstract

本发明提供一种基于(d，k)摩尔图的存储网络，其特征在于，包括：基本的分布式存储网络和(d，k)摩尔图存储网络；所述基本的分布式存储网络是集群分布式存储网络或基于DHT的P2P存储网络，由n个存储节点构成，其中，n是大于4的整数；所述(d，k)摩尔图存储网络是在所述存储节点集合中根据策略从分布式存储网络节点中选择其中的
Figure DDA0000073750010000011
个节点而形成，每个节点的度等于d，节点间的距离小于等于k，其中，所述策略为存储容量、可用带宽、处理能力、节点的度或者节点间的距离。本发明还提出一种基于(d，k)摩尔图的存储网络的数据读写方法。本发明可提供不同可靠性等级的存储应用，同时解决大量媒体数据迁移问题。

Description

基于(d,k)摩尔图的存储网络及数据读写方法
技术领域
本发明涉及一种由分布式存储节点构成的网络存储技术，尤其涉及一种基于(d，k)摩尔图的存储网络及数据读写方法。
背景技术
目前信息技术领域已经从面向计算为中心的架构，转向以存储为中心的架构。这样的转变是随着互联网络的逐步发展壮大而日益产生的海量信息产生的，海量信息面临着处理、存储、共享等问题。本发明是围绕海量信息分布式存储进行方法设计的。
从20世纪80年代中期就有研究人员提出利用网络上的分布式主机提供文件服务的思路，并进行了试验，到目前为止，这些尝试形成了各种开源性的分布式文件系统，其中比较著名的是由SUN支持的LUSTRE文件系统、IBM支持的OPENAFS文件系统和Google的GFS文件系统。这些系统的特征是文件元数据的集中存储和文件数据的分散存储及服务。
21世纪初开始，出现了以P2P思路实现存储的研究，其中比较典型的是OceanStore文件系统和Granary文件系统。这些系统的特征是使用单一的DHT结构，解决了单点故障问题，但性能上往往不太能满足应用的需求。
分布式文件系统是集群系统，也比较适合企业网范围，近期出现面向广域网的数据访问，但存在单点故障等问题；P2P广域存储的扩展性较好，但存在性能不佳的问题。
本申请人于2008年9月12日提交的中国专利申请“一种基于彼特森图的存储网络结构及其数据读写方法”，彼特森是Peterson的音译，Peterson图是由10个节点组成的固定结构，其特点是每个节点的度等于3，任何两个节点之间的距离不大于2，将其用于并行计算领域，具有非常高的可靠性。将P2P等基本的分布式网络存储和Peterson图网络存储的可靠性相结合，可提供不同可靠性等级的存储应用，同时利用Peterson图网络存储提供的良好媒体数据迁移不动性，解决大量媒体数据迁移问题，并结合DHT技术的可用性和鲁棒性，屏蔽集群存储结构的单点故障和P2P广域存储的性能问题。
但是，当时的研究仅针对Peterson图这种具体的结构进行的，所提供的技术方案也是基于具体的Peterson图的网络结构，在应用上有很大的局限性。
发明内容
本发明的目的在于，为了能在更大的范围内实现这种高可靠性的存储网络结构及其数据读写方法，从而提出一种基于(d，k)摩尔图的存储网络及其数据读写方法。
本发明的(d，k)摩尔图是由每个节点的节点度为d，任意两点之间的距离小于等于k的固定图形结构。Peterson图即(3，2)摩尔图，见图2所示，其特点是每个节点的度等于3，任何两个节点之间的距离不大于2。(d，k)摩尔图可用于并行计算领域，具有非常高的可靠性。
本发明将P2P等基本的分布式网络存储扩展到和(d，k)摩尔图网络存储的可靠性相结合，以提供更大范围的不同可靠性等级的存储应用，同时利用(d，k)摩尔图网络存储提供的良好媒体数据迁移不动性，解决大量媒体数据迁移问题，并结合DHT技术的可用性和鲁棒性，屏蔽集群存储结构的单点故障和P2P广域存储的性能问题。
为实现本发明的上述目的，本发明的基于(d，k)摩尔图的存储网络，其特征在于，由基本的分布式存储网络和(d，k)摩尔图存储网络组成；
所述基本的分布式存储网络是集群分布式存储网络或基于DHT的P2P存储网络，由n个存储节点构成，其中，n大于4，该网络满足一定的存储可靠性要求(下边以RDHT表示)，并具有其自身的存储分级能力，其构成和存取机制可以采用现有技术中已有的结构；
所述(d，k)摩尔图存储网络在所述分布式存储网络的存储节点集合中根据策略(例如：带宽、可靠性、处理能力、节点的度或者节点间的距离、存储容量的一个函数)选择相应数量的节点(或配置)而形成，即每个节点的度都等于d，节点间的距离小于等于k，(d，k)摩尔图存储网络的数据存储具有一定的数据可靠性和数据迁移不动性等良好性质，其中，部分d，k取值与其对应的摩尔图存储网络的节点的数量关系的部分可行数值如下表所示：
Figure GDA0000073750000000021
Figure GDA0000073750000000031
另外，为实现本发明的上述目的，本发明的基于(d，k)摩尔图的存储网络的数据读写方法包括应用写数据的方法和读数据的方法，
其中，所述基于(d，k)摩尔图的存储网络包括基本的分布式存储网络和(d，k)摩尔图存储网络，所述应用指存储网络之外的实体，可以是软件、应用程序或客户端程序。
所述应用写数据的方法包括如下步骤：
1)所述应用发出携带QoS参数的写数据请求的步骤：请求中包括QoS参数、数据标识和数据，形式如write(QoS参数，数据标识，数据)，所述QoS参数定义为两类指标：数据可靠性指标和数据类型指标，每个指标可定义为若干级别，为了便于系统实现，在设计上可将这两类指标分别定义为一个32位字的高16位和低16位；
2)所述存储网络接收上述写数据请求的步骤：所述存储网的一个中心节点或分布式存储节点接收所述应用发出的上述写数据请求，
所述中心节点是指通过dns服务或其他寻址方式找到的专用服务器，所有的写数据请求都发送到该中心节点；
3)解析所述写数据请求的步骤：包括解析QoS参数，分解为数据可靠性指标(下面以Rapplication表示)和数据类型指标(下面以Tapplication表示)；
4)执行写数据的步骤，该步骤进一步包括如下步骤：在基本的分布式存储网络执行元数据写和媒体数据写操作；当RDHT＜Rapplication时，在(d，k)摩尔图存储网中执行元数据写和媒体数据写操作，其中，RDHT是基本的分布式存储网络的可靠性指标，
该步骤4)中，当在(d，k)摩尔图存储网中执行元数据写和媒体数据写操作而进行存储时，要判断在基本的分布式存储网络和(d，k)摩尔图存储网络存储中存放数据标识数据的节点号是否一致(即，nodeid(DHT，data_id)＝＝nodeid((d，k)摩尔图，data_id)，其中，nodeid(x，data_id)表示在x存储中存放data_id数据的节点号)，如果相等，则在(d，k)摩尔图中选取距离该点两跳的d×(d-1)个节点中选择一个节点(例如节点编号与本节点编号最近的一个节点)存储数据(包括元数据、媒体数据)，如果不等，则在(d，k)摩尔图中计算出的节点中直接存储数据；
当Tapplication(比如大于5，表示大型媒体文件)为数据迁移最小化类别时，则依据度量算法(带宽最大、时延最小等)选择(d，k)摩尔图中的一个节点存储媒体数据。
所述读数据的方法包括如下步骤：
1)元数据的数据查找定位步骤，可在基本的分布式存储网络和(d，k)摩尔图存储网络上并行进行，这样可以防止其中的一个出现故障的情况，结果取最早返回的一个应答即可；
2)媒体数据读取的步骤，指得到元数据之后，如果元数据包括媒体数据多个复制位置(多个存储节点)的情况下，针对找到的存储节点进行某个方面性能(时延、可用带宽等)的比较，取最优的节点进行服务。
本发明的优点在于，相比于Peterson图结构，包括：
(1)基于Peterson图的原技术方案仅适用于节点度为3、最大直径为2的情况，不能适用于其他情形；我们提出的(d，k)摩尔图可适用于d、k均大于等于2的情况，即适用范围得到扩大；
(2)在处理大于10个节点的情形时，如果使用Peterson图，我们必须采用多个Peterson图结构才能覆盖，同时还要采取另外的方法解决多个Peterson图之间的互联问题；采用(d，k)摩尔图，我们可以采用节点数最接近实际节点数的(d，k)摩尔图来构造，使用(d，k)摩尔图的机制可以处理多种节点数的情形；
(3)如果实际节点数出现增长，则采用(d，k)摩尔图中的d或k的变化可演变为新的摩尔图，而处理机制保持不变，即具有良好的扩展性。
附图说明
图1是本发明的基于(3，2)摩尔图的存储网络结构的示意图；
图2是本发明的表示(3，2)摩尔图节点编号的示意图；
图3是基于(3，2)摩尔图的DHT(chord环)存储网络结构的示意图；
图4是北京市区县图；
图5是本发明的基于(2，3)摩尔图的存储网络结构的示意图；
图6是本发明的表示(2，3)摩尔图节点编号的示意图；
图7是本发明的基于(4，2)摩尔图的存储网络结构的示意图；
图8是本发明的表示(4，2)摩尔图节点编号的示意图。
具体实施方式
下面结合附图和具体实施例对本发明的基于(3，2)摩尔图、(2，3)摩尔图和(4，2)摩尔图的摩尔图和分布式存储网络及其数据读写方法作进一步地描述。
图1所示是本发明的基于(3，2)摩尔图的存储网络，由基本的分布式存储网络和(3，2)摩尔图存储网络组成。
图5所示是本发明的基于(2，3)摩尔图的存储网络，由基本的分布式存储网络和(2，3)摩尔图存储网络组成。
图7所示是本发明的基于(4，2)摩尔图的存储网络，由基本的分布式存储网络和(4，2)摩尔图存储网络组成。
其中，基本的分布式存储网络是集群分布式存储网络或基于DHT的P2P存储网络，由n个存储节点构成。该网络满足一定的存储可靠性要求(下边以RDHT表示)，并具有其自身的存储分级能力，其构成和存取机制能够在文献中找到，这部分内容不作为本发明的保护部分，因此不再详细描述。
上述的(3，2)摩尔图存储网络在存储节点集合中根据策略(例如：带宽、可靠性、存储容量的一个函数)选择10个节点(或配置)而形成。
上述的(2，3)摩尔图存储网络在存储节点集合中根据策略(例如：带宽、可靠性、存储容量的一个函数)选择7个节点(或配置)而形成。
上述的(4，2)摩尔图存储网络在存储节点集合中根据策略(例如：带宽、可靠性、存储容量的一个函数)选择15个节点(或配置)而形成。
图2是表示图1中的(3，2)摩尔图节点编号的示意图。如图2所示，该图具有良好的节点度和节点间距离特征，表1以及表2中分别列出了(3，2)摩尔图节点度和节点间距离，从表格中可以看出每个节点的度都为3，节点间的距离小于等于2。(3，2)摩尔图存储网络的数据存储具有一定的数据可靠性和数据迁移不动性等良好性质。图6是表示图1中的(2，3)摩尔图节点编号的示意图。如图6所示，该图具有良好的节点度和节点间距离特征。(2，3)摩尔图存储网络的数据存储具有一定的数据可靠性和数据迁移不动性等良好性质。图8是表示图1中的(4，2)摩尔图节点编号的示意图。如图8所示，该图具有良好的节点度和节点间距离特征。(4，2)摩尔图存储网络的数据存储具有一定的数据可靠性和数据迁移不动性等良好性质。
表1：(3，2)摩尔图的各节点度
  节点编号   节点度
  1   3
  2   3
  3   3
  4   3
  5   3
  6   3
  7   3
  8   3
  9   3
  10   3
表2：(3，2)摩尔图节点间距离
  1   2   3   4   5   6   7   8   9   10
  1   0   1   2   2   1   1   2   2   2   2
  2   1   0   1   2   2   2   1   2   2   2
  3   2   1   0   2   2   2   2   1   2   2
  4   2   2   1   0   1   2   2   2   1   2
  5   1   2   2   1   0   2   2   2   2   1
  6   1   2   2   2   2   0   2   1   1   2
  7   2   1   2   2   2   2   0   2   1   1
  8   2   2   1   2   2   1   2   0   2   1
  9   2   2   2   1   2   1   1   2   0   2
  10   2   2   2   2   1   2   1   1   2   0
另外，本发明的数据读写方法包括应用写数据的方法和读数据的方法，所述的应用写数据的方法和读数据的方法针对实施例中列举的3种类型的摩尔图存储网络结构是相同的。其中应用指存储网络之外的实体，可以是软件、应用程序或客户端程序。
其中，应用写数据的方法包括：应用发出携带服务质量QoS(Quality of Service)参数的写数据请求、存储网络接收写数据请求、解析写数据请求、执行写数据等4个操作步骤：
1)应用发出携带QoS参数的写数据请求，形式如write(QoS参数，数据标识，数据)，这里将QoS参数定义为两类指标：数据可靠性指标和数据类型指标，每个指标可定义为若干级别，在设计上可将这两类指标分别定义为一个32位字的高16位和低16位，这样便于系统实现；
2)存储网络接收写数据请求，指存储网的一个中心节点或分布式存储节点接收应用发出的写数据请求；
3)解析写数据请求，包括解析QoS参数，分解为数据可靠性指标(下边以Rapplication表示)和数据类型指标(下边以Tapplication表示)；
4)执行写数据包括如下步骤：在基本的分布式存储网络执行元数据写和媒体数据写操作；当RDHT＜Rapplication时，在(d，k)摩尔图存储网中执行元数据写和媒体数据写操作；
当在(d，k)摩尔图存储网中存储时，要判断nodeid(DHT，data_id)＝＝nodeid((d，k)摩尔图，data_id)(nodeid(x，data_id)表示在x存储中存放data_id数据的节点号)，如果相等，则在(d，k)摩尔图中选取距离该点两跳的d×(d-1)个节点中选择一个节点(例如节点编号与本节点编号最近的一个节点)存储数据(包括元数据、媒体数据)；
当Tapplication(比如大于5，表示大型媒体文件)为数据迁移最小化类别时，则依据度量算法(带宽最大、时延最小等)选择(d，k)摩尔图中的一个节点存储媒体数据；
另外，读数据的方法包括元数据的查找定位、媒体数据读取等步骤：
1)元数据的数据查找定位，可在在基本的分布式存储网络和(d，k)摩尔图存储网络上并行进行，这样可以防止其中的一个出现故障的情况，结果取最早返回的一个应答即可；
2)媒体数据读取，指得到元数据之后，如果元数据包括媒体数据多个复制位置(多个存储节点)的情况下，针对找到的存储节点进行某个方面性能(时延、可用带宽等)的比较，取最优的节点进行服务。
下面是本发明提供基于(d，k)摩尔图的存储网络及数据读写方法的一个具体应用实施例。
实施例1
下面结合应用场景说明基于(3，2)摩尔图的存储网络及数据读写方法。如图4所示，本发明提供的一个应用场景：假定在X(比如，北京)城市某存储服务运行公司根据市区、郊县(每个区县部署2台，北京市共有15个区县)等地部署了30台存储节点(服务器)，每个节点的接口均为1Gbps的以太网卡，这些存储节点之间是IP层互通的，并按照chord算法形成环网，如图3所示；另外，该公司在部署其中的10个节点时，选取的是具有节点之间带宽均为＞500Mbps的良好链路连接的，这10个节点配置成(3，2)摩尔图图结构，其编号按图2所示，按图2中连线，如图3所示。假定该存储网络提供16个等级的存储可靠性(8个等级使用分布式存储网络提供，8个等级需要分布式存储网络和(3，2)摩尔存储网络一起提供)和两类数据类型(一般文件，大型媒体文件)的存储。
下面以图3为基础说明本实施例1中的数据读写方法。
分读写普通数据和读写大型媒体数据两种情形进行说明：
本发明的数据读写方法根据存储可靠性级别要求和文件类型指标要求确定在(3，2)摩尔存储网中是否需要进行存储。在该实施例中可将分布式存储网的存储可靠性定位5，5以上的等级都在(3，2)摩尔图存储网络中存储；另外就文件类型而言，也是可从数字定义上看出的，比如文件类型6以上由(3，2)摩尔图存储网络中存储。
(1)读写普通数据
先说明数据写的方法：假定一名用户提交1个普通文件(example1.doc)的写操作，QoS参数为等级2、一般文件。则分布式存储网首先确定example1.doc元数据的存放节点(假定是11号节点)，另外根据example1.doc文件的内容，通过对内容中各字的异或操作结果、校验和等计算数据id(比如3428)，则根据3428假定由17号节点存储，则用户提交的example1.doc内容存储于17号节点，在11号节点中记录的元数据中将记下17号节点。
数据读的方法：假定用户要读取example1.doc文件，则提交读请求，在分布式存储网络和(3，2)摩尔存储网中查找，则根据数据写的结果，仅有分布式存储网络((3，2)摩尔存储网中的查找是失败的)能够找到11号节点存放着example1.doc的元数据，根据元数据中记录的内容位置17号节点，则从17号节点读取数据内容。
(2)读写大型媒体数据
先说明数据写的方法：假定一名用户提交1个大型文件(example2.vob)(大小为4GB)的写操作，QoS参数为等级9、大型文件。则分布式存储网首先确定example2.vob元数据的存放节点(假定是13号节点)，另外根据example2.vob文件的内容，通过对内容中各字的异或操作结果、校验和等计算数据id(假定对文件进行切块，切成4块，每块1GB，得到的id分别为1236、3428、4590、6571)，则根据这些id假定由14、15、17、20号节点存储，则用户提交的example2.vob内容分别存储于这些节点，在13号节点中记录的元数据中将记下14、15、17、20号节点。
另外根据等级9和大型文件类型，确定在(3，2)摩尔存储网中也需要进行存储，然后例如通过对文件名的散列(或称哈希)函数计算，令得到example2.vob的元数据的节点为5号节点，另外根据example2.vob文件的内容计算数据id(同上)，则根据这些id假定由1、3、7、8号节点存储，则用户提交的example2.vob内容分别存储于这些节点，在5号节点中记录的元数据中将记下1、3、7、8号节点。
数据读的方法：假定用户要读取example2.vob文件，则提交读请求，在分布式存储网络和(3，2)摩尔存储网中查找，则根据数据写的结果，分布式存储网络和(3，2)摩尔存储网中分别找到13号、5号节点存放着example2.vob的元数据，根据元数据中记录的内容位置14、15、17、20号节点以及1、3、7、8号节点，根据带宽和时延分别判定各块的最佳读取节点，假定结果是14、3、7、20，则从14、3、7、20号节点读取数据内容。
依此类推，针对图5和图6的(2，3)摩尔图和图7、8的(4，2)摩尔图的情形，可参照(3，2)摩尔图的实施例进行处理。
说明文档中的其他内容针对本专业领域内的普通技术人员，均可进行技术实现，这里不再赘述。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (4)

1.一种基于(d，k)摩尔图的存储网络，其特征在于，包括：基本的分布式存储网络和(d，k)摩尔图存储网络；
所述基本的分布式存储网络是集群分布式存储网络或基于DHT的P2P存储网络，由n个存储节点构成，其中，n是大于4的整数；
所述(d，k)摩尔图存储网络是在所述存储节点集合中根据策略从分布式存储网络节点中选择其中的
Figure FDA0000109824530000011
个节点而形成，每个节点的度等于d，节点间的距离小于等于k，
其中，所述策略为存储容量、可用带宽、处理能力、节点的度或者节点间的距离。
2.一种如权利要求1所述的基于(d，k)摩尔图的存储网络的数据读写方法，所述基于(d，k)摩尔图的存储网络结构包括基本的分布式存储网络和(d，k)摩尔图存储网络，该数据读写方法，包括应用写数据的方法和读数据的方法，所述应用为包括应用程序或客户端程序的存储网络之外的实体，
所述应用写数据的方法包括如下步骤：
1)所述应用发出携带QoS参数的写数据请求的步骤：请求中包括QoS参数、数据标识和数据，所述QoS参数定义为两类指标：数据可靠性指标和数据类型指标，每个指标定义为若干级别；
2)所述存储网络接收上述写数据请求的步骤：所述存储网络的一个中心节点或分布式存储节点接收所述应用发出的上述写数据请求，
所述中心节点是指通过dns服务或其他寻址方式找到的专用服务器，所有的写数据请求都发送到该中心节点；
3)解析所述写数据请求的步骤：包括解析QoS参数，分解为数据可靠性指标Rapplication和数据类型指标Tapplication；
4)执行写数据的步骤，该步骤进一步包括如下步骤：在基本的分布式存储网络执行元数据写和媒体数据写操作；当RDHT＜Rapplication时，在(d，k)摩尔图存储网中执行元数据写和媒体数据写操作，其中，RDHT是基本的分布式存储网络的可靠性指标；
所述读数据的方法包括如下步骤：
1)元数据的数据查找定位步骤，在基本的分布式存储网络和(d，k)摩尔图存储网络上并行进行，结果取最早返回的一个应答即可；
2)媒体数据读取的步骤，指得到元数据之后，如果元数据包括媒体数据多个存储节点的情况下，针对找到的存储节点进行包括时延、可用带宽的性能比较，取最优的节点进行服务。
3.如权利要求2所述的基于(d，k)摩尔图的存储网络的数据读写方法，其特征在于，
所述应用写数据的方法的所述步骤1)中，所述QoS参数的数据可靠性指标和数据类型指标分别定义为一个32位字的高16位和低16位。
4.如权利要求2所述的基于(d，k)摩尔图的存储网络的数据读写方法，其特征在于，
所述应用写数据的方法的所述步骤4)中，当在(d，k)摩尔图存储网络中执行元数据写和媒体数据写操作而进行存储时，要判断在基本的分布式存储网络和(d，k)摩尔图存储网络存储中存放数据标识数据的节点号是否一致，如果相等，则在(d，k)摩尔图中选取距离该点两跳的d×(d-1)个节点中选择一个节点存储数据；如果不等，则在(d，k)摩尔图中计算出的节点中直接存储数据；
当Tapplication为数据迁移最小化类别时，则依据度量算法选择(d，k)摩尔图中的一个节点存储媒体数据。
CN201010127477.8A 2009-05-20 2010-03-05 基于(d，k)摩尔图的存储网络及数据读写方法 Expired - Fee Related CN101923558B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010127477.8A CN101923558B (zh) 2009-05-20 2010-03-05 基于(d，k)摩尔图的存储网络及数据读写方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN200910084150.4A CN101645038A (zh) 2009-05-20 2009-05-20 基于彼特森的网络存储结构的数据存储方法
CN200910084150.4 2009-05-20
CN201010127477.8A CN101923558B (zh) 2009-05-20 2010-03-05 基于(d，k)摩尔图的存储网络及数据读写方法

Publications (2)

Publication Number Publication Date
CN101923558A CN101923558A (zh) 2010-12-22
CN101923558B true CN101923558B (zh) 2012-05-23

Family

ID=41656931

Family Applications (3)

Application Number Title Priority Date Filing Date
CN200910084150.4A Pending CN101645038A (zh) 2009-05-20 2009-05-20 基于彼特森的网络存储结构的数据存储方法
CN201010127477.8A Expired - Fee Related CN101923558B (zh) 2009-05-20 2010-03-05 基于(d，k)摩尔图的存储网络及数据读写方法
CN201010142122.6A Expired - Fee Related CN101888398B (zh) 2009-05-20 2010-03-30 基于(d,k)摩尔图的网络存储结构的数据存储方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN200910084150.4A Pending CN101645038A (zh) 2009-05-20 2009-05-20 基于彼特森的网络存储结构的数据存储方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201010142122.6A Expired - Fee Related CN101888398B (zh) 2009-05-20 2010-03-30 基于(d,k)摩尔图的网络存储结构的数据存储方法

Country Status (3)

Country Link
US (1) US20120179870A1 (zh)
CN (3) CN101645038A (zh)
WO (1) WO2010133080A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645038A (zh) * 2009-05-20 2010-02-10 中国科学院声学研究所 基于彼特森的网络存储结构的数据存储方法
CN102075582B (zh) * 2011-01-26 2013-03-13 南京财经大学 一种可信的云存储系统数据存储模型的存储方法
US11093327B1 (en) 2012-06-25 2021-08-17 Pure Storage, Inc. Failure abatement approach for failed storage units common to multiple vaults
US9292212B2 (en) * 2012-06-25 2016-03-22 International Business Machines Corporation Detecting storage errors in a dispersed storage network
CN104782101B (zh) * 2012-07-20 2018-02-13 北京大学深圳研究生院 用于分布式网络存储的自修复码的编码、重构和恢复方法
US9576020B1 (en) 2012-10-18 2017-02-21 Proofpoint, Inc. Methods, systems, and computer program products for storing graph-oriented data on a column-oriented database
CN102916811B (zh) * 2012-10-18 2015-04-15 中国科学院信息工程研究所 一种多元实体身份凭证信息存储方法
US9276973B2 (en) * 2013-03-29 2016-03-01 Philip Scott Lyren Peer-to-peer data storage
CN103258028A (zh) * 2013-05-08 2013-08-21 林凡 一种基于内容特征的视频分级分区存储系统
CN104348688B (zh) * 2013-08-09 2018-01-23 华为技术有限公司 一种服务器连接方法和系统
US20160253123A1 (en) * 2014-03-19 2016-09-01 Bruce Ledley Jacob NVMM: An Extremely Large, Logically Unified, Sequentially Consistent Main-Memory System
CN107113323B (zh) * 2015-06-27 2020-02-21 华为技术有限公司 一种数据存储方法、装置和系统
CN105162847B (zh) * 2015-08-10 2018-05-08 电子科技大学 分布式流数据存储系统的存储资源规划方法
US10853253B2 (en) * 2016-08-30 2020-12-01 Oracle International Corporation Method and systems for master establishment using service-based statistics
CN106934302B (zh) * 2016-12-23 2021-07-13 中科星图股份有限公司 一种数据有效性检验方法
CN107395353B (zh) * 2017-04-24 2020-01-31 阿里巴巴集团控股有限公司 一种区块链共识方法及装置
CN109032499B (zh) * 2018-06-09 2022-04-05 西安电子科技大学 一种分布式数据存储的数据存取方法、信息数据处理终端
CN115695560A (zh) * 2021-07-23 2023-02-03 伊姆西Ip控股有限责任公司 内容分发方法、电子设备和计算机程序产品
CN113609347B (zh) * 2021-10-08 2021-12-28 支付宝(杭州)信息技术有限公司 数据存储及查询方法、装置及数据库系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19814660C1 (de) * 1998-04-01 1999-10-21 Karlsruhe Forschzent Gitterspektrometer und Verfahren zur Messung spektraler Intensitäten von weißem Licht
CN1166118C (zh) * 1995-06-30 2004-09-08 皇家菲利浦电子有限公司 节点网络中选择消息路由的方法和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5893922A (en) * 1997-03-06 1999-04-13 International Business Machines Corporation Home node migration for distributed shared memory systems
ATE381191T1 (de) * 2000-10-26 2007-12-15 Prismedia Networks Inc Verfahren und system zur verwaltung von verteilten inhalten und entsprechenden metadaten
US7243144B2 (en) * 2002-09-26 2007-07-10 Hitachi, Ltd. Integrated topology management method for storage and IP networks
CN1326045C (zh) * 2003-06-09 2007-07-11 浪潮电子信息产业股份有限公司 构建高可用分布式存储系统的方法
US7702850B2 (en) * 2005-03-14 2010-04-20 Thomas Earl Ludwig Topology independent storage arrays and methods
CA2615324A1 (en) * 2005-07-14 2007-07-05 Yotta Yotta, Inc. Maintaining write order fidelity on a multi-writer system
US8407424B2 (en) * 2005-11-07 2013-03-26 Silicon Graphics International Corp. Data coherence method and apparatus for multi-node computer system
US8005014B2 (en) * 2007-04-27 2011-08-23 Hewlett-Packard Development Company, L.P. Method of choosing nodes in a multi-network
CN101291347B (zh) * 2008-06-06 2010-12-22 中国科学院计算技术研究所 一种网络存储系统
CN101645038A (zh) * 2009-05-20 2010-02-10 中国科学院声学研究所 基于彼特森的网络存储结构的数据存储方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1166118C (zh) * 1995-06-30 2004-09-08 皇家菲利浦电子有限公司 节点网络中选择消息路由的方法和设备
DE19814660C1 (de) * 1998-04-01 1999-10-21 Karlsruhe Forschzent Gitterspektrometer und Verfahren zur Messung spektraler Intensitäten von weißem Licht

Also Published As

Publication number Publication date
CN101888398A (zh) 2010-11-17
US20120179870A1 (en) 2012-07-12
WO2010133080A1 (zh) 2010-11-25
CN101923558A (zh) 2010-12-22
CN101645038A (zh) 2010-02-10
CN101888398B (zh) 2012-11-21

Similar Documents

Publication Publication Date Title
CN101923558B (zh) 基于(d，k)摩尔图的存储网络及数据读写方法
CN101674233B (zh) 基于彼得森图的存储网络系统及数据读写方法
US20150215405A1 (en) Methods of managing and storing distributed files based on information-centric network
Huang et al. Codes can reduce queueing delay in data centers
CN103106249B (zh) 一种基于Cassandra的数据并行处理系统
JP5765416B2 (ja) 分散ストレージシステムおよび方法
US8676951B2 (en) Traffic reduction method for distributed key-value store
US9628438B2 (en) Consistent ring namespaces facilitating data storage and organization in network infrastructures
US7809769B2 (en) Database partitioning by virtual partitions
CN101604337B (zh) 一种哈希表项存储、查找装置及方法
CN102708165B (zh) 分布式文件系统中的文件处理方法及装置
EP2073505A1 (en) Query routing in distributed database system
CN102483768A (zh) 基于策略的储存结构分布
CN105933376A (zh) 一种数据操作方法，服务器及存储系统
CN103440301B (zh) 一种数据多副本混合存储方法及系统
JP2008533564A (ja) データ管理のための方法および装置
CN108259328B (zh) 报文转发方法及装置
CN102387179A (zh) 分布式文件系统及其结点、存储方法和存储控制方法
CN104184812A (zh) 一种基于私有云的多点数据传输方法
US9083725B2 (en) System and method providing hierarchical cache for big data applications
CN102934412A (zh) 服务器集群
CN102467458A (zh) 建立数据区块的索引方法
CN104951475B (zh) 分布式文件系统和实现方法
JP2007073003A (ja) データ保全装置及びその方法及びそのプログラム記録媒体
JP2010271797A (ja) 分散ストレージにおけるデータ位置管理方法及び装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120523

Termination date: 20190305

CF01 Termination of patent right due to non-payment of annual fee