CN102546782A - 一种分布式系统及其数据操作方法 - Google Patents

一种分布式系统及其数据操作方法 Download PDF

Info

Publication number
CN102546782A
CN102546782A CN2011104482813A CN201110448281A CN102546782A CN 102546782 A CN102546782 A CN 102546782A CN 2011104482813 A CN2011104482813 A CN 2011104482813A CN 201110448281 A CN201110448281 A CN 201110448281A CN 102546782 A CN102546782 A CN 102546782A
Authority
CN
China
Prior art keywords
copy
memory node
node
positional information
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104482813A
Other languages
English (en)
Other versions
CN102546782B (zh
Inventor
赵健博
王志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201510134387.4A priority Critical patent/CN104715044B/zh
Priority to CN201110448281.3A priority patent/CN102546782B/zh
Publication of CN102546782A publication Critical patent/CN102546782A/zh
Priority to US14/368,560 priority patent/US10154089B2/en
Priority to PCT/CN2012/087313 priority patent/WO2013097674A1/zh
Application granted granted Critical
Publication of CN102546782B publication Critical patent/CN102546782B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式系统及其数据操作方法，该系统包括客户端、主节点、多个存储节点和多个计算节点。其中，客户端用于向主节点发送数据操作请求；主节点，用于响应于客户端的请求获取存储节点列表，并将存储节点列表发送给客户端；多个存储节点，用于存储客户端所请求操作的数据；多个计算节点，用于执行由主节点基于用户的数据操作请求分配的计算任务；其中，主节点在获取存储节点列表时，应用副本位置选择策略，来选择数据副本所对应的存储节点；所述副本位置选择策略包括下述方式的至少一种：选择容量负载小的存储节点；选择计算负载小的计算节点；以及选择本地性差的存储节点。

Description

一种分布式系统及其数据操作方法
技术领域
本发明涉及计算机技术领域，特别是涉及分布式系统中存取副本时获取副本所对应存储节点的方法及应用该方法的分布式系统。
背景技术
分布式文件系统是一种基于计算机存储节点进行本地存储构建的分布式存储系统。其与传统的存储系统相比，具有存储性价比高、可扩展性强等优点。
现有的分布式文件系统通常由元数据节点和多个存储节点组成。其中，元数据节点用于保存各个文件的数据分块情况、各个数据块所在的存储节点的名称，以及每个存储节点上包含的数据块的信息等。存储节点用于保存实际的数据块，通常每个数据块大小为64MB或128MB。存储节点会定期地把存储在本地的数据块发送给元数据节点，以使得元数据节点能够感知分布式文件系统中所有文件的数据存储位置。当客户端需要对上述分布式文件系统进行数据存取操作时，首先通过元数据节点获取或建立文件的数据块的位置；然后直接与相应数据块所在的存储节点进行通信，进行读写数据块等操作。
对于现有的分布式文件系统，为了提高系统可靠性和数据可用性，分布式文件系统通常采用多份副本的方式保存数据块，例如，对于同一个数据块，可以在不同的存储节点保存三个或更多个副本，其中，每一个副本存储在一台存储节点上。这样，每个文件的内容都被存储在了多个存储节点上，一旦个别存储节点宕机，整个文件的数据仍然可以从存储该文件的其他副本的存储节点上获取。
当客户端需要向分布式文件系统写一个文件时，客户端首先和元数据节点通信，从元数据节点获取该文件对应块的位置，即存储这个文件所对应块的存储节点列表。存储节点列表指示了同一份数据需要写到不同的存储节点上，即同一份数据在不同的存储节点上存在多个副本。客户端随即从返回的存储节点列表中选择网络地址上最近的那个存储节点，然后将数据写给该存储节点，并同时告知该存储节点，还需要将这份数据写给哪些存储节点。之后，该存储节点重复上述的存储过程，直到存储节点列表中的所有存储节点都完成存储为止。
发明内容
本发明提供了一种分布式文件系统，其能够在现有分布式文件系统的基础上考虑文件存储操作时的节点本地性、计算负载以及容量负载。
一种分布式系统，包括：
客户端，用于向主节点发送数据操作请求；
主节点，用于响应于客户端的请求获取存储节点列表，并将存储节点列表发送给客户端；
多个存储节点，用于存储客户端所请求操作的数据；
多个计算节点，用于执行由主节点基于用户的数据操作请求分配的计算任务；
其中，主节点在获取存储节点列表时，应用副本位置选择策略，来选择数据副本所对应的存储节点；
所述副本位置选择策略包括下述方式的至少一种：选择容量负载小的存储节点；选择计算负载小的计算节点；以及选择本地性差的存储节点。
其中，所述主节点在获取存储节点列表时，基于主节点中保存的分布式系统的元数据信息来应用副本位置选择策略。
其中，所述分布式系统的元数据信息包括存储节点的状态信息和/或计算节点的状态信息。
其中，所述存储节点列表包括至少一个副本位置信息。
其中，所述至少一个副本位置信息包括第一个副本位置信息，该第一个副本位置信息通过如下方式获得：
首先判断客户端是否在集群中，如果不在集群中，则在全局范围内应用副本位置选择策略选择一个存储节点；如果在集群中，则选择客户端所在的存储节点。
其中，在选择客户端所在的存储节点之前，还考虑该存储节点的容量负载，如果该存储节点不合适，则应用副本位置选择策略选择和客户端在同一个机架下的存储节点。
其中，所述至少一个副本位置信息还包括第二个副本位置信息，该第二个副本位置信息通过如下方式获得：
应用副本位置选择策略选择同第一个副本所在的存储节点所在的不同机架上的存储节点，如果选择不出来，则在和第一个副本所在存储节点所在的机架，应用副本位置选择策略选择一个存储节点。
其中，所述至少一个副本位置信息还包括第三个副本位置信息，该第三个副本位置信息通过如下方式获得：如果第一个副本所在的存储节点和第二个副本所在的存储节点在同一个机架上，则在第一个副本所在的存储节点所在的不同机架上，应用副本位置选择策略选择一个存储节点；否则，在和第二个副本所在的存储节点所在的机架上应用副本位置选择策略选择一个存储节点。
其中，所述至少一个副本位置信息还包括三个以上的副本位置信息，该三个以上的副本位置信息通过如下方式获得：在全集群范围内应用副本位置选择策略选择存储节点。
其中，所述存储节点和计算节点分开放置，或者以一对一的方式放置在一个机器中。
一种分布式系统的数据操作方法，包括：
客户端向主节点发送数据操作的请求；
主节点响应于客户端的请求获取存储节点列表，并将存储节点列表发送给客户端；
其中，主节点在获取存储节点列表时，应用副本位置选择策略，来选择数据副本所对应的存储节点；
所述副本位置选择策略包括下述方式的至少一种：选择容量负载小的存储节点；选择计算负载小的计算节点；以及选择本地性差的存储节点。
其中，所述主节点在获取存储节点列表时，基于主节点中保存的分布式系统的元数据信息来应用副本位置选择策略。
其中，所述分布式系统的元数据信息包括存储节点的状态信息和/或计算节点的状态信息。
其中，所述存储节点列表包括至少一个副本位置信息。
其中，所述至少一个副本位置信息包括第一个副本位置信息，该第一个副本位置信息通过如下方式获得：
首先判断客户端是否在集群中，如果不在集群中，则在全局范围内应用副本位置选择策略选择一个存储节点；如果在集群中，则选择客户端所在的存储节点。
其中，在选择客户端所在的存储节点之前，还考虑该存储节点的容量负载，如果该存储节点不合适，则应用副本位置选择策略选择和客户端在同一个机架下的存储节点。
其中，所述至少一个副本位置信息还包括第二个副本位置信息，该第二个副本位置信息通过如下方式获得：
应用副本位置选择策略选择同第一个副本所在的存储节点所在的不同机架上的存储节点，如果选择不出来，则在和第一个副本所在存储节点所在的机架，应用副本位置选择策略选择一个存储节点。
其中，所述至少一个副本位置信息还包括第三个副本位置信息，该第三个副本位置信息通过如下方式获得：如果第一个副本所在的存储节点和第二个副本所在的存储节点在同一个机架上，则在第一个副本所在的存储节点所在的不同机架上，应用副本位置选择策略选择一个存储节点；否则，在和第二个副本所在的存储节点所在的机架上应用副本位置选择策略选择一个存储节点。
其中，所述至少一个副本位置信息还包括三个以上的副本位置信息，该三个以上的副本位置信息通过如下方式获得：在全集群范围内应用副本位置选择策略选择存储节点。
根据本发明提供的具体实施例，本发明公开了以下技术效果：从一定程度上优化计算效率，增加集群整体计算任务本地性特征，以及使得集群整体的计算负载更加均匀，并使得集群中所有存储节点的容量负载更加均衡。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例所述分布式系统的结构示意图。
图2是本发明实施例所述分布式系统的数据操作的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
在分布式文件系统读写文件的过程中，涉及到一个存储节点的选择策略，即如何来选择副本存储的存储节点列表。现有的分布式文件系统在实现副本存储的存储节点选择策略比较简单，主要考虑了存储的可靠性。当客户端与某一个存储节点在同一台机器上时，第一份存储节点都会是写客户端所在机器的那个存储节点。当操作持续一段时间之后，这个存储节点的存储容量会比其他存储节点的存储容量高很多，由此会导致分布式文件系统整体的负载不均衡。
另外，在现有的分布式文件系统的文件读写过程中，也没有考虑存储节点所在机器的计算负载以及计算任务的本地性。其中，计算负载表示存储节点所在的机器上的计算节点运行的计算任务的个数。计算任务本地性用于表示计算任务访问的数据是否在同一个机器上的存储节点中，如果计算与数据都在同一个机器上，则表明计算任务的本地性好。
由于在现有的分布式文件系统中，没有考虑文件存取操作时的节点本地性、计算负载以及容量负载，因而现有的分布式文件系统存在存储容量不均衡，计算效率不高的缺点。因此，迫切需要本领域技术人员解决的技术问题就在于，提出一种新的分布式系统，在选择副本对应的存储节点时应用新的存储节点选择策略，以克服上述缺点。
针对上述问题，本实施例提供了一种分布式系统，如附图1所示。该附图是对本实施例的分布式系统的一种示例性表示，本领域技术人员能够根据下面的描述获得其他变型的实施方式。在该系统中，包括客户端100、元数据节点210、计算主节点220、以及多个存储节点300和计算节点400，其中，所述元数据节点210和多个存储节点300构成分布式文件系统，所述计算主节点220和多个计算节点400构成分布式计算系统。所述分布式计算系统为分布式文件系统提供计算的支持。
其中，客户端向元数据节点发出读写等操作请求，并从元数据节点获取本次操作的数据所对应的存储节点列表，其中本次操作的数据包括了待存储的数据块或存储在多个存储节点中的数据块副本。客户端根据获取的存储节点列表从对应的存储节点执行本次数据操作。
存储节点用于存储分布式文件系统中的文件内容。分布式文件系统中的文件被分成数据块存放，例如每个数据块大小为64MB或128MB。为了防止由于宕机导致的数据丢失，数据块通常会存储在多个存储节点中，以作为多个数据块副本。存储节点会定期地把存储在本地的数据块发送给元数据节点，以使得元数据节点能够感知文件系统中所有文件的数据存储位置。
元数据节点用于维护分布式文件系统中的所有文件的元数据信息，包含：文件的访问权限、宿主、以及文件的数据存储位置。元数据节点会定期从存储节点获取存储节点及存储数据的元数据信息，并会基于客户端的请求根据元数据信息来生成存储节点列表。存储节点列表指示了同一份数据所对应的不同的存储节点上。
计算主节点会响应客户端的任务请求，进行计算任务的初始化、分割及分配，并对所有计算任务的运行状态进行跟踪，获取计算节点的计算任务负载情况和计算节点计算任务的本地性信息。所述计算主节点可以作为独立的装置，也可以与元数据节点一起构成主节点200。
计算节点用于执行计算主节点所分配的计算任务，同时保存该计算节点上执行的计算任务的状态。计算节点定期向计算主节点汇报自己的状态，其中包含了计算节点计算任务的负载情况，并将计算节点计算任务的本地性信息也添加到这个汇报的信息中。一个计算节点可以独立于一个存储节点配置，也可以与一个存储节点部署在一个机器中。如果存储节点与计算节点部署在同一个机器上，则计算主节点在进行任务分配时优先将计算任务分配到计算任务需要处理的数据所在的那些存储节点所对应的计算节点上进行。这样计算任务的本地性好，可以减少网络数据传输的消耗。
所述元数据节点中包括存储节点列表生成单元211，用于生成本次读写操作所对应的存储节点列表。在生成存储节点列表的过程中，存储节点列表生成单元会根据分布式文件系统的当前状态应用副本位置选择策略。所述分布式系统的当前状态包括元数据节点中的元数据信息以及计算主节点所跟踪计算节点的信息。具体而言，所述副本位置选择策略需要综合考虑存储节点的容量负载，计算节点的计算负载以及计算任务的本地性，并优先选择容量负载低、计算负载小以及本地性差的存储节点。下面将对这几种情形作具体描述。
计算主节点优先根据计算任务的输入数据的局部性启动计算任务，即优先将计算任务运行在输入数据所在的存储节点的机器上。基于这个特性，可以考虑在选择存储节点存储副本时，优先选择计算任务本地性差的计算节点上的存储节点作为新写入数据副本存储位置。这样，后续在执行以这部分数据作为输入数据的计算任务时，就很可能会优先在这个机器上计算节点上启动计算任务执行。这样整个集群的计算任务本地性都可能会增加，从而达到高效计算的目标。
另一方面，存储节点(副本存放位置)的选择可考虑同一台机器上计算节点的当前负载信息。每次在选择存储节点时，可以考虑计算负载比较低的计算节点所在机器上的那个存储节点。这样，后续在执行以这部分数据作为输入数据的计算任务时，就很可能会优先在这个机器上计算节点上启动计算任务执行。从而提供集群整体的负载均衡情况。
最后，存储节点(副本位置)的选择也应该考虑节点当前的存储容量负载情况。否则，可能会出现个别节点的存储容量要比其他存储节点的存储容量高很多的情况。例如，如果写客户端和某一个存储节点在同一台机器上的话，第一份存储节点都会是写客户端所在机器的那个存储节点。当写操作持续一段时间之后，这个存储节点所在机器的存储容量会比其他存储节点所在机器的存储容量高很多。
所以，综合以上三点，新数据写入时，存储节点的选择策略应该在原有的基础之上考虑计算节点上计算任务的本地性、计算节点的计算负载情况，以及存储节点的所在机器的容量负载的情况。
在上面介绍的分布式系统中，计算主节点和多个计算节点可以作为分布式计算系统既可以附属于分布式文件系统，也可以作为独立的系统来配置，其在分布式文件系统的运行过程中协助执行用户请求任务的计算工作。
下面将描述基于上面所述分布式系统在文件存取过程中副本对应存储节点选择的方法。
参见图2，首先，客户端向元数据节点发出数据操作的请求。然后，元数据节点在接收到客户端发出的请求后，基于其存储的元数据信息和计算主节点发送给他的计算节点状态信息，应用副本位置选择策略生成存储节点列表，所述副本位置选择策略包括下述方式的至少一种：选择容量负载小的存储节点、选择计算负载小的计算节点所在机器上的存储节点、以及选择本地性差的计算节点所在机器上的存储节点，并将生成的存储节点列表发送给客户端。客户端根据获取的存储节点列表选取存储节点，并在选取的存储节点执行副本数据的操作。
下面将进一步描述在应用上述副本位置选择策略的基础上存储节点列表中所包含的副本位置的选择方法。
在选择第一个副本的存储节点时，首先判断写者是否在集群中，所述写者可以为客户端，如果不在集群中，则在全局范围内应用副本位置选择策略选择一个存储节点。如果在集群中，则选择写着所在的存储节点。在选择写着所在的存储节点之前，优选的，还考虑该存储节点的容量负载。如果该存储节点不合适，则应用副本位置选择策略选择和写者在同一个机架下的存储节点。其中，一个分布式文件系统和一个分布式计算系统的结合体组成一个集群，一个集群包含了多台服务器，这些服务器分散在多个机架上，每个机架放置了多台服务器。如果一个机架的电源有问题，则整个机架上的服务器都会停电。所以副本需要放在不同的机架上，以便增加可靠性。
进一步的，可以选择第二个副本的存储节点。应用副本位置选择策略选择同第一个副本所在的存储节点所在的不同机架上的存储节点。如果选择不出来，则在和第一个副本所在存储节点所在的机架，应用副本位置选择策略选择一个存储节点。
进一步的，可以选择第三个副本的存储节点。如果第一个副本所在的存储节点和第二个副本所在的存储节点在同一个机架上，则在第一个副本所在的存储节点所在的不同机架上，应用副本位置选择策略选择一个存储节点。否则，在和第二个副本所在的存储节点所在的机架上应用副本位置选择策略选择一个节点。
进一步的，对更多副本的存储节点选择，直接在全集群范围内应用副本位置选择策略选择存储节点。
在选择存储副本的存储节点时考虑计算节点计算任务的本地性、计算节点计算任务的负载，以及存储节点的容量负载后，理论上可从一定程度上优化计算效率，因为将新数据放置在计算任务的本地性差、计算负载低的机器上，计算主节点优先将以这些数据作为输入源的计算调度在这些存储节点所在机器的计算节点上进行。这样可以增加集群整体计算任务本地性特征，以及使得集群整体的计算负载更加均匀。另外，存储节点的选择策略考虑了存储节点的容量负载情况，可以使得集群中所有存储节点的容量负载更加均衡。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的副本位置获取的方法及系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (19)

1.一种分布式系统，其特征在于，包括：
客户端，用于向主节点发送数据操作请求；
主节点，用于响应于客户端的请求获取存储节点列表，并将存储节点列表发送给客户端；
多个存储节点，用于存储客户端所请求操作的数据；
多个计算节点，用于执行由主节点基于用户的数据操作请求分配的计算任务；
其中，主节点在获取存储节点列表时，应用副本位置选择策略，来选择数据副本所对应的存储节点；
所述副本位置选择策略包括下述方式的至少一种：选择容量负载小的存储节点；选择计算负载小的计算节点；以及选择本地性差的存储节点。
2.根据权利要求1所述的系统，其特征在于，所述主节点在获取存储节点列表时，基于主节点中保存的分布式系统的元数据信息来应用副本位置选择策略。
3.根据权利要求2所述的系统，其特征在于，所述分布式系统的元数据信息包括存储节点的状态信息和/或计算节点的状态信息。
4.根据权利要求1所述的系统，其特征在于，所述存储节点列表包括至少一个副本位置信息。
5.根据权利要求4所述的系统，其特征在于，所述至少一个副本位置信息包括第一个副本位置信息，该第一个副本位置信息通过如下方式获得：
首先判断客户端是否在集群中，如果不在集群中，则在全局范围内应用副本位置选择策略选择一个存储节点；如果在集群中，则选择客户端所在的存储节点。
6.根据权利要求5所述的系统，其特征在于，在选择客户端所在的存储节点之前，还考虑该存储节点的容量负载，如果该存储节点不合适，则应用副本位置选择策略选择和客户端在同一个机架下的存储节点。
7.根据权利要求5所述的系统，其特征在于，所述至少一个副本位置信息还包括第二个副本位置信息，该第二个副本位置信息通过如下方式获得：
应用副本位置选择策略选择同第一个副本所在的存储节点所在的不同机架上的存储节点，如果选择不出来，则在和第一个副本所在存储节点所在的机架，应用副本位置选择策略选择一个存储节点。
8.根据权利要求7所述的系统，其特征在于，所述至少一个副本位置信息还包括第三个副本位置信息，该第三个副本位置信息通过如下方式获得：如果第一个副本所在的存储节点和第二个副本所在的存储节点在同一个机架上，则在第一个副本所在的存储节点所在的不同机架上，应用副本位置选择策略选择一个存储节点；否则，在和第二个副本所在的存储节点所在的机架上应用副本位置选择策略选择一个存储节点。
9.根据权利要求8所述的系统，其特征在于，所述至少一个副本位置信息还包括三个以上的副本位置信息，该三个以上的副本位置信息通过如下方式获得：在全集群范围内应用副本位置选择策略选择存储节点。
10.根据权利要求1所述的系统，所述存储节点和计算节点分开放置，或者以一对一的方式放置在一个机器中。
11.一种分布式系统的数据操作方法，其特征在于，包括：
客户端向主节点发送数据操作的请求；
主节点响应于客户端的请求获取存储节点列表，并将存储节点列表发送给客户端；
其中，主节点在获取存储节点列表时，应用副本位置选择策略，来选择数据副本所对应的存储节点；
所述副本位置选择策略包括下述方式的至少一种：选择容量负载小的存储节点；选择计算负载小的计算节点；以及选择本地性差的存储节点。
12.根据权利要求11所述的方法，其特征在于，所述主节点在获取存储节点列表时，基于主节点中保存的分布式系统的元数据信息来应用副本位置选择策略。
13.根据权利要求12所述的方法，其特征在于，所述分布式系统的元数据信息包括存储节点的状态信息和/或计算节点的状态信息。
14.根据权利要求11所述的方法，其特征在于，所述存储节点列表包括至少一个副本位置信息。
15.根据权利要求14所述的方法，其特征在于，所述至少一个副本位置信息包括第一个副本位置信息，该第一个副本位置信息通过如下方式获得：
首先判断客户端是否在集群中，如果不在集群中，则在全局范围内应用副本位置选择策略选择一个存储节点；如果在集群中，则选择客户端所在的存储节点。
16.根据权利要求15所述的方法，其特征在于，在选择客户端所在的存储节点之前，还考虑该存储节点的容量负载，如果该存储节点不合适，则应用副本位置选择策略选择和客户端在同一个机架下的存储节点。
17.根据权利要求15所述的方法，其特征在于，所述至少一个副本位置信息还包括第二个副本位置信息，该第二个副本位置信息通过如下方式获得：
应用副本位置选择策略选择同第一个副本所在的存储节点所在的不同机架上的存储节点，如果选择不出来，则在和第一个副本所在存储节点所在的机架，应用副本位置选择策略选择一个存储节点。
18.根据权利要求17所述的方法，其特征在于，所述至少一个副本位置信息还包括第三个副本位置信息，该第三个副本位置信息通过如下方式获得：如果第一个副本所在的存储节点和第二个副本所在的存储节点在同一个机架上，则在第一个副本所在的存储节点所在的不同机架上，应用副本位置选择策略选择一个存储节点；否则，在和第二个副本所在的存储节点所在的机架上应用副本位置选择策略选择一个存储节点。
19.根据权利要求18所述的方法，其特征在于，所述至少一个副本位置信息还包括三个以上的副本位置信息，该三个以上的副本位置信息通过如下方式获得：在全集群范围内应用副本位置选择策略选择存储节点。
CN201110448281.3A 2011-12-28 2011-12-28 一种分布式系统及其数据操作方法 Active CN102546782B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510134387.4A CN104715044B (zh) 2011-12-28 2011-12-28 一种分布式系统及其数据操作方法
CN201110448281.3A CN102546782B (zh) 2011-12-28 2011-12-28 一种分布式系统及其数据操作方法
US14/368,560 US10154089B2 (en) 2011-12-28 2012-12-24 Distributed system and data operation method thereof
PCT/CN2012/087313 WO2013097674A1 (zh) 2011-12-28 2012-12-24 一种分布式系统及其数据操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110448281.3A CN102546782B (zh) 2011-12-28 2011-12-28 一种分布式系统及其数据操作方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510134387.4A Division CN104715044B (zh) 2011-12-28 2011-12-28 一种分布式系统及其数据操作方法

Publications (2)

Publication Number Publication Date
CN102546782A true CN102546782A (zh) 2012-07-04
CN102546782B CN102546782B (zh) 2015-04-29

Family

ID=46352728

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110448281.3A Active CN102546782B (zh) 2011-12-28 2011-12-28 一种分布式系统及其数据操作方法

Country Status (3)

Country Link
US (1) US10154089B2 (zh)
CN (1) CN102546782B (zh)
WO (1) WO2013097674A1 (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
WO2013097674A1 (zh) * 2011-12-28 2013-07-04 北京奇虎科技有限公司 一种分布式系统及其数据操作方法
CN103347055A (zh) * 2013-06-19 2013-10-09 北京奇虎科技有限公司 云计算平台中的任务处理系统、设备及方法
CN103403666A (zh) * 2012-12-21 2013-11-20 华为技术有限公司 分布式存储控制方法、装置及系统
CN103634350A (zh) * 2012-08-24 2014-03-12 阿里巴巴集团控股有限公司 一种存储系统及其实现方法
CN103631820A (zh) * 2012-08-27 2014-03-12 阿里巴巴集团控股有限公司 分布式文件系统的元数据管理方法及设备
CN103678360A (zh) * 2012-09-13 2014-03-26 腾讯科技（深圳）有限公司 一种分布式文件系统的数据存储方法和装置
CN104063486A (zh) * 2014-07-03 2014-09-24 四川中亚联邦科技有限公司 一种大数据分布式存储方法和系统
CN104486438A (zh) * 2014-12-22 2015-04-01 华为技术有限公司 分布式存储系统的容灾方法及装置
WO2015067044A1 (zh) * 2013-11-07 2015-05-14 华为技术有限公司 一种数据压缩方法及存储系统
CN104702654A (zh) * 2014-02-25 2015-06-10 杭州海康威视数字技术股份有限公司 基于视频云存储系统的存储与提取性能平衡的方法与装置
CN104796494A (zh) * 2015-05-08 2015-07-22 成都博元科技有限公司 一种云平台数据传输方法
WO2016062144A1 (zh) * 2014-10-24 2016-04-28 中兴通讯股份有限公司 管理应用节点的方法、系统及汇总节点
WO2016095760A1 (zh) * 2014-12-18 2016-06-23 华为技术有限公司 数据动态重分布的方法、数据节点、名字节点及系统
CN105723338A (zh) * 2013-11-12 2016-06-29 微软技术许可有限责任公司 构建虚拟主板和虚拟存储设备
CN106375382A (zh) * 2016-08-26 2017-02-01 苏州蓝海彤翔系统科技有限公司 数据分配的方法、系统、控制服务器及节点客户端
CN106484311A (zh) * 2015-08-31 2017-03-08 华为数字技术（成都）有限公司 一种数据处理方法及装置
CN106802776A (zh) * 2017-01-19 2017-06-06 郑州云海信息技术有限公司 一种映射文件到实际物理存储的方法
CN107037987A (zh) * 2017-04-01 2017-08-11 北京华云网际科技有限公司 对分布式存储系统中卷的处理方法和装置
CN107562380A (zh) * 2017-08-28 2018-01-09 郑州云海信息技术有限公司 一种raid2.0的数据块分配方法及装置
CN107786593A (zh) * 2016-08-25 2018-03-09 阿里巴巴集团控股有限公司 任务部署方法、实例部署方法、装置及设备
CN108009260A (zh) * 2017-12-11 2018-05-08 西安交通大学 一种大数据存储下结合节点负载和距离的副本放置方法
CN108737476A (zh) * 2017-04-21 2018-11-02 杭州海康威视数字技术股份有限公司 云存储系统、媒体数据存储方法及系统
CN109032610A (zh) * 2017-06-08 2018-12-18 杭州海康威视数字技术股份有限公司 一种程序包部署方法、电子设备及分布式系统
WO2019104981A1 (zh) * 2017-11-30 2019-06-06 平安科技（深圳）有限公司 数据访问方法、电子装置及可读存储介质
CN110389828A (zh) * 2018-04-18 2019-10-29 爱思开海力士有限公司 计算系统和包括计算系统的数据处理系统
CN110399353A (zh) * 2019-06-29 2019-11-01 苏州浪潮智能科技有限公司 一种目录数据池信息及数据池选择策略的设置方法及系统
CN110809030A (zh) * 2019-10-17 2020-02-18 浙江大华技术股份有限公司 网络流量控制方法、装置、编解码器及存储装置
CN111159131A (zh) * 2018-11-07 2020-05-15 中兴通讯股份有限公司 性能优化方法、装置、设备及计算机可读存储介质
CN111182026A (zh) * 2019-11-27 2020-05-19 武汉常恒科技有限公司 一种智能云盒子
CN111309796A (zh) * 2020-02-07 2020-06-19 腾讯科技（深圳）有限公司 一种数据处理方法、装置以及计算机可读存储介质
CN112307113A (zh) * 2019-07-29 2021-02-02 中兴通讯股份有限公司 一种业务请求消息发送方法及分布式数据库架构
CN113396566A (zh) * 2019-04-16 2021-09-14 阿里巴巴集团控股有限公司 分布式存储系统中基于全面i/o监测的资源分配
CN114979180A (zh) * 2022-05-24 2022-08-30 超聚变数字技术有限公司 数据同步方法、系统及设备
CN115118761A (zh) * 2022-07-15 2022-09-27 济南浪潮数据技术有限公司 一种数据存储方法、装置、设备及介质
CN116663066A (zh) * 2023-07-28 2023-08-29 宁德时代新能源科技股份有限公司 数据访问方法、设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754021B (zh) * 2013-12-31 2018-04-13 伊姆西公司 用于促进对分布式存储系统中的数据的访问的装置和方法
US20160179581A1 (en) * 2014-12-19 2016-06-23 Netapp, Inc. Content-aware task assignment in distributed computing systems using de-duplicating cache
CN107104999B (zh) * 2016-02-23 2021-05-25 北京京东尚科信息技术有限公司 服务接口调用请求的处理方法和装置
CN107357689B (zh) * 2017-08-02 2020-09-08 郑州云海信息技术有限公司 一种存储节点的故障处理方法及分布式存储系统
US10831552B1 (en) * 2017-08-15 2020-11-10 Roblox Corporation Using map-reduce to increase processing efficiency of small files
CN107908372B (zh) * 2017-12-14 2021-09-10 南京云创大数据科技股份有限公司 一种异地异构的多融合存储方法
US10705752B2 (en) 2018-02-12 2020-07-07 International Business Machines Corporation Efficient data migration in hierarchical storage management system
US10616340B2 (en) * 2018-02-23 2020-04-07 Standard Cognition, Corp. Distributed computing of large data by selecting a computational resource of a remote server based on selection policies and data information wherein the selections policies are associated with location constraints, time constraints, and data type constraints
US10855753B2 (en) 2018-02-23 2020-12-01 Standard Cognition, Corp. Distributed computing of vehicle data by selecting a computation resource of a remote server that satisfies a selection policy for meeting resource requirements according to capability information
CN110324163B (zh) 2018-03-29 2020-11-17 华为技术有限公司 一种数据传输的方法及相关装置
CN111309805B (zh) * 2019-12-13 2023-10-20 华为技术有限公司 数据库的数据读写方法及装置
CN111866176A (zh) * 2020-08-04 2020-10-30 蝉鸣科技(西安)有限公司 一种ftp/ftps分布式文件传输方法、装置及计算机存储介质
CN116301561A (zh) * 2021-12-14 2023-06-23 中兴通讯股份有限公司 分布式系统的数据处理方法、系统、节点和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221517A (zh) * 2007-01-10 2008-07-16 国际商业机器公司 在数据处理系统的分区之间交易资源的装置、系统和方法
CN101370030A (zh) * 2008-09-24 2009-02-18 东南大学 基于内容复制的资源负载平衡方法
WO2010124024A2 (en) * 2009-04-24 2010-10-28 Microsoft Corporation Dynamic placement of replica data
CN102111438A (zh) * 2010-12-24 2011-06-29 华为技术有限公司 参数调整方法、装置和分布式计算平台系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6029230A (en) * 1996-10-22 2000-02-22 International Business Machines Corporation Data storage library with media destaging and prestaging for improved response time
US6952737B1 (en) * 2000-03-03 2005-10-04 Intel Corporation Method and apparatus for accessing remote storage in a distributed storage cluster architecture
US8095704B2 (en) * 2003-01-13 2012-01-10 Sierra Logic Integrated-circuit implementation of a storage-shelf router and a path controller card for combined use in high-availability mass-storage-device shelves that may be incorporated within disk arrays
US7634614B2 (en) * 2003-01-13 2009-12-15 Sierra Logic Integrated-circuit implementation of a storage-shelf router and a path controller card for combined use in high-availability mass-storage-device shelves and that support virtual disk formatting
US7624158B2 (en) * 2003-01-14 2009-11-24 Eycast Inc. Method and apparatus for transmission and storage of digital medical data
US20050015430A1 (en) * 2003-06-25 2005-01-20 Rothman Michael A. OS agnostic resource sharing across multiple computing platforms
US20080140469A1 (en) * 2006-12-06 2008-06-12 International Business Machines Corporation Method, system and program product for determining an optimal configuration and operational costs for implementing a capacity management service
JP5320678B2 (ja) * 2007-02-20 2013-10-23 日本電気株式会社 データ分散格納システム及びデータ分散方法、それに用いる装置並びにそのプログラム
US8028137B2 (en) * 2007-12-20 2011-09-27 Seagate Technology Llc System and method of selective data mirroring in a data storage device
US8954976B2 (en) * 2008-07-10 2015-02-10 Juniper Networks, Inc. Data storage in distributed resources of a network based on provisioning attributes
US8099402B2 (en) * 2008-07-10 2012-01-17 Juniper Networks, Inc. Distributed data storage and access systems
US9454444B1 (en) * 2009-03-19 2016-09-27 Veritas Technologies Llc Using location tracking of cluster nodes to avoid single points of failure
US8250283B1 (en) * 2009-05-22 2012-08-21 Google Inc. Write-distribute command for RAID mirroring
EP2387200B1 (en) * 2010-04-23 2014-02-12 Compuverde AB Distributed data storage
US8989186B2 (en) * 2010-06-08 2015-03-24 Brocade Communication Systems, Inc. Virtual port grouping for virtual cluster switching
US20120317249A1 (en) * 2011-06-13 2012-12-13 Salsburg Michael A Methods and systems for extreme capacity management
US9185054B2 (en) * 2010-09-15 2015-11-10 Oracle International Corporation System and method for providing zero buffer copying in a middleware machine environment
KR20120072909A (ko) * 2010-12-24 2012-07-04 주식회사 케이티 내용 기반 중복 방지 기능을 가지는 분산 저장 시스템 및 그 오브젝트 저장 방법 및 컴퓨터에 의하여 독출가능한 저장 매체
KR101585146B1 (ko) * 2010-12-24 2016-01-14 주식회사 케이티 오브젝트를 복수 개의 데이터 노드들의 위치에 기반하여 분산 저장하는 분산 저장 시스템 및 그 위치 기반 분산 저장 방법 및 컴퓨터에 의하여 독출 가능한 저장 매체
WO2012089727A1 (en) * 2010-12-27 2012-07-05 Amplidata Nv A distributed object storage system comprising low power storage nodes
KR101502896B1 (ko) * 2011-02-14 2015-03-24 주식회사 케이티 맵 리듀스를 이용한 분산 메모리 클러스터 제어 장치 및 방법
US8977735B2 (en) * 2011-12-12 2015-03-10 Rackspace Us, Inc. Providing a database as a service in a multi-tenant environment
CN102546782B (zh) * 2011-12-28 2015-04-29 北京奇虎科技有限公司 一种分布式系统及其数据操作方法
US9378075B2 (en) * 2013-05-15 2016-06-28 Amazon Technologies, Inc. Reducing interference through controlled data access

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101221517A (zh) * 2007-01-10 2008-07-16 国际商业机器公司 在数据处理系统的分区之间交易资源的装置、系统和方法
CN101370030A (zh) * 2008-09-24 2009-02-18 东南大学 基于内容复制的资源负载平衡方法
WO2010124024A2 (en) * 2009-04-24 2010-10-28 Microsoft Corporation Dynamic placement of replica data
CN102111438A (zh) * 2010-12-24 2011-06-29 华为技术有限公司 参数调整方法、装置和分布式计算平台系统

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013097674A1 (zh) * 2011-12-28 2013-07-04 北京奇虎科技有限公司 一种分布式系统及其数据操作方法
CN103634350A (zh) * 2012-08-24 2014-03-12 阿里巴巴集团控股有限公司 一种存储系统及其实现方法
CN103634350B (zh) * 2012-08-24 2017-05-17 阿里巴巴集团控股有限公司 一种存储系统及其实现方法
CN103631820B (zh) * 2012-08-27 2017-09-12 阿里巴巴集团控股有限公司 分布式文件系统的元数据管理方法及设备
CN103631820A (zh) * 2012-08-27 2014-03-12 阿里巴巴集团控股有限公司 分布式文件系统的元数据管理方法及设备
CN103678360A (zh) * 2012-09-13 2014-03-26 腾讯科技（深圳）有限公司 一种分布式文件系统的数据存储方法和装置
CN103403666A (zh) * 2012-12-21 2013-11-20 华为技术有限公司 分布式存储控制方法、装置及系统
WO2014094296A1 (zh) * 2012-12-21 2014-06-26 华为技术有限公司 分布式存储控制方法、装置及系统
CN103403666B (zh) * 2012-12-21 2016-03-09 华为技术有限公司 分布式存储控制方法、装置及系统
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN103152395B (zh) * 2013-02-05 2015-12-09 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN103347055B (zh) * 2013-06-19 2016-04-20 北京奇虎科技有限公司 云计算平台中的任务处理系统、设备及方法
CN103347055A (zh) * 2013-06-19 2013-10-09 北京奇虎科技有限公司 云计算平台中的任务处理系统、设备及方法
WO2015067044A1 (zh) * 2013-11-07 2015-05-14 华为技术有限公司 一种数据压缩方法及存储系统
US10055134B2 (en) 2013-11-07 2018-08-21 Huawei Technologies Co., Ltd. Data compression method and storage system
CN103631873B (zh) * 2013-11-07 2017-12-12 华为技术有限公司 一种数据压缩方法及存储系统
CN105723338B (zh) * 2013-11-12 2019-05-17 微软技术许可有限责任公司 构建虚拟主板和虚拟存储设备
CN105723338A (zh) * 2013-11-12 2016-06-29 微软技术许可有限责任公司 构建虚拟主板和虚拟存储设备
US10841234B2 (en) 2013-11-12 2020-11-17 Microsoft Technology Licensing, Llc Constructing virtual motherboards and virtual storage devices
CN104702654A (zh) * 2014-02-25 2015-06-10 杭州海康威视数字技术股份有限公司 基于视频云存储系统的存储与提取性能平衡的方法与装置
CN104702654B (zh) * 2014-02-25 2019-04-30 杭州海康威视数字技术股份有限公司 基于视频云存储系统的存储与提取性能平衡的方法与装置
CN104063486B (zh) * 2014-07-03 2017-07-11 四川中亚联邦科技有限公司 一种大数据分布式存储方法和系统
CN104063486A (zh) * 2014-07-03 2014-09-24 四川中亚联邦科技有限公司 一种大数据分布式存储方法和系统
WO2016062144A1 (zh) * 2014-10-24 2016-04-28 中兴通讯股份有限公司 管理应用节点的方法、系统及汇总节点
WO2016095760A1 (zh) * 2014-12-18 2016-06-23 华为技术有限公司 数据动态重分布的方法、数据节点、名字节点及系统
CN104486438A (zh) * 2014-12-22 2015-04-01 华为技术有限公司 分布式存储系统的容灾方法及装置
CN104486438B (zh) * 2014-12-22 2019-02-19 华为技术有限公司 分布式存储系统的容灾方法及装置
CN104796494A (zh) * 2015-05-08 2015-07-22 成都博元科技有限公司 一种云平台数据传输方法
CN106484311A (zh) * 2015-08-31 2017-03-08 华为数字技术（成都）有限公司 一种数据处理方法及装置
CN106484311B (zh) * 2015-08-31 2019-07-19 华为数字技术（成都）有限公司 一种数据处理方法及装置
CN107786593A (zh) * 2016-08-25 2018-03-09 阿里巴巴集团控股有限公司 任务部署方法、实例部署方法、装置及设备
CN106375382A (zh) * 2016-08-26 2017-02-01 苏州蓝海彤翔系统科技有限公司 数据分配的方法、系统、控制服务器及节点客户端
CN106802776A (zh) * 2017-01-19 2017-06-06 郑州云海信息技术有限公司 一种映射文件到实际物理存储的方法
CN107037987A (zh) * 2017-04-01 2017-08-11 北京华云网际科技有限公司 对分布式存储系统中卷的处理方法和装置
CN108737476A (zh) * 2017-04-21 2018-11-02 杭州海康威视数字技术股份有限公司 云存储系统、媒体数据存储方法及系统
CN109032610A (zh) * 2017-06-08 2018-12-18 杭州海康威视数字技术股份有限公司 一种程序包部署方法、电子设备及分布式系统
CN109032610B (zh) * 2017-06-08 2024-04-09 杭州海康威视数字技术股份有限公司 一种程序包部署方法、电子设备及分布式系统
CN107562380A (zh) * 2017-08-28 2018-01-09 郑州云海信息技术有限公司 一种raid2.0的数据块分配方法及装置
WO2019104981A1 (zh) * 2017-11-30 2019-06-06 平安科技（深圳）有限公司 数据访问方法、电子装置及可读存储介质
CN108009260A (zh) * 2017-12-11 2018-05-08 西安交通大学 一种大数据存储下结合节点负载和距离的副本放置方法
CN108009260B (zh) * 2017-12-11 2020-10-27 西安交通大学 一种大数据存储下结合节点负载和距离的副本放置方法
CN110389828A (zh) * 2018-04-18 2019-10-29 爱思开海力士有限公司 计算系统和包括计算系统的数据处理系统
US11829802B2 (en) 2018-04-18 2023-11-28 SK Hynix Inc. Computing system and data processing system including a computing system
US11768710B2 (en) 2018-04-18 2023-09-26 SK Hynix Inc. Computing system and data processing system including a computing system
CN110389828B (zh) * 2018-04-18 2023-08-01 爱思开海力士有限公司 计算系统和包括计算系统的数据处理系统
CN111159131A (zh) * 2018-11-07 2020-05-15 中兴通讯股份有限公司 性能优化方法、装置、设备及计算机可读存储介质
CN113396566A (zh) * 2019-04-16 2021-09-14 阿里巴巴集团控股有限公司 分布式存储系统中基于全面i/o监测的资源分配
CN110399353B (zh) * 2019-06-29 2021-10-22 苏州浪潮智能科技有限公司 一种目录数据池信息及数据池选择策略的设置方法及系统
CN110399353A (zh) * 2019-06-29 2019-11-01 苏州浪潮智能科技有限公司 一种目录数据池信息及数据池选择策略的设置方法及系统
CN112307113A (zh) * 2019-07-29 2021-02-02 中兴通讯股份有限公司 一种业务请求消息发送方法及分布式数据库架构
CN110809030B (zh) * 2019-10-17 2022-08-09 浙江大华技术股份有限公司 网络流量控制方法、装置、编解码器及存储装置
CN110809030A (zh) * 2019-10-17 2020-02-18 浙江大华技术股份有限公司 网络流量控制方法、装置、编解码器及存储装置
CN111182026A (zh) * 2019-11-27 2020-05-19 武汉常恒科技有限公司 一种智能云盒子
CN111309796A (zh) * 2020-02-07 2020-06-19 腾讯科技（深圳）有限公司 一种数据处理方法、装置以及计算机可读存储介质
CN111309796B (zh) * 2020-02-07 2023-09-26 腾讯科技（深圳）有限公司 一种数据处理方法、装置以及计算机可读存储介质
CN114979180A (zh) * 2022-05-24 2022-08-30 超聚变数字技术有限公司 数据同步方法、系统及设备
CN114979180B (zh) * 2022-05-24 2024-05-17 超聚变数字技术有限公司 数据同步方法、系统及设备
CN115118761A (zh) * 2022-07-15 2022-09-27 济南浪潮数据技术有限公司 一种数据存储方法、装置、设备及介质
CN116663066A (zh) * 2023-07-28 2023-08-29 宁德时代新能源科技股份有限公司 数据访问方法、设备及存储介质
CN116663066B (zh) * 2023-07-28 2024-02-23 宁德时代新能源科技股份有限公司 数据访问方法、设备及存储介质

Also Published As

Publication number Publication date
US10154089B2 (en) 2018-12-11
CN102546782B (zh) 2015-04-29
WO2013097674A1 (zh) 2013-07-04
US20150052214A1 (en) 2015-02-19

Similar Documents

Publication Publication Date Title
CN102546782A (zh) 一种分布式系统及其数据操作方法
US10394611B2 (en) Scaling computing clusters in a distributed computing system
US9020802B1 (en) Worldwide distributed architecture model and management
Rao et al. Performance issues of heterogeneous hadoop clusters in cloud computing
US20170329528A1 (en) Efficient data volume replication for block-based storage
US20170206260A1 (en) Reducing data volume durability state for block-based storage
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其系统
CN102611735A (zh) 一种应用服务的负载均衡方法及系统
CN104965850A (zh) 一种基于开源技术的数据库高可用实现方法
CN102142032B (zh) 一种分布式文件系统的数据读写方法及系统
CN102111438B (zh) 参数调整方法、装置和分布式计算平台系统
US20130031221A1 (en) Distributed data storage system and method
CN103186554A (zh) 分布式数据镜像方法及存储数据节点
CN102609446A (zh) 一种分布式Bloom过滤系统及其使用方法
CN110321225A (zh) 负载均衡方法、元数据服务器及计算机可读存储介质
CN104142871B (zh) 用于数据备份的方法、装置和分布式文件系统
CN104715044A (zh) 一种分布式系统及其数据操作方法
CN102982116A (zh) 基于云的多媒体转换方法及系统
Honnutagi The Hadoop distributed file system
Sadooghi et al. Fabriq: Leveraging distributed hash tables towards distributed publish-subscribe message queues
Zhang et al. Cost-effective and traffic-optimal data placement strategy for cloud-based online social networks
CN105574008A (zh) 应用于分布式文件系统的任务调度方法和设备
CN110209693A (zh) 高并发数据查询方法、装置、系统、设备及可读存储介质
CA2874129A1 (en) Host optimization for network accessible software
CN104850548B (zh) 一种实现大数据平台输入/输出处理的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant