CN102301367A - 分布式数据存储 - Google Patents

分布式数据存储 Download PDF

Info

Publication number
CN102301367A
CN102301367A CN2009801420229A CN200980142022A CN102301367A CN 102301367 A CN102301367 A CN 102301367A CN 2009801420229 A CN2009801420229 A CN 2009801420229A CN 200980142022 A CN200980142022 A CN 200980142022A CN 102301367 A CN102301367 A CN 102301367A
Authority
CN
China
Prior art keywords
data
memory node
memory
node
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801420229A
Other languages
English (en)
Other versions
CN102301367B (zh
Inventor
克里斯蒂安·梅兰德
斯特凡·贝恩博
古斯塔夫·佩特森
罗杰·佩尔松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ILT PRODUCTIONS AB
Original Assignee
ILT PRODUCTIONS AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ILT PRODUCTIONS AB filed Critical ILT PRODUCTIONS AB
Publication of CN102301367A publication Critical patent/CN102301367A/zh
Application granted granted Critical
Publication of CN102301367B publication Critical patent/CN102301367B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G06F15/17331—Distributed shared memory [DSM], e.g. remote direct memory access [RDMA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
    • G06F11/1662—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit the resynchronized component or unit being a persistent storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/184—Distributed file systems implemented as replicated file system
    • G06F16/1844—Management specifically adapted to replicated file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/40—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及一种包括多个存储节点的分布式数据存储。使用单播和多播传送，服务器应用可在存储系统中读和写数据。每个存储节点可以监控系统上的读和写操作以及其他存储数据的状态。以此方式，存储节点可检测出系统中的文件复制需求，并可以执行复制过程，复制过程用于在不同的地理位置处保持具有正确版本的、充足数量的文件副本的存储。

Description

分布式数据存储
技术领域
本公开涉及在包括多个数据存储节点的数据存储系统中写数据和保持数据的方法，此方法被应用在服务器和数据存储系统中的存储节点中。本公开还涉及能够执行此方法的存储节点和服务器。
背景技术
类似方法已在例如美国2005/0246393A1中被公开。此方法被公开，用于一种在不同地理位置使用多个存储中心的系统。分布式对象存储管理器被包括来保存关于所存储数据的信息。
与此系统相关的一个问题是如何完成简单和尚健全和可靠的写数据和保持数据。
发明内容
因此本公开的一个目标在于在分布式存储系统中实现健全的写数据或保持数据，而不使用集中保持服务器，其自身可以是系统中的弱连接。这个目标的实现是通过最初提到的方法，该方法在存储节点中完成，并包括：监控系统中其他存储节点的状态和在数据存储系统中执行的写操作；基于监控，检测数据存储系统中的情况，其意指在数据存储系统中的节点之间对数据复制的需求，并且如果此情况被检测到，则开始复制过程。该复制过程包含发送多播消息到多个存储节点，消息查询这些存储节点中的哪些存储了具体数据。
通过定义这样的方法，每个存储节点都可作用于整个系统的数据保持。如果一存储节点故障，其数据可以通过系统中的其他节点恢复，系统可以因此认为其自我恢复。
监控可以包含聆听来自系统中其他存储节点的心跳(heartbeat)信号。意指复制需求的条件则是出故障的存储节点。
数据包含了文件，且意指复制需求的条件可以为文件删除或文件不一致中的一种。
包含需要复制的文件的复制列表可以被保持并可以包含优先级。
复制过程可以包括：发送多播消息到多个存储节点，要求查询那些存储节点中的哪些存储了具体数据，从那些存储节点接收含有该具体数据的响应，确定所述具体数据是否存储在充足数量的存储节点上，并且，如果没有，选择至少一个另外的存储节点并传送所述具体数据到该存储节点。此外，含有其过时版本的存储节点上的具体数据可以被更新。
另外，复制过程可以开始于所述存储节点试图在系统的所有存储节点中获得待被复制的文件主控权。
监控还可以包含监控在数据存储系统中执行的读取操作。
本公开还涉及一种数据存储节点，该存储节点用于执行与所述方法相对应的数据保持。存储节点则通常包括用于执行方法的动作的装置。
目标的实现同样是利用最初提到的那种将写数据到数据存储系统的方法，该方法在运行访问数据存储系统中的数据的应用的服务器中被完成。该方法包括：发送多播存储查询到多个存储节点，接收来自该存储节点的子集的多个响应，该响应包含涉及每个服务器的地理位置的地理数据，基于该响应选择所述子集中的至少两个存储节点，发送数据和对应于该数据的数据标识符到选择的存储节点。
此方法在地理多样化以有效方式实现的意义上，完成健全的写数据。
地理位置可以包含所涉及的(in question)存储节点的经度和纬度，响应还可以包含所涉及的系统负载和/或存储节点的系统寿命。
多播存储查询可以包括识别待被存储的数据的数据标识符。
典型的，至少三个节点可以被选择用来存储，并且成功地存储数据的存储节点列表可以被发送到所选择的存储节点。
本公开还涉及一种服务器，用来实现相应于所述方法的写数据。服务器通常包括用于实现方法的动作的装置。
附图简述
图1说明分布式数据存储系统。
图2A-2C和图3说明数据读取过程。
图4A-4C和图5说明数据写过程。
图6按图示说明多个文件被存储到多个数据存储节点的情况。
图7说明心跳信号的传送。
图8为数据保持过程的概况。
具体描述
本公开涉及一种包括多个存储节点的分布式数据存储系统。系统结构及其使用环境如图1概述。
用户计算机1通过互联网3访问在服务器7上运行的应用程序5。如此处说明，因而用户环境是常规客户端-服务器配置，其本身被熟知。然而，需要注意的是，要被公开的此数据存储系统也可以用于其它配置。
在说明的例子中，两个应用程序5、9在服务器7上运行。当然，但是，这些数量的应用程序可以是不同的。每一个应用程序有应用程序接口(API)11，该应用程序接口提供关于分布式数据存储系统13的接口并支持请求，典型的，是来自运行在服务器上的应用程序的写和读请求。从应用程序的角度，来自/到数据存储系统13的读或写信息不需要在使用其它任何种类的存储解决方案方面体现出不同，例如文件服务器或简单的硬件驱动。
每一个API 11与在存储系统13中的存储节点15通信，并且存储节点之间互相进行通信。这些通信基于传输控制协议(TCP)和用户数据报协议(UDP)。这些概念技术人员熟知，并在此不做进一步解释。
值得注意的是，在同一个服务器7上的不同的API 11可以访问不同系列的存储节点15。还值得注意的是，可以存在比一个更多的服务器7来访问每一个存储节点15。但是这不会任何更大程度地影响存储节点的运转方式，如以后将被详述的。
分布式数据存储系统的组件为存储节点15和API 11，在服务器7中，其访问存储节点15。因此本公开涉及在服务器7中和在存储节点15中实现的方法。那些方法最初会被实施为分别运行在服务器和存储节点上的软件安装，且共同确定整个分布式数据存储系统的运转和属性。
存储节点15可以典型地由文件服务器包含，文件服务器被提供有多个功能模块。存储节点因此可以包括存储介质17，该存储介质典型地包括多个硬件驱动，并可选择地被配置为RAID(独立磁盘冗余数组)系统。然而也可想到其他形式的存储媒介。
存储节点15可以还包含目录19，该目录包括一些数据实体/存储节点关系的列表作为主列表(host list)，如在以后将讨论的。
除主列表外，每一个存储节点还含有一个节点列表，该列表包含在存储节点的其集合或组中的全部存储节点的IP地址。组中的存储节点数量可以在几个到几百个存储节点间变化。节点列表可以还具有一个版本号。
此外，存储节点15可以包含一个复制模块21和一个群集监视器模块23。复制模块21包含一个存储节点API 25，并被配置成用来执行识别需求和实现复制过程的功能，此将在以后用细节详述。复制模块21的存储节点API 25含有的节点可以最大程度地与服务器7的存储节点API 11的节点对应，同时复制过程包括的功能最大程度地与服务器7在被描述的读和写操作期间所实现的功能保持对应。例如，复制过程中执行的写操作最大程度地与服务器7实现的写操作相对应。群集监视器模块23配置成实现监控在数据存储系统13中的其他存储节点，此将在以后用细节详述。
分布式数据存储系统的存储节点15可被考虑存在于同一层次级。不需要指定任何主存储节点来负责保持存储数据实体的目录和监控数据一致性，等。反而，所有存储节点15可被认为是等同的，以及有时可以相对于系统中的其他存储节点实现数据管理操作。这个等式保证系统的健全。如果一个存储节点出故障，系统中的其他存储节点将掩盖出故障的节点并保证可靠的数据存储。
系统操作将按以下顺序阐述：读数据，写数据，以及数据保持。即使这些方法一起奏效，值得注意的是它们可以原则上互相独立实现。即，例如数据读取方法可以提供很好的属性，即使本公开的数据写方法没有被用到，反之亦然。
读取的方法现在根据图2A-2C和3进行阐述，后者是用于说明方法的流程图。
像系统中的其他功能一样，读取的操作利用多播通信与多个存储节点同时进行通信。通过多播或IP多播这里意为点到多点的通信，该通信通过发送消息到IP地址来完成，该地址保留在多播应用程序中。
比如，典型地为一个要求的消息被发送到这样的IP地址(例如，244.0.0.1)，并且多个接收服务器被注册为该IP地址的用户。每个接收服务器拥有自己的IP地址。当网络中的交换机接收到指向244.0.0.1的消息时，交换机将该消息转发到每个注册为用户的服务器的IP地址。
原则上，对于多播地址，只有一个服务器可以注册为用户，在该情况下完成点对点的通信。然而，在本公开的情况下，这样的通信仍考虑为多播通信，因为多播方案已被运用。
参照具有单个接收方的通信，也使用单播通信。
根据图2A和图3，该方法用于从一个数据存储系统中检索数据，该方法包括发送31多播查询到多个存储节点15。在说明示例中有五个存储节点，每个存储节点具有一IP(互联网协议)地址192.168.1.1，192.168.1.2，等。无需多说，存储节点的数量只是一个例子。查询包括数据标识符“2B9B4A97-76E5-499E-A21A6D7932DD7927”，该标识符可以例如为通用唯一标识符UUID，就其本身而言被熟知。
存储节点扫描自身以获得对应标识符的数据。如果这样的数据被找到，则存储节点发送响应，该响应被服务器7接收33，如图2B。如说明中的，响应还可以有选择地含有除表示存储节点具有相关数据的复本以外的其它信息。具体地说，响应可以含有从存储节点目录来的关于含有数据的其他存储节点的信息、关于哪个版本的数据被包含于存储节点的信息、以及关于存储节点目前暴露于哪个负载的信息。
基于该响应，服务器选择35从其检索数据的一个或多个存储节点，并发送37对数据的单播请求到那个/那些存储节点，如图2C。
响应于对数据的请求，存储节点用单播发送相关数据到接收39数据的服务器。在图示例中，仅有一个存储节点被选择。虽然这已经足够，但为了接收两组数据来使一致性检查成为可能，可以选择多于一个的存储节点。如果数据传输失败，服务器可以选择另外的存储节点来检索。
存储节点的选择可以基于一种算法，该算法考虑若干因子以便达到良好的全系统效果。典型的，具有最新的数据版本和最低负载的存储节点将被选择，尽管其他概念也全部可以想到。
可选择地，通过服务器发送列表到包含在内的所有存储节点，可推断出操作，表明了哪些节点含有数据和用哪个版本，可以由此得出结果。基于这些信息，存储节点可以通过将被描述的复制过程，正确地自己保持数据。
图4A-4C和图5说明分布式数据存储系统的数据写过程。
根据图4A和图5，该方法包括服务器发送41多播存储查询到多个存储节点。存储查询包括数据标识符且主要包括的问题是接收存储节点是否能够保存此文件。可选择地，存储节点可以检查它们的内部目录查看其是否已有这个名字的文件，以及在不太可能的情况下可以通知服务器7是此情况，从而服务器可以重命名文件。
在任何情况下，至少存储节点的子集可以通过单播传送提供到服务器7的响应。典型的，具有预定的最小空余磁盘空间的存储节点回答查询。服务器7接收43响应，该响应包含与每个服务器的地理位置有关的地理数据。例如，如图4B所示，地理数据可以包含每个服务器的经度、纬度和高度。然而，其他种类的地理数据也可以被想到，如邮编或类似物。
除地理数据外，更多的信息可以被提供，其用作对存储节点选择过程的输入。在说明示例中，每个存储节点的空余空间量与存储节点系统的寿命指示和存储节点现在经受的负载的指示一起被提供。
基于接收的响应，服务器在子集中选择45至少两个存储节点，在典型的实施方式为三个存储节点，用于存储数据。存储节点的选择通过考虑不同数据的算法的方式来实现。该选择的实现用来获得某种地理多样性。至少可以优选地避免只有同一栈中的文件服务器被选择作为存储节点。典型的，可获得一种好的地理多样性，即使在不同板块中选择存储节点。除地理多样性外，其他因素可以包含在选择算法中。只要达到最小的地理多样性，空余空间、系统寿命和现在的负载都可以被考虑其中。
当存储节点被选出时，待存储的数据和对应的数据标识符将被发送到每个选择的节点，典型地使用单播传送。
可选择性的，操作可以通过每个存储节点结束，所述存储节点已成功执行写操作，以及发送确认到服务器。服务器紧接着发送列表到所涉及的所有存储节点，表明哪些节点成功地写数据和哪些没有成功地写数据。基于这个信息，存储节点可以自己通过复制过程正确的保持数据，此将被详述。例如，如果一个存储节点的写操作失败，则需要复制文件到另外一个存储节点，以便用于该文件的期望数量的存储节点。
数据写方法本身允许在服务器7中的API以一种非常健全的方式来存储数据，从而可以提供很好的地理多样性。
除了写和读操作外，服务器7中的API可以实现删除文件和更新文件的操作。这些过程将在以下结合数据保持过程被详述。
数据保持过程的目的在于确保有合理数量的无故障存储节点，每个存储节点存储每个文件的最新版本。此外，可以提供无删除文件存储到任何存储节点的功能。保持由存储节点自身实现。这里因此不需要专用的“主控”来负责数据存储的保持。这确保作为“主控”的提高的可靠性可能在其他方面成为系统的弱点。
图6按图示说明了多个文件存储到多个数据存储节点中的情况。在图例中，12个节点具有从192.168.1.1到192.168.1.12的连续编号的IP地址，该12个节点被描述以用于说明。然而无须多说，IP地址编号根本不需要在同一范围内。节点以环形顺序排列仅为简便阐述，也就是说，节点不需要具有特定的顺序。每个节点存储一个或两个被识别的文件，为了简便的目的，以字母A-F来标识。
根据图8，保存数据的方法包括检测51数据存储系统的情况以及复制过程53，所述情况意指数据存储系统中节点之间复制数据的需求。检测过程51的结果是文件列表55，对于其识别复制需求。该列表还可以包括关于不同复制需求的优先级的数据。基于该列表，复制过程53被实现。
分布式存储的健全性依靠于每份文件的合理数量的副本、正确的版本存储在系统中。在说明的例子中，每份文件的三份副本被存储。然而，例如，如果地址为192.168.1.5的存储节点出现错误，则预期数量的文件存储副本“B”和“C”将不能被满足。
一个导致复制需求的事件因此为系统中存储节点的故障。
系统中的每个存储节点可以监控系统中其他存储节点的状态。这可以通过让每个存储节点每隔一定时间发出所谓的心跳信号来实现，如图7所说明的。在说明的例子中，地址为192.168.1.7的存储节点发出多播信号57到系统中的其他存储节点，表明该存储节点工作正常。这个信号可以被系统中的执行心跳监控59(如图8)的所有其他运行的存储节点或存储节点的子集接收。然而，在存储节点的地址为192.168.1.5的情况下，该存储节点有故障且不发送任何心跳信号。因此，其他存储节点将察觉此节点长时间没有发出任何心跳信号，由此表明问题中提到的存储节点不运转。
除存储节点的地址外，心跳信号还可以包含它的节点列表版本号。另外的存储节点聆听心跳信号以及发现传送的存储节点具有后续版本的节点列表，该另外的存储节点然后可以要求那个传送的存储节点传送它的节点列表。这意味着通过添加和移除存储节点以及发送新的节点列表版本到一个信号存储节点，可以简单地获取存储节点的添加和移除。此节点列表然后将传到系统中的所有其他的存储节点。
再根据图8，每个存储节点搜索61其内部目录来寻找文件，该文件被故障存储节点存储。自身存储了文件“B”和“C”的存储节点将找到故障存储节点，并因此能够添加相应的文件到它们的列表55.
检测过程然而也同样揭示意指复制文件需求的其他条件。典型的这类的情况可能不一致，也就是说，一个或更多的存储节点具有文件的作废版本。删除操作同样意指复制过程，因为这个过程可以实现文件的实际物理删除。服务器的删除操作然后仅需要确保存储节点为问题中提到的文件设置删除标志。每个节点可以因此监控在数据存储系统中实现的读和写操作。信息在读和写操作完成后由服务器7提供，该信息分别可以表明一个存储节点含有文件的作废版本(在读操作的情况下)或是存储节点不能成功地实现写操作。在这两种情况下，需要通过复制保持数据，从而使保持过程的整体目标得以实现。
除基本的读和写操作63、65之外，至少两个额外的过程还可以提供存在复制需求的指示，即，现在给出简要解释的删除67和更新69过程。
删除过程由服务器7开始(如图1)。类似于读过程，服务器以多播形式发送查询到所有存储节点，以便找出哪个存储节点具有具体数据标识符的数据。存储节点浏览自身寻找具有相关标识符的数据，且如果它们具有问题中提到的数据则用单播传输响应。响应可以包含含有数据的其他存储节点的列表，该列表来自存储节点目录。服务器7然后发送单播请求到被考虑存储被删除文件的存储节点。每个存储节点设置关于文件的标志并标明其应被删除。文件然后被加入复制列表，并发送确认到服务器。复制过程然后物理地删除文件，如将被详述的。
更新过程具有类似于其中删除过程中的寻找功能的寻找功能和类似于在写过程中实现的写功能的写功能。服务器通过多播到所有存储节点来发送查询，以便找出哪个存储节点具有带有具体标识符的数据。存储节点扫描自身来寻找具有相关标识符的数据，且如果它们具有所涉及的数据，则用单播传输来响应。响应可以包含含有数据的其他存储节点的列表，该列表来自存储节点目录。服务器7然后发送单播请求，告知存储节点来更新数据。请求当然含有被更新的数据。更新数据的存储节点发送确认到服务器，该服务器通过发送单播传输来响应，该单播传输含有成功更新数据的存储节点和未更新数据的存储节点的列表。此外，保持过程可使用此列表。
再根据图8，读取63操作、写65操作、删除67操作、和更新69操作都可以表明复制需求的存在。同样适用于心跳监控59。整个检测过程51因此根据哪些文件需要被复制来生成数据。例如，读取操作或是更新操作可以揭示具体存储节点含有作废版本的文件。删除过程可以为具体文件设置删除标志。心跳监控可以揭示存储在故障存储节点上的多个文件需要被复制到新的存储节点。
每个存储节点监控所有文件的复制需求，该文件存储和保持复制列表55。复制列表55因此含有需要被复制的多个文件。文件可以根据每个复制的优先级排序。典型的，这里可以有三种不同的优先级水平。最高水平是为存储节点保存其最新联机副本的文件保留的。这类文件需要迅速复制到其他存储节点，以便可达到合理水平的冗余。中等水平的优先级可以涉及存储节点中版本不一致的文件。低水平的优先级可以涉及存储在故障存储节点上的文件。
存储节点根据它们的优先级水平处理复制列表55上的文件。复制过程现在关于存储节点被描述，存储节点在这里被称为操作存储节点，虽然所有的存储节点都可以这种方式被操作。
保持过程的复制部分53由操作存储节点试图71成为其想要复制的文件的主控开始。操作存储节点发送单播请求来成为其他存储节点的主控，已知其他存储节点存储了问题中提到的文件。目录19(如图1)提供主列表，该主列表包括关于询问哪些存储节点的信息。如果，例如一旦有冲突请求，则其中一个存储节点不能做出肯定的响应，文件会被暂时返回列表，而以列表中的下一个文件替代来进行尝试。否则操作存储节点会被考虑作为这个文件的主控，以及其他存储节点设置标志，表示操作存储节点为问题中提到的文件的主控。
下一步为在分布式存储系统中找到73所涉及的文件的所有副本。这可以通过操作存储节点发送多播查询到所有存储节点、询问它们中的哪些节点具有文件来实现。具有文件的存储节点为查询提交响应，包含它们保持的文件版本以及其主列表，主列表也就是含有保持在每个存储节点列表中的目录中的相关文件的存储节点的列表。这些主列表然后由操作存储节点合并75，从而主控主列表根据所有取回的主列表的集合而形成。如果找到额外的存储节点，当操作存储节点试图成为主控时，该存储节点没有被访问，则此步骤可以现在对于额外的存储节点进行重复。主控主列表含有信息，该信息是关于不同的存储节点保持哪个版本的文件和说明整个存储系统之内的文件的状态。
如果操作存储节点不具有所涉及的文件的最新版本，则该文件然后从具有最新版本的存储节点中的一个被取回77。
典型地，如果应添加额外的存储节点，操作存储节点则决定79是否需要更改主列表。如果是这样，操作存储节点可以实现非常类似写过程的过程，所述写过程由服务器实现，并在有关图4A-4C和图5中被详述。这个过程的结果是文件被写到新的存储节点。
如果发生版本不一致，操作存储节点可以更新81储存在其他存储节点的文件副本，从而使所存储的所有文件具有正确的版本。
存储文件的多余副本可以被删除83。如果复制过程由删除操作开始，过程可以直接跳到这个步骤。然后，一旦所有存储节点接受了文件删除，操作存储节点简单地利用单播来请求所有存储节点物理地删除所涉及的文件。存储节点确认文件已被删除。
另外的状态，也就是说，文件的主控主列表被更新。之后可能可选择地重复步骤73-83来确保复制需求不再存在。该复制导致在步骤85中不需要更新的一致的主控主列表。
此后，那个文件的复制过程结束，以及操作存储节点可以通过发送对应的消息到主列表上的所有其他存储节点，来释放87状态作为文件的主控。
在此系统中，每个存储节点负责保持其在整个存储节点集合中存储的所有文件，该系统提供一种具有很好可靠性的(在存储节点故障情况下的)自修复(在文件不一致或文件被删除情况下的)自清洁系统。该系统具有简单的可扩展性以及能够同时存储用于大量不同应用的文件。
本发明不限制具体公开的示例，以及可以在所附权利要求的范围内以不同的方式进行变化和更改。

Claims (18)

1.一种在数据存储系统中保持数据的方法，所述数据存储系统包括多个数据存储节点，所述方法在所述数据存储系统的存储节点中被使用并包括：
-监控(59)所述系统中的其他存储节点的状态以及在所述数据存储系统中执行的写操作(65、67、69)；
-基于所述监控，检测(51)所述数据存储系统中的条件，该条件意指所述数据存储系统中的所述节点之间的数据复制需求；以及
-如果这样的条件被检测到，则开始复制过程(53)，其中所述复制过程包括发送多播消息到多个存储节点，所述消息查询这些存储节点中的哪些节点存储具体数据。
2.根据权利要求1所述的方法，其中所述监控包括聆听(59)来自所述系统中的其他存储节点的心跳信号，以及其中意指复制需求的条件为出故障的存储节点。
3.根据权利要求1或2所述的方法，其中所述数据包括文件，且条件为文件删除或文件不一致中的一种。
4.根据任一前述权利要求所述的方法，其中保持一复制列表，该复制列表包括需要复制的文件。
5.根据权利要求4所述的方法，其中所述复制列表包括优先级。
6.根据任一前述权利要求所述的方法，其中所述复制过程还包括：
-从包含所述具体数据的那些存储节点接收响应；
-确定所述具体数据是否存储在充足数量的存储节点上；以及
-如果没有，则选择至少一个额外的存储节点并传送所述具体数据到该存储节点。
7.根据权利要求6所述的方法，还包括更新在包含所述具体数据的作废版本的存储节点上的所述具体数据。
8.根据权利要求6或7所述的方法，其中所述复制过程以所述存储节点试图在所述系统中的所有存储节点中获得待被复制的文件的主控权来开始。
9.根据任一前述权利要求所述的方法，其中所述监控还包括监控在所述数据存储系统中执行的读取操作(63)。
10.一种数据存储节点，用于在包括多个数据存储节点的数据存储系统中保持数据，所述数据存储节点包括：
-用于监控所述系统中的其他存储节点的状态以及在所述数据存储系统中执行的写操作的装置；
-用于基于所述监控来检测所述数据存储系统中的条件的装置，所述条件意指所述数据存储系统中的节点之间的数据复制需求；以及
-用于在这样的条件被检测到的情况下开始复制过程的装置，其中所述复制过程包括发送多播消息到多个存储节点，所述消息查询这些存储节点中的哪些节点存储具体数据。
11.一种将数据写到数据存储系统的方法，所述数据存储系统包括多个数据存储节点，该方法用在运行访问所述数据存储系统中的数据的应用的服务器中，且所述方法包括：
-发送(41)多播存储查询到多个所述存储节点；
-从所述存储节点的子集接收(43)多个响应，所述响应包括涉及每个存储节点的地理位置的地理数据；
-基于所述响应选择(45)所述子集中的至少两个存储节点；以及
-发送(47)数据和对应于该数据的数据标识符到所选择的存储节点。
12.根据权利要求11所述的方法，其中所述地理位置包括所涉及的所述存储节点的经度和纬度。
13.根据权利要求12所述的方法，其中所述响应还包括所涉及的所述存储节点的系统寿命。
14.根据权利要求12或13所述的方法，其中所述响应还包括所涉及的所述存储节点的系统负载。
15.根据权利要求12至14中任一项所述的方法，其中所述多播存储查询包括识别待被存储的数据的数据标识符。
16.根据权利要求12至15中任一项所述的方法，其中至少三个节点被选择。
17.根据权利要求12至16中任一项所述的方法，其中成功地存储所述数据的存储节点的列表被发送到所选择的存储节点。
18.一种服务器，适于将数据写到包括多个数据存储节点的数据存储系统，所述服务器包括：
-用于发送多播存储查询到多个所述存储节点的装置；
-用于从所述存储节点的子集接收多个响应的装置，所述响应包括涉及每个存储节点的地理位置的地理数据；
-用于基于所述响应选择所述子集中的至少两个存储节点的装置；以及
-用于发送数据和对应于该数据的数据标识符到所选择的存储节点的装置。
CN200980142022.9A 2008-10-24 2009-10-21 分布式数据存储 Expired - Fee Related CN102301367B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE0802277A SE533007C2 (sv) 2008-10-24 2008-10-24 Distribuerad datalagring
SE0802277-4 2008-10-24
PCT/EP2009/063796 WO2010046393A2 (en) 2008-10-24 2009-10-21 Distributed data storage

Publications (2)

Publication Number Publication Date
CN102301367A true CN102301367A (zh) 2011-12-28
CN102301367B CN102301367B (zh) 2015-01-21

Family

ID=41404359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980142022.9A Expired - Fee Related CN102301367B (zh) 2008-10-24 2009-10-21 分布式数据存储

Country Status (15)

Country Link
US (7) US8688630B2 (zh)
EP (3) EP2342663B1 (zh)
JP (1) JP5553364B2 (zh)
KR (1) KR101635238B1 (zh)
CN (1) CN102301367B (zh)
AU (1) AU2009306386B2 (zh)
BR (1) BRPI0914437A2 (zh)
CA (1) CA2741477C (zh)
DK (1) DK2342663T3 (zh)
EA (1) EA201100545A1 (zh)
ES (1) ES2538129T3 (zh)
MX (1) MX2011004240A (zh)
SE (1) SE533007C2 (zh)
WO (1) WO2010046393A2 (zh)
ZA (1) ZA201103754B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102694863A (zh) * 2012-05-30 2012-09-26 电子科技大学 基于负载调整和系统容错的分布式存储系统的实现方法
CN103294675A (zh) * 2012-02-23 2013-09-11 上海盛霄云计算技术有限公司 一种分布式存储系统中的数据更新方法及装置
CN103731505A (zh) * 2014-01-17 2014-04-16 中国联合网络通信集团有限公司 一种数据分布式存储方法及系统
CN104320452A (zh) * 2014-10-22 2015-01-28 南京市测绘勘察研究院有限公司 一种地理数据采集\成图\管理云服务系统及其方法
CN106250055A (zh) * 2016-07-12 2016-12-21 乐视控股（北京）有限公司 一种数据存储方法及系统
CN106652153A (zh) * 2016-10-17 2017-05-10 深圳市穗彩科技开发有限公司 可扩展的彩票检索派彩方法及系统
CN108255640A (zh) * 2017-12-15 2018-07-06 云南省科学技术情报研究院 分布式存储中冗余数据快速恢复方法及装置

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150207888A1 (en) * 2008-09-19 2015-07-23 Limelight Networks, Inc. Multicast mapped look-up on content delivery networks
US8458290B2 (en) * 2011-02-01 2013-06-04 Limelight Networks, Inc. Multicast mapped look-up on content delivery networks
SE533007C2 (sv) 2008-10-24 2010-06-08 Ilt Productions Ab Distribuerad datalagring
US9164494B2 (en) * 2010-01-11 2015-10-20 Innovation Timing Systems, LLC Sports timing system (STS) integrated communication system and method
EP2387200B1 (en) 2010-04-23 2014-02-12 Compuverde AB Distributed data storage
US9323775B2 (en) 2010-06-19 2016-04-26 Mapr Technologies, Inc. Map-reduce ready distributed file system
US11726955B2 (en) 2010-06-19 2023-08-15 Hewlett Packard Enterprise Development Lp Methods and apparatus for efficient container location database snapshot operation
US8392368B1 (en) 2010-08-27 2013-03-05 Disney Enterprises, Inc. System and method for distributing and accessing files in a distributed storage system
US8290919B1 (en) 2010-08-27 2012-10-16 Disney Enterprises, Inc. System and method for distributing and accessing files in a distributed storage system
US8768981B1 (en) * 2010-08-27 2014-07-01 Disney Enterprises, Inc. System and method for distributing and accessing files in a distributed storage system
EP2439908A1 (en) * 2010-09-20 2012-04-11 Thomson Licensing Method of data replication in a distributed data storage system and corresponding device
JP2012088955A (ja) * 2010-10-20 2012-05-10 Nec Corp データ複製システム、データ複製サーバ、データ複製方法、及び、データ複製プログラム
US9710344B1 (en) 2010-12-13 2017-07-18 Amazon Technologies, Inc. Locality based quorum eligibility
US8473775B1 (en) * 2010-12-14 2013-06-25 Amazon Technologies, Inc. Locality based quorums
EP2663928A4 (en) 2011-01-10 2017-10-25 Storone Ltd. Large scale storage system
US20120185433A1 (en) * 2011-01-14 2012-07-19 International Business Machines Corporation Priority-based asynchronous data replication
US8478858B2 (en) 2011-02-01 2013-07-02 Limelight Networks, Inc. Policy management for content storage in content delivery networks
US8521813B2 (en) 2011-02-01 2013-08-27 Limelight Networks, Inc. Content replication workflow in content delivery networks
US8396970B2 (en) 2011-02-01 2013-03-12 Limelight Networks, Inc. Content processing between locations workflow in content delivery networks
US8615577B2 (en) 2011-02-01 2013-12-24 Limelight Networks, Inc. Policy based processing of content objects in a content delivery network using mutators
EP2555129B1 (en) * 2011-08-03 2019-02-06 Amadeus S.A.S. Method and system to maintain strong consistency of distributed replicated contents in a client/server system
US9385875B2 (en) * 2013-01-23 2016-07-05 Nexenta Systems, Inc. Scalable transport with cluster-consensus rendezvous
US9910904B2 (en) 2011-08-30 2018-03-06 International Business Machines Corporation Replication of data objects from a source server to a target server
US8645978B2 (en) 2011-09-02 2014-02-04 Compuverde Ab Method for data maintenance
US8769138B2 (en) * 2011-09-02 2014-07-01 Compuverde Ab Method for data retrieval from a distributed data storage system
US8997124B2 (en) * 2011-09-02 2015-03-31 Compuverde Ab Method for updating data in a distributed data storage system
US9021053B2 (en) * 2011-09-02 2015-04-28 Compuverde Ab Method and device for writing data to a data storage system comprising a plurality of data storage nodes
US8650365B2 (en) 2011-09-02 2014-02-11 Compuverde Ab Method and device for maintaining data in a data storage system comprising a plurality of data storage nodes
US9626378B2 (en) * 2011-09-02 2017-04-18 Compuverde Ab Method for handling requests in a storage system and a storage node for a storage system
JP5910117B2 (ja) * 2012-01-30 2016-04-27 富士通株式会社 ファイルシステム
CN102821045B (zh) * 2012-08-03 2015-07-22 中兴通讯股份有限公司 多播报文复制方法及装置
US8589659B1 (en) * 2012-11-08 2013-11-19 DSSD, Inc. Method and system for global namespace with consistent hashing
US9479587B2 (en) 2013-01-23 2016-10-25 Nexenta Systems, Inc. Scalable object storage using multicast transport
JP5711772B2 (ja) * 2013-01-29 2015-05-07 日本電信電話株式会社 クラスタシステム
US10452284B2 (en) 2013-02-05 2019-10-22 International Business Machines Corporation Storage system based host computer monitoring
US9984083B1 (en) * 2013-02-25 2018-05-29 EMC IP Holding Company LLC Pluggable storage system for parallel query engines across non-native file systems
US9805053B1 (en) 2013-02-25 2017-10-31 EMC IP Holding Company LLC Pluggable storage system for parallel query engines
KR102092921B1 (ko) 2013-06-28 2020-03-24 삼성전자주식회사 시뮬레이션 장치 및 분산 시뮬레이션 시스템
CN104360915B (zh) * 2014-10-31 2017-08-01 北京思特奇信息技术股份有限公司 一种基于分布式存储的数据恢复方法及装置
US10148748B2 (en) * 2015-02-26 2018-12-04 Microsoft Technology Licensing, Llc Co-locating peer devices for peer matching
US10725708B2 (en) 2015-07-31 2020-07-28 International Business Machines Corporation Replication of versions of an object from a source storage to a target storage
US10306005B1 (en) * 2015-09-30 2019-05-28 EMC IP Holding Company LLC Data retrieval system and method
US10341181B2 (en) * 2016-03-07 2019-07-02 International Business Machines Corporation Method and apparatus to allow dynamic changes of a replica network configuration in distributed systems
CN108235751B (zh) * 2017-12-18 2020-04-14 华为技术有限公司 识别对象存储设备亚健康的方法、装置和数据存储系统
US11216420B2 (en) * 2018-07-31 2022-01-04 Nutanix, Inc. System and method for high replication factor (RF) data replication
JP2020046927A (ja) 2018-09-19 2020-03-26 キオクシア株式会社 ストレージ装置、ストレージシステム、および方法
US11005825B2 (en) * 2018-11-13 2021-05-11 Seagate Technology Llc Sensor nodes and host forming a tiered ecosystem that uses public and private data for duplication
US11388136B2 (en) 2019-06-18 2022-07-12 Nutanix, Inc. Dynamic distributed service location discovery
EP4086781A4 (en) * 2020-02-04 2022-12-28 Huawei Technologies Co., Ltd. FILE READING METHOD AND TERMINAL
US11544258B2 (en) 2020-02-05 2023-01-03 Ebay Inc. Selecting a host based on quality of stored data
US11893064B2 (en) * 2020-02-05 2024-02-06 EMC IP Holding Company LLC Reliably maintaining strict consistency in cluster wide state of opened files in a distributed file system cluster exposing a global namespace
JP7452840B2 (ja) 2020-02-10 2024-03-19 Ｎｅｃソリューションイノベータ株式会社 情報処理方法
US11556423B2 (en) 2020-05-22 2023-01-17 Vmware, Inc. Using erasure coding in a single region to reduce the likelihood of losing objects maintained in cloud object storage
US11481319B2 (en) * 2020-05-22 2022-10-25 Vmware, Inc. Using data mirroring across multiple regions to reduce the likelihood of losing objects maintained in cloud object storage
US11544147B2 (en) 2020-05-22 2023-01-03 Vmware, Inc. Using erasure coding across multiple regions to reduce the likelihood of losing objects maintained in cloud object storage

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1726454A (zh) * 2002-10-17 2006-01-25 英特尔公司 分布式网络附接的存储系统
US20060090095A1 (en) * 1999-03-26 2006-04-27 Microsoft Corporation Consistent cluster operational data in a server cluster using a quorum of replicas
US7266556B1 (en) * 2000-12-29 2007-09-04 Intel Corporation Failover architecture for a distributed storage system
US20070276838A1 (en) * 2006-05-23 2007-11-29 Samy Khalil Abushanab Distributed storage
WO2008069811A1 (en) * 2005-12-29 2008-06-12 Amazon Technologies, Inc. Distributed replica storage system with web services interface

Family Cites Families (272)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3707707A (en) 1970-11-12 1972-12-26 Cipher Data Prod Digital cassette magnetic tape recorder and reproducer
JPS5628707A (en) 1979-08-20 1981-03-20 Hitachi Ltd Hair dryer
JPS6348527Y2 (zh) 1984-09-19 1988-12-14
JP3139884B2 (ja) * 1993-06-14 2001-03-05 株式会社東芝 多重要素処理システム
US5713017A (en) 1995-06-07 1998-01-27 International Business Machines Corporation Dual counter consistency control for fault tolerant network file servers
JPH103421A (ja) 1995-11-20 1998-01-06 Matsushita Electric Ind Co Ltd 仮想ファイル管理システム
US5787247A (en) * 1996-07-12 1998-07-28 Microsoft Corporation Replica administration without data loss in a store and forward replication enterprise
US5924094A (en) 1996-11-01 1999-07-13 Current Network Technologies Corporation Independent distributed database system
US6021118A (en) 1997-02-10 2000-02-01 Lucent Techologies Inc. Synchronization methods for distributed processing systems having replicated data
US6003065A (en) 1997-04-24 1999-12-14 Sun Microsystems, Inc. Method and system for distributed processing of applications on host and peripheral devices
US6259701B1 (en) 1997-09-11 2001-07-10 At&T Corp. Method and system for a unicast endpoint client to access a multicast internet protocol (IP) session
US6055543A (en) 1997-11-21 2000-04-25 Verano File wrapper containing cataloging information for content searching across multiple platforms
DE69907631T2 (de) 1998-01-23 2004-02-26 Emc Corp., Hopkinton Netzzugang zu inhaltsadressierbaren daten
JPH11249874A (ja) 1998-02-27 1999-09-17 Toshiba Corp コンピュータシステム、同システムにおける同期処理方法および記録媒体
US6510162B1 (en) 1998-05-27 2003-01-21 3Com Corporation System and method for managing channel usage in a data over cable system
JP4146983B2 (ja) 1999-02-26 2008-09-10 インターナショナル・ビジネス・マシーンズ・コーポレーション サーバ・オブジェクトのメソッドを呼び出すプロセス方法及びデータ処理システム
US6658016B1 (en) 1999-03-05 2003-12-02 Broadcom Corporation Packet switching fabric having a segmented ring with token based resource control protocol and output queuing control
US6401120B1 (en) * 1999-03-26 2002-06-04 Microsoft Corporation Method and system for consistent cluster operational data in a server cluster using a quorum of replicas
US6389432B1 (en) 1999-04-05 2002-05-14 Auspex Systems, Inc. Intelligent virtual volume access
JP2000322292A (ja) 1999-05-10 2000-11-24 Nec Corp クラスタ型データサーバシステム及びデータ格納方法
US6952741B1 (en) 1999-06-30 2005-10-04 Computer Sciences Corporation System and method for synchronizing copies of data in a computer system
US7634453B1 (en) 1999-08-13 2009-12-15 Storage Technology Corporation Distributed file data location
US6976165B1 (en) 1999-09-07 2005-12-13 Emc Corporation System and method for secure storage, transfer and retrieval of content addressable information
US7934251B2 (en) 1999-12-02 2011-04-26 Western Digital Technologies, Inc. Managed peer-to-peer applications, systems and methods for distributed data access and storage
US6499090B1 (en) 1999-12-28 2002-12-24 Intel Corporation Prioritized bus request scheduling mechanism for processing devices
US6546388B1 (en) 2000-01-14 2003-04-08 International Business Machines Corporation Metadata search results ranking system
US6542972B2 (en) 2000-01-31 2003-04-01 Commvault Systems, Inc. Logical view and access to physical storage in modular data and storage management system
US6738766B2 (en) 2000-02-02 2004-05-18 Doongo Technologies, Inc. Apparatus and methods for providing personalized application search results for wireless devices based on user profiles
US7506034B2 (en) 2000-03-03 2009-03-17 Intel Corporation Methods and apparatus for off loading content servers through direct file transfer from a storage center to an end-user
US7428540B1 (en) * 2000-03-03 2008-09-23 Intel Corporation Network storage system
US6952737B1 (en) 2000-03-03 2005-10-04 Intel Corporation Method and apparatus for accessing remote storage in a distributed storage cluster architecture
US6470420B1 (en) 2000-03-31 2002-10-22 Western Digital Ventures, Inc. Method for designating one of a plurality of addressable storage devices to process a data transfer request
US7039694B2 (en) 2000-05-02 2006-05-02 Sun Microsystems, Inc. Cluster membership monitor
US8281022B1 (en) * 2000-06-30 2012-10-02 Emc Corporation Method and apparatus for implementing high-performance, scaleable data processing and storage systems
US6826564B2 (en) 2000-07-10 2004-11-30 Fastforward Networks Scalable and programmable query distribution and collection in a network of queryable devices
US6732237B1 (en) 2000-08-29 2004-05-04 Oracle International Corporation Multi-tier caching system
US6782389B1 (en) 2000-09-12 2004-08-24 Ibrix, Inc. Distributing files across multiple, permissibly heterogeneous, storage devices
US20040236798A1 (en) 2001-09-11 2004-11-25 Sudhir Srinivasan Migration of control in a distributed segmented file system
US7406484B1 (en) 2000-09-12 2008-07-29 Tbrix, Inc. Storage allocation in a distributed segmented file system
DE60131900T2 (de) 2000-10-26 2008-12-04 Flood, James C. jun., Portland Verfahren und system zur verwaltung von verteilten inhalten und verwandten metadaten
US6970939B2 (en) 2000-10-26 2005-11-29 Intel Corporation Method and apparatus for large payload distribution in a network
SE520129C2 (sv) 2000-10-27 2003-05-27 Terraplay Systems Ab Kommunikationsinfrastrukturanordning i och en datorläsbar programprodukt för ett databearbetningssystem för fleranvändarapplikationer
US6985956B2 (en) * 2000-11-02 2006-01-10 Sun Microsystems, Inc. Switching system
WO2002044835A2 (en) * 2000-11-28 2002-06-06 Gingerich Gregory L A method and system for software and hardware multiplicity
US7165096B2 (en) 2000-12-22 2007-01-16 Data Plow, Inc. Storage area network file system
EP1349982A1 (de) 2000-12-27 2003-10-08 BSH Bosch und Siemens Hausgeräte GmbH Verfahren und vorrichtung zum glätten von kleidungsstücken
US6768871B2 (en) 2001-01-30 2004-07-27 The Regents Of The University Of California Optical layer multicasting using a multicast switch to effect survivability and security
US6865603B2 (en) 2001-01-31 2005-03-08 Hewlett-Packard Development Company, L.P. Correcting for network address changes
US7069295B2 (en) 2001-02-14 2006-06-27 The Escher Group, Ltd. Peer-to-peer enterprise storage
US20020156912A1 (en) 2001-02-15 2002-10-24 Hurst John T. Programming content distribution
US7062490B2 (en) * 2001-03-26 2006-06-13 Microsoft Corporation Serverless distributed file system
US6839815B2 (en) 2001-05-07 2005-01-04 Hitachi, Ltd. System and method for storage on demand service in a global SAN environment
US6918013B2 (en) 2001-07-16 2005-07-12 Bea Systems, Inc. System and method for flushing bean cache
US7039622B2 (en) 2001-09-12 2006-05-02 Sas Institute Inc. Computer-implemented knowledge repository interface system and method
US7054867B2 (en) * 2001-09-18 2006-05-30 Skyris Networks, Inc. Systems, methods and programming for routing and indexing globally addressable objects and associated business models
GB2381427A (en) 2001-10-27 2003-04-30 Hewlett Packard Co Spanning tree in peer to peer networks
WO2003039071A1 (en) 2001-10-29 2003-05-08 Sun Microsystems, Inc. Method to manage high availability equipments
US7054910B1 (en) 2001-12-20 2006-05-30 Emc Corporation Data replication facility for distributed computing environments
US6917941B2 (en) 2001-12-28 2005-07-12 Channel Intelligence, Inc. Method and apparatus for creation and maintenance of database structure
JP4202026B2 (ja) * 2002-01-31 2008-12-24 株式会社アンソナ ストレージシステムおよびストレージ装置
US7243103B2 (en) * 2002-02-14 2007-07-10 The Escher Group, Ltd. Peer to peer enterprise storage system with lexical recovery sub-system
JP4198920B2 (ja) * 2002-02-26 2008-12-17 エイディシーテクノロジー株式会社 バックアップシステム、バックアップ用プログラムおよびバックアップ方法
US7020665B2 (en) 2002-03-07 2006-03-28 Microsoft Corporation File availability in distributed file storage systems
JP2003271316A (ja) * 2002-03-14 2003-09-26 Hitachi Ltd ストレージシステム、その動作プログラム及びその運用方法、情報処理端末及びその動作プログラム、データ管理システム
US7257645B2 (en) 2002-05-01 2007-08-14 Bea Systems, Inc. System and method for storing large messages
US7305585B2 (en) 2002-05-23 2007-12-04 Exludus Technologies Inc. Asynchronous and autonomous data replication
US7117294B1 (en) * 2002-05-28 2006-10-03 Oracle International Corporation Method and system for archiving and compacting data in a data storage array
US6732171B2 (en) 2002-05-31 2004-05-04 Lefthand Networks, Inc. Distributed network storage system with virtualization
US7574488B2 (en) 2002-05-31 2009-08-11 Hitachi, Ltd. Method and apparatus for peer-to-peer file sharing
US20030233455A1 (en) 2002-06-14 2003-12-18 Mike Leber Distributed file sharing system
US7631313B2 (en) 2002-06-17 2009-12-08 David Mayhew System and method for transferring data
US8060598B1 (en) 2002-07-01 2011-11-15 Sprint Communications Company L.P. Computer network multicasting traffic monitoring and compensation
JP4240930B2 (ja) 2002-07-15 2009-03-18 株式会社日立製作所 複数ネットワークストレージの仮送想一元化方法及び装置
DE10237875A1 (de) 2002-08-19 2004-03-04 Siemens Ag Vorrichtung, insbesondere Automatisierungsgerät, mit in Datei gespeicherter Dateiverzeichnisstruktur
US7363346B2 (en) * 2002-09-07 2008-04-22 Appistry, Inc. Reliably storing information across multiple computers such as in a hive of computers
EP1537496B1 (en) 2002-09-10 2008-07-02 Exagrid Systems, Inc. Data protection system and method
JP4254178B2 (ja) * 2002-09-11 2009-04-15 富士ゼロックス株式会社 分散格納制御装置及び方法
US7206836B2 (en) 2002-09-23 2007-04-17 Sun Microsystems, Inc. System and method for reforming a distributed data system cluster after temporary node failures or restarts
US7146499B2 (en) * 2002-09-30 2006-12-05 International Business Machines Corporation Security system for replicated storage devices on computer networks
CA2500166A1 (en) 2002-10-29 2004-05-13 British Telecommunications Public Limited Company Method and apparatus for network management
US7328243B2 (en) 2002-10-31 2008-02-05 Sun Microsystems, Inc. Collaborative content coherence using mobile agents in peer-to-peer networks
US7565419B1 (en) 2002-11-22 2009-07-21 Symantec Operating Corporation Conflict resolution in a peer to peer network
US20040139167A1 (en) 2002-12-06 2004-07-15 Andiamo Systems Inc., A Delaware Corporation Apparatus and method for a scalable network attach storage system
US7624158B2 (en) 2003-01-14 2009-11-24 Eycast Inc. Method and apparatus for transmission and storage of digital medical data
US7320009B1 (en) 2003-03-28 2008-01-15 Novell, Inc. Methods and systems for file replication utilizing differences between versions of files
US7328256B2 (en) 2003-06-02 2008-02-05 Apple Inc. Method and apparatus for distributing computer files across a network to multiple clients
US20040260775A1 (en) 2003-06-20 2004-12-23 Xerox Corporation System and method for sending messages
US7694086B1 (en) 2003-06-30 2010-04-06 Symantec Operating Corporation Method and system for incremental backup of data volumes
US7523217B2 (en) 2003-07-15 2009-04-21 Hewlett-Packard Development Company, L.P. System and method having improved efficiency and reliability for distributing a file among a plurality of recipients
US20050015461A1 (en) 2003-07-17 2005-01-20 Bruno Richard Distributed file system
JP2005044003A (ja) 2003-07-23 2005-02-17 Fujitsu Ltd 認証装置、方法、及びプログラム
US6983429B2 (en) 2003-09-30 2006-01-03 Bull Hn Information Systems Inc. Formal proof methods for analyzing circuit loading problems under operating conditions
US20130097302A9 (en) 2003-10-01 2013-04-18 Robert Khedouri Audio visual player apparatus and system and method of content distribution using the same
WO2005042713A2 (en) 2003-10-28 2005-05-12 The Johns Hopkins University Quantitative multiplex methylation-specific pcr
US7340510B1 (en) * 2003-11-18 2008-03-04 Cisco Technology, Inc. Content delivery network (CDN) replication status reporter
JP2005165516A (ja) * 2003-12-01 2005-06-23 Hitachi Ltd ストレージ制御装置、ストレージシステム、及びストレージシステムの制御方法
US7376945B1 (en) 2003-12-02 2008-05-20 Cisco Technology, Inc. Software change modeling for network devices
US7039661B1 (en) 2003-12-29 2006-05-02 Veritas Operating Corporation Coordinated dirty block tracking
US7822711B1 (en) 2003-12-31 2010-10-26 Symantec Operating Corporation Conflict resolution for a distributed file sharing system
US8566446B2 (en) * 2004-01-28 2013-10-22 Hewlett-Packard Development Company, L.P. Write operation control in storage networks
US7383463B2 (en) * 2004-02-04 2008-06-03 Emc Corporation Internet protocol based disaster recovery of a server
US7385978B1 (en) * 2004-02-19 2008-06-10 Cisco Technology, Inc. Method and apparatus for reliable multicast distribution
US9160571B2 (en) 2004-03-11 2015-10-13 Hewlett-Packard Development Company, L.P. Requesting a service from a multicast network
JP4448719B2 (ja) 2004-03-19 2010-04-14 株式会社日立製作所 ストレージシステム
JP2005276094A (ja) * 2004-03-26 2005-10-06 Hitachi Ltd 分散ストレージ装置のファイル管理方法及び分散ストレージシステム並びにプログラム
US7503052B2 (en) 2004-04-14 2009-03-10 Microsoft Corporation Asynchronous database API
US20060023969A1 (en) 2004-04-30 2006-02-02 Lara Eyal D Collaboration and multimedia authoring
ATE390013T1 (de) 2004-05-18 2008-04-15 British Telecomm Peer-to-peer-netze
US7552122B1 (en) * 2004-06-01 2009-06-23 Sanbolic, Inc. Methods and apparatus facilitating access to storage among multiple computers
US7634566B2 (en) 2004-06-03 2009-12-15 Cisco Technology, Inc. Arrangement in a network for passing control of distributed data between network nodes for optimized client access based on locality
US7330997B1 (en) * 2004-06-03 2008-02-12 Gary Odom Selective reciprocal backup
US7873650B1 (en) 2004-06-11 2011-01-18 Seisint, Inc. System and method for distributing data in a parallel processing system
US20050278552A1 (en) * 2004-06-14 2005-12-15 Vincent Delisle Secure virtual account
US20060031230A1 (en) 2004-07-21 2006-02-09 Kumar Sinha M Data storage systems
US20060047776A1 (en) 2004-08-31 2006-03-02 Chieng Stephen S Automated failover in a cluster of geographically dispersed server nodes using data replication over a long distance communication link
US20060080574A1 (en) * 2004-10-08 2006-04-13 Yasushi Saito Redundant data storage reconfiguration
US8090776B2 (en) 2004-11-01 2012-01-03 Microsoft Corporation Dynamic content change notification
JP4222295B2 (ja) 2004-11-19 2009-02-12 パナソニック株式会社 ビデオサーバおよびこれを用いた映像配信システム
US7631023B1 (en) 2004-11-24 2009-12-08 Symantec Operating Corporation Performance-adjusted data allocation in a multi-device file system
JP4451293B2 (ja) 2004-12-10 2010-04-14 株式会社日立製作所 名前空間を共有するクラスタ構成のネットワークストレージシステム及びその制御方法
US7320088B1 (en) * 2004-12-28 2008-01-15 Veritas Operating Corporation System and method to automate replication in a clustered environment
AR052083A1 (es) * 2005-01-07 2007-02-28 Thomson Global Resources Sistemas ,metodos y software para carga distribuida de bases de datos
JP4843976B2 (ja) * 2005-03-25 2011-12-21 日本電気株式会社 レプリケーションシステムと方法
US7454426B2 (en) 2005-04-12 2008-11-18 International Business Machines Corporation Referential integrity across a distributed directory
JP2006293864A (ja) * 2005-04-13 2006-10-26 Hitachi Ltd ストレージシステム、データ移動管理システム、及びデータ移動管理方法
US7631016B2 (en) 2005-05-04 2009-12-08 Oracle International Corporation Providing the latest version of a data item from an N-replica set
US7698391B2 (en) * 2005-05-16 2010-04-13 Oracle International Corporation Performing a provisioning operation associated with a software application on a subset of the nodes on which the software application is to operate
WO2006124911A2 (en) 2005-05-18 2006-11-23 Ibrix, Inc. Balanced computer architecture
EP2228969B1 (en) 2005-06-09 2017-04-19 Whirlpool Corporation Software architecture system and method for communication with, and management of, at least one component within a household appliance
US7523146B2 (en) 2005-06-21 2009-04-21 Apple Inc. Apparatus and method for peer-to-peer N-way synchronization in a decentralized environment
US8401997B1 (en) 2005-06-30 2013-03-19 Symantec Operating Corporation System and method for replication using consistency interval markers in a distributed storage environment
US7631045B2 (en) 2005-07-14 2009-12-08 Yahoo! Inc. Content router asynchronous exchange
US7571168B2 (en) 2005-07-25 2009-08-04 Parascale, Inc. Asynchronous file replication and migration in a storage network
US9305011B2 (en) * 2005-07-27 2016-04-05 Hitachi Data Systems Corporation Method for improving mean time to data loss (MTDL) in a fixed content distributed data storage
US20070028291A1 (en) * 2005-07-29 2007-02-01 Bit 9, Inc. Parametric content control in a network security system
US7568069B2 (en) 2005-07-29 2009-07-28 Lsi Corporation Method for creating a large-scale storage array system out of multiple mid-range storage arrays
JP4747733B2 (ja) * 2005-08-22 2011-08-17 ブラザー工業株式会社 ノード装置、共用情報更新処理プログラム、共用情報更新方法、及び情報共有システム
US20070055703A1 (en) 2005-09-07 2007-03-08 Eyal Zimran Namespace server using referral protocols
US9996413B2 (en) 2007-10-09 2018-06-12 International Business Machines Corporation Ensuring data integrity on a dispersed storage grid
US7752211B1 (en) * 2005-09-30 2010-07-06 Emc Corporation Adaptive index processing
US7558859B2 (en) 2005-10-17 2009-07-07 Microsoft Corporation Peer-to-peer auction based data distribution
US7788303B2 (en) 2005-10-21 2010-08-31 Isilon Systems, Inc. Systems and methods for distributed system scanning
EP1949215A1 (en) 2005-11-04 2008-07-30 Thomson Licensing Method and apparatus for managing media storage devices
CA2631098C (en) 2005-11-23 2013-06-25 Envisionit Llc Message broadcasting admission control system and method
EP1798934A1 (en) 2005-12-13 2007-06-20 Deutsche Thomson-Brandt Gmbh Method and apparatus for organizing nodes in a network
US8392400B1 (en) * 2005-12-29 2013-03-05 Amazon Technologies, Inc. Method and apparatus for stress management in a searchable data service
US7778972B1 (en) 2005-12-29 2010-08-17 Amazon Technologies, Inc. Dynamic object replication within a distributed storage system
US7546484B2 (en) * 2006-02-08 2009-06-09 Microsoft Corporation Managing backup solutions with light-weight storage nodes
US7623474B2 (en) 2006-02-14 2009-11-24 Cisco Technology, Inc. Techniques for distributing information using multicast subsets
US7552148B2 (en) * 2006-02-28 2009-06-23 Microsoft Corporation Shutdown recovery
US8185576B2 (en) 2006-03-14 2012-05-22 Altnet, Inc. Filter for a distributed network
US7778183B2 (en) 2006-03-31 2010-08-17 International Business Machines Corporation Data replica selector
US7480817B2 (en) 2006-03-31 2009-01-20 International Business Machines Corporation Method for replicating data based on probability of concurrent failure
US20070288638A1 (en) 2006-04-03 2007-12-13 British Columbia, University Of Methods and distributed systems for data location and delivery
US7979771B2 (en) 2006-04-04 2011-07-12 Permabit Technology Corporation Erasure coding technique for scalable and fault tolerant storage system
US20070255763A1 (en) 2006-04-27 2007-11-01 International Business Machines Corporation Database replication method and system
US20080126357A1 (en) 2006-05-04 2008-05-29 Wambo, Inc. Distributed file storage and transmission system
KR101366220B1 (ko) 2006-05-23 2014-02-21 노리안 홀딩 코포레이션 분산형 저장소
US8117155B2 (en) 2006-06-30 2012-02-14 Microsoft Corporation Collection-based object replication
US20080005195A1 (en) 2006-06-30 2008-01-03 Microsoft Corporation Versioning synchronization for mass p2p file sharing
US7546486B2 (en) 2006-08-28 2009-06-09 Bycast Inc. Scalable distributed object management in a distributed fixed content storage system
US20080077635A1 (en) 2006-09-22 2008-03-27 Digital Bazaar, Inc. Highly Available Clustered Storage Network
US7840992B1 (en) * 2006-09-28 2010-11-23 Emc Corporation System and method for environmentally aware data protection
US7680048B2 (en) 2006-10-06 2010-03-16 International Business Machiens Corporation Method and apparatus for routing data in an inter-nodal communications lattice of a massively parallel computer system by dynamically adjusting local routing strategies
US8176265B2 (en) 2006-10-30 2012-05-08 Nvidia Corporation Shared single-access memory with management of multiple parallel requests
US8094585B2 (en) 2006-10-31 2012-01-10 International Business Machines Corporation Membership management of network nodes
US8555335B2 (en) 2006-11-01 2013-10-08 Microsoft Corporation Securing distributed application information delivery
US8190561B1 (en) 2006-12-06 2012-05-29 At&T Mobility Ii Llc LDAP replication priority queuing mechanism
US7590672B2 (en) 2006-12-11 2009-09-15 Bycast Inc. Identification of fixed content objects in a distributed fixed content storage system
GB2445986A (en) 2007-01-17 2008-07-30 Connect Spot Ltd Database Update Systems for Wireless communications Systems
US8756253B2 (en) * 2007-01-22 2014-06-17 Xerox Corporation Two-level structured overlay design for cluster management in a peer-to-peer network
WO2008102195A1 (en) * 2007-02-22 2008-08-28 Telefonaktiebolaget Lm Ericsson (Publ) Consistent and fault tolerant distributed hash table (dht) overlay network
US8635691B2 (en) 2007-03-02 2014-01-21 403 Labs, Llc Sensitive data scanner
US7584294B2 (en) 2007-03-12 2009-09-01 Citrix Systems, Inc. Systems and methods for prefetching objects for caching using QOS
JP2008234445A (ja) 2007-03-22 2008-10-02 Brother Ind Ltd コンテンツ分散保存システム、複製データ取得方法、ノード装置、及びノード処理プログラム
US8150800B2 (en) * 2007-03-28 2012-04-03 Netapp, Inc. Advanced clock synchronization technique
JP4696089B2 (ja) 2007-03-30 2011-06-08 三菱電機インフォメーションシステムズ株式会社 分散ストレージシステム
JP2008250773A (ja) 2007-03-30 2008-10-16 Brother Ind Ltd 情報配信システム、管理装置用プログラム及び情報処理装置用プログラム
US7975115B2 (en) 2007-04-11 2011-07-05 Dot Hill Systems Corporation Method and apparatus for separating snapshot preserved and write data
US20080263183A1 (en) * 2007-04-20 2008-10-23 Lisa Midori Nishiyama Management of Kernel configurations for nodes in a clustered system
US8706914B2 (en) 2007-04-23 2014-04-22 David D. Duchesneau Computing infrastructure
TWI483584B (zh) 2007-06-04 2015-05-01 Graco Minnesota Inc 分配式監視及控制流體處理系統
US7676704B2 (en) 2007-06-29 2010-03-09 Symantec Corporation Resource management for scalable file system recovery
US20090138480A1 (en) 2007-08-29 2009-05-28 Chatley Scott P Filing system and method for data files stored in a distributed communications network
US8156117B2 (en) 2007-09-03 2012-04-10 Obschestvo S Ogranichennoi Otvetstvennostiyu “Meralabs” Method and system for storing, searching and retrieving information based on semistructured and de-centralized data sets
US8533256B2 (en) 2007-10-09 2013-09-10 Cleversafe, Inc. Object interface to a dispersed data storage network
US8185614B2 (en) 2007-10-09 2012-05-22 Cleversafe, Inc. Systems, methods, and apparatus for identifying accessible dispersed digital storage vaults utilizing a centralized registry
US7913030B2 (en) 2007-12-28 2011-03-22 Sandisk Il Ltd. Storage device with transaction logging capability
US7979662B2 (en) 2007-12-28 2011-07-12 Sandisk Il Ltd. Storage device with transaction indexing capability
US7899850B2 (en) 2008-02-22 2011-03-01 Bycast, Inc. Relational objects for the optimized management of fixed-content storage systems
US20090228669A1 (en) 2008-03-10 2009-09-10 Microsoft Corporation Storage Device Optimization Using File Characteristics
US20090249222A1 (en) 2008-03-25 2009-10-01 Square Products Corporation System and method for simultaneous media presentation
US8577957B2 (en) 2008-04-01 2013-11-05 Litl Llc System and method for streamlining user interaction with electronic content
JP2009259007A (ja) 2008-04-17 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 分散格納方法、分散格納システム及び分散格納装置
TWI476610B (zh) 2008-04-29 2015-03-11 Maxiscale Inc 同級間冗餘檔案伺服器系統及方法
US20100010975A1 (en) * 2008-07-10 2010-01-14 Morris Robert P Methods And Systems For Resolving A Query Region To A Network Identifier
US7869383B2 (en) * 2008-07-24 2011-01-11 Symform, Inc. Shared community storage network
US8255430B2 (en) 2008-08-26 2012-08-28 Caringo, Inc. Shared namespace for storage clusters
US8458128B2 (en) 2008-08-26 2013-06-04 Microsoft Corporation Minimal extensions required for multi-master offline and collaboration for devices and web services
US9390102B2 (en) 2008-09-29 2016-07-12 Oracle International Corporation Client application program interface for network-attached storage system
WO2010045109A1 (en) 2008-10-17 2010-04-22 Azuki Systems, Inc. Method and apparatus for efficient http data streaming
US9781148B2 (en) 2008-10-21 2017-10-03 Lookout, Inc. Methods and systems for sharing risk responses between collections of mobile communications devices
US8347386B2 (en) 2008-10-21 2013-01-01 Lookout, Inc. System and method for server-coupled malware prevention
US8443062B2 (en) * 2008-10-23 2013-05-14 Microsoft Corporation Quorum based transactionally consistent membership management in distributed storage systems
SE533007C2 (sv) 2008-10-24 2010-06-08 Ilt Productions Ab Distribuerad datalagring
US8898236B2 (en) 2008-10-31 2014-11-25 Netapp, Inc. Automated conversion of versioned data collections
KR101285113B1 (ko) 2008-10-31 2013-07-17 에스케이플래닛 주식회사 컨텐츠 전달 시스템, 방법, 서비스 서버, 이동통신단말기 및 저장 매체
US8561052B2 (en) 2008-12-08 2013-10-15 Harris Corporation Communications device with a plurality of processors and compatibility synchronization module for processor upgrades and related method
US8429444B2 (en) 2008-12-18 2013-04-23 Scality, S.A. Multipurpose storage system based upon a distributed hashing mechanism with transactional support and failover capability
US20100185693A1 (en) 2009-01-20 2010-07-22 Murty Venkataesh V Methods and apparatus for creating an audit trail
US8832023B2 (en) 2009-01-30 2014-09-09 Apple Inc. System for managing distributed assets and metadata
US8533151B2 (en) 2009-05-26 2013-09-10 Microsoft Corporation Generating a local copy of a virtualized application package from a local installation
US8165122B2 (en) 2009-05-26 2012-04-24 Alcatel Lucent System and method for converting unicast client requests into multicast client requests
US20130254314A1 (en) 2009-06-09 2013-09-26 Edmond K. Chow Digital content delivery
US8504797B2 (en) 2009-06-02 2013-08-06 Hitachi, Ltd. Method and apparatus for managing thin provisioning volume by using file storage system
US10108492B2 (en) 2009-07-30 2018-10-23 International Business Machines Corporation Rebuilding data stored in a dispersed storage network
US8458287B2 (en) 2009-07-31 2013-06-04 Microsoft Corporation Erasure coded storage aggregation in data centers
US20110035540A1 (en) 2009-08-10 2011-02-10 Adtron, Inc. Flash blade system architecture and method
US9189244B2 (en) 2009-08-18 2015-11-17 Adobe Systems Incorporated Methods and systems for managing data service specifications
US20110047413A1 (en) 2009-08-20 2011-02-24 Mcgill Robert E Methods and devices for detecting service failures and maintaining computing services using a resilient intelligent client computer
US8745170B2 (en) 2009-08-27 2014-06-03 Apple Inc. Dynamic file streaming
CN102640125B (zh) 2009-09-21 2015-07-08 高通股份有限公司 分布式内容存储和取回
WO2011036707A1 (en) 2009-09-24 2011-03-31 Hitachi, Ltd. Computer system for controlling backups using wide area network
US8620879B2 (en) 2009-10-13 2013-12-31 Google Inc. Cloud based file storage service
CN101710339B (zh) 2009-11-20 2012-02-01 中国科学院计算技术研究所 控制机群文件系统中数据存储方法和系统及创建文件方法
US8190578B2 (en) 2009-12-17 2012-05-29 International Business Machines Corporation Migration of versioned data between configuration management systems
US9135268B2 (en) 2009-12-30 2015-09-15 Symantec Corporation Locating the latest version of replicated data files
US8707091B2 (en) 2010-03-15 2014-04-22 Cleversafe, Inc. Failsafe directory file system in a dispersed storage network
WO2011116087A2 (en) 2010-03-16 2011-09-22 Copiun, Inc. Highly scalable and distributed data de-duplication
US20110238909A1 (en) 2010-03-29 2011-09-29 Pankaj Kumar Multicasting Write Requests To Multiple Storage Controllers
EP2387200B1 (en) 2010-04-23 2014-02-12 Compuverde AB Distributed data storage
US9552299B2 (en) 2010-06-11 2017-01-24 California Institute Of Technology Systems and methods for rapid processing and storage of data
US8468214B1 (en) 2010-06-15 2013-06-18 Proximetry, Inc. Systems and methods for distributing content using attributes
CN102947879B (zh) 2010-06-22 2015-11-25 索尼电脑娱乐公司 信息处理装置
CN101909058B (zh) 2010-07-30 2013-01-16 天维讯达无线电设备检测（北京）有限责任公司 一种适合可信连接架构的平台鉴别策略管理方法及系统
US8495472B1 (en) 2010-08-06 2013-07-23 Amazon Technologies, Inc. Method and system for performing financial reconciliation between two systems using checksums
GB2544888A (en) 2010-09-08 2017-05-31 Saffron Digital Ltd Delivering a file from a content provider to a client
US9253199B2 (en) 2010-09-09 2016-02-02 Red Hat, Inc. Verifying authenticity of a sender of an electronic message sent to a recipient using message salt
US8504758B1 (en) 2010-09-21 2013-08-06 Amazon Technologies, Inc. System and method for logical deletion of stored data objects
US8660986B2 (en) 2010-10-27 2014-02-25 Microsoft Corporation Preserving user intent in merging ordered objects
EP2635991B1 (en) 2010-11-05 2015-09-16 InterDigital Patent Holdings, Inc. Device validation, distress indication, and remediation
US9471593B1 (en) 2010-12-30 2016-10-18 Emc Corporation Method and apparatus for ensuring consistent ordering of writes in a distributed database storage system
US8949828B2 (en) 2011-01-11 2015-02-03 International Business Machines Corporation Single point, scalable data synchronization for management of a virtual input/output server cluster
US9020996B2 (en) 2011-06-24 2015-04-28 Stephen P. LORD Synthetic view
US9268665B2 (en) 2011-07-26 2016-02-23 Trimble Navigation Limited System and method for identifying fault prone computer code files
US8769138B2 (en) 2011-09-02 2014-07-01 Compuverde Ab Method for data retrieval from a distributed data storage system
US8650365B2 (en) 2011-09-02 2014-02-11 Compuverde Ab Method and device for maintaining data in a data storage system comprising a plurality of data storage nodes
US9626378B2 (en) 2011-09-02 2017-04-18 Compuverde Ab Method for handling requests in a storage system and a storage node for a storage system
US8997124B2 (en) 2011-09-02 2015-03-31 Compuverde Ab Method for updating data in a distributed data storage system
US8645978B2 (en) 2011-09-02 2014-02-04 Compuverde Ab Method for data maintenance
US9021053B2 (en) 2011-09-02 2015-04-28 Compuverde Ab Method and device for writing data to a data storage system comprising a plurality of data storage nodes
US9275063B1 (en) 2011-09-30 2016-03-01 Emc Corporation Replication optimizated IO
US9225780B2 (en) 2012-02-24 2015-12-29 Xyratex Technology Limited Data integrity in a networked storage system
US20130268632A1 (en) 2012-04-05 2013-10-10 Canon Kabushiki Kaisha Server assisted authenticated device
US8972478B1 (en) 2012-05-23 2015-03-03 Netapp, Inc. Using append only log format in data storage cluster with distributed zones for determining parity of reliability groups
US9256765B2 (en) 2012-06-29 2016-02-09 Kip Sign P1 Lp System and method for identifying software changes
US9344521B2 (en) 2012-12-13 2016-05-17 Red Hat, Inc. Pluggable infrastructure for cloud provider selection
US9367448B1 (en) 2013-06-04 2016-06-14 Emc Corporation Method and system for determining data integrity for garbage collection of data storage systems
US10025673B1 (en) 2013-09-20 2018-07-17 Amazon Technologies, Inc. Restoring partitioned database tables from backup
US9280678B2 (en) 2013-12-02 2016-03-08 Fortinet, Inc. Secure cloud storage distribution and aggregation
WO2015104833A1 (ja) 2014-01-10 2015-07-16 株式会社日立製作所 情報システム及びｉ／ｏ処理方法
US20150288659A1 (en) 2014-04-03 2015-10-08 Bitdefender IPR Management Ltd. Systems and Methods for Mutual Integrity Attestation Between A Network Endpoint And A Network Appliance
US9864874B1 (en) 2014-05-21 2018-01-09 Amazon Technologies, Inc. Management of encrypted data storage
JP6708948B2 (ja) 2016-01-21 2020-06-10 日本電気株式会社 ブロックストレージ
US10102356B1 (en) 2016-03-09 2018-10-16 EMC IP Holding Company LLC Securing storage control path against unauthorized access
JP6348527B2 (ja) 2016-03-10 2018-06-27 本田技研工業株式会社 車体後部構造
KR102527992B1 (ko) 2016-03-14 2023-05-03 삼성전자주식회사 데이터 저장 장치와 이를 포함하는 데이터 처리 시스템
US10810088B1 (en) 2016-05-13 2020-10-20 NortonLifeLock Inc. System and method of dynamic backup policy generation
US10567406B2 (en) 2016-08-16 2020-02-18 International Business Machines Corporation Cloud computing environment activity monitoring
US10846137B2 (en) 2018-01-12 2020-11-24 Robin Systems, Inc. Dynamic adjustment of application resources in a distributed computing system
US11106810B2 (en) 2018-07-30 2021-08-31 EMC IP Holding Company LLC Multi-tenant deduplication with non-trusted storage system
US10877683B2 (en) 2019-04-09 2020-12-29 International Business Machines Corporation Tiered storage optimization and migration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060090095A1 (en) * 1999-03-26 2006-04-27 Microsoft Corporation Consistent cluster operational data in a server cluster using a quorum of replicas
US7266556B1 (en) * 2000-12-29 2007-09-04 Intel Corporation Failover architecture for a distributed storage system
CN1726454A (zh) * 2002-10-17 2006-01-25 英特尔公司 分布式网络附接的存储系统
WO2008069811A1 (en) * 2005-12-29 2008-06-12 Amazon Technologies, Inc. Distributed replica storage system with web services interface
US20070276838A1 (en) * 2006-05-23 2007-11-29 Samy Khalil Abushanab Distributed storage

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294675A (zh) * 2012-02-23 2013-09-11 上海盛霄云计算技术有限公司 一种分布式存储系统中的数据更新方法及装置
CN102694863A (zh) * 2012-05-30 2012-09-26 电子科技大学 基于负载调整和系统容错的分布式存储系统的实现方法
CN102694863B (zh) * 2012-05-30 2015-08-26 电子科技大学 基于负载调整和系统容错的分布式存储系统的实现方法
CN103731505A (zh) * 2014-01-17 2014-04-16 中国联合网络通信集团有限公司 一种数据分布式存储方法及系统
CN104320452A (zh) * 2014-10-22 2015-01-28 南京市测绘勘察研究院有限公司 一种地理数据采集\成图\管理云服务系统及其方法
CN104320452B (zh) * 2014-10-22 2017-12-26 南京市测绘勘察研究院股份有限公司 一种地理数据采集\成图\管理云服务系统及其方法
CN106250055A (zh) * 2016-07-12 2016-12-21 乐视控股（北京）有限公司 一种数据存储方法及系统
CN106652153A (zh) * 2016-10-17 2017-05-10 深圳市穗彩科技开发有限公司 可扩展的彩票检索派彩方法及系统
CN106652153B (zh) * 2016-10-17 2019-03-26 深圳市穗彩科技开发有限公司 可扩展的彩票检索派彩方法及系统
CN108255640A (zh) * 2017-12-15 2018-07-06 云南省科学技术情报研究院 分布式存储中冗余数据快速恢复方法及装置
CN108255640B (zh) * 2017-12-15 2021-11-02 云南省科学技术情报研究院 分布式存储中冗余数据快速恢复方法及装置

Also Published As

Publication number Publication date
ES2538129T3 (es) 2015-06-17
WO2010046393A2 (en) 2010-04-29
US20110295807A1 (en) 2011-12-01
WO2010046393A3 (en) 2013-02-21
EA201100545A1 (ru) 2012-01-30
US20190266174A1 (en) 2019-08-29
US9329955B2 (en) 2016-05-03
US20160212212A1 (en) 2016-07-21
CA2741477C (en) 2016-12-13
US20230013449A1 (en) 2023-01-19
EP2342663B1 (en) 2015-03-11
SE0802277A1 (sv) 2010-04-25
CA2741477A1 (en) 2010-04-29
US11468088B2 (en) 2022-10-11
US9495432B2 (en) 2016-11-15
AU2009306386A1 (en) 2010-04-29
MX2011004240A (es) 2011-08-15
US9026559B2 (en) 2015-05-05
KR101635238B1 (ko) 2016-06-30
AU2009306386B2 (en) 2015-02-05
EP2342663A2 (en) 2011-07-13
CN102301367B (zh) 2015-01-21
JP2012506582A (ja) 2012-03-15
JP5553364B2 (ja) 2014-07-16
US11907256B2 (en) 2024-02-20
SE533007C2 (sv) 2010-06-08
EP2908257B1 (en) 2019-09-25
US10650022B2 (en) 2020-05-12
EP2908257A1 (en) 2015-08-19
KR20110086114A (ko) 2011-07-27
US8688630B2 (en) 2014-04-01
US20140149351A1 (en) 2014-05-29
DK2342663T3 (da) 2015-06-08
EP3617897B1 (en) 2022-04-06
EP3617897A1 (en) 2020-03-04
US20120023179A1 (en) 2012-01-26
ZA201103754B (en) 2012-01-25
BRPI0914437A2 (pt) 2016-05-24
US20120030170A1 (en) 2012-02-02

Similar Documents

Publication Publication Date Title
CN102301367B (zh) 分布式数据存储
KR101905198B1 (ko) 분산 데이터 스토리지
US8843710B2 (en) Method and device for maintaining data in a data storage system comprising a plurality of data storage nodes
US9021053B2 (en) Method and device for writing data to a data storage system comprising a plurality of data storage nodes
US7337286B1 (en) Storage control system for restoring a remote data copy
CN103858124A (zh) 用于数据维护的方法
CN100573462C (zh) 数据恢复系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Sweden Karlskrona

Applicant after: COMPUVERDE AB

Address before: Sweden Karlskrona

Applicant before: Ilt Productions Ab

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: ILT PRODUCTIONS AB TO: KEMPEWARD CORPORATION

C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150121

Termination date: 20201021