CN111049866A - 数据处理的方法、电子设备和计算机程序产品 - Google Patents

数据处理的方法、电子设备和计算机程序产品 Download PDF

Info

Publication number
CN111049866A
CN111049866A CN201811192254.2A CN201811192254A CN111049866A CN 111049866 A CN111049866 A CN 111049866A CN 201811192254 A CN201811192254 A CN 201811192254A CN 111049866 A CN111049866 A CN 111049866A
Authority
CN
China
Prior art keywords
target data
node
network
nodes
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811192254.2A
Other languages
English (en)
Other versions
CN111049866B (zh
Inventor
吴鹏飞
刘金鹏
王鲲
张鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EMC Corp
Original Assignee
EMC IP Holding Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by EMC IP Holding Co LLC filed Critical EMC IP Holding Co LLC
Priority to CN201811192254.2A priority Critical patent/CN111049866B/zh
Priority to US16/291,022 priority patent/US11301488B2/en
Publication of CN111049866A publication Critical patent/CN111049866A/zh
Application granted granted Critical
Publication of CN111049866B publication Critical patent/CN111049866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G06F16/137—Hash-based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开的实施例涉及数据处理的方法、电子设备和计算机程序产品。一种方法包括：在网络中的第一节点处，基于与网络中的目标数据相关联的哈希值，确定网络中存储有目标数据的副本的一个或多个节点；执行针对目标数据的副本维护，包括：确定一个或多个节点中的可用节点的数目；比较可用节点的数目与目标数据在网络中的副本的预定数目；响应于可用节点的数目不同于预设数目，改变目标数据的副本在网络中的存储分布。本公开的实施例能够在不包括主节点的情况下，对网络中的目标数据的副本进行维护，从而使该副本的数目保持为预设数目。

Description

数据处理的方法、电子设备和计算机程序产品
技术领域
本公开的实施例总体涉及数据处理领域，具体涉及用于数据处理的方法、电子设备和计算机程序产品。
背景技术
在数据处理系统中，追踪每个数据块的副本数目具有重要的意义。系统中的节点可能发生硬件失效或软件失效，从而造成数据丢失。因此，用户需要根据系统运行的实际情况来设置系统中的数据所需要的副本数目。如果网络中的数据副本数目过少，则可能导致数据丢失。反之，如果数据副本数目过多，则会带来数据冗余。
发明内容
在传统的数据副本监视系统中，往往需要一个主节点(master node)，用以管理该主节点所监视的各个数据的索引信息，这些索引信息包括该数据被存储在何处，并且提供如何获取这些数据节点的信息。然而，这种配置存在一些不足。例如，如果该主节点一旦失效，则用户就无法获取这些信息，从而引起单点失效(single point of failure)。另外，单个主节点的存储容量是有限的，这进而使得网络的数据存储量受到限制。
因此，需要一种去中心化系统，在克服单点失效的同时扩展数据的存储量。在去中心化系统中不存在传统系统中的主节点。如何获取系统中的副本数量及其位置是具有挑战的。此外，如果在系统中的一个或多个节点发生失效或者离开该系统，系统如何知晓并且增加更多数据副本来满足副本数目要求，这也是一种挑战。
本公开的实施例提供了用于数据备份的方法、电子设备和计算机程序产品，旨在至少部分地解决数据处理领域中存在的上述和/或其他潜在问题。
在第一方面，本公开的实施例提供了一种数据处理的方法。该方法包括：在网络中的第一节点处，基于与网络中的目标数据相关联的哈希值，确定网络中存储有目标数据的副本的一个或多个节点；执行针对目标数据的副本维护，包括：确定一个或多个节点中的可用节点的数目；比较可用节点的数目与目标数据在网络中的副本的预定数目；响应于可用节点的数目不同于预设数目，改变目标数据的副本在网络中的存储分布。
在一些实施例中，改变目标数据的副本的存储分布包括：响应于可用节点的数目大于预设数目，从一个或多个节点中的至少一个节点上，删除目标数据的副本；以及响应于可用节点的数目小于预设数目，在网络中的至少一个其他节点上，创建目标数据的副本。
在一些实施例中，执行针对目标数据的副本维护包括：获取与目标数据相关联的第一时间戳，第一时间戳记录了由第二节点执行的针对目标数据的上一次副本维护的时点，第二节点不同于第一节点；以及响应于从第一时间戳记录的时点开始经过的时间长度超过预定阈值，执行针对目标数据的副本维护。
在一些实施例中，获取第一时间戳包括：从第一节点的本地数据库中获取先前存储的第一时间戳。
在一些实施例中，该方法还包括：创建第二时间戳以用于记录第一节点处针对目标数据的副本维护的时刻；将第二时间戳发送给网络中存储有目标数据的副本的其他节点。
在一些实施例中，目标数据是一个数据项的多个数据块中的一个数据块，并且其中确定一个或多个节点包括：从网络中的元数据节点获取与数据项相关的哈希链，哈希链记录多个数据块之间的关联；以及基于哈希链来确定存储多个数据块的一个或多个节点。
在第二方面，本公开的实施例提供了一种电子设备。该电子设备包括：至少一个处理单元；至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令，指令当由至少一个处理单元执行时，使得设备执行动作，动作包括：在网络中的第一节点处，基于与网络中的目标数据相关联的哈希值，确定网络中存储有目标数据的副本的一个或多个节点；执行针对目标数据的副本维护，包括：确定一个或多个节点中的可用节点的数目；比较可用节点的数目与目标数据在网络中的副本的预定数目；响应于可用节点的数目不同于预设数目，改变目标数据的副本在网络中的存储分布。
在第三方面，本公开的实施例提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令。该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面所描述的方法的任意步骤。
提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。
图1示出了具有主节点的传统网络环境的示意图；
图2示出了本公开的实施例可以在其中被实现的示例环境的示意图；
图3示出了根据本公开的实施例的用于数据处理的方法的流程图；
图4示出了根据本公开的实施例的用于数据处理的方法的示意图；
图5示出了根据本公开的实施例的节点的示例性实现方式；并且
图6示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
为了防止由于网络中节点出现故障导致节点上的数据丢失，通常需要将对网络中的数据的副本数目进行监视，从而在网络中可用副本数目与所期望的副本数目不一致时，改变数据的副本在网络中的存储分布。
图1示出了具有主节点的传统网络系统100的示意图。参照图1，在传统的中心化的副本监视系统100中，需要主节点101通过元数据103来管理网络中的多个数据节点102。主节点101运行在主服务器(未示出)上。
由图1可以看出，传统的系统100中具有独立的主节点101来维护各节点间的索引信息，一旦主节点101发生失效，系统100就随之发生单点失效的问题。而且，如上所述，由于系统100中的各节点的索引信息都存储在节点101中，因此系统100中的数据处理量会受到主节点101的容量的限制。
图2示出了本公开的实施例可以在其中被实现的示例环境200的示意图。如图2所示，每个节点201都可以与网络中的其他节点201进行交互。节点201上存储有数据202。数据202可以以任何形式来表示，例如可以是文档、音频、视频，等等。该数据202在网络中需要一个或多个副本，来保证数据202在网络中不会丢失。应理解的是，仅出于示例性的目的描述示例环境200的结构和功能，而不暗示对于本公开的范围的任何限制。本公开的实施例还可以被应用到具有不同的结构和/或功能的环境中。
从图2可以看出，根据本公开的实施例的配置不具有图1所示的独立的主节点101。因此不会发生单点失效的问题，并且所有节点的存储空间都可以被加以利用，因此可以大大扩展系统的容量。
下面具体结合图3至图5描述根据本公开的实施例。图3示出了根据本公开的实施例的用于数据处理的方法300的流程图。图4示出了根据本公开的实施例的用于数据处理的方法的示意图。图5示出了根据本公开的实施例的节点201的示例性实现方式。方法300可以由如图2所示的节点201执行。以下结合图2至图5来详细描述方法300中的各个动作。下面以图4中的节点421为例对方法300进行说明。应当理解，方法300还可以包括未示出的附加动作和/或可以省略所示出的动作，本公开的范围在此方面不受限制。
在框310，在网络400中的第一节点421处，基于与网络400中的目标数据413相关联的哈希值，确定网络400中存储有目标数据413的副本的一个或多个节点。在一些实施例中，如图4所示，网络400中的节点421包括分布式哈希表(Distributed Hash Table，DHT)401-1。分布式哈希表401-1的示例性实现如图4所示，其中分布式哈希表401包括被存储在节点201中的数据的哈希值。该哈希值是与数据相关的信息。例如，如果数据以文件形式存在，该哈希值可以是文件的名称。此外，分布式哈希表401-1还包括该数据存储在网络400中的IP地址。哈希值与该IP地址具有对应的关系。如图5所示，基于该哈希值，节点421能够获取目标数据413的副本在网络400中的IP地址。基于该IP地址，节点421确定在网络400中存储有该目标数据413的副本的节点423。
在框320，执行针对目标数据413的副本的维护。由节点421对网络400中的目标数据413的副本进行维护，从而在必要时改变目标数据413的副本在网络400中的存储分布。如图3所示，框320包括框330、框340和框350。
在框330，确定一个或多个节点421、422、423、424中的可用节点的数目。根据分布式哈希表401-1，节点421可以确定网络400中应存储有目标数据413的节点423，并向该节点423发送其是否正常工作的状态请求。节点421从存储目标数据413的这些节点423接收这些状态信息。如果存储目标数据413的节点423返回的信息表示该节点423正常工作，则节点421将该节点423确定为可用节点。如果在一定时间内并未从该节点423接收到信息，则该节点423就被节点421确定为不可用节点。以此方式，通过对存储目标数据413的每个节点都进行类似操作，节点421确定网络400中存储目标数据413的可用节点的数目。
在框340，比较可用节点的数目与目标数据413在网络400中的副本的预定数目。网络400中所需要的副本的数目可以由用户根据实际需要来设定。清楚的是，如果目标数据413的重要性较高，则所需要的副本的预设数目较大。如果目标数据413的重要性较低，则所需要的副本的预设数目较小。
在框350，响应于可用节点的数目不同于预设数目，改变目标数据413的副本在网络400中的存储分布。根据网络400中存储目标数据413的可用节点的数目与预设数目的大小关系，通过对目标数据413的副本进行操作，使得该可用节点的数目与预设数目相等。在网络中的节点都正常运行的情况下，网络400中可用节点的数目与预设数目是相等的。
根据本公开的实施例，可以在没有主节点101的情况下，实现对网络400中的目标数据413副本的维护。以此方式，网络400的存储量不会受到主节点101的存储容量的限制，从而得以大大扩展。
在一些实施例中，如图4所示，在节点421对目标数据413的副本进行监视时，如果此时网络400中存储该目标数据413的另一副本的节点423由于不可控的外部因素(例如断电)而发生失效，则节点423在一定时间内无法向节点421发出消息，则节点421确定节点423已经发生失效。此时，节点421确定网络400中的可用节点的数目小于预设数目。在这种情况下，节点421可以向网络400中的其他节点422、424发出请求，以在网络400中的某个节点上创建该目标数据413的副本。这个节点可以是网络400的可用节点中除了节点421之外的随机选择的节点。
如果网络400中多于一个节点发生由于不可控的外部因素发生失效，则在这种情况下，节点421可以向网络400中的其他节点422、424发出请求，从而在网络400中的多个节点上创建该目标数据413的副本。这些节点可以是网络400的可用节点中除了节点421之外的随机选择的多个节点，从而确保在经改变的目标数据413的副本的存储分布中，网络400中可用节点的数目与预设数目是相等的。
如图4所示，在节点421对目标数据413的副本进行监视时，如果此时网络400中存储该目标数据413的另一副本的节点423由于暂时性故障(例如网络400发生卡顿)而在一定时间内无法向节点421发出消息，则节点421将节点423视为发生失效并且向网络400中的其他节点422、424发出请求，从而在网络400中的某个节点上创建该目标数据413的副本，以确保此时网络400中可用节点的数目与预设数目是相等的。如果节点423的暂时性故障在后期运行中得以消除，则在网络400中的可用节点数目将大于预设数目。在这种情况下，节点421可以向网络400中的其他节点422、424发出请求，从而从网络400中的某个节点上删除该目标数据413的副本，以避免网络400中的目标数据413的副本是冗余的。
如果网络400中可用节点数目比预定数目多出两个或更多个，则在这种情况下，节点421可以向网络400中的其他多个节点发出请求，从而从网络400中的多个节点上删除该目标数据413的副本。以此方式，确保在经改变的目标数据413的副本的存储分布中，网络400中可用节点的数目与预设数目是相等的。
以此方式，实现对目标数据413的副本在网络400中的存储情况进行改变。在互联网环境中，确保网络400中的目标数据413的副本既没有冗余，也不会产生数据丢失，从而实现资源利用最优化。
在一些实施例中，参照图4，在节点421中，针对存储节点421中的目标数据413存在对应的时间戳，用来记录该目标数据413上次被节点423维护的时点。网络400的每个节点421、422、423、424可以周期性地对该节点上的数据进行定期维护。例如，节点421以周期为Δt来进行维护。参照图4，目标数据413被存储在节点421和节点413上。在一些实施例中，不同节点上关于某个目标数据413的更新周期可以是一样的，例如第一节点和第二节点每隔Δt针对目标数据413判断是否对目标数据413的副本进行维护。由于节点421和节点423的本地时间往往存在偏差，则这样的判断是有利的。
例如，如果网络400的维护周期为Δt＝30s，并假定节点421在时点t0、t0+30s、t0+60s等时刻执行对是否对副本进行维护的判断。由于节点421与节点423的本地时间可能存在例如一定时间差，例如15s，在这种情况下，节点423在时点t0-15s、t0+15s、t0+45s等时刻执行对是否对目标数据413的副本进行维护的判断。在t0时刻，节点421的时间戳记录节点423上一次进行副本维护的时点，即t0-15s。此时，节点421将时间戳所记录的时间t0-15s并与当前的时间t0进行比较。如果从该时间戳的时点开始所经过的时间长度超过预定的阈值(Δt＝30s)，则节点421执行对目标数据413的副本维护。如果从该时间戳的时点开始所经过的时间长度未超过预定的阈值，则不执行对目标数据413的副本维护。例如，此时存在节点421中的时间戳为t0-15s，则说明该目标数据413在15s之前被维护过，因此在维护周期为Δt＝30s的设定中，则不需要对该副本再次进行维护。
以此方式，可以优化网络400中的节点的维护频率，从而避免不必要的频繁维护。
在一些实施例中，参照图4，节点421上具有存储在节点421本地的数据库，该数据库也被称作数据保护数据库(Data Protection Database，DPD)。如图4所示，DPD中包括存储在节点421本地的目标数据413的哈希值以及与该目标数据413相关联的时间戳。该时间戳可以是Unix时间，该Unix时间可以被统一为在相同时区内，例如采用格林威治时间。以此方式，经过更新的时间戳被存储在该DPD中，有利于节点421方便读取操作。
如图4所示，在备选实施例中，节点201还可以包括存储库403，存储库403可以包括与存储在节点201中的目标数据413相关联的哈希值以及该目标数据413在节点421中存储的路径。
在一些实施例中，参照图4，当在某个时刻在节点421中针对目标数据413的副本进行维护时，节点421中的时间戳被更新至该时刻，并且向网络400中的存储有该目标数据413的节点423广播消息，以使得节点423的时间戳都被更新至该时刻。举例说明，当节点421在t0进行副本维护后，将节点423的时间戳信息也更新至t0。当节点423在t0+15s需要进行下一次副本维护时，会根据此次更新后的时间戳t0以及当前时刻t0+15s来判断是否开始执行目标数据413的副本维护。以此方式，可以利用各节点之间的交互，进一步优化网络400中的节点的维护频率。
在一些实施例中，目标数据可以是一个数据项的多个数据块中的一个数据块。例如，如图4所示，如果目标数据的大小很大，则可以将其分割成多个目标数据块411、412、413。这些目标数据块411、412、413没有被存储在单个节点上，而是被分散到网络中，从而被适当地存储在网络400中的不同节点上。这些目标数据块411、412、413可以具有相等的大小，也可以具有不同的大小。目标数据块411、412、413的具体大小不受到限制。这些目标数据块411、412、413可以被重新整合，以便恢复成原目标数据。
单个数据块之间的关联可以被记录在哈希链中。示例性地，节点424中可以包括元数据节点414(metadata node)，可以使元数据节点414包括该哈希链。哈希链记录目标数据被分割的情况，包括目标数据块411、412、413的数目、这些目标数据块411、412、413在网络400中的位置，等等。如图4所示，在节点421对目标数据的副本413进行监视时，节点421可以通过已知的路由机制获取元数据节点414在网络400中的位置，例如位于节点424上。该路由机制可以采用《Maymounkov,P.,&Mazieres,D.(2002,March).Kademlia:A peer-to-peerinformation system based on the xor metric.In International Workshop on Peer-to-Peer Systems(pp.53-65).Springer,Berlin,Heidelberg.》中所记载的机制。节点421通过从网络400中的元数据节点414获取与数据项相关的哈希链，并且通过哈希链来确定这些目标数据块411、412、413所存储的节点。
以此方式，可以对数据大小较大的数据进行副本维护。
如图4所示，图4所示的过程可以运行在云上，这些云可以例如是共有云或者私有云。具体配置不受到限制。
基于以上描述能够看出，本公开的示例实施例所提出的用于数据处理的方案能够在没有主节点101的情况下实现对目标数据的维护，从而使网络400中的目标数据被维持在预设的数目，并且可以扩展网络400的数据存储容量。
图6示出了可以用来实施本公开内容的实施例的示例设备600的示意性框图。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法300，可由处理单元601执行。例如，在一些实施例中，方法300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM 603并由CPU 601执行时，可以执行上文描述的方法400的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是——但不限于——电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (13)

1.一种数据处理的方法，包括：
在网络中的第一节点处，基于与网络中的目标数据相关联的哈希值，确定所述网络中存储有所述目标数据的副本的一个或多个节点；
执行针对所述目标数据的副本维护，包括：
确定所述一个或多个节点中的可用节点的数目；
比较所述可用节点的数目与所述目标数据在所述网络中的副本的预定数目；
响应于所述可用节点的数目不同于所述预设数目，改变所述目标数据的副本在所述网络中的存储分布。
2.根据权利要求1所述的方法，其中改变所述目标数据的副本的存储分布包括：
响应于所述可用节点的数目大于所述预设数目，从所述一个或多个节点中的至少一个节点上，删除所述目标数据的副本；以及
响应于所述可用节点的数目小于所述预设数目，在所述网络中的至少一个其他节点上，创建所述目标数据的副本。
3.根据权利要求1所述的方法，其中执行针对所述目标数据的副本维护包括：
获取与所述目标数据相关联的第一时间戳，所述第一时间戳记录了由第二节点执行的针对所述目标数据的上一次副本维护的时点，所述第二节点不同于所述第一节点；以及
响应于从所述第一时间戳记录的所述时点开始经过的时间长度超过预定阈值，执行针对所述目标数据的副本维护。
4.根据权利要求3所述的方法，其中获取所述第一时间戳包括：
从所述第一节点的本地数据库中获取先前存储的所述第一时间戳。
5.根据权利要求3所述的方法，还包括：
创建第二时间戳以用于记录所述第一节点处针对所述目标数据的副本维护的时刻；
将所述第二时间戳发送给所述网络中存储有所述目标数据的副本的其他节点。
6.根据权利要求1所述的方法，其中所述目标数据是一个数据项的多个数据块中的一个数据块，并且其中确定所述一个或多个节点包括：
从所述网络中的元数据节点获取与所述数据项相关的哈希链，所述哈希链记录所述多个数据块之间的关联；以及
基于所述哈希链来确定存储所述多个数据块的所述一个或多个节点。
7.一种电子设备，包括：
至少一个处理单元；
至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
在网络中的第一节点处，基于与网络中的目标数据相关联的哈希值，确定所述网络中存储有所述目标数据的副本的一个或多个节点；
执行针对所述目标数据的副本维护，包括：
确定所述一个或多个节点中的可用节点的数目；
比较所述可用节点的数目与所述目标数据在所述网络中的副本的预定数目；
响应于所述可用节点的数目不同于所述预设数目，改变所述目标数据的副本在所述网络中的存储分布。
8.根据权利要求7所述的电子设备，其中改变所述目标数据的副本的存储分布包括：
响应于所述可用节点的数目大于所述预设数目，从所述一个或多个节点中的至少一个节点上，删除所述目标数据的副本；以及
响应于所述可用节点的数目小于所述预设数目，在所述网络中的至少一个其他节点上，创建所述目标数据的副本。
9.根据权利要求7所述的电子设备，其中执行针对所述目标数据的副本维护包括：
获取与所述目标数据相关联的第一时间戳，所述第一时间戳记录了由第二节点执行的针对所述目标数据的上一次副本维护的时点，所述第二节点不同于所述第一节点；以及
响应于从所述第一时间戳记录的所述时点开始经过的时间长度超过预定阈值，执行针对所述目标数据的副本维护。
10.根据权利要求9所述的电子设备，其中获取所述第一时间戳包括：
从所述第一节点的本地数据库中获取先前存储的所述第一时间戳。
11.根据权利要求9所述的电子设备，所述动作还包括：
创建第二时间戳以用于记录所述第一节点处针对所述目标数据的副本维护的时刻；
将所述第二时间戳发送给所述网络中存储有所述目标数据的副本的其他节点。
12.根据权利要求7所述的电子设备，其中所述目标数据是一个数据项的多个数据块中的一个数据块，并且其中确定所述一个或多个节点包括：
从所述网络中的元数据节点获取与所述数据项相关的哈希链，所述哈希链记录所述多个数据块之间的关联；以及
基于所述哈希链来确定存储所述多个数据块的所述一个或多个节点。
13.一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令，所述机器可执行指令在由设备执行时使所述设备执行根据权利要求1-6中的任一项所述的方法。
CN201811192254.2A 2018-10-12 2018-10-12 数据处理的方法、电子设备和计算机程序产品 Active CN111049866B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811192254.2A CN111049866B (zh) 2018-10-12 2018-10-12 数据处理的方法、电子设备和计算机程序产品
US16/291,022 US11301488B2 (en) 2018-10-12 2019-03-04 Method, electronic device and computer program product for data processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811192254.2A CN111049866B (zh) 2018-10-12 2018-10-12 数据处理的方法、电子设备和计算机程序产品

Publications (2)

Publication Number Publication Date
CN111049866A true CN111049866A (zh) 2020-04-21
CN111049866B CN111049866B (zh) 2022-08-09

Family

ID=70159545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811192254.2A Active CN111049866B (zh) 2018-10-12 2018-10-12 数据处理的方法、电子设备和计算机程序产品

Country Status (2)

Country Link
US (1) US11301488B2 (zh)
CN (1) CN111049866B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277732B (zh) * 2022-07-27 2024-06-11 中航电测仪器股份有限公司 一种嵌入式多设备数据同步方法、系统、设备及方法
CN116112754B (zh) * 2023-02-13 2024-10-01 抖音视界有限公司 一种视频推送方法、装置、设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5555404A (en) * 1992-03-17 1996-09-10 Telenor As Continuously available database server having multiple groups of nodes with minimum intersecting sets of database fragment replicas
US20060168154A1 (en) * 2004-11-19 2006-07-27 Microsoft Corporation System and method for a distributed object store
CN102164309A (zh) * 2011-03-21 2011-08-24 华为技术有限公司 节目的处理方法和系统以及装置
US20170032014A1 (en) * 2015-07-31 2017-02-02 International Business Machines Corporation Balanced partition placement in distributed databases

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9128826B2 (en) * 2012-10-17 2015-09-08 Datadirect Networks, Inc. Data storage architecuture and system for high performance computing hash on metadata in reference to storage request in nonvolatile memory (NVM) location
US20180004777A1 (en) * 2016-04-15 2018-01-04 Brian J. Bulkowski Data distribution across nodes of a distributed database base system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5555404A (en) * 1992-03-17 1996-09-10 Telenor As Continuously available database server having multiple groups of nodes with minimum intersecting sets of database fragment replicas
US20060168154A1 (en) * 2004-11-19 2006-07-27 Microsoft Corporation System and method for a distributed object store
CN102164309A (zh) * 2011-03-21 2011-08-24 华为技术有限公司 节目的处理方法和系统以及装置
US20170032014A1 (en) * 2015-07-31 2017-02-02 International Business Machines Corporation Balanced partition placement in distributed databases

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈贵海等: "基于DHT的P2P系统中高可用数据冗余机制", 《计算机学报》 *

Also Published As

Publication number Publication date
US11301488B2 (en) 2022-04-12
CN111049866B (zh) 2022-08-09
US20200117679A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
CN112882647B (zh) 存储和访问数据的方法、电子设备和计算机程序产品
CN108702289A (zh) 数据保护环境中的端到端加密和备份
CA2923896C (en) Email webclient notification queuing
CN103902410A (zh) 云存储系统的数据备份加速方法
CN111049866B (zh) 数据处理的方法、电子设备和计算机程序产品
US20170193070A1 (en) System and method for a distributed replication lock for active-active geo-redundant systems
US10795579B2 (en) Methods, apparatuses, system and computer program products for reclaiming storage units
CN107229425B (zh) 一种数据存储方法及装置
CN111143113A (zh) 复制元数据的方法、电子设备和计算机程序产品
CN103701907A (zh) 服务器中的数据续传的处理方法及系统
US11093334B2 (en) Method, device and computer program product for data processing
CN111104249A (zh) 用于数据备份的方法、设备和计算机程序产品
CN104793981A (zh) 一种虚拟机集群的在线快照管理方法及装置
CN112887116A (zh) 管理分布式应用系统中的应用节点的方法、设备和产品
US9043274B1 (en) Updating local database and central database
CN106951443B (zh) 基于分布式系统的副本同步的方法、设备和系统
US9678799B2 (en) Dynamic correlated operation management for a distributed computing system
CN112947847B (zh) 用于存储数据的方法、设备和计算机程序产品
CN111858145A (zh) 数据备份与恢复的方法、设备和计算机程序产品
US11281391B2 (en) Method, device, and computer program for migrating backup system
KR101748913B1 (ko) 분산 저장 환경에서 게이트웨이를 선택하기 위한 클러스터 관리 방법 및 데이터 저장 시스템
CN114253460B (zh) 管理存储池的方法、设备和计算机程序产品
US10949114B2 (en) Data storage management devices using utilization rates and methods for data storage management using utilization rates
CN114721583A (zh) 管理存储系统的方法、设备和计算机程序产品
CN113515574A (zh) 一种数据同步方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant