CN101640691A - 数据存储、查找的方法及数据存储网络 - Google Patents

Abstract

本发明公开了一种数据存储方法，该方法包括：当有新的数据插入到节点的时候，该节点向与其连接的组播路由器发送组播组建立请求；组播路由器建立所述数据对应的组播组，并向所述网络中的所有节点广播所述数据与所述组播组；所述网络中的节点根据预设策略选择加入所述组播组，存储所述数据，构成所述数据的组播组。本发明同时公开一种数据查找方法、数据存储网络。采用本发明可以提高网络容灾能力。

Description

数据存储、查找的方法及数据存储网络

技术领域

本发明涉及通信技术领域，尤其涉及数据存储、查找的方法及数据存储网络。

背景技术

目前的数据存储方案大致分为两类：集中式的数据存储和分布式的数据存储。

发明人在实现本发明的过程中，发现集中式的数据存储方案网络容灾能力不高，可靠性要求高、系统恢复时间长；分布式的数据存储方案采用DHT方式访问用户数据，以单播方式查找，当发现一个节点失效时，才向另一节点发起查找请求，更新等操作也类似，网络容灾能力也不高，并且，实施时需要有繁琐的HASH计算和路由查找过程，实现复杂，同时也有可能出现数据不一致的情况。

发明内容

本发明实施例提供一种数据存储方法，用以提高网络容灾能力，该方法包括：

当有新的数据插入到节点的时候，该节点向与其连接的组播路由器发送组播组建立请求；

组播路由器建立所述数据对应的组播组，并向所述网络中的所有节点广播所述数据与所述组播组；

所述网络中的节点根据预设策略选择加入所述组播组，存储所述数据，构成所述数据的组播组。

本发明实施例还提供一种数据查找方法，用以提高网络容灾能力，该方法包括：

组播路由器接收网络中的节点发起的数据查找请求；

组播路由器向待查找的数据对应的组播组中的节点组播所述数据查找请求；

所述组播组中的节点根据所述数据查找请求查找所述数据，并将所述数据反馈给发起数据查找请求的节点。

本发明实施例还提供一种数据存储网络，用以提高网络容灾能力，该网络包括多个组播路由器和多个节点，其中：

各组播路由器之间相互连接，每个组播路由器均连接有多个节点，用于建立数据对应的组播组，并控制节点构成数据的组播组；

各节点用于在有新的数据插入时，向与其连接的组播路由器发送组播组建立请求；以及，根据预设策略选择加入组播路由器建立的组播组，存储对应的数据，由存储相同数据的节点构成该数据的组播组。

本发明实施例还提供一种数据存储网络，用以提高网络容灾能力，该网络包括多个组播路由器和多个节点，其中：

各组播路由器之间相互连接，每个组播路由器均连接有多个节点，存储相同数据的节点构成该数据的组播组；

各组播路由器用于接收节点发起的数据查找请求，向待查找的数据对应的组播组中的节点组播数据查找请求；

各节点用于发起数据查找请求；待查找数据对应组播组中的节点根据接收的数据查找请求查找数据，并将查找到的数据反馈给发起数据查找请求的节点。

本发明实施例在进行数据的存储时，当有新的数据插入到节点的时候，该节点向与其连接的组播路由器发送组播组建立请求；组播路由器建立所述数据对应的组播组，并向所述网络中的所有节点广播所述数据与所述组播组；所述网络中的节点根据预设策略选择加入所述组播组，存储所述数据；在进行数据的查找时，组播路由器接收网络中的节点发起的数据查找请求；组播路由器向待查找的数据对应的组播组中的节点组播所述数据查找请求；所述组播组中的节点根据所述数据查找请求查找所述数据，并将所述数据反馈给发起数据查找请求的节点，从而通过为数据建立对应的组播组，并由存储该相同数据的多个节点构成该组播组，在该组播组中的每个节点上实现该相同数据的存储、查找操作，可以简单易行地提高网络容灾能力。

附图说明

图1为本发明实施例中数据存储的示意图；

图2为本发明实施例中数据存储的处理流程图；

图3为本发明实施例中数据查找的处理流程图；

图4为本发明实施例中数据存储网络的结构示意图。

具体实施方式

本发明实施例中，将分形技术与IP组播技术相结合，以实现数据的存储及查找过程。

其中，分形是一个几何概念，它由像云彩、海岸线、树枝、闪电等不规整但具有某种无穷嵌套自相似性的几何图形抽象概括得出。分形涉及这样一种对象，将其细微部分放大后，其结构看起来仍与原先的一样。

分形具有三大主要特征：自相似性、可迭代性和空间填充性(即分数维)。

自相似原则和迭代生成原则是分形理论的重要原则。它表征分形在通常的几何变换下具有不变性，即标度无关性。由自相似性是从不同尺度的对称出发，也就意味着递归。分形形体中的自相似性可以是完全相同，也可以是统计意义上的相似。标准的自相似分形是数学上的抽象，迭代生成无限精细的结构，如科契(Koch)雪花曲线、谢尔宾斯基(Sierpinski)地毯曲线等。这种有规分形只是少数，绝大部分分形是统计意义上的无规分形。

分数维是指用一个特征数(不一定是整数)来测定其不平度、复杂性或卷积度。

对某一客体，如果度是其“容积”的单位为r，则用该单位度量的结果N(r)满足下列关系：

N(r)＝Cr-Df

其中C为常数，Df称为该客体的Haus dorff维数。换言之，对某客体，如果沿其每个方向同时放大L倍，得到的新客体较原客体增加R倍，即可得该客体的Haus dorff维数为：

$D_f=\frac{\ln R}{\ln L}$

该维数刻划了客体的复杂程度。如果记D(A)为某集合A的拓扑维数，设Df(A)＞D(A)，则该集合所占空间应比D(A)维更大(即Df(A)维空间)。如果一个图形能够分成n个子图形，每个图形的尺寸是原来的m分之一，则维数是以m为底n的对数。

分形理论是一种分析问题解决问题的思想。分形有其自相似、可迭代、分数维的特征。单就存储层面看，本发明实施例中，网络中的单个节点是分形数据存储网络的一个子集合，由FE(Front Endpoint，前端节点)和BE(BackEndpoint，后端节点)组成，单个节点可以存储全网部分用户数据，由这些单个节点的组合，构成分形数据存储网络，对外提供数据查找等一系列功能。每一个通过IP层构建的组播组又是上升了一个层面的分形子系统，每个组播树内的叶子是由一系列存有相同用户数据的节点构成，并通过组播路由器互联，所有用户数据的叠加，所有组播树的集合，便构成了全网组播树的分形数据存储网络。

图1所示为本发明实施例中的数据存储示意图。其中，全网包括多个分布化、均质化的数据存储节点，其中每个节点都包含FE、BE两个部分，节点的操作方式相同，处理逻辑相同。每个节点的BE存储全网中部分用户数据，每个节点的FE承担部分数据的处理操作。所有分形节点的总和构成了全网数据存储系统。

节点通过底层IP网络实现路由，路由方式基于IP组播方式，存有相同用户数据的节点加入相同的组播组，在以后的数据处理过程中基于IP组播进行访问。

下面分别说明本发明实施例的数据存储网络中，对节点和数据的具体操作过程：

在节点加入网络时，节点被分配IP地址。

如图2所示，本发明实施例中数据存储的处理流程如下：

步骤201、当有新的数据插入到节点的时候，该节点向与其连接的组播路由器发送组播组建立请求。

当某节点的FE收到数据插入请求，该FE根据某种存储规则，将此数据插入某一BE中。此规则可以为DHT规则，即数据存放在与数据ID最近的节点ID的节点上；也可以为首次插入就存放在与FE相同节点的BE上。当该节点成功插完数据后，便向与其连接的组播路由器发起组播组建立请求。

步骤202、组播路由器建立所述数据对应的组播组，并向所述网络中的所有节点广播所述数据与所述组播组。

组播路由器建立组播组后，可以向数据首次插入的节点返回组播地址，组播路由器接着向全网广播该数据与对应的组播组，以备其他想加入该组播组的节点获知。

步骤203、所述网络中的节点根据预设策略选择加入所述组播组，存储所述数据，构成所述数据的组播组。

由于全网节点是分形化的，每个节点的BE都可根据自己的需要，选择性的存储所述数据，例如，网络中的节点可以根据用户在本节点访问所述数据的频率，选择加入所述组播组，存储所述数据，即选择存储本地FE经常查询的数据，当然，也可以根据用户要求，选择是否加入所述组播组，存储所述数据。全网数据保留有N份冗余，不同用户的数据存储的份数也可能不同，存储相同数据的节点构成该数据的组播组。

一个实施例中，可以对网络中存储的数据进行更新。此时，所述网络中的节点可以通过组播路由器向其所属的组播组中的其他节点组播对数据的更新请求；所述网络中的节点所属的组播组中的其他节点根据所述更新请求，更新数据。其中，更新的数据可以携带在对数据的更新请求中，更新时直接从更新请求中提取更新的数据；也可以在更新请求中携带更新的数据的地址，更新时从该地址取更新的数据。

当某FE要求更新某一用户数据时，将通过该数据对应的组播路由器向对应组播组内所有存有该数据的节点发起组播消息，要求更新该数据信息。当每个节点数据更新完成时，都可以向组播路由器发回更新完成响应，所有数据更新完成，组播路由器可以向该FE返回更新成功请求。该响应不是必须的，FE无需关心到底有多少份数据更新成功，如与FE在相同节点的BE可以存有此数据更新，只需保证全网有一份数据更新成功即可，后续进行同步操作，可通过组播组的同步完成，组播组会通过发送最新版本号告知该数据的最新版本，如果有版本号不一致的节点，会发送请求，要求更新该数据，此时组播组会依据策略，由一个节点或几个节点发送最新数据给要求更新节点。

一个实施例中，可以对存储的数据进行删除。此时，所述网络中的节点通过组播路由器向其所属的组播组中的其他节点组播对数据的删除请求；所述网络中的节点所属的组播组中的其它节点根据所述删除请求，删除数据。

当某节点要求删除某用户数据时，该节点可以发起取消组播组的请求，由组播路由器判断该请求的合法性，并组播通知所有组内节点删除该用户数据。

一个实施例中，节点可以退出某组播组，可以有正常退出和发生故障等异常退出两种方式。正常退出时，组播组中的节点向组播路由器发起退出该组播组的请求，由组播路由器将该节点从该组播组中删除。异常退出时，组播路由器检测到组播组中的节点异常退出该组播组，则将该节点从该组播组中删除。

当某一组播组内的节点正常退出时，它将向组播组发起退出组播组的请求，组播路由器通过组播树剪枝规则，删除该节点。可以告知其他节点，也可以不通告其他节点。

当某一组播组内的节点异常退出，例如发生故障时，离该节点最近的组播路由器可以检测到。它将向组播组内的其他组播路由器通告这一消息，以便更新组播树。组播路由器也可告知组播组内的节点这一离去消息。

本发明实施例中，同一时刻用户数据的存储可以在全网一定保存有安全级别之上的多份，且这些冗余数据通过组播组的策略(通过IP地址分析，保证一份用户数据存在多个物理地域)，可以在地域上实现分布化，不可能因不可预知或不可抗因素，造成一份用户数据全部丢失的情况。

一个实施例中，组播路由器需了解该数据全网存储几份的信息，即该组播组里有多少节点存储有该数据，并依据策略，当存储该数据的节点数少于某一阈值的时候，主动发起组播加入请求通知(该通知不是针对该用户数据组播组的，而是针对该组播路由器上存有的其他组播组的组播树内节点发送该通知)，当节点收到该请求，想加入该组播组时，便发起组播加入请求，加入该组播组，存储该数据，以维持该组播组存储数据的节点数量在安全级别。

节点故障后的恢复可以有多种方式，例如：

1、恢复原节点能力，将根据本节点BE存有的每条用户数据，分别向网络发起组播查找请求，申请重新加入该组播组。当所有组播组加入完毕，该节点恢复完毕。

2、当作新节点加入来处理，恢复节点不需要记录原有用户数据，因为系统自治性的原因，组播组内的用户数据备份基本会保持在一个安全级别。此时，节点只需加入网络即可，离该节点最近的路由器将记录下此节点的加入信息。

如图3所示，本发明实施例中，数据查找的处理流程如下：

步骤301、组播路由器接收网络中的节点发起的数据查找请求，可以是直接接收该数据查找请求，也可以是接收其它组播路由器转发的该数据查找请求。

网络中的节点可以先在本节点查找所述数据，若未查找到，则向组播路由器发起数据查找请求。或者，网络中的节点也可以直接向与其连接的组播路由器发起数据查找请求。

当某节点FE需要查找某个用户数据时，依据规则，可以先查找本节点BE(也可以直接组播查找)，如果本地BE没有该数据，则FE针对该用户数据所对应的组播组向组播路由器发起数据查找请求。

步骤302、组播路由器向待查找的数据对应的组播组中的节点组播所述数据查找请求。所述数据对应的组播组中的节点为所有加入该组播组的节点(这些节点也就是存储了该用户数据的节点)。

步骤303、所述组播组中的节点根据所述数据查找请求查找所述数据，并将所述数据反馈给发起数据查找请求的节点。

所述组播组中的节点收到此数据查找请求后，通过查询取得数据，可以将此数据组播发回组播路由器，由组播路由器转发此数据给发起查找的节点；也可以通过提取查找请求中携带的源节点IP地址，单播返回给发起查找的节点。

当查找节点收到所有的返回数据后，通过比较接收数据的版本号，取出最新的数据，查找过程结束。若查找节点接收的是组播路由器转发的数据，则另一种实现方式是，由组播路由器比较所接收数据的版本号，仅将最新的数据转发给查找节点。

基于同一发明构思，本发明实施例还提供一种数据存储网络，其结构如图4所示，包括多个节点400和多个组播路由器401，其中：

各组播路由器之间相互连接，每个组播路由器均连接有多个节点，用于建立数据对应的组播组，并控制节点构成数据的组播组；

各节点用于在有新的数据插入时，向与其连接的组播路由器发送组播组建立请求；以及，根据预设策略选择加入组播路由器建立的组播组，存储对应的数据，由存储相同数据的节点构成该数据的组播组。

基于同一发明构思，本发明实施例还提供一种数据存储网络，其结构与图4所示网络结构相同，此时：

各组播路由器之间相互连接，每个组播路由器均连接有多个节点，存储相同数据的节点构成该数据的组播组；

各组播路由器用于接收节点发起的数据查找请求，向待查找的数据对应的组播组中的节点组播数据查找请求；

各节点用于发起数据查找请求；待查找数据对应组播组中的节点根据接收的数据查找请求查找数据，并将查找到的数据反馈给发起数据查找请求的节点。

本发明实施例的分形化数据存储网络是叠加在一个功能足够强大的IP组播网络之上的完全对等，均质化的网络，其依靠IP网络路由器的高处理能力形成完全自适应的网络，该存储网络不依赖存储节点的高可靠性，而是通过多份数据冗余存储的方式实现存储的容灾能力。

本发明实施例通过组播方式访问用户数据，实施存储、查找、更新等过程，节点只发一个组播请求，所有相关节点都会进行相同处理，由IP层解决组播转发，所有的查找更新删除等操作都是对组播组内所有节点的操作，规则简单。

因而本发明实施例不仅解决现有技术中集中式的数据存储方案可靠性要求高，系统恢复时间长的问题，而且简单易行，没有现有技术中分布式的数据存储方案繁琐的HASH计算和路由查找的过程，也不太可能出现数据不一致的情况。

另外，本发明实施例中，数据存储无需规划，数据与存放的节点没有直接关联，因而使数据的存储更加灵活，这与原有的集中式存储和分布式存储(数据以数据块方式存储)以及DHT方式(HASH索引，节点ID与数据ID有着紧密联系)存储都是不同的。

并且，每个数据的备份数可能不同，访问次数多的数据可能存有更多的备份，备份数据是通过存有该数据的节点加入组播组实现的。而现有技术一般是基于统一规则冗余备份。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1、一种数据存储方法，其特征在于，该方法包括：

当有新的数据插入到节点的时候，该节点向与其连接的组播路由器发送组播组建立请求；

组播路由器建立所述数据对应的组播组，并向所述网络中的所有节点广播所述数据与所述组播组；

所述网络中的节点根据预设策略选择加入所述组播组，存储所述数据，构成所述数据的组播组。

2、如权利要求1所述的方法，其特征在于，所述网络中的节点根据预设策略选择加入所述组播组具体为：根据用户在本节点访问所述数据的频率，或根据用户要求。

3、如权利要求1所述的方法，其特征在于，该方法进一步包括：

所述网络中的节点通过组播路由器向其所属的组播组中的其他节点组播对数据的更新请求；

所述网络中的节点所属的组播组中的其他节点根据所述更新请求，更新数据。

4、如权利要求1所述的方法，其特征在于，该方法进一步包括：

当所述网络中的节点要删除数据时，所述网络中的节点通过组播路由器向其所属的组播组中的其他节点组播对数据的删除请求；

所述网络中的节点所属的组播组中的其他节点根据所述删除请求，删除数据。

5、如权利要求1所述的方法，其特征在于，该方法进一步包括：

当节点要退出组播组时，该节点向组播路由器发起退出该组播组的请求；或者，组播路由器检测到组播组中的节点异常退出该组播组；

组播路由器将该节点从该组播组中删除。

6、如权利要求1至5任一项所述的方法，其特征在于，该方法进一步包括：

组播路由器检测到组播组中存储数据的节点数目小于阈值时，请求网络中的节点加入该组播组，存储数据。

7、一种数据查找方法，其特征在于，该方法包括：

组播路由器接收网络中的节点发起的数据查找请求；

组播路由器向待查找的数据对应的组播组中的节点组播所述数据查找请求；

所述组播组中的节点根据所述数据查找请求查找所述数据，并将所述数据反馈给发起数据查找请求的节点。

8、如权利要求7所述的方法，其特征在于，该方法进一步包括：

网络中的节点先在本节点查找所述数据；

若未查找到，则向组播路由器发起数据查找请求。

9、如权利要求7所述的方法，其特征在于，所述组播组中的节点将所述数据反馈给发起数据查找请求的节点包括：

所述组播组中的节点将所述数据反馈给组播路由器，由组播路由器将所述数据反馈给发起数据查找请求的节点；

或，所述组播组中的节点根据所述数据查找请求中携带的源节点IP地址，直接将所述数据反馈给发起数据查找请求的节点。

10、如权利要求7所述的方法，其特征在于，该方法进一步包括：

发起数据查找请求的节点接收到所述组播组中的节点反馈的所述数据后，比较所接收数据的版本号，提取最新的数据。

11、一种数据存储网络，其特征在于，包括多个组播路由器和多个节点，其中：

各组播路由器之间相互连接，每个组播路由器均连接有多个节点，用于建立数据对应的组播组，并控制节点构成数据的组播组；

各节点用于在有新的数据插入时，向与其连接的组播路由器发送组播组建立请求；以及，根据预设策略选择加入组播路由器建立的组播组，存储对应的数据，由存储相同数据的节点构成该数据的组播组。

12、一种数据存储网络，其特征在于，包括多个组播路由器和多个节点，其中：

各组播路由器之间相互连接，每个组播路由器均连接有多个节点，存储相同数据的节点构成该数据的组播组；

各组播路由器用于接收节点发起的数据查找请求，向待查找的数据对应的组播组中的节点组播数据查找请求；

各节点用于发起数据查找请求；待查找数据对应组播组中的节点根据接收的数据查找请求查找数据，并将查找到的数据反馈给发起数据查找请求的节点。

Images