CN105282045B - 一种基于一致性哈希算法的分布式计算和储存方法 - Google Patents

Abstract

本发明公开了一种基于一致性哈希算法的分布式计算和储存方法，由多个相互通信连接的数据处理节点组成的数据处理节点集群实现，所述数据处理节点包括依次通信连接的数据路由器模块、数据装载器模块、数据处理器模块和数据储存器模块，数据处理节点根据分类特征码对数据进行装载。本发明可有效应对处理大数据和高并发的单点故障问题。

Description

一种基于一致性哈希算法的分布式计算和储存方法

技术领域

本发明涉及网络通信技术领域，尤其涉及一种基于一致性哈希算法的分布式计算和储存方法。

背景技术

基站，即公用移动通信基站，是无线电台站的一种形式，是指在一定的无线电覆盖区域中，通过移动通信交换中心，与移动电话终端之间进行信息传递的无线电收发信电台。基站的覆盖在网络质量方面起着重要的作用，特别是随着4G时代的到来，电信运营商建立了大量的基站，对于民众来说，通信质量变好了，但对于电信运营商来说，大量的基站也就意味着基站监控的数据处理量大大增加，面对着大规模的数据，必须采取一种高效的手段对其进行处理才能满足基站数量的爆发式增长。

目前，处理大规模的基站数据的方式主要有：

1、按照片区建立基站的数据处理中心，各个数据处理中心负责处理所在片区的数据，以此来降低数据规模和并发数量，在数据处理完成后，将数据入库至上一级的数据中心的数据库中，虽然这种方法可解决大数据和高并发的数据处理问题，但是需要为每个数据处理中心做高可用的集群来保证系统的安全性，以防片区的数据中心崩溃后，数据丢失，再者，需要配置的计算机数为数据处理中心个数的两倍，导致成本上升的同时耗费了大量的资源；

2、建立负载均衡系统。如申请号为201310744904.0的发明专利，该发明专利公开了一种负载均衡方法及系统，其中包括：负载均衡引擎根据集群管理与监听器提供的内存数据库集群整体运行状态和访问请求的编号，基于一致性哈希算法计算得出响应访问请求的最佳集群分组，将客户端下发的访问请求发送给最佳集群分组进行相应；其通过建立完整的内存数据库集群，每个集群处理节点按权重处理请求数据，达到处理高并发和大数据的效果，但是，每个集群处理节点需要加载整个系统的基础数据用于数据处理，此时，每个集群处理节点内都会有相同的基础数据，当系统基础数据量庞大时，将浪费大量的资源和时间用于加载重复的数据。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种有效应对处理大数据和高并发的单点故障问题的基于一致性哈希算法的分布式计算和储存方法。

为了解决上述技术问题，本发明采用如下方案实现：

一种基于一致性哈希算法的分布式计算和储存方法，由多个相互通信连接的数据处理节点组成的数据处理节点集群实现，所述数据处理节点包括依次通信连接的数据路由器模块、数据装载器模块、数据处理器模块和数据储存器模块，数据处理节点根据分类特征码对数据进行装载。

数据装载的过程包括如下步骤：

S1：数据路由器模块对外部数据的分类特征码进行一致性哈希计算并确定处理节点，后将数据分发至该处理节点；

S2：数据装载器模块对接收到的数据进行分析处理，后将数据传递至数据处理器模块；

S3：数据处理器模块对接收到的数据进行分析处理，并将结果传递给数据储存器模块；

S4：数据储存器模块将数据保存至内存数据库和持久化数据库中。

每一个数据处理节点都有随机分配的ID，将内容映射到节点时，对数据分类特征码和节点的ID进行一致性哈希运算并获得键值，将外部数据分发到具有与其键值最接近的节点上，如键值为1001的内容，系统中有ID为1000，1010，1100的节点，按单调性的原则，当逆时针查找时，该内容将被映射到1000节点 ，或当顺时针查找时，该内容将被映射到1010节点。若外部数据的键值与本节点ID处于同一值域，就将其传递至本节点的数据装载器模块中，若外部数据的键值与本节点ID不处于同一值域，则通过本节点的数据路由器模块寻找与其键值处于同一值域的节点，并传递给该节点的数据路由器模块。

在整个系统中，为了解决大数据传输时，出现的网络带宽问题，每个数据处理节点都接入外部数据，承担数据路由职责，数据路由器模块仅对分类特征码做一致性哈希计算、接收外部数据或根据节点路由表通过网络转发数据，同时维护本处理节点路由表的功能；所述的分类特征码包括基站标识、或设备标识等。

步骤S2中，数据装载器模块对接收到的数据进行分析处理具体为：数据装载器模块检查本节点中是否已加载该分类特征码相关的数据处理规则，如若未加载，则从持久化数据库中加载对应的数据处理规则至节点的内存中，完成后将数据传递给数据处理器模块；如若已加载，则将数据直接传递至数据处理器模块。

数据装载器加载数据处理规则到节点的内存中，便于数据处理器模块处理数据时使用，数据处理规则包括：据四则运算规则和逻辑判断规则等，通过这些规则，可将外部传入的数据转换成系统内部数据。

步骤S3中，数据处理器模块对接收到的数据进行分析处理具体为：数据处理器模块根据节点内存中的数据处理规则进行分析处理。

步骤S1中，数据路由器模块通过网络接收带有分类特征码的数据。

步骤S4中，通过数据订阅模块和数据检索模块对内存数据库进行订阅和检索。

与现有技术相比，本发明具有如下有益效果：

1、本发明将大数据和高并发按分类特征码进行分割，并转发至依赖于一致性哈希算法的集群处理节点进行计算和储存，是一种分布式的计算和储存方法，与负载均衡方法有着形式上和本质上的区别；

2、基于分布式计算和储存的分析处理节点，内部装载的数据都依赖于分类特征码，与分类特征码不相关的数据将不会被装载到单个处理节点内，从而降低了每个数据处理节点的数据量，节省了数据储存空间和数据处理能力，降低数据处理节点的硬件要求，有利于节约成本；

3、整个集群基于一致性哈希算法的协调调度，由于一致性哈希算法的平衡性、单调性、分散性等方面的优势，对集群路由的容错性、命中率和扩展性具有良好的表现。

附图说明

图1为实施例1流程图；

图2为实施例1数据处理节点集群示意图；

图3为实施例1数据处理节点结构图；

其中，P为数据处理节点；K为包含有特征码的外部数据，在一致性哈希算法中，K按顺时针找到最近的处理节点进行处理，K指向处理节点。

具体实施方式

为了让本领域的技术人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步阐述。

实施例1

如图2和3所示，一种基于一致性哈希算法的分布式计算和储存方法，由多个相互通信连接的数据处理节点P组成的数据处理节点集群实现，所述数据处理节点包括依次通信连接的数据路由器模块、数据装载器模块、数据处理器模块和数据储存器模块，数据处理节点根据分类特征码对数据进行装载。

如图1所示，数据装载的过程包括如下步骤：

S1：数据路由器模块通过网络获取带有分类特征码的外部数据K，将分类特征码作为Hash Code进行一致性哈希计算，同时对节点的ID进行一致性哈希计算，获得两者的键值，将外部数据K传递至与其键值处于同一值域的节点；

S2：数据装载器模块对接收到的数据进行分析处理，数据装载器模块检查本节点中是否已加载该分类特征码相关的数据处理规则，如若未加载，则从持久化数据库中加载对应的数据处理规则至节点的内存中，完成后将数据传递给数据处理器模块；如若已加载，则将数据直接传递至数据处理器模块；

S3：数据处理器模块对接收到的数据根据节点内存中的数据处理规则进行分析处理，并将结果传递给数据储存器模块；

S4：数据储存器模块将数据保存至内存数据库和持久化数据库中，所述内存数据库与数据订阅模块和数据检索模块通信连接，可提供外部高效率的订阅和检索。

Claims (4)

1.一种基于一致性哈希算法的分布式计算和储存方法，其特征在于，由多个相互通信连接的数据处理节点组成的数据处理节点集群实现，所述数据处理节点包括依次通信连接的数据路由器模块、数据装载器模块、数据处理器模块和数据储存器模块，数据处理节点根据分类特征码对数据进行装载；

数据装载的过程包括如下步骤：

S1：数据路由器模块对外部数据的分类特征码进行一致性哈希计算并确定处理节点，后将数据分发至该处理节点；

S2：数据装载器模块对接收到的数据进行分析处理，后将数据传递至数据处理器模块；

S3：数据处理器模块对接收到的数据进行分析处理，并将结果传递给数据储存器模块；

S4：数据储存器模块将数据保存至内存数据库和持久化数据库中；

步骤S2中，数据装载器模块对接收到的数据进行分析处理具体为：数据装载器模块检查本节点中是否已加载该分类特征码相关的数据处理规则，如若未加载，则从持久化数据库中加载对应的数据处理规则至节点的内存中，完成后将数据传递给数据处理器模块；如若已加载，则将数据直接传递至数据处理器模块。

2.根据权利要求1所述的基于一致性哈希算法的分布式计算和储存方法，其特征在

于，步骤S3 中，数据处理器模块对接收到的数据进行分析处理具体为：数据处理器模块根据节点内存中的数据处理规则进行分析处理。

3.根据权利要求1所述的基于一致性哈希算法的分布式计算和储存方法，其特征在于，步骤S1中，数据路由器模块通过网络接收带有分类特征码的数据。

4.根据权利要求1所述的基于一致性哈希算法的分布式计算和储存方法，其特征在于，步骤S4 中，通过数据订阅模块和数据检索模块对内存数据库进行订阅和检索。