CN108696585A - 一种数据的分布式存储方法及系统 - Google Patents

Abstract

本发明公开了一种数据的分布式存储方法，包括：当检测到目标客户端的数据存储请求时，获取所述存储请求中的目标数据；采用预设的算法计算所述目标数据的第一存储区间；判断各个服务器中是否存在与所述第一存储区间匹配的第一目标服务器；若是，将所述目标数据存储到所述第一目标服务器中。上述的方法，存在多个可以存储数据的服务器，依据所述目标数据对应的第一存储区间确定存储所述目标数据的第一目标服务器，避免了数据的存储方式为多个客户端对应一个服务器的形式，所有的数据都存储在一个服务器中，由于一个服务器中数据库的容量和处理能力十分有限，难以存储更大规模数据的问题。

Description

一种数据的分布式存储方法及系统

技术领域

本发明涉及数据存储技术领域，尤其涉及一种数据的分布式存储方法及系统。

背景技术

如今，随着信息科技的发展，在不同的行业中，每时每刻都会产生大量的数据，从而形成了对海量数据的存储性能需求，一般的将产生的海量数据存储在预建立的数据库中。以电力行业为例，电力数据的存储是电网的一个重要的环节，将当前各个电力系统的客户端实时产生的海量数据存储在指定的服务器的数据库中。

发明人对现有的数据的存储过程进行研究发现，数据的存储方式为多个客户端对应一个服务器的形式，所有的数据都存储在一个服务器中，由于一个服务器中数据库的容量和处理能力十分有限，难以存储更大规模数据。

发明内容

有鉴于此，本发明提供了一种数据的分布式存储方法及系统，用以解决现有技术中数据的存储方式为多个客户端对应一个服务器的形式，所有的数据都存储在一个服务器中，由于一个服务器中数据库的容量和处理能力十分有限，难以存储更大规模数据的问题。具体方案如下：

一种数据的分布式存储方法，包括：

当检测到目标客户端的数据存储请求时，获取所述存储请求中的目标数据；

采用预设的算法计算所述目标数据的第一存储区间；

判断各个服务器中是否存在与所述第一存储区间匹配的第一目标服务器；

若是，将所述目标数据存储到所述第一目标服务器中。

上述的方法，可选的，判断各个服务器中是否存在与所述第一存储区间对应的第一目标服务器包括：

遍历所述各个服务器，获取每一个服务器对应的预设的第二存储区间；

判断各个预设的第二存储间中是否存在一个目标存储区间与所述第一存储区间匹配；

若是，将所述目标存储区间对应的服务器作为与所述第一存储区间对应的第一目标服务器。

上述的方法，可选的，还包括：

当接收到存储失败指令时或不存在与所述第一存储区间匹配的第一目标服务器时，重新确定存储所述目标数据的第二目标服务器。

上述的方法，可选的，若是，将所述目标数据存储到所述第一目标服务器中还包括：

获取预设的压缩比例，依据所述预设的压缩比例对所述目标数据进行压缩。

上述的方法，可选的，还包括：

当接收到存储成功指令时，将所述目标数据备份到预设的备份服务器中。

上述的方法，可选的，还包括：

每间隔预设的时长，对所述各个服务器中的数据量进行统计；

当检测到任意一个服务器的数据量超出其对应的预设的存储阈值时，对数据量超出所述预设的存储阈值的服务器中的数据进行动态迁移。

一种数据的分布式存储系统，包括：

获取模块，用于当检测到目标客户端的数据存储请求时，获取所述存储请求中的目标数据；

计算模块，用于采用预设的算法计算所述目标数据的第一存储区间；

判断模块，用于判断各个服务器中是否存在与所述第一存储区间匹配的第一目标服务器；

存储模块，用于若是，将所述目标数据存储到所述第一目标服务器中。

上述的系统，可选的，判所述判断模块包括：

获取单元，用于遍历所述各个服务器，获取每一个服务器对应的预设的第二存储区间

第一判断单元，用于判断各个预设的第二存储间中是否存在一个目标存储区间与所述第一存储区间匹配；

第一确定单元，用于若是，将所述目标存储区间对应的服务器作为第一目标服务器。

上述的系统，可选的，还包括：

确定模块，用于当接收到存储失败指令时或不存在与所述第一存储区间匹配的第一目标服务器时，重新确定存储所述目标数据的第二目标服务器。

上述的系统，可选的，还包括：

统计模块，用于每间隔预设的时长，对所述各个服务器中的数据量进行统计；

迁移模块，用于当检测到任意一个服务器的数据量超出其对应的预设的存储阈值时，对数据量超出所述预设的存储阈值的服务器中的数据进行动态迁移。

与现有技术相比，本发明包括以下优点：

本发明公开了一种数据的分布式存储方法，包括：当检测到目标客户端的数据存储请求时，获取所述存储请求中的目标数据，采用预设的算法计算所述目标数据的第一存储区间，判断各个服务器中是否存在与所述第一存储区间匹配的第一目标服务器，若是，将所述目标数据存储到所述第一目标服务器中。上述的方法，存在多个可以存储数据的服务器，依据所述目标数据对应的第一存储区间确定存储所述目标数据的第一目标服务器，避免了数据的存储方式为多个客户端对应一个服务器的形式，所有的数据都存储在一个服务器中，由于一个服务器中数据库的容量和处理能力十分有限，难以存储更大规模数据的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的一种数据的分布式存储方法流程图；

图2为本申请实施例公开的一种数据的分布式存储方法又一流程图；

图3为本申请实施例公开的一种数据的分布式存储方法示意图；

图4为本申请实施例公开的一种数据的分布式存储方法又一示意图；

图5为本申请实施例公开的一种数据的分布式存储系统结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

本发明公开了一种数据的分布式存储方法，所述方法应用在大型系统或者平台中客户端的数据向服务器中的数据库进行实时存储的过程中，采用多个客户端对应多个服务器的存储模式，避免数据的存储方式为多个客户端对应一个服务器的形式，所有的数据都存储在一个服务器中，由于一个服务器中数据库的容量和处理能力十分有限，难以存储更大规模数据的问题，所述分布式存储方法的执行流程如图1所示，包括步骤：

S101、当检测到目标客户端的数据存储请求时，获取所述存储请求中的目标数据；

本发明实施例中，所述目标客户端为当前产生数据处理请求的客户端，当有多个客户端都存在数据存储的请求时，依据每一个客户端产生数据存储请求的先后顺序，对存储请求进行处理。解析所述请求中包含的目标数据，并获取所述目标数据。

S102、采用预设的算法计算所述目标数据的第一存储区间；

本发明实施例中，优选的，所述预设的算法为哈希算法，其中，哈希算法又称为摘要算法，它可以将任意数据通过一个函数转换成长度固定的数据，函数与数据之间形成一一映射的关系。依据所述哈希算法计算所述目标数据的第一存储区间，所述第一存储区间包含一系列的数据组成的数据区间。

S103、判断各个服务器中是否存在与所述第一存储区间匹配的第一目标服务器；

本发明实施例中，每一个服务器都通过哈希函数计算出一个对应的预设的第二存储区间，判断各个预设的第二存储区间中是否存在一个目标存储区间与所述第一存储区间匹配，其中，匹配可以为完全相同或者所述第一存储区间包含于所述目标存储区间，将所述目标存储区间对应的服务器作为第一目标服务器。

S104、若是，将所述目标数据存储到所述第一目标服务器中。

本发明实施例中，将所述目标数据存储到所述第一目标服务器中，若接收到存储失败指令或者不存在与所述第一存储区间匹配的第一目标服务器时，重新确定存储所述目标数据的第二目标服务器，确定所述第二目标服务器的过程与上述的过程相同，其中，存储失败指令可以为一个特殊的信号或者返回值。

由于哈希函数具有随机性，因此，在重新确定的与所述目标数据对应的第二目标服务器与所述第一目标服务器不同，降低了再次出现存储失败的可能性。

本发明公开了一种数据的分布式存储方法，包括：当检测到目标客户端的数据存储请求时，获取所述存储请求中的目标数据；采用预设的算法计算所述目标数据的第一存储区间；判断各个服务器中是否存在与所述第一存储区间匹配的第一目标服务器；若是，将所述目标数据存储到所述第一目标服务器中。上述的方法，存在多个可以存储数据的服务器，依据所述目标数据对应的第一存储区间确定存储所述目标数据的第一目标服务器，避免了数据的存储方式为多个客户端对应一个服务器的形式，所有的数据都存储在一个服务器中，由于一个服务器中数据库的容量和处理能力十分有限，难以存储更大规模数据的问题。

本发明实施例中，即便是存在多个分布式存储的服务器的平台或者系统，但是每一个服务器的存储容量是有限的，为了可以实现更多的数据的存储，优选的，可以为每一个服务器设置一个压缩比例，将待存储的数据依据所述压缩比例进行压缩后，再进行存储，其中，针对多个服务器，每一个服务器的压缩比例可以相同，也可以不同，具体如何设置，可以依据实际的工作情况进行设置。

本发明实施例中，为例避免存储数据因为服务器故障等原因可能会导致数据的丢失，优选的，当接收到存储成功指令时，将所述目标数据备份到预设的备份服务器中。

本发明实施例中，由于每一个服务器的处理能力有限，每间隔预设的时长，对每一个服务器中已经存储的数据量进行统计，当检测到任意一个服务器的数据量超出其对应的预设的存储阈值时，对数据量超出所述预设的存储阈值的服务器中的数据进行动态迁移。具体的迁移原则可以为，获取数据量超出所述预设的存储阈值的服务器中的一部分数据，并将该服务器中的运行环境一起迁移到空闲或者是新的服务器中，动态迁移的目的，是为了更好的实现负载均衡。

本发明实施例中，判断各个服务器中是否存在与所述第一存储区间对应的第一目标服务器的方法流程如图2所示，包括步骤：

S201、遍历所述各个服务器，获取每一个服务器对应的预设的第二存储区间；

本发明实施例中，服务器与预设的第二存储区间存在一一对应关系，预设的第二存储区间是采用哈希函数计算得到，为了保证各个服务器之间的负载均衡，各个第二存储区间的范围应该尽量分散避免过于集中，若当前的平台或者系统中的各个客户端产生的数据都集中在一个较小的范围内的情况除外。

S202、判断各个预设的第二存储间中是否存在一个目标存储区间与所述第一存储区间匹配；

本发明实施例中，依次将所述第一存储区间与每一个预设的第二存储区间进行比对，判断判断各个预设的第二存储间中是否存在一个目标存储区间与所述第一存储区间匹配，其中，匹配可以为完全相同或者所述第一存储区间包含于所述预设的第二存储区间。

S203、若是，将所述目标存储区间对应的服务器作为与所述第一存储区间对应的第一目标服务器。

本发明实施例中，当存在时，将所述目标存储区间对应的服务器作为与所述第一存储区间对应的第一目标服务器，将所述目标数据存储到所述第一目标服务器中。

基于上述的分布式存储方法，本发明提供了一种分布式数据通讯交互平台，所述分布式通讯交互平台的总体架构如图3所示，该平台将实时数据库技术与云计算核心技术进行深度融合，通过计算机集群实现具有规模可扩展、可伸缩，系统性能、可靠性、可维护性高的分布式实时数据库系统，包含了数据存储检索、数据处理压缩、冲突处理、多重冗余、事务调度、故障监测与恢复、负载均衡等多项内容，在实时性、分布式基础上实现海量数据存储、高并发事务处理、分布式冗余备份、系统动态扩展等功能。

在分布式实时数据库的总体构架中，多台数据服务器节点的服务组件均通过分布式通讯服务平台的客户端接口接入该平台，实现同其他组件的交互。各个组件以服务的方式供其他组件进行连接、调用，实现了自由、高效。某个节点通过接入分布式应用服务，实现了与同样接入该服务的其他节点的连结，数据的收发都可以通过分布式通讯服务平台的客户端接口实现。并且该平台通过内部的缓冲队列与异步调用机制，使节点在数据发送时无需关心接收节点的状态，在接收数据时将通过消息回调实现节点数据获取。

以电力系统的运行过程为例，电力在运行和传输时会有多个对等的数据服务器节点、数据采集器以及客户端通过接入到分布式通讯服务平台，形成一个分布式系统文件系统整体。位于分布式网络中的各个服务器节点由配置信息指定一个预设的第二存储区间，藉由一致性哈希算法确定各个服务器的预设的第二存储区间，系统在数据存储流程如下：

(1)采集器对实时数据进行采集和整理，汇总后将数据直接通过分布式通讯服务平台发往文件系统提供的实时数据接收服务；

(2)实时数据借助分布式应用服务的负载均衡等机制上送至某台服务器节点；

(3)服务器节点进行解包，将数据点名按照一致性哈希函数映射为数据点，得到第一存储区间，将所述第一存储区间与各个预设的第二存储区间进行匹配，将数据点数据发送至指定的服务器中，从而进入各个服务器的内部数据处理过程。

服务器节点通过分布式通讯服务平台的交互过程如图4所示，上述的过程隔离了繁琐的网路操作以及与外界交互的复杂过程，通过接口类继承即可实现数据的收发，同时监听其他节点的状态。在服务器接入分布式通讯服务平台后，除去依据各个预设的第二存储区间实时对数据进行接收、处理、存储外，一方面需要实现动态负载下的实时数据转发，另一方面需要进行发送、接收备份数据。

服务器节点加入分布式通讯服务平台后，将通过该平台转发实时数据以及备份数据，同时响应该服务发布的消息、接收该服务发送的备份数据向组态服务注册之后将响应其发布的组态更新消息，并随之做出数据迁移的调整。除此之外，单个服务器节点只需要专注于自身的数据接收、发送与存储工作，从而实现将复杂的分布式架构逻辑与单个节点数据处理相分离，最大程度地利用现有的实时数据库存储技术。

其中，以6台服务器的搭建过程为例，进行说明，使用6台服务器搭建服务器集群，数据备份参数N设置为3。使用2台数据模拟采集器模拟30W点的多种波采集数据，采集周期为1秒，通过分布式通讯服务平台向服务器集群发送数据。单台服务器实时存储数据容量达到15W点。其中5W点为主备份数据，另外10W点据为次备份数据。

在存储时分别对是否开启压缩、是否启用订阅功能进行测试。

订阅数据通过订阅接口进行查询获取。

实时数据通过查询接口进行查询获取。

历史数据通过存档查询接口进行查询获取。

在数据备份节点通过存档查询接口对备份数据进行查询获取。

结果：

将查询获取的实时、历史数据与样本数据进行对比，表明不同类型的数据能够正确压缩存储。通过对次备份的数据进行查询，表明数据能够正确冗余存储。数据存储开启压缩时，系统存储的记录数据与样本压缩值一致。

本发明实施例中，与上述的一种数据的分布式存储方法相对应的，本发明实施例中还提供了一种分布式存储系统，所述分布式存储系统的结构框图如图5所示，包括：

获取模块301，计算模块302，判断模块303和存储模块304。

其中，

所述获取模块301，用于当检测到目标客户端的数据存储请求时，获取所述存储请求中的目标数据；

所述计算模块302，用于采用预设的算法计算所述目标数据的第一存储区间；

所述判断模块303，用于判断各个服务器中是否存在与所述第一存储区间匹配的第一目标服务器；

所述存储模块304，用于若是，将所述目标数据存储到所述第一目标服务器中。

本发明公开了一种数据的分布式存储系统，包括：当检测到目标客户端的数据存储请求时，获取所述存储请求中的目标数据；采用预设的算法计算所述目标数据的第一存储区间；判断各个服务器中是否存在与所述第一存储区间匹配的第一目标服务器；若是，将所述目标数据存储到所述第一目标服务器中。上述的系统，存在多个可以存储数据的服务器，依据所述目标数据对应的第一存储区间确定存储所述目标数据的第一目标服务器，避免了数据的存储方式为多个客户端对应一个服务器的形式，所有的数据都存储在一个服务器中，由于一个服务器中数据库的容量和处理能力十分有限，难以存储更大规模数据的问题。

本发明实施例中，判所述判断模块303包括：

获取单元305，第一判断单元306和第一确定单元307。

其中，

所述获取单元305，用于遍历所述各个服务器，获取每一个服务器对应的预设的第二存储区间

所述第一判断单元306，用于判断各个预设的第二存储间中是否存在一个目标存储区间与所述第一存储区间匹配；

所述第一确定单元307，用于若是，将所述目标存储区间对应的服务器作为第一目标服务器。

本发明实施例中，所述存储系统还包括：确定模块308。

其中，

所述确定模块308，用于当接收到存储失败指令时或不存在与所述第一存储区间匹配的第一目标服务器时，重新确定存储所述目标数据的第二目标服务器。

本发明实施例中，所述存储系统还包括：

统计模块309和迁移模块310。

其中，

所述统计模块309，用于每间隔预设的时长，对所述各个服务器中的数据量进行统计；

所述迁移模块310，用于当检测到任意一个服务器的数据量超出其对应的预设的存储阈值时，对数据量超出所述预设的存储阈值的服务器中的数据进行动态迁移。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明所提供的一种数据的分布式存储方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据的分布式存储方法，其特征在于，包括：

当检测到目标客户端的数据存储请求时，获取所述存储请求中的目标数据；

采用预设的算法计算所述目标数据的第一存储区间；

判断各个服务器中是否存在与所述第一存储区间匹配的第一目标服务器；

若是，将所述目标数据存储到所述第一目标服务器中。

2.根据权利要求1所述的方法，其特征在于，判断各个服务器中是否存在与所述第一存储区间对应的第一目标服务器包括：

遍历所述各个服务器，获取每一个服务器对应的预设的第二存储区间；

判断各个预设的第二存储间中是否存在一个目标存储区间与所述第一存储区间匹配；

若是，将所述目标存储区间对应的服务器作为与所述第一存储区间对应的第一目标服务器。

3.根据权利要求1所述的方法，其特征在于，还包括：

当接收到存储失败指令时或不存在与所述第一存储区间匹配的第一目标服务器时，重新确定存储所述目标数据的第二目标服务器。

4.根据权利要求1所述的方法，其特征在于，若是，将所述目标数据存储到所述第一目标服务器中还包括：

获取预设的压缩比例，依据所述预设的压缩比例对所述目标数据进行压缩。

5.根据权利要求1所述的方法，其特征在于，还包括：

当接收到存储成功指令时，将所述目标数据备份到预设的备份服务器中。

6.根据权利要求1所述的方法，其特征在于，还包括：

每间隔预设的时长，对所述各个服务器中的数据量进行统计；

当检测到任意一个服务器的数据量超出其对应的预设的存储阈值时，对数据量超出所述预设的存储阈值的服务器中的数据进行动态迁移。

7.一种数据的分布式存储系统，其特征在于，包括：

获取模块，用于当检测到目标客户端的数据存储请求时，获取所述存储请求中的目标数据；

计算模块，用于采用预设的算法计算所述目标数据的第一存储区间；

判断模块，用于判断各个服务器中是否存在与所述第一存储区间匹配的第一目标服务器；

存储模块，用于若是，将所述目标数据存储到所述第一目标服务器中。

8.根据权利要求7所述的系统，其特征在于，判所述判断模块包括：

获取单元，用于遍历所述各个服务器，获取每一个服务器对应的预设的第二存储区间

第一判断单元，用于判断各个预设的第二存储间中是否存在一个目标存储区间与所述第一存储区间匹配；

第一确定单元，用于若是，将所述目标存储区间对应的服务器作为第一目标服务器。

9.根据权利要求7所述的系统，其特征在于，还包括：

确定模块，用于当接收到存储失败指令时或不存在与所述第一存储区间匹配的第一目标服务器时，重新确定存储所述目标数据的第二目标服务器。

10.根据权利要求7所述的系统，其特征在于，还包括：

统计模块，用于每间隔预设的时长，对所述各个服务器中的数据量进行统计；

迁移模块，用于当检测到任意一个服务器的数据量超出其对应的预设的存储阈值时，对数据量超出所述预设的存储阈值的服务器中的数据进行动态迁移。