CN105959350B - 分布式数据存储方法及装置 - Google Patents

Abstract

本发明公开了一种分布式数据存储方法和装置，该方法包括：将分布式系统的存储空间分成多个存储层，每个存储层包括若干存储设备；为每个存储层设置层编码、每个存储设备设置设备编码；根据层编码和设备编码为每个存储设备分配一个存储识别码；当接收到待存储数据时，生成一个与存储识别码格式对应的随机数；将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中。本发明根据生成的随机数将待存储数据存储到各个存储设备中，使待存储数据能够较为均匀的分布于各个存储设备中，从而实现了分布式系统中的存储资源的充分利用。

Description

分布式数据存储方法及装置

技术领域

本发明涉及分布式系统技术领域，尤其涉及一种分布式数据存储方法及装置。

背景技术

随着信息化的深入开展，各行各业的业务系统所产生的数据越来越多，由于传统的集中式存储方案(集中式存储是指为待存储的数据制定一个特定的存储区域，如数据中心主机，将所有都存储在该区域中)将所有的数据均存储在数据中心主机上，若数据中心主机出故障，则整个系统无法存储和提取数据，即集中式存储方案相较于分布式数据存储，数据稳定性较低，故而分布式数据存储应运而生。

现行的分布式数据存储方式一般是将待存储数据写入未充分使用的存储设备中；但是，由于数据写入存储设备之后很少被移动，且随着存储设备的扩展和更新，大部分的数据都写入到新增、数据较少的新存储设备中，从而导致新增存储设备存储资源占用过多、旧存储设备存储资源利用不足，不能充分利用分布式系统中的存储资源。

发明内容

本发明的主要目的在于提供一种分布式数据存储方法及装置，旨在解决现有分布式系统数据存储不能充分利用系统中存储资源的技术问题。

为实现上述目的，本发明提供的一种分布式数据存储方法，该分布式数据存储方法包括：

将分布式系统的存储空间分成多个存储层，每个存储层包括若干存储设备；

为每个存储层设置层编码、每个存储设备设置设备编码；

根据层编码和设备编码为每个存储设备分配一个存储识别码；

当接收到待存储数据时，生成一个与所述存储识别码格式对应的随机数；

将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中。

优选地，所述为每个存储层设置层编码、每个存储设备设置设备编码的步骤包括：

根据存储数据的信息安全等级，为每个存储层设置一个层编码；

根据同一存储层内存储设备的位置，为每个存储设备设置一个设备编码。

优选地，所述将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中的步骤之前还包括：

解析所述待存储数据，获取待存储数据的信息安全需求等级；

获取信息安全等级符合所述信息安全需求等级的存储层，该存储层作为待选存储层，以基于随机数从待选存储层中确定存储设备。

优选地，所述将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中的步骤包括：

将所述随机数与待选存储层中各个存储设备的存储识别码进行匹配，得出各个存储设备关于自有存储识别码与随机数的匹配度；

将所述待存数据存储在所述匹配度最高的存储设备中。

优选地，所述当接收到待存储数据时，生成一个与所述存储识别码格式对应的随机数的步骤包括：

当接收到待存储数据时，验证该待存储数据的合法性；

若所述待存储数据合法，则控制预设的真随机数发生器生成一个与所述存储识别码格式对应的随机数。

本发明还提供一种分布式数据存储装置，该分布式数据存储装置包括：

存储分层模块，用于将分布式系统的存储空间分成多个存储层，每个存储层包括若干存储设备；

编码设置模块，用于为每个存储层设置层编码、每个存储设备设置设备编码；

分配模块，用于根据层编码和设备编码为每个存储设备分配一个存储识别码；

随机数模块，用于当接收到待存储数据时，生成一个与所述存储识别码格式对应的随机数；

存储模块，用于将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中。

优选地，所述编码设置模块包括：

安全分配单元，用于根据存储数据的信息安全等级，为每个存储层设置一个层编码；

编码设置单元，用于根据同一存储层内存储设备的位置，为每个存储设备设置一个设备编码。

优选地，所述分布式数据存储装置还包括：

解析模块，用于在存储待存储数据前，解析所述待存储数据，获取待存储数据的信息安全需求等级；

层获取模块，用于获取信息安全等级符合所述信息安全需求等级的存储层，该存储层作为待选存储层，以基于随机数从待选存储层中确定存储设备。

优选地，所述存储模块包括：

匹配单元，用于将所述随机数与待选存储层中各个存储设备的存储识别码进行匹配，得出各个存储设备关于自有存储识别码与随机数的匹配度；

存储单元，用于将所述待存数据存储在所述匹配度最高的存储设备中。

优选地，所述随机数模块包括：

验证单元，用于当接收到待存储数据时，验证该待存储数据的合法性；

随机数生成单元，用于若所述待存储数据合法，则控制预设的真随机数发生器生成一个与所述存储识别码格式对应的随机数。

本发明通过先将分布式系统的存储空间分成多个存储层，每个存储层包括若干存储设备；然后为每个存储层设置层编码、每个存储设备设置设备编码；再根据层编码和设备编码为每个存储设备分配一个存储识别码；当接收到待存储数据时，生成一个与存储识别码格式对应的随机数；最后将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中，从而根据生成的随机数将待存储数据存储到各个存储设备中，因各个与存储识别码对应的随机数每次出现的概率是相等的，所以待存储数据存储到各个存储设备的概率也是相同的，当待存储数据较多时，待存储数据能够较为均匀的分布于各个存储设备中，即使新、旧存储设备的存储资源都得到充分利用，从而实现了分布式系统中的存储资源的充分利用。

附图说明

图1为本发明分布式数据存储方法第一实施例的流程示意图；

图2为本发明分布式数据存储方法一优选实施例的流程示意图；

图3为本发明分布式数据存储方法第二实施例中当接收到待存储数据时，生成一个与存储识别码格式对应的随机数的细化流程示意图；

图4为本发明分布式数据存储装置第一实施例的功能模块示意图；

图5为本发明分布式数据存储装置一优选实施例的功能模块示意图；

图6为本发明分布式数据存储装置第一实施例中随机数模块的细化功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种分布式数据存储方法，在本发明分布式数据存储方法的第一实施例中，参照图1，该分布式数据存储方法包括：

步骤S10，将分布式系统的存储空间分成多个存储层，每个存储层包括若干存储设备；

根据信息安全等级、存储空间大小、数据类型等因素，将分布式系统的存储空间分为多个存储层，例如，信息安全等级分为低级、中级和高级，存储层也包括低级存储层、中级存储层和高级存储层，每个存储层中包括多个存储设备，同一存储层中各个存储设备在硬件特性和软件特性上相同或相似。

步骤S20，为每个存储层设置层编码、每个存储设备设置设备编码；

步骤S30，根据层编码和设备编码为每个存储设备分配一个存储识别码；

为每个存储层设置一个唯一标识的层编码，同时也为每个存储设备设置一个唯一标识的设备编码，

优选地，步骤S20包括：

步骤S21，根据存储数据的信息安全等级，为每个存储层设置一个层编码；

步骤S22，根据同一存储层内存储设备的位置，为每个存储设备设置一个设备编码。

系统对存储数据的信息安全等级具有不同的要求，例如在财务、商业秘密等存储数据为私密信息，具有高等级的信息安全要求；例如宣传广告、行业规范等存储数据为公开信息，具有低等级的信息安全要求。根据存储数据的信息安全等级，为每个存储层设置一个层编码，该层编码也对应的不同的信息安全等级。然后根据同一存储层内存储设备的位置，为每个存储设备设置一个设备编码。

例如低级存储层对应层编码01、中级存储层对应层编码02、高级存储层对应层编码03，低级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005，中级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005，高级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005。然后根据层编码和设备编码为每个存储设备分配一个存储识别码，例如低级存储中存储设备的存储识别码分别为010001、010002、010003、010004、010005，从而根据存储识别码可快速、准确地找到对应存储设备。

步骤S40，当接收到待存储数据时，生成一个与存储识别码格式对应的随机数；

在接收到待存储数据时，控制自带的真随机数发生器生成一个随机数，该随机数与存储识别码格式对应或相同，例如存储识别码格式为六位自然数，且前两位表示存储层，后四位表示存储设备，同理，生成的随机数也是六位自然数。

步骤S50，将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中。

根据生成的随机数查找匹配的存储识别码所对应的存储设备，例如随机数为020003，则找到中级存储层中设备编码为0003的存储设备，并将待存储数据存储(即写入)到存储识别码为020003的存储设备中。

在本实施例中，通过先将分布式系统的存储空间分成多个存储层，每个存储层包括若干存储设备；然后为每个存储层设置层编码、每个存储设备设置设备编码；再根据层编码和设备编码为每个存储设备分配一个存储识别码；当接收到待存储数据时，生成一个与存储识别码格式对应的随机数；最后将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中，从而根据生成的随机数将待存储数据存储到各个存储设备中，因各个与存储识别码对应的随机数每次出现的概率是相等的，所以待存储数据存储到各个存储设备的概率也是相同的，当待存储数据较多时，待存储数据能够较为均匀的分布于各个存储设备中，即使新、旧存储设备的存储资源都得到充分利用，从而实现了分布式系统中的存储资源的充分利用。

优选地，参照图2，在步骤S50之前，本发明分布式数据存储方法还包括：

步骤S60，解析待存储数据，获取待存储数据的信息安全需求等级；

步骤S70，获取信息安全等级符合信息安全需求等级的存储层，该存储层作为待选存储层，以基于随机数从待选存储层中确定存储设备。

在生成随机数之后，可先对待存储数据进行解析，获取该待存储数据的信息安全需求等级，然后确定与该信息安全需求等级匹配的信息安全等级所对应的存储层，将该确定的存储层作为待选存储层。

并且，步骤S50包括：

步骤S51，将随机数与待选存储层中各个存储设备的存储识别码进行匹配，得出各个存储设备关于自有存储识别码与随机数的匹配度；

步骤S52，将待存数据存储在匹配度最高的存储设备中。

在根据待存储数据确定待选存储层之后，根据随机数先从待选存储层中确定层编码与随机数匹配度最高的存储层，然后继续根据随机数从匹配度最高的存储层中选出设备编码与随机数匹配度最高的存储设备作为待选存储设备，即将随机数与待选存储层中各个存储设备的存储识别码进行匹配，得出各个存储设备关于自有存储识别码与随机数的匹配度，并选出匹配度最高的待选存储设备，最后将待存数据存储在匹配度最高的存储设备(即待选存储设备)中，从而根据信息安全需求等级有针对性的将待存储数据存储到不同的存储设备中，在保证待存储数据信息安全的前提下，也实现了实现了分布式系统中的存储资源的充分利用。

进一步地，在本发明分布式数据存储方法第一实施例的基础上，提出分布式数据存储方法第二实施例，参照图3，步骤S40包括：

步骤S41，当接收到待存储数据时，验证该待存储数据的合法性；

步骤S42，若待存储数据合法，则控制预设的真随机数发生器生成一个与存储识别码格式对应的随机数。

在接收到待存储数据时，需对该待存储数据本身数据的合法性(即是否完整、真实)和数据发送方身份的合法性进行验证，只有在验证待存数据本身合法且数据发送方身份合法时，即待存数据合法时，才控制预设的真随机数发生器生成一个与存储识别码格式对应的随机数，从而在确保待存储数据为合法时，才生成随机数以备后续选择对应的存储设备进行存储，从而进一步提高了本发明分布式数据存储的安全性。

本发明还提供一种分布式数据存储装置，在分布式数据存储装置第一实施例中，参照图4，该分布式数据存储装置包括：

存储分层模块10，用于将分布式系统的存储空间分成多个存储层，每个存储层包括若干存储设备；

存储分层模块10根据信息安全等级、存储空间大小、数据类型等因素，将分布式系统的存储空间分为多个存储层，例如，信息安全等级分为低级、中级和高级，存储层也包括低级存储层、中级存储层和高级存储层，每个存储层中包括多个存储设备，同一存储层中各个存储设备在硬件特性和软件特性上相同或相似。

编码设置模块20，用于为每个存储层设置层编码、每个存储设备设置设备编码；

分配模块30，用于根据层编码和设备编码为每个存储设备分配一个存储识别码；

编码设置模块20为每个存储层设置一个唯一标识的层编码，同时也为每个存储设备设置一个唯一标识的设备编码，分配模块30根据层编码和设备编码为每个存储设备分配一个存储识别码。

优选地，编码设置模块20包括：

安全分配单元21，用于根据存储数据的信息安全等级，为每个存储层设置一个层编码；

编码设置单元22，用于根据同一存储层内存储设备的位置，为每个存储设备设置一个设备编码。

系统对存储数据的信息安全等级具有不同的要求，例如在财务、商业秘密等存储数据为私密信息，具有高等级的信息安全要求；例如宣传广告、行业规范等存储数据为公开信息，具有低等级的信息安全要求。安全分配单元21根据存储数据的信息安全等级，为每个存储层设置一个层编码，该层编码也对应的不同的信息安全等级。然后编码设置单元22根据同一存储层内存储设备的位置，为每个存储设备设置一个设备编码。

例如低级存储层对应层编码01、中级存储层对应层编码02、高级存储层对应层编码03，低级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005，中级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005，高级存储层中存储设备的设备编码包括0001、0002、0003、0004、0005。然后根据层编码和设备编码为每个存储设备分配一个存储识别码，例如低级存储中存储设备的存储识别码分别为010001、010002、010003、010004、010005，从而根据存储识别码可快速、准确地找到对应存储设备。

随机数模块40，用于当接收到待存储数据时，生成一个与存储识别码格式对应的随机数；

在接收到待存储数据时，随机数模块40控制自带的真随机数发生器生成一个随机数，该随机数与存储识别码格式对应或相同，例如存储识别码格式为六位自然数，且前两位表示存储层，后四位表示存储设备，同理，生成的随机数也是六位自然数。

存储模块50，用于将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中。

存储模块50根据生成的随机数查找匹配的存储识别码所对应的存储设备，例如随机数为020003，则找到中级存储层中设备编码为0003的存储设备，并将待存储数据存储(即写入)到存储识别码为020003的存储设备中。

在本实施例中，通过存储分层模块10先将分布式系统的存储空间分成多个存储层，每个存储层包括若干存储设备；然后编码设置模块20为每个存储层设置层编码、每个存储设备设置设备编码；分配模块30再根据层编码和设备编码为每个存储设备分配一个存储识别码；当接收到待存储数据时，随机数模块40生成一个与存储识别码格式对应的随机数；最后存储模块50将待存储数据存储在与随机数匹配度最高的存储识别码所对应的存储设备中，从而根据生成的随机数将待存储数据存储到各个存储设备中，因各个与存储识别码对应的随机数每次出现的概率是相等的，所以待存储数据存储到各个存储设备的概率也是相同的，当待存储数据较多时，待存储数据能够较为均匀的分布于各个存储设备中，即使新、旧存储设备的存储资源都得到充分利用，从而实现了分布式系统中的存储资源的充分利用。

优选地，参照图5，分布式数据存储装置还包括：

解析模块60，用于在存储待存储数据前，解析待存储数据，获取待存储数据的信息安全需求等级；

层获取模块70，用于获取信息安全等级符合信息安全需求等级的存储层，该存储层作为待选存储层，以基于随机数从待选存储层中确定存储设备。

在生成随机数之后，解析模块60可先对待存储数据进行解析，获取该待存储数据的信息安全需求等级，然后层获取模块70确定与该信息安全需求等级匹配的信息安全等级所对应的存储层，将该确定的存储层作为待选存储层。

并且，存储模块50包括：

匹配单元51，用于将随机数与待选存储层中各个存储设备的存储识别码进行匹配，得出各个存储设备关于自有存储识别码与随机数的匹配度；

存储单元52，用于将待存数据存储在匹配度最高的存储设备中。

在根据待存储数据确定待选存储层之后，匹配单元51根据随机数先从待选存储层中确定层编码与随机数匹配度最高的存储层，然后继续根据随机数从匹配度最高的存储层中选出设备编码与随机数匹配度最高的存储设备作为待选存储设备，即匹配单元51将随机数与待选存储层中各个存储设备的存储识别码进行匹配，得出各个存储设备关于自有存储识别码与随机数的匹配度，并选出匹配度最高的待选存储设备，最后存储单元52将待存数据存储在匹配度最高的存储设备(即待选存储设备)中，从而根据信息安全需求等级有针对性的将待存储数据存储到不同的存储设备中，在保证待存储数据信息安全的前提下，也实现了实现了分布式系统中的存储资源的充分利用。

进一步地，在本发明分布式数据存储装置第一实施例的基础上，提出分布式数据存储装置第二实施例，参照图6，在第二实施例中，随机数模块40包括：

验证单元41，用于当接收到待存储数据时，验证该待存储数据的合法性；

随机数生成单元42，用于若待存储数据合法，则控制预设的真随机数发生器生成一个与存储识别码格式对应的随机数。

在接收到待存储数据时，验证单元41需对该待存储数据本身数据的合法性(即是否完整、真实)和数据发送方身份的合法性进行验证，只有在验证待存数据本身合法且数据发送方身份合法时，即待存数据合法时，随机数生成单元42才控制预设的真随机数发生器生成一个与存储识别码格式对应的随机数，从而在确保待存储数据为合法时，才生成随机数以备后续选择对应的存储设备进行存储，从而进一步提高了本发明分布式数据存储的安全性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种分布式数据存储方法，其特征在于，该分布式数据存储方法包括：

将分布式系统的存储空间分成多个存储层，每个存储层包括若干存储设备；

为每个存储层设置层编码、每个存储设备设置设备编码；

根据层编码和设备编码为每个存储设备分配一个存储识别码；

当接收到待存储数据时，生成一个与所述存储识别码格式对应的随机数；

将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中；

所述当接收到待存储数据时，生成一个与所述存储识别码格式对应的随机数的步骤包括：

当接收到待存储数据时，验证该待存储数据的合法性；

若所述待存储数据合法，则控制预设的真随机数发生器生成一个与所述存储识别码格式对应的随机数。

2.如权利要求1所述的分布式数据存储方法，其特征在于，所述为每个存储层设置层编码、每个存储设备设置设备编码的步骤包括：

根据存储数据的信息安全等级，为每个存储层设置一个层编码；

根据同一存储层内存储设备的位置，为每个存储设备设置一个设备编码。

3.如权利要求2所述的分布式数据存储方法，其特征在于，所述将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中的步骤之前还包括：

解析所述待存储数据，获取待存储数据的信息安全需求等级；

获取信息安全等级符合所述信息安全需求等级的存储层，该存储层作为待选存储层，以基于随机数从待选存储层中确定存储设备。

4.如权利要求3所述的分布式数据存储方法，其特征在于，所述将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中的步骤包括：

将所述随机数与待选存储层中各个存储设备的存储识别码进行匹配，得出各个存储设备关于自有存储识别码与随机数的匹配度；

将所述待存数据存储在所述匹配度最高的存储设备中。

5.一种分布式数据存储装置，其特征在于，该分布式数据存储装置包括：

存储分层模块，用于将分布式系统的存储空间分成多个存储层，每个存储层包括若干存储设备；

编码设置模块，用于为每个存储层设置层编码、每个存储设备设置设备编码；

分配模块，用于根据层编码和设备编码为每个存储设备分配一个存储识别码；

随机数模块，用于当接收到待存储数据时，生成一个与所述存储识别码格式对应的随机数；

存储模块，用于将所述待存储数据存储在与所述随机数匹配度最高的存储识别码所对应的存储设备中；

所述随机数模块包括：

验证单元，用于当接收到待存储数据时，验证该待存储数据的合法性；

随机数生成单元，用于若所述待存储数据合法，则控制预设的真随机数发生器生成一个与所述存储识别码格式对应的随机数。

6.如权利要求5所述的分布式数据存储装置，其特征在于，所述编码设置模块包括：

安全分配单元，用于根据存储数据的信息安全等级，为每个存储层设置一个层编码；

编码设置单元，用于根据同一存储层内存储设备的位置，为每个存储设备设置一个设备编码。

7.如权利要求6所述的分布式数据存储装置，其特征在于，所述分布式数据存储装置还包括：

解析模块，用于在存储待存储数据前，解析所述待存储数据，获取待存储数据的信息安全需求等级；

层获取模块，用于获取信息安全等级符合所述信息安全需求等级的存储层，该存储层作为待选存储层，以基于随机数从待选存储层中确定存储设备。

8.如权利要求7所述的分布式数据存储装置，其特征在于，所述存储模块包括：

匹配单元，用于将所述随机数与待选存储层中各个存储设备的存储识别码进行匹配，得出各个存储设备关于自有存储识别码与随机数的匹配度；

存储单元，用于将所述待存数据存储在所述匹配度最高的存储设备中。