CN105847279A - 分布式数据处理方法及数据中心 - Google Patents

Abstract

本发明公开了一种分布式数据处理方法和数据中心，该方法包括：在数据中心接收到原始数据时，对原始数据进行数据切片处理以获取N个切片数据；数据中心基于预设的随机数发生器生成一个随机数，将该随机数作为当前随机数，并将当前随机数发送至分布式数据系统中各个数据节点；数据中心根据当前随机数、预存密钥和预置加密算法，对切片数据进行加密，以获取N个密文切片数据；数据中心对N个密文切片数据进行纠删处理，生成M个子切片数据；数据中心将M个子切片数据中至少N个子切片数据存储于数据中心本端，并根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储。本发明保证了分布式数据系统切片数据的信息安全性。

Description

分布式数据处理方法及数据中心

技术领域

本发明涉及分布式系统技术领域，尤其涉及一种分布式数据处理方法及数据中心。

背景技术

随着信息化的深入开展，各行各业的业务系统所产生的数据越来越多，由于传统的集中式数据系统方案(集中式数据系统是指为待存储的数据制定一个特定的存取区域，将所有数据都存取在该存取区域中)将所有的数据均存在数据中心主机上以供集中提取数据，若数据中心主机出故障，则整个系统无法存储和提取数据，即集中式数据系统方案相较于分布式数据系统方案，数据稳定性较低，故而分布式数据系统应运而生。

现行的分布式系统对于大数据的存储一般流程是：在数据中心对原始数据进行切片处理，在对原始数据的切片完成后，将切片后的切片数据同步到分布式数据系统其它各个数据节点(即相对于数据中心的其它从数据中心)，但是，由于分布式数据系统具有较高的开放性，切片数据从数据中心同步到数据节点的过程中，切片数据容易被截获或破解，无权限方可以提取多个切片数据还原得到对应的原始数据，从而造成分布式数据系统切片数据的信息安全问题。

发明内容

本发明的主要目的在于提供一种分布式数据处理方法及数据中心，旨在解决现有分布式数据系统的切片数据信息安全问题。

为实现上述目的，本发明提供的一种分布式数据处理方法，该分布式数据处理方法包括：

在数据中心接收到原始数据时，对所述原始数据进行数据切片处理以获取N个切片数据；

数据中心基于预设的随机数发生器生成一个随机数，将该随机数作为当前随机数，并将当前随机数发送至分布式数据系统中各个数据节点；

数据中心根据当前随机数、预存密钥和预置加密算法，对切片数据进行加密，以获取N个密文切片数据；

数据中心对N个所述密文切片数据进行纠删处理，生成M个子切片数据，其中M为大于N的正整数，M个子切片数据中的N个子切片数据可还原为原始数据；

数据中心将M个子切片数据中至少N个子切片数据存储于数据中心本端，并根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储。

优选地，所述在数据中心接收到原始数据时，对所述原始数据进行数据切片处理以获取N个切片数据的步骤包括：

在数据中心接收到原始数据时，数据中心解析获取的原始数据，以获取该原始数据的数据参数；

数据中心根据所述数据参数和数据中心性能，将对原始数据进行切片的任务划分为N个子切片任务；

数据中心将N个子切片任务中预设比例的外调子切片任务分配给分布式数据系统中数据中心之外的数据节点；

数据中心执行所述子切片任务中未分配的自留子切片任务，保存对应的第一切片数据，并获取数据节点执行所述外调子切片任务得到的第二切片数据，其中切片数据包括总数为N个的第一切片数据和第二切片数据。

优选地，所述数据中心执行N个子切片任务中未分配的自留子切片任务，保存对应的第一切片数据，并获取数据节点执行所述外调子切片任务得到的第二切片数据的步骤之后还包括：

数据中心实时公布第一切片数据和第二切片数据，以供分布式数据系统的客户端访问。

优选地，所述数据中心将M个子切片数据中至少N个子切片数据存储于数据中心本端，并根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储的步骤之后还包括：

当接收到客户端发送的数据请求时，数据中心对本端存储的N个子切片数据进行纠删还原处理，得到第一密文切片数据；

数据中心根据第一密文切片数据和所述当前随机数，解密还原得到所述数据请求对应的目标数据；

若还原得到所述目标数据失败，则数据中心提取存储在所述数据节点的剩余子切片数据；

数据中心对M个子切片数据进行纠删还原处理，得到第二密文切片数据；

数据中心根据第二密文切片数据、和所述当前随机数，解密还原得到所述数据请求对应的目标数据。

优选地，所述根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储的步骤包括：

数据中心将所述当前随机数与各个数据节点的存储识别码进行匹配，其中存储识别码是唯一标识数据节点的编码，且当前随机数与存储识别码格式相同；

数据中心将所述剩余的子切片数据分发至与当前随机数匹配度大于预设匹配度的存储识别码所对应的数据节点中。

本发明还提供一种数据中心，该数据中心包括：

切片模块，用于在数据中心接收到原始数据时，对所述原始数据进行数据切片处理以获取N个切片数据；

随机数模块，用于基于预设的随机数发生器生成一个随机数，将该随机数作为当前随机数，并将当前随机数发送至分布式数据系统中各个数据节点；

加密模块，用于根据当前随机数、预存密钥和预置加密算法，对切片数据进行加密，以获取N个密文切片数据；

纠删模块，用于对N个所述密文切片数据进行纠删处理，生成M个子切片数据，其中M为大于N的正整数，M个子切片数据中的N个子切片数据可还原为原始数据；

发送模块，用于将M个子切片数据中至少N个子切片数据存储于数据中心本端，并根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储。

优选地，所述切片模块包括：

解析单元，用于在数据中心接收到原始数据时，解析获取的原始数据，以获取该原始数据的数据参数；

任务划分单元，用于根据所述数据参数和数据中心性能，将对原始数据进行切片的任务划分为N个子切片任务；

任务分配单元，用于将N个子切片任务中预设比例的外调子切片任务分配给分布式数据系统中数据中心之外的数据节点；

任务执行单元，用于执行所述子切片任务中未分配的自留子切片任务，保存对应的第一切片数据，并获取数据节点执行所述外调子切片任务得到的第二切片数据，其中切片数据包括总数为N个的第一切片数据和第二切片数据。

优选地，所述数据中心还包括：

公布模块，用于实时公布第一切片数据和第二切片数据，以供分布式数据系统的客户端访问。

优选地，所述数据中心还包括第一还原模块和第二还原模块，

所述第一还原模块用于：

当接收到客户端发送的数据请求时，对本端存储的N个子切片数据进行纠删还原处理，得到第一密文切片数据；

根据第一密文切片数据和所述当前随机数，解密还原得到所述数据请求对应的目标数据；

所述第二还原模块用于：

在还原得到所述目标数据失败，则提取存储在所述数据节点的剩余子切片数据；

对M个子切片数据进行纠删还原处理，得到第二密文切片数据；

根据第二密文切片数据、和所述当前随机数，解密还原得到所述数据请求对应的目标数据。

优选地，所述发送模块包括：

本地存储单元，用于将M个子切片数据中至少N个子切片数据存储于数据中心本端；

匹配单元，用于将所述当前随机数与各个数据节点的存储识别码进行匹配，其中存储识别码是唯一标识数据节点的编码，且当前随机数与存储识别码格式相同；

分发单元，用于将所述剩余的子切片数据分发至与当前随机数匹配度大于预设匹配度的存储识别码所对应的数据节点中。

本发明通过将原始数据切片为多个切片数据，然后根据生成的当前随机数、预存密钥和预置加密算法，对各个切片数据进行加密以得到密文切片数据，并对密文切片数据进行纠删处理以得到冗余编码的子切片数据，实现子切片数据以密文、冗余的形式在数据中心和数据节点之间传输，从而防止无权限方随意截获和破解密文切片数据，并将切片数据冗余并分散存储，保证分布式数据系统切片数据的信息安全性；同时，数据中心根据当前随机数，将密文切片数据随机分发至对应的数据节点存储，在数据存储位置上提高切片数据的安全性。

附图说明

图1为本发明分布式数据处理方法第一实施例的流程示意图；

图2为本发明分布式数据处理方法第二实施例中在数据中心接收到原始数据时，对原始数据进行数据切片处理以获取多个切片数据的细化流程示意图；

图3为本发明分布式数据处理方法第四实施例中数据中心根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储的细化流程示意图；

图4为本发明数据中心第一实施例的功能模块示意图；

图5为本发明数据中心第二实施例中切片模块的细化功能模块示意图；

图6为本发明数据中心第三实施例的功能模块示意图；

图7为本发明数据中心第四实施例中发送模块的细化功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种分布式数据处理方法，在本发明分布式数据处理方法的第一实施例中，参照图1，该分布式数据处理方法包括：

步骤S10，在数据中心接收到原始数据时，对原始数据进行数据切片处理以获取N个切片数据；

数据中心可以包括至少一个服务器，数据中心通过服务器获取原始数据，这些原始数据可以是用户通过网络连接或本地连接上传的文件或数据包等。在数据中心接收到需要存储的原始数据时，对该原始数据进行切片处理，得到N个切片数据，N为正整数。

步骤S20，数据中心基于预设的随机数发生器生成一个随机数，将该随机数作为当前随机数，并将当前随机数发送至分布式数据系统中各个数据节点；

数据中心内部设置一个随机数发生器，在对原始数据进行切片处理后，控制随机数发生器生成一个随机数，该随机数作为当前随机数，即数据中心每接收到一个新的原始数据后，都会生成一个对应的随机数。可选地，预设的随机数发生器为真随机数发生器，即随机数发生器是基于物理事件得到的随机数，而不是基于软件算法得到的随机数。数据中心将生成的当前随机数分发至分布式数据系统中各个数据节点，以供各个数据节点对基于当前随机数加密的密文切片数据进行解密和保存。

步骤S30，数据中心根据当前随机数、预存密钥和预置加密算法，对切片数据进行加密，以获取N个密文切片数据；

预存密钥和预置加密算法统一存储于数据中心和各个数据节点中，数据中心根据具有实时性的当前随机数、预存密钥和预置加密算法(例如对称加密算法DES算法、3DES算法等，以及非对称加密算法)，对各个切片数据进行加密，以得到密文切片数据，保证切片数据以密文的形式在数据中心和各个数据节点之间传输。

步骤S40，数据中心对N个密文切片数据进行纠删处理，生成M个子切片数据，其中M为大于N的正整数，M个子切片数据中的N个子切片数据可还原为原始数据；

数据中心对加密后的N个密文切片数据进行纠删处理，进行冗余扩展和编码，生成M个子切片数据，M为大于N的正整数，其中M个子切片数据中的N个子切片数据可以经反向处理和解密处理得到原始数据。

步骤S50，数据中心将M个子切片数据中至少N个子切片数据存储于数据中心本端，并根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储。

同时，数据中心在本端至少保存N个子切片数据，并根据当前随机数，将(M-N)个子切片数据分发至对应的数据节点存储，即子切片数据的存储具有与当前随机数对应的随机性，进一步在数据存储位置上提高切片数据的安全性。

在本实施例中，通过将原始数据切片为多个切片数据，然后根据生成的当前随机数、预存密钥和预置加密算法，对各个切片数据进行加密以得到密文切片数据，并对密文切片数据进行纠删处理以得到冗余编码的子切片数据，实现子切片数据以密文、冗余的形式在数据中心和数据节点之间传输，从而防止无权限方随意截获和破解密文切片数据，并将切片数据冗余并分散存储，保证分布式数据系统切片数据的信息安全性；同时，数据中心根据当前随机数，将密文切片数据随机分发至对应的数据节点存储，在数据存储位置上提高切片数据的安全性。

进一步地，在本发明分布式数据处理方法第一实施例的基础上，提出分布式数据处理方法第二实施例，参照图2，在第二实施例中，步骤S10包括：

步骤S11，在数据中心接收到原始数据时，数据中心解析获取的原始数据，以获取该原始数据的数据参数；

数据参数包括原始数据的数据量、数据类型、版本信息、是否支持切片处理等参数，数据量表示原始数据的容量大小，数据类型包括图片数据类型、文字数据类型、视频数据类型等，版本信息表示原始数据所支持的数据切片方式和版本。

步骤S12，数据中心根据数据参数和数据中心性能，将对原始数据进行切片的任务划分为N个子切片任务；

数据中心根据原始数据的数据参数，判断原始数据是否支持数据切片处理，若支持数据切片处理，则继续获取数据中心在数据切片方面的性能(即在单位时间内支持多少数据量的数据切片处理)和原始数据的数据量，然后根据数据中心性能和数据中心的数据量，将原始数据的切片任务划分为多个子切片任务(设子切片任务为N个)。例如原始数据的数据量为100单位，数据中心的数据切片性能为1单位时间切片10单位的原始数据，则可以将原始数据的切片任务划分为10个子切片任务。当然，也可以综合原始数据的数据参数、数据中心性能和各数据节点性能等多方面因素，决定将原始数据的切片任务划分为多少个子切片任务，优选地，每个子切片任务的任务量相同，方便子切片任务的调度和管理。

步骤S13，数据中心将N个子切片任务中预设比例的外调子切片任务分配给分布式数据系统中数据中心之外的数据节点；

预设比例可根据数据中心能够承担的切片任务量(即数据中心的性能)决定，数据中心将本端来不及进行切片处理的子切片任务(即外调子切片任务)分配给分布式数据系统，将本端能够处理的子切片任务(即自留子切片任务)保留下来，以供数据中心和数据节点同步对原始数据进行数据切片处理。

步骤S14，数据中心执行子切片任务中未分配的自留子切片任务，保存对应的第一切片数据，并获取数据节点执行外调子切片任务得到的第二切片数据，其中切片数据包括总数为N个的第一切片数据和第二切片数据。

数据中心执行自留子切片任务，实现对原始数据关于自留子切片任务部分的数据切片，得到多个第一切片数据；同时，数据中心控制数据节点执行各自接收的外调切片任务，获取并保存对应的多个对应的第二切片数据，即数据中心保存的切片数据统称第一切片数据，各个数据节点保存的切片数据统称为第二切片数据，从而实现了基于分布式存储的数据切片。

在本实施例中，通过先获取原始数据的数据参数，然后根据数据参数和数据中心性能，将对原始数据的切片任务划分为多个子切片任务，并将预设比例的子切片任务作为外调子切片任务分配给其它数据节点，然后数据中心和数据节点各位执行各自的子切片任务，从而数据中心获取并保存第一切片数据，数据节点获取并保存第二切片数据，从而实现数据中心和数据节点并行对原始数据进行数据切片，避免仅靠数据中心单端对超大型或海量数据量的原始数据进行数据切片，从而缩短了对原始数据进行数据切片处理的时间，避免因数据切片处理而耽误分布式数据系统的其它进程的正常运行，保证了分布式数据系统的工作效率。

进一步地，在本发明分布式数据处理方法第二实施例的基础上，提出分布式数据处理方法第三实施例，在第三实施例中，步骤S14之后还包括：

步骤S15，数据中心实时公布第一切片数据和第二切片数据，以供分布式数据系统的客户端访问。

数据中心实时公布数据中心保存的第一切片数据和数据节点保存的第二切片数据，以供分布式数据系统的客户端访问并下载，例如原始数据为地图缓存数据，整个地图缓存数据非常大，但是每次需要地图数据仅为地图缓存数据中的一部分，当地图缓存数据被切片为多个第一切片数据和第二切片数据保存在数据中心和不同的数据节点时，数据中心实时公布各个第一切片数据和第二切片数据，即数据中心实时公布地图缓存数据的各个切片地图数据，供用户基于分布式数据系统的客户端访问和下载所需的切片地图数据，其中数据中心存有各个切片地图数据与其所存地址的对应关系。

在本实施例中，数据中心通过实时公布第一切片数据和第二切片数据，便于用户基于分布式数据系统的客户端选择所需的一个或多个切片数据(即第一切片数据和第二切片数据)，在用户确定了所需的一个或多个切片数据后，数据中心基于子切片任务的划分规则，将用户确定的切片数据还原为原始数据的对应部分，以供用户下载，从而简化了分布式数据系统与用户的交互。

优选地，步骤S50之后还包括：

步骤S61，当接收到客户端发送的数据请求时，数据中心对本端存储的N个子切片数据进行纠删还原处理，得到第一密文切片数据；

步骤S62，数据中心根据第一密文切片数据和当前随机数，解密还原得到数据请求对应的目标数据；

步骤S63，若还原得到目标数据失败，则数据中心提取存储在数据节点的剩余子切片数据；

步骤S64，数据中心对M个子切片数据进行纠删还原处理，得到第二密文切片数据；

步骤S65，数据中心根据第二密文切片数据、和当前随机数，解密还原得到数据请求对应的目标数据。

当数据中心接收到分布式数据系统的客户端发送的数据请求时，即用户向数据中心提取所需的切片数据时，数据中心优先根据本端保存的子切片数据，基于纠删处理规则，将切片数据还原为数据请求对应的第一密文切片数据(第一密文切片数据为原始数据的密文切片数据的一部分)，数据中心根据第一密文切片数据和当前随机数，解密还原得到数据请求对应的目标数据，若还原成功，数据中心则将还原的目标数据发送至数据请求对应的客户端；若还原失败了，则数据中心提取数据节点保存的剩余子切片数据，并对数据节点存储的剩余子切片数据进行纠删还原处理，得到第二密文切片数据，数据中心根据第二密文切片数据、和当前随机数，解密还原得到数据请求对应的目标数据。若还是无法解密还原得到数据请求对应的目标数据，则根据第一密文切片数据、第二密文切片数据、和当前随机数，解密还原得到数据请求对应的目标数据。

在本实施例中，当需求还原切片数据以获取目标数据时，首先从数据中心本端获取所需的子切片数据，如果数据中心本端的子切片数据无法还原目标数据，则可以从分布式数据系统的数据节点提取所需的子切片数据，来还原得到目标数据，一方面，首先从数据中心获得还原目标数据的切片数据，保证了还原目标数据的效率，另一方面，通过将可以还原为目标数据的第一切片数据和第二切片数据分别存储于数据中心和数据节点，保证了切片数据存储的安全性。

进一步地，在本发明分布式数据处理方法第一实施例的基础上，提出分布式数据处理方法第四实施例，参照图3，在第四实施例中，步骤S50中的根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储的步骤包括：

步骤S51，数据中心将当前随机数与各个数据节点的存储识别码进行匹配，其中存储识别码是唯一标识数据节点的编码，且当前随机数与存储识别码格式相同；

步骤S52，数据中心将剩余的子切片数据分发至与当前随机数匹配度大于预设匹配度的存储识别码所对应的数据节点中。

在生成当前随机数之后，将当前随机数与各个数据节点的存储识别码进行匹配，得出各个数据节点的存储识别码与当前随机数的匹配度，预先设置预设匹配度，根据预设匹配度筛选出与当前随机数匹配度大于预设匹配度的存储识别码，然后根据筛选出的存储识别码确定对应数据节点的地址，再跟距确定的地址将剩余的子切片数据分发至筛选出的存储识别码对应的数据节点。例如存储识别码为六位自然数，则当前随机数也为六位自然数，从而存储识别码的自然数数值与当前随机数的自然数数值差值越小，则存储识别码与当前随机数的匹配度越高。

在本实施例中，将当前随机数与各个数据节点的存储识别码进行匹配，得出各个数据节点关于自有存储识别码与当前随机数的匹配度，并选出匹配度大于预设匹配度的数据节点，最后将剩余的子切片数据分发至与当前随机数匹配度大于预设匹配度的存储识别码所对应的数据节点中，从而根据当前随机数的随机地将子切片数据存储到不同的数据节点中，在数据存储位置随机存储子切片数据，提高了未授权方基于子切片数据还原原始数据的难度，在数据存储上提高切片数据的安全性，同时，切片数据基于当前随机数随机存储，避免集中存储于单个或少数几个数据节点上，实现了分布式系统中的数据节点存储资源的充分利用。

本发明还提供一种数据中心，在数据中心第一实施例中，参照图4，该数据中心包括：

切片模块10，用于在数据中心接收到原始数据时，对原始数据进行数据切片处理以获取N个切片数据；

数据中心可以包括至少一个服务器，数据中心通过服务器获取原始数据，这些原始数据可以是用户通过网络连接或本地连接上传的文件或数据包等。在数据中心接收到需要存储的原始数据时，对该原始数据进行切片处理，得到N个切片数据，N为正整数。

随机数模块20，用于基于预设的随机数发生器生成一个随机数，将该随机数作为当前随机数，并将当前随机数发送至分布式数据系统中各个数据节点；

数据中心内部设置一个随机数发生器，在对原始数据进行切片处理后，随机数模块20控制随机数发生器生成一个随机数，该随机数作为当前随机数，即数据中心每接收到一个新的原始数据后，都会生成一个对应的随机数。可选地，预设的随机数发生器为真随机数发生器，即随机数发生器是基于物理事件得到的随机数，而不是基于软件算法得到的随机数。随机数模块20将生成的当前随机数分发至分布式数据系统中各个数据节点，以供各个数据节点对基于当前随机数加密的密文切片数据进行解密和保存。

加密模块30，用于根据当前随机数、预存密钥和预置加密算法，对切片数据进行加密，以获取N个密文切片数据；

预存密钥和预置加密算法统一存储于数据中心和各个数据节点中，加密模块30根据具有实时性的当前随机数、预存密钥和预置加密算法(例如对称加密算法DES算法、3DES算法等，以及非对称加密算法)，对各个切片数据进行加密，以得到密文切片数据，保证切片数据以密文的形式在数据中心和各个数据节点之间传输。

纠删模块40，用于对N个密文切片数据进行纠删处理，生成M个子切片数据，其中M为大于N的正整数，M个子切片数据中的N个子切片数据可还原为原始数据；

纠删模块40对加密后的N个密文切片数据进行纠删处理，进行冗余扩展和编码，生成M个子切片数据，M为大于N的正整数，其中M个子切片数据中的N个子切片数据可以经反向处理和解密处理得到原始数据。

发送模块50，用于将M个子切片数据中至少N个子切片数据存储于数据中心本端，并根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储。

同时，发送模块50在本端至少保存N个子切片数据，并根据当前随机数，将(M-N)个子切片数据分发至对应的数据节点存储，即子切片数据的存储具有与当前随机数对应的随机性，进一步在数据存储位置上提高切片数据的安全性。

在本实施例中，通过切片模块10将原始数据切片为多个切片数据，然后加密模块30根据生成的当前随机数、预存密钥和预置加密算法，对各个切片数据进行加密以得到密文切片数据，纠删模块40对密文切片数据进行纠删处理以得到冗余编码的子切片数据，发送模块50实现子切片数据以密文、冗余的形式在数据中心和数据节点之间传输，从而防止无权限方随意截获和破解密文切片数据，并将切片数据冗余并分散存储，保证分布式数据系统切片数据的信息安全性；同时，数据中心根据当前随机数，将密文切片数据随机分发至对应的数据节点存储，在数据存储位置上提高切片数据的安全性。

进一步地，在本发明数据中心第一实施例的基础上，提出数据中心第二实施例，参照图5，在第二实施例中，切片模块10包括：

解析单元11，用于在数据中心接收到原始数据时，解析获取的原始数据，以获取该原始数据的数据参数；

数据参数包括原始数据的数据量、数据类型、版本信息、是否支持切片处理等参数，数据量表示原始数据的容量大小，数据类型包括图片数据类型、文字数据类型、视频数据类型等，版本信息表示原始数据所支持的数据切片方式和版本。

任务划分单元12，用于根据数据参数和数据中心性能，将对原始数据进行切片的任务划分为N个子切片任务；

任务划分单元12根据原始数据的数据参数，判断原始数据是否支持数据切片处理，若支持数据切片处理，则继续获取数据中心在数据切片方面的性能(即在单位时间内支持多少数据量的数据切片处理)和原始数据的数据量，然后根据数据中心性能和数据中心的数据量，将原始数据的切片任务划分为多个子切片任务(设子切片任务为N个)。例如原始数据的数据量为100单位，数据中心的数据切片性能为1单位时间切片10单位的原始数据，则可以将原始数据的切片任务划分为10个子切片任务。当然，也可以综合原始数据的数据参数、数据中心性能和各数据节点性能等多方面因素，决定将原始数据的切片任务划分为多少个子切片任务，优选地，每个子切片任务的任务量相同，方便子切片任务的调度和管理。

任务分配单元13，用于将N个子切片任务中预设比例的外调子切片任务分配给分布式数据系统中数据中心之外的数据节点；

预设比例可根据数据中心能够承担的切片任务量(即数据中心的性能)决定，任务分配单元13将本端来不及进行切片处理的子切片任务(即外调子切片任务)分配给分布式数据系统，将本端能够处理的子切片任务(即自留子切片任务)保留下来，以供数据中心和数据节点同步对原始数据进行数据切片处理。

任务执行单元14，用于执行子切片任务中未分配的自留子切片任务，保存对应的第一切片数据，并获取数据节点执行外调子切片任务得到的第二切片数据，其中切片数据包括总数为N个的第一切片数据和第二切片数据。

任务执行单元14执行自留子切片任务，实现对原始数据关于自留子切片任务部分的数据切片，得到多个第一切片数据；同时，数据中心控制数据节点执行各自接收的外调切片任务，获取并保存对应的多个对应的第二切片数据，即数据中心保存的切片数据统称第一切片数据，各个数据节点保存的切片数据统称为第二切片数据，从而实现了基于分布式存储的数据切片。

在本实施例中，通过解析单元11先获取原始数据的数据参数，然后任务划分单元12根据数据参数和数据中心性能，将对原始数据的切片任务划分为多个子切片任务，任务分配单元13将预设比例的子切片任务作为外调子切片任务分配给其它数据节点，然后任务执行单元14和数据节点各位执行各自的子切片任务，从而数据中心获取并保存第一切片数据，数据节点获取并保存第二切片数据，从而实现数据中心和数据节点并行对原始数据进行数据切片，避免仅靠数据中心单端对超大型或海量数据量的原始数据进行数据切片，从而缩短了对原始数据进行数据切片处理的时间，避免因数据切片处理而耽误分布式数据系统的其它进程的正常运行，保证了分布式数据系统的工作效率。

进一步地，在本发明数据中心第二实施例的基础上，提出数据中心第三实施例，参照图6，在第三实施例中，数据中心还包括：

公布模块60，用于实时公布第一切片数据和第二切片数据，以供分布式数据系统的客户端访问。

公布模块60实时公布数据中心保存的第一切片数据和数据节点保存的第二切片数据，以供分布式数据系统的客户端访问并下载，例如原始数据为地图缓存数据，整个地图缓存数据非常大，但是每次需要地图数据仅为地图缓存数据中的一部分，当地图缓存数据被切片为多个第一切片数据和第二切片数据保存在数据中心和不同的数据节点时，数据中心实时公布各个第一切片数据和第二切片数据，即数据中心实时公布地图缓存数据的各个切片地图数据，供用户基于分布式数据系统的客户端访问和下载所需的切片地图数据，其中数据中心存有各个切片地图数据与其所存地址的对应关系。

在本实施例中，数据中心通过公布模块60实时公布第一切片数据和第二切片数据，便于用户基于分布式数据系统的客户端选择所需的一个或多个切片数据(即第一切片数据和第二切片数据)，在用户确定了所需的一个或多个切片数据后，数据中心基于子切片任务的划分规则，将用户确定的切片数据还原为原始数据的对应部分，以供用户下载，从而简化了分布式数据系统与用户的交互。

优选地，数据中心还包括第一还原模块71和第二还原模块72，

第一还原模块71用于：

当接收到客户端发送的数据请求时，对本端存储的N个子切片数据进行纠删还原处理，得到第一密文切片数据；

根据第一密文切片数据和当前随机数，解密还原得到数据请求对应的目标数据；

第二还原模块72用于：

在还原得到目标数据失败，则提取存储在数据节点的剩余子切片数据；

对M个子切片数据进行纠删还原处理，得到第二密文切片数据；

根据第二密文切片数据、和当前随机数，解密还原得到数据请求对应的目标数据。

当数据中心接收到分布式数据系统的客户端发送的数据请求时，即用户向数据中心提取所需的切片数据时，数据中心的第一还原模块71优先根据本端保存的子切片数据，基于纠删处理规则，将切片数据还原为数据请求对应的第一密文切片数据(第一密文切片数据为原始数据的密文切片数据的一部分)，第一还原模块71根据第一密文切片数据和当前随机数，解密还原得到数据请求对应的目标数据，若还原成功，数据中心则将还原的目标数据发送至数据请求对应的客户端；若还原失败了，则数据中心的第二还原模块72提取数据节点保存的剩余子切片数据，并对数据节点存储的剩余子切片数据进行纠删还原处理，得到第二密文切片数据，第二还原模块72根据第二密文切片数据、和当前随机数，解密还原得到数据请求对应的目标数据。若还是无法解密还原得到数据请求对应的目标数据，则根据第一密文切片数据、第二密文切片数据、和当前随机数，解密还原得到数据请求对应的目标数据。

在本实施例中，当需求还原切片数据以获取目标数据时，首先从数据中心本端获取所需的子切片数据，如果数据中心本端的子切片数据无法还原目标数据，则可以从分布式数据系统的数据节点提取所需的子切片数据，来还原得到目标数据，一方面，首先从数据中心获得还原目标数据的切片数据，保证了还原目标数据的效率，另一方面，通过将可以还原为目标数据的第一切片数据和第二切片数据分别存储于数据中心和数据节点，保证了切片数据存储的安全性。

进一步地，在本发明数据中心第一实施例的基础上，提出数据中心第四实施例，在第四实施例中，参照图7，发送模块50包括：

本地存储单元51，用于将M个子切片数据中至少N个子切片数据存储于数据中心本端；

匹配单元52，用于将当前随机数与各个数据节点的存储识别码进行匹配，其中存储识别码是唯一标识数据节点的编码，且当前随机数与存储识别码格式相同；

分发单元53，用于将剩余的子切片数据分发至与当前随机数匹配度大于预设匹配度的存储识别码所对应的数据节点中。

在生成当前随机数之后，本地存储单元51将M个子切片数据中至少N个子切片数据存储于数据中心本端，匹配单元52将当前随机数与各个数据节点的存储识别码进行匹配，得出各个数据节点的存储识别码与当前随机数的匹配度，预先设置预设匹配度，匹配单元52根据预设匹配度筛选出与当前随机数匹配度大于预设匹配度的存储识别码，然后分发单元53根据筛选出的存储识别码确定对应数据节点的地址，分发单元53再根据确定的地址将剩余的子切片数据分发至筛选出的存储识别码对应的数据节点。例如存储识别码为六位自然数，则当前随机数也为六位自然数，从而存储识别码的自然数数值与当前随机数的自然数数值差值越小，则存储识别码与当前随机数的匹配度越高。

在本实施例中，将当前随机数与各个数据节点的存储识别码进行匹配，得出各个数据节点关于自有存储识别码与当前随机数的匹配度，并选出匹配度大于预设匹配度的数据节点，最后将剩余的子切片数据分发至与当前随机数匹配度大于预设匹配度的存储识别码所对应的数据节点中，从而根据当前随机数的随机地将子切片数据存储到不同的数据节点中，在数据存储位置随机存储子切片数据，提高了未授权方基于子切片数据还原原始数据的难度，在数据存储上提高切片数据的安全性，同时，切片数据基于当前随机数随机存储，避免集中存储于单个或少数几个数据节点上，实现了分布式系统中的数据节点存储资源的充分利用。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种分布式数据处理方法，其特征在于，该分布式数据处理方法包括：

在数据中心接收到原始数据时，对所述原始数据进行数据切片处理以获取N个切片数据；

数据中心基于预设的随机数发生器生成一个随机数，将该随机数作为当前随机数，并将当前随机数发送至分布式数据系统中各个数据节点；

数据中心根据当前随机数、预存密钥和预置加密算法，对切片数据进行加密，以获取N个密文切片数据；

数据中心对N个所述密文切片数据进行纠删处理，生成M个子切片数据，其中M为大于N的正整数，M个子切片数据中的N个子切片数据可还原为原始数据；

数据中心将M个子切片数据中至少N个子切片数据存储于数据中心本端，并根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储。

2.如权利要求1所述的分布式数据处理方法，其特征在于，所述在数据中心接收到原始数据时，对所述原始数据进行数据切片处理以获取N个切片数据的步骤包括：

在数据中心接收到原始数据时，数据中心解析获取的原始数据，以获取该原始数据的数据参数；

数据中心根据所述数据参数和数据中心性能，将对原始数据进行切片的任务划分为N个子切片任务；

数据中心将N个子切片任务中预设比例的外调子切片任务分配给分布式数据系统中数据中心之外的数据节点；

数据中心执行所述子切片任务中未分配的自留子切片任务，保存对应的第一切片数据，并获取数据节点执行所述外调子切片任务得到的第二切片数据，其中切片数据包括总数为N个的第一切片数据和第二切片数据。

3.如权利要求2所述的分布式数据处理方法，其特征在于，所述数据中心执行N个子切片任务中未分配的自留子切片任务，保存对应的第一切片数据，并获取数据节点执行所述外调子切片任务得到的第二切片数据的步骤之后还包括：

数据中心实时公布第一切片数据和第二切片数据，以供分布式数据系统的客户端访问。

4.如权利要求3所述的分布式数据处理方法，其特征在于，所述数据中心将M个子切片数据中至少N个子切片数据存储于数据中心本端，并根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储的步骤之后还包括：

当接收到客户端发送的数据请求时，数据中心对本端存储的N个子切片数据进行纠删还原处理，得到第一密文切片数据；

数据中心根据第一密文切片数据和所述当前随机数，解密还原得到所述数据请求对应的目标数据；

若还原得到所述目标数据失败，则数据中心提取存储在所述数据节点的剩余子切片数据；

数据中心对M个子切片数据进行纠删还原处理，得到第二密文切片数据；

数据中心根据第二密文切片数据、和所述当前随机数，解密还原得到所述数据请求对应的目标数据。

5.如权利要求1至4任意一项所述的分布式数据处理方法，其特征在于，所述根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储的步骤包括：

数据中心将所述当前随机数与各个数据节点的存储识别码进行匹配，其中存储识别码是唯一标识数据节点的编码，且当前随机数与存储识别码格式相同；

数据中心将所述剩余的子切片数据分发至与当前随机数匹配度大于预设匹配度的存储识别码所对应的数据节点中。

6.一种数据中心，其特征在于，该数据中心包括：

切片模块，用于在数据中心接收到原始数据时，对所述原始数据进行数据切片处理以获取N个切片数据；

随机数模块，用于基于预设的随机数发生器生成一个随机数，将该随机数作为当前随机数，并将当前随机数发送至分布式数据系统中各个数据节点；

加密模块，用于根据当前随机数、预存密钥和预置加密算法，对切片数据进行加密，以获取N个密文切片数据；

纠删模块，用于对N个所述密文切片数据进行纠删处理，生成M个子切片数据，其中M为大于N的正整数，M个子切片数据中的N个子切片数据可还原为原始数据；

发送模块，用于将M个子切片数据中至少N个子切片数据存储于数据中心本端，并根据当前随机数，将剩余的子切片数据分发至对应的数据节点存储。

7.如权利要求6所述的数据中心，其特征在于，所述切片模块包括：

解析单元，用于在数据中心接收到原始数据时，解析获取的原始数据，以获取该原始数据的数据参数；

任务划分单元，用于根据所述数据参数和数据中心性能，将对原始数据进行切片的任务划分为N个子切片任务；

任务分配单元，用于将N个子切片任务中预设比例的外调子切片任务分配给分布式数据系统中数据中心之外的数据节点；

任务执行单元，用于执行所述子切片任务中未分配的自留子切片任务，保存对应的第一切片数据，并获取数据节点执行所述外调子切片任务得到的第二切片数据，其中切片数据包括总数为N个的第一切片数据和第二切片数据。

8.如权利要求7所述的数据中心，其特征在于，所述数据中心还包括：

公布模块，用于实时公布第一切片数据和第二切片数据，以供分布式数据系统的客户端访问。

9.如权利要求8所述的数据中心，其特征在于，所述数据中心还包括第一还原模块和第二还原模块，

所述第一还原模块用于：

当接收到客户端发送的数据请求时，对本端存储的N个子切片数据进行纠删还原处理，得到第一密文切片数据；

根据第一密文切片数据和所述当前随机数，解密还原得到所述数据请求对应的目标数据；

所述第二还原模块用于：

在还原得到所述目标数据失败，则提取存储在所述数据节点的剩余子切片数据；

对M个子切片数据进行纠删还原处理，得到第二密文切片数据；

根据第二密文切片数据、和所述当前随机数，解密还原得到所述数据请求对应的目标数据。

10.如权利要求6至9任意一项所述的数据中心，其特征在于，所述发送模块包括：

本地存储单元，用于将M个子切片数据中至少N个子切片数据存储于数据中心本端；

匹配单元，用于将所述当前随机数与各个数据节点的存储识别码进行匹配，其中存储识别码是唯一标识数据节点的编码，且当前随机数与存储识别码格式相同；

分发单元，用于将所述剩余的子切片数据分发至与当前随机数匹配度大于预设匹配度的存储识别码所对应的数据节点中。