CN103327085A - 一种分布式数据处理方法、数据中心及其系统 - Google Patents

Abstract

本发明公开了一种分布式数据处理方法、数据中心及数据集群系统，其中，分布式数据处理方法，包括：数据中心获取原始数据；数据中心对所述原始数据进行切片处理，生成至少两个数据块，对每个数据块进行加密处理，生成N个子数据块，N为大于2的正整数，对N个子数据块进行纠删处理，生成M份子数据，其中，M为大于N的正整数，所述M份子数据中的N份子数据可用于还原为原始数据，将所述M份子数据中至少N份子数据存储于所述数据中心，剩余子数据存储于分布式数据集群系统的其他数据中心。通过本发明实施例的方法可以实现数据中心之间数据的安全备份。

Description

一种分布式数据处理方法、数据中心及其系统

技术领域

本发明涉及存储技术领域，具体涉及分布式数据处理方法、数据中心及其系统。

背景技术

现在很多大中型企业，有许多物理位置分离数据中心，这些数据中心的数据需要进行存储和备份管理，现有技术中，数据中心更多的是本地做备份，备份技术也只是简单的拷贝到另外的硬盘和磁带中，很显然这样的方式，存在着较大的数据丢失风险；数据管理混乱，无法控制；而且多个异地的数据中心的数据流通也存在问题，

如何在有效的利用现有资源的情况下，又可以实现分布式的存储，中心数据中心控制管理，既能够提供安全可控的存储，又能提高数据中心之间的传输效率，给企业节省成本，是许多企业迫切需求的。

发明内容

本发明提供一种分布式数据处理方法、数据中心及其系统，用于实现数据中心之间数据的安全备份。

本发明提供的一种分布式数据处理方法，包括：

数据中心获取原始数据，

数据中心对所述原始数据进行切片处理，生成至少两个数据块。

对每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数，

对N个子数据块进行纠删处理，生成M份子数据，其中，M为大于N的正整数，M份子数据中的N份子数据可用于还原为原始数据，

将M份子数据中至少N份子数据存储于数据中心，剩余子数据存储于分布式数据集群系统的其他数据中心。

本发明还提供的一种数据中心，包括至少一个服务器，所述服务器包括：

获取单元，用于获取原始数据或从其他数据中心获取子数据；

切片单元，用于对所述原始数据进行切片处理，生成至少两个数据块，

加密单元，用于对所述每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数

纠删单元，用于对所述N个子数据块进行纠删处理，生成M份子数据，其中，所述M份子数据中的N份子数据可用于还原为原始数据，M为大于N的正整数，

存储单元，用于存储所述M份子数据中的至少N份子数据，或者，存储从其他数据中心获取的子数据；

发送单元，用于将所述M-N份子数据发送至其他数据中心。

本发明还提供一种一种分布式数据集群系统，包括，中心数据中心及从数据中心，其特征在于，所述中心数据中心及从数据中心分别包括至少一个服务器，所述服务器包括：

获取单元，用于获取原始数据或从其他数据中心获取子数据；

切片单元，用于对所述原始数据进行切片处理，生成至少两个数据块，

加密单元，用于对所述每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数，

纠删单元，用于对所述N个子数据块进行纠删处理，生成M份子数据，其中，所述M份子数据中的N份子数据可用于还原为原始数据，M为大于N的正整数，

存储单元，用于存储所述M份子数据中的至少N份子数据，或者，存储从其他数据中心获取的子数据；

发送单元，用于将所述M-N份子数据发送至其他数据中心。

本发明实施例中，通过将原始数据进行切片、加密、纠删处理生成可以还原为原始数据的多份子数据，并且，将可以还原为原始数据的部分子数据存储于本地数据中心，其他子数据存储于数据集群中的其他数据中心，当需要还原原始数据中，首先可以从本地数据中心获取所需要的子数据，如果本地数据中心的子数据无法还原为原始数据，则可以从数据集群系统的其他数据中心获取所需要的子数据，利用本发明实施例的方法，一方面，首先从本地获得还原原始数据的子数据，保证了还原原妈数据的效率，另一方面，通过将可以还原为原始数据的子数据存储于数据集群中的其他数据中心，保证了数据存储的安全性。此外，在本发明实施例中，通过将数据中心分为中心数据中心与从数据中心，并在数据不需要备份保存时，将从数据中心的数据迁移至中心数据中心，保证了数据的安全性和鲁棒性，同时，选择中心数据中心与从数据中收传输数据的在带宽比较闲的时机，进行数据传输，有效地利用了企业的带宽，避免影响企业的正常业务。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例分布式数据处理方法流程图；

图2是本发明实施例数据中心服务器结构示意图；

图3是本发明实施例分布式数据集群系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请结合参看图1，本发明实施例提供一种分布式数据处理方法，通过将原始数据进行处理，并将处理后的可还原为原始数据的子数据存储于不同的数据中心，实现数据的安全可靠备份。本发明实施例的方法包括：

步骤101，数据中心获取原始数据。

在本发明实施例中，数据中心可以包括至少一个服务器，数据中心通过服务器获取原始数据，这些原始数据可以是用户通过网络连接或本地连接上传的文件或数据包等。

步骤103，数据中心对所述原始数据进行切片处理，生成至少两个数据块。

在本发明实施例中，数据中心的服务器获取到原始数据后，可以根据预先设定的大小，将原始数据进行切片处理，生成至少两个数据块。数据中心服务器对原始数据进行切片处理可以采用现有的切片算法。

步骤105，对每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数。

在本发明实施例中，数据中心的服务器对生成的至少两个数据块进行加密处理，每个数据块可以被分成N个子数据块，其中，N为大于2的正整数。数据中心服务器对数据块进行加密处理可以采用现有的加密算法。

步骤107，对N个子数据块进行纠删处理，生成M份子数据，其中，M为大于N的正整数，M份子数据中的N份子数据可用于还原为原始数据。

在本发明实施例中，数据中心的服务器采用纠删算法对N个子数据块进行纠删处理，生成M份子数据，其中，M为大于N的正整数，M份子数据中的N份子数据可用于还原为原始数据。

步骤109，将M份子数据中至少N份子数据存储于数据中心，剩余子数据存储于分布式数据集群系统的其他数据中心。

在本发明实施例中，数据中心的服务器将M份子数据中的至少N份子数据存储，并将剩余的子数据通过数据集群系统的网络连接发送至其他数据中心的服务器，由其他数据中心进行存储，其中，剩余的M-N份子数据，可以存储于数据集群系统中的多个其他数据中心。

可选地，在本发明实施例中，当数据集群系统的任意一个数据中心的服务器收到还原原始数据的请求时，接收还原原始数据请求的数据中心的服务器可以利用自身存储的子数据进行纠删处理，还原得到原始数据，如果还原原始数据失败，则可以从集群系统中存储有子数据的其他数据中心获取还原原始数据所需要的子数据，并进行纠删处理，还原得到原始数据。

可选地，在本发明实施例中，将获取原始数据的数据中心或存储有最多份子数据的数据中心设置为中心数据中心，所述集群系统中的其他数据中心为从数据中心，当中心数据中心与从数据中心进行数据传输时，可以选择带宽比较闲的时候进行数据传输。

可选地，在本发明实施例中，所述中心数据中心与从数据中心进行子数据传输，主要包括：中心数据中心获取从数据中心不再保存的子数据，或者，中心数据中心将子数据存储于从数据中心，比如，根据设置配置，可以规定从数据中心可以保留的数据大小及数据的寿命，对于超过规定寿命的数据，可以迁移到中心数据中心来，这样就可以控制从数据中心的规模，并且保证了数据的安全性和鲁棒性。再比如，在中心数据将子数据发送到从数据中心存入数据时，可以根据设置，将这部分的网络数据传输延迟到带宽比较闲的时候，这样不会影响企业正常的业务带宽。

本发明实施例中，通过将原始数据进行切片、加密、纠删处理生成可以还原为原始数据的多份子数据，并且，将可以还原为原始数据的部分子数据存储于本地数据中心，其他子数据存储于数据集群中的其他数据中心，当需要还原原始数据中，首先可以从本地数据中心获取所需要的子数据，如果本地数据中心的子数据无法还原为原始数据，则可以从数据集群系统的其他数据中心获取所需要的子数据，利用本发明实施例的方法，一方面，首先从本地获得还原原始数据的子数据，保证了还原原妈数据的效率，另一方面，通过将可以还原为原始数据的子数据存储于数据集群中的其他数据中心，保证了数据存储的安全性。此外，在本发明实施例中，通过将数据中心分为中心数据中心与从数据中心，并在数据不需要备份保存时，将从数据中心的数据迁移至中心数据中心，保证了数据的安全性和鲁棒性，同时，选择中心数据中心与从数据中收传输数据的在带宽比较闲的时机，进行数据传输，有效地利用了企业的带宽，避免影响企业的正常业务。

请结合参看图2，在本发明实施例中，提供一种数据中心，包括：至少一个服务器，所述服务器包括：

获取单元201，用于获取原始数据或从其他数据中心获取子数据；

切片单元202，用于对所述原始数据进行切片处理，生成至少两个数据块，

加密单元203，用于对所述每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数

纠删单元204，用于对所述N个子数据块进行纠删处理，生成M份子数据，其中，所述M份子数据中的N份子数据可用于还原为原始数据，M为大于N的正整数，

存储单元205，用于存储所述M份子数据中的至少N份子数据，或者，存储从其他数据中心获取的子数据；

发送单元206，用于将所述M-N份子数据发送至其他数据中心。

可选地，在本发明实施例中，还包括，还原单元207，用于接收还原原始数据的请求，并利用所述存储单元存储的子数据进行纠删处理，还原得到原始数据，如果还原原始数据失败，则利用所述获取单元从存储有子数据的其他数据中心获取还原原始数据所需要的子数据及所述存储单元存储的子数据，并进行纠删处理，还原得到原始数据。

可选地，在本发明实施例中，该数据中心可以根据数据集群系统的设置，分为中心数据中心或从数据中心，中心数据中心可以是企业需求的主要数据中心，比如是企业的主要的数据中心，这个可以通过设置指定，也可以将获取原始数据的数据中心或存储有最多份子数据的数据中心设置为中心数据中心，所述集群系统中的其他数据中心为从数据中心。

本发明实施例中的数据中心，可以用于实施上述方法实施例，数据中心在实施上述方法实施例所执行的处理如上述方法实施例中的各步骤所述，在此不再累述。

本发明实施例中，通过数据中心服务器将原始数据进行切片、加密、纠删处理生成可以还原为原始数据的多份子数据，并且，可以还原为原始数据的分别存储于不同数据中心，当需要还原原始数据中，首先可以从本地数据中心获取所需要的子数据，如果本地数据中心的子数据无法还原为原始数据，则可以从数据集群系统的其他数据中心获取所需要的子数据，利用本发明实施例的方法，一方面，首先从本地获得还原原始数据的子数据，保证了还原原妈数据的效率，另一方面，通过将可以还原为原始数据的子数据存储于数据集群中的其他数据中心，保证了数据存储的安全性。

请结合参看图3，本发明实施例提供的分布式数据集群系统。本发明实施例的分布式数据集群系统包括：中心数据中心及从数据中心，其中，中心数据中心及从数据中心分别包括至少一个服务器，所述服务器包括：

获取单元，用于获取原始数据或从其他数据中心获取子数据；

切片单元，用于对所述原始数据进行切片处理，生成至少两个数据块，

加密单元，用于对所述每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数，

纠删单元，用于对所述N个子数据块进行纠删处理，生成M份子数据，其中，所述M份子数据中的N份子数据可用于还原为原始数据，M为大于N的正整数，

存储单元，用于存储所述M份子数据中的至少N份子数据，或者，存储从其他数据中心获取的子数据；

发送单元，用于将所述M-N份子数据发送至其他数据中心。

可选地，本发明实施例中，获取原始数据的数据中心或存储有最多份子数据的数据中心为中心数据中心，集群系统中的其他数据中心为从数据中心，中心数据中心与从数据中心在宽带比较闲的时候进行子数据的传输。

可选地，本发明实施例中，中心数据中心与从数据中心进行子数据传输，包括：中心数据中心获取从数据中心不再保存的子数据，或者，中心数据中心将子数据存储于从数据中心。

可选地，本发明实施例中，如果所述中心数据中心及从数据中心分别包括至少两个服务器，则，所述中心数据中心及从数据中心内的服务器通过局域网通信，所述所述中心数据中心及从数据中心间通过互联网进行通信。

本发明实施例中，通过数据集群系统的数据中心服务器将原始数据进行切片、加密、纠删处理生成可以还原为原始数据的多份子数据，并且，可以还原为原始数据的分别存储于不同数据中心，当需要还原原始数据中，首先可以从本地数据中心获取所需要的子数据，如果本地数据中心的子数据无法还原为原始数据，则可以从数据集群系统的其他数据中心获取所需要的子数据，利用本发明实施例的方法，一方面，首先从本地获得还原原始数据的子数据，保证了还原原妈数据的效率，另一方面，通过将可以还原为原始数据的子数据存储于数据集群中的其他数据中心，保证了数据存储的安全性。

需要说明的是，上述终端各单元及模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。本发明中的各个单元或模块能作为单独的硬件或软件来实现，并且可以根据需要使用单独的硬件或软件来实现各个模块功能的组合。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本发明实施例所提供的应用程序分发方法和终端设备，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种分布式数据处理方法，其特征在于，包括：

数据中心获取原始数据；

所述数据中心对所述原始数据进行切片处理，生成至少两个数据块，

对所述每个数据块进行加密处理，生成N个子数据块，N为大于2的正整数，

对所述N个子数据块进行纠删处理，生成M份子数据，其中，M为大于N的正整数，所述M份子数据中的N份子数据可用于还原为原始数据，

将所述M份子数据中至少N份子数据存储于所述数据中心，剩余子数据存储于分布式数据集群系统的其他数据中心。

2.根据权利要求1所述的方法，其特征在于，所述方法，还包括：

所述集群系统中的任意数据中心接收还原原始数据的请求，

所述接收还原原始数据请求的数据中心利用自身存储的子数据进行纠删处理，还原得到原始数据，如果还原原始数据失败，则从集群系统中存储有子数据的其他数据中心获取还原原始数据所需要的子数据，并进行纠删处理，还原得到原始数据。

3.根据权利要求1或2所述的方法，其特征在于，将所述获取原始数据的数据中心或存储有最多份子数据的数据中心设置为中心数据中心，所述集群系统中的其他数据中心为从数据中心，所述方法进一步包括：

所述中心数据中心与从数据中心在带宽比较闲的时候进行子数据的传输。

4.根据权利要求3所述的方法，其特征在于，所述中心数据中心与从数据中心进行子数据传输，包括：

中心数据中心获取从数据中心不再保存的子数据，或者，

中心数据中心将子数据存储于从数据中心。

5.一种数据中心，其特征在于，包括至少一个服务器，所述服务器包括：

获取单元，用于获取原始数据或从其他数据中心获取子数据；

切片单元，用于对所述原始数据进行切片处理，生成至少两个数据块，

加密单元，用于对所述每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数

纠删单元，用于对所述N个子数据块进行纠删处理，生成M份子数据，其中，所述M份子数据中的N份子数据可用于还原为原始数据，M为大于N的正整数，

存储单元，用于存储所述M份子数据中的至少N份子数据，或者，存储从其他数据中心获取的子数据；

发送单元，用于将所述M-N份子数据发送至其他数据中心。

6.根据权利要求5所述的数据中心，其特征在于，所述服务器，还包括：

还原单元，用于接收还原原始数据的请求，并利用所述存储单元存储的子数据进行纠删处理，还原得到原始数据，如果还原原始数据失败，则利用所述获取单元从存储有子数据的其他数据中心获取还原原始数据所需要的子数据及所述存储单元存储的子数据，并进行纠删处理，还原得到原始数据。

7.一种分布式数据集群系统，包括，中心数据中心及从数据中心，其特征在于，所述中心数据中心及从数据中心分别包括至少一个服务器，所述服务器包括：

获取单元，用于获取原始数据或从其他数据中心获取子数据；

切片单元，用于对所述原始数据进行切片处理，生成至少两个数据块，

加密单元，用于对所述每个数据块进行加密处理，生成N个子数据块，其中，N为大于2的正整数，

纠删单元，用于对所述N个子数据块进行纠删处理，生成M份子数据，其中，所述M份子数据中的N份子数据可用于还原为原始数据，M为大于N的正整数，

存储单元，用于存储所述M份子数据中的至少N份子数据，或者，存储从其他数据中心获取的子数据；

发送单元，用于将所述M-N份子数据发送至其他数据中心。

8.根据权利要求7所述的系统，其特征在于，所述获取原始数据的数据中心或存储有最多份子数据的数据中心为中心数据中心，所述集群系统中的其他数据中心为从数据中心，所述中心数据中心与从数据中心在宽带比较闲的时候进行子数据的传输。

9.根据权利要求7所述的系统，其特征在于，所述中心数据中心与从数据中心进行子数据传输，包括：

中心数据中心获取从数据中心不再保存的子数据，或者，

中心数据中心将子数据存储于从数据中心。

10.根据权利要求7至9任一项所述的系统，其特征在于，如果所述中心数据中心及从数据中心分别包括至少两个服务器，则，所述中心数据中心及从数据中心内的服务器通过局域网通信，所述所述中心数据中心及从数据中心间通过互联网进行通信。

Images