CN104125294B - 一种大数据安全管理方法和系统 - Google Patents

Abstract

本发明提供了一种大数据安全管理方法和系统，该方法包括：利用多个服务器节点构成云服务器集群，对网络中的文件进行永久存储和备份；利用多个用户节点构建客户端集群，保存服务器存储的文件的副本，并对用户提供文件下载和更新，所述服务器集群对用户节点进行控制和仲裁。本发明实现了云端和用户端两方大数据负载分散，改进的数据下载和更新过程有效提高系统的可扩展性，降低服务提供商的成本。

Description

一种大数据安全管理方法和系统

技术领域

本发明涉及云计算技术，特别涉及一种云间大数据安全传输的方法。

背景技术

随着移动互联网、物联网等应用的飞速发展，全球数据量出现了爆炸式增长。数据量的飞速增长预示着现在已经进入了大数据时代。网络运营商拥有庞大的用户，同时具有对终端及用户上网通道的掌控能力，使得在用户行为分析方面具有很好的数据基础，深入分析用户流量行为特征和规律，发现用户潜在消费需求，是提升价值和经营水平的有效手段。然而，不仅仅是数据规模越来越大，而且数据类型多和处理实时性要求都极大地增加了大数据处理的复杂度。大数据给传统的数据安全传输管理带来的技术挑战。传统的基于云计算的大数据传输方法，是从一个云存储端按照云存储端路径排列的顺序，完成大量数据的对应存储传输。这种方法的优点能够摆脱硬件资源的限制，当遇到需要大数据的情况下，需要存储的数据数量很大，这就对云端处理能力提出了较高的要求，一旦云空间的存储能力受到限制，其就会发生数据溢出，很容易受到外界的攻击，造成安全隐患。

因此，针对相关技术中所存在的上述问题，目前尚未提出有效的解决方案。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种大数据安全管理方法和系统。该方法包括：

利用多个服务器节点构成云服务器集群，对网络中的文件进行永久存储和备份；

利用多个用户节点构建客户端集群，保存服务器存储的文件的副本，并对用户提供文件下载和更新，所述服务器集群对用户节点进行控制和仲裁。

优选地，所述云服务器集群包括多个服务器节点，服务器节点之间通过Chord网络相互连接和相互备份，服务器节点负责文件的索引和备份，以及发生冲突时的仲裁，服务器节点存储文件在客户端主节点的地址以及最新版本的文件；

所述用户节点包括虚拟服务器即客户端主节点，每个文件对应一个客户端主节点，客户端主节点负责文件的索引和下载，存储最新版本的文件以及该文件的服务器节点和所有下载节点地址；客户端主节点和服务器节点保持双向连接，周期性交互信息；

所述用户节点还包括下载节点，保持最新版本文件，下载节点存储文件的服务器节点和客户端主节点地址，周期性地与客户端主节点交互信息，同时还负责文件的下载工作；

所述用户节点还包括副本节点，存储文件副本，以及服务器节点和客户端主节点地址，副本节点不为其他用户节点提供下载服务；副本节点可向客户端主节点提出请求，修改为下载节点，下载节点也可以申请修改为副本节点；

其中，每个文件都对应一个服务器节点，一个客户端主节点以及多个下载节点和副本节点。

优选地，所述文件下载进一步包括以下步骤：

步骤3.1当用户需要下载文件时，连接云服务器集群，通过动态散列表找到负责该文件的服务器节点；

步骤3.1从服务器节点获得该文件的客户端主节点地址；

步骤3.3用户连接该文件的客户端主节点，请求下载文件；

步骤3.4客户端主节点从自身存储的下载节点地址列表中随机选择一部分反馈；

步骤3.5用户通过连接客户端主节点以及这些下载节点进行下载；

步骤3.6当下载结束后，将该节点设置为文件的副本节点，直至该节点删除该文件；

如果网络中没有任何该文件的备份节点存在，即没有客户端主节点，也没有任何下载节点和副本节点，则服务器节点直接为该用户提供下载服务，并在下载结束后将该节点设为新的客户端主节点；

其中，用户通过连接多个节点同时下载，每个节点为用户提供一部分资源；

并且，所述文件更新进一步包括以下步骤：

当用户需要更新文件时，判断自身节点的类型是否为下载节点还是副本节点；

若需要更新文件的节点为下载节点，则执行步骤3.7-步骤3.9：

步骤3.7直接更新文件，并将更新操作以及自身副本的版本信息以及散列值发送给客户端主节点；

步骤3.8客户端主节点首先校验该副本的版本信息和散列值，如果是最新版本的副本，且散列值正确，则更新操作合法，执行更新；否则，拒绝更新请求；

步骤3.9客户端主节点将更新结果以及新的版本号和散列值发送给服务器节点和所有的下载节点，而不发给副本节点。

若需要更新文件的节点为副本节点，则执行步骤3.10-步骤3.12：

步骤3.10首先向客户端主节点验证版本信息；

步骤3.11客户端主节点收到检查版本信息的请求后，对比文件版本号，如果是过期版本，则反馈最新版本的文件；

步骤3.12副本节点在验证版本信息后，执行与下载节点相同的更新步骤即步骤3.7-步骤3.9。

根据本发明的另一方面，通过了一种大数据安全管理系统，用于在云平台中对文件数据进行分布式存储和访问，其特征在于，包括：

云服务器集群模块，由多个服务器节点构成，用于对网络中的文件进行永久存储和备份，对用户节点进行控制和仲裁；

客户端集群模块，由多个用户节点构建，用于保存服务器存储的文件的副本，并对用户提供文件下载和更新。

本发明相比现有技术，具有以下优点：

实现了在云端和用户端两个方向的大数据负载分散，改进的数据下载和更新过程有效提高系统的可扩展性，降低服务提供商的成本。

附图说明

图1是根据本发明实施例的大数据安全管理方法的流程图。

具体实施方式

下文与图示本发明原理的附图一起提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的一方面提供了一种大数据安全管理方法和系统。图1是根据本发明实施例的大数据安全管理方法流程图。本发明总体而言是将云服务器集群外延，使用用户节点构建一层客户端集群，从而将一部分负载从云端分摊到用户端，实现在云端和用户端两个方向的负载分散，从而降低服务提供商成本，提高系统的可扩展性。服务提供商提供的云服务器集群作为可靠、可信的服务器，可以对网络中的节点进行控制和仲裁，并为网络中的文件提供永久存储和备份，提高了整个网络的可靠性。如图1所示，实施本发明方法的具体步骤如下：

使用双层结构，即上层是由服务提供商提供的可靠的云服务器集群，下层是由用户节点构建的客户端集群。

云服务器集群包括多个服务器节点，服务器节点之间通过Chord网络相互连接，相互备份。服务器节点主要负责文件的索引和备份，以及发生冲突时的仲裁。服务器节点存储文件的在客户端主节点的地址以及最新版本的文件。

用户节点包括虚拟服务器即客户端主节点：客户端主节点由用户节点中处理能力较强、带宽较高的节点构成。每个文件对应一个客户端主节点，负责该文件的索引和下载。客户端主节点存储最新版本的文件以及该文件的服务器节点和所有下载节点地址。客户端主节点和服务器节点保持双向连接，周期性的交互信息。

用户节点包括下载节点：下载节点是始终保持最新版本文件的用户节点。下载节点存储文件的服务器节点和客户端主节点地址，周期性地与客户端主节点交互信息，同时还负责文件的下载工作。

用户节点还包括副本节点：副本节点存储了文件副本，以及服务器节点和客户端主节点地址，但副本节点上存储的文件副本可能是非最新版本，所以不能为其他节点提供下载服务。如果一个副本节点经常访问该文件，并需要实时跟踪该文件的变化，则可以向客户端主节点提出请求，修改为下载节点，当不再需要实时跟踪时也可以申请转换回副本节点。

这四种节点都是数据的备份节点，均存储了文件的副本，但服务器节点、客户端主节点和下载节点上始终存储着最新版本的文件，而副本节点上存储的可能是过期副本。每个文件都有一个服务器节点，一个客户端主节点以及多个下载节点和副本节点，其中服务器节点是服务提供商提供的云端服务器，属于上层的云服务器集群，而客户端主节点、下载节点和副本节点都是用户节点，属于下层的客户端集群。

1.本发明的文件下载过程

首先，当用户需要下载文件时，连接云服务器集群，通过动态散列表找到负责该文件的服务器节点；

从服务器节点获得该文件的客户端主节点地址；

然后，用户连接该文件的客户端主节点，请求下载文件，客户端主节点从自身存储的下载节点地址列表中随机选择一部分反馈，用户通过连接客户端主节点以及这些下载节点进行下载；

当下载结束后，将该节点设置为文件的副本节点，直至该节点删除这个文件；

如果网络中没有任何该文件的备份节点存在，即没有客户端主节点，也没有任何下载节点和副本节点，服务器节点直接为该用户提供下载服务，并在下载结束后将该节点设为新的客户端主节点。

本发明的下载过程基本上都是在客户端集群中进行的，从而极大地降低了云服务器集群的负载，而用户可以通过连接多个节点同时下载，从而加快了用户的下载速度。

每个节点只需要为用户提供一部分资源，下载负载被分摊到了多个节点上，从而增强了系统的负载均衡能力。即使当前网络中所有拥有该文件的用户节点都离开网络，用户仍可以从云服务器集群的服务器节点处获得资源，保证了较好的可靠性和可用性。

2.本发明的文件更新过程

当用户需要更新文件时，根据自身节点的类型采取不同的操作。

当下载节点用户需要更新文件时，由于下载节点上始终存储着最新版本的文件，所以可以直接更新文件，并将更新操作以及自身副本的版本信息以及散列值发送给客户端主节点；

客户端主节点首先校验该副本的版本信息和散列值，如果是最新版本的副本，且散列值正确，更新操作合法，执行更新；否则，拒绝更新请求；

此后，客户端主节点将更新结果以及新的版本号和散列值发送给服务器节点和所有的下载节点，但不会发给副本节点。

另外，当副本节点用户需要更新文件时，由于自身存储的文件可能是过期副本，所以要先向客户端主节点验证版本信息；

客户端主节点收到检查版本信息的请求后，对比文件版本号，如果是过期版本，则反馈最新版本的文件；

副本节点在验证过版本信息后，执行与下载节点相同的更新步骤。

在这种更新方式下，客户端主节点只向频繁使用该文件、需要实时跟踪文件变化的下载节点发送文件的更新信息，而不会向其他副本节点发送更新信息，降低了客户端主节点发送更新的工作量。

通过被动接收更新，下载节点可以直接使用自身存储的文件副本，避免了频繁访问客户端主节点下载文件，也降低了下载节点的通信量。对于副本节点而言，这种更新方式可以避免它们接收到自己并不需要的更新信息，且副本节点只需要在使用文件前从客户端主节点更新自身存储的副本。通过使用这种分而治之的更新方式，可以降低客户端集群的负载，保证了每个节点在使用文件时，都可以获得最新版本的文件副本。

可见，因为服务器节点之间建立了相互备份机制，即使有服务器发生故障，仍能保证文件不丢失。在文件下载和更新的过程中，接收节点都计算文件的散列值，只有散列值是否一致，才存储，保证了数据传输的安全性。

综上所述，本发明改进了基于云计算的大数据传输方法，在服务提供商提供的云服务器集群外延，使用用户节点构建了一个客户端集群用于处理文件下载和更新，而云服务器集群则专注于提供可靠索引和备份。通过使用这种双层结构，本发明实现了负载从云端到用户端的迁移，并提高了系统本身的可用性和可靠性。

显然，本领域的技术人员应该理解，上述的本发明的各模块或各步骤可以用通用的计算系统来实现，它们可以集中在单个的计算系统上，或者分布在多个计算系统所组成的网络上，可选地，它们可以用计算系统可执行的程序代码来实现，从而，可以将它们存储在存储系统中由计算系统来执行。这样，本发明不限制于任何特定的硬件和软件结合。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (2)

1.一种大数据安全管理方法，用于在云平台中对文件数据进行分布式存储和访问，包括：

利用多个服务器节点构成云服务器集群，对网络中的文件进行永久存储和备份；

利用多个用户节点构建客户端集群，保存服务器存储的文件的副本，并对用户提供文件下载和更新，所述服务器集群对用户节点进行控制和仲裁；

其特征在于，所述云服务器集群包括多个服务器节点，服务器节点之间通过Chord网络相互连接和相互备份，服务器节点负责文件的索引和备份，以及发生冲突时的仲裁，服务器节点存储文件在客户端主节点的地址以及最新版本的文件；

所述用户节点包括虚拟服务器即客户端主节点，每个文件对应一个客户端主节点，客户端主节点负责文件的索引和下载，存储最新版本的文件以及该文件的服务器节点和所有下载节点地址；客户端主节点和服务器节点保持双向连接，周期性交互信息；

所述用户节点还包括下载节点，保持最新版本文件，下载节点存储文件的服务器节点和客户端主节点地址，周期性地与客户端主节点交互信息，同时还负责文件的下载工作；

所述用户节点还包括副本节点，存储文件副本，以及服务器节点和客户端主节点地址，副本节点不为其他用户节点提供下载服务；副本节点可向客户端主节点提出请求，修改为下载节点，下载节点也可以申请修改为副本节点；

其中，每个文件都对应一个服务器节点，一个客户端主节点以及多个下载节点和副本节点。

2.一种使用如权利要求1所述大数据安全管理方法的大数据安全管理系统，用于在云平台中对文件数据进行分布式存储和访问，其特征在于，包括：

云服务器集群模块，由多个服务器节点构成，用于对网络中的文件进行永久存储和备份，对用户节点进行控制和仲裁；

客户端集群模块，由多个用户节点构建，用于保存服务器存储的文件的副本，并对用户提供文件下载和更新。