CN107493313A

CN107493313A - 云管理系统与方法

Info

Publication number: CN107493313A
Application number: CN201611178822.4A
Authority: CN
Inventors: 汪海军
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-12-19
Filing date: 2016-12-19
Publication date: 2017-12-19

Abstract

本发明公开了一种云数据管理系统及方法，所述系统包括：数据传输模块，配置为根据用户的请求，将数据由源端通过预设数据接口传输至目标端；数据恢复模块，配置为当所述目标端为客户端且所述客户端的数据出现异常时，对所述客户端的数据进行恢复；数据管理模块，配置为当所述源端为云端时，根据所述用户的需求对云端的数据进行管理，其中所述管理包括拷贝、删除和验证关联性。本发明实施例的技术方案包括数据传输模块、数据恢复模块和数据管理模块，通过数据传输模块将数据由源端通过预设数据接口传输至目标端，并在云端对数据进行管理，并在有数据恢复请求时，对数据进行恢复，这样能够提高对数据管理的执行效率。

Description

云管理系统与方法

技术领域

本发明涉及云存储技术领域，具体涉及一种云数据管理系统及方法。

背景技术

在信息技术飞速发展的今天，随着互联网的日渐普及硬件的不断更新换代和社会信息化的不断推进，推动着数据存储管理向巨量化复杂化发展，为了充分利用网络计算和存储资源，实现大范围的协作与资源共享，达到高效率低成本的计算，云计算的应用也越来越广泛。

云数据管理在云计算概念上延伸和发展出来的一个新的概念。云数据管理使更大数据量的处理成为可能，被称为下一代的因特网计算和下一代的数据中心。云计算是是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(GridComputing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务。云数据管理是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。

虽然云计算为存储和管理数据提供了几乎无限多的空间和无限强大的计算能力，但对于云数据管理，现有的云数据管理方式在用户的数量比较庞大的情况下，将海量数据复制到云上，需要巨大的带宽，而现有的带宽达不到将海量数据复制到云上的要求，因此对数据的管理效率低下。

发明内容

本发明的目的在于提供一种提高云端的数据管理效率的云数据管理系统及方法。

为实现上述目的，本发明提供一种云数据管理系统。具体地，该系统包括：

数据传输模块，配置为根据用户的请求，将数据由源端通过预设数据接口传输至目标端；

数据恢复模块，配置为当所述目标端为客户端且所述客户端的数据出现异常时，对所述客户端的数据进行恢复；

数据管理模块，配置为当所述源端为云端时，根据所述用户的需求对云端的数据进行管理，其中所述管理包括拷贝、删除和验证关联性。

作为优选，所述数据传输模块包括：

空间确认子模块，配置为所述目标端是否具有足够的空间保存所述数据；

数据准备子模块，配置为通过代理程序对所述数据进行前处理、一致性校验和静默快照；以及，

配置为当所述目标端为云端时，在所述云端划分出用于存储所述数据的空间和冗余空间；

数据迁移子模块，配置为将所述数据由源端迁移至目标端。

作为优选，所述系统还包括：

连接模块，配置为使所述源端与所述目标端建立连接；

作为优选，所述连接模块还包括：

验证通讯子模块，配置为验证所述源端与所述目标端能否通讯；

链路适配子模块，配置为当所述源端与所述目标端不能通讯时，将所述源端和所述目标端的链路进行适配。

作为优选，所述系统还包括：

定制模块，配置为根据所述用户的需求，对展示给所述用户的界面进行定制，以及对展示给所述用户的工作流进行定制；

计费模块，配置为根据预设条件对所述用户使用的服务资源进行计费；

监控模块，配置为监控资源的使用状态、用户状态、链路状态网络状态、作业状态和软硬件状态；

用户管理模块，配置为管理所述用户的信息。

本发明实施例还提供一种云数据管理方法，包括：

接收客户端的请求；

根据所述请求的内容，通过预设数据接口向客户端传输数据；

若所述客户端的数据出现异常，对所述客户端的数据进行恢复。

作为优选，所述方法还包括：若所述传输为下载操作，则根据所述请求的内容，通过预设数据接口向客户端传输数据，包括：

判断所述客户端是否具有足够的空间保存所述数据；

若是，则通过代理程序对所述数据进行前处理、一致性校验和静默快照；

将所述数据传输至所述客户端；

若所述传输为上传操作，则根据所述请求的内容，通过预设数据接口向客户端传输数据，包括：

判断云端是否具有足够的空间保存所述数据；

将所述数据传输至所述云端。

作为优选，接收用户的请求之前，所述方法还包括：

与客户端建立连接。

作为优选，与客户端建立连接，包括：

判断与客户端是否能够通讯；

若是，则直接进行通讯；

否则，将所述客户端与云端的链路进行适配。

作为优选，所述方法还包括：

监控资源的使用状态、用户状态、链路状态网络状态、作业状态和软硬件状态。

本发明系统具有如下优点：本发明实施例的技术方案包括数据传输模块、数据恢复模块和数据管理模块，通过数据传输模块将数据由源端通过预设数据接口传输至目标端，并在云端对数据进行管理，并在有数据恢复请求时，对数据进行恢复，这样能够提高对数据管理的执行效率。

附图说明

图1为本发明的云数据管理系统的实施例一的示意图；

图2为本发明的云数据管理系统的实施例二的示意图；

图3为本发明的云数据管理系统的实施例二的混合云管理平台示意图；

图4为本发明的云数据管理系统的实施例二的某一云端管理系统示意图；

图5为本发明的云数据管理方法的实施例一的流程图；

图6为本发明的云数据管理方法的实施例二的流程图。

具体实施方式

以下实施例用于说明本发明，但不用来限制本发明的范围。

实施例1

图1为本发明的云数据管理系统实施例一的示意图，如图1所示，本实施例的云数据管理系统，具体可以包括数据传输模块10、数据恢复模块20和数据管理模块30。

数据传输模块10，配置为根据用户的请求，将数据由源端通过预设数据接口传输至目标端。

其中，源端是指发送数据的一端；相应地，目标端是指接收数据的一端。结合本实施例，当客户端向云端上传数据，以进行数据备份时，客户端为源端，云端为目标端；当从云端下载数据时，云端为源端，客户端为目标端。

数据恢复模块20，配置为当所述目标端为客户端且所述客户端的数据出现异常时，对所述客户端的数据进行恢复。

数据管理模块30，配置为当所述源端为云端时，根据所述用户的需求对云端的数据进行管理，其中所述管理包括拷贝、删除和验证关联性。

本发明实施例的技术方案包括数据传输模块、数据恢复模块和数据管理模块，通过数据传输模块将数据由源端通过预设数据接口传输至目标端，并在云端对数据进行管理，并在有数据恢复请求时，对数据进行恢复，这样能够提高对数据管理的执行效率。

实施例2

图2为本发明的云数据管理系统的实施例二的示意图，本实施例的云数据管理系统在如图1所示的实施例的基础上，进一步更加详细地介绍本发明的技术方案。如图2所示，本实施例的云数据管理系统，进一步包括：

所述数据传输模块10包括：

空间确认子模块101，配置为所述目标端是否具有足够的空间保存所述数据；

数据准备子模块102，配置为通过代理程序对所述数据进行前处理、一致性校验和静默快照；以及，

数据迁移子模块103，配置为将所述数据由源端迁移至目标端。

其中，代理程序为设置于客户端负责数据准备的一个应用程序，也是用于云端进行通信的代理软件。

其中，所谓前处理，包括对数据进行快照、文件系统、删除和数据压缩等的前置操作，例如，数据大小为1G，对其进行压缩，压缩后大小为0.9G，在将数据上传到云端时，占用的带宽减小，以提高数据上传的成功率。

其中，数据校验过程介绍如下：在数据保护过程中，数据库中所存储的数据为结构化数据，能够保证数据的一致性，例如，Oracle数据库，其具有对数据进行校验的功能，支持在线校验和离线校验，若数据不一致，则进行报错处理。

具体地，由于目标端的存储空间有限，因此在向目标端发送数据时，需要确认目标端是否具有足够的空间存储数据。例如，下载数据时，需要确认客户端是否具有足够的存储空间，若有足够的存储空间，则直接进行下载操作，如果没有足够的存储空间，可以向用户发送“存储空间不足”的提示。如果目标端为云端，则在云端划分出用于一个足够存储数据的空间，同时预留一定的冗余空间，例如预留20％的冗余空间。

具体地，如果目标端具有足够的存储空间，则通过数据准备子模块 102进行数据准备。例如，对于源端来说，需要通过代理程序对要传输的数据进行一致性校验，确保发送的数据正确，同时，采用静默快照技术对数据进行快照，以便于备份数据。静默快照技术，指的是在对数据进行快照操作时，使数据静默，使数据保持一定时间，如2秒钟，以避免在快照过程中数据发生改变，使快照的数据不准确。

通过接口进行快照，把快照后的数据通过网络复制到目标端

在数据准备好后，由数据迁移模块103将数据由源端迁移至目标端。

连接模块40，配置为使所述源端与所述目标端建立连接。

进一步地，所述连接模块40还包括：

验证通讯子模块(图中未示出)，配置为验证所述源端与所述目标端能否通讯。

链路适配子模块(图中未示出)，配置为当所述源端与所述目标端不能通讯时，将所述源端和所述目标端的链路进行适配。

具体地，在源端与目标端连接的过程中，本实施例默认的连接方式为直接对专线加密的连接方式，但有些情况下，客户端网络不允许采用直接对专线加密的连接方式，此时对源端和目标端进行链路适配。此时，需要对客户端的权限进行重新验证。

定制模块50，配置为根据所述用户的需求，对展示给所述用户的界面进行定制，以及对展示给所述用户的工作流进行定制。

计费模块60，配置为根据预设条件对所述用户使用的服务资源进行计费。

监控模块70，配置为监控资源的使用状态、用户状态、链路状态网络状态、作业状态和软硬件状态。

用户管理模块80，配置为管理所述用户的信息。

具体地，如图3所示，本发明实施例提供的云服务器可以由公有云、混合云和私有云组成。

以某一云端管理系统为例，对本实施例进行具体介绍，如图4所示，客户端为多点的Gluster开源集群，客户端存储有半年时间内形成的关键业务数据，客户端的需求为每个月进行一次数据查询分析可以采用以下步骤进行备份：1，将一台代理前置机部署在用户现场，前置机通过gluster 原生客户端做NFS挂载；2，在前置机划分磁盘资源作为备份目标，先在本地对数据进行备份；3，使前置机通过本实施例的连接模块与云端建立连接，通过数据传输模块将数据上传至云服务器进行数据备份，然后通过10Mb/s的速度复制到云上；4，当每个月底对数据做查询分析时，用户临时在云端上创建一台机器作为计算设备挂载需要查询的数据点，查询耗时20小时左右，查询完毕资源快速回收。这样，用户每个月只需要租赁一天的计算资源进行查询分析，大大节省了用户的计算成本和存储成本的投入，同时还实现了云容灾的能力。

本发明实施例通过对数据进行前处理等准备过程，使数据在上传或下载过程中，占用的带宽大大减小，提高云端与客户通信的效率。

实施例3

图5为本发明的云数据管理方法实施例一的流程图，如图1所示，本实施例的云数据管理方法，具体可以包括如下步骤：

S501，接收客户端的请求。

S502，根据所述请求的内容，通过预设数据接口向客户端传输数据。

S503，若所述客户端的数据出现异常，对所述客户端的数据进行恢复。

本实施例的云数据管理方法，通过采用上述步骤对数据进行管理的实现机制与上述图1所示实施例的云数据管理系统的实现机制相同，详细可以参考上述图1所示实施例的记载，在此不再赘述。

实施例4

图6为本发明的云数据管理方法的实施例二的流程图，本实施例的云数据管理方法在如图5所示的实施例的基础上，进一步更加详细地介绍本发明的技术方案。如图6所示，本实施例的云数据管理方法，具体可以包括如下步骤：

S601，与客户端建立连接。

具体地，步骤S601包括：

A，判断与客户端是否能够通讯；B，若是，则直接进行通讯；

C，否则，将所述客户端与云端的链路进行适配。

S602，接收客户端的请求；

S603，根据所述请求的内容，通过预设数据接口向客户端传输数据；

具体地，若所述传输为下载操作，步骤S603包括：

D，判断所述客户端是否具有足够的空间保存所述数据；

E，若是，则通过代理程序对所述数据进行前处理、一致性校验和静默快照；

F，将所述数据传输至所述客户端；

若所述传输为上传操作，步骤S603包括：

G，判断云端是否具有足够的空间保存所述数据；

H，若是，则通过代理程序对所述数据进行前处理、一致性校验和静默快照；

I，将所述数据传输至所述云端。

S604，若客户端的数据出现异常，对所述客户端的数据进行恢复。

S605，监控资源的使用状态、用户状态、链路状态网络状态、作业状态和软硬件状态。

本实施例的云数据管理方法，通过采用上述步骤对数据进行管理的实现机制与上述图2所示实施例的云数据管理系统的实现机制相同，详细可以参考上述图2所示实施例的记载，在此不再赘述。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims

1.一种云数据管理系统，其特征在于，所述系统包括：

2.根据权利要求1所述的系统，其特征在于，所述数据传输模块包括：

数据迁移子模块，配置为将所述数据由源端迁移至目标端。

3.根据权利要求1所述的系统，其特征在于，所述系统还包括：

连接模块，配置为使所述源端与所述目标端建立连接。

4.根据权利要求3所述的系统，其特征在于，所述连接模块还包括：

5.根据权利要求1所述的系统，其特征在于，所述系统还包括：

用户管理模块，配置为管理所述用户的信息。

6.一种云数据管理方法，其特征在于，包括：

接收客户端的请求；

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：若所述传输为下载操作，则根据所述请求的内容，通过预设数据接口向客户端传输数据，包括：