CN109032840A - 一种数据管理方法及装置 - Google Patents

Abstract

本发明公开了一种数据管理方法，实现云服务器和客户机数据管理，包括以下步骤：云服务器通过预设数据接口获取客户机的生产数据，将生产数据存储至云服务器的快照池中，将快照池中的生产数据备份至重复数据删除池；云服务器接收客户机发送的恢复第一生产数据的请求后，对第一生产数据进行恢复。本发明还公开了一种数据管理装置，本发明数据管理方法可用于客户机的应用服务，可以在数分钟内将业务恢复。

Description

一种数据管理方法及装置

技术领域

本发明涉及云存储技术领域，尤其是一种数据管理方法及装置。

背景技术

在本世纪初，数据中心都面临着“基础设施导向型”应用设计带来的一个重要现实：服务器的使用不足。多数服务器的运行使用率都低于10％。这些服务器的电源和冷却成本远远大于实际需要。除了业务数据，如今移动设备、传感器、社交媒体和其他数据源正在以高速率生成以艾字节为单位的数据。对于存储公司，这种垂直增长已经成为股东价值增长的重要因素。然而现实却是，大多数消费者的存储现状与本世纪初的服务器现象惊人地相似。大部分存储未得到充分利用。大部分已经被利用的存储都是用于数据的多余拷贝，这些拷贝是通过孤立的数据保护和高可用性应用进行的(例如备份、快照、灾难恢复、业务连续性、开发与测试、法规遵从性、分析及其他)。而这些应用创建副本时并不知道哪些副本是已经存在。据互联网数据中心(Internet Data Center，IDC)分析，在2014年企业要花费460亿美元或提供将近48千兆字节的空间来存储副本。在数据中心过多的“拷贝数据”是导致过度支出、业务效率低下、高额环境开支(例如电源和冷却)的原因。

发明内容

本发明的目的是提供一种数据管理方法及装置，解决现有技术中对数据管理时效率低下，导致环境开支较高的技术问题。

为实现上述目的，本发明采用下述技术方案：

本发明第一方面提供了一种一种数据管理方法，实现云服务器和客户机数据管理，其特征是，包括以下步骤：

云服务器通过预设数据接口获取客户机的生产数据，将生产数据存储至云服务器的快照池中，将快照池中的生产数据备份至重复数据删除池；

云服务器接收客户机发送的恢复第一生产数据的请求后，对第一生产数据进行恢复。

结合第一方面，在第一方面第一种可能的实现方式中，还包括，主云服务器与从云服务的数据备份步骤，具体包括：主云服务器将获取的客户机生产数据进行压缩操作后备份至从云服务器处。

结合第一方面，在第一方面第二种可能的实现方式中，所述云服务器通过预设数据接口获取客户机的生产数据，具体包括：

通过VMware服务器获取生产数据，获取生产数据的方式包括带外模式、旁路模式和带内模式。

结合第一方面，在第一方面第三种可能的实现方式中，所述云服务器通过预设数据接口获取客户机的生产数据，具体包括：

通过应用程序接口将生产数据镜像拷贝至快照池中。

结合第一方面，在第一方面第四种可能的实现方式中，所述将快照池中的生产数据备份至重复数据删除池，具体包括：

根据预设重删压缩率对生产数据进行优化处理；

根据预设压缩率对优化处理后的生产数据进行压缩；

将压缩后的生产数据备份至重复数据删除池。

结合第一方面，在第一方面第五种可能的实现方式中，所述云服务器接收客户机发送的恢复第一生产数据的请求后，对第一生产数据进行恢复，具体包括：

将快照池中的生产数据加工成第一生产数据；

创建第一生产数据快照，生成虚拟数据；

将虚拟数据挂载到所述客户机。

结合第一方面，在第一方面第六种可能的实现方式中，所述将快照池中的生产数据加工成第一生产数据，具体包括：

将生产数据中的全量数据、与全量数据相关的增量数据合成为第一生产数据。

结合第一方面，在第一方面第七种可能的实现方式中，所述将生产数据中的全量数据、与全量数据相关的增量数据合成为第一生产数据，具体包括：

对生产数据的全量数据进行变化块追踪，获得生产数据在预设时间点的增量数据；

将全量数据与预设时间点的增量数据合成为所述第一生产数据。

本发明第二方面提供了一种数据管理装置，包括云服务器和客户机，包括：

获取模块，通过预设数据接口获取客户机生产数据，并存储至云服务器快照池中；

备份模块，将快照池中的生产数据备份至重复数据删除池；

接收模块，接收客户机发送的恢复第一生产数据的请求；

恢复模块，根据恢复第一生产数据的请求内容，对快照池中所存储的第一生产数据进行恢复。

结合第二方面，在第二方面第一种可能的实现方式中，还包括，

主从备份模块，主云服务器对获取的客户机生产数据进行压缩操作后备份至从云服务器处。

本发明第二方面的所述数据管理装置能够实现第一方面及第一方面的各实现方式中的方法，并取得相同的效果。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明实施例的技术方案通过数据接口将生产数据存储至云服务器的快照池中，同时将生产数据备份至重复数据删除池，以做长期的保存，同时根据客户机的恢复第一生产数据的请求，对所述快照池中所存储的所述第一生产数据进行恢复，提高了恢复效率。本发明数据管理方法可用于客户机的应用服务，可以在数分钟内将业务恢复。本发明的云服务器可以将任务时间点的业务应用瞬间提供给测试开发使用的系统，可以节省开发周期达40％，同时开发人员可以根据自己的权限将开发系统回滚或挂载到任意时间点，且能够保证数据库的逻辑一致性。

附图说明

图1是本发明实施例一方法流程图；

图2是本发明实施例二方法流程图；

图3是本发明实施例二的某客户机的数据备份的示意图；

图4是本发明实施例四数据获取过程示意图；

图5是本发明实施例六方法流程图；

图6是本发明实施例七方法流程图；

图7是本发明实施例七的数据恢复示意图；

图8是本发明实施例九方法流程图；

图9是本发明实施例九的云服务器的快照池和重复数据删除池的示意图；

图10是本发明实施例九的获取全量数据和增量数据的示意图；

图11是本发明实施例九的获取某一时间点的全量数据的示意图；

图12是本发明数据管理装置结构示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

实施例一

如图1所示，数据管理方法，包括以下步骤：

S11、云服务器通过预设数据接口获取客户机的生产数据，将生产数据存储至云服务器的快照池中；

S12、将快照池中的生产数据备份至重复数据删除池；

S13、云服务器接收客户机发送的恢复第一生产数据的请求后，对第一生产数据进行恢复。

生产数据是指客户机所使用的数据。生产数据包括全量数据和增量数据；其中全量数据是在初次获取时获取的最原始的数据，增量数据是对全量数据进行更新操作以后形成的数据。

对于生产数据需要在云服务器中进行备份，在第一次获取客户机的数据量，获取的是客户机的全量数据，在以后的时间时获取客户机的增量数据，在优选的实施方案中，可以每隔预设的时间间隔获取一次生产数据，存储在去服务器中进行备份。

快照技术是一种摄影技术，随着存储应用需求的提高，用户需要在线方式进行数据保护，快照就是在线存储设备防范数据丢失的有效方法之一。快照是指关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本，也可以是数据的一个数据品。

实施例二

如图2所示，数据管理方法，包括以下步骤：

S21、主云服务器通过预设数据接口获取客户机的生产数据，将生产数据存储至主云服务器的快照池中，将快照池中的生产数据备份至重复数据删除池；

S22、主云服务器将获取的客户机生产数据进行压缩操作后备份至从云服务器处。

S23、主云服务器接收客户机发送的恢复第一生产数据的请求后，对第一生产数据进行恢复。

本实施例在试验阶段获得了以下试验数据：

一，在两台云服务器之间进行数据复制，复制的频率可以根据客户机的需要进行定制，其复原时间目标(RTO，RecoveryTime Objective)可达到5分钟，复原点目标(RPO，RecoveryPoint Objective)可达30分钟。

其中，复原时间目标是指企业可容许中断时间长度；复原点目标是当数据恢复后，恢复后的数据对应的时间点。

二，云服务器保护数据库每15分钟备份一次归档日志，且极少占用计算资源，PRO最大可达15分钟，针对数据库和虚拟化系统的恢复速度极快，1TB数据从还原到启动的时间仅需要3分钟，即RTO为3分钟，虚拟机的恢复时间为25秒，即RTO为25秒，也就是说，本实施例的数据管理方法可用于客户机的应用服务，可以在数分钟内将业务恢复。

三，本实施例的云服务器可以将任务时间点的业务应用瞬间提供给测试开发使用的系统，可以节省开发周期达40％，同时开发人员可以根据自己的权限将开发系统回滚或挂载到任意时间点，且能够保证数据库的逻辑一致性。

如图3所示，以某客户机为例，某客户机可以为测试开发系统、物理服务器、生产应用系统、物理容灾系统和虚拟化系统。设置两个云服务器，分别为主数据中心和异地数据中心，通过旁路模式将客户机的生产数据传输至主数据中心，同时将主数据中心的生产数据进行以预设的重删压缩率进行块级重删压缩操作，将压缩后的数据备份至异地数据中心。同时传统的数据备份方法依然可以并行实施，例如同时将生产数据备份到磁带库中。

实施例三

本实施例中，若预设数据接口为VMware数据保护的应用程序编程接口，则步骤S11包括通过VMware服务器获取所述生产数据，其中获取所述生产数据的方式包括带外模式、旁路模式和带内模式。

具体地，在VMware的环境下，无需安装代理程序，云服务器通过VMware数据保护接口(VMware DataProtectionAPI)直接和VCENTER服务器和ESX服务器通信，通过过程中的数据传输方式包括带外模式(Out-of-Band)、旁路模式(Side-Band)和带内模式(In-Band)。

实施例四

本实施例中，若预设数据接口为应用程序接口，则步骤S11包括通过应用程序接口将生产数据镜像拷贝至快照池中

例如，可以采用Oracle数据库的RMAN接口。

如图4所示，首先应用程序服务器获取客户机的数据，例如可以获取开放式系统的直连式存储(DirectAttached Storage，DAS)、存储阵列和文件服务器上的生产数据，然后应用程序将这些生产数据通过应用程序接口即RMAN接口，将数据挂载至小型计算机接口(Internet Small Computer System Interface，ISCSI)，再传输至云服务器中的快照池中，快照池再将该生产数据备份到重复数据删除池。

在这种情况下，应用程序服务器好需要安装一个针对Oracle RMAN的代理程序，云服务器通过RMAN的镜像拷贝(Image Copy)功能来获取全量数据和增量数据。这时，数据的传输方式包括带外模式和带内模式。

实施例五

本实施例中，若预设数据接口为文件系统快照接口，步骤S11包括采用文件系统的快照功能作为接口。

实施例六

如图5所示，本实施例中，步骤S12中将快照池中的生产数据备份至重复数据删除池，具体包括：

S121、根据预设重删压缩率对生产数据进行优化处理；

S122、根据预设压缩率对优化处理后的生产数据进行压缩；

S123、将压缩后的生产数据备份至重复数据删除池。

快照池对生产数据保存的时间较短，因此还需要将生产数据备份至重复数据删除池。由于生产数据是海量的，虽然重复数据删除池空间较大，但也是有限的，因此需要将快照池中的生产数据进行进一步的数据处理，以减小这些数据所占的空间，使重复数据删除池能够存储更多的数据。

因此需要对生产数据根据预设的重删压缩率进行优化处理，举例来说，可以将数据以4K为单位进行去重计算，例如，1024K的数据，将其分割成256个数据块(block)，每个数据块大小为4K，这些数据块中必然存在重复，相同的数据块仅保留唯一一个，将其他重复的数据块删除，同时，为该唯一一个数据块建立一个数据索引，在需要调用这1024K数据时，将这些数据块进行重新组合，需要使用重复数据块时，根据数据索引来调用该唯一一个保留的数据块，由此可以重新组成该1024K的数据。

在对数据进行重删压缩后，还要进行数据压缩，例如，可以采用64K为单位进行压缩，以便于进一步节省重复数据删除池的空间。

实施例七

如图6所示，本实施例中，步骤S13的云服务器接收客户机发送的恢复第一生产数据的请求后，对第一生产数据进行恢复，具体包括：

S131、将快照池中的生产数据加工成第一生产数据；

S132、创建第一生产数据快照，生成虚拟数据；

S133、将虚拟数据挂载到所述客户机。

如图7所示，本实施例所涉及的挂载操作，实际上也是快照操作，即对所备份的生产数据(即快照池中的快照)再做快照，并将此快照挂载给客户机，此快照没有份数限制，因此，一份某一时间点的备份的生产数据可以通过快照生成多份虚拟数据，挂载给不同的主机，从而实现了快速恢复，同时还能够提供开发测试、数据分析等不同的业务类型。

实施例八

本实施例中，步骤S131中将快照池中的生产数据加工成第一生产数据，具体包括：将生产数据中的全量数据、与全量数据相关的增量数据合成为第一生产数据。

实施例九

如图8所示，本实施例中，步骤S131具体包括：

A、对生产数据的全量数据进行变化块追踪，获得生产数据在预设时间点的增量数据；

B、将全量数据与预设时间点的增量数据合成为所述第一生产数据。

具体地，利用变化块追踪(Change Block Track，CBT)方法，可以从最初的全量数据产生变化的时候，通过预设数据接口对数据块(block)进行跟踪，由此能够知道该全量数据在什么时候产生了哪些变化，在下一次追踪过程中，仅根据上一次变化后的增量数据进行追踪，而不需要通过与全量数据进行完整对比的方式。

表1、采用不同数据接口获取数据的方法、形成增量数据的方法、增量级别和增量合成结果

由表1可以看出，采用VMware的应用程序编程接口，可以利用VMware的快照功能获取生产数据，获取增量数据的方法，采用数据块追踪方法，增量级别为数据块，合成的结果为虚拟数据，也就是说，快照为指针式快照。采用其他接口获取生产数据，并形成增量数据的方法如表1所示。

增量合成的过程介绍如下，不同的增量数据实际是不同时间点的增量，例如，获取增量数据的时间间隔为一天，则第一天获取了全量数据，第二天获取了该全量数据的增量数据，第三天再次获取第二天的增量数据的增量数据，……以此类推，当客户机发生数据异常时，需要恢复到第三天的增量数据，则将第三天的增量数据和第二天的增量数据和第一天的全量数据进行合成处理，形成第一生产数据。在具体实施时，获取增量数据的时间间隔可以根据客户机的需要进行定制，例如，每隔一小时获取一次增量数据。

如图9所示，客户机、应用程序服务器与云服务器通过网络连接，云服务器包括快照池和重复数据删除池，快照池中包括全量数据和增量数据，并以快照形式保存，例如，快照1为初始时间点的全量数据，快照2为第一时间点的增量数据……由图中采用的是指针式快照，也就是说所有的数据存储于磁盘存储单元中，而快照1、快照2……快照n，只是指示数据所处位置的指针被拷贝。

如图10所示，由左至右分别为全量数据、第一时间点的增量数据、第二时间点的增量数据和第三时间点的增量数据。

如图11所示，在需要恢复某一时间点的第一生产数据时，例如恢复第二时间点的第一生产数据，则将第二时间点的增量数据与第一时间点的增量数据与全量数据进行合成，形成第一生产数据，并直接挂载给应用程序服务器，对第三时间点的数据恢复过程以此类推。

如图12所示，一种数据管理装置，包括云服务器和客户机，包括：

获取模块101，通过预设数据接口获取客户机生产数据，并存储至云服务器快照池中；

备份模块102，将快照池中的生产数据备份至重复数据删除池；

接收模块103，接收客户机发送的恢复第一生产数据的请求；

恢复模块104，根据恢复第一生产数据的请求内容，对快照池中所存储的第一生产数据进行恢复。

主从备份模块105，主云服务器对获取的客户机生产数据进行压缩操作后备份至从云服务器处。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种数据管理方法，实现云服务器和客户机数据管理，其特征是，包括以下步骤：

云服务器通过预设数据接口获取客户机的生产数据，将生产数据存储至云服务器的快照池中，将快照池中的生产数据备份至重复数据删除池；

云服务器接收客户机发送的恢复第一生产数据的请求后，对第一生产数据进行恢复。

2.如权利要求1所述的方法，其特征是，还包括，主云服务器与从云服务的数据备份步骤，具体包括：主云服务器将获取的客户机生产数据进行压缩操作后备份至从云服务器处。

3.如权利要求1或2所述的方法，其特征是，所述云服务器通过预设数据接口获取客户机的生产数据，具体包括：

通过VMware服务器获取生产数据，获取生产数据的方式包括带外模式、旁路模式和带内模式。

4.如权利要求1或2所述的方法，其特征是，所述云服务器通过预设数据接口获取客户机的生产数据，具体包括：

通过应用程序接口将生产数据镜像拷贝至快照池中。

5.如权利要求1或2所述的方法，其特征是，所述将快照池中的生产数据备份至重复数据删除池，具体包括：

根据预设重删压缩率对生产数据进行优化处理；

根据预设压缩率对优化处理后的生产数据进行压缩；

将压缩后的生产数据备份至重复数据删除池。

6.如权利要求1或2所述的方法，其特征是，所述云服务器接收客户机发送的恢复第一生产数据的请求后，对第一生产数据进行恢复，具体包括：

将快照池中的生产数据加工成第一生产数据；

创建第一生产数据快照，生成虚拟数据；

将虚拟数据挂载到所述客户机。

7.如权利要求6所述的方法，其特征是，所述将快照池中的生产数据加工成第一生产数据，具体包括：

将生产数据中的全量数据、与全量数据相关的增量数据合成为第一生产数据。

8.如权利要求7所述的方法，其特征是，所述将生产数据中的全量数据、与全量数据相关的增量数据合成为第一生产数据，具体包括：

对生产数据的全量数据进行变化块追踪，获得生产数据在预设时间点的增量数据；

将全量数据与预设时间点的增量数据合成为所述第一生产数据。

9.一种数据管理装置，包括云服务器和客户机，其特征是，包括：

获取模块，通过预设数据接口获取客户机生产数据，并存储至云服务器快照池中；

备份模块，将快照池中的生产数据备份至重复数据删除池；

接收模块，接收客户机发送的恢复第一生产数据的请求；

恢复模块，根据恢复第一生产数据的请求内容，对快照池中所存储的第一生产数据进行恢复。

10.如权利要求9所述的装置，其特征是，还包括，

主从备份模块，主云服务器对获取的客户机生产数据进行压缩操作后备份至从云服务器处。