CN105138426A - 一种基于快照的业务级数据一致性保护方法及装置 - Google Patents

Abstract

本发明公开了一种基于快照的业务级数据一致性保护方法及装置，该方法包括：接收业务数据，获取所述业务数据的写入位置和时间信息；利用所述业务数据的写入位置和时间信息获取存储增量值；当所述存储增量值大于增量存储空间的阈值时，启动快照生成指令，生成快照；当所述存储增量值小于所述增量存储空间的阈值时，启动快照回收指令，回收快照；将所述业务数据写入至所述增量存储空间的可用文件中，形成增量文件。该方法实现根据业务级数据的io颗粒度不同，增量式触发快照，提高快照的可靠性。

Description

一种基于快照的业务级数据一致性保护方法及装置

技术领域

本发明涉及存储技术领域，特别是涉及一种基于快照的业务级数据一致性保护方法及装置。

背景技术

目前，针对某些业务，如数据库应用，数据一致性是指事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态。保证数据一致性是指当事务完成时，必须使所有数据都具有一致的状态。所有的数据根据数据性质不同运行在不同的卷上，比如日志数据在日志卷上，数据本身在数据卷上，所以这几个卷属于同一个一致性组中，一致性快照是针对一致性组进行的。主机端有业务数据下发时，自上而下经过文件系统，缓存，再到存储阵列，物理介质。

快照模块运行于存储系统上，如果在主机端仅调用打快照命令，未作主动刷写，那么快照时刻的数据可能还处于文件系统或缓存中，此时的快照是不可用的。因此目前基于主机端业务级数据打快照通常做法为：主机端创建一个快照代理agent，一方面接收存储系统打快照指令对业务数据打快照，一方面打快照之前执行刷写动作使数据落盘。然后对于业务数据的io颗粒度较小的数据库业务，传统的主机端快照代理根据用户设置定时快照参数对业务数据定时生成快照，而没有结合业务特性，仅由存储系统触发快照间隔太大，和主机端实际运行的业务关联较小，快照的可靠性降低，同时若某个快照数据失效，其余快照将不可用，即整个灾备系统失效。

发明内容

本发明的目的是提供一种基于快照的业务级数据一致性保护方法及装置，以实现根据业务级数据的io颗粒度不同，增量式触发快照，提高快照的可靠性。

为解决上述技术问题，本发明提供一种基于快照的业务级数据一致性保护方法，该方法包括：

接收业务数据，获取所述业务数据的写入位置和时间信息；

利用所述业务数据的写入位置和时间信息获取存储增量值；

当所述存储增量值大于增量存储空间的阈值时，启动快照生成指令，生成快照；

当所述存储增量值小于所述增量存储空间的阈值时，启动快照回收指令，回收快照；

将所述业务数据写入至所述增量存储空间的可用文件中，形成增量文件。

优选的，所述启动快照生成指令，生成快照，包括：

启动快照生成指令；

将所述增量存储空间中写入的业务数据生成一个只读快照；

在备份区域建立所述只读快照的快照。

优选的，所述启动快照回收指令，快照回收，包括：

启动快照回收指令，获取所述增量存储空间中创建时间最长的增量文件和对应快照，进行离线磁盘备份。

优选的，所述进行离线磁盘备份之后，还包括：

备份完成后删除所述创建时间最长的增量文件和对应快照。

优选的，所述方法还包括：

设定快照生成触发时刻和快照回收触发时刻；若当前时间达到所述快照生成触发时刻，激活所述快照生成指令，生成快照；若当前时间达到所述快照回收触发时刻，激活所述快照回收指令，回收快照。

本发明还一种基于快照的业务级数据一致性保护装置，包括：

接收模块，用于接收业务数据，获取所述业务数据的写入位置和时间信息；

获取模块，用于利用所述业务数据的写入位置和时间信息获取存储增量值；

快照生成模块，用于当所述存储增量值大于增量存储空间的阈值时，启动快照生成指令，生成快照；

快照回收模块，用于当所述存储增量值小于所述增量存储空间的阈值时，启动快照回收指令，回收快照；

写入模块，用于将所述业务数据写入至所述增量存储空间的可用文件中，形成增量文件。

优选的，所述快照生成模块包括：

第一启动单元，用于启动快照生成指令；

只读快照生成单元，用于将所述增量存储空间中写入的业务数据生成一个只读快照；

第一备份单元，用于在备份区域建立所述只读快照的快照。

优选的，所述快照回收模块包括：

第二启动单元，启动快照回收指令；

第二备份单元，用于获取所述增量存储空间中创建时间最长的增量文件和对应快照，进行离线磁盘备份。

优选的，所述快照回收模块还包括：

删除单元，用于备份完成后删除所述创建时间最长的增量文件和对应快照。

优选的，所述装置还包括：

定时模块，用于设定快照生成触发时刻和快照回收触发时刻；若当前时间达到所述快照生成触发时刻，激活所述快照生成指令，生成快照；若当前时间达到所述快照回收触发时刻，激活所述快照回收指令，回收快照。

本发明所提供的一种基于快照的业务级数据一致性保护方法及装置，接收业务数据，获取业务数据的写入位置和时间信息；利用业务数据的写入位置和时间信息获取存储增量值；当存储增量值大于增量存储空间的阈值时，启动快照生成指令，生成快照；当存储增量值小于增量存储空间的阈值时，启动快照回收指令，回收快照；将业务数据写入至增量存储空间的可用文件中，形成增量文件。可见，根据业务数据获取存储增量值，依据存储增量值进行生成快照或者回收快照，采用了增量式触发快照，而存储增量值能够表现业务数据的io颗粒度，所以实现根据业务级数据的io颗粒度不同，增量式触发快照，提高快照的可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明所提供的一种基于快照的业务级数据一致性保护方法的流程示意图；

图2为本发明所提供的一种基于快照的业务级数据一致性保护装置的结构示意图。

具体实施方式

本发明的核心是提供一种基于快照的业务级数据一致性保护方法及装置，以实现根据业务级数据的io颗粒度不同，增量式触发快照，提高快照的可靠性。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1为本发明所提供的一种基于快照的业务级数据一致性保护方法的流程示意图，该方法包括：

S11：接收业务数据，获取业务数据的写入位置和时间信息；

其中，业务数据是不同业务类型的数据，例如日志数据，存储盘上的存储数据或者数据库中的数据。

S12：利用业务数据的写入位置和时间信息获取存储增量值；

其中，业务数据本身会具有信息携带，该信息表明业务数据的写入位置和写入时间，所述时间信息是业务数据的写入时间。通过业务数据的写入位置和时间信息，能够得到业务数据需要写入存储空间的存储值，即存储空间中需要写入业务数据要用到的存储空间里的文件数，为存储增量值。

S13：当存储增量值大于增量存储空间的阈值时，启动快照生成指令，生成快照；

其中，增量存储空间为存储空间可用的存储空间，用来写入业务数据，该增量存储空间有阈值，业务数据的存储增量值超过阈值，存储空间不能负荷该存储增量值，存储增量值是存储空间中需要写入业务数据要用到的存储空间里的文件数，能够表现业务数据的io颗粒度，即业务数据的io颗粒度太大时，立刻进行生成快照，不用等一段时候后再进行生成快照，即增量式触发快照，提高快照的可靠性。

具体的，生成快照的过程中，启动快照生成指令，将增量存储空间中写入的业务数据生成一个只读快照，在备份区域建立所述只读快照的快照。

具体的，接收业务下发的数据流，根据数据写入位置和时间戳信息填充数据结构，记录存储文件增量值。如果增量值达到增量存储区域的阈值，表示增量存储空间已满，则进行快照生成处理。如果增量存储区域可用的文件数小于最少可用个数，则进行快照回收处理。然后将当前下发数据流写入到增量存储区域的可用文件中。

其中，步骤S13完成之后进行步骤S15。

S14：当存储增量值小于增量存储空间的阈值时，启动快照回收指令，回收快照；

其中，存储增量值能够表现业务数据的io颗粒度，即业务数据的io颗粒度太小时，立刻进行回收快照，不用等一段时候后再进行。

具体的，快照回收过程中，启动快照回收指令，获取增量存储空间中创建时间最长的增量文件和对应快照，进行离线磁盘备份。可选的，备份完成后删除所述创建时间最长的增量文件和对应快照。

其中，步骤S13和S14为并列的关系，步骤S14完成之后进行步骤S15。

S15：将所述业务数据写入至所述增量存储空间的可用文件中，形成增量文件。

基于上述所有步骤，可选的，还可以设定快照生成触发时刻和快照回收触发时刻，若当前时间达到所述快照生成触发时刻，激活所述快照生成指令，生成快照，若当前时间达到所述快照回收触发时刻，激活所述快照回收指令，回收快照。

其中，快照生成的触发方式有两种：阈值触发和定时触发，这样的方式都在当业务级数据io颗粒度比较小时，对同样数据量的数据文件比较多，从而生成快照的个数也会比较多，以满足数据库这种高频数据数据一致性保护。在快照生成和快照回收模块都对快照进行了备份，以解决因快照失效导致灾备不可用问题。

本发明所提供的一种基于快照的业务级数据一致性保护方法，接收业务数据，获取业务数据的写入位置和时间信息；利用业务数据的写入位置和时间信息获取存储增量值；当存储增量值大于增量存储空间的阈值时，启动快照生成指令，生成快照；当存储增量值小于增量存储空间的阈值时，启动快照回收指令，回收快照；将业务数据写入至增量存储空间的可用文件中，形成增量文件。可见，根据业务数据获取存储增量值，依据存储增量值进行生成快照或者回收快照，采用了增量式触发快照，而存储增量值能够表现业务数据的io颗粒度，所以实现根据业务级数据的io颗粒度不同，增量式触发快照，提高快照的可靠性。

而且，该方法在快照生成和快照回收过程中都对快照进行了备份，同时辅助定时快照，最大限度备份保护数据，增加快照的快照以及离线备份待删除快照，使得快照失效时灾备特性仍有效，解决了因快照失效导致灾备不可用问题，保障灾备的可靠性。

请参考图2，图2为本发明所提供的一种基于快照的业务级数据一致性保护装置的结构示意图，该装置包括：

接收模块101，用于接收业务数据，获取业务数据的写入位置和时间信息；

获取模块102，用于利用业务数据的写入位置和时间信息获取存储增量值；

快照生成模块103，用于当存储增量值大于增量存储空间的阈值，启动快照生成指令时，生成快照；

快照回收模块104，用于当存储增量值小于所述增量存储空间的阈值时，启动快照回收指令，回收快照；

写入模块105，用于将业务数据写入至所述增量存储空间的可用文件中，形成增量文件。

其中，所述快照生成模块包括：

第一启动单元，用于启动快照生成指令；

只读快照生成单元，用于将增量存储空间中写入的业务数据生成一个只读快照；

第一备份单元，用于在备份区域建立所述只读快照的快照。

其中，所述快照回收模块包括：

第二启动单元，启动快照回收指令；

第二备份单元，用于获取增量存储空间中创建时间最长的增量文件和对应快照，进行离线磁盘备份；

可选的，所述快照回收模块还包括：

删除单元，用于备份完成后删除创建时间最长的增量文件和对应快照。

可选的，所述装置还包括：

定时模块，用于设定快照生成触发时刻和快照回收触发时刻；若当前时间达到快照生成触发时刻，激活快照生成指令，生成快照；若当前时间达到快照回收触发时刻，激活快照回收指令，回收快照。

本发明所提供的一种基于快照的业务级数据一致性保护装置，接收模块接收业务数据，获取业务数据的写入位置和时间信息；获取模块利用业务数据的写入位置和时间信息获取存储增量值；快照生成模块在存储增量值大于增量存储空间的阈值时，启动快照生成指令，生成快照；快照回收模块在存储增量值小于增量存储空间的阈值时，启动快照回收指令，回收快照；写入模块将业务数据写入至增量存储空间的可用文件中，形成增量文件。可见，根据业务数据获取存储增量值，依据存储增量值进行生成快照或者回收快照，采用了增量式触发快照，而存储增量值能够表现业务数据的io颗粒度，所以实现根据业务级数据的io颗粒度不同，增量式触发快照，提高快照的可靠性。

而且，该装置在快照生成和快照回收过程中都对快照进行了备份，同时辅助定时快照，最大限度备份保护数据，增加快照的快照以及离线备份待删除快照，使得快照失效时灾备特性仍有效，解决了因快照失效导致灾备不可用问题，保障灾备的可靠性。

以上对本发明所提供的一种基于快照的业务级数据一致性保护方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于快照的业务级数据一致性保护方法，其特征在于，包括：

接收业务数据，获取所述业务数据的写入位置和时间信息；

利用所述业务数据的写入位置和时间信息获取存储增量值；

当所述存储增量值大于增量存储空间的阈值时，启动快照生成指令，生成快照；

当所述存储增量值小于所述增量存储空间的阈值时，启动快照回收指令，回收快照；

将所述业务数据写入至所述增量存储空间的可用文件中，形成增量文件。

2.如权利要求1所述的方法，其特征在于，所述启动快照生成指令，生成快照，包括：

启动快照生成指令；

将所述增量存储空间中写入的业务数据生成一个只读快照；

在备份区域建立所述只读快照的快照。

3.如权利要求1所述的方法，其特征在于，所述启动快照回收指令，快照回收，包括：

启动快照回收指令，获取所述增量存储空间中创建时间最长的增量文件和对应快照，进行离线磁盘备份。

4.如权利要求3所述的方法，其特征在于，所述进行离线磁盘备份之后，还包括：

备份完成后删除所述创建时间最长的增量文件和对应快照。

5.如权利要求1至4中任意一项所述的方法，其特征在于，还包括：

设定快照生成触发时刻和快照回收触发时刻；若当前时间达到所述快照生成触发时刻，激活所述快照生成指令，生成快照；若当前时间达到所述快照回收触发时刻，激活所述快照回收指令，回收快照。

6.一种基于快照的业务级数据一致性保护装置，其特征在于，包括：

接收模块，用于接收业务数据，获取所述业务数据的写入位置和时间信息；

获取模块，用于利用所述业务数据的写入位置和时间信息获取存储增量值；

快照生成模块，用于当所述存储增量值大于增量存储空间的阈值时，启动快照生成指令，生成快照；

快照回收模块，用于当所述存储增量值小于所述增量存储空间的阈值时，启动快照回收指令，回收快照；

写入模块，用于将所述业务数据写入至所述增量存储空间的可用文件中，形成增量文件。

7.如权利要求6所述的装置，其特征在于，所述快照生成模块包括：

第一启动单元，用于启动快照生成指令；

只读快照生成单元，用于将所述增量存储空间中写入的业务数据生成一个只读快照；

第一备份单元，用于在备份区域建立所述只读快照的快照。

8.如权利要求6所述的装置，其特征在于，所述快照回收模块包括：

第二启动单元，启动快照回收指令；

第二备份单元，用于获取所述增量存储空间中创建时间最长的增量文件和对应快照，进行离线磁盘备份。

9.如权利要求8所述的装置，其特征在于，所述快照回收模块还包括：

删除单元，用于备份完成后删除所述创建时间最长的增量文件和对应快照。

10.如权利要求6至9中任意一项所述的装置，其特征在于，还包括：

定时模块，用于设定快照生成触发时刻和快照回收触发时刻；若当前时间达到所述快照生成触发时刻，激活所述快照生成指令，生成快照；若当前时间达到所述快照回收触发时刻，激活所述快照回收指令，回收快照。