CN112650625A - 一种针对数据库的流式备份还原方法、存储介质及装置 - Google Patents

Abstract

本发明涉及一种针对数据库的流式备份还原方法，其包括步骤，以同名函数覆盖数据库的原始read及write函数；生成一个流式通道，所有的数据流将从此通道流向下游；数据流在处理失败时，被state机制置为待处理状态，并掉入检查点机制中，且对数据流进行记录存储；数据流流到下游后，由SDK进行处理接入存储；按照配置机制及流处理机制，将数据流放置到统一的存储中。本发明还提供一种存储介质及针对数据库的流式备份还原装置，本发明提供的针对数据库的流式备份还原方法、存储介质及装置通过建立流式数据处理机制，使得备份数据不再和以往一样，会首先落本地盘，占用本地宝贵的存储空间，使得数据库在云上也能够有更好的适应性。

Description

一种针对数据库的流式备份还原方法、存储介质及装置

技术领域

本发明涉及数据库的备份及还原领域，尤其涉及一种针对数据库的流式备份还原方法、存储介质及装置。

背景技术

随着数据库技术的不断发展，数据库的规模越来越大，其功能也越来越强大。伴随着信息技术的发展，整个社会的运作和前进都极大地依赖计算机信息系统。各种例如生产计划、物料资料、销售信息、客户资料、核心代码等数据作为企业或个人的重要资产也都存储在计算机系统中。数据库系统作为计算机信息系统的基础软件，其安全性问题十分重要。当计算机系统遭受到例如地震灾害或者式软硬件错误、人为操作性错误时，数据的丢失会为企业带来巨大损失，因此对于企业而言，数据的备份和恢复必须做到有备无患。

现有数据库在进行备份时，大多是基于本地盘的固定形式，如本地落盘或本地redo日志，又或者通过本地盘+binlog日志等方式进行对数据库相应的备份操作。

但是，在一些对存储空间有特殊要求的情况下，会出现公有云和私有云的环境中，对数据存储空间和备份空间控制严格，划分明确，要求备份数据和业务数据分开，且“不落盘”；传统备份方式更多的以批处理的方式进行，写到本地盘，或者将备份文件上传到远端；传统备份文件只能在当前的实例下或者当前机器上找到，如果实例和机器硬盘挂掉，备份数据丢失，数据库无法还原等问题。这是由于数据库普遍的单实例运行，另一个是云上环境还使用的不够普遍，还有就是没有统一的处理机制。

发明内容

有鉴于此，本发明提供一种针对数据库的流式备份还原方法、存储介质及装置解决数据库云上环境不够普遍及没有统一的处理机制的问题。

为了达到上述目的，本发明解决技术问题的技术方案是提供一种针对数据库的流式备份还原方法，其包括步骤：以同名函数覆盖数据库的原始read及write函数；生成一个流式通道，所有的数据流将从此通道流向下游；数据流在处理失败时，被state机制置为待处理状态，并掉入检查点机制中，且对数据流进行记录存储；数据流流到下游后，由SDK进行处理接入存储；按照配置机制及流处理机制，将数据流放置到统一的存储中。

在一种实施例中，做备份操作时，将数据流丢到缓存中，程序一次性从缓存中读取指定量数据到流式通道。

在一种实施例中，程序会将数据按照设置的规则，从指定存储处获取存储对象，将数据流读取通道中，并放入缓存中，数据库处读取传递的流，回写到业务盘中，实现数据的还原恢复。

在一种实施例中，当任务失败或者任务状态不正常时，将触发检查点机制，重做此任务，直至整个数据流完成。

在一种实施例中，在做还原操作时，如果任务重试次数达到上限，程序将会中断此流处理的操作，并将通道及缓存中的数据流全部清空，并丢弃此任务，后续可根据运行日志、元数据文件及定位问题流，进行相应的手动补偿措施；反之，如果任务正常，程序会通知数据库进行数据流调用，以此达到流式还原功能。

在一种实施例中，至少需要一个独立的存储空间用于存放检查点文件，以检查数据流在处理时是否出现异常。

在一种实施例中，当任务出现异常的时候，触发程序的state机制，程序将此任务记录到检查点中，当程序检测到检查点数据流时，将会尝试重试操作，如果在执行时间和次数下，还是未能处理成功，程序会寻寻址整个数据流，触发数据流丢弃机制。

在一种实施例中，为了达到高效率，可采用并发Concurrent获取数据流的形式，顺序的从流通道中放置到统一的远端存储中。

本发明还提供一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行针对数据库的流式备份还原方法。

本发明还提供一种针对数据库的流式备份还原装置，其包括处理器和存储器,所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现针对数据库的流式备份还原方法。

与现有技术相比，本发明所提供的针对数据库的流式备份还原方法、存储介质及装置具有以下有益效果：

通过现有的数据库备份还原机制和存储的流式存储机制，建立流式数据处理机制，使得备份数据不再和以往一样，会首先落本地盘，占用本地宝贵的存储空间，也丰富了备份还原的操作方式，使得数据库在云上也能够有更好的适应性，从而使数据库上云在备份还原这块有了更好的信心。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明的保护范围内。

附图说明

图1为本发明一个实施例提供的一种针对数据库的流式备份还原方法的步骤流程示意图；

图2为本发明一个实施例中一种针对数据库的流式备份还原装置的模块示意图；

图3为本发明一个实施例中一种针对数据库的流式备份还原方法的原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1-3，本发明提供的一种针对数据库的流式备份还原方法，其包括步骤：

S101，以同名函数覆盖数据库的原始read及write函数；

在本实施例中，由于大多数数据库采用c/c++实现，所以只需要数据库方暴露两个c函数接口，例如暴露出一个write和read接口，采用.so实现，覆盖其原始的备份还原实现，当数据库做备份操作时，数据库上层调用write接口，程序监听write事件，直至当前流结束。同样的，数据库做还原操作，数据库调用read接口，程序将从远端流式拉取备份数据，直至备份数据流结束。

其实现原理就是同名函数覆盖原始函数的实现，此后，上层每一次的备份和还原操作，分别调用相应方法都会走自定义的实现，从write处，可以获取到指定字节数的数据流，而在read处，也可以获取一定大小的数据流。因此，在优选的方案中，通常是此种形式，兼容不同的数据库架构。

S102，生成一个流式通道，所有的数据流将从此通道流向下游；

在本实施例中，将生成一个流式通道,程序将数据写入缓存，而后数据流经过通道流到下端，程序在下游获取到数据流进行处理。

在实际操作中，为了提高效率，拓宽通道，通常会增加通道数量，以至于数据流不会因为抢占或者流量过大，而导致通道堵塞，或者效率低下，此通道的意义，除了作为数据流的扭转通道，也是将接口备份流转为通道数据流的实现；而先写入缓存，则是利用服务器本身的硬件条件，充分利用硬件性能，为数据流开辟一块缓冲区。

S103，数据流在处理失败时，被state机制置为待处理状态，并掉入检查点机制中，且对数据流进行记录存储；

在本实施例中，上一层在数据流在处理失败的时候，数据流被state机制置为待处理状态，掉入检查点机制中，将会对流进行记录存储。

需说明的是，在处理通道流时并不是简简单单的提供一个数据流通的通道，完成从上游到下游的流通，而是，在通道中流通的数据流，都会有其状态；而检查点也不是简简单单的记录类似于错误日志，而是会把整个数据流任务保存下，所以会占用一部分的存储空间也是不可避免，但是由于会对其压缩编码，再加上程序本身有其健壮性，所以不会占用太多的元数据空间。

S104，数据流流到下游后，由SDK进行处理接入存储；

在本实施例中，在上一层无故障和错误发生时，数据流以及流到此下游，此处借用已有C++S3 SDK，在本实现程序C的基础上进行wrap一层，对已有接口进行了二次封装，特别是对流式对象追加接口进行了改造，使得充分适应我的业务需要。此处有个细节点在于，C的内存需要自行开辟和自行回收，所以，此处也统一开辟了释放内存的函数。

S105，按照配置机制及流处理机制，将数据流放置到统一的存储中；

在本实施例中，在一层数据流已经到达，下一步的工作就是处理数据流，将其放置到统一的存储中。首先，备份流是通过流式追加进行，而在此处有一个点就是，流不会无限制的追加那一个存储对象，而是默认设定了一个2G的阈值，而offset则是从前一个数据流处理之后获取得到。此处，统一存储的位置为动态配置，当一个存储池满了之后，可根据配置更改，切换流入的存储位置，相应的，元数据也会记录此数据流的最终流向。

在一种实施例中，在做备份操作时，为了流式效率和避免多次从read处读取数据流，将充分利用linux Memory(内存)Page Size机制，将数据流丢到缓存中，程序一次性从缓存中读取指定量数据(可配置)到流式通道，为了达到高效率，可采用并发(Concurrent)获取数据流的形式，顺序的从流通道中放置到统一的远端存储中。

在一种实施例中，在做备份还原时，程序会将数据按照设置的规则，从指定存储处获取存储对象，将数据流读取通道中，并放入缓存中，数据库处读取传递的流，回写到业务盘中，实现数据的还原恢复。

其中，由于在write时会附带数据流标记，所以很容易的可以对数据流进行状态标记，当一个数据流成功经过通道流入存储，那么此流的状态将被置为完成，此时为了保证下次很方便的找到数据流标记，以便恢复数据，采用json文件作为元数据的持久化，记录对应的状态和时间戳信息。

优选的，当任务失败或者任务状态不正常时，将触发检查点机制，此时，会重做此任务，直至整个数据流完成。

其中，在做还原操作时，如果任务重试次数达到上限，程序将会中断此流处理的操作，并将通道及缓存中的数据流全部清空，并丢弃此任务，后续相关人员可根据运行日志，以及元数据文件，定位问题流，进行相应的手动补偿措施；反之，如果任务正常，程序会通知数据库进行数据流调用，以此达到流式还原功能。

在一个实施例中，至少需要一个独立的存储空间用于存放检查点文件，以检查数据流在处理时是否出现异常，而json文件作为检查点文件，可读性强，且各个编程语言支持性好，可以很方便的移植到同等逻辑的不同语言实现的系统。

进一步的，当任务出现异常的时候，触发程序的state机制，程序将此任务记录到检查点中，当程序检测到检查点数据流时，将会尝试重试操作，如果在执行时间和次数下，还是未能处理成功，程序会寻寻址整个数据流，触发数据流丢弃机制。

进一步的，基于互联网上已有的对象存储，程序从通道处按照最大大小2G的数据流获取，作为一个对象存储的对象，并改造并实现了对象的追加功能。

进一步的，本发明提出的流式追加功能，区别于常见的先从本地文件读取流，上传到存储，而是直接将备份流存储为了对象，区别在于少了从文件读取流，再上传存储的过程，提高了备份的效率；其次是由于数据流的连续性，所以很容易的支持了追加的功能，对于备份大数据量时，支持友好。

本发明还提供一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述方法步骤。存储介质可以包括如软盘、光盘、DVD、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒(Memory Stick)、XD卡等。

计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可以是个人计算机设备、服务器或其他网络设备等)用以执行本发明方法的全部或部分步骤。

本发明还提供一种针对数据库的流式备份还原装置，该针对数据库的流式备份还原装置包括处理器和存储器,存储器上存储有计算机程序，计算机程序被处理器执行时，实现针对数据库的流式备份还原方法。

与现有技术相比，本发明所提供的针对数据库的流式备份还原方法、存储介质及装置具有以下有益效果：

通过现有的数据库备份还原机制和存储的流式存储机制，建立流式数据处理机制，使得备份数据不再和以往一样，会首先落本地盘，占用本地宝贵的存储空间，也丰富了备份还原的操作方式，使得数据库在云上也能够有更好的适应性，从而使数据库上云在备份还原这块有了更好的信心。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明的保护范围内。

Claims (10)

1.一种针对数据库的流式备份还原方法，其特征在于，包括步骤：

以同名函数覆盖数据库的原始read及write函数；

生成一个流式通道，所有的数据流将从此通道流向下游；

数据流在处理失败时，被state机制置为待处理状态，并掉入检查点机制中，且对数据流进行记录存储；

数据流流到下游后，由SDK进行处理接入存储；

按照配置机制及流处理机制，将数据流放置到统一的存储中。

2.如权利要求1所述的一种针对数据库的流式备份还原方法，其特征在于：

做备份操作时，将数据流丢到缓存中，程序一次性从缓存中读取指定量数据到流式通道。

3.如权利要求1所述的一种针对数据库的流式备份还原方法，其特征在于：

程序会将数据按照设置的规则，从指定存储处获取存储对象，将数据流读取通道中，并放入缓存中，数据库处读取传递的流，回写到业务盘中，实现数据的还原恢复。

4.如权利要求1所述的一种针对数据库的流式备份还原方法，其特征在于：

当任务失败或者任务状态不正常时，将触发检查点机制，重做此任务，直至整个数据流完成。

5.如权利要求4所述的一种针对数据库的流式备份还原方法，其特征在于：

在做还原操作时，如果任务重试次数达到上限，程序将会中断此流处理的操作，并将通道及缓存中的数据流全部清空，并丢弃此任务，后续可根据运行日志、元数据文件及定位问题流，进行相应的手动补偿措施；反之，如果任务正常，程序会通知数据库进行数据流调用，以此达到流式还原功能。

6.如权利要求1所述的一种针对数据库的流式备份还原方法，其特征在于：

至少需要一个独立的存储空间用于存放检查点文件，以检查数据流在处理时是否出现异常。

7.如权利要求6所述的一种针对数据库的流式备份还原方法，其特征在于：

当任务出现异常的时候，触发程序的state机制，程序将此任务记录到检查点中，当程序检测到检查点数据流时，将会尝试重试操作，如果在执行时间和次数下，还是未能处理成功，程序会寻寻址整个数据流，触发数据流丢弃机制。

8.如权利要求2所述的一种针对数据库的流式备份还原方法，其特征在于：

为了达到高效率，可采用并发Concurrent获取数据流的形式，顺序的从流通道中放置到统一的远端存储中。

9.一种存储介质，其特征在于：

所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1-8中任一项中所述的针对数据库的流式备份还原方法。

10.一种针对数据库的流式备份还原装置，其特征在于：

所述针对数据库的流式备份还原装置包括处理器及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行，实现如权利要求1-8任一项所述的针对数据库的流式备份还原方法。

Images