CN109885431B - 用于备份数据的方法和装置 - Google Patents
用于备份数据的方法和装置 Download PDFInfo
- Publication number
- CN109885431B CN109885431B CN201910168086.1A CN201910168086A CN109885431B CN 109885431 B CN109885431 B CN 109885431B CN 201910168086 A CN201910168086 A CN 201910168086A CN 109885431 B CN109885431 B CN 109885431B
- Authority
- CN
- China
- Prior art keywords
- backup
- data
- database server
- concurrent threads
- data table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例公开了用于备份数据的方法和装置。该方法的一具体实施方式包括:响应于接收到用户数据库服务器的访问授权指令,获取用户数据库服务器的备份配置信息,其中,备份配置信息包括备份条件和备份对象标识;响应于满足备份条件,从用户数据库服务器中获取备份对象标识对应的备份对象;对备份对象进行存储。该实施方式节约了数据备份成本。
Description
技术领域
本申请实施例涉及计算机技术领域,具体涉及用于备份数据的方法和装置。
背景技术
随着互联网业务的发展,产品变更迭代频繁,数据误删除或丢失的事件也层出不穷。数据被误删除或数据被写坏等导致生产数据丢失,会对企业生产系统和产品造成毁灭性地伤害。因此,企业必须建立完善的数据备份与恢复体系以保障其数据的可靠性。另一方面,由于安全合规要求,互联网金融、银行、保险等行业数据库除同城备份外,还需要数据异地备份。
目前,企业需要花费一定的成本建设本地及异地灾备中心。这主要涉及磁盘磁带等硬件购买、灾备中心软件程序构建,人员维护成本、恢复演练成本。
发明内容
本申请实施例提出了用于备份数据的方法和装置。
第一方面,本申请实施例提供了一种用于备份数据的方法,应用于备份数据库服务器,包括:响应于接收到用户数据库服务器的访问授权指令,获取用户数据库服务器的备份配置信息,其中,备份配置信息包括备份条件和备份对象标识;响应于满足备份条件,从用户数据库服务器中获取备份对象标识对应的备份对象;对备份对象进行存储。
在一些实施例中,从用户数据库服务器中获取备份对象标识对应的备份对象,包括:利用数据库快照方式读取备份对象。
在一些实施例中,从用户数据库服务器中获取备份对象标识对应的备份对象,包括:对于备份对象中的数据表,根据该数据表的主键,将该数据表划分为多个数据块;并发读取多个数据块。
在一些实施例中,,对备份对象进行存储,包括:根据接收到的数据块对应的数据表标识和主键标识,生成备份对象中的数据表,以及对备份对象中的数据表进行存储。
在一些实施例中,从用户数据库服务器中获取备份对象标识对应的备份对象,包括:获取备份线程的并发线程的数目下限和数目上限;启动预设数目个并发线程读取备份对象,其中,预设数目不小于数目下限,且不大于数目上限;在读取过程中,执行以下读取步骤:检测备份数据库实例的负载率,将负载率与预设负载率进行比较,响应于负载率低于预设负载率,增加启动的并发线程的数目,确定启动的并发线程的数目是否小于数目上限,若启动的并发线程的数目不小于数目上限,启动数目上限个并发线程读取备份对象;响应于启动的并发线程的数目小于数目上限,继续执行读取步骤。
在一些实施例中,读取步骤还包括:响应于负载率不低于预设负载率,减少启动的并发线程的数目,确定启动的并发线程的数目是否大于数目下限,若启动的并发线程的数目不大于数目下限,启动数目下限个并发线程读取备份对象;响应于启动的并发线程的数目大于数目下限,继续执行读取步骤。
在一些实施例中,该方法还包括:响应于确定备份对象中的数据表的数据变更,解析出备份对象中的数据表的变更行数据;对变更行数据、变更行数据的变更时间和变更行数据对应的数据表标识进行存储。
在一些实施例中,该方法还包括:响应于接收到用户数据库服务器发送的恢复对象信息,其中,恢复对象信息包括恢复对象标识和恢复时间;查找出恢复对象标识对应的恢复对象,以及查找出恢复对象标识和恢复时间对应的恢复行数据;将恢复对象和恢复行数据发送至用户数据库服务器。
第二方面,本申请实施例提供了一种用于备份数据的装置,设置于备份数据库服务器,包括:备份配置信息获取单元,被配置成响应于接收到用户数据库服务器的访问授权指令,获取用户数据库服务器的备份配置信息,其中,备份配置信息包括备份条件和备份对象标识;备份对象获取单元,被配置成响应于满足备份条件,从用户数据库服务器中获取备份对象标识对应的备份对象;备份对象存储单元,被配置成对备份对象进行存储。
在一些实施例中,备份对象获取单元进一步被配置成:利用数据库快照方式读取备份对象。
在一些实施例中,备份对象获取单元进一步被配置成:对于备份对象中的数据表,根据该数据表的主键,将该数据表划分为多个数据块;并发读取多个数据块。
在一些实施例中,备份对象存储单元进一步被配置成:根据接收到的数据块对应的数据表标识和主键标识,生成备份对象中的数据表,以及对备份对象中的数据表进行存储。
在一些实施例中,备份对象获取单元包括:并发线程数目获取子单元,被配置成获取备份线程的并发线程的数目下限和数目上限;并发线程启动子单元,被配置成启动预设数目个并发线程读取备份对象,其中,预设数目不小于数目下限,且不大于数目上限;备份对象读取子单元,被配置成在读取过程中,执行以下读取步骤:检测备份数据库实例的负载率,将负载率与预设负载率进行比较,响应于负载率低于预设负载率,增加启动的并发线程的数目,确定启动的并发线程的数目是否小于数目上限,若启动的并发线程的数目不小于数目上限,启动数目上限个并发线程读取备份对象;读取步骤执行子单元,被配置成响应于启动的并发线程的数目小于数目上限,继续执行读取步骤。
在一些实施例中,备份对象读取子单元,还被配置成响应于负载率不低于预设负载率,减少启动的并发线程的数目,确定启动的并发线程的数目是否大于数目下限,若启动的并发线程的数目不大于数目下限,启动数目下限个并发线程读取备份对象;读取步骤执行子单元,还被配置成响应于启动的并发线程的数目大于数目下限,继续执行读取步骤。
在一些实施例中,该装置还包括:变更行数据解析单元,被配置成响应于确定备份对象中的数据表的数据变更,解析出备份对象中的数据表的变更行数据;变更行数据存储单元,被配置成对变更行数据、变更行数据的变更时间和变更行数据对应的数据表标识进行存储。
在一些实施例中,该装置还包括:恢复对象信息接收单元,被配置成响应于接收到用户数据库服务器发送的恢复对象信息,其中,恢复对象信息包括恢复对象标识和恢复时间;恢复对象查找单元,被配置成查找出恢复对象标识对应的恢复对象,以及查找出恢复对象标识和恢复时间对应的恢复行数据;恢复对象发送单元,被配置成将恢复对象和恢复行数据发送至用户数据库服务器。
第三方面,本申请实施例提供了一种服务器,该服务器包括:一个或多个处理器;存储装置,其上存储有一个或多个程序;当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的用于备份数据的方法和装置,在接收到用户数据库服务器的访问授权指令之后,获取用户数据库服务器的备份配置信息;在满足备份条件的情况下,从用户数据库服务器中获取备份对象标识对应的备份对象,并对备份对象进行存储。无需用户自建数据库备份系统,节约了数据备份成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构;
图2是根据本申请的用于备份数据的方法的一个实施例的流程图;
图3是根据本申请的用于备份数据的方法的又一个实施例的流程图;
图4是根据本申请的用于备份数据的方法的另一个实施例的流程图;
图5是根据本申请的用于备份数据的装置的一个实施例的结构示意图;
图6是适于用来实现本申请实施例的服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于备份数据的方法或用于备份数据的装置的实施例的示例性系统架构100。
如图1所示,系统架构100中可以包括用户数据库服务器101、网络102和备份数据库服务器103。网络102用以在用户数据库服务器101和备份数据库服务器103之间提供通信链路的介质。网络102可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户数据库服务器101可以存储有备份对象。当需要对备份对象进行备份时,用户数据库服务器101可以向备份数据库服务器103发送访问授权指令。这样,在满足备份条件的情况下,备份数据库服务器103可以从用户数据库服务器101中获取备份对象,并对备份对象进行存储。
需要说明的是,用户数据库服务器101和备份数据库服务器103可以是硬件,也可以是软件。当用户数据库服务器101和备份数据库服务器103为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当用户数据库服务器101和备份数据库服务器103为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本申请实施例所提供的用于备份数据的方法一般由备份数据库服务器103执行,相应地,用于备份数据的装置一般设置于备份数据库服务器103中。
应该理解,图1中的用户数据库服务器、网络和备份数据库服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的用户数据库服务器、网络和备份数据库服务器。
继续参考图2,其示出了根据本申请的用于备份数据的方法的一个实施例的流程200。该用于备份数据的方法,应用于备份数据库服务器,包括以下步骤:
步骤201,响应于接收到用户数据库服务器的访问授权指令,获取用户数据库服务器的备份配置信息。
在本实施例中,用户数据库服务器(例如图1所示的用户数据库服务器101)可以向备份数据库服务器(例如图1所示的备份数据库服务器103)发送访问授权指令。在接收到访问授权指令之后,备份数据库服务器可以获取用户数据库服务器的备份配置信息。
通常,在备份数据库服务器上购买备份服务及实例数量的用户可以通过对应的用户数据库服务器向备份数据库服务器发送访问授权指令,同时配置用户数据库服务器的连接信息和备份配置信息。其中,连接信息可以包括用户数据库服务器的IP(InternetProtocol Address)地址和端口。备份配置信息可以包括备份条件和备份对象标识。备份条件可以包括以下至少一项:备份触发周期、备份触发时间等等。备份对象标识可以是指定需要备份的数据库或数据表的标识。
实践中,任意用户均可以根据自己的备份需求在备份数据库服务器上购买备份服务及实例数量,以实现数据备份。这样,可以实现资源按需分配,避免用户自建灾备中心的一次性大量开销。同时,备份数据库服务器可以支持多环境,例如支持用户自建IDC(International Data Corporation,互联网数据中心)、云虚拟机或RDS(RelationalDatabase Service)等等。还有,备份数据库服务器可以兼容多数据库类型,例如兼容MySQL、Oracle、SQL Server、PostgreSQL、MongoDB、CockroachDB等等。另外,备份数据库服务器可用性高,备份服务监控完善,备份有效性随时可通过恢复演练验证,备份数据库服务器同时也被海量用户验证,避免了灾备系统常年不演练导致出现故障时难以恢复的现象。
步骤202,响应于满足备份条件,从用户数据库服务器中获取备份对象标识对应的备份对象。
在本实施例中,在满足备份条件的情况下,备份数据库服务器可以根据备份对象标识从用户数据库服务器中查找出备份对象。
在本实施例的一些可选的实现方式中,备份数据库服务器可以利用数据库快照方式读取备份对象。备份线程使用数据库快照方式读取备份对象,不对备份对象加锁,备份过程不阻塞用户数据库服务器对备份对象的读写。
步骤203,对备份对象进行存储。
在本实施例中,在获取到备份对象之后,备份数据库服务器可以对备份对象进行存储,从而完成数据备份。
实践中,备份数据库服务器可以是云服务器。使用云存储对备份对象进行备份,不需要担心存储空间是否充足。并且,云存储使用了副本存储,具备数据的高可靠性。另外,云存储具备冷热数据自助流转和异地数据流转的功能,协助用户降低存储成本和实现异地备份。
在本实施例的一些可选的实现方式中,响应于确定所述备份对象中的数据表的数据变更,备份数据库服务器可以首先解析出备份对象中的数据表的变更行数据;然后对变更行数据、变更行数据的变更时间和变更行数据对应的数据表标识进行存储。具体地,备份数据库服务器可以在MySQL的二进制(Binlog)日志中获取变更行数据,随后对变更行数据、变更行数据的变更时间和变更行数据对应的数据表标识进行存储,以实现实时增量备份。通常,变更行数据单独存储,并不会替换数据表中的行数据,以便于实现单独恢复增量数据。
在本实施例的一些可选的实现方式中,响应于接收到用户数据库服务器发送的恢复对象信息,备份数据库服务器可以首先查找出恢复对象标识对应的恢复对象,以及查找出恢复对象标识和恢复时间对应的恢复行数据;然后将恢复对象和恢复行数据发送至用户数据库服务器。其中,恢复对象信息可以包括恢复对象标识和恢复时间。由于恢复时只获取了备份对象中需要恢复的恢复对象和恢复行数据,避免了恢复整个全量备份对象,缩短了数据恢复耗时。
本申请实施例提供的用于备份数据的方法,在接收到用户数据库服务器的访问授权指令之后,获取用户数据库服务器的备份配置信息;在满足备份条件的情况下,从用户数据库服务器中获取备份对象标识对应的备份对象,并对备份对象进行存储。无需用户自建数据库备份系统,节约了数据备份成本。
进一步参考图3,其示出了根据本申请的用于备份数据的方法的又一个实施例的流程300。该用于备份数据的方法,应用于备份数据库服务器,包括以下步骤:
步骤301,响应于接收到用户数据库服务器的访问授权指令,获取用户数据库服务器的备份配置信息。
在本实施例中,步骤301的具体操作已在图2所示的实施例中步骤201中进行了详细的介绍,在此不再赘述。
步骤302,响应于满足备份条件,对于备份对象中的数据表,根据该数据表的主键,将该数据表划分为多个数据块。
在本实施例中,在满足备份条件的情况下,对于备份对象中的每个数据表,备份数据库服务器(例如图1所示的备份数据库服务器103)可以根据该数据表的主键将该数据表划分为多个数据块。通常,每个数据块可以包括相同数目行数据。同一个数据块可以包括主键连续的多行数据。例如,备份数据库服务器可以根据主键将数据表划分为多个预设数目行(100行或1000行)的数据块。
步骤303,并发读取多个数据块。
在本实施例中,备份数据库服务器可以并发读取多个数据块。具体地,备份数据库服务器可以启动备份线程中的多个并发线程并发读取多个数据块,以缩短备份对象读取耗时。
步骤304,根据接收到的数据块对应的数据表标识和主键标识,生成备份对象中的数据表,以及对备份对象中的数据表进行存储。
在本实施例中,备份数据库服务器可以根据接收到的数据块对应的数据表标识和主键标识,生成备份对象中的数据表,并对备份对象中的数据表进行存储。具体地,备份数据库服务器可以根据数据块对应的数据表标识,查找出属于同一数据表的数据块,随后根据数据块中的行数据的主键标识确定数据块在数据表中的位置,最后基于位置对属于同一数据表的数据块进行排列,生成数据表。
从图3中可以看出,与图2对应的实施例相比,本实施例中的用于备份数据的方法的流程300突出了获取备份对象的步骤。由此,本实施例描述的方案将备份对象中的数据表划分成数据块,并发读取数据块,从而缩短了读取备份对象的耗时。
进一步参考图4,其示出了根据本申请的用于备份数据的方法的另一个实施例的流程400。该用于备份数据的方法,应用于备份数据库服务器,包括以下步骤:
步骤401,响应于接收到用户数据库服务器的访问授权指令,获取用户数据库服务器的备份配置信息。
在本实施例中,步骤401的具体操作已在图2所示的实施例中步骤201中进行了详细的介绍,在此不再赘述。
步骤402,响应于满足备份条件,获取备份线程的并发线程的数目下限和数目上限。
在本实施例中,在满足备份条件的情况下,备份数据库服务器(例如图1所示的备份数据库服务器103)可以获取备份线程中的并发线程的数目下限和数目上限。通常,用户可以预先设定并发线程的数目下限和数目上限。备份数据库服务器可以启动在数目下限到数目上限范围内的任意数目个并发线程并发读取备份对象。
步骤403,启动预设数目个并发线程读取备份对象。
在本实施例中,备份数据库服务器可以启动预设数目个并发线程并发读取备份对象。其中,预设数目不小于数目下限,且不大于数目上限。通常情况下,备份数据库服务器可以启动数目下限或数目上限个并发线程读取备份对象。
步骤404,在读取过程中,检测备份数据库实例的负载率。
在本实施例中,在读取过程中,备份数据库服务器可以实时检测备份数据库实例的负载率。
步骤405,确定负载率是否低于预设负载率。
在本实施例中,备份数据库服务器可以将负载率与预设负载率进行比较,以确定负载率是否低于预设负载率。若负载率低于预设负载率,执行步骤406。若负载率不低于预设负载率,执行步骤406'。通常,SQL(Structured Query Language,结构化查询语言)耗时低于30%,则确定负载率低于预设负载率。SQL耗时高于30%,则确定负载不低于预设负载率。
步骤406,增加启动的并发线程的数目。
在本实施例中,若负载率低于预设负载率,备份数据库服务器可以增加启动的并发线程的数目。通常,备份数据库服务器可以在已启动的并发线程的基础上再增加启动一个的并发线程读取备份对象。
步骤407,确定启动的并发线程的数目是否小于数目上限。
在本实施例中,备份数据库服务器可以将启动的并发线程的数目于数目上限进行比较,以确定启动的并发线程的数目是否小于数目上限。若启动的并发线程的数目不小于数目上限,执行步骤408。若启动的并发线程的数目小于数目上限,返回执行步骤404。
步骤408,启动数目上限个并发线程读取备份对象。
在本实施例中,若启动的并发线程的数目不小于数目上限,备份数据库服务器可以启动数目上限个并发线程读取备份对象,直至备份对象被全部读取。
步骤406',减少启动的并发线程的数目。
在本实施例中,若负载率不低于预设负载率,备份数据库服务器可以减少启动的并发线程的数目。通常,备份数据库服务器可以在已启动的并发线程的基础上再减少启动一个的并发线程读取备份对象。
步骤407',确定启动的并发线程的数目是否大于数目下限。
在本实施例中,备份数据库服务器可以将启动的并发线程的数目于数目下限进行比较,以确定启动的并发线程的数目是否大于数目下限。若启动的并发线程的数目不大于数目下限,执行步骤408'。若启动的并发线程的数目大于数目下限,返回执行步骤404。
步骤408',启动数目下限个并发线程读取备份对象。
在本实施例中,若启动的并发线程的数目不大于数目下限,备份数据库服务器可以启动数目下限个并发线程读取备份对象,直至备份对象被全部读取。
步骤409,对备份对象进行存储。
在本实施例中,步骤409的具体操作已在图2所示的实施例中步骤203中进行了详细的介绍,在此不再赘述。
需要说明的是,在读取过程中,一旦数据备份完成,立即停止执行读取步骤。
从图4中可以看出,与图2对应的实施例相比,本实施例中的用于备份数据的方法的流程400突出了获取备份对象的步骤。由此,本实施例描述的方案基于负载率调整启动的并发线程的数目来并发读取备份对象,既缩短了备份对象的读取耗时,又保障了备份对象读取不对实例服务造成较大的影响。
进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种用于备份数据的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图5所示,本实施例的用于备份数据的装置500设置于备份数据库服务器,可以包括:备份配置信息获取单元501、备份对象获取单元502和备份对象存储单元503。其中,备份配置信息获取单元501,被配置成响应于接收到用户数据库服务器的访问授权指令,获取用户数据库服务器的备份配置信息,其中,备份配置信息包括备份条件和备份对象标识;备份对象获取单元502,被配置成响应于满足备份条件,从用户数据库服务器中获取备份对象标识对应的备份对象;备份对象存储单元503,被配置成对备份对象进行存储。
在本实施例中,用于备份数据的装置500中:备份配置信息获取单元501、备份对象获取单元502和备份对象存储单元503的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201、步骤202和步骤203的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,备份对象获取单元502进一步被配置成:利用数据库快照方式读取备份对象。
在本实施例的一些可选的实现方式中,备份对象获取单元502进一步被配置成:对于备份对象中的数据表,根据该数据表的主键,将该数据表划分为多个数据块;并发读取多个数据块。
在本实施例的一些可选的实现方式中,备份对象存储单元503进一步被配置成:根据接收到的数据块对应的数据表标识和主键标识,生成备份对象中的数据表,以及对备份对象中的数据表进行存储。
在本实施例的一些可选的实现方式中,备份对象获取单元502包括:并发线程数目获取子单元(图中未示出),被配置成获取备份线程的并发线程的数目下限和数目上限;并发线程启动子单元(图中未示出),被配置成启动预设数目个并发线程读取备份对象,其中,预设数目不小于数目下限,且不大于数目上限;备份对象读取子单元(图中未示出),被配置成在读取过程中,执行以下读取步骤:检测备份数据库实例的负载率,将负载率与预设负载率进行比较,响应于负载率低于预设负载率,增加启动的并发线程的数目,确定启动的并发线程的数目是否小于数目上限,若启动的并发线程的数目不小于数目上限,启动数目上限个并发线程读取备份对象;读取步骤执行子单元(图中未示出),被配置成响应于启动的并发线程的数目小于数目上限,继续执行读取步骤。
在本实施例的一些可选的实现方式中,备份对象读取子单元,还被配置成响应于负载率不低于预设负载率,减少启动的并发线程的数目,确定启动的并发线程的数目是否大于数目下限,若启动的并发线程的数目不大于数目下限,启动数目下限个并发线程读取备份对象;读取步骤执行子单元,还被配置成响应于启动的并发线程的数目大于数目下限,继续执行读取步骤。
在本实施例的一些可选的实现方式中,用于备份数据的装置500还包括:变更行数据解析单元(图中未示出),被配置成响应于确定备份对象中的数据表的数据变更,解析出备份对象中的数据表的变更行数据;变更行数据存储单元(图中未示出),被配置成对变更行数据、变更行数据的变更时间和变更行数据对应的数据表标识进行存储。
在本实施例的一些可选的实现方式中,用于备份数据的装置500还包括:恢复对象信息接收单元(图中未示出),被配置成响应于接收到用户数据库服务器发送的恢复对象信息,其中,恢复对象信息包括恢复对象标识和恢复时间;恢复对象查找单元(图中未示出),被配置成查找出恢复对象标识对应的恢复对象,以及查找出恢复对象标识和恢复时间对应的恢复行数据;恢复对象发送单元(图中未示出),被配置成将恢复对象和恢复行数据发送至用户数据库服务器。
下面参考图6,其示出了适于用来实现本申请实施例的服务器(例如图1所示的备份数据库服务器103)的计算机系统600的结构示意图。图6示出的服务器仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中,还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,所述程序设计语言包括面向目标的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括备份配置信息获取单元、备份对象获取单元和备份对象存储单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,备份配置信息获取单元还可以被描述为“响应于接收到用户数据库服务器的访问授权指令,获取用户数据库服务器的备份配置信息的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的服务器中所包含的;也可以是单独存在,而未装配入该服务器中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该服务器执行时,使得该服务器:响应于接收到用户数据库服务器的访问授权指令,获取用户数据库服务器的备份配置信息,其中,备份配置信息包括备份条件和备份对象标识;响应于满足备份条件,从用户数据库服务器中获取备份对象标识对应的备份对象;对备份对象进行存储。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (14)
1.一种用于备份数据的方法,应用于备份数据库服务器,包括:
响应于接收到用户数据库服务器的访问授权指令,获取所述用户数据库服务器的备份配置信息,其中,所述备份配置信息包括备份条件和备份对象标识;
响应于满足所述备份条件,从所述用户数据库服务器中获取所述备份对象标识对应的备份对象,包括:对于所述备份对象中的数据表,根据该数据表的主键,将该数据表划分为多个数据块,并发读取所述多个数据块;
对所述备份对象进行存储,包括:根据接收到的数据块对应的数据表标识和主键标识,生成所述备份对象中的数据表,以及对所述备份对象中的数据表进行存储。
2.根据权利要求1所述的方法,其中,所述从所述用户数据库服务器中获取所述备份对象标识对应的备份对象,包括:
利用数据库快照方式读取所述备份对象。
3.根据权利要求1所述的方法,其中,所述从所述用户数据库服务器中获取所述备份对象标识对应的备份对象,包括:
获取备份线程的并发线程的数目下限和数目上限;
启动预设数目个并发线程读取所述备份对象,其中,所述预设数目不小于所述数目下限,且不大于所述数目上限;
在读取过程中,执行以下读取步骤:检测备份数据库实例的负载率,将所述负载率与预设负载率进行比较,响应于所述负载率低于所述预设负载率,增加启动的并发线程的数目,确定启动的并发线程的数目是否小于所述数目上限,若启动的并发线程的数目不小于所述数目上限,启动所述数目上限个并发线程读取所述备份对象;
响应于启动的并发线程的数目小于所述数目上限,继续执行所述读取步骤。
4.根据权利要求3所述的方法,其中,所述读取步骤还包括:
响应于所述负载率不低于所述预设负载率,减少启动的并发线程的数目,确定启动的并发线程的数目是否大于所述数目下限,若启动的并发线程的数目不大于所述数目下限,启动所述数目下限个并发线程读取所述备份对象;
响应于启动的并发线程的数目大于所述数目下限,继续执行所述读取步骤。
5.根据权利要求1所述的方法,其中,所述方法还包括:
响应于确定所述备份对象中的数据表的数据变更,解析出所述备份对象中的数据表的变更行数据;
对所述变更行数据、所述变更行数据的变更时间和所述变更行数据对应的数据表标识进行存储。
6.根据权利要求5所述的方法,其中,所述方法还包括:
响应于接收到所述用户数据库服务器发送的恢复对象信息,其中,所述恢复对象信息包括恢复对象标识和恢复时间;
查找出所述恢复对象标识对应的恢复对象,以及查找出所述恢复对象标识和所述恢复时间对应的恢复行数据;
将所述恢复对象和所述恢复行数据发送至所述用户数据库服务器。
7.一种用于备份数据的装置,设置于备份数据库服务器,包括:
备份配置信息获取单元,被配置成响应于接收到用户数据库服务器的访问授权指令,获取所述用户数据库服务器的备份配置信息,其中,所述备份配置信息包括备份条件和备份对象标识;
备份对象获取单元,被配置成响应于满足所述备份条件,从所述用户数据库服务器中获取所述备份对象标识对应的备份对象,包括:对于所述备份对象中的数据表,根据该数据表的主键,将该数据表划分为多个数据块,并发读取所述多个数据块;
备份对象存储单元,被配置成对所述备份对象进行存储,包括:根据接收到的数据块对应的数据表标识和主键标识,生成所述备份对象中的数据表,以及对所述备份对象中的数据表进行存储。
8.根据权利要求7所述的装置,其中,所述备份对象获取单元进一步被配置成:
利用数据库快照方式读取所述备份对象。
9.根据权利要求7所述的装置,其中,所述备份对象获取单元包括:
并发线程数目获取子单元,被配置成获取备份线程的并发线程的数目下限和数目上限;
并发线程启动子单元,被配置成启动预设数目个并发线程读取所述备份对象,其中,所述预设数目不小于所述数目下限,且不大于所述数目上限;
备份对象读取子单元,被配置成在读取过程中,执行以下读取步骤:检测备份数据库实例的负载率,将所述负载率与预设负载率进行比较,响应于所述负载率低于所述预设负载率,增加启动的并发线程的数目,确定启动的并发线程的数目是否小于所述数目上限,若启动的并发线程的数目不小于所述数目上限,启动所述数目上限个并发线程读取所述备份对象;
读取步骤执行子单元,被配置成响应于启动的并发线程的数目小于所述数目上限,继续执行所述读取步骤。
10.根据权利要求9所述的装置,其中,
所述备份对象读取子单元,还被配置成响应于所述负载率不低于所述预设负载率,减少启动的并发线程的数目,确定启动的并发线程的数目是否大于所述数目下限,若启动的并发线程的数目不大于所述数目下限,启动所述数目下限个并发线程读取所述备份对象;
所述读取步骤执行子单元,还被配置成响应于启动的并发线程的数目大于所述数目下限,继续执行所述读取步骤。
11.根据权利要求7所述的装置,其中,所述装置还包括:
变更行数据解析单元,被配置成响应于确定所述备份对象中的数据表的数据变更,解析出所述备份对象中的数据表的变更行数据;
变更行数据存储单元,被配置成对所述变更行数据、所述变更行数据的变更时间和所述变更行数据对应的数据表标识进行存储。
12.根据权利要求11所述的装置,其中,所述装置还包括:
恢复对象信息接收单元,被配置成响应于接收到所述用户数据库服务器发送的恢复对象信息,其中,所述恢复对象信息包括恢复对象标识和恢复时间;
恢复对象查找单元,被配置成查找出所述恢复对象标识对应的恢复对象,以及查找出所述恢复对象标识和所述恢复时间对应的恢复行数据;
恢复对象发送单元,被配置成将所述恢复对象和所述恢复行数据发送至所述用户数据库服务器。
13.一种服务器,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910168086.1A CN109885431B (zh) | 2019-03-06 | 2019-03-06 | 用于备份数据的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910168086.1A CN109885431B (zh) | 2019-03-06 | 2019-03-06 | 用于备份数据的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109885431A CN109885431A (zh) | 2019-06-14 |
CN109885431B true CN109885431B (zh) | 2022-02-25 |
Family
ID=66930904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910168086.1A Active CN109885431B (zh) | 2019-03-06 | 2019-03-06 | 用于备份数据的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109885431B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112241240A (zh) * | 2019-07-19 | 2021-01-19 | 伊姆西Ip控股有限责任公司 | 用于并行传输数据的方法、设备和计算机程序产品 |
CN113220501A (zh) * | 2020-02-06 | 2021-08-06 | 伊姆西Ip控股有限责任公司 | 用于数据备份的方法、设备和计算机程序产品 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102187316A (zh) * | 2008-09-30 | 2011-09-14 | 赛门铁克公司 | 备份并恢复用于所选数据库对象的安全信息 |
CN104503866A (zh) * | 2014-12-11 | 2015-04-08 | 安徽师范大学 | 数据备份系统、数据的备份方法及备份数据的恢复方法 |
CN106569920A (zh) * | 2016-11-09 | 2017-04-19 | 腾讯科技(深圳)有限公司 | 数据库备份方法及装置 |
CN107819891A (zh) * | 2017-10-16 | 2018-03-20 | 平安科技(深圳)有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
CN108776710A (zh) * | 2018-06-28 | 2018-11-09 | 农信银资金清算中心有限责任公司 | 一种数据库数据的并发装载方法及装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7610314B2 (en) * | 2005-10-07 | 2009-10-27 | Oracle International Corporation | Online tablespace recovery for export |
US8166476B2 (en) * | 2007-08-24 | 2012-04-24 | Symantec Corporation | On-demand access to a virtual representation of a physical computer system |
US8688585B2 (en) * | 2010-08-13 | 2014-04-01 | Apple Inc. | Remote container |
US10552269B2 (en) * | 2017-08-31 | 2020-02-04 | International Business Machines Corporation | Backup optimization in hybrid storage environment |
CN108418787B (zh) * | 2018-01-02 | 2021-02-26 | 深圳壹账通智能科技有限公司 | 企业资源计划数据的采集方法、终端设备及介质 |
-
2019
- 2019-03-06 CN CN201910168086.1A patent/CN109885431B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102187316A (zh) * | 2008-09-30 | 2011-09-14 | 赛门铁克公司 | 备份并恢复用于所选数据库对象的安全信息 |
CN104503866A (zh) * | 2014-12-11 | 2015-04-08 | 安徽师范大学 | 数据备份系统、数据的备份方法及备份数据的恢复方法 |
CN106569920A (zh) * | 2016-11-09 | 2017-04-19 | 腾讯科技(深圳)有限公司 | 数据库备份方法及装置 |
CN107819891A (zh) * | 2017-10-16 | 2018-03-20 | 平安科技(深圳)有限公司 | 数据处理方法、装置、计算机设备和存储介质 |
CN108776710A (zh) * | 2018-06-28 | 2018-11-09 | 农信银资金清算中心有限责任公司 | 一种数据库数据的并发装载方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109885431A (zh) | 2019-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107818431B (zh) | 一种提供订单轨迹数据的方法和系统 | |
US20140075357A1 (en) | Enabling real-time opertional environment conformity to an enterprise model | |
US20200092180A1 (en) | Methods and systems for microservices observability automation | |
CN110555150B (zh) | 一种数据监控方法、装置、设备和存储介质 | |
US8607152B2 (en) | Management of test artifacts using cascading snapshot mechanism | |
EP3168748A1 (en) | System and method for monitoring performance of applications | |
US9384045B2 (en) | Intelligent inclusion/exclusion automation | |
CN109885431B (zh) | 用于备份数据的方法和装置 | |
CN110795332A (zh) | 一种自动化测试方法和装置 | |
US9047408B2 (en) | Monitoring software execution | |
CN110648126A (zh) | 支付类型配置方法、装置、服务器及存储介质 | |
US9015116B2 (en) | Consistent replication of transactional updates | |
CN112907377A (zh) | 业务流程监控方法、装置、设备及介质 | |
US10728323B2 (en) | Method and apparatus for operating infrastructure layer in cloud computing architecture | |
US10291700B2 (en) | Network optimized scan with dynamic fallback recovery | |
CN114996057A (zh) | 数据备份方法及装置、电子设备和计算机可读存储介质 | |
CN114064510A (zh) | 功能测试方法、装置、电子设备和存储介质 | |
CN112286909B (zh) | 执行状态确定方法、装置、服务器及存储介质 | |
CN106648985A (zh) | 一种文本数据库的容灾修复方法及装置 | |
CN111177241A (zh) | 一种数据处理方法、装置、系统、电子设备及其存储介质 | |
US10762090B2 (en) | Software discovery based on metadata analysis | |
CN115190008B (zh) | 故障处理方法、故障处理装置、电子设备及存储介质 | |
CN116483566A (zh) | 用于服务器的资源处理方法、装置、电子设备及存储介质 | |
CN115757349A (zh) | 用于数据迁移的告警方法、装置、电子设备和介质 | |
CN111914131A (zh) | 磁盘阵列模式查询方法、装置、计算机系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |