CN105930228B - 数据备份方法及系统 - Google Patents

数据备份方法及系统 Download PDF

Info

Publication number
CN105930228B
CN105930228B CN201610209137.7A CN201610209137A CN105930228B CN 105930228 B CN105930228 B CN 105930228B CN 201610209137 A CN201610209137 A CN 201610209137A CN 105930228 B CN105930228 B CN 105930228B
Authority
CN
China
Prior art keywords
backup
data
information
recovery
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610209137.7A
Other languages
English (en)
Other versions
CN105930228A (zh
Inventor
郭彦曦
聂超
钟佳
罗健
冯文忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vipshop Guangzhou Software Co Ltd
Original Assignee
Guangzhou Pinwei Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Pinwei Software Co Ltd filed Critical Guangzhou Pinwei Software Co Ltd
Priority to CN201610209137.7A priority Critical patent/CN105930228B/zh
Publication of CN105930228A publication Critical patent/CN105930228A/zh
Application granted granted Critical
Publication of CN105930228B publication Critical patent/CN105930228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据备份方法,包括以下步骤:备份管理端向分支数据库客户端发送备份管理信息;所述分支数据库客户端根据接收到的所述备份管理信息完成数据备份操作,并生成对应的备份存储文件及数据备份日志;所述分支数据库客户端将所述数据备份日志上传到备份管理端,将备份存储文件上传到备份数据存储端。本发明还公开了一种数据备份系统。本发明实现对数据方便且可靠的进行备份。

Description

数据备份方法及系统
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据备份方法及系统。
背景技术
数据库是按照数据结构来组织、存储和管理数据的仓库,产生于20世纪的60年代。近50年以来,随着计算机技术、通信技术和网络技术的快速发展,企业和公司产生的数据量发生了爆炸式的增长,使得现代企业强烈的依赖数据库来保存极重要的记录。所以,数据库技术也随之得到迅猛发展,成为信息化社会中最重要的支撑技术之一。
互联网技术体系经过多年的发展,目前已经发展了一套相对成熟的数据服务基础架构,这套基础架构使用了以MySQL为代表的关系数据库存储业务数据,并使用以Redis等内存数据库缓存热点数据。
在数据库的使用过程中,数据库服务器出现故障或者误操作在所难免,导致数据库中的部分甚至全部数据丢失,此时,需要对数据库中的数据进行恢复。
目前,业内主要是采取手工或者定时的方式将数据库中的数据备份在数据库服务器本地磁盘中,当需要恢复数据时,调用备份文件对数据库进行数据恢复。
然而,数据库服务器的故障往往是因为其自身硬件和/或网络的故障导致的,所以,在数据库因服务器故障无法访问期间,备份文件也无法访问,导致备份文件实际不可用,达不到备份和保护数据的目的。
随着企业和公司业务的急剧变化,在单个企业内部数据库数量可能达到数千级别,数据量大小达到PB(1024*1024GB)级别。将数据备份在数据库服务器本地磁盘中的方式需要耗费大量的人力物力对其进行管理,且数据备份可靠性差。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种数据备份方法及系统,旨在解决将数据备份在数据库服务器本地磁盘中的方式需要耗费大量的人力物力对其进行管理,且数据备份可靠性差的问题。
为实现上述目的,本发明提供的一种数据备份方法,包括以下步骤:
备份管理端向分支数据库客户端发送备份管理信息;
所述分支数据库客户端根据接收到的所述备份管理信息完成数据备份操作,并生成对应的备份存储文件及数据备份日志;
所述分支数据库客户端将所述数据备份日志上传到备份管理端,将备份存储文件上传到备份数据存储端。
优选地,所述分支数据库客户端根据接收到的所述备份管理信息完成数据备份操作,并生成对应的备份存储文件及数据备份日志的步骤包括:
分支数据库客户端从所述备份管理信息中提取数据备份的时间信息和备份方式;
所述分支数据库客户端根据所述时间信息及所述备份方式完成数据备份操作生成备份存储文件,并记录备份过程信息及备份结果;
所述分支数据库客户端根据备份过程信息及备份结果生成数据备份日志。
优选地,所述方法还包括:
分支数据库客户端向所述备份管理端发送数据恢复请求;
所述备份管理端根据所述数据恢复请求从所述数据备份日志中查找最近的备份存储文件信息;
所述备份管理端根据查找到的所述备份存储文件信息从所述备份数据存储端匹配备份存储文件;
所述备份管理端将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复。
优选地,所述备份管理端将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复的步骤之前,还包括:
所述备份管理端提取与所述数据恢复请求对应的恢复区域信息;
所述备份管理端验证所述恢复区域信息对应的恢复区域;
当所述恢复区域通过验证时,所述备份管理端发出执行将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复的指令。
优选地,所述方法还包括:
所述分支数据库客户端向所述备份数据存储端发送目标对象的查询指令;
所述备份数据存储端根据所述查询指令在所述备份存储文件中查找所述目标对象的信息;
所述备份数据存储端在查找到所述目标对象的信息时,将所述目标对象的信息发送给所述分支数据库客户端,以在所述分支数据库客户端输出所述目标对象的信息。
此外,为实现上述目的,本发明还提供一种数据备份系统,包括:分支数据库客户端、备份管理端和备份数据存储端,其中:
所述备份管理端,用于向分支数据库客户端发送备份管理信息;
所述分支数据库客户端,用于根据所述备份管理信息完成数据备份操作,并生成对应的备份存储文件及数据备份日志;还用于
将所述数据备份日志上传到备份管理端,将备份存储文件上传到备份数据存储端。
优选地,所述分支数据库客户端,还用于从所述备份管理信息中提取数据备份的时间信息和备份方式;
根据所述时间信息及所述备份方式完成数据备份操作生成备份存储文件,并记录备份过程信息及备份结果;
根据备份过程信息及备份结果生成数据备份日志。
优选地,所述分支数据库客户端,还用于向所述备份管理端发送数据恢复请求;
所述备份管理端,还用于根据所述数据恢复请求从所述数据备份日志中查找最近的备份存储文件信息;及
根据查找到的所述备份文件信息从所述备份数据存储端匹配备份存储文件;
将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复。
优选地,所述备份管理端,还用于提取与所述数据恢复请求对应的恢复区域信息;及
验证所述恢复区域信息对应的恢复区域;
当所述恢复区域通过验证时,发出执行将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复的指令。
优选地,所述分支数据库客户端,还用于向所述备份数据存储端发送目标对象的查询指令;
所述备份数据存储端,还用于根据所述查询指令在所述备份存储文件中查找所述目标对象的信息;及
在查找到所述目标对象的信息时,将所述目标对象的信息发送给所述分支数据库客户端,以在所述分支数据库客户端输出所述目标对象的信息。
本发明通过分支数据库客户端根据备份管理端发送来的备份管理信息完成数据备份操作,生成对应的备份存储文件及数据备份日志;并将所述数据备份日志上传到备份管理端,将备份存储文件上传到备份数据存储端。对同一份文件进行多份备份,确保文件不会因为单个磁盘或者服务器故障而丢失,实现对数据方便且可靠的进行备份。
附图说明
图1为本发明数据备份方法的第一实施例的流程示意图;
图2为本发明一实施例根据备份管理信息完成数据备份操作的流程示意图;
图3为本发明数据备份方法的第二实施例的流程示意图;
图4为本发明数据备份方法的第三实施例的流程示意图;
图5为本发明数据备份方法的第四实施例的流程示意图;
图6为本发明数据备份系统的优选实施例的架构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:备份管理端向分支数据库客户端发送备份管理信息;所述分支数据库客户端根据接收到的所述备份管理信息完成数据备份操作,并生成对应的备份存储文件及数据备份日志;所述分支数据库客户端将所述数据备份日志上传到备份管理端,将备份存储文件上传到备份数据存储端。有效解决了将数据备份在数据库服务器本地磁盘中的方式需要耗费大量的人力物力对其进行管理,且数据备份可靠性差的问题,对同一份文件进行多份备份,确保文件不会因为单个磁盘或者服务器故障而丢失,实现对数据方便且可靠的进行备份。
由于将数据备份在数据库服务器本地磁盘中的方式需要耗费大量的人力物力对其进行管理,且数据备份可靠性差。
基于上述问题,本发明提供一种数据备份方法。
参照图1,图1为本发明数据备份方法的第一实施例的流程示意图。
在一实施例中,所述数据备份方法包括:
步骤S11,备份管理端向分支数据库客户端发送备份管理信息;
所述备份管理端可以是手机、平板电脑、笔记本、台式电脑等任意适用可与分支数据库客户端通信连接的电子设备。所述分支数据库客户端包括数据库及对数据库进行管理的软件,所述软件主要包括操作系统、各种宿主语言、实用程序以及数据库管理系统;所述数据库由数据库管理系统统一管理,数据的插入、修改和检索均要通过数据库管理系统进行,并根据所述备份管理端发送来的备份管理信息执行备份任务;数据库系统有大小之分,大型数据库系统有SQL Server、Oracle、DB2等,中小型数据库系统有Foxpro、Access、MySQL等,可依据分支数据库客户端的具体情况配置合适的数据库系统。在本实施例中,建立备份管理端与分支数据库客户端之间的通信连接,在分支数据库客户端启动备份时,所述备份管理端向分支数据库客户端发送备份管理信息,并通过备份管理信息对分支数据库客户端执行的备份任务进行管理,备份管理端对备份的管理包括备份策略的配置和管理,备份任务的调度,备份结果的实时监控、跟踪和统计等。
步骤S12,所述分支数据库客户端根据接收到的所述备份管理信息完成数据备份操作,并生成对应的备份存储文件及数据备份日志;
备份管理信息包括备份策略,如数据备份开始的时间或定时备份或实时备份等,还有备份方式等信息,所述分支数据库客户端根据接收到的所述备份管理信息执行备份任务,在备份操作完成时,生成对应的备份存储文件,并根据执行备份任务的过程信息生成数据备份日志。
具体地,如图2所示,图2为本发明一实施例根据备份管理信息完成数据备份操作的流程示意图;所述步骤S12包括:
步骤S121,分支数据库客户端从所述备份管理信息中提取数据备份的时间信息和备份方式;
步骤S122,所述分支数据库客户端根据所述时间信息及所述备份方式完成数据备份操作生成备份存储文件,并记录备份过程信息及备份结果;
步骤S123,所述分支数据库客户端根据备份过程信息及备份结果生成数据备份日志。
所述分支数据库客户端根据接收到的所述备份管理信息中的备份策略进行备份,例如,在备份策略对应的时间,将数据库中的文件备份到所述分支数据库客户端的本地目录下,或者将与前次备份存储文件存在差异的部分备份到所述分支数据库客户端的本地目录下,同时记录备份的开始时间、结束时间、备份存储文件大小及备份是否成功等信息,可选地,当备份失败时,重新执行备份任务,在备份失败次数达到设定次数时查找备份失败的原因并发送提示信息;为了方便监控及管理备份情况,将备份的开始时间、结束时间、备份存储文件大小及备份是否成功等记录的备份信息生成数据备份日志,数据备份日志可以供数据库管理员查看以了解数据备份失败的原因等情况,对数据库进行维护;也可以作为系统内部进行信息查询等任务的资料。
步骤S13,所述分支数据库客户端将所述数据备份日志上传到备份管理端,将备份存储文件上传到备份数据存储端。
所述数据备份日志作为执行备份管理信息的反馈信息,在所述分支数据库客户端完成数据备份操作时,将所述数据备份日志上传到备份管理端,以便备份管理端对分支数据库客户端的备份任务进行管理;将备份存储文件上传到备份数据存储端。由于镜像文件具有制作快、传输快等优点,所述备份存储文件优选为根据备份文件生成的镜像文件;当然,也可以是备份文件本身,也还可以是根据备份文件生成的压缩文件等包含备份文件所有信息的文件;由于镜像文件的制作过程中,分支数据库客户端中的数据不能够发生变化,常规的手段是将分支数据库客户端中的数据进行锁定,但此时需要关闭数据库或长时间妨碍数据库的正常运行,给用户的正常使用带来不便,所以,本实施例中,在镜像文件制作之前,先将分支数据库客户端中的数据备份到所述分支数据库客户端的本地目录下,在制件镜像文件时,只需将备份文件进行锁定,不需要关闭数据库,且不妨碍数据库的正常运行;镜像文件的制作基于快照技术,通过对已锁定的镜像文件进行快照,可以在非常短的时间内得到分支数据库客户端中数据的镜像文件,同时将镜像文件上传到备份数据存储端,提高备份文件保存的安全性;所述备份数据存储端优选为云盘,采用云存储技术,可以为用户节约存储硬件的成本及空间;本发明的备份管理端通过备份管理信息对分支数据库客户端的备份任务进行管理,分支数据库客户端根据备份管理信息执行备份任务,并生成备份存储文件和数据备份日志,同时将数据备份日志上传给备份管理端,作为备份管理端对分支数据库客户端进行进一步管理的依据;分支数据库客户端将备份存储文件上传给备份数据存储端,对分支数据库客户端的数据进行多份备份,提高备份的可靠性。
本实施例通过分支数据库客户端根据备份管理端发送来的备份管理信息完成数据备份操作,生成对应的备份文件及数据备份日志;并将所述数据备份日志上传到备份管理端,将备份文件对应的镜像文件上传到备份数据存储端。有效解决了将数据备份在数据库服务器本地磁盘中的方式需要耗费大量的人力物力对其进行管理,且数据备份可靠性差的问题,将本地文件上传到备份数据存储端进行备份,确保文件不会因为本地磁盘或者服务器故障而丢失,实现对数据方便且可靠的进行备份。
参照图3,图3为本发明数据备份方法的第二实施例的流程示意图。基于上述数据备份方法的第一实施例,所述方法还包括:
步骤S14,分支数据库客户端向所述备份管理端发送数据恢复请求;
当出现数据丢失、数据被意外删除、数据因被病毒侵蚀而丢失或者分支数据库客户端的存储硬盘等出现了问题而需要进行数据恢复时,分支数据库客户端向所述备份管理端发送数据恢复请求,以便备份管理端对数据恢复任务进行管理;所述数据恢复请求可以由需要进行数据恢复的分支数据库客户端本身发送;当然,也可以是通过其它分支数据库客户端甚至是与备份管理端通信连接的手机、平板电脑等任意的电子设备发送数据恢复请求,请求将数据恢复到需要进行数据恢复的分支数据库客户端或者备用的存储硬盘中。
步骤S15,所述备份管理端根据所述数据恢复请求从所述数据备份日志中查找最近的备份存储文件信息;
所述备份管理端存储有分支数据库客户端的数据备份日志,当所述备份管理端接收到所述数据恢复请求时,即从所述数据备份日志中查找需要进行数据恢复的分支数据库客户端最近一次成功进行备份的备份存储文件的信息,当然,如果数据恢复请求要求的是对某个历史时间的数据进行恢复,则所述备份管理端从所述数据备份日志中查找与该历史时间最近一次成功进行备份的备份存储文件的信息。
步骤S16,所述备份管理端根据查找到的所述备份存储文件信息从所述备份数据存储端匹配备份存储文件;
步骤S17,所述备份管理端将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复。
所述备份管理端根据数据恢复请求查找到最近的备份存储文件信息,并根据所述备份存储文件信息从所述备份数据存储端匹配备份存储文件;备份管理端将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复;如上所述,发送数据恢复请求与进行数据恢复的区域可能不是同一主体,所以当因为存储硬盘等出现了问题而需要进行数据恢复时,可以在对出现故障的分支数据库客户端进行抢修的同时,将数据恢复到备用的存储硬盘中,再将存储有恢复后的数据的备用存储硬盘接入发生故障的分支数据库客户端中即可完成维修工作,大大缩短了将数据库恢复正常的时间;所述备份存储文件优选为根据备份文件生成的镜像文件,利用镜像文件恢复数据的时间仅取决于数据量的大小,没有额外的时间消耗,所以能够尽可能的缩短数据恢复过程的时间。
本实施例通过备份管理端根据数据恢复请求从数据备份日志中查找最近的备份存储文件信息进而从所述备份数据存储端匹配备份存储文件,再将匹配的备份存储文件在数据恢复请求对应的恢复区域进行数据恢复;将数据恢复到数据恢复请求对应的恢复区域中,以缩短将数据库恢复正常的时间,同时,利用镜像文件恢复数据能够尽可能的缩短数据恢复过程的时间,可以大大缩短数据库不能正常使用的时间。
参照图4,图4为本发明数据备份方法的第三实施例的流程示意图。基于上述数据备份方法的第二实施例,所述备份管理端将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复的步骤之前,还包括:
步骤S18,所述备份管理端提取与所述数据恢复请求对应的恢复区域信息;
所述数据恢复请求包括需要恢复的数据属于哪个分支数据库客户端,及用于储存恢复数据的恢复区域的信息,所述备份管理端在接收到所述数据恢复请求时,需要提取与数据恢复相关的信息,以便控制后续的数据恢复任务的进程。
步骤S19,所述备份管理端验证所述恢复区域信息对应的恢复区域;
由于需要进行数据恢复的分支数据库客户端本身、其它分支数据库客户端甚至是与备份管理端通信连接的手机、平板电脑等任意的电子设备都可以发送数据恢复请求,为了防止被黑客袭击等导致数据泄露,需要对数据恢复请求对应的所述恢复区域进行验证,可以在备份管理端设置可恢复区域名单或操作权限信息,通过将恢复区域的信息与可恢复区域名单或操作权限信息进行比对,验证所述恢复区域是否为信任的可恢复区域或其操作权限等。
步骤S20,当所述恢复区域通过验证时,所述备份管理端发出执行将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复的指令。
当所述恢复区域通过验证即可在所述恢复区域进行数据恢复时,所述备份管理端会发出执行将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复的指令,以便所述备份管理端执行数据恢复任务的后续进程;当所述恢复区域信息对应的恢复区域没有通过验证时,所述备份管理端终止此次数据恢复任务,并输出提示信息;所述提示信息可以包括在进行数据备份时输入的密保问题等,以便用户需要在不属于备份管理端的可恢复区域名单或操作权限信息中的存储设备中进行数据恢复时,仍可进行数据恢复。
当然,验证所述恢复区域信息对应的恢复区域的步骤与查找备份文件信息及根据所述备份文件信息从所述备份数据存储端匹配备份存储文件的步骤可以同时进行也可以先后进行,且先后顺序对执行数据恢复任务的结果并无影响;只是,先执行验证所述恢复区域信息对应的恢复区域的步骤,当所述恢复区域不能通过验证时,不需要再执行查找及匹配等任务,可以减轻备份管理端的工作任务;验证所述恢复区域信息对应的恢复区域的步骤与查找备份存储文件信息及根据所述备份存储文件信息从所述备份数据存储端匹配备份存储文件的步骤同时进行可以缩短执行数据恢复任务的时间;但是仅在所述恢复区域通过验证时,才在所述恢复区域进行数据恢复。
本实施例通过对所述恢复区域信息对应的恢复区域进行验证,当所述恢复区域通过验证时,才执行数据恢复操作,有效的保证了数据的安全性。
参照图5,图5为本发明数据备份方法的第四实施例的流程示意图。基于上述数据备份方法的第一实施例,所述方法还包括:
步骤S21,所述分支数据库客户端向所述备份数据存储端发送目标对象的查询指令;
用户可以通过本地分支数据库客户端查询目标对象的信息,当所述目标对象存储在其它分支数据库客户端时,需要经过复杂的安全和网络策略才能得到目标对象的信息,过程复杂且耗时长;本实施例中,所述备份数据存储端存储有所有分支数据库客户端的备份存储文件,当用户通过本地分支数据库客户端查询目标对象的信息时,仅需向备份数据存储端发送目标对象的查询指令即可。
步骤S22,所述备份数据存储端根据所述查询指令在所述备份存储文件中查找所述目标对象的信息;
所述目标对象的查询指令包含所述目标对象的标识,所述目标对象的标识包括用于识别所述目标对象的编号;所述备份数据存储端根据所述编号等识别信息在所述备份存储文件中查找所述目标对象的信息;由于在镜像文件中查找目标对象的速度比在原文件中查找的速度要快,所述备份数据存储端存储的所述备份存储文件优选为根据备份文件生成的镜像文件,通过镜像文件查找目标对象的方式,可以缩短查找的时间,提高查找速度。
步骤S23,所述备份数据存储端在查找到所述目标对象的信息时,将所述目标对象的信息发送给所述分支数据库客户端,以在所述分支数据库客户端输出所述目标对象的信息。
当备份数据存储端查找到所述目标对象的信息时,将所述目标对象的信息发送给所述分支数据库客户端,由所述分支数据库客户端输出所述目标对象的信息;以A用户查询自己的历史聊天记录信息为例,A用户通过本地分支数据库客户端查询所有分支数据库客户端中存储的历史聊天记录信息,本地分支数据库客户端向所述备份数据存储端发送历史聊天记录的查询指令,所述备份数据存储端在查找到A用户的历史聊天记录的信息时,将A用户的历史聊天记录的信息发送给所述本地分支数据库客户端,以在所述本地分支数据库客户端输出所述A用户的历史聊天记录的信息A用户使用;所述备份存储文件优选为根据备份文件生成的镜像文件,当符合条件的目标对象信息分布在多个分支数据库客户端时,通过在备份数据存储端的镜像文件中查找目标对象的信息,可以大大的节约查找时间;当备份数据存储端没有查找到所述目标对象的信息时,输出提示信息。
本实施例通过在备份数据存储端的备份存储文件中查找目标对象的信息,可以大大的节约查找时间。
本发明还提供一种数据备份系统。
参照图6,图6为本发明数据备份系统的优选实施例的架构示意图。
在一实施例中,所述系统包括:分支数据库客户端10、备份管理端20和备份数据存储端30,其中:
所述备份管理端20,用于向分支数据库客户端10发送备份管理信息;
所述备份管理端20可以是手机、平板电脑、笔记本、台式电脑等任意适用可与分支数据库客户端10通信连接的电子设备;所述分支数据库客户端10包括数据库及对数据库进行管理的软件,所述软件主要包括操作系统、各种宿主语言、实用程序以及数据库管理系统;所述数据库由数据库管理系统统一管理,数据的插入、修改和检索均要通过数据库管理系统进行,并根据所述备份管理端20发送来的备份管理信息执行备份任务;数据库系统有大小之分,大型数据库系统有SQL Server、Oracle、DB2等,中小型数据库系统有Foxpro、Access、MySQL等,可依据分支数据库客户端10的具体情况配置合适的数据库系统,所述备份管理端20也可以由分支数据库客户端10来充当。在本实施例中,建立备份管理端20与分支数据库客户端10之间的通信连接,在分支数据库客户端启动备份时,所述备份管理端20向分支数据库客户端10发送备份管理信息,并通过备份管理信息对分支数据库客户端10执行的备份任务进行管理,备份管理端对备份的管理包括备份策略的配置和管理,备份任务的调度,备份结果的实时监控、跟踪和统计等。
所述分支数据库客户端10,用于根据所述备份管理信息完成数据备份操作,并生成对应的备份存储文件及数据备份日志;
备份管理信息包括备份策略,如数据备份开始的时间或定时备份或实时备份等,还有备份方式等信息,所述分支数据库客户端10根据接收到的所述备份管理信息执行备份任务,在备份操作完成时,生成对应的备份存储文件,并根据执行备份任务的过程信息生成数据备份日志。
进一步地,所述分支数据库客户端10,用于从所述备份管理信息中提取数据备份的时间信息和备份方式;
所述分支数据库客户端10,用于根据所述时间信息及所述备份方式完成数据备份操作生成备份存储文件,并记录备份过程信息及备份结果;
所述分支数据库客户端10,用于根据备份过程信息及备份结果生成数据备份日志。
所述分支数据库客户端10根据接收到的所述备份管理信息中的备份策略进行备份,例如,在备份策略对应的时间,将数据库中的文件备份到所述分支数据库客户端10的本地目录下,或者将与前次备份存储文件存在差异的部分备份到所述分支数据库客户端10的本地目录下,同时记录备份的开始时间、结束时间、备份存储文件大小及备份是否成功等信息,可选地,当备份失败时,重新执行备份任务,在备份失败次数达到设定次数时查找备份失败的原因并发送提示信息;为了方便监控及管理备份情况,将备份的开始时间、结束时间、备份存储文件大小及备份是否成功等记录的备份信息生成数据备份日志,数据备份日志可以供数据库管理员查看以了解数据备份失败的原因等情况,对数据库进行维护;也可以作为系统内部进行信息查询等任务的资料。
所述分支数据库客户端10,还用于将所述数据备份日志上传到备份管理端20,将备份存储文件上传到备份数据存储端30。
所述数据备份日志作为执行备份管理信息的反馈信息,在所述分支数据库客户端10完成数据备份操作时,将所述数据备份日志上传到备份管理端20,以便备份管理端20对分支数据库客户端10的备份任务进行管理;将备份存储文件上传到备份数据存储端30。由于镜像文件具有制作快、传输快等优点,所述备份存储文件优选为根据备份文件生成的镜像文件;当然,也可以是备份文件本身,也还可以是根据备份文件生成的压缩文件等包含备份文件所有信息的文件;由于镜像文件的制作过程中,分支数据库客户端10中的数据不能够发生变化,常规的手段是将分支数据库客户端10中的数据进行锁定,但此时需要关闭数据库或长时间妨碍数据库的正常运行,给用户的正常使用带来不便,所以,本实施例中,在镜像文件制作之前,先将分支数据库客户端10中的数据备份到所述分支数据库客户端10的本地目录下,在制件镜像文件时,只需将备份文件进行锁定,不需要关闭数据库,且不妨碍数据库的正常运行;镜像文件的制作基于快照技术,通过对已锁定的镜像文件进行快照,可以在非常短的时间内得到分支数据库客户端10中数据的镜像文件,同时将镜像文件上传到备份数据存储端30,提高备份文件保存的安全性;所述备份数据存储端30优选为云盘,采用云存储技术,可以为用户节约存储硬件的成本及空间;本发明的备份管理端20通过备份管理信息对分支数据库客户端10的备份任务进行管理,分支数据库客户端10根据备份管理信息执行备份任务,并生成备份存储文件和数据备份日志,同时将数据备份日志上传给备份管理端20,作为备份管理端20对分支数据库客户端10进行进一步管理的依据;分支数据库客户端10将备份存储文件上传给备份数据存储端30,对分支数据库客户端10的数据进行多份备份,提高备份的可靠性。
本实施例通过分支数据库客户端10根据备份管理端20发送来的备份管理信息完成数据备份操作,生成对应的备份文件及数据备份日志;并将所述数据备份日志上传到备份管理端20,将备份文件对应的镜像文件上传到备份数据存储端30。有效解决了将数据备份在数据库服务器本地磁盘中的方式需要耗费大量的人力物力对其进行管理,且数据备份可靠性差的问题,将本地文件上传到备份数据存储端进行备份,确保文件不会因为本地磁盘或者服务器故障而丢失,实现对数据方便且可靠的进行备份。
进一步地,所述分支数据库客户端10,还用于向所述备份管理端20发送数据恢复请求;
当出现数据丢失、数据被意外删除、数据因被病毒侵蚀而丢失或者分支数据库客户端10的存储硬盘等出现了问题而需要进行数据恢复时,分支数据库客户端10向所述备份管理端20发送数据恢复请求,以便备份管理端20对数据恢复任务进行管理;所述数据恢复请求可以由需要进行数据恢复的分支数据库客户端10本身发送;当然,也可以是通过其它分支数据库客户端10甚至是与备份管理端20通信连接的手机、平板电脑等任意的电子设备发送数据恢复请求,请求将数据恢复到需要进行数据恢复的分支数据库客户端10或者备用的存储硬盘中。
所述备份管理端20,还用于根据所述数据恢复请求从所述数据备份日志中查找最近的备份存储文件信息;
所述备份管理端20存储有分支数据库客户端10的数据备份日志,当所述备份管理端20接收到所述数据恢复请求时,即从所述数据备份日志中查找需要进行数据恢复的分支数据库客户端10最近一次成功进行备份的备份存储文件的信息,当然,如果数据恢复请求要求的是对某个历史时间的数据进行恢复,则所述备份管理端20从所述数据备份日志中查找与该历史时间最近一次成功进行备份的备份存储文件的信息。
所述备份管理端20,还用于根据查找到的所述备份存储文件信息从所述备份数据存储端30匹配备份存储文件;
所述备份管理端20,还用于将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复。
所述备份管理端20根据数据恢复请求查找到最近的备份存储文件信息,并根据所述备份存储文件信息从所述备份数据存储端30匹配备份存储文件;备份管理端20将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复;如上所述,发送数据恢复请求与进行数据恢复的区域可能不是同一主体,所以当因为存储硬盘等出现了问题而需要进行数据恢复时,可以在对出现故障的分支数据库客户端10进行抢修的同时,将数据恢复到备用的存储硬盘中,再将存储有恢复后的数据的备用存储硬盘接入发生故障的分支数据库客户端中即可完成维修工作,大大缩短了将数据库恢复正常的时间;所述备份存储文件优选为根据备份文件生成的镜像文件,利用镜像文件恢复数据的时间仅取决于数据量的大小,没有额外的时间消耗,所以能够尽可能的缩短数据恢复过程的时间。
本实施例通过备份管理端20根据数据恢复请求从数据备份日志中查找最近的备份存储文件信息进而从所述备份数据存储端30匹配备份存储文件,再将匹配的备份存储文件在数据恢复请求对应的恢复区域进行数据恢复;将数据恢复到数据恢复请求对应的恢复区域中,以缩短将数据库恢复正常的时间,同时,利用镜像文件恢复数据能够尽可能的缩短数据恢复过程的时间,可以大大缩短数据库不能正常使用的时间。
进一步地,所述备份管理端20,还用于提取与所述数据恢复请求对应的恢复区域信息;
所述数据恢复请求包括需要恢复的数据属于哪个分支数据库客户端10,及用于储存恢复数据的恢复区域的信息,所述备份管理端20在接收到所述数据恢复请求时,需要提取与数据恢复相关的信息,以便控制后续的数据恢复任务的进程。
所述备份管理端20,还用于验证所述恢复区域信息对应的恢复区域;
由于需要进行数据恢复的分支数据库客户端10本身、其它分支数据库客户端10甚至是与备份管理端20通信连接的手机、平板电脑等任意的电子设备都可以发送数据恢复请求,为了防止被黑客袭击等导致数据泄露,需要对数据恢复请求对应的所述恢复区域进行验证,可以在备份管理端20设置可恢复区域名单或操作权限信息,通过将恢复区域的信息与可恢复区域名单或操作权限信息进行比对,验证所述恢复区域是否为信任的可恢复区域或其操作权限等。
所述备份管理端20,还用于当所述恢复区域通过验证时,发出执行将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复的指令。
当所述恢复区域通过验证即可在所述恢复区域进行数据恢复时,所述备份管理端20会发出执行将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复的指令,以便所述备份管理端20执行数据恢复任务的后续进程;当所述恢复区域信息对应的恢复区域没有通过验证时,所述备份管理端20终止此次数据恢复任务,并输出提示信息;所述提示信息可以包括在进行数据备份时输入的密保问题等,以便用户需要在不属于备份管理端20的可恢复区域名单或操作权限信息中的存储设备中进行数据恢复时,仍可进行数据恢复。
当然,验证所述恢复区域信息对应的恢复区域的步骤与查找备份文件信息及根据所述备份文件信息从所述备份数据存储端30匹配备份存储文件的步骤可以同时进行也可以先后进行,且先后顺序对执行数据恢复任务的结果并无影响;只是,先执行验证所述恢复区域信息对应的恢复区域的步骤,当所述恢复区域不能通过验证时,不需要再执行查找及匹配等任务,可以减轻备份管理端20的工作任务;验证所述恢复区域信息对应的恢复区域的步骤与查找备份存储文件信息及根据所述备份存储文件信息从所述备份数据存储端30匹配备份存储文件的步骤同时进行可以缩短执行数据恢复任务的时间;但是仅在所述恢复区域通过验证时,才在所述恢复区域进行数据恢复。
本实施例通过对所述恢复区域信息对应的恢复区域进行验证,当所述恢复区域通过验证时,才执行数据恢复操作,有效的保证了数据的安全性。
进一步地,所述分支数据库客户端10,还用于向所述备份数据存储端30发送目标对象的查询指令;
用户可以通过本地分支数据库客户端10查询目标对象的信息,当所述目标对象存储在其它分支数据库客户端10时,需要经过复杂的安全和网络策略才能得到目标对象的信息,过程复杂且耗时长;本实施例中,所述备份数据存储端30存储有所有分支数据库客户端10的备份存储文件,当用户通过本地分支数据库客户端10查询目标对象的信息时,仅需向备份数据存储端30发送目标对象的查询指令即可。
所述备份数据存储端30,还用于根据所述查询指令在所述备份存储文件中查找所述目标对象的信息;
所述目标对象的查询指令包含所述目标对象的标识,所述目标对象的标识包括用于识别所述目标对象的编号;所述备份数据存储端30根据所述编号等识别信息在所述备份存储文件中查找所述目标对象的信息;由于在镜像文件中查找目标对象的速度比在原文件中查找的速度要快,所述备份数据存储端30存储的所述备份存储文件优选为根据备份文件生成的镜像文件,通过镜像文件查找目标对象的方式,可以缩短查找的时间,提高查找速度。
所述备份数据存储端30,还用于在查找到所述目标对象的信息时,将所述目标对象的信息发送给所述分支数据库客户端10,以在所述分支数据库客户端10输出所述目标对象的信息。
当备份数据存储端30查找到所述目标对象的信息时,将所述目标对象的信息发送给所述分支数据库客户端10,由所述分支数据库客户端10输出所述目标对象的信息;以A用户查询自己的历史聊天记录信息为例,A用户通过本地分支数据库客户端10查询所有分支数据库客户端10中存储的历史聊天记录信息,本地分支数据库客户端10向所述备份数据存储端30发送历史聊天记录的查询指令,所述备份数据存储端30在查找到A用户的历史聊天记录的信息时,将A用户的历史聊天记录的信息发送给所述本地分支数据库客户端10,以在所述本地分支数据库客户端10输出所述A用户的历史聊天记录的信息供A用户使用;所述备份存储文件优选为根据备份文件生成的镜像文件,当符合条件的目标对象信息分布在多个分支数据库客户端10时,通过在备份数据存储端30的镜像文件中查找目标对象的信息,可以大大的节约查找时间;当备份数据存储端30没有查找到所述目标对象的信息时,输出提示信息。
本实施例通过在备份数据存储端30的备份存储文件中查找目标对象的信息,可以大大的节约查找时间。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种数据备份方法,其特征在于,包括以下步骤:
备份管理端向分支数据库客户端发送备份管理信息;
分支数据库客户端从所述备份管理信息中提取数据备份的时间信息和备份方式;
所述分支数据库客户端根据所述时间信息及所述备份方式完成数据备份操作生成备份存储文件,并记录备份过程信息及备份结果;
所述分支数据库客户端根据备份过程信息及备份结果生成数据备份日志;
所述分支数据库客户端将所述数据备份日志上传到备份管理端,将所述备份存储文件上传到备份数据存储端。
2.如权利要求1所述的数据备份方法,其特征在于,所述方法还包括:
分支数据库客户端向所述备份管理端发送数据恢复请求;
所述备份管理端根据所述数据恢复请求从所述数据备份日志中查找最近的备份存储文件信息;
所述备份管理端根据查找到的所述备份存储文件信息从所述备份数据存储端匹配备份存储文件;
所述备份管理端将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复。
3.如权利要求2所述的数据备份方法,其特征在于,所述备份管理端将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复的步骤之前,还包括:
所述备份管理端提取与所述数据恢复请求对应的恢复区域信息;
所述备份管理端验证所述恢复区域信息对应的恢复区域;
当所述恢复区域通过验证时,所述备份管理端发出执行将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复的指令。
4.如权利要求1所述的数据备份方法,其特征在于,所述方法还包括:
所述分支数据库客户端向所述备份数据存储端发送目标对象的查询指令;
所述备份数据存储端根据所述查询指令在所述备份存储文件中查找所述目标对象的信息;
所述备份数据存储端在查找到所述目标对象的信息时,将所述目标对象的信息发送给所述分支数据库客户端,以在所述分支数据库客户端输出所述目标对象的信息。
5.一种数据备份系统,其特征在于,包括:分支数据库客户端、备份管理端和备份数据存储端,其中:
所述备份管理端,用于向分支数据库客户端发送备份管理信息;
所述分支数据库客户端,用于从所述备份管理信息中提取数据备份的时间信息和备份方式;
根据所述时间信息及所述备份方式完成数据备份操作生成备份存储文件,并记录备份过程信息及备份结果;
根据备份过程信息及备份结果生成数据备份日志;还用于
将所述数据备份日志上传到备份管理端,将所述备份存储文件上传到备份数据存储端。
6.如权利要求5所述的数据备份系统,其特征在于,
所述分支数据库客户端,还用于向所述备份管理端发送数据恢复请求;
所述备份管理端,还用于根据所述数据恢复请求从所述数据备份日志中查找最近的备份存储文件信息;及
根据查找到的所述备份文件信息从所述备份数据存储端匹配备份存储文件;
将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复。
7.如权利要求6所述的数据备份系统,其特征在于,
所述备份管理端,还用于提取与所述数据恢复请求对应的恢复区域信息;及
验证所述恢复区域信息对应的恢复区域;
当所述恢复区域通过验证时,发出执行将匹配的备份存储文件在所述数据恢复请求对应的恢复区域进行数据恢复的指令。
8.如权利要求5所述的数据备份系统,其特征在于,
所述分支数据库客户端,还用于向所述备份数据存储端发送目标对象的查询指令;
所述备份数据存储端,还用于根据所述查询指令在所述备份存储文件中查找所述目标对象的信息;及
在查找到所述目标对象的信息时,将所述目标对象的信息发送给所述分支数据库客户端,以在所述分支数据库客户端输出所述目标对象的信息。
CN201610209137.7A 2016-04-06 2016-04-06 数据备份方法及系统 Active CN105930228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610209137.7A CN105930228B (zh) 2016-04-06 2016-04-06 数据备份方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610209137.7A CN105930228B (zh) 2016-04-06 2016-04-06 数据备份方法及系统

Publications (2)

Publication Number Publication Date
CN105930228A CN105930228A (zh) 2016-09-07
CN105930228B true CN105930228B (zh) 2019-02-12

Family

ID=56840490

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610209137.7A Active CN105930228B (zh) 2016-04-06 2016-04-06 数据备份方法及系统

Country Status (1)

Country Link
CN (1) CN105930228B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107844386B (zh) * 2016-09-19 2020-11-27 北京金山云网络技术有限公司 一种数据备份、恢复方法及装置
CN106776116A (zh) * 2016-11-15 2017-05-31 许继集团有限公司 一种跨平台数据远程备份和还原方法
CN106789180A (zh) * 2016-11-30 2017-05-31 郑州云海信息技术有限公司 一种元数据服务器的服务控制方法及装置
CN107025150A (zh) * 2017-03-30 2017-08-08 南京车喇叭信息科技有限公司 一种实现数据备份实时恢复控制的系统及其方法
CN107678890A (zh) * 2017-10-12 2018-02-09 郑州云海信息技术有限公司 一种数据备份管理方法及装置
CN107741890A (zh) * 2017-10-16 2018-02-27 郑州云海信息技术有限公司 一种备份管理方法及装置
CN109218661A (zh) * 2017-10-27 2019-01-15 广州恒强信息科技有限公司 一种企业远程视频监控系统
CN110109891B (zh) * 2018-01-18 2023-04-21 伊姆西Ip控股有限责任公司 用于数据迁移的方法、设备和存储介质
CN108628706B (zh) * 2018-05-02 2021-08-17 北京新桥信通科技股份有限公司 数据备份的方法、装置、系统及存储介质
CN110502460B (zh) * 2018-05-16 2021-03-23 华为技术有限公司 数据处理的方法和节点
TWI734004B (zh) * 2018-05-25 2021-07-21 聚英企業管理顧問股份有限公司 聊天對話的儲存裝置與呈現方法
CN108874592B (zh) * 2018-06-20 2020-04-10 焦点科技股份有限公司 一种针对Log-structured存储引擎的数据冷备方法及系统
CN109189611A (zh) * 2018-08-23 2019-01-11 四川精容数安科技有限公司 一种数据备份和恢复的方法、装置及系统
CN109901952B (zh) * 2019-03-06 2021-11-26 山东申启信息技术有限公司 一种数据备份方法、系统及服务器
CN112583868B (zh) * 2019-09-27 2023-04-07 浙江宇视科技有限公司 云存储数据的备份方法、装置、设备和介质
CN112800031A (zh) * 2021-02-08 2021-05-14 上海凯盛朗坤信息技术股份有限公司 一种数据库备份及文件的定期管理的系统
CN116340055B (zh) * 2023-03-28 2024-03-12 上海威固信息技术股份有限公司 一种固态硬盘的数据恢复方法及系统
CN116707934B (zh) * 2023-06-20 2023-10-24 甘肃省地震局(中国地震局兰州地震研究所) 一种基于无线传感网络的数据加密传送方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100399325C (zh) * 2002-10-25 2008-07-02 联想(北京)有限公司 一种嵌入式数据库的数据备份和恢复方法
US8326804B2 (en) * 2008-06-06 2012-12-04 Symantec Corporation Controlling resource allocation for backup operations
CN101707729A (zh) * 2009-11-30 2010-05-12 中兴通讯股份有限公司 一种实现网络节点数据自动备份和恢复的系统及方法
CN105005517B (zh) * 2015-07-31 2019-02-01 上海携程商务有限公司 呼叫中心录音文件的存储备份系统及方法
CN105302675A (zh) * 2015-11-25 2016-02-03 上海爱数信息技术股份有限公司 数据备份的方法和装置

Also Published As

Publication number Publication date
CN105930228A (zh) 2016-09-07

Similar Documents

Publication Publication Date Title
CN105930228B (zh) 数据备份方法及系统
US10747719B2 (en) File system point-in-time restore using recycle bin and version history
CN104301360B (zh) 一种日志数据记录的方法、日志服务器及系统
CN104317926B (zh) 一种持久化的数据存储和查询方法及对应的装置和系统
US9286319B2 (en) Method, system and serving node for data backup and restoration
US7933872B2 (en) Database backup, refresh and cloning system and method
US10831724B2 (en) Method of reconciling resources in the metadata hierarchy
US8712966B1 (en) Backup and recovery of distributed storage areas
US8166038B2 (en) Intelligent retrieval of digital assets
CN103595730A (zh) 一种密文云存储方法和系统
CN103198159A (zh) 一种基于事务重做的异构集群多副本一致性维护方法
JP2008518284A (ja) 固定内容分散データ記憶のためのメタデータ管理
US20210286799A1 (en) Automated transaction engine
US7069270B1 (en) Automated method and mechanism for converting a single instance application to a multiple instance application
US11010366B2 (en) Method and system for implementing an automated data validation tool
US8745010B2 (en) Data storage and archiving spanning multiple data storage systems
CN108880906A (zh) 一种元数据服务的故障恢复方法、服务器、客户端及系统
CN105323271B (zh) 一种云计算系统以及云计算系统的处理方法和装置
CN104156369A (zh) 一种数据库镜像制作方法和一种数据库
KR20220086677A (ko) 블록체인 기반 백업 및 복구를 위한 시스템 및 방법
US11042454B1 (en) Restoration of a data source
CN103714089A (zh) 一种实现云数据库回滚的方法及系统
CN210691319U (zh) 一种基于区块链的档案信息安全管理系统
US11537475B1 (en) Data guardianship in a cloud-based data storage system
CN111199051A (zh) 一种基于区块链技术的数据溯源的系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20171207

Address after: 510000 Guangzhou City, Guangzhou, Guangdong, Fangcun Avenue, one of the 314 self compiled

Applicant after: Guangzhou Pinwei Software Co., Ltd.

Address before: Liwan District Fangcun Huahai street Guangzhou city Guangdong province 510000 No. 20 self 1-5 building (only for office use)

Applicant before: Guangzhou VIPSHOP Information and Technology Co., Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211231

Address after: 510000 Room 601, 128 Dingxin Road, Haizhu District, Guangzhou City, Guangdong Province (office only)

Patentee after: Vipshop (Guangzhou) Software Co.,Ltd.

Address before: 510000 No. 314, Fangcun Avenue, Liwan District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU PINWEI SOFTWARE Co.,Ltd.

TR01 Transfer of patent right