CN112860491B - 一种数据冷备系统及方法 - Google Patents

一种数据冷备系统及方法 Download PDF

Info

Publication number
CN112860491B
CN112860491B CN202110286451.6A CN202110286451A CN112860491B CN 112860491 B CN112860491 B CN 112860491B CN 202110286451 A CN202110286451 A CN 202110286451A CN 112860491 B CN112860491 B CN 112860491B
Authority
CN
China
Prior art keywords
storage node
backup
cold standby
data
backup storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110286451.6A
Other languages
English (en)
Other versions
CN112860491A (zh
Inventor
李陆彪
张世维
杨绍鹏
辜旻骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Tencent Information Technology Co Ltd
Original Assignee
Shenzhen Tencent Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Tencent Information Technology Co Ltd filed Critical Shenzhen Tencent Information Technology Co Ltd
Priority to CN202110286451.6A priority Critical patent/CN112860491B/zh
Publication of CN112860491A publication Critical patent/CN112860491A/zh
Application granted granted Critical
Publication of CN112860491B publication Critical patent/CN112860491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种数据冷备系统及方法,其中该系统包括:控制节点、主存储节点、备份存储节点和冷备中心,该系统的运行依赖于目标操作系统;控制节点用于在数据冷备时间向备份存储节点推送冷备任务;备份存储节点用于执行冷备任务,将其存储的数据文件传输至冷备中心;目标操作系统用于在第一检测时间检测备份存储节点是否执行冷备任务,若检测到备份存储节点未执行冷备任务,向备份存储节点推送冷备任务;备份存储节点中的冷备检查模块用于在第二检测时间检测备份存储节点是否执行冷备任务,若检测到备份存储节点未执行冷备任务,触发备份存储节点将其存储的数据文件传输至所述冷备中心。该系统具有较高的可靠性,能够保证数据冷备成功率。

Description

一种数据冷备系统及方法
技术领域
本申请涉及数据存储技术领域,尤其涉及一种数据冷备系统及方法。
背景技术
冷备份(cold backup),也被称为离线备份,是在关闭数据库并且数据库不能更新的情况下进行的数据库完整备份,冷备份的数据可以被指定恢复。对于存储系统来说,数据冷备是至关重要的环节,也是用户数据的最后一重保障,若存储系统不重视数据冷备,极有可能导致用户数据永远丢失、无法还原的问题发生,产生无法估量的损失。
相关技术中,目前主要采用周期性冷备的方式实现存储系统的数据冷备,例如,每天定时将存储系统中的数据拷贝至冷备中心。在一些情况下,这种数据冷备方式的可靠性较差,难以保证数据冷备的成功率,容易受各方面因素的影响而导致数据没有被成功冷备。
发明内容
本申请实施例提供了一种数据冷备系统及方法,具有较高的可靠性,能够保证数据冷备的成功率。
有鉴于此,本申请第一方面提供了一种数据冷备系统,所述数据冷备系统包括:控制节点、主存储节点、备份存储节点和冷备中心;所述数据冷备系统的运行依赖于目标操作系统;所述备份存储节点中包括冷备检查模块;
所述控制节点,用于在数据冷备时间向所述备份存储节点推送冷备任务;
所述备份存储节点,用于执行所述冷备任务,将其存储的数据文件传输至所述冷备中心;所述备份存储节点存储的数据文件是所述主存储节点通过数据热备份操作传输过来的;
所述目标操作系统,用于在第一检测时间检测所述备份存储节点是否执行所述冷备任务;若检测到所述备份存储节点未执行所述冷备任务,向所述备份存储节点推送所述冷备任务;所述第一检测时间晚于所述数据冷备时间;
所述冷备检查模块,用于在第二检测时间检测所述备份存储节点是否执行所述冷备任务;若检测到所述备份存储节点未执行所述冷备任务,触发所述备份存储节点将其存储的数据文件传输至所述冷备中心;所述第二检测时间晚于所述数据冷备时间。
可选的,所述控制节点还用于:
向所述备份存储节点推送冷备工具包。
可选的,所述备份存储节点包括:部署在组织内网的第一备份存储节点、部署在云环境的第二备份存储节点;所述冷备中心包括:开源冷备中心、定制化冷备中心和组织自有冷备中心;
所述第一备份存储节点,具体用于将其存储的数据文件传输至所述组织自有冷备中心和/或所述开源冷备中心;
所述第二备份存储节点,具体用于将其存储的数据文件传输至所述定制化冷备中心。
可选的,所述备份存储节点具体用于:
按照预设的文件切分单元,对待冷备的数据文件进行数据切分处理,得到多个子数据文件;
将所述多个子数据文件并行地传输至所述冷备中心。
可选的,所述备份存储节点还用于:
在传输所述数据文件之前,根据所述数据文件确定所述数据文件对应的文件校验码;所述文件校验码用于在被冷备的所述数据文件被使用时校验所述数据文件的有效性。
可选的,所述备份存储节点还用于:
在传输所述多个子数据文件之前,针对所述多个子数据文件分别进行加密处理,得到所述多个子数据文件各自对应的加密数据文件;
所述备份存储节点,具体用于将所述多个子数据文件各自对应的加密数据文件并行地传输至所述冷备中心。
可选的,所述数据冷备系统还包括:配置中心;
所述配置中心,用于存储所述多个子数据文件对应的文件传输记录;所述文件传输记录为拼接所述多个子数据文件的依据。
可选的,所述备份存储节点包括:用于存储业务数据文件的业务备份存储节点;
所述控制节点,还用于响应业务自助冷备请求,生成业务自助冷备任务,并向所述业务备份存储节点推送所述业务自助冷备任务;所述业务自助冷备请求用于请求对所述业务备份存储节点中存储的数据文件进行冷备;
所述业务备份存储节点,用于执行所述业务自助冷备任务,控制所述主存储节点停止数据读写,同步所述主存储节点存储的业务数据文件;将其存储的业务数据文件传输至所述冷备中心。
可选的,所述业务备份存储节点还用于:
判断所述业务备份存储节点是否正在执行所述冷备任务;
若是,则清理所述冷备任务的执行环境,执行所述业务自助冷备任务。
本申请第二方面提供了一种数据冷备方法,应用于数据冷备系统,所述数据冷备系统包括:控制节点、主存储节点、备份存储节点和冷备中心;所述数据冷备系统的运行依赖于目标操作系统;所述备份存储节点中包括冷备检查模块;所述方法包括:
所述控制节点在数据冷备时间向所述备份存储节点推送冷备任务;
所述备份存储节点执行所述冷备任务,将其存储的数据文件传输至所述冷备中心;所述备份存储节点存储的数据文件是所述主存储节点通过数据热备份操作传输过来的;
所述目标操作系统在第一检测时间检测所述备份存储节点是否执行所述冷备任务;若检测到所述备份存储节点未执行所述冷备任务,向所述备份存储节点推送所述冷备任务;所述第一检测时间晚于所述数据冷备时间;
所述冷备检查模块在第二检测时间检测所述备份存储节点是否执行所述冷备任务;若检测到所述备份存储节点未执行所述冷备任务,触发所述备份存储节点将其存储的数据文件传输至所述冷备中心;所述第二检测时间晚于所述数据冷备时间。
可选的,所述方法还包括:
控制节点向所述备份存储节点推送冷备工具包。
可选的,在所述备份存储节点包括部署在组织内网的第一备份存储节点、部署在云环境的第二备份存储节点,所述冷备中心包括开源冷备中心、定制化冷备中心和组织自有冷备中心的情况下,所述方法还包括:
第一备份存储节点将其存储的数据文件传输至所述组织自有冷备中心和/或所述开源冷备中心;
第二备份存储节点将其存储的数据文件传输至所述定制化冷备中心。
可选的,所述备份存储节点执行所述冷备任务,将其存储的数据文件传输至所述冷备中心,包括:
按照预设的文件切分单元,对待冷备的数据文件进行数据切分处理,得到多个子数据文件;
将所述多个子数据文件并行地传输至所述冷备中心。
可选的,所述方法还包括:
备份存储节点在传输所述数据文件之前,根据所述数据文件确定所述数据文件对应的文件校验码;所述文件校验码用于在被冷备的所述数据文件被使用时校验所述数据文件的有效性。
可选的,所述方法还包括:
备份存储节点在传输所述多个子数据文件之前,针对所述多个子数据文件分别进行加密处理,得到所述多个子数据文件各自对应的加密数据文件;
则所述将所述多个子数据文件并行地传输至所述冷备中心,包括:
将所述多个子数据文件各自对应的加密数据文件并行地传输至所述冷备中心。
可选的,在所述数据冷备系统还包括配置中心的情况下,所述方法还包括:
配置中心存储所述多个子数据文件对应的文件传输记录;所述文件传输记录为拼接所述多个子数据文件的依据。
可选的,在所述备份存储节点包括用于存储业务数据文件的业务备份存储节点的情况下,所述方法还包括:
控制节点响应业务自助冷备请求,生成业务自助冷备任务,并向所述业务备份存储节点推送所述业务自助冷备任务;所述业务自助冷备请求用于请求对所述业务备份存储节点中存储的数据文件进行冷备;
业务备份存储节点执行所述业务自助冷备任务,控制所述主存储节点停止数据读写,同步所述主存储节点存储的业务数据文件;将其存储的业务数据文件传输至所述冷备中心。
可选的,所述方法还包括:
判断所述业务备份存储节点是否正在执行所述冷备任务;
若是,则清理所述冷备任务的执行环境,执行所述业务自助冷备任务。
本申请第三方面提供了一种设备,所述设备包括处理器以及存储器:
所述存储器用于存储计算机程序;
所述处理器用于根据所述计算机程序,执行如上述第二方面所述的数据冷备方法的步骤。
本申请第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述第二方面所述的数据冷备方法的步骤。
本申请第五方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第二方面所述的数据冷备方法的步骤。
从以上技术方案可以看出,本申请实施例具有以下优点:
本申请实施例提供了一种数据冷备系统,该数据冷备系统包括控制节点、主存储节点、备份存储节点和冷备中心,备份存储节点中包括冷备检查模块,该数据冷备系统的运行依赖于目标操作系统;其中,控制节点用于在数据冷备时间向备份存储节点推送冷备任务;备份存储节点用于执行冷备任务,将其存储的数据文件传输至冷备中心,备份存储节点存储的数据文件是主存储节点通过数据热备份操作传输过来的;目标操作系统用于在第一检测时间检测备份存储节点是否执行冷备任务,并在检测到备份存储节点没有执行冷备任务的情况下,再次向备份存储节点推送冷备任务,此处的第一检测时间晚于数据冷备时间;冷备检查模块用于在第二检测时间检测备份存储节点是否执行冷备任务,并在检测到备份存储节点没有执行冷备任务的情况下,触发备份存储节点将其存储的数据文件传输冷备中心,此处的第二检测时间晚于数据冷备时间。在上述数据冷备系统中,除了可以由控制节点触发备份存储节点执行冷备任务,将其存储的数据文件传输至冷备中心存储外,还可以由数据冷备系统运行所依赖的目标操作系统、以及备份存储节点中的冷备检查模块检测备份存储节点的冷备任务执行情况,并在检测到备份存储节点没有完成冷备任务的情况下,重新控制备份存储节点执行冷备任务;如此,通过多重监控机制监测备份存储节点的冷备任务执行情况,以保证数据冷备任务的成功率,防止发生数据没有被成功冷备至冷备中心的情况发生。
附图说明
图1为本申请实施例提供的数据冷备系统的结构示意图;
图2为本申请实施例提供的一种数据冷备系统的工作原理示意图;
图3为本申请实施例提供的另一种数据冷备系统的工作原理示意图;
图4为本申请实施例提供的数据冷备系统的工作流程示意图;
图5为本申请实施例提供的另一种数据冷备系统的工作原理示意图;
图6为本申请实施例提供的数据冷备方法的流程示意图;
图7为本申请实施例提供的服务器的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
相关技术中,进行数据冷备时,通常只是周期性地将备份存储节点中存储的数据文件传输至冷备中心存储,这种数据冷备方式的可靠性较差,难以保证数据冷备的成功率,容易造成执行数据冷备任务时部分数据没有被成功冷备的情况发生。
针对上述相关技术存在的问题,本申请实施例提供了一种数据冷备系统,该数据冷备系统能够有效地保证数据冷备的成功率,避免数据没有被成功冷备的情况发生。
具体的,本申请实施例提供的数据冷备系统包括:控制节点、主存储节点、备份存储节点和冷备中心,备份存储节点中包括冷备检查模块,该数据冷备系统的运行依赖于目标操作系统;其中,控制节点用于在数据冷备时间向备份存储节点推送冷备任务;备份存储节点用于执行冷备任务,将其存储的数据文件传输至冷备中心,备份存储节点存储的数据文件是主存储节点通过数据热备份操作传输过来的;目标操作系统用于在第一检测时间检测备份存储节点是否执行冷备任务,并在检测到备份存储节点没有执行冷备任务的情况下,再次向备份存储节点推送冷备任务,此处的第一检测时间晚于数据冷备时间;冷备检查模块用于在第二检测时间检测备份存储节点是否执行冷备任务,并在检测到备份存储节点没有执行冷备任务的情况下,触发备份存储节点将其存储的数据文件传输冷备中心,此处的第二检测时间晚于数据冷备时间。
在上述数据冷备系统中,除了可以由控制节点触发备份存储节点执行冷备任务,将其存储的数据文件传输至冷备中心存储外,还可以由数据冷备系统运行所依赖的目标操作系统、以及备份存储节点中的冷备检查模块检测备份存储节点的冷备任务执行情况,并在检测到备份存储节点没有完成冷备任务的情况下,重新控制备份存储节点执行冷备任务;如此,通过多重监控机制监测备份存储节点的冷备任务执行情况,以保证数据冷备任务的成功率,防止发生数据没有被成功冷备至冷备中心的情况发生。
需要说明的是,上述数据冷备系统中包括的控制节点、主存储节点、备份存储节点和冷备中心可以部署在不同的服务器上,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。在本申请公开的数据冷备系统中,用于部署控制节点的服务器、用于部署主存储节点的服务器、用于部署备份存储节点的服务器和用于部署冷备中心的服务器可以组成一区块链,每个服务器均为区块链上的节点。
下面通过系统实施例对本申请提供的数据冷备系统进行详细介绍。
参见图1,图1为本申请实施例提供的数据冷备系统的结构示意图。如图1所示,该数据冷备系统包括控制节点110、主存储节点120、备份存储节点130和冷备中心140,备份存储节点130中包括冷备检查模块131,该数据冷备系统的运行依赖于目标操作系统(图1中未示出)。
如图1所示,在数据冷备系统中,控制节点110可以通过网络与主存储节点120和备份存储节点130进行通信;具体的,控制节点110可以对主存储节点120进行控制,例如,控制主存储节点120进行数据文件的读写,控制主存储节点120执行数据热备份任务等;控制节点110也可以对备份存储节点130进行控制,例如,控制备份存储节点130执行数据冷备份任务等。主存储节点120与备份存储节点130之间可以通过网络进行通信,主存储节点120执行数据热备份任务时,可以将其存储的数据文件通过网络传输至备份存储节点130。备份存储节点130与冷备中心140之间可以通过该网络进行通信,备份存储节点130执行数据冷备份任务(本文中又可简称为冷备任务)时,可以将其存储的数据文件通过网络传输至冷备中心140。
应理解,图1所示的数据冷备系统的结构仅为示例,在实际应用中,本申请实施例提供的数据冷备系统可以为分布式存储系统,其中可以包括多个主存储节点、多个备份存储节点和多个冷备中心;多个主存储节点与多个备份存储节点之间可以为一对一的关系,也可以为一对多的关系,还可以为多对一的关系;多个备份存储节点与多个冷备中心之间可以为一对一的关系,也可以为一对多的关系,还可以为多对一的关系。在此不对本申请实施例提供的数据冷备系统中包括的主存储节点的数量、备份存储节点的数量、以及冷备中心的数量做任何限定,也不对主存储节点与备份存储节点之间的对应关系、以及备份存储节点与冷备中心之间的对应关系做任何限定。
参见图2,图2为本申请实施例提供的一种数据冷备系统的工作原理示意图。
如图2所示,控制节点110用于在数据冷备时间向备份存储节点130推送冷备任务。具体实现时,控制节点110可以在数据冷备时间向备份存储节点130发送冷备任务指示信息,以指示备份存储节点120执行冷备任务,如此实现冷备任务的推送。
应理解,通常情况下,数据冷备系统需要周期性地执行冷备任务,例如每天执行一次冷备任务;相应地,控制节点110需要在每个工作周期内的数据冷备时间向备份存储节点130推送冷备任务,例如,控制节点110在每天特定的数据冷备时间向备份存储节点130推送冷备任务。上述数据冷备时间可以是预先设定的,示例性的,可以设定业务低谷期(如凌晨等)作为数据冷备时间,当然,在实际应用中,也可以结合业务实际情况设定该数据冷备时间,本申请在此不对该数据冷备时间做任何限定。
需要说明的是,在数据冷备系统中包括多个备份存储节点130的情况下,控制节点110可以在数据冷备时间向多个备份存储节点130同时推送冷备任务,也可以预先针对多个备份存储节点130分别设置对应的数据冷备时间,在某个备份存储节点130对应的数据冷备时间,相应地向该备份存储节点130推送冷备任务。
在一种可能的实现方式中,控制节点110除了可以向备份存储节点130推送冷备任务外,还可以向备份存储节点130推送冷备工具包,该冷备工具包即为用于执行冷备任务时所需使用的软件工具包。
示例性的,控制节点110可以在向备份存储节点130推送冷备任务的同时,向该备份存储节点130推送冷备工具包;例如,控制节点110可以在冷备任务指示信息中添加冷备工具包,进而将该冷备任务指示信息发送给备份存储节点130。或者,控制节点110也可以在向备份存储节点130推送冷备任务之前,向备份存储节点130推送冷备工具包。本申请在此不对控制节点110向备份存储节点130推送冷备工具包的时间做任何限定。
如此,控制节点110将冷备工具包推送至备份存储节点130,可以避免因冷备存储节点130上部署的冷备工具包损坏而导致冷备任务无法顺利执行的情况发生,进一步保证了数据冷备任务的成功率。
如图2所示,备份存储节点130用于执行冷备任务,将其存储的数据文件传输至冷备中心140,此处备份存储节点存储的数据文件是主存储节点120通过数据热备份存储传输过来的。具体的,备份存储节点130接收到控制节点110发送的冷备任务指示信息后,可以执行冷备任务,关闭自身与主存储节点120之间的数据传输通道,不再更新自身存储的数据文件,进而,通过网络将自身此时存储的数据文件(即主存储节点120在本工作周期内通过数据热备份操作传输过来的数据文件)传输至冷备中心140,并在完成数据文件的传输后,删除自身存储的该数据文件。
在实际应用中,数据存储系统的运行通常需要依赖于操作系统,本申请实施例提供的数据冷备系统的运行需要依赖于目标操作系统。在本申请实施例提供的技术方案中,数据冷备系统运行所依赖的目标操作系统,用于在第一检测时间检测数据冷备系统中的备份存储节点130是否执行冷备任务,并在检测到备份存储节点130未执行冷备任务的情况下,向备份存储节点130再次推送冷备任务,上述第一检测时间晚于数据冷备时间。
本申请实施例提供的技术方案从目标操作系统的维度设置了一重数据冷备监测机制。即,目标操作系统可以在第一检测时间检测备份存储节点130是否执行完成冷备任务,在同一工作周期内第一检测时间相比数据冷备时间更靠后;例如,目标操作系统可以通过检查备份存储节点130中是否仍存储有本工作周期产生的数据文件,来检测备份存储节点130是否执行完成冷备任务;又例如,目标操作系统也可以通过检查冷备中心140中是否存储有本工作周期产生的数据文件,来检测备份存储节点130是否执行完成冷备任务;再例如,目标操作系统还可以通过检测配置中心中存储的数据传输记录(是在备份存储节点130将其存储的数据文件冷备份至冷备中心140时产生的记录),来检测备份存储节点130是否执行完成冷备任务;本申请在此不对目标操作系统检测备份存储节点130是否执行完成冷备任务的实现方式做任何限定。
若目标操作系统检测到备份存储节点130未执行完成冷备任务,例如,目标操作系统检测到备份存储节点130中仍存储有本工作周期内产生的数据文件,或者检测到冷备中心140中没有存储本工作周期内产生的数据文件,又或者检测到配置中心中没有存储对应的数据传输记录,等等,则目标操作系统会再次向备份存储节点130推送冷备任务,例如,再次向备份存储节点130发送冷备任务指示信息,以指示备份存储节点130执行冷备任务。
应理解,在数据冷备系统中包括多个备份存储节点130的情况下,目标操作系统需要通过上述方式针对多个备份存储节点130检测其是否执行完成冷备任务;具体的,目标操作系统可以在第一检测时间针对多个备份存储节点130分别检测其是否执行完成冷备任务,或者,也可以预先针对多个备份存储节点分别设置对应的第一检测时间,在某个备份存储节点对应的第一检测时间针对该备份存储节点检测其是否执行完成冷备任务。
此外,在数据冷备系统中包括多个备份存储节点130的情况下,目标操作系统可以仅针对所检测到的未执行完成冷备任务的备份存储节点130再次推送冷备任务,无需针对每个备份存储节点130均重新推送冷备任务。
在本申请实施例提供的技术方案中,备份存储节点130中部署有冷备检查模块131,该冷备检查模块131用于在第二检测时间检测备份存储节点130是否执行冷备任务,并在检测到备份存储节点130未执行冷备任务的情况下,触发备份存储节点130将其存储的数据文件传输至冷备中心140,此处的第二检测时间也晚于数据冷备时间。
具体的,开发备份存储节点130时可以在备份存储节点130中部署冷备检查模块131,并且针对该冷备检查模块131设置冷备检查任务,用于在每个工作周期内的第二检测时间检查备份存储节点130是否执行完成冷备任务。应理解,在同一工作周期内第二检测时间相比数据冷备时间更靠后,该第二检测时间可以早于第一检测时间,也可以晚于第一检测时间。
实际工作时,冷备检查模块131可以在第二检测时间检测备份存储节点130是否执行完成冷备任务,例如,冷备检查模块131可以在第二检测时间,检测备份存储节点130中是否仍存储有本工作周期内产生的数据文件;当然,在实际应用中,冷备检查模块131也可以采用其它方式检测备份存储节点130是否执行完成冷备任务,本申请在此不对冷备检查模块131检测备份存储节点130是否执行完成冷备任务的实现方式做任何限定。若冷备检查模块131检测到备份存储节点130未执行完成冷备任务,例如,检测到备份存储节点130中仍存储有本工作周期内产生的数据文件,等等,则冷备检查模块131需要控制备份存储节点130重新执行冷备任务,即将自身存储的数据文件通过网络传输至冷备中心140。
应理解,在数据冷备系统包括多个备份存储节点130的情况下,每个备份存储节点130中均部署有冷备检查模块131,冷备检查模块131专用于检测自身所属的备份存储节点130是否执行完成冷备任务,并在检测到自身所属的备份存储节点130未执行完成冷备任务的情况下,触发该备份存储节点130执行冷备任务。此外,对于不同的备份存储节点130中的冷备检查模块131,其对应的第二检测时间可以相同,也可以不同。
在上述数据冷备系统中,除了可以由控制节点触发备份存储节点执行冷备任务,将其存储的数据文件传输至冷备中心存储外,还可以由数据冷备系统运行所依赖的目标操作系统、以及备份存储节点中的冷备检查模块检测备份存储节点的冷备任务执行情况,并在检测到备份存储节点没有完成冷备任务的情况下,重新控制备份存储节点执行冷备任务;如此,通过多重监控机制监测备份存储节点的冷备任务执行情况,以保证数据冷备任务的成功率,防止发生数据没有被成功冷备至冷备中心的情况发生。
在实际应用中,本申请实施例提供的数据冷备系统可以为分布式存储系统,分布式存储系统中通常包括多个备份存储节点,不同的备份存储节点可能部署在不同的地域或者不同的网络环境中,如何兼容不同的地域或者不同的网络环境中的备份存储节点,保证各备份存储节点均能顺利地执行冷备任务,也是目前亟待解决的技术问题。
为了解决上述技术问题,本申请实施例在图1所示的数据冷备系统的基础上,进一步提出了另一种数据冷备系统。参见图3,图3为本申请实施例提供的另一种数据冷备系统的工作原理示意图。
如图3所示,该数据冷备系统中包括多种备份存储节点,分别是部署在组织内网的第一备份存储节点1301、部署在云环境的第二备份存储节点1302;该数据冷备系统中还包括多种冷备中心,分别是开源冷备中心1401、定制化冷备中心1402和组织自有冷备中心1403。
其中,第一备份存储节点1301用于将其存储的数据文件传输至组织自有冷备中心1403和/或开源冷备中心1401。示例性的,假设第一备份存储节点1301为部署在企业内网的备份存储节点,该第一备份存储节点1301执行冷备任务时,可以将其存储的数据文件传输至企业自有的冷备中心1403,如企业适应于自身的网络环境开发的冷备中心;和/或,第一备份存储节点1301执行冷备任务时,也可以将其存储的数据文件传输至开源冷备中心1401,如gluster等。
其中,第二备份存储节点1302用于将其存储的数据文件传输至定制化冷备中心1402。示例性的,对于部署在云环境中的第二备份存储节点1302,可以优先选择针对云环境定制的冷备中心1402,如AWS S3等。
在实际应用中,对于部署在其它环境(如无定制化冷备中心的云环境、私有部署的网络环境)中的备份存储节点130,可以直接将其存储的数据文件传输至开源冷备中心1401存储。
如此,在本申请实施例提供的数据冷备系统中部署多种冷备中心,使得部署在不同地域或者不同网络环境中的备份存储节点能够将其存储的数据文件相应地传输至与其所处地域或者网络环境相适配的冷备中心,从而保证分布式存储系统中各备份存储节点均能顺利地执行冷备任务。
在实际应用中,备份存储节点130执行冷备任务时经常会花费很长的时间,并且冷备任务的执行时长难以控制。究其原因在于,备份存储节点130执行冷备任务时会将其存储的各个数据文件并行地传输至冷备中心140,冷备任务的执行时长取决于备份存储节点130中存储的最大的数据文件,由于备份存储节点130中存储的数据文件的大小通常是不固定的,因此会导致冷备任务的执行时长不可控。考虑到在很多情况下对于冷备任务的执行时长具有一定的要求,若冷备任务的执行时长超过所规定的时间阈值,则会将此次冷备任务视为失败的冷备任务。
为了解决上述技术问题,本申请实施例在图1所示的数据冷备系统的基础上,进一步提出了另一种数据冷备系统。参见图4,图4为本申请实施例提供的该种数据冷备系统的工作流程示意图。
如图4所示,在该种数据冷备系统中,备份存储节点130具体用于按照预设的文件切分单元,对待冷备的数据文件进行数据切分处理,得到多个子数据文件,进而,将多个子数据文件并行地传输至冷备中心140,如此实现冷备任务的执行。
具体的,备份存储节点130可以预先根据实际需求设置文件切分单元,备份存储节点130向冷备中心140传输其存储的数据文件之前,可以针对所需传输的各个数据文件分别按照该文件切分单元进行数据切分处理,得到各个数据文件各自对应的子数据文件;相应地,备份存储节点130执行冷备任务时,可以将各个数据文件各自对应的子数据文件传输至冷备中心140。
示例性的,假设备份存储节点130预先设置的文件切分单元为4GB,备份存储节点130向冷备中心140传输其存储的数据文件前,可以按照该文件切分单元,对待传输的各数据文件分别进行数据切分处理;例如,文件大小为30GB的数据文件将被切分为8个子数据文件,文件大小为8GB的数据文件将被切分为2个子数据文件,文件大小为3GB的数据文件将不会被切分,其自身即为自身的子数据文件;进而,备份存储节点130可以将各数据文件各自的子数据文件并行地传输至冷备中心140。
应理解,在实际应用中,备份存储节点130执行冷备任务时,可以分多批次将不同的数据文件各自的子数据文件并行地传输至冷备中心140,即备份存储节点130可以不必一次性地将其存储的所有数据文件均并行地传输至冷备中心140。
如此,可以保证并行传输至冷备中心140的数据文件的大小基本均衡,冷备任务的执行时长可以基本可控,不会发生因需要向冷备中心传输的数据文件过大而导致冷备任务的执行时长超过规定的时间区域,冷备任务被视为失败的情况,有利于准确地估计冷备任务的执行进度。
此外,为了实现对于冷备的数据文件的校验机制,备份存储节点130还用于在传输数据文件之前,针对每个数据文件,根据该数据文件确定该数据文件对应的文件校验码,该文件校验码用于在被冷备的数据文件被使用时校验该数据文件的有效性。
具体的,备份存储节点130可以在执行冷备任务之前,采用特定的校验码算法,针对待传输至冷备中心140的数据文件计算其对应的文件校验码,如MD5校验码(MD5 SUM)等;此处的数据文件可以为未被切分的完整的数据文件,也可以为经数据切分处理后得到的子数据文件。该文件校验码可以在检测到该数据文件后续被使用时校验该数据文件的有效性。
示例性的,备份存储节点130针对待冷备的数据文件计算得到对应的文件校验码后,可以将该文件校验码存储至配置中心;后续检测到该数据文件被调用时,可以针对被调用的数据文件再次计算对应的文件校验码;进而,对比该文件校验码与配置中心存储的该数据文件对应的文件校验码是否一致,若一致,则说明该数据文件未被篡改,具有有效性,反之,若不一致,则说明该数据文件已被篡改,其已失效。
此外,为了确保冷备的数据文件的安全性,备份存储节点130还用于在传输多个子数据文件之前,针对多个子数据文件分别进行加密处理,得到多个子数据文件各自对应的加密数据文件;进而,备份存储节点130可以将多个子数据文件各自对应的加密数据文件并行地传输至冷备中心140。
具体的,备份存储节点130可以在执行冷备任务之前,针对其通过数据切分处理得到的多个子数据文件分别进行加密处理,得到多个子数据文件各自对应的加密数据文件,此处的加密处理是指采用特定的加密工具加密子数据文件,该加密工具可以是开源的加密工具,也可以是根据实际应用需求编写的加密工具。进而,备份存储节点130执行冷备任务时,可以将多个子数据文件各自对应的加密数据文件并行地传输至冷备中心140。
应理解,在实际应用中,备份存储节点130可以对需要传输至冷备中心140的每个数据文件均进行加密处理,即加密处理的对象不仅限于经过数据切分处理得到的子数据文件,还包括未经过数据切分处理的完整的数据文件。
如此,确保被冷备的数据文件的安全性,防止在备份存储节点130向冷备中心140传输数据文件的过程中,所传输的数据文件被不法分子盗用,为用户造成损失。
此外,正如上文所提及的,本申请实施例提供的数据冷备系统还可以包括配置中心,该配置中心用于存储多个子数据文件对应的文件传输记录,该文件传输记录为拼接多个子数据文件的依据。
具体的,在本申请实施例提供的数据冷备系统中,配置中心用于在备份存储节点130执行冷备任务时相应地生成并存储文件传输记录,即备份存储节点130每向冷备中心140传输一个数据文件,配置中心即会相应地生成并存储一个对应的文件传输记录。
在备份存储节点130向冷备中心140传输的数据文件为经过数据切分处理得到的多个子数据文件的情况下,配置中心可以针对每个子数据文件,根据该子数据文件所属的数据文件、以及该子数据文件在其所属的数据文件中的顺序,生成该子数据文件对应的文件传输记录,进而存储该文件传输记录;若后续需要将所属于某一数据文件的多个子数据文件拼接起来,则可以从配置中心中调取所属于该数据文件的多个子数据文件各自对应的文件传输记录,进而,根据这多个子数据文件各自对应的文件传输记录,拼接所属于该数据文件的多个子数据文件。
应理解,在实际应用中,也可以由备份存储节点130生成文件传输记录,并将文件传输记录发送给配置中心存储,本申请在此不对生成文件传输记录的执行主体做任何限定。此外,配置中心还可以用于存储上文中的文件校验码,即备份存储节点针对数据文件计算得到文件校验码后,可以将该文件校验码存储至该配置中心。
在实际应用中,业务方有时需要自主发起冷备任务,针对相关的业务数据专门进行数据冷备,而目前的数据冷备系统通常仅支持针对系统内部存储的所有数据文件统一进行数据冷备,这在很多情况下无法满足业务方实际的数据冷备需求,对于很多业务方来说这种数据冷备机制过于死板。
为了解决上述技术问题,本申请实施例提出了一种业务自助冷备机制,支持业务方随时自主发起冷备任务。参见图5,图5为本申请实施例提供的另一种数据冷备系统的工作原理示意图。
如图5所示,在该种数据冷备系统中,备份存储节点130可以包括用于存储业务数据文件的业务备份存储节点1303。其中,控制节点110还用于响应业务自助冷备请求,生成业务自助冷备任务,并向业务备份存储节点1303推送该业务自助冷备任务;此处的业务自助冷备请求用于请求对业务备份存储节点1303中存储的数据文件进行冷备。相应地,业务备份存储节点1303用于执行该业务自助冷备任务,控制主存储节点120停止数据读写,并且同步该主存储节点120存储的业务数据文件,进而将自身存储的业务数据文件传输至冷备中心140。
对于同一业务来说,数据冷备系统中可以包括一个或多个用于存储与该业务相关的业务数据文件的业务备份存储节点1303,如若该业务对应的业务方发起业务自助冷备请求,则需要触发这一个或多个业务备份存储节点1303同时执行业务自助冷备任务。此外,为了适应实际的业务需求,需要保证业务备份存储节点1303中存储的业务数据文件与其对应的主存储节点120中存储的业务数据文件完全一致,才能对业务数据文件进行数据冷备处理,在此过程中主存储节点120中存储的业务数据文件不可更新。此外,考虑到业务自助冷备任务的特殊性和及时性,通常设置业务自助冷备任务的优先级高于系统冷备任务(即在每个工作周期定时执行的冷备任务)的优先级,即若在执行系统冷备任务时接收到所推送的业务自助冷备任务,则需要停止正在执行的系统冷备任务,清理该系统冷备任务的执行环境,进而执行业务自助冷备任务。
具体实现时,业务方可以根据自身的实际需求随时发起业务自助冷备;例如,业务方可以通过浏览器提单的方式发起业务自助冷备,相应地,web服务器将生成业务自助冷备请求发送给控制节点110。控制节点110接收到业务自助冷备请求后,可以将其接收到业务自助冷备请求的记录传输给配置中心,并且相应地生成业务自助冷备任务推送给对应的业务备份存储节点1303;该业务备份存储节点1303是用于存储与上述业务方的业务相关的业务数据文件的备份存储节点;在数据冷备系统中包括多个用于存储与上述业务方的业务相关的业务数据文件的业务备份存储节点1303的情况下,控制节点110需要将其生成的业务自助冷备任务推送给这多个业务备份存储节点1303。
业务备份存储节点1303接收到业务自助冷备任务后,可以判断该业务是否设置了完全同步冷备选项。若是,则该业务备份存储节点1303需要向其对应的主存储节点120发送数据读写停止请求,以通过该数据读写停止请求控制该主存储节点120停止数据的读写,保证该主存储节点120中存储的数据文件不再更新,然后,使自身存储的业务数据文件与其对应的主存储节点120中存储的业务数据文件完全同步,进而,再将自身存储的业务数据文件传输至冷备中心140,完成业务数据文件的自助冷备。反之,若否,则该业务备份存储节点1303可以关闭自身与其对应的主存储节点120之间的数据传输通道,然后直接将自身当前存储的业务数据文件传输至冷备中心140。
需要说明的是,在实际应用中的大多数情况下,需要保证业务备份存储节点1303与其对应的主存储节点120中存储的业务数据文件完全一致,才能对业务数据文件进行数据冷备;因此,在一些实现方式中,也可以不用判断业务是否设置了完全同步冷备选项,默认需要主存储节点120与业务备份存储节点1303完全同步才能进行数据冷备,即直接控制主存储节点120停止数据的读写,并在业务备份存储节点1303与其对应的主存储节点120中存储的业务数据文件完全一致的情况下,将业务数据文件传输至冷备中心140。
此外,正如上文所提及的,业务自助冷备任务的优先级通常高于系统冷备任务的优先级,基于此,业务备份存储节点1303还用于判断自身是否正在执行冷备任务,若是,则清理该冷备任务的执行环境,进而再执行业务自助冷备任务。
具体的,业务备份存储节点1303接收到控制节点110推送的业务自助冷备任务后,可以判断自身当前是否正在执行系统冷备任务(即每个工作周期定时执行的冷备任务)。若是,则业务备份存储节点130需要停止其当前正在执行的系统冷备任务,并且清理该系统冷备任务的执行环境,即将当前的执行环境恢复成未执行该系统冷备任务时的环境;进而,再执行控制节点110推送的业务自助冷备任务。反之,若否,则业务备份存储节点130可以直接执行控制节点110推送的业务自助冷备任务。
应理解,业务备份存储节点1303执行业务自助冷备任务的实现过程,与上文中介绍的业务存储节点130执行冷备任务的实现过程相同;即业务备份存储节点1303也可以在向冷备中心140传输业务数据文件之前,按照预设的文件切分单元对待传输的业务数据文件进行数据切分处理,得到多个子业务数据文件,进而并行地将这多个子数据文件传输至冷备中心140;业务备份存储节点1303也可以针对所要传输的业务数据文件计算对应的文件校验码,将该文件校验码存储至配置中心;业务备份存储节点1303也可以针对所要传输的业务数据文件进行加密处理,进而将加密后的业务数据文件传输至冷备中心140。
如此,在上述实现过程中,数据冷备系统支持处理业务方自主发起的冷备任务,可以针对相关的业务数据专门地进行数据冷备,从而满足实际应用中很多业务方的实际数据冷备需求。
本申请实施例还提供了一种数据冷备方法,该方法应用于图1所示的数据冷备系统,该数据冷备系统包括控制节点、主存储节点、备份存储节点和冷备中心,该数据冷备系统的运行依赖于目标操作系统,该备份存储节点中包括冷备检查模块。
参见图6,图6为本申请实施例提供的数据冷备方法的流程示意图。如图6所示,该数据冷备方法包括以下步骤:
步骤601:控制节点在数据冷备时间向所述备份存储节点推送冷备任务。
步骤602:备份存储节点执行所述冷备任务,将其存储的数据文件传输至所述冷备中心;所述备份存储节点存储的数据文件是所述主存储节点通过数据热备份操作传输过来的。
步骤603:目标操作系统在第一检测时间检测所述备份存储节点是否执行所述冷备任务;若检测到所述备份存储节点未执行所述冷备任务,向所述备份存储节点推送所述冷备任务;所述第一检测时间晚于所述数据冷备时间。
步骤604:冷备检查模块在第二检测时间检测所述备份存储节点是否执行所述冷备任务;若检测到所述备份存储节点未执行所述冷备任务,触发所述备份存储节点将其存储的数据文件传输至所述冷备中心;所述第二检测时间晚于所述数据冷备时间。
可选的,所述方法还包括:
控制节点向所述备份存储节点推送冷备工具包。
可选的,在所述备份存储节点包括部署在组织内网的第一备份存储节点、部署在云环境的第二备份存储节点,所述冷备中心包括开源冷备中心、定制化冷备中心和组织自有冷备中心的情况下,所述方法还包括:
第一备份存储节点将其存储的数据文件传输至所述组织自有冷备中心和/或所述开源冷备中心;
第二备份存储节点将其存储的数据文件传输至所述定制化冷备中心。
可选的,所述备份存储节点执行所述冷备任务,将其存储的数据文件传输至所述冷备中心,包括:
按照预设的文件切分单元,对待冷备的数据文件进行数据切分处理,得到多个子数据文件;
将所述多个子数据文件并行地传输至所述冷备中心。
可选的,所述方法还包括:
备份存储节点在传输所述数据文件之前,根据所述数据文件确定所述数据文件对应的文件校验码;所述文件校验码用于在被冷备的所述数据文件被使用时校验所述数据文件的有效性。
可选的,所述方法还包括:
备份存储节点在传输所述多个子数据文件之前,针对所述多个子数据文件分别进行加密处理,得到所述多个子数据文件各自对应的加密数据文件;
则所述将所述多个子数据文件并行地传输至所述冷备中心,包括:
将所述多个子数据文件各自对应的加密数据文件并行地传输至所述冷备中心。
可选的,在所述数据冷备系统还包括配置中心的情况下,所述方法还包括:
配置中心存储所述多个子数据文件对应的文件传输记录;所述文件传输记录为拼接所述多个子数据文件的依据。
可选的,在所述备份存储节点包括用于存储业务数据文件的业务备份存储节点的情况下,所述方法还包括:
控制节点响应业务自助冷备请求,生成业务自助冷备任务,并向所述业务备份存储节点推送所述业务自助冷备任务;所述业务自助冷备请求用于请求对所述业务备份存储节点中存储的数据文件进行冷备;
业务备份存储节点执行所述业务自助冷备任务,控制所述主存储节点停止数据读写,同步所述主存储节点存储的业务数据文件;将其存储的业务数据文件传输至所述冷备中心。
可选的,所述方法还包括:
判断所述业务备份存储节点是否正在执行所述冷备任务;
若是,则清理所述冷备任务的执行环境,执行所述业务自助冷备任务。
在上述数据冷备方法中,除了可以由控制节点触发备份存储节点执行冷备任务,将其存储的数据文件传输至冷备中心存储外,还可以由数据冷备系统运行所依赖的目标操作系统、以及备份存储节点中的冷备检查模块检测备份存储节点的冷备任务执行情况,并在检测到备份存储节点没有完成冷备任务的情况下,重新控制备份存储节点执行冷备任务;如此,通过多重监控机制监测备份存储节点的冷备任务执行情况,以保证数据冷备任务的成功率,防止发生数据没有被成功冷备至冷备中心的情况发生。并且,在本申请实施例提供的数据冷备系统中部署多种冷备中心,使得部署在不同地域或者不同网络环境中的备份存储节点能够将其存储的数据文件相应地传输至与其所处地域或者网络环境相适配的冷备中心,从而保证分布式存储系统中各备份存储节点均能顺利地执行冷备任务。并且,还可以保证并行传输至冷备中心的数据文件的大小基本均衡,冷备任务的执行时长可以基本可控,不会发生因需要向冷备中心传输的数据文件过大而导致冷备任务的执行时长超过规定的时间区域,冷备任务被视为失败的情况,有利于准确地估计冷备任务的执行进度。并且,可以支持处理业务方自主发起的冷备任务,针对相关的业务数据专门地进行数据冷备,从而满足实际应用中很多业务方的实际数据冷备需求。
本申请实施例还提供了一种用于进行数据冷备设备,该设备具体可以是服务器,下面将从硬件实体化的角度对本申请实施例提供的服务器进行介绍。
参见图7,图7为本申请实施例提供的一种服务器700的结构示意图。该服务器700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(centralprocessing units,CPU)722(例如,一个或一个以上处理器)和存储器732,一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中,存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器722可以设置为与存储介质730通信,在服务器700上执行存储介质730中的一系列指令操作。
服务器700还可以包括一个或一个以上电源726,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口758,和/或,一个或一个以上操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图7所示的服务器结构。
CPU 722还可以用于执行本申请实施例提供的数据冷备方法的任意一种实现方式的步骤。
本申请实施例还提供一种计算机可读存储介质,用于存储计算机程序,该计算机程序用于执行前述各个实施例所述的一种数据冷备方法中的任意一种实施方式。
本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前述各个实施例所述的一种数据冷备方法中的任意一种实施方式。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(英文全称:Read-OnlyMemory,英文缩写:ROM)、随机存取存储器(英文全称:Random Access Memory,英文缩写:RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (11)

1.一种数据冷备系统,其特征在于,所述数据冷备系统包括:控制节点、主存储节点、备份存储节点和冷备中心;所述数据冷备系统的运行依赖于目标操作系统;所述备份存储节点中包括冷备检查模块;
所述控制节点,用于在数据冷备时间向所述备份存储节点推送冷备任务和冷备工具包,所述冷备工具包为用于执行冷备任务时所需使用的软件工具包;
所述备份存储节点,用于执行所述冷备任务,关闭自身与主存储节点之间的数据传输通道,将其存储的数据文件传输至所述冷备中心;所述备份存储节点存储的数据文件是所述主存储节点通过数据热备份操作传输过来的;
所述目标操作系统,用于在第一检测时间检测所述备份存储节点是否执行所述冷备任务;若检测到所述备份存储节点未执行所述冷备任务,向所述备份存储节点推送所述冷备任务;所述第一检测时间晚于所述数据冷备时间;
所述冷备检查模块,用于在第二检测时间检测自身所属的所述备份存储节点是否执行所述冷备任务;若检测到所述备份存储节点未执行所述冷备任务,触发所述备份存储节点将其存储的数据文件传输至所述冷备中心;所述第二检测时间晚于所述数据冷备时间。
2.根据权利要求1所述的系统,其特征在于,所述备份存储节点包括:部署在组织内网的第一备份存储节点、部署在云环境的第二备份存储节点;所述冷备中心包括:开源冷备中心、定制化冷备中心和组织自有冷备中心;
所述第一备份存储节点,具体用于将其存储的数据文件传输至所述组织自有冷备中心和/或所述开源冷备中心;
所述第二备份存储节点,具体用于将其存储的数据文件传输至所述定制化冷备中心。
3.根据权利要求1所述的系统,其特征在于,所述备份存储节点具体用于:
按照预设的文件切分单元,对待冷备的数据文件进行数据切分处理,得到多个子数据文件;
将所述多个子数据文件并行地传输至所述冷备中心。
4.根据权利要求1或3所述的系统,其特征在于,所述备份存储节点还用于:
在传输所述数据文件之前,根据所述数据文件确定所述数据文件对应的文件校验码;所述文件校验码用于在被冷备的所述数据文件被使用时校验所述数据文件的有效性。
5.根据权利要求3所述的系统,其特征在于,所述备份存储节点还用于:
在传输所述多个子数据文件之前,针对所述多个子数据文件分别进行加密处理,得到所述多个子数据文件各自对应的加密数据文件;
所述备份存储节点,具体用于将所述多个子数据文件各自对应的加密数据文件并行地传输至所述冷备中心。
6.根据权利要求3或5所述的系统,其特征在于,所述数据冷备系统还包括:配置中心;
所述配置中心,用于存储所述多个子数据文件对应的文件传输记录;所述文件传输记录为拼接所述多个子数据文件的依据。
7.根据权利要求1所述的系统,其特征在于,所述备份存储节点包括:用于存储业务数据文件的业务备份存储节点;
所述控制节点,还用于响应业务自助冷备请求,生成业务自助冷备任务,并向所述业务备份存储节点推送所述业务自助冷备任务;所述业务自助冷备请求用于请求对所述业务备份存储节点中存储的数据文件进行冷备;
所述业务备份存储节点,用于执行所述业务自助冷备任务,控制所述主存储节点停止数据读写,同步所述主存储节点存储的业务数据文件;将其存储的业务数据文件传输至所述冷备中心。
8.根据权利要求7所述的系统,其特征在于,所述业务备份存储节点还用于:
判断所述业务备份存储节点是否正在执行所述冷备任务;
若是,则清理所述冷备任务的执行环境,执行所述业务自助冷备任务。
9.一种数据冷备方法,其特征在于,应用于数据冷备系统,所述数据冷备系统包括:控制节点、主存储节点、备份存储节点和冷备中心;所述数据冷备系统的运行依赖于目标操作系统;所述备份存储节点中包括冷备检查模块;所述方法包括:
所述控制节点在数据冷备时间向所述备份存储节点推送冷备任务和冷备工具包,所述冷备工具包为用于执行冷备任务时所需使用的软件工具;
所述备份存储节点执行所述冷备任务,关闭自身与主存储节点之间的数据传输通道,将其存储的数据文件传输至所述冷备中心;所述备份存储节点存储的数据文件是所述主存储节点通过数据热备份操作传输过来的;
所述目标操作系统在第一检测时间检测所述备份存储节点是否执行所述冷备任务;若检测到所述备份存储节点未执行所述冷备任务,向所述备份存储节点推送所述冷备任务;所述第一检测时间晚于所述数据冷备时间;
所述冷备检查模块在第二检测时间检测自身所属的所述备份存储节点是否执行所述冷备任务;若检测到所述备份存储节点未执行所述冷备任务,触发所述备份存储节点将其存储的数据文件传输至所述冷备中心;所述第二检测时间晚于所述数据冷备时间。
10.一种电子设备,所述电子设备包括处理器以及存储器:
所述存储器用于存储计算机程序;
所述处理器用于根据所述计算机程序,执行如上述权利要求1至8中任意一项所述的数据冷备方法。
11.一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述权利要求1至8中任意一项所述的数据冷备方法。
CN202110286451.6A 2021-03-17 2021-03-17 一种数据冷备系统及方法 Active CN112860491B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110286451.6A CN112860491B (zh) 2021-03-17 2021-03-17 一种数据冷备系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110286451.6A CN112860491B (zh) 2021-03-17 2021-03-17 一种数据冷备系统及方法

Publications (2)

Publication Number Publication Date
CN112860491A CN112860491A (zh) 2021-05-28
CN112860491B true CN112860491B (zh) 2023-05-02

Family

ID=75995074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110286451.6A Active CN112860491B (zh) 2021-03-17 2021-03-17 一种数据冷备系统及方法

Country Status (1)

Country Link
CN (1) CN112860491B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280939A (ja) * 2002-03-25 2003-10-03 Toshiba Corp フォールトトレラントシステムにおけるプロセスペア実行制御方法、プロセスペア実行制御プログラム、及びフォールトトレラントシステム
CN103365740A (zh) * 2012-04-06 2013-10-23 腾讯科技(深圳)有限公司 一种数据冷备方法及装置
CN105550073A (zh) * 2016-03-10 2016-05-04 世纪龙信息网络有限责任公司 数据库备份方法及其系统
CN110612516A (zh) * 2017-04-28 2019-12-24 华睿泰科技有限责任公司 在备份失败后改善备份性能

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280939A (ja) * 2002-03-25 2003-10-03 Toshiba Corp フォールトトレラントシステムにおけるプロセスペア実行制御方法、プロセスペア実行制御プログラム、及びフォールトトレラントシステム
CN103365740A (zh) * 2012-04-06 2013-10-23 腾讯科技(深圳)有限公司 一种数据冷备方法及装置
CN105550073A (zh) * 2016-03-10 2016-05-04 世纪龙信息网络有限责任公司 数据库备份方法及其系统
CN110612516A (zh) * 2017-04-28 2019-12-24 华睿泰科技有限责任公司 在备份失败后改善备份性能

Also Published As

Publication number Publication date
CN112860491A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
Ramesh et al. A secured database monitoring method to improve data backup and recovery operations in cloud computing
US9912473B2 (en) Methods and computer systems with provisions for high availability of cryptographic keys
EP3518110B1 (en) Designation of a standby node
US10353790B1 (en) Disaster recovery rehearsals
US8417671B1 (en) Backup system including a primary backup server accessible via a VPN and an alternate backup server accessible via the internet
CN109151045B (zh) 一种分布式云系统及监控方法
US20120109919A1 (en) High availability database management system and database management method using same
CN102521083A (zh) 一种云计算系统中虚拟机备份方法和系统
KR20110044858A (ko) 데이터 센터들에 걸쳐 데이터 서버들내 데이터 무결정의 유지
CN104520869A (zh) 可信执行环境虚拟机克隆
WO2020224237A1 (zh) 区块链共识的方法、装置、设备及存储介质
WO2008078307A2 (en) Highly available cryptographic key storage (hacks)
US20210326211A1 (en) Data backup method, apparatus, and system
CN110807064A (zh) Rac分布式数据库集群系统中的数据恢复装置
CN115277727B (zh) 一种数据灾备方法、系统、装置及存储介质
CN113568568B (zh) 一种基于分布式存储的硬件加密方法、系统及装置
US20160139996A1 (en) Methods for providing unified storage for backup and disaster recovery and devices thereof
KR101024249B1 (ko) 실시간 데이터 복제 시스템
CN113190620B (zh) Redis集群之间数据的同步方法、装置、设备及存储介质
US11550677B2 (en) Client-less database system recovery
CN112860491B (zh) 一种数据冷备系统及方法
CN114328009A (zh) 基于虚拟化和快照的异构数据库统一容灾备份方法和装置
CN103902401A (zh) 基于监控的虚拟机容错方法及装置
CN106649744B (zh) 日志记录方法及装置
US10592160B1 (en) Systems and methods for monitoring data synchronization progress in a multi-hop data recovery system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40043472

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant