CN112261114A - 一种数据备份系统及方法 - Google Patents

一种数据备份系统及方法 Download PDF

Info

Publication number
CN112261114A
CN112261114A CN202011111552.1A CN202011111552A CN112261114A CN 112261114 A CN112261114 A CN 112261114A CN 202011111552 A CN202011111552 A CN 202011111552A CN 112261114 A CN112261114 A CN 112261114A
Authority
CN
China
Prior art keywords
data
server
remote
backed
storage server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011111552.1A
Other languages
English (en)
Inventor
刘亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Big Data Technologies Co Ltd
Original Assignee
New H3C Big Data Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Big Data Technologies Co Ltd filed Critical New H3C Big Data Technologies Co Ltd
Priority to CN202011111552.1A priority Critical patent/CN112261114A/zh
Publication of CN112261114A publication Critical patent/CN112261114A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/143—Termination or inactivation of sessions, e.g. event-controlled end of session
    • H04L67/145—Termination or inactivation of sessions, e.g. event-controlled end of session avoiding end of session, e.g. keep-alive, heartbeats, resumption message or wake-up for inactive or interrupted session

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据备份系统及方法，涉及数据存储技术领域，可以减少数据丢失造成的损失。该系统包括：生产服务器、本地存储服务器和远程分布式文件系统，远程分布式文件系统包括远程灾备服务器和多个远程存储服务器，远程灾备服务器为远程分布式文件系统的管理节点，远程存储服务器为远程分布式文件系统的数据节点；生产服务器，用于生成待备份数据，向本地存储服务器发送所述待备份数据；本地存储服务器，用于存储生产服务器发送的待备份数据，并向远程灾备服务器发送所述待备份数据；远程灾备服务器，用于接收待备份数据，并采用分布式存储的方式将待备份数据存储至各远程存储服务器。

Description

一种数据备份系统及方法
技术领域
本发明涉及数据存储技术领域，特别是涉及一种数据备份系统及方法。
背景技术
数据对于人们来说既是资源，也是财富，数据具有经济价值、产业价值以及科学价值。正确合理地对数据进行挖掘和分析，能够为企业带来很高的价值回报，因此对数据的有效存储显得尤为重要。目前，通常是将数据存储在计算机的本地磁盘中。
目前，为了防止数据丢失，可以通过磁盘阵列对数据进行备份，然而这种备份方式难以应对大规模的数据丢失，且若出现硬件损坏的情况，有可能导致数据无法恢复，导致数据的安全性较差。
发明内容
本发明实施例的目的在于提供一种数据备份系统及方法，以提高已存储的数据的安全性。具体技术方案如下：
本发明实施例提供了一种数据备份系统，所述系统包括：生产服务器、本地存储服务器和远程分布式文件系统，所述远程分布式文件系统包括远程灾备服务器和多个远程存储服务器，所述远程灾备服务器为所述远程分布式文件系统的管理节点，所述远程存储服务器为所述远程分布式文件系统的数据节点；
所述生产服务器，用于生成待备份数据，向所述本地存储服务器发送所述待备份数据；
所述本地存储服务器，用于存储所述生产服务器发送的待备份数据，并向所述远程灾备服务器发送所述待备份数据；
所述远程灾备服务器，用于接收所述待备份数据，并采用分布式存储的方式将所述待备份数据存储至各远程存储服务器。
可选的，所述生产服务器与所述本地存储服务器之间通过局域网通信；
所述生产服务器，还用于当出现数据丢失或数据损坏时，向所述本地存储服务器发送第一数据恢复请求；
所述本地存储服务器，还用于接收所述第一数据恢复请求，向所述生产服务器返回所述第一数据恢复请求所请求恢复的数据。
可选的，所述本地存储服务器与所述远程灾备服务器之间通过互联网通信；
所述本地存储服务器，还用于当出现数据丢失或数据损坏时，向所述远程灾备服务器发送第二数据恢复请求；
所述远程灾备服务器，还用于接收所述本地存储服务器发送的第二数据恢复请求，并从各远程存储服务器中获取所述第二数据恢复请求所请求恢复的数据，向所述本地存储服务器返回所述第二数据恢复请求所请求恢复的数据。
可选的，所述系统还包括系统管理主机，所述系统管理主机通过局域网与所述本地存储服务器通信；
所述系统管理主机，用于在显示界面上以树形结构显示所述生产服务器中的数据；响应于用户对所述树形结构中的数据的选择操作，生成备份任务，并向所述生产服务器发送所述备份任务，所述备份任务用于指示所述生产服务器中的待备份数据；
所述生产服务器，还用于接收所述备份任务，根据所述备份任务从已生成的数据中确定所述待备份数据。
可选的，所述生产服务器，具体用于通过文件传输协议FTP向所述本地存储服务器发送所述待备份数据；
所述本地存储服务器，具体用于以文件的形式存储所述待备份数据，并通过基于分布式文件系统的FTP向所述远程灾备服务器发送所述待备份数据。
第二方面，本发明实施例提供了一种数据备份方法，所述方法应用于数据备份系统中的本地存储服务器，所述数据备份系统还包括生产服务器和远程分布式文件系统，所述远程分布式文件系统包括远程灾备服务器和多个远程存储服务器，所述远程灾备服务器为所述远程分布式文件系统的管理节点，所述远程存储服务器为所述远程分布式文件系统的数据节点；所述方法包括：
接收所述生产服务器发送的待备份数据，并存储所述待备份数据；
向所述远程灾备服务器发送所述待备份数据，以使得所述远程灾备服务器采用分布式存储的方式将所述待备份数据存储至各远程存储服务器。
可选的，所述生产服务器与所述本地存储服务器之间通过局域网通信；所述方法还包括：
接收所述生产服务器发送的第一数据恢复请求；
向所述生产服务器返回所述第一数据恢复请求所请求恢复的数据。
可选的，所述本地存储服务器与所述远程灾备服务器之间通过互联网通信；所述方法还包括：
当出现数据丢失或数据损坏时，向所述远程灾备服务器发送第二数据恢复请求；
接收所述远程灾备服务器从各远程存储服务器中获取的所述第二数据恢复请求所请求恢复的数据。
第三方面，本发明实施例提供了一种数据备份方法，所述方法应用于数据备份系统中的远程灾备服务器，所述数据备份系统还包括生产服务器以及与所述远程灾备服务器处于同一远程分布式文件系统的多个远程存储服务器，所述远程灾备服务器为所述远程分布式文件系统的管理节点，所述远程存储服务器为所述远程分布式文件系统的数据节点；所述方法包括：
接收所述本地存储服务器发送的待备份数据；
以分布式存储的方式将所述待备份数据存储至各远程存储服务器。
可选的，所述方法还包括：
接收所述本地存储服务器发送的数据恢复请求；
从远程存储服务器中获取所述数据恢复请求所请求恢复的数据；
向所述本地存储服务器发送所述数据恢复请求所请求恢复的数据。
第四方面，本发明实施例提供了一种数据备份装置，所述装置应用于数据备份系统中的本地存储服务器，所述数据备份系统还包括生产服务器和远程分布式文件系统，所述远程分布式文件系统包括远程灾备服务器和多个远程存储服务器，所述远程灾备服务器为所述远程分布式文件系统的管理节点，所述远程存储服务器为所述远程分布式文件系统的数据节点；所述装置包括：
接收模块，用于接收所述生产服务器发送的待备份数据，并存储所述待备份数据；
发送模块，用于向所述远程灾备服务器发送所述接收模块接收的所述待备份数据，以使得所述远程灾备服务器采用分布式存储的方式将所述待备份数据存储至各远程存储服务器。
可选的，所述生产服务器与所述本地存储服务器之间通过局域网通信；
所述接收模块，还用于接收所述生产服务器发送的第一数据恢复请求；
所述发送模块，还用于向所述生产服务器返回所述接收模块接收的所述第一数据恢复请求所请求恢复的数据。
可选的，所述本地存储服务器与所述远程灾备服务器之间通过互联网通信；
所述发送模块，还用于当出现数据丢失或数据损坏时，向所述远程灾备服务器发送第二数据恢复请求；
所述接收模块，还用于接收所述远程灾备服务器从各远程存储服务器中获取的所述第二数据恢复请求所请求恢复的数据。
第五方面，本发明实施例提供了一种数据备份装置，所述装置应用于数据备份系统中的远程灾备服务器，所述数据备份系统还包括生产服务器以及与所述远程灾备服务器处于同一远程分布式文件系统的多个远程存储服务器，所述远程灾备服务器为所述远程分布式文件系统的管理节点，所述远程存储服务器为所述远程分布式文件系统的数据节点；所述装置包括：
接收模块，接收本地存储服务器发送的待备份数据；
存储模块，以分布式存储的方式将所述接收模块接收的待备份数据存储至各远程存储服务器。
可选的，该装置还包括：获取模块和发送模块；
接收模块，还用于接收本地存储服务器发送的数据恢复请求；
获取模块，用于从远程存储服务器中获取所述接收模块接收的数据恢复请求所请求恢复的数据；
发送模块，用于向本地存储服务器发送数据恢复请求所请求恢复的数据。
第六方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一数据备份方法的步骤。
第七方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据备份方法的步骤。
第八方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一数据备份方法。
本发明实施例的技术方案至少可以带来以下有益效果：由于本地存储服务器和远程存储服务器中都存储了待备份数据，即实现了将数据存储在本地和异地，使得从本地或异地都能完成数据恢复。所以不论是本地数据遭到破坏还是异地数据遭到破坏，都能实现数据恢复，保证了数据完整性，因此减少了数据丢失造成的损失。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的一种数据备份系统结构示意图；
图2为本发明实施例提供的另一种数据备份系统结构示意图；
图3为本发明实施例提供的一种数据备份方法流程图；
图4为本发明实施例提供的另一种数据备份方法流程图；
图5为本发明实施例提供的一种数据备份过程的信令图；
图6为本发明实施例提供的一种数据恢复过程的信令图；
图7为本发明实施例提供的一种数据备份装置的结构示意图；
图8为本发明实施例提供的另一种数据备份装置的结构示意图；
图9为本发明实施例提供的另一种数据备份装置的结构示意图；
图10为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了减少数据丢失造成的损失，本发明实施例提供了一种数据备份系统，如图1所示，该系统包括：生产服务器101、本地存储服务器102和远程分布式文件系统。其中，远程分布式文件系统包括远程灾备服务器103和多个远程存储服务器104，远程灾备服务器103为远程分布式文件系统的管理节点，远程存储服务器104为远程分布式文件系统的数据节点。
图1所示数据备份系统包括的各设备数量仅为本发明实施例提供的一种示例，可以根据实际情况确定数据备份系统包括的各设备数量。其中：
生产服务器101，用于生成待备份数据，向本地存储服务器102发送待备份数据。
本地存储服务器102，用于存储生产服务器101发送的待备份数据，并向远程灾备服务器103发送待备份数据。
远程灾备服务器103，用于接收待备份数据，并采用分布式存储的方式将待备份数据存储至各远程存储服务器104。
在本发明实施例中，生产服务器可以包括一台或者多台，且不同的生产服务器中可以运行不同的操作系统。例如：生产服务器中运行的操作系统可以是微软公司第七代操作系统(Windows7)、微软公司体验操作系统(Windows XP)或者林纳斯操作系统(Linux)等。
可选的，不同的生产服务器可以处理不同的业务。
在本发明实施例中，本地存储服务器可以包括一台或者多台。当本地存储服务器有一台时，由本地存储服务器在本地存储一份待备份数据；当本地存储服务器有多台时，可以由任一本地存储服务器在本地存储一份待备份数据。
一种实施方式中，远程灾备服务器，具体用于将待备份数据切分为多个数据块，并将多个数据块存储到多个远程存储服务器中。一个远程存储服务器可以存储待备份数据的一个或多个数据块，但不存储待备份数据的所有数据块。
可选的，远程存储服务器，具体用于采用多副本的方式存储待备份数据，例如将待备份数据存储为三个副本。
采用上述技术方案，由于本地存储服务器和远程存储服务器中都存储了待备份数据，即实现了将数据分别存储在本地存储服务器和远程存储服务器，所以不论是本地数据遭到破坏还是异地数据遭到破坏，都能进行数据恢复，保证了数据完整性，提高了数据的安全性。
从图1中可以看出，本发明实施例提供的数据备份系统包括两个部分，分别为本地系统和远程分布式文件系统。其中，本地系统包括生产服务器和本地存储服务器。生产服务器与本地存储服务器之间可以通过局域网通信。
基于此，生产服务器可以具体用于，通过文本传输协议(File TransferProtocol，FTP)基于本地高速网络向本地存储服务器发送待备份数据。在进行数据传输时，能够实现传输任务的暂停、停止以及断点续传等功能，实现可靠并高效的数据传输。
在本发明实施例中，生产服务器需要具有安装操作系统和安装执行生产任务的应用程序的存储空间，以及具有作为备份数据的数据源的空间。其中数据源包括生产服务器生产的所有数据。
在本发明实施例提供的远程分布式文件系统中，远程灾备服务器和远程存储服务器之间可以通过互联网(Internet)通信。
本发明实施例中的远程分布式文件系统具体可以为远程的分布式文件系统(Hadoop Distributed File System，HDFS)。其中，上述远程灾备服务器可作为HDFS的命名节点(namenode)，远程存储服务器可作为HDFS的数据节点(datanode)。
该远程分布式文件系统可以运行在通用和廉价的硬件中，是一种高容错性的系统。且可以存储超大文件，在存储时，由远程灾备服务器将文件拆分为数据量较小的数据块(split)，并将数据块存储在多个远程存储服务器中。为提高数据存储的可靠性，可以采用多副本的方式存储数据。如果某个副本丢失，可以利用其他副本进行恢复。为减少多个副本同时丢失的概率，可以提高将不同副本存储在不同远程存储服务器中的概率。
在本发明实施例中，远程灾备服务器中还可以存储备份数据的管理信息，并安装备份数据的管理程序。其中，管理信息包括：数据块标识与存储数据块的远程存储服务器标识之间的对应关系。备份数据的管理程序包括远程灾备服务器中用于管理备份数据的应用程序。
远程存储服务器有多个且可以分布在各地，以提高数据存储的可靠性，减少备份数据同时丢失的可能。远程存储服务器的位置和数量可以灵活配置，使得远程分布式文件系统具备可伸缩性以及可扩展性。
其中，远程存储服务器还用于周期性地向远程灾备服务器发送心跳信息，若远程灾备服务器未在周期内接收到远程存储服务器发送的心跳消息，说明此时可能存在网络问题或该远程存储服务器运行出错等问题。此时远程灾备服务器还用于标记该远程存储服务器失效，并在新接收到待备份数据时，不将新接收到待备份数据备份到失效的远程存储服务器中。并且，当远程灾备服务器检测到远程存储服务器失效时，则确定远程存储服务器中存储的数据块需要恢复，远程灾备服务器还用于从其他远程存储服务器复制需要恢复的数据块，并将复制的数据块存储至未失效的远程存储服务器中。
另外，对于有心跳消息但出现异常的远程存储服务器，该远程存储服务器中存储的数据块也需要恢复，远程灾备服务器还用于从其他远程存储服务器复制需要恢复的数据块，并将复制的数据块存储至未失效的远程存储服务器中，提高数据存储的可靠性。
在本发明实施例中，本地存储服务器与远程灾备服务器之间通过互联网通信，本地存储服务器可以以文件的形式存储待备份数据，并通过基于分布式文件系统的FTP(hdfs-over-ftp)向远程灾备服务器发送待备份数据。
其中，hdfs-over-ftp是一种工作于HDFS之上的FTP服务器中的工具。hdfs-over-ftp允许用户使用FTP客户端通过FTP命令连接到HDFS，以及支持用户对HDFS所有的权限进行设置。在本发明实施例中，本地存储服务器可作为FTP客户端，通过FTP命令连接到远程分布式文件系统。
本发明实施例中的数据备份系统还可以进行数据恢复，其中数据恢复可以包括以下三种情况。
情况一：生产服务器需要进行数据恢复。例如，生产服务器发生灾难，或者由于人为误操作使得生产服务器中的数据丢失或损坏时，需要对生产服务器进行数据恢复。
生产服务器，还用于当出现数据丢失或数据损坏时，向本地存储服务器发送第一数据恢复请求。
本地存储服务器，还用于接收第一数据恢复请求，向生产服务器返回第一数据恢复请求所请求恢复的数据。
可选的，若生产服务器发生灾难，在发送第一数据恢复请求之前，还需要重新部署生产服务器，包括重新安装操作系统、重新安装生产数据的应用程序等。
生产服务器需要进行数据恢复时，由于本地存储服务器中存储了生产服务器中的数据的备份，因此可以直接利用本地存储服务器中存储的备份数据完成数据恢复。由于本地存储服务器与生产服务器通过局域网通信，因此数据传输速度快，提高了数据恢复效率。
情况二：本地存储服务器需要进行数据恢复。例如，本地存储服务器发生灾难，或者由于人为误操作使得本地存储服务器中的数据丢失或损坏时，需要对本地存储服务器进行数据恢复。
本地存储服务器，用于当出现数据丢失或数据损坏时，向远程灾备服务器发送第二数据恢复请求。
远程灾备服务器，用于接收本地存储服务器发送的第二数据恢复请求，并从各远程存储服务器中获取第二数据恢复请求所请求恢复的数据，向本地存储服务器返回第二数据恢复请求所请求恢复的数据。
可选的，若本地存储服务器发生灾难，在发送第二数据恢复请求之前，还需要重新部署本地存储服务器，包括重新安装操作系统、重新安装存储数据的应用程序等。
一种实施方式中，远程灾备服务器，具体用于根据自身存储的数据块标识与存储数据块的远程存储服务器标识之间的对应关系，确定第二恢复请求所请求恢复的数据对应的各数据块的标识，从存储该数据块的远程存储服务器中获取这些数据块，并向本地存储服务器发送由这些数据块组成的文件。
本地存储服务器进行数据恢复时，由于本地存储服务器中存储的数据分布式的存储在远程存储服务器中，即使部分远程存储服务器中的数据遭到破坏，可以从未遭到破坏的远程存储服务器中获取数据完成数据恢复，提高了对数据存储的可靠性。
情况三：生产服务器和本地存储服务器都需要进行数据恢复。
本地存储服务器，还用于当出现数据丢失或数据损坏时，向远程灾备服务器发送第二数据恢复请求。
远程灾备服务器，还用于接收本地存储服务器发送的第二数据恢复请求，并从各远程存储服务器中获取第二数据恢复请求所请求恢复的数据，向本地存储服务器返回第二数据恢复请求所请求恢复的数据。
生产服务器，还用于当出现数据丢失或数据损坏时，向本地存储服务器发送第一数据恢复请求。
本地存储服务器，还用于接收第一数据恢复请求，向生产服务器返回第一数据恢复请求所请求恢复的数据。
本发明实施例中本地存储服务器和远程存储服务器中均存储了备份数据，即使在生产服务器和本地存储服务器同时需要进行数据恢复时，也能完成数据恢复，实现了对数据进行多重保护，减少数据恢复失败的概率。
参见图2，本发明实施例提供的数据备份系统还可以包括系统管理主机105，其中，系统管理主机105通过局域网与本地存储服务器102通信。用户可以通过系统管理主机105设置备份任务。
系统管理主机105，用于在显示界面上以树形结构显示生产服务器101中的数据；响应于用户对树形结构中的数据的选择操作，生成备份任务；向生产服务器101发送备份任务。其中，备份任务用于指示生产服务器101中的待备份数据。
生产服务器101，还用于接收备份任务，根据备份任务从已生成的数据中确定待备份数据。
在本发明实施例中，系统管理主机可以采用树形结构生成工具(xloadtree)将生产服务器中存储的数据生成树形结构。
其中，Xloadtree是树形结构生成工具(xtree)的扩展版本，允许用户对树的每个节点定义一个根(source)属性，source属性指向一个可扩展标记语言(Extensible MarkupLanguage，xml)文件，然后xml文件被载入树型结构。xloadtree有如下的特点：
(1)xloadtree允许用户为树的每个节点指定一个xml文件，以对xml文件再次展开。
(2)利用xloadtree生成的树形结构可以根据用户操作动态展示，初始状态下只展开根目录下的文件及子目录，当用户访问根目录下的子目录时，才对子目录进行展开。同时，子目录下也可以包括子目录。
(3)xloadtree不限制树型结构的层级数。
(4)xloadtree能够很好地运行于Windows系统和Linux系统中。
由于xloadtree具备上述良好的特点，系统管理主机可以利用xloadtree准确有效地将数据以树形结构的方式呈现给用户，供用户选择。
可选的，系统管理主机还允许用户配置待备份数据的传输方式。例如，传输方式包括加密传输和/或压缩传输等。基于此，系统管理主机具体用于，在检测到用户选择待备份数据后，基于待备份数据的标识和用户配置的传输方式生成备份任务；相应的，生产服务器具体用于在接收到备份任务后，基于待备份数据的标识确定待备份数据，并按照用户配置的传输方式，将待备份数据发送至本地存储服务器。
由于备份到本地存储服务器和远程存储服务器中的数据可以配置，不用备份生产服务器生成的所有数据，使得备份任务更加灵活，节约存储资源。
在本发明实施例中，系统管理主机还可以允许用户对每个生产服务器对应的用户信息、备份及恢复日志和系统进行设置。
可选地，系统管理主机通过基于浏览器/服务器(Browser/Server，B/S)架构的图形化界面供用户进行上述配置操作。系统管理主机上搭建有全球广域网(World Wide Web，Web)服务器且安装了数据库，用户可以通过浏览器对Web服务器进行Web访问，进而在浏览器的图形化界面中对备份任务、备份及恢复日志等进行设置。
系统管理主机中还配置有命令解析进程，用于解析用户通过图形化界面提交的设置指令。
本发明实施例提供的数据备份系统的结构简单，使用方便，成本低廉，并支持多种操作系统。该系统将数据存储与容灾结合在一起，具有很好的实用性。数据备份系统基于HDFS，HDFS在大规模数据处理方面具有较大优势。
基于相同的发明构思，本发明实施例还提供了一种数据备份方法，该方法应用于数据备份系统中的本地存储服务器，数据备份系统还包括生产服务器和远程分布式文件系统，远程分布式文件系统包括远程灾备服务器和多个远程存储服务器，远程灾备服务器为所述远程分布式文件系统的管理节点，远程存储服务器为远程分布式文件系统的数据节点；如图3所示，该方法包括：
步骤301，接收生产服务器发送的待备份数据，并存储待备份数据。
步骤302，向远程灾备服务器发送待备份数据，以使得远程灾备服务器采用分布式存储的方式将待备份数据存储至各远程存储服务器。
相应地，本发明实施例还提供了另一种数据备份方法，应用于上述数据备份系统中的远程灾备服务器，如图4所示，该方法包括：
步骤401，接收本地存储服务器发送的待备份数据。
步骤402，以分布式存储的方式将待备份数据存储至各远程存储服务器。
采用上述技术方案，由于本地存储服务器和远程存储服务器中都存储了待备份数据，即实现了将数据存储在本地和异地，使得从本地或异地都能完成数据恢复。所以不论是本地数据遭到破坏还是异地数据遭到破坏，都能实现数据恢复，保证了数据完整性，因此减少了数据丢失造成的损失。
以下通过交互流程对本发明实施例提供的数据备份方法进行描述，如图5所示，该方法包括：
步骤501，生产服务器生成待备份数据。
步骤502，生产服务器向本地存储服务器发送待备份数据。
步骤503，本地存储服务器存储生产服务器发送的待备份数据。
步骤504，本地存储服务器向远程灾备服务器发送待备份数据。
步骤505，远程灾备服务器接收待备份数据，并采用分布式存储的方式将待备份数据存储至各远程存储服务器。
在本发明实施例中，生产服务器与本地存储服务器之间通过局域网通信；本地存储服务器与所述远程灾备服务器之间通过互联网通信。
本发明实施例中的数据备份系统还可以进行数据恢复，其中数据恢复可以包括以下三种情况。
情况一：生产服务器需要进行数据恢复。
情况一下，本地存储服务器接收生产服务器发送的第一数据恢复请求；向生产服务器返回第一数据恢复请求所请求恢复的数据。
情况二：本地存储服务器需要进行数据恢复。
情况二下，本地存储服务器当出现数据丢失或数据损坏时，向远程灾备服务器发送第二数据恢复请求；接收远程灾备服务器从各远程存储服务器中获取的第二数据恢复请求所请求恢复的数据。
情况三：生产服务器和本地存储服务器都需要进行数据恢复。此时数据恢复过程如图6所示。
步骤601，本地存储服务器当出现数据丢失或数据损坏时，向远程灾备服务器发送第二数据恢复请求。
步骤602，远程灾备服务器接收本地存储服务器发送的第二数据恢复请求，并从各远程存储服务器中获取第二数据恢复请求所请求恢复的数据。
步骤603，远程灾备服务器向本地存储服务器返回第二数据恢复请求所请求恢复的数据。
步骤604，生产服务器当出现数据丢失或数据损坏时，向本地存储服务器发送第一数据恢复请求。
步骤605，本地存储服务器接收第一数据恢复请求，向生产服务器返回第一数据恢复请求所请求恢复的数据。
若仅将备份数据存储在本地，例如仅在本地磁盘或磁带中存储备份数据，当本地发生灾难，那么数据损坏后将无法恢复。
若仅将备份数据存储在异地，那么在数据恢复时仅能够通过互联网进行数据传输，传输速度受限，使得数据恢复时间长，效率低。而且若仅在异地保存一份数据，如果异地数据损坏，那么也无法完成数据恢复。
本发明实施例由于本地存储服务器和远程存储服务器中均存储有备份数据，当生产服务器需要进行数据恢复时，可以直接从本地存储服务器中获取数据，由于生产服务器和本地存储服务器之间通过局域网通信，传输速度快，数据恢复效率高。而且，远程存储服务器中的数据以分布式方式存储，存储安全性高。
基于相同的发明构思，本发明实施例提供了一种数据备份装置，该装置应用于数据备份系统中的本地存储服务器，数据备份系统还包括生产服务器和远程分布式文件系统，远程分布式文件系统包括远程灾备服务器和多个远程存储服务器，远程灾备服务器为所述远程分布式文件系统的管理节点，远程存储服务器为所述远程分布式文件系统的数据节点；如图7所示，该装置包括：接收模块701和发送模块702；
接收模块701，用于接收生产服务器发送的待备份数据，并存储待备份数据；
发送模块702，用于向远程灾备服务器发送所述接收模块701接收的待备份数据，以使得远程灾备服务器采用分布式存储的方式将待备份数据存储至各远程存储服务器。
可选的，生产服务器与本地存储服务器之间通过局域网通信；
接收模块701，还用于接收所述生产服务器发送的第一数据恢复请求；
发送模块702，还用于向所述生产服务器返回所述接收模块701接收的所述第一数据恢复请求所请求恢复的数据。
可选的，本地存储服务器与远程灾备服务器之间通过互联网通信；
发送模块702，还用于当出现数据丢失或数据损坏时，向远程灾备服务器发送第二数据恢复请求；
接收模块701，还用于接收远程灾备服务器从各远程存储服务器中获取的第二数据恢复请求所请求恢复的数据。
相应的，本发明实施例还提供了一种数据备份装置，该装置应用于上述数据备份系统中的远程灾备服务器；如图8所示，该装置包括：接收模块801和存储模块802；
接收模块801，接收本地存储服务器发送的待备份数据；
存储模块802，以分布式存储的方式将所述接收模块801接收的待备份数据存储至各远程存储服务器。
可选的，如图9所示，该装置还包括：获取模块803和发送模块804；
接收模块801，还用于接收本地存储服务器发送的数据恢复请求；
获取模块803，用于从远程存储服务器中获取所述接收模块801接收的数据恢复请求所请求恢复的数据；
发送模块804，用于向本地存储服务器发送数据恢复请求所请求恢复的数据。
本发明实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，
存储器1003，用于存放计算机程序；
处理器1001，用于执行存储器1003上所存放的程序时，实现上述方法实施例中的方法步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一数据备份方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一数据备份方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法和装置实施例而言，由于其基本相似于系统法实施例，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种数据备份系统，其特征在于，所述系统包括：生产服务器、本地存储服务器和远程分布式文件系统，所述远程分布式文件系统包括远程灾备服务器和多个远程存储服务器，所述远程灾备服务器为所述远程分布式文件系统的管理节点，所述远程存储服务器为所述远程分布式文件系统的数据节点；
所述生产服务器，用于生成待备份数据，向所述本地存储服务器发送所述待备份数据；
所述本地存储服务器，用于存储所述生产服务器发送的待备份数据，并向所述远程灾备服务器发送所述待备份数据；
所述远程灾备服务器，用于接收所述待备份数据，并采用分布式存储的方式将所述待备份数据存储至各远程存储服务器。
2.根据权利要求1所述的系统，其特征在于，所述生产服务器与所述本地存储服务器之间通过局域网通信；
所述生产服务器，还用于当出现数据丢失或数据损坏时，向所述本地存储服务器发送第一数据恢复请求；
所述本地存储服务器，还用于接收所述第一数据恢复请求，向所述生产服务器返回所述第一数据恢复请求所请求恢复的数据。
3.根据权利要求1或2所述的系统，其特征在于，所述本地存储服务器与所述远程灾备服务器之间通过互联网通信；
所述本地存储服务器，还用于当出现数据丢失或数据损坏时，向所述远程灾备服务器发送第二数据恢复请求；
所述远程灾备服务器，还用于接收所述本地存储服务器发送的第二数据恢复请求，并从各远程存储服务器中获取所述第二数据恢复请求所请求恢复的数据，向所述本地存储服务器返回所述第二数据恢复请求所请求恢复的数据。
4.根据权利要求1所述的系统，其特征在于，所述系统还包括系统管理主机，所述系统管理主机通过局域网与所述本地存储服务器通信；
所述系统管理主机，用于在显示界面上以树形结构显示所述生产服务器中的数据；响应于用户对所述树形结构中的数据的选择操作，生成备份任务，并向所述生产服务器发送所述备份任务，所述备份任务用于指示所述生产服务器中的待备份数据；
所述生产服务器，还用于接收所述备份任务，根据所述备份任务从已生成的数据中确定所述待备份数据。
5.根据权利要求1所述的系统，其特征在于，
所述生产服务器，具体用于通过文件传输协议FTP向所述本地存储服务器发送所述待备份数据；
所述本地存储服务器，具体用于以文件的形式存储所述待备份数据，并通过基于分布式文件系统的FTP向所述远程灾备服务器发送所述待备份数据。
6.一种数据备份方法，其特征在于，所述方法应用于数据备份系统中的本地存储服务器，所述数据备份系统还包括生产服务器和远程分布式文件系统，所述远程分布式文件系统包括远程灾备服务器和多个远程存储服务器，所述远程灾备服务器为所述远程分布式文件系统的管理节点，所述远程存储服务器为所述远程分布式文件系统的数据节点；所述方法包括：
接收所述生产服务器发送的待备份数据，并存储所述待备份数据；
向所述远程灾备服务器发送所述待备份数据，以使得所述远程灾备服务器采用分布式存储的方式将所述待备份数据存储至各远程存储服务器。
7.根据权利要求6所述的方法，其特征在于，所述生产服务器与所述本地存储服务器之间通过局域网通信；所述方法还包括：
接收所述生产服务器发送的第一数据恢复请求；
向所述生产服务器返回所述第一数据恢复请求所请求恢复的数据。
8.根据权利要求6所述的方法，其特征在于，所述本地存储服务器与所述远程灾备服务器之间通过互联网通信；所述方法还包括：
当出现数据丢失或数据损坏时，向所述远程灾备服务器发送第二数据恢复请求；
接收所述远程灾备服务器从各远程存储服务器中获取的所述第二数据恢复请求所请求恢复的数据。
9.一种数据备份方法，其特征在于，所述方法应用于数据备份系统中的远程灾备服务器，所述数据备份系统还包括生产服务器以及与所述远程灾备服务器处于同一远程分布式文件系统的多个远程存储服务器，所述远程灾备服务器为所述远程分布式文件系统的管理节点，所述远程存储服务器为所述远程分布式文件系统的数据节点；所述方法包括：
接收所述本地存储服务器发送的待备份数据；
以分布式存储的方式将所述待备份数据存储至各远程存储服务器。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
接收所述本地存储服务器发送的数据恢复请求；
从远程存储服务器中获取所述数据恢复请求所请求恢复的数据；
向所述本地存储服务器发送所述数据恢复请求所请求恢复的数据。
CN202011111552.1A 2020-10-16 2020-10-16 一种数据备份系统及方法 Withdrawn CN112261114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011111552.1A CN112261114A (zh) 2020-10-16 2020-10-16 一种数据备份系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011111552.1A CN112261114A (zh) 2020-10-16 2020-10-16 一种数据备份系统及方法

Publications (1)

Publication Number Publication Date
CN112261114A true CN112261114A (zh) 2021-01-22

Family

ID=74244435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011111552.1A Withdrawn CN112261114A (zh) 2020-10-16 2020-10-16 一种数据备份系统及方法

Country Status (1)

Country Link
CN (1) CN112261114A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114116323A (zh) * 2022-01-27 2022-03-01 天津市城市规划设计研究总院有限公司 基于权限等级的数据备份策略管理方法及系统
CN114520811A (zh) * 2022-04-20 2022-05-20 柏科数据技术（深圳）股份有限公司 一种生产中心数据恢复方法、系统、终端设备及存储介质
CN118132343A (zh) * 2024-04-24 2024-06-04 中国电子科技集团公司第十五研究所 一种数据备份及恢复方法、系统、设备及介质
WO2024174682A1 (zh) * 2023-02-21 2024-08-29 中兴通讯股份有限公司 数据处理的方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114116323A (zh) * 2022-01-27 2022-03-01 天津市城市规划设计研究总院有限公司 基于权限等级的数据备份策略管理方法及系统
CN114116323B (zh) * 2022-01-27 2022-04-19 天津市城市规划设计研究总院有限公司 基于权限等级的数据备份策略管理方法及系统
CN114520811A (zh) * 2022-04-20 2022-05-20 柏科数据技术（深圳）股份有限公司 一种生产中心数据恢复方法、系统、终端设备及存储介质
WO2024174682A1 (zh) * 2023-02-21 2024-08-29 中兴通讯股份有限公司 数据处理的方法、装置、电子设备及存储介质
CN118132343A (zh) * 2024-04-24 2024-06-04 中国电子科技集团公司第十五研究所 一种数据备份及恢复方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN112261114A (zh) 一种数据备份系统及方法
KR101780340B1 (ko) 가상 데이터베이스를 제공하기 위한 유효성 검증 데이터베이스 스냅샷의 생성 방법, 시스템 및 컴퓨터 판독가능 저장 매체
CN105357038B (zh) 监控虚拟机集群的方法和系统
CA2885059C (en) Retrieving point-in-time copies of a source database for creating virtual databases
US10922303B1 (en) Early detection of corrupt data partition exports
CN110825420A (zh) 分布式集群的配置参数更新方法、装置、设备及存储介质
CN111416821A (zh) 物联网设备信息采集方法、系统和装置
CN110895488B (zh) 任务调度方法及装置
US10048978B2 (en) Apparatus and method for identifying a virtual machine having changeable settings
CN109918360A (zh) 数据库平台系统、创建方法、管理方法、设备及存储介质
US11409711B2 (en) Barriers for dependent operations among sharded data stores
CN106452836B (zh) 主节点设置方法及装置
CN111338893A (zh) 进程日志处理方法、装置、计算机设备以及存储介质
CN110063042A (zh) 一种数据库故障的响应方法及其终端
CN111338834B (zh) 数据存储方法和装置
CN111680104A (zh) 数据同步方法、装置、计算机设备及可读存储介质
KR101024249B1 (ko) 실시간 데이터 복제 시스템
US7765230B2 (en) Method and system for managing data
JP2007304837A (ja) 情報処理装置及び監視方法並びにプログラム
US8429274B2 (en) Storage resource scan
CN113407504B (zh) 一种数据处理方法、用户空间文件系统以及存储介质
CN116501544A (zh) 一种数据库备份方法及系统、电子设备、存储介质
US20230409568A1 (en) Monitoring metadata synchronization and aggregation
CN118550604A (zh) 配置文件管理方法、装置、设备及介质
CN117453454A (zh) 数据备份方法、装置、计算机设备、介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210122

WW01 Invention patent application withdrawn after publication