CN106776131A - 一种数据备份方法及服务器 - Google Patents

一种数据备份方法及服务器 Download PDF

Info

Publication number
CN106776131A
CN106776131A CN201611090523.5A CN201611090523A CN106776131A CN 106776131 A CN106776131 A CN 106776131A CN 201611090523 A CN201611090523 A CN 201611090523A CN 106776131 A CN106776131 A CN 106776131A
Authority
CN
China
Prior art keywords
data
attribute information
server
file system
sent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611090523.5A
Other languages
English (en)
Other versions
CN106776131B (zh
Inventor
廖昌阊
陈东明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Hangzhou Huawei Digital Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huawei Digital Technologies Co Ltd filed Critical Hangzhou Huawei Digital Technologies Co Ltd
Priority to CN201611090523.5A priority Critical patent/CN106776131B/zh
Publication of CN106776131A publication Critical patent/CN106776131A/zh
Application granted granted Critical
Publication of CN106776131B publication Critical patent/CN106776131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments

Abstract

一种数据备份方法及服务器,该方法应用于服务器,服务器设置有批量查询接口和可移植操作系统接口,服务器采用网络数据管理协议,包括:接收用于备份数据集的备份指令;调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器;接收文件系统发送的所有类属性信息;向备份服务器发送包括所有类属性信息的存储指令,存储指令用于指示备份服务器根据所有类属性信息备份数据集中数据。本发明实施例,可以提高数据备份效率。

Description

一种数据备份方法及服务器
技术领域
本发明涉及互联网技术领域,尤其涉及一种数据备份方法及服务器。
背景技术
网络数据管理协议(Network Data Management Protocol,NDMP)是一种基于企业级数据管理的开放协议,定义了一种基于网络的协议和机制,用于控制备份、恢复以及在主要和次要存储器之间的数据传输。目前,在采用NDMP服务端进行数据备份时,NDMP服务端需要通过可移植操作系统接口(Portable Operating System Interface,POSIX)从文件系统查询所需备份数据的属性信息,再将属性信息发送给备份服务器。然而,由于POSIX每次只能查询数据的一类属性信息,以致需要多次查询才能查询到所需备份数据的所有类属性信息,以致降低了数据备份效率。
发明内容
本发明实施例公开了一种数据备份方法及服务器,用于提高数据备份效率。
第一方面公开一种数据备份方法,该方法应用于服务器,服务器设置有批量查询接口和POSIX,服务器采用NDMP,接收用于备份数据集的备份指令,调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器,接收文件系统发送的所有类属性信息,并向备份服务器发送包括所有类属性信息的存储指令,存储指令用于指示备份服务器根据所有类属性信息备份数据集中数据,可以通过批量查询接口一次性从文件系统中查询到需要备份的数据的所有类属性信息,降低了数据属性信息的查询次数,从而提高了数据备份效率。
在一个实施例中,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器,即第一查询指令用于指示POSIX接口模块将第一查询指令转发给文件系统,使文件系统一次性将数据集中数据的所有类属性信息发送给POSIX接口模块,并使POSIX接口模块将所有类属性信息通过批量查询接口发送给服务器,可见,通过批量查询接口不仅减少了数据属性信息的查询次数,也减少了查询指令的转发过程,从而进一步提高了数据备份效率。
在一个实施例中,接收用于备份数据集的备份指令之后,可以先获取数据集中数据所需的存储容量,并判断服务器的剩余缓存容量是否大于或等于存储容量,当剩余缓存容量小于存储容量时,才调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令,以便在服务器无法缓存全部数据的情况下,可以快速地将需要备份的数据通过批量查询接口备份在备份服务器中。
在一个实施例中,当剩余缓存容量大于或等于存储容量时,调用POSIX向文件系统发送用于查询数据集中数据的属性信息的第二查询指令,第二查询指令用于指示文件系统将数据集中数据的一类属性信息通过POSIX发送给服务器,以便在服务器能够缓存全部数据的情况下,可以继续使用POSIX将需要备份的数据备份在服务器中。
在一个实施例中,当剩余缓存容量小于存储容量时,可以先判断数据集中每个数据对应的文件的大小是否均小于预设容量,当每个数据对应的文件的大小均小于预设容量时,才调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令,以便在服务器无法缓存大量小文件中的全部数据的情况下,可以快速地将需要备份的数据通过批量查询接口备份在备份服务器中。
第二方面公开一种服务器,该服务器包括用于执行第一方面或第一方面的任一种可能实现方式所提供的数据备份方法的单元。
第三方面公开一种服务器,该服务器设置有批量查询接口和POSIX,该服务器采用NDMP,该服务器包括处理器、存储器和收发器,其中:
存储器中存储有一组程序代码,处理器用于调用存储器中存储的程序代码控制收发器执行以下操作:
接收用于备份数据集的备份指令;
调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器;
接收文件系统发送的所有类属性信息;
向备份服务器发送包括所有类属性信息的存储指令,存储指令用于指示备份服务器根据所有类属性信息备份数据集中数据。
第四方面公开一种可读存储介质,该可读存储介质存储了服务器用于执行第一方面或第一方面的任一种可能实现方式所公开的数据备份方法的程序代码。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种网络架构示意图;
图2是本发明实施例公开的一种存储阵列示意图;
图3是本发明实施例公开的一种数据备份方法的流程示意图;
图4是本发明实施例公开的另一种数据备份方法的流程示意图;
图5是本发明实施例公开的一种服务器的结构示意图;
图6是本发明实施例公开的另一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种数据备份方法及服务器,用于提高数据备份效率。以下分别进行详细说明。
为了更好地理解本发明实施例公开的一种数据备份方法及服务器,下面先对本发明实施例使用的网络架构进行描述。请参阅图1,图1是本发明实施例公开的一种网络架构示意图。如图1所示,该网络架构可以包括存储阵列101和备份服务器102,存储阵列101与备份服务器102之间通过网络连接,该网络可以为局域网(Local Area Network,LAN),也可以为其它网络。其中,存储阵列101用于存储数据,备份服务器用于备份数据。请参阅图2,图2是本发明实施例公开的一种存储阵列示意图。如图2所示,存储阵列101可以包括NDMP服务端(server)、挂载点(Mount Point)、虚拟文件系统(Vrtual File System,VFS)、POSIX接口模块(POSIX Interface Module,PIM)和文件系统(Filesystem)。其中,NDMP服务端,通常运作在linux用户态,用于负责与备份服务器进行交互,接收备份指令,并通过POSIX命令从文件系统中读取文件数据;挂载点,是文件系统在用户态的挂载点,用于提供POSIX给NDMP服务端;PIM,用于将用户态应用程序的POSIX命令转发给文件系统;文件系统运行在linux内核态。常用的文件元数据操作POSIX包括:getattr和readdir。其中,getattr,用于查询文件的基本属性,如文件名称、文件大小、文件创建日期、文件基本权限等;readdir,用于读取文件目录下的子文件或子目录。
基于图1所示的网络架构和图2所示的存储阵列示意图,请参阅图3,图3是本发明实施例公开的一种数据备份方法的流程示意图。其中,图3所示的数据备份方法是从NDMP服务端的角度来描述的。如图3所示,该数据备份方法可以包括以下步骤。
301、接收用于备份数据集的备份指令。
其中,后续出现的服务器即NDMP服务端,服务器设置有批量查询接口和POSIX,服务器采用NDMP。
302、调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令。
本实施例中,服务器接收到用于备份数据集的备份指令之后,可以直接调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令。其中,第一查询指令可以指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器,即可以指示PIM将第一查询指令转发给文件系统,使文件系统一次性将数据集中数据的所有类属性信息发送给PIM,并使PIM将所有类属性信息通过批量查询接口发送给服务器,可见,第一查询指令使用批量查询接口只需要经过PIM就可以从文件系统查询到数据的所有类属性信息,而当使用POSIX进行查询时,则需要经过挂载点、VFS和PIM才能从文件系统查询到数据的一类属性信息,因此,使用批量查询接口查询数据的属性信息可以减少属性信息的查询次数和减少查询指令的转发过程,从而可以提高数据备份效率。
303、接收文件系统发送的所有类属性信息。
304、向备份服务器发送包括所有类属性信息的存储指令。
本实施例中,服务器接收到文件系统发送的所有类属性信息之后,将向备份服务器发送包括所有类属性信息的存储指令,该存储指令可以指示备份服务器根据所有类属性信息备份数据集中数据。
在图3所描述的数据备份方法中,接收用于备份数据集的备份指令,调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器,接收文件系统发送的所有类属性信息,并向备份服务器发送包括所有类属性信息的存储指令,存储指令用于指示备份服务器根据所有类属性信息备份数据集中数据,可以通过批量查询接口一次性从文件系统中查询到需要备份的数据的所有类属性信息,降低了数据属性信息的查询次数,从而提高了数据备份效率。
基于图1所示的网络架构和图2所示的存储阵列示意图,请参阅图4,图4是本发明实施例公开的另一种数据备份方法的流程示意图。其中,图4所示的数据备份方法是从NDMP服务端的角度来描述的。如图4所示,该数据备份方法可以包括以下步骤。
401、接收用于备份数据集的备份指令。
402、获取数据集中数据所需的存储容量。
其中,数据集中数据所需的存储容量,即存储数据集中数据需要占用的容量。
403、判断服务器的剩余缓存容量是否大于或等于存储容量,当剩余缓存容量小于存储容量时,将执行步骤404,当剩余缓存容量大于或等于存储容量时,将执行步骤408。
本实施例中,获取到数据集中数据所需的存储容量之后,将判断服务器的剩余缓存容量是否大于或等于存储容量,即判断服务器能否缓存数据集中的所有数据,当剩余缓存容量小于存储容量时,表明服务器中无法缓存数据集中的全部数据,可以执行步骤404,也可以直接执行步骤405;当剩余缓存容量大于或等于存储容量时,表明服务器中能够缓存数据集中的全部数据,将执行步骤408。
404、判断数据集中每个数据对应的文件的大小是否均小于预设容量,当每个数据对应的文件的大小均小于预设容量时,将执行步骤405,当每个数据对应的文件中存在大小大于或等于预设容量的文件时,将执行步骤408。
本实施例中,当剩余缓存容量小于存储容量时,将继续判断数据集中每个数据对应的文件的大小是否均小于预设容量,当每个数据对应的文件的大小均小于预设容量时,表明要备份的数据对应的文件均为小文件,将执行步骤405;当每个数据对应的文件中存在大小大于或等于预设容量的文件时,表明要备份的数据对应的文件中存在大文件,将执行步骤408。
405、调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令。
本实施例中,服务器接收到用于备份数据集的备份指令之后,或者当剩余缓存容量小于存储容量时,或者当每个数据对应的文件的大小均小于预设容量时,将调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令。其中,第一查询指令可以指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器,即可以指示PIM将第一查询指令转发给文件系统,使文件系统一次性将数据集中数据的所有类属性信息发送给PIM,并使PIM将所有类属性信息通过批量查询接口发送给服务器,可见,第一查询指令使用批量查询接口只需要经过PIM就可以从文件系统查询到数据的所有类属性信息,而当使用POSIX进行查询时,则需要经过挂载点、VFS和PIM才能从文件系统查询到数据的一类属性信息,因此,使用批量查询接口查询数据的属性信息可以减少属性信息的查询次数和减少查询指令的转发过程,从而可以提高数据备份效率。
406、接收文件系统发送的所有类属性信息。
407、向备份服务器发送包括所有类属性信息的存储指令。
本实施例中,服务器接收到文件系统发送的所有类属性信息之后,将向备份服务器发送包括所有类属性信息的存储指令,该存储指令可以指示备份服务器根据所有类属性信息备份数据集中数据。
408、调用POSIX向文件系统发送用于查询数据集中数据的属性信息的第二查询指令。
本实施例中,当剩余缓存容量大于或等于存储容量时,或者当每个数据对应的文件的大小存在大于或等于预设容量的文件时,调用POSIX向文件系统发送用于查询数据集中数据的属性信息的第二查询指令,第二查询指令可以指示文件系统将数据集中数据的一类属性信息通过POSIX发送给服务器,即指示挂载点将第二查询指令发送给VFS,使VFS将第二查询指令发送给PIM,使PIM将第二查询指令发送给文件系统,使文件系统将数据集中数据的一类属性信息发送给PIM,使PIM将这类属性信息发送给VFS,使VFS将这类属性信息发送给挂载点,使挂载点将这类属性信息发送给服务器。
在图4所描述的数据备份方法中,接收用于备份数据集的备份指令,调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器,接收文件系统发送的所有类属性信息,并向备份服务器发送包括所有类属性信息的存储指令,存储指令用于指示备份服务器根据所有类属性信息备份数据集中数据,可以通过批量查询接口一次性从文件系统中查询到需要备份的数据的所有类属性信息,降低了数据属性信息的查询次数,从而提高了数据备份效率。
基于图1所示的网络架构和图2所示的存储阵列示意图,请参阅图5,图5是本发明实施例公开的一种服务器的结构示意图。其中,该服务器设置有批量查询接口和POSIX,该服务器采用NDMP。如图5所示,该服务器可以包括:
通信单元501,用于接收用于备份数据集的备份指令;
通信单元501,还用于调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器;
通信单元501,还用于接收文件系统发送的所有类属性信息;
通信单元501,还用于向备份服务器发送包括所有类属性信息的存储指令,存储指令用于指示备份服务器根据所有类属性信息备份数据集中数据。
作为一种可能的实施方式,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器包括:
第一查询指令用于指示PIM将第一查询指令转发给文件系统,使文件系统一次性将数据集中数据的所有类属性信息发送给PIM,并使PIM将所有类属性信息通过批量查询接口发送给服务器。
作为一种可能的实施方式,该服务器还可以包括:
获取单元502,用于获取数据集中数据所需的存储容量;
第一判断单元503,用于判断服务器的剩余缓存容量是否大于或等于获取单元502获取的存储容量,当第一判断单元503的判断结果为剩余缓存容量小于存储容量时,触发通信单元501执行所述调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令的步骤。
具体地,通信单元501接收用于备份数据集的备份指令之后,将触发获取单元502获取数据集中数据所需的存储容量。
作为一种可能的实施方式,通信单元501,还用于当第一判断单元503的判断结果为剩余缓存容量大于或等于存储容量时,调用POSIX向文件系统发送用于查询数据集中数据的属性信息的第二查询指令,第二查询指令用于指示文件系统将数据集中数据的一类属性信息通过POSIX发送给服务器。
作为一种可能的实施方式,当第一判断单元503的判断结果为剩余缓存容量小于存储容量时,该服务器还可以包括:
第二判断单元504,用于判断数据集中每个数据对应的文件的大小是否均小于预设容量,当第二判断单元504的判断结果为每个数据对应的文件的大小均小于预设容量时,触发通信单元501执行所述调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令的步骤。
在图5所描述的服务器中,接收用于备份数据集的备份指令,调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器,接收文件系统发送的所有类属性信息,并向备份服务器发送包括所有类属性信息的存储指令,存储指令用于指示备份服务器根据所有类属性信息备份数据集中数据,可以通过批量查询接口一次性从文件系统中查询到需要备份的数据的所有类属性信息,降低了数据属性信息的查询次数,从而提高了数据备份效率。
基于图1所示的网络架构和图2所示的存储阵列示意图,请参阅图6,图6是本发明实施例公开的另一种服务器的结构示意图。其中,该服务器设置有批量查询接口和POSIX,该服务器采用NDMP。如图6所示,该服务器可以包括处理器601、存储器602、收发器603和总线604。处理器601可以是一个通用中央处理器(CPU),多个CPU,微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本发明方案程序执行的集成电路。存储器602可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器602可以是独立存在,总线604与处理器601相连接。存储器602也可以和处理器601集成在一起。收发器603,用于与其他设备或通信网络通信,如以太网,无线接入网(RAN),无线局域网(Wireless Local Area Networks,WLAN)等。总线604可包括一通路,在上述组件之间传送信息。其中:
收发器603用于:
接收用于备份数据集的备份指令;
调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器;
接收文件系统发送的所有类属性信息;
向备份服务器发送包括所有类属性信息的存储指令,存储指令用于指示备份服务器根据所有类属性信息备份数据集中数据。
作为一种可能的实施方式,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器包括:
第一查询指令用于指示PIM将第一查询指令转发给文件系统,使文件系统一次性将数据集中数据的所有类属性信息发送给PIM,并使PIM将所有类属性信息通过批量查询接口发送给服务器。
作为一种可能的实施方式,存储器602中存储有一组程序代码,收发器603接收用于备份数据集的备份指令之后,处理器601用于调用存储器602中存储的程序代码执行以下操作:
获取数据集中数据所需的存储容量;
判断服务器的剩余缓存容量是否大于或等于存储容量;
当剩余缓存容量小于存储容量时,收发器603执行所述调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令的步骤。
作为一种可能的实施方式,收发器603,还用于当剩余缓存容量大于或等于存储容量时,调用POSIX向文件系统发送用于查询数据集中数据的属性信息的第二查询指令,第二查询指令用于指示文件系统将数据集中数据的一类属性信息通过POSIX发送给服务器。
作为一种可能的实施方式,当剩余缓存容量小于存储容量时,处理器601还用于调用存储器602中存储的程序代码执行以下操作:
判断数据集中每个数据对应的文件的大小是否均小于预设容量;
当每个数据对应的文件的大小均小于预设容量时,收发器603执行所述调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令的步骤。
其中,步骤402-404可以由服务器中的处理器601和存储器602来执行,步骤301~304、步骤401和步骤405-406可以由服务器中的收发器603来执行。
其中,通信单元501可以由服务器中的收发器603来实现,获取单元502、第一判断单元503和第二判断单元504可以由服务器中的处理器601和存储器602来实现。
在图6所描述的服务器中,接收用于备份数据集的备份指令,调用批量查询接口向文件系统发送用于查询数据集中数据的属性信息的第一查询指令,第一查询指令用于指示文件系统一次性将数据集中数据的所有类属性信息通过批量查询接口发送给服务器,接收文件系统发送的所有类属性信息,并向备份服务器发送包括所有类属性信息的存储指令,存储指令用于指示备份服务器根据所有类属性信息备份数据集中数据,可以通过批量查询接口一次性从文件系统中查询到需要备份的数据的所有类属性信息,降低了数据属性信息的查询次数,从而提高了数据备份效率。
本发明实施例还公开了一种可读存储介质,该可读存储介质存储了服务器用于执行图3和图4所示的数据备份方法的程序代码。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read-only memory,ROM)、随机存取器(random accessmemory,RAM)、磁盘或光盘等。
尽管在此结合各实施例对本发明进行了描述,然而,在实施所要求保护的本发明过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
以上对本发明实施例公开的数据备份方法及服务器进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据备份方法,其特征在于,所述方法应用于服务器,所述服务器设置有批量查询接口和可移植操作系统接口POSIX,所述服务器采用网络数据管理协议NDMP,包括:
接收用于备份数据集的备份指令;
调用所述批量查询接口向文件系统发送用于查询所述数据集中数据的属性信息的第一查询指令,所述第一查询指令用于指示所述文件系统一次性将所述数据集中数据的所有类属性信息通过所述批量查询接口发送给所述服务器;
接收所述文件系统发送的所述所有类属性信息;
向备份服务器发送包括所述所有类属性信息的存储指令,所述存储指令用于指示所述备份服务器根据所述所有类属性信息备份所述数据集中数据。
2.根据权利要求1所述的方法,其特征在于,所述第一查询指令用于指示所述文件系统一次性将所述数据集中数据的所有类属性信息通过所述批量查询接口发送给所述服务器包括:
所述第一查询指令用于指示POSIX接口模块将所述第一查询指令转发给文件系统,使所述文件系统一次性将所述数据集中数据的所有类属性信息发送给所述POSIX接口模块,并使所述POSIX接口模块将所述所有类属性信息通过所述批量查询接口发送给所述服务器。
3.根据权利要求1或2所述的方法,其特征在于,所述接收用于备份数据集的备份指令之后,所述方法还包括:
获取所述数据集中数据所需的存储容量;
判断所述服务器的剩余缓存容量是否大于或等于所述存储容量;
当所述剩余缓存容量小于所述存储容量时,执行所述调用所述批量查询接口向文件系统发送用于查询所述数据集中数据的属性信息的第一查询指令的步骤。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当所述剩余缓存容量大于或等于所述存储容量时,调用所述POSIX向文件系统发送用于查询所述数据集中数据的属性信息的第二查询指令,所述第二查询指令用于指示所述文件系统将所述数据集中数据的一类属性信息通过所述POSIX发送给所述服务器。
5.根据权利要求3所述的方法,其特征在于,当所述剩余缓存容量小于所述存储容量时,所述方法还包括:
判断所述数据集中每个数据对应的文件的大小是否均小于预设容量;
当所述每个数据对应的文件的大小均小于预设容量时,执行所述调用所述批量查询接口向文件系统发送用于查询所述数据集中数据的属性信息的第一查询指令的步骤。
6.一种服务器,其特征在于,所述服务器设置有批量查询接口和可移植操作系统接口POSIX,所述服务器采用网络数据管理协议NDMP,包括:
通信单元,用于接收用于备份数据集的备份指令;
所述通信单元,还用于调用所述批量查询接口向文件系统发送用于查询所述数据集中数据的属性信息的第一查询指令,所述第一查询指令用于指示所述文件系统一次性将所述数据集中数据的所有类属性信息通过所述批量查询接口发送给所述服务器;
所述通信单元,还用于接收所述文件系统发送的所述所有类属性信息;
所述通信单元,还用于向备份服务器发送包括所述所有类属性信息的存储指令,所述存储指令用于指示所述备份服务器根据所述所有类属性信息备份所述数据集中数据。
7.根据权利要求6所述的服务器,其特征在于,所述第一查询指令用于指示所述文件系统一次性将所述数据集中数据的所有类属性信息通过所述批量查询接口发送给所述服务器包括:
所述第一查询指令用于指示POSIX接口模块将所述第一查询指令转发给文件系统,使所述文件系统一次性将所述数据集中数据的所有类属性信息发送给所述POSIX接口模块,并使所述POSIX接口模块将所述所有类属性信息通过所述批量查询接口发送给所述服务器。
8.根据权利要求6或7所述的服务器,其特征在于,所述服务器还包括:
获取单元,用于获取所述数据集中数据所需的存储容量;
第一判断单元,用于判断所述服务器的剩余缓存容量是否大于或等于所述获取单元获取的存储容量,当所述第一判断单元的判断结果为所述剩余缓存容量小于所述存储容量时,触发所述通信单元执行所述调用所述批量查询接口向文件系统发送用于查询所述数据集中数据的属性信息的第一查询指令的步骤。
9.根据权利要求8所述的服务器,其特征在于,所述通信单元,还用于当所述第一判断单元的判断结果为所述剩余缓存容量大于或等于所述存储容量时,调用所述POSIX向文件系统发送用于查询所述数据集中数据的属性信息的第二查询指令,所述第二查询指令用于指示所述文件系统将所述数据集中数据的一类属性信息通过所述POSIX发送给所述服务器。
10.根据权利要求8所述的服务器,其特征在于,当所述第一判断单元的判断结果为所述剩余缓存容量小于所述存储容量时,所述服务器还包括:
第二判断单元,用于判断所述数据集中每个数据对应的文件的大小是否均小于预设容量,当所述第二判断单元的判断结果为所述每个数据对应的文件的大小均小于预设容量时,触发所述通信单元执行所述调用所述批量查询接口向文件系统发送用于查询所述数据集中数据的属性信息的第一查询指令的步骤。
CN201611090523.5A 2016-11-30 2016-11-30 一种数据备份方法及服务器 Active CN106776131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611090523.5A CN106776131B (zh) 2016-11-30 2016-11-30 一种数据备份方法及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611090523.5A CN106776131B (zh) 2016-11-30 2016-11-30 一种数据备份方法及服务器

Publications (2)

Publication Number Publication Date
CN106776131A true CN106776131A (zh) 2017-05-31
CN106776131B CN106776131B (zh) 2020-07-07

Family

ID=58913504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611090523.5A Active CN106776131B (zh) 2016-11-30 2016-11-30 一种数据备份方法及服务器

Country Status (1)

Country Link
CN (1) CN106776131B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763315A (zh) * 2018-04-26 2018-11-06 北京易代储科技有限公司 数据统计管理方法及装置
CN109032847A (zh) * 2018-08-24 2018-12-18 南京壹进制信息技术股份有限公司 一种通用免缓存备份和恢复方法
CN110309133A (zh) * 2019-05-24 2019-10-08 平安银行股份有限公司 批量数据的处理方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546823A (zh) * 2012-02-18 2012-07-04 南京云创存储科技有限公司 一种云存储系统的文件存储管理系统
CN105630810A (zh) * 2014-10-30 2016-06-01 曙光信息产业股份有限公司 一种对于海量小文件在分布式存储系统中上载的方法
US20160196324A1 (en) * 2015-01-05 2016-07-07 Iguazio Systems Ltd. Service oriented data management and architecture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546823A (zh) * 2012-02-18 2012-07-04 南京云创存储科技有限公司 一种云存储系统的文件存储管理系统
CN105630810A (zh) * 2014-10-30 2016-06-01 曙光信息产业股份有限公司 一种对于海量小文件在分布式存储系统中上载的方法
US20160196324A1 (en) * 2015-01-05 2016-07-07 Iguazio Systems Ltd. Service oriented data management and architecture

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PHLIP SHILANE,MARK HUANG,GRANT WALLACE,WINDSOR HSU: "WAN-optimized replication of backup datasets using stream-informed delta compression", 《ACM TRANSACTIONS ON STORAGE》 *
扎卡沃 等: "《Java语言导学 原书第5版》", 31 July 2015 *
蒋忠娟: "兼容POSIX接口的云存储文件系统的设计与实现", 《中国优秀硕士学位论文全文数据库》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108763315A (zh) * 2018-04-26 2018-11-06 北京易代储科技有限公司 数据统计管理方法及装置
CN108763315B (zh) * 2018-04-26 2021-07-30 北京易代储科技有限公司 数据统计管理方法及装置
CN109032847A (zh) * 2018-08-24 2018-12-18 南京壹进制信息技术股份有限公司 一种通用免缓存备份和恢复方法
CN109032847B (zh) * 2018-08-24 2020-08-18 南京壹进制信息科技有限公司 一种通用免缓存备份和恢复方法
CN110309133A (zh) * 2019-05-24 2019-10-08 平安银行股份有限公司 批量数据的处理方法和装置
CN110309133B (zh) * 2019-05-24 2023-08-22 平安银行股份有限公司 批量数据的处理方法和装置

Also Published As

Publication number Publication date
CN106776131B (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
US20110258158A1 (en) Data Services Framework Workflow Processing
CN109241358A (zh) 元数据管理方法、装置、计算机设备及存储介质
CN103888547B (zh) 一种账单处理方法和服务器
US8099386B2 (en) Method and apparatus for synchronizing databases connected by wireless interface
CN109299157B (zh) 一种分布式大单表的数据导出方法及装置
CN102801754A (zh) 一种断点续传的方法及系统
CN106776131A (zh) 一种数据备份方法及服务器
CN103067479A (zh) 一种基于文件冷热的网盘同步方法及系统
CN110557284A (zh) 基于客户端网关的数据聚合方法及装置
CN106372266A (zh) 一种基于切面和配置文件的云操作系统缓存及访问方法
CN106933868A (zh) 一种调整数据分片分布的方法及数据服务器
EP3026573A1 (en) Data storage method and apparatus
CN109241067A (zh) 交易数据管理方法及装置
CN112615793A (zh) 一种数据限流方法及装置
CN116226200A (zh) 一种基于bff架构的服务接口数据缓存方法、装置及设备
CN104021137B (zh) 一种基于目录授权的客户端本地开闭文件的方法及系统
CN109767274A (zh) 一种对海量发票数据进行关联存储的方法及系统
CN109684270A (zh) 数据库归档方法、装置、系统、设备及可读存储介质
CN102594874B (zh) 一种同步处理方法和装置
CN106980618B (zh) 基于MongoDB分布式集群架构的文件存储方法和系统
CN111475493B (zh) 数据读取方法及装置
US20160117524A1 (en) Enhanced view compliance tool
EP3082050A1 (en) Mass data fusion storage method and system
CN113297168B (zh) 分布式系统中数据迁移方法及装置
CN109669815A (zh) 一种通过lun远程映射实现备份数据恢复的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200417

Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant after: HUAWEI TECHNOLOGIES Co.,Ltd.

Address before: 301, A building, room 3, building 301, foreshore Road, No. 310053, Binjiang District, Zhejiang, Hangzhou

Applicant before: Huawei Technologies Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant