CN111767166A - 数据备份的方法和装置 - Google Patents

数据备份的方法和装置 Download PDF

Info

Publication number
CN111767166A
CN111767166A CN201910256696.7A CN201910256696A CN111767166A CN 111767166 A CN111767166 A CN 111767166A CN 201910256696 A CN201910256696 A CN 201910256696A CN 111767166 A CN111767166 A CN 111767166A
Authority
CN
China
Prior art keywords
files
backup
client
server
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910256696.7A
Other languages
English (en)
Inventor
孙高金
李思林
林志刚
刘俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Selected Quick Buy Network Technology Co ltd
Original Assignee
Guangzhou Selected Quick Buy Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Selected Quick Buy Network Technology Co ltd filed Critical Guangzhou Selected Quick Buy Network Technology Co ltd
Priority to CN201910256696.7A priority Critical patent/CN111767166A/zh
Publication of CN111767166A publication Critical patent/CN111767166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1004Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明数据备份的方法和装置,属于数据备份技术领域,本发明提供备份服务器发送连接请求至客户端,备份服务器与客户端建立通讯连接后发送获取备份文件请求;客户端将其系统内需要备份的文件进行归类,并提取出系统内归类后的文件的MD5值;客户端将所述归类后的文件分别进行打包,并将打包后的打包文件使用所述系统内归类后的文件的MD5值分别对对应的所述打包文件进行校验;客户端将所有校验完成后的打包文件发送至备份服务器。本发明备份速度快,占空备份服务器空间少,降低锁表现象,备份的执行可以有效的得到落实。

Description

数据备份的方法和装置
技术领域
本发明涉及数据备份技术领域,具体涉及数据备份的方法和装置。
背景技术
数据备份是为防止系统出现误操作、硬件故障或系统故障导致的数据丢失,是容灾的基础,现有的系统备份中,通常采用整个系统的单一备份,数据库备份方案传统,数据备份时经常出现锁表,且占用空间较大,不便与多机器管理,备份的速度较慢且备份的执行得不到可靠性落实。
发明内容
本发明提供了数据备份的方法和装置,目的在于解决上述技术问题,解决数据备份时经常出现锁表,且占用空间较大,不便与多机器管理,备份的速度较慢且备份的执行得不到可靠性落实的问题。
为实现上述目的,本发明的技术方案如下:
一种数据备份的方法,所述方法包括:
备份服务器发送连接请求至客户端,备份服务器与客户端建立通讯连接后备份服务器向客户端发送获取备份文件请求;
客户端将其系统内需要备份的文件进行归类,并提取出系统内归类后的文件的MD5值;
客户端将所述归类后的文件分别进行打包,并将打包后的打包文件使用所述系统内归类后的文件的MD5值分别对对应的所述打包文件进行校验;
客户端将所有校验完成后的打包文件发送至备份服务器。
所述客户端将所有校验完成后的打包文件发送至备份服务器之后,还包括:
客户端将提取出系统内归类后的文件的MD5值发送到备份服务器中;
备份服务器使用所述系统内归类后的文件的MD5值分别对传输至备份服务器的对应的所述打包文件进行校验;
备份服务器校验完成无误后发送校验信息给客户端。
所述备份服务器校验完成无误后发送校验信息给客户端之后,还包括:
备份服务器将校验完成后的所述打包文件回传至云服务器,所述云服务器对所述打包文件进行多区备份。
客户端将所有校验完成后的打包文件发送至备份服务器之后,还包括:
容灾服务器将客户端的磁盘上的磁盘阵列远程镜像至容灾服务器中的磁盘上;
客户端的磁盘镜像至容灾服务器中的磁盘完成后,容灾服务器获取客户端系统内归类后的文件的MD5值,使用所述系统内归类后的文件的MD5值对容灾服务器内相应文件进行校验。
所述客户端将其系统内需要备份的文件归类为基础文件、应用文件和数据库文件,所述基础文件为系统关键配置文件,所述应用文件为应用数据文件,所述数据库文件为存储的主要数据文件。
所述数据库物理备份至容灾服务器中,并在所述容灾服务器中创建增量存储单元,所述容灾服务器对数据库进行增量备份,所述数据库的增量备份备份至所述增量存储单元中。
一种数据备份的方法,所述方法包括:
接收来自于备份服务器的连接请求并与其建立通讯连接,所述连接请求包括通讯连接请求和获取备份文件请求;
将系统内需要备份的文件进行归类,并提取出系统内归类后的文件的MD5值;
将所述归类后的文件分别进行打包,并将打包后的打包文件使用所述系统内归类后的文件的MD5值分别对对应的所述打包文件进行校验;
将所有校验完成后的打包文件发送给备份服务器。
所述客户端将所有校验完成后的打包文件发送给备份服务器之后,还包括:
将提取出系统内归类后的文件的MD5值发送给备份服务器,以便备份服务器对接收到的经校验完成后的打包文件再次进行校验;
接收来自于备份服务器校验完成无误后返回的校验信息。
一种数据备份的装置,所述装置包括:
验证连接模块,用于接收来自于备份服务器的连接请求并与其建立通讯连接,所述连接请求包括通讯连接请求和获取备份文件请求;
归类模块,用于将系统内需要备份的文件进行归类,并提取出系统内归类后的文件的MD5值;
打包校验模块,用于将所述归类后的文件分别进行打包,并将打包后的打包文件使用所述系统内归类后的文件的MD5值分别对对应的所述打包文件进行校验;
发送模块,用于将所有校验完成后的打包文件发送给备份服务器。
所述发送模块还用于将提取出系统内归类后的文件的MD5值发送给备份服务器,以便备份服务器对接收到的经校验完成后的打包文件再次进行校验;
校验确认模块,用于接收来自于备份服务器校验完成无误后返回的校验信息。
本发明的有益效果是,将系统内需要备份的文件进行归类,从整体进行功能上划分,再进行类型上划分,采用集中式管理备份,并提取出系统内归类后的文件的MD5值校验,归类后的数据大大减少锁表现象,并且归类后可以将需要备份的文件有效保存起来,减少了从整体上备份所带来的占用空间较大的问题,并且归类后的数据由归类完成的数据包组组成,使得备份服务器容易对多机器的备份文件进行管理,本发明备份速度快,占空备份服务器空间少,降低锁表现象,备份的执行可以有效的得到落实。
附图说明
图1是本发明一实施例提供的一种数据备份的方法的方法流程图;
图2是本发明另一实施例提供的一种数据备份的方法的方法流程图;
图3是本发明一实施例提供的一种数据备份的方法的方法流程图;
图4是本发明另一实施例提供的一种数据备份的方法的方法流程图;
图5是本发明一实施例提供的一种数据备份的装置的结构框图;
图6是本发明另一实施例提供的一种数据备份的装置的结构框图;
图7是本发明一实施例提供的一种数据备份的装置的结构框图;
图8本发明再一实施例提供的一种数据备份的装置的结构框图;
图9是本发明一实施例提供的优选的数据备份的流程图。
具体实施方式
首先需要说明的是,在本发明各个实施例中,所涉及的术语为:
备份服务器100,可以是局域网内的用于存储备份文件的服务器,也可以是互联网内的用于存储备份的服务器;其备份方式可以为LAN备份、LAN Free备份和SAN Server-Free备份。
云服务器,可以是阿里云,百度云等云存储备份服务商提供的服务器。
客户端110,可以是一个或多个与备份服务器100连接的客户端110,客户端110可以和备份服务器100建立连接,并将自身系统内需要用于容灾的文件发送并与服务器100对接的设备。
容灾服务器,为二级备份服务器,容灾服务器为容灾系统内的备份服务器,容灾服务器更加强调处理外界环境对系统的影响,特别是灾难性事件对整个it节点的影响,提供节点级别的系统恢复功能。当一些服务器不可用时可以切换到可用的备用的该容灾服务器上,提高服务的可用性。
下面,将通过几个具体的实施例对本发明实施例提供的数据备份的方案进行详细介绍说明。
请参考图1,其示出了本发明一实施例提供的一种数据备份的方法的方法流程图。该数据备份的方法,包括:
步骤201,备份服务器发送连接请求至客户端,备份服务器与客户端建立通讯连接后备份服务器向客户端发送获取备份文件请求;
步骤202,客户端将其系统内需要备份的文件进行归类,并提取出系统内归类后的文件的MD5值;
其中,文件的归类可以归类为系统配置文件、应用数据文件、数据库文件、以及增量文件等类型的文件。
步骤203,客户端将所述归类后的文件分别进行打包,并将打包后的打包文件使用所述系统内归类后的文件的MD5值分别对对应的所述打包文件进行校验;
步骤204,客户端将所有校验完成后的打包文件发送至备份服务器。
综上所述,客户端110与备份服务器100建立通讯连接可以在客户端110将需要备份的文件打包完成之前,也可以是打包完成之后;客户端110首先将所有需要备份的文件进行归类,并提取出归类的文件的MD5值,MD5值用于确认文件的完整性;客户端110的系统将一些大文件容易打包的文件和一些不容易打包并容易产生锁表的系统文件或其他类型的文件分别归类打包,可以有效提高数据的打包效率,并减少锁表现象,并且对容易锁表的文件单独进行打包,可以避免打包大文件等其他文件时,影响打包效率的问题,可以单独处理容易锁表的文件,打包效率大大增加;客户端110将所有文件打包完成后,使用对文件进行归类时的MD5值对打包好的文件进行校验,确认打包后的文件的完整性,避免因磁盘损坏、系统故障或打包时出现的故障等导致的文件的不完整,数据的改变问题;客户端110将经过MD5值校验的完整文件全部传输至备份服务器100中进行备份。本发明备份速度快,占用备份服务器100空间少,降低锁表现象,备份的执行可以有效的得到落实。
进一步的,备份服务器发送连接请求至客户端也可以为客户端发送连接请求至备份服务器或备份服务器发送连接请求至客户端;通讯连接请求可以由客户端110发送,客户端110与备份服务器100建立通讯连接;或通讯连接请求由备份服务器100发送,备份服务器100与客户端110建立通讯连接;备份服务器100发送获取备份文件请求或客户端发送上传备份请求,从而备份服务器进入接收备份的准备状态,客户端将备份文件发送至备份服务器内存储。
进一步的,请参考图2,其示出了本发明另一个实施例提供的一种数据备份的方法的方法流程图。该数据备份的方法,还包括:
步骤205,客户端将提取出系统内归类后的文件的MD5值发送到备份服务器中;
步骤206,备份服务器使用所述系统内归类后的文件的MD5值分别对传输至备份服务器的对应的所述打包文件进行校验;
步骤207,备份服务器校验完成无误后发送校验信息给客户端。
上述实施例中,客户端110将所有文件的MD5值发送至备份服务器中,备份服务器接收到所有文件后使用所有文件的MD5值分别对文件进行校验,避免客户端110将所有备份文件传输至备份服务器中时,由于传输错误或存储错误引起的备份文件的缺失、错误或改变,再次校验客户端110传输至备份服务器的所有备份文件,使得所有备份文件稳定准确。
备份服务器100返回校验信息,可令客户端110知晓其传输的备份文件是否全部安全的存储于备份服务器100中,若传输于备份服务器100中的某些文件损坏,可以令客户端110重新提交损坏的文件,避免了备份文件中的某文件损坏,需要客户端重新上传全部备份文件,节省了备份时间,以及稳定性。
进一步的,请参考图3,其示出了本发明一个实施例提供的一种数据备份的方法的方法流程图。该数据备份的方法,还包括:
步骤208,备份服务器将校验完成后的所述打包文件回传至云服务器,
步骤209,所述云服务器对所述打包文件进行多区备份。
上述实施例中,为了更为稳定的保护备份数据,在增设备份服务器100的基础上,将备份服务器100内的备份文件再次存储至云服务器,使用供应商提供的云服务器有效的保护备份文件,在云服务器中,创建多个分区,每个分区属于云服务器供应商的不同地区的云服务器中,多地点保护备份文件,避免因区域停电,或自然灾害引起的备份丢失或暂时断连的问题。
其中,多区备份可以为在一个服务器中,将备份文件存储于多个分区中,多区备份也可以是,备份文件存储于不同地区的多个服务器中的一个或多个存储区中,避免某地区的停网或其他自然灾害引起的数据丢失。
进一步的,请参考图4,其示出了本发明另一实施例提供的一种数据备份的方法的方法流程图。该数据备份的方法,还包括:
步骤210,容灾服务器将客户端的磁盘上的磁盘阵列远程镜像至容灾服务器中的磁盘上;
步骤211,客户端的磁盘镜像至容灾服务器中的磁盘完成后,容灾服务器获取客户端系统内归类后的文件的MD5值;
步骤212,使用所述系统内归类后的文件的MD5值对容灾服务器内相应文件进行校验;
步骤213,容灾服务器返回对容灾服务器内对相应文件进行校验的校验结果。
上述实施例中,若客户端110为给用户提供服务的服务器,为避免客户端110故障或网络故障,引起的客户端110对用户服务的中断,在客户端110外还设立有容灾服务器,用户镜像客户端110内所有文件,当客户端110出现故障时,容灾服务器可以及时替换客户端110,继续为用户提供服务,稳定客户端110服务的连续性。
进一步的,请参考图9,其示出了本发明一个实施例提供的一种数据备份的方法的流程图。该数据备份的方法,还包括:
所述客户端将其系统内需要备份的文件归类为基础文件、应用文件和数据库文件,所述基础文件为系统关键配置文件,所述应用文件为应用数据文件,所述数据库文件为存储的主要数据文件。
上述实施例中,为了优化备份文件的打包效率,将需要备份的文件归类为基础文件、应用文件和数据库文件,可以有效提升备份文件的打包效率,及有效减少锁表问题及锁表问题出现后的处理效率,使得备份的执行得到可靠性的落实。
进一步的,该数据备份的方法,还包括:
所述数据库物理备份至容灾服务器中,并在所述容灾服务器中创建增量存储单元,所述容灾服务器对数据库进行增量备份,所述数据库的增量备份备份至所述增量存储单元中。
上述实施例中,创建增量存储单元可将系统内随时间增加的需要备份的增量文件单存起来,容灾服务器可对增量的文件进行增量备份,由于增量备份文件量随时间增加,增加文件量较少,可实时备份至容灾服务器中,在客户端瘫痪时,可及时将客户端的服务端口切换至容灾服务器中,有效避免因客户端瘫痪导致的服务终止。
请参考图1,其示出了本发明一实施例提供的一种数据备份的方法的方法流程技术方案。用于客户端之中,所述方法包括:
接收来自于备份服务器的连接请求并与其建立通讯连接,所述连接请求包括通讯连接请求和获取备份文件请求;
将系统内需要备份的文件进行归类,并提取出系统内归类后的文件的MD5值;
将所述归类后的文件分别进行打包,并将打包后的打包文件使用所述系统内归类后的文件的MD5值分别对对应的所述打包文件进行校验;
将所有校验完成后的打包文件发送给备份服务器。
上述实施例中,客户端与备份服务器建立通讯连接可以在客户端将需要备份的文件打包完成之前,也可以是打包完成之后;客户端首先将所有需要备份的文件进行归类,并提取出归类的文件的MD5值,MD5值用于确认文件的完整性;客户端的系统将一些大文件容易打包的文件和一些不容易打包并容易产生锁表的系统文件或其他类型的文件分别归类打包,可以有效提高数据的打包效率,并减少锁表现象,并且对容易锁表的文件单独进行打包,可以避免打包大文件等其他文件时,影响打包效率的问题,可以单独处理容易锁表的文件,打包效率大大增加;客户端将所有文件打包完成后,使用对文件进行归类时的MD5值对打包好的文件进行校验,确认打包后的文件的完整性,避免因磁盘损坏、系统故障或打包时出现的故障等导致的文件的不完整,数据的改变问题;客户端将经过MD5值校验的完整文件全部传输至备份服务器中进行备份。本发明备份速度快,占空备份服务器空间少,降低锁表现象,备份的执行可以有效的得到落实。
进一步的,所述方法还包括:
将提取出系统内归类后的文件的MD5值发送给备份服务器,以便备份服务器对接收到的经校验完成后的打包文件再次进行校验;
接收来自于备份服务器校验完成无误后返回的校验信息。
上述实施例中,客户端将所有文件的MD5值发送至备份服务器中,备份服务器接收到所有文件后使用所有文件的MD5值分别对文件进行校验,避免客户端将所有备份文件传输至备份服务器中时,由于传输错误或存储错误引起的备份文件的缺失、错误或改变,再次校验客户端传输至备份服务器的所有备份文件,使得所有备份文件稳定准确。
备份服务器100返回校验信息,可令客户端110知晓其传输的备份文件是否全部安全的存储于备份服务器100中,若传输于备份服务器100中的某些文件损坏,可以令客户端110重新提交损坏的文件,避免了备份文件中的某文件损坏,需要客户端重新上传全部备份文件,节省了备份时间,以及稳定性。
请参考图7,其示出了本发明再一实施例提供的一种数据备份的装置的结构框架图,该数据备份的装置应用于客户端中,该数据备份的装置,包括:
验证连接模块111,用于接收来自于备份服务器的连接请求并与其建立通讯连接,所述连接请求包括通讯连接请求和获取备份文件请求;
归类模块112,用于将系统内需要备份的文件进行归类,并提取出系统内归类后的文件的MD5值;
打包校验模块113,用于将所述归类后的文件分别进行打包,并将打包后的打包文件使用所述系统内归类后的文件的MD5值分别对对应的所述打包文件进行校验;
发送模块114,用于将所有校验完成后的打包文件发送给备份服务器。
上述实施例中,客户端110与备份服务器100通过验证连接模块111建立通讯连接可以在客户端110将需要备份的文件打包完成之前,也可以是打包完成之后;客户端110首先通过归类模块112将所有需要备份的文件进行归类,打包校验模块113提取出归类的文件的MD5值,打包校验模块113使用该MD5值用于确认文件的完整性;客户端110的系统将一些大文件容易打包的文件和一些不容易打包并容易产生锁表的系统文件或其他类型的文件分别归类打包,可以有效提高数据的打包效率,并减少锁表现象,并且对容易锁表的文件单独进行打包,可以避免打包大文件等其他文件时,影响打包效率的问题,可以单独处理容易锁表的文件,打包效率大大增加;客户端110将所有文件打包完成后,使用打包校验模块113对打包好的文件进行校验,确认打包后的文件的完整性,避免因磁盘损坏、系统故障或打包时出现的故障等导致的文件的不完整,数据的改变问题;客户端110将经过MD5值校验的完整文件使用发送模块114全部传输至备份服务器100中进行备份。本发明备份速度快,占用备份服务器100空间少,降低锁表现象,备份的执行可以有效的得到落实。
进一步的,请参考图8,还包括:所述发送模块114还用于将提取出系统内归类后的文件的MD5值发送给备份服务器,以便备份服务器对接收到的经校验完成后的打包文件再次进行校验;
验证连接模块111,还用于接收来自于备份服务器校验完成无误后返回的校验信息。
上述实施例中,客户端110通过发送模块114将所有文件的MD5值发送至备份服务器中,备份服务器接收到所有文件后使用所有文件的MD5值分别对文件进行校验,避免客户端110将所有备份文件传输至备份服务器中时,由于传输错误或存储错误引起的备份文件的缺失、错误或改变,再次校验客户端110传输至备份服务器的所有备份文件,使得所有备份文件稳定准确。
备份服务器100返回校验信息经验证连接模块111接收,可令客户端110知晓其传输的备份文件是否全部安全的存储于备份服务器100中,若传输于备份服务器100中的某些文件损坏,可以令客户端110重新提交损坏的文件,避免了备份文件中的某文件损坏,需要客户端重新上传全部备份文件,节省了备份时间,以及稳定性。
请参考图1,其示出了本发明一实施例提供的一种数据备份的方法的方法流程技术方案。用于备份服务器端之中,所述方法包括:
向客户端发送连接请求,已与客户端建立通讯连接,所述连接请求包括通讯连接请求和获取备份文件请求;
获取客户端内经校验完成后的打包文件,所述打包文件是客户端将其系统内需要备份的文件归类后进行打包的打包文件,所述客户端内校验打包文件是客户端将其系统内需要备份的文件进行归类并提取出系统内归类后的文件的MD5值,以所述MD5值对打包文件后的文件进行校验。
上述实施例中,客户端与备份服务器建立通讯连接可以在,客户端将需要备份的文件打包完成之前,也可以是打包完成之后;客户端首先将所有需要备份的文件进行归类,并提取出归类的文件的MD5值,MD5值用于确认文件的完整性;客户端的系统将一些大文件容易打包的文件和一些不容易打包并容易产生锁表的系统文件或其他类型的文件分别归类打包,可以有效提高数据的打包效率,并减少锁表现象,并且对容易锁表的文件单独进行打包,可以避免打包大文件等其他文件时,影响打包效率的问题,可以单独处理容易锁表的文件,打包效率大大增加;客户端将所有文件打包完成后,使用对文件进行归类时的MD5值对打包好的文件进行校验,确认打包后的文件的完整性,避免因磁盘损坏、系统故障或打包时出现的故障等导致的文件的不完整,数据的改变问题;客户端将经过MD5值校验的完整文件全部传输至备份服务器中进行备份。本发明备份速度快,占空备份服务器空间少,降低锁表现象,备份的执行可以有效的得到落实。
进一步的,所述方法还包括:
获取经客户端提取出其系统内归类后的文件的MD5值,并使用所述系统内归类后的文件的MD5值分别对获取的打包文件进行校验。
上述实施例中,客户端将所有文件的MD5值发送至备份服务器中,备份服务器接收到所有文件后使用所有文件的MD5值分别对文件进行校验,避免客户端将所有备份文件传输至备份服务器中时,由于传输错误或存储错误引起的备份文件的缺失、错误或改变,再次校验客户端传输至备份服务器的所有备份文件,使得所有备份文件稳定准确。
请参考图5,其示出了本发明再一实施例提供的一种数据备份的装置的结构框架图,该数据备份的装置应用于备份服务器中,该数据备份的装置,包括:
连接模块101,用于向客户端发送连接请求,已与客户端建立通讯连接,所述连接请求包括通讯连接请求和获取备份文件请求;
存储模块102,用于获取客户端内经校验完成后的打包文件,所述打包文件是客户端将其系统内需要备份的文件归类后进行打包的打包文件,所述客户端内校验打包文件是客户端将其系统内需要备份的文件进行归类并提取出系统内归类后的文件的MD5值,以所述MD5值对打包文件后的文件进行校验。
上述实施例中,客户端与备份服务器通过连接模块101建立通讯连接,可以在客户端将需要备份的文件打包完成之前,也可以是打包完成之后;客户端首先将所有需要备份的文件进行归类,并提取出归类的文件的MD5值,MD5值用于确认文件的完整性;客户端的系统将一些大文件容易打包的文件和一些不容易打包并容易产生锁表的系统文件或其他类型的文件分别归类打包,可以有效提高数据的打包效率,并减少锁表现象,并且对容易锁表的文件单独进行打包,可以避免打包大文件等其他文件时,影响打包效率的问题,可以单独处理容易锁表的文件,打包效率大大增加;客户端将所有文件打包完成后,使用对文件进行归类时的MD5值对打包好的文件进行校验,确认打包后的文件的完整性,避免因磁盘损坏、系统故障或打包时出现的故障等导致的文件的不完整,数据的改变问题;客户端将经过MD5值校验的完整文件全部传输至备份服务器中的存储模块102进行备份。本发明备份速度快,占空备份服务器空间少,降低锁表现象,备份的执行可以有效的得到落实。
进一步的,请参考图6,还包括:服务器校验模块103,用于获取经客户端提取出其系统内归类后的文件的MD5值,并使用所述系统内归类后的文件的MD5值分别对获取的打包文件进行校验。
上述实施例中,客户端将所有文件的MD5值发送至备份服务器中,备份服务器接收到所有文件后使用服务器校验模块103对所有文件的MD5值分别对文件进行校验,避免客户端将所有备份文件传输至备份服务器中时,由于传输错误或存储错误引起的备份文件的缺失、错误或改变,再次校验客户端传输至备份服务器的所有备份文件,使得所有备份文件稳定准确。
综上所述,本发明的具体构思为以下步骤:
1.提取重要的配置文件和数据文件
2.多机器备份文件的同时检测MD5值进行校验
3.多机器同时进行备份,检测是否成功
4.合并备份完成时的二次校验
5.生成备份压缩文档
6.同步文件至存储系统
参考图9,本发明的具体构思及优选实施方式为以下步骤:
1.备份计划开始执行,根据业务机器执行不用的备份脚本,通过ansible分组挑选不同分组的机器执行的相对应脚本。
2.按业务划分的备份类形如下分类执行
(1)基础备份:获取系统关键参数,列出系统关键配置文件,进行tar打包
(2)应用备份:打系应用和依赖包,应用数据文件,进行tar打包
(3)数据库备份:按需求使用innobackupex进行物理备份,并添加增量biglog备份,最好把相应的文件tar打包
3.备份操作完成后进行文件校验
4.所有备份文件回传到备份服务器
5.备份服务器校验备份文件的正确定,并确认完成所有备份任务
6.最后回传到oss文件储,进行多区备份
备份服务器定时进行磁盘快照,做容灾处理
上述具体构思及优选实施方式可作为方便本领域技术人员理解以及实施。
需要说明的是:上述实施例提供的数据备份的装置在数据备份时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将数据备份的装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据备份的装置与数据备份的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据备份的方法,其特征在于,所述方法包括:
备份服务器发送连接请求至客户端,备份服务器与客户端建立通讯连接后备份服务器向客户端发送获取备份文件请求;
客户端将其系统内需要备份的文件进行归类,并提取出系统内归类后的文件的MD5值;
客户端将所述归类后的文件分别进行打包,并将打包后的打包文件使用所述系统内归类后的文件的MD5值分别对对应的所述打包文件进行校验;
客户端将所有校验完成后的打包文件发送至备份服务器。
2.如权利要求1所述一种数据备份的方法,其特征在于,所述客户端将所有校验完成后的打包文件发送至备份服务器之后,还包括:
客户端将提取出系统内归类后的文件的MD5值发送到备份服务器中;
备份服务器使用所述系统内归类后的文件的MD5值分别对传输至备份服务器的对应的所述打包文件进行校验;
备份服务器校验完成无误后发送校验信息给客户端。
3.如权利要求2所述一种数据备份的方法,其特征在于,所述备份服务器校验完成无误后发送校验信息给客户端之后,还包括:
备份服务器将校验完成后的所述打包文件回传至云服务器,所述云服务器对所述打包文件进行多区备份。
4.如权利要求1所述一种数据备份的方法,其特征在于,客户端将所有校验完成后的打包文件发送至备份服务器之后,还包括:
容灾服务器将客户端的磁盘上的磁盘阵列远程镜像至容灾服务器中的磁盘上;
客户端的磁盘镜像至容灾服务器中的磁盘完成后,容灾服务器获取客户端系统内归类后的文件的MD5值,使用所述系统内归类后的文件的MD5值对容灾服务器内相应文件进行校验。
5.如权利要求1所述一种数据备份的方法,其特征在于,所述客户端将其系统内需要备份的文件归类为基础文件、应用文件和数据库文件,所述基础文件为系统关键配置文件,所述应用文件为应用数据文件,所述数据库文件为存储的主要数据文件。
6.如权利要求5所述一种数据备份的方法,其特征在于,所述数据库物理备份至容灾服务器中,并在所述容灾服务器中创建增量存储单元,所述容灾服务器对数据库进行增量备份,所述数据库的增量备份备份至所述增量存储单元中。
7.一种数据备份的方法,其特征在于,所述方法包括:
接收来自于备份服务器的连接请求并与其建立通讯连接,所述连接请求包括通讯连接请求和获取备份文件请求;
将系统内需要备份的文件进行归类,并提取出系统内归类后的文件的MD5值;
将所述归类后的文件分别进行打包,并将打包后的打包文件使用所述系统内归类后的文件的MD5值分别对对应的所述打包文件进行校验;
将所有校验完成后的打包文件发送给备份服务器。
8.如权利要求7所述一种数据备份的方法,其特征在于,所述客户端将所有校验完成后的打包文件发送给备份服务器之后,还包括:
将提取出系统内归类后的文件的MD5值发送给备份服务器,以便备份服务器对接收到的经校验完成后的打包文件再次进行校验;
接收来自于备份服务器校验完成无误后返回的校验信息。
9.一种数据备份的装置,其特征在于,所述装置包括:
验证连接模块,用于接收来自于备份服务器的连接请求并与其建立通讯连接,所述连接请求包括通讯连接请求和获取备份文件请求;
归类模块,用于将系统内需要备份的文件进行归类,并提取出系统内归类后的文件的MD5值;
打包校验模块,用于将所述归类后的文件分别进行打包,并将打包后的打包文件使用所述系统内归类后的文件的MD5值分别对对应的所述打包文件进行校验;
发送模块,用于将所有校验完成后的打包文件发送给备份服务器。
10.如权利要求9所述一种数据备份的装置,其特征在于,所述发送模块还用于将提取出系统内归类后的文件的MD5值发送给备份服务器,以便备份服务器对接收到的经校验完成后的打包文件再次进行校验;
验证连接模块,还用于接收来自于备份服务器校验完成无误后返回的校验信息。
CN201910256696.7A 2019-04-01 2019-04-01 数据备份的方法和装置 Pending CN111767166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910256696.7A CN111767166A (zh) 2019-04-01 2019-04-01 数据备份的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910256696.7A CN111767166A (zh) 2019-04-01 2019-04-01 数据备份的方法和装置

Publications (1)

Publication Number Publication Date
CN111767166A true CN111767166A (zh) 2020-10-13

Family

ID=72718701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910256696.7A Pending CN111767166A (zh) 2019-04-01 2019-04-01 数据备份的方法和装置

Country Status (1)

Country Link
CN (1) CN111767166A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650621A (zh) * 2020-12-24 2021-04-13 浪潮云信息技术股份公司 一种基于文件存储的备份实现方法
CN112835747A (zh) * 2021-02-24 2021-05-25 上海泰宇信息技术股份有限公司 一种无客户端远程备份方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101908976A (zh) * 2010-07-28 2010-12-08 新太科技股份有限公司 一种双机交易文件备份安全策略设计方法
US20110261395A1 (en) * 2010-04-26 2011-10-27 Samsung Electronics Co., Ltd. Setting apparatus for setting image forming apparatus, method for storing backup file and setting method thereof
CN102629222A (zh) * 2011-11-28 2012-08-08 江苏奇异点网络有限公司 基于类型可定义的可编辑文档自适应备份方法
CN104468035A (zh) * 2014-11-13 2015-03-25 北京航空航天大学 一种分布式pos数据可靠性传输系统及方法
CN105095300A (zh) * 2014-05-16 2015-11-25 阿里巴巴集团控股有限公司 一种数据库备份方法及系统
CN105159797A (zh) * 2015-08-28 2015-12-16 浪潮通用软件有限公司 一种基于oracle数据库备份及恢复的方法
CN106250270A (zh) * 2016-07-28 2016-12-21 四川新环佳科技发展有限公司 一种云计算平台下的数据备份方法
CN108737517A (zh) * 2018-05-07 2018-11-02 安徽车鑫保汽车销售有限公司 一种数据处理分类存储系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110261395A1 (en) * 2010-04-26 2011-10-27 Samsung Electronics Co., Ltd. Setting apparatus for setting image forming apparatus, method for storing backup file and setting method thereof
CN101908976A (zh) * 2010-07-28 2010-12-08 新太科技股份有限公司 一种双机交易文件备份安全策略设计方法
CN102629222A (zh) * 2011-11-28 2012-08-08 江苏奇异点网络有限公司 基于类型可定义的可编辑文档自适应备份方法
CN105095300A (zh) * 2014-05-16 2015-11-25 阿里巴巴集团控股有限公司 一种数据库备份方法及系统
CN104468035A (zh) * 2014-11-13 2015-03-25 北京航空航天大学 一种分布式pos数据可靠性传输系统及方法
CN105159797A (zh) * 2015-08-28 2015-12-16 浪潮通用软件有限公司 一种基于oracle数据库备份及恢复的方法
CN106250270A (zh) * 2016-07-28 2016-12-21 四川新环佳科技发展有限公司 一种云计算平台下的数据备份方法
CN108737517A (zh) * 2018-05-07 2018-11-02 安徽车鑫保汽车销售有限公司 一种数据处理分类存储系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YINJIN FU 等: "Application-Aware Local-Global Source Deduplication for Cloud Backup Services of Personal Storage", 《IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS》, vol. 25, no. 5, pages 1155 - 1165, XP011544932, DOI: 10.1109/TPDS.2013.167 *
朱艳 等: "新疆天文台天文观测数据传输日志系统设计与实现", 《HTTP://KNS.CNKI.NET/KCMS/DETAIL/53.1189.P.20181024.0904.002.HTML》, pages 1 - 11 *
邱爽: "多元存储平台与多设备间数据备份与同步的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 7, pages 138 - 71 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112650621A (zh) * 2020-12-24 2021-04-13 浪潮云信息技术股份公司 一种基于文件存储的备份实现方法
CN112835747A (zh) * 2021-02-24 2021-05-25 上海泰宇信息技术股份有限公司 一种无客户端远程备份方法

Similar Documents

Publication Publication Date Title
US10895996B2 (en) Data synchronization method, system, and apparatus using a work log for synchronizing data greater than a threshold value
CN110647580B (zh) 分布式容器集群镜像管理主节点、从节点、系统及方法
US11397647B2 (en) Hot backup system, hot backup method, and computer device
CN105550073A (zh) 数据库备份方法及其系统
CN106339278A (zh) 一种网络文件系统的数据备份及恢复方法
CN103780417A (zh) 一种基于云硬盘的数据库故障转移方法及装置
CN112596951B (zh) 一种nas数据容灾方法、装置、设备及存储介质
CN112214357B (zh) 一种hdfs数据备份恢复系统及备份恢复方法
CN105553783A (zh) 一种配置双机资源切换的自动化测试方法
CN106452836B (zh) 主节点设置方法及装置
CN108512753B (zh) 一种集群文件系统中消息传输的方法及装置
CN111767166A (zh) 数据备份的方法和装置
CN108352995B (zh) 一种smb业务故障处理方法和存储设备
CN115658390A (zh) 容器容灾方法、系统、装置、设备及计算机可读存储介质
CN110620798B (zh) Ftp连接的控制方法、系统、设备和存储介质
CN105490847A (zh) 一种私有云存储系统中节点故障实时检测及处理方法
CN105323271B (zh) 一种云计算系统以及云计算系统的处理方法和装置
CN115686368A (zh) 区块链网络的节点的存储扩容的方法、系统、装置和介质
CN111404780A (zh) 一种远程直接存储器访问网络集群的功能测试方法和装置
CN113364633B (zh) 一种面向高机动环境的容器集群动态构建方法
CN114301763B (zh) 分布式集群故障的处理方法及系统、电子设备及存储介质
CN116192616A (zh) 基于微服务的电力备调系统处理方法、装置和计算机设备
CN112491633B (zh) 一种多节点集群的故障恢复方法、系统及相关组件
EP3066848B1 (en) Method and apparatus for failure recovery in a machine-to-machine network
CN108429813B (zh) 云存储服务的容灾方法、系统及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
AD01 Patent right deemed abandoned

Effective date of abandoning: 20240531