CN109739690A - 备份方法及相关产品 - Google Patents

备份方法及相关产品 Download PDF

Info

Publication number
CN109739690A
CN109739690A CN201811640309.1A CN201811640309A CN109739690A CN 109739690 A CN109739690 A CN 109739690A CN 201811640309 A CN201811640309 A CN 201811640309A CN 109739690 A CN109739690 A CN 109739690A
Authority
CN
China
Prior art keywords
cluster
backup
data
target
written
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811640309.1A
Other languages
English (en)
Other versions
CN109739690B (zh
Inventor
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201811640309.1A priority Critical patent/CN109739690B/zh
Publication of CN109739690A publication Critical patent/CN109739690A/zh
Application granted granted Critical
Publication of CN109739690B publication Critical patent/CN109739690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例涉及电子技术领域的数据同步,具体公开了一种备份方法及相关产品,该方法包括:获取输入的备份方案,提取所述备份方案中的备份策略,所述备份策略包括备份的目标备集群和备份方式;根据所述备份策略配置参数,以与所述目标备集群建立通信连接;接收来自客户端的写入请求,提取所述写入请求中携带的数据标识,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群,基于所述备份方式,将所述待写入数据备份到所述目标备集群。本申请实施例有利于增加备份方式,提高用户体验。

Description

备份方法及相关产品
技术领域
本申请涉及电子技术领域,具体涉及一种备份方法及相关产品。
背景技术
随着科学技术的发展,数据的存储和管理已经成为越来越受关注的点,为了对不断增长的数据存储以及管理的需求,可以通过集群进行数据存储和管理服务,即将数据备份到远端存储系统,以备份久存储用户的数据。目前,在对数据进行备份时,存在两种方式,即同步备份和异步备份,同步备份时,在主集群写入数据时,主集群会将数据同步备份到备集群,异步备份时,在主集群写入数据时,主集群延迟将数据备份到备集群。无论哪种备份方式,都要求主备集群带有备份支持,而且,必须保证主备集群遵循同一个通讯协议,以便进行数据的传输,即保证主集群和备集群处于同一种系统架构下,由于对于不同的备集群使用不同的通讯协议,所以,当对备集群更改时,需要重新调整主备集群的网络架构。
现有技术中,数据备份的方式单一、过程繁琐、用户体验低。
发明内容
本申请实施例提供了一种备份方法及相关产品,以期实现可以在不同系统框架下的主集群和备集群之间进行数据备份,增加数据的备份方式。
第一方面,本申请实施例提供一种备份方法,所述方法包括:
获取输入的备份方案,提取所述备份方案中的备份策略,所述备份策略包括备份的目标备集群和备份方式;
根据所述备份策略配置参数,以与所述目标备集群建立通信连接;
接收来自客户端的写入请求,提取所述写入请求中携带的数据标识,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群,基于所述备份方式,将所述待写入数据备份到所述目标备集群。
第二方面,本申请实施例提供一种备份装置,所述备份装置包括:
获取单元,用于获取输入的备份方案,提取所述备份方案中的备份策略,所述备份策略包括备份的目标备集群和备份方式;
配置单元,用于根据所述备份策略配置参数,以与所述目标备集群建立通信连接;
备份单元,用于接收来自客户端的写入请求,提取所述写入请求中携带的数据标识,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群,基于所述备份方式,将所述待写入数据备份到所述目标备集群。
第三方面,本申请实施例提供一种装置,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如第一方面所述的方法中的步骤的指令。
第四方面,本申请实施例提供一种计算机可读存储介质,其存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如第一方面所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机可操作来使计算机执行如第一方面所述的方法。
实施本申请实施例,具有如下有益效果:
可以看出,在本申请实施例中,中间件接收输入的备份方案,根据该备份方案配置参数,从而与目标备集群建立通信连接,在接收到写入请求时,识别该写入请求需要写入的主集群,将该写入请求中携带的待写入数据写入到该主集群,并基于该备份方案中的备份方式,将该待写入数据备份到所述目标备集群,从而实现由中间件实现数据的写入与备份,主集群和备集群之间无需通信连接,无需主集群与备集群同属于一个网络架构,解决备份时主集群和备集群必须遵循相同的网络协议的单一问题,增加备份方式。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A为本申请实施例提供的一种备份方法的网络架构的示意图;
图1B为本申请实施例提供的一种备份方法的流程示意图;
图2为本申请实施例提供的另一种备份方法的流程示意图;
图3为本申请实施例提供的另一种备份方法的流程示意图;
图4是本申请实施例提供的一种备份装置的结构示意图;
图5是本申请实施例提供的一种备份装置的功能单元组成框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请中的装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备MID(Mobile Internet Devices,简称:MID)或穿戴式设备等,上述装置仅是举例,而非穷举,包含但不限于上述装置,为了描述的方便,下面实施例中将上述装置称为用户设备UE(User equipment,简称:UE)。当然在实际应用中,上述用户设备也不限于上述变现形式,例如还可以包括:智能车载终端、计算机设备等等。
以下,对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。
中间件,一种独立的系统软件或服务程序,分布式应用软件借助中间件在不同的技术之间共享资源。中间件位于客户机/服务器的操作系统之上,管理计算机资源和网络通讯,是连接两个独立应用程序或独立系统的软件。相连接的系统,即使它们具有不同的接口,但通过中间件相互之间仍能交换信息。
首先,参阅图1A,图1A为本申请实施例提供的一种备份方法的网络架构示意图,该网络架构包括:客户端100、中间件200、主集群300、备集群400,其中,主集群300与备集群400均可以为一个或多个,可以为相同的设备,也可以是不同的设备,本申请不做唯一限定;
其中,客户端100,用于向中间件200发送备份方案以及写入请求;
中间件200,用于接收来自客户端100的备份方案以及写入请求,根据所述备份方案对中间件200的配置文件中的参数进行配置,与备集群400建立通信连接,提取所述写入请求中携带的数据标识,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群,并将所述写入数据备份到备集群400;
主集群300,用于接收中间件200发送的所述待写入数据,存储所待写入数据;
备集群400,用于接收中间件200发送的所述待写入数据,存储所述待写入数据。
可以看出,在本申请实施例中,中间件200接收来自客户端100的备份方案,依据该备份方案对参数进行配置,从而与相对应的目标备集群400进行通信连接,然后,接收客户端100的写入请求,提取该写入请求的待写入数据,将该待写入数据写入到主集群300以及将该待写入数据备份到目标备集群400,从而实现由中间件实现数据的写入与备份,主集群和备集群之间无需通信连接,无需主集群与备集群同属于一个网络架构,解决备份时主集群和备集群必须遵循相同的网络协议的单一问题,增加备份方式,提高用户体验。
首先参阅图1B,图1B为本申请实施例提供的一种备份方法的流程示意图,该方法应用于装置,该装置应用于中间件,该方法包括如步骤S101~S103所示的内容:
步骤S101、中间件获取输入的备份方案,提取所述备份方案中的备份策略,所述备份策略包括备份的目标备集群和备份方式。
可选的,所述中间件获取输入的备份方案具体包括:接收来自客户端发送的备份方案,其中,该备份方案是用户在客户端的可视化界面选择得到的,例如,在客户端的可视化界面上设置备份按钮,每个备份按钮对应一个备份方案,当点击备份按钮时,则会读取到该备份按钮对应的备份方案,将该备份方案发送给所述中间件,以指示所述中间件配置参数。
其中,所述目标备集群为远端存储系统,用于存储备份数据,其可以为网络附属存储NAS(Network Attached Storage,简称:NAS)、分布式存储系统(Distributed StorageSystem,简称:DSS)。
步骤S102、所述中间件根据所述备份策略配置参数,以与所述目标备集群建立通信连接。
可选的,所述中间件根据所述备份策略配置参数具体包括:
识别所述目标备集群的设备标识,其中,所述设备标识为设备的标识信息,用于表示设备类型,每个备集群具有唯一标识信息,预先建立标识信息与网络协议集群的映射关系表,从该映射关系表中提取与该设备标识对应的网络协议集群,例如,如目标备集群为NAS存储系统时,其对应的网络协议集群包括输控制协议/互联网络协议TCP/IP(transmission Control Protocol/Internet Protocol,简称:TCP/IP)、分组交换/顺序分组交换协议IPX/SPX(Internetwork Packet Exchange/Sequences Packet Exchange,简称:IPX/SPX)、RS-485;获取与所述目标备集群的预设通信方式,确定所述网络协议集群中与所述预设通信方式对应的网络协议,例如,如预设通信方式网关时,即中间件与目标备集群之间以网络进行数据传输,确定该网络协议为TCP/IP,再如预设通信方式为无线局域网时,确定该网络协议为IPX/SPX;故可根据设备标识、预设通信方式与网络协议的映射关系确定所述目标备集群对应的网络协议;从驱动程序数据库中提取与所述网络协议对应的驱动程序,加载所述驱动程序,通过所述网络协议与所述目标备集群进行数据备份;其中,所述预设通信方式至少包括串口、网关和无线局域网中的一种。
步骤S103、所述中间件接收来自客户端的写入请求,提取所述写入请求中携带的数据标识,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群,基于所述备份方式,将所述待写入数据备份到所述目标备集群。
可选的,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群具体包括:对所述数据标识进行哈希运算,得到所述数据标识对应的哈希值,即利用哈希计算把任意长度的输入通过散列算法变换成一定长度的输出的计算方法,其中,散列算法可以为信息摘要算法MD5(Message-DigestAlgorithm5,简称:MD5)或者安全哈希标准算法SHS(Secure Hash Standard,简称:SHS),等等,利用上述散列算法中的一种对目标标识进行计算得到哈希值;在得到哈希值后,根据预设数值对所述哈希值进行取余运算,得到目标键值,即y=(x,b),其中,x表示哈希值,b标识预设的数值,具体为500、1000、1500或者其他值,y表示目标键值,mod表示取余运算;根据键值与主集群的映射关系确定所述目标键值对应的目标主集群,将所述目标主集群标记为所述数据标识对应的主集群;提取所述写入请求中携带的保存路径,将所述写入请求中的待写入数据写入到所述主集群在所述保存路径下的存储空间。例如,该保存路径为E:\BaiduNetdiskDownload时,则该中间件将该数据保存到E盘的BaiduNetdiskDownload文件夹的日志文件中,将待写入数据写入至所述主集群。
进一步地,在将该待写入数据写入所述主集群时,根据备份方式将该待写入数据备份至备集群,具体来讲,当所述备份方式为同步备份时,在写入到主集群的同时,执行备份操作,将该待写入数据同步备份到所述目标备集群,如所述备份方式为异步备份时,获取预先设置的备份间隔,先将所述待写入数据写入到主集群中,在所述中间件接收到所述主集群反馈的数据写入成功响应时,在所述备份间隔后,执行备份操作,将所述待写入数据备份到所述目标备集群。
其中,所述备份间隔可以为1min、2min、3min或者其他值。
可以看出,在本申请实施例中,中间件接收输入的备份方案,根据该备份方案配置参数,从而与目标备集群建立通信连接,在接收到写入请求时,识别该写入请求需要写入的主集群,将该写入请求中携带的待写入数据写入到该主集群,并基于该备份方案中的备份方式,将该待写入数据备份到所述目标备集群,从而实现由中间件实现数据的写入与备份,主集群和备集群之间无需通信连接,无需主集群与备集群同属于一个网络架构,解决备份时主集群和备集群必须遵循相同的网络协议的单一问题,增加备份方式;而且对于不同的备份方式,执行不同的备份操作,实现根据用户不同的需求,灵活配置不同的备份方式,进一步提高用户体验。
可选的,在一可能的示例中,所述方法包括:
在执行备份操作之前,识别所述待写入数据,判断所述待写入数据中是否包含隐私词汇或者隐私图片,如是,确定所述待写数据中包含隐私信息,在将所述待写入数据备份到所述目标集群时,对所述待写入数据进行加密,将加密后的数据写入到所述目标备集群,其对所述待写入数据进行加密具体包括:从客户端中获取加密信息,其加密信息包括指纹信息、虹膜信息、面部ID信息中的一种,利用该加密信息对所述写入数据进行加密,从而防止恶意行为从所述目标备集群窃取所述待写入数据,导致隐私泄露,保护用户隐私。而且,整个加密过程是用户无感进行,提高用户体验。
可选的,在一可能的示例中,在接收来自客户端的写入请求后,所述方法还包括:
提取所述写入请求中携带的待写入数据,获取所述待写入数据的内存,如待写入数据的内存大于预设阈值时,在所述备份方式为同步备份时,向所述客户端发送提示信息,所述提示信息用于提示向所述中间件发送将备份方式调整异步备份的调整指令。理由是,当所述待写入数据的内存过大时,采用同步备份时,需要等待所述主集群和所述目标备集群反馈的写入成功信息后,方可处理下一个写入请求,由于所述代写数据的内存过大,在将待写入数据备份到所述目标备集群时,采用同步备份时,与目标备集群通过网络传输数据的时长较长,备份较慢,等待的时间长,而将数据写入主集群的过程无需网络传输(可通过串口写入),所以写入到主集群的时间较短,而且在采用异步备份时,可将备份到目标备份集群耗时比较久的线程在后台运行,只需要执行完写入到主集群的线程即可,即备份时长相当于写入到所述主集群所需的时长,所以缩短了同步备份方式时处理每个写入请求的时间,间接降低了备份时长,不会额外增加用户的等待时间,提高用户体验。
其中,所述预设阈值可以为2GB、5GB、10GB或者其他值。
参阅图2,图2为本申请实施例提供的另一种备份方法的流程示意图,该方法应用于装置,该装置应用于中间件,该方法包括如步骤S201~S206所示的内容:
步骤S201、获取输入的备份方案,提取所述备份方案中的备份策略,所述备份策略包括备份的目标备集群和备份方式。
步骤S202、根据所述备份策略配置参数,以与所述目标备集群建立通信连接。
步骤S203、接收来自客户端的写入请求,提取所述写入请求中携带的数据标识,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群,基于所述备份方式,将所述待写入数据备份到所述目标备集群。
步骤S204、接收所述主集群和所述目标备集群反馈的针对所述写入请求的确认字符ACK信息,根据所述主集群和所述目标备集群反馈的ACK信息确定对所述写入请求的执行结果。
步骤S205、在所述备份方式为同步备份时,确定是否接收到所述主集群反馈的针对所述写入请求的第一ACK信息以及所述目标备集群反馈的针对所述写入请求的第二ACK信息,以得到对所述写入请求的执行结果。
具体来讲,如接收到所述主集群反馈的针对所述写入请求的第一ACK信息以及所述目标备集群反馈的针对所述写入请求的第二ACK信息,确定所述写入请求的写入操作和备份操作执行成功,理由是,同步备份方式,即写入操作和备份操作为一个线程,需保证两个操作都执行成功,得到该线程的结果为成功,如仅接收到一个操作成功的反馈信息时,得到该线程的执行结果为失败,现有技术中,如该线程执行失败,则会循序执行该线程或者退出应用(即不允许接收下一个写入请求),但是,数据备份时,会存在很多写入请求,故当前的方式导致用户的等待时间长,故采用如下的解决方案:如未接收到所述第一ACK信息,确定所述写入请求的写入操作执行失败,指示所述目标备集群将所述待写入数据标记为待存储数据,在确定所述主集群恢复正常时,向所述备集群发送数据写入请求,以从所述目标备集群中提取所述待存储数据,将所述待存储数据写入所述主集群;如未接收到所述第二ACK信息,确定所述写入请求的备份操作执行失败,指示所述主集群将已写入的数据标记为待备份数据,在确定所述目标备集群恢复正常时,向所述主集群发送数据备份请求,以从所述主集群中提取所述待备份数据,将所述待备份数据备份至所述目标备集群。
步骤S206、在所述备份方式为异步备份时,确定是否接收到所述主集群反馈的针对所述写入请求的第三ACK信息,以得到对所述写入请求的执行结果。
具体来讲,由于异步备份方式,备份操作和写入操作是两个独立的线程,两个的执行结果不会相互影响,如备份失败,在后台重新执行针对该待写入数据的备份操作即可,直至完成对该待写入数据的备份操作,所以,在接收到所述主集群反馈的写入成功信息时,无需等待是否可以接收到所述目标备集群反馈的针对所述写入请求的ACK信息,即可默认对所述待写入数据的备份操作成功,允许接收下一个写入请求,执行下一个请求的写入操作和备份操作。
可以看出,在本申请实施例中,中间件接收输入的备份方案,根据该备份方案配置参数,从而与目标备集群建立通信连接,在接收到写入请求时,识别该写入请求需要写入的主集群,将该写入请求中携带的待写入数据写入到该主集群,并基于该备份方案中的备份方式,将该待写入数据备份到所述目标备集群,从而实现由中间件实现数据的写入与备份,主集群和备集群之间无需通信连接,无需主集群与备集群同属于一个网络架构,解决备份时主集群和备集群必须遵循相同的网络协议的单一问题,增加备份方式;而且对于不同的备份方式,执行不同的备份操作,实现根据用户不同的需求,灵活配置不同的备份方式,进一步提高用户体验。
参阅图3,图3为本申请实施例提供的另一种备份方法的流程示意图,该方法应用于装置,该装置应用于中间件,该方法包括如步骤S301~S306所示的内容:
步骤S301、获取输入的备份方案,提取所述备份方案中的备份策略,所述备份策略包括备份的目标备集群和备份方式。
步骤S302、根据所述备份策略配置参数,以与所述目标备集群建立通信连接。
步骤S303、接收来自客户端的写入请求,提取所述写入请求中携带的数据标识,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群。
步骤S304、对所述待写入数据添加时间戳,获取所述待写入数据的内存,向所述目标备集群发送存储空间获取信息,以确定所述目标备集群的剩余存储空间,接收来自所述备集群针对所述存储空间获取信息的响应,所述响应中携带所述目标备集群的剩余存储空间。
步骤S305、如所述剩余存储空间小于所述待写入数据的内存,向所述目标备集群发送删除指令,所述删除指令用于指示所述备集群删除已备份数据中的目标数据。
其中,所述目标数据是由所述备集群执行以下操作得到的:解析所述已备份数据的时间戳,获取每个已备份数据的备份日期,根据所述备份日期确定每个已备份数据的备份时长,将备份时长大于预设时长的已备份数据标记为目标数据。
进一步地,所述目标数据还可由所述备集群执行以下操作得到的:接收所述中间件发送的所述待写入数据的内存,解析所述已备份数据的时间戳,获取每个已备份数据的备份日期,获取每个已备份数据的内存,按照备份日期的前后顺序对已备份数据的内存进行计算,当确定已备份数据的内存等于或者大于所述待写入数据的内存时,将参与计算内存的已备份数据标记为所述目标数据。
步骤S306、在接收到所述备集群反馈的针对所述删除指令的删除响应时,基于所述备份方式,将所述待写入数据以及所述待写入数据的时间戳备份至所述备集群。
可以看出,在本申请实施例中,中间件接收输入的备份方案,根据该备份方案配置参数,从而与目标备集群建立通信连接,在接收到写入请求时,识别该写入请求需要写入的主集群,将该写入请求中携带的待写入数据写入到该主集群,并基于该备份方案中的备份方式,将该待写入数据备份到所述目标备集群,从而实现由中间件实现数据的写入与备份,主集群和备集群之间无需通信连接,无需主集群与备集群同属于一个网络架构,解决备份时主集群和备集群必须遵循相同的网络协议的单一问题,增加备份方式;而且对于不同的备份方式,执行不同的备份操作,实现根据用户不同的需求,灵活配置不同的备份方式,进一步提高用户体验;而且,在备份之前,对数据添加时间戳,以记录备份时间,在备份时,基于该时间戳灵活删除目标备集群已备份的数据,从而腾出空间备份新的数据,灵活配置目标备集群的存储空间,解决内存不足的问题。
与上述图1、图2、图3所示的实施例一致的,请参阅图4,图4为本申请实施例提供的一种备份装置400的结构示意图,如图4所示,该装置400包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序不同于上述一个或多个应用程序,且上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行以下步骤的指令;
获取输入的备份方案,提取所述备份方案中的备份策略,所述备份策略包括备份的目标备集群和备份方式;
根据所述备份策略配置参数,以与所述目标备集群建立通信连接;
接收来自客户端的写入请求,提取所述写入请求中携带的数据标识,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群,基于所述备份方式,将所述待写入数据备份到所述目标备集群。
在一可能的示例中,在根据所述备份策略配置参数,以与所述目标备集群建立通信连接方面,上述程序具体用于执行以下步骤的指令:
识别所述目标备集群的设备标识;
获取与所述目标备集群的预设通信方式;
根据设备标识、预设通信方式与网络协议的映射关系确定所述目标备集群对应的网络协议;
从驱动程序数据库中提取与所述网络协议对应的驱动程序,加载所述驱动程序,通过所述网络协议与所述目标备集群进行数据备份;
其中,所述预设通信方式至少包括串口、网关和无线局域网中的一种。
在一可能的示例中,在确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群方面,上述程序具体用于执行以下步骤的指令:
对所述数据标识进行哈希运算,得到所述数据标识对应的哈希值;
根据预设数值对所述哈希值进行取余运算,得到目标键值;
根据键值与主集群的映射关系确定所述目标键值对应的目标主集群,将所述目标主集群标记为所述数据标识对应的主集群;
提取所述写入请求中携带的保存路径,将所述写入请求中的待写入数据写入到所述主集群在所述保存路径下的存储空间。
在一可能的示例中,上述程序还用于执行以下步骤的指令:
接收所述主集群和所述目标备集群反馈的针对所述写入请求的确认字符ACK信息,根据所述主集群和所述目标备集群反馈的ACK信息确定对所述写入请求的执行结果。
在一可能的示例中,在所述备份方式为同步备份时,在根据所述主集群和所述目标备集群反馈的ACK信息确定对所述写入请求的执行结果方面,上述程序具体用于执行以下步骤的指令:
如接收到所述主集群反馈的针对所述写入请求的第一ACK信息以及所述目标备集群反馈的针对所述写入请求的第二ACK信息,确定所述写入请求的写入操作和备份操作均执行成功;
如未接收到所述第一ACK信息,确定所述写入请求的写入操作执行失败,指示所述目标备集群将所述待写入数据标记为待存储数据,在确定所述主集群恢复正常时,向所述备集群发送数据写入请求,以从所述目标备集群中提取所述待存储数据,将所述待存储数据写入所述主集群;
如未接收到所述第二ACK信息,确定所述写入请求的备份操作执行失败,指示所述主集群将已写入的数据标记为待备份数据,在确定所述目标备集群恢复正常时,向所述主集群发送数据备份请求,以从所述主集群中提取所述待备份数据,将所述待备份数据备份至所述目标备集群。
在一可能的示例中,在所述备份方式为异步备份时,在根据所述主集群和所述目标备集群反馈的ACK信息确定对所述写入请求的执行结果方面,上述程序具体用于执行以下步骤的指令:
如接收到所述主集群反馈的针对所述写入请求的第三ACK信息,确定对所述写入请求的写入操作和备份操作均成功。
在一可能的示例中,在将所述待写入数据备份到所述目标备集群之前,上述程序还用于执行以下步骤的指令:
对所述待写入数据添加时间戳;
在基于所述备份方式,将所述待写入数据备份到所述目标备集群方面,上述程序具体用于执行以下步骤的指令:
在将所述待写入数据备份到所述目标备集群时,获取所述待写入数据的内存,向所述目标备集群发送存储空间获取信息,以确定所述目标备集群的剩余存储空间,接收来自所述备集群针对所述存储空间获取信息的响应,所述响应中携带所述目标备集群的剩余存储空间;
如所述剩余存储空间小于所述待写入数据的内存,向所述目标备集群发送删除指令,所述删除指令用于指示所述备集群删除已备份数据中的目标数据,所述目标数据是由所述备集群执行以下操作得到的:解析所述已备份数据的时间戳,获取每个已备份数据的备份日期,根据所述备份日期确定每个已备份数据的备份时长,将备份时长大于预设时长的已备份数据标记为目标数据;
在接收到所述备集群反馈的针对所述删除指令的删除响应时,基于所述备份方式,将所述待写入数据以及所述待写入数据的时间戳备份至所述备集群。
参阅图5,图5示出了上述实施例中所涉及的备份方法的装置500的一种可能的功能单元组成框图,装置500包括:获取单元510、配置单元520、备份单元530,其中,
获取单元510,用于获取输入的备份方案,提取所述备份方案中的备份策略,所述备份策略包括备份的目标备集群和备份方式;
配置单元520,用于根据所述备份策略配置参数,以与所述目标备集群建立通信连接;
备份单元530,用于接收来自客户端的写入请求,提取所述写入请求中携带的数据标识,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群,基于所述备份方式,将所述待写入数据备份到所述目标备集群。
在一可能的示例中,在根据所述备份策略配置参数,以与所述目标备集群建立通信连接时,配置单元520,具体用于:识别所述目标备集群的设备标识;以及用于获取与所述目标备集群的预设通信方式;以及用于根据设备标识、预设通信方式与网络协议的映射关系确定所述目标备集群对应的网络协议;以及用于从驱动程序数据库中提取与所述网络协议对应的驱动程序,加载所述驱动程序,通过所述网络协议与所述目标备集群进行数据备份;其中,所述预设通信方式至少包括串口、网关和无线局域网中的一种。
在一可能的示例中,在确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群时,备份单元530具体用于:对所述数据标识进行哈希运算,得到所述数据标识对应的哈希值;以及用于根据预设数值对所述哈希值进行取余运算,得到目标键值;以及用于根据键值与主集群的映射关系确定所述目标键值对应的目标主集群,将所述目标主集群标记为所述数据标识对应的主集群;以及用于提取所述写入请求中携带的保存路径,将所述写入请求中的待写入数据写入到所述主集群在所述保存路径下的存储空间。
在一可能的示例中,电子设备500,还包括确定单元540;
其中,确定单元540,用于接收所述主集群和所述目标备集群反馈的针对所述写入请求的确认字符ACK信息,根据所述主集群和所述目标备集群反馈的ACK信息确定对所述写入请求的执行结果。
在一可能的示例中,在所述备份方式为同步备份时,在根据所述主集群和所述目标备集群反馈的ACK信息确定对所述写入请求的执行结果时,备份单元540,具体用于:如接收到所述主集群反馈的针对所述写入请求的第一ACK信息以及所述目标备集群反馈的针对所述写入请求的第二ACK信息,确定所述写入请求的写入操作和备份操作均执行成功;以及用于如未接收到所述第一ACK信息,确定所述写入请求的写入操作执行失败,指示所述目标备集群将所述待写入数据标记为待存储数据,在确定所述主集群恢复正常时,向所述备集群发送数据写入请求,以从所述目标备集群中提取所述待存储数据,将所述待存储数据写入所述主集群;以及用于如未接收到所述第二ACK信息,确定所述写入请求的备份操作执行失败,指示所述主集群将已写入的数据标记为待备份数据,在确定所述目标备集群恢复正常时,向所述主集群发送数据备份请求,以从所述主集群中提取所述待备份数据,将所述待备份数据备份至所述目标备集群。
在一可能的示例中,在所述备份方式为异步备份时,在根据所述主集群和所述目标备集群反馈的ACK信息确定对所述写入请求的执行结果时,备份单元540,具体用于:如接收到所述主集群反馈的针对所述写入请求的第三ACK信息,确定对所述写入请求的写入操作和备份操作均成功。
在一可能的示例中,电子设备500还包括添加单元550,;
其中,添加单元550,用于对所述待写入数据添加时间戳,在基于所述备份方式,将所述待写入数据备份到所述目标备集群时,备份单元530,具体用于:在将所述待写入数据备份到所述目标备集群时,获取所述待写入数据的内存,向所述目标备集群发送存储空间获取信息,以确定所述目标备集群的剩余存储空间,接收来自所述备集群针对所述存储空间获取信息的响应,所述响应中携带所述目标备集群的剩余存储空间;以及用于如所述剩余存储空间小于所述待写入数据的内存,向所述目标备集群发送删除指令,所述删除指令用于指示所述备集群删除已备份数据中的目标数据,所述目标数据是由所述备集群执行以下操作得到的:解析所述已备份数据的时间戳,获取每个已备份数据的备份日期,根据所述备份日期确定每个已备份数据的备份时长,将备份时长大于预设时长的已备份数据标记为目标数据;以及用于在接收到所述备集群反馈的针对所述删除指令的删除响应时,基于所述备份方式,将所述待写入数据以及所述待写入数据的时间戳备份至所述备集群。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任何一种备份方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种备份方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种备份方法,其特征在于,所述方法包括:
获取输入的备份方案,提取所述备份方案中的备份策略,所述备份策略包括备份的目标备集群和备份方式;
根据所述备份策略配置参数,以与所述目标备集群建立通信连接;
接收来自客户端的写入请求,提取所述写入请求中携带的数据标识,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群,基于所述备份方式,将所述待写入数据备份到所述目标备集群。
2.根据权利要求1所述的方法,其特征在于,所述根据所述备份策略配置参数,以与所述目标备集群建立通信连接具体包括:
识别所述目标备集群的设备标识;
获取与所述目标备集群的预设通信方式;
根据设备标识、预设通信方式与网络协议的映射关系确定所述目标备集群对应的网络协议;
从驱动程序数据库中提取与所述网络协议对应的驱动程序,加载所述驱动程序,通过所述网络协议与所述目标备集群进行数据备份;
其中,所述预设通信方式至少包括串口、网关和无线局域网中的一种。
3.根据权利要求1或2所述的方法,其特征在于,所述确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群具体包括:
对所述数据标识进行哈希运算,得到所述数据标识对应的哈希值;
根据预设数值对所述哈希值进行取余运算,得到目标键值;
根据键值与主集群的映射关系确定所述目标键值对应的目标主集群,将所述目标主集群标记为所述数据标识对应的主集群;
提取所述写入请求中携带的保存路径,将所述写入请求中的待写入数据写入到所述主集群在所述保存路径下的存储空间。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
接收所述主集群和所述目标备集群反馈的针对所述写入请求的确认字符ACK信息,根据所述主集群和所述目标备集群反馈的ACK信息确定对所述写入请求的执行结果。
5.根据权利要求4所述的方法,其特征在于,在所述备份方式为同步备份时,所述根据所述主集群和所述目标备集群反馈的ACK信息确定对所述写入请求的执行结果具体包括:
如接收到所述主集群反馈的针对所述写入请求的第一ACK信息以及所述目标备集群反馈的针对所述写入请求的第二ACK信息,确定所述写入请求的写入操作和备份操作均执行成功;
如未接收到所述第一ACK信息,确定所述写入请求的写入操作执行失败,指示所述目标备集群将所述待写入数据标记为待存储数据,在确定所述主集群恢复正常时,向所述备集群发送数据写入请求,以从所述目标备集群中提取所述待存储数据,将所述待存储数据写入所述主集群;
如未接收到所述第二ACK信息,确定所述写入请求的备份操作执行失败,指示所述主集群将已写入的数据标记为待备份数据,在确定所述目标备集群恢复正常时,向所述主集群发送数据备份请求,以从所述主集群中提取所述待备份数据,将所述待备份数据备份至所述目标备集群。
6.根据权利要求4所述的方法,其特征在于,在所述备份方式为异步备份时,所述根据所述主集群和所述目标备集群反馈的ACK信息确定对所述写入请求的执行结果具体包括:
如接收到所述主集群反馈的针对所述写入请求的第三ACK信息,确定对所述写入请求的写入操作和备份操作均成功。
7.根据权利要求1所述的方法,其特征在于,所述在将所述待写入数据备份到所述目标备集群之前,所述方法还包括:
对所述待写入数据添加时间戳;
基于所述备份方式,将所述待写入数据备份到所述目标备集群具体包括:
在将所述待写入数据备份到所述目标备集群时,获取所述待写入数据的内存,向所述目标备集群发送存储空间获取信息,以确定所述目标备集群的剩余存储空间,接收来自所述备集群针对所述存储空间获取信息的响应,所述响应中携带所述目标备集群的剩余存储空间;
如所述剩余存储空间小于所述待写入数据的内存,向所述目标备集群发送删除指令,所述删除指令用于指示所述备集群删除已备份数据中的目标数据,所述目标数据是由所述备集群执行以下操作得到的:解析所述已备份数据的时间戳,获取每个已备份数据的备份日期,根据所述备份日期确定每个已备份数据的备份时长,将备份时长大于预设时长的已备份数据标记为目标数据;
在接收到所述备集群反馈的针对所述删除指令的删除响应时,基于所述备份方式,将所述待写入数据以及所述待写入数据的时间戳备份至所述备集群。
8.一种备份装置,其特征在于,所述备份装置包括:
获取单元,用于获取输入的备份方案,提取所述备份方案中的备份策略,所述备份策略包括备份的目标备集群和备份方式;
配置单元,用于根据所述备份策略配置参数,以与所述目标备集群建立通信连接;
备份单元,用于接收来自客户端的写入请求,提取所述写入请求中携带的数据标识,确定所述数据标识对应的主集群,将所述写入请求中的待写入数据写入所述主集群,基于所述备份方式,将所述待写入数据备份到所述目标备集群。
9.一种装置,其特征在于,包括处理器、存储器、通信接口以及一个或多个程序,其中,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行权利要求1-7任一项方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,其用于存储计算机程序,其中,所述计算机程序被处理器执行,以实现如权利要求1-7任一项所述的方法。
CN201811640309.1A 2018-12-29 2018-12-29 备份方法及相关产品 Active CN109739690B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811640309.1A CN109739690B (zh) 2018-12-29 2018-12-29 备份方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811640309.1A CN109739690B (zh) 2018-12-29 2018-12-29 备份方法及相关产品

Publications (2)

Publication Number Publication Date
CN109739690A true CN109739690A (zh) 2019-05-10
CN109739690B CN109739690B (zh) 2024-05-28

Family

ID=66362486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811640309.1A Active CN109739690B (zh) 2018-12-29 2018-12-29 备份方法及相关产品

Country Status (1)

Country Link
CN (1) CN109739690B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515769A (zh) * 2019-08-15 2019-11-29 苏州浪潮智能科技有限公司 一种备份处理方法、装置和电子设备及可读存储介质
CN110955561A (zh) * 2019-11-25 2020-04-03 安徽兮克电子科技有限公司 一种nas系统的备份及还原方法
CN111240904A (zh) * 2020-01-17 2020-06-05 北京达佳互联信息技术有限公司 数据库备份方法、装置、电子设备及存储介质
CN112003744A (zh) * 2020-08-14 2020-11-27 苏州浪潮智能科技有限公司 一种云平台服务集群的备份恢复方法及系统
WO2022227719A1 (zh) * 2021-04-26 2022-11-03 华为云计算技术有限公司 数据备份方法、系统及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的系统和数据迁移的方法
CN106230985A (zh) * 2016-09-21 2016-12-14 广东工业大学 一种基于物联网大数据处理方法、系统及服务处理端
CN106570007A (zh) * 2015-10-09 2017-04-19 阿里巴巴集团控股有限公司 用于分布式缓存系统数据同步的方法和设备
CN106878473A (zh) * 2017-04-20 2017-06-20 腾讯科技(深圳)有限公司 一种消息处理方法、服务器集群及系统
CN108123976A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 集群间的数据备份方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的系统和数据迁移的方法
CN106570007A (zh) * 2015-10-09 2017-04-19 阿里巴巴集团控股有限公司 用于分布式缓存系统数据同步的方法和设备
CN106230985A (zh) * 2016-09-21 2016-12-14 广东工业大学 一种基于物联网大数据处理方法、系统及服务处理端
CN108123976A (zh) * 2016-11-30 2018-06-05 阿里巴巴集团控股有限公司 集群间的数据备份方法、装置及系统
CN106878473A (zh) * 2017-04-20 2017-06-20 腾讯科技(深圳)有限公司 一种消息处理方法、服务器集群及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515769A (zh) * 2019-08-15 2019-11-29 苏州浪潮智能科技有限公司 一种备份处理方法、装置和电子设备及可读存储介质
CN110955561A (zh) * 2019-11-25 2020-04-03 安徽兮克电子科技有限公司 一种nas系统的备份及还原方法
CN111240904A (zh) * 2020-01-17 2020-06-05 北京达佳互联信息技术有限公司 数据库备份方法、装置、电子设备及存储介质
CN112003744A (zh) * 2020-08-14 2020-11-27 苏州浪潮智能科技有限公司 一种云平台服务集群的备份恢复方法及系统
WO2022227719A1 (zh) * 2021-04-26 2022-11-03 华为云计算技术有限公司 数据备份方法、系统及相关设备

Also Published As

Publication number Publication date
CN109739690B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN109739690A (zh) 备份方法及相关产品
CN106375404B (zh) 数据存储控制方法、数据存储方法、数据获取方法及装置
CN103139157B (zh) 一种基于socket的网络通信方法、装置及系统
CN105407117B (zh) 分布式备份数据的方法、装置和系统
CN105930121B (zh) 多客户端的笔迹同步方法和系统
CN104737135B (zh) 信息处理终端以及同步控制方法
CN102752294B (zh) 基于设备能力的多终端数据同步方法和系统
CN103605798A (zh) 一种直接操作云端存储文件的方法
CN106445414A (zh) 终端设备可用存储空间扩展方法和系统
CN105518641A (zh) 点对点数据复制方法、设备和系统以及主节点切换方法、设备和系统
CN101771548A (zh) 文件同步方法及系统
CN109815214A (zh) 数据库访问方法、系统、装置及存储介质
CN110515762A (zh) 数据恢复方法、装置、终端设备及存储介质
CN104793981B (zh) 一种虚拟机集群的在线快照管理方法及装置
CN106101091A (zh) 终端间数据处理的方法和装置
CN104811473A (zh) 一种创建虚拟非易失性存储介质的方法、系统及管理系统
CN105718299A (zh) 虚拟机的配置方法、装置及系统
CN107770207A (zh) 多终端设备间数据同步的方法
CN113347257A (zh) 通信方法、装置、服务器及存储介质
CN108234551A (zh) 一种数据处理方法及装置
CN109299116B (zh) 一种数据同步方法、装置、设备及可读存储介质
CN105302486A (zh) 一种虚拟化离线桌面块设备存储同步方法
CN106227470B (zh) 一种存储资源管理方法及装置
CN106570068B (zh) 信息推荐方法及装置
CN106453663B (zh) 改进的基于云服务的存储扩容方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant