CN108429813B - 云存储服务的容灾方法、系统及终端 - Google Patents

云存储服务的容灾方法、系统及终端 Download PDF

Info

Publication number
CN108429813B
CN108429813B CN201810241435.3A CN201810241435A CN108429813B CN 108429813 B CN108429813 B CN 108429813B CN 201810241435 A CN201810241435 A CN 201810241435A CN 108429813 B CN108429813 B CN 108429813B
Authority
CN
China
Prior art keywords
cloud service
service intelligent
file
intelligent device
cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810241435.3A
Other languages
English (en)
Other versions
CN108429813A (zh
Inventor
周茂青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Onething Technology Co Ltd
Original Assignee
Shenzhen Onething Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Onething Technology Co Ltd filed Critical Shenzhen Onething Technology Co Ltd
Priority to CN201810241435.3A priority Critical patent/CN108429813B/zh
Publication of CN108429813A publication Critical patent/CN108429813A/zh
Application granted granted Critical
Publication of CN108429813B publication Critical patent/CN108429813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0654Management of faults, events, alarms or notifications using network fault recovery
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种云存储服务的容灾方法,包括:通过网络相连的云服务智能设备定期同步信息;当第一云服务智能设备发生故障后,通信连接的第二云服务智能设备感知所述故障,并在本机中查找第一云服务智能设备的文件元数据列表;根据所述文件元数据列表执行第一云服务智能设备的恢复操作;若第二云服务智能设备不能完成第一智能设备的恢复操作,则将第一云服务智能设备的文件加入未能恢复的文件列表,并传送所述未恢复的文件列表给与第二云服务智能设备通信连接的第三云服务智能设备,并由第三云服务智能设备继续执行恢复操作。本发明还提供一种云服务智能设备以及云存储服务的容灾系统。本发明能够降低云存储服务的容灾成本,能够保证数据的可靠性。

Description

云存储服务的容灾方法、系统及终端
技术领域
本发明涉及云存储服务技术领域,特别是一种云存储服务的容灾方法及系统。
背景技术
云存储服务(cloud storage service)是一项业务,它维护并管理其客户数据并让这些数据易于通过网络访问,通常是互联网。
云存储服务通过集群应用、网络技术及/或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能。
云存储服务的优点主要体现在:存储管理可以实现自动化和智能化,所有存储资源被整合到一起,客户看到的是单一的存储空间,提高了存储效率,通过虚拟化技术解决了存储空间的浪费,可以自动重新分配数据,提高了存储空间的利用率,同时云存储服务具备负载均衡、故障冗余等功能。此外,云存储服务能够实现规模效应和弹性扩展,降低运营成本,避免资源浪费。
正因为云存储服务的各种优点,目前,越来越多的互联网企业正在上线或者已经上线了各种云存储服务平台系统,同时,越来越多的个人、企业、政府部门等越来越依赖于云存储服务。
传统的云存储服务是基于厂商自建的数据中心,而这种基于自建数据中心的云存储服务的容灾方案,需要在地理位置上距离较远的两个或多个地区建设多个机房,以保证一个地区即使由于自然灾害等原因导致存储服务不可用,也可以启用另一个地区的备份机房提供存储服务,从而保障整个存储业务的可用性。
这种传统的云存储服务,其缺点除了需要在容灾上投入成本很高,可靠性也较低。例如,备份机房由于长期没有提供业务服务,其数据可能不同步,或者某些关键服务存在故障没有及时发现,导致切换失败,需要人工干预以恢复服务;即使切换成功,可靠也降低了,因为只有备份机房在提供服务,若备份机房再发生故障,整个存储就不可用了。
发明内容
鉴于以上内容,有必要提供一种云存储服务的容灾方法以及适用于上述方法的系统与终端,其能够降低云存储服务的容灾成本,并且能够保证数据的可靠性。
本发明第一个实施例提供一种云存储服务的容灾方法,包括:
通过网络互相通信连接的云服务智能设备之间定期同步信息;
当一个第一云服务智能设备发生故障后,若与所述第一云服务智能设备通信连接的一个第二云服务智能设备感知到所述第一云服务智能设备发生了故障,则所述第二云服务智能设备在本机中查找所述第一云服务智能设备的文件元数据列表;
所述第二云服务智能设备根据查找的文件元数据列表执行所述第一云服务智能设备的文件副本的恢复操作;及
若所述第二云服务智能设备不能完成所述第一云服务智能设备的文件副本的恢复操作,则所述第二云服务智能设备将所述第一云服务智能设备的文件加入未能恢复的文件列表中,并传送所述未恢复的文件列表给与所述第二云服务智能设备通信连接的一个第三云服务智能设备,并由所述第三云服务智能设备继续恢复所述第一云服务智能设备的文件副本。
优选地,与所述第一云服务智能设备通信连接的第二云服务智能设备感知到所述第一云服务智能设备发生了故障的方法包括:
若所述第一云服务智能设备发生预设类型连接故障,则所述第一云服务智能设备与所述第二云服务智能设备连接断开,所述第二云服务智能设备发现与所述第一云服务智能设备断开连接的时间大于一预设时间阈值,则判断所述第一云服务智能设备发生了故障;
若所述第一云服务智能设备磁盘故障,则所述第一云服务智能设备将包含故障信息的同步信息发给所述第二云服务智能设备,所述第二云服务智能设备收到该故障信息后则获知所述第一云服务智能设备发生了故障。
优选地,所述第二云服务智能设备根据查找的文件元数据列表执行所述第一云服务智能设备的文件副本的恢复操作的步骤包括:
所述第二云服务智能设备将所述第一云服务智能设备的文件元数据列表分成多份,发送给相通信连接的一个或多个其他云服务智能设备,以使得所述第二云服务智能设备与所述一个或多个其他云服务智能设备同时执行所述第一云服务智能设备的文件副本的恢复操作。
优选地,所述第二云服务智能设备根据查找的文件元数据列表执行所述第一云服务智能设备的文件副本的恢复操作包括:
若所述第二云服务智能设备的空闲磁盘空间大于预设磁盘阈值,则分析所述第二云服务智能设备的本地是否保存了所述第一云服务智能设备的文件副本;
若所述第二云服务智能设备的本地保存了所述第一云服务智能设备的文件副本,则所述第二云服务智能设备将该文件副本发送给相通信连接的一个或多个其他云服务智能设备,令所述一个或多个其他云服务智能设备备份所发送的文件副本,在所述一个或多个其他云服务智能设备收到该文件副本的同时或者之后,所述第二云服务智能设备与所述一个或多个其他云服务智能设备分别同时执行云服务智能设备K的文件副本的恢复操作;
若所述第二云服务智能设备的本地没有保存所述第一云服务智能设备的文件副本,则所述第二云服务智能设备发消息给相通信连接的一个或多个其他云服务智能设备,以查询所述一个或多个其他云服务智能设备是否存在该文件副本;
若所述一个或多个其他云服务智能设备存在所述文件副本,则所述第二云服务智能设备从所述一个或多个其他云服务智能设备获取该文件副本并保存,并执行所述第一云服务智能设备的文件副本的恢复操作;及
若所述第二云服务智能设备的空闲磁盘空间小于或者等于预设磁盘阈值,则将所述第一云服务智能设备的文件加入未能恢复的文件列表中。
优选地,所述一个或多个其他云服务智能设备的选择是随机选择,或者,根据预设选择规则进行选择。
优选地,所述预设选择规则包括:
确定出与所述第一云服务智能设备处于同一地理区域的所有其他云服务智能设备;
从确定出的其他云服务智能设备中,进一步找出与所述第一云服务智能设备及/或所述第二云服务智能设备处于同一网络的其他云服务智能设备作为最终选择的其他云服务智能设备;或者
从确定出的其他云服务智能设备中,进一步找出与所述第一云服务智能设备及/或所述第二云服务智能设备处于同一网络的其他云服务智能设备,将进一步找出的其他云服务智能设备按照对应的空闲磁盘空间从大到小的顺序进行排序,并将排序在前的预设数量的其他云服务智能设备作为最终选择的其他云服务智能设备;或者
将确定出的其他云服务智能设备按照对应的空闲磁盘空间从大到小的顺序进行排序,并将排序在前的预设数量的其他云服务智能设备作为最终选择的其他云服务智能设备。
优选地,所述方法还包括文件数据上传步骤,该文件数据上传步骤包括:
若客户端有文件需要上传,则该客户端选择与该客户端通信连接的一个或多个云服务智能设备,并分别向所选择的各个云服务智能设备发送带有所述文件的数据上传请求;
若一个所选择的云服务智能设备接收到该数据上传请求,则该云服务智能设备将所述文件从该数据上传请求中解析出来,并保存解析出的所述文件。
优选地,所述方法还包括文件数据下载步骤,包括:
若客户端有文件需要下载,则该客户端选择与该客户端通信连接一个或多个云服务智能设备,并分别向所选择的各个云服务智能设备发送带有待下载文件的标识信息的数据下载请求;
若一个所选择的云服务智能设备接收到该数据下载请求,则该云服务智能设备从该数据下载请求中解析出待下载文件的标识信息,读取解析的标识信息对应的文件数据,并向该客户端返回读取到的文件数据。
本发明第二个实施例提供一种云服务智能设备,该云服务智能设备包括存储设备以及处理器,所述存储器上存储有可在所述处理器上运行的云存储服务的容灾程序,所述云存储服务的容灾程序被所述处理器执行时实现如上述任一项所述云存储服务的容灾方法的步骤。
本发明第三个实施例提供一种云存储服务的容灾系统,该系统包括多个上述的云服务智能设备,及与所述云服务智能设备通信连接的至少一个客户端,该客户端包括存储设备以及处理器,所述存储器上存储有可在所述处理器上运行的文件上传和下载程序,所述文件上传和下载程序被所述处理器执行时实现如下步骤:
若有文件需要上传,则选择与该客户端通信连接的一个或多个云服务智能设备,并分别向所选择的各个云服务智能设备发送带有所述文件的数据上传请求;
若有文件需要下载,则选择与该客户端通信连接一个或多个云服务智能设备,并分别向所选择的各个云服务智能设备发送带有待下载文件的标识信息的数据下载请求。
本发明所述云存储服务的容灾方法及适用于上述方法的系统与终端,利用世界范围内的个人用户家庭内的计算机设备中的闲置资源,通过家庭网关连接到互联网,为云存储服务提供计算、存储和带宽资源,并可以将每个数据块复制多个副本,分别存储在世界各地不同地区的存储空间中,解决了传统的云存储服务的容灾方案的成本高、可靠性低的问题。
附图说明
图1是本发明云存储服务的容灾方法较佳实施例适用的系统环境示意图。
图2是本发明云存储服务的容灾方法较佳实施例适用的云服务智能设备的结构示意图。
图3是本发明云存储服务的容灾方法较佳实施例中数据上传方法的实施流程图。
图4是本发明云存储服务的容灾方法较佳实施例中数据下载方法的实施流程图。
图5是本发明云存储服务的容灾方法较佳实施例中数据恢复方法的实施流程图。
具体实施方式
术语解释:
云服务智能设备:本发明较佳实施例中,将部署在个人用户家庭内小型计算机设备称为云服务智能设备,其可以通过家庭网关连接到互联网,为云服务提供计算、存储和带宽资源。
参阅图1所示,是本发明云存储服务的容灾方法较佳实施例适用的系统环境示意图。
本发明较佳实施例中,云存储服务的容灾方法较佳实施例适用的系统主要包括至少一台客户端1以及多台云服务智能设备2。
其中,所述客户端1是云存储服务客户端,包括个人电脑、手机、平板电脑等安装了云存储服务客户端软件的设备。
所述多台云服务智能设备2可以时分布在世界范围内的任何区域,并按照区域进行分组划分。每个区域可以包括多台云服务智能设备,如云服务智能设备m1、m2、......mt。每台云服务智能设备2都连接到互联网,使多台云服务智能设备2之间能够互相通信,任何一个云服务智能设备故障或下线,跟该云服务智能设备相连接的其他云服务智能设备都能感知到,并在一定时间后即会自发进行丢失数据副本的恢复操作。
所述区域可以是国家/省/市,例如,同一个国家、同一个省或者同一个市内的云服务智能设备分为一个组,一个云服务智能设备只属于某个特定的区域。
客户端1可以同时连接到各个区域的多个云服务智能设备2,接收云服务智能设备2的分组信息,并执行文件在云服务智能设备2上的上传、下载、删除等的请求操作。
当客户端1上传一个文件时,该文件会被复制成多个副本,存储在不同区域的多个云服务智能设备2上。
当客户端1下载一个文件时,可以任意选择一个云服务智能设备2下载所需文件,通常优先选择与所述客户端1位于同一区域的相同网络的云服务智能设备2,以获得较快的下载速度。所述同一区域可以是同一个国家、同一个省或者同一个市等,以及所述相同网络是指相同的网络运行商提供的网络,如联通网络、电信网络或者移动网络等。
进一步地,若下载的文件较大,所述客户端1还可以同时从多个云服务智能设备2同时下载文件的不同分块,然后将不同的分块拼接成一个完整的文件,以提升下载速度。
参阅图2所示,是本发明云存储服务的容灾方法较佳实施例适用的云服务智能设备的结构示意图。
所述云服务智能设备2可以包括多个功能模块,例如,数据访问接口20、后台接口21以及存储管理模块22。
其中,所述数据访问接口20用于响应客户端1的文件访问请求,提供文件的上传、下载、删除等功能接口。
所述存储管理模块22用于管理存储介质上的文件数据,包括数据读取、写入、删除等操作。所述存储介质可以包括,例如,软盘、光盘、DVD、硬盘、闪存、U盘、CF卡、SD卡、MMC卡、SM卡、记忆棒(Memory Stick)、xD卡等。
所述后台接口21用于执行各台云服务智能设备2之间的通信连接,如感知相连接的其他云服务智能设备2的上线、下线、执行其他云服务智能设备2上的文件副本的部署或恢复等操作。
需要说明的是,图2中仅仅示出了两个云服务智能设备之间连接的情况,在实际应用的情况下,会有多台云服务智能设备2互相连接。
参阅图3所示,是本发明云存储服务的容灾方法较佳实施例中文件数据上传方法的实施流程图。
步骤S30,若客户端1有文件需要上传,则选择与该客户端1通信连接的一个或多个云服务智能设备2,并分别向所选择的各个云服务智能设备2发送带有所述文件的数据上传请求。
用户通过客户端1发起上传请求时,所述客户端1获取各个云服务智能设备1的状态信息,如所在区域、磁盘空闲空间、业务繁忙程度等,选择合适的多个云服务智能设备。为保证分布式容灾。
优选地,所述客户端1所选择的多个云服务智能设备2位于不同区域,且所选择的云服务智能设备2需要有足够的磁盘空间且当前业务并不繁忙。
步骤S31,接收到数据上传请求的云服务智能设备2解析所述数据上传请求,并保存解析到的数据。
选择好所需云服务智能设备2后,所述客户端1即可向所选择的云服务智能设备2发送文件数据。云服务智能设备2通过其数据访问接口20接收到所述文件数据后,调用该云服务智能设备2内的存储管理模块22,将所述文件数据写入到存储介质23,如磁盘中。写入磁盘成功后,完成上传流程。
参阅图4所示,是本发明云存储服务的容灾方法较佳实施例中数据下载方法的实施流程图。
步骤S40,若客户端1有文件需要下载,则选择与该客户端1通信连接一个或多个云服务智能设备2,并分别向所选择的各个云服务智能设备2发送带有待下载文件的标识信息的数据下载请求。
用户通过客户端1发起文件下载请求时,客户端1选择一个或者多个云服务智能设备2,生成请求消息,发送给所选择的云服务智能设备2。
所述客户端1根据各个云服务智能设备2的地理位置以及所在运营商的信息,优先选择同一区域相同网络的云服务智能设备2,以获得较快的下载速度。所述客户端1可以根据云服务智能设备的IP地址,获知云服务智能设备2所在的地理位置(省、市)。所述相同网络是指相同的网络运行商提供的网络,如联通网络、电信网络或者移动网络等。
优选地,作为下载速度优化手段,当所需下载的文件的大小大于一预设阈值时(如大于10MB的文件),客户端1会选择同时从多个云服务智能设备2同时下载文件的不同分块,然后将不同的分块拼接成一个完整的文件,以提升下载速度。
步骤S41,接收到数据下载请求的云服务智能设备解析所述数据下载请求,读取所需要的文件数据,并向客户端返回读取到的文件数据。
所选择的云服务智能设备2通过其数据访问接口20收到文件下载请求时,查询位于该云服务智能设备内的索引,根据索引信息,调用其存储管理模块22从存储介质23中读取文件数据,并将读取到的文件数据返回给客户端1。
参阅图5所示,是本发明云存储服务的容灾方法较佳实施例中数据恢复方法的实施流程图。
步骤S50,通过网络互相通信连接的云服务智能设备之间定期同步信息。
所述同步信息包括运行状态(如CPU、内存信息,磁盘空闲空间等)的同步,及所保存的文件元数据列表的同步等。
所述文件元数据列表记录的是当前云服务智能设备上保存的文件的元数据,所述元数据包括,但不限于,文件名、文件大小、所有者、在云服务智能设备磁盘的存储位置,上传时间等信息。
所述文件元数据列表类似于一个数据库的表(table),表内保存了这个云服务智能设备上所有文件的元数据,例如,若当前云服务智能设备有3个文件:file1、file2、file3,则所述文件元数据列表如下:
Figure BDA0001605341060000101
当用户要下载file2时,根据该文件元数据列表,从中取出store_at字段,可以得到file2在云服务智能设备2中的存储位置/path/to/data2:4096,即文件保存在/path/to/data2文件的4096偏移处,从而,可以从此处读取出file2的文件数据。
步骤S51,一个第一云服务智能设备,如云服务智能设备K,发生了故障。
所述故障包括无法启动、断电、断网、磁盘故障等。
步骤S52,一个第二云服务智能设备,如云服务智能设备M,感知到第一云服务智能设备,如云服务智能设备K发生了故障。
在本发明较佳实施例中,若云服务智能设备K发生故障,跟云服务智能设备K相连的云服务智能设备M可以很快感知到。其中,云服务智能设备M对云服务智能设备K故障的感知可分为以下几种情况:
(1)若云服务智能设备K发生了预设类型连接故障,如无法启动、断电、断网等,则云服务智能设备K与云服务智能设备M连接断开,云服务智能设备M发现连接断开一预设时间阈值(如3分钟后),即可判断云服务智能设备K故障;
(2)若云服务智能设备K磁盘故障,则云服务智能设备K将包含故障信息的同步信息发给所述云服务智能设备M,云服务智能设备M收到该故障信息后则能获知云服务智能设备K发生了故障。
步骤S53,所述云服务智能设备M在本机中查找云服务智能设备K的文件元数据列表。
所述云服务智能设备M感知到云服务智能设备K故障后,从之前的同步信息中获取所述云服务智能设备K的文件元数据列表。如上所述,所述文件元数据列表中记载云服务智能设备K中所存储的所有文件的文件信息,如文件名、文件大小、所有者、在云服务智能设备磁盘的存储位置,上传时间等信息。
作为优化手段,可选地,云服务智能设备M可将所述云服务智能设备K的文件元数据列表分成多份,发送给相通信连接的一个或多个其他云服务智能设备,以使得云服务智能设备M与所述一个或多个其他云服务智能设备同时执行云服务智能设备K的文件副本的恢复流程。
步骤S54,云服务智能设备M根据查找的文件元数据列表执行云服务智能设备K的文件副本的恢复操作。
其中,所述步骤S54包括:
若所述云服务智能设备M的空闲磁盘空间大于预设磁盘阈值,则分析所述云服务智能设备M的本地是否保存了所述云服务智能设备K的文件副本;
若所述云服务智能设备M的本地保存了所述云服务智能设备K的文件副本,则所述云服务智能设备M将该文件副本发送给相通信连接的一个或多个其他云服务智能设备,令所述一个或多个其他云服务智能设备备份所发送的文件副本,在所述一个或多个其他云服务智能设备收到该文件副本的同时或者之后,所述云服务智能设备M与所述一个或多个其他云服务智能设备分别同时执行云服务智能设备K的文件副本的恢复操作;
若所述云服务智能设备M的本地没有保存所述云服务智能设备K的文件副本,则所述云服务智能设备M发消息给相通信连接的一个或多个其他云服务智能设备,以查询所述一个或多个其他云服务智能设备是否存在该文件副本;
若所述一个或多个其他云服务智能设备存在所述文件副本,则所述云服务智能设备M从所述一个或多个其他云服务智能设备获取该文件副本并保存,并执行所述云服务智能设备K的文件副本的恢复操作;及
若所述云服务智能设备M的空闲磁盘空间小于或者等于预设磁盘阈值,则将所述云服务智能设备K的文件加入未能恢复的文件列表中,并执行下述的步骤S55。
云服务智能设备M的磁盘空间不足则无法继续存入新数据,因此,要寻找其他有足够存储空间的云服务智能设备。
步骤S55,云服务智能设备M传送未恢复的文件列表给跟所述云服务智能设备M相通信连接的一个第三云服务智能设备,如云服务智能设备N,由云服务智能设备N继续尝试恢复云服务智能设备K的文件副本。
步骤S56,云服务智能设备N接收未能恢复的文件列表,并于步骤S57,继续恢复云服务智能设备K的文件副本。
否则,若在云服务智能设备K还是存在未恢复的文件副本时,继续传送未恢复的文件列表给跟云服务智能设备N相连接的下一个云服务智能设备,直至云服务智能设备K恢复完了全部文件副本,则流程结束。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种云存储服务的容灾方法,其特征在于,该方法包括:
通过网络互相通信连接的云服务智能设备之间定期同步信息;
当一个第一云服务智能设备发生故障后,若与所述第一云服务智能设备通信连接的一个第二云服务智能设备感知到所述第一云服务智能设备发生了故障,则所述第二云服务智能设备在本机中查找所述第一云服务智能设备的文件元数据列表,所述文件元数据列表包含所述第一云服务智能设备上所有文件的元数据;
所述第二云服务智能设备根据所述文件元数据列表执行所述第一云服务智能设备的文件副本的恢复操作,包括:将所述文件元数据列表分成多份,分别发送给通信连接的一个或多个其他云服务智能设备,以使得所述第二云服务智能设备与所述一个或多个其他云服务智能设备同时执行所述文件副本的恢复操作;及
若所述第二云服务智能设备不能完成所述第一云服务智能设备的文件副本的恢复操作,则所述第二云服务智能设备将所述第一云服务智能设备的文件加入未能恢复的文件列表中,并传送所述未恢复的文件列表给与所述第二云服务智能设备通信连接的一个第三云服务智能设备,并由所述第三云服务智能设备继续恢复所述第一云服务智能设备的文件副本。
2.如权利要求1所述的方法,其特征在于,与所述第一云服务智能设备通信连接的第二云服务智能设备感知到所述第一云服务智能设备发生了故障的方法包括:
若所述第一云服务智能设备发生预设类型连接故障,则所述第一云服务智能设备与所述第二云服务智能设备连接断开,所述第二云服务智能设备发现与所述第一云服务智能设备断开连接的时间大于一预设时间阈值,则判断所述第一云服务智能设备发生了故障;
若所述第一云服务智能设备磁盘故障,则所述第一云服务智能设备将包含故障信息的同步信息发给所述第二云服务智能设备,所述第二云服务智能设备收到该故障信息后则获知所述第一云服务智能设备发生了故障。
3.如权利要求1所述的方法,其特征在于,所述第二云服务智能设备根据查找的文件元数据列表执行所述第一云服务智能设备的文件副本的恢复操作包括:
若所述第二云服务智能设备的空闲磁盘空间大于预设磁盘阈值,则分析所述第二云服务智能设备的本地是否保存了所述第一云服务智能设备的文件副本;
若所述第二云服务智能设备的本地保存了所述第一云服务智能设备的文件副本,则所述第二云服务智能设备将该文件副本发送给相通信连接的一个或多个其他云服务智能设备,令所述一个或多个其他云服务智能设备备份所发送的文件副本,在所述一个或多个其他云服务智能设备收到该文件副本的同时或者之后,所述第二云服务智能设备与所述一个或多个其他云服务智能设备分别同时执行所述第一云服务智能设备的文件副本的恢复操作;
若所述第二云服务智能设备的本地没有保存所述第一云服务智能设备的文件副本,则所述第二云服务智能设备发消息给相通信连接的一个或多个其他云服务智能设备,以查询所述一个或多个其他云服务智能设备是否存在该文件副本;
若所述一个或多个其他云服务智能设备存在所述文件副本,则所述第二云服务智能设备从所述一个或多个其他云服务智能设备获取该文件副本并保存,并执行所述第一云服务智能设备的文件副本的恢复操作;及
若所述第二云服务智能设备的空闲磁盘空间小于或者等于预设磁盘阈值,则将所述第一云服务智能设备的文件加入未能恢复的文件列表中。
4.如权利要求3所述的方法,其特征在于,其中,所述一个或多个其他云服务智能设备的选择是随机选择,或者,根据预设选择规则进行选择。
5.如权利要求4所述的方法,其特征在于,所述预设选择规则包括:
确定出与所述第一云服务智能设备处于同一地理区域的所有其他云服务智能设备;
从确定出的其他云服务智能设备中,进一步找出与所述第一云服务智能设备及/或所述第二云服务智能设备处于同一网络的其他云服务智能设备作为最终选择的其他云服务智能设备;或者
从确定出的其他云服务智能设备中,进一步找出与所述第一云服务智能设备及/或所述第二云服务智能设备处于同一网络的其他云服务智能设备,将进一步找出的其他云服务智能设备按照对应的空闲磁盘空间从大到小的顺序进行排序,并将排序在前的预设数量的其他云服务智能设备作为最终选择的其他云服务智能设备;或者
将确定出的其他云服务智能设备按照对应的空闲磁盘空间从大到小的顺序进行排序,并将排序在前的预设数量的其他云服务智能设备作为最终选择的其他云服务智能设备。
6.如权利要求1所述的方法,其特征在于,所述方法还包括文件数据上传步骤,该文件数据上传步骤包括:
若客户端有文件需要上传,则该客户端选择与该客户端通信连接的一个或多个云服务智能设备,并分别向所选择的各个云服务智能设备发送带有所述文件的数据上传请求;
若一个所选择的云服务智能设备接收到该数据上传请求,则该云服务智能设备将所述文件从该数据上传请求中解析出来,并保存解析出的所述文件。
7.如权利要求1所述的方法,其特征在于,所述方法还包括文件数据下载步骤,包括:
若客户端有文件需要下载,则该客户端选择与该客户端通信连接一个或多个云服务智能设备,并分别向所选择的各个云服务智能设备发送带有待下载文件的标识信息的数据下载请求;
若一个所选择的云服务智能设备接收到该数据下载请求,则该云服务智能设备从该数据下载请求中解析出待下载文件的标识信息,读取解析的标识信息对应的文件数据,并向该客户端返回读取到的文件数据。
8.一种云服务智能设备,其特征在于,该云服务智能设备包括存储设备以及处理器,所述存储设备上存储有可在所述处理器上运行的云存储服务的容灾程序,所述云存储服务的容灾程序被所述处理器执行时实现如权利要求1至7中任一项所述云存储服务的容灾方法的步骤。
9.一种云存储服务的容灾系统,该系统包括多个如权利要求8所述的云服务智能设备,及与所述云服务智能设备通信连接的至少一个客户端,该客户端包括存储设备以及处理器,所述存储设备 上存储有可在所述处理器上运行的文件上传和下载程序,所述文件上传和下载程序被所述处理器执行时实现如下步骤:
若有文件需要上传,则选择与该客户端通信连接的一个或多个云服务智能设备,并分别向所选择的各个云服务智能设备发送带有所述文件的数据上传请求;
若有文件需要下载,则选择与该客户端通信连接一个或多个云服务智能设备,并分别向所选择的各个云服务智能设备发送带有待下载文件的标识信息的数据下载请求。
CN201810241435.3A 2018-03-22 2018-03-22 云存储服务的容灾方法、系统及终端 Active CN108429813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810241435.3A CN108429813B (zh) 2018-03-22 2018-03-22 云存储服务的容灾方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810241435.3A CN108429813B (zh) 2018-03-22 2018-03-22 云存储服务的容灾方法、系统及终端

Publications (2)

Publication Number Publication Date
CN108429813A CN108429813A (zh) 2018-08-21
CN108429813B true CN108429813B (zh) 2021-04-06

Family

ID=63159395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810241435.3A Active CN108429813B (zh) 2018-03-22 2018-03-22 云存储服务的容灾方法、系统及终端

Country Status (1)

Country Link
CN (1) CN108429813B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600672B (zh) * 2018-10-19 2020-01-03 北京微播视界科技有限公司 视频内容推送方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854392A (zh) * 2010-05-20 2010-10-06 清华大学 一种基于云计算环境的个人数据管理方法
CN102939740A (zh) * 2010-04-23 2013-02-20 Ilt制造公司 分布式数据存储
CN104023246A (zh) * 2014-04-28 2014-09-03 深圳英飞拓科技股份有限公司 一种视频数据私有云存储系统和视频数据私有云存储方法
CN104331345A (zh) * 2014-11-21 2015-02-04 四川神琥科技有限公司 一种数据恢复方法
CN104902009A (zh) * 2015-04-27 2015-09-09 浙江大学 一种基于可擦除编码和链式备份的分布式存储系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120179874A1 (en) * 2011-01-07 2012-07-12 International Business Machines Corporation Scalable cloud storage architecture

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102939740A (zh) * 2010-04-23 2013-02-20 Ilt制造公司 分布式数据存储
CN101854392A (zh) * 2010-05-20 2010-10-06 清华大学 一种基于云计算环境的个人数据管理方法
CN104023246A (zh) * 2014-04-28 2014-09-03 深圳英飞拓科技股份有限公司 一种视频数据私有云存储系统和视频数据私有云存储方法
CN104331345A (zh) * 2014-11-21 2015-02-04 四川神琥科技有限公司 一种数据恢复方法
CN104902009A (zh) * 2015-04-27 2015-09-09 浙江大学 一种基于可擦除编码和链式备份的分布式存储系统

Also Published As

Publication number Publication date
CN108429813A (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
US9906598B1 (en) Distributed data storage controller
US11397648B2 (en) Virtual machine recovery method and virtual machine management device
CN111182067B (zh) 一种基于星际文件系统ipfs的数据写入方法及设备
US8055937B2 (en) High availability and disaster recovery using virtualization
CN106776130B (zh) 一种日志恢复方法、存储装置和存储节点
US11314444B1 (en) Environment-sensitive distributed data management
US8930364B1 (en) Intelligent data integration
CN106156359A (zh) 一种云计算平台下的数据同步更新方法
US20170220427A1 (en) Data Recovery Method and Storage Device
CN109976941B (zh) 一种数据恢复方法和装置
CN111078667B (zh) 一种数据迁移的方法以及相关装置
WO2020063600A1 (zh) 数据容灾方法与站点
CN105407117A (zh) 分布式备份数据的方法、装置和系统
CN101808127A (zh) 数据备份方法、系统和服务器
CN103902410A (zh) 云存储系统的数据备份加速方法
CN107657027B (zh) 数据存储方法及装置
CN106452836B (zh) 主节点设置方法及装置
CN102360321A (zh) 一种基于云架构的终端程序快速备份及恢复方法
CN110532123A (zh) HBase系统的故障转移方法及装置
CN110928728A (zh) 一种基于快照的虚拟机复制、切换方法及系统
US20160139996A1 (en) Methods for providing unified storage for backup and disaster recovery and devices thereof
CN104407942A (zh) 一种基于异地存储的Linux操作系统备份恢复方法
CN108429813B (zh) 云存储服务的容灾方法、系统及终端
CN116560904A (zh) Nas数据备份容灾方法、系统、终端及存储介质
JP2017142605A (ja) バックアップリストアシステム及びリストア方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant