CN107015884B - 一种数据存储方法及装置 - Google Patents

一种数据存储方法及装置 Download PDF

Info

Publication number
CN107015884B
CN107015884B CN201610060392.XA CN201610060392A CN107015884B CN 107015884 B CN107015884 B CN 107015884B CN 201610060392 A CN201610060392 A CN 201610060392A CN 107015884 B CN107015884 B CN 107015884B
Authority
CN
China
Prior art keywords
storage
data
storage node
nodes
actual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610060392.XA
Other languages
English (en)
Other versions
CN107015884A (zh
Inventor
李丹旺
王伟
林起芊
汪渭春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610060392.XA priority Critical patent/CN107015884B/zh
Publication of CN107015884A publication Critical patent/CN107015884A/zh
Application granted granted Critical
Publication of CN107015884B publication Critical patent/CN107015884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1464Management of the backup or restore process for networked environments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明实施例公开了一种数据存储方法及装置,方法包括:存储服务器接收并存储第一存储节点发送的目标数据的实际存储地址和备份数目N;根据备份数目N,确定除第一存储节点以外的其他N个待接收备份数据的存储节点;将所确定的N个存储节点的标识信息发送给第一存储节点;接收所确定的N个存储节点中每个存储节点发送的各自存储备份数据的实际存储地址;根据接收到的第一存储节点发送的目标数据的实际存储地址和所确定的N个存储节点中每个存储节点发送的备份数据的实际存储地址,建立并存储各个实际存储地址的关联关系。当第一存储节点出现故障时,存储服务器根据存储的各个实际存储地址间的关联关系,使用户能够访问其他存储节点中的备份数据。

Description

一种数据存储方法及装置
技术领域
本发明涉及数据处理领域,特别涉及一种数据存储方法及装置。
背景技术
目前,在云存储系统中,通常的数据存储方法为:存储节点接收并保存写入的数据,并向用户提供一个基于该数据的URL(Uniform Resource Locator,统一资源定位符)。用户访问该数据时,通过访问平台访问存储管理服务器,存储管理服务器中存储有各存储节点中的各数据的真实物理地址,存储管理服务器通过用户提供的基于该数据的URL与数据的真实物理地址进行匹配,然后网址重定向到该数据在存储节点中的真实物理地址,从而实现用户对该数据的访问。但是,当存储节点出现网络故障或磁盘故障等情况时,会导致用户无法读取相关数据,给用户的使用带来不便。
发明内容
本发明实施例的目的在于提供一种数据存储方法及装置,以在存储节点出现网络故障或磁盘故障等情况下,保证用户仍能够访问相关数据。
为达到上述目的,本发明实施例公开了一种数据存储方法,应用于存储服务器,所述方法包括:
接收并存储第一存储节点发送的第一信息,所述第一信息中至少包括目标数据的实际存储地址和备份数目N;
根据所述第一信息中的备份数目N,确定除所述第一存储节点以外的其他N个待接收备份数据的存储节点;
将所确定的N个存储节点的标识信息发送给所述第一存储节点,以使所述第一存储节点将所述目标数据备份至所确定的存储节点;
接收所确定的N个存储节点中每个存储节点发送的各自存储所述备份数据的实际存储地址;
根据接收到的所述第一存储节点发送的所述目标数据的实际存储地址和所确定的N个存储节点中每个存储节点发送的所述备份数据的实际存储地址,建立并存储各个实际存储地址的关联关系。
可选的,在所述建立并存储各个实际存储地址的关联关系之后,所述方法还可以包括:
对所述关联关系中的所述目标数据的实际存储地址进行标记,所述标记用于使所述目标数据优先被访问。
可选的,所述根据所述第一信息中的备份数目N,确定除所述第一存储节点以外的其他N个待接收备份数据的存储节点,可以包括:
根据所述第一信息中的备份数目N,从除所述第一存储节点以外的其他存储节点中随机选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
可选的,所述第一信息中还包括所述目标数据的大小;
所述根据所述第一信息中的备份数目N,确定除所述第一存储节点以外的其他N个待接收备份数据的存储节点,可以包括:
根据所述第一信息中的所述目标数据的大小以及备份数目N,确定除所述第一存储节点以外的剩余存储空间不小于所述目标数据的大小的存储节点;
从所确定的存储节点中选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
可选的,在所述建立并存储各个实际存储地址的关联关系之后,所述方法还可以包括:
每隔预设第一时间段,向所述第一存储节点以及所确定的N个存储节点发送查询请求,以使所述第一存储节点查询自身存储的所述目标数据以及所确定的N个存储节点查询自身存储的所述备份数据;
在所述第一存储节点以及所确定的N个存储节点中存在至少一个存储节点未反馈查询结果和/或反馈未查询到数据的情况下,确定未反馈查询结果和反馈未查询到数据的存储节点数量M、和查询到所述目标数据或所述备份数据的第二存储节点,并根据所述M,确定除所述N个存储节点和所述第一存储节点以外的M个存储节点;
将所述M个存储节点的标识信息发送至所述第二存储节点,以使所述第二存储节点将所述目标数据或所述备份数据备份至所述M个存储节点;
接收所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址;
根据接收到的所述第一存储节点发送的所述目标数据的实际存储地址和所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址,更新并存储所述关联关系。
可选的,在所述建立并存储各个实际存储地址的关联关系之后,所述方法还可以包括:
获得所述备份数据的实际数目S;
判断所述S是否大于所述第一存储节点发送的备份数目N;
如果是,从所述关联关系中删除S-N个所述备份数据的实际存储地址,并向删除的实际存储地址对应的存储节点发送针对所述备份数据的删除请求,以使删除的实际存储地址对应的存储节点删除自身存储的所述备份数据。
可选的,在所述建立并存储各个实际存储地址的关联关系之后,所述方法还可以包括:
接收用户的删除指令,所述删除指令中包括待删除数据的信息;
判断所述存储服务器当前存储的关联关系中,是否存在所述待删除数据的的实际存储地址的关联关系;
如果是,向所述关联关系中包括的待删除数据的的实际存储地址对应的存储节点发送针对所述待删除数据的删除请求,以使接收到所述删除请求的存储节点删除自身存储的所述待删除数据。
为达到上述目的,本发明实施例还公开了一种数据存储装置,应用于存储服务器,所述装置包括:第一接收模块、第一确定模块、第一发送模块、第二接收模块和关联关系建立模块,其中,
所述第一接收模块,用于接收并存储第一存储节点发送的第一信息,所述第一信息中至少包括目标数据的实际存储地址和备份数目N;
所述第一确定模块,用于根据所述第一信息中的备份数目N,确定除所述第一存储节点以外的其他N个待接收备份数据的存储节点;
所述第一发送模块,用于将所确定的N个存储节点的标识信息发送给所述第一存储节点,以使所述第一存储节点将所述目标数据备份至所确定的存储节点;
所述第二接收模块,用于接收所确定的N个存储节点中每个存储节点发送的各自存储所述备份数据的实际存储地址;
所述关联关系建立模块,用于根据接收到的所述第一存储节点发送的所述目标数据的实际存储地址和所确定的N个存储节点中每个存储节点发送的所述备份数据的实际存储地址,建立并存储各个实际存储地址的关联关系。
可选的,所述装置还可以包括:
标记模块,用于对所述关联关系中的所述目标数据的实际存储地址进行标记,所述标记用于使所述目标数据优先被访问。
可选的,所述第一确定模块,具体可以用于:
根据所述第一信息中的备份数目N,从除所述第一存储节点以外的其他存储节点中随机选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
可选的,所述第一信息中还可以包括所述目标数据的大小;
所述第一确定模块,具体可以用于:
根据所述第一信息中的所述目标数据的大小以及备份数目N,确定除所述第一存储节点以外的剩余存储空间不小于所述目标数据的大小的存储节点;从所确定的存储节点中选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
可选的,所述装置还可以包括:第二发送模块、第二确定模块、第三发送模块和关联关系第一更新模块,其中,
所述第二发送模块,用于每隔预设第一时间段,向所述第一存储节点以及所确定的N个存储节点发送查询请求,以使所述第一存储节点查询自身存储的所述目标数据以及所确定的N个存储节点查询自身存储的所述备份数据;
所述第二确定模块,用于在所述第一存储节点以及所确定的N个存储节点中存在至少一个存储节点未反馈查询结果和/或反馈未查询到数据的情况下,确定未反馈查询结果和反馈未查询到数据的存储节点数量M、和查询到所述目标数据或所述备份数据的第二存储节点,并根据所述M,确定除所述N个存储节点和所述第一存储节点以外的M个存储节点;
所述第三发送模块,用于将所述M个存储节点的标识信息发送至所述第二存储节点,以使所述第二存储节点将所述目标数据或所述备份数据备份至所述M个存储节点;
所述关联关系第一更新模块,用于接收所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址;并根据接收到的所述第一存储节点发送的所述目标数据的实际存储地址和所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址,更新并存储所述关联关系。
可选的,所述装置还可以包括:获得模块、第一判断模块和关联关系第二更新模块,其中,
所述获得模块,用于获得所述备份数据的实际数目S;
所述第一判断模块,用于判断所述S是否大于所述第一存储节点发送的备份数目N;
所述关联关系第二更新模块,用于在所述第一判断模块判断所述S大于所述第一存储节点发送的备份数目N的情况下,从所述关联关系中删除S-N个所述备份数据的实际存储地址,并向删除的实际存储地址对应的存储节点发送针对所述备份数据的删除请求,以使删除的实际存储地址对应的存储节点删除自身存储的所述备份数据。
可选的,所述装置还可以包括:第三接收模块、第二判断模块和删除模块,其中,
所述第三接收模块,用于接收用户的删除指令,所述删除指令中包括待删除数据的信息;
所述第二判断模块,用于判断所述存储服务器当前存储的关联关系中,是否存在所述待删除数据的的实际存储地址的关联关系;
所述删除模块,用于在所述第二判断模块判断所述存储服务器当前存储的关联关系中存在所述待删除数据的的实际存储地址的关联关系的情况下,向所述关联关系中包括的待删除数据的的实际存储地址对应的存储节点发送针对所述待删除数据的删除请求,以使接收到所述删除请求的存储节点删除自身存储的所述待删除数据。
由上述技术方案可见,本发明实施例提供了一种数据存储方法及装置,方法包括:存储服务器接收并存储第一存储节点发送的目标数据的实际存储地址和备份数目N;根据备份数目N,确定除第一存储节点以外的其他N个待接收备份数据的存储节点;将所确定的N个存储节点的标识信息发送给第一存储节点;接收所确定的N个存储节点中每个存储节点发送的各自存储备份数据的实际存储地址;根据接收到的第一存储节点发送的目标数据的实际存储地址和所确定的N个存储节点中每个存储节点发送的备份数据的实际存储地址,建立并存储各个实际存储地址的关联关系
应用本发明实施例所提供的技术方案,当第一存储节点出现网络故障或磁盘故障时,存储服务器根据存储的各个实际存储地址间的关联关系,使用户能够访问其他存储节点中的备份数据。
当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的数据存储方法的第一种流程示意图;
图2为本发明实施例提供的存储系统的结构示意图;
图3为本发明实施例提供的数据存储方法的第二种流程示意图;
图4为本发明实施例提供的补齐备份数据的时序图;
图5为本发明实施例提供的数据存储方法的第三种流程示意图;
图6为本发明实施例提供的数据存储方法的第四种流程示意图;
图7为本发明实施例提供的数据存储装置的第一种结构示意图;
图8为本发明实施例提供的数据存储装置的第二种结构示意图;
图9为本发明实施例提供的数据存储装置的第三种结构示意图;
图10为本发明实施例提供的数据存储装置的第四种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了解决现有技术问题,本发明实施例提供了一种数据存储方法及装置,应用于存储服务器,所述存储服务器可以包括存储管理服务器(Cloud Video Master,CVS)和备份数据管理服务器(Cloud Backup Data Master,CBDM)。下面首先对本发明实施例所提供的一种数据存储方法进行介绍。
图1为本发明实施例提供的数据存储方法的第一种流程示意图,可以包括:
S101:接收并存储第一存储节点发送的第一信息。
具体的,所述第一信息中至少包括目标数据的实际存储地址和备份数目N。
S102:根据第一信息中的备份数目N,确定除第一存储节点以外的其他N个待接收备份数据的存储节点。
具体地,根据第一信息中的备份数目N,确定除第一存储节点以外的其他N个待接收备份数据的存储节点,可以有两种方式。
第一种方式:根据所述第一信息中的备份数目N,从除所述第一存储节点以外的其他存储节点中随机选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
第二种方式:根据所述第一信息中的所述目标数据的大小以及备份数目N,确定除所述第一存储节点以外的剩余存储空间不小于所述目标数据的大小的存储节点;从所确定的存储节点中选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
S103:将所确定的N个存储节点的标识信息发送给第一存储节点,以使所述第一存储节点将所述目标数据备份至所确定的存储节点。
S104:接收所确定的N个存储节点中每个存储节点发送的各自存储备份数据的实际存储地址。
S105:根据接收到的第一存储节点发送的目标数据的实际存储地址和所确定的N个存储节点中每个存储节点发送的备份数据的实际存储地址,建立并存储各个实际存储地址的关联关系。
在实际应用中,一个存储服务器与多个存储节点通信连接。假设存储节点A接收到目标数据X,该目标数据X在存储节点A中的实际存储地址为A1,并且该目标数据X需要备份4份。存储节点A向存储服务器发送第一信息,第一信息中包含该目标数据X在存储节点A中的实际存储地址A1和该目标数据X的备份数目4。
存储服务器接收存储节点A发送的第一信息,根据该第一信息中的备份数目4,确定除存储节点A以外的其他4个存储节点接收备份数据。假设与该存储服务器通讯连接的存储节点除存储节点A以外还有20个。
可以采取上述第一种方式确定除存储节点A以外的其他4个存储节点,从这20个存储节点中随机选择4个存储节点,假设随机选择的4个存储节点为:存储节点B,存储节点C,存储节点D和存储节点E,将这4个存储节点确定为待接收备份数据的存储节点。
还可以采取上述第二种方式确定除存储节点A以外的其他4个存储节点,假设目标数据X的大小为500MB,上述除存储节点A以外的20个存储节点中,有18个存储节点剩余存储空间不小于500MB,从这18个存储节点中选择4个存储节点,将所选择的这4个存储节点确定为待接收备份数据的存储节点。
假设确定的4个存储节点为:存储节点B,存储节点C,存储节点D和存储节点E。存储服务器将确定的4个存储节点的标识信息发送给存储节点A,以使存储节点A将目标数据X备份至存储节点B,存储节点C,存储节点D和存储节点E。
假设备份数据X在存储节点B中的实际存储地址为B1,在存储节点C中的实际存储地址为C1,在存储节点D中的实际存储地址为D1,在存储节点E中的实际存储地址为E1。存储节点B、C、D、E分别将备份数据X在自身中的实际存储地址B1、C1、D1、E1发送给存储服务器。
存储服务器接收存储节点B、C、D、E分别发送的备份数据X在自身中的实际存储地址B1、C1、D1、E1,建立并存储针对数据X的A1、B1、C1、D1、E1的关联关系,A1-B1-C1-D1-E1。
存储节点A中的目标数据X为源数据,存储节点B,存储节点C,存储节点D和存储节点E中的备份数据X为备份数据。存储源数据的存储节点为第一存储节点。
在本发明所示实施例中,在S105之后,还可以包括:对所述关联关系中的所述目标数据的实际存储地址进行标记,所述标记用于使所述目标数据优先被访问。
还以上述例子进行说明,在针对数据X的A1、B1、C1、D1、E1的关联关系A1-B1-C1-D1-E1中,将A1进行标记,以区分目标数据的实际存储地址和备份数据的实际存储地址,当用户对数据X进行访问时,优先访问目标数据X的实际存储地址。
需要说明的是,上述以数据X为例进行说明,仅为本发明的一具体实例,并不构成对本发明的限定。
在实际应用中,存储服务器可以包括存储管理服务器(Cloud Video Master,CVS)和备份数据管理服务器(Cloud Backup Data Master,CBDM)。如图2所示,存储系统可以包括CVM、CBDM、存储节点(Cloud Video Slave,CVS)CVS1、CVS2、CVS3等。
前端摄像机监控点通过平台将目标数据写入存储系统,图2中经过CVM负载均衡策略分配给平台一个存储设备节点CVS2,将目标数据写入CVS2中,CVS2作为第一存储节点,将包括目标数据的实际存储地址和备份数目N的第一信息发送给CBDM。假设N为2,CVM将CVS1和CVS3确定为待接收备份数据的存储节点,并将CVS1和CVS3的标识信息发送给CVS2。CVS2将目标数据备份至CVS1和CVS3,CVS1和CVS3将各自存储备份数据的实际存储地址发送给CBDM。CBDM根据CVS1、CVS2和CVS3发送的实际存储地址,建立并存储各个实际存储地址的关联关系。平台或者用户使用该目标数据的URL向CVM访问时,CVM将HTTP重定向到CBDM,CBDM优先访问存储目标数据的第一存储节点即CVS2,如果目标数据不存在,则随机访问CVS1或CVS3中的备份数据。
应用本发明图1所示实施例,存储服务器接收并存储第一存储节点发送的目标数据的实际存储地址和备份数目N;根据备份数目N,确定除第一存储节点以外的其他N个待接收备份数据的存储节点;将所确定的N个存储节点的标识信息发送给第一存储节点;接收所确定的N个存储节点中每个存储节点发送的各自存储备份数据的实际存储地址;根据接收到的第一存储节点发送的目标数据的实际存储地址和所确定的N个存储节点中每个存储节点发送的备份数据的实际存储地址,建立并存储各个实际存储地址的关联关系。当第一存储节点出现网络故障或磁盘故障时,存储服务器根据存储的各个实际存储地址间的关联关系,使用户能够访问其他存储节点中的备份数据。
图3为本发明实施例提供的数据存储方法的第二种流程示意图,本发明图3所示实施例在图1所示实施例的基础上,增加如下步骤:
S106:每隔预设第一时间段,向第一存储节点以及所确定的N个存储节点发送查询请求,以使第一存储节点查询自身存储的目标数据以及所确定的N个存储节点查询自身存储的备份数据。
S107:在第一存储节点以及所确定的N个存储节点中存在至少一个存储节点未反馈查询结果和/或反馈未查询到数据的情况下,确定未反馈查询结果和反馈未查询到数据的存储节点数量M、和查询到目标数据或备份数据的第二存储节点,并根据M,确定除所述N个存储节点和第一存储节点以外的M个存储节点。
S108:将所述M个存储节点的标识信息发送至第二存储节点,以使第二存储节点将目标数据或份数据备份至所述M个存储节点
S109:接收所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址。
S110:根据接收到的第一存储节点发送的目标数据的实际存储地址和所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址,更新并存储所述关联关系。
还以上述例子进行说明,假设预设第一时间段为12小时。存储服务器每12小时向存储节点A、B、C、D、E发送针对数据X的查询请求。存储节点A、B、C、D、E在各自自身存储节点中查询数据X。如果某存储节点出现网络故障,则该存储节点不能向存储服务器反馈查询结果,如果某存储节点出现磁盘故障,存储数据X的磁盘损坏,则向存储服务器反馈未查询到数据。
如果存在某存储节点未向存储服务器反馈查询结果,或者向存储服务器反馈未查询到数据的情况,假设存储节点B出现网络故障,不能向存储服务器反馈查询结果,存储节点C出现磁盘故障,存储数据X的磁盘损坏,向存储服务器反馈未查询到数据,这种情况下,未反馈查询结果和反馈未查询到数据的存储节点数量为2,查询到数据X的存储节点为存储节点A、D、E,从存储节点A、D、E中确定第二存储节点。
如果确定的第二存储节点为存储节点A,存储节点A将目标数据X备份至除存储节点A、B、C、D、E以外的2个存储节点中,假设备份至存储节点F和存储节点G。
如果确定的第二存储节点为存储节点D,存储节点D将备份数据X备份至除存储节点A、B、C、D、E以外的2个存储节点中,假设备份至存储节点F和存储节点G。
假设备份数据X在存储节点F中的实际存储地址为F1,在存储节点G中的实际存储地址为G1。存储节点F和存储节点G分别将备份数据X在自身中的实际存储地址F1和G1发送给存储服务器。
存储服务器接收存储节点F和存储节点G分别发送的备份数据X在自身中的实际存储地址F1和G1,根据接收到的第一存储节点即存储节点A和存储节点F和存储节点G发送的数据X的实际存储地址,更新并存储针对数据X的关联关系。
更新方式可以有两种,第一种方式,将针对数据X的关联关系更新为A1-D1-E1-F1-G1;第二种方式,将针对数据X的关联关系更新为A1-B1-C1-D1-E1-F1-G1。采用第一种方式对关联关系进行更新,将未向存储服务器反馈查询结果,或者向存储服务器反馈未查询到数据的存储节点对应的实际存储地址删除,保证了更新关联关系的实时性。采用第二种方式对关联关系进行更新,只在关联关系中增加新的实际存储地址,不删除未向存储服务器反馈查询结果,和向存储服务器反馈未查询到数据的存储节点对应的实际存储地址,以方便对出故障的存储节点的后续处理。
为了方便说明,在本发明所示实施例中采用第一种方式更新关联关系,假设出现第一存储节点出现故障的情况,假设存储节点A和存储节点B出现了故障,M为2,查询到数据X的存储节点为存储节点C、D、E,从存储节点C、D、E中确定第二存储节点,假设确定的第二存储节点为存储节点C,存储节点C将备份数据X备份至除存储节点A、B、C、D、E以外的2个存储节点中,假设备份至存储节点F和存储节点G。
假设备份数据X在存储节点F中的实际存储地址为F1,在存储节点G中的实际存储地址为G1。存储节点F和存储节点G分别将备份数据X在自身中的实际存储地址F1和G1发送给存储服务器。
存储服务器接收存储节点F和存储节点G分别发送的备份数据X在自身中的实际存储地址F1和G1,根据接收到的第一存储节点即存储节点A、存储节点F和存储节点G发送的实际存储地址,将针对数据X的关联关系更新为A1-C1-D1-E1-F1-G1并存储。
在第一存储节点出现故障的情况下,更新针对数据X的关联关系时,不把目标数据X在第一存储节点中的实际存储地址从关联关系中删除。实际应用中,通过解析用户提供给存储服务器的URL,得到的是目标数据在第一存储节点中的实际存储地址,倘若把关联关系中第一存储节点中的实际存储地址删除,则不能通过关联关系找到用户要访问的备份数据,所以,即使第一存储节点出现故障,关联关系中仍然保留目标数据在第一存储节点中的实际存储地址。
需要说明的是,上述以数据X为例进行说明,仅为本发明的一具体实例,并不构成对本发明的限定。
具体的,在实际应用中,存储服务器可以包括存储管理服务器(Cloud VideoMaster,CVS)和备份数据管理服务器(Cloud Backup Data Master,CBDM)。
在上述实施例中,如图4所示,可以由CBDM每隔预设第一时间段,向第一存储节点以及所确定的N个存储节点发送查询请求,以使第一存储节点查询自身存储的目标数据以及所确定的N个存储节点查询自身存储的备份数据(即,定期检测图片副本数量)。在第一存储节点以及所确定的N个存储节点中存在至少一个存储节点未反馈查询结果或反馈未查询到数据的情况下,确定未反馈查询结果和反馈未查询到数据的存储节点数量M、和查询到目标数据或备份数据的第二存储节点。假设CVS6未反馈查询结果,CBDM确定M为1,第二存储节点为CVS5。CBDM向CVS5插入备份任务,CVS5向CVM申请备份存储节点,由CVM确定除第一存储节点以及所确定的N个存储节点以外的M个存储节点CVS7。CVM将CVS7的标识信息发送给CVS5(即,返回备份存储节点),以使CVS5将所述数据备份至CVS7(即CVS5向CVS7发送备份数据)。CBDM接收CVS7发送的备份数据的实际存储地址,更新并存储所述关联关系。
应用本发明图3所示实施例,定期向存储目标数据和备份数据的存储节点发送查询请求,当存储节点出现网络故障或磁盘故障,导致无法查询到某数据时,将缺失的数据补齐,保证用户能访问到该数据。
图5为本发明实施例提供的数据存储方法的第三种流程示意图,本发明图5所示实施例在图1所示实施例的基础上,增加如下步骤:
S111:获得备份数据的实际数目S。
S112:判断S是否大于第一存储节点发送的备份数目N,如果是,执行S113。
S113:从所述关联关系中删除S-N个备份数据的实际存储地址,并向删除的实际存储地址对应的存储节点发送针对备份数据的删除请求,以使删除的实际存储地址对应的存储节点删除自身存储的备份数据。
在实际应用中,如果出现实际备份数目S大于需要备份的数目N的情况,假设针对数据X的关联关系为A1-B1-C1-D1-E1-F1-G1,存储节点A、B、C、D、E、F、G均正常,则获得的备份数据的实际数目S为6,假设针对数据X的备份数目N为4。
S大于第一存储节点发送的备份数目N,从关联关系A1-B1-C1-D1-E1-F1-G1中删除2个备份数据的实际存储地址,可以随机选择,也可以优先选择出现过故障的存储节点对应的实际存储地址。假设选择F1和G1,则向存储节点F和G发送针对备份数据X的删除请求。存储节点F和G接收到该删除请求后,删除自身存储的备份数据X。
需要说明的是,上述以数据X为例进行说明,仅为本发明的一具体实例,并不构成对本发明的限定。
应用本发明图5所示实施例,当实际备份数目大于应当备份的数目时,将多余的备份数据删除,节省存储资源。
图6为本发明实施例提供的数据存储方法的第四种流程示意图,本发明图6所示实施例在图1所示实施例的基础上,增加如下步骤:
S114:接收用户的删除指令。其中,所述删除指令中包括待删除数据的信息。
S115:判断存储服务器当前存储的关联关系中,是否存在待删除数据的的实际存储地址的关联关系,如果是,执行S116。
S116:向关联关系中包括的待删除数据的的实际存储地址对应的存储节点发送针对待删除数据的删除请求,以使接收到删除请求的存储节点删除自身存储的待删除数据。
在实际应用中,可以将删除指令对应的删除任务添加在删除任务表中,其中,删除指令中包括待删除数据的信息。每隔预设第二时间段,检查该删除任务表,并根据存储服务器当前存储的关联关系中包括的待删除数据的的实际存储地址,向存储有该待删除数据的存储节点发送针对待删除数据的删除请求,以使接收到删除请求的存储节点删除自身存储的待删除数据。
其中,上述S114、S115和S116也可以在图3或图5所示实施例的基础上增加。
假设用户需要删除数据X,存储服务器中存储的针对数据X的关联关系为A1-B1-C1-D1-E1。接收用户的删除指令,该删除指令中包括待删除数据X的信息。向关联关系A1-B1-C1-D1-E1中包括的待删除数据X的实际存储地址对应的存储节点,即存储节点A、B、C、D、E发送针对待删除数据X的删除请求。存储节点A、B、C、D、E接收到该删除请求后,删除自身存储的待删除数据X。
需要说明的是,上述以待删除数据X为例进行说明,仅为本发明的一具体实例,并不构成对本发明的限定。
应用本发明图6所示实施例,当用户需要删除某数据时,存储服务器根据存储的针对该待删除数据的实际存储地址的关联关系,向所有存储有该待删除数据的存储节点发送删除请求,所有存储有该待删除数据的存储节点在接收到存储服务器发送的删除请求后,删除自身存储的待删除数据,满足用户需求,并且节省存储资源。
与上述的方法实施例相对应,本发明实施例还提供一种数据存储装置。
图7为本发明实施例提供的数据存储装置的第一种结构示意图,可以包括:第一接收模块201、第一确定模块202、第一发送模块203、第二接收模块204和关联关系建立模块205,其中,
第一接收模块201,用于接收并存储第一存储节点发送的第一信息,所述第一信息中至少包括目标数据的实际存储地址和备份数目N;
第一确定模块202,用于根据所述第一信息中的备份数目N,确定除所述第一存储节点以外的其他N个待接收备份数据的存储节点;
本发明所示实施例的第一确定模块202,具体可以用于:
根据所述第一信息中的备份数目N,从除所述第一存储节点以外的其他存储节点中随机选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
本发明所示实施例的第一确定模块202,具体可以用于:
根据所述第一信息中的所述目标数据的大小以及备份数目N,确定除所述第一存储节点以外的剩余存储空间不小于所述目标数据的大小的存储节点;从所确定的存储节点中选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
第一发送模块203,用于将所确定的N个存储节点的标识信息发送给所述第一存储节点,以使所述第一存储节点将所述目标数据备份至所确定的存储节点;
第二接收模块204,用于接收所确定的N个存储节点中每个存储节点发送的各自存储所述备份数据的实际存储地址;
关联关系建立模块205,用于根据接收到的所述第一存储节点发送的所述目标数据的实际存储地址和所确定的N个存储节点中每个存储节点发送的所述备份数据的实际存储地址,建立并存储各个实际存储地址的关联关系。
在本发明所示实施例中,还可以包括:标记模块(图中未示出),用于对所述关联关系中的所述目标数据的实际存储地址进行标记,所述标记用于使所述目标数据优先被访问。
应用本发明图7所示实施例,存储服务器接收并存储第一存储节点发送的目标数据的实际存储地址和备份数目N;根据备份数目N,确定除第一存储节点以外的其他N个待接收备份数据的存储节点;将所确定的N个存储节点的标识信息发送给第一存储节点;接收所确定的N个存储节点中每个存储节点发送的各自存储备份数据的实际存储地址;根据接收到的第一存储节点发送的目标数据的实际存储地址和所确定的N个存储节点中每个存储节点发送的备份数据的实际存储地址,建立并存储各个实际存储地址的关联关系。当第一存储节点出现网络故障或磁盘故障时,存储服务器根据存储的各个实际存储地址间的关联关系,使用户能够访问其他存储节点中的备份数据。
图8为本发明实施例提供的数据存储装置的第二种结构示意图,本发明图8所示实施例在图7所示实施例的基础上,还可以包括:第二发送模块206、第二确定模块207、第三发送模块208和关联关系第一更新模块209,其中,
第二发送模块206,用于每隔预设第一时间段,向所述第一存储节点以及所确定的N个存储节点发送查询请求,以使所述第一存储节点查询自身存储的所述目标数据以及所确定的N个存储节点查询自身存储的所述备份数据;
第二确定模块207,用于在所述第一存储节点以及所确定的N个存储节点中存在至少一个存储节点未反馈查询结果和/或反馈未查询到数据的情况下,确定未反馈查询结果和反馈未查询到数据的存储节点数量M、和查询到所述目标数据或所述备份数据的第二存储节点,并根据所述M,确定除所述N个存储节点和所述第一存储节点以外的M个存储节点;
第三发送模块208,用于将所述M个存储节点的标识信息发送至所述第二存储节点,以使所述第二存储节点将所述目标数据或所述备份数据备份至所述M个存储节点;
关联关系第一更新模块209,用于接收所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址;并根据接收到的所述第一存储节点发送的所述目标数据的实际存储地址和所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址,更新并存储所述关联关系。
应用本发明图8所示实施例,定期向存储目标数据和备份数据的存储节点发送查询请求,当存储节点出现网络故障或磁盘故障,导致无法查询到某数据时,将缺失的数据补齐,保证用户能访问到该数据。
图9为本发明实施例提供的数据存储装置的第三种结构示意图,本发明图9所示实施例在图7所示实施例的基础上,还可以包括:获得模块210、第一判断模块211和关联关系第二更新模块212,其中,
获得模块210,用于获得所述备份数据的实际数目S;
第一判断模块211,用于判断所述S是否大于所述第一存储节点发送的备份数目N;
关联关系第二更新模块212,用于在第一判断模块211判断所述S大于所述第一存储节点发送的备份数目N的情况下,从所述关联关系中删除S-N个所述备份数据的实际存储地址,并向删除的实际存储地址对应的存储节点发送针对所述备份数据的删除请求,以使删除的实际存储地址对应的存储节点删除自身存储的所述备份数据。
应用本发明图9所示实施例,当实际备份数目大于应当备份的数目时,将多余的备份数据删除,节省存储资源。
图10为本发明实施例提供的数据存储装置的第四种结构示意图,本发明图10所示实施例在图7所示实施例的基础上,还可以包括:第三接收模块213、第二判断模块214和删除模块215,其中,
第三接收模块213,用于接收用户的删除指令,所述删除指令中包括待删除数据的信息;
第二判断模块214,用于判断所述存储服务器当前存储的关联关系中,是否存在所述待删除数据的的实际存储地址的关联关系;
删除模块215,用于在第二判断模块214判断所述存储服务器当前存储的关联关系中存在所述待删除数据的的实际存储地址的关联关系的情况下,向所述关联关系中包括的待删除数据的的实际存储地址对应的存储节点发送针对所述待删除数据的删除请求,以使接收到所述删除请求的存储节点删除自身存储的所述待删除数据。
其中,上述第三接收模块213、第二判断模块214和删除模块215,也可以在图8或图9所示实施例的基础上增加。
应用本发明图10所示实施例,当用户需要删除某数据时,存储服务器根据存储的针对该待删除数据的实际存储地址的关联关系,向所有存储有该待删除数据的存储节点发送删除请求,所有存储有该待删除数据的存储节点在接收到存储服务器发送的删除请求后,删除自身存储的待删除数据,满足用户需求,并且节省存储资源。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (14)

1.一种数据存储方法,其特征在于,应用于存储服务器,所述方法包括:
接收并存储第一存储节点发送的第一信息,所述第一信息中至少包括目标数据的实际存储地址和备份数目N;
根据所述第一信息中的备份数目N,确定除所述第一存储节点以外的其他N个待接收备份数据的存储节点;
将所确定的N个存储节点的标识信息发送给所述第一存储节点,以使所述第一存储节点将所述目标数据备份至所确定的存储节点;
接收所确定的N个存储节点中每个存储节点发送的各自存储所述备份数据的实际存储地址;
根据接收到的所述第一存储节点发送的所述目标数据的实际存储地址和所确定的N个存储节点中每个存储节点发送的所述备份数据的实际存储地址,建立并存储各个实际存储地址的关联关系。
2.根据权利要求1所述的方法,其特征在于,在所述建立并存储各个实际存储地址的关联关系之后,所述方法还包括:
对所述关联关系中的所述目标数据的实际存储地址进行标记,所述标记用于使所述目标数据优先被访问。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一信息中的备份数目N,确定除所述第一存储节点以外的其他N个待接收备份数据的存储节点,包括:
根据所述第一信息中的备份数目N,从除所述第一存储节点以外的其他存储节点中随机选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
4.根据权利要求1所述的方法,其特征在于,所述第一信息中还包括所述目标数据的大小;
所述根据所述第一信息中的备份数目N,确定除所述第一存储节点以外的其他N个待接收备份数据的存储节点,包括:
根据所述第一信息中的所述目标数据的大小以及备份数目N,确定除所述第一存储节点以外的剩余存储空间不小于所述目标数据的大小的存储节点;
从所确定的存储节点中选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
5.根据权利要求1所述的方法,其特征在于,在所述建立并存储各个实际存储地址的关联关系之后,所述方法还包括:
每隔预设第一时间段,向所述第一存储节点以及所确定的N个存储节点发送查询请求,以使所述第一存储节点查询自身存储的所述目标数据以及所确定的N个存储节点查询自身存储的所述备份数据;
在所述第一存储节点以及所确定的N个存储节点中存在至少一个存储节点未反馈查询结果和/或反馈未查询到数据的情况下,确定未反馈查询结果和反馈未查询到数据的存储节点数量M、和查询到所述目标数据或所述备份数据的第二存储节点,并根据所述M,确定除所述N个存储节点和所述第一存储节点以外的M个存储节点;
将所述M个存储节点的标识信息发送至所述第二存储节点,以使所述第二存储节点将所述目标数据或所述备份数据备份至所述M个存储节点;
接收所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址;
根据接收到的所述第一存储节点发送的所述目标数据的实际存储地址和所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址,更新并存储所述关联关系。
6.根据权利要求1所述的方法,其特征在于,在所述建立并存储各个实际存储地址的关联关系之后,所述方法还包括:
获得所述备份数据的实际数目S;
判断所述S是否大于所述第一存储节点发送的备份数目N;
如果是,从所述关联关系中删除S-N个所述备份数据的实际存储地址,并向删除的实际存储地址对应的存储节点发送针对所述备份数据的删除请求,以使删除的实际存储地址对应的存储节点删除自身存储的所述备份数据。
7.根据权利要求1至6任意一项所述的方法,其特征在于,在所述建立并存储各个实际存储地址的关联关系之后,所述方法还包括:
接收用户的删除指令,所述删除指令中包括待删除数据的信息;
判断所述存储服务器当前存储的关联关系中,是否存在所述待删除数据的的实际存储地址的关联关系;
如果是,向所述关联关系中包括的待删除数据的的实际存储地址对应的存储节点发送针对所述待删除数据的删除请求,以使接收到所述删除请求的存储节点删除自身存储的所述待删除数据。
8.一种数据存储装置,其特征在于,应用于存储服务器,所述装置包括:第一接收模块、第一确定模块、第一发送模块、第二接收模块和关联关系建立模块,其中,
所述第一接收模块,用于接收并存储第一存储节点发送的第一信息,所述第一信息中至少包括目标数据的实际存储地址和备份数目N;
所述第一确定模块,用于根据所述第一信息中的备份数目N,确定除所述第一存储节点以外的其他N个待接收备份数据的存储节点;
所述第一发送模块,用于将所确定的N个存储节点的标识信息发送给所述第一存储节点,以使所述第一存储节点将所述目标数据备份至所确定的存储节点;
所述第二接收模块,用于接收所确定的N个存储节点中每个存储节点发送的各自存储所述备份数据的实际存储地址;
所述关联关系建立模块,用于根据接收到的所述第一存储节点发送的所述目标数据的实际存储地址和所确定的N个存储节点中每个存储节点发送的所述备份数据的实际存储地址,建立并存储各个实际存储地址的关联关系。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
标记模块,用于对所述关联关系中的所述目标数据的实际存储地址进行标记,所述标记用于使所述目标数据优先被访问。
10.根据权利要求8所述的装置,其特征在于,所述第一确定模块,具体用于:
根据所述第一信息中的备份数目N,从除所述第一存储节点以外的其他存储节点中随机选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
11.根据权利要求8所述的装置,其特征在于,所述第一信息中还包括所述目标数据的大小;
所述第一确定模块,具体用于:
根据所述第一信息中的所述目标数据的大小以及备份数目N,确定除所述第一存储节点以外的剩余存储空间不小于所述目标数据的大小的存储节点;从所确定的存储节点中选择N个存储节点,将所选择的N个存储节点确定为待接收备份数据的存储节点。
12.根据权利要求8所述的装置,其特征在于,所述装置还包括:第二发送模块、第二确定模块、第三发送模块和关联关系第一更新模块,其中,
所述第二发送模块,用于每隔预设第一时间段,向所述第一存储节点以及所确定的N个存储节点发送查询请求,以使所述第一存储节点查询自身存储的所述目标数据以及所确定的N个存储节点查询自身存储的所述备份数据;
所述第二确定模块,用于在所述第一存储节点以及所确定的N个存储节点中存在至少一个存储节点未反馈查询结果和/或反馈未查询到数据的情况下,确定未反馈查询结果和反馈未查询到数据的存储节点数量M、和查询到所述目标数据或所述备份数据的第二存储节点,并根据所述M,确定除所述N个存储节点和所述第一存储节点以外的M个存储节点;
所述第三发送模块,用于将所述M个存储节点的标识信息发送至所述第二存储节点,以使所述第二存储节点将所述目标数据或所述备份数据备份至所述M个存储节点;
所述关联关系第一更新模块,用于接收所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址;并根据接收到的所述第一存储节点发送的所述目标数据的实际存储地址和所述M个存储节点中的每个存储节点发送的备份数据的实际存储地址,更新并存储所述关联关系。
13.根据权利要求8所述的装置,其特征在于,所述装置还包括:获得模块、第一判断模块和关联关系第二更新模块,其中,
所述获得模块,用于获得所述备份数据的实际数目S;
所述第一判断模块,用于判断所述S是否大于所述第一存储节点发送的备份数目N;
所述关联关系第二更新模块,用于在所述第一判断模块判断所述S大于所述第一存储节点发送的备份数目N的情况下,从所述关联关系中删除S-N个所述备份数据的实际存储地址,并向删除的实际存储地址对应的存储节点发送针对所述备份数据的删除请求,以使删除的实际存储地址对应的存储节点删除自身存储的所述备份数据。
14.根据权利要求8-13任意一项所述的装置,其特征在于,所述装置还包括:第三接收模块、第二判断模块和删除模块,其中,
所述第三接收模块,用于接收用户的删除指令,所述删除指令中包括待删除数据的信息;
所述第二判断模块,用于判断所述存储服务器当前存储的关联关系中,是否存在所述待删除数据的的实际存储地址的关联关系;
所述删除模块,用于在所述第二判断模块判断所述存储服务器当前存储的关联关系中存在所述待删除数据的的实际存储地址的关联关系的情况下,向所述关联关系中包括的待删除数据的的实际存储地址对应的存储节点发送针对所述待删除数据的删除请求,以使接收到所述删除请求的存储节点删除自身存储的所述待删除数据。
CN201610060392.XA 2016-01-28 2016-01-28 一种数据存储方法及装置 Active CN107015884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610060392.XA CN107015884B (zh) 2016-01-28 2016-01-28 一种数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610060392.XA CN107015884B (zh) 2016-01-28 2016-01-28 一种数据存储方法及装置

Publications (2)

Publication Number Publication Date
CN107015884A CN107015884A (zh) 2017-08-04
CN107015884B true CN107015884B (zh) 2019-12-20

Family

ID=59439272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610060392.XA Active CN107015884B (zh) 2016-01-28 2016-01-28 一种数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN107015884B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561120B (zh) * 2017-09-26 2022-03-01 杭州海康威视系统技术有限公司 小文件备份方法、系统和管理服务器
CN110019233B (zh) * 2017-12-27 2021-07-20 浙江宇视科技有限公司 数据存储方法及系统
CN108874918B (zh) * 2018-05-30 2021-11-26 郑州云海信息技术有限公司 一种数据处理装置、数据库一体机及其数据处理方法
CN111198784B (zh) * 2018-11-16 2024-04-23 杭州海康威视系统技术有限公司 一种数据存储的方法及装置
CN110727549B (zh) * 2019-10-08 2022-07-05 浙江百岸科技有限公司 一种传感器数据备份方法及系统
CN111309254A (zh) * 2020-02-03 2020-06-19 北京字节跳动网络技术有限公司 数据处理方法、装置、可读介质及电子设备
CN114629921B (zh) * 2020-12-14 2023-11-17 华为云计算技术有限公司 云平台及其提供的对象存储服务的桶管理方法
CN116614346B (zh) * 2023-05-26 2023-10-10 浙江省公众信息产业有限公司 一种基于跨地域的分布式存储备份方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777013A (zh) * 2009-01-12 2010-07-14 成都市华为赛门铁克科技有限公司 一种固态硬盘及数据读写方法
CN103336730A (zh) * 2013-06-05 2013-10-02 中国人民解放军国防科学技术大学 一种基于云存储的数据备份方法及系统
CN103559198A (zh) * 2013-09-27 2014-02-05 杭州意能软件有限公司 一种数据同步的方法及设备
CN103870202A (zh) * 2012-12-10 2014-06-18 上海优刻得信息科技有限公司 一种块设备的分布式存储方法和系统
CN104135539A (zh) * 2014-08-15 2014-11-05 华为技术有限公司 数据存储方法、sdn控制器和分布式网络存储系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346238B (zh) * 2013-08-06 2018-12-14 联想(北京)有限公司 一种数据备份方法、装置及终端
CN104699559B (zh) * 2013-12-04 2019-03-26 腾讯科技(深圳)有限公司 分布式数据备份方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101777013A (zh) * 2009-01-12 2010-07-14 成都市华为赛门铁克科技有限公司 一种固态硬盘及数据读写方法
CN103870202A (zh) * 2012-12-10 2014-06-18 上海优刻得信息科技有限公司 一种块设备的分布式存储方法和系统
CN103336730A (zh) * 2013-06-05 2013-10-02 中国人民解放军国防科学技术大学 一种基于云存储的数据备份方法及系统
CN103559198A (zh) * 2013-09-27 2014-02-05 杭州意能软件有限公司 一种数据同步的方法及设备
CN104135539A (zh) * 2014-08-15 2014-11-05 华为技术有限公司 数据存储方法、sdn控制器和分布式网络存储系统

Also Published As

Publication number Publication date
CN107015884A (zh) 2017-08-04

Similar Documents

Publication Publication Date Title
CN107015884B (zh) 一种数据存储方法及装置
KR101292405B1 (ko) 파일 복제 메커니즘을 자동으로 결정하는 방법, 파일 업데이트를 저장 매체에 백업하는 방법, 및 컴퓨터 프로그램 제품
US20180004766A1 (en) Regenerated container file storing
US9753954B2 (en) Data node fencing in a distributed file system
US10417180B1 (en) Fast recovery of backup cloud gateway following crash without garbage collection
US9501363B1 (en) Distributed database management system with node failure detection
CN107528872B (zh) 一种数据恢复方法、装置及云存储系统
US20120185431A1 (en) Methods, Systems, and Products for Data Backup
CN107315825B (zh) 一种索引更新系统、方法及装置
CN110968478B (zh) 日志采集方法、服务器及计算机存储介质
EP2710477B1 (en) Distributed caching and cache analysis
CN110753084B (zh) 上链数据读取方法、缓存服务器及计算机可读存储介质
US10979532B2 (en) Resource download method, electronic device, and apparatus
CN109992452B (zh) 一种故障处理方法及装置
US9298765B2 (en) Apparatus and method for handling partially inconsistent states among members of a cluster in an erratic storage network
US20190310967A1 (en) Data tagging
CN104092726A (zh) 同名文件的自动替换方法及其装置
CN104679896A (zh) 一种大数据环境下的智能检索方法
CN113742135A (zh) 数据备份方法、装置及计算机可读存储介质
US20160012070A1 (en) Methods for managing a request to list previous versions of an object and devices thereof
US20170109376A1 (en) Method for managing data using in-memory database and apparatus thereof
CN103118045B (zh) 一种离线下载的方法及系统
WO2020029588A1 (zh) 数据读取方法、装置及系统、分布式系统
CN107864209B (zh) 数据写入的方法、装置及服务器
CN102456049A (zh) 数据迁移方法、装置及面向对象的分布式文件系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant