CN110457263B - 一种数据存储方法和装置 - Google Patents

一种数据存储方法和装置 Download PDF

Info

Publication number
CN110457263B
CN110457263B CN201910748166.4A CN201910748166A CN110457263B CN 110457263 B CN110457263 B CN 110457263B CN 201910748166 A CN201910748166 A CN 201910748166A CN 110457263 B CN110457263 B CN 110457263B
Authority
CN
China
Prior art keywords
storage
data
consistent hash
storage device
ring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910748166.4A
Other languages
English (en)
Other versions
CN110457263A (zh
Inventor
周瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capitalonline Data Service Co ltd
Original Assignee
Capitalonline Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capitalonline Data Service Co ltd filed Critical Capitalonline Data Service Co ltd
Priority to CN201910748166.4A priority Critical patent/CN110457263B/zh
Publication of CN110457263A publication Critical patent/CN110457263A/zh
Application granted granted Critical
Publication of CN110457263B publication Critical patent/CN110457263B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices
    • G06F16/137Hash-based
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/178Techniques for file synchronisation in file systems
    • G06F16/1794Details of file format conversion

Abstract

本申请实施例提出一种数据存储方法和装置,涉及数据存储领域。具体实现方案为:接收数据存储请求,数据存储请求包括待存储数据和存储需求;按照存储需求和用户权限产生一致性哈希存储环视图;一致性哈希存储环视图包括一致性哈希存储环的部分内容;一致性哈希存储环包括各存储设备及其对应的哈希值的闭环数据结构;对待存储数据进行一致性哈希运算,得到哈希值;在一致性哈希存储环视图中查找哈希值对应的存储设备;将待存储数据转换为与存储设备匹配的数据格式,并保存到存储设备中。本申请提高了数据存储的效率。

Description

一种数据存储方法和装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种数据存储技术。
背景技术
Amazon S3(Amazon Simple Storage Service,亚马逊简单存储服务)提供一个简单的网络服务接口,可通过该接口从网络的任何位置随时访问存储和提取任意数量的数据。标准化Restful(Representational State Transfer表现层状态转换)接口,是基于超文本传输协定之上而确定的一组约束和属性。是一种设计提供全球资讯网络服务的软体构建风格,符合或相容于这种架构风格的网络服务允许用户端发出以统一资源标识符存取和操作网络资源的请求。
目前,将不同存储设备(如磁盘阵列、磁带库、网络存储服务器设备、云存储设备等)接入Amazon S3时存在一些问题。一方面,不同的存储设备提供的接口往往不同,用户如果想要接入新的存储设备,需要掌握不同存储设备的接入方式。另一方面,现行存储地址分配方法无法实现存储资源的均衡分配,造成有的存储设备资源占用量过高,有的存储设备很少被使用的现象。
发明内容
本申请实施例提供一种数据存储方法和装置,以解决现有技术中的一个或多个技术问题。
第一方面,本申请实施例提供了一种数据存储方法,包括:
接收数据存储请求,所述数据存储请求包括待存储数据和存储需求;
按照存储需求和用户权限产生一致性哈希存储环视图;一致性哈希存储环视图包括一致性哈希存储环的部分内容;一致性哈希存储环包括各存储设备及其对应的哈希值的闭环数据结构;
对待存储数据进行一致性哈希运算,得到哈希值;
在一致性哈希存储环视图中查找哈希值对应的存储设备;
将待存储数据转换为与存储设备匹配的数据格式,并保存到存储设备中。
在一种实施方式中,该方法还包括:
在检测到新存储设备请求接入网关的情况下,调用管控程序控制新存储设备通过状态转换接口接入,并在一致性哈希存储环中更新存储设备信息;
为存储设备配置访问权限,并按照访问权限更新一致性哈希存储环视图。
在一种实施方式中,该方法还包括:
接收设备删除请求,设备删除请求中包括需要删除的目标设备的信息;
访问一致性哈希存储环视图,请求分配存储设备;
将目标设备中的数据复制至分配的存储设备中;
在一致性哈希存储环视图中更新存储设备记录;
调用管控程序删除目标设备。
在一种实施方式中,该方法包括:
通过监控程序将存储设备的状态反馈至一致性哈希存储环,迁移处于负载失衡状态的存储设备中的数据;
更新一致性哈希存储环中记录的存储设备;
更新一致性哈希存储环视图中记录的存储设备。
在一种实施方式中,通过监控程序将存储设备的状态反馈至一致性哈希存储环,包括:
在存储设备分配失衡的情况下,对一致性哈希存储环的存储设备分配策略进行调整。
在一种实施方式中,该方法还包括:
实时监控存储设备存活状态,在存储设备出现故障的情况下,对一致性哈希存储环进行备份,并对出现故障的存储设备中的数据进行备份。
第二方面,本申请实施例提供了一种人物检测装置,包括:
接收模块,用于接收数据存储请求,数据存储请求包括待存储数据和存储需求;
视图模块,用于按照存储需求和用户权限产生一致性哈希存储环视图;一致性哈希存储环视图映射了一致性哈希存储环的部分内容,记录了符合存储需求和当前用户访问权限的存储设备;一致性哈希存储环为记录了全部存储设备和对应哈希值的闭环数据结构;
哈希模块,用于对待存储数据进行一致性哈希运算,得到哈希值;
查找模块,用于在一致性哈希存储环视图中查找哈希值对应的存储设备;
转换模块,用于通过管控程序,将待存储数据转换为与存储设备匹配的数据格式,并保存到存储设备中。
在一种实施方式中,该装置还包括接入模块,用于执行:
在检测到新存储设备请求接入网关的情况下,调用管控程序控制新存储设备通过状态转换接口接入,并在一致性哈希存储环中更新存储设备信息;
为存储设备配置访问权限,并按照访问权限更新一致性哈希存储环视图。
在一种实施方式中,该装置还包括删除模块,用于执行:
接收设备删除请求,设备删除请求中包括需要删除的目标设备的信息;
访问一致性哈希存储环视图,请求分配存储设备;
将目标设备中的数据复制至分配的存储设备中;
在一致性哈希存储环视图中更新存储设备记录;
调用管控程序删除目标设备。
在一种实施方式中,该装置还包括监控模块,用于执行:
通过监控程序将存储设备的状态反馈至一致性哈希存储环,迁移处于负载失衡状态的存储设备中的数据;
更新一致性哈希存储环中记录的存储设备;
更新一致性哈希存储环视图中记录的存储设备。
在一种实施方式中,该装置还包括调整模块,用于执行:
在存储设备分配失衡的情况下,对一致性哈希存储环的存储设备分配策略进行调整。
在一种实施方式中,该装置还包括备份模块,用于执行:
实时监控存储设备存活状态,在存储设备出现故障的情况下,对一致性哈希存储环进行备份,并对出现故障的存储设备中的数据进行备份。
第三方面,本申请实施例提供了数据存储系统,包括:
网关设备,用于执行上述所涉及的方法;
存储设备,用于保存来自网关设备的数据。
上述申请中的一个实施例具有如下优点或有益效果:一方面,可以实现用户对于不同类型存储设备的透明访问,无需用户掌握各种类型的数据访问接口;另一方面,可以实现数据存储设备的均衡访问,提高存储效率。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1示出根据本申请一实施例的数据存储方法流程图。
图2示出根据本申请一实施例的数据存储方法流程图。
图3示出根据本申请一实施例的数据存储方法流程图。
图4示出根据本申请一实施例的数据存储方法流程图。
图5示出根据本申请一实施例的数据存储装置的结构框图。
图6示出根据本申请一实施例的数据存储装置的结构框图。
图7示出根据本申请一实施例的数据存储系统的结构框图。
图8示出根据本申请一实施例的实现场景图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1示出根据本申请一实施例的数据存储方法流程图。如图1所示,该数据存储方法包括:
步骤S11、接收数据存储请求,所述数据存储请求包括待存储数据和存储需求。
在一种实施方式中,如果用户按照亚马逊简单存储服务进行数据存储,用户向存储系统发送一个包含存储数据和存储需求的数据请求。例如,用户想要存储一份自拍视频短片时,视频存储请求可以包括自拍视频短片内容本身,以及希望存储的区域(如是否希望存储在云端等)、存储的方式(如是否加密存储,是否希望能够快速读写等)。
步骤S12、按照存储需求和用户权限产生一致性哈希存储环视图;一致性哈希存储环视图包括一致性哈希存储环的部分内容;一致性哈希存储环包括各存储设备及其对应的哈希值的闭环数据结构。
具体来说,一致性哈希存储环视图可以是依赖于一致性哈希存储环的虚拟表,记载有一致性哈希存储环中用户权限所能访问的部分内容。
其中,一致性哈希存储环具有简单、安全等优势。
简单性。对于用户来说,能够访问的一致性哈希存储环数据,就是用户具备访问权限的存储设备。这不仅可以简化用户对存储设备的理解,也可以简化相应的操作。
安全性。通过一致性哈希存储环视图,每个用户按照权限可以被限制在数据的不同子集上,从而实现一致性哈希存储环的隔离,避免一致性哈希存储环被非法攻击、篡改。
步骤S13、对待存储数据进行一致性哈希运算,得到哈希值。
具体来说,在传统的哈希表中,添加或删除一个槽位的几乎需要对所有关键字进行重新映射。在一致性哈希算法中,哈希表槽位数的改变平均只需要对K/n个关键字重新映射,其中K是关键字的数量,n是槽位数量。一致性哈希环的数据存储方式,通过将映射后的空间组织成一个一致性哈希存储环,环上有多个结点,当新增或者删除结点的时候,只需要重新映射某一段的数据即可。
步骤S14、在一致性哈希存储环视图中查找哈希值对应的存储设备。
具体来说,计算出待存储数据的哈希值后,在用户权限对应的一致性哈希存储环视图中查找该哈希值对应的存储地址。该存储地址可以是指定存储设备的IP地址、端口号。例如,一致性哈希存储环C中包含存储设备{s1:a1,s2:a2,s3:a3,s4:a4,s5:a5}(以s1:a1为例,s1表示存储设备1,a1表示存储设备1的访问地址)。假设用户1可访问的设备为s1和s3,则用户1所对应的一致性哈希存储环视图V中包含存储设备{s1:a1,s3:a3}。
步骤S15、将待存储数据转换为与存储设备匹配的数据格式,并保存到存储设备中。
在一种实施方式中,对于不同的存储设备,网关向外界提供的存储接口可以是不同的。在将数据保存到不同存储设备之前,针对不同设备的存储接口的要求,进行数据格式转换。
图2示出根据本申请一实施例的数据存储方法流程图。如图2所示,该数据存储方法还包括:
步骤S21、在检测到新存储设备请求接入网关的情况下,调用管控程序控制新存储设备通过状态转换接口接入,并在一致性哈希存储环中更新存储设备信息。
具体来说,网关实现了一致性哈希环的存储寻址功能,也实现了不同数据格式的转换功能。用户通过网关,可以透明地访问不同的存储设备。不同的存储设备在网关中一致性哈希环的分配下,也实现了存储资源的均衡配置。
管控程序作为网关中的一部分,实现了接入新存储设备的功能。待接入存储设备通过管控程序与整个存储系统实现无缝连接。举例来说,对于经常使用的存储设备类型(如云存储、磁盘存储等),可以在管控程序中配置一个接口库,当识别出待接入存储设备类型时,直接调用接口库中相应的接口,从而提高待接入存储设备接入的效率。
步骤S22、为存储设备配置访问权限,并按照访问权限更新一致性哈希存储环视图。
具体来讲,当新存储设备被接入了之后,需要配置该存储设备能被哪些客户访问,每个客户都具有什么样的访问权限,而且,还需要将这些权限配置信息在一致性哈希存储环中进行更新。由于一致性哈希存储环视图是一致性哈希存储环部分内容的同步镜像,因此,在一致性哈希存储环被更新之后,一致性哈希存储环视图也会同时被更新。
图3示出根据本申请一实施例的数据存储方法流程图。如图3所示,该数据存储方法还包括:
步骤S31、接收设备删除请求,设备删除请求中包括需要删除的目标设备的信息。
具体来说,需要删除的目标设备信息可以包括目标设备的IP地址、端口号、存储设备类型、接口类型等。
步骤S32、访问一致性哈希存储环视图,请求分配备份设备。
举例来说,接收设备删除请求后,需要通过访问一致性哈希存储环视图,请求分配一块与待删除设备中数据大小相匹配的数据空间。具体地,分配的数据空间可以在一个存储设备中,也可以在多个存储设备中。例如,待删除存储设备中存储了100G的内容,访问一致性哈希存储环视图后,可以分配在一个存储设备中存储这100G的内容,也可以在两个存储设备中分别存储50G的数据。
步骤S33、将目标设备中的数据复制至分配的备份设备中。
在删除某个设备时,可能需要保留该存储设备的数据,以减少删除存储设备对用户的正常数据访问的影响。因此,可以先将待删除存储设备中的数据复制到其他存储设备中。具体来说,数据的复制过程可以采用同步复制、异步复制等多种复制方式进行。
步骤S34、在一致性哈希存储环视图中更新存储设备记录。
具体来说,在删除待删除存储设备,并把数据复制到新存储设备后,需要在一致性存储视图中更新存储设备的记录,以确保数据访问的一致性。
步骤S35、调用管控程序删除目标设备。
图4示出根据本申请一实施例的数据存储方法流程图。如图4所示,该数据存储方法还包括:
步骤S41、通过监控程序将存储设备的状态反馈至一致性哈希存储环,迁移处于负载失衡状态的存储设备中的数据。
在一种实施方式中,在所述存储设备分配失衡的情况下,对所述一致性哈希存储环的存储设备分配策略进行调整。
具体来说,当出现存储故障时,可能会出现存储设备分配失衡的情况,此时需要对存储设备分配策略进行调整。例如,可能存在存储设备误报自己存储能力的情况。一致性哈希存储环根据误报的存储能力给某些存储设备分配了过量存储数据,导致这些存储设备处于失衡状态。这时,除了对误报数据进行更正,还要调整一致性哈希存储环的存储设备的分配策略,以使得各存储设备进入均衡状态。
步骤S42、更新一致性哈希存储环中记录的存储设备。
在各存储设备进入均衡状态后,可以在一致性哈希存储环中更新存储这些数据的存储设备信息,从而保证用户访问的一致性。
步骤S43、更新一致性哈希存储环视图中记录的存储设备。
在一种示例中,一致性哈希存储环视图是一致性哈希存储环部分内容的同步镜像,因此,在一致性哈希存储环被更新之后,一致性哈希存储环视图也会同时被更新。
图5示出根据本申请一实施例的人物检测装置的结构框图。
接收模块51,用于接收数据存储请求,数据存储请求包括待存储数据和存储需求;
视图模块52,用于按照存储需求和用户权限产生一致性哈希存储环视图;一致性哈希存储环视图映射了一致性哈希存储环的部分内容,记录了符合存储需求和当前用户访问权限的存储设备;一致性哈希存储环为记录了全部存储设备和对应哈希值的闭环数据结构;
哈希模块53,用于对待存储数据进行一致性哈希运算,得到哈希值;
查找模块54,用于在一致性哈希存储环视图中查找哈希值对应的存储设备;
转换模块55,用于通过管控程序,将待存储数据转换为与存储设备匹配的数据格式,并保存到存储设备中。
图6示出根据本申请一实施例的人物检测装置的结构框图。
在一种实施方式中,该装置还包括接入模块56,用于在检测到新存储设备请求接入网关的情况下,调用管控程序控制新存储设备通过状态转换接口接入,并在一致性哈希存储环中更新存储设备信息;
权限配置模块57,用于为存储设备配置访问权限,并按照访问权限更新一致性哈希存储环视图。
在一种实施方式中,该装置还包括删除模块58,用于执行:
接收设备删除请求,设备删除请求中包括需要删除的目标设备的信息;
访问一致性哈希存储环视图,请求分配存储设备;
将目标设备中的数据复制至分配的存储设备中;
在一致性哈希存储环视图中更新存储设备记录;
调用管控程序删除目标设备。
在一种实施方式中,该装置还包括监控模块59,用于执行:
通过监控程序将存储设备的状态反馈至一致性哈希存储环,迁移处于负载失衡状态的存储设备中的数据;
更新一致性哈希存储环中记录的存储设备;
更新一致性哈希存储环视图中记录的存储设备。
在一种实施方式中,该装置还包括调整模块60,用于执行:
在存储设备分配失衡的情况下,对一致性哈希存储环的存储设备分配策略进行调整。
在一种实施方式中,该装置还包括备份模块61,用于执行:
实时监控存储设备存活状态,在存储设备出现故障的情况下,对一致性哈希存储环进行备份,并对出现故障的存储设备中的数据进行备份。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
图7示出根据本申请一实施例的数据存储系统的结构框图。
如图7所示,该数据存储系统包括:
网关设备71,用于执行上述所涉及的方法;
存储设备72,用于保存来自网关设备的数据。
该数据存储系统可以通过标准化表现层状态转换接口为用户提供亚马逊简单存储服务。
图8示出根据本申请一实施例的实现场景图。如图8所示,该实现场景中包括:
接入服务模块81,用于对外提供统一的访问域名,并对外提供标准的协议接口(如亚马逊简单存储服务协议接口)和标准化Restful接口。
权限管理模块82,用于管理验证访问用户的权限管理。
一致性哈希环管理模块83,用于存储设备的管理,例如存储设备的增加,删除。对象实际访问地址转换,当有请求访问具体对象时,通过一致性哈希算法定位出对象具体的存储设备,实现访问控制管理。
后端监控模块84,用于调用存储设备管控程序,实现存储设备的监控功能,以判断存储设备的状态、可用性、使用量等信息,并将存储设备的状态反馈给一致性哈希环管理模块83。
A存储设备85,用于存储数据的物理设备,可以是磁盘阵列、磁带库、网络存储服务器设备、云存储设备等多种存储设备。“A存储设备”中的“A”表明该存储设备为已知类型存储设备。
A管控模块86,用于管理A存储设备85,对A存储设备85实现增加、删除、监控、读写等操作。“A管控模块”中的“A”表明该存储设备可以为已知类型的存储设备。
其他存储设备87,用于存储数据的物理设备,可以是磁盘阵列、磁带库、网络存储服务器设备、云存储设备等多种存储设备。“其他管控模块”中的“其他”表明该存储设备可以为多种类型的存储设备。
其他管控模块88,用于管理其他存储设备87,对其他存储设备87实现增加、删除、监控、读写等操作。“其他管控模块”中的“其他”表明该存储设备可以为多种类型的存储设备。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits,ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(programmable logic device,PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(Cathode Ray Tube,阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(Local Area Network,LAN)、广域网(Wide Area Network,WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,一方面,消除了由于人体姿势、动作的不同,给人物检测造成的障碍,提高了人物检测的准确度;另一方面,对于多人拥挤的情况下,解决了人体相互遮挡影响人物检测准确度的技术问题。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (13)

1.一种数据存储方法,其特征在于,包括:
接收数据存储请求,所述数据存储请求包括待存储数据和存储需求;
按照所述存储需求和用户权限产生一致性哈希存储环视图;所述一致性哈希存储环视图包括一致性哈希存储环的部分内容,记录了符合所述存储需求和当前用户访问权限的存储设备;所述一致性哈希存储环包括各存储设备及其对应的哈希值的闭环数据结构,所述一致性哈希存储环视图是依赖于一致性哈希存储环的虚拟表;
对所述待存储数据进行一致性哈希运算,得到哈希值;
在所述一致性哈希存储环视图中查找所述哈希值对应的存储设备;
将所述待存储数据转换为与所述存储设备匹配的数据格式,并保存到所述存储设备中。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在检测到新存储设备请求接入网关的情况下,调用管控程序控制所述新存储设备通过状态转换接口接入,并在所述一致性哈希存储环中更新所述存储设备信息;
为所述存储设备配置访问权限,并按照所述访问权限更新所述一致性哈希存储环视图。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收设备删除请求,所述设备删除请求中包括需要删除的目标设备的信息;
访问所述一致性哈希存储环视图,分配备用设备;
将所述目标设备中的数据复制至分配的所述备用设备中;
在所述一致性哈希存储环视图中更新存储设备记录;
调用管控程序删除所述目标设备。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过监控程序将存储设备的状态反馈至一致性哈希存储环,迁移处于负载失衡状态的存储设备中的数据;
更新所述一致性哈希存储环中记录的存储设备;
更新所述一致性哈希存储环视图中记录的存储设备。
5.根据权利要求4所述的方法,其特征在于,所述通过监控程序将存储设备的状态反馈至一致性哈希存储环,包括:
在所述存储设备分配失衡的情况下,对所述一致性哈希存储环的存储设备分配策略进行调整。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
实时监控所述存储设备存活状态,在所述存储设备出现故障的情况下,对所述一致性哈希存储环进行备份,并对出现故障的所述存储设备中的数据进行备份。
7.一种数据存储装置,其特征在于,包括:
接收模块,用于接收数据存储请求,所述数据存储请求包括待存储数据和存储需求;
视图模块,用于按照所述存储需求和用户权限产生一致性哈希存储环视图;所述一致性哈希存储环视图映射了一致性哈希存储环的部分内容,记录了符合所述存储需求和当前用户访问权限的存储设备;所述一致性哈希存储环为记录了全部存储设备和对应哈希值的闭环数据结构,所述一致性哈希存储环视图是依赖于一致性哈希存储环的虚拟表;
哈希模块,用于对所述待存储数据进行一致性哈希运算,得到哈希值;
查找模块,用于在所述一致性哈希存储环视图中查找所述哈希值对应的存储设备;
转换模块,用于通过管控程序,将所述待存储数据转换为与所述存储设备匹配的数据格式,并保存到所述存储设备中。
8.根据权利要求7所述的装置,其特征在于,还包括:
接入模块,用于在检测到新存储设备请求接入网关的情况下,调用管控程序控制所述新存储设备通过状态转换接口接入,并在所述一致性哈希存储环中更新所述存储设备信息;
权限配置模块,用于为所述存储设备配置访问权限,并按照所述访问权限更新所述一致性哈希存储环视图。
9.根据权利要求7所述的装置,其特征在于,还包括:
删除模块,用于执行以下步骤:
接收设备删除请求,所述设备删除请求中包括需要删除的目标设备的信息;
访问所述一致性哈希存储环视图,分配备用设备;
将所述目标设备中的数据复制至分配的所述备用设备中;
在所述一致性哈希存储环视图中更新存储设备记录;
调用管控程序删除所述目标设备。
10.根据权利要求7所述的装置,其特征在于,还包括:
监控模块,用于执行以下步骤:
通过监控程序将存储设备的状态反馈至一致性哈希存储环,迁移处于负载失衡状态的存储设备中的数据;
更新所述一致性哈希存储环中记录的存储设备;
更新所述一致性哈希存储环视图中记录的存储设备。
11.根据权利要求7所述的装置,其特征在于,还包括:
调整模块,用于在存储设备分配失衡的情况下,对一致性哈希存储环的存储设备分配策略进行调整。
12.根据权利要求7所述的装置,其特征在于,还包括:
备份模块,用于实时监控存储设备存活状态,在存储设备出现故障的情况下,对一致性哈希存储环进行备份,并对出现故障的存储设备中的数据进行备份。
13.一种数据存储系统,包括:
网关设备,包括权利要求7-10中所述任一所述装置;
存储设备,用于保存来自网关设备的数据。
CN201910748166.4A 2019-08-13 2019-08-13 一种数据存储方法和装置 Active CN110457263B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910748166.4A CN110457263B (zh) 2019-08-13 2019-08-13 一种数据存储方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910748166.4A CN110457263B (zh) 2019-08-13 2019-08-13 一种数据存储方法和装置

Publications (2)

Publication Number Publication Date
CN110457263A CN110457263A (zh) 2019-11-15
CN110457263B true CN110457263B (zh) 2021-10-26

Family

ID=68486576

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910748166.4A Active CN110457263B (zh) 2019-08-13 2019-08-13 一种数据存储方法和装置

Country Status (1)

Country Link
CN (1) CN110457263B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111338571B (zh) * 2020-02-18 2021-08-17 腾讯科技(深圳)有限公司 任务处理方法、装置、设备及存储介质
CN111506499B (zh) * 2020-04-08 2023-06-02 百度在线网络技术(北京)有限公司 一种小程序中参数可用性检测方法、装置以及电子设备
CN111522883B (zh) * 2020-04-28 2023-04-28 杭州海康威视系统技术有限公司 对象数据的备份方法、装置、设备及存储介质
CN112650729B (zh) * 2020-12-17 2023-06-13 深圳点宽网络科技有限公司 一种分布式文件系统的权限管理方法、系统以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843403A (zh) * 2011-06-23 2012-12-26 盛大计算机(上海)有限公司 基于分布式文件系统的文件处理方法、系统及客户端
CN103442057A (zh) * 2013-08-27 2013-12-11 玉林师范学院 一种基于用户协作云的云存储系统
CN104537081A (zh) * 2014-12-31 2015-04-22 北京畅游天下网络技术有限公司 文件管理系统和方法
CN104754001A (zh) * 2013-12-30 2015-07-01 方正宽带网络服务股份有限公司 云存储系统和数据存储方法
CN107734008A (zh) * 2017-09-27 2018-02-23 柏科数据技术(深圳)股份有限公司 一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质
CN109691016A (zh) * 2016-07-08 2019-04-26 卡列普顿国际有限公司 分布式事务处理及认证系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843403A (zh) * 2011-06-23 2012-12-26 盛大计算机(上海)有限公司 基于分布式文件系统的文件处理方法、系统及客户端
CN103442057A (zh) * 2013-08-27 2013-12-11 玉林师范学院 一种基于用户协作云的云存储系统
CN104754001A (zh) * 2013-12-30 2015-07-01 方正宽带网络服务股份有限公司 云存储系统和数据存储方法
CN104537081A (zh) * 2014-12-31 2015-04-22 北京畅游天下网络技术有限公司 文件管理系统和方法
CN109691016A (zh) * 2016-07-08 2019-04-26 卡列普顿国际有限公司 分布式事务处理及认证系统
CN107734008A (zh) * 2017-09-27 2018-02-23 柏科数据技术(深圳)股份有限公司 一种数据存储系统中的故障处理的方法、装置、节点设备以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A proposal of a distributed access control over Fog computing: the ITS use case;Imen Riabi等;《2017 International Conference on Performance Evaluation and Modeling in Wired and Wireless Networks》;20180308;第1-6页 *
Redis可扩展与高效复制方案的设计与实现;李法平等;《西南师范大学学报(自然科学版)》;20180320(第03期);第1-3页 *

Also Published As

Publication number Publication date
CN110457263A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN110457263B (zh) 一种数据存储方法和装置
US20180278684A1 (en) System, method, and computer program for enabling a user to access and edit via a virtual drive objects synchronized to a plurality of synchronization clients
KR100350141B1 (ko) 매체관리자,애플리케이션프로그램인터페이스와이를구현하는방법
US11586506B2 (en) System and method for indexing image backups
US11188499B2 (en) Storing and retrieving restricted datasets to and from a cloud network with non-restricted datasets
US11150816B2 (en) Immutable storage for cloud service providers
US11687595B2 (en) System and method for searching backups
CN111090498B (zh) 虚拟机启动方法、装置、计算机可读存储介质及电子设备
CN110633046A (zh) 一种分布式系统的存储方法、装置、存储设备及存储介质
US20140214956A1 (en) Method and apparatus for managing sessions of different websites
US11784905B2 (en) Method and apparatus for ensuring continued device operational reliability in cloud-degraded mode
CN111859410B (zh) 用于限制恢复访问的系统和方法
CN111949441A (zh) 用于可扩展备份搜索的系统和方法
US10938919B1 (en) Registering client devices with backup servers using domain name service records
US11520492B1 (en) Method and system for migrating data clusters using heterogeneous data cluster infrastructures
US20240137360A1 (en) Method and system for performing authentication and object discovery for on-premises cloud service providers
US20240135014A1 (en) Method and system for automatic data protection for limited access cloud data
US11853560B2 (en) Conditional role decision based on source environments
US20240134755A1 (en) Method and system for generating indexing metadata for object level restoration of limited access cloud data
US20240134754A1 (en) Method and system for generating incremental approximation backups of limited access cloud data
US11474906B2 (en) Method and system for performing data protection services for user data associated with calendar groups
US11379146B1 (en) Method and system for performing data protection management using an add-on application programming interface
US20240028464A1 (en) Copy discovery of clustered assets in node agnostic way
US20240028480A1 (en) Fast disaster recover from backup storage using smart links
US20230108321A1 (en) Method and system for mapping data protection policies to data clusters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant