CN111857548A - 数据读取方法、装置及系统 - Google Patents

数据读取方法、装置及系统 Download PDF

Info

Publication number
CN111857548A
CN111857548A CN201910354508.4A CN201910354508A CN111857548A CN 111857548 A CN111857548 A CN 111857548A CN 201910354508 A CN201910354508 A CN 201910354508A CN 111857548 A CN111857548 A CN 111857548A
Authority
CN
China
Prior art keywords
storage node
storage
backup
node
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910354508.4A
Other languages
English (en)
Other versions
CN111857548B (zh
Inventor
包国强
潘习文
林起芊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN201910354508.4A priority Critical patent/CN111857548B/zh
Publication of CN111857548A publication Critical patent/CN111857548A/zh
Application granted granted Critical
Publication of CN111857548B publication Critical patent/CN111857548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请提供一种数据读取方法、装置及系统,其中,该方法包括:接收终端设备发送的数据读取请求,该数据读取请求包括:目标数据的源存储地址,基于该目标数据的源存储地址,确定该目标数据的所有存储节点,该所有存储节点包括:源存储地址对应的源存储节点和至少一个备份存储节点,以及在源存储节点满足预设的非选用条件时,在至少一个备份存储节点中确定目标存储节点,将该目标存储节点的存储地址发送给终端设备。该技术方案中,至少一个备份存储节点有效均摊了源存储节点的用户并发读取数据的压力,在确保数据安全性、可用性的前提下提升了云存储系统数据的并发读取性能。

Description

数据读取方法、装置及系统
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据读取方法、装置及系统。
背景技术
云存储系统是一种网络存储系统,其通过集群应用、网络技术或分布式文件系统等功能,可以将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能。
在现有的云存储系统中,为了提高数据的安全性,数据存储时采取多副本存储的方案,即用户通过终端设备将数据存储到管理服务器分配的源存储节点,源存储节点存储该数据后,再将该数据备份到确定的备份存储节点中存储。相应的,数据读取时优先通过管理服务器重定向到该数据对应的源存储节点以读取数据,若该源存储节点出现异常,则从该数据的备份存储节点中的读取数据,从而保证用户均能正常获取到存储的数据。
然而,在例如高并发性读取的场景中,现有的云存储系统可能出现源存储节点支持的并发性读取个数小于用户的并发性读取需求,导致云存储系统的数据并发性读取性能低。
发明内容
本申请提供一种数据读取方法、装置及系统,以解决现有云存储系统的数据并发性读取性能低的问题。
本申请第一方面提供的一种数据读取方法,包括:
接收终端设备发送的数据读取请求,所述数据读取请求包括:目标数据的源存储地址;
基于所述目标数据的源存储地址,确定所述目标数据的所有存储节点,所述所有存储节点包括:所述源存储地址对应的源存储节点和至少一个备份存储节点;
在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点;
将所述目标存储节点的存储地址发送给所述终端设备。
在本实施例中,在源存储节点满足预设的非选用条件时,管理节点可以在所有的备份存储节点中选择一个作为目标存储节点,使得备份存储节点有效分摊了用户并发读取数据的压力,在确保数据安全性、可用性的前提下提升了云存储系统数据的并发读取性能。
在第一方面的一种可能设计中,在所述接收终端设备发送的数据读取请求之前,所述方法还包括:
接收所述至少一个备份存储节点中每个备份存储节点发送的备份路由信息,所述备份路由信息包括所述目标数据在对应备份存储节点的备份存储地址和所述源存储地址的关联关系。
在第一方面的上述可能设计中,所述基于所述目标数据的源存储地址,确定所述目标数据的所有存储节点,包括:
根据所述源存储地址,查询存储的备份路由信息,确定与所述源存储地址关联的至少一个备份存储地址;
根据所述源存储地址确定出所述源存储节点以及根据每个备份存储地址确定对应的备份存储节点。
在本实施例中,管理节点可以确定出所有的存储节点,为后续从所有的存储节点中选择可用存储节点奠定了基础,其可以有效均摊用户发起的从源存储节点并发读取数据的压力,在确保数据安全性、可用性的前提下提升了云存储系统数据的并发读取性能。
在第一方面的另一种可能设计中,所述方法还包括:
将所述备份路由信息存储至备份轨迹表中,所述备份轨迹表包括所述目标数据的源存储地址及其对应的所有备份存储节点的备份存储地址。
在第一方面的再一种可能设计中,在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点之前,所述方法还包括:
获取所述源存储节点的在网状态、存储卷状态和负载量;
基于所述源存储节点的在网状态、存储卷状态和负载量,判定所述源存储节点是否满足所述非选用条件,所述非选用条件包括如下任意一种:节点离线、存储卷状态异常、负载量达到额定最大负载量。
在第一方面的上述可能设计中,所述在所述至少一个备份存储节点中确定目标存储节点,包括:
获取所述至少一个备份存储节点中的每个备份存储节点的在网状态、存储卷状态和负载量;
基于每个备份存储节点的在网状态、存储卷状态,在所述至少一个备份存储节点中确定出所有的可用备份存储节点;
根据每个可用备份存储节点的负载量和额定最大负载量,在所述所有的可用备份存储节点确定出所述目标存储节点。
在本实施例中,管理节点可以从至少一个备份存储节点中确定出读取性能最优的目标存储节点,在例如高并发性读取的场景中,提高了云存储系统的数据并发性读取性能。
在第一方面的又一种可能设计中,在所述接收终端设备发送的数据读取请求之前,所述方法还包括:
接收所述终端设备发送的数据存储请求,所述数据存储请求包括:所述目标数据的数据量;
根据所述目标数据的数据量,确定用于存储所述目标数据的所述源存储节点和所述至少一个备份存储节点;
将所述源存储节点的标识和所述至少一个备份存储节点的标识发送给所述终端设备,以使所述终端设备将所述目标数据存储到所述源存储节点中且使所述源存储节点将所述目标数据备份到所述至少一个备份存储节点中。
在本实施例中,管理节点子数据读取之前,首先对目标数据进行存储,并在存储过程中确定出所有的存储节点,其为后续将数据读取请求均摊到所有存储目标数据的存储节点上,为提供云存储系统的高并发读取性能奠定了基础。
本申请第二方面提供一种数据读取装置,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述第一方面以及第一方面各可能设计所述的方法。
本申请第三方面提供一种云存储系统,包括:管理节点和至少一个存储节点;
所述管理节点,用于接收终端设备发送的数据读取请求,所述数据读取请求包括:目标数据的源存储地址;
所述管理节点,还用于基于所述目标数据的源存储地址,在所述至少一个存储节点中确定所述目标数据的所有存储节点,所述所有存储节点包括:所述源存储地址对应的源存储节点和至少一个备份存储节点;
所述管理节点,还用于在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点,以及将所述目标存储节点的存储地址发送给所述终端设备。
在第三方面的一种可能设计中,对于所述至少一个存储节点中的每个备份存储节点,所述备份存储节点,用于向所述管理节点发送备份路由信息,所述备份路由信息包括所述目标数据在所述备份存储节点的备份存储地址和所述源存储地址的关联关系;
所述管理节点,还用于在接收所述终端设备发送的数据读取请求之前,接收所述至少一个备份存储节点中每个备份存储节点发送的所述备份路由信息。
在第三方面的上述可能设计中,所述管理节点,具体用于根据所述源存储地址,查询存储的备份路由信息,确定与所述源存储地址关联的至少一个备份存储地址,根据所述源存储地址确定出所述源存储节点以及根据每个备份存储地址确定对应的备份存储节点。
在第三方面的另一种可能设计中,所述管理节点,具体用于将所述备份路由信息存储至备份轨迹表中,所述备份轨迹表包括所述目标数据的源存储地址及其对应的所有备份存储节点的备份存储地址。
在第三方面的再一种可能设计中,所述管理节点,还用于获取所述源存储节点的在网状态、存储卷状态和负载量,基于所述源存储节点的在网状态、存储卷状态和负载量,判定所述源存储节点是否满足所述非选用条件,所述非选用条件包括如下任意一种:节点离线、存储卷状态异常、负载量达到额定最大负载量。
在第三方面的上述可能设计中,所述管理节点,具体用于获取所述至少一个备份存储节点中的每个备份存储节点的在网状态、存储卷状态和负载量,基于每个备份存储节点的在网状态、存储卷状态,在所述至少一个备份存储节点中确定出所有的可用备份存储节点,根据每个可用备份存储节点的负载量和额定最大负载量,在所述所有的可用备份存储节点确定出所述目标存储节点。
在第三方面的又一种可能设计中,所述管理节点,还用于接收所述终端设备发送的数据存储请求,所述数据存储请求包括:所述目标数据的数据量,根据所述目标数据的数据量,确定用于存储所述目标数据的所述源存储节点和所述至少一个备份存储节点,将所述源存储节点的标识和所述至少一个备份存储节点的标识发送给所述终端设备,以使所述终端设备将所述目标数据存储到所述源存储节点中且使所述源存储节点将所述目标数据备份到所述至少一个备份存储节点中。
本申请第四方面提供一种云存储系统,包括:多个存储节点,每个存储节点具有调度和管理功能;所述多个存储节点包括:具有调度、管理、存储功能的第一存储节点;
所述第一存储节点,用于接收终端设备发送的数据读取请求,所述数据读取请求包括:目标数据的源存储地址;
所述第一存储节点,还用于基于所述目标数据的源存储地址,在所述多个存储节点中确定所述目标数据的所有存储节点,所述所有存储节点包括:所述源存储地址对应的源存储节点和至少一个备份存储节点;
所述第一存储节点,还用于在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点,以及将所述目标存储节点的存储地址发送给所述终端设备。
在第四方面的一种可能设计中,对于所述至少一个存储节点中的每个备份存储节点,所述备份存储节点,用于向所述第一存储节点发送备份路由信息,所述备份路由信息包括所述目标数据在所述备份存储节点的备份存储地址和所述源存储地址的关联关系;
所述第一存储节点,还用于在接收所述终端设备发送的数据读取请求之前,接收所述至少一个备份存储节点中每个备份存储节点发送的所述备份路由信息。
在第四方面的上述可能设计中,所述第一存储节点,具体用于根据所述源存储地址,查询存储的备份路由信息,确定与所述源存储地址关联的至少一个备份存储地址,根据所述源存储地址确定出所述源存储节点以及根据每个备份存储地址确定对应的备份存储节点。
在第四方面的另一种可能设计中,所述第一存储节点,具体用于将所述备份路由信息存储至备份轨迹表中,所述备份轨迹表包括所述目标数据的源存储地址及其对应的所有备份存储节点的备份存储地址。
在第四方面的再一种可能设计中,所述第一存储节点,还用于获取所述源存储节点的在网状态、存储卷状态和负载量,基于所述源存储节点的在网状态、存储卷状态和负载量,判定所述源存储节点是否满足所述非选用条件,所述非选用条件包括如下任意一种:节点离线、存储卷状态异常、负载量达到额定最大负载量。
在第四方面的上述可能设计中,所述第一存储节点,具体用于获取所述至少一个备份存储节点中的每个备份存储节点的在网状态、存储卷状态和负载量,基于每个备份存储节点的在网状态、存储卷状态,在所述至少一个备份存储节点中确定出所有的可用备份存储节点,根据每个可用备份存储节点的负载量和额定最大负载量,在所述所有的可用备份存储节点确定出所述目标存储节点。
在第四方面的又一种可能设计中,所述第一存储节点,还用于接收所述终端设备发送的数据存储请求,所述数据存储请求包括:所述目标数据的数据量,根据所述目标数据的数据量,确定用于存储所述目标数据的所述源存储节点和所述至少一个备份存储节点,将所述源存储节点的标识和所述至少一个备份存储节点的标识发送给所述终端设备,以使所述终端设备将所述目标数据存储到所述源存储节点中且使所述源存储节点将所述目标数据备份到所述至少一个备份存储节点中。
本申请实施例提供的数据读取方法、装置及系统,通过接收终端设备发送的数据读取请求,该数据读取请求包括:目标数据的源存储地址,基于该目标数据的源存储地址,确定目标数据的所有存储节点,所有存储节点包括:源存储地址对应的源存储节点和至少一个备份存储节点,在该源存储节点满足预设的非选用条件时,在至少一个备份存储节点中确定目标存储节点,并将该目标存储节点的存储地址发送给终端设备。该技术方案中,存储目标数据的备份存储节点也可以用于数据读取,有效均摊了源存储节点的用户并发读取数据的压力,在确保数据安全性、可用性的前提下提升了云存储系统数据的并发读取性能,解决了现有技术中云存储系统并发读取性能低的问题。
附图说明
图1为本申请实施例提供的数据读取方法的一种应用场景示意图;
图2为本申请实施例提供的数据读取方法的另一种应用场景示意图;
图3为本申请实施例提供的数据读取方法实施例一的流程示意图;
图4为本申请实施例提供的数据读取方法实施例二的流程示意图;
图5为本申请实施例提供的数据读取方法实施例三的流程示意图;
图6为本申请实施例提供的数据读取方法实施例四的流程示意图;
图7为本申请实施例提供的数据读取方法实施例五的流程示意图;
图8为本申请实施例提供的数据读取方法实施例六的流程示意图;
图9为本申请实施例提供的数据读取装置实施例一的结构示意图;
图10为本申请实施例提供的数据读取装置实施例二的结构示意图;
图11为本申请实施例提供的云存储系统实施例一的结构示意图;
图12为本申请实施例提供的云存储系统实施例二的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的数据读取方法的一种应用场景示意图。如图1所示,该应用场景可以包括:云存储系统11和至少一个终端设备12。其中,云存储系统11可以包括:管理节点集群111和多个存储节点112。可选的,该管理节点集群111可以包括至少一个管理节点110。在本申请的实施例中,上述至少一个管理节点110、上述多个存储节点112以及至少一个终端设备12之间均可以相互通信。
示例性的,在图1所示的实施例中,该管理节点集群111可以包括3个管理节点110,这3个管理节点110是配置完全一致的节点,上述多个存储节点112的数量为4个,分别为存储节点1121至存储节点1124,终端设备12的数量为1个进行举例说明。本申请实施例并不限定该应用场景中管理节点集群所包括的管理节点的数量、存储节点的数量以及终端设备的数量,其可以根据实际情况确定,此处不再赘述。
示例性的,为了确保云存储系统11的稳定性,在实际应用中,该管理节点集群111可以包括多个管理节点110,在该管理节点集群111中,每个管理节点110中存储的信息是完全相同的,这是由于分布式集群技术可以使得每个管理节点之间相互有感知,并在管理节点之间实现信息的自动同步。
例如,当终端设备12向管理节点集群111发送数据处理请求时,该管理节点集群111中的每个管理节点110均可以接收并处理终端设备12发送的数据处理请求,并在该管理节点集群111中的某个管理节点对数据处理请求开始处理后,其他的管理节点会感知该管理节点的处理操作,并获取到该管理节点的处理结果。
示例性的,在本实施例中,为了提升数据的安全性,每份数据存储时均可以采取多副本存储的方案,也即,目标数据被存储至一个存储节点中之后,可以被复制并额外保存到云存储系统11中的至少一个其他存储节点中成为备份数据,多份备份数据称为目标数据的多副本,存储目标数据的存储节点称为源存储节点,存储目标数据对应备份数据的存储节点称为备份存储节点。
示例性的,当终端设备12可以向管理节点集群111中的每个管理节点发送数据处理请求时,该管理节点集群111中的一个管理节点110会根据接收到的数据处理请求在上述多个存储节点112中确定出源存储节点的标识和备份存储节点的标识,并将源存储节点的标识和备份存储节点的标识发送给终端设备12,因而,该终端设备12可以根据源存储节点的标识与源存储节点进行交互完成相应的数据处理操作。
可选的,在具体实施时,该管理节点集群111中的每个管理节点可以称为管理服务器,该管理服务器可以用于根据终端设备12发送的数据处理请求确定出对应的存储节点,并发送给终端设备12,实现了对存储节点的分配和管理。每个存储节点可以称为存储服务器,主要用于存储终端设备12发送的数据。该终端设备12实际上为客户端,其一般具有用户交互界面,可以接收用户输入的操作请求,并基于该操作请求与管理节点、存储节点交互,实现对应的操作。
值得说明的是,在本实施例中,涉及到的数据一般为数据量小于10M的数据、文件,不过本实施例并不对其进行限定,其可以根据云存储系统的特点确定。
示例性的,为了说明本实施例中多副本备份方案和数据读取方案,下面首先基于三副本的实例来简要说明数据的存取过程。
可选的,在图1所示的应用场景中,假设存储节点1121为源存储节点,存储节点1122和存储节点1123对存储节点1121的备份存储节点。因而,当用户有数据存储请求时,首先通过终端设备12向管理节点集群111发送数据存储请求,该终端设备12会接收管理节点集群111反馈的源存储节点1121的标识和备份存储节点1122和备份存储节点1123的标识,其次通过终端设备12将目标数据和备份存储节点1122、备份存储节点1123的标识发送给源存储节点1121,源存储节点1121存储该目标数据后,再将该目标数据对应的备份数据存储到确定的备份存储节点1122和备份存储节点1123中,从而保证该云存储系统11中保存有三份相同的目标数据。
根据背景技术中的介绍可知,在现有技术中,当用户有数据读取请求时,首先通过终端设备12向管理节点集群111发送数据读取请求,管理节点集群111基于该数据读取请求重定向到源存储节点1121,且确定源存储节点1121可用时,只向终端设备12反馈源存储节点1121的存储地址。通常情况下,目标数据的源存储节点是唯一不变的,任何一次数据读取都会优先重定向到源存储节点,只有在管理节点集群111的管理节点确定源存储节点1121存在异常时,终端设备12才会根据接收到的至少一个备份存储节点的标识确定出一个可用的备份存储节点,并从该可用的备份存储节点中读取目标数据,从而保证用户能够正常获取到数据。
示例性的,图2为本申请实施例提供的数据读取方法的另一种应用场景示意图。如图2所示,该应用场景可以包括:云存储系统21和至少一个终端设备22。其中,云存储系统21可以包括:多个存储节点211。在本申请的实施例中,多个存储节点211和至少一个终端设备22之间均可以相互通信。
在本实施例中,多个存储节点211中的每个存储节点均可以具有调度、管理和存储的功能。在具体应用中,采用Linux虚拟服务器(Linux virtual server,LVS)技术,从多个存储节点211中确定出作为管理和调度角色的第一存储节点2111,利用该第一存储节点2111实现与终端设备22的通信,并实现调度任务。
示例性的,在本实施例中的云存储系统中,LVS技术可以虚拟出一个IP地址(即,虚拟IP),该虚拟IP位于哪个存储节点上,哪个存储节点便可以作为第一存储节点2111,相应的,云存储系统中除该第一存储节点2111之外的存储节点可以称为第二存储节点2112。
值得说明的是,该第一存储节点2111可以同时作为调度服务器、管理服务器和存储服务器,第二存储节点2112可以同时作为管理服务器和存储服务器。
具体的,在第一存储节点2111接收到终端设备22发送的数据处理请求时,一方面,该第一存储节点2111可以作为管理服务器,直接根据该数据处理请求确定出目标数据的源存储节点和至少一个备份存储节点;另一方面,该第一存储节点2111也可以作为调度服务器,将该数据处理请求分发给一个第二存储节点2112,由该第二存储节点2112作为管理服务器确定出目标数据的源存储节点和至少一个备份存储节点;再一方面,该第一存储节点2111和第二存储节点2112均可以同时作为存储服务器用于存储数据。
当第一存储节点2111和第二存储节点2112作为管理服务器时,其实现原理可以参见上述图1所示实施例中关于管理节点的记载,当其作为存储服务器时,其实现原理可以参见上述图1所示实施例中关于存储节点的记载,此处不再赘述。
同理,本实施例也可以实现多副本备份方案和数据读取方案,关于多副本备份方案和数据读取方案的实现原理同样可以参照上述图1所示实施例中关于存储节点的记载,此处不再赘述。
在图1或图2所示的云存储系统中,对于多副本云存储方案,备份存储节点的数据作为冗余数据,只在源存储节点的数据无法读取到的情况下才去读取,其对于例如高并发读取的应用场景难以满足用户的并发需求,存在云存储系统的数据并发性读取性能低。
针对上述问题,本申请实施例提供了一种数据读取方法、装置及系统,通过接收终端设备发送的数据读取请求,该数据读取请求包括:目标数据的源存储地址,基于该目标数据的源存储地址,确定目标数据的所有存储节点,所有存储节点包括:源存储地址对应的源存储节点和至少一个备份存储节点,在该源存储节点满足预设的非选用条件时,在至少一个备份存储节点中确定目标存储节点,并将该目标存储节点的存储地址发送给终端设备。这样,在源存储节点满足非选用条件时,可以从确定的至少一个备份存储节点中选择一个作为目标存储节点发送给终端设备,即备份存储节点可以有效均摊了用户并发读取数据的压力,在确保数据安全性、可用性的前提下提升了云存储系统数据的并发读取性能。
下面,通过具体实施例对本申请的技术方案进行详细说明。需要说明的是,下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。
图3为本申请实施例提供的数据读取方法实施例一的流程示意图。该数据读取方法的执行主体可以为图1所示云存储系统中的管理节点集群111中的任意一个管理节点。如图3所示,该数据读取方法可以包括如下步骤:
步骤31:接收终端设备发送的数据读取请求,该数据读取请求包括:目标数据的源存储地址。
在本实施例中,对于云存储系统中存储的目标数据,若用户有数据读取需求时,用户会通过终端设备下发数据读取请求,即终端设备会将该数据读取请求发送给管理节点,以使该管理节点确定出该数据读取请求对应的存储节点。
通常情况下,当目标数据成功存储至源存储节点后,源存储节点会向终端设备发送该目标数据的源存储地址,这样终端设备需要读取该目标数据时,向管理节点发送的数据读取请求中需要携带该目标数据的源存储地址,以使管理节点基于该源存储地址定位出目标数据的源存储节点。
示例性的,每个存储节点的存储地址可以利用统一资源定位符(uniformresource locator,URL)表示,该URL中可以包含设备标识DevID、块标识BlockID、段标识SegmentID,其用来标识该目标数据在源存储节点中的实际存储阵列位置。因而,参照上述图1所示的云存储系统,该目标数据的源存储地址的格式为DevID1-BlockID1-SegmentID1。
在实际应用中,该URL中还包括该目标数据对应的文件ID、文件长度以及存储时间戳等内容。源存储节点将目标数据存储至该段标识SegmentID对应数据段中后,会相应的将文件ID、文件长度以及存储时间戳等内容存储在该数据段中,而且会基于设备标识DevID、块标识BlockID、段标识SegmentID以及文件ID、文件长度以及存储时间戳等内容生成表示源存储地址的URL。
值得说明的是,本申请实施例中的URL并不局限于包括上述DevID、BlockID、SegmentID、文件ID、文件长度以及存储时间戳等内容,关于其包括的具体内容可以根据实际情况确定,此处不再赘述。
步骤32:基于该目标数据的源存储地址,确定该目标数据的所有存储节点。
其中,所有存储节点包括:源存储地址对应的源存储节点和至少一个备份存储节点。
在本实施例中,管理节点可以对接收到的数据读取请求进行解析,获取该数据读取请求中携带的源存储地址,由上述步骤31可知,源存储地址对应的格式中至少包括DevID1-BlockID1-SegmentID1,因而,基于源存储地址可以确定出源存储节点的标识DevID1。
进一步的,在本实施例中,当目标数据成功备份至至少一个备份存储节点时,每个备份存储节点会将存储该目标数据的备份存储地址与源存储地址的关联关系发送给管理节点,因而,当管理节点确定出源存储地址之后,可以确定出与源存储地址有关联关系的至少一个备份存储地址,也即确定出至少一个备份存储节点。可选的,在本实施例中,源存储节点和至少一个备份存储节点统称为目标数据的所有存储节点。
值得说明的是,在本实施例中,源存储节点将目标数据成功备份至至少一个备份存储节点实际上是将源存储地址中数据段标识对应数据段中的内容同步给备份存储节点,这样备份存储节点会基于自身的存储空间,确定出备份存储块以及备份存储块中的备份数据段,并将源存储节点备份过来的内容存储至对应的备份数据段中。
关于该步骤的具体实现原理可参照下述图4所示实施例中的记载,此处不再赘述。
步骤33:在源存储节点满足预设的非选用条件时,在至少一个备份存储节点中确定目标存储节点。
在本实施例中,管理节点确定出目标数据的所有存储节点后,可以首先判断源存储节点是否满足预设的非选用条件。具体的,在该步骤33之前,该方法还可以包括如下步骤:
步骤A1:获取源存储节点的在网状态、存储卷状态和负载量。
可选的,在网状态可以包括:离线和在线,存储卷状态可以包括:正常和异常等。
步骤A2:基于源存储节点的在网状态、存储卷状态和负载量,判定该源存储节点是否满足上述非选用条件。
其中,该非选用条件可以包括如下任意一种:节点离线、存储卷状态异常、负载量是否达到额定最大负载量等等。
可选的,节点离线是指该节点无法与其他的设备(例如,终端设备、管理节点等)进行信息交互。存储卷异常是指该节点可能无法可以支持数据的读取和存储,此时,终端设备无法向该节点中存储或从该节点读取数据。
值得说明的是,本申请实施例的非选用条件包括但并不限定上述具体内容,实际应用中,可以根据云存储系统的具体场景进行确定。
示例性,管理节点确定出目标数据的所有存储节点时,首先获取源存储节点的在网状态、存储卷状态和负载量,然后可以基于源存储节点的在网状态、存储卷状态和负载量和预设的判断顺序依次判断源存储节点是否离线、源存储节点的存储卷状态是否异常、负载量是否达到源存储节点的额定最大负载量,当源存储节点离线或者源存储节点的存储卷状态异常或者源存储节点的负载量是否达到源存储节点的额定最大负载量时,则可以确定源存储节点满足预设的非选用条件。
值得说明的是,本申请实施例并不限定非选用条件的判断顺序,只要源存储节点满足非选用条件中的任意一个均表明源存储节点满足预设的非选用条件。
相应的,在本申请的实施例中,当源存储节点满足预设的非选用条件时,管理节点可以基于每个备份存储节点的可用性、每个存储节点的负载能力、并发处理能力等多种因素,在上述至少一个备份存储节点中确定出一个备份存储节点作为目标存储节点。
关于该步骤中如何在上述至少一个备份存储节点中确定出目标存储节点的具体实现方案可以参见下述图5所示实施例中的记载,此处不再赘述。
步骤34:将该目标存储节点的存储地址发送给终端设备。
在本实施例中,管理节点确定出目标存储节点之后,首先确定出该目标存储节点的存储地址,并将该目标存储节点的存储地址发送给终端设备。相应的,该终端设备可以基于该目标存储节点的存储地址,确定出该存储地址对应的块标识、数据段标识以及通过解析源存储地址得到的文件标识、文件长度以及存储时间戳等内容,从而根据解析到的这些内容向该目标存储节点发送读取目标数据的请求。
在本实施例中,管理节点针对终端设备的数据读取请求,可以将该目标存储节点的存储地址发送给终端设备,以使该终端设备可以快速、准确、安全的读取到该目标数据。
基于本实施例中的各步骤可知,本实施例主要涉及云存储领域的数据高并发读取方案,在云存储系统中,采用多副本方式可以提升数据的安全性,在源存储节点满足预设的非选用条件时,将副本对应的备份存储节点作为目标数据的可选读取节点,使得备份存储节点分担了源存储节点的数据读取压力,提升了云存储系统的数据读取并发性能。
本申请实施例提供的数据读取方法,管理节点通过接收终端设备发送的数据读取请求,该数据读取请求包括:目标数据的源存储地址,基于该目标数据的源存储地址,确定目标数据的所有存储节点,在该源存储节点满足预设的非选用条件时,在至少一个备份存储节点中确定目标存储节点,并将该目标存储节点的存储地址发送给终端设备。该技术方案中,在源存储节点满足非选用条件时,管理节点可以从确定的至少一个备份存储节点中选择一个作为目标存储节点,而不必局限到从源存储节点读取数据,使得备份存储节点有效分摊了用户并发读取数据的压力,在确保数据安全性、可用性的前提下提升了云存储系统数据的并发读取性能。
示例性的,在上述实施例的基础上,图4为本申请实施例提供的数据读取方法实施例二的流程示意图。如图4所示,在上述步骤31之前,该数据读取方法还可以包括如下步骤:
步骤41:接收至少一个备份存储节点中每个备份存储节点发送的备份路由信息。
其中,该备份路由信息包括目标数据在对应备份存储节点的备份存储地址和源存储地址的关联关系。
可选的,在本实施例中,源存储节点在成功存储目标数据后,会基于源存储地址对应数据段的形式生成备份任务,该备份任务中包括预设备份数的备份数据。所以,当预设备份数的备份数据成功备份到每个备份存储节点时,每个备份存储节点会基于源存储地址对应数据段的形式,利用源存储地址和备份存储地址生成备份路由信息,并将该备份路由信息发送给管理节点。
在本实施例中,由于该备份路由信息包括目标数据在对应备份存储节点的备份存储地址和源存储地址的关联关系,因而,该管理节点可以接收上述至少一个备份存储节点中每个备份存储节点发送的备份路由信息,并基于接收到的备份路由信息,确定该备份存储节点成功存储了目标数据。
示例性的,参照上述图1所示的云存储系统,目标数据的两个备份存储节点分别为存储节点1122和存储节点1123,目标数据在存储节点1122中的备份存储地址的格式为DevID2-BlockID2-SegmentID2,目标数据在存储节点1123中的备份存储地址的格式为DevID3-BlockID3-SegmentID3,因而,存储节点1122(备份存储节点1)上传的备份路由信息为
Figure BDA0002044966980000152
Figure BDA0002044966980000151
存储节点1123(备份存储节点2)上传的备份路由信息为
Figure BDA0002044966980000153
Figure BDA0002044966980000154
相应的,在本实施例中,上述步骤32可以通过如下步骤实现:
步骤42:根据该源存储地址,查询存储的备份路由信息,确定与该源存储地址关联的至少一个备份存储地址。
在本实施例中,管理节点从数据读取请求中获取到的目标数据的源存储地址(DevID1-BlockID1-SegmentID1)后,基于该源存储地址,查询该管理节点中存储的备份路由信息
Figure BDA0002044966980000161
Figure BDA0002044966980000162
Figure BDA0002044966980000163
Figure BDA0002044966980000164
可以得到与源存储地址DevID1-BlockID1-SegmentID1关联的备份存储地址DevID2-BlockID2-SegmentID2和备份存储地址DevID3-BlockID3-SegmentID3。
步骤43:根据源存储地址确定出源存储节点以及根据每个备份存储地址确定对应的备份存储节点。
示例性的,管理节点根据每个备份存储地址可以首先确定出每个备份存储节点的标识,进而确定出每个备份存储节点。
例如,参照上述介绍可知,管理节点获取到的两个备份存储地址分别为DevID2-BlockID2-SegmentID2和DevID3-BlockID3-SegmentID3,因而,根据这两个备份存储地址可以确定出两个备份存储节点的标识分别DevID2和DevID3,即备份存储节点分别为存储节点1122和存储节点1123。
示例性的,如图4所示,在本实施例中,在上述步骤41之后,还可以包括如下步骤:
步骤41a:将该备份路由信息存储至备份轨迹表中。
其中,该备份轨迹表包括目标数据的源存储地址及其对应的所有备份存储节点的备份存储地址。
可选的,在本实施例中,当对目标数据进行备份时,源存储地址与备份存储地址的对应关系称为轨迹,同一份目标数据的源存储地址可能对应多个备份存储地址。
示例性的,该管理节点中可以新增备份轨迹表,利用该备份轨迹表来记录数据的备份轨迹,以使管理节点在接收到数据读取请求且确定源存储地址时,可以准确确定出目标数据的所有备份存储地址,进而为目标存储节点的筛选提供了实现可能。
在本实施例中,通过在管理节点中增加备份轨迹表,且管理节点将接收到的备份路由信息存储至该备份轨迹表中,这样管理节点可以实时监控该目标数据在多副本备份过程中的数据备份轨迹,并处理数据读取时结合备份轨迹优化重定向策略,以将用户通过终端设备发送的数据读取请求均摊到多个备份存储节点,从而提升了整个云存储系统的数据并发读取性能。
本申请实施例提供的数据读取方法,管理节点首先接收至少一个备份存储节点中每个备份存储节点发送的备份路由信息,将该备份路由信息存储至备份轨迹表中,其次根据该源存储地址,查询存储的备份路由信息,确定与该源存储地址关联的至少一个备份存储地址,最后根据源存储地址确定出源存储节点以及根据每个备份存储地址确定对应的备份存储节点。该技术方案中,管理节点可以确定出所有的存储节点,为后续从所有的存储节点中选择可用存储节点奠定了基础,其可以有效均摊用户发起的从源存储节点并发读取数据的压力,在确保数据安全性、可用性的前提下提升了云存储系统数据的并发读取性能。
示例性的,在上述实施例的基础上,图5为本申请实施例提供的数据读取方法实施例三的流程示意图。如图5所示,在本实施例中,上述步骤33中的在至少一个备份存储节点中确定目标存储节点可以通过如下步骤实现:
步骤51:获取至少一个备份存储节点中的每个备份存储节点的在网状态、存储卷状态和负载量。
可选的,在本实施例中,管理节点确定源存储节点满足预设的非选用条件时,则获取所有备份存储节点中每个备份存储节点的在网状态、存储卷状态和负载量,虽然再检测每个备份存储节点的可用性,最后确定出所有的可用备份存储节点。
示例性的,在本实施例中,存储节点可用可以包括:存储节点在线、存储节点的存储卷状态正常。
步骤52:基于每个备份存储节点的在网状态和存储卷状态,在至少一个备份存储节点中确定出所有的可用备份存储节点。
在本实施例中,对于至少一个备份存储节点中的每个备份存储节点,管理节点根据该备份存储节点的在线状态和存储卷状态,判断该备份存储节点是否在线且存储卷状态是否正常,若该备份存储节点在线且存储卷状态正常,则确定为可用备份存储节点。
同理,在所有备份存储节点中确定出所有的可用备份存储节点。
可选的,存储节点在线指的是该存储节点可以与其他的设备(例如,终端设备、管理节点等)进行信息交互。存储卷可用指的是该存储节点可以支持数据的读取和存储,只有存储节点的存储卷可用,终端设备才可以向该存储节点中存储数据和从该存储节点读取数据。
在本实施例中,如果某个存储节点离线或存储卷状态异常,管理节点不会将该存储节点分配给终端设备,从而保证了数据的可用性。
步骤53:根据每个可用备份存储节点的负载量和额定最大负载量,在所有的可用备份存储节点中确定出上述目标存储节点。
在本实施例中,对于至少一个备份存储节点中的每个备份存储节点,管理节点根据该可用备份存储节点的负载量,查询其额定最大负载量,基于该负载量和额定负载量,确定出该可用备份存储节点的资源使用率。随后,根据所有可用备份存储节点的资源使用率确定出一个资源使用率最低的可用备份存储节点作为目标存储节点。
示例性的,每个存储节点的额定最大负载量也可以称为可支持的并发请求数或其他名称,对其本申请实施例并不对其进行限定。
可选的,在本申请实施例的另一种可能设计中,管理节点可以在所有可用备份存储节点中随机选取一个备份存储节点作为目标存储节点,并将该目标存储节点的存储地址返回给终端设备。
具体的,在本实施例中,管理节点首先基于所有可用备份存储节点的标识生成随机数,并按照哈希计算等方式在所有可用备份存储节点中确定出该目标存储节点。对于随机选择目标存储节点的方式可以根据实际情况确定,本实施例中并不对其进行限定。
本申请实施例提供的数据读取请求,管理节点通过获取至少一个备份存储节点中的每个备份存储节点的在网状态、存储卷状态和负载量,基于每个备份存储节点的在网状态、存储卷状态,在至少一个备份存储节点中确定出所有的可用备份存储节点,最后根据每个可用备份存储节点的负载量和额定最大负载量,在所有的可用备份存储节点确定出目标存储节点。该技术方案中,管理节点可以在至少一个备份存储节点中确定出读取性能最优的目标存储节点,在例如高并发性读取的场景中,提高了云存储系统的数据并发性读取性能。
示例性的,在上述任一实施例的基础上,图6为本申请实施例提供的数据读取方法实施例四的流程示意图。如图6所示,在上述步骤31之前,该数据读取方法还包括如下步骤:
步骤61:接收终端设备发送的数据存储请求,该数据存储请求包括:目标数据的数据量。
可选的,在本实施例中,当用户有数据存储请求时,用户首先通过终端设备向管理节点发送数据存储请求。为了管理节点为目标数据分配合理的源存储节点和备份存储节点,该数据存储请求中需要携带目标数据的数据量,这样管理节点可以按照负载均衡策略为目标数据分配。
步骤62:根据该目标数据的数据量,确定用于存储该目标数据的源存储节点和至少一个备份存储节点。
在本实施例中,管理节点基于目标数据的数据量,也即,目标数据存储时需要占用的存储空间,例如按照负载均衡能力,在云存储系统具体的所有存储节点中确定出用于存储目标数据的源存储节点,以及根据目标数据的预设备份数确定出预设备份数的备份存储节点。
步骤63:将该源存储节点的标识以及至少一个备份存储节点的标识发送给终端设备。
可选的,在本实施例中,管理节点将源存储节点的标识和至少一个备份存储节点的标识发送给终端设备,这时,用户便可以通过终端设备将目标数据存储到源存储节点中且使源存储节点将所述目标数据备份到所述至少一个备份存储节点中。
可选的,在本实施例中,源存储节点基于自身负载的实际情况,对接收到的目标数据进行存储,并在存储完成后确定出该目标数据对应的实际存储位置,例如,所在的数据块标识和数据块中的段标识,从而,源存储节点基于该源存储节点的标识、该数据块的标识以及段标识(可选的,还包括文件ID、文件长度、存储时间戳等)形成源存储地址。
此外,源存储节点基于源存储地址对应数据段的形式和接收到的至少一个备份存储节点的标识形成备份任务,并按照预设备份数将目标数据同步给每个备份存储节点。
本申请实施例提供的数据读取方法,管理节点在接收终端设备发送的数据读取请求之前,首先接收终端设备发送的数据存储请求,其次基于该数据存储请求中目标数据的数据量确定用于存储目标数据的源存储节点和至少一个备份存储节点,最后将源存储节点的标识和至少一个备份存储节点的标识发送给终端设备,以使终端设备将目标数据存储到源存储节点中且使源存储节点将目标数据备份到至少一个备份存储节点中。该技术方案中,管理节点在数据读取之前,首先对目标数据进行存储,并在存储过程中确定出所有的存储节点,其为后续将数据读取请求均摊到所有存储目标数据的存储节点上,为提供云存储系统的高并发读取性能奠定了基础。
可选的,图7为本申请实施例提供的数据读取方法实施例五的流程示意图。该数据读取方法可以适用于图2所示云存储系统,该方法的执行主体可以是上述的第一存储节点,该第一存储节点是该多个存储节点中的具有调度、管理、存储功能的任意一个存储节点。如图7所示,该数据读取方法可以包括如下步骤:
步骤71:第一存储节点接收终端设备发送的数据读取请求,该数据读取请求包括:目标数据的源存储地址。
在上述图2所示的应用场景中,云存储系统是一个无中心的存储系统,即其包括的多个存储节点均具有调度、管理和存储的功能。因而,在本实施例中,该第一存储节点是多个存储节点中具有虚拟IP的存储节点,其可以同时作为调度服务器、管理服务器和存储服务器实现。
因而,在本实施例中,该第一存储节点可以与终端设备进行通信,即接收终端设备发送的包括目标数据的源存储地址的数据读取请求。
步骤72:第一存储节点基于该目标数据的源存储地址,确定该目标数据的所有存储节点。
在本实施例中,该第一存储节点是接收数据处理请求的存储节点,其可以根据接收到的数据读取请求执行相应的操作。
步骤73:在源存储节点满足预设的非选用条件时,第一存储节点在至少一个备份存储节点中确定目标存储节点。
步骤74:第一存储节点将该目标存储节点的存储地址发送给终端设备。
在本实施例的步骤72至步骤74中,第一存储节点还作为管理服务器对终端设备的数据读取请求进行处理,关于步骤72至步骤74中,第一存储节点的具体处理流程与上述图3至图6所示实施例中管理节点的处理流程类似,此处不再赘述。
本申请实施例提供数据读取方法,第一存储节点接收终端设备发送的包括目标数据的源存储地址的数据读取请求,并基于该目标数据的源存储地址,确定该目标数据的所有存储节点,以及在源存储节点满足预设的非选用条件时,在至少一个备份存储节点中确定目标存储节点,最后将该目标存储节点的存储地址发送给终端设备。该技术方案中,对于无中心的云存储系统,可以基于虚拟IP地址在多个存储节点中确定出第一存储节点,利用该第一存储节点执行数据读取请求的处理,在分摊源存储节点压力的情况下,实现了云存储系统的透明性、可伸缩性、高可用性和易管理性。
示例性的,图8为本申请实施例提供的数据读取方法实施例六的流程示意图。该数据读取方法可以适用于图2所示云存储系统。如图8所示,该数据读取方法可以包括如下步骤:
步骤81:第一存储节点接收终端设备发送的数据读取请求,该数据读取请求包括:目标数据的源存储地址。
关于本步骤的操作可参见上述步骤71中的记载,此处不再赘述。
步骤82:第一存储节点基于数据读取请求,在多个存储节点中确定出目标第二存储节点,该目标第二存储节点为所有的第二存储节点中的任意一个。
可选的,在本实施例中,该第一存储节点作为调度服务器,也可以将根据接收到的数据读取请求在所有的第二存储节点中确定出目标第二存储节点,利用该目标第二存储节点管理存储节点中的数据读取操作。
步骤83:目标第二存储节点基于该目标数据的源存储地址,确定该目标数据的所有存储节点。
步骤84:在源存储节点满足预设的非选用条件时,目标第二存储节点在至少一个备份存储节点中确定目标存储节点。
步骤85:目标第二存储节点将该目标存储节点的存储地址发送给终端设备。
在本实施例的步骤83至步骤85中,目标第二存储节点作为管理服务器对终端设备的数据读取请求进行处理,关于步骤83至步骤85中,目标第二存储节点的具体处理流程与上述图3至图6所示实施例中管理节点的处理流程类似,此处不再赘述。
本申请实施例提供数据读取方法,第一存储节点接收终端设备发送的包括目标数据的源存储地址的数据读取请求,基于数据读取请求,在多个存储节点中确定出目标第二存储节点,该目标第二存储节点为所有的第二存储节点中的任意一个,目标第二存储节点基于目标数据的源存储地址,确定该目标数据的所有存储节点,以及在源存储节点满足预设的非选用条件时,在至少一个备份存储节点中确定目标存储节点,最后将该目标存储节点的存储地址发送给终端设备。该技术方案中,对于无中心的云存储系统,还可以在多个存储节点中确定出用于调度服务的第一存储节点和用于管理服务的目标第二存储节点,利用该目标第二存储节点执行数据读取请求的处理,在分摊源存储节点压力的情况下,实现了云存储系统的透明性、可伸缩性、高可用性和易管理性。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
图9为本申请实施例提供的数据读取装置实施例一的结构示意图。如图9所示,该数据读取装置可以包括:收发模块91和处理模块92。
其中,该收发模块91,用于接收终端设备发送的数据读取请求,所述数据读取请求包括:目标数据的源存储地址;
该处理模块92,用于基于所述目标数据的源存储地址,确定所述目标数据的所有存储节点,所述所有存储节点包括:所述源存储地址对应的源存储节点和至少一个备份存储节点,以及在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点;
该收发模块91,还用于将所述目标存储节点的存储地址发送给所述终端设备。
示例性的,在本申请实施例的一种可能设计中,该收发模块91,还用于在接收终端设备发送的数据读取请求之前,接收所述至少一个备份存储节点中每个备份存储节点发送的备份路由信息,所述备份路由信息包括所述目标数据在对应备份存储节点的备份存储地址和所述源存储地址的关联关系。
示例性的,在本实施例的一种可能设计中,上述处理模块92,具体用于根据所述源存储地址,查询存储的备份路由信息,确定与所述源存储地址关联的至少一个备份存储地址,以及根据源存储地址确定出源存储节点以及根据每个备份存储地址确定对应的备份存储节点。
示例性的,在本申请实施例中,如图9所示,该装置还可以包括:存储模块93;
该存储模块93,用于将所述备份路由信息存储至备份轨迹表中,所述备份轨迹表包括所述目标数据的源存储地址及其对应的所有备份存储节点的备份存储地址。
示例性的,在本实施例的另一种可能设计中,上述处理模块92,还用于在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点之前,获取所述源存储节点的在网状态、存储卷状态和负载量,基于所述源存储节点的在网状态、存储卷状态和负载量,判定所述源存储节点是否满足所述非选用条件,所述非选用条件包括如下任意一种:节点离线、存储卷状态异常、负载量达到额定最大负载量。
可选的,上述处理模块92,具体用于获取所述至少一个备份存储节点中的每个备份存储节点的在网状态、存储卷状态和负载量,基于每个备份存储节点的在网状态、存储卷状态,在所述至少一个备份存储节点中确定出所有的可用备份存储节点,根据每个可用备份存储节点的负载量和额定最大负载量,在所述所有的可用备份存储节点确定出所述目标存储节点。
示例性的,在本申请实施例的上述任意一种可能设计中,该收发模块91,还用于在接收终端设备发送的数据读取请求之前,接收所述终端设备发送的数据存储请求,所述数据存储请求包括:所述目标数据的数据量;
该处理模块92,还用于根据所述目标数据的数据量,确定用于存储所述目标数据的所述源存储节点和所述至少一个备份存储节点;
该收发模块91,还用于将所述源存储节点的标识和所述至少一个备份存储节点的标识发送给所述终端设备,以使所述终端设备将所述目标数据存储到所述源存储节点中且使所述源存储节点将所述目标数据备份到所述至少一个备份存储节点中。
本申请实施例提供的装置,可用于执行图3至图8所示实施例中的方法,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,确定模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(field programmable gate array,FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessing unit,CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,SOC)的形式实现。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘solid state disk(SSD))等。
图10为本申请实施例提供的数据读取装置实施例二的结构示意图。如图10所示,该装置可以包括:处理器101、存储器102、通信接口103和系统总线104,所述存储器102和所述通信接口103通过所述系统总线104与所述处理器101连接并完成相互间的通信,所述存储器102用于存储计算机执行指令,所述通信接口103用于和其他设备进行通信,所述处理器101执行所述计算机执行指令时实现如上述图3至图8所示实施例的方法。
该图10中提到的系统总线可以是外设部件互连标准(peripheral componentinterconnect,PCI)总线或扩展工业标准结构(extended industry standardarchitecture,EISA)总线等。所述系统总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory,RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
上述的处理器可以是通用处理器,包括中央处理器CPU、网络处理器(networkprocessor,NP)等;还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
图11为本申请实施例提供的云存储系统实施例一的结构示意图。如图11所示,该云存储系统可以包括:管理节点111和至少一个存储节点112。
其中,该管理节点111,用于接收终端设备发送的数据读取请求,所述数据读取请求包括:目标数据的源存储地址;
该管理节点111,还用于基于所述目标数据的源存储地址,在所述至少一个存储节点112中确定所述目标数据的所有存储节点,所述所有存储节点包括:所述源存储地址对应的源存储节点和至少一个备份存储节点;
该管理节点111,还用于在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点,以及将所述目标存储节点的存储地址发送给所述终端设备。
示例性的,在本实施例的一种可能设计中,对于所述至少一个存储节点中的每个备份存储节点,所述备份存储节点,用于向所述管理节点发送备份路由信息,所述备份路由信息包括所述目标数据在所述备份存储节点的备份存储地址和所述源存储地址的关联关系;
该管理节点111,还用于在接收所述终端设备发送的数据读取请求之前,接收所述至少一个备份存储节点中每个备份存储节点发送的所述备份路由信息。
可选的,该管理节点111,具体用于根据所述源存储地址,查询存储的备份路由信息,确定与所述源存储地址关联的至少一个备份存储地址,根据所述源存储地址确定出所述源存储节点以及根据每个备份存储地址确定对应的备份存储节点。
可选的,在本实施例的另一种可能设计中,该管理节点111,具体用于将所述备份路由信息存储至备份轨迹表中,所述备份轨迹表包括所述目标数据的源存储地址及其对应的所有备份存储节点的备份存储地址。
可选的,在本实施例的再一种可能设计中,该管理节点111,还用于获取所述源存储节点的在网状态、存储卷状态和负载量,基于所述源存储节点的在网状态、存储卷状态和负载量,判定所述源存储节点是否满足所述非选用条件,所述非选用条件包括如下任意一种:节点离线、存储卷状态异常、负载量达到额定最大负载量。
可选的,该管理节点111,具体用于获取所述至少一个备份存储节点中的每个备份存储节点的在网状态、存储卷状态和负载量,基于每个备份存储节点的在网状态、存储卷状态,在所述至少一个备份存储节点中确定出所有的可用备份存储节点,根据每个可用备份存储节点的负载量和额定最大负载量,在所述所有的可用备份存储节点确定出所述目标存储节点。
可选的,在本实施例的又一种可能设计中,该管理节点111,还用于接收所述终端设备发送的数据存储请求,所述数据存储请求包括:所述目标数据的数据量,根据所述目标数据的数据量,确定用于存储所述目标数据的所述源存储节点和所述至少一个备份存储节点,将所述源存储节点的标识和所述至少一个备份存储节点的标识发送给所述终端设备,以使所述终端设备将所述目标数据存储到所述源存储节点中且使所述源存储节点将所述目标数据备份到所述至少一个备份存储节点中。
本申请实施例提供的云存储系统,可用于执行图3至图6所示实施例中的方法,其实现原理和技术效果类似,在此不再赘述。
图12为本申请实施例提供的云存储系统实施例二的结构示意图。如图12所示,该云存储系统可以包括:包括:多个存储节点121,每个存储节点具有调度和管理功能;该多个存储节点121中包括:具有调度、管理、存储功能的第一存储节点1211。
其中,该第一存储节点1211,用于接收终端设备发送的数据读取请求,所述数据读取请求包括:目标数据的源存储地址;
所述第一存储节点1211,还用于基于所述目标数据的源存储地址,在所述多个存储节点中确定所述目标数据的所有存储节点,所述所有存储节点包括:所述源存储地址对应的源存储节点和至少一个备份存储节点;
所述第一存储节点1211,还用于在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点,以及将所述目标存储节点的存储地址发送给所述终端设备。
在本实施例的一种可能设计中,对于所述至少一个存储节点中的每个备份存储节点,所述备份存储节点,用于向所述第一存储节点发送备份路由信息,所述备份路由信息包括所述目标数据在所述备份存储节点的备份存储地址和所述源存储地址的关联关系;
所述第一存储节点1211,还用于在接收所述终端设备发送的数据读取请求之前,接收所述至少一个备份存储节点中每个备份存储节点发送的所述备份路由信息。
可选的,所述第一存储节点1211,具体用于根据所述源存储地址,查询存储的备份路由信息,确定与所述源存储地址关联的至少一个备份存储地址,根据所述源存储地址确定出所述源存储节点以及根据每个备份存储地址确定对应的备份存储节点。
在本实施例的另一种可能设计中,所述第一存储节点1211,具体用于将所述备份路由信息存储至备份轨迹表中,所述备份轨迹表包括所述目标数据的源存储地址及其对应的所有备份存储节点的备份存储地址。
在本实施例的再一种可能设计中,所述第一存储节点1211,还用于获取所述源存储节点的在网状态、存储卷状态和负载量,基于所述源存储节点的在网状态、存储卷状态和负载量,判定所述源存储节点是否满足所述非选用条件,所述非选用条件包括如下任意一种:节点离线、存储卷状态异常、负载量达到额定最大负载量。
在本实施例的上述可能设计中,所述第一存储节点1211,具体用于获取所述至少一个备份存储节点中的每个备份存储节点的在网状态、存储卷状态和负载量,基于每个备份存储节点的在网状态、存储卷状态,在所述至少一个备份存储节点中确定出所有的可用备份存储节点,根据每个可用备份存储节点的负载量和额定最大负载量,在所述所有的可用备份存储节点确定出所述目标存储节点。
在本实施例的又一种可能设计中,所述第一存储节点1211,还用于接收所述终端设备发送的数据存储请求,所述数据存储请求包括:所述目标数据的数据量,根据所述目标数据的数据量,确定用于存储所述目标数据的所述源存储节点和所述至少一个备份存储节点,将所述源存储节点的标识和所述至少一个备份存储节点的标识发送给所述终端设备,以使所述终端设备将所述目标数据存储到所述源存储节点中且使所述源存储节点将所述目标数据备份到所述至少一个备份存储节点中
本申请实施例提供的云存储系统,可用于执行图7或图8所示实施例中的方法,其实现原理和技术效果类似,在此不再赘述。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系;在公式中,字符“/”,表示前后关联对象是一种“相除”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中,a,b,c可以是单个,也可以是多个。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。
可以理解的是,在本申请的实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (18)

1.一种数据读取方法,其特征在于,包括:
接收终端设备发送的数据读取请求,所述数据读取请求包括:目标数据的源存储地址;
基于所述目标数据的源存储地址,确定所述目标数据的所有存储节点,所述所有存储节点包括:所述源存储地址对应的源存储节点和至少一个备份存储节点;
在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点;
将所述目标存储节点的存储地址发送给所述终端设备。
2.根据权利要求1所述的方法,其特征在于,在所述接收终端设备发送的数据读取请求之前,所述方法还包括:
接收所述至少一个备份存储节点中每个备份存储节点发送的备份路由信息,所述备份路由信息包括所述目标数据在对应备份存储节点的备份存储地址和所述源存储地址的关联关系。
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标数据的源存储地址,确定所述目标数据的所有存储节点,包括:
根据所述源存储地址,查询存储的备份路由信息,确定与所述源存储地址关联的至少一个备份存储地址;
根据所述源存储地址确定出所述源存储节点以及根据每个备份存储地址确定对应的备份存储节点。
4.根据权利要求2所述的方法,其特征在于,所述方法还包括:
将所述备份路由信息存储至备份轨迹表中,所述备份轨迹表包括所述目标数据的源存储地址及其对应的所有备份存储节点的备份存储地址。
5.根据权利要求1-4任一项所述的方法,其特征在于,在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点之前,所述方法还包括:
获取所述源存储节点的在网状态、存储卷状态和负载量;
基于所述源存储节点的在网状态、存储卷状态和负载量,判定所述源存储节点是否满足所述非选用条件,所述非选用条件包括如下任意一种:节点离线、存储卷状态异常、负载量达到额定最大负载量。
6.根据权利要求5所述的方法,其特征在于,所述在所述至少一个备份存储节点中确定目标存储节点,包括:
获取所述至少一个备份存储节点中的每个备份存储节点的在网状态、存储卷状态和负载量;
基于每个备份存储节点的在网状态、存储卷状态,在所述至少一个备份存储节点中确定出所有的可用备份存储节点;
根据每个可用备份存储节点的负载量和额定最大负载量,在所述所有的可用备份存储节点确定出所述目标存储节点。
7.根据权利要求1-6任一项所述的方法,其特征在于,在所述接收终端设备发送的数据读取请求之前,所述方法还包括:
接收所述终端设备发送的数据存储请求,所述数据存储请求包括:所述目标数据的数据量;
根据所述目标数据的数据量,确定用于存储所述目标数据的所述源存储节点和所述至少一个备份存储节点;
将所述源存储节点的标识和所述至少一个备份存储节点的标识发送给所述终端设备,以使所述终端设备将所述目标数据存储到所述源存储节点中且使所述源存储节点将所述目标数据备份到所述至少一个备份存储节点中。
8.一种数据读取装置,包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上述权利要求1-7任一项所述的方法。
9.一种云存储系统,其特征在于,包括:管理节点和至少一个存储节点;
所述管理节点,用于接收终端设备发送的数据读取请求,所述数据读取请求包括:目标数据的源存储地址;
所述管理节点,还用于基于所述目标数据的源存储地址,在所述至少一个存储节点中确定所述目标数据的所有存储节点,所述所有存储节点包括:所述源存储地址对应的源存储节点和至少一个备份存储节点;
所述管理节点,还用于在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点,以及将所述目标存储节点的存储地址发送给所述终端设备。
10.根据权利要求9所述的系统,其特征在于,对于所述至少一个存储节点中的每个备份存储节点,所述备份存储节点,用于向所述管理节点发送备份路由信息,所述备份路由信息包括所述目标数据在所述备份存储节点的备份存储地址和所述源存储地址的关联关系;
所述管理节点,还用于在接收所述终端设备发送的数据读取请求之前,接收所述至少一个备份存储节点中每个备份存储节点发送的所述备份路由信息。
11.根据权利要求10所述的系统,其特征在于,所述管理节点,具体用于根据所述源存储地址,查询存储的备份路由信息,确定与所述源存储地址关联的至少一个备份存储地址,根据所述源存储地址确定出所述源存储节点以及根据每个备份存储地址确定对应的备份存储节点。
12.根据权利要求10所述的系统,其特征在于,所述管理节点,具体用于将所述备份路由信息存储至备份轨迹表中,所述备份轨迹表包括所述目标数据的源存储地址及其对应的所有备份存储节点的备份存储地址。
13.根据权利要求9-12任一项所述的系统,其特征在于,所述管理节点,还用于获取所述源存储节点的在网状态、存储卷状态和负载量,基于所述源存储节点的在网状态、存储卷状态和负载量,判定所述源存储节点是否满足所述非选用条件,所述非选用条件包括如下任意一种:节点离线、存储卷状态异常、负载量达到额定最大负载量。
14.根据权利要求13所述的系统,其特征在于,所述管理节点,具体用于获取所述至少一个备份存储节点中的每个备份存储节点的在网状态、存储卷状态和负载量,基于每个备份存储节点的在网状态、存储卷状态,在所述至少一个备份存储节点中确定出所有的可用备份存储节点,根据每个可用备份存储节点的负载量和额定最大负载量,在所述所有的可用备份存储节点确定出所述目标存储节点。
15.根据权利要求9-14任一项所述的系统,其特征在于,所述管理节点,还用于接收所述终端设备发送的数据存储请求,所述数据存储请求包括:所述目标数据的数据量,根据所述目标数据的数据量,确定用于存储所述目标数据的所述源存储节点和所述至少一个备份存储节点,将所述源存储节点的标识和所述至少一个备份存储节点的标识发送给所述终端设备,以使所述终端设备将所述目标数据存储到所述源存储节点中且使所述源存储节点将所述目标数据备份到所述至少一个备份存储节点中。
16.一种云存储系统,其特征在于,包括:多个存储节点,每个存储节点具有调度和管理功能;所述多个存储节点包括:具有调度、管理、存储功能的第一存储节点;
所述第一存储节点,用于接收终端设备发送的数据读取请求,所述数据读取请求包括:目标数据的源存储地址;
所述第一存储节点,还用于基于所述目标数据的源存储地址,在所述多个存储节点中确定所述目标数据的所有存储节点,所述所有存储节点包括:所述源存储地址对应的源存储节点和至少一个备份存储节点;
所述第一存储节点,还用于在所述源存储节点满足预设的非选用条件时,在所述至少一个备份存储节点中确定目标存储节点,以及将所述目标存储节点的存储地址发送给所述终端设备。
17.根据权利要求16所述的系统,其特征在于,所述第一存储节点,还用于获取所述源存储节点的在网状态、存储卷状态和负载量,基于所述源存储节点的在网状态、存储卷状态和负载量,判定所述源存储节点是否满足所述非选用条件,所述非选用条件包括如下任意一种:节点离线、存储卷状态异常、负载量达到额定最大负载量。
18.根据权利要求17所述的系统,其特征在于,所述第一存储节点,具体用于获取所述至少一个备份存储节点中的每个备份存储节点的在网状态、存储卷状态和负载量,基于每个备份存储节点的在网状态、存储卷状态,在所述至少一个备份存储节点中确定出所有的可用备份存储节点,根据每个可用备份存储节点的负载量和额定最大负载量,在所述所有的可用备份存储节点确定出所述目标存储节点。
CN201910354508.4A 2019-04-29 2019-04-29 数据读取方法、装置及系统 Active CN111857548B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910354508.4A CN111857548B (zh) 2019-04-29 2019-04-29 数据读取方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910354508.4A CN111857548B (zh) 2019-04-29 2019-04-29 数据读取方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111857548A true CN111857548A (zh) 2020-10-30
CN111857548B CN111857548B (zh) 2023-05-30

Family

ID=72965411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910354508.4A Active CN111857548B (zh) 2019-04-29 2019-04-29 数据读取方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111857548B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968667A (zh) * 2022-05-30 2022-08-30 江苏安超云软件有限公司 一种备份管理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102176A (zh) * 2007-08-10 2008-01-09 中兴通讯股份有限公司 一种数据备份方法
CN104135539A (zh) * 2014-08-15 2014-11-05 华为技术有限公司 数据存储方法、sdn控制器和分布式网络存储系统
CN107454155A (zh) * 2017-07-25 2017-12-08 北京三快在线科技有限公司 一种基于负载均衡集群的故障处理方法、装置以及系统
CN109254876A (zh) * 2018-09-11 2019-01-22 郑州云海信息技术有限公司 云计算系统中数据库的管理方法和装置
CN109446178A (zh) * 2018-11-13 2019-03-08 郑州云海信息技术有限公司 一种Hadoop对象存储高可用方法、系统、装置及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101102176A (zh) * 2007-08-10 2008-01-09 中兴通讯股份有限公司 一种数据备份方法
CN104135539A (zh) * 2014-08-15 2014-11-05 华为技术有限公司 数据存储方法、sdn控制器和分布式网络存储系统
CN107454155A (zh) * 2017-07-25 2017-12-08 北京三快在线科技有限公司 一种基于负载均衡集群的故障处理方法、装置以及系统
CN109254876A (zh) * 2018-09-11 2019-01-22 郑州云海信息技术有限公司 云计算系统中数据库的管理方法和装置
CN109446178A (zh) * 2018-11-13 2019-03-08 郑州云海信息技术有限公司 一种Hadoop对象存储高可用方法、系统、装置及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968667A (zh) * 2022-05-30 2022-08-30 江苏安超云软件有限公司 一种备份管理方法及系统

Also Published As

Publication number Publication date
CN111857548B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
US10235047B2 (en) Memory management method, apparatus, and system
CN104937584A (zh) 基于共享资源的质量向经优先级排序的虚拟机和应用程序提供优化的服务质量
US8660996B2 (en) Monitoring files in cloud-based networks
CN102713925B (zh) 机密信息泄露防止系统、机密信息泄露防止方法及机密信息泄露防止程序
EP3951607A1 (en) Data reading method, data writing method, and server
CN107105013B (zh) 文件的处理方法、服务器、终端和系统
CN111049928B (zh) 数据同步方法、系统、电子设备及计算机可读存储介质
US8832215B2 (en) Load-balancing in replication engine of directory server
CN111225003B (zh) 一种nfs节点配置方法和装置
CN111857548B (zh) 数据读取方法、装置及系统
CN108990422B (zh) 一种锁分配的方法、装置和计算设备
CN110798358B (zh) 分布式服务标识方法、装置、计算机可读介质及电子设备
CN111400241B (zh) 数据重构方法和装置
CN110909978A (zh) 资源处理方法、装置、服务器及计算机可读存储介质
CN110659303A (zh) 一种数据库节点的读写控制方法及装置
CN113626399B (zh) 数据同步方法、装置、服务器及存储介质
US10824640B1 (en) Framework for scheduling concurrent replication cycles
CN111221857B (zh) 从分布式系统中读数据记录的方法和装置
CN109347991B (zh) 文件分发方法、装置、设备及介质
CN115114009A (zh) 数据查询方法、主节点及从节点
KR101754713B1 (ko) 비대칭 분산 파일 시스템, 연산 분배 장치 및 방법
CN111866093B (zh) 一种业务数据的分发方法及装置
US10235331B1 (en) Event-based synchronization in a file sharing environment
CN112910943B (zh) 一种服务提供方法、装置及系统
CN115103020B (zh) 数据迁移处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant