CN107092437B - 数据写入、读取方法及装置、云存储系统 - Google Patents

数据写入、读取方法及装置、云存储系统 Download PDF

Info

Publication number
CN107092437B
CN107092437B CN201610088973.4A CN201610088973A CN107092437B CN 107092437 B CN107092437 B CN 107092437B CN 201610088973 A CN201610088973 A CN 201610088973A CN 107092437 B CN107092437 B CN 107092437B
Authority
CN
China
Prior art keywords
storage server
data
management node
index
resource pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610088973.4A
Other languages
English (en)
Other versions
CN107092437A (zh
Inventor
金平
林起芊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201610088973.4A priority Critical patent/CN107092437B/zh
Priority to US15/999,307 priority patent/US11586673B2/en
Priority to PCT/CN2016/105094 priority patent/WO2017140131A1/zh
Priority to EP16890357.3A priority patent/EP3418877B1/en
Publication of CN107092437A publication Critical patent/CN107092437A/zh
Application granted granted Critical
Publication of CN107092437B publication Critical patent/CN107092437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0617—Improving the reliability of storage systems in relation to availability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/142—Reconfiguring to eliminate the error
    • G06F11/1425—Reconfiguring to eliminate the error by reconfiguration of node membership
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Abstract

本发明实施例提供了一种数据写入、读取方法及装置、云存储系统，所述数据写入方法包括：接入节点接收数据写入请求；当无法获取到可用管理节点时，识别所述数据写入请求中包含的域标识信息，并根据所述域标识信息，查询预先保存的索引，其中，所述索引包含资源池与域标识信息的对应关系；识别与所述域标识信息匹配的目标资源池，其中，每个资源池中包含至少一个存储服务器；从所述目标资源池中包含的至少一个存储服务器中，确定其中一个存储服务器为目标存储服务器，并将待写入数据写入所述目标存储服务器。本实施方式能够保证在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常运行，且不需要增加额外的成本。

Description

数据写入、读取方法及装置、云存储系统
技术领域
本发明涉及数据处理技术领域，特别是涉及一种数据写入、读取方法及装置、云存储系统。
背景技术
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中各种不同类型的大量存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。
云存储系统是一个主从架构的分布式系统，主节点也就是管理节点在整个系统的正常运行中起到至关重要的作用。管理节点一旦出现故障，整个系统的所有业务都不能正常进行。例如，当云存储系统中的接入节点接收到一个数据写入请求时，接入节点需要将该数据写入请求发送给管理节点，以使管理节点为该数据写入请求分配对应的存储服务器。
然而，当管理节点出现故障时，管理节点将不会对接入节点发送的数据处理请求作出响应，因此，该数据处理将会失败。
以图1所示的视频云存储系统的架构为例对无法获取到可用管理节点时相应处理流程进行说明，当无法获取到可用视频云存储管理节点(CVM，Cloud Video Manage)130时，视频云存储管理节点130将不会对视频云存储接入节点(CVA，Cloud Video Access)120发送的数据处理请求作出响应，因此，视频云存储接入节点120将不会收到视频云存储管理节点130为该数据处理请求分配的视频云存储存储服务器(CVS，Cloud Video Storage)140，该数据处理将会失败。对于与上述视频云存储系统相似的其他云存储系统也同样存在上述问题。
因此，云存储系统在实际运用中，遇到管理节点出现故障导致云存储系统无法提供服务时，可能会造成数据的丢失或者数据无法读取，给用户造成重大损失。
现有技术中，为了保证云存储系统的稳定，主要方法是增加管理节点的数量，并通过HA(High Available，高可用性集群)或者集群技术保证部分管理节点故障时由正常的管理节点接管继续提供服务，或者添加备用管理节点来代替故障管理节点提供服务。但是，增加管理节点或者添加备用管理节点会增加项目成本，而且，增加管理节点或者添加备用管理节点也只能保证部分管理节点故障时云存储系统正常运行，而无法保证所有的管理节点都出现故障或管理节点集群网络异常的情况下云存储系统正常运行。
发明内容
本发明实施例的目的在于提供一种数据写入、读取方法及装置、云存储系统，以在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常运行，且不需要增加额外的成本。具体技术方案如下：
第一方面，本发明实施例提供了一种基于云存储系统的数据写入方法，所述云存储系统至少包括：接入节点、至少一个管理节点以及至少一个存储服务器，所述方法包括：
所述接入节点接收数据写入请求；
当无法获取到可用管理节点时，识别所述数据写入请求中包含的域标识信息，并根据所述域标识信息，查询预先保存的索引，其中，所述索引包含资源池与域标识信息的对应关系；
识别与所述域标识信息匹配的目标资源池，其中，每个资源池中包含至少一个存储服务器；
从所述目标资源池中包含的至少一个存储服务器中，确定其中一个存储服务器为目标存储服务器，并将待写入数据写入所述目标存储服务器。
进一步地，所述确定其中一个存储服务器为目标存储服务器，包括：
获取每个存储服务器的当前负载量；
识别当前负载量最小的存储服务器，将其作为目标存储服务器。
进一步地，所述无法获取到可用管理节点包括：每个管理节点均出现故障或管理节点集群网络异常。
进一步地，构建所述索引的过程包括：
向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求，并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系；
在索引中保存所述每个资源池与域标识信息的对应关系。
进一步地，所述方法还包括：
按照设定的时间间隔，更新所述索引中保存的每个资源池与域标识信息的对应关系。
第二方面，本发明实施例提供了一种基于云存储系统的数据读取方法，所述云存储系统至少包括：至少一个管理节点以及至少一个存储服务器，应用于查询平台，所述方法包括：
接收数据读取请求；
当无法获取到可用管理节点时，查询预先保存的索引，其中，所述索引包含每个存储服务器及其IP地址的对应关系；
根据所述每个存储服务器的IP地址，向所述每个存储服务器发送获取数据的属性信息的请求，并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息；
根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息，以及所述数据读取请求中包含的待读取数据的属性信息，确定至少一个目标存储服务器，并从每个目标存储服务器中读取相应的数据。
进一步地，所述索引中还包括每个存储服务器是否在线的状态信息，所述根据所述每个存储服务器的IP地址，向所述每个存储服务器发送获取数据的属性信息的请求，包括：
根据每个存储服务器的状态信息，识别处于在线状态的存储服务器；
根据处于在线状态的存储服务器的IP地址，向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
进一步地，所述无法获取到可用管理节点包括：每个管理节点均出现故障或管理节点集群网络异常。
进一步地，构建所述索引的过程包括：
向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求，并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系；
在索引中保存所述每个存储服务器和IP地址的对应关系。
进一步地，所述方法还包括：
按照设定的时间间隔，更新所述索引中保存的每个存储服务器和IP地址的对应关系。
第三方面，本发明实施例提供了一种基于云存储系统的数据写入装置，所述云存储系统至少包括：接入节点、至少一个管理节点以及至少一个存储服务器，应用于所述接入节点，所述装置包括：
接收模块，用于接收数据写入请求；
处理模块，用于当无法获取到可用管理节点时，识别所述数据写入请求中包含的域标识信息，并根据所述域标识信息，查询预先保存的索引，其中，所述索引包含资源池与域标识信息的对应关系；
识别模块，用于识别与所述域标识信息匹配的目标资源池，其中，每个资源池中包含至少一个存储服务器；
写入模块，用于从所述目标资源池中包含的至少一个存储服务器中，确定其中一个存储服务器为目标存储服务器，并将待写入数据写入所述目标存储服务器。
进一步地，所述写入模块，具体用于：
获取每个存储服务器的当前负载量；
识别当前负载量最小的存储服务器，将其作为目标存储服务器。
进一步地，所述无法获取到可用管理节点包括：每个管理节点均出现故障或管理节点集群网络异常。
进一步地，所述装置还包括：
执行模块，用于向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求，并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系；
保存模块，用于在索引中保存所述每个资源池与域标识信息的对应关系。
进一步地，所述装置还包括：
更新模块，用于按照设定的时间间隔，更新所述索引中保存的每个资源池与域标识信息的对应关系。
第四方面，本发明实施例提供了一种基于云存储系统的数据读取装置，所述云存储系统至少包括：至少一个管理节点以及至少一个存储服务器，应用于查询平台，所述装置包括：
接收模块，用于接收数据读取请求；
查询模块，用于当无法获取到可用管理节点时，查询预先保存的索引，其中，所述索引包含每个存储服务器及其IP地址的对应关系；
处理模块，用于根据所述每个存储服务器的IP地址，向所述每个存储服务器发送获取数据的属性信息的请求，并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息；
读取模块，用于根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息，以及所述数据读取请求中包含的待读取数据的属性信息，确定至少一个目标存储服务器，并从每个目标存储服务器中读取相应的数据。
进一步地，所述索引中还包括每个存储服务器是否在线的状态信息，所述处理模块，包括：
识别子模块，用于根据每个存储服务器的状态信息，识别处于在线状态的存储服务器；
处理子模块，用于根据处于在线状态的存储服务器的IP地址，向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
进一步地，所述无法获取到可用管理节点包括：每个管理节点均出现故障或管理节点集群网络异常。
进一步地，所述装置还包括：
执行模块，用于向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求，并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系；
保存模块，用于在索引中保存所述每个存储服务器和IP地址的对应关系。
进一步地，所述装置还包括：
更新模块，用于按照设定的时间间隔，更新所述索引中保存的每个存储服务器和IP地址的对应关系。
第五方面，本发明实施例提供了一种云存储系统，所述云存储系统包括如上述第三方面所述的设置在接入节点中的装置，以及至少一个存储服务器。
本发明实施例提供了一种数据写入、读取方法及装置、云存储系统，所述数据写入方法包括：所述接入节点接收数据写入请求；当无法获取到可用管理节点时，识别所述数据写入请求中包含的域标识信息，并根据所述域标识信息，查询预先保存的索引，其中，所述索引包含资源池与域标识信息的对应关系；识别与所述域标识信息匹配的目标资源池，其中，每个资源池中包含至少一个存储服务器；从所述目标资源池中包含的至少一个存储服务器中，确定其中一个存储服务器为目标存储服务器，并将待写入数据写入所述目标存储服务器。本发明实施例能够保证在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常运行，且不需要增加额外的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为无法获取到管理节点时云存储系统无法提供服务的示意图；
图2为正常情况下云存储系统处理数据请求的示意性流程；
图3为本实施例提供的基于云存储系统的数据写入方法；
图4为本实施例提供的一种构建索引的方法；
图5为本实施例提供的基于云存储系统的数据读取方法；
图6为本实施例提供的另一种构建索引的方法；
图7为本实施例提供的基于云存储系统的数据写入装置；
图8为本实施例提供的基于云存储系统的数据读取装置。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图3为本实施例提供的基于云存储系统的数据写入方法，可以包括如下步骤：
步骤301，接入节点接收数据写入请求。
一般情况下，云存储系统至少可以包括：接入节点、至少一个管理节点以及至少一个存储服务器。接入节点可以用来接收数据写入请求，并将数据写入请求发送给管理节点，以使得管理节点为该数据写入请求分配对应的存储服务器。接入节点可以进一步地根据管理节点为该数据写入请求分配的存储服务器，对该数据写入请求中相应的数据进行处理。
在本实施例中，云存储系统进行数据写入时，可以首先由接入节点接收数据写入请求，并对相应的数据进行写入。
以图2所示的视频云存储系统的架构为例进行说明，对正常情况下云存储系统处理数据请求的过程作简单介绍。如图2所示，电子设备110可以向视频云存储接入节点(CVA)120发送数据处理请求，当接入节点120接收到一个数据处理请求时，接入节点120需要将该数据处理请求发送给管理节点(CVM)130，以使管理节点130为该数据处理请求分配对应的存储服务器(CVS)140。管理节点130为该数据处理请求分配对应的存储服务器140后，可以将分配结果反馈给接入节点120，接入节点120可以基于分配的存储服务器140，进行相应的数据处理，例如数据读写操作。
步骤302，当无法获取到可用管理节点时，识别所述数据写入请求中包含的域标识信息，并根据所述域标识信息，查询预先保存的索引，其中，所述索引包含资源池与域标识信息的对应关系。
在云存储系统中，通常可以包含多个存储服务器，为了便于对多个存储服务器进行管理，可以建立资源池，其中，每个资源池可以包括至少一个存储服务器。每个资源池可以有对应的域标识信息。
当接入节点接收到数据写入请求时，数据写入请求中通常会包含域标识信息，即待写入数据将要写入的存储服务器所在的资源池的域标识信息，以使得接入节点可以基于该域标识信息，为数据写入请求分配对应的存储服务器。
正常情况下，接入节点接收到数据写入请求时，可以将数据写入请求发送给管理节点，以使得管理节点为该数据写入请求分配对应的存储服务器。然而，当无法获取到可用管理节点时，接入节点将不能通过管理节点获得为该数据写入请求分配的存储服务器。
因此，在本实施例中，可以预先保存包含资源池与域标识信息的对应关系的索引。当接收到数据写入请求且无法获取到可用管理节点时，接入节点可以根据识别数据写入请求中的域标识信息，并根据该域标识信息，查询预先保存的包含资源池与域标识信息的对应关系的索引，以识别与该域标识信息匹配的目标资源池。
步骤303，识别与所述域标识信息匹配的目标资源池，其中，每个资源池中包含至少一个存储服务器。
在本发明实施例中，接入节点识别出数据写入请求中包含的域标识信息后，可以查找索引中保存的每个资源池与域标识信息的对应关系，以识别出与数据写入请求中包含的域标识信息对应的资源池，并将识别到的资源池作为目标资源池，以基于目标资源池，对该数据写入请求进行处理。
步骤304，从所述目标资源池中包含的至少一个存储服务器中，确定其中一个存储服务器为目标存储服务器，并将待写入数据写入所述目标存储服务器。
当识别出与数据写入请求中包含的域标识信息对应的目标资源池后，接入节点可以进一步地从目标资源池中包含的至少一个存储服务器中，确定其中一个存储服务器为目标存储服务器，以将待写入数据写入该目标存储服务器。
例如，可以在目标资源池中包含的至少一个存储服务器中，选择其中任一个存储服务器作为目标存储服务器。
可选地或附加地，为了保证每个存储服务器的负载均衡，在选择目标资源池中的目标存储服务器时，可以首先获取每个存储服务器的当前负载量，然后在各存储服务器中，识别当前负载量最小的存储服务器，将其作为目标存储服务器。
例如，当云存储系统为视频云存储系统时，在该视频云存储系统中可以存储大量的视频数据。具体地，视频采集系统可以将其采集的实时视频数据写入视频云存储系统中。
为了便于对视频云存储系统中的视频数据进行管理，同一视频采集系统采集的视频数据保存到视频云存储系统的固定的存储服务器中，该固定的存储服务器构成一个资源池，该资源池对应一个域标识信息。并配置读写操作时，访问该固定的存储服务器的视频处理设备的地址信息。
当接入节点接收到视频写入请求且无法获取到可用管理节点时，可以首先识别视频写入请求中包含的域标识信息，然后根据该域标识信息，以及索引中保存的资源池与域标识信息的对应关系，识别与该域标识信息匹配的目标资源池，最后，可以从目标资源池中包含的至少一个存储服务器的信息中，确定其中一个存储服务器为目标存储服务器，并将视频数据写入该目标存储服务器。
优选地，为了保证每个存储服务器的负载均衡，在选择用于存储视频数据的目标存储服务器时，可以首先获取每个存储服务器的当前负载量，然后识别当前负载量最小的存储服务器，将其作为目标存储服务器。
在一种实现方式中，在选择目标存储服务器时，接入节点可以向目标资源池中的每个存储服务器发出获取其当前负载量的请求，并根据各存储服务器返回的响应消息获取每个存储服务器的当前负载量。然后，可以将当前负载量最小的存储服务器作为目标存储服务器。
在另一种实现方式中，接入节点在构建索引的过程中，可以在该索引中保存每个存储服务器对应的负载量。在选择目标存储服务器时，接入节点可以查询索引中保存的目标资源池中的每个存储服务器的负载量，并选择负载量最小的存储服务器作为目标存储服务器。并且，可选地，接入节点将待写入数据写入目标存储服务器后，可以更新索引中保存的该目标存储服务器对应的负载量。
本发明实施例提供的方法，通过预先保存包含资源池与域标识信息的对应关系的索引，在接收到数据写入请求并且无法获取到可用管理节点时，可以识别所述数据写入请求中包含的域标识信息，然后根据所述域标识信息，以及所述索引中保存的资源池与域标识信息的对应关系，识别与所述域标识信息匹配的目标资源池，最后从所述目标资源池中包含的至少一个存储服务器中，确定其中一个存储服务器为目标存储服务器，以将数据写入该目标存储服务器，能够保证在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常写入数据，不会造成数据丢失。
基于本发明的上述实施例，图4为本实施例提供的一种构建索引的方法，可以包括如下步骤：
步骤401，向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求，并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系。
在云存储系统中，管理节点在整个系统的正常运行中起到至关重要的作用。当接收到数据写入请求时，管理节点需要基于各存储服务器的属性信息，为数据写入请求分配存储服务器，以写入相应的数据。当无法获取到管理节点时，由于无法获得各存储服务器的属性信息，因此，无法为数据写入请求分配对应的存储服务器，数据写入可能会失败。
因此，在本实施例中，为了保证在无法获取到可用管理节点时云存储系统仍能提供正常服务，可以预先构建包含每个资源池与域标识信息的对应关系的索引，以在无法获取到可用管理节点时仍能获得各存储服务器的属性信息，进一步地，基于各存储服务器的属性信息，为数据写入请求分配相应的存储服务器，确保云存储系统正常运行。
具体地，接入节点可以向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求，并接收每个管理节点发送的每个资源池与域标识信息的对应关系。
步骤402，在索引中保存所述每个资源池与域标识信息的对应关系。
获取到每个资源池与域标识信息的对应关系后，可以在索引中保存每个资源池与域标识信息的对应关系，以在接收到数据写入请求且无法获取到管理节点时，根据索引中保存的每个资源池与域标识信息的对应关系，确定与数据写入请求对应的目标资源池，并基于目标资源池，对数据写入请求进行处理。
可选地，由于每个资源池与域标识信息的对应关系可能会变化，因此，为了保证索引中保存的各资源池与域标识信息的对应关系的正确性，可以按照设定的时间间隔(如2小时、12小时、24小时等)，进行上述步骤401和步骤402，实现对所述索引中保存的每个资源池与域标识信息的对应关系的更新。
本实施例提供的方法，预先构建包含每个资源池与域标识信息的对应关系的索引，在接收到数据写入请求并且无法获取到可用管理节点时，可以根据该索引确定数据写入请求对应的至少一个目标资源池，并基于目标资源池确定目标存储服务器，以对相应的数据进行写入，保证了在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常运行。
图5为本实施例提供的基于云存储系统的数据读取方法，应用于查询平台，可以包括如下步骤：
步骤501，接收数据读取请求。
在本实施例中，查询平台进行数据读取时，可以首先接收数据读取请求，并对相应的数据进行读取。
步骤502，当无法获取到可用管理节点时，查询预先保存的索引，其中，所述索引包含每个存储服务器及其IP地址的对应关系。
正常情况下，查询平台接收到数据读取请求时，可以将数据读取请求发送给管理节点，以使得管理节点为该数据读取请求分配对应的存储服务器。然而，当无法获取到可用管理节点时，查询平台将不能通过管理节点获得为该数据读取请求分配的存储服务器。
因此，在本实施例中，可以预先保存包含每个存储服务器及其IP地址的对应关系的索引。当接收到数据读取请求且无法获取到可用管理节点时，查询平台可以查询该索引，以获得各存储服务器的IP地址。
步骤503，根据所述每个存储服务器的IP地址，向所述每个存储服务器发送获取数据的属性信息的请求，并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息。
当查询平台获得每个存储服务器的IP地址后，可以根据每个存储服务器的IP地址，向每个存储服务器发送获取数据的属性信息的请求，并接收对应的每个存储服务器返回的其自身保存的数据的属性信息。
上述数据的属性信息例如可以包括每个存储服务器中保存的数据的关键词，如当存储服务器中保存的数据为道路实时监控视频时，上述属性信息可以为路段信息、时间信息等。
查询平台可以接收对应的每个存储服务器发送的自身保存的数据的属性信息，以基于该属性信息，确定待读取数据所在的存储服务器，并从相应的存储服务器中读取相应的数据。
可以理解，在云存储系统的多个存储服务器中，针对每个存储服务器，其都可能会出现故障，因此该存储服务器可能出现离线状态。这种情况下，当查询平台向该存储服务器发送获取其保存的数据的属性信息时，该存储服务器可能不会返回响应消息。因此，当存在处于离线状态的存储服务器时，查询平台向每个存储服务器发送获取其保存的数据的属性信息可能会造成资源浪费。
因此，可选地，在本发明实施例中，可以在查询平台的索引中保存每个存储服务器是否在线的状态信息。这种情况下，查询平台可以首先根据每个存储服务器的状态信息，识别处于在线状态的存储服务器，然后根据处于在线状态的存储服务器的IP地址，向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
通过在索引中保存每个存储服务器的状态信息，并根据各存储服务器的状态信息，只向处于在线状态的存储服务器发送获取数据的属性信息的请求，能够节省网络资源。
步骤504，根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息，以及所述数据读取请求中包含的待读取数据的属性信息，确定至少一个目标存储服务器，并从每个目标存储服务器中读取相应的数据。
查询平台接收到每个存储服务器发送的其自身保存的数据的属性信息后，可以根据每个存储服务器自身保存的数据的属性信息，以及数据读取请求中包含的待读取数据的属性信息，确定至少一个目标存储服务器。
查询平台接收到的数据读取请求中通常会包含待读取数据的属性信息，因此，查询平台接收到每个存储服务器自身保存的数据的属性信息后，可以识别与数据读取请求中包含的待读取数据的属性信息对应的存储服务器，并将识别到的存储服务器作为目标存储服务器，以从目标存储服务器中读取相应的数据。
例如，当云存储系统为视频云存储系统时，在该视频云存储系统中可以存储大量的视频数据，用户可以从该视频云存储系统中读取其想要的视频数据。具体地，当视频云存储系统中存储有交通监控视频数据时，用户可以读取对应时间段或对应路段的相应的视频数据。
当查询平台接收到视频处理设备通过平台发送的数据读取请求时，该数据读取请求中携带待读取的视频数据的属性信息，该属性例如可以为时间段信息和/或路段信息等。查询平台中设置有与平台交互的接口，可以通过该接口接收平台发送的数据读取请求。
查询平台接收到数据读取请求且无法获取到可用管理节点时，查询预先保存的索引，其中，索引包含每个存储服务器及其IP地址的对应关系，例如读取9:00-10:00的视频数据。然后，查询平台可以根据预先构建的索引，确定该IP地址对应的每个存储服务器，并向每个存储服务器发送获取视频数据的属性信息的请求，并接收对应的每个存储服务器返回的其自身保存的该对应时间的视频片段。最后，查询平台可以根据接收的每个存储服务器返回的其自身保存的视频片段，以及视频数据读取请求中包含的待读取视频数据的属性信息，确定至少一个目标存储服务器。并将该目标存储服务器的信息发送给查询平台，查询平台访问对应的目标存储服务器，从目标存储服务器中读取对应时间段的视频数据。
本实施例提供的方法，通过预先保存包含每个存储服务器及其IP地址的对应关系的索引，在接收到数据读取请求并且无法获取到可用管理节点时，可以查询预先保存的索引，获得每个存储服务器的IP地址，然后根据每个存储服务器的IP地址，向每个存储服务器发送获取自身保存的数据的属性信息的请求，并接收所述对应的每个存储服务器发送的自身保存的数据的属性信息，最后根据接收的每个存储服务器发送的自身保存的数据的属性信息，以及数据读取请求中包含的待读取数据的属性信息，确定至少一个目标存储服务器，以从目标存储服务器中读取相应的数据，能够保证在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常提供数据读取服务。
基于本发明的上述实施例，图6为本实施例提供的另一种构建索引的方法，可以包括如下步骤：
步骤601，向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求，并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系。
在云存储系统中，管理节点在整个系统的正常运行中起到至关重要的作用。当接收到数据读取请求时，管理节点需要基于各存储服务器的属性信息，为数据读取请求分配存储服务器，以进行相应的数据读取。当无法获取到管理节点时，由于无法获得各存储服务器的属性信息，因此，无法为数据读取请求分配对应的存储服务器，数据读取可能会失败。
因此，在本实施例中，为了保证在无法获取到可用管理节点时云存储系统仍能提供正常服务，查询平台可以预先构建包含每个存储服务器和IP地址的对应关系的索引，以在无法获取到可用管理节点时仍能获得各存储服务器的属性信息，进一步地，基于各存储服务器的属性信息，为数据读取请求分配相应的存储服务器，确保云存储系统正常运行。
具体地，查询平台可以向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求，并接收每个管理节点发送的每个存储服务器和IP地址的对应关系。
步骤602，在索引中保存所述每个存储服务器和IP地址的对应关系。
获取到每个存储服务器和IP地址的对应关系后，查询平台可以在索引中保存每个存储服务器和IP地址的对应关系，以在接收到数据读取请求且无法获取到管理节点时，根据索引中保存的每个存储服务器和IP地址的对应关系，向每个存储服务器发送获取数据的属性信息的请求，并根据每个存储服务器返回的响应消息，确定与数据读取请求对应的目标存储服务器，并基于目标存储服务器，读取相应的数据。
可选地，由于每个存储服务器和IP地址的对应关系可能会变化，因此，为了保证索引中保存的每个存储服务器和IP地址的对应关系的正确性，查询平台可以按照设定的时间间隔(如2小时、12小时、24小时等)，进行上述步骤601和步骤602，实现对所述索引中保存的每个存储服务器和IP地址的对应关系的更新。
本实施例提供的方法，预先构建包含每个存储服务器和IP地址的对应关系的索引，在接收到数据读取请求并且无法获取到可用管理节点时，根据该索引确定数据读取请求对应的至少一个目标存储服务器，并基于目标存储服务器，读取相应的数据，保证了在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常运行。
图7为本实施例提供的基于云存储系统的数据写入装置，可以包括：
接收模块710，用于接收数据写入请求；
处理模块720，用于当无法获取到可用管理节点时，识别所述数据写入请求中包含的域标识信息，并根据所述域标识信息，查询预先保存的索引，其中，所述索引包含资源池与域标识信息的对应关系；
识别模块730，用于识别与所述域标识信息匹配的目标资源池，其中，每个资源池中包含至少一个存储服务器；
写入模块740，用于从所述目标资源池中包含的至少一个存储服务器中，确定其中一个存储服务器为目标存储服务器，并将所述数据写入请求中包含的数据写入所述目标存储服务器。
本实施例提供的装置，通过预先保存包含资源池与域标识信息的对应关系的索引，在接收到数据写入请求并且无法获取到可用管理节点时，可以识别所述数据写入请求中包含的域标识信息，然后根据所述域标识信息，以及所述索引中保存的资源池与域标识信息的对应关系，识别与所述域标识信息匹配的目标资源池，最后从所述目标资源池中包含的至少一个存储服务器中，确定其中一个存储服务器为目标存储服务器，以将数据写入该目标存储服务器，能够保证在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常写入数据，不会造成数据丢失。
进一步地，所述写入模块740，具体用于：
获取每个存储服务器的当前负载量；
识别当前负载量最小的存储服务器，将其作为目标存储服务器。
进一步地，所述无法获取到可用管理节点包括：每个管理节点均出现故障或管理节点集群网络异常。
进一步地，所述装置还包括：
执行模块(图中未示出)，用于向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求，并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系；
保存模块(图中未示出)，用于在索引中保存所述每个资源池与域标识信息的对应关系。
进一步地，所述装置还包括：
更新模块(图中未示出)，用于按照设定的时间间隔，更新所述索引中保存的每个资源池与域标识信息的对应关系。
通过预先构建包含每个资源池与域标识信息的对应关系的索引，在接收到数据写入请求并且无法获取到可用管理节点时，可以根据该索引确定数据写入请求对应的至少一个目标资源池，并基于目标资源池确定目标存储服务器，以对相应的数据进行写入，保证了在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常运行。
图8为本实施例提供的基于云存储系统的数据读取装置，应用于查询平台，可以包括：
接收模块810，用于接收数据读取请求；
查询模块820，用于当无法获取到可用管理节点时，查询预先保存的索引，其中，所述索引包含每个存储服务器及其IP地址的对应关系；
处理模块830，用于根据所述每个存储服务器的IP地址，向所述每个存储服务器发送获取数据的属性信息的请求，并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息；
读取模块840，用于根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息，以及所述数据读取请求中包含的待读取数据的属性信息，确定至少一个目标存储服务器，并从每个目标存储服务器中读取相应的数据。
本实施例提供的装置，通过预先保存包含每个存储服务器及其IP地址的对应关系的索引，在接收到数据读取请求并且无法获取到可用管理节点时，可以查询预先保存的索引，获得每个存储服务器的IP地址，然后根据每个存储服务器的IP地址，向每个存储服务器发送获取自身保存的数据的属性信息的请求，并接收所述对应的每个存储服务器发送的自身保存的数据的属性信息，最后根据接收的每个存储服务器发送的自身保存的数据的属性信息，以及数据读取请求中包含的待读取数据的属性信息，确定至少一个目标存储服务器，以从目标存储服务器中读取相应的数据，能够保证在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常提供数据读取服务。
进一步地，所述索引中还包括每个存储服务器是否在线的状态信息，所述处理模块830，包括：
识别子模块(图中未示出)，用于根据每个存储服务器的状态信息，识别处于在线状态的存储服务器；
处理子模块(图中未示出)，用于根据处于在线状态的存储服务器的IP地址，向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
进一步地，所述无法获取到可用管理节点包括：每个管理节点均出现故障或管理节点集群网络异常。
进一步地，所述装置还包括：
执行模块(图中未示出)，用于向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求，并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系；
保存模块(图中未示出)，用于在索引中保存所述每个存储服务器和IP地址的对应关系。
进一步地，所述装置还包括：
更新模块(图中未示出)，用于按照设定的时间间隔，更新所述索引中保存的每个存储服务器和IP地址的对应关系。
通过预先构建包含每个存储服务器和IP地址的对应关系的索引，在接收到数据读取请求并且无法获取到可用管理节点时，根据该索引确定数据读取请求对应的至少一个目标存储服务器，并基于目标存储服务器，读取相应的数据，保证了在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常运行。
另一方面，本发明实施例还提供了一种云存储系统，所述云存储系统可以包括：如图7所示实施例提供的设置在接入节点中的装置，以及至少一个存储服务器。
本实施例提供的云存储系统，能够保证在全部管理节点出现故障或管理节点集群网络异常时，云存储系统仍能正常运行，且不需要增加额外的成本。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (21)

1.一种基于云存储系统的数据写入方法，所述云存储系统至少包括：接入节点、至少一个管理节点以及至少一个存储服务器，其特征在于，所述方法包括：
所述接入节点接收数据写入请求；
当无法获取到可用管理节点时，识别所述数据写入请求中包含的域标识信息，并根据所述域标识信息，查询预先保存的索引，其中，所述索引包含资源池与域标识信息的对应关系；
识别与所述域标识信息匹配的目标资源池，其中，每个资源池中包含至少一个存储服务器；
从所述目标资源池中包含的至少一个存储服务器中，确定其中一个存储服务器为目标存储服务器，并将待写入数据写入所述目标存储服务器。
2.根据权利要求1所述的方法，其特征在于，所述确定其中一个存储服务器为目标存储服务器，包括：
获取每个存储服务器的当前负载量；
识别当前负载量最小的存储服务器，将其作为目标存储服务器。
3.根据权利要求1所述的方法，其特征在于，所述无法获取到可用管理节点包括：每个管理节点均出现故障或管理节点集群网络异常。
4.根据权利要求1-3任一所述的方法，其特征在于，构建所述索引的过程包括：
向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求，并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系；
在索引中保存所述每个资源池与域标识信息的对应关系。
5.根据权利要求4所述的方法，其特征在于，还包括：
按照设定的时间间隔，更新所述索引中保存的每个资源池与域标识信息的对应关系。
6.一种基于云存储系统的数据读取方法，所述云存储系统至少包括：至少一个管理节点以及至少一个存储服务器，其特征在于，应用于查询平台，所述方法包括：
接收数据读取请求；
当无法获取到可用管理节点时，查询预先保存的索引，其中，所述索引包含每个存储服务器及其IP地址的对应关系；
根据所述每个存储服务器的IP地址，向所述每个存储服务器发送获取数据的属性信息的请求，并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息；
根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息，以及所述数据读取请求中包含的待读取数据的属性信息，确定至少一个目标存储服务器，并从每个目标存储服务器中读取相应的数据。
7.根据权利要求6所述的方法，其特征在于，所述索引中还包括每个存储服务器是否在线的状态信息，所述根据所述每个存储服务器的IP地址，向所述每个存储服务器发送获取数据的属性信息的请求，包括：
根据每个存储服务器的状态信息，识别处于在线状态的存储服务器；
根据处于在线状态的存储服务器的IP地址，向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
8.根据权利要求6所述的方法，其特征在于，所述无法获取到可用管理节点包括：每个管理节点均出现故障或管理节点集群网络异常。
9.根据权利要求6-8任一所述的方法，其特征在于，构建所述索引的过程包括：
向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求，并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系；
在索引中保存所述每个存储服务器和IP地址的对应关系。
10.根据权利要求6-8任一所述的方法，其特征在于，所述方法还包括：
按照设定的时间间隔，更新所述索引中保存的每个存储服务器和IP地址的对应关系。
11.一种基于云存储系统的数据写入装置，所述云存储系统至少包括：接入节点、至少一个管理节点以及至少一个存储服务器，其特征在于，应用于所述接入节点，所述装置包括：
接收模块，用于接收数据写入请求；
处理模块，用于当无法获取到可用管理节点时，识别所述数据写入请求中包含的域标识信息，并根据所述域标识信息，查询预先保存的索引，其中，所述索引包含资源池与域标识信息的对应关系；
识别模块，用于识别与所述域标识信息匹配的目标资源池，其中，每个资源池中包含至少一个存储服务器；
写入模块，用于从所述目标资源池中包含的至少一个存储服务器中，确定其中一个存储服务器为目标存储服务器，并将待写入数据写入所述目标存储服务器。
12.根据权利要求11所述的装置，其特征在于，所述写入模块，具体用于：
获取每个存储服务器的当前负载量；
识别当前负载量最小的存储服务器，将其作为目标存储服务器。
13.根据权利要求11所述的装置，其特征在于，所述无法获取到可用管理节点包括：每个管理节点均出现故障或管理节点集群网络异常。
14.根据权利要求11-13任一所述的装置，其特征在于，还包括：
执行模块，用于向每个管理节点发送获取每个资源池与域标识信息的对应关系的请求，并接收所述每个管理节点发送的每个资源池与域标识信息的对应关系；
保存模块，用于在索引中保存所述每个资源池与域标识信息的对应关系。
15.根据权利要求14所述的装置，其特征在于，还包括：
更新模块，用于按照设定的时间间隔，更新所述索引中保存的每个资源池与域标识信息的对应关系。
16.一种基于云存储系统的数据读取装置，所述云存储系统至少包括：至少一个管理节点以及至少一个存储服务器，其特征在于，应用于查询平台，所述装置包括：
接收模块，用于接收数据读取请求；
查询模块，用于当无法获取到可用管理节点时，查询预先保存的索引，其中，所述索引包含每个存储服务器及其IP地址的对应关系；
处理模块，用于根据每个存储服务器的IP地址，向所述每个存储服务器发送获取数据的属性信息的请求，并接收对应的所述每个存储服务器返回的其自身保存的数据的属性信息；
读取模块，用于根据接收的所述每个存储服务器发送的其自身保存的数据的属性信息，以及所述数据读取请求中包含的待读取数据的属性信息，确定至少一个目标存储服务器，并从每个目标存储服务器中读取相应的数据。
17.根据权利要求16所述的装置，其特征在于，所述索引中还包括每个存储服务器是否在线的状态信息，所述处理模块，包括：
识别子模块，用于根据每个存储服务器的状态信息，识别处于在线状态的存储服务器；
处理子模块，用于根据处于在线状态的存储服务器的IP地址，向对应的每个处于在线状态的存储服务器发送获取数据的属性信息的请求。
18.根据权利要求16所述的装置，其特征在于，所述无法获取到可用管理节点包括：每个管理节点均出现故障或管理节点集群网络异常。
19.根据权利要求16-18任一所述的装置，其特征在于，所述装置还包括：
执行模块，用于向每个管理节点发送获取每个存储服务器和IP地址的对应关系的请求，并接收所述每个管理节点发送的每个存储服务器和IP地址的对应关系；
保存模块，用于在索引中保存所述每个存储服务器和IP地址的对应关系。
20.根据权利要求16-18任一所述的装置，其特征在于，所述装置还包括：
更新模块，用于按照设定的时间间隔，更新所述索引中保存的每个存储服务器和IP地址的对应关系。
21.一种云存储系统，其特征在于，所述云存储系统包括设置在接入节点中的如权利要求11-15任一项所述的装置，以及至少一个存储服务器。
CN201610088973.4A 2016-02-17 2016-02-17 数据写入、读取方法及装置、云存储系统 Active CN107092437B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610088973.4A CN107092437B (zh) 2016-02-17 2016-02-17 数据写入、读取方法及装置、云存储系统
US15/999,307 US11586673B2 (en) 2016-02-17 2016-11-08 Data writing and reading method and apparatus, and cloud storage system
PCT/CN2016/105094 WO2017140131A1 (zh) 2016-02-17 2016-11-08 数据写入、读取方法及装置、云存储系统
EP16890357.3A EP3418877B1 (en) 2016-02-17 2016-11-08 Data writing and reading method and apparatus, and cloud storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610088973.4A CN107092437B (zh) 2016-02-17 2016-02-17 数据写入、读取方法及装置、云存储系统

Publications (2)

Publication Number Publication Date
CN107092437A CN107092437A (zh) 2017-08-25
CN107092437B true CN107092437B (zh) 2019-11-22

Family

ID=59624949

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610088973.4A Active CN107092437B (zh) 2016-02-17 2016-02-17 数据写入、读取方法及装置、云存储系统

Country Status (4)

Country Link
US (1) US11586673B2 (zh)
EP (1) EP3418877B1 (zh)
CN (1) CN107092437B (zh)
WO (1) WO2017140131A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109587191B (zh) * 2017-09-29 2022-04-05 杭州海康威视系统技术有限公司 跨云域的数据传输方法、互联云中心、云域及互联云系统
CN109597567B (zh) * 2017-09-30 2022-03-08 网宿科技股份有限公司 一种数据处理方法和装置
CN107885803B (zh) * 2017-10-31 2020-05-01 中国地质大学（武汉） 一种大数据写入、读取速度耦合的方法、设备及存储设备
CN110069210B (zh) * 2018-01-23 2021-09-28 杭州海康威视系统技术有限公司 一种存储系统、存储资源的分配方法及装置
CN110139166B (zh) * 2018-02-08 2021-07-09 杭州海康威视系统技术有限公司 一种视频数据传输方法、装置、系统及电子设备
CN110471613B (zh) * 2018-05-09 2021-01-12 杭州海康威视系统技术有限公司 存储数据的方法、读取数据的方法、装置及系统
CN110502333B (zh) * 2018-05-16 2022-09-02 杭州海康威视系统技术有限公司 一种访问请求的处理方法和云存储系统
CN110765125B (zh) * 2018-07-25 2022-09-20 杭州海康威视数字技术股份有限公司 一种存储数据的方法及装置
CN111221468B (zh) * 2018-11-26 2023-10-13 杭州海康威视系统技术有限公司 存储块数据删除方法、装置、电子设备及云存储系统
CN109492419B (zh) * 2018-11-27 2022-07-01 众安信息技术服务有限公司 用于获取区块链中的数据的方法、装置及存储介质
CN111352725B (zh) * 2018-12-24 2023-08-18 杭州海康威视系统技术有限公司 存储负载均衡的方法和装置
CN111367905B (zh) * 2018-12-26 2023-10-10 杭州海康威视系统技术有限公司 对象数据存储、数据索引构建方法、装置及接入服务器
CN109992531B (zh) * 2019-04-15 2020-11-10 成都四方伟业软件股份有限公司 数据存储方法及装置
CN112214466A (zh) * 2019-07-12 2021-01-12 海能达通信股份有限公司 分布式集群系统及数据写入方法、电子设备、存储装置
CN112351051A (zh) * 2019-08-06 2021-02-09 中兴通讯股份有限公司 云服务处理方法、装置、云服务器、系统及存储介质
CN110531934A (zh) * 2019-08-23 2019-12-03 北京浪潮数据技术有限公司 基于分布式系统的数据存储方法和装置
CN111404978B (zh) * 2019-09-06 2023-05-02 杭州海康威视系统技术有限公司 一种数据存储方法及云存储系统
CN112543213B (zh) * 2019-09-23 2022-06-03 杭州海康威视数字技术股份有限公司 一种数据处理方法及装置
CN111404980B (zh) * 2019-09-29 2023-04-18 杭州海康威视系统技术有限公司 一种数据存储方法及一种对象存储系统
CN111198662B (zh) * 2020-01-03 2023-07-14 腾讯云计算(长沙)有限责任公司 一种数据存储方法、装置和计算机可读存储介质
CN111258978B (zh) * 2020-01-17 2024-04-19 广东小天才科技有限公司 一种数据存储的方法
WO2021232243A1 (zh) * 2020-05-19 2021-11-25 深圳市欢太科技有限公司 集群管理方法、集群管理装置、存储介质与电子设备
CN113806593A (zh) * 2020-06-17 2021-12-17 新疆金风科技股份有限公司 风电场的通信异常检测方法、装置以及场站控制器
CN111913658B (zh) * 2020-07-13 2021-08-03 华中科技大学 一种提升云对象存储系统中负载性能的方法及系统
CN114077639A (zh) * 2020-08-20 2022-02-22 北京字节跳动网络技术有限公司 数据写入方法、装置、电子设备和存储介质
CN112000850B (zh) * 2020-08-26 2024-02-20 杭州海康威视系统技术有限公司 进行数据处理的方法、装置、系统及设备
CN113010376B (zh) * 2021-03-01 2023-07-21 北京聚云科技有限公司 一种对存储训练数据的云存储系统的监测方法及装置
CN113923095A (zh) * 2021-09-30 2022-01-11 济南浪潮数据技术有限公司 一种集群消息转发方法、系统及存储介质
CN114928621A (zh) * 2022-02-15 2022-08-19 杭州瑞网广通信息技术有限公司 一种云存储系统的数据写入方法以及装置
CN114697353B (zh) * 2022-05-27 2022-09-06 邹平市供电有限公司 一种分布式存储集群电网数据存储控制方法
CN115242807A (zh) * 2022-06-30 2022-10-25 深圳震有科技股份有限公司 一种5g通信系统中的数据存取方法及相关设备
CN115905219B (zh) * 2022-11-04 2023-09-19 上海威固信息技术股份有限公司 多通道数据存云库用的数据存储驱动系统及其传输方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035865A (zh) * 2009-09-30 2011-04-27 阿里巴巴集团控股有限公司 数据存储及数据寻址方法、系统和设备
CN102694860A (zh) * 2012-05-25 2012-09-26 北京邦诺存储科技有限公司 一种云存储的数据处理方法、设备及系统
CN103942112A (zh) * 2013-01-22 2014-07-23 深圳市腾讯计算机系统有限公司 磁盘容错方法、装置及系统
CN104679611A (zh) * 2015-03-05 2015-06-03 浙江宇视科技有限公司 数据资源复制方法以及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827121B (zh) * 2010-03-12 2013-01-30 成都市华为赛门铁克科技有限公司 在raid中创建文件的方法、服务端和系统
WO2012071695A1 (zh) * 2010-11-29 2012-06-07 华为技术有限公司 节点故障处理方法、系统及相关设备
CN102594852B (zh) * 2011-01-04 2016-03-30 中国移动通信集团公司 数据访问方法、节点及系统
CN102137014B (zh) * 2011-03-11 2013-12-04 华为技术有限公司 资源管理方法、系统和资源管理器
US20140181116A1 (en) * 2011-10-11 2014-06-26 Tianjin Sursen Investment Co., Ltd. Method and device of cloud storage
US8804740B2 (en) * 2012-06-15 2014-08-12 Citrix Systems, Inc. Systems and methods for reassembly of packets distributed across a cluster
US9405926B2 (en) * 2014-06-30 2016-08-02 Paul Lewis Systems and methods for jurisdiction independent data storage in a multi-vendor cloud environment
CN104331330B (zh) * 2014-10-27 2018-05-01 华为技术有限公司 资源池生成方法以及装置
CN104901903B (zh) * 2015-04-07 2019-05-07 北京邮电大学 软件定义网络多域资源处理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035865A (zh) * 2009-09-30 2011-04-27 阿里巴巴集团控股有限公司 数据存储及数据寻址方法、系统和设备
CN102694860A (zh) * 2012-05-25 2012-09-26 北京邦诺存储科技有限公司 一种云存储的数据处理方法、设备及系统
CN103942112A (zh) * 2013-01-22 2014-07-23 深圳市腾讯计算机系统有限公司 磁盘容错方法、装置及系统
CN104679611A (zh) * 2015-03-05 2015-06-03 浙江宇视科技有限公司 数据资源复制方法以及装置

Also Published As

Publication number Publication date
EP3418877B1 (en) 2023-04-05
CN107092437A (zh) 2017-08-25
WO2017140131A1 (zh) 2017-08-24
US20190042659A1 (en) 2019-02-07
EP3418877A1 (en) 2018-12-26
US11586673B2 (en) 2023-02-21
EP3418877A4 (en) 2019-03-13

Similar Documents

Publication Publication Date Title
CN107092437B (zh) 数据写入、读取方法及装置、云存储系统
CN104486445B (zh) 一种基于云平台的分布式可扩展资源监控系统
CN107026876B (zh) 一种文件数据访问系统及方法
CN109040212B (zh) 设备接入服务器集群方法、系统、设备及存储介质
CN102281190B (zh) 负载均衡装置组网方法以及服务器、客户端接入方法
CN107395659A (zh) 一种业务受理及共识的方法及装置
US20050228855A1 (en) Acquisition system for distributed computing resources
CN103607424B (zh) 一种服务器连接方法及服务器系统
CN108965007A (zh) Api网关接口配置更新方法及装置
CN106850710A (zh) 一种数据云存储系统、客户终端、存储服务器及应用方法
CN103338243A (zh) Web节点的缓存数据更新方法和系统
CN102137014A (zh) 资源管理方法、系统和资源管理器
CN101557427A (zh) 提供分流信息、实现客户端分流的方法、系统及服务器
CN104166628B (zh) 管理内存的方法、装置和系统
CN105900068B (zh) 路径管理的系统、装置和方法
CN107888666A (zh) 一种跨地域数据存储系统以及数据同步方法和装置
CN103346910A (zh) 服务器可用状态的管理方法和装置
US9390156B2 (en) Distributed directory environment using clustered LDAP servers
CN109391487A (zh) 一种配置更新方法和系统
CN110244901A (zh) 任务分配方法及装置、分布式存储系统
CN105871591A (zh) 一种分发cdn地址的方法及装置
CN105869057A (zh) 评论存储设备、评论读取、评论写入方法及装置
CN106953926A (zh) 一种路由方法及装置
CN108347459A (zh) 一种云端数据快速存储方法及装置
CN106933891A (zh) 访问分布式数据库的方法和分布式数据服务的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant