CN106850710B - 一种数据云存储系统、客户终端、存储服务器及应用方法 - Google Patents

一种数据云存储系统、客户终端、存储服务器及应用方法 Download PDF

Info

Publication number
CN106850710B
CN106850710B CN201510883969.2A CN201510883969A CN106850710B CN 106850710 B CN106850710 B CN 106850710B CN 201510883969 A CN201510883969 A CN 201510883969A CN 106850710 B CN106850710 B CN 106850710B
Authority
CN
China
Prior art keywords
target data
storage
data
service center
management service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510883969.2A
Other languages
English (en)
Other versions
CN106850710A (zh
Inventor
金升鹏
林起芊
汪渭春
熊银梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201510883969.2A priority Critical patent/CN106850710B/zh
Priority to PCT/CN2016/096344 priority patent/WO2017092414A1/zh
Priority to EP16869725.8A priority patent/EP3386168B1/en
Priority to US15/781,312 priority patent/US10623516B2/en
Publication of CN106850710A publication Critical patent/CN106850710A/zh
Application granted granted Critical
Publication of CN106850710B publication Critical patent/CN106850710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656Data buffering arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/764Media network packet handling at the destination 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/40Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass for recovering from a failure of a protocol instance or entity, e.g. service redundancy protocols, protocol state redundancy or protocol service redirection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供的一种数据云存储系统、客户终端、存储服务器及应用方法,该数据存储方法包括:向调度管理服务中心发送存储服务器查询请求;调度管理服务中心正常运行时,接收并缓存第一地址信息,异常运行时从缓存的第一地址信息中选择第一地址信息;向其对应的存储服务器发送资源请求;使得该存储服务器为目标数据分配存储单元,生成存储资源信息;继续向该存储服务器发送数据存储请求,使得存储服务器根据目标数据的属性信息,生成数据索引信息,将目标数据存储到为其分配的存储单元中。应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、查询和下载,降低了数据云存储系统对调度管理服务中心故障的敏感程度。

Description

一种数据云存储系统、客户终端、存储服务器及应用方法
技术领域
本发明涉及互联网技术领域,特别是涉及一种数据云存储系统、客户终端、存储服务器及应用方法。
背景技术
随着互联网技术的不断进步,云存储技术在数据存储中显示出突出的优势,用户可以将数据存储于云存储系统中。例如,视频监控领域常将大量视频数据存储于通过云存储技术所实现的数据云存储系统中。目前,数据云存储系统多为主从架构的分布式系统,主节点(即调度管理服务中心)能够管理该系统中各个从节点(即存储服务器),当主节点出现故障时,整个数据云存储系统将无法正常运行,显然,该数据云存储系统对主节点的运行状态是非常敏感的。
为了解决主节点出现故障时所导致的整个数据云存储系统无法正常运行的问题,现有技术中提供了一种双机热备的方法:该系统中有两个主节点(主节点A和主节点A′)同时运行,如果当前正在运行的主节点A出现故障时,立即切换至备用的主节点A′,从而保障了整个数据云存储系统能够继续正常运行。
可见,上述方法能够在一定程度上保证数据云存储系统的正常运行,但该方法仅仅是由备用的主节点A′在当前正在运行的主节点A出现故障时替代其运行以保障该系统的正常运行的,假设,当主节点A还未恢复至正常运行状态而备用的主节点也出现故障的情况下,该数据云存储系统将同样无法正常运行,显然,该数据云存储系统对主节点或备用主节点的运行状态仍然非常敏感。
发明内容
本发明实施例的目的在于提供一种数据云存储系统、客户终端、存储服务器及应用方法,以实现在数据云存储系统中的主节点出现故障的情况下保障该系统能够继续进行数据存储、数据查询和数据下载,降低该数据云存储系统对调度管理服务中心故障的敏感程度。
为达到上述目的,本发明实施例公开了一种数据存储方法,应用于数据云存储系统中的客户终端,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,该方法包括:
向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;
向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应;
收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得所述存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
较佳的,若在向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求后,接收到调度管理服务中心发送的自身故障信息或检测到与调度管理服务中心之间的网络连接异常,则判定调度管理服务中心异常运行。
为达到上述目的,本发明实施例公开了一种数据访问方法,应用于数据云存储系统中的客户终端,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,该方法包括:
向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;
向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得所述存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将所述第二地址信息返回给客户终端。
较佳的,还包括:
向第一地址信息对应的存储服务器发送包含目标数据的标识和所述第二地址信息的数据下载请求;使得所述存储服务器根据所述目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息;
根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
为达到上述目的,本发明实施例公开了一种数据存储方法,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
接收客户终端发送的包含目标数据的标识的资源请求;
根据所述资源请求为该目标数据分配存储单元,生成所述目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
向客户终端反馈资源请求响应,以使得客户终端收到所述资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;
根据目标数据的属性信息,生成所述目标数据的数据索引信息;
根据所述目标数据的存储资源信息,将目标数据存储到所述第二地址信息对应的存储单元中。
较佳的,所述目标数据包括:视频流数据或视频文件数据。
较佳的,当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所述生成的目标数据的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
所述生成的目标数据的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系;
所述根据所述目标数据的存储资源信息,将目标数据存储到为其分配的存储单元中,包括:获取客户终端发送的资源请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元;将所述目标数据存储至确定出的存储服务器的存储单元中。
较佳的,进一步包括:将存储资源信息发送给调度管理服务中心,使得调度管理服务中心根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状态,并在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储所述目标数据的存储服务器,并存储所述目标数据的标识及其所在存储服务器的节点信息。
为达到上述目的,本发明实施例公开了一种数据访问方法,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
接收客户终端发送的包含目标数据的标识的数据查询请求;
根据所述目标数据的标识,查找到该目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
根据查找到的存储资源信息,确定存储该目标数据的存储单元;
将存储该目标数据的存储单元的第二地址信息返回给客户终端。
较佳的,所述目标数据包括:视频流数据或视频文件数据。
较佳的,当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所述查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
所述根据查找到的存储资源信息,确定存储该目标数据的存储单元,包括:获取客户终端发送的数据查找请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元。
较佳的,还包括:
接收客户终端发送的包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;
根据所述目标数据的标识,查找到该目标数据的数据索引信息;根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
较佳的,当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所述查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
所述查找到的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系;
所述根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端,包括:获取客户终端发送的数据下载请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元;根据视频编码器的唯一ID与视频数流数据中关键视频帧的时间点的对应关系,获得所述目标数据在所确定出的存储单元内的时间偏移量,根据该时间偏移量,获取待下载的目标数据,并将该目标数据返回给客户终端。
为达到上述目的,本发明实施例公开了一种客户终端,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
通信接口,用于与调度管理服务中心和各个存储服务器进行网络通信;
处理器,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应;收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得所述存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
为达到上述目的,本发明实施例公开了一种客户终端,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
通信接口,用于与调度管理服务中心和各个存储服务器进行网络通信;
处理器,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得所述存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将所述第二地址信息返回给客户终端。
较佳的,所述的处理器,进一步向第一地址信息对应的存储服务器发送包含目标数据的标识和所述第二地址信息的数据下载请求;使得所述存储服务器根据所述目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息;根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
为达到上述目的,本发明实施例公开了一种存储服务器,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
存储器,包含多个存储单元,用于存储数据;
通信接口,用于与各个客户终端进行网络通信;
处理器,用于接收客户终端发送的包含目标数据的标识的资源请求;
根据所述资源请求为该目标数据分配存储单元,生成所述目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;向客户终端反馈资源请求响应,以使得客户终端收到所述资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;根据目标数据的属性信息,生成所述目标数据的数据索引信息;根据所述目标数据的存储资源信息,将目标数据存储到所述第二地址信息对应的存储单元中。
为达到上述目的,本发明实施例公开了一种存储服务器,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
存储器,包含多个存储单元,用于存储数据;
通信接口,用于与各个客户终端进行网络通信;
处理器,用于接收客户终端发送的包含目标数据的标识的数据查询请求;根据所述目标数据的标识,查找到该目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;根据查找到的存储资源信息,确定存储该目标数据的存储单元;将存储该目标数据的存储单元的第二地址信息返回给客户终端。
较佳的,所述的通信接口进一步与调度管理服务中心进行网络通信,将处理器生成的硬件资源信息和存储资源信息上报给调度管理服务中心。
较佳的,所述的处理器,进一步接收客户终端发送的包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;根据所述目标数据的标识,查找到该目标数据的数据索引信息;根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
为达到上述目的,本发明实施例公开了一种数据存储方法,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;并缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;
客户终端向第一地址信息对应的存储服务器发送资源请求;
存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
存储服务器向客户终端反馈资源请求响应;
客户终端收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;
存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
较佳的,所述调度管理服务中心,进一步根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状态;在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储所述目标数据的存储服务器,并存储所述目标数据的标识及其所在存储服务器的节点信息。
为达到上述目的,本发明实施例公开了一种数据访问方法,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;并缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;
客户终端向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;
存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
存储服务器将所述第二地址信息返回给客户终端。
较佳的,所述客户终端向所述存储服务器发送包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;
所述存储服务器根据所述目标数据的标识,查找到该目标数据的数据索引信息;并根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
本发明实施例提供的一种数据云存储系统、客户终端、存储服务器及应用方法,可以由客户终端向调度管理服务中心发送存储服务器查询请求;在调度管理服务中心正常运行时,客户终端接收并缓存第一地址信息,在调度管理服务中心异常运行时,客户终端可以从缓存的第一地址信息中选择第一地址信息;并向该第一地址信息对应的存储服务器发送资源请求;该存储服务器为该目标数据分配存储单元,并由该存储服务器生成目标数据的存储资源信息;该客户终端可以继续向该存储服务器发送数据存储请求,存储服务器在接收到客户终端发送数据存储请求之后,根据目标数据的属性信息,生成数据索引信息,并将该目标数据存储到为其分配的存储单元中。应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心的故障的敏感程度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种应用于数据云存储系统中的客户终端的数据存储方法的流程示意图;
图2为本发明实施例提供的一种应用于数据云存储系统中的客户终端的数据访问方法的流程示意图;
图3为本发明实施例提供的另一种应用于数据云存储系统中的客户终端的数据访问方法的流程示意图;
图4为本发明实施例提供的一种应用于数据云存储系统中的存储服务器的数据存储方法的流程示意图;
图5为本发明实施例提供的一种应用于数据云存储系统中的存储服务器的数据访问方法的流程示意图;
图6为本发明实施例提供的另一种应用于数据云存储系统中的存储服务器的数据访问方法的流程示意图;
图7为本发明实施例提供的一种应用于数据云存储系统的客户终端的结构示意图;
图8为本发明实施例提供的另一种应用于数据云存储系统的客户终端的结构示意图;
图9为本发明实施例提供的一种应用于数据云存储系统中的存储服务器的存储服务器的结构示意图;
图10为本发明实施例提供的一种应用于数据云存储系统中的存储服务器的存储服务器的结构示意图;
图11为本发明实施例提供的一种应用于数据云存储系统的数据存储方法的流程示意图;
图12为本发明实施例提供的一种应用于数据云存储系统的数据访问方法的流程示意图;
图13为本发明实施例提供的另一种应用于数据云存储系统的数据访问方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种应用于数据云存储系统中的客户终端的数据存储方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该数据存储方法可以包括以下步骤:
步骤S101:向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求。
这里提及的“调度管理服务中心”,可以是由一台调度管理服务器搭建构成的,也可以是由多台调度管理服务器构成的一个集群来实现的,等等。本发明不需要对调度管理服务中心的具体搭建形式进行限定,本领域内的技术人员需要根据具体情况进行合理的设置。
需要说明的是,客户终端发送的包含目标数据的标识的存储服务器查询请求,是为了获得针对该目标数据的存储、访问(查询或下载)而分配的存储服务器的第一地址信息,该第一地址信息可以是存储服务器的IP地址或域名信息,等等。当然,本发明实施例不需要对该第一地址信息的具体形式进行限定,任何可能的实现方式均可以应用于本发明,本领域内的技术人员需要根据实际应用情况进行设置。
在本发明的一种具体实现方式中,调度管理服务中心可以进一步根据每个存储服务器上报的硬件资源信息(例如,存储服务器的CPU使用情况、内存大小,等等)和存储资源信息,确定各个存储服务器的使用状态。
具体的,调度管理服务器可以根据先每个存储服务器上报的存储服务器的CUP使用情况和内存大小,确定该存储服务器的硬件是否能够支持存储更多的数据。然后再根据能够支持存储更多的数据的各个存储服务器的存储资源信息,确定各个存储服务器的使用状态。
在本发明的一种具体实施例中,在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储该目标数据的存储服务器,并存储该目标数据的标识及其所在存储服务器的节点信息。
步骤S102:在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息。
在本发明的一种具体实施例中,若在向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求后,接收到调度管理服务中心发送的自身故障信息或检测到与调度管理服务中心之间的网络连接异常,则判定调度管理服务中心异常运行。
需要说明的是,调度管理服务中心处于异常运行状态,可以包括以下两类情况:第一类,调度管理服务中心与客户终端之间的网络连接正常,但是,调度管理服务中心自身出现故障,确定该种情况下调度管理服务中心处于异常运行状态;第二类,调度管理服务中心与客户终端之间的网络连接异常,此时,不管调度管理服务中心自身是否出现故障,均确定该种情况下调度管理服务中心处于异常运行状态。本发明实施例不需要对调度管理服务中心异常运行的具体情况进行限定。
步骤S103:向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据该资源请求,生成该目标数据的数据索引信息和存储资源信息,该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应。
这里提到的“存储资源信息”是指目标数据的标识与第一地址信息对应的存储服务器中用于存储该目标数据的存储单元的对应关系。在目标数据的查询与下载过程中,存储服务器可以根据该存储资源信息,确定出用于存储该目标数据的存储单元。
步骤S104:收到存储服务器反馈的资源请求响应后,向第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得该存储服务器根据该目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
由此可见,应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图2为本发明实施例提供的一种应用于数据云存储系统中的客户终端的数据访问方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该数据访问方法可以包括以下步骤:
步骤S201:向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求。
步骤S202:在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息。
步骤S203:向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得存储服务器根据该目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将该第二地址信息返回给客户终端。
由此可见,应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图3为本发明实施例提供的另一种应用于数据云存储系统中的客户终端的数据访问方法的流程示意图,在图2所示方法实施例基础之上,还可以包括以下步骤:
步骤S204:向第一地址信息对应的存储服务器发送包含目标数据的标识和该第二地址信息的数据下载请求;使得该存储服务器根据该目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息;
步骤S205:根据查找到的数据索引信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
由此可见,应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图4为本发明实施例提供的一种应用于数据云存储系统中的存储服务器的数据存储方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该存储服务器与调度管理服务中心通信连接,该存储服务器与客户终端通信连接,该客户终端与调度管理服务中心通信连接。
具体的,该数据存储方法可以包括以下步骤:
步骤S301:接收客户终端发送的包含目标数据的标识的资源请求。
步骤S302:根据该资源请求为该目标数据分配存储单元,生成该目标数据的存储资源信息;该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息。
步骤S303:向客户终端反馈资源请求响应,以使得客户终端收到该资源请求响应后,向该第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求。
步骤S304:根据目标数据的属性信息,生成该目标数据的数据索引信息。
具体的,目标数据的属性信息可以是目标数据的时间戳,等等,本发明并不对目标数据的属性信息进行限定。
步骤S305:根据该目标数据的存储资源信息,将目标数据存储到该第二地址信息对应的存储单元中。
其中,所说的目标数据可以包括:视频流数据或视频文件数据。
在本发明的一种具体实现方式中,当该目标数据为监控系统的视频流数据时,所说的目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所说的生成的目标数据的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储该视频流数据的存储单元的对应关系;
所说的生成的目标数据的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系。
其中,关键视频帧的时间点可以包括以下两种情况:
(1)关键视频帧的编码时间戳。通常,视频流数据中的关键视频帧携带一个编码时间戳,因此,当存储服务器对该视频流数据进行视频解码时能够解码得到该编码时间戳的情况下,将该时间戳记录为关键视频帧的时间点。
(2)关键视频帧的存储时间点。当存储服务器对该视频流数据进行视频解码时无法提取到该编码时间戳的情况下,可以将存储该关键视频帧的时间点确定为关键视频帧的时间点。
需要说明的是,上述仅仅是对关键视频帧的时间点的具体情况的举例,本发明实施例不需要对如何确定该关键视频帧的时间点的具体方式进行限定,任何可能的实现方式均可以应用于本发明,本领域内的技术人员需要根据实际应用中的具体情况进行合理的设置。
具体的,根据该目标数据的存储资源信息,将目标数据存储到为其分配的存储单元中,可以包括以下步骤:
(1)获取客户终端发送的资源请求中所包含的视频流数据对应的视频编码器的唯一ID;
(2)根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储该视频流数据的存储单元;
(3)将该目标数据存储至确定出的存储服务器的存储单元中。
进一步的,图4中所示的数据存储方法可以包括:将存储资源信息发送给调度管理服务中心,使得调度管理服务中心根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状态,并在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储该目标数据的存储服务器,并存储该目标数据的标识及其所在存储服务器的节点信息。
由此可见,应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图5为本发明实施例提供的一种应用于数据云存储系统中的存储服务器的数据访问方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该存储服务器与调度管理服务中心通信连接,该存储服务器与客户终端通信连接,该客户终端与调度管理服务中心通信连接。
具体的,该数据访问方法可以包括以下步骤:
步骤S401:接收客户终端发送的包含目标数据的标识的数据查询请求。
步骤S402:根据该目标数据的标识,查找到该目标数据的存储资源信息;该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息。
步骤S403:根据查找到的存储资源信息,确定存储该目标数据的存储单元。
步骤S404:将存储该目标数据的存储单元的第二地址信息返回给客户终端。
其中,所说的目标数据包括:视频流数据或视频文件数据。
在本发明的一种具体实现方式中,当该目标数据为监控系统的视频流数据时,该目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所说的查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储该视频流数据的存储单元的对应关系;
具体的,根据查找到的存储资源信息,确定存储该目标数据的存储单元,可以包括:
(1)获取客户终端发送的数据查找请求中所包含的视频流数据对应的视频编码器的唯一ID;
(2)根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储该视频流数据的存储单元。
由此可见,应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图6为本发明实施例提供的另一种应用于数据云存储系统中的存储服务器的数据访问方法的流程示意图,在图5所示方法实施例基础之上,还可以包括以下步骤:
步骤S405:接收客户终端发送的包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;
步骤S406:根据该目标数据的标识,查找到该目标数据的数据索引信息;根据查找到的数据索引信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
其中,所说的目标数据包括:视频流数据或视频文件数据。
在本发明的一种具体实现方式中,当该目标数据为监控系统的视频流数据时,该目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所说的查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储该视频流数据的存储单元的对应关系;
所说的查找到的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系;
具体的,根据查找到的数据索引信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端,可以包括:
(1)获取客户终端发送的数据下载请求中所包含的视频流数据对应的视频编码器的唯一ID;
(2)根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储该视频流数据的存储单元;
(3)根据视频编码器的唯一ID与视频数流数据中关键视频帧的时间点的对应关系,获得该目标数据在所确定出的存储单元内的时间偏移量,根据该时间偏移量,获取待下载的目标数据,并将该目标数据返回给客户终端。
由此可见,应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图7为本发明实施例提供的一种应用于数据云存储系统的客户终端的结构示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该客户终端可以包括:通信接口501和处理器502。
其中,通信接口501,用于与调度管理服务中心和各个存储服务器进行网络通信;
处理器502,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的该第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据该资源请求,生成该目标数据的数据索引信息和存储资源信息,该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应;收到存储服务器反馈的资源请求响应后,向该第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得该存储服务器根据该目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
图8为本发明实施例提供的另一种应用于数据云存储系统的客户终端的结构示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该客户终端可以包括:通信接口601和处理器602。
其中,通信接口601,用于与调度管理服务中心和各个存储服务器进行网络通信;
处理器602,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得该存储服务器根据该目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将该第二地址信息返回给客户终端。
在本发明的一种具体实现方式中,处理器602进一步向第一地址信息对应的存储服务器发送包含目标数据的标识和该第二地址信息的数据下载请求;使得该存储服务器根据该目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息;根据查找到的数据索引信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
图9为本发明实施例提供的一种应用于数据云存储系统中的存储服务器的存储服务器的结构示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该存储服务器与调度管理服务中心通信连接,该存储服务器与客户终端通信连接,该客户终端与调度管理服务中心通信连接。
具体的,该存储服务器可以包括:存储器701、通信接口702和处理器703。
存储器701,包含多个存储单元,用于存储数据;
通信接口702,用于与各个客户终端进行网络通信;
处理器703,用于接收客户终端发送的包含目标数据的标识的资源请求;
根据该资源请求为该目标数据分配存储单元,生成该目标数据的存储资源信息;该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;向客户终端反馈资源请求响应,以使得客户终端收到该资源请求响应后,向该第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;根据目标数据的属性信息,生成该目标数据的数据索引信息;根据该目标数据的存储资源信息,将目标数据存储到该第二地址信息对应的存储单元中。
图10为本发明实施例提供的一种应用于数据云存储系统中的存储服务器的存储服务器的结构示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该存储服务器与调度管理服务中心通信连接,该存储服务器与客户终端通信连接,该客户终端与调度管理服务中心通信连接。
具体的,该存储服务器可以包括:存储器801、通信接口802和处理器803
存储器801,包含多个存储单元,用于存储数据;
通信接口802,用于与各个客户终端进行网络通信;
处理器803,用于接收客户终端发送的包含目标数据的标识的数据查询请求;根据该目标数据的标识,查找到该目标数据的存储资源信息;该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;根据查找到的存储资源信息,确定存储该目标数据的存储单元;将存储该目标数据的存储单元的第二地址信息返回给客户终端。
在本发明的一种具体实现方式中,该通信接口802进一步与调度管理服务中心进行网络通信,将处理器803生成的硬件资源信息和存储资源信息上报给调度管理服务中心。
在本发明的一种具体实现方式中,该处理器803,进一步接收客户终端发送的包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;根据该目标数据的标识,查找到该目标数据的数据索引信息;根据查找到的数据索引信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
由此可见,应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图11为本发明实施例提供的一种应用于数据云存储系统的数据存储方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该数据存储方法可以包括以下步骤:
步骤S901:客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求。
步骤S902:在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;并缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端从缓存的该第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息。
步骤S903:客户终端向第一地址信息对应的存储服务器发送资源请求。
步骤S904:存储服务器根据该资源请求,生成该目标数据的数据索引信息和存储资源信息,该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息。
需要说明的是,这里提及的第二地址信息可以是存储单元在该存储服务器中的物理地址,客户终端可以根据接收到的第二地址信息生成针对目标数据的查询路径,客户终端可以将生成的该查询路径输出给用户,以供用户基于该查询路径来进行数据下载。
步骤S905:存储服务器向客户终端反馈资源请求响应。
步骤S906:客户终端收到存储服务器反馈的资源请求响应后,向该第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求。
步骤S907:存储服务器根据该目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
在本发明的一种具体实现方式中,该调度管理服务中心,进一步根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状态;在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储该目标数据的存储服务器,并存储该目标数据的标识及其所在存储服务器的节点信息。
由此可见,应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
图12为本发明实施例提供的一种应用于数据云存储系统的数据访问方法的流程示意图,该数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,该客户终端与调度管理服务中心通信连接,该客户终端与多个存储服务器通信连接,该调度管理服务中心与多个存储服务器通信连接。
具体的,该数据访问方法可以包括以下步骤:
步骤S1101:客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求。
步骤S1102:在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储该目标数据的存储服务器的第一地址信息;并缓存该目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息。
步骤S1103:客户终端向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求。
步骤S1104:存储服务器根据该目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,该存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息。
步骤S1105:存储服务器将该第二地址信息返回给客户终端。
图13为本发明实施例提供的另一种应用于数据云存储系统的数据访问方法的流程示意图,在图12所示方法实施例基础之上,还可以包括以下步骤:
步骤S1106:该客户终端向该存储服务器发送包含目标数据的标识和经查询获得的第二地址信息的数据下载请求。
步骤S1107:该存储服务器根据该目标数据的标识,查找到该目标数据的数据索引信息;并根据查找到的数据索引信息和该第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
由此可见,应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
下面结合具体实施例,对本发明实施例中的数据存储、查询和下载方法进行详细描述。
假设:视频监控系统中,针对视频采集摄像头,配置有5个视频编码器EC1、EC2、EC3、EC4和EC5,并且将视频编码器的唯一ID(即:ID1、ID2、ID3、ID4、ID5)分别作为各个视频编码器所处理的视频流数据的标识。
假设:数据云存储系统中,包括1个调度管理服务中心、3个存储管理服务器S1、S2、S3和1个客户终端,其中,每个存储服务器中均包含10个存储单元,且每个存储单元允许存储时长为10分钟的监控视频,分别标记为:U10至U19、U20至U29、U30至U39
实施例一:数据存储过程
客户终端向调度管理服务中心发送一个包含视频流数据的标识ID3的存储服务器查询请求Q1
调度管理服务中心接收到客户终端发送的存储服务器查询请求Q1,根据各个存储服务器上报的已存储数据的标识及所在存储服务器的节点信息,获得用于存储标识为ID3目标数据的存储服务器S1的第一地址信息Index1,将Index1发送给客户终端;
客户终端接收到调度管理服务中心发送的第一地址信息Index1后,向第一地址信息对应的存储服务器发送包含目标数据的标识的资源请求Q2
假设,待存储的目标视频为上午9:00至上午10:00的监控视频,存储服务器S1接收客户终端发送的资源请求Q2;根据该资源请求Q2为该目标数据分配存储单元,U11至U17,生成该目标数据的存储资源信息Index11至Index17
存储服务器S1向客户终端反馈资源请求响应;
客户终端在收到存储服务器S1反馈的资源请求响应后,向该第一地址信息Index1对应的存储服务器S1发送数据存储请求;
存储服务器S1根据目标数据的属性信息,生成该目标数据的数据索引信息,且该数据索引信息中所记录的关键视频帧为每秒1帧,即1秒记录一个关键视频帧的时间戳;
存储服务器S1根据该目标数据的存储资源信息,将目标数据存储到为其分配的存储单元U11至U17中。
实施例二:数据访问过程
客户终端向调度管理服务中心发送包含视频流数据的标识ID3的存储服务器查询请求Q3
在预定时间内500微秒内未接收到该调度管理服务中心返回的第一地址信息Index1,确定该调度管理服务中心为异常运行,从客户终端缓存的第一地址信息中,选择用于存储该视频流数据的存储服务器S1的第一地址信息Index1
根据获得的该第一地址信息Index1,客户终端向第一地址信息对应的存储服务器S1发送包含目标数据的标识的数据查询请求Q4
存储服务器S1根据该视频流数据的标识ID3,查找到该视频流数据的存储资源信息Index11至Index17,根据查找到的存储资源信息,确定存储该目标数据的存储单元为U11至U17
存储服务器S1将存储该目标数据的存储单元的第二地址信息返回给客户终端;
进一步的,客户终端接收到存储服务器S1发送数据下载请求Q5;假设该数据下载请求为:下载上午9:18分至上午9:20分拍摄的监控视频;
存储服务器S1根据该视频流数据的标识ID3,查找到该视频流数据的数据索引信息;根据第二地址信息,确定存储该目标数据的存储单元为U12,根据查找到的数据索引信息中记录的关键视频帧的时间戳,获得视频流数据的存储单元内的时间偏移量,在存储该目标数据的存储单元U12中,定位到该目标数据,从而获得存储单元U12所存储的该目标数据;
存储服务器将获取的目标数据返回给客户终端。
由此可见,应用本发明实施例,能够在调度管理服务中心出现故障时保障其能够继续进行数据存储、数据查询和数据下载,因此降低了该数据云存储系统对调度管理服务中心故障的敏感程度。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (16)

1.一种数据存储方法,其特征在于,应用于数据云存储系统中的客户终端,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,该方法包括:
向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;
向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应;
收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得所述存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
2.根据权利要求1所述的数据存储方法,其特征在于:
若在向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求后,接收到调度管理服务中心发送的自身故障信息或检测到与调度管理服务中心之间的网络连接异常,则判定调度管理服务中心异常运行。
3.一种数据访问方法,其特征在于,应用于数据云存储系统中的客户终端,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,该方法包括:
向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;
向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得所述存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将所述第二地址信息返回给客户终端。
4.根据权利要求3所述的方法,其特征在于,还包括:
向第一地址信息对应的存储服务器发送包含目标数据的标识和所述第二地址信息的数据下载请求;使得所述存储服务器根据所述目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息;
根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
5.一种数据存储方法,其特征在于,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
接收客户终端发送的包含目标数据的标识的资源请求;
根据所述资源请求为该目标数据分配存储单元,生成所述目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
向客户终端反馈资源请求响应,以使得客户终端收到所述资源请求响应后,向第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;
根据目标数据的属性信息,生成所述目标数据的数据索引信息;
根据所述目标数据的存储资源信息,将目标数据存储到所述第二地址信息对应的存储单元中;
所述目标数据包括:视频流数据或视频文件数据;
当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所述生成的目标数据的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
所述生成的目标数据的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系;
所述根据所述目标数据的存储资源信息,将目标数据存储到为其分配的存储单元中,包括:获取客户终端发送的资源请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元;将所述目标数据存储至确定出的存储服务器的存储单元中。
6.根据权利要求5所述的方法,其特征在于,进一步包括:将存储资源信息发送给调度管理服务中心,使得调度管理服务中心根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状态,并在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储所述目标数据的存储服务器,并存储所述目标数据的标识及其所在存储服务器的节点信息。
7.一种数据访问方法,其特征在于,应用于数据云存储系统中的存储服务器,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述存储服务器与所述调度管理服务中心通信连接,所述存储服务器与所述客户终端通信连接,所述客户终端与所述调度管理服务中心通信连接,包括:
接收客户终端发送的包含目标数据的标识的数据查询请求;
根据所述目标数据的标识,查找到该目标数据的存储资源信息;所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
根据查找到的存储资源信息,确定存储该目标数据的存储单元;
将存储该目标数据的存储单元的第二地址信息返回给客户终端;
所述目标数据包括:视频流数据或视频文件数据;
当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所述查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
所述根据查找到的存储资源信息,确定存储该目标数据的存储单元,包括:获取客户终端发送的数据查找请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元。
8.根据权利要求7所述的方法,其特征在于,还包括:
接收客户终端发送的包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;
根据所述目标数据的标识,查找到该目标数据的数据索引信息;根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
9.根据权利要求8所述的方法,其特征在于,当所述目标数据为监控系统的视频流数据时,所述目标数据的标识为对视频流数据进行编码的视频编码器的唯一ID;
所述查找到的存储资源信息,至少包括视频编码器的唯一ID与第一地址信息对应的存储服务器中的用于存储所述视频流数据的存储单元的对应关系;
所述查找到的数据索引信息,至少包括视频编码器的唯一ID与视频流数据中关键视频帧的时间点的对应关系;
所述根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端,包括:获取客户终端发送的数据下载请求中所包含的视频流数据对应的视频编码器的唯一ID;根据视频编码器的唯一ID与第一地址信息对应的存储服务器中的存储单元的对应关系,确定用于存储所述视频流数据的存储单元;根据视频编码器的唯一ID与视频数流数据中关键视频帧的时间点的对应关系,获得所述目标数据在所确定出的存储单元内的时间偏移量,根据该时间偏移量,获取待下载的目标数据,并将该目标数据返回给客户终端。
10.一种客户终端,其特征在于,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
通信接口,用于与调度管理服务中心和各个存储服务器进行网络通信;
处理器,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;向第一地址信息对应的存储服务器发送资源请求;使得该存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息,并向客户终端反馈资源请求响应;收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求,使得所述存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
11.一种客户终端,其特征在于,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
通信接口,用于与调度管理服务中心和各个存储服务器进行网络通信;
处理器,用于向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;在调度管理服务中心正常运行时,接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;使得所述存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;将所述第二地址信息返回给客户终端。
12.根据权利要求11所述的客户终端,其特征在于:
所述的处理器,进一步向第一地址信息对应的存储服务器发送包含目标数据的标识和所述第二地址信息的数据下载请求;使得所述存储服务器根据所述目标数据的标识,查找到在存储该目标数据过程中生成的数据索引信息;根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
13.一种数据存储方法,其特征在于,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;并缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端从缓存的所述第一地址信息中,选择用于存储目标数据的存储服务器的第一地址信息;
客户终端向第一地址信息对应的存储服务器发送资源请求;
存储服务器根据所述资源请求,生成该目标数据的数据索引信息和存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
存储服务器向客户终端反馈资源请求响应;
客户终端收到存储服务器反馈的资源请求响应后,向所述第一地址信息对应的存储服务器发送包含待存储的目标数据的数据存储请求;
存储服务器根据所述目标数据的存储资源信息,将目标数据存储到第二地址信息对应的存储单元中。
14.根据权利要求13所述的数据存储方法,其特征在于,
所述调度管理服务中心,进一步根据每个存储服务器上报的硬件资源信息和存储资源信息,确定各个存储服务器的使用状态;在接收的存储服务器查询请求中的目标数据为未存储数据时,根据各个存储服务器的使用状态,分配用于存储所述目标数据的存储服务器,并存储所述目标数据的标识及其所在存储服务器的节点信息。
15.一种数据访问方法,其特征在于,应用于数据云存储系统,所述数据云存储系统包括一个调度管理服务中心、多个存储服务器和多个客户终端,所述客户终端与所述调度管理服务中心通信连接,所述客户终端与所述多个存储服务器通信连接,所述调度管理服务中心与所述多个存储服务器通信连接,包括:
客户终端向调度管理服务中心发送包含目标数据的标识的存储服务器查询请求;
在调度管理服务中心正常运行时,客户终端接收调度管理服务中心发送的用于存储所述目标数据的存储服务器的第一地址信息;并缓存所述目标数据的标识及对应的第一地址信息;在调度管理服务中心异常运行时,客户终端根据目标数据的标识,查找到缓存的该目标数据对应的第一地址信息;
客户终端向第一地址信息对应的存储服务器发送包含目标数据的标识的数据查询请求;
存储服务器根据所述目标数据的标识,查找到该目标数据存储过程中生成的存储资源信息,所述存储资源信息包含目标数据的标识和用于存储该目标数据的存储单元的第二地址信息;
存储服务器将所述第二地址信息返回给客户终端。
16.根据权利要求15所述的方法,其特征在于,
所述客户终端向所述存储服务器发送包含目标数据的标识和经查询获得的第二地址信息的数据下载请求;
所述存储服务器根据所述目标数据的标识,查找到该目标数据的数据索引信息;并根据查找到的数据索引信息和所述第二地址信息,在存储该目标数据的存储单元中,获取目标数据返回给客户终端。
CN201510883969.2A 2015-12-03 2015-12-03 一种数据云存储系统、客户终端、存储服务器及应用方法 Active CN106850710B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510883969.2A CN106850710B (zh) 2015-12-03 2015-12-03 一种数据云存储系统、客户终端、存储服务器及应用方法
PCT/CN2016/096344 WO2017092414A1 (zh) 2015-12-03 2016-08-23 一种数据云存储系统、客户终端、存储服务器及应用方法
EP16869725.8A EP3386168B1 (en) 2015-12-03 2016-08-23 Data cloud storage methods, client terminal and data storage server
US15/781,312 US10623516B2 (en) 2015-12-03 2016-08-23 Data cloud storage system, client terminal, storage server and application method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510883969.2A CN106850710B (zh) 2015-12-03 2015-12-03 一种数据云存储系统、客户终端、存储服务器及应用方法

Publications (2)

Publication Number Publication Date
CN106850710A CN106850710A (zh) 2017-06-13
CN106850710B true CN106850710B (zh) 2020-02-28

Family

ID=58796099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510883969.2A Active CN106850710B (zh) 2015-12-03 2015-12-03 一种数据云存储系统、客户终端、存储服务器及应用方法

Country Status (4)

Country Link
US (1) US10623516B2 (zh)
EP (1) EP3386168B1 (zh)
CN (1) CN106850710B (zh)
WO (1) WO2017092414A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107395732A (zh) * 2017-07-29 2017-11-24 安徽云帮邦网络技术有限公司 一种企业数据存储查询云平台
CN109391647B (zh) * 2017-08-04 2021-08-17 杭州海康威视系统技术有限公司 存储资源回收方法、装置及系统
CN109600410B (zh) * 2017-09-30 2021-11-09 杭州海康威视数字技术股份有限公司 数据存储系统以及方法
CN108156040A (zh) * 2018-01-30 2018-06-12 北京交通大学 一种分布式云存储系统中的中央控制节点
CN110417838A (zh) * 2018-04-28 2019-11-05 华为技术有限公司 一种数据同步方法及同步服务设备
CN111221781B (zh) * 2018-11-27 2023-05-02 杭州海康威视系统技术有限公司 一种数据查找方法、装置、电子设备及系统
CN111367905B (zh) * 2018-12-26 2023-10-10 杭州海康威视系统技术有限公司 对象数据存储、数据索引构建方法、装置及接入服务器
CN110290171A (zh) * 2019-05-15 2019-09-27 陈菡 一种数据管理方法及装置、电子设备
CN112114738B (zh) * 2019-06-20 2024-02-20 杭州海康威视数字技术股份有限公司 一种存储数据的方法及存储设备
CN110908809A (zh) * 2019-10-28 2020-03-24 苏宁云计算有限公司 一种查询服务的调用方法及装置
CN111741077B (zh) * 2020-05-29 2022-10-11 北京百度网讯科技有限公司 网络服务的调度方法、装置、电子设备以及存储介质
CN113923256B (zh) * 2020-06-22 2024-05-03 北京金山云网络技术有限公司 一种数据源管理方法、装置、服务器及系统
CN112162951A (zh) * 2020-09-25 2021-01-01 深圳前海微众银行股份有限公司 一种信息检索方法、服务器及存储介质
CN112492345B (zh) * 2020-11-25 2023-03-24 深圳创维数字技术有限公司 音视频存储方法、系统、终端和计算机可读存储介质
US11375286B1 (en) * 2020-12-30 2022-06-28 Western Digital Technologies, Inc. Pre-fetch of data using seek intervals
CN114765616B (zh) * 2021-01-14 2023-09-05 新奥新智科技有限公司 基于云储存关联的联合学习框架
CN113259700A (zh) * 2021-05-17 2021-08-13 青岛海信移动通信技术股份有限公司 管理设备、服务器、视频存储方法及系统
CN113467891B (zh) * 2021-07-12 2022-03-15 腾讯科技(深圳)有限公司 服务处理方法、装置及存储介质
CN113742132B (zh) * 2021-07-28 2023-08-11 苏州浪潮智能科技有限公司 一种存储系统故障修复方法及装置
CN113660168B (zh) * 2021-10-19 2021-12-31 上海柯林布瑞信息技术有限公司 一种多中心研究数据的处理方法、装置和服务器
CN114827674B (zh) * 2022-03-30 2023-09-05 北京奇艺世纪科技有限公司 一种网络资源显示方法、装置及系统
CN115297140B (zh) * 2022-07-26 2024-04-12 广东海顿供热技术有限公司 一种溯源云端产品生产信息的系统、方法及智能设备
CN115086421B (zh) * 2022-08-22 2022-11-18 广东电网有限责任公司广州供电局 一种分布式优化的多智能代理协作方法及相关设备
CN116760850B (zh) * 2023-08-17 2024-01-12 浪潮电子信息产业股份有限公司 一种数据处理方法、装置、设备、介质及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130959A (zh) * 2011-03-22 2011-07-20 浪潮(北京)电子信息产业有限公司 一种实现云存储资源调度的系统及方法
CN102646072A (zh) * 2012-02-28 2012-08-22 信雅达系统工程股份有限公司 数据管理方法
CN102932266A (zh) * 2012-11-20 2013-02-13 无锡城市云计算中心有限公司 服务器流量分配的控制方法和装置
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术(北京)股份有限公司 一种分布式数据存储设备处理数据的方法及装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6625604B2 (en) * 2001-03-09 2003-09-23 Hewlett-Packard Development Company, L.P. Namespace service in a distributed file system using a database management system
JP4241577B2 (ja) * 2004-11-05 2009-03-18 ブラザー工業株式会社 サービス登録システム、サーバ、端末装置および周辺装置
JP5328472B2 (ja) * 2009-05-13 2013-10-30 キヤノン株式会社 ネットワーク通信装置及び方法とプログラム
WO2011031903A2 (en) * 2009-09-09 2011-03-17 Fusion-Io, Inc. Apparatus, system, and method for allocating storage
US9729625B1 (en) * 2010-06-30 2017-08-08 Lenovoemc Limited Personal cloud network
JP6094487B2 (ja) * 2011-09-27 2017-03-15 日本電気株式会社 情報システム、管理装置、データ処理方法、データ構造、プログラム、および記録媒体
AU2012323779A1 (en) * 2011-10-14 2014-04-17 Unitrends, Inc. Disaster recovery failover in cloud computing
JP5845877B2 (ja) * 2011-12-20 2016-01-20 富士通株式会社 情報処理装置、データ制御方法およびデータ制御プログラム
CN102857546B (zh) * 2012-03-20 2016-09-28 深圳市朗科科技股份有限公司 云存储平台和云存储终端
CN103379362B (zh) 2012-04-24 2017-07-07 腾讯科技(深圳)有限公司 视频点播方法和系统
JPWO2013172405A1 (ja) * 2012-05-17 2016-01-12 日本電気株式会社 ストレージシステムおよびデータアクセス方法
CN103678523B (zh) * 2013-11-28 2018-03-09 华为技术有限公司 分布式高速缓存cache数据访问方法和装置
CN105898207B (zh) * 2015-01-26 2019-05-10 杭州海康威视数字技术股份有限公司 视频数据的智能处理方法及系统
CN104967691B (zh) 2015-07-08 2018-06-15 浪潮(北京)电子信息产业有限公司 一种分布式存储控制方法及系统
CN107104992B (zh) * 2016-02-19 2019-11-22 杭州海康威视数字技术股份有限公司 一种视频云存储的存储资源分配方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130959A (zh) * 2011-03-22 2011-07-20 浪潮(北京)电子信息产业有限公司 一种实现云存储资源调度的系统及方法
CN102646072A (zh) * 2012-02-28 2012-08-22 信雅达系统工程股份有限公司 数据管理方法
CN102932266A (zh) * 2012-11-20 2013-02-13 无锡城市云计算中心有限公司 服务器流量分配的控制方法和装置
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术(北京)股份有限公司 一种分布式数据存储设备处理数据的方法及装置

Also Published As

Publication number Publication date
EP3386168A1 (en) 2018-10-10
US10623516B2 (en) 2020-04-14
US20180359331A1 (en) 2018-12-13
EP3386168B1 (en) 2021-03-03
CN106850710A (zh) 2017-06-13
EP3386168A4 (en) 2019-11-27
WO2017092414A1 (zh) 2017-06-08

Similar Documents

Publication Publication Date Title
CN106850710B (zh) 一种数据云存储系统、客户终端、存储服务器及应用方法
CN103856569B (zh) 一种同步域名系统资源信息的方法及设备
CN111226497B (zh) 通信网络中的服务注册
CN108696581B (zh) 分布式信息的缓存方法、装置、计算机设备以及存储介质
US8069224B2 (en) Method, equipment and system for resource acquisition
CN107872402B (zh) 全局流量调度的方法、装置及电子设备
CN106302565B (zh) 业务服务器的调度方法及系统
WO2017140131A1 (zh) 数据写入、读取方法及装置、云存储系统
CN112333249B (zh) 一种业务服务系统及方法
CN105636241B (zh) M2m节点的删除、注册方法及m2m节点
CN105959078B (zh) 一种集群时间同步方法、集群及时间同步系统
CN107229425B (zh) 一种数据存储方法及装置
US10715608B2 (en) Automatic server cluster discovery
CN103166980A (zh) 互联网数据拉取方法和系统
CN106375471A (zh) 一种边缘节点确定方法及装置
CN106230938A (zh) 一种客户端与服务器之间的目录信息同步方法及系统
CN110196780B (zh) 确定服务器状态的方法、装置、存储介质和电子装置
CN111404978B (zh) 一种数据存储方法及云存储系统
CN108509296B (zh) 一种处理设备故障的方法和系统
CN108737586A (zh) 一种域名查询服务的灾备切换方法和装置
CN113326100A (zh) 一种集群管理方法、装置、设备及计算机存储介质
CN109344202B (zh) 一种数据同步方法及管理节点
CN104618414A (zh) 一种分布式服务的实现方法、服务代理装置及分布式系统
KR101275995B1 (ko) 정보 가전의 데이터 저장 시스템 및 데이터 처리 방법
CN114860782B (zh) 数据查询方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant