CN110058784B - 存储数据的方法和装置 - Google Patents

存储数据的方法和装置 Download PDF

Info

Publication number
CN110058784B
CN110058784B CN201810047816.8A CN201810047816A CN110058784B CN 110058784 B CN110058784 B CN 110058784B CN 201810047816 A CN201810047816 A CN 201810047816A CN 110058784 B CN110058784 B CN 110058784B
Authority
CN
China
Prior art keywords
target
storage device
storage
data
device group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810047816.8A
Other languages
English (en)
Other versions
CN110058784A (zh
Inventor
王伟
林起芊
汪渭春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision System Technology Co Ltd
Original Assignee
Hangzhou Hikvision System Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision System Technology Co Ltd filed Critical Hangzhou Hikvision System Technology Co Ltd
Priority to CN201810047816.8A priority Critical patent/CN110058784B/zh
Priority to PCT/CN2019/072380 priority patent/WO2019141248A1/zh
Priority to EP19740932.9A priority patent/EP3742276B1/en
Priority to US16/963,163 priority patent/US11372567B2/en
Publication of CN110058784A publication Critical patent/CN110058784A/zh
Application granted granted Critical
Publication of CN110058784B publication Critical patent/CN110058784B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638Organizing or formatting or addressing of data
    • G06F3/064Management of blocks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G06F11/1076Parity data used in redundant arrays of independent storages, e.g. in RAID systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653Monitoring storage devices or systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0673Single storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开是关于一种存储数据的方法和装置,属于存储技术领域。所述方法包括:接收携带有目标数据的存储请求,其中,所述目标数据包括至少一个数据条带,每个数据条带包括多个数据块;在预设的多个存储设备分组中,确定用于存储所述目标数据的目标存储设备分组;对于每个数据条带,将所述数据条带中的每个数据块,分别存储在所述目标存储设备分组中的不同存储设备中。采用本公开,可以降低数据丢失的风险。

Description

存储数据的方法和装置
技术领域
本公开是关于存储技术领域,尤其是关于一种存储数据的方法和装置。
背景技术
随着存储技术的发展,越来越多的应用程序采用云存储来对大数据进行存储。为了保证数据的完整性,一般可以采用纠删码技术进行存储。
基于纠删码技术进行存储时,可以将需要存储的数据进行条带化,得到多个数据条带。每个数据条带又可以划分为N+M个数据块,其中包括N个原始数据块与M个校验数据块,M个校验数据块可以由N个原始数据块通过编码矩阵计算得到。然后,将上述N+M个数据块分别存储在不同的存储服务器的存储设备中,每个存储设备中可能会存储有多个数据条带的数据块。如果上述存储设备中,有不大于M个存储设备发生了损坏或不大于M台存储服务器宕机,对于存储有数据块在之上的数据条带来说,丢失了不大于M个的数据块,则可以通过剩余的数据块计算得到丢失的数据块,保证数据的完整性。
在实现本公开的过程中,发明人发现至少存在以下问题:
在存储系统中,所有数据都可能在每个存储设备中存储有数据条带的数据块。当不同的存储服务器之间损坏的存储设备数量大于M个或大于M台存储服务器宕机时,可能对所有数据都造成了无法恢复的损坏,从而,导致数据丢失的风险较高。
发明内容
本公开提供一种存储数据的方法和装置,可以解决监控点的视频数据丢失的风险较高的问题。所述技术方案如下:
根据本公开实施例的第一方面,提供一种存储数据的方法,所述方法包括:
接收携带有目标数据的存储请求,其中,所述目标数据包括至少一个数据条带,每个数据条带包括多个数据块;
在预设的多个存储设备分组中,确定用于存储所述目标数据的目标存储设备分组;
对于每个数据条带,将所述数据条带中的每个数据块,分别存储在所述目标存储设备分组中的不同存储设备中。
可选的,所述接收携带有目标数据的存储请求,包括:
接收到携带有目标监控点的目标数据的存储请求;
所述在预设的多个存储设备分组中,确定用于存储所述目标数据的目标存储设备分组,包括:
根据监控点与存储设备分组的对应关系,确定所述目标监控点对应的目标存储设备分组。
可选的,所述根据监控点与存储设备分组的对应关系,确定所述目标监控点对应的目标存储设备分组,包括:
查询已存储的监控点与存储设备分组的对应关系中是否存在所述目标监控点与其对应的存储设备分组的目标对应关系;
如果存在所述目标对应关系,则根据所述目标对应关系,确定所述目标监控点对应的目标存储设备分组;
所述方法还包括:
如果不存在所述目标对应关系,则根据各个存储设备分组对应的监控点数目,确定所述目标监控点对应的目标存储设备分组,在所述监控点与存储设备分组的对应关系中,存储所述目标监控点与所述目标存储设备分组的目标对应关系。
可选的,所述接收到携带有目标监控点的目标数据条带的存储请求之前,还包括:
基于预设的规则,对所有存储设备进行分组,得到多个存储设备分组;
建立并存储监控点与存储设备分组的对应关系。
可选的,所述基于预设的规则,对所有存储设备进行分组,得到多个存储设备分组,包括:
将每个存储服务器中相同槽位号的所有存储设备划分为一个存储设备分组,得到多个存储设备分组;或
将第一预设数目个存储服务器中的所有存储设备划分为一个存储设备分组,得到多个存储设备分组;
将第二预设数目个存储服务器中相同槽位号的各存储设备划分为一个存储设备分组,得到多个存储设备分组。
可选的,所述将所述目标数据条带中的每个数据块分别存储在目标存储设备分组中的不同存储设备中之后,还包括:
记录存储每个数据块的存储设备,得到数据块与存储设备的对应关系。
可选的,所述记录存储每个数据块的存储设备,得到数据块与存储设备的对应关系之后,还包括:
接收对应发生损坏的目标存储设备的数据恢复请求;
根据所述数据块与存储设备的对应关系,确定所述目标存储设备对应的发生损坏的目标数据块;
根据所述目标数据块所属的目标数据条带中除所述目标数据块之外的其它数据块,恢复所述目标数据块,将恢复得到的目标数据块存储在更换的存储设备中。
根据本公开实施例的第二方面,提供一种存储数据的装置,所述装置包括:
第一接收模块,用于接收携带有目标数据的存储请求,其中,所述目标数据包括至少一个数据条带,每个数据条带包括多个数据块;
第一确定模块,用于在预设的多个存储设备分组中,确定用于存储所述目标数据的目标存储设备分组;
存储模块,用于对于每个数据条带,将所述数据条带中的每个数据块,分别存储在所述目标存储设备分组中的不同存储设备中。
可选的,第一接收模块用于:
接收到携带有目标监控点的目标数据的存储请求;
第一确定模块用于:
根据监控点与存储设备分组的对应关系,确定所述目标监控点对应的目标存储设备分组。
可选的,所述第一确定模块用于:
查询已存储的监控点与存储设备分组的对应关系中是否存在所述目标监控点与其对应的存储设备分组的目标对应关系;
如果存在所述目标对应关系,则根据所述目标对应关系,确定所述目标监控点对应的目标存储设备分组;
如果不存在所述目标对应关系,则根据各个存储设备分组对应的监控点数目,确定所述目标监控点对应的目标存储设备分组,在所述监控点与存储设备分组的对应关系中,存储所述目标监控点与所述目标存储设备分组的目标对应关系。
可选的,所述装置还包括:
分组模块,用于基于预设的规则,对所有存储设备进行分组,得到多个存储设备分组;
建立模块,用于建立并存储监控点与存储设备分组的对应关系。
可选的,所述分组模块用于:
将每个存储服务器中相同槽位号的所有存储设备划分为一个存储设备分组,得到多个存储设备分组;或
将第一预设数目个存储服务器中的所有存储设备划分为一个存储设备分组,得到多个存储设备分组;或
将第二预设数目个存储服务器中相同槽位号的各存储设备划分为一个存储设备分组,得到多个存储设备分组。
可选的,所述装置还包括:
记录模块,用于记录存储每个数据块的存储设备,得到数据块与存储设备的对应关系。
可选的,所述装置还包括:
第二接收模块,用于接收对应发生损坏的目标存储设备的数据恢复请求;
第二确定模块,用于根据所述数据块与存储设备的对应关系,确定所述目标存储设备对应的发生损坏的目标数据块;
恢复模块,用于根据所述目标数据块所属的目标数据条带中除所述目标数据块之外的其它数据块,恢复所述目标数据块,将恢复得到的目标数据块存储在更换的存储设备中。
根据本公开实施例的第三方面,提供一种管理服务器,所述管理服务器包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如第一方面所述的存储数据的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如第一方面所述的存储数据的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,管理服务器接收携带有目标数据的存储请求,可以在预设的多个存储设备分组中,确定用于存储目标数据的目标存储设备分组,对于每个数据条带,将数据条带中的每个数据块,分别存储在目标存储设备分组中的不同存储设备中。这样,只有当一个存储设备分组中的损坏的存储设备数量超过校验数据块的数目时才会对数据造成影响,而不是整个存储系统的损坏的存储设备数量超过校验数据块的数目就会对数据造成影响,从而,降低了数据丢失的风险。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。在附图中:
图1是根据一示例性实施例示出的一种存储数据方法的流程图;
图2是根据一示例性实施例示出的一种存储设备分组示意图;
图3是根据一示例性实施例示出的一种存储设备分组示意图;
图4是根据一示例性实施例示出的一种存储设备分组示意图;
图5是根据一示例性实施例示出的一种存储数据装置的示意图;
图6是根据一示例性实施例示出的一种存储数据装置的示意图;
图7是根据一示例性实施例示出的一种存储数据装置的示意图;
图8是根据一示例性实施例示出的一种存储数据装置的示意图;
图9是根据一示例性实施例示出的一种管理服务器的结构示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开一示例性实施例提供了一种存储数据的方法,该方法可以由管理服务器实现。
管理服务器可以包括处理器、存储器、收发器等部件。处理器,可以为CPU(CentralProcessing Unit,中央处理单元)等,可以用于划分存储设备分组、恢复数据块等处理。存储器,可以为RAM(Random Access Memory,随机存取存储器),Flash(闪存)等,可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等,如监控点的视频数据、监控点与存储设备分组的对应关系、数据块与存储设备的对应关系等。收发器,可以用于与终端或其它服务器(如存储服务器)进行数据传输,收发器可以包括天线、匹配电路、调制解调器等。
存储设备可以是磁盘、iSCSI/FC块设备、NAS卷等,可以安装在存储服务器上,此处不作限定。
如图1所示,该方法的处理流程可以包括如下的步骤:
在步骤101中,接收携带有目标数据的存储请求。
其中,目标数据包括至少一个数据条带,每个数据条带包括多个数据块。
在一种可行的实施方式中,存储系统可能会接收到各种数据并进行存储,例如,各个用户的图片数据、视频数据、信息数据等。当存在需要存储的目标数据时,存储系统的管理服务器可以接收到携带有目标数据的存储请求。
在一种可行的实施例中,接收到的数据可能是监控点的视频数据,相应的处理可以如下:接收到携带有目标监控点的目标数据的存储请求。
在城市之中有许多监控点每时每刻都在录制安防视频,这就意味着,安防视频的数据量庞大,需要合理的存储方案。本实施例以基于纠删码的存储方案为例,每个监控点的视频都可以分割成片段,得到多个原始数据块。然后,可以通过编码矩阵,分别对每N个原始数据块计算M个校验数据块。该编码矩阵可以是范德蒙德矩阵或柯西矩阵,此处不作限定。一般来说,可以将上述N个原始数据块和M个校验数据块作为一组数据,即可以将上述N+M个数据块作为一个数据条带,数据条带是一个逻辑单元。一个数据条带可以有4+1个数据块(即4个原始数据块,1个校验数据块),或者8+2个数据块(即8个原始数据块,2个校验数据块),此处不作限定。
监控点可以安装有摄像头,在录制安防视频的过程中,可以将视频数据缓存在摄像头的存储介质或中介的服务器中。录制了一段时间后,可以将缓存的视频数据,通过上述过程进行编码后划分为多个条带。进而,可以向管理服务器发送存储请求,该存储请求中可以携带有该监控点的各个条带。后文将以一个条带的存储为例,其它条带的存储与之相同或相类似,后文将不再赘述。
可选的,在对条带进行存储之前,可以预先对存储服务器的存储设备进行分组,相应的处理可以如下:基于预设的规则,对所有存储设备进行分组,得到多个存储设备分组;建立并存储监控点与存储设备分组的对应关系。
在一种可行的实施方式中,存储系统中可以使用多台存储服务器对安防视频的视频数据进行存储,管理服务器对存储任务进行调度。每台存储服务器和管理服务器可以不在同一物理位置上,例如不在一个机房中,每个服务器之间可以通过网络进行通信。
一台存储服务器中可以包括多个存储设备,例如,如果有10台存储服务器,每台存储服务器中有24个存储设备,则可以有240个存储设备对视频数据进行存储。在对条带进行存储之前,可以根据技术人员预先设置的规则,对所有的存储设备进行分组,得到多个存储设备分组,例如,将上述240个存储设备分为10组,每组有24个存储设备。然后,可以将各个监控点分配给固定的存储设备分组,即某个监控点的视频数据仅会存储在某个固定的存储设备分组中,而存储设备分组可以存储有多个监控点的视频数据。值得说明的是,本实施例中,一个存储设备分组对应的监控点不是所有监控点,即一个存储设备分组中不会存储有所有监控点的视频数据。具体的,可以是通过hash(哈希)算法建立监控点到存储设备分组的映射关系,然后可以该hash算法存储下来,即将监控点与存储设备分组的对应关系存储到管理服务器中。
可选的,可以横向划分存储设备分组,也可以纵向划分存储设备分组,相应的处理可以如下:将每个存储服务器中相同槽位号的所有存储设备划分为一个存储设备分组,得到多个存储设备分组;或,将第一预设数目个存储服务器中的所有存储设备划分为一个存储设备分组,得到多个存储设备分组;或,将第二预设数目个存储服务器中相同槽位号的各存储设备划分为一个存储设备分组,得到多个存储设备分组。
在一种可行的实施方式中,对存储设备分组的划分可以有两大原则,一种是横向分组,即将固定的存储设备划分为一组;另一种是纵向分组,即将固定的存储服务器中的存储设备划分为一组。
对于横向分组,一种优选的方案是将每个存储服务器中相同槽位号的所有存储设备划分为一个存储设备分组,存储服务器中可以有多个槽位号,即可得到多个存储设备分组。如图2所示的存储设备分组示意图,存储服务器中有24个安装有存储设备的槽位,槽位号分别为0-23号,对于10台存储服务器,可以将0号槽位上的10个存储设备划分为一个存储设备分组,1号槽位上的10个存储设备划分为一个存储设备分组,以此类推,可以得到24个存储设备分组。除了根据相同槽位号进行分组,还可以是在每个存储服务器中随机选取一个存储设备得到一个存储设备分组,不同存储设备分组之间的存储设备不同,这样也可以得到多个存储设备分组,此处不作限定。
对于纵向分组,可以是将预设数目个存储服务器中的所有存储设备划分为一个存储设备分组,预设数目可以根据条带的构成决定,一般来说,预设数目可以大于或等于N+M。如图3所示的存储设备分组示意图,对于10台存储服务器,可以将前5台存储服务器中的所有存储设备划分为一个存储设备分组,后5台存储服务器中的所有存储设备划分为另一个存储设备分组,则可以得到2个存储设备分组。
还可以结合上述两大原则进行分组,即在预设数目个存储服务器中,将相同槽位的存储设备划分为一个存储设备分组。如图4所示的存储设备分组示意图,对于10台存储服务器,可以将前5台存储服务器中的0号槽位上的存储设备划分为一组,1号槽位上的存储设备划分为一组,以此类推前5台存储服务器中可以得到24个存储设备分组,同理后5台存储服务器中也可以得到24个存储设备分组,一共得到48个存储设备分组。
具体选用何种方式划分存储设备分组,技术人员可以根据需要进行选取,此处不作限定。
在步骤102中,在预设的多个存储设备分组中,确定用于存储目标数据的目标存储设备分组。
在一种可行的实施方式中,管理服务器可以将目标数据存储在指定的目标存储设备分组中,该目标存储设备分组可以是在接收到目标数据的存储请求时,为目标数据实时分配的目标存储设备分组,也可以是在接收到目标数据的存储请求之前,就已经为目标数据分配了的目标存储设备分组,此处不作限定。
可选的,对于监控点的视频数据,可以根据监控点与存储设备分组的对应关系,确定目标监控点对应的目标存储设备分组。
在一种可行的实施方式中,当管理服务器接收到存储请求之后,可以将存储请求中的目标监控点的标识读取出来。然后,根据上述过程中存储下来的监控点与存储设备分组的对应关系,确定该目标监控点对应的目标存储设备分组。如果监控点与存储设备分组的对应关系是表格的形式,则可以在对应关系表中查找该目标监控点对应的目标存储设备分组;如果监控点与存储设备分组的对应关系是函数的形式,如hash算法,则可以根据目标监控点的标识计算得到对应的目标存储设备分组。
可选的,在确定目标监控点对应的目标存储设备分组之前,管理服务器还可以查询已存储的监控点与存储设备分组的对应关系中是否存在目标监控点与其对应的存储设备分组的目标对应关系,后续的处理可以如下:如果存在目标对应关系,则根据目标对应关系,确定目标监控点对应的目标存储设备分组;如果不存在目标对应关系,则根据各个存储设备分组对应的监控点数目,确定目标监控点对应的目标存储设备分组,在监控点与存储设备分组的对应关系中,存储目标监控点与目标存储设备分组的目标对应关系。
在一种可行的实施方式中,管理服务器可以不预先为所有监控点建立监控点与存储设备分组的对应关系,而是当首次接收到某一监控点的视频数据时,才为该监控点建立监控点与存储设备分组的对应关系。
在存储目标监控点的数据时,如果管理服务器查询到在已存储的监控点与存储设备分组的对应关系中,存在目标监控点与其对应的存储设备分组的目标对应关系,即表明目标监控点已有视频数据存储在目标存储设备分组中,则可以根据该目标对应关系确定目标监控点对应的目标存储设备分组,具体确定过程上面已经介绍,此处不再赘述。
如果在已存储的监控点与存储设备分组的对应关系中,不存在目标监控点与其对应的存储设备分组的目标对应关系,即表明目标监控点的视频数据是首次存储,则管理服务器可以确定各个存储设备分组中的监控点数目。然后,可以根据各个存储设备分组对应的监控点数目,确定目标监控点对应的目标存储设备分组。例如,可以将监控点数目最少的任一存储设备分组,或监控点数目小于预设阈值的任一存储设备分组,作为目标监控点对应的目标存储设备分组。然后,管理服务器可以将目标监控点与目标存储设备分组的目标对应关系,添加到已存储的对应关系表中。
这样,在新增监控点时,可以在已有对应关系的基础上添加新的对应关系,而不需要重新建立所有的对应关系,提高建立对应关系的灵活性,同时,将新增监控点的视频数据存储到监控点数目较少的存储设备分组中,可以保证每个存储设备分组存储的监控点数目的均衡性。
在步骤103中,对于每个数据条带,将数据条带中的每个数据块,分别存储在目标存储设备分组中的不同存储设备中。
在一种可行的实施方式中,当确定下目标存储设备分组后,管理服务器可以在该目标存储设备分组中,为目标数据条带的每个数据块选取存储的存储设备,一般来说,不同的数据块存储在不同的存储设备当中。然后,管理服务器可以分别将每个数据块发送给存储的存储设备对应的存储服务器,同时,还会发送对应存储设备的标识。然后,存储服务器可以将接收到的数据块存储到对应的存储设备当中。这样,对于监控点的视频数据来说,目标监控点的视频数据只会存储在目标存储设备分组中,当目标存储设备分组之外的存储设备发生损坏时,对目标监控点的视频数据没有影响。
可选的,在存储数据块之后,管理服务器可以记录存储每个数据块的存储设备,得到数据块与存储设备的对应关系。
在一种可行的实施方式中,为了后续数据的调取或恢复,需要将数据块的存储位置记录下来。在存储数据块之后,管理服务器可以记录存储每个数据块的存储设备,得到数据块与存储设备的对应关系并进行存储,该对应关系可以是表格的形式或其他形式,此处不作限定。
可选的,当存储设备发生损坏时,对于满足恢复条件的数据块,可以通过对应数据条带中的其它数据块计算得到,相应的处理可以如下:接收对应发生损坏的目标存储设备的数据恢复请求;根据数据块与存储设备的对应关系,确定目标存储设备对应的发生损坏的目标数据块;根据目标数据块所属的目标数据条带中除目标数据块之外的其它数据块,恢复目标数据块,将恢复得到的目标数据块存储在更换的存储设备中。
其中,更换的存储设备可以是安装于目标存储设备的槽位上以替换目标存储设备的存储设备。
在一种可行的实施方式中,当检测到存储设备发生损坏时,技术人员可以将损坏的存储设备从槽位中取下来,替换上更换的存储设备。或者,当存储服务器发生整机故障时,可以用新的存储服务器代替故障的存储服务器。当管理服务器检测到存储设备或存储服务器发生替换,或者技术人员在管理服务器上进行相应的操作时,可以触发对应发生损坏的目标存储设备的数据恢复请求。然后,管理服务器可以根据数据块与存储设备的对应关系,查找出该目标存储设备上存储的数据块。由于目标存储设备已损坏,其上存储的数据块也已损坏,而根据纠删码技术的特点,如果一个数据条带中损坏的数据块小于M,则可以根据余下的数据块计算得到丢失的数据块。实际情况中,发生损坏的存储设备可能不止一个,则需要根据损坏的数据块来判断可以恢复的数据块,可以恢复的数据块即为目标数据块。
然后,管理服务器可以获取目标数据块所属的目标数据条带中的其它数据块,然后根据数据块与存储设备的对应关系,查找存储上述其它数据块的存储设备。进而,管理服务器可以向查找到的每个存储设备所属的存储服务器,发送调取上述其它数据块的请求,然后存储服务器可以将调取的数据块发送给管理服务器。管理服务器在接收到目标数据条带中的其它数据块后,可以计算得到损坏的目标数据块,即恢复了目标数据块。然后,可以将恢复得到的目标数据块发送给对应的存储服务器,该存储服务器可以将该目标数据块存储到更换的存储设备中。
经过上述过程,一个存储设备分组中如果损坏不超过M个存储设备,可以恢复损坏的数据块,则对该存储设备分组中存储的数据没有影响。而对于整个存储系统来说,只要每个存储设备分组中损坏的存储设备数量不超过M个,即使损坏的存储设备总数量超过了M个,也可以保证对整个存储系统的数据没有影响,提升存储系统的坏盘容忍度。
并且,即使一个存储设备分组中损坏的存储设备数量超过了M个,对一些数据条带造成了不可恢复的损坏,也只是对该存储设备分组对应的监控点的视频数据造成了影响,存储在其他存储设备分组的监控点的视频数据不会受到影响,对于安防视频来说具有重要的意义。在恢复数据的过程中,仅仅会从存储设备分组中的其它存储设备调取未损坏的数据,而不需要向存储系统中所有存储设备调取数据,这样可以减小网络传输带宽的占用,并且可以减小存储系统中存储设备的工作压力,保证存储系统的运行。
本公开实施例中,管理服务器接收携带有目标数据的存储请求,可以在预设的多个存储设备分组中,确定用于存储目标数据的目标存储设备分组,对于每个数据条带,将数据条带中的每个数据块,分别存储在目标存储设备分组中的不同存储设备中。这样,只有当一个存储设备分组中的损坏的存储设备数量超过M个才会对数据造成影响,而不是整个存储系统的损坏的存储设备数量超过M个就会对数据造成影响,从而,降低了数据丢失的风险。
本公开又一示例性实施例提供了一种存储数据的装置,该装置可以是上述实施例中的管理服务器,如图5所示,该装置包括:
第一接收模块510,用于接收携带有目标数据的存储请求,其中,所述目标数据包括至少一个数据条带,每个数据条带包括多个数据块;
第一确定模块520,用于在预设的多个存储设备分组中,确定用于存储所述目标数据的目标存储设备分组;
存储模块530,用于对于每个数据条带,将所述数据条带中的每个数据块,分别存储在所述目标存储设备分组中的不同存储设备中。
可选的,第一接收模块510用于:
接收到携带有目标监控点的目标数据的存储请求;
第一确定模块520用于:
根据监控点与存储设备分组的对应关系,确定所述目标监控点对应的目标存储设备分组。
可选的,所述第一确定模块520用于:
查询已存储的监控点与存储设备分组的对应关系中是否存在所述目标监控点与其对应的存储设备分组的目标对应关系;
如果存在所述目标对应关系,则根据所述目标对应关系,确定所述目标监控点对应的目标存储设备分组;
如果不存在所述目标对应关系,则根据各个存储设备分组对应的监控点数目,确定所述目标监控点对应的目标存储设备分组,在所述监控点与存储设备分组的对应关系中,存储所述目标监控点与所述目标存储设备分组的目标对应关系。
可选的,如图6所示,所述装置还包括:
分组模块540,用于基于预设的规则,对所有存储设备进行分组,得到多个存储设备分组;
建立模块550,用于建立并存储监控点与存储设备分组的对应关系。
可选的,所述分组模块540用于:
将每个存储服务器中相同槽位号的所有存储设备划分为一个存储设备分组,得到多个存储设备分组;或,
将第一预设数目个存储服务器中的所有存储设备划分为一个存储设备分组,得到多个存储设备分组;或,
将第二预设数目个存储服务器中相同槽位号的各存储设备划分为一个存储设备分组,得到多个存储设备分组。
可选的,如图7所示,所述装置还包括:
记录模块560,用于记录存储每个数据块的存储设备,得到数据块与存储设备的对应关系。
可选的,如图8所示,所述装置还包括:
第二接收模块570,用于接收对应发生损坏的目标存储设备的数据恢复请求;
第二确定模块580,用于根据所述数据块与存储设备的对应关系,确定所述目标存储设备对应的发生损坏的目标数据块;
恢复模块590,用于根据所述目标数据块所属的目标数据条带中除所述目标数据块之外的其它数据块,恢复所述目标数据块,将恢复得到的目标数据块存储在更换的存储设备中。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开实施例中,管理服务器接收携带有目标数据的存储请求,可以在预设的多个存储设备分组中,确定用于存储目标数据的目标存储设备分组,对于每个数据条带,将数据条带中的每个数据块,分别存储在目标存储设备分组中的不同存储设备中。这样,只有当一个存储设备分组中的损坏的存储设备数量超过M个才会对数据造成影响,而不是整个存储系统的损坏的存储设备数量超过M个就会对数据造成影响,从而,降低了数据丢失的风险。
需要说明的是:上述实施例提供的存储数据的装置在存储数据时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将管理服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的存储数据的装置与存储数据的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本公开再一示例性实施例示出了一种管理服务器的结构示意图。
参照图9,管理服务器900包括处理组件922,其进一步包括一个或多个处理器,以及由存储器932所代表的存储器资源,用于存储可由处理部件922的执行的指令,例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件922被配置为执行指令,以执行上述存储数据的方法。
管理服务器900还可以包括一个电源组件926被配置为执行管理服务器900的电源管理,一个有线或无线网络接口950被配置为将管理服务器900连接到网络,和一个输入输出(I/O)接口958。管理服务器900可以操作基于存储在存储器932的操作系统,例如WindowsServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
管理服务器900可以包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令:
接收携带有目标数据的存储请求,其中,所述目标数据包括至少一个数据条带,每个数据条带包括多个数据块;
在预设的多个存储设备分组中,确定用于存储所述目标数据的目标存储设备分组;
对于每个数据条带,将所述数据条带中的每个数据块,分别存储在所述目标存储设备分组中的不同存储设备中。
可选的,所述接收携带有目标数据的存储请求,包括:
接收到携带有目标监控点的目标数据的存储请求;
所述在预设的多个存储设备分组中,确定用于存储所述目标数据的目标存储设备分组,包括:
根据监控点与存储设备分组的对应关系,确定所述目标监控点对应的目标存储设备分组。
可选的,所述根据监控点与存储设备分组的对应关系,确定所述目标监控点对应的目标存储设备分组,包括:
查询已存储的监控点与存储设备分组的对应关系中是否存在所述目标监控点与其对应的存储设备分组的目标对应关系;
如果存在所述目标对应关系,则根据所述目标对应关系,确定所述目标监控点对应的目标存储设备分组;
所述方法还包括:
如果不存在所述目标对应关系,则根据各个存储设备分组对应的监控点数目,确定所述目标监控点对应的目标存储设备分组,在所述监控点与存储设备分组的对应关系中,存储所述目标监控点与所述目标存储设备分组的目标对应关系。
可选的,所述接收到携带有目标监控点的目标数据条带的存储请求之前,还包括:
基于预设的规则,对所有存储设备进行分组,得到多个存储设备分组;
建立并存储监控点与存储设备分组的对应关系。
可选的,所述基于预设的规则,对所有存储设备进行分组,得到多个存储设备分组,包括:
将每个存储服务器中相同槽位号的所有存储设备划分为一个存储设备分组,得到多个存储设备分组;或,
将第一预设数目个存储服务器中的所有存储设备划分为一个存储设备分组,得到多个存储设备分组;
将第二预设数目个存储服务器中相同槽位号的各存储设备划分为一个存储设备分组,得到多个存储设备分组。
可选的,所述将所述目标数据条带中的每个数据块分别存储在目标存储设备分组中的不同存储设备中之后,还包括:
记录存储每个数据块的存储设备,得到数据块与存储设备的对应关系。
可选的,所述记录存储每个数据块的存储设备,得到数据块与存储设备的对应关系之后,还包括:
接收对应发生损坏的目标存储设备的数据恢复请求;
根据所述数据块与存储设备的对应关系,确定所述目标存储设备对应的发生损坏的目标数据块;
根据所述目标数据块所属的目标数据条带中除所述目标数据块之外的其它数据块,恢复所述目标数据块,将恢复得到的目标数据块存储在更换的存储设备中。
本公开实施例中,管理服务器接收携带有目标数据的存储请求,可以在预设的多个存储设备分组中,确定用于存储目标数据的目标存储设备分组,对于每个数据条带,将数据条带中的每个数据块,分别存储在目标存储设备分组中的不同存储设备中。这样,只有当一个存储设备分组中的损坏的存储设备数量超过M个才会对数据造成影响,而不是整个存储系统的损坏的存储设备数量超过M个就会对数据造成影响,从而,降低了数据丢失的风险。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种存储数据的方法,其特征在于,所述方法包括:
接收携带有目标监控点的目标数据的存储请求,其中,所述目标数据包括至少一个数据条带,每个数据条带包括多个数据块,且多个数据块包括原始数据块和校验数据块;
根据监控点与存储设备分组的对应关系,在预设的多个存储设备分组中,确定所述目标监控点对应的目标存储设备分组,所述多个存储设备分组是将存储系统包括的多个存储服务器中每个存储服务器中相同槽位号的所有存储设备划分为一个存储设备分组得到的,或,将第一预设数目个存储服务器中的所有存储设备划分为一个存储设备分组得到的,或,将第二预设数目个存储服务器中相同槽位号的各存储设备划分为一个存储设备分组得到的;
对于每个数据条带,将所述数据条带中的每个数据块,分别存储在所述目标存储设备分组中的不同存储设备中。
2.根据权利要求1所述的方法,其特征在于,所述根据监控点与存储设备分组的对应关系,在预设的多个存储设备分组中,确定所述目标监控点对应的目标存储设备分组,包括:
查询已存储的监控点与存储设备分组的对应关系中是否存在所述目标监控点与其对应的存储设备分组的目标对应关系;
如果存在所述目标对应关系,则根据所述目标对应关系,确定所述目标监控点对应的目标存储设备分组;
所述方法还包括:
如果不存在所述目标对应关系,则根据各个存储设备分组对应的监控点数目,确定所述目标监控点对应的目标存储设备分组,在所述监控点与存储设备分组的对应关系中,存储所述目标监控点与所述目标存储设备分组的目标对应关系。
3.根据权利要求1所述的方法,其特征在于,所述接收到携带有目标监控点的目标数据的存储请求之前,还包括:
基于预设的规则,对所有存储设备进行分组,得到多个存储设备分组;
建立并存储监控点与存储设备分组的对应关系。
4.根据权利要求1所述的方法,其特征在于,所述对于每个数据条带,将所述数据条带中的每个数据块,分别存储在所述目标存储设备分组中的不同存储设备中之后,还包括:
记录存储每个数据块的存储设备,得到数据块与存储设备的对应关系。
5.根据权利要求4所述的方法,其特征在于,所述记录存储每个数据块的存储设备,得到数据块与存储设备的对应关系之后,还包括:
接收对应发生损坏的目标存储设备的数据恢复请求;
根据所述数据块与存储设备的对应关系,确定所述目标存储设备对应的发生损坏的目标数据块;
根据所述目标数据块所属的目标数据条带中除所述目标数据块之外的其它数据块,恢复所述目标数据块,将恢复得到的目标数据块存储在更换的存储设备中。
6.一种存储数据的装置,其特征在于,所述装置包括:
第一接收模块,用于接收携带有目标监控点的目标数据的存储请求,其中,所述目标数据包括至少一个数据条带,每个数据条带包括多个数据块;
第一确定模块,根据监控点与存储设备分组的对应关系,在预设的多个存储设备分组中,确定所述目标监控点对应的目标存储设备分组,所述多个存储设备分组是将存储系统包括的多个存储服务器中每个存储服务器中相同槽位号的所有存储设备划分为一个存储设备分组得到的,或,将第一预设数目个存储服务器中的所有存储设备划分为一个存储设备分组得到的,或,将第二预设数目个存储服务器中相同槽位号的各存储设备划分为一个存储设备分组得到的;
存储模块,用于对于每个数据条带,将所述数据条带中的每个数据块,分别存储在所述目标存储设备分组中的不同存储设备中。
7.根据权利要求6所述的装置,其特征在于,所述第一确定模块用于:
查询已存储的监控点与存储设备分组的对应关系中是否存在所述目标监控点与其对应的存储设备分组的目标对应关系;
如果存在所述目标对应关系,则根据所述目标对应关系,确定所述目标监控点对应的目标存储设备分组;
如果不存在所述目标对应关系,则根据各个存储设备分组对应的监控点数目,确定所述目标监控点对应的目标存储设备分组,在所述监控点与存储设备分组的对应关系中,存储所述目标监控点与所述目标存储设备分组的目标对应关系。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
分组模块,用于基于预设的规则,对所有存储设备进行分组,得到多个存储设备分组;
建立模块,用于建立并存储监控点与存储设备分组的对应关系。
9.根据权利要求6所述的装置,其特征在于,所述装置还包括:
记录模块,用于记录存储每个数据块的存储设备,得到数据块与存储设备的对应关系。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
第二接收模块,用于接收对应发生损坏的目标存储设备的数据恢复请求;
第二确定模块,用于根据所述数据块与存储设备的对应关系,确定所述目标存储设备对应的发生损坏的目标数据块;
恢复模块,用于根据所述目标数据块所属的目标数据条带中除所述目标数据块之外的其它数据块,恢复所述目标数据块,将恢复得到的目标数据块存储在更换的存储设备中。
11.一种管理服务器,其特征在于,所述管理服务器包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至5任一所述的存储数据的方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至5任一所述的存储数据的方法。
CN201810047816.8A 2018-01-18 2018-01-18 存储数据的方法和装置 Active CN110058784B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810047816.8A CN110058784B (zh) 2018-01-18 2018-01-18 存储数据的方法和装置
PCT/CN2019/072380 WO2019141248A1 (zh) 2018-01-18 2019-01-18 存储数据的方法和装置
EP19740932.9A EP3742276B1 (en) 2018-01-18 2019-01-18 Method and apparatus for storing data
US16/963,163 US11372567B2 (en) 2018-01-18 2019-01-18 Method and apparatus for storing data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810047816.8A CN110058784B (zh) 2018-01-18 2018-01-18 存储数据的方法和装置

Publications (2)

Publication Number Publication Date
CN110058784A CN110058784A (zh) 2019-07-26
CN110058784B true CN110058784B (zh) 2020-08-04

Family

ID=67302003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810047816.8A Active CN110058784B (zh) 2018-01-18 2018-01-18 存储数据的方法和装置

Country Status (4)

Country Link
US (1) US11372567B2 (zh)
EP (1) EP3742276B1 (zh)
CN (1) CN110058784B (zh)
WO (1) WO2019141248A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034457A (zh) * 2012-12-18 2013-04-10 武汉市烽视威科技有限公司 多个硬盘组成的存储系统数据存储方法
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN104580439A (zh) * 2014-12-30 2015-04-29 创新科存储技术(深圳)有限公司 一种云存储系统中使数据均匀分布的方法
CN104679665A (zh) * 2013-12-02 2015-06-03 中兴通讯股份有限公司 一种实现分布式文件系统块存储的方法及系统
US9626246B1 (en) * 2015-09-10 2017-04-18 Datadirect Networks, Inc. System and method for I/O optimized data migration between high performance computing entities and a data storage supported by a de-clustered raid (DCR)architecture with vertical execution of I/O commands

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040075623A1 (en) 2002-10-17 2004-04-22 Microsoft Corporation Method and system for displaying images on multiple monitors
NO322197B1 (no) 2004-11-05 2006-08-28 Hans Gude Gudesen Fremgangsmate til fjernstyring av en datamaskin med bruk av en mobil innretning
CN101984397B (zh) 2010-10-29 2012-10-31 广东威创视讯科技股份有限公司 屏幕菜单的跟踪显示方法及装置
CN201797568U (zh) 2010-12-01 2011-04-13 北京同有飞骥科技股份有限公司 一种基于节能磁盘阵列的视频监控系统
JP2014029594A (ja) 2012-07-31 2014-02-13 Canon Inc 情報端末及びその制御方法、並びにプログラム
KR102063952B1 (ko) 2012-10-10 2020-01-08 삼성전자주식회사 멀티 디스플레이 장치 및 멀티 디스플레이 방법
JP2014238537A (ja) 2013-06-10 2014-12-18 ソニー株式会社 映像伝送システム及び映像伝送方法
CN104915132A (zh) 2014-03-12 2015-09-16 联想(北京)有限公司 信息处理方法和设备
CN103985373B (zh) 2014-05-07 2016-08-24 青岛海信电器股份有限公司 一种应用于拼接显示设备的图像处理方法及装置
US9921910B2 (en) 2015-02-19 2018-03-20 Netapp, Inc. Virtual chunk service based data recovery in a distributed data storage system
KR102252661B1 (ko) 2015-03-12 2021-05-18 한화테크윈 주식회사 비디오 월 보안 시스템
JP6540793B2 (ja) 2015-03-19 2019-07-10 富士通株式会社 表示方法、情報処理装置、表示制御装置及びプログラム
US10001944B2 (en) * 2015-08-28 2018-06-19 Qualcomm Incorporated Systems and methods for data organization in storage systems using large erasure codes
CN105159593A (zh) 2015-09-18 2015-12-16 华中师范大学 一种多屏拼接模式下多点触控方法、虚拟驱动及系统
CN106201413B (zh) 2016-06-24 2020-04-03 青岛海信电器股份有限公司 一屏多窗口显示的触控分配方法、装置及液晶显示装置
CN106648408A (zh) 2016-09-19 2017-05-10 深圳市创凯智能股份有限公司 触摸数据处理方法、装置、触摸屏及拼接显示系统
CN106527986A (zh) 2016-11-03 2017-03-22 北京百度网讯科技有限公司 用于存储数据的方法和装置
CN107454455A (zh) 2017-09-04 2017-12-08 西安万像电子科技有限公司 多视频源图像处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034457A (zh) * 2012-12-18 2013-04-10 武汉市烽视威科技有限公司 多个硬盘组成的存储系统数据存储方法
CN103152395A (zh) * 2013-02-05 2013-06-12 北京奇虎科技有限公司 一种分布式文件系统的存储方法及装置
CN104679665A (zh) * 2013-12-02 2015-06-03 中兴通讯股份有限公司 一种实现分布式文件系统块存储的方法及系统
CN104580439A (zh) * 2014-12-30 2015-04-29 创新科存储技术(深圳)有限公司 一种云存储系统中使数据均匀分布的方法
US9626246B1 (en) * 2015-09-10 2017-04-18 Datadirect Networks, Inc. System and method for I/O optimized data migration between high performance computing entities and a data storage supported by a de-clustered raid (DCR)architecture with vertical execution of I/O commands

Also Published As

Publication number Publication date
US20210132805A1 (en) 2021-05-06
EP3742276A1 (en) 2020-11-25
CN110058784A (zh) 2019-07-26
US11372567B2 (en) 2022-06-28
EP3742276B1 (en) 2024-07-24
EP3742276A4 (en) 2021-03-17
WO2019141248A1 (zh) 2019-07-25

Similar Documents

Publication Publication Date Title
US10387255B2 (en) Data reconstruction method in distributed storage system, apparatus, and system
CN107219997B (zh) 一种用于验证数据一致性的方法及装置
WO2021115021A1 (zh) 数据处理方法、装置、终端设备及计算机可读存储介质
CN111522501B (zh) 磁盘阵列空间划分方法、装置、电子设备及存储介质
CN109582213B (zh) 数据重构方法及装置、数据存储系统
CN107590019B (zh) 一种数据存储的方法和装置
CN107092686B (zh) 一种基于云存储平台的文件管理方法及装置
CN111176880B (zh) 磁盘分配方法、装置和可读存储介质
CN111459399A (zh) 一种数据写入方法、数据读取方法及装置
CN115826876A (zh) 数据写入方法、系统、存储硬盘、电子设备及存储介质
CN115756955A (zh) 一种数据备份、数据恢复的方法、装置及计算机设备
CN113468274B (zh) 数据存储方法和装置、存储介质及电子设备
CN110737389B (zh) 存储数据的方法和装置
CN110058784B (zh) 存储数据的方法和装置
CN106998436B (zh) 录像备份方法及装置
CN113051428A (zh) 一种摄像机前端存储备份的方法及装置
CN112506429B (zh) 进行删除处理的方法、装置、设备及存储介质
CN112817543B (zh) 一种数据存储方法、系统、装置、设备及介质
CN111625502B (zh) 数据读取方法及装置、存储介质、电子装置
CN110493339B (zh) 一种分布式远程存储管理方法、系统和装置
CN112988461B (zh) 数据备份方法、边缘节点、数据中心及计算机存储介质
CN116663068B (zh) 联盟链归档方法、相关装置和介质
CN109271379A (zh) 一种数据清理方法及装置
CN114244855B (zh) 指纹文件的存储方法、装置、设备及可读存储介质
CN104301345B (zh) 一种Cache集群中删除数据的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant