CN105630418A - 一种数据存储方法及装置 - Google Patents

一种数据存储方法及装置 Download PDF

Info

Publication number
CN105630418A
CN105630418A CN201510982832.2A CN201510982832A CN105630418A CN 105630418 A CN105630418 A CN 105630418A CN 201510982832 A CN201510982832 A CN 201510982832A CN 105630418 A CN105630418 A CN 105630418A
Authority
CN
China
Prior art keywords
data
protection mode
write
storage
data protection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510982832.2A
Other languages
English (en)
Inventor
罗广骏
刘冠川
龚超
李国君
王灯殿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dawning Information Industry Beijing Co Ltd
Original Assignee
Dawning Information Industry Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dawning Information Industry Beijing Co Ltd filed Critical Dawning Information Industry Beijing Co Ltd
Priority to CN201510982832.2A priority Critical patent/CN105630418A/zh
Publication of CN105630418A publication Critical patent/CN105630418A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种数据存储方法及装置，包括：接收用户的数据写入请求；所述请求中包括用户的数据存储需求以及写入数据的大小；所述数据存储需求包括数据可靠性参数和/或读写性能参数；根据所述数据存储需求和写入数据的大小标记所述数据；根据所述数据的标记确定数据保护方式；将所述数据按照所述数据保护方式存储至数据节点。由于本申请在接收到用户的数据写入请求时，客户端可以根据业务需要增加数据标签，根据用户对数据的存储需求以及写入数据的大小等标签，决定使用哪种保护方式，为用户的不同存储数据特点提供差异化的数据保护方式，在确保满足数据可靠性和读写性能要求的前提下，减轻运维的人力成本，降低由人为失误造成的数据风险。

Description

一种数据存储方法及装置
技术领域
本申请涉及计算机存储技术领域，尤其涉及一种数据存储方法及装置。
背景技术
分布式文件存储系统是指将网络中大量的存储设备通过上层软件集群调度起来进行协同工作，对外提供统一的数据存储和访问功能的一个系统。分布式文件存储系统有效地解决了数据存储和管理的难题，能够对存储节点进行按需在线扩容，对分布在各个地点的存储节点中的数据进行统一管理。由于数据分散在不同的节点，且这些节点都是比较普通的存储服务器，必须考虑它们故障的情况。因此，数据的可靠性是分布式文件存储系统研究的重点问题。
当今社会是大数据的时代，数据量成爆炸式增长，这就对存储的容量提出了很高的要求。与此同时，数据的安全性也不容小觑，需要提供数据的冗余和备份。然而，存储容量和高可靠性是相对的，难以平衡。一方面，高可靠性可以通过增加数据的副本数提高，但是存单位数据的冗余数据也随之成倍地增加；另一方面，若想节约成本，不对数据进行备份，一旦数据的部分存储设备故障时，整个文件将不能访问，造成数据的丢失。
现有技术分布式文件系统中，HDFS(Hadoop分布式文件系统，HadoopDistributedFileSystem)和GFS(谷歌文件系统，GoogleFileSystem)，一般把数据文件分为若干64MB大小的块，每个块至少有3份相同冗余，且副本尽量分布在不同机架上来以提高可靠性。该技术最大的缺点是比较浪费空间。因为存储一份数据需要备份2倍的额外存储空间，从而提高了成本。
基于编码技术，一种基于纠删码技术的数据存储方法诞生了。通过把原始数据分成N个原始数据块，然后再计算出M个冗余数据块。N+M个数据块优先选择不同节点的不同磁盘进行存储。在N+M个数据块中，任意M个磁盘故障，原始数据可以从任意N个数据块中恢复。该技术大大提升了存储空间的利用效率。然而，其缺点是系统开销巨大，读写性能下降。
在既能提供副本和纠删码策略的分布式存储系统中，需要人工手动设置存储目录的保护方式，无法智能切换，常常导致所设置的存储目录无法达到用户对于数据可靠性的要求或者无法达到用户对于存储读写性能的要求。
现有技术不足在于：
在既能提供副本和纠删码策略的分布式存储系统中，需要人工手动设置存储目录的保护方式，可能存在由于人为失误导致无法满足数据可靠性和读写性能的要求。
发明内容
本申请实施例提出了一种数据存储方法及装置，以解决现有技术中在既能提供副本和纠删码策略的分布式存储系统中，需要人工手动设置存储目录的保护方式，可能存在由于人为失误导致无法满足数据可靠性和读写性能的要求的技术问题。
本申请实施例提供了一种数据存储方法，包括如下步骤：
接收用户的数据写入请求；所述请求中包括用户的数据存储需求以及写入数据的大小；所述数据存储需求包括数据可靠性参数和/或读写性能参数；
根据所述数据存储需求和写入数据的大小标记所述数据；
根据所述数据的标记确定数据保护方式；
将所述数据按照所述数据保护方式存储至数据节点。
本申请实施例提供了一种数据存储装置，包括：
接收模块，用于接收用户的数据写入请求；所述请求中包括用户的数据存储需求以及写入数据的大小；所述数据存储需求包括数据可靠性参数和/或读写性能参数；
标记模块，用于根据所述数据存储需求和写入数据的大小标记所述数据；
确定模块，用于根据所述数据的标记确定数据保护方式；
存储模块，用于将所述数据按照所述数据保护方式存储至数据节点。
有益效果如下：
由于本申请实施例所提供的数据存储方法及装置，在接收到用户的数据写入请求时，客户端可以根据业务需要增加数据标签，从而根据用户对数据的存储需求以及写入数据的大小等数据标签，决定使用哪种保护方式，为用户的不同存储数据特点提供差异化的数据保护方式，在确保满足数据可靠性和读写性能要求的前提下，这种自适应数据存储方案既可以减轻运维的人力成本，又可以降低由人为失误造成的数据风险。
附图说明
下面将参照附图描述本申请的具体实施例，其中：
图1示出了现有技术中数据写入流程示意图；
图2示出了本申请实施例中数据存储方法实施的流程示意图；
图3示出了本申请实施例中数据写入流程示意图；
图4示出了本申请实施例中数据存储过程的示意图；
图5示出了本申请实施例中数据存储装置的结构示意图。
具体实施方式
为了使本申请的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。
发明人在发明过程中注意到：
图1中示出了现有技术中数据写入流程示意图，如图所示，传统的数据存储保护策略中数据写入流程可以如下所示：
用户可以通过应用程序发送数据写入请求；
客户端收到上层应用的写入请求后，可以将数据块写入集群系统；
接口模块根据管理员预先设置的数据存储保护策略(如双副本、纠删码等策略)，读取元数据以及所要分配的磁盘布局，并计算出数据的存放方式；
经过数据一致性检查和缓存同步之后，最终将数据写入数据存储节点中。
针对现有技术的不足，本申请实施例提出了一种数据存储方法及装置，下面进行说明。
图2示出了本申请实施例中数据存储方法实施的流程示意图，如图所示，所述数据存储方法可以包括如下步骤：
步骤201、接收用户的数据写入请求；所述请求中包括用户的数据存储需求以及写入数据的大小；所述数据存储需求包括数据可靠性参数和/或读写性能参数；
步骤202、根据所述数据存储需求和写入数据的大小标记所述数据；
步骤203、根据所述数据的标记确定数据保护方式；
步骤204、将所述数据按照所述数据保护方式存储至数据节点。
客户可以通过应用程序发出数据写入请求，客户端接收到上层应用发送的数据写入请求后，根据所述数据写入请求中包括的数据存储需求和写入数据的大小标记所述数据，并将标记后的数据写入分布式文件系统；在从元数据节点读取元数据和分配磁盘布局之后，可以根据所述数据的标记自适应确定数据保护方式；最终，可以经过数据一致性检查、缓存同步等操作后，将所述数据按照所确定的数据保护方式进行存储。
其中，数据存储需求可以包括数据可靠性参数、读写性能参数等。数据可靠性参数可以包括允许故障节点数、允许故障磁盘数等，读写性能参数可以包括读写速度。
本申请实施例中，客户端可以对接收数据的特点进行数据贴标，通过识别数据标识自动选择存储保护方式，采用本申请实施例所提供的方案，可以根据用户差异化的要求自适应的提供最优的数据保护方式，按照该数据保护方式进行存储，从而避免由于人工设置错误导致无法满足可靠性或读写性能要求，减少存储成本的浪费和运维人力成本的浪费。
现有技术中纠删码可以允许任意多块盘故障且空间利用率较高，但计算纠删码的过程复杂、读写消耗系统资源较多；而副本方式则空间利用率低，但由于不用计算冗余数据，只需直接计算出副本，读写消耗系统资源较少。本申请实施例通过系统自动检测、按需确定数据保护方式，从而可以为用户提供最优的数据保护方式，极大利用存储空间并合理提高了计算效率。
实施中，所述根据所述数据的标记确定数据保护方式，具体可以为：
如果所述数据的标记为要求系统抵御任意多块盘故障，确定数据保护方式为纠删码模式，其中纠删码原始数据块为N个、冗余数据块为M个；
如果所述数据的标记为要求任意故障1个数据节点且所述写入数据的大小不大于1MB(一兆)，确定数据保护方式为双副本模式。
具体实施中，纠删码的抵御故障能力可以根据系统规模而定。如果数据存储需求为要求抵御两块盘故障，那么则可以确定该数据的数据保护方式为纠删码模式，纠删码可以采用4+2，即，纠删码原始数据块为4个、冗余数据块为2个；根据系统中存储节点的规模，N和M还能取系统推荐的其他值，如16+4，即原始数据块为16个、冗余数据块为4个。
如果用户要求任意故障1个数据节点，则实际使用时既可以使用双副本模式，也可以使用纠删码模式，具体看用户对读写速度的要求、存储成本等。如果要写入数据的大小通常不大于1MB，那么，在可靠性允许的情况下，可以确定数据保护方式为双副本模式。这是因为数据较小时副本模式和纠删码模式的存储成本差异不大，反而纠删码N+M模式实现起来复杂度高、系统开销大、对文件的并存存储能力会造成负影响。
实施中，在所述根据所述数据的标记确定数据保护方式之前，所述方法可以进一步包括：读取存储系统的剩余空间；
所述根据所述数据的标记确定数据保护方式，具体可以为：根据所述数据的标记以及所述存储系统的剩余空间确定数据保护方式。
具体实施中，在对数据进行标记之后，可以将带标记的数据写入分布式文件系统。此时，可以进一步读取存储系统的剩余空间，结合系统的存储空间占用情况来确定数据保护方式。
本申请实施例所提供的技术方案，在数据写入过程中，客户端可以根据业务的需要增加可靠性要求和访问速度的要求的标签，接口模块可以感知整个存储的使用情况，并根据数据的标签进行自适应判决，决定使用哪种保护方式。
实施中，所述根据所述数据的标记以及所述存储系统的剩余空间确定数据保护方式，具体可以为：
如果存储占用率大于80％且所述存储系统不能及时扩容，确定所述数据保护方式为纠删码模式。
具体实施中，如果存储占用高达80％以上且不能及时扩容，考虑到存储的成本，在可靠性满足要求的情况下，可以自动选择纠删码模式，以减少单位数据对存储空间的占用，用较高的空间利用率来尽可能的存储更多的数据。
实施中，所述方法可以进一步包括：
检测数据大小大于预设阈值的数据在预设时间内的访问频次；
根据所述访问频次，修改所述数据保护方式。
本申请实施例还可以自动检测数据大小较大的数据的冷热情况，即数据大小较大的数据的访问频次，检测一端时间内(假设为最近1个月)的访问频次来修改存储的数据保护方式。
具体实施中，如果发现数据几乎不再访问，那么，可以利用系统负载较小的时间段，把原本是双副本存储的数据变成纠删码存储，从而进一步降低对存储空间的浪费，以便节省占用存储的空间。
为了便于本申请的实施，下面以实例进行说明。
图3示出了本申请实施例中数据写入流程示意图，如图所示，可以包括如下步骤：
1、客户的应用程序在私有客户端上提出写入请求；
2、客户端根据应用程序的数据类型标记客户对该数据的可靠性需求、读写速度要求和写入数据的大小，并根据标记在接口模块进行数据保护的策略判决。
比如：客户要求要抵御2块盘故障，那么可以选择纠删码，4+2；
客户要求任意故障1个节点，可以使用双副本模式，也可使用纠删码模式，具体还要看客户对于读写速度的要求，存储的成本等。
如果应用要写入数据的大小通常不大于1MB，在可靠性允许的情况下，系统会自动采用双副本模式。因为采用数据较小时副本方案和纠删码方案的存储成本差异不大，反而N+M实现复杂度高，系统开销大，对文件的并行存储能力还会造成负影响。
3、带标记的数据写入分布式文件系统；
4、读取元数据和磁盘的分布位置，为数据块的放置提供全局视图；
5、读取存储系统剩余空间。当存储占用高达80％以上且不能及时扩容时，考虑到存储的成本，在可靠性满足要求的情况下，系统将自动选择纠删码的模式，减少单位数据对存储空间的占用。
6、根据数据的标记和存储可用容量，接入模块中的存储策略判决子模块对数据存储保护方式进行自适应判决和计算；
7、检查数据一致性和缓存同步后，把数据和其冗余数据写入数据节点。
另外，系统可以自动检测数据大小较大的数据的冷热情况，通过近1个月的访问频次修改存储保护策略。发现数据几乎不再访问后，利用系统负载较小的时候，把原来是双副本存储的数据变成纠删码的数据，进一步降低对存储空间的浪费。
图4示出了本申请实施例中数据存储过程的示意图，如图所示，在接收到用户的数据写入请求后，先根据所述请求中包括的数据存储需求和写入数据的大小标记所述数据，然后根据所述数据的标记确定数据保护方式，具体可以为：
如果要求允许任意两块盘故障，且空间利用率要求50％以上，则确定数据保护方式为纠删码；
如果文件块小(即，文件块大小低于预设阈值)，则采用双副本；
如果80％的空间被占用，则采用纠删码，这样可以节省空间；
对于冷数据(即，访问频率低于预设阈值)，可以将当前数据保护方式改变为纠删码，从而节省空间。
以上，系统可以根据存储空间、文件块大小、数据访问频率等因素自动确定数据的保护方式，本领域技术人员还可以根据实际需要根据其他因素或设定其他阈值来自动确定数据保护方式，本申请对此不作限制。
最终，将数据按照上述确定的数据保护方式存储至相应的数据节点。
本申请实施例可以根据客户对存储可靠性和性能需求，为客户的不同存储数据特点提供差异化的数据保护策略，可以在保证客户要求的可靠性前提下，极大地节约了对存储空间的占用。此外，自适应数据存储保护策略及装置可以减轻运维的人力成本，降低由人为失误造成数据安全的风险和减少存储成本的浪费。
基于同一发明构思，本申请实施例中还提供了一种数据存储装置，由于这些设备解决问题的原理与一种数据存储方法相似，因此这些设备的实施可以参见方法的实施，重复之处不再赘述。
图5示出了本申请实施例中数据存储装置的结构示意图，如图所示，所述数据存储装置可以包括：
接收模块501，用于接收用户的数据写入请求；所述请求中包括用户的数据存储需求以及写入数据的大小；所述数据存储需求包括数据可靠性参数和/或读写性能参数；
标记模块502，用于根据所述数据存储需求和写入数据的大小标记所述数据；
确定模块503，用于根据所述数据的标记确定数据保护方式；
存储模块504，用于将所述数据按照所述数据保护方式存储至数据节点。
实施中，所述确定模块具体可以用于如果所述数据的标记为要求系统抵御任意多块盘故障，确定数据保护方式为纠删码模式，其中纠删码原始数据块为N个、冗余数据块为M个；如果所述数据的标记为要求任意故障1个数据节点且所述写入数据的大小不大于1MB，确定数据保护方式为双副本模式。
实施中，所述装置可以进一步包括：
读取模块505，用于在所述根据所述数据的标记确定数据保护方式之前，读取存储系统的剩余空间；
所述确定模块具体用于根据所述数据的标记以及所述存储系统的剩余空间确定数据保护方式。
实施中，所述确定模块具体可以用于如果存储占用率大于80％且所述存储系统不能及时扩容，确定所述数据保护方式为纠删码模式。
具体实施中，在确定数据保护方式之后，再根据新的数据保护方式写入存储。
实施中，所述装置可以进一步包括：
检测模块506，用于检测数据大小大于预设阈值的数据在预设时间内的访问频次；
修改模块507，用于根据所述访问频次，修改所述数据保护方式。
具体实施中，在修改所述数据保护方式之后，再根据新的数据保护方式写入存储。
为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

Claims (10)

1.一种数据存储方法，其特征在于，包括如下步骤：
接收用户的数据写入请求；所述请求中包括用户的数据存储需求以及写入数据的大小；所述数据存储需求包括数据可靠性参数和/或读写性能参数；
根据所述数据存储需求和写入数据的大小标记所述数据；
根据所述数据的标记确定数据保护方式；
将所述数据按照所述数据保护方式存储至数据节点。
2.如权利要求1所述的方法，其特征在于，所述根据所述数据的标记确定数据保护方式，具体为：
如果所述数据的标记为要求系统抵御任意多块盘故障，确定数据保护方式为纠删码模式，其中纠删码原始数据块为N个、冗余数据块为M个；
如果所述数据的标记为要求任意故障1个数据节点且所述写入数据的大小不大于1MB，确定数据保护方式为双副本模式。
3.如权利要求1所述的方法，其特征在于，在所述根据所述数据的标记确定数据保护方式之前，进一步包括：读取存储系统的剩余空间；
所述根据所述数据的标记确定数据保护方式，具体为：根据所述数据的标记以及所述存储系统的剩余空间确定数据保护方式。
4.如权利要求3所述的方法，其特征在于，所述根据所述数据的标记以及所述存储系统的剩余空间确定数据保护方式，具体为：
如果存储占用率大于80％且所述存储系统不能及时扩容，确定所述数据保护方式为纠删码模式。
5.如权利要求1所述的方法，其特征在于，进一步包括：
检测数据大小大于预设阈值的数据在预设时间内的访问频次；
根据所述访问频次，修改所述数据保护方式。
6.一种数据存储装置，其特征在于，包括：
接收模块，用于接收用户的数据写入请求；所述请求中包括用户的数据存储需求以及写入数据的大小；所述数据存储需求包括数据可靠性参数和/或读写性能参数；
标记模块，用于根据所述数据存储需求和写入数据的大小标记所述数据；
确定模块，用于根据所述数据的标记确定数据保护方式；
存储模块，用于将所述数据按照所述数据保护方式存储至数据节点。
7.如权利要求6所述的装置，其特征在于，所述确定模块具体用于如果所述数据的标记为要求系统抵御任意多块盘故障，确定数据保护方式为纠删码模式，其中纠删码原始数据块为N个、冗余数据块为M个；如果所述数据的标记为要求任意故障1个数据节点且所述写入数据的大小不大于1MB，确定数据保护方式为双副本模式。
8.如权利要求6所述的装置，其特征在于，进一步包括：读取模块，用于在所述根据所述数据的标记确定数据保护方式之前，读取存储系统的剩余空间；所述确定模块具体用于根据所述数据的标记以及所述存储系统的剩余空间确定数据保护方式。
9.如权利要求8所述的装置，其特征在于，所述确定模块具体用于如果存储占用率大于80％且所述存储系统不能及时扩容，确定所述数据保护方式为纠删码模式。
10.如权利要求6所述的装置，其特征在于，进一步包括：
检测模块，用于检测数据大小大于预设阈值的数据在预设时间内的访问频次；
修改模块，用于根据所述访问频次，修改所述数据保护方式。
CN201510982832.2A 2015-12-24 2015-12-24 一种数据存储方法及装置 Pending CN105630418A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510982832.2A CN105630418A (zh) 2015-12-24 2015-12-24 一种数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510982832.2A CN105630418A (zh) 2015-12-24 2015-12-24 一种数据存储方法及装置

Publications (1)

Publication Number Publication Date
CN105630418A true CN105630418A (zh) 2016-06-01

Family

ID=56045416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510982832.2A Pending CN105630418A (zh) 2015-12-24 2015-12-24 一种数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN105630418A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106776798A (zh) * 2016-11-23 2017-05-31 深圳市中博睿存科技有限公司 一种集群文件系统基于客户端的可传播缓存方法
CN107733952A (zh) * 2016-08-12 2018-02-23 中国电信股份有限公司 用于提供差异化缓存服务的方法、装置和系统
CN108255432A (zh) * 2018-01-12 2018-07-06 郑州云海信息技术有限公司 基于分层存储的写操作控制方法、系统、装置及存储介质
WO2018176998A1 (zh) * 2017-03-29 2018-10-04 华为技术有限公司 数据存储方法及装置
CN108664351A (zh) * 2017-03-31 2018-10-16 杭州海康威视数字技术股份有限公司 一种数据存储、重构、清理方法、装置及数据处理系统
CN109117292A (zh) * 2017-06-22 2019-01-01 中兴通讯股份有限公司 一种集群存储的方法和装置及集群存储系统
CN109150792A (zh) * 2017-06-15 2019-01-04 杭州海康威视数字技术股份有限公司 一种提高数据存储安全性方法及装置
CN109284621A (zh) * 2017-07-19 2019-01-29 阿里巴巴集团控股有限公司 数据保护/恢复方法和装置以及数据存储/保护方法
CN110110551A (zh) * 2019-04-19 2019-08-09 中共中央办公厅电子科技学院(北京电子科技学院) 一种数据存储方法及装置
CN110597453A (zh) * 2018-06-13 2019-12-20 杭州海康威视系统技术有限公司 一种云存储系统中的视频数据存储方法及装置
WO2020151323A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 一种基于数据分片的数据存储方法、设备及介质
CN111614730A (zh) * 2020-04-28 2020-09-01 北京金山云网络技术有限公司 云存储系统的文件处理方法、装置及电子设备
CN111796776A (zh) * 2020-07-08 2020-10-20 深圳忆联信息系统有限公司 基于用户自定义或需求分析的存储方法、装置、设备及介质
US11032858B2 (en) 2017-03-28 2021-06-08 Huawei Technologies Co., Ltd. Network access method, terminal, access network, and core network
WO2021139443A1 (zh) * 2020-01-06 2021-07-15 支付宝(杭州)信息技术有限公司 数据访问控制方法及装置、数据访问设备及系统
CN114936188A (zh) * 2022-05-30 2022-08-23 重庆紫光华山智安科技有限公司 数据处理方法、装置、电子设备及存储介质
US11461482B2 (en) * 2019-11-15 2022-10-04 Beijing University Of Technology Method for erasing information from electronic scrap based on dual-security mechanism

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937967A (zh) * 2012-10-11 2013-02-20 南京中兴新软件有限责任公司 数据冗余实现方法及装置
CN103631666A (zh) * 2012-08-24 2014-03-12 中兴通讯股份有限公司 数据冗余容错的适配管理设备、服务设备、系统及方法
CN103916483A (zh) * 2014-04-28 2014-07-09 中国科学院成都生物研究所 一种针对编码冗余存储系统的自适应数据存储与重构方法
CN104735107A (zh) * 2013-12-20 2015-06-24 中国移动通信集团公司 分布式存储系统中数据副本恢复方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103631666A (zh) * 2012-08-24 2014-03-12 中兴通讯股份有限公司 数据冗余容错的适配管理设备、服务设备、系统及方法
CN102937967A (zh) * 2012-10-11 2013-02-20 南京中兴新软件有限责任公司 数据冗余实现方法及装置
CN104735107A (zh) * 2013-12-20 2015-06-24 中国移动通信集团公司 分布式存储系统中数据副本恢复方法及装置
CN103916483A (zh) * 2014-04-28 2014-07-09 中国科学院成都生物研究所 一种针对编码冗余存储系统的自适应数据存储与重构方法

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107733952A (zh) * 2016-08-12 2018-02-23 中国电信股份有限公司 用于提供差异化缓存服务的方法、装置和系统
CN106776798A (zh) * 2016-11-23 2017-05-31 深圳市中博睿存科技有限公司 一种集群文件系统基于客户端的可传播缓存方法
US11032858B2 (en) 2017-03-28 2021-06-08 Huawei Technologies Co., Ltd. Network access method, terminal, access network, and core network
US10972542B2 (en) 2017-03-29 2021-04-06 Huawei Technologies Co., Ltd. Data storage method and apparatus
US11575748B2 (en) 2017-03-29 2023-02-07 Huawei Technologies Co., Ltd. Data storage method and apparatus for combining different data distribution policies
WO2018176998A1 (zh) * 2017-03-29 2018-10-04 华为技术有限公司 数据存储方法及装置
CN108664351A (zh) * 2017-03-31 2018-10-16 杭州海康威视数字技术股份有限公司 一种数据存储、重构、清理方法、装置及数据处理系统
CN109150792B (zh) * 2017-06-15 2022-03-08 杭州海康威视数字技术股份有限公司 一种提高数据存储安全性方法及装置
CN109150792A (zh) * 2017-06-15 2019-01-04 杭州海康威视数字技术股份有限公司 一种提高数据存储安全性方法及装置
US11232228B2 (en) 2017-06-15 2022-01-25 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for improving data storage security
CN109117292B (zh) * 2017-06-22 2021-07-13 中兴通讯股份有限公司 一种集群存储的方法和装置及集群存储系统
CN109117292A (zh) * 2017-06-22 2019-01-01 中兴通讯股份有限公司 一种集群存储的方法和装置及集群存储系统
CN109284621A (zh) * 2017-07-19 2019-01-29 阿里巴巴集团控股有限公司 数据保护/恢复方法和装置以及数据存储/保护方法
CN108255432A (zh) * 2018-01-12 2018-07-06 郑州云海信息技术有限公司 基于分层存储的写操作控制方法、系统、装置及存储介质
CN110597453A (zh) * 2018-06-13 2019-12-20 杭州海康威视系统技术有限公司 一种云存储系统中的视频数据存储方法及装置
WO2020151323A1 (zh) * 2019-01-23 2020-07-30 平安科技（深圳）有限公司 一种基于数据分片的数据存储方法、设备及介质
CN110110551A (zh) * 2019-04-19 2019-08-09 中共中央办公厅电子科技学院(北京电子科技学院) 一种数据存储方法及装置
CN110110551B (zh) * 2019-04-19 2021-08-24 中共中央办公厅电子科技学院(北京电子科技学院) 一种数据存储方法及装置
US11461482B2 (en) * 2019-11-15 2022-10-04 Beijing University Of Technology Method for erasing information from electronic scrap based on dual-security mechanism
WO2021139443A1 (zh) * 2020-01-06 2021-07-15 支付宝(杭州)信息技术有限公司 数据访问控制方法及装置、数据访问设备及系统
CN111614730A (zh) * 2020-04-28 2020-09-01 北京金山云网络技术有限公司 云存储系统的文件处理方法、装置及电子设备
CN111796776A (zh) * 2020-07-08 2020-10-20 深圳忆联信息系统有限公司 基于用户自定义或需求分析的存储方法、装置、设备及介质
CN114936188A (zh) * 2022-05-30 2022-08-23 重庆紫光华山智安科技有限公司 数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN105630418A (zh) 一种数据存储方法及装置
CN107943421B (zh) 一种基于分布式存储系统的分区划分方法及装置
US11138103B1 (en) Resiliency groups
US11954220B2 (en) Data protection for container storage
CN104408091B (zh) 分布式文件系统的数据存储方法及系统
US12001688B2 (en) Utilizing data views to optimize secure data access in a storage system
US10467527B1 (en) Method and apparatus for artificial intelligence acceleration
CN106227731B (zh) 一种数据处理方法、装置及分布式文件系统
CN103106152B (zh) 基于层次存储介质的数据调度方法
CN104615606B (zh) 一种Hadoop分布式文件系统及其管理方法
CN108388604A (zh) 用户权限数据管理装置、方法及计算机可读存储介质
CN106708653B (zh) 一种基于纠删码与多副本的混合税务大数据安全保护方法
CN103929500A (zh) 一种分布式存储系统的数据分片方法
US20210055885A1 (en) Enhanced data access using composite data views
CN101997911A (zh) 一种数据迁移的方法及系统
CN108319618B (zh) 一种分布式存储系统的数据分布控制方法、系统及装置
CN103186554A (zh) 分布式数据镜像方法及存储数据节点
CN103942112A (zh) 磁盘容错方法、装置及系统
CN110825704B (zh) 一种读数据方法、写数据方法及服务器
US11579790B1 (en) Servicing input/output (‘I/O’) operations during data migration
CN106446159A (zh) 一种存储文件的方法、第一虚拟机及名称节点
CN106899654A (zh) 一种序列值生成方法、装置及系统
CN110427364A (zh) 一种数据处理方法、装置、电子设备及存储介质
US20230109530A1 (en) Synchronous object placement for information lifecycle management
CN104484131A (zh) 多磁盘服务器的数据处理装置及对应的处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160601