CN108363727A - 一种基于zfs文件系统的数据存储方法及装置 - Google Patents

一种基于zfs文件系统的数据存储方法及装置 Download PDF

Info

Publication number
CN108363727A
CN108363727A CN201810023098.0A CN201810023098A CN108363727A CN 108363727 A CN108363727 A CN 108363727A CN 201810023098 A CN201810023098 A CN 201810023098A CN 108363727 A CN108363727 A CN 108363727A
Authority
CN
China
Prior art keywords
storage
stored
file system
data
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810023098.0A
Other languages
English (en)
Other versions
CN108363727B (zh
Inventor
赵国贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai liankun Technology Co., Ltd
Original Assignee
Lianjia Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lianjia Beijing Technology Co Ltd filed Critical Lianjia Beijing Technology Co Ltd
Priority to CN201810023098.0A priority Critical patent/CN108363727B/zh
Publication of CN108363727A publication Critical patent/CN108363727A/zh
Application granted granted Critical
Publication of CN108363727B publication Critical patent/CN108363727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/174Redundancy elimination performed by the file system
    • G06F16/1744Redundancy elimination performed by the file system using compression, e.g. sparse files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/13File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种基于ZFS文件系统的数据存储方法及装置。所述方法包括:接收待存储数据以及对应的存储策略名称;根据所述存储策略名称获取匹配的目标存储策略,所述目标存储策略包括指定存储的文件系统和存储介质;若判断获知所述目标存储策略中指定存储的文件系统为动态文件系统ZFS,则根据所述ZFS文件系统预先配置的压缩算法对所述待存储数据进行压缩,并将压缩后的待存储数据存储到所述ZFS文件系统对应的存储介质中。所述装置用于执行所述方法。本发明实施例通过根据用户指定的存储策略名称获取匹配的目标存储策略,若目标存储策略指定存储的文件系统为ZFS文件系统,则先对待存储数据进行压缩在存储,从而节省了存储空间。

Description

一种基于ZFS文件系统的数据存储方法及装置
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种基于ZFS文件系统的数据存储方法及装置。
背景技术
HDFS(Hadoop Distributed File System)是一种大数据分布式存储系统,由雅虎开源。它将任意大小的文件按照指定块大小(如256MB)分割成若干块,并且为了数据冗余备份,每个块有3(默认)个副本,hdfs将该文件的所有副本块随机分布到大量数据节点(称为datanode)上,并在主节点(称为namenode)上记录该文件的每个副本块存在哪个datanode上。查询数据时从namenode获取该文件的所有副本块位置(即哪些datnode),再按照一定规则从datanode上获取数据。
存放在hdfs中的数据使用频率不一样,对存储的要求也不一样,比如某些数据经常使用(热数据),希望访问速度快。某些数据很少使用(冷数据),希望存储的成本低。业内提供多种类型存储介质,如固态硬盘(SSD)速度高,价格贵。磁带速度慢,价格低。普通磁盘价格和速度适中。
但目前集群均使用linux的ext4作为底层文件系统,并使用三副本策略(一份数据需要存储到三个节点上),极大的耗费存储空间。
发明内容
针对现有技术存在的问题,本发明实施例提供一种基于ZFS文件系统的数据存储方法及装置。
第一方面,本发明实施例提供一种基于ZFS文件系统的数据存储方法,包括:
接收待存储数据以及对应的存储策略名称;
根据所述存储策略名称获取匹配的目标存储策略,所述目标存储策略包括指定存储的文件系统和存储介质;
若判断获知所述目标存储策略中指定存储的文件系统为ZFS文件系统,则根据所述ZFS文件系统预先配置的压缩算法对所述待存储数据进行压缩,并将压缩后的待存储数据存储ZFS文件系统对应的存储介质中。
进一步地,所述方法,还包括:
若判断获知所述目标存储策略中指定存储的文件系统为第四代扩展文件系统Ext4,则直接将所述待存储数据存储到所述Ext4文件系统对应的存储介质中。
进一步地,所述方法,还包括:
预先配置存储策略,并将所述存储策略存储到数据库中。
进一步地,在接收待存储数据以及对应的存储策略名称后,所述方法,还包括:
将所述待存储数据进行分块,获得对应的多个待存储子数据块,并根据每一待存储子数据块获得预设个数的待存储子数据块副本,相应的,
所述目标存储策略包括每一待存储数据子数据块副本对应的文件系统和存储介质。
第二方面,本发明实施例提供一种基于ZFS文件系统的数据存储装置,包括:
接收模块,用于接收待存储数据以及对应的存储策略名称;
匹配模块,用于根据所述存储策略名称获取匹配的目标存储策略,所述目标存储策略包括指定存储的文件系统和存储介质;
第一存储模块,用于若判断获知所述目标存储策略中指定存储的文件系统为ZFS文件系统,则根据所述ZFS文件系统预先配置的压缩算法对所述待存储数据进行压缩,并将压缩后的待存储数据存储ZFS文件系统对应的存储介质中。
进一步地,所述装置,还包括:
第二存储模块,用于若判断获知所述目标存储策略中指定存储的文件系统为Ext4文件系统,则直接将所述待存储数据存储到Ext4文件系统对应的存储介质中。
进一步地,所述装置,还包括:
配置模块,用于预先配置存储策略,并将所述存储策略存储到数据库中。
进一步地,所述装置,还包括:
分块模块,用于将所述待存储数据进行分块,获得对应的多个待存储子数据块,并根据每一待存储子数据块获得预设个数的待存储子数据块副本,相应的,
所述目标存储策略包括每一待存储数据子数据块副本对应的文件系统和存储介质。
第三方面,本发明实施例提供一种电子设备,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面的方法步骤。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,包括:
所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面的方法步骤。
本发明实施例提供的一种基于ZFS文件系统的数据存储方法及装置,通过根据用户指定的存储策略名称获取匹配的目标存储策略,若目标存储策略指定存储的文件系统为ZFS文件系统,则先对待存储数据进行压缩在存储,从而节省了存储空间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于ZFS文件系统的数据存储方法流程示意图;
图2为本发明另一实施例提供的一种基于ZFS文件系统的数据存储方法流程示意图;
图3为本发明实施例提供的一种基于ZFS文件系统的数据存储装置结构示意图;
图4为本发明实施例提供的电子设备实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种基于ZFS文件系统的数据存储方法流程示意图,如图1所示,所述方法,包括:
步骤101:接收待存储数据以及对应的存储策略名称;
具体的,接收用户发送的待存储数据,并且,用户在发送待存储数据时可以指定该待存储数据对应的存储策略名称,不同的存储策略名称对应不同的存储策略,因此,用户可以根据实际需求为待存储数据指定存储策略。
步骤102:根据所述存储策略名称获取匹配的目标存储策略,所述目标存储策略包括指定存储的文件系统和存储介质;
具体的,存储策略可以有多种,每种存储策略都对应唯一一个存储策略名称,因此可以根据用户指定的存储策略名称,与预先存储的存储策略名称进行匹配,获取匹配成功的存储策略名称对应的存储策略作为目标存储策略,应当说明的是,目标存储策略中包括指定存储的文件系统和存储介质,即目标存储策略指定了将待存储数据存储在哪个文件系统中的哪个存储介质中。
步骤103:若判断获知所述目标存储策略中指定存储的文件系统为动态文件系统ZFS,则根据所述ZFS文件系统预先配置的压缩算法对所述待存储数据进行压缩,并将压缩后的待存储数据存储到所述ZFS文件系统对应的存储介质中。
具体的,如果目标存储策略中指定存储的文件系统为ZFS文件系统,则先利用ZFS文件系统中的压缩算法对待存储数据进行压缩,可以理解的是,预先在ZFS文件系统中配置压缩算法,可以是gzip压缩算法,也可以是其他压缩算法,本发明实施例对此不做具体限定。经过压缩后的待存储数据节省了存储空间,将压缩后的待存储数据存储到ZFS文件系统对应的存储介质中,可以理解的是,ZFS文件系统中的存储介质可以为固态硬盘SSD、文档服务器Archive和磁盘DISK中的任意一种或其组合。
本发明实施例通过根据用户指定的存储策略名称获取匹配的目标存储策略,若目标存储策略指定存储的文件系统为ZFS文件系统,则先对待存储数据进行压缩在存储,从而节省了存储空间。
在上述实施例的基础上,所述方法,还包括:
若判断获知所述目标存储策略中指定存储的文件系统为第四代扩展文件系统Ext4,则直接将所述待存储数据存储到所述Ext4文件系统对应的存储介质中。
具体的,如果用户指定的目标存储策略中对应的文件系统是Ext4文件系统,则直接将待存储数据存储到Ext4文件系统对应的存储介质中,应当说明的是,Ext4文件系统中的存储介质可以为固态硬盘SSD、文档服务器Archive和磁盘DISK中的任意一种或其组合。
应当说明的是,一条存储策略中也可以指定多个文件系统,可以将一部分待存储数据存到Ext4文件系统中,另一部分待存储数据存到ZFS文件系统中。
本发明实施例通过在数据存储装置中同时配置ZFS文件系统和Ext4文件系统,根据指定的存储策略名称对待存储数据进行存储,合理分配了存储空间。
在上述实施例的基础上,所述方法,还包括:
预先配置存储策略,并将所述存储策略存储到数据库中。
具体的,预先在数据存储装置中配置存储策略,并将存储策略存储在数据库中,下表为本发明实施例提供的部分存储策略:
本发明实施例通过在数据存储装置中同时配置ZFS文件系统和Ext4文件系统,根据指定的存储策略名称对待存储数据进行存储,合理分配了存储空间。
在上述实施例的基础上,在接收待存储数据以及对应的存储策略名称后,所述方法,还包括:
将所述待存储数据进行分块,获得对应的多个待存储子数据块,并根据每一待存储子数据块获得预设个数的待存储子数据块副本,相应的,
所述目标存储策略包括每一待存储数据子数据块副本对应的文件系统和存储介质。
具体的,在接收到用户发送的待存储数据和存储策略名称后,可以根据预设字节数对待存储数据进行分块,从而得到多个待存储子数据块,每个待存储子数据块通常情况下有三个待存储子数据块副本,因此,存储策略中应当包括每个待存储子数据块副本对应的文件系统和存储介质,不一定要将所有的待存储子数据块副本存储在同一个文件系统的同一个存储介质中,如上表中的存储策略。如果有部分或全部待存储子数据块副本存储在了ZFS文件系统的某个存储介质中,则需要对该待存储子数据块副本进行压缩,然后在进行存储。
本发明实施例通过根据用户指定的存储策略名称获取匹配的目标存储策略,若目标存储策略指定存储的文件系统为ZFS文件系统,则先对待存储数据进行压缩在存储,从而节省了存储空间。
图2为本发明另一实施例提供的一种基于ZFS文件系统的数据存储方法流程示意图,如图2所示,所述方法,包括:
步骤201:写入数据或读取数据;接收待存储数据,其中待存储数据可以是用户写入的数据,也可以是读取的数据,本发明实施例对此不做具体限定,另外,还需要接收用户指定的存储策略名称;
步骤202:配置存储策略;在数据存储装置中配置多个存储策略,应当说明的是,配置存储策略的步骤可以预先进行,不一定是在步骤201之后;
步骤203:选择目标存储策略;根据用户指定的存储策略名称从预先配置的存储策略中选择对应的存储策略作为目标存储策略;
步骤204:确定文件系统;根据目标存储策略确定待存储数据要存储到哪个文件系统中,如果是ZFS文件系统则执行步骤205,如果是Ext文件系统则执行步骤206;
步骤205:选择ZFS文件系统;若目标存储策略中是将部分或全部待存储数据存入ZFS文件系统,则执行步骤206;
步骤206:压缩;在存储到ZFS文件系统对应的存储介质中之前,需要对存储在ZFS文件系统的上述部分或全部待存储数据利用预先配置的压缩算法进行压缩;
步骤207:选择Ext文件系统;如果目标存储策略中是将部分或全部待存储数据存入Ext文件系统,则直接执行步骤208:
步骤208:存储;将压缩后的待存储数据存储到目标存储策略中ZFS文件系统中对应的存储介质中,或将未压缩的待存储数据直接存储到Ext文件系统中对应的存储介质中。
本发明实施例通过在写入数据的时候能够根据实际需求制定不同的存储策略,选择性使用ZFS文件系统,在对用户没有感知的情况下对数据进行了压缩,极大的节省了存储空间。
图3为本发明实施例提供的一种基于ZFS文件系统的数据存储装置结构示意图,如图3所示,所述装置,包括:接收模块301、匹配模块302和第一存储模块303,其中:
接收模块301用于接收待存储数据以及对应的存储策略名称;匹配模块302用于根据所述存储策略名称获取匹配的目标存储策略,所述目标存储策略包括指定存储的文件系统和存储介质;第一存储模块303用于若判断获知所述目标存储策略中指定存储的文件系统为ZFS文件系统,则根据所述ZFS文件系统预先配置的压缩算法对所述待存储数据进行压缩,并将压缩后的待存储数据存储ZFS文件系统对应的存储介质中。
具体的,接收模块301接收用户发送的待存储数据,并且,用户在发送待存储数据时可以指定该待存储数据对应的存储策略名称,不同的存储策略名称对应不同的存储策略,因此,用户可以根据实际需求为待存储数据指定存储策略。存储策略可以有多种,每种存储策略都对应唯一一个存储策略名称,因此匹配模块302可以根据用户指定的存储策略名称,与预先存储的存储策略名称进行匹配,获取匹配成功的存储策略名称对应的存储策略作为目标存储策略,应当说明的是,目标存储策略中包括指定存储的文件系统和存储介质,即目标存储策略指定了将待存储数据存储在哪个文件系统中的哪个存储介质中。第一存储模块303如果目标存储策略中指定存储的文件系统为ZFS文件系统,则先利用ZFS文件系统中的压缩算法对待存储数据进行压缩,经过压缩后的待存储数据节省了存储空间,将压缩后的待存储数据存储到ZFS文件系统对应的存储介质中。
应当说明的是,数据存储装置可以为HDFS存储系统。
本发明提供的装置的实施例具体可以用于执行上述各方法实施例的处理流程,其功能在此不再赘述,可以参照上述方法实施例的详细描述。
本发明实施例通过根据用户指定的存储策略名称获取匹配的目标存储策略,若目标存储策略指定存储的文件系统为ZFS文件系统,则先对待存储数据进行压缩在存储,从而节省了存储空间。
在上述实施例的基础上,所述装置,还包括:
第二存储模块,用于若判断获知所述目标存储策略中指定存储的文件系统为Ext4文件系统,则直接将所述待存储数据存储到Ext4文件系统对应的存储介质中。
具体的,如果用户指定的目标存储策略中对应的文件系统是Ext4文件系统,则直接第二存储模块将待存储数据存储到Ext4文件系统对应的存储介质中,应当说明的是,Ext4文件系统中的存储介质可以为固态硬盘SSD、文档服务器Archive和磁盘DISK中的任意一种或其组合。
本发明实施例通过在数据存储装置中同时配置ZFS文件系统和Ext4文件系统,根据指定的存储策略名称对待存储数据进行存储,合理分配了存储空间。
在上述实施例的基础上,所述装置,还包括:
配置模块,用于预先配置存储策略,并将所述存储策略存储到数据库中。
在上述实施例的基础上,所述装置,还包括:
分块模块,用于将所述待存储数据进行分块,获得对应的多个待存储子数据块,并根据每一待存储子数据块获得预设个数的待存储子数据块副本,相应的,
所述目标存储策略包括每一待存储数据子数据块副本对应的文件系统和存储介质。
具体的,在接收到用户发送的待存储数据和存储策略名称后,分块模块可以根据预设字节数对待存储数据进行分块,从而得到多个待存储子数据块,每个待存储子数据块通常情况下有三个待存储子数据块副本,因此,存储策略中应当包括每个待存储子数据块副本对应的文件系统和存储介质,不一定要将所有的待存储子数据块副本存储在同一个文件系统的同一个存储介质中,如上表中的存储策略。如果有部分或全部待存储子数据块副本存储在了ZFS文件系统的某个存储介质中,则需要对该待存储子数据块副本进行压缩,然后在进行存储。
本发明实施例通过根据用户指定的存储策略名称获取匹配的目标存储策略,若目标存储策略指定存储的文件系统为ZFS文件系统,则先对待存储数据进行压缩在存储,从而节省了存储空间。
图4为本发明实施例提供的电子设备实体结构示意图,如图4所示,所述电子设备,包括:处理器(processor)401、存储器(memory)402和总线403;其中,
所述处理器401和存储器402通过所述总线403完成相互间的通信;
所述处理器401用于调用所述存储器402中的程序指令,以执行上述各方法实施例所提供的方法,例如包括:接收待存储数据以及对应的存储策略名称;根据所述存储策略名称获取匹配的目标存储策略,所述目标存储策略包括指定存储的文件系统和存储介质;若判断获知所述目标存储策略中指定存储的文件系统为动态文件系统ZFS,则根据所述ZFS文件系统预先配置的压缩算法对所述待存储数据进行压缩,并将压缩后的待存储数据存储到所述ZFS文件系统对应的存储介质中。
本实施例公开一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方法,例如包括:接收待存储数据以及对应的存储策略名称;根据所述存储策略名称获取匹配的目标存储策略,所述目标存储策略包括指定存储的文件系统和存储介质;若判断获知所述目标存储策略中指定存储的文件系统为动态文件系统ZFS,则根据所述ZFS文件系统预先配置的压缩算法对所述待存储数据进行压缩,并将压缩后的待存储数据存储到所述ZFS文件系统对应的存储介质中。
本实施例提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行上述各方法实施例所提供的方法,例如包括:接收待存储数据以及对应的存储策略名称;根据所述存储策略名称获取匹配的目标存储策略,所述目标存储策略包括指定存储的文件系统和存储介质;若判断获知所述目标存储策略中指定存储的文件系统为动态文件系统ZFS,则根据所述ZFS文件系统预先配置的压缩算法对所述待存储数据进行压缩,并将压缩后的待存储数据存储到所述ZFS文件系统对应的存储介质中。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置等实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于ZFS文件系统的数据存储方法,其特征在于,包括:
接收待存储数据以及对应的存储策略名称;
根据所述存储策略名称获取匹配的目标存储策略,所述目标存储策略包括指定存储的文件系统和存储介质;
若判断获知所述目标存储策略中指定存储的文件系统为动态文件系统ZFS,则根据所述ZFS文件系统预先配置的压缩算法对所述待存储数据进行压缩,并将压缩后的待存储数据存储到所述ZFS文件系统对应的存储介质中。
2.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
若判断获知所述目标存储策略中指定存储的文件系统为第四代扩展文件系统Ext4,则直接将所述待存储数据存储到所述Ext4文件系统对应的存储介质中。
3.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
预先配置存储策略,并将所述存储策略存储到数据库中。
4.根据权利要求1-3任一项所述的方法,其特征在于,在接收待存储数据以及对应的存储策略名称后,所述方法,还包括:
将所述待存储数据进行分块,获得对应的多个待存储子数据块,并根据每一待存储子数据块获得预设个数的待存储子数据块副本,相应的,
所述目标存储策略包括每一待存储数据子数据块副本对应的文件系统和存储介质。
5.一种基于ZFS文件系统的数据存储装置,其特征在于,包括:
接收模块,用于接收待存储数据以及对应的存储策略名称;
匹配模块,用于根据所述存储策略名称获取匹配的目标存储策略,所述目标存储策略包括指定存储的文件系统和存储介质;
第一存储模块,用于若判断获知所述目标存储策略中指定存储的文件系统为ZFS文件系统,则根据所述ZFS文件系统预先配置的压缩算法对所述待存储数据进行压缩,并将压缩后的待存储数据存储ZFS文件系统对应的存储介质中。
6.根据权利要求5所述的装置,其特征在于,所述装置,还包括:
第二存储模块,用于若判断获知所述目标存储策略中指定存储的文件系统为Ext4文件系统,则直接将所述待存储数据存储到Ext4文件系统对应的存储介质中。
7.根据权利要求5所述的装置,其特征在于,所述装置,还包括:
配置模块,用于预先配置存储策略,并将所述存储策略存储到数据库中。
8.根据权利要求5-7任一项所述的装置,其特征在于,所述装置,还包括:
分块模块,用于将所述待存储数据进行分块,获得对应的多个待存储子数据块,并根据每一待存储子数据块获得预设个数的待存储子数据块副本,相应的,
所述目标存储策略包括每一待存储数据子数据块副本对应的文件系统和存储介质。
9.一种电子设备,其特征在于,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1-4任一项所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1-4任一项所述的方法。
CN201810023098.0A 2018-01-10 2018-01-10 一种基于zfs文件系统的数据存储方法及装置 Active CN108363727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810023098.0A CN108363727B (zh) 2018-01-10 2018-01-10 一种基于zfs文件系统的数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810023098.0A CN108363727B (zh) 2018-01-10 2018-01-10 一种基于zfs文件系统的数据存储方法及装置

Publications (2)

Publication Number Publication Date
CN108363727A true CN108363727A (zh) 2018-08-03
CN108363727B CN108363727B (zh) 2020-06-02

Family

ID=63011325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810023098.0A Active CN108363727B (zh) 2018-01-10 2018-01-10 一种基于zfs文件系统的数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN108363727B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416858A (zh) * 2020-11-09 2021-02-26 深圳市珍爱捷云信息技术有限公司 文档存储方法、装置、电子设备和计算机可读存储介质
CN112783445A (zh) * 2020-11-17 2021-05-11 北京旷视科技有限公司 数据存储方法、装置、系统、电子设备及可读存储介质
CN115695454A (zh) * 2022-06-13 2023-02-03 中移互联网有限公司 一种mec主机的数据存储方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1467638A (zh) * 1998-06-27 2004-01-14 皇家菲利浦电子有限公司 多文件系统的灵活管理
CN101430700A (zh) * 2007-10-16 2009-05-13 巴比禄股份有限公司 文件系统管理装置和存储装置
US20110314071A1 (en) * 2010-06-17 2011-12-22 Openwave Systems Inc. Metadata-based data access and control
CN104050216A (zh) * 2013-03-13 2014-09-17 梦工厂动画公司 用于定制化资源分配的文件系统管理器
CN104598495A (zh) * 2013-10-31 2015-05-06 南京中兴新软件有限责任公司 基于分布式文件系统的分级存储方法及系统
US20150286701A1 (en) * 2014-04-04 2015-10-08 Quantum Corporation Data Classification Aware Object Storage
CN106959997A (zh) * 2017-02-04 2017-07-18 深圳市中博科创信息技术有限公司 基于集群文件系统的文件处理方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1467638A (zh) * 1998-06-27 2004-01-14 皇家菲利浦电子有限公司 多文件系统的灵活管理
CN101430700A (zh) * 2007-10-16 2009-05-13 巴比禄股份有限公司 文件系统管理装置和存储装置
US20110314071A1 (en) * 2010-06-17 2011-12-22 Openwave Systems Inc. Metadata-based data access and control
CN104050216A (zh) * 2013-03-13 2014-09-17 梦工厂动画公司 用于定制化资源分配的文件系统管理器
CN104598495A (zh) * 2013-10-31 2015-05-06 南京中兴新软件有限责任公司 基于分布式文件系统的分级存储方法及系统
US20150286701A1 (en) * 2014-04-04 2015-10-08 Quantum Corporation Data Classification Aware Object Storage
CN106959997A (zh) * 2017-02-04 2017-07-18 深圳市中博科创信息技术有限公司 基于集群文件系统的文件处理方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416858A (zh) * 2020-11-09 2021-02-26 深圳市珍爱捷云信息技术有限公司 文档存储方法、装置、电子设备和计算机可读存储介质
CN112783445A (zh) * 2020-11-17 2021-05-11 北京旷视科技有限公司 数据存储方法、装置、系统、电子设备及可读存储介质
CN115695454A (zh) * 2022-06-13 2023-02-03 中移互联网有限公司 一种mec主机的数据存储方法、装置、设备及存储介质
CN115695454B (zh) * 2022-06-13 2023-10-27 中移互联网有限公司 一种mec主机的数据存储方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108363727B (zh) 2020-06-02

Similar Documents

Publication Publication Date Title
CN109634932B (zh) 一种智能合约存储方法及存储系统
US9940331B1 (en) Proactive scavenging of file system snaps
CN103038742B (zh) 用于在分布式存储系统内动态复制数据的方法和系统
US11210183B2 (en) Memory health tracking for differentiated data recovery configurations
CN108363727A (zh) 一种基于zfs文件系统的数据存储方法及装置
CN110147203B (zh) 一种文件管理方法、装置、电子设备及存储介质
CN107656807A (zh) 一种虚拟资源的自动弹性伸缩方法及装置
CN103412929A (zh) 一种海量数据的存储方法
CN116450287A (zh) 业务容器存储容量的管理方法、装置、设备及可读介质
US9037821B1 (en) Systems and methods for replicating snapshots across backup domains
CN111159140A (zh) 数据处理方法、装置、电子设备及存储介质
CN114356212A (zh) 数据处理方法、系统及计算机可读存储介质
CN108197323A (zh) 应用于分布式系统地图数据处理方法
CN107220248A (zh) 一种用于存储数据的方法和装置
US20230109530A1 (en) Synchronous object placement for information lifecycle management
CN116700606A (zh) 数据存储方法、装置、设备及存储介质
CN108959300B (zh) 文件存储方法和存储装置
CN114036104A (zh) 基于分布式存储的重删数据的云归档方法、装置及系统
CN109144766A (zh) 一种数据存储、重构方法和装置、及电子设备
CN108319701A (zh) 地图数据综合处理方法
CN112988696B (zh) 文件整理方法、装置及相关设备
CN103856535A (zh) 一种获取用户数据的方法和装置
CN106325684B (zh) 操作项选择状态显示方法及装置
CN110837345A (zh) 一种坏块表的存放方法及装置
CN113688142B (zh) 索引管理方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing

Applicant after: Seashell Housing (Beijing) Technology Co., Ltd.

Address before: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing

Applicant before: Chain home network (Beijing) Technology Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200825

Address after: No.3 building, No.101 Beicun Road, Fengxian District, Shanghai

Patentee after: Shanghai liankun Technology Co., Ltd

Address before: 100085 Floor 102-1, Building No. 35, West Second Banner Road, Haidian District, Beijing

Patentee before: Seashell Housing (Beijing) Technology Co.,Ltd.

TR01 Transfer of patent right