CN109597578A - 一种数据存储方法、系统、设备及计算机可读存储介质 - Google Patents

一种数据存储方法、系统、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109597578A
CN109597578A CN201811463465.5A CN201811463465A CN109597578A CN 109597578 A CN109597578 A CN 109597578A CN 201811463465 A CN201811463465 A CN 201811463465A CN 109597578 A CN109597578 A CN 109597578A
Authority
CN
China
Prior art keywords
data
aggregate file
stored
storage
memory system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811463465.5A
Other languages
English (en)
Inventor
李军站
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811463465.5A priority Critical patent/CN109597578A/zh
Publication of CN109597578A publication Critical patent/CN109597578A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据存储方法、系统、设备及计算机可读存储介质，应用于分布式存储系统中，该方法包括：在分布式存储系统的数据存储目录下创建聚合文件；打开聚合文件；获取待存储数据，将待存储数据存储至聚合文件中，并保持聚合文件为打开状态。本申请公开的一种数据存储方法，分布式存储系统在创建聚合文件后，直接打开聚合文件，并且在将获取的待存储数据存储至聚合文件中后，保持聚合文件为打开状态，从而使得后续在存储新的待存储数据时，不需再额外的执行打开聚合文件的操作，使得分布式存储系统进行数据存储的整体时间较短，效率较高。本申请公开的一种数据存储系统、设备及计算机可读存储介质也解决了相应技术问题。

Description

一种数据存储方法、系统、设备及计算机可读存储介质
技术领域
本申请涉及分布式存储技术领域，更具体地说，涉及一种数据存储方法、系统、设备及计算机可读存储介质。
背景技术
在分布式存储系统的应用中，客户读写的数据通常存储在分布式存储系统的特定目录下的文件中，然而，分布式存储系统的特定目录下存储有大量的文件，客户进行数据读写时，每次都需要打开文件，当有多个数据读写时，需打开大量的文件，增加磁盘压力，降低读写速率。
综上所述，如何提高分布式存储系统的数据读写速率是目前本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种数据存储方法，其能在一定程度上解决如何提高分布式存储系统的数据读写速率的技术问题。本申请还提供了一种数据存储系统、设备及计算机可读存储介质。
为了实现上述目的，本申请提供如下技术方案：
一种数据存储方法，应用于分布式存储系统中，包括：
在所述分布式存储系统的数据存储目录下创建聚合文件；
打开所述聚合文件；
获取待存储数据，将所述待存储数据存储至所述聚合文件中，并保持所述聚合文件为打开状态。
优选的，所述在所述分布式存储系统的数据存储目录下创建聚合文件，包括：
在所述分布式存储系统的数据存储目录下创建第一预设数量的所述聚合文件，其中，每个所述聚合文件的容量为1T。
优选的，所述将所述待存储数据存储至所述聚合文件中之后，还包括：
记录所述待存储数据在所述聚合文件中的初始存储地址及存储长度。
优选的，所述在所述分布式存储系统的数据存储目录下创建预设数量的所述聚合文件之后，还包括：
设置各个所述聚合文件的标识。
优选的，所述记录所述待存储数据在所述聚合文件中的初始存储地址及存储长度之后，还包括：
建立并记录所述初始存储地址、所述存储长度与存储所述待存储数据的所述聚合文件的标识间的映射关系。
优选的，所述建立并记录所述初始存储地址、所述存储长度与存储所述待存储数据的所述聚合文件的标识间的映射关系，包括：
建立键值对，基于所述键值对记录所述初始存储地址、所述存储长度与存储所述待存储数据的所述聚合文件的标识间的映射关系；
其中，所述键值对的键表示所述待存储数据，所述键值对的值表示所述初始存储地址、所述存储长度及存储所述待存储数据的所述聚合文件的标识。
优选的，所述在所述分布式存储系统的数据存储目录下创建聚合文件，包括：
在所述分布式存储系统的数据存储目录下，将预先创建的旧文件整合为所述聚合文件，其中，每个所述聚合文件由第二预设数量的所述旧文件整合而成。
一种数据存储系统，应用于分布式存储系统中，包括：
第一创建模块，用于在所述分布式存储系统的数据存储目录下创建聚合文件；
第一打开模块，用于打开所述聚合文件；
第一存储模块，用于获取待存储数据，将所述待存储数据存储至所述聚合文件中，并保持所述聚合文件为打开状态。
一种数据存储设备，应用于分布式存储系统中，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一所述的数据存储方法的步骤。
一种计算机可读存储介质，应用于分布式存储系统中，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述的数据存储方法的步骤。
本申请提供的一种数据存储方法，应用于分布式存储系统中，在分布式存储系统的数据存储目录下创建聚合文件；打开聚合文件；获取待存储数据，将待存储数据存储至聚合文件中，并保持聚合文件为打开状态。本申请提供的一种数据存储方法，分布式存储系统在创建聚合文件后，直接打开聚合文件，并且在将获取的待存储数据存储至聚合文件中后，保持聚合文件为打开状态，从而使得后续在存储新的待存储数据时，不需再额外的执行打开聚合文件的操作，节省打开文件的次数，进而节省打开文件所消耗的时间，使得分布式存储系统进行数据存储的整体时间较短，效率较高。本申请提供的一种数据存储系统、设备及计算机可读存储介质也解决了相应技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据存储方法的第一流程图；
图2为本申请实施例提供的一种数据存储方法的第二流程图；
图3为本申请实施例提供的一种数据存储系统的结构示意图；
图4为本申请实施例提供的一种数据存储设备的结构示意图；
图5为本申请实施例提供的一种数据存储设备的另一结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在分布式存储系统的应用中，客户读写的数据通常存储在分布式存储系统的特定目录下的文件中，然而，分布式存储系统的特定目录下存储有大量的文件，客户进行数据读写时，每次都需要打开文件，当有多个数据读写时，需打开大量的文件，增加磁盘压力，降低读写速率。本申请提供的一种数据存储方法可以提高数据读写速率。
请参阅图1，图1为本申请实施例提供的一种数据存储方法的第一流程图。
本申请实施例提供的一种数据存储方法，应用于分布式存储系统中，可以包括：
步骤S101：在分布式存储系统的数据存储目录下创建聚合文件。
实际应用中，分布式存储系统可以先在其数据存储目录下创建聚合文件，这里所描述的聚合文件指的是容量大于预设容量值的文件，也即聚合文件指的是容量较大的文件。具体的，分布式存储系统的数据存储目录可以为SSD数据存储目录，也即固态硬盘数据存储目录，还可以为HDD数据存储目录，也即硬盘驱动器数据存储目录等。
具体应用场景中，聚合文件的容量越大，每个聚合文件所能容纳的待存储数据越多，也即打开一个聚合文件即可保存较多的待存储数据，与容量较小的聚合文件相比，容量较小的聚合文件存储较多的待存储数据时，其需要打开聚合文件的数量较多，相应的，需要执行打开聚合文件的次数较多，所以聚合文件的容量越大，其所需要打开聚合文件的次数越少，所以在分布式存储系统的数据存储目录下创建聚合文件的步骤可以具体为：在分布式存储系统的数据存储目录下创建第一预设数量的聚合文件，其中，每个聚合文件的容量为1T。第一预设数量的值可以根据实际需要确定，比如其可以为1024等。
具体应用场景中，在分布式存储系统的数据存储目录下已经存有保存待存储数据的旧文件时，为了提高创建聚合文件的效率，可以直接将旧文件整合为聚合文件，则在分布式存储系统的数据存储目录下创建聚合文件的步骤可以具体为：在分布式存储系统的数据存储目录下，将预先创建的旧文件整合为聚合文件，其中，每个聚合文件由第二预设数量的旧文件整合而成。
步骤S102：打开聚合文件。
实际应用中，分布式存储系统在创建完聚合文件后，便可以打开聚合文件，以便分布式存储系统可以将待存储数据存储至聚合文件中。
步骤S103：获取待存储数据，将待存储数据存储至聚合文件中，并保持聚合文件为打开状态。
实际应用中，由于已经打开了聚合文件，所以分布式存储系统可以直接获取待存储数据，并将待存储数据存储至聚合文件，在此之后，并保持聚合文件为打开状态，这样之后需要存储待存储数据时，便无需执行打开聚合文件的操作，节省时间。
实际应用中，聚合文件中存储有大量的待存储数据，为了便于后续在聚合文件中快速确定出所需要的待存储数据，在将待存储数据存储至聚合文件中之后，还可以记录待存储数据在聚合文件中的初始存储地址及存储长度。这样，在需要查找待存储数据时，便可以直接根据记录的待存储数据在聚合文件中的初始存储地址及存储长度快速确定出聚合文件中的待存储数据，便于查找。
实际应用中，在有多个聚合文件时，为了便于区分，可以为各个聚合文件设置对应的标识，则在分布式存储系统的数据存储目录下创建预设数量的聚合文件之后，还可以设置各个聚合文件的标识。各个聚合文件的标识可以为不同的数字编号、不同的名称等，其可以根据具体应用场景确定。
具体应用场景中，在有多个聚合文件的情况下，为了快速确定出待存储数据，在记录待存储数据在聚合文件中的初始存储地址及存储长度之后，还可以建立并记录初始存储地址、存储长度与存储待存储数据的聚合文件的标识间的映射关系。这样，在查找待存储数据时，可以先根据保存的映射关系确定出待存储数据存储于哪个聚合文件中，再根据初始存储地址、存储长度在确定的聚合文件中确定出具体的待存储数据。
具体的，为了便于映射关系的建立与记录，可以借助键值对建立、保存映射关系，则建立并记录初始存储地址、存储长度与存储待存储数据的聚合文件的标识间的映射关系的步骤可以具体为：建立键值对，基于键值对记录初始存储地址、存储长度与存储待存储数据的聚合文件的标识间的映射关系；其中，键值对的键表示待存储数据，键值对的值表示初始存储地址、存储长度及存储待存储数据的聚合文件的标识。
本申请提供的一种数据存储方法，应用于分布式存储系统中，在分布式存储系统的数据存储目录下创建聚合文件；打开聚合文件；获取待存储数据，将待存储数据存储至聚合文件中，并保持聚合文件为打开状态。本申请提供的一种数据存储方法，分布式存储系统在创建聚合文件后，直接打开聚合文件，并且在将获取的待存储数据存储至聚合文件中后，保持聚合文件为打开状态，从而使得后续在存储新的待存储数据时，不需再额外的执行打开聚合文件的操作，节省打开文件的次数，进而节省打开文件所消耗的时间，使得分布式存储系统进行数据存储的整体时间较短，效率较高。
请参阅图2，图2为本申请实施例提供的一种数据存储方法的第二流程图。
实际应用中，本申请实施例提供的一种数据存储方法可以包括以下步骤：
步骤S201：在分布式存储系统的数据存储目录下创建第一预设数量的聚合文件，其中，每个聚合文件的容量为1T。
步骤S202：设置各个聚合文件的标识。
步骤S203：打开聚合文件。
步骤S204：获取待存储数据，将待存储数据存储至聚合文件中，并保持聚合文件为打开状态。
步骤S205：记录待存储数据在聚合文件中的初始存储地址及存储长度。
步骤S206：建立键值对，基于键值对记录初始存储地址、存储长度与存储待存储数据的聚合文件的标识间的映射关系；其中，键值对的键表示待存储数据，键值对的值表示初始存储地址、存储长度及存储待存储数据的聚合文件的标识。
本申请还提供了一种数据存储系统，其具有本申请实施例提供的一种数据存储方法具有的对应效果。请参阅图3，图3为本申请实施例提供的一种数据存储系统的结构示意图。
本申请实施例提供的一种数据存储系统，应用于分布式存储系统中，可以包括：
第一创建模块101，用于在分布式存储系统的数据存储目录下创建聚合文件；
第一打开模块102，用于打开聚合文件；
第一存储模块103，用于获取待存储数据，将待存储数据存储至聚合文件中，并保持聚合文件为打开状态。
本申请实施例提供的一种数据存储系统，应用于分布式存储系统中，第一创建模块可以包括：
第一创建单元，用于在分布式存储系统的数据存储目录下创建第一预设数量的聚合文件，其中，每个聚合文件的容量为1T。
本申请实施例提供的一种数据存储系统，应用于分布式存储系统中，还可以包括：
第一记录模块，用于第一存储模块将待存储数据存储至聚合文件中之后，记录待存储数据在聚合文件中的初始存储地址及存储长度。
本申请实施例提供的一种数据存储系统，应用于分布式存储系统中，还可以包括：
第一设置模块，用于第一创建模块在分布式存储系统的数据存储目录下创建预设数量的聚合文件之后，设置各个聚合文件的标识。
本申请实施例提供的一种数据存储系统，应用于分布式存储系统中，还可以包括：
第一建立模块，用于第一记录模块记录待存储数据在聚合文件中的初始存储地址及存储长度之后，建立并记录初始存储地址、存储长度与存储待存储数据的聚合文件的标识间的映射关系。
本申请实施例提供的一种数据存储系统，应用于分布式存储系统中，第一建立模块可以包括：建立键值对，基于键值对记录初始存储地址、存储长度与存储待存储数据的聚合文件的标识间的映射关系；其中，键值对的键表示待存储数据，键值对的值表示初始存储地址、存储长度及存储待存储数据的聚合文件的标识。
本申请实施例提供的一种数据存储系统，应用于分布式存储系统中，第一创建模块可以包括：
第二创建单元，用于在分布式存储系统的数据存储目录下，将预先创建的旧文件整合为聚合文件，其中，每个聚合文件由第二预设数量的旧文件整合而成。
本申请还提供了一种数据存储设备及计算机可读存储介质，其均具有本申请实施例提供的一种数据存储方法具有的对应效果。请参阅图4，图4为本申请实施例提供的一种数据存储设备的结构示意图。
本申请实施例提供的一种数据存储设备，应用于分布式存储系统中，包括存储器201和处理器202，存储器201中存储有计算机程序，处理器202执行存储器201中存储的计算机程序时实现如下步骤：
在分布式存储系统的数据存储目录下创建聚合文件；
打开聚合文件；
获取待存储数据，将待存储数据存储至聚合文件中，并保持聚合文件为打开状态。
本申请实施例提供的一种数据存储设备，应用于分布式存储系统中，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：在分布式存储系统的数据存储目录下创建第一预设数量的聚合文件，其中，每个聚合文件的容量为1T。
本申请实施例提供的一种数据存储设备，应用于分布式存储系统中，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：将待存储数据存储至聚合文件中之后，记录待存储数据在聚合文件中的初始存储地址及存储长度。
本申请实施例提供的一种数据存储设备，应用于分布式存储系统中，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：在分布式存储系统的数据存储目录下创建预设数量的聚合文件之后，设置各个聚合文件的标识。
本申请实施例提供的一种数据存储设备，应用于分布式存储系统中，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：记录待存储数据在聚合文件中的初始存储地址及存储长度之后，建立并记录初始存储地址、存储长度与存储待存储数据的聚合文件的标识间的映射关系。
本申请实施例提供的一种数据存储设备，应用于分布式存储系统中，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：建立键值对，基于键值对记录初始存储地址、存储长度与存储待存储数据的聚合文件的标识间的映射关系；其中，键值对的键表示待存储数据，键值对的值表示初始存储地址、存储长度及存储待存储数据的聚合文件的标识。
本申请实施例提供的一种数据存储设备，应用于分布式存储系统中，包括存储器201和处理器202，存储器201中存储有计算机子程序，处理器202执行存储器201中存储的计算机子程序时具体实现如下步骤：在分布式存储系统的数据存储目录下，将预先创建的旧文件整合为聚合文件，其中，每个聚合文件由第二预设数量的旧文件整合而成。
请参阅图5，本申请实施例提供的另一种数据存储设备中还可以包括：与处理器202连接的输入端口203，用于传输外界输入的命令至处理器202；与处理器202连接的显示单元204，用于显示处理器202的处理结果至外界；与处理器202连接的通信模块205，用于实现数据存储设备与外界的通信。显示单元204可以为显示面板、激光扫描使显示器等；通信模块205所采用的通信方式包括但不局限于移动高清链接技术(HML)、通用串行总线(USB)、高清多媒体接口(HDMI)、无线连接：无线保真技术(WiFi)、蓝牙通信技术、低功耗蓝牙通信技术、基于IEEE802.11s的通信技术。
本申请实施例提供的一种计算机可读存储介质，应用于分布式存储系统中，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
在分布式存储系统的数据存储目录下创建聚合文件；
打开聚合文件；
获取待存储数据，将待存储数据存储至聚合文件中，并保持聚合文件为打开状态。
本申请实施例提供的一种计算机可读存储介质，应用于分布式存储系统中，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：在分布式存储系统的数据存储目录下创建第一预设数量的聚合文件，其中，每个聚合文件的容量为1T。
本申请实施例提供的一种计算机可读存储介质，应用于分布式存储系统中，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：将待存储数据存储至聚合文件中之后，记录待存储数据在聚合文件中的初始存储地址及存储长度。
本申请实施例提供的一种计算机可读存储介质，应用于分布式存储系统中，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：在分布式存储系统的数据存储目录下创建预设数量的聚合文件之后，设置各个聚合文件的标识。
本申请实施例提供的一种计算机可读存储介质，应用于分布式存储系统中，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：记录待存储数据在聚合文件中的初始存储地址及存储长度之后，建立并记录初始存储地址、存储长度与存储待存储数据的聚合文件的标识间的映射关系。
本本申请实施例提供的一种计算机可读存储介质，应用于分布式存储系统中，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：建立键值对，基于键值对记录初始存储地址、存储长度与存储待存储数据的聚合文件的标识间的映射关系；其中，键值对的键表示待存储数据，键值对的值表示初始存储地址、存储长度及存储待存储数据的聚合文件的标识。
本申请实施例提供的一种计算机可读存储介质，应用于分布式存储系统中，计算机可读存储介质中存储有计算机子程序，计算机子程序被处理器执行时具体实现如下步骤：在分布式存储系统的数据存储目录下，将预先创建的旧文件整合为聚合文件，其中，每个聚合文件由第二预设数量的旧文件整合而成。
本申请所涉及的计算机可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本申请实施例提供的一种数据存储系统、设备及计算机可读存储介质中相关部分的说明请参见本申请实施例提供的一种数据存储方法中对应部分的详细说明，在此不再赘述。另外，本申请实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据存储方法，其特征在于，应用于分布式存储系统中，包括：
在所述分布式存储系统的数据存储目录下创建聚合文件；
打开所述聚合文件；
获取待存储数据，将所述待存储数据存储至所述聚合文件中，并保持所述聚合文件为打开状态。
2.根据权利要求1所述的方法，其特征在于，所述在所述分布式存储系统的数据存储目录下创建聚合文件，包括：
在所述分布式存储系统的数据存储目录下创建第一预设数量的所述聚合文件，其中，每个所述聚合文件的容量为1T。
3.根据权利要求2所述的方法，其特征在于，所述将所述待存储数据存储至所述聚合文件中之后，还包括：
记录所述待存储数据在所述聚合文件中的初始存储地址及存储长度。
4.根据权利要求3所述的方法，其特征在于，所述在所述分布式存储系统的数据存储目录下创建预设数量的所述聚合文件之后，还包括：
设置各个所述聚合文件的标识。
5.根据权利要求4所述的方法，其特征在于，所述记录所述待存储数据在所述聚合文件中的初始存储地址及存储长度之后，还包括：
建立并记录所述初始存储地址、所述存储长度与存储所述待存储数据的所述聚合文件的标识间的映射关系。
6.根据权利要求5所述的方法，其特征在于，所述建立并记录所述初始存储地址、所述存储长度与存储所述待存储数据的所述聚合文件的标识间的映射关系，包括：
建立键值对，基于所述键值对记录所述初始存储地址、所述存储长度与存储所述待存储数据的所述聚合文件的标识间的映射关系；
其中，所述键值对的键表示所述待存储数据，所述键值对的值表示所述初始存储地址、所述存储长度及存储所述待存储数据的所述聚合文件的标识。
7.根据权利要求1所述的方法，其特征在于，所述在所述分布式存储系统的数据存储目录下创建聚合文件，包括：
在所述分布式存储系统的数据存储目录下，将预先创建的旧文件整合为所述聚合文件，其中，每个所述聚合文件由第二预设数量的所述旧文件整合而成。
8.一种数据存储系统，其特征在于，应用于分布式存储系统中，包括：
第一创建模块，用于在所述分布式存储系统的数据存储目录下创建聚合文件；
第一打开模块，用于打开所述聚合文件；
第一存储模块，用于获取待存储数据，将所述待存储数据存储至所述聚合文件中，并保持所述聚合文件为打开状态。
9.一种数据存储设备，其特征在于，应用于分布式存储系统中，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的数据存储方法的步骤。
10.一种计算机可读存储介质，其特征在于，应用于分布式存储系统中，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据存储方法的步骤。
CN201811463465.5A 2018-12-03 2018-12-03 一种数据存储方法、系统、设备及计算机可读存储介质 Pending CN109597578A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811463465.5A CN109597578A (zh) 2018-12-03 2018-12-03 一种数据存储方法、系统、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811463465.5A CN109597578A (zh) 2018-12-03 2018-12-03 一种数据存储方法、系统、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109597578A true CN109597578A (zh) 2019-04-09

Family

ID=65959347

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811463465.5A Pending CN109597578A (zh) 2018-12-03 2018-12-03 一种数据存储方法、系统、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109597578A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059226A (zh) * 2019-04-26 2019-07-26 深圳市元征科技股份有限公司 一种xml数据存储解析方法、装置、设备及计算机介质
CN111090633A (zh) * 2019-12-13 2020-05-01 浪潮电子信息产业股份有限公司 一种分布式文件系统的小文件聚合方法、装置及设备
CN111104439A (zh) * 2019-12-19 2020-05-05 广州品唯软件有限公司 存储数据的比对方法、存储数据的比对装置及存储介质
CN113268456A (zh) * 2021-05-20 2021-08-17 济南浪潮数据技术有限公司 一种文件处理方法、系统、设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150347456A1 (en) * 2010-07-29 2015-12-03 International Business Machines Corporation Scalable and user friendly file virtualization for hierarchical storage
CN105653592A (zh) * 2016-01-28 2016-06-08 浪潮软件集团有限公司 一种基于hdfs的小文件合并工具和方法
CN107506447A (zh) * 2017-08-25 2017-12-22 郑州云海信息技术有限公司 一种基于本地文件系统的小文件读写方法及系统
CN107861686A (zh) * 2017-09-26 2018-03-30 深圳前海微众银行股份有限公司 文件存储方法、服务端和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150347456A1 (en) * 2010-07-29 2015-12-03 International Business Machines Corporation Scalable and user friendly file virtualization for hierarchical storage
CN105653592A (zh) * 2016-01-28 2016-06-08 浪潮软件集团有限公司 一种基于hdfs的小文件合并工具和方法
CN107506447A (zh) * 2017-08-25 2017-12-22 郑州云海信息技术有限公司 一种基于本地文件系统的小文件读写方法及系统
CN107861686A (zh) * 2017-09-26 2018-03-30 深圳前海微众银行股份有限公司 文件存储方法、服务端和计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
严巍巍等: "SMDFS分布式海量小文件系统的大空间聚合存储技术", 《计算机研究与发展》 *
李宁: "基于HDFS的小文件存储模型研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059226A (zh) * 2019-04-26 2019-07-26 深圳市元征科技股份有限公司 一种xml数据存储解析方法、装置、设备及计算机介质
CN111090633A (zh) * 2019-12-13 2020-05-01 浪潮电子信息产业股份有限公司 一种分布式文件系统的小文件聚合方法、装置及设备
CN111104439A (zh) * 2019-12-19 2020-05-05 广州品唯软件有限公司 存储数据的比对方法、存储数据的比对装置及存储介质
CN111104439B (zh) * 2019-12-19 2023-04-07 广州品唯软件有限公司 存储数据的比对方法、存储数据的比对装置及存储介质
CN113268456A (zh) * 2021-05-20 2021-08-17 济南浪潮数据技术有限公司 一种文件处理方法、系统、设备及计算机可读存储介质
CN113268456B (zh) * 2021-05-20 2023-12-08 济南浪潮数据技术有限公司 一种文件处理方法、系统、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN109597578A (zh) 一种数据存储方法、系统、设备及计算机可读存储介质
EP2940691B1 (en) Storage controller, storage device, storage system and method of operating the storage controller
CN106548789B (zh) 用于操作叠瓦式磁记录设备的方法和装置
CN108733322A (zh) 用于多流垃圾收集的方法
CN107111452B (zh) 应用于计算机系统的数据迁移方法和装置、计算机系统
US8312554B2 (en) Method of hiding file at data protecting mode for non-volatile memory module, memory controller and portable memory storage apparatus
CN110008136A (zh) 管理闪存模块的方法及相关的闪存控制器及电子装置
CN104484427B (zh) 一种录像文件存储装置及方法
JP5976608B2 (ja) メモリデバイス
CN103838853B (zh) 一种基于不同存储介质的混合文件系统
KR102538126B1 (ko) 테일 레이턴시를 인식하는 포어그라운드 가비지 컬렉션 알고리즘
CN106201652B (zh) 一种数据处理方法及虚拟机
JP5295173B2 (ja) 書き換え可能ディスク装置をシミュレーションするためのフラッシュメモリー記憶システム、フラッシュメモリー制御器、コンピューターシステムおよびその方法
US8255656B2 (en) Storage device, memory controller, and data protection method
CN108763531A (zh) 一种mdvr文件存储系统及其运行方法
TWI591533B (zh) 可用於資料儲存裝置之資料儲存方法與資料回復程序、以及採用這些方法的資料儲存裝置
CN109739442A (zh) 一种数据迁移方法、系统及相关组件
CN109634528A (zh) 一种目标数据的落盘方法、装置、设备及存储介质
CN107403637B (zh) 数据储存装置的数据页对齐方法及其查找表的制作方法
CN107704200A (zh) 一种数据存放方法
US8880471B2 (en) Virtual storage device
CN112506811B (zh) 基于固态硬盘内数据冷热划分的数据块动态分配方法、装置
CN109408482A (zh) 一种数据存储方法、系统、设备及计算机可读存储介质
CN103176753B (zh) 存储设备及其数据管理方法
CN112181275A (zh) 一种数据处理器及数据处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190409

RJ01 Rejection of invention patent application after publication