CN111880734A - 一种数据处理方法、系统、电子设备及存储介质 - Google Patents

一种数据处理方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN111880734A
CN111880734A CN202010724280.6A CN202010724280A CN111880734A CN 111880734 A CN111880734 A CN 111880734A CN 202010724280 A CN202010724280 A CN 202010724280A CN 111880734 A CN111880734 A CN 111880734A
Authority
CN
China
Prior art keywords
disk space
target
data
file
target file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010724280.6A
Other languages
English (en)
Inventor
崔新民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Inspur Data Technology Co Ltd
Original Assignee
Beijing Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Inspur Data Technology Co Ltd filed Critical Beijing Inspur Data Technology Co Ltd
Priority to CN202010724280.6A priority Critical patent/CN111880734A/zh
Publication of CN111880734A publication Critical patent/CN111880734A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/06—Addressing a physical block of locations, e.g. base addressing, module addressing, memory dedication
    • G06F12/0615—Address space extension
    • G06F12/0623—Address space extension for memory modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据处理方法，所述数据处理方法包括：接收文件创建请求，并根据文件创建请求创建目标文件；为目标文件预分配地址连续的目标磁盘空间；其中，目标磁盘空间用于存储目标文件的数据；若接收到目标文件对应的写操作指令，则判断待写入数据的数据大小是否大于目标文件对应的剩余预分配磁盘空间；若是，则为目标文件预分配地址连续的扩展磁盘空间，并将待写入数据写入目标磁盘空间和扩展磁盘空间；若否，则将待写入数据写入目标磁盘空间。本申请能够保证数据存储地址的连续性，提高数据读取速率。本申请还公开了一种数据处理系统、一种电子设备及一种存储介质，具有以上有益效果。

Description

一种数据处理方法、系统、电子设备及存储介质
技术领域
本申请涉及计算机技术领域，特别涉及一种数据处理方法、系统、一种电子设备及一种存储介质。
背景技术
文件系统是操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。在数据存储过程中，由于文件的数据往往不是一次性全部写入，存在某一文件的数据存在多次写入或修改的情况。在现有技术中往往只能够为文件单次写入的数据分配连续的存储地址，在该文件后续写入数据时无法保证新写入数据与之前写入数据的存储地址连续性，导致数据读取速率较低。
因此，如何保证数据存储地址的连续性，提高数据读取速率是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种数据处理方法、系统、一种电子设备及一种存储介质，能够保证数据存储地址的连续性，提高数据读取速率。
为解决上述技术问题，本申请提供一种数据处理方法，该数据处理方法包括：
接收文件创建请求，并根据所述文件创建请求创建目标文件；
为所述目标文件预分配地址连续的目标磁盘空间；其中，所述目标磁盘空间用于存储所述目标文件的数据；
若接收到所述目标文件对应的写操作指令，则判断待写入数据的数据大小是否大于所述目标文件对应的剩余预分配磁盘空间；
若是，则为所述目标文件预分配地址连续的扩展磁盘空间，并将所述待写入数据写入所述目标磁盘空间和所述扩展磁盘空间；
若否，则将所述待写入数据写入所述目标磁盘空间。
可选的，还包括：
将所述目标磁盘空间的起始位置和偏移量写入所述目标文件的元数据；
若接收到所述目标文件对应的读操作指令，则根据所述目标文件的元数据确定数据存储位置并执行数据读操作。
可选的，还包括：
若接收到所述目标文件对应的读操作指令，则判断缓存中是否预存储所述目标文件；
若是，则从缓存中读取所述读操作指令对应的目标数据；
若否，则根据所述目标文件对应的读操作指令从所述目标磁盘空间中读取所述目标数据，并将所述目标磁盘空间中的所有数据预存储至缓存中。
可选的，将所述待写入数据写入所述目标磁盘空间和所述扩展磁盘空间，包括：
将所述待写入数据写入至所述目标磁盘空间，直至所述目标磁盘空间的剩余可用存储空间为0；
将未写入所述目标磁盘空间的待写入数据写入至所述扩展磁盘空间。
可选的，还包括：
判断文件系统的剩余磁盘空间是否小于预设值；其中，所述剩余磁盘空间为未预分配给已创建文件的磁盘空间；
若是，则对已预分配给已创建文件且未写入数据的磁盘空间执行磁盘空间回收操作。
可选的，还包括：
根据所述目标文件被预分配的磁盘空间容量和所述目标文件的数据大小计算所述目标文件对应的剩余预分配磁盘空间。
可选的，在为所述目标文件预分配地址连续的目标磁盘空间之前，还包括：
根据所述目标文件的文件类型确定所述目标磁盘空间的空间大小。
本申请还提供了一种数据处理系统，该数据处理系统包括：
文件创建模块，用于接收文件创建请求，并根据所述文件创建请求创建目标文件；
空间分配模块，用于为所述目标文件预分配地址连续的目标磁盘空间；其中，所述目标磁盘空间用于存储所述目标文件的数据；
判断模块，用于若接收到所述目标文件对应的写操作指令，则判断待写入数据的数据大小是否大于所述目标文件对应的剩余预分配磁盘空间；
第一写入模块，用于若待写入数据的数据大小小于或等于所述目标文件对应的剩余预分配磁盘空间，则为所述目标文件预分配地址连续的扩展磁盘空间，并将所述待写入数据写入所述目标磁盘空间和所述扩展磁盘空间；
第二写入模块，用于若待写入数据的数据大小大于所述目标文件对应的剩余预分配磁盘空间，则将所述待写入数据写入所述目标磁盘空间。
本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述数据处理方法执行的步骤。
本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述数据处理方法执行的步骤。
本申请提供了一种数据处理方法，包括接收文件创建请求，并根据所述文件创建请求创建目标文件；为所述目标文件预分配地址连续的目标磁盘空间；其中，所述目标磁盘空间用于存储所述目标文件的数据；若接收到所述目标文件对应的写操作指令，则判断待写入数据的数据大小是否大于所述目标文件对应的剩余预分配磁盘空间；若是，则为所述目标文件预分配地址连续的扩展磁盘空间，并将所述待写入数据写入所述目标磁盘空间和所述扩展磁盘空间；若否，则将所述待写入数据写入所述目标磁盘空间。
本申请在接收到文件创建请求之后为创建的目标文件预分配地址连续的目标磁盘空间，以便在目标磁盘空间中存储目标文件的数据。在接收到目标文件对应的写操作指令之后，若待写入数据的数据大小小于或等于目标文件的剩余预分配磁盘空间，则继续在目标磁盘空间中写入数据；若待写入数据的数据大小大于目标文件的剩余预分配磁盘空间，则为所述目标文件预分配地址连续的扩展磁盘空间，并在目标磁盘空间和扩展磁盘空间中写入数据。本申请通过为目标文件预分配地址连续的磁盘空间提高了存储数据的连续性，并在预分配的目标磁盘空间不足时预分配地址连续的扩展磁盘空间，在目标磁盘空间和扩展磁盘空间内写入数据，使目标文件的数据连续性最大化。因此，本申请能够保证数据存储地址的连续性，提高数据读取速率。本申请同时还提供了一种数据处理系统、一种电子设备和一种存储介质，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种数据处理方法的流程图；
图2为本申请实施例所提供的一种数据处理系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面请参见图1，图1为本申请实施例所提供的一种数据处理方法的流程图。
具体步骤可以包括：
S101：接收文件创建请求，并根据所述文件创建请求创建目标文件；
其中，本实施例可以应用于个人计算机、服务器等具有存储功能的电子设备。在接收到文件创建请求之后，本实施例可以解析文件创建请求得到需要文件创建参数，并基于文件创建参数创建目标文件。文件创建参数可以包括文件名、文件类型等信息。文件创建请求可以为用户下发的请求，也可以为其他电子设备发下的请求。当有新文件创建时，可以根据挂载参数确定文件需要预分配的磁盘空间，并把预分配的磁盘空间的起始位置和偏移量写入到文件的元数据中。
S102：为所述目标文件预分配地址连续的目标磁盘空间；
其中，在创建目标文件的基础上，本步骤为目标文件分配一定的磁盘空间，用于存储目标文件的数据。具体的，本步骤可以为目标文件预分配地址连续的目标磁盘空间，目标磁盘空间为磁盘中一段地址连续的空间。作为一种可行的实施方式，本实施例在为所述目标文件预分配地址连续的目标磁盘空间之前，还可以根据所述目标文件的文件类型确定所述目标磁盘空间的空间大小。本实施例可以为相同类型的文件预分配同一空间大小的磁盘空间，例如在存储监控数据的应用场景中，需要以24小时为粒度进行视频文件存储，由于每一天的监控视频数据量基本不发生变化，因此可以为每一天创建的视频文件预分配相同大小的连续的磁盘空间。
作为一种可行的实施方式，本实施例还可以将所述目标磁盘空间的起始位置和偏移量写入所述目标文件的元数据；若接收到所述目标文件对应的读操作指令，则根据所述目标文件的元数据确定数据存储位置并执行数据读操作。本实施例在文件系统挂载时，可以通过参数指定预分配文件大小，在有新文件写入时，进行磁盘空间的预分配。保证了文件内容在硬盘上存储的连续性从而减少磁盘的变道寻址，提高了读写速度。本实施例可以根据通过业务场景，确定预分配的磁盘空间大小。比如一些视频监控应用，需要存储的视频文件是固定大小的，根据这个视频文件的大小确定文件系统的挂载参数，即确定预分配的磁盘空间大小。本实施例可以针对不同的应用场景，指定文件预分配的磁盘空间大小，提高了文件系统的读写速度。本实施例在挂载文件系统时，还可以根据业务中需要创建的文件系统大小确定目标磁盘空间大小。
S103：若接收到所述目标文件对应的写操作指令，则判断待写入数据的数据大小是否大于所述目标文件对应的剩余预分配磁盘空间；若是，则进入S104；若否，则进入S105；
其中，在本步骤之前还可以存在接收写操作指令的步骤，在接收到写操作指令后，本实施例可以根据写操作指令的内容确定该写操作指令为向哪个文件写入数据的指令。若接收到目标文件对应的写操作指令，本实施例可以通过解析写操作指令确定待写入数据的数据大小，还可以确定目标文件对应的剩余预分配磁盘空间；若待写入数据的数据大小大于所述目标文件对应的剩余预分配磁盘空间，则说明当前为目标文件预分配的磁盘空间已经无法容纳全部的待写入数据，需要执行S104预分配扩展磁盘空间的操作；若待写入数据的数据大小小于或等于所述目标文件对应的剩余预分配磁盘空间，则说明当前为目标文件预分配的磁盘空间可以容纳全部的待写入数据，可以将待写入数据写入已经为目标文件预分配的磁盘空间。
上述剩余预分配磁盘空间用于描述预分配给目标文件的磁盘空间中尚未写入数据的磁盘空间大小，确定剩余预分配磁盘空间的方法可以为：根据所述目标文件被预分配的磁盘空间容量和所述目标文件的数据大小计算所述目标文件对应的剩余预分配磁盘空间。目标文件被预分配的磁盘空间容量可以包括创建目标文件时分配的目标磁盘空间，也可以包括后续预分配的扩展磁盘空间。
S104：为所述目标文件预分配地址连续的扩展磁盘空间，并将所述待写入数据写入所述目标磁盘空间和所述扩展磁盘空间；
其中，本步骤建立在待写入数据的数据大小大于目标文件对应的剩余预分配磁盘空间的基础上，可以为目标文件预分配地址连续的扩展磁盘空间，扩展磁盘空间的空间大小可以与S102中预分配的目标磁盘空间的空间大小相同。在预分配扩展磁盘空间之后，本实施例可以先将所述待写入数据写入至所述目标磁盘空间，直至所述目标磁盘空间的剩余可用存储空间为0；再将未写入所述目标磁盘空间的待写入数据写入至所述扩展磁盘空间。具体的，当对目标文件进行写操作时，根据应用端需要写入的位置和大小，直接定位到目标文件的位置，如果大小没有超过文件预分配的大小，则直接写入；如果超过文件预分配的大小，则按照默认流程，查找文件系统剩余空间，再次预分配约定大小空间并进行数据写入。
本实施例在每次创建新文件时预分配空间大小，当发生写入操作时，只将剩余预分配磁盘空间与待写入数据量进行对比，没有超出剩余预分配磁盘空间则可以直接写入，减少了对剩余空间的查找和磁盘的变道寻址，从而提高了读写速度。本实施例中将剩余预分配磁盘空间与待写入数据量进行对比的操作相当于为目标文件增加写入边界判断，防止数据越界。
S105：将所述待写入数据写入所述目标磁盘空间。
本实施例在接收到文件创建请求之后为创建的目标文件预分配地址连续的目标磁盘空间，以便在目标磁盘空间中存储目标文件的数据。在接收到目标文件对应的写操作指令之后，若待写入数据的数据大小小于或等于目标文件的剩余预分配磁盘空间，则继续在目标磁盘空间中写入数据；若待写入数据的数据大小大于目标文件的剩余预分配磁盘空间，则为所述目标文件预分配地址连续的扩展磁盘空间，并在目标磁盘空间和扩展磁盘空间中写入数据。本实施例通过为目标文件预分配地址连续的磁盘空间提高了存储数据的连续性，并在预分配的目标磁盘空间不足时预分配地址连续的扩展磁盘空间，在目标磁盘空间和扩展磁盘空间内写入数据，使目标文件的数据连续性最大化。因此，本实施例能够保证数据存储地址的连续性，提高数据读取速率。上述实施例可以应用于在写入到存储上的文件大小为固定值的场景，通过本实施例的方案可以不产生文件碎片，提高读写性能。
作为对于图1对应实施例的进一步介绍，当对目标文件进行读操作时，可以根据应用端需要读取数据的位置和大小，文件系统预读取同样大小的内容到缓存，提高下次读操作的缓存命中率，从而提高文件读取的速度。具体的，在向目标文件对应的磁盘空间写入数据之后，若接收到所述目标文件对应的读操作指令，则可以判断缓存中是否预存储所述目标文件；若是，则从缓存中读取所述读操作指令对应的目标数据；若否，则根据所述目标文件对应的读操作指令从所述目标磁盘空间中读取所述目标数据，并将所述目标磁盘空间中的所有数据预存储至缓存中。上述将目标磁盘空间中的所有数据存储至缓存中能够提高下次读操作的缓存命中率，从而提高文件读取速度。例如，监控视频的读操作往往具有时间维度的连续性，在收到读取7月20日16：00～17:00的监控视频的读指令后，向判断缓存中是否预存储7月20日的视频数据，若是则从缓存中读取16：00～17:00的监控视频，若否则从磁盘中读取16：00～17:00的监控视频并将7月20日的全部视频数据存储至缓存中，以便在收到读取7月20日内其他时间段的监控视频的读指令后，可以直接从缓存中进行读取，提高文件读取速率。
作为对于图1对应实施例的进一步介绍，本实施例还可以按照预设周期判断文件系统的剩余磁盘空间是否小于预设值；其中，所述剩余磁盘空间为磁盘总空间中未预分配给已创建文件的磁盘空间；若是，则对已预分配给已创建文件且未写入数据的磁盘空间执行磁盘空间回收操作，以便提高文件系统的空间使用率。例如，本实施例可以在文件系统空间剩余不足10％时，对之前预分配而未实际占用的磁盘空间进行回收，以便提高文件系统的空间使用率。
请参见图2，图2为本申请实施例所提供的一种数据处理系统的结构示意图；
该系统可以包括：
文件创建模块100，用于接收文件创建请求，并根据所述文件创建请求创建目标文件；
空间分配模块200，用于为所述目标文件预分配地址连续的目标磁盘空间；其中，所述目标磁盘空间用于存储所述目标文件的数据；
判断模块300，用于若接收到所述目标文件对应的写操作指令，则判断待写入数据的数据大小是否大于所述目标文件对应的剩余预分配磁盘空间；
第一写入模块400，用于若待写入数据的数据大小大于所述目标文件对应的剩余预分配磁盘空间，则将所述待写入数据写入所述目标磁盘空间；
第二写入模块500，用于若待写入数据的数据大小小于或等于所述目标文件对应的剩余预分配磁盘空间，则为所述目标文件预分配地址连续的扩展磁盘空间，并将所述待写入数据写入所述目标磁盘空间和所述扩展磁盘空间。
本实施例在接收到文件创建请求之后为创建的目标文件预分配地址连续的目标磁盘空间，以便在目标磁盘空间中存储目标文件的数据。在接收到目标文件对应的写操作指令之后，若待写入数据的数据大小小于或等于目标文件的剩余预分配磁盘空间，则继续在目标磁盘空间中写入数据；若待写入数据的数据大小大于目标文件的剩余预分配磁盘空间，则为所述目标文件预分配地址连续的扩展磁盘空间，并在目标磁盘空间和扩展磁盘空间中写入数据。本实施例通过为目标文件预分配地址连续的磁盘空间提高了存储数据的连续性，并在预分配的目标磁盘空间不足时预分配地址连续的扩展磁盘空间，在目标磁盘空间和扩展磁盘空间内写入数据，使目标文件的数据连续性最大化。因此，本实施例能够保证数据存储地址的连续性，提高数据读取速率。
进一步的，还包括：
元数据写入模块，用于将所述目标磁盘空间的起始位置和偏移量写入所述目标文件的元数据；
读操作模块，用于若接收到所述目标文件对应的读操作指令，则根据所述目标文件的元数据确定数据存储位置并执行数据读操作。
进一步的，还包括：
缓存读取模块，用于若接收到所述目标文件对应的读操作指令，则判断缓存中是否预存储所述目标文件；若是，则从缓存中读取所述读操作指令对应的目标数据；若否，则根据所述目标文件对应的读操作指令从所述目标磁盘空间中读取所述目标数据，并将所述目标磁盘空间中的所有数据预存储至缓存中。
进一步的，第二写入模块500包括：
目标磁盘写入单元，用于将所述待写入数据写入至所述目标磁盘空间，直至所述目标磁盘空间的剩余可用存储空间为0；
扩展磁盘写入单元，用于将未写入所述目标磁盘空间的待写入数据写入至所述扩展磁盘空间。
进一步的，还包括：
空间回收模块，用于判断文件系统的剩余磁盘空间是否小于预设值；其中，所述剩余磁盘空间为未预分配给已创建文件的磁盘空间；若是，则对已预分配给已创建文件且未写入数据的磁盘空间执行磁盘空间回收操作。
进一步的，还包括：
剩余空间计算模块，用于根据所述目标文件被预分配的磁盘空间容量和所述目标文件的数据大小计算所述目标文件对应的剩余预分配磁盘空间。
进一步的，还包括：
空间大小确定模块，用于在为所述目标文件预分配地址连续的目标磁盘空间之前，根据所述目标文件的文件类型确定所述目标磁盘空间的空间大小。
由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
接收文件创建请求，并根据所述文件创建请求创建目标文件；
为所述目标文件预分配地址连续的目标磁盘空间；其中，所述目标磁盘空间用于存储所述目标文件的数据；
若接收到所述目标文件对应的写操作指令，则判断待写入数据的数据大小是否大于所述目标文件对应的剩余预分配磁盘空间；
若是，则为所述目标文件预分配地址连续的扩展磁盘空间，并将所述待写入数据写入所述目标磁盘空间和所述扩展磁盘空间；
若否，则将所述待写入数据写入所述目标磁盘空间。
2.根据权利要求1所述数据处理方法，其特征在于，还包括：
将所述目标磁盘空间的起始位置和偏移量写入所述目标文件的元数据；
若接收到所述目标文件对应的读操作指令，则根据所述目标文件的元数据确定数据存储位置并执行数据读操作。
3.根据权利要求1所述数据处理方法，其特征在于，还包括：
若接收到所述目标文件对应的读操作指令，则判断缓存中是否预存储所述目标文件；
若是，则从缓存中读取所述读操作指令对应的目标数据；
若否，则根据所述目标文件对应的读操作指令从所述目标磁盘空间中读取所述目标数据，并将所述目标磁盘空间中的所有数据预存储至缓存中。
4.根据权利要求1所述数据处理方法，其特征在于，将所述待写入数据写入所述目标磁盘空间和所述扩展磁盘空间，包括：
将所述待写入数据写入至所述目标磁盘空间，直至所述目标磁盘空间的剩余可用存储空间为0；
将未写入所述目标磁盘空间的待写入数据写入至所述扩展磁盘空间。
5.根据权利要求1所述数据处理方法，其特征在于，还包括：
判断文件系统的剩余磁盘空间是否小于预设值；其中，所述剩余磁盘空间为未预分配给已创建文件的磁盘空间；
若是，则对已预分配给已创建文件且未写入数据的磁盘空间执行磁盘空间回收操作。
6.根据权利要求1所述数据处理方法，其特征在于，还包括：
根据所述目标文件被预分配的磁盘空间容量和所述目标文件的数据大小计算所述目标文件对应的剩余预分配磁盘空间。
7.根据权利要求1至6任一项所述数据处理方法，其特征在于，在为所述目标文件预分配地址连续的目标磁盘空间之前，还包括：
根据所述目标文件的文件类型确定所述目标磁盘空间的空间大小。
8.一种数据处理系统，其特征在于，包括：
文件创建模块，用于接收文件创建请求，并根据所述文件创建请求创建目标文件；
空间分配模块，用于为所述目标文件预分配地址连续的目标磁盘空间；其中，所述目标磁盘空间用于存储所述目标文件的数据；
判断模块，用于若接收到所述目标文件对应的写操作指令，则判断待写入数据的数据大小是否大于所述目标文件对应的剩余预分配磁盘空间；
第一写入模块，用于若待写入数据的数据大小小于或等于所述目标文件对应的剩余预分配磁盘空间，则为所述目标文件预分配地址连续的扩展磁盘空间，并将所述待写入数据写入所述目标磁盘空间和所述扩展磁盘空间；
第二写入模块，用于若待写入数据的数据大小大于所述目标文件对应的剩余预分配磁盘空间，则将所述待写入数据写入所述目标磁盘空间。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述数据处理方法的步骤。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上权利要求1至7任一项所述数据处理方法的步骤。
CN202010724280.6A 2020-07-24 2020-07-24 一种数据处理方法、系统、电子设备及存储介质 Withdrawn CN111880734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010724280.6A CN111880734A (zh) 2020-07-24 2020-07-24 一种数据处理方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010724280.6A CN111880734A (zh) 2020-07-24 2020-07-24 一种数据处理方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111880734A true CN111880734A (zh) 2020-11-03

Family

ID=73201258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010724280.6A Withdrawn CN111880734A (zh) 2020-07-24 2020-07-24 一种数据处理方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111880734A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667165A (zh) * 2020-12-29 2021-04-16 湖南博匠信息科技有限公司 数据存储系统及其数据存储方法
CN112749411A (zh) * 2021-01-14 2021-05-04 上海商米科技集团股份有限公司 安卓文件系统的分级管控方法和系统
CN113485645A (zh) * 2021-07-07 2021-10-08 北京汇钧科技有限公司 云硬盘资源池的管理方法及装置、存储介质及电子设备
CN114253476A (zh) * 2021-12-13 2022-03-29 北京人大金仓信息技术股份有限公司 存储空间扩展方法、装置、设备及计算机可读存储介质
CN115098454A (zh) * 2022-07-26 2022-09-23 北京天融信网络安全技术有限公司 一种数据处理方法及系统
CN115390752B (zh) * 2022-08-10 2023-04-18 中科豪联(杭州)技术有限公司 一种多磁盘的缓存文件管理方法
CN114253476B (zh) * 2021-12-13 2024-10-29 中电科金仓(北京)科技股份有限公司 存储空间扩展方法、装置、设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897442A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种分布式文件系统用户配额预分配方法及分配系统
CN107656697A (zh) * 2016-07-26 2018-02-02 阿里巴巴集团控股有限公司 一种在存储介质上操作数据的方法和装置
CN109977035A (zh) * 2019-03-18 2019-07-05 新华三技术有限公司成都分公司 磁盘空间分配方法、装置、存储设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656697A (zh) * 2016-07-26 2018-02-02 阿里巴巴集团控股有限公司 一种在存储介质上操作数据的方法和装置
CN106897442A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种分布式文件系统用户配额预分配方法及分配系统
CN109977035A (zh) * 2019-03-18 2019-07-05 新华三技术有限公司成都分公司 磁盘空间分配方法、装置、存储设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112667165A (zh) * 2020-12-29 2021-04-16 湖南博匠信息科技有限公司 数据存储系统及其数据存储方法
CN112667165B (zh) * 2020-12-29 2023-11-17 湖南博匠信息科技有限公司 数据存储系统及其数据存储方法
CN112749411A (zh) * 2021-01-14 2021-05-04 上海商米科技集团股份有限公司 安卓文件系统的分级管控方法和系统
CN113485645A (zh) * 2021-07-07 2021-10-08 北京汇钧科技有限公司 云硬盘资源池的管理方法及装置、存储介质及电子设备
CN113485645B (zh) * 2021-07-07 2024-09-20 北京汇钧科技有限公司 云硬盘资源池的管理方法及装置、存储介质及电子设备
CN114253476A (zh) * 2021-12-13 2022-03-29 北京人大金仓信息技术股份有限公司 存储空间扩展方法、装置、设备及计算机可读存储介质
CN114253476B (zh) * 2021-12-13 2024-10-29 中电科金仓(北京)科技股份有限公司 存储空间扩展方法、装置、设备及计算机可读存储介质
CN115098454A (zh) * 2022-07-26 2022-09-23 北京天融信网络安全技术有限公司 一种数据处理方法及系统
CN115390752B (zh) * 2022-08-10 2023-04-18 中科豪联(杭州)技术有限公司 一种多磁盘的缓存文件管理方法

Similar Documents

Publication Publication Date Title
CN111880734A (zh) 一种数据处理方法、系统、电子设备及存储介质
CN106776368B (zh) 一种数据读取时的缓存管理方法、装置及系统
CN111125447A (zh) 一种元数据访问方法、装置、设备及可读存储介质
EP2921963A1 (en) Memory recycling method and device
CN110555001B (zh) 数据处理方法、装置、终端及介质
CA2987731C (en) Database memory monitoring and defragmentation of database indexes
CN103678143B (zh) 文件存储方法、装置及电子设备
CN111737168B (zh) 一种缓存系统、缓存处理方法、装置、设备及介质
CN107168651B (zh) 一种小文件聚合存储处理方法
CN109804359A (zh) 用于将数据回写到存储设备的系统和方法
CN109240607B (zh) 一种文件读取方法和装置
CN113282249B (zh) 一种数据处理方法、系统、设备以及介质
CN112306986A (zh) 分布式文件系统的存储方法、装置、设备及存储介质
CN113157600A (zh) 一种叠瓦式硬盘的空间分配方法、文件存储系统及服务器
CN111177105B (zh) 分布式文件系统的海量文件写方法、装置、系统及介质
CN109508143B (zh) 一种数据存储方法及装置
CN110688065A (zh) 一种存储空间管理方法、系统、电子设备及存储介质
KR102071072B1 (ko) 데이터 저장장치의 주소 맵핑 테이블 운용 방법
CN111552438B (zh) 一种对象写入的方法、装置、服务器和存储介质
CN109508140B (zh) 存储资源管理方法、装置、电子设备及电子设备、系统
US7565483B2 (en) Method and apparatus for exchanging data with a hard disk
CN109669623B (zh) 一种文件管理方法、文件管理装置、电子设备及存储介质
CN104252415B (zh) 一种重新分布数据的方法和系统
US9600415B1 (en) Method, apparatus, and computer program stored in computer readable medium for managing storage server in database system
CN114595066A (zh) 一种预留内存的处理方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201103