CN113419670A - 数据写入处理方法、装置及电子设备 - Google Patents

数据写入处理方法、装置及电子设备 Download PDF

Info

Publication number
CN113419670A
CN113419670A CN202110352865.4A CN202110352865A CN113419670A CN 113419670 A CN113419670 A CN 113419670A CN 202110352865 A CN202110352865 A CN 202110352865A CN 113419670 A CN113419670 A CN 113419670A
Authority
CN
China
Prior art keywords
data
disk
memory
written
updating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110352865.4A
Other languages
English (en)
Inventor
王松波
刘攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Innovation Co
Original Assignee
Alibaba Singapore Holdings Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Singapore Holdings Pte Ltd filed Critical Alibaba Singapore Holdings Pte Ltd
Priority to CN202110352865.4A priority Critical patent/CN113419670A/zh
Publication of CN113419670A publication Critical patent/CN113419670A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Abstract

本申请涉及一种数据写入处理方法、装置及电子设备，其中，方法包括：获取待写入数据，根据待写入数据的大小和/或优先级，分配磁盘数据块空间；向分配的磁盘数据块空间中写入待写入数据；更新内存中与该待写入数据对应的元数据；以预设的更新策略，将内存中的元数据更新到磁盘中。本发明实施例中，在确保数据高效写入磁盘的前提下，通过以一定的时间间隔来集中更新磁盘中的元数据，从而减少了在数据写入过程中，对于磁盘的IO访问次数，有效的提高了磁盘数据的写入效率。

Description

数据写入处理方法、装置及电子设备
技术领域
本申请涉及一种数据写入处理方法、装置及电子设备，属于计算机技术领域。
背景技术
随着云原生应用对可迁移性、扩展性和动态特性的需求，对云原生存储也带来了相应的密度、速度、混合度的要求。在云原生场景下，强依赖于支持POSIX(PortableOperating System Interface，可移植操作系统接口)语义的文件系统的应用(例如MySQL)，对于文件系统的弹性部署和性能需求也会变得更加重要。在基于POSIX标准的文件存储处理中，需要对文件系统对POSIX语义的支持，而POSIX语义在性能上并不适合分布式系统，因此，目前很多会采用本地文件系统来实现基于POSIX标准的文件存储处理。
传统本地文件系统，如ext4和xfs，均采用journal机制，在这种机制下，每次IO所需要的更新数据和元数据，当面对大量数据的存储处理时，会带来严重的写入放大问题，使文件系统的性能严重降低，不利于云原生存储的应用场景。
发明内容
本发明实施例提供一种数据写入处理方法、装置及电子设备，以提高向磁盘写入数据的效率。
为了实现上述目的，本发明实施例提供了一种数据写入处理方法，包括：
获取待写入数据，根据所述待写入数据的大小和/或优先级，分配磁盘数据块空间；
向分配的磁盘数据块空间中写入所述待写入数据；
更新内存中与该待写入数据对应的元数据；
以预设的更新策略，将所述内存中的元数据更新到所述磁盘中。
本发明实施例还提供了一种数据写入处理装置，包括：
数据块空间分配模块，用于获取待写入数据，根据所述待写入数据的大小和/或优先级，分配磁盘数据块空间；
磁盘数据写入模块，用于向分配的磁盘数据块空间中写入所述待写入数据；
内存元数据更新模块，用于更新内存中与该待写入数据对应的元数据；
磁盘元数据更新模块，用于以预设的更新策略，将所述内存中的元数据更新到所述磁盘中。
本发明实施例还提供了一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行前述的数据写入处理方法。
本发明实施例的数据写入处理方法、装置及电子设备，在确保数据高效写入磁盘的前提下，通过以一定的时间间隔来集中更新磁盘中的元数据，从而减少了在数据写入过程中，对于磁盘的IO访问次数，有效的提高了磁盘数据的写入效率。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
图1为本发明实施例的本地文件系统的数据存储结构示意图；
图2为本发明实施例的本地文件系统的数据写入原理示意图；
图3为本发明实施例的数据写入处理方法的流程示意图；
图4为本发明实施例的数据写入处理装置结构示意图；
图5为本发明实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
下面通过一些具体实施例来进一步说明本发明的技术方案。
实施例一
如图1所示，其为本发明实施例的本地文件系统的数据存储结构示意图。在本发明实施例中，作为一个示例，本地文件系统的数据结构主要包括：超级块区域，FAT(FileAllocation Table，文件分配表)区域，FST(File Stat Table，文件属性表)区域以及磁盘数据区域。其中，本地文件系统是相对于分布式文件系统而言的文件处理系统，在本地文件系统中，根据数据结构中记录的索引信息来确定文件在磁盘上的具体位置，从而进行数据操作，而分布式文件系统则需要通过网络，则需要通过访问网络中的索引节点，确定数据在哪个存储节点上，然后再进行数据访问。本发明实施例的数据写入处理方法是基于本地文件系统而进行的，可以用于基于本地文件系统而实现的各种基于原始云存储的应用环境。下面介绍一下示例中本地文件系统的各部分数据结构。
超级块记录的内容主要包括：块大小(block size)、支持最大文件长度；磁盘容量、扇区大小(sector size)、支持的最大磁盘容量；FAT表空间长度、FST表空间长度等信息，SB back(超级块备份)为整个超级块记录内容的备份区域。
文件分配表(FAT)记录的内容包括：文件所占用的数据块索引。FAT表包括一个或多个sector，FAT的长度由文件系统所支持最大容量决定。在FAT区域中还存在一部分预留空间(Reserved)，用于支持存储空间扩容。
文件属性表(FST)用于记录每个文件的文件属性信息，文件属性信息可以包括文件名、修改时间、数据类型、创建以及最后访问日期、文件大小、文件扩展名以及文件系统权限等等。该表由一个或多个sector构成。一般地，每个表项占用128k空间，表的长度由文件系统所支持最大容量决定。每创建一个文件都要从FST表中分配一个空闲表项，用于描述一个文件。在FST区域中还存在一部分预留空间(Reserved)，用于支持存储空间扩容。在本发明实施例中，针对文件属性表中记录的内容，会根据具体的应用环境而选择性的记录。
磁盘数据区被划分为若干个数据块(Data Block)，数据块的大小由用户指定或者由文件系统默认设置，例如可以将数据块大小设为1M。每个数据块对应一个数据块索引。由该索引值加上数据块在磁盘的地址偏移，可以计算出每个数据块在磁盘的地址。
在本发明实施例中，写入数据的元数据(MetaData)包括文件分配表和文件属性表中记录的内容。
下面结合图2和图3来说明一下本发明实施例的数据写入处理方法，图2为本发明实施例的本地文件系统的数据写入原理示意图，图3为本发明实施例的数据写入处理方法的流程示意图。如图2所示，本地文件系统中涉及内存和磁盘两部分存储空间，这里所说的磁盘可以包括传统的固态硬盘(SSD)、机械硬盘(HDD)、混合硬盘等动作形式，本发明实施例中的本地文件系统可以应用于云原生应用的后端存储。图2中的数据处理模块可以作为操作系统中的一个功能模块，用来负责将接收到的数据进行磁盘写入处理、元数据更新以及磁盘数据恢复等操作。本发明实施例的数据写入处理方法包括：
S101：获取待写入数据，根据待写入数据的大小和/或优先级，分配磁盘数据块空间。结合图2，在内存中可以设置有用于管理空闲数据块的数据块管理链表，数据处理模块在接收到待写入数据后，可以先根据待写入数据的大小，查询内存中的数据块管理链表，申请空闲的数据块空间。此外，数据的优先级也可以作为磁盘空间的分配依据，优先级别高的数据可以优先获得较大的数据块空间。
S102：向分配的磁盘数据块空间中写入待写入数据。在申请到空闲的数据块空间后，就可以将待写入数据向磁盘对应的数据块地址中进行写入。其中，在向磁盘写入数据方式上可以采用直接写入的方式，也可以采用定时写入的方式，即先将待写入数据存入到内存中进行缓存，如图2中所示的虚线框的部分，然后以一定的时间间隔，将这段时间需要写入的数据统一向磁盘中进行写入，从而减少访问磁盘的IO访问次数。对于数据写入的定时处理可以基于用户设定的数据同步标识而执行。具体地，可以需要执行数据写入时，读取数据同步标识，根据数据同步标识的状态，执行如下两种方式之一的写入处理：将先数据写入内存，然后以指定的第二时间间隔，向磁盘数据块空间中写入，或者，将数据直接写入磁盘数据块空间中。
S103：更新内存中与该待写入数据对应的元数据。这里的元数据包括了文件分配表和文件属性表的内容，即在内存中同样维护了这两张表。在向待写入数据分配了数据块空间后，根据分配的数据块空间就可以确定文件分配表中的数据块，并更新内存中的数据块索引信息。文件属性表中的信息可以根据写入数据的内容来确定，从而进行更新。如前面介绍的，文件属性信息可以包括文件名、修改时间、数据类型、创建以及最后访问日期、文件大小、文件扩展名以及文件系统权限等等各种信息，在实际应用中，可以根据本地文件系统的应用环境，选择部分文件属性信息进行更新。例如，在针对一些大数据分析方面的应用，会涉及到海量数据的存储，需要较高的数据写入效率，而对于修改时间、创建以及最后访问日期、文件大小、文件扩展名以及文件系统权限等文件属性并没有需求，因此，可以省去这部分文件属性信息的更新，从而也减少了向磁盘中写入数据的数量。
S104：以预设的更新策略，将内存中的元数据更新到磁盘中。这里所说的基于更新策略的处理可以包括以预设的第一时间间隔或者根据写入数据的频度和/或数据量而动态确定的时间间隔，将内存中的元数据更新到磁盘中。在现有技术的本地文件系统中，往往是每次写入一次数据后需要对磁盘进行一次IO访问操作，紧接着还要再进行一次磁盘的IO访问操作，从而完成元数据的写入。而基于云原生应用的场景，对于读写效率的提升更为重要，因此，在本发明实施例中，对于元数据的更新采用了定时更新的方式，从而将一定时间段内需要更新的元数据进行统一向磁盘更新，有效减少了磁盘访问的IO次数，提高了数据写入效率。此外，在云原生存储的环境中，上述的本地文件系统将会作为云原生应用的后端存储，当后端存储出现异常时，会根据所处磁盘中记录的元数据，进行数据恢复，当然，在这种情况下，会损失上述第一时间间隔中还未向磁盘中更新的元数据对应的数据内容。因此，上述的第一时间间隔可以根据本地文件系统的应用环境来确定，在需要数据可靠性要求较高而写入效率要求相对较低的应用环境，可以减小上述的时间间隔，相反，则增大上述的时间间隔，从而在写入效率和数据可靠性之间寻求平衡，更好的适用云原生存储需求。此外，上述的时间间隔也可以根据当前写入的数据量而动态确定，如果写入数据量较多较为频繁，则可以缩小该时间间隔，从而增加写入数据的稳定性。
此外，本发明实施例中，还可以对使用上述方法后，所产生的数据写入速度的提高或者磁盘访问次数的减少等方面的良好效果，在前端界面上进行展示，具体地，该方法还可以包括：
S201：对当前的数据写入速度和/或磁盘访问次数进行检测，这里检测到的数据为使用本发明实施例的数据写入方法而获得统计数据。
S202：获取采用每次向磁盘写入数据后立即更新磁盘中元数据的方式而产生的参考的数据写入速度和/或磁盘访问次数。这里所说的参考的数据写入速度和/或磁盘访问次数就是使用现有技术中的方法而形成的统计数据，该数据可以来自于基于当前数据写入量的一个估计值，也可以来自于其他使用传统方式写入数据的操作的统计数据。
S203：将所述当前的数据写入速度和/或磁盘访问次数，与所述参考的数据写入速度和/或磁盘访问次数进行比较，生成数据写入速度的提升数据和/或磁盘访问次数的减少数据，并进行展示。这里的比较可以采用计算提升幅度的方式，即数据写入速度提高了多少百分比，或者磁盘访问次数减少了多少百分比，此外，还可以与同类未使用本发明实施例的数据写入方法的系统进行对比，例如，展示当前的数据写入速度和/或磁盘访问次数超越多少个其他用户等等。
本发明实施例的数据写入处理方法，在确保数据高效写入磁盘的前提下，通过以一定的时间间隔来集中更新磁盘中的元数据，从而减少了在数据写入过程中，对于磁盘的IO访问次数，有效的提高了磁盘数据的写入效率。
实施例二
对应于上述的数据写入处理方法，本发明实施例还提供了一种数据写入处理装置，如图4所示，其为本发明实施例的数据写入处理装置结构示意图，该装置可以对应实现图2中的数据处理模块的相应功能，具体地，该装置包括：
数据块空间分配模块11，用于获取待写入数据，根据待写入数据的大小和/或优先级，分配磁盘数据块空间。进一步地，在内存中可以设置有用于管理空闲数据块的数据块管理链表，数据处理模块在接收到待写入数据后，可以先根据待写入数据的大小，查询内存中的数据块管理链表，申请空闲的数据块空间。此外，数据的优先级也可以作为磁盘空间的分配依据，优先级别高的数据可以优先获得较大的数据块空间。
磁盘数据写入模块12，用于向分配的磁盘数据块空间中写入待写入数据。其中，在向磁盘写入数据方式上可以采用直接写入的方式，也可以采用定时写入的方式，即先将待写入数据存入到内存中进行缓存，然后以一定的时间间隔，将这段时间需要写入的数据统一向磁盘中进行写入，从而减少访问磁盘的IO次数。对于数据写入的定时处理可以基于用户设定的数据同步标识而执行。具体地，可以需要执行数据写入时，读取数据同步标识，根据数据同步标识的状态，执行如下两种方式之一的写入处理：将先数据写入内存，然后以指定的第二时间间隔，向磁盘数据块空间中写入，或者，将数据直接写入磁盘数据块空间中。
内存元数据更新模块13，用于更新内存中与该待写入数据对应的元数据。在向待写入数据分配了数据块空间后，根据分配的数据块空间就可以确定文件分配表中的数据块，并更新内存中的数据块索引信息。在实际应用中，可以根据本地文件系统的应用环境，选择部分文件属性信息进行更新。例如，在针对一些大数据分析方面的应用，会涉及到海量数据的存储，需要较高的数据写入效率，而对于修改时间、创建以及最后访问日期、文件大小、文件扩展名以及文件系统权限等文件属性并没有需求，因此，可以省去这部分文件属性信息的更新，从而也减少了向磁盘中写入数据的数量。
磁盘元数据更新模块14，用于以预设的更新策略，将内存中的元数据更新到磁盘中。这里所说的基于更新策略的处理可以包括以预设的第一时间间隔或者根据写入数据的频度和/或数据量而动态确定的时间间隔，将内存中的元数据更新到磁盘中。在本发明实施例中，对于元数据的更新采用了定时更新的方式，从而将一定时间段内需要更新的元数据进行统一向磁盘更新，有效减少了磁盘访问的IO次数，提高了数据写入效率。此外，在云原生存储的环境中，上述的本地文件系统将会作为云原生应用的后端存储，当后端存储出现异常时，会根据所处磁盘中记录的元数据，进行数据恢复，当然，在这种情况下，会损失上述第一时间间隔中还未向磁盘中更新的元数据对应的数据内容。因此，上述的第一时间间隔可以根据本地文件系统的应用环境来确定，在需要数据可靠性要求较高而写入效率要求相对较低的应用环境，可以减小上述的时间间隔，相反，则增大上述的时间间隔，从而在写入效率和数据可靠性之间寻求平衡，更好的适用云原生存储需求。此外，上述的时间间隔也可以根据当前写入的数据量而动态确定，如果写入数据量较多较为频繁，则可以缩小该时间间隔，从而增加写入数据的稳定性。
对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。
本发明实施例的数据写入处理装置，在确保数据高效写入磁盘的前提下，通过以一定的时间间隔来集中更新磁盘中的元数据，从而减少了在数据写入过程中，对于磁盘的IO访问次数，有效的提高了磁盘数据的写入效率。
实施例三
前面实施例描述了数据写入处理方法的流程处理及对应的装置结构，上述的方法和装置的功能可借助一种电子设备实现完成，如图5所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器110和处理器120。
存储器110，用于存储程序。
除上述程序之外，存储器110还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器110可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器120，耦合至存储器110，用于执行存储器110中的程序，以执行前述实施例中所描述的数据写入处理方法的操作步骤。
此外，处理器120也可以包括前述实施例所描述的各种模块以执行数据写入处理方法，并且存储器110可以例如用于存储这些模块执行操作所需要的数据和/或所输出的数据。
对于上述处理过程具体说明、技术原理详细说明以及技术效果详细分析在前面实施例中进行了详细描述，在此不再赘述。
进一步，如图所示，电子设备还可以包括：通信组件130、电源组件140、音频组件150、显示器160等其它组件。图中仅示意性给出部分组件，并不意味着电子设备只包括图中所示组件。
通信组件130被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G、3G、4G/LTE、5G等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件130经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件130还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
电源组件140，为电子设备的各种组件提供电力。电源组件140可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
音频组件150被配置为输出和/或输入音频信号。例如，音频组件150包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器110或经由通信组件130发送。在一些实施例中，音频组件150还包括一个扬声器，用于输出音频信号。
显示器160包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种数据写入处理方法，包括：
获取待写入数据，根据所述待写入数据的大小和/或优先级，分配磁盘数据块空间；
向分配的磁盘数据块空间中写入所述待写入数据；
更新内存中与该待写入数据对应的元数据；
以预设的更新策略，将所述内存中的元数据更新到所述磁盘中。
2.根据权利要求1所述的方法，其中，所述元数据包括文件分配表中的数据块索引信息和/或文件数据表的文件属性信息，更新内存中与该待写入数据对应的元数据包括：
根据分配的数据块空间，更新内存中的所述数据块索引信息；
和/或，
更新内存中的文件属性信息。
3.根据权利要求2所述的方法，其中，更新内存中的文件属性信息包括：
根据本地文件系统的应用环境，选择部分文件属性信息进行更新。
4.根据权利要求1所述的方法，其中，还包括：
在云原生存储的环境中，当后端存储出现异常时，根据所处磁盘中记录的元数据，进行数据恢复。
5.根据权利要求1所述的方法，其中，向分配的磁盘数据块空间中写入所述待写入数据包括：
读取数据同步标识，根据所述数据同步标识的状态，执行如下写入处理：
将先数据写入内存，然后以指定的第二时间间隔，向所述磁盘数据块空间中写入，或者，将所述数据直接写入所述磁盘数据块空间中。
6.根据权利要求1所述的方法，其中，以预设的更新策略，将所述内存中的元数据更新到所述磁盘中包括：
以预设的第一时间间隔或者根据写入数据的频度和/或数据量而动态确定的时间间隔，将所述内存中的元数据更新到所述磁盘中。
7.根据权利要求6所述的方法，其中，还包括：
根据本地文件系统的应用环境，确定所述第一时间间隔。
8.根据权利要求1所述的方法，其中，在所述内存中，设置有用于管理空闲数据块的数据块管理链表，所述根据所述待写入数据的大小，分配磁盘数据块空间包括：
根据所述待写入数据的大小，从而内存中的数据块管理链表中申请空闲的数据块空间。
9.根据权利要求1所述的方法，其中，还包括：
对当前的数据写入速度和/或磁盘访问次数进行检测；
获取采用每次向磁盘写入数据后立即更新磁盘中元数据的方式而产生的参考的数据写入速度和/或磁盘访问次数；
将所述当前的数据写入速度和/或磁盘访问次数，与所述参考的数据写入速度和/或磁盘访问次数进行比较，生成数据写入速度的提升数据和/或磁盘访问次数的减少数据，并进行展示。
10.一种数据写入处理装置，包括：
数据块空间分配模块，用于获取待写入数据，根据所述待写入数据的大小和/或优先级，分配磁盘数据块空间；
磁盘数据写入模块，用于向分配的磁盘数据块空间中写入所述待写入数据；
内存元数据更新模块，用于更新内存中与该待写入数据对应的元数据；
磁盘元数据更新模块，用于以预设的更新策略，将所述内存中的元数据更新到所述磁盘中。
11.根据权利要求10所述的装置，其中，所述元数据包括文件分配表中的数据块索引信息和/或文件数据表的文件属性信息，更新内存中与该待写入数据对应的元数据包括：
根据分配的数据块空间，更新内存中的所述数据块索引信息；
和/或，
更新内存中的文件属性信息。
12.根据权利要求11所述的装置，其中，更新内存中的文件属性信息包括：
根据本地文件系统的应用环境，选择部分文件属性信息进行更新。
13.根据权利要求10所述的装置，其中，在所述内存中，设置有用于管理空闲数据块的数据块管理链表，所述根据所述待写入数据的大小，分配磁盘数据块空间包括：
根据所述待写入数据的大小，从而内存中的数据块管理链表中申请空闲的数据块空间。
14.一种电子设备，包括：
存储器，用于存储程序；
处理器，用于运行所述存储器中存储的所述程序，以执行权利要求的1至9任一所述数据写入处理方法。
CN202110352865.4A 2021-03-31 2021-03-31 数据写入处理方法、装置及电子设备 Pending CN113419670A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110352865.4A CN113419670A (zh) 2021-03-31 2021-03-31 数据写入处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110352865.4A CN113419670A (zh) 2021-03-31 2021-03-31 数据写入处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN113419670A true CN113419670A (zh) 2021-09-21

Family

ID=77711842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110352865.4A Pending CN113419670A (zh) 2021-03-31 2021-03-31 数据写入处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113419670A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153385A (zh) * 2021-11-12 2022-03-08 苏州浪潮智能科技有限公司 一种分布式存储写缓冲数据分步下刷方法、装置及介质
CN114415961A (zh) * 2022-01-21 2022-04-29 珠海奔图电子有限公司 Nand flash存储器的坏块处理方法、电子设备及存储介质
CN116501264A (zh) * 2023-06-25 2023-07-28 苏州浪潮智能科技有限公司 一种数据存储方法、装置、系统、设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102541983A (zh) * 2011-10-25 2012-07-04 无锡城市云计算中心有限公司 一种分布式文件系统中多客户端缓存同步的方法
CN103885728A (zh) * 2014-04-04 2014-06-25 华中科技大学 一种基于固态盘的磁盘缓存系统
CN104537050A (zh) * 2014-12-25 2015-04-22 华中科技大学 一种批量快速创建文件系统元数据和数据的方法
US9020987B1 (en) * 2011-06-29 2015-04-28 Emc Corporation Managing updating of metadata of file systems
CN109542850A (zh) * 2018-11-20 2019-03-29 郑州云海信息技术有限公司 一种文件的worm属性更新方法、装置、设备及介质
CN110955639A (zh) * 2019-10-31 2020-04-03 苏州浪潮智能科技有限公司 一种数据处理方法及装置
CN111506269A (zh) * 2020-04-22 2020-08-07 腾讯科技（深圳）有限公司 一种磁盘存储空间分配方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9020987B1 (en) * 2011-06-29 2015-04-28 Emc Corporation Managing updating of metadata of file systems
CN102541983A (zh) * 2011-10-25 2012-07-04 无锡城市云计算中心有限公司 一种分布式文件系统中多客户端缓存同步的方法
CN103885728A (zh) * 2014-04-04 2014-06-25 华中科技大学 一种基于固态盘的磁盘缓存系统
CN104537050A (zh) * 2014-12-25 2015-04-22 华中科技大学 一种批量快速创建文件系统元数据和数据的方法
CN109542850A (zh) * 2018-11-20 2019-03-29 郑州云海信息技术有限公司 一种文件的worm属性更新方法、装置、设备及介质
CN110955639A (zh) * 2019-10-31 2020-04-03 苏州浪潮智能科技有限公司 一种数据处理方法及装置
CN111506269A (zh) * 2020-04-22 2020-08-07 腾讯科技（深圳）有限公司 一种磁盘存储空间分配方法、装置、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153385A (zh) * 2021-11-12 2022-03-08 苏州浪潮智能科技有限公司 一种分布式存储写缓冲数据分步下刷方法、装置及介质
CN114153385B (zh) * 2021-11-12 2023-08-29 苏州浪潮智能科技有限公司 一种分布式存储写缓冲数据分步下刷方法、装置及介质
CN114415961A (zh) * 2022-01-21 2022-04-29 珠海奔图电子有限公司 Nand flash存储器的坏块处理方法、电子设备及存储介质
CN114415961B (zh) * 2022-01-21 2023-10-27 珠海奔图电子有限公司 Nand flash存储器的坏块处理方法、电子设备及存储介质
CN116501264A (zh) * 2023-06-25 2023-07-28 苏州浪潮智能科技有限公司 一种数据存储方法、装置、系统、设备及可读存储介质
CN116501264B (zh) * 2023-06-25 2023-09-15 苏州浪潮智能科技有限公司 一种数据存储方法、装置、系统、设备及可读存储介质

Similar Documents

Publication Publication Date Title
CN113419670A (zh) 数据写入处理方法、装置及电子设备
CN110751275B (zh) 图训练系统、数据访问方法及装置、电子设备、存储介质
US8504774B2 (en) Dynamic cache configuration using separate read and write caches
CN103218224B (zh) 一种提高存储空间利用率的方法和终端
CN111104063A (zh) 一种数据存储方法、装置及电子设备和存储介质
US20190370009A1 (en) Intelligent swap for fatigable storage mediums
CN115145735B (zh) 一种内存分配方法、装置和可读存储介质
CN115421651A (zh) 固态硬盘的数据处理方法、固态硬盘、电子设备及介质
CN111737265B (zh) 区块数据访问方法、区块数据存储方法及装置
CN109542329B (zh) 日志写入方法、存储管理设备及系统
CN114817978A (zh) 数据访问方法及系统、硬件卸载设备、电子设备及介质
CN106156038B (zh) 数据存储方法和装置
CN115934002B (zh) 固态硬盘的访问方法、固态硬盘、存储系统及云服务器
CN110875947A (zh) 一种数据处理方法和边缘节点设备
CN110941436B (zh) 应用程序的数据存储方法、装置、存储介质与终端设备
US20140258347A1 (en) Grouping files for optimized file operations
CN111291112B (zh) 分布式数据库的读写控制方法和装置以及电子设备
CN110321321A (zh) 网络块设备快照读写方法、装置、设备及存储介质
CN110018987B (zh) 快照创建方法、装置及系统
CN112181275A (zh) 一种数据处理器及数据处理方法
CN112286448B (zh) 对象访问方法、装置、电子设备及机器可读存储介质
CN110555075A (zh) 数据处理方法、装置、电子设备以及计算机可读存储介质
CN112486979B (zh) 数据处理方法、装置和系统、电子设备以及计算机可读存储介质
CN113127438B (zh) 用于存储数据的方法、装置、服务器和介质
CN114416178A (zh) 数据访问方法、装置及非临时性计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40069598

Country of ref document: HK

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240312

Address after: Singapore

Applicant after: Alibaba Innovation Co.

Country or region after: Singapore

Address before: Room 01, 45th Floor, AXA Building, 8 Shanton Road, Singapore

Applicant before: Alibaba Singapore Holdings Ltd.

Country or region before: Singapore