CN112732197A - 一种数据io的处理方法、装置、存储介质及设备 - Google Patents

一种数据io的处理方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN112732197A
CN112732197A CN202110047891.6A CN202110047891A CN112732197A CN 112732197 A CN112732197 A CN 112732197A CN 202110047891 A CN202110047891 A CN 202110047891A CN 112732197 A CN112732197 A CN 112732197A
Authority
CN
China
Prior art keywords
data
data blocks
time period
data block
waiting time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110047891.6A
Other languages
English (en)
Other versions
CN112732197B (zh
Inventor
杨鸿洁
胡永刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202110047891.6A priority Critical patent/CN112732197B/zh
Publication of CN112732197A publication Critical patent/CN112732197A/zh
Priority to PCT/CN2021/143248 priority patent/WO2022151989A1/zh
Priority to US18/270,595 priority patent/US20240061581A1/en
Application granted granted Critical
Publication of CN112732197B publication Critical patent/CN112732197B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种数据IO的处理方法、装置、存储介质及设备，方法包括以下步骤：获取请求操作处理的由若干基础数据块顺序组成的数据；将数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；响应于有分割数据块中有时延统计记录，根据时延统计记录设置等待时间段；将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并；将合并的基础数据块发送并进行操作处理。本发明有效减少了数据IO的时间，提高了存储系统的性能。

Description

一种数据IO的处理方法、装置、存储介质及设备
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据IO的处理方法、装置、存储介质及设备。
背景技术
基于分布式存储对接场景的不断丰富，针对不同的业务模型，对产品性能也有不同的要求。在分布式存储系统中，根据我们的数据离散算法，随机数据可以分散到不同节点的不同磁盘上并发地进行操作。在数据顺序IO场景下，由于我们的算法有最小的分割单元，当数据块大小小于最小的分割单元时，连续的数据块需要操作同一个分割单元，即对应底层的同一块磁盘，因此无法并发进行操作，导致系统性能不能充分地发挥，影响用户体验。目前分布式块存储普遍承载的是客户虚拟机系统盘资源，系统延迟过高，可能会造成操作系统不稳定，影响客户业务，因此，加快系统响应速度，对于提高系统性能、增强系统稳定性以及提高产品竞争力具有重要意义。
发明内容
有鉴于此，本发明的目的在于提出一种数据IO的处理方法、装置、存储介质及设备，用以提高分布式块存储系统的性能。
基于上述目的，本发明提供了一种数据IO的处理方法，包括如下步骤：
获取请求操作处理的由若干基础数据块顺序组成的数据；
将数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；
依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；
响应于有分割数据块中有时延统计记录，根据时延统计记录设置等待时间段；
将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并；
将合并的基础数据块发送并进行操作处理。
在一些实施例中，依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录包括：
判断第一个分割数据块中是否有基于前若干个基础数据块操作处理完成的时间的时延统计记录；
判断第n个分割数据块中是否有基于第n个分割数据块和/或前n-1个分割数据块中的基础数据块操作处理完成的时间的时延统计记录，其中，n为大于1的整数。
在一些实施例中，时延统计记录为若干前序基础数据块操作处理完成的平均时间。
在一些实施例中，将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并包括：
若分割数据块是第一个分割数据块，将第一个分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束，停止合并；
若分割数据块是第n个分割数据块，将第n个分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并，其中，n为大于1的整数。
在一些实施例中，方法还包括：响应于有分割数据块中没有时延统计记录，将分割数据块中的所有基础数据块直接发送并进行操作处理。
在一些实施例中，将合并的基础数据块发送并进行操作处理包括：将合并的基础数据块发送到与其分割数据块对应的存储区进行操作处理。
在一些实施例中，方法还包括：
获取请求操作处理的数据后，判断是否有与数据的偏移量和长度都相同的其他数据正在进行操作处理；
响应于有其他数据正在进行操作处理，将数据放入阻塞队列；
响应于没有其他数据在进行操作处理，前进到对数据以预设的分割单元为单位依次进行分割的步骤。
本发明的另一方面，还提供了一种数据IO的处理装置，包括：
数据获取模块，配置用于获取请求操作处理的由若干基础数据块顺序组成的数据；
数据分组模块，配置用于将数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；
时延统计记录判断模块，配置用于依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；
等待时间段设置模块，配置用于响应于有分割数据块中有时延统计记录，根据时延统计记录设置等待时间段；
合并模块，配置用于将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并；以及
发送模块，配置用于将合并的基础数据块发送并进行操作处理。
本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项方法。
本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述任意一项方法。
本发明至少具有以下有益技术效果：
本发明通过采集数据IO过程中的时延统计记录，根据时延统计记录设置合理的等待时间段，在将数据发送前等待一段时间并在此期间进行连续数据的合并，以有效减少数据IO的时间，进一步提高了存储系统的吞吐量，在数据连续IO场景下使存储系统性能大大提高，提升了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1为根据本发明提供的数据IO的处理方法的实施例的示意图；
图2为根据本发明提供的数据IO的处理装置的实施例的示意图；
图3为本发明提供的执行数据IO的处理方法的计算机设备的一个实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
基于上述目的，本发明实施例的第一个方面，提出了一种数据IO的处理方法的实施例。图1示出的是本发明提供的数据IO的处理方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
步骤S10、获取请求操作处理的由若干基础数据块顺序组成的数据；
步骤S20、将数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；
步骤S30、依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；
步骤S40、响应于有分割数据块中有时延统计记录，根据时延统计记录设置等待时间段；
步骤S50、将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并；
步骤S60、将合并的基础数据块发送并进行操作处理。
本实施例中，数据IO指数据输入输出。
本发明实施例通过采集数据IO过程中的时延统计记录，根据时延统计记录设置合理的等待时间段，在将数据发送前等待一段时间并在此期间进行连续数据的合并，以减少数据IO的时间，进一步提高了存储系统的吞吐量，在数据连续IO场景下使存储系统性能大大提高，提升了用户体验。
在一些实施例中，依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录包括：判断第一个分割数据块中是否有基于前若干个基础数据块操作处理完成的时间的时延统计记录；判断第n个分割数据块中是否有基于第n个分割数据块和/或前n-1个分割数据块中的基础数据块操作处理完成的时间的时延统计记录，其中，n为大于1的整数。本实施例中，由于请求操作处理的数据中的基础数据块是依次有序的排列，所以将所有的基础数据块分成各分割数据块时也是依次按序划分，那么排列在第1个或前几个的基础数据块就可能形成第1个时延统计记录，即这第1个或前几个的基础数据块是先操作处理完成的。第n个分割数据块的时延统计记录不一定只基于该第n个分割数据块中的操作处理完成的基础数据块，也可能是基于其前序的分割数据块中的操作处理完成的基础数据块，或者二者都有。
在一些实施例中，时延统计记录为若干前序基础数据块操作处理完成的平均时间。例如，如果有m个基础数据块操作处理完成，则以这m个基础数据块中各个基础数据块操作处理完成的时间之和求平均值。此处单个基础数据块操作处理完成可以是：假设该基础数据块在A区，其被发送到B区(例如磁盘一存储区)进行读操作或写操作或删除操作等，然后操作结束后又返回到A区。
在一些实施例中，将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并包括：若分割数据块是第一个分割数据块，将第一个分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束，停止合并；若分割数据块是第n个分割数据块，将第n个分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并，其中，n为大于1的整数。本实施例中，由于第1个时延统计记录由排列在第1个或前几个的基础数据块形成，所以第一个分割数据块中一定会有操作处理完成的基础数据块，因而第一个分割数据块中不会出现合并的基础数据块达到了分割单元大小的情况，后续的分割数据块中可能会出现合并的基础数据块达到了分割单元大小的情况。
在一些实施例中，方法还包括：响应于有分割数据块中没有时延统计记录，将分割数据块中的所有基础数据块直接发送并进行操作处理。本实施例中，若有的分割数据块中没有时延统计记录，则无法进行合并处理，便将其基础数据块依次发送。
在一些实施例中，将合并的基础数据块发送并进行操作处理包括：将合并的基础数据块发送到与其分割数据块对应的存储区进行操作处理。本实施例中，预先建立了各存储区，然后对数据以分割单元为单位进行分组，该分割单元的大小即为各存储区的存储量大小，进而建立了各分割数据块与对应的存储区的映射关系，各分割数据块中的所有基础数据块最终都被发送到对应的存储区。
在一些实施例中，方法还包括：获取请求操作处理的数据后，判断是否有与数据的偏移量和长度都相同的其他数据正在进行操作处理；响应于有其他数据正在进行操作处理，将数据放入阻塞队列；响应于没有其他数据在进行操作处理，前进到对数据以预设的分割单元为单位依次进行分割的步骤。本实施例中，通过阻塞相同偏移量和长度的请求数据，可以减少合并处理的复杂度。一般情况下，存储系统对同一个位置的同一个操作，一个时刻只有一个，只有在操作超时，或者出错时，系统会进行重发。如果系统同一个时刻对同一个位置有多个操作，可认为是有多个客户同时操作，此时需要客户自行确定数据操作的一致性。因此对于存储系统来说，同一时刻对同一位置的操作只需要保证有一个进行处理即可。
本发明实施例的第二个方面，还提供了一种数据IO的处理装置。图2示出的是本发明提供的数据IO的处理装置的实施例的示意图。一种数据IO的处理装置包括：数据获取模块10，配置用于获取请求操作处理的由若干基础数据块顺序组成的数据；数据分组模块20，配置用于将数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；时延统计记录判断模块30，配置用于依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；等待时间段设置模块40，配置用于响应于有分割数据块中有时延统计记录，根据时延统计记录设置等待时间段；合并模块50，配置用于将分割数据块中未进行操作处理的基础数据块在等待时间段内依次合并，直到等待时间段结束或等待时间段未结束但合并的基础数据块达到了分割单元大小，停止合并；以及发送模块60，配置用于将合并的基础数据块发送并进行操作处理。
本发明实施例的数据IO的处理装置，通过采集数据IO过程中的时延统计记录，根据时延统计记录设置合理的等待时间段，在将数据发送前等待一段时间并在此期间进行连续数据的合并，以减少数据IO的时间，进一步提高了存储系统的吞吐量，在数据连续IO场景下使存储系统性能大大提高，提升了用户体验。
本发明实施例的第三个方面，还提供了一种计算机存储介质，存储介质存储有计算机程序指令，该计算机程序指令被执行时实现上述任意一项实施例方法。
应当理解，在相互不冲突的情况下，以上针对根据本发明的数据IO的处理方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的数据IO的处理装置和存储介质。也就是说，上面所述的应用于数据IO的处理方法的所有实施例及其变化都可以直接移转应用于根据本发明的装置和存储介质，并直接结合于此。为了本公开的简洁起见，在此不再重复阐述。
本发明实施例的第四个方面，还提供了一种计算机设备，包括存储器302和处理器301，该存储器中存储有计算机程序，该计算机程序被该处理器执行时实现上述任意一项实施例方法。
如图3所示，为本发明提供的执行数据IO的处理方法的计算机设备的一个实施例的硬件结构示意图。以如图3所示的计算机设备为例，在该计算机设备中包括一个处理器301以及一个存储器302，并还可以包括：输入装置303和输出装置304。处理器301、存储器302、输入装置303和输出装置304可以通过总线或者其他方式连接，图3中以通过总线连接为例。输入装置303可接收输入的数字或字符信息，以及产生与数据IO的处理装置的用户设置以及功能控制有关的键信号输入。输出装置304可包括显示屏等显示设备。处理器301通过运行存储在存储器302中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的数据IO的处理方法。
最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDRSDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。

Claims (10)

1.一种数据IO的处理方法，其特征在于，包括以下步骤：
获取请求操作处理的由若干基础数据块顺序组成的数据；
将所述数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；
依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；
响应于有分割数据块中有时延统计记录，根据所述时延统计记录设置等待时间段；
将所述分割数据块中未进行操作处理的基础数据块在所述等待时间段内依次合并，直到所述等待时间段结束或所述等待时间段未结束但合并的基础数据块达到了所述分割单元大小，停止合并；
将合并的基础数据块发送并进行操作处理。
2.根据权利要求1所述的方法，其特征在于，依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录包括：
判断第一个分割数据块中是否有基于前若干个基础数据块操作处理完成的时间的时延统计记录；
判断第n个分割数据块中是否有基于所述第n个分割数据块和/或前n-1个分割数据块中的基础数据块操作处理完成的时间的时延统计记录，其中，n为大于1的整数。
3.根据权利要求1或2所述的方法，其特征在于，所述时延统计记录为若干前序基础数据块操作处理完成的平均时间。
4.根据权利要求1所述的方法，其特征在于，将所述分割数据块中未进行操作处理的基础数据块在所述等待时间段内依次合并，直到所述等待时间段结束或所述等待时间段未结束但合并的基础数据块达到了所述分割单元大小，停止合并包括：
若所述分割数据块是第一个分割数据块，将所述第一个分割数据块中未进行操作处理的基础数据块在所述等待时间段内依次合并，直到所述等待时间段结束，停止合并；
若所述分割数据块是第n个分割数据块，将所述第n个分割数据块中未进行操作处理的基础数据块在所述等待时间段内依次合并，直到所述等待时间段结束或所述等待时间段未结束但合并的基础数据块达到了所述分割单元大小，停止合并，其中，n为大于1的整数。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
响应于有分割数据块中没有时延统计记录，将所述分割数据块中的所有基础数据块直接发送并进行操作处理。
6.根据权利要求1所述的方法，其特征在于，将合并的基础数据块发送并进行操作处理包括：
将合并的基础数据块发送到与其分割数据块对应的存储区进行操作处理。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取请求操作处理的所述数据后，判断是否有与所述数据的偏移量和长度都相同的其他数据正在进行操作处理；
响应于有所述其他数据正在进行操作处理，将所述数据放入阻塞队列；
响应于没有所述其他数据在进行操作处理，前进到对所述数据以预设的分割单元为单位依次进行分组的步骤。
8.一种数据IO的处理装置，其特征在于，包括：
数据获取模块，配置用于获取请求操作处理的由若干基础数据块顺序组成的数据；
数据分组模块，配置用于将所述数据以预设的分割单元为单位依次进行分组，以顺序得到若干分割数据块；
时延统计记录判断模块，配置用于依次处理并判断各分割数据块中是否有基于前序基础数据块操作处理完成的时间的时延统计记录；
等待时间段设置模块，配置用于响应于有分割数据块中有时延统计记录，根据所述时延统计记录设置等待时间段；
合并模块，配置用于将所述分割数据块中未进行操作处理的基础数据块在所述等待时间段内依次合并，直到所述等待时间段结束或所述等待时间段未结束但合并的基础数据块达到了所述分割单元大小，停止合并；以及
发送模块，配置用于将合并的基础数据块发送并进行操作处理。
9.一种计算机可读存储介质，其特征在于，存储有计算机程序指令，所述计算机程序指令被执行时实现如权利要求1-7任意一项所述的方法。
10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时执行如权利要求1-7任意一项所述的方法。
CN202110047891.6A 2021-01-14 2021-01-14 一种数据io的处理方法、装置、存储介质及设备 Active CN112732197B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110047891.6A CN112732197B (zh) 2021-01-14 2021-01-14 一种数据io的处理方法、装置、存储介质及设备
PCT/CN2021/143248 WO2022151989A1 (zh) 2021-01-14 2021-12-30 一种数据io的处理方法、装置、存储介质及设备
US18/270,595 US20240061581A1 (en) 2021-01-14 2021-12-30 Data I/O Processing Method and Apparatus, Storage Medium, and Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110047891.6A CN112732197B (zh) 2021-01-14 2021-01-14 一种数据io的处理方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN112732197A true CN112732197A (zh) 2021-04-30
CN112732197B CN112732197B (zh) 2022-07-26

Family

ID=75592886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110047891.6A Active CN112732197B (zh) 2021-01-14 2021-01-14 一种数据io的处理方法、装置、存储介质及设备

Country Status (3)

Country Link
US (1) US20240061581A1 (zh)
CN (1) CN112732197B (zh)
WO (1) WO2022151989A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022151989A1 (zh) * 2021-01-14 2022-07-21 苏州浪潮智能科技有限公司 一种数据io的处理方法、装置、存储介质及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632780A (zh) * 2017-08-28 2018-01-26 深圳市云舒网络技术有限公司 一种基于分布式存储系统的条带卷实现方法及其存储架构
CN110727685A (zh) * 2019-10-09 2020-01-24 苏州浪潮智能科技有限公司 一种基于Cassandra数据库的数据压缩方法、设备以及存储介质
CN111881096A (zh) * 2020-07-24 2020-11-03 北京浪潮数据技术有限公司 一种文件读取方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984607A (zh) * 2013-02-08 2014-08-13 华为技术有限公司 分布式存储的方法、装置和系统
US10552079B2 (en) * 2017-01-18 2020-02-04 International Business Machines Corporation Planning of data segment merge for distributed storage system
CN107886414B (zh) * 2017-12-07 2020-09-29 中仁车汇科技发展（深圳）有限公司 一种订单合并方法和设备以及计算机存储介质
CN108038171B (zh) * 2017-12-07 2020-07-03 杭州电魂网络科技股份有限公司 数据写入方法、装置及数据服务器
CN112732197B (zh) * 2021-01-14 2022-07-26 苏州浪潮智能科技有限公司 一种数据io的处理方法、装置、存储介质及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632780A (zh) * 2017-08-28 2018-01-26 深圳市云舒网络技术有限公司 一种基于分布式存储系统的条带卷实现方法及其存储架构
CN110727685A (zh) * 2019-10-09 2020-01-24 苏州浪潮智能科技有限公司 一种基于Cassandra数据库的数据压缩方法、设备以及存储介质
CN111881096A (zh) * 2020-07-24 2020-11-03 北京浪潮数据技术有限公司 一种文件读取方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022151989A1 (zh) * 2021-01-14 2022-07-21 苏州浪潮智能科技有限公司 一种数据io的处理方法、装置、存储介质及设备

Also Published As

Publication number Publication date
US20240061581A1 (en) 2024-02-22
WO2022151989A1 (zh) 2022-07-21
CN112732197B (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
CN110209652B (zh) 数据表迁移方法、装置、计算机设备和存储介质
CN110943934A (zh) 服务请求处理方法、系统、终端及可读存储介质
JP6966432B2 (ja) クラウドファイル処理方法および装置
CN112732197B (zh) 一种数据io的处理方法、装置、存储介质及设备
WO2020173126A1 (zh) 基于区块链的会话数据处理方法、装置、设备及介质
CN112988679A (zh) 日志采集控制方法、装置、存储介质及服务器
CN111147310A (zh) 一种日志跟踪处理的方法、装置、服务器及介质
CN107102889B (zh) 一种虚拟机资源调整方法及装置
EP3933743A1 (en) Method and device for blockchain transaction tracing
CN114527938A (zh) 一种基于固态硬盘的数据读取方法、系统、介质及设备
CN114090623A (zh) 一种缓存资源的创建方法、装置、电子设备及存储介质
CN113259474B (zh) 一种存储管理方法、系统、存储介质及设备
CN115794317A (zh) 一种基于虚拟机的处理方法、装置、设备及介质
CN111382141A (zh) 主从架构配置方法、装置、设备以及计算机可读存储介质
CN111259012A (zh) 数据均匀化方法、装置、计算机设备及存储介质
CN113253944A (zh) 一种磁盘阵列访问方法、系统及存储介质
US20150172131A1 (en) Method and system for verifying quality of server
CN111049877B (zh) 一种大数据对外输出方法、装置及数据开放平台
CN113407301A (zh) 一种虚拟机监控方法、系统、存储介质及设备
CN112541041A (zh) 一种数据处理方法、装置、服务器及存储介质
CN113760725A (zh) 数据处理方法、装置及存储介质
CN113076063A (zh) 一种目录配额预申请方法、系统、存储介质及设备
CN112738157A (zh) 一种文件上传方法、系统及设备
CN112653539A (zh) 一种待存储数据的存储方法、装置以及设备
CN113468195B (zh) 服务器数据缓存更新方法、系统和主数据库服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant