CN116048424A - Io数据处理方法、装置、设备及介质 - Google Patents

Io数据处理方法、装置、设备及介质 Download PDF

Info

Publication number
CN116048424A
CN116048424A CN202310208165.7A CN202310208165A CN116048424A CN 116048424 A CN116048424 A CN 116048424A CN 202310208165 A CN202310208165 A CN 202310208165A CN 116048424 A CN116048424 A CN 116048424A
Authority
CN
China
Prior art keywords
data
message
data storage
data block
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310208165.7A
Other languages
English (en)
Other versions
CN116048424B (zh
Inventor
李�杰
张在贵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202310208165.7A priority Critical patent/CN116048424B/zh
Publication of CN116048424A publication Critical patent/CN116048424A/zh
Application granted granted Critical
Publication of CN116048424B publication Critical patent/CN116048424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了IO数据处理方法、装置、设备及介质，应用于分布式存储技术领域，包括：基于预设分类标准对IO数据块进行分类；若IO数据块的大小达到预设分类标准，则将IO数据块分类为大IO数据块，并向各数据存储设备服务发送控制消息，以便各数据存储设备服务将大IO数据块拉取至本地的保电内存；各数据存储设备服务包括主从数据存储设备服务；获取主数据存储设备服务返回的写入成功信息；写入成功信息为主数据存储设备服务自身拉取成功，并接收到从数据存储设备服务发送的拉取成功信息后直接返回；各数据存储设备服务异步对大IO数据块进行落盘操作。能够降低大数据块写流程中的延时，从而提升大数据块和小数据块混合场景下的性能。

Description

IO数据处理方法、装置、设备及介质
技术领域
本申请涉及分布式存储技术领域，特别涉及IO数据处理方法、装置、设备及介质。
背景技术
数控分离架构是基于主转发数据流转方式下发展出来的一种新型数据流转架构，可以使集群最大化的对外提供业务带宽。数控分离架构中，数据流和控制流走不同路径，控制流走主转发流程，数据流走RDMA（即Remote Direct Memory Access，远程直接数据存取）单边流程。通常情况下，大块数据会走数控分离架构，减少带宽占用；控制消息由于消息体积较小，走数控分离收益不大，所以仍然走主转发流程。
目前，大部分业务场景是大数据块和小数据块混合的IO（即Input/Output，输入/输出）场景，而数控分离流程基于一致性考虑，采用两段式提交设计，即由主DSD（即数据存储设备服务）先进行数据确认，整体交互过程次数较多，对于大块写会有影响。
发明内容
有鉴于此，本申请的目的在于提供IO数据处理方法、装置、设备及介质，能够降低大数据块写流程中的延时，从而提升大数据块和小数据块混合IO场景下的存储系统性能。其具体方案如下：
第一方面，本申请公开了一种IO数据处理方法，应用于客户端，包括：
基于预设分类标准对IO数据块进行分类；
若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块，并向各数据存储设备服务发送控制消息，以便所述各数据存储设备服务将所述大IO数据块拉取至本地的保电内存；其中，所述各数据存储设备服务包括主数据存储设备服务以及从数据存储设备服务；
获取所述主数据存储设备服务返回的写入成功信息；其中，所述写入成功信息为所述主数据存储设备服务自身拉取成功，并接收到所述从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回的信息；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。
可选的，还包括：
若所述IO数据块的大小未达到所述预设分类标准，则将所述IO数据块分类为小IO数据块，将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并发送所述消息簇。
可选的，所述将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并发送所述消息簇，包括：
将携带所述小IO数据块的IO消息放置于第一通信连接的消息队列；
将所述消息队列中的携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并基于所述第一通信连接发送所述消息簇；
其中，所述第一通信连接为所述客户端与所述主数据存储设备服务之间的通信连接。
可选的，还包括：
获取聚合消息数量参数；
相应的，所述将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，包括：
基于所述聚合消息数量参数将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合，得到消息簇。
可选的，所述将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，包括：
将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行序列化操作，得到每个IO消息对应的字节流；
将每个IO消息对应的字节流聚合为消息簇。
可选的，所述保电内存为注册至RDMA网卡的内存。
可选的，所述保电内存为NVDIMM或包括BBU和DRAM的内存。
可选的，所述保电内存还保存所述大IO数据块对应的对象操作信息，以便所述各数据存储设备服务基于所述对象操作信息进行数据恢复操作。
可选的，在所述基于预设分类标准对IO数据块进行分类之前，还包括：
获取用户输入的分类阈值，并将所述分类阈值确定为预设分类标准。
可选的，在所述基于预设分类标准对IO数据块进行分类之前，还包括：
获取纠删条带大小；
基于所述纠删条带大小设置分类标准，以得到所述预设分类标准。
第二方面，本申请公开了一种IO数据处理方法，应用于主数据存储设备服务，包括：
获取客户端发送的控制消息；其中，所述控制消息为所述客户端基于预设分类标准对IO数据块进行分类，若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块，并向各数据存储设备服务发送的控制消息；所述各数据存储设备服务包括所述主数据存储设备服务以及从数据存储设备服务；
将所述大IO数据块拉取至本地的保电内存；
当自身拉取成功，并接收到从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回写入成功信息；其中，所述拉取成功信息表征所述从数据存储设备服务将所述大IO数据块成功拉取至自身的保电内存；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。
可选的，还包括：
获取所述客户端发送的消息簇；其中，所述消息簇为将携带小IO数据块的连续相邻的多个IO消息进行聚合得到，并且，所述小IO数据块为大小未达到所述预设分类标准的IO数据块；
对所述消息簇进行拆分，得到各IO消息。
可选的，所述获取所述客户端发送的消息簇，包括：
基于第一通信连接获取所述客户端发送的消息簇；其中，所述第一通信连接为所述客户端与所述主数据存储设备服务之间的通信连接，并且，所述消息簇为所述第一通信连接的消息队列中的携带小IO数据块的连续相邻的多个IO消息进行聚合得到。
可选的，在对所述消息簇进行拆分，得到各IO消息之后，还包括：
将所述各IO消息放置于第二通信连接的消息队列；
对该消息队列中的连续相邻的多个IO消息进行聚合以得到消息簇，并将该消息簇基于所述第二通信连接发送至从数据存储设备服务。
可选的，所述对该消息队列中的连续相邻的多个IO消息进行聚合以得到消息簇，包括：
对该消息队列中的连续相邻的多个IO消息进行序列化操作，得到每个IO消息对应的字节流；
将每个IO消息对应的字节流聚合为消息簇。
可选的，还包括：
获取聚合消息数量参数；
相应的，所述对该消息队列中的连续相邻的多个IO消息进行聚合以得到消息簇，包括：
基于所述聚合消息数量参数对该消息队列中的连续相邻的多个IO消息进行聚合以得到消息簇。
可选的，所述预设分类标准为预设倍数的纠删条带大小。
第三方面，本申请公开了一种IO数据处理装置，应用于客户端，包括：
IO数据块分类模块，用于基于预设分类标准对IO数据块进行分类；若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块；
控制消息发送模块，用于若所述IO数据块分类模块将所述IO数据块分类为大IO数据块，则向各数据存储设备服务发送控制消息，以便所述各数据存储设备服务将所述大IO数据块拉取至本地的保电内存；其中，所述各数据存储设备服务包括主数据存储设备服务以及从数据存储设备服务；
写入成功信息获取模块，用于获取所述主数据存储设备服务返回的写入成功信息；其中，所述写入成功信息为所述主数据存储设备服务自身拉取成功，并接收到所述从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回的信息；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。
第四方面，本申请公开了一种电子设备，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现前述的IO数据处理方法。
第五方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的IO数据处理方法。
可见，本申请基于预设分类标准对IO数据块进行分类；若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块，并向各数据存储设备服务发送控制消息，以便所述各数据存储设备服务将所述大IO数据块拉取至本地的保电内存；其中，所述各数据存储设备服务包括主数据存储设备服务以及从数据存储设备服务；获取所述主数据存储设备服务返回的写入成功信息；其中，所述写入成功信息为所述主数据存储设备服务自身拉取成功，并接收到所述从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回的信息；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。也即，本申请对于大IO数据块采用数控分离的方式，客户端在将IO数据块分类为大IO数据块之后，向各数据存储设备服务发送控制消息，各数据存储设备服务将所述大IO数据块拉取至本地的保电内存，使用保电内存保障了数据不丢失，主数据存储设备服务自身拉取成功，并接收到从数据存储设备服务发送的拉取成功信息后可直接向所述客户端返回的写入成功信息，在拉取成功后，无需等待主数据存储设备服务向从数据存储设备服务发送提交动作进行落盘后再返回写入成功信息，各数据存储设备服务异步对所述大IO数据块进行落盘操作，这样，能够降低大数据块写流程中的延时，从而提升大数据块和小数据块混合IO场景下的存储系统性能。
并且，本申请中，若所述IO数据块的大小未达到所述预设分类标准，则将所述IO数据块分类为小IO数据块，将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并发送所述消息簇，这样，对于小IO数据块，进行消息聚合，发送时发送消息簇，降低额外的高频操作干扰，提升iops性能，从而提升大数据块和小数据块混合IO场景下的存储系统性能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的一种IO数据处理方法流程图；
图2为本申请实施例公开的一种具体的大IO数据块提交示意图；
图3为本申请实施例公开的一种具体的消息聚合示意图；
图4为本申请实施例公开的另一种IO数据处理方法；
图5为本申请实施例公开的一种IO数据处理装置示意图；
图6为本申请实施例公开的一种电子设备结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前，大部分业务场景是大数据块和小数据块混合的IO场景，而数控分离流程基于一致性考虑，采用两段式提交设计，即由主DSD先进行数据确认，整体交互过程次数较多，对于大块写会有影响。小数据块看的是iops（即Input/Output Operations Per Second，每秒的读写次数）性能，仍然走的数据转发流程，通信方面频繁的事件通知会造成频繁的上下文切换，无法发挥出RDMA的优势，高频非数据的额外操作造成性能下降。为此，本申请提供了一种IO数据处理方法、装置、设备及介质，能够降低大数据块写流程中的延时，降低小数据块写流程中额外的高频操作干扰，提升iops性能，从而提升大数据块和小数据块混合IO场景下的存储系统性能。
参见图1所示，本申请实施例公开了一种IO数据处理方法，其特征在于，应用于客户端，包括：
步骤S11：基于预设分类标准对IO数据块进行分类。
其中，所述IO数据块为单次IO操作所处理的数据块。
在一种实施方式中，可以获取用户输入的分类阈值，并将所述分类阈值确定为预设分类标准。也即，用户可以直接设置一个阈值，作为分类标准。
在另一种实施方式中，可以获取纠删条带大小；基于所述纠删条带大小设置分类标准，以得到所述预设分类标准。具体的，可以利用纠删条带大小乘以预设倍数，得到预设分类标准，比如，2倍的纠删条带大小。
步骤S12：若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块，并向各数据存储设备服务发送控制消息，以便所述各数据存储设备服务将所述大IO数据块拉取至本地的保电内存；其中，所述各数据存储设备服务包括主数据存储设备服务以及从数据存储设备服务。
其中，所述保电内存为注册至RDMA网卡的内存。并且，所述保电内存为NVDIMM（non-volatile dual in-line memory module，即非易失性双列直插式内存模块）或包括BBU（即battery backup unit，备份锂电池）和DRAM（即动态随机存取内存）的内存。在具体的实施方式中，存储服务器配置保电内存，初始化通信层时使用保电内存注册RDMA内存。各数据存储设备服务运行于存储服务器。可以包括多个从数据存储设备服务。
另外，所述保电内存还保存所述大IO数据块对应的对象操作信息，以便所述各数据存储设备服务基于所述对象操作信息进行数据恢复操作。具体的，在掉电重新上电后，基于对象操作信息进行数据恢复操作。对象操作信息可以包含PG INFO（即放置组）、对象ID（即标识）、操作码、对象偏移量、长度、数据。掉电瞬间根据保电内存接口将非易失内存数据存储本地系统盘文件中，也即将保电内存中的数据序列化到本地系统盘SSD（即SolidState Disk，固态硬盘）的文件中。重新上电后，扫描系统盘文件加载保电内存数据，加载完数据后，按照保电内存中数据进行回放，继续未落盘的动作。
步骤S13：获取所述主数据存储设备服务返回的写入成功信息；其中，所述写入成功信息为所述主数据存储设备服务自身拉取成功，并接收到所述从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回的信息；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。
在具体的实施方式中，若包括多个从数据存储设备服务，主数据存储设备服务在接收到所有从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回写入成功信息。主数据存储设备服务向从数据存储设备服务发送提交命令，从数据存储设备服务进行落盘。
进一步的，若所述IO数据块的大小未达到所述预设分类标准，则将所述IO数据块分类为小IO数据块，将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并发送所述消息簇。
可以理解的是，连续相邻的多个IO消息中的每个消息也均携带相应的小IO数据块。并且，本申请实施例可以将携带所述小IO数据块的IO消息放置于第一通信连接的消息队列；将所述消息队列中的携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并基于所述第一通信连接发送所述消息簇；其中，所述第一通信连接为所述客户端与所述主数据存储设备服务之间的通信连接。
进一步的，可以获取聚合消息数量参数；基于所述聚合消息数量参数将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合，得到消息簇。聚合消息数量参数可以为经验值，比如20。主数据存储设备服务在接收到消息簇后进行拆分。
并且，在具体的实施方式中，可以将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行序列化操作，得到每个IO消息对应的字节流；将每个IO消息对应的字节流聚合为消息簇。这样，每个消息经过序列化后为一段连续的字节流，多个消息聚合后形成大的字节流，底层通信以消息流的形式进行传输。
也即，本申请实施例针对大数据块和小数据块混合IO场景下。分别针对大数据块和小数据块进行优化，达到在数控分离架构下提升大数据块和小数据块混合IO场景下性能的目的。
在一种实施方式中，可以将集群IO数据块按照大小分为大IO数据块和小IO数据块两类。划分标准可配，可以按照小于2倍纠删条带为小IO数据块，大于等于2倍纠删条带为大IO数据块。大IO数据块走数控分离，小IO数据块走非数控分离。
针对大IO数据块：现有技术中数控分离一般采用两段式提交，各个从DSD上的数据通过单边拉取到本地之后，先向主DSD确认拉取成功，再由主DSD统一向子发送commit（提交）动作进行落盘，落盘成功后再返回主DSD，再由主DSD返回给客户端。而本申请实施例对现有技术进行优化，使用保电内存（例如NVDIMM或BBU+DRAM）注册RDMA内存，当从DSD单边拉取到本地之后，向主DSD反馈拉取成功，由于保电内存是非易失的，主DSD可以直接返回客户端写入成功，后端即各DSD异步将数据写入SSD。具体的，存储服务器配置保电内存；初始化通信层时使用保电内存进行注册RDMA内存；进行单边通信时将数据拉入保电内存，例如，参见图2所示，图2为本申请实施例公开的一种具体的大IO数据块提交示意图。加速主DSD向客户端确认，增加异步提交动作。保电内存除了存储数据还会存储当前数据的对象操作信息，便于掉电重新上电时的数据操作的恢复。对象操作信息可以包含PG INFO、对象ID、操作码、对象偏移量、长度、数据。掉电瞬间根据保电内存接口将非易失内存数据存储本地系统盘文件中，也即将保电内存中的数据序列化到ssd（本地系统盘）的文件中。重新上电后，扫描系统盘文件加载保电内存数据，加载完数据后，按照保电内存中数据进行回放，继续未落盘的动作。
针对小IO数据块：现有技术中，通信过程中产生的额外高频操作是造成性能下降的主要因素。当并发高的时候每个连接的消息队列里一般会有堆积的消息。当出现这种状况的时候即使再如何增加并发，一般性能提升不大。本申请实施例在通信层针对某个连接的消息队列，在发送消息时如果存在连续的大量的小IO消息，则进行消息层面的合并动作，并进行发送，在对端进行集中拆分处理。具体的，针对某一个具体连接如果队列中有多个等待发送的小消息，可以进行聚合，聚合保序，约束条件为数据块不超过指定大小、连续相邻的消息进行聚合，小消息聚合成消息簇，例如，参见图3所示，图3为本申请实施例公开的一种具体的消息聚合示意图，n为聚合的消息数量，也即可以将消息1至消息n聚合为消息簇，其中，每个消息经过序列化后为一段连续的字节流，多个消息聚合后形成大的字节流，底层通信以消息流的形式进行传输。对端按照聚合规则对消息簇进行反向拆分。
这样，通过优化数控分离架构交互机制，增加异步处理降低时延，提升大带宽性能；通过聚合小消息，降低额外的高频操作干扰，提升iops性能，整体提升大小文件混合IO场景下的性能。
可见，本申请实施例基于预设分类标准对IO数据块进行分类；若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块，并向各数据存储设备服务发送控制消息，以便所述各数据存储设备服务将所述大IO数据块拉取至本地的保电内存；其中，所述各数据存储设备服务包括主数据存储设备服务以及从数据存储设备服务；获取所述主数据存储设备服务返回的写入成功信息；其中，所述写入成功信息为所述主数据存储设备服务自身拉取成功，并接收到所述从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回的信息；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。也即，本申请对于大IO数据块采用数控分离的方式，客户端在将IO数据块分类为大IO数据块之后，向各数据存储设备服务发送控制消息，各数据存储设备服务将所述大IO数据块拉取至本地的保电内存，使用保电内存保障了数据不丢失，主数据存储设备服务自身拉取成功，并接收到从数据存储设备服务发送的拉取成功信息后可直接向所述客户端返回的写入成功信息，在拉取成功后，无需等待主数据存储设备服务向从数据存储设备服务发送提交动作进行落盘后再返回写入成功信息，各数据存储设备服务异步对所述大IO数据块进行落盘操作，这样，能够降低大数据块写流程中的延时，从而提升大数据块和小数据块混合IO场景下的存储系统性能。
并且，本申请实施例中，若所述IO数据块的大小未达到所述预设分类标准，则将所述IO数据块分类为小IO数据块，将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并发送所述消息簇，这样，对于小IO数据块，进行消息聚合，发送时发送消息簇，降低额外的高频操作干扰，提升iops性能，从而提升大数据块和小数据块混合IO场景下的存储系统性能。
参见图4所示，本申请实施例公开了一种IO数据处理方法，应用于主数据存储设备服务，包括：
步骤S21：获取客户端发送的控制消息；其中，所述控制消息为所述客户端基于预设分类标准对IO数据块进行分类，若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块，并向各数据存储设备服务发送的控制消息；所述各数据存储设备服务包括所述主数据存储设备服务以及从数据存储设备服务；
其中，所述预设分类标准可以为预设倍数的纠删条带大小。比如，2倍的纠删条带大小。
步骤S22：将所述大IO数据块拉取至本地的保电内存。
其中，所述保电内存为注册至RDMA网卡的内存。并且，所述保电内存为NVDIMM或包括BBU和DRAM的内存。在具体的实施方式中，存储服务器配置保电内存，初始化通信层时使用保电内存注册RDMA内存。各数据存储设备服务运行于存储服务器。可以包括多个从数据存储设备服务。
另外，所述保电内存还保存所述大IO数据块对应的对象操作信息，以便所述各数据存储设备服务基于所述对象操作信息进行数据恢复操作。具体的，在掉电重新上电后，基于对象操作信息进行数据恢复操作。对象操作信息可以包含PG INFO、对象ID、操作码、对象偏移量、长度、数据。掉电瞬间根据保电内存接口将非易失内存数据存储本地系统盘文件中，也即将保电内存中的数据序列化到本地系统盘SSD的文件中。重新上电后，扫描系统盘文件加载保电内存数据，加载完数据后，按照保电内存中数据进行回放，继续未落盘的动作。
可以理解的是，从数据存储设备服务也将大IO数据块拉取至自身的保电内存。
步骤S23：当自身拉取成功，并接收到从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回写入成功信息；其中，所述拉取成功信息表征所述从数据存储设备服务将所述大IO数据块成功拉取至自身的保电内存；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。
并且，本申请实施例还可以获取所述客户端发送的消息簇；其中，所述消息簇为将携带小IO数据块的连续相邻的多个IO消息进行聚合得到，并且，所述小IO数据块为大小未达到所述预设分类标准的IO数据块；对所述消息簇进行拆分，得到各IO消息。
其中，所述获取所述客户端发送的消息簇，包括：基于第一通信连接获取所述客户端发送的消息簇；其中，所述第一通信连接为所述客户端与所述主数据存储设备服务之间的通信连接，并且，所述消息簇为所述第一通信连接的消息队列中的携带小IO数据块的连续相邻的多个IO消息进行聚合得到。
进一步的，在对所述消息簇进行拆分，得到各IO消息之后，本申请实施例还将所述各IO消息放置于第二通信连接的消息队列；对该消息队列中的连续相邻的多个IO消息进行聚合以得到消息簇，并将该消息簇基于所述第二通信连接发送至从数据存储设备服务。具体的，对该消息队列中的连续相邻的多个IO消息进行序列化操作，得到每个IO消息对应的字节流；将每个IO消息对应的字节流聚合为消息簇。
并且，本申请实施例可以获取聚合消息数量参数；基于所述聚合消息数量参数对该消息队列中的连续相邻的多个IO消息进行聚合以得到消息簇。
可见，本申请实施例对于大IO数据块采用数控分离的方式，客户端在将IO数据块分类为大IO数据块之后，向各数据存储设备服务发送控制消息，各数据存储设备服务将所述大IO数据块拉取至本地的保电内存，使用保电内存保障了数据不丢失，主数据存储设备服务自身拉取成功，并接收到从数据存储设备服务发送的拉取成功信息后可直接向所述客户端返回的写入成功信息，在拉取成功后，无需等待主数据存储设备服务向从数据存储设备服务发送提交动作进行落盘后再返回写入成功信息，各数据存储设备服务异步对所述大IO数据块进行落盘操作，这样，能够降低大数据块写流程中的延时，从而提升大数据块和小数据块混合IO场景下的存储系统性能。
并且，本申请实施例中，将携带所述小IO数据块的连续相邻的多个IO消息进行聚合以得到消息簇，并发送所述消息簇，这样，对于小IO数据块，进行消息聚合，发送时发送消息簇，降低额外的高频操作干扰，提升iops性能，从而提升大数据块和小数据块混合IO场景下的存储系统性能。
参见图5所示，本申请实施例公开了一种IO数据处理装置，应用于客户端，包括：
IO数据块分类模块11，用于基于预设分类标准对IO数据块进行分类；若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块；
控制消息发送模块12，用于若所述IO数据块分类模块将所述IO数据块分类为大IO数据块，则向各数据存储设备服务发送控制消息，以便所述各数据存储设备服务将所述大IO数据块拉取至本地的保电内存；其中，所述各数据存储设备服务包括主数据存储设备服务以及从数据存储设备服务；
写入成功信息获取模块13，用于获取所述主数据存储设备服务返回的写入成功信息；其中，所述写入成功信息为所述主数据存储设备服务自身拉取成功，并接收到所述从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回的信息；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。
其中，所述IO数据块分类模块11，还用于若所述IO数据块的大小未达到所述预设分类标准，则将所述IO数据块分类为小IO数据块。
相应的，所述装置还包括小IO数据块处理模块，用于将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并发送所述消息簇。
在具体的实施方式中，小IO数据块处理模块具体包括：
消息放置子模块，用于将携带所述小IO数据块的IO消息放置于第一通信连接的消息队列；其中，所述第一通信连接为所述客户端与所述主数据存储设备服务之间的通信连接；
消息聚合子模块，用于将所述消息队列中的携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇；
消息发送子模块，用于基于所述第一通信连接发送所述消息簇。
进一步的，所述装置还包括：
聚合消息数量参数获取模块，用于获取聚合消息数量参数；
相应的，小IO数据块处理模块，具体用于基于所述聚合消息数量参数将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合，得到消息簇。
并且，小IO数据块处理模块，具体用于将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行序列化操作，得到每个IO消息对应的字节流；将每个IO消息对应的字节流聚合为消息簇。
在具体的实施方式中，所述保电内存为注册至RDMA网卡的内存。
并且，所述保电内存为NVDIMM或包括BBU和DRAM的内存。
另外，所述保电内存还保存所述大IO数据块对应的对象操作信息，以便所述各数据存储设备服务基于所述对象操作信息进行数据恢复操作。
进一步的，所述装置还包括分类标准确定模块；
在一种实施方式中，所述分类标准确定模块具体用于：获取用户输入的分类阈值，并将所述分类阈值确定为预设分类标准。
在另一种实施方式中，所述分类标准确定模块具体用于：获取纠删条带大小；基于所述纠删条带大小设置分类标准，以得到所述预设分类标准。
可见，本申请实施例基于预设分类标准对IO数据块进行分类；若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块，并向各数据存储设备服务发送控制消息，以便所述各数据存储设备服务将所述大IO数据块拉取至本地的保电内存；其中，所述各数据存储设备服务包括主数据存储设备服务以及从数据存储设备服务；获取所述主数据存储设备服务返回的写入成功信息；其中，所述写入成功信息为所述主数据存储设备服务自身拉取成功，并接收到所述从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回的信息；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。也即，本申请对于大IO数据块采用数控分离的方式，客户端在将IO数据块分类为大IO数据块之后，向各数据存储设备服务发送控制消息，各数据存储设备服务将所述大IO数据块拉取至本地的保电内存，使用保电内存保障了数据不丢失，主数据存储设备服务自身拉取成功，并接收到从数据存储设备服务发送的拉取成功信息后可直接向所述客户端返回的写入成功信息，在拉取成功后，无需等待主数据存储设备服务向从数据存储设备服务发送提交动作进行落盘后再返回写入成功信息，各数据存储设备服务异步对所述大IO数据块进行落盘操作，这样，能够降低大数据块写流程中的延时，从而提升大数据块和小数据块混合IO场景下的存储系统性能。
并且，本申请实施例中，若所述IO数据块的大小未达到所述预设分类标准，则将所述IO数据块分类为小IO数据块，将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并发送所述消息簇，这样，对于小IO数据块，进行消息聚合，发送时发送消息簇，降低额外的高频操作干扰，提升iops性能，从而提升大数据块和小数据块混合IO场景下的存储系统性能。
参见图6所示，本申请实施例公开了一种电子设备20，包括处理器21和存储器22；其中，所述存储器22，用于保存计算机程序；所述处理器21，用于执行所述计算机程序，前述实施例公开的IO数据处理方法。
关于上述IO数据处理方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
并且，所述存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，存储方式可以是短暂存储或者永久存储。
另外，所述电子设备20还包括电源23、通信接口24、输入输出接口25和通信总线26；其中，所述电源23用于为所述电子设备20上的各硬件设备提供工作电压；所述通信接口24能够为所述电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；所述输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述实施例公开的IO数据处理方法。
关于上述IO数据处理方法的具体过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的IO数据处理方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (20)

1.一种IO数据处理方法，其特征在于，应用于客户端，包括：
基于预设分类标准对IO数据块进行分类；
若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块，并向各数据存储设备服务发送控制消息，以便所述各数据存储设备服务将所述大IO数据块拉取至本地的保电内存；其中，所述各数据存储设备服务包括主数据存储设备服务以及从数据存储设备服务；
获取所述主数据存储设备服务返回的写入成功信息；其中，所述写入成功信息为所述主数据存储设备服务自身拉取成功，并接收到所述从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回的信息；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。
2.根据权利要求1所述的IO数据处理方法，其特征在于，还包括：
若所述IO数据块的大小未达到所述预设分类标准，则将所述IO数据块分类为小IO数据块，将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并发送所述消息簇。
3.根据权利要求2所述的IO数据处理方法，其特征在于，所述将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并发送所述消息簇，包括：
将携带所述小IO数据块的IO消息放置于第一通信连接的消息队列；
将所述消息队列中的携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，并基于所述第一通信连接发送所述消息簇；
其中，所述第一通信连接为所述客户端与所述主数据存储设备服务之间的通信连接。
4.根据权利要求2所述的IO数据处理方法，其特征在于，还包括：
获取聚合消息数量参数；
相应的，所述将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，包括：
基于所述聚合消息数量参数将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合，得到消息簇。
5.根据权利要求2所述的IO数据处理方法，其特征在于，所述将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行聚合以得到消息簇，包括：
将携带所述小IO数据块的IO消息与连续相邻的多个IO消息进行序列化操作，得到每个IO消息对应的字节流；
将每个IO消息对应的字节流聚合为消息簇。
6.根据权利要求1所述的IO数据处理方法，其特征在于，所述保电内存为注册至RDMA网卡的内存。
7.根据权利要求1所述的IO数据处理方法，其特征在于，所述保电内存为NVDIMM或包括BBU和DRAM的内存。
8.根据权利要求1所述的IO数据处理方法，其特征在于，所述保电内存还保存所述大IO数据块对应的对象操作信息，以便所述各数据存储设备服务基于所述对象操作信息进行数据恢复操作。
9.根据权利要求1至8任一项所述的IO数据处理方法，其特征在于，在所述基于预设分类标准对IO数据块进行分类之前，还包括：
获取用户输入的分类阈值，并将所述分类阈值确定为预设分类标准。
10.根据权利要求1至8任一项所述的IO数据处理方法，其特征在于，在所述基于预设分类标准对IO数据块进行分类之前，还包括：
获取纠删条带大小；
基于所述纠删条带大小设置分类标准，以得到所述预设分类标准。
11.一种IO数据处理方法，其特征在于，应用于主数据存储设备服务，包括：
获取客户端发送的控制消息；其中，所述控制消息为所述客户端基于预设分类标准对IO数据块进行分类，若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块，并向各数据存储设备服务发送的控制消息；所述各数据存储设备服务包括所述主数据存储设备服务以及从数据存储设备服务；
将所述大IO数据块拉取至本地的保电内存；
当自身拉取成功，并接收到从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回写入成功信息；其中，所述拉取成功信息表征所述从数据存储设备服务将所述大IO数据块成功拉取至自身的保电内存；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。
12.根据权利要求11所述的IO数据处理方法，其特征在于，还包括：
获取所述客户端发送的消息簇；其中，所述消息簇为将携带小IO数据块的连续相邻的多个IO消息进行聚合得到，并且，所述小IO数据块为大小未达到所述预设分类标准的IO数据块；
对所述消息簇进行拆分，得到各IO消息。
13.根据权利要求12所述的IO数据处理方法，其特征在于，所述获取所述客户端发送的消息簇，包括：
基于第一通信连接获取所述客户端发送的消息簇；其中，所述第一通信连接为所述客户端与所述主数据存储设备服务之间的通信连接，并且，所述消息簇为所述第一通信连接的消息队列中的携带小IO数据块的连续相邻的多个IO消息进行聚合得到。
14.根据权利要求12所述的IO数据处理方法，其特征在于，在对所述消息簇进行拆分，得到各IO消息之后，还包括：
将所述各IO消息放置于第二通信连接的消息队列；
对该消息队列中的连续相邻的多个IO消息进行聚合以得到消息簇，并将该消息簇基于所述第二通信连接发送至从数据存储设备服务。
15.根据权利要求14所述的IO数据处理方法，其特征在于，所述对该消息队列中的连续相邻的多个IO消息进行聚合以得到消息簇，包括：
对该消息队列中的连续相邻的多个IO消息进行序列化操作，得到每个IO消息对应的字节流；
将每个IO消息对应的字节流聚合为消息簇。
16.根据权利要求14所述的IO数据处理方法，其特征在于，还包括：
获取聚合消息数量参数；
相应的，所述对该消息队列中的连续相邻的多个IO消息进行聚合以得到消息簇，包括：
基于所述聚合消息数量参数对该消息队列中的连续相邻的多个IO消息进行聚合以得到消息簇。
17.根据权利要求11至16任一项所述的IO数据处理方法，其特征在于，所述预设分类标准为预设倍数的纠删条带大小。
18.一种IO数据处理装置，其特征在于，应用于客户端，包括：
IO数据块分类模块，用于基于预设分类标准对IO数据块进行分类；若所述IO数据块的大小达到所述预设分类标准，则将所述IO数据块分类为大IO数据块；
控制消息发送模块，用于若所述IO数据块分类模块将所述IO数据块分类为大IO数据块，则向各数据存储设备服务发送控制消息，以便所述各数据存储设备服务将所述大IO数据块拉取至本地的保电内存；其中，所述各数据存储设备服务包括主数据存储设备服务以及从数据存储设备服务；
写入成功信息获取模块，用于获取所述主数据存储设备服务返回的写入成功信息；其中，所述写入成功信息为所述主数据存储设备服务自身拉取成功，并接收到所述从数据存储设备服务发送的拉取成功信息后直接向所述客户端返回的信息；并且，所述各数据存储设备服务异步对所述大IO数据块进行落盘操作。
19.一种电子设备，其特征在于，包括存储器和处理器，其中：
所述存储器，用于保存计算机程序；
所述处理器，用于执行所述计算机程序，以实现如权利要求1至10或11至17任一项所述的IO数据处理方法。
20.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至10或11至17任一项所述的IO数据处理方法。
CN202310208165.7A 2023-03-07 2023-03-07 Io数据处理方法、装置、设备及介质 Active CN116048424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310208165.7A CN116048424B (zh) 2023-03-07 2023-03-07 Io数据处理方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310208165.7A CN116048424B (zh) 2023-03-07 2023-03-07 Io数据处理方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116048424A true CN116048424A (zh) 2023-05-02
CN116048424B CN116048424B (zh) 2023-06-06

Family

ID=86129756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310208165.7A Active CN116048424B (zh) 2023-03-07 2023-03-07 Io数据处理方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116048424B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150012607A1 (en) * 2013-07-08 2015-01-08 Phil C. Cayton Techniques to Replicate Data between Storage Servers
CN105577776A (zh) * 2015-12-17 2016-05-11 上海爱数信息技术股份有限公司 基于数据仲裁者副本的分布式存储系统及方法
CN106843770A (zh) * 2017-01-23 2017-06-13 北京思特奇信息技术股份有限公司 一种分布式文件系统中小文件数据存储、读取方法及装置
CN107229427A (zh) * 2017-06-22 2017-10-03 上海七牛信息技术有限公司 一种文件存储方法、系统及计算机存储介质
US10409511B1 (en) * 2018-06-30 2019-09-10 Western Digital Technologies, Inc. Multi-device storage system with distributed read/write processing
CN111258822A (zh) * 2020-01-15 2020-06-09 广州虎牙科技有限公司 数据处理方法、服务器和计算机可读存储介质
CN112000289A (zh) * 2020-08-20 2020-11-27 苏州浪潮智能科技有限公司 全闪存储服务器系统数据管理方法及相关组件
CN114443364A (zh) * 2021-12-27 2022-05-06 天翼云科技有限公司 一种分布式块存储数据处理方法、装置、设备及存储介质
CN114579055A (zh) * 2022-03-07 2022-06-03 重庆紫光华山智安科技有限公司 磁盘存储方法、装置、设备及介质
WO2023000611A1 (zh) * 2021-07-23 2023-01-26 天翼云科技有限公司 数据存储方法、系统、装置、介质与电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150012607A1 (en) * 2013-07-08 2015-01-08 Phil C. Cayton Techniques to Replicate Data between Storage Servers
CN105577776A (zh) * 2015-12-17 2016-05-11 上海爱数信息技术股份有限公司 基于数据仲裁者副本的分布式存储系统及方法
CN106843770A (zh) * 2017-01-23 2017-06-13 北京思特奇信息技术股份有限公司 一种分布式文件系统中小文件数据存储、读取方法及装置
CN107229427A (zh) * 2017-06-22 2017-10-03 上海七牛信息技术有限公司 一种文件存储方法、系统及计算机存储介质
US10409511B1 (en) * 2018-06-30 2019-09-10 Western Digital Technologies, Inc. Multi-device storage system with distributed read/write processing
CN111258822A (zh) * 2020-01-15 2020-06-09 广州虎牙科技有限公司 数据处理方法、服务器和计算机可读存储介质
CN112000289A (zh) * 2020-08-20 2020-11-27 苏州浪潮智能科技有限公司 全闪存储服务器系统数据管理方法及相关组件
WO2023000611A1 (zh) * 2021-07-23 2023-01-26 天翼云科技有限公司 数据存储方法、系统、装置、介质与电子设备
CN114443364A (zh) * 2021-12-27 2022-05-06 天翼云科技有限公司 一种分布式块存储数据处理方法、装置、设备及存储介质
CN114579055A (zh) * 2022-03-07 2022-06-03 重庆紫光华山智安科技有限公司 磁盘存储方法、装置、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M. MESNIER ET AL.: "Object-based storage: pushing more functionality into storage", 《IEEE POTENTIALS》 *
罗威: "基于RDMA和NVM的分布式消息队列研究", 《万方数据库》 *
董晓明;李小勇;程煜;: "分布式文件系统的写性能优化", 微型电脑应用, no. 12 *

Also Published As

Publication number Publication date
CN116048424B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
US8264995B2 (en) Apparatus and method for adjusting a duty cycle to save power in a computing system
CN112583931B (zh) 消息处理方法、消息中间件、电子设备和存储介质
CN112422497B (zh) 消息传递方法、装置及计算机设备
WO2023103419A1 (zh) 基于消息队列的5g消息批量发送方法、装置及电子设备
CN114567519B (zh) 一种多线程并行管理多个智能设备指令消息的方法及装置
CN112965839B (zh) 消息传输方法、装置、设备及存储介质
CN111031135A (zh) 消息传送方法、装置及电子设备
CN113760468A (zh) 分布式选举方法、装置、系统和介质
CN111510493A (zh) 分布式数据传输方法及装置
CN116048424B (zh) Io数据处理方法、装置、设备及介质
CN112073327B (zh) 一种抗拥塞的软件分流方法、装置及存储介质
US20130013892A1 (en) Hierarchical multi-core processor, multi-core processor system, and computer product
CN108933687A (zh) 一种功耗控制方法及装置
CN115633037A (zh) 数据包的转发方法、装置、虚拟网关设备、介质及系统
CN115454666A (zh) 消息队列集群间的数据同步方法和装置
CN112770358B (zh) 基于业务数据的多速率模式数据发送控制方法及装置
CN112256454B (zh) 消息延时处理方法和系统
WO2020155538A1 (zh) 视频处理方法、系统、计算机设备及存储介质
WO2024021888A1 (zh) 计算任务的处理方法、第一设备和存储介质
CN116028245B (zh) 一种基于消息中间件的业务消息处理方法和装置
CN116456292B (zh) 一种用于用户面和控制面分离架构的信令交互方法及装置
CN117041147B (zh) 智能网卡设备、主机设备和方法及系统
CN113132480B (zh) 一种数据传输方法、装置和系统
CN115827174B (zh) 一种基于多实例的任务处理方法及装置
CN113765886B (zh) 多媒体播放方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant