CN115955437B - 一种数据传输方法、装置、设备及介质 - Google Patents

一种数据传输方法、装置、设备及介质 Download PDF

Info

Publication number
CN115955437B
CN115955437B CN202310240318.6A CN202310240318A CN115955437B CN 115955437 B CN115955437 B CN 115955437B CN 202310240318 A CN202310240318 A CN 202310240318A CN 115955437 B CN115955437 B CN 115955437B
Authority
CN
China
Prior art keywords
transmission
merging
data
threshold value
sending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310240318.6A
Other languages
English (en)
Other versions
CN115955437A (zh
Inventor
张士辉
赵帅
刘清林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202310240318.6A priority Critical patent/CN115955437B/zh
Publication of CN115955437A publication Critical patent/CN115955437A/zh
Application granted granted Critical
Publication of CN115955437B publication Critical patent/CN115955437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Computer And Data Communications (AREA)
  • Small-Scale Networks (AREA)

Abstract

本申请公开了一种数据传输方法、装置、设备及介质,应用于数据传输技术领域,包括:确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值;基于所述IO传输阈值判断IO操作是否满足预设合并发送条件;若所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据,并基于RDMA操作将所述合并数据发送至对端节点。这样,能够降低数据传输的延时,提升数据传输的效率。

Description

一种数据传输方法、装置、设备及介质
技术领域
本申请涉及数据传输技术领域,特别涉及一种数据传输方法、装置、设备及介质。
背景技术
随着互联网、云计算、物联网、移动互联网等技术的发展,数据呈爆炸性增长,同时对传统的数据传输网络带来了新的挑战。面对高性能计算、大数据分析和浪涌型IO(即Input/Output,输入/输出)高并发、低时延应用,现有TCP/IP(即Transmission ControlProtocol/Internet Protocol,传输控制协议/网际协议)软硬件架构和应用高CPU(即central processing unit,中央处理器)消耗的技术特征根本不能满足应用的需求。RDMA(即Remote Direct Memory Access,远程直接数据存取)利用Messaging passing throughkernel(即内核旁路传输消息)方式,将数据直接从一台计算机的内存传输到另一台计算机,无需双方操作系统的介入,实现了低延时、低CPU开销、高带宽的特性。为了兼容现有的Ethernet(即以太网)网络,RDMA发展了ROCE(即RDMA over Converged Ethernet,聚合以太网上的RDMA),使得RDMA技术得到了长足发展。
鉴于RDMA read(读)/write(写)、send(发送)/recive(接收)操作的特点,常利用send/recive操作发送command(指令)、status(完成信息),read/write操作进行data(数据)的DMA(直接内存访问)操作。一般情况下,当有数据传输时,data和status分为两次RDMA操作,CPU需要检查两次硬件的传输情况,导致了延时较高,传输效率较低的问题。
发明内容
有鉴于此,本申请的目的在于提供一种数据传输方法、装置、设备及介质,能够降低数据传输的延时,提升数据传输的效率。其具体方案如下:
第一方面,本申请公开了一种数据传输方法,包括:
确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值;
基于所述IO传输阈值判断IO操作是否满足预设合并发送条件;
若所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据,并基于RDMA操作将所述合并数据发送至对端节点。
可选的,所述确定IO传输阈值,包括:
基于自身的设备信息确定自身的合并发送能力;所述合并发送能力包括能够支持的进行合并发送的IO数据大小以及IO操作数量;
基于自身的合并发送能力和所述对端节点的合并发送能力确定IO传输阈值。
可选的,所述基于自身的设备信息确定自身的合并发送能力,包括:
获取自身的CPU信息以及内存信息,基于所述CPU信息以及所述内存信息确定能够支持的进行合并发送的IO操作数量;
获取自身的网卡信息,基于所述网卡信息确定能够支持的进行合并发送的IO数据大小。
可选的,所述确定IO传输阈值,包括:
在与所述对端节点建立ROCE连接时,与所述对端节点协商以确定IO传输阈值。
可选的,所述在与所述对端节点建立ROCE连接时,与所述对端节点协商以确定IO传输阈值,包括:
在与所述对端节点建立ROCE连接时,与所述对端节点交互合并发送能力,并进行协商以确定IO传输阈值。
可选的,所述基于自身的所述合并发送能力和所述对端节点的合并发送能力确定IO传输阈值,包括:
将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO数据大小中的较小IO数据大小确定为IO传输时进行合并发送的IO数据大小阈值;
将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO操作数量中的较小IO操作数量确定为IO传输时进行合并发送的IO操作数量阈值。
可选的,所述预设合并发送条件包括第一预设条件以及第二预设条件,相应的,所述基于所述IO传输阈值判断IO操作是否满足预设合并发送条件,包括:
获取所述IO操作的数据的长度信息,并基于所述长度信息以及所述IO数据大小阈值判断所述IO操作是否满足所述第一预设条件;
基于所述IO操作数量阈值判断所述IO操作是否满足所述第二预设条件;
若所述IO操作满足所述第一预设条件以及所述第二预设条件,则判定所述IO操作满足预设合并发送条件。
可选的,所述基于所述长度信息以及所述IO数据大小阈值判断所述IO操作是否满足所述第一预设条件,包括:
基于所述长度信息计算所述IO操作的数据和完成信息的长度和;
判断该长度和是否小于或等于所述IO数据大小阈值,若所述长度和小于或等于所述IO数据大小阈值,则判定所述IO操作满足所述第一预设条件,否则判定所述IO操作不满足所述第一预设条件。
可选的,所述基于所述IO操作数量阈值判断所述IO操作是否满足所述第二预设条件,包括:
基于所述IO操作数量阈值判断当前是否存在可用于进行合并发送的IO资源;
若当前存在可用于进行合并发送的IO资源,则判定所述IO操作满足所述第二预设条件,否则判定所述IO操作不满足所述第二预设条件。
可选的,所述基于所述IO操作数量阈值判断当前是否存在可用于进行合并发送的IO资源,包括:
判断当前已分配IO资源的IO操作数量是否达到所述IO操作数量阈值;
若达到所述IO操作数量阈值,则判定当前不存在可用于进行合并发送的IO资源,若未达到所述IO操作数量阈值,则判定当前存在可用于进行合并发送的IO资源。
可选的,所述基于RDMA操作将所述合并数据发送至对端节点,包括:
基于RDMA操作将所述合并数据和标识信息发送至对端节点,以便所述对端节点基于所述标识信息对所述合并数据进行解析。
可选的,还包括:
获取自身的设备零部件号;
基于所述设备零部件号生成认证私钥。
可选的,还包括:
向所述对端设备发送所述认证私钥,以便所述对端设备基于所述认证私钥进行身份认证。
可选的,还包括:
获取自身的CPU信息以及内存信息;
基于CPU信息以及内存信息确定多队列传输的队列数。
可选的,所述基于自身的设备信息确定自身的合并发送能力之后,还包括:
基于能够支持的进行合并发送的IO操作数量确定内存需求;
基于所述内存需求从操作系统申请内存。
可选的,还包括:
当节点启动时,部署RDMA相关的软件环境。
可选的,还包括:
若所述IO不满足所述预设合并发送条件,则将所述IO操作的数据和完成信息依次发送。
第二方面,本申请公开了一种数据传输装置,包括:
阈值确定模块,用于确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值;
条件判断模块,用于基于所述IO传输阈值判断IO操作是否满足预设合并发送条件;
数据合并模块,用于若所述条件判断模块判定所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据;
数据发送模块,用于基于RDMA操作将所述合并数据发送至对端节点。
第三方面,本申请公开了一种电子设备,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现前述的数据传输方法。
第四方面,本申请公开了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现前述的数据传输方法。
可见,本申请先确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值,并基于所述IO传输阈值判断IO操作是否满足预设合并发送条件,若所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据,并基于RDMA操作将所述合并数据发送至对端节点。也即,本申请先确定IO传输阈值,基于IO传输阈值判断IO是否预设合并发送条件,若满足则将所述IO操作的数据和完成信息合并和发送,这样,减少了RDMA操作次数,降低了CPU参与度,能够降低数据传输的延时,提升数据传输的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种数据传输方法流程图;
图2为本申请实施例提供的一种具体的数据传输比对示意图;
图3为本申请实施例提供的一种具体的基于ROCE网卡的数据传输系统示意图;
图4为本申请实施例提供的一种数据传输装置结构示意图;
图5为本申请实施例提供的一种电子设备原理结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
鉴于RDMA read/write、send/recive操作的特点,常利用send/recive操作发送command、status,read/write操作进行data的DMA操作。一般情况下,当有数据传输时,data和status分为两次RDMA操作,CPU需要检查两次硬件的传输情况,导致了延时较高,传输效率较低的问题。为此,本申请提供了一种数据传输方案,能够降低数据传输的延时,提升数据传输的效率。
参见图1所示,本申请实施例公开了一种数据传输方法,包括:
步骤S11:确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值。
可以理解的是,IO传输过程即IO操作过程。
在具体的实施方式中,可以基于自身的设备信息确定自身的合并发送能力;所述合并发送能力包括能够支持的进行合并发送的IO数据大小以及IO操作数量;基于自身的合并发送能力和所述对端节点的合并发送能力确定IO传输阈值。IO数据大小即IO操作的数据大小,数据大小即数据长度。IO操作可以为读操作或写操作。
其中,可以获取自身的CPU信息以及内存信息,基于所述CPU信息以及所述内存信息确定能够支持的进行合并发送的IO操作数量;获取自身的网卡信息,基于所述网卡信息确定能够支持的进行合并发送的IO数据大小。网卡信息可以为网卡型号,不同型号对应不同的能够支持的进行合并发送的IO数据大小。网卡为ROCE网卡。
并且,本申请实施例中,在与所述对端节点建立ROCE连接时,与所述对端节点协商以确定IO传输阈值。具体的,在与所述对端节点建立ROCE连接时,与所述对端节点交互合并发送能力,并进行协商以确定IO传输阈值。
在一种实施方式中,可以将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO数据大小中的较小IO数据大小确定为IO传输时进行合并发送的IO数据大小阈值;将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO操作数量中的较小IO操作数量确定为IO传输时进行合并发送的IO操作数量阈值。也即,结合两端的能力,确定IO传输阈值。可以理解的是,本申请实施例结合两端的能力确定IO传输阈值,能够自动适应不同平台。
另外,本申请实施例可以在基于自身的设备信息确定自身的合并发送能力之后,基于能够支持的进行合并发送的IO操作数量确定内存需求;基于所述内存需求从操作系统申请内存。
并且,本申请实施例可以获取自身的CPU信息以及内存信息;基于CPU信息以及内存信息确定多队列传输的队列数。
在具体的实施方式中,可以基于多队列传输的队列数、能够支持的进行合并发送的IO操作数量等确定内存需求,也即内存池大小。
步骤S12:基于所述IO传输阈值判断IO操作是否满足预设合并发送条件。
在具体的实施方式中,所述预设合并发送条件包括第一预设条件以及第二预设条件,相应的,本申请实施例可以获取所述IO操作的数据的长度信息,并基于所述长度信息以及所述IO数据大小阈值判断所述IO操作是否满足所述第一预设条件;基于所述IO操作数量阈值判断所述IO操作是否满足所述第二预设条件;若所述IO操作满足所述第一预设条件以及所述第二预设条件,则判定所述IO操作满足预设合并发送条件。
在一种实施方式中,可以基于所述长度信息计算所述IO操作的数据和完成信息的长度和;判断该长度和是否小于或等于所述IO数据大小阈值,若所述长度和小于或等于所述IO数据大小阈值,则判定所述IO操作满足所述第一预设条件,否则判定所述IO操作不满足所述第一预设条件。
并且,在一种实施方式中,可以基于所述IO操作数量阈值判断当前是否存在可用于进行合并发送的IO资源;若当前存在可用于进行合并发送的IO资源,则判定所述IO操作满足所述第二预设条件,否则判定所述IO操作不满足所述第二预设条件。其中,可以判断当前已分配IO资源的IO操作数量是否达到所述IO操作数量阈值;若达到所述IO操作数量阈值,则判定当前不存在可用于进行合并发送的IO资源,若未达到所述IO操作数量阈值,则判定当前存在可用于进行合并发送的IO资源。其中,IO资源可以为内存资源。
步骤S13:若所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据,并基于RDMA操作将所述合并数据发送至对端节点。
在一种实施方式中,本申请实施例可以基于RDMA操作将所述合并数据和标识信息发送至对端节点,以便所述对端节点基于所述标识信息对所述合并数据进行解析。也即,标识信息表征合并发送。对端节点解析到标识信息后,按数据和完成信息的合并方式解析数据和完成信息。
另外,本申请实施例可以获取自身的设备零部件号;基于所述设备零部件号生成认证私钥。向所述对端设备发送所述认证私钥,以便所述对端设备基于所述认证私钥进行身份认证。
在具体的实施方式中,可以当节点启动时,部署RDMA相关的软件环境,包括OFED和RDMA_core,OFED(OpenFabrics Enterprise Distribution):是OFA(openfabricalliance)为了支撑RDMA技术维护的软件栈发行版。会根据需求更新版本。RDMA_core:是rdma社区维护的用于支持RDMA的用户态库,也会根据需求更新版本。
另外,若所述IO不满足所述预设合并发送条件,则将所述IO操作的数据和完成信息依次发送,也即,进行两次RDMA操作,先发送数据,发送完数据后发送完成信息。
例如,参见图2所示,图2为本申请实施例提供的一种具体的数据传输比对示意图,图2中左侧为现有技术中的数据传输流程,右侧为本申请的数据传输流程,发起端发送命令,目标端接收到命令后回复ACK,现有技术先发送数据,后发送完成信息,本方案可以在满足合并条件时,将数据和完成信息合并发送。
可见,本申请实施例先确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值,并基于所述IO传输阈值判断IO操作是否满足预设合并发送条件,若所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据,并基于RDMA操作将所述合并数据发送至对端节点。也即,本申请实施例先确定IO传输阈值,基于IO传输阈值判断IO是否预设合并发送条件,若满足则将所述IO操作的数据和完成信息合并和发送,这样,减少了RDMA操作次数,降低了CPU参与度,能够降低数据传输的延时,提升数据传输的效率。
进一步的,在一种实施方式中,可以实现基于ROCE网卡的数据传输系统,基于该数据传输系统实现前述数据传输方法。参见图3所示,图3为本申请实施例公开的一种具体的基于ROCE网卡的数据传输系统示意图,本申请实施例提出了auto completion(自动完成)方案,auto completion是一种将data和status合并的技术。小块数据传输时使用autocompletion具有低延时、高效率的优势。并且,可以利用不同平台下auto completion的性能表现,自动适用平台;节点的ROCE连接建立时,自动交互auto completion能力,并进行协商;数据传输时,满足auto completion条件的IO,进行auto completion操作,将data和status合并在一起,通过RDMA send发送到对端;对端解析到auto completion标记后,按data和status合并方式解析data和status。降低CPU参与度,降低传输时延、提示传输速率。下面,详细阐述各模块的工作流程:
在存储系统节点启动时,实施RDMA相关环境OFED、RDMA_CORE的部署。
内存管理模块从OS(即操作系统)中申请内存,用于管理内部各个模块的内存,以及根据设备信息:如设备CPU、内存大小等,确定内存池大小,多队列传输的队列数、确定auto completion的IO操作数量。
设备管理模块,用于读取本设备的PN(即零部件号)、CPU、内存等信息,根据设备信息获取平台auto completion能力即前述实施例的合并发送能力。
IP管理模块,用于管理ROCE网口,识别、创建ROCE口,并配置、管理、删除ROCE网卡的IP信息;根据设备管理模块的私钥生成端口私钥,用于认证。
认证管理模块用于管理、管理与其他节点的连接。并交互协商两节点的autocompletion能力,确定IO传输时auto completion的IO数据大小界限、数量界限。
IO管理模块,用于管理本地IO的组建、拆包、组包、发送、接收。当data传输时,如果data长度满足,且当前有auto completion的IO资源,则将data与status合并,并将status标记为auto completion的类型。
发送管理模块:根据IO管理模块的要求,发送IO管理下发的命令;根据本端数据传输需要,接收IO管理模块下发的IO传输命令,将数据或者命令发送到对端。
接收管理模块用于接收远端发送过来的命令和本地发送到对端命令对应的响应。
这样,通过自动识别平台,生成auto completion相关的数量和IO数据大小;通过设备管理和连接管理交互auto completion能力,并协商合适的auto completion;IO传输时将符合条件的IO进行auto completion,降低CPU利用率,降低传输时延、提升传输速率。
参见图4所示,本申请实施例公开的一种数据传输装置,包括:
阈值确定模块11,用于确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值;
条件判断模块12,用于基于所述IO传输阈值判断IO操作是否满足预设合并发送条件;
数据合并模块13,用于若所述条件判断模块判定所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据;
数据发送模块14,用于基于RDMA操作将所述合并数据发送至对端节点。
可见,本申请实施例先确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值,并基于所述IO传输阈值判断IO操作是否满足预设合并发送条件,若所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据,并基于RDMA操作将所述合并数据发送至对端节点。也即,本申请实施例先确定IO传输阈值,基于IO传输阈值判断IO是否预设合并发送条件,若满足则将所述IO操作的数据和完成信息合并和发送,这样,减少了RDMA操作次数,降低了CPU参与度,能够降低数据传输的延时,提升数据传输的效率。
其中,阈值确定模块11,具体包括:
合并发送能力确定子模块,用于基于自身的设备信息确定自身的合并发送能力;所述合并发送能力包括能够支持的进行合并发送的IO数据大小以及IO操作数量;
IO传输阈值确定子模块,用于基于自身的合并发送能力和所述对端节点的合并发送能力确定IO传输阈值。
并且,合并发送能力确定子模块,具体包括:
IO操作数量确定单元,用于获取自身的CPU信息以及内存信息,基于所述CPU信息以及所述内存信息确定能够支持的进行合并发送的IO操作数量;
IO数据大小确定单元,用于获取自身的网卡信息,基于所述网卡信息确定能够支持的进行合并发送的IO数据大小。
进一步的,阈值确定模块11,具体用于在与所述对端节点建立ROCE连接时,与所述对端节点协商以确定IO传输阈值。具体的,在与所述对端节点建立ROCE连接时,与所述对端节点交互合并发送能力,并进行协商以确定IO传输阈值。
进一步的,IO传输阈值确定子模块,具体用于将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO数据大小中的较小IO数据大小确定为IO传输时进行合并发送的IO数据大小阈值;将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO操作数量中的较小IO操作数量确定为IO传输时进行合并发送的IO操作数量阈值。
其中,所述预设合并发送条件包括第一预设条件以及第二预设条件,相应的,所述基于所述IO传输阈值判断IO操作是否满足预设合并发送条件,包括:
条件判断模块12,具体包括:
第一判断子模块,用于获取所述IO操作的数据的长度信息,并基于所述长度信息以及所述IO数据大小阈值判断所述IO操作是否满足所述第一预设条件;
第二判断子模块,用于基于所述IO操作数量阈值判断所述IO操作是否满足所述第二预设条件;
第三判断子模块,用于若第一判断子模块判定所述IO操作满足所述第一预设条件以及第二判断子模块判定所述IO操作满足所述第二预设条件,则判定所述IO操作满足预设合并发送条件。
在一种实施方式中,第一判断子模块,具体用于基于所述长度信息计算所述IO操作的数据和完成信息的长度和;判断该长度和是否小于或等于所述IO数据大小阈值,若所述长度和小于或等于所述IO数据大小阈值,则判定所述IO操作满足所述第一预设条件,否则判定所述IO操作不满足所述第一预设条件。
进一步的,第二判断子模块,具体用于基于所述IO操作数量阈值判断当前是否存在可用于进行合并发送的IO资源;若当前存在可用于进行合并发送的IO资源,则判定所述IO操作满足所述第二预设条件,否则判定所述IO操作不满足所述第二预设条件。具体的,判断当前已分配IO资源的IO操作数量是否达到所述IO操作数量阈值;若达到所述IO操作数量阈值,则判定当前不存在可用于进行合并发送的IO资源,若未达到所述IO操作数量阈值,则判定当前存在可用于进行合并发送的IO资源。
并且,数据发送模块14,具体用于基于RDMA操作将所述合并数据和标识信息发送至对端节点,以便所述对端节点基于所述标识信息对所述合并数据进行解析。
进一步的,所述装置还包括:
设备零部件号获取模块,用于获取自身的设备零部件号;
认证私钥生成模块,用于基于所述设备零部件号生成认证私钥。
认证私钥发送模块,向所述对端设备发送所述认证私钥,以便所述对端设备基于所述认证私钥进行身份认证。
进一步的,所述装置还包括:多队列传输的队列数确定模块,用于获取自身的CPU信息以及内存信息;基于CPU信息以及内存信息确定多队列传输的队列数。
另外,所述装置还包括内存申请模块,用于基于能够支持的进行合并发送的IO操作数量确定内存需求;基于所述内存需求从操作系统申请内存。
另外,所述装置还包括软件环境部署模块,用于当节点启动时,部署RDMA相关的软件环境。
另外,数据发送模块14,还用于若条件判断模块12判定所述IO不满足所述预设合并发送条件,则将所述IO操作的数据和完成信息依次发送。
参见图5所示,本申请实施例公开了一种电子设备20,包括处理器21和存储器22;其中,所述存储器22,用于保存计算机程序;所述处理器21,用于执行所述计算机程序,以实现以下步骤:
确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值;基于所述IO传输阈值判断IO操作是否满足预设合并发送条件;若所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据,并基于RDMA操作将所述合并数据发送至对端节点。
可见,本申请实施例先确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值,并基于所述IO传输阈值判断IO操作是否满足预设合并发送条件,若所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据,并基于RDMA操作将所述合并数据发送至对端节点。也即,本申请实施例先确定IO传输阈值,基于IO传输阈值判断IO是否预设合并发送条件,若满足则将所述IO操作的数据和完成信息合并和发送,这样,减少了RDMA操作次数,降低了CPU参与度,能够降低数据传输的延时,提升数据传输的效率。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:基于自身的设备信息确定自身的合并发送能力;所述合并发送能力包括能够支持的进行合并发送的IO数据大小以及IO操作数量;基于自身的合并发送能力和所述对端节点的合并发送能力确定IO传输阈值。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:获取自身的CPU信息以及内存信息,基于所述CPU信息以及所述内存信息确定能够支持的进行合并发送的IO操作数量;获取自身的网卡信息,基于所述网卡信息确定能够支持的进行合并发送的IO数据大小。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:在与所述对端节点建立ROCE连接时,与所述对端节点协商以确定IO传输阈值。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:在与所述对端节点建立ROCE连接时,与所述对端节点交互合并发送能力,并进行协商以确定IO传输阈值。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO数据大小中的较小IO数据大小确定为IO传输时进行合并发送的IO数据大小阈值;将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO操作数量中的较小IO操作数量确定为IO传输时进行合并发送的IO操作数量阈值。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:获取所述IO操作的数据的长度信息,并基于所述长度信息以及所述IO数据大小阈值判断所述IO是否满足第一预设条件;基于所述IO操作数量阈值判断所述IO是否满足第二预设条件;若所述IO操作满足所述第一预设条件以及所述第二预设条件,则判定所述IO操作满足预设合并发送条件。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:基于所述长度信息计算所述IO操作的数据和完成信息的长度和;判断该长度和是否小于或等于所述IO数据大小阈值,若所述长度和小于或等于所述IO数据大小阈值,则判定所述IO操作满足所述第一预设条件,否则判定所述IO操作不满足所述第一预设条件。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:基于所述IO操作数量阈值判断当前是否存在可用于进行合并发送的IO资源;若当前存在可用于进行合并发送的IO资源,则判定所述IO操作满足所述第二预设条件,否则判定所述IO操作不满足所述第二预设条件。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:判断当前已分配IO资源的IO操作数量是否达到所述IO操作数量阈值;若达到所述IO操作数量阈值,则判定当前不存在可用于进行合并发送的IO资源,若未达到所述IO操作数量阈值,则判定当前存在可用于进行合并发送的IO资源。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:基于RDMA操作将所述合并数据和标识信息发送至对端节点,以便所述对端节点基于所述标识信息对所述合并数据进行解析。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:获取自身的设备零部件号;基于所述设备零部件号生成认证私钥。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:向所述对端设备发送所述认证私钥,以便所述对端设备基于所述认证私钥进行身份认证。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:获取自身的CPU信息以及内存信息;基于CPU信息以及内存信息确定多队列传输的队列数。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:基于能够支持的进行合并发送的IO操作数量确定内存需求;基于所述内存需求从操作系统申请内存。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:当节点启动时,部署RDMA相关的软件环境。
本实施例中,所述处理器21执行所述存储器22中保存的计算机子程序时,可以具体实现以下步骤:若所述IO不满足所述预设合并发送条件,则将所述IO操作的数据和完成信息依次发送。
并且,所述存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,存储方式可以是短暂存储或者永久存储。
另外,所述电子设备20还包括电源23、通信接口24、输入输出接口25和通信总线26;其中,所述电源23用于为所述电子设备20上的各硬件设备提供工作电压;所述通信接口24能够为所述电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;所述输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
进一步的,本申请实施例公开了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现以下步骤:
确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值;基于所述IO传输阈值判断IO操作是否满足预设合并发送条件;若所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据,并基于RDMA操作将所述合并数据发送至对端节点。
可见,本申请实施例先确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值,并基于所述IO传输阈值判断IO操作是否满足预设合并发送条件,若所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据,并基于RDMA操作将所述合并数据发送至对端节点。也即,本申请实施例先确定IO传输阈值,基于IO传输阈值判断IO是否预设合并发送条件,若满足则将所述IO操作的数据和完成信息合并和发送,这样,减少了RDMA操作次数,降低了CPU参与度,能够降低数据传输的延时,提升数据传输的效率。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:基于自身的设备信息确定自身的合并发送能力;所述合并发送能力包括能够支持的进行合并发送的IO数据大小以及IO操作数量;基于自身的合并发送能力和所述对端节点的合并发送能力确定IO传输阈值。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:获取自身的CPU信息以及内存信息,基于所述CPU信息以及所述内存信息确定能够支持的进行合并发送的IO操作数量;获取自身的网卡信息,基于所述网卡信息确定能够支持的进行合并发送的IO数据大小。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:在与所述对端节点建立ROCE连接时,与所述对端节点协商以确定IO传输阈值。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:在与所述对端节点建立ROCE连接时,与所述对端节点交互合并发送能力,并进行协商以确定IO传输阈值。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO数据大小中的较小IO数据大小确定为IO传输时进行合并发送的IO数据大小阈值;将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO操作数量中的较小IO操作数量确定为IO传输时进行合并发送的IO操作数量阈值。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:获取所述IO操作的数据的长度信息,并基于所述长度信息以及所述IO数据大小阈值判断所述IO是否满足第一预设条件;基于所述IO操作数量阈值判断所述IO是否满足第二预设条件;若所述IO操作满足所述第一预设条件以及所述第二预设条件,则判定所述IO操作满足预设合并发送条件。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:基于所述长度信息计算所述IO操作的数据和完成信息的长度和;判断该长度和是否小于或等于所述IO数据大小阈值,若所述长度和小于或等于所述IO数据大小阈值,则判定所述IO操作满足所述第一预设条件,否则判定所述IO操作不满足所述第一预设条件。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:基于所述IO操作数量阈值判断当前是否存在可用于进行合并发送的IO资源;若当前存在可用于进行合并发送的IO资源,则判定所述IO操作满足所述第二预设条件,否则判定所述IO操作不满足所述第二预设条件。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:判断当前已分配IO资源的IO操作数量是否达到所述IO操作数量阈值;若达到所述IO操作数量阈值,则判定当前不存在可用于进行合并发送的IO资源,若未达到所述IO操作数量阈值,则判定当前存在可用于进行合并发送的IO资源。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:基于RDMA操作将所述合并数据和标识信息发送至对端节点,以便所述对端节点基于所述标识信息对所述合并数据进行解析。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:获取自身的设备零部件号;基于所述设备零部件号生成认证私钥。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:向所述对端设备发送所述认证私钥,以便所述对端设备基于所述认证私钥进行身份认证。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:获取自身的CPU信息以及内存信息;基于CPU信息以及内存信息确定多队列传输的队列数。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:基于能够支持的进行合并发送的IO操作数量确定内存需求;基于所述内存需求从操作系统申请内存。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:当节点启动时,部署RDMA相关的软件环境。
本实施例中,所述计算机可读存储介质中保存的计算机子程序被处理器执行时,可以具体实现以下步骤:若所述IO不满足所述预设合并发送条件,则将所述IO操作的数据和完成信息依次发送。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种数据传输方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (19)

1.一种数据传输方法,其特征在于,包括:
确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值;
基于所述IO传输阈值判断IO操作是否满足预设合并发送条件;
若所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据,并基于RDMA操作将所述合并数据发送至对端节点;
其中,所述确定IO传输阈值,包括:
基于自身的设备信息确定自身的合并发送能力;所述合并发送能力包括能够支持的进行合并发送的IO数据大小以及IO操作数量;
基于自身的合并发送能力和所述对端节点的合并发送能力确定IO传输阈值。
2.根据权利要求1所述的数据传输方法,其特征在于,所述基于自身的设备信息确定自身的合并发送能力,包括:
获取自身的CPU信息以及内存信息,基于所述CPU信息以及所述内存信息确定能够支持的进行合并发送的IO操作数量;
获取自身的网卡信息,基于所述网卡信息确定能够支持的进行合并发送的IO数据大小。
3.根据权利要求1所述的数据传输方法,其特征在于,所述确定IO传输阈值,包括:
在与所述对端节点建立ROCE连接时,与所述对端节点协商以确定IO传输阈值。
4.根据权利要求3所述的数据传输方法,其特征在于,所述在与所述对端节点建立ROCE连接时,与所述对端节点协商以确定IO传输阈值,包括:
在与所述对端节点建立ROCE连接时,与所述对端节点交互合并发送能力,并进行协商以确定IO传输阈值。
5.根据权利要求1所述的数据传输方法,其特征在于,所述基于自身的所述合并发送能力和所述对端节点的合并发送能力确定IO传输阈值,包括:
将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO数据大小中的较小IO数据大小确定为IO传输时进行合并发送的IO数据大小阈值;
将自身的所述合并发送能力和所述对端节点的合并发送能力中能够支持的进行合并发送的IO操作数量中的较小IO操作数量确定为IO传输时进行合并发送的IO操作数量阈值。
6.根据权利要求1所述数据传输方法,其特征在于,所述预设合并发送条件包括第一预设条件以及第二预设条件,相应的,所述基于所述IO传输阈值判断IO操作是否满足预设合并发送条件,包括:
获取所述IO操作的数据的长度信息,并基于所述长度信息以及所述IO数据大小阈值判断所述IO操作是否满足所述第一预设条件;
基于所述IO操作数量阈值判断所述IO操作是否满足所述第二预设条件;
若所述IO操作满足所述第一预设条件以及所述第二预设条件,则判定所述IO操作满足预设合并发送条件。
7.根据权利要求6所述的数据传输方法,其特征在于,所述基于所述长度信息以及所述IO数据大小阈值判断所述IO操作是否满足所述第一预设条件,包括:
基于所述长度信息计算所述IO操作的数据和完成信息的长度和;
判断该长度和是否小于或等于所述IO数据大小阈值,若所述长度和小于或等于所述IO数据大小阈值,则判定所述IO操作满足所述第一预设条件,否则判定所述IO操作不满足所述第一预设条件。
8.根据权利要求6所述的数据传输方法,其特征在于,所述基于所述IO操作数量阈值判断所述IO操作是否满足所述第二预设条件,包括:
基于所述IO操作数量阈值判断当前是否存在可用于进行合并发送的IO资源;
若当前存在可用于进行合并发送的IO资源,则判定所述IO操作满足所述第二预设条件,否则判定所述IO操作不满足所述第二预设条件。
9.根据权利要求8所述的数据传输方法,其特征在于,所述基于所述IO操作数量阈值判断当前是否存在可用于进行合并发送的IO资源,包括:
判断当前已分配IO资源的IO操作数量是否达到所述IO操作数量阈值;
若达到所述IO操作数量阈值,则判定当前不存在可用于进行合并发送的IO资源,若未达到所述IO操作数量阈值,则判定当前存在可用于进行合并发送的IO资源。
10.根据权利要求1所述的数据传输方法,其特征在于,所述基于RDMA操作将所述合并数据发送至对端节点,包括:
基于RDMA操作将所述合并数据和标识信息发送至对端节点,以便所述对端节点基于所述标识信息对所述合并数据进行解析。
11.根据权利要求1所述的数据传输方法,其特征在于,还包括:
获取自身的设备零部件号;
基于所述设备零部件号生成认证私钥。
12.根据权利要求11所述的数据传输方法,其特征在于,还包括:
向对端设备发送所述认证私钥,以便所述对端设备基于所述认证私钥进行身份认证。
13.根据权利要求1所述的数据传输方法,其特征在于,还包括:
获取自身的CPU信息以及内存信息;
基于CPU信息以及内存信息确定多队列传输的队列数。
14.根据权利要求1所述的数据传输方法,其特征在于,所述基于自身的设备信息确定自身的合并发送能力之后,还包括:
基于能够支持的进行合并发送的IO操作数量确定内存需求;
基于所述内存需求从操作系统申请内存。
15.根据权利要求1所述的数据传输方法,其特征在于,还包括:
当节点启动时,部署RDMA相关的软件环境。
16.根据权利要求1至15任一项所述的数据传输方法,其特征在于,还包括:
若所述IO不满足所述预设合并发送条件,则将所述IO操作的数据和完成信息依次发送。
17.一种数据传输装置,其特征在于,包括:
阈值确定模块,用于确定IO传输阈值;所述IO传输阈值包括IO传输时进行合并发送的IO数据大小阈值以及IO操作数量阈值;
条件判断模块,用于基于所述IO传输阈值判断IO操作是否满足预设合并发送条件;
数据合并模块,用于若所述条件判断模块判定所述IO操作满足所述预设合并发送条件,则将所述IO操作的数据和完成信息合并以得到合并数据;
数据发送模块,用于基于RDMA操作将所述合并数据发送至对端节点;
其中,阈值确定模块,具体包括:
合并发送能力确定子模块,用于基于自身的设备信息确定自身的合并发送能力;所述合并发送能力包括能够支持的进行合并发送的IO数据大小以及IO操作数量;
IO传输阈值确定子模块,用于基于自身的合并发送能力和所述对端节点的合并发送能力确定IO传输阈值。
18.一种电子设备,其特征在于,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现如权利要求1至16任一项所述的数据传输方法。
19.一种计算机可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至16任一项所述的数据传输方法。
CN202310240318.6A 2023-03-14 2023-03-14 一种数据传输方法、装置、设备及介质 Active CN115955437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310240318.6A CN115955437B (zh) 2023-03-14 2023-03-14 一种数据传输方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310240318.6A CN115955437B (zh) 2023-03-14 2023-03-14 一种数据传输方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115955437A CN115955437A (zh) 2023-04-11
CN115955437B true CN115955437B (zh) 2023-05-30

Family

ID=85903369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310240318.6A Active CN115955437B (zh) 2023-03-14 2023-03-14 一种数据传输方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115955437B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007877A (zh) * 2019-04-16 2019-07-12 苏州浪潮智能科技有限公司 主机与双控存储设备间数据传输方法、装置、设备及介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106980582B (zh) * 2016-01-18 2022-05-13 中兴通讯股份有限公司 数据处理方法和装置
CN105893323A (zh) * 2016-05-23 2016-08-24 华为技术有限公司 一种读数据的方法及设备
CN114079638A (zh) * 2020-08-17 2022-02-22 中国电信股份有限公司 多协议混合网络的数据传输方法、装置和存储介质
CN112653634A (zh) * 2020-12-10 2021-04-13 苏州浪潮智能科技有限公司 一种流量控制方法、装置、设备及可读存储介质
CN115639954A (zh) * 2022-09-09 2023-01-24 苏州浪潮智能科技有限公司 一种数据传输方法、装置、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110007877A (zh) * 2019-04-16 2019-07-12 苏州浪潮智能科技有限公司 主机与双控存储设备间数据传输方法、装置、设备及介质

Also Published As

Publication number Publication date
CN115955437A (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN107135279B (zh) 一种处理长连接建立请求的方法和装置
CN112784989B (zh) 推理系统、推理方法、电子设备及计算机存储介质
JP6730511B2 (ja) ネットワークポリシー更新のトリガー方法、管理機能エンティティおよびコアネットワークデバイス
CN113259415B (zh) 一种网络报文处理方法、装置及网络服务器
CN111935017B (zh) 跨网络的应用调用方法、装置及路由设备
CN109104368B (zh) 一种请求连接方法、装置、服务器及计算机可读存储介质
CN110417876A (zh) 会话方法、分布式系统中的节点服务器及主控设备
CN112714146B (zh) 一种资源调度方法、装置、设备及计算机可读存储介质
CN115955437B (zh) 一种数据传输方法、装置、设备及介质
CN111338758A (zh) 资源管理方法、装置和电子设备
CN113726881B (zh) 通信连接建立方法、相关装置及计算机可读存储介质
CN110753043B (zh) 一种通信方法、装置、服务器及介质
CN108256492A (zh) 一种图像识别方法、装置及系统
CN108289165A (zh) 一种基于手机控制相机的实现方法、装置及终端设备
CN112766486A (zh) 神经网络结构的搜索方法、终端、服务器及可读存储介质
CN108733805B (zh) 文件交互方法、系统、计算机设备和存储介质
CN113747554A (zh) 边缘计算网络任务调度与资源分配方法和装置
CN115915289A (zh) 计算任务的策略确定或资源分配方法、装置、网元及介质
CN111210505A (zh) 3d模型加载方法、服务器、存储介质、处理器
WO2024146115A1 (zh) 带宽资源分配方法、装置及相关设备
CN112003731B (zh) 配置方法及装置
CN117076057B (zh) 一种ai服务请求调度的方法、装置、设备及介质
US11973744B2 (en) Systems and methods for establishing consensus in distributed communications
CN115994022B (zh) 算法服务的调用方法、装置、电子设备和存储介质
CN111600814B (zh) 一种vfc接口配置方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant