CN114201317B - 数据传输方法、装置、存储介质及电子设备 - Google Patents
数据传输方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN114201317B CN114201317B CN202111547497.5A CN202111547497A CN114201317B CN 114201317 B CN114201317 B CN 114201317B CN 202111547497 A CN202111547497 A CN 202111547497A CN 114201317 B CN114201317 B CN 114201317B
- Authority
- CN
- China
- Prior art keywords
- address space
- protocol stack
- data
- transmitted
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 230000005540 biological transmission Effects 0.000 title claims abstract description 69
- 238000013507 mapping Methods 0.000 claims abstract description 111
- 238000004088 simulation Methods 0.000 claims abstract description 20
- 238000004891 communication Methods 0.000 claims description 44
- 238000004590 computer program Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 238000013506 data mapping Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
- G06F13/28—Handling requests for interconnection or transfer for access to input/output bus using burst mode transfer, e.g. direct memory access DMA, cycle steal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/54—Indexing scheme relating to G06F9/54
- G06F2209/548—Queue
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer And Data Communications (AREA)
Abstract
本公开涉及一种数据传输方法、装置、存储介质及电子设备,该数据传输方法包括:根据应用程序发送的环形队列的创建请求,在模拟内核驱动中建立环形队列,将环形队列对应的内存地址映射到应用程序对应的第一地址空间中,建立内存地址与用户态协议栈对应的第二地址空间之间的映射关系,将在环形队列中生成的标识信息传递至用户态协议栈中,以使用户态协议栈基于标识信息和映射关系将第一地址空间中的待传输数据映射到所述第二地址空间中,基于用户态协议栈对应的网卡驱动,将第二地址空间中的待传输数据传输至终端。从而使应用程序中第一地址空间中的待传输数据映射到用户态协议栈的第二地址空间,实现了零拷贝数据传输,提高了数据传输的效率。
Description
技术领域
本公开涉及数据传输领域,具体地,涉及一种数据传输方法、装置、存 储介质及电子设备。
背景技术
目前的服务器-客户机结构(C/S结构,server/client)下,网络通信通常 都是基于套接字(socket)和内核网络协议栈来进行的,但这种方式进行数 据传输需要进行多次拷贝,导致效率不佳,且内核网络协议栈无法满足用户 对协议栈的精简和定制需求。在目前的一种相关技术中,运用用户态协议栈 方案通过钩子程序(hook)来hook用户进程的socket编程接口,来截获用 户进程的网络访问请求,并利用类似DPDK(Data PlanDevelopment Kit)的 这类技术在用户态直接驱动网卡,对网络访问请求进行收发。由于DPDK的 polling模型加上用户态协议栈的精简和可定制,效率上比传统的socket+内 核协议栈的方式要高出不少,并且灵活性更好。
但是,hook-socket编程接口的接入方案扩展性较差,针对不同编程语言 都需要重新开发一套hook方案,并且如果用户态协议栈以library方式嵌入用户进程,无法独立升级,可运维性较差;如果以独立进程提供服务,用户 进程的数据到用户态协议栈进程的数据,又需要一次拷贝,影响数据传输的 效率。
发明内容
提供该发明内容部分以便以简要的形式介绍构思,这些构思将在后面的 具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技 术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案 的范围。
第一方面,本公开提供一种数据传输方法,包括:
根据应用程序发送的环形队列的创建请求,在模拟内核驱动中建立所述 环形队列;
将所述环形队列对应的内存地址映射到所述应用程序对应的第一地址 空间中;
建立所述内存地址与用户态协议栈对应的第二地址空间之间的映射关 系;
将在所述环形队列中生成的标识信息传递至所述用户态协议栈中,以使 所述用户态协议栈基于所述标识信息和所述映射关系将所述第一地址空间 中的待传输数据映射到所述第二地址空间中;
基于所述用户态协议栈对应的网卡驱动,将所述第二地址空间中的所述 待传输数据传输至终端。
第二方面,本实施例提供一种数据传输装置,所述装置包括:
生成模块,用于根据应用程序发送的环形队列的创建请求,在模拟内核 驱动中建立所述环形队列;
映射模块,用于将所述环形队列对应的内存地址映射到所述应用程序对 应的第一地址空间中;
建立模块,用于建立所述内存地址与用户态协议栈对应的第二地址空间 之间的映射关系;
传递模块,用于将在所述环形队列中生成的标识信息传递至所述用户态 协议栈中,以使所述用户态协议栈基于所述标识信息和所述映射关系将所述 第一地址空间中的待传输数据映射到所述第二地址空间中;
传输模块,用于基于所述用户态协议栈对应的网卡驱动,将所述第二地 址空间中的所述待传输数据传输至终端。
第三方面,本公开提供一种计算机可读介质,其上存储有计算机程序, 该程序被处理装置执行时实现第一方面中所述方法的步骤。
第四方面,本公开提供一种电子设备,包括:
存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现第一方 面中所述方法的步骤。
通过上述技术方案,根据应用程序发送的环形队列的创建请求,在模拟 内核驱动中建立环形队列,将环形队列对应的内存地址映射到应用程序对应 的第一地址空间中,建立内存地址与用户态协议栈对应的第二地址空间之间 的映射关系,将在环形队列中生成的标识信息传递至用户态协议栈中,以使 用户态协议栈基于标识信息和映射关系将第一地址空间中的待传输数据映射到所述第二地址空间中,基于用户态协议栈对应的网卡驱动,将第二地址 空间中的待传输数据传输至终端。从而通过建立应用程序与环形队列之间的 地址映射,以及环形映射与用户态协议栈之间的映射,使应用程序中第一地 址空间中的待传输数据映射到用户态协议栈的第二地址空间,实现了零拷贝 数据传输,提高了数据传输的效率。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、 优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同 或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。 在附图中:
图1是根据一示例性实施例示出的一种数据传输方法的流程图。
图2是根据一示例性实施例示出的一种环形队列的建立方法的流程图。
图3是根据一示例性实施例示出的另一种数据传输方法的流程示意图。
图4是根据一示例性实施例示出的一种数据传输装置的结构框图。
图5是根据一示例性实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公 开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而 且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加 透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示 例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺 序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省 略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。 术语“基于”是“至少部分地基于”,其他术语的相关定义将在下文描述中 给出。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的 装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的 功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限 制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用 于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
由于目前的用户态协议栈方案是通过hook用户进程的socket编程接口, 来截获用户进程的网络访问请求,并最终利用类似DPDK的技术在用户态中 直接驱动网卡,对网络访问请求进行收发。但hook-socket编程接口的接入 方案存在扩展性较差,针对不同编程语言都需要重新开发一套hook方案, 并且用户态协议栈以library方式嵌入用户进程时,可运维性很差,用户进程的数据到用户态协议栈进程的数据,需要进行一次数据拷贝,影响数据传输 的效率。
有鉴于此,本公开实施例提供一种数据传输的方法,以提供一种新的数 据传输方案,通过在模拟内核驱动中建立环形队列,并将环形队列的内存地 址分别映射到应用程序和内核态协议栈的相应地址空间中,从而建立应用程 序对应的第一地址空间和用户态协议栈对应的第二地址空间之间的映射关 系,并根据该映射关系实现待传输数据的映射,实现数据的零拷贝传输,提高了数据传输的效率。
图1是根据一示例性实施例示出的一种数据传输方法的流程图。参考图 1,该数据传输方法可以包括以下步骤:
步骤S11,根据应用程序发送的环形队列的创建请求,在模拟内核驱动 中建立环形队列。
步骤S12,将该环形队列对应的内存地址映射到应用程序对应的第一地 址空间中。
步骤S13,建立内存地址与用户态协议栈对应的第二地址空间之间的映 射关系。
步骤S14,将在环形队列中生成的标识信息传递至用户态协议栈中,以 使用户态协议栈基于标识信息和映射关系将第一地址空间中的待传输数据 映射到第二地址空间中。
步骤S15,基于用户态协议栈对应的网卡驱动,将第二地址空间中的待 传输数据传输至终端。
可以理解的是,将终端中应用程序中的数据传输至其他终端,或其他终 端的数据通过相同的路径传输至应用程序的过程中,数据传输步骤存在于应 用程序、内核和用户态协议栈中,并基于用户态协议栈由对应的网卡传输至 其他终端。在进行数据传输时,应用程序可以利用DPDK技术,或类似技术,例如在进行数据传输时,使用DPDK技术实现用户态协议栈与应用程序之间 的数据通信,跳过内核以减少内核的负荷,在上述数据传输的过程中,DPDK 在应用程序进行数据通信时,需要通过hook-socket编程接口,完成一次应 用程序中的数据拷贝,再将拷贝到的数据映射到用户态协议栈中,并由用户 态协议栈通过对应的网卡传输至其他终端,但在此过程中仍存在一次拷贝过 程。因此,本实施例中,在内核中建立新的内核驱动,并通过内核驱动中的环形队列建立应用程序地址空间与用户态协议栈内的地址空间之间的映射 关系,以实现根据其他路径建立应用程序与用户态协议栈之间的通信连接, 并将应用程序中的数据映射到用户态协议栈中,使应用程序中的相关待传输数据能够根据映射关系由用户态协议栈传输至其他终端中,从而实现零拷贝 的数据传输,提高了在客户机与服务器之间的数据传输架构下的数据传输效 率。
图2是根据一示例性实施例示出的一种环形队列的建立方法的流程图。 参考图2,在步骤S11之前,该数据传输方法还包括:
步骤S21,在初始内核中通过远程直接内存访问RDMA内核驱动设备, 以建立模拟内核驱动,模拟内核驱动为模拟RDMA内核驱动。
其中,RDMA(Remote Direct Memory Access,远程直接内存访问), 是一种为了解决网络传输中服务器端数据处理延迟而产生的技术,RDMA将 用户应用程序中的数据直接传入服务器的存储区,通过网络将数据从一个系 统快速传输到远程系统的存储器中,消除了传输过程中多次数据复制和文本 交换的操作,从而降低了初始内核的负载,RDMA实现了网络传输过程中两 个节点之间数据缓冲区数据的直接传递,在本节点可以直接数据通过网络传送到远程节点的内存中,从而绕过操作系统内的多次内存拷贝。该模拟 RDMA内核驱动可以是vRDMA Driver。
步骤S22,将模拟RDMA内核驱动接入初始内核的RDMA子系统中。
步骤S23,建立应用程序与RDMA子系统之间的第一通信连接。
步骤S24,基于第一通信连接和创建请求,在模拟RDMA内核驱动中 建立环形队列。
示例的,本实施例中,可以理解的是,内核是操作系统的核心,基于硬 件的第一层软件扩充,提供操作系统的最基本功能,是操作系统工作的基础, 主要负责管理系统的进程、内存、设备驱动程序、文件和网络系统等,决定 着系统的性能和稳定性。因此在进行数据传输时,需要尽可能减少内核的开 销,以保证系统运行的稳定性。本实施例中,通过在终端的初始内核中实现新的内核驱动设备RDMA Device,能够使用户态协议栈进程在初始内核中模 拟出虚拟的vRDMA Driver,通过在内核中实现RDMA Device虚拟出vRDMA Driver之后,将vRDMA Driver接入到内核的RDMA子系统中,在进行网络 通信时,应用程序通过用户进程能够基于RDMA对应的编程标准接口Verbs API(Application ProgrammingInterface,应用程序接口)来进行编程,从而 建立应用程序与RDMA子系统之间的第一通信连接,其中,应用程序和RNIC (RDMA-aware Network Interface Controller,支持RDMA的网络接口控制器) 之间的传输接口层(Software Transport Interface)被称为Verbs。当应用程序 进行数据传输时,需要在vRDMA Driver中建立环形队列以进行数据映射, 通过第一通信连接将用于创建环形队列的创建请求传输至RDMA子系统的 vRDMA Driver中,并基于创建请求通过修改页表的方式,在vRDMA Driver 中建立相应的环形队列空间,从而实现应用程序的存储空间与vRDMA Driver中的环形队列空间之间的映射关系。
可选地,基于上述实施例,上述步骤S13,可以包括:
建立用户态协议栈与RDMA内核驱动设备之间的第二通信连接。
基于第二通信连接,建立内核地址与用户态协议栈对应的第二地址空间 之间的映射关系。
示例的,基于上述步骤通过在RDMA内核驱动设备vRDMA Driver中 建立环形队列,并将环形队列空间映射到应用程序的存储空间中,从而建立 了应用程序与初始内核之间的通信连接,本实施例中,通过建立用户态协议 栈与RDMA Device之间的第二通信连接,从而将RDMA Device对应的模拟内核驱动vRDMA Driver中的环形队列映射到内核态协议栈的内存空间中。 示例的,可以通过ibv_reg_mr()接口在RDMA Device中注册数据内存从而建立选项队列,并将用户进程中待传输数据的内存空间直接映射到用户态协议 栈进程的地址空间中,进而实现了应用程序到环形队列到用户态协议栈的地 址映射关系,使应用程序通过该地址映射关系,实现零拷贝数据传输。
示例的,基于通过上述步骤建立的数据传输通道,面向用户的应用程序 通过内部模拟远程直接内存访问空间vRDMA Provider提供的ibv_create_qp 和ibv_create_cq接口将环形队列的创建请求发送给vRDMA Driver,RDMA Device通过vRDMA Driver接收到请求后,vRDMA Driver将会在内存空间 创建环形队列,并将该内存空间映射到应用程序的vRDMA Provider地址空 间中;应用程序即可根据映射关系直接操作环形队列中的QP和CQ,需要 说明的是,环形队列中的QP用来分配接收到的数据,CQ用来接收数据分 发反馈,通过QP和CQ能够实现环形队列中的数据交互。应用程序通过 vRDMA Provider提供的ibv_reg_mr接口注册用于进行数据收发的内存时, vRDMA Provider会将该请求发送给vRDMADriver,vRDMA Driver接收到 该请求后,在对应的RDMA Device空间内定义一段内存作为环形队列,并 根据RDMA Device的字符设备接口(Char Interface)与用户态协议栈之间的建立通信连接,当环形队列中存在数据映射时,对应会生成相应的标识信息。可选地,该标识信息中记录有数据长度、数据类型和数据存储位置等用于对 应用程序中的数据进行标识的相关信息,通过RDMA Device与用户态协议 栈之间的通信连接关系,将标识信息传递至用户态协议栈中,使用户态协议 栈通过解析标识信息获取到对应的待传输数据的相关标识,并基于应用程序 与环形队列之间的映射关系,以及用户态协议栈与环形队列间的关系,获取到标识信息对应的待传输数据,并基于用户态协议栈的网卡驱动,将用户态 协议栈中的待传输数据传输至其他终端中。
通过上述技术方案,根据应用程序发送的环形队列的创建请求,在模拟 内核驱动中建立环形队列,将环形队列对应的内存地址映射到应用程序对应 的第一地址空间中,建立内存地址与用户态协议栈对应的第二地址空间之间 的映射关系,将在环形队列中生成的标识信息传递至用户态协议栈中,以使 用户态协议栈基于标识信息和映射关系将第一地址空间中的待传输数据映射到所述第二地址空间中,基于用户态协议栈对应的网卡驱动,将第二地址 空间中的待传输数据传输至终端。从而通过建立应用程序与环形队列件的地 址映射,以及环形映射与用户态协议栈之间的映射,使应用程序中第一地址 空间中的待传输数据映射到用户态协议栈的第二地址空间,实现了零拷贝数 据传输,提高了数据传输的效率。
可选地,上述步骤S14,可以包括以下步骤:
基于标识信息,通过模拟内核驱动提供的接口触发提示指令,以使用户 态协议栈解析标识信息,以获得待传输数据在第一地址空间中的第一目标地 址。
根据第一目标地址和映射关系,获得待传输数据映射到第二地址空间中 的第二目标地址。
将待传输数据从第一目标地址映射到第二目标地址中。
示例的,本实施例中,应用程序通过vRDMA Provider提供的数据读写 接口(ibv_post_send,ibv_post_recv等)收发数据时,vRDMA Provider会将 待传输数据的相关信息(数据长度,数据包所在内存的key,数据包起始地 址等)传输至环形队列中,需要说明的是,第一目标地址为待传输数据在第 一地址空间中的存储地址,基于待传输数据中的相关信息和第一目标地址组成标识信息WR(work request,工作请求),将标识信息提交到对应的QP 中后,通过vRDMA Driver提供的接口触发提示指令(如doorbell,门铃), 通知用户态协议栈进程处理标识信息WR,用户态协议栈解析WR的内容后,获得待传输数据在第一地址空间中的第一目标地址空间,并通过映射关系将 第一目标地址上的待传输数据映射到用户态协议栈对应的第二目标地址中。
可选地,该数据传输方法,在步骤S14之前,还可以包括:
根据映射关系,建立第二地址空间对应的地址标识。
获取第一地址空间中待传输数据对应的存储标识,存储标识中包括待传 输数据在第一地址空间中的存储位置。
基于地址标识和存储标识,在环形队列中生成对应的标识信息。
示例的,本实施例中,RDMA Device与用户态协议栈建立通信连接后, 用户态协议栈将第二地址空间中对应的存储地址空间映射到环形队列中,并 返回地址标识key,应用程序将第一地址空间中存储待传输数据的存储标识通过通信连接关系,传输至vRDMADriver,vRDMA Driver中的环形队列基 于地址标识和存储标识生成对应的标识信息,以使应用程序中的待传输数据 映射到用户态协议栈的地址空间中,使数据映射更加准确,不会受到其他数 据的干扰。
可选地,上述步骤S14,可以包括:
在用户态协议栈中建立初始地址空间,初始地址空间用于与环形队列建 立映射关系。
将标识信息传递至用户态协议栈,以使用户态协议栈在初始地址空间中 建立第二地址空间。
根据映射关系和标识信息,将待传输数据映射到第二地址空间中。
示例的,在用户态协议栈进程映射自身地址空间与环形队列中的地址空 间时,需要根据标识信息来建立地址映射,频繁需要调用ibv_reg_mr接口来 注册地址空间,导致初始内核与用户态协议栈需要进行频繁交互,降低了内 核的性能。因此,本实施例中,在用户态协议栈的地址空间内提前注册较大 的初始地址空间,用于进行映射,vRDMA Driver在每次映射时,通过解析 标识信息,直接在初始地址空间中提取出第二地址空间,并基于第二地址空间和映射关系,将待传输数据映射到第二地址空间中,通过上述方式在建立 较大初始地址空间之后,不需要再与用户态协议栈进程进行注册交互,并可 以直接选取初始地址空间中的空闲地址进行映射。可以理解的是,在本实施 例中,key的分配由vRDMA Driver来执行,并提供接口以方便用户态协议栈对相应的key进行查询,以识别映射关系。
可选地,上述步骤S14,还可以包括:
接收用户态协议栈发送的轮询信号。
在基于轮询信号确定环形队列中存在标识信息的情况下,将标识信息传 递至用户态协议栈中,以使用户态协议栈基于标识信息和映射关系将待传输 数据映射到第二地址空间中。
示例的,本实施例中在vRDMA Provider提交WR到对应的QP之后, vRDMA Provider不用触发doorbell指令,由用户态协议栈发送轮询信号进行轮询查找环形队列中的标识信号WR,当基于轮询信号查找到对应QP中存 在标识信息WR时,将标识信息传递至用户态协议栈中,并使用户态协议栈 基于对应的标识信号和映射关系将vRDMA Provider中的待传输数据映射到 用户态协议栈的第二地址空间中,这样就可以避免通信流程中,应用程序频繁陷入内核态协议栈带来的上下文间的切换开销,增加系统运行的流程性。
图3是根据一示例性实施例示出的另一种数据传输方法的流程示意图, 参考图3,基于上述实施例,该数据传输方法包括:
步骤301,应用程序通过vRDMA Provider提供的接口创建环形队列QP 和CQ,vRDMAProvider会将该创建请求发送至vRDMA Driver。
步骤302,vRDMA Driver接收到该请求后,将对应为环形队列(ringbuffer) 分配实际内存并映射到应用程序的地址空间(vRDMA Provider)中,即可建 立vRDMA Provider与环形队列的通信连接,vRDMA Provider就可以直接操作QP和CQ。
步骤303,vRDMA Driver会通知用户态协议栈进程让用户态协议栈通 过mmap接口将对应的ringbuffer同步映射到自己的地址空间。
步骤304,用户态协议栈通过ringbuffer的地址空间,将自身的地址空 间映射到用户的应用程序地址空间中,使应用程序和用户态协议栈进程即可 通过该ringbuffer来进行交互。
步骤305,根据用户的存取数据的请求,应用程序可以通过vRDMA Provider提供的ibv_reg_mr接口注册用于进行数据收发的内存。
步骤306,vRDMA Provider将该注册请求发给vRDMA Driver,vRDMA Driver收到该注册请求后,会相应的内存做标记,使该内存用户进行数据映 射。
步骤307,vRDMA Driver标记了相应位置的数据内存之后,通知用户 态协议栈进程让其通过mmap接口将这段内存同步映射到用户态协议栈的地 址空间。
步骤308,用户态协议栈自身的地址空间映射完成后,返回一个key值 来唯一标识这段内存,vRDMA Driver会将该key值返回给用户应用程序的 地址空间,作为数据通信的重要元数据,以使应用程序根据该key值能找到 对应的地址空间。
步骤309,应用程序通过vRDMA Provider提供的数据读写接口 (ibv_post_send,ibv_post_recv等)收发数据,通过用户的数据收发请求, 生成数据收发指令。
步骤310,vRDMA Provider会将数据包的相关元信息(比如:数据长度, 数据包所在内存的key,数据包起始地址等)组成标识信息WR,提交到对 应的QP中,并通过vRDMADriver提供的接口触发doorbell(门铃指令), 通知用户态协议栈进程处理该WR。
步骤311,用户态协议栈解析WR的内容(例如,通过数据包所在内存 的key,找到之前映射的内存地址,并最终定位到数据包所在的位置),并 基于解析出的数据地址信息、数据内容信息等,映射应用程序地址空间中的 相应数据至自身的地址空间中,并将映射获得的数据通过用户态网卡驱动发 送至其他终端。
步骤312,数据传输成功后反馈对应的数据处理结果到环形队列的CQ 中,以使环形队列发送数据传输反馈至应用程序。
通过上述技术方案,根据应用程序发送的环形队列的创建请求,在模拟 内核驱动中建立环形队列,将环形队列对应的内存地址映射到应用程序对应 的第一地址空间中,建立内存地址与用户态协议栈对应的第二地址空间之间 的映射关系,将在环形队列中生成的标识信息传递至用户态协议栈中,以使 用户态协议栈基于标识信息和映射关系将第一地址空间中的待传输数据映射到所述第二地址空间中,基于用户态协议栈对应的网卡驱动,将第二地址 空间中的待传输数据传输至终端。从而通过建立应用程序与环形队列件的地 址映射,以及环形映射与用户态协议栈之间的映射,使应用程序中第一地址 空间中的待传输数据映射到用户态协议栈的第二地址空间,实现了零拷贝数 据传输,提高了数据传输的效率。
基于同一构思,本公开还提供一种数据传输装置,该装置可以通过软件、 硬件或两者结合的方式成为电子设备的部分或全部。图4是根据一示例性实 施例示出的一种数据传输装置的结构框图,参考图4,该数据传输装置100 包括:
队列生成模块110,用于根据应用程序发送的环形队列的创建请求,在 模拟内核驱动中建立所述环形队列。
映射模块120,用于将环形队列对应的内存地址映射到应用程序对应的 第一地址空间中。
关系建立模块130,用于建立内存地址与用户态协议栈对应的第二地址 空间之间的映射关系。
传递模块140,用于将在环形队列中生成的标识信息传递至用户态协议 栈中,以使用户态协议栈基于标识信息和映射关系将第一地址空间中的待传 输数据映射到第二地址空间中。
传输模块150,用于基于用户态协议栈对应的网卡驱动,将第二地址空 间中的待传输数据传输至终端。
可选地,该传递模块140,用于:
基于标识信息,通过模拟内核驱动提供的接口触发提示指令,以使用户 态协议栈解析标识信息,以获得待传输数据在第一地址空间中的第一目标地 址。
根据第一目标地址和映射关系,获得待传输数据映射到第二地址空间中 的第二目标地址。
将待传输数据从第一目标地址映射到第二目标地址中。
可选地,该数据传输装置100,还包括:
标识建立模块,用于根据映射关系,建立第二地址空间对应的地址标识。
获取模块,用于获取第一地址空间中待传输数据对应的存储标识,存储 标识中包括待传输数据在第一地址空间中的存储位置。
信息生成模块,用于基于地址标识和存储标识,在环形队列中生成对应 的标识信息。
可选地,该传递模块140,用于:
在用户态协议栈中建立初始地址空间,初始地址空间用于与环形队列建 立映射关系。
将标识信息传递至用户态协议栈,以使用户态协议栈在初始地址空间中 建立所述第二地址空间。
根据映射关系和标识信息,将待传输数据映射到第二地址空间中。
可选地,该传递模块140,还用于:
接收用户态协议栈发送的轮询信号。
在基于轮询信号确定环形队列中存在标识信息的情况下,将标识信息传 递至用户态协议栈中,以使用户态协议栈基于标识信息和映射关系将待传输 数据映射到第二地址空间中。
可选地,该队列生成模块110,包括:
第一建立子模块,用于在初始内核中远程直接内存访问内核驱动RDMA 内核驱动设备,以建立模拟内核驱动,该模拟内核驱动为模拟RDMA内核 驱动。
接入子模块,用于将模拟RDMA内核驱动接入初始内核的RDMA子系 统中。
第二建立子模块,用于建立应用程序与RDMA子系统之间的第一通信 连接。
第三建立子模块,用于基于第一通信连接和创建请求,在模拟RDMA 内核驱动中建立环形队列。
可选地,该关系建立模块130,用于:
建立用户态协议栈与RDMA内核驱动设备之间的第二通信连接。
基于第二通信连接,建立内核地址与用户态协议栈对应的第二地址空间 之间的映射关系。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有 关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
基于同一构思,本公开实施例还提供一种计算机可读介质,其上存储有 计算机程序,该程序被处理装置执行时实现上述任一对抗样本生成方法的步 骤。
基于同一构思,本公开实施例还提供一种电子设备,包括:
存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现上述任 一对抗样本生成方法的步骤。
下面参考图5,其示出了适于用来实现本公开实施例的电子设备(例如 图1中的终端设备或服务器)500的结构示意图。本公开实施例中的终端设 备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个 人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终 端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等 等的固定终端。图5示出的电子设备仅仅是一个示例,不应对本公开实施例 的功能和使用范围带来任何限制。
如图5所示,电子设备500可以包括处理装置(例如中央处理器、图形 处理器等)501,其可以根据存储在只读存储器(ROM)502中的程序或者 从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适 当的动作和处理。在RAM 503中,还存储有电子设备500操作所需的各种 程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相 连。输入/输出(I/O)接口505也连接至总线504。
通常,以下装置可以连接至I/O接口505:包括例如触摸屏、触 摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装 置506;包括例如液晶显示器(LCD)、扬声器、振动器等的输出装 置507;包括例如磁带、硬盘等的存储装置508;以及通信装置509。 通信装置509可以允许电子设备500与其他设备进行无线或有线通信 以交换数据。虽然图5示出了具有各种装置的电子设备500,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或 具备更多或更少的装置。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现 为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包 括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执 行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通 过通信装置509从网络上被下载和安装,或者从存储装置508被安装,或者 从ROM 502被安装。在该计算机程序被处理装置501执行时,执行本公开实施例的方法中限定的上述功能。
需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介 质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介 质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系 统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例 子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、 光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算 机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可 读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承 载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括 但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质 还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或 者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当 的介质传输,包括但不限于:电线、光缆、RF(射频)等等,或者上述的任 意合适的组合。
在一些实施方式中,客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol,超文本传输协议)之类的任何当前已知或未来研发的网络 协议进行通信,并且可以与任意形式或介质的数字数据通信(例如,通信网 络)互连。通信网络的示例包括局域网(“LAN”),广域网(“WAN”),网 际网(例如,互联网)以及端对端网络(例如,ad hoc端对端网络),以及 任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存 在,而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程 序被该电子设备执行时,使得该电子设备:根据应用程序发送的环形队列的 创建请求,在模拟内核驱动中建立环形队列,将环形队列对应的内存地址映 射到应用程序对应的第一地址空间中,建立内存地址与用户态协议栈对应的 第二地址空间之间的映射关系,将在环形队列中生成的标识信息传递至用户态协议栈中,以使用户态协议栈基于标识信息和映射关系将第一地址空间中 的待传输数据映射到所述第二地址空间中,基于用户态协议栈对应的网卡驱 动,将第二地址空间中的待传输数据传输至终端。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操 作的计算机程序代码,上述程序设计语言包括但不限于面向对象的程序设计 语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—— 诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机 上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在 用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上 执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机,或者, 可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和 计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、 程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行 指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以 以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可 以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能 而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程 图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现,也可 以通过硬件的方式来实现。其中,模块的名称在某种情况下并不构成对该模 块本身的限定,例如,第一获取模块还可以被描述为“获取至少两个网际协 议地址的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来 执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场 可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、 片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或 存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结 合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介 质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红 外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算 机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可 编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储 器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例,示例1提供了一种数据传输方法,该 方法包括:
根据应用程序发送的环形队列的创建请求,在模拟内核驱动中建立所述 环形队列;
将所述环形队列对应的内存地址映射到所述应用程序对应的第一地址 空间中;
建立所述内存地址与用户态协议栈对应的第二地址空间之间的映射关 系;
将在所述环形队列中生成的标识信息传递至所述用户态协议栈中,以使 所述用户态协议栈基于所述标识信息和所述映射关系将所述第一地址空间 中的待传输数据映射到所述第二地址空间中;
基于所述用户态协议栈对应的网卡驱动,将所述第二地址空间中的所述 待传输数据传输至终端。
根据本公开的一个或多个实施例,示例2提供了示例1的方法,所述将 在所述环形队列中生成的标识信息传递至所述用户态协议栈中,以使所述用 户态协议栈基于所述标识信息和所述映射关系将所述第一地址空间中的待 传输数据映射到所述第二地址空间中,包括:
基于所述标识信息,通过所述模拟内核驱动提供的接口触发提示指令, 以使所述用户态协议栈解析所述标识信息,以获得所述待传输数据在所述第 一地址空间中的第一目标地址;
根据所述第一目标地址和所述映射关系,获得所述待传输数据映射到所 述第二地址空间中的第二目标地址;
将所述待传输数据从所述第一目标地址映射到所述第二目标地址中。
根据本公开的一个或多个实施例,示例3提供了示例1的方法,所述方 法还包括:
根据所述映射关系,建立所述第二地址空间对应的地址标识(key);
获取所述第一地址空间中所述待传输数据对应的存储标识(数据包起始 地址),所述存储标识中包括所述待传输数据在所述第一地址空间中的存储 位置;
基于所述地址标识和所述存储标识,在所述环形队列中生成对应的所述 标识信息。
根据本公开的一个或多个实施例,示例4提供了示例1的方法,所述将 在所述环形队列中生成的所述标识信息传递至所述用户态协议栈中,以使所 述用户态协议栈基于所述标识信息和所述映射关系将所述第一地址空间中 的待传输数据映射到所述第二地址空间中,包括:
在所述用户态协议栈中建立初始地址空间,所述初始地址空间用于与所 述环形队列建立映射关系;
将所述标识信息传递至所述用户态协议栈,以使所述用户态协议栈在所 述初始地址空间中建立所述第二地址空间;
根据所述映射关系和所述标识信息,将所述待传输数据映射到所述第二 地址空间中。
根据本公开的一个或多个实施例,示例5提供了示例1的方法,所述将 在所述环形队列中生成的所述标识信息传递至所述用户态协议栈中,以使所 述用户态协议栈基于所述标识信息和所述映射关系将所述第一地址空间中 待传输数据映射到所述第二地址空间中的步骤,包括:
接收所述用户态协议栈发送的轮询信号;
在基于所述轮询信号确定所述环形队列中存在所述标识信息的情况下, 将所述标识信息传递至所述用户态协议栈中,以使所述用户态协议栈基于所 述标识信息和所述映射关系将所述待传输数据映射到所述第二地址空间中。
根据本公开的一个或多个实施例,示例6提供了示例1的方法,所述根 据应用程序发送的环形队列的创建请求,在模拟内核驱动中建立所述环形队 列的步骤,包括:
在初始内核中实现远程直接内存访问内核驱动RDMA Device,以建立所 述模拟内核驱动vRDMA Driver;
将所述模拟RDMA内核驱动接入所述初始内核的RDMA子系统中;
建立所述应用程序与所述RDMA子系统之间的第一通信连接;
基于所述第一通信连接和所述创建请求,在所述模拟RDMA内核驱动 中建立所述环形队列。
根据本公开的一个或多个实施例,示例7提供了示例6的方法,所述建 立所述内存地址与用户态协议栈对应的第二地址空间之间的映射关系,包括:
建立所述用户态协议栈与所述RDMA内核驱动设备之间的第二通信连 接;
基于所述第二通信连接,建立所述内核地址与所述用户态协议栈对应的 第二地址空间之间的映射关系。
根据本公开的一个或多个实施例,示例8提供了一种数据传输装置,其 特征在于,所述数据传输装置100包括:
队列生成模块,用于根据应用程序发送的环形队列的创建请求,在模拟 内核驱动中建立所述环形队列;
映射模块,用于将所述环形队列对应的内存地址映射到所述应用程序对 应的第一地址空间中;
关系建立模块,用于建立所述内存地址与用户态协议栈对应的第二地址 空间之间的映射关系;
传递模块,用于将在所述环形队列中生成的标识信息传递至所述用户态 协议栈中,以使所述用户态协议栈基于所述标识信息和所述映射关系将所述 第一地址空间中的待传输数据映射到所述第二地址空间中;
传输模块,用于基于所述用户态协议栈对应的网卡驱动,将所述第二地 址空间中的所述待传输数据传输至终端。
根据本公开的一个或多个实施例,示例9提供了示例8的装置,该传递 模块,用于:
基于标识信息,通过模拟内核驱动提供的接口触发提示指令,以使用户 态协议栈解析标识信息,以获得待传输数据在第一地址空间中的第一目标地 址。
根据第一目标地址和映射关系,获得待传输数据映射到第二地址空间中 的第二目标地址。
将待传输数据从第一目标地址映射到第二目标地址中。
根据本公开的一个或多个实施例,示例10提供了示例8的装置,该数 据传输装置,还包括:
第一建立模块,用于根据映射关系,建立第二地址空间对应的地址标识。
获取模块,用于获取第一地址空间中待传输数据对应的存储标识,存储 标识中包括待传输数据在第一地址空间中的存储位置。
第一生成模块,用于基于地址标识和存储标识,在环形队列中生成对应 的标识信息。
根据本公开的一个或多个实施例,示例11提供了示例8的装置,该传 递模块,还用于:
在用户态协议栈中建立初始地址空间,初始地址空间用于与环形队列建 立映射关系。
将标识信息传递至用户态协议栈,以使用户态协议栈在初始地址空间中 建立所述第二地址空间。
根据映射关系和标识信息,将待传输数据映射到第二地址空间中。
根据本公开的一个或多个实施例,示例12提供了示例8的装置,该传 递模块,还用于:
接收用户态协议栈发送的轮询信号。
在基于轮询信号确定环形队列中存在标识信息的情况下,将标识信息传 递至用户态协议栈中,以使用户态协议栈基于标识信息和映射关系将待传输 数据映射到第二地址空间中。
根据本公开的一个或多个实施例,示例13提供了示例8的装置,该生 成模块,包括:
第一建立子模块,用于在初始内核中通过远程直接内存访问RDMA内 核驱动设备,以建立模拟内核驱动,该模拟内核驱动为模拟RDMA内核驱 动。
接入子模块,用于将模拟RDMA内核驱动接入初始内核的RDMA子系 统中。
第二建立子模块,用于建立应用程序与RDMA子系统之间的第一通信 连接。
第三建立子模块,用于基于第一通信连接和创建请求,在模拟RDMA 内核驱动中建立环形队列。
根据本公开的一个或多个实施例,示例14提供了示例13的装置,该建 立模块,用于:
建立用户态协议栈与RDMA内核驱动设备之间的第二通信连接。
基于第二通信连接,建立内核地址与用户态协议栈对应的第二地址空间 之间的映射关系。
根据本公开的一个或多个实施例,示例15提供了一种计算机可读介质, 其上存储有计算机程序,该程序被处理装置执行时实现示例1-7任一所述方 法的步骤。
根据本公开的一个或多个实施例,示例16提供了一种电子设备,包括:
存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现示例1-7 任一所述方法的步骤。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领 域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征 的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下, 由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上 述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替 换而形成的技术方案。
此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些 操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务 和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现 细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的 上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合 的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题, 但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定 特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的 示例形式。关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
Claims (9)
1.一种数据传输方法,其特征在于,包括:
根据应用程序发送的环形队列的创建请求,在模拟内核驱动中建立所述环形队列;
所述根据应用程序发送的环形队列的创建请求,在模拟内核驱动中建立所述环形队列,包括:在初始内核中通过远程直接内存访问RDMA内核驱动设备,以建立所述模拟内核驱动,所述模拟内核驱动为模拟RDMA内核驱动;将所述模拟RDMA内核驱动接入所述初始内核的RDMA子系统中;建立所述应用程序与所述RDMA子系统之间的第一通信连接;基于所述第一通信连接和所述创建请求,在所述模拟RDMA内核驱动中建立所述环形队列;
将所述环形队列对应的内存地址映射到所述应用程序对应的第一地址空间中;
建立所述内存地址与用户态协议栈对应的第二地址空间之间的映射关系;
将在所述环形队列中生成的标识信息传递至所述用户态协议栈中,以使所述用户态协议栈基于所述标识信息和所述映射关系将所述第一地址空间中的待传输数据映射到所述第二地址空间中;
基于所述用户态协议栈对应的网卡驱动,将所述第二地址空间中的所述待传输数据传输至终端。
2.根据权利要求1所述的数据传输方法,其特征在于,所述将在所述环形队列中生成的标识信息传递至所述用户态协议栈中,以使所述用户态协议栈基于所述标识信息和所述映射关系将所述第一地址空间中的待传输数据映射到所述第二地址空间中,包括:
基于所述标识信息,通过所述模拟内核驱动提供的接口触发提示指令,以使所述用户态协议栈解析所述标识信息,以获得所述待传输数据在所述第一地址空间中的第一目标地址;
根据所述第一目标地址和所述映射关系,获得所述待传输数据映射到所述第二地址空间中的第二目标地址;
将所述待传输数据从所述第一目标地址映射到所述第二目标地址中。
3.根据权利要求1所述的数据传输方法,其特征在于,所述方法还包括:
根据所述映射关系,建立所述第二地址空间对应的地址标识;
获取所述第一地址空间中所述待传输数据对应的存储标识,所述存储标识中包括所述待传输数据在所述第一地址空间中的存储位置;
基于所述地址标识和所述存储标识,在所述环形队列中生成对应的所述标识信息。
4.根据权利要求1所述的数据传输方法,其特征在于,所述将在所述环形队列中生成的所述标识信息传递至所述用户态协议栈中,以使所述用户态协议栈基于所述标识信息和所述映射关系将所述第一地址空间中的待传输数据映射到所述第二地址空间中,包括:
在所述用户态协议栈中建立初始地址空间,所述初始地址空间用于与所述环形队列建立映射关系;
将所述标识信息传递至所述用户态协议栈,以使所述用户态协议栈在所述初始地址空间中建立所述第二地址空间;
根据所述映射关系和所述标识信息,将所述待传输数据映射到所述第二地址空间中。
5.根据权利要求1所述的数据传输方法,其特征在于,所述将在所述环形队列中生成的所述标识信息传递至所述用户态协议栈中,以使所述用户态协议栈基于所述标识信息和所述映射关系将所述第一地址空间中待传输数据映射到所述第二地址空间中,包括:
接收所述用户态协议栈发送的轮询信号;
在基于所述轮询信号确定所述环形队列中存在所述标识信息的情况下,将所述标识信息传递至所述用户态协议栈中,以使所述用户态协议栈基于所述标识信息和所述映射关系将所述待传输数据映射到所述第二地址空间中。
6.根据权利要求1所述的数据传输方法,其特征在于,所述建立所述内存地址与用户态协议栈对应的第二地址空间之间的映射关系,包括:
建立所述用户态协议栈与所述RDMA内核驱动设备之间的第二通信连接;
基于所述第二通信连接,建立所述内存地址与所述用户态协议栈对应的第二地址空间之间的映射关系。
7.一种数据传输装置,其特征在于,包括:
队列生成模块,用于根据应用程序发送的环形队列的创建请求,在模拟内核驱动中建立所述环形队列;
所述根据应用程序发送的环形队列的创建请求,在模拟内核驱动中建立所述环形队列,包括:在初始内核中通过远程直接内存访问RDMA内核驱动设备,以建立所述模拟内核驱动,所述模拟内核驱动为模拟RDMA内核驱动;将所述模拟RDMA内核驱动接入所述初始内核的RDMA子系统中;建立所述应用程序与所述RDMA子系统之间的第一通信连接;基于所述第一通信连接和所述创建请求,在所述模拟RDMA内核驱动中建立所述环形队列;
映射模块,用于将所述环形队列对应的内存地址映射到所述应用程序对应的第一地址空间中;
关系建立模块,用于建立所述内存地址与用户态协议栈对应的第二地址空间之间的映射关系;
传递模块,用于将在所述环形队列中生成的标识信息传递至所述用户态协议栈中,以使所述用户态协议栈基于所述标识信息和所述映射关系将所述第一地址空间中的待传输数据映射到所述第二地址空间中;
传输模块,用于基于所述用户态协议栈对应的网卡驱动,将所述第二地址空间中的所述待传输数据传输至终端。
8.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现权利要求1-6中任一项所述方法的步骤。
9.一种电子设备,其特征在于,包括:
存储装置,其上存储有计算机程序;
处理装置,用于执行所述存储装置中的所述计算机程序,以实现权利要求1-6中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111547497.5A CN114201317B (zh) | 2021-12-16 | 2021-12-16 | 数据传输方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111547497.5A CN114201317B (zh) | 2021-12-16 | 2021-12-16 | 数据传输方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114201317A CN114201317A (zh) | 2022-03-18 |
CN114201317B true CN114201317B (zh) | 2024-02-02 |
Family
ID=80654775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111547497.5A Active CN114201317B (zh) | 2021-12-16 | 2021-12-16 | 数据传输方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114201317B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114996200B (zh) * | 2022-05-26 | 2024-05-07 | 中国联合网络通信集团有限公司 | 基于rdma的数据传输方法、装置、设备及存储介质 |
CN116932332B (zh) * | 2023-08-08 | 2024-04-19 | 中科驭数(北京)科技有限公司 | Dpu运行状态监控方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103414535A (zh) * | 2013-07-31 | 2013-11-27 | 华为技术有限公司 | 数据发送方法和数据接收方法及相关装置 |
WO2015191048A1 (en) * | 2014-06-10 | 2015-12-17 | Hewlett-Packard Development Company, L.P. | Replicating data using remote direct memory access (rdma) |
CN107070958A (zh) * | 2017-06-19 | 2017-08-18 | 河海大学 | 一种海量数据高效传输方法 |
CN109491809A (zh) * | 2018-11-12 | 2019-03-19 | 西安微电子技术研究所 | 一种降低高速总线延迟的通信方法 |
CN112948318A (zh) * | 2021-03-09 | 2021-06-11 | 西安奥卡云数据科技有限公司 | 一种Linux操作系统下基于RDMA的数据传输方法及装置 |
CN113064846A (zh) * | 2021-04-14 | 2021-07-02 | 中南大学 | 基于Rsockets协议的零拷贝数据传输方法 |
-
2021
- 2021-12-16 CN CN202111547497.5A patent/CN114201317B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103414535A (zh) * | 2013-07-31 | 2013-11-27 | 华为技术有限公司 | 数据发送方法和数据接收方法及相关装置 |
WO2015191048A1 (en) * | 2014-06-10 | 2015-12-17 | Hewlett-Packard Development Company, L.P. | Replicating data using remote direct memory access (rdma) |
CN107070958A (zh) * | 2017-06-19 | 2017-08-18 | 河海大学 | 一种海量数据高效传输方法 |
CN109491809A (zh) * | 2018-11-12 | 2019-03-19 | 西安微电子技术研究所 | 一种降低高速总线延迟的通信方法 |
CN112948318A (zh) * | 2021-03-09 | 2021-06-11 | 西安奥卡云数据科技有限公司 | 一种Linux操作系统下基于RDMA的数据传输方法及装置 |
CN113064846A (zh) * | 2021-04-14 | 2021-07-02 | 中南大学 | 基于Rsockets协议的零拷贝数据传输方法 |
Non-Patent Citations (2)
Title |
---|
Virtual Interface Architecture分析;董渭清等;《小型微型计算机系统》;全文 * |
Zero copy sockets direct protocol over infiniband-preliminary implementation and performance analysis;D. Goldenberg等;《13th Symposium on High Performance Interconnects》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114201317A (zh) | 2022-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6987961B1 (en) | Ethernet emulation using a shared mailbox between two processors in a feature phone | |
CN114201317B (zh) | 数据传输方法、装置、存储介质及电子设备 | |
US20220214932A1 (en) | Methods, devices and computer storage media for inter-mini program platform communication | |
WO2021013242A1 (zh) | 一种启动小程序的方法、设备和计算机存储介质 | |
US8843631B2 (en) | Dynamic local function binding apparatus and method | |
CN114077480B (zh) | 一种主机与虚拟机共享内存方法、装置、设备及介质 | |
WO2021082649A1 (zh) | 榜单更新方法、装置、可读介质和电子设备 | |
WO2023093634A1 (zh) | 数据存储方法、装置、可读介质及电子设备 | |
US20220245005A1 (en) | Methods, devices and computer storage media for inter-mini program platform discovery | |
CN114625481B (zh) | 数据处理方法、装置、可读介质及电子设备 | |
CN110177047B (zh) | 报文发送方法、装置、电子设备和计算机可读存储介质 | |
WO2023179509A1 (zh) | 数据访问装置、方法、可读介质和电子设备 | |
TW201403351A (zh) | 用於以工作爲基礎之遠端服務之方法及裝置 | |
WO2023173954A1 (zh) | 数据获取方法、装置、存储介质以及电子设备 | |
WO2022199376A1 (zh) | 内容的打印方法、装置、设备及存储介质 | |
US10402364B1 (en) | Read-ahead mechanism for a redirected bulk endpoint of a USB device | |
WO2019119280A1 (zh) | 业务处理方法、云服务器和终端设备 | |
CN112306685B (zh) | 任务隔离方法、装置、电子设备及计算机可读介质 | |
US10742776B1 (en) | Accelerating isochronous endpoints of redirected USB devices | |
CN107357853B (zh) | 一种redis控制台的操作方法、装置及计算机系统 | |
CN110297668A (zh) | 系统、移动终端、控制及支持终端控制主机存储器的方法 | |
CN111092916A (zh) | 文件上传的方法、装置、电子设备及介质 | |
CN117215730B (zh) | 数据传输方法、装置、设备及存储介质 | |
WO2023226787A1 (zh) | 通信方法、系统、装置和电子设备 | |
WO2023131146A1 (zh) | 一种虚拟任务栈的处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |