CN111131470A - 终端设备及其数据处理方法以及数据处理系统 - Google Patents

终端设备及其数据处理方法以及数据处理系统 Download PDF

Info

Publication number
CN111131470A
CN111131470A CN201911377633.3A CN201911377633A CN111131470A CN 111131470 A CN111131470 A CN 111131470A CN 201911377633 A CN201911377633 A CN 201911377633A CN 111131470 A CN111131470 A CN 111131470A
Authority
CN
China
Prior art keywords
rdma
data
storage node
server
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911377633.3A
Other languages
English (en)
Other versions
CN111131470B (zh
Inventor
柯克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201911377633.3A priority Critical patent/CN111131470B/zh
Publication of CN111131470A publication Critical patent/CN111131470A/zh
Application granted granted Critical
Publication of CN111131470B publication Critical patent/CN111131470B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/04Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请公开了一种终端设备及其数据处理方法以及数据处理系统,本申请技术方案中,在终端设备存储有RDMA地址信息以及RDMA远程通信密钥,所述终端设备可以通过服务器将基于自身存储的所述RDMA地址信息以及所述RDMA远程通信密钥发送给后端存储节点,从而与所述后端存储节点建立RDMA连接关系,基于所述RDMA连接关系,直接与所述后端存储节点进行第一类数据的交互,所述终端设备与所述后端存储节点之间进行第一类数据交互时,无需再通过所述服务器,缩短了所述第一类数据传输路径,提高了数据交互效率,降低了时间延时。

Description

终端设备及其数据处理方法以及数据处理系统
技术领域
本申请涉及数据处理技术领域,更具体的说,涉及一种终端设备及其数据处理方法以及数据处理系统。
背景技术
如图1所示,图1为现有技术中一种常见数据处理系统的结构示意图,所述数据处理系统中,终端设备11通过中间存储服务器12与后端存储节点13通信连接,以便于终端设备11与后端存储节点13中的存储节点131进行数据交互。所述数据处理系统的网络采用TCP/IP(传输控制协议/网际协议)进行数据交互,网络连接即进行网络协商,发送各类协议,如CIFS(通用互联网文件系统)、iSCSI(互联网小型计算机接口)协议等,这些内容对终端设备的应用程序而言属于透明的数据,也可以用于传输给终端设备11的应用程序数据。
图1所示现有的所述数据处理系统中,终端设备11和存储节点131之间的所有数据交互,均需要通过中间存储服务器12,数据传输路径长,时间延时高。
发明内容
有鉴于此,本申请实施例技术方案提供了一种终端设备及其数据处理方法以及数据处理系统,方案如下:
一种终端设备的数据处理方法,所述数据处理方法包括:
与服务器建立通信连接关系;
基于所述通信连接关系,将所述终端设备中存储的RDMA地址信息以及RDMA远程通信密钥发送给所述服务器;其中,所述服务器将所述RDMA地址信息以及所述RDMA远程通信密钥发送给后端存储节点;
与所述后端存储节点建立RDMA连接关系;
基于所述RDMA连接关系,直接与所述后端存储节点进行第一类数据的交互。
优选的,在上述数据处理方法中,在与所述服务器建立通信连接关系之前,还包括:
在所述终端设备中的RDMA堆栈进行RDMA内存注册,以获得所述RDMA地址信息以及所述RDMA远程通信密钥。
优选的,在上述数据处理方法中,与服务器建立通信连接关系,包括:
基于第一指令,与所述服务器进行协商连接,以实现与所述服务器之间能够实现第二类数据的交互,所述第二类数据包括所述RDMA地址信息以及所述RDMA远程通信密钥。
优选的,在上述数据处理方法中,与所述后端存储节点建立RDMA连接关系,包括:
基于相同的所述RDMA地址信息以及所述RDMA远程通信密钥,与所述后端存储节点建立RDMA连接关系。
优选的,在上述数据处理方法中,直接与所述后端存储节点进行第一类数据的交互,包括:
基于第二指令,响应所述后端存储节点的第一类数据交互需求,获取来至所述后端存储节点的第一类数据或是为所述后端存储节点提供第一类数据。
优选的,在上述数据处理方法中,所述后端存储节点在与所述终端设备完成所述第一类数据交互后,向所述服务器发送第一通知消息,所述服务器基于所述第一通知消息生成第二通知消息;
所述数据处理方法还包括:
基于所述通信连接关系,获取所述第二通知消息,以表征所述后端存储节点与所述终端设备的数据交互完成。
优选的,在上述数据处理方法中,所述第一类数据为与所述终端设备中应用程序相关的程序数据。
本申请还提供了一种终端设备,所述终端设备包括:
存储器,所述存储器用于存储RDMA地址信息以及RDMA远程通信密钥;
通信模组,所述通信模组用于使得所述终端设备与其他设备进行通信;
处理器,所述处理器用于通过所述通信模组与服务器建立通信连接关系,基于所述通信连接关系,将所述RDMA地址信息以及所述RDMA远程通信密钥通过所述通信模组发送给所述服务器;其中,所述服务器将所述RDMA地址信息以及所述RDMA远程通信密钥发送给后端存储节点;所述处理器还用于通过所述通信模组与所述后端存储节点建立RDMA连接关系,基于所述RDMA连接关系,使得存储器直接与所述后端存储节点进行第一类数据的交互。
优选的,在上述终端设备中,所述处理器用于基于第一指令,通过所述通信模组与所述服务器建立协商连接,以实现与所述服务器之间能够实现第二类数据的交互,所述第二类数据包括所述RDMA地址信息以及所述RDMA远程通信密钥。
本申请还提供了一种数据处理系统,所述数据处理系统包括:
终端设备、服务器以及后端存储节点;所述终端设备中存储有RDMA地址信息以及RDMA远程通信密钥;
所述服务器与所述终端设备具有通信连接关系,以获取所述RDMA地址信息以及所述RDMA远程通信密钥,并将所述RDMA地址信息以及所述RDMA远程通信密钥发送给所述后端存储节点;
所述后端存储节点基于所述RDMA地址信息以及所述RDMA远程通信密钥与所述终端设备建立RDMA连接关系,基于所述RDMA连接关系,所述后端存储节点直接与所述终端设备进行第一类数据的交互。
通过上述描述可知,本申请实施例技术方案提供终端设备及其数据处理方法以及数据处理系统中,在终端设备存储有RDMA地址信息以及RDMA远程通信密钥,所述终端设备可以通过服务器将基于自身存储的所述RDMA地址信息以及所述RDMA远程通信密钥发送给后端存储节点,从而与所述后端存储节点建立RDMA连接关系,基于所述RDMA连接关系,直接与所述后端存储节点进行第一类数据的交互,所述终端设备与所述后端存储节点之间进行第一类数据交互时,无需再通过所述服务器,缩短了所述第一类数据传输路径,提高了数据交互效率,降低了时间延时。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为现有技术中一种常见数据处理系统的结构示意图;
图2为本申请实施例提供的一种终端设备数据处理方法的流程示意图;
图3为本申请实施例提供的一种终端设备的结构示意图;
图4为本申请实施例提供的一种数据数据系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如背景技术中所述,现有的基于TCP/IP协议搭建的数据处理系统中,终端设备和后端存储节点中存储节点进行数据交互均需要经过中间存储服务器,数据传输路径长,时间延时高。
目前支持远程数据直接存取(Remote Direct Memory Access,简称RDMA)技术的网卡以及软件标准逐渐得到普及,但是常规终端设备以及后端存储节点不能较好的支持和应用RDMA技术。一般的,后端存储节点不支持RDMA,需要中间服务器参与数据转发,后端存储节点与终端设备不能直接进行数据交互,数据传输路径长,时间延时高。所述中间服务器包括CIFS(Common Internet File System,通用因特网文件系统)服务器和iSCSI(Internet Small Computer SystemInterface,因特网小型计算机系统接口)服务器。
虽然RDMA最大的优势是数据直接传输,如果存在多次转发,无疑大大降低了RDMA技术的优势,但是在数据存取过程中,又需要中间服务器来提供协议(如CIFS协议,iSCSI协议等)。
有鉴于此,本申请实施例提供了一种终端设备及其数据处理方法以及数据处理系统,可以解决传统RDMA多级存储(如Samba-Ceph/iSCSI-Ceph)和分布式存储带来的数据转发,改善数据传输效率,缩短终端设备和后端存储节点之间数据传输路径,实现更直接的RDMA数据传输效果。其中,Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件,由服务器及终端设备程序构成,Ceph是一种支持对象存储、块存储和文件存储的独立同一的系统。
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。
参考图2,图2为本申请实施例提供的一种终端设备数据处理方法的流程示意图,该数据处理方法包括:
步骤S11:与服务器建立通信连接关系。
步骤S12:基于所述通信连接关系,将所述终端设备中存储的RDMA地址信息以及RDMA远程通信密钥发送给所述服务器。
其中,所述服务器将所述RDMA地址信息以及所述RDMA远程通信密钥发送给后端存储节点。所述服务器为可以用于文件存储、块存储和对象存储中的至少一种。
步骤S13:与所述后端存储节点建立RDMA连接关系。
步骤S14:基于所述RDMA连接关系,直接与所述后端存储节点进行第一类数据的交互。
本申请实施例所述技术方案中,所述终端设备中存储的RDMA地址信息以及RDMA远程通信密钥发送给所述服务器,通过服务器将RDMA地址信息以及RDMA远程通信密钥发送给所述后端存储节点中的存储节点。
终端设备可以通过与服务器建立通信连接关系,将RDMA地址信息以及RDMA远程通信密钥发送给所述服务器,通过服务器将RDMA地址信息以及RDMA远程通信密钥发送给后端存储节点,从而基于相同的RDMA地址信息以及RDMA远程通信密钥,与后端存储节点建立RDMA连接关系,基于所述RDMA连接关系,直接与所述后端存储节点进行第一类数据的交互,所述终端设备与所述后端存储节点之间进行第一类数据交互时,无需再通过所述服务器,缩短了所述第一类数据传输路径,提高了数据交互效率,降低了时间延时。
可见,所述数据处理方法,将终端设备与其他设备的数据交互分为两种传输路径,一种传输路径是,终端设备通过与服务器的通信连接关系,交互协议数据,通过服务器实现必须通过服务器传输的协议数据在所述服务武器与所述终端设备之间的交互,和/或,在所述终端设备与所述后端存储节点之间的交互,另一种传输路径是,基于相同的RDMA地址信息以及RDMA远程通信密钥,在所述终端设备和所述后端存储节点之间建立RDMA连接关系,基于所述RDMA连接关系,直接在所述终端设备和所述后端存储节点之间进行适用于RDMA的第一类数据的直接交互,无需通过服务器,缩短了通信路径,从而提高数据传输效率,降低数据传输的时间延时。
本申请实施例所述数据处理方法,无需对服务器和后端存储节点进行改进升级,通过在终端设备中存储预设的所述RDMA地址信息以及所述RDMA远程通信密钥,即可以实现上述两种传输路径的数据传输方式,以提高数据传输效率。
本申请实施例所述数据处理方法可以实现协议数据与第一类数据的分离传输,基于需求通过服务器向后端存储节点发送终端设备的所述RDMA地址信息以及所述RDMA远程通信密钥,建立RDMA动态连接,可以实现对各类存储服务(文件存储、块存储和对象存储)提供更加直接的RDMA数据传输过程,降低了服务器用于文件、块和对象数据存取的带宽和计算需求,可以通过后端存储节点直接提供第一类数据交互服务,降低服务器对文件存储、块存储和对象存储中数据存取所需硬件需求,释放服务器更多的数据处理空间,使得服务器可以接入更多的客户请求。
本申请实施例所述数据处理方法中,在与所述服务器建立通信连接关系之前,还包括:在所述终端设备中的RDMA堆栈进行RDMA内存注册,以获得所述RDMA地址信息以及所述RDMA远程通信密钥。所述终端设备具有用于进行RDMA内存注册的RDMA堆栈,通过在所述RDMA堆栈进行RDMA内存注册,可以获得所述RDMA地址信息以及所述RDMA远程通信密钥,以便于基于数据交互需求,通过服务器将所述RDMA地址信息以及所述RDMA远程通信密钥发送给后端存储节点。所述后端存储节点具有多个存储节点。所述终端设备可以与具有相同的所述RDMA地址信息以及所述RDMA远程通信密钥的存储节点之间建立RDMA通信连接。所述后端存储节点中,存储节点的数量可以基于需求设定,本申请实施例中对此不做具体限定。
本申请实施例所述数据处理方法中,与服务器建立通信连接关系,包括:基于第一指令,与所述服务器进行协商连接,以实现与所述服务器之间能够实现第二类数据的交互,所述第二类数据包括所述RDMA地址信息以及所述RDMA远程通信密钥。本申请实施例中通信协商过程与传统数据处理方案的通信协商过程类似,但是由于本申请实施例所述数据处理方法中,在终端设备存储了所述RDMA地址信息以及所述RDMA远程通信密钥,与传统数据处理方案通信协商过程不同的是,所述终端设备与所述服务器可以通过第一指令,相互发送消息,实现连接协商,实现所述RDMA地址信息以及所述RDMA远程通信密钥的交互。第一指令包括符合RDMA协议的RDMA发送指令(RDMA Send)/RDMA接收指令(RDMARecev)。服务器基于终端设备的数据请求表征的发送或是接收结果,选择执行RDMA发送指令或RDMA接收指令。
本申请实施例所述数据处理方法中,与所述后端存储节点建立RDMA连接关系,包括:基于相同的所述RDMA地址信息以及所述RDMA远程通信密钥,与所述后端存储节点建立RDMA连接关系。如上述,后端存储节点具有多个所述存储节点,服务器能够基于所需交互的第一类数据,选择对应所述第一类数据的一个或是多个存储节点,将所述RDMA地址信息以及所述RDMA远程通信密钥发送给所选择的存储节点,从而使得终端设备和所选择的存储节点建立RDMA连接关系,实现终端设备和所述存储节点之间直接进行所述第一类数据交互的目的。
本申请实施例所述数据处理方法中,直接与所述后端存储节点进行第一类数据的交互,包括:基于第二指令,响应所述后端存储节点的第一类数据交互需求,获取来至所述后端存储节点的第一类数据或是为所述后端存储节点提供第一类数据。存储节点能够直接与终端设备进行第一类数据的交互的条件是,基于确定的终端设备IP信息、RDMA地址信息以及RDMA远程通信密钥,与终端设备建立RDMA连接关系,基于第二指令,直接与终端设备进行第一类数据的交互。服务器基于终端设备的数据交互请求,获取终端设备的IP信息,并将IP信息发送给所选择的存储节点,该过程可以与RDMA地址信息以及RDMA远程通信密钥获取发送过程同步进行或是分别单独进行。第一类数据的交互通过终端设备向服务器发送的数据请求触发。所述存储节点基于所述服务器发送的数据请求,与终端设备建立RDMA连接关系,基于第二指令,与终端设备直接进行第一类数据的交互。第二指令包括符合RDMA协议的RDMA写入指令(RDMA Write)/RDMA读取指令(RDMA Read)。存储节点基于终端设备的数据请求表征的写入或是读取结果,选择执行RDMA写入指令或RDMA读取指令。
本申请实施例所述数据处理方法中,所述后端存储节点在与所述终端设备完成所述第一类数据交互后,向所述服务器发送第一通知消息,所述服务器基于所述第一通知消息生成第二通知消息。所述数据处理方法还包括:基于所述通信连接关系,获取所述第二通知消息,以表征所述后端存储节点与所述终端设备的数据交互完成。存储节点直接发送第一类数据到终端设备,或是从终端设备读取第一类数据后,通过第一通知消息,通知服务器,通知服务器与终端设备之间第一类数据的交互过程完成。服务器获取第一通知消息后,生成第二通知消息,将所述第二通知消息发送给终端设备。终端设备获得所述第二通知消息,从而确定与存储节点之间关于第一类数据的交互过程完成,确定第一类数据已经传输到存储节点或是第一类数据已经读取到终端设备,以便于终端设备进行相应的后续数据处理过程。
本申请实施例所述数据处理方法中,所述第一类数据为与所述终端设备中应用程序相关的程序数据。所述第二类数据包括所述RDMA地址信息以及所述RDMA远程通信密钥,还包括其他需要通过服务器传输的协议相关数据。
通过上述描述可知,本申请实施例所述数据处理方法可以使得存储节点与终端设备之间建立RDMA连接关系,在二者之间直接进行第一类数据的交互,这样,可以使得服务器无需参数第一类数据的传输,降低服务器CPU的占用,服务器中CPU的占用极低,对服务器的硬件要求很低,使得同样硬件的服务器可以接入更多的终端设备的数据处理请求,且使得服务器所需带宽很低,降低服务器的带宽需求。
同时,缩短了所述第一类数据的传输路径,降低了第一类数据传输的时间延时。
而且,在终端设备设置有单独用于存储得所述RDMA地址信息以及所述RDMA远程通信密钥的RDMA堆栈,服务器可以直接通过RDMA堆栈获取所需所述RDMA地址信息以及所述RDMA远程通信密钥,终端设备的CPU无需再参与第一类数据传输过程,降低了终端设备CPU占用,可以使得终端设备CPU用于处理更多的其他业务。
通过服务器与终端设备的通信连接,可以建立终端设备与存储节点之间的直接数据传输通道,通过该数据传输通道实现终端设备与存储节点之间的第一类数据的直接传输,实现协议协商和第一类数据的传输分离,该传输分离的实现方式可以基于符合RDMA协议的第一指令和第二指令实现。
基于上述数据处理方法,本申请另一实施例还提供了一种终端设备,所述终端设备的结构如图3所示,图3为本申请实施例提供的一种终端设备的结构示意图,所述终端设备包括:存储器21,所述存储器21用于存储RDMA地址信息以及RDMA远程通信密钥;通信模组23,所述通信模组23用于使得所述终端设备与其他设备进行通信;处理器(CPU)22,所述处理器22用于通过所述通信模组23与服务器建立通信连接关系,基于所述通信连接关系,将所述RDMA地址信息以及所述RDMA远程通信密钥通过所述通信模组23发送给所述服务器。
其中,所述服务器将所述RDMA地址信息以及所述RDMA远程通信密钥发送给后端存储节点;所述处理器22还用于通过所述通信模组23与所述后端存储节点建立RDMA连接关系,基于所述RDMA连接关系,使得所述存储器21直接与所述后端存储节点进行第一类数据的交互。基于相同的所述RDMA地址信息以及所述RDMA远程通信密钥,所述终端设备与所述后端存储节点中的一个或是多个存储节点建立RDMA连接后,可以在所述存储器21和所述存储节点之间直接进行第一类数据的交互,当终端设备与存储节点建立RDMA连接关系后,存储器21和存储节点之间的第一类数据的交互过程无需再通过终端设备的处理器22,降低终端设备的处理器22的占用。
所述存储器21包括RDMA堆栈,用于进行RDMA内存注册,以获得所述RDMA地址信息以及所述RDMA远程通信密钥。
所述终端设备中,所述处理器22用于基于第一指令,通过所述通信模组23与所述服务器建立协商连接,以实现与所述服务器之间能够实现第二类数据的交互,所述第二类数据包括所述RDMA地址信息以及所述RDMA远程通信密钥。
本申请实施例所述终端设备可以实现上述实施例所述的数据处理方法,所述数据处理方法的实现过程可以参考上述实施例所述方案,在此不再赘述。所述终端设备能够与服务器进行协议数据的交互,与后端存储节点中的存储节点直接进行第一类数据的交互,将两类数据分为两个路径传输,所述终端设备与所述后端存储节点之间进行第一类数据交互时,无需再通过所述服务器,缩短了所述第一类数据的传输路径,提高了第一类数据的交互效率,降低了时间延时。而且无需对服务器以及存储节点进行升级改造,实现方案简单,成本低。
基于上述数据处理方法以及终端设备实施例,本申请另一实施例还提供了一种数据处理系统,所述数据处理系统的结构如图4所示,图4为本申请实施例提供的一种数据数据系统的结构示意图,所述数据处理系统包括:
终端设备41、服务器42以及后端存储节点43;所述终端设备41中存储有RDMA地址信息以及RDMA远程通信密钥。所述服务器42与所述终端设备41具有通信连接关系,以获取所述RDMA地址信息以及所述RDMA远程通信密钥,并将所述RDMA地址信息以及所述RDMA远程通信密钥发送给后端存储节点43。所述后端存储节点43基于所述RDMA地址信息以及所述RDMA远程通信密钥与所述终端设备41建立RDMA连接关系,基于所述RDMA连接关系,所述后端存储节点43直接与所述终端设备41进行第一类数据的交互。
需要说明的是,图4中通过虚线箭头表示第一类数据的传输路径,通过实现箭头表示第二类数据的传输路径,从而实现数据处理系统中,协议数据和应用程序数据的分离。
虚线箭头由所选择的存储节点431指向所述终端设备41,表征第一类数据的交互是由后端存储节点43基于设定指令发起的,由存储节点431基于RDMA Read指令,主动从终端设备41下拉数据,或,由存储节点431基于RDMA Write指令,主动向终端设备41推送数据。终端设备41具有负责网络传输的RDMA堆栈。第一类数据的传输是由终端设备41触发后,由后端存储节点43发起。终端设备41包括至少一个应用程序,第一类数据为应用程序相关的数据,基于第一类数据的交互,后端存储节点43可以实现对终端设备41中应用程序相关数据的下拉和推送。
实线箭头为双向箭头,表示终端设备41与服务器42之间以及服务器42与后端存储节点43之间的关于第二类数据的交互过程均是双方都参与的行为。
本申请实施例所述数据处理系统,可以在终端设备41的RDMA堆栈进行RDMA内存注册,以便于与服务器42进行RDMA连接协商,从而通过服务器42建立后端存储节点43与终端设备41的RDMA连接关系,以使得后端存储节点43基于RDMA连接关系,发起第一类数据交互过程,当第一类数据交互过程完成后,后端存储节点43通知服务器42数据传输过程完成。
在终端设备41存储有RDMA地址信息以及RDMA远程通信密钥,所述终端设备41可以通过服务器42将基于自身存储的所述RDMA地址信息以及所述RDMA远程通信密钥发送给后端存储节点43,从而与所述后端存储节点43建立RDMA连接关系,基于所述RDMA连接关系,直接与所述后端存储节点43进行第一类数据的交互,所述终端设备41与所述后端存储节点43之间进行第一类数据交互时,无需再通过所述服务器42,缩短了所述第一类数据传输路径,提高了数据交互效率,降低了时间延时。
所述数据处理系统基于上述实施例所述数据处理方法以及终端设备,其数据交互过程与上述实施例相同,可以参考上述实施例描述,在此不再赘述。
本说明书中各个实施例采用递进、或并列、或递进和并列结合的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的终端设备和数据处理系统而言,由于其与实施例公开的数据处理方法相对应,所以描述的比较简单,相关之处参见数据处理方法相关部分说明即可。
还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括上述要素的物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种终端设备的数据处理方法,所述数据处理方法包括:
与服务器建立通信连接关系;
基于所述通信连接关系,将所述终端设备中存储的RDMA地址信息以及RDMA远程通信密钥发送给所述服务器;其中,所述服务器将所述RDMA地址信息以及所述RDMA远程通信密钥发送给后端存储节点;
与所述后端存储节点建立RDMA连接关系;
基于所述RDMA连接关系,直接与所述后端存储节点进行第一类数据的交互。
2.根据权利要求1所述的数据处理方法,在与所述服务器建立通信连接关系之前,还包括:
在所述终端设备中的RDMA堆栈进行RDMA内存注册,以获得所述RDMA地址信息以及所述RDMA远程通信密钥。
3.根据权利要求1所述的数据处理方法,与服务器建立通信连接关系,包括:
基于第一指令,与所述服务器进行协商连接,以实现与所述服务器之间能够实现第二类数据的交互,所述第二类数据包括所述RDMA地址信息以及所述RDMA远程通信密钥。
4.根据权利要求1所述的数据处理方法,与所述后端存储节点建立RDMA连接关系,包括:
基于相同的所述RDMA地址信息以及所述RDMA远程通信密钥,与所述后端存储节点建立RDMA连接关系。
5.根据权利要求1所述的数据处理方法,直接与所述后端存储节点进行第一类数据的交互,包括:
基于第二指令,响应所述后端存储节点的第一类数据交互需求,获取来至所述后端存储节点的第一类数据或是为所述后端存储节点提供第一类数据。
6.根据权利要求1所述的数据处理方法,所述后端存储节点在与所述终端设备完成所述第一类数据交互后,向所述服务器发送第一通知消息,所述服务器基于所述第一通知消息生成第二通知消息;
所述数据处理方法还包括:
基于所述通信连接关系,获取所述第二通知消息,以表征所述后端存储节点与所述终端设备的数据交互完成。
7.根据权利要求1-6任一项所述的数据处理方法,所述第一类数据为与所述终端设备中应用程序相关的程序数据。
8.一种终端设备,所述终端设备包括:
存储器,所述存储器用于存储RDMA地址信息以及RDMA远程通信密钥;
通信模组,所述通信模组用于使得所述终端设备与其他设备进行通信;
处理器,所述处理器用于通过所述通信模组与服务器建立通信连接关系,基于所述通信连接关系,将所述RDMA地址信息以及所述RDMA远程通信密钥通过所述通信模组发送给所述服务器;其中,所述服务器将所述RDMA地址信息以及所述RDMA远程通信密钥发送给后端存储节点;所述处理器还用于通过所述通信模组与所述后端存储节点建立RDMA连接关系,基于所述RDMA连接关系,使得所述存储器直接与所述后端存储节点进行第一类数据的交互。
9.根据权利要求8所述的终端设备,所述处理器用于基于第一指令,通过所述通信模组与所述服务器建立协商连接,以实现与所述服务器之间能够实现第二类数据的交互,所述第二类数据包括所述RDMA地址信息以及所述RDMA远程通信密钥。
10.一种数据处理系统,所述数据处理系统包括:
终端设备、服务器以及后端存储节点;所述终端设备中存储有RDMA地址信息以及RDMA远程通信密钥;
所述服务器与所述终端设备具有通信连接关系,以获取所述RDMA地址信息以及所述RDMA远程通信密钥,并将所述RDMA地址信息以及所述RDMA远程通信密钥发送给所述后端存储节点;
所述后端存储节点基于所述RDMA地址信息以及所述RDMA远程通信密钥与所述终端设备建立RDMA连接关系,基于所述RDMA连接关系,所述后端存储节点直接与所述终端设备进行第一类数据的交互。
CN201911377633.3A 2019-12-27 2019-12-27 终端设备及其数据处理方法以及数据处理系统 Active CN111131470B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911377633.3A CN111131470B (zh) 2019-12-27 2019-12-27 终端设备及其数据处理方法以及数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911377633.3A CN111131470B (zh) 2019-12-27 2019-12-27 终端设备及其数据处理方法以及数据处理系统

Publications (2)

Publication Number Publication Date
CN111131470A true CN111131470A (zh) 2020-05-08
CN111131470B CN111131470B (zh) 2021-10-22

Family

ID=70504036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911377633.3A Active CN111131470B (zh) 2019-12-27 2019-12-27 终端设备及其数据处理方法以及数据处理系统

Country Status (1)

Country Link
CN (1) CN111131470B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025013A (zh) * 2021-09-30 2022-02-08 联想(北京)有限公司 一种信息处理方法、装置及设备
CN115118471A (zh) * 2022-06-16 2022-09-27 深圳市欢太科技有限公司 远程连接方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108305065A (zh) * 2018-01-24 2018-07-20 阿里巴巴集团控股有限公司 数据处理方法、终端设备和数据处理系统
US20190187916A1 (en) * 2014-07-30 2019-06-20 Excelero Storage Ltd. System and method for improved rdma techniques for multi-host network interface controllers
CN110191194A (zh) * 2019-06-13 2019-08-30 华中科技大学 一种基于rdma网络的分布式文件系统数据传输方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190187916A1 (en) * 2014-07-30 2019-06-20 Excelero Storage Ltd. System and method for improved rdma techniques for multi-host network interface controllers
CN108305065A (zh) * 2018-01-24 2018-07-20 阿里巴巴集团控股有限公司 数据处理方法、终端设备和数据处理系统
CN110191194A (zh) * 2019-06-13 2019-08-30 华中科技大学 一种基于rdma网络的分布式文件系统数据传输方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025013A (zh) * 2021-09-30 2022-02-08 联想(北京)有限公司 一种信息处理方法、装置及设备
CN115118471A (zh) * 2022-06-16 2022-09-27 深圳市欢太科技有限公司 远程连接方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111131470B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
US10592464B2 (en) Methods for enabling direct memory access (DMA) capable devices for remote DMA (RDMA) usage and devices thereof
US5227778A (en) Service name to network address translation in communications network
CN106533932B (zh) 一种用于推送即时消息的方法和装置
US9401885B2 (en) Data push service method and system using data pull model
US20120240184A1 (en) System and method for on the fly protocol conversion in obtaining policy enforcement information
CN102271165B (zh) 互联网搜索资源的分享管理装置及方法
US20100174806A1 (en) Data Processing Method, Apparatus And System
CN107547623B (zh) 应用数据传输方法、装置、应用服务器和应用代理服务器
CN103781055A (zh) 一种数据下载方法及相关设备
US20150088995A1 (en) Method and apparatus for sharing contents using information of group change in content oriented network environment
CN111131470B (zh) 终端设备及其数据处理方法以及数据处理系统
US8583793B2 (en) System and method for providing a hypertext transfer protocol service multiplexer
CN112261094A (zh) 一种报文处理方法及代理服务器
CN107579929B (zh) 一种可靠连接通信队列对的设置方法、系统及相关装置
US7075895B1 (en) System and method for facilitating discovery of network addresses and selected charateristics of computer systems and the like which are connected in digital data networks
CN112769671B (zh) 消息处理方法、装置与系统
US20150026123A1 (en) Size-based data synchronization
CN110909030A (zh) 一种信息处理方法及服务器集群
CN113076281B (zh) 一种Ceph内核客户端进行通信的方法、系统、设备及介质
CN110798495A (zh) 用于在集群架构模式下端到端的消息推送的方法和服务器
CN111787048B (zh) 一种终端设备的连接方法、调度服务器及物联网系统
CN101510872A (zh) 远程用户拨号认证服务客户端、服务器、发送/接收方法
CN109088907B (zh) 文件传递方法及其设备
CN111049915A (zh) 一种容器云下消息队列代理网格及方法
CN105933298B (zh) 用于执行传输控制协议握手的设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant