CN115996153A - 一种数据处理的方法和相关装置 - Google Patents

一种数据处理的方法和相关装置 Download PDF

Info

Publication number
CN115996153A
CN115996153A CN202111216222.3A CN202111216222A CN115996153A CN 115996153 A CN115996153 A CN 115996153A CN 202111216222 A CN202111216222 A CN 202111216222A CN 115996153 A CN115996153 A CN 115996153A
Authority
CN
China
Prior art keywords
target
die
network card
card device
session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111216222.3A
Other languages
English (en)
Inventor
张珮文
钟舟
梁家琦
马宙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111216222.3A priority Critical patent/CN115996153A/zh
Priority to PCT/CN2022/125597 priority patent/WO2023066180A1/zh
Publication of CN115996153A publication Critical patent/CN115996153A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请公开了一种数据处理的方法和相关装置,该方法可以应用于网卡设备,网卡设备与M个裸片DIE连接,M为大于1的整数,该方法包括:获取目标会话,目标会话包括目标IP地址,目标IP地址为网卡设备的IP地址;根据目标IP地址以及预设的绑定关系,确定M个DIE中的目标DIE,其中,绑定关系指示目标IP地址对应目标DIE,目标DIE为多个DIE中与网卡设备的物理通信距离最近的N个DIE,N为小于M的正整数;目标会话传递至目标DIE,以便目标DIE执行目标会话。本申请中,网卡设备会将目标会话传递给与其物理通信距离较为接近的DIE去执行,从而提高了网卡设备与DIE之间的通信速度。

Description

一种数据处理的方法和相关装置
技术领域
本申请实施例涉及计算机技术领域,尤其涉及一种数据处理的方法和相关装置。
背景技术
非统一内存访问(non uniform memory access,NUMA)是一种多处理器的计算机内存架构,NUMA架构的计算机设备中的内存访问时间取决于内存相对于处理器的位置。采用NUMA架构的计算机系统通常包括多个NUMA,每个NUMA包括多个裸片(Die),每个Die节点由多个处理器核和存储器构成。不同处理器核访问不同存储器所花费的时长并不相同,其中,每个Die中的处理器核访问本节点内的存储器所需要的时间,比访问其他Die上的存储器所花费的时间要少。
关于上述处理器核与存储器之间的访问机制,映射到计算机设备中网卡设备与处理器核之间的访问机制也是一样的。因此,该网卡设备访问物理通信距离最近的Die所花费的时间最短,而访问其他NUMA中(远端)的Die时所花费的时间最长。
因此,一种提高网卡设备与DIE之间的通信速度的方案亟待推出。
发明内容
本申请实施例提供了一种数据处理的方法和相关装置,用于提高网卡设备与DIE之间的通信速度。
第一方面,本申请实施例提供了一种数据处理的方法,数据处理的方法应用于网卡设备,网卡设备与计算机系统中的M个裸片DIE进行连接,M为大于1的整数。首先,在计算机系统通过网卡设备来收发会话之前,需要预先配置网卡设备与计算机系统中各个DIE之间的绑定关系,即将网卡设备与计算机系统中物理通信距离较为接近的DIE进行绑定,在网卡设备确定绑定关系后,则网卡设备所获取的会话(session)只会传递给所绑定的DIE上去执行。
为了更好地实施本申请实施例的方案,计算机系统可以配置多张网卡设备,每张网卡设备各自绑定不同的物理通信距离较为接近的DIE,并且每张网卡设备都可以采用本申请的数据处理方法,从而改变网卡设备与各个裸片之间的访问机制。以计算机系统配置两张网卡设备(网卡设备1和网卡设备2)为例,其中,每张网卡设备绑定与自身物理通信距离较为接近的DIE。
本申请实施例中,通过为各个网卡设备绑定相应的DIE,从而得到各个IP地址与DIE之间的绑定关系。在建立上述预设的绑定关系之后,计算机系统便可以实施本申请实施例中的数据处理方法。其中,网卡设备获取到目标会话,目标会话包括目标IP地址,该目标IP地址为网卡设备对应的IP地址。
由于计算机系统中包括了M个DIE,而本申请实施例中,在上述绑定关系的建立时,会将与网卡设备的物理通信距离最近的N个DIE绑定为该网卡设备的目标DIE,N为小于M的正整数,其中,网卡设备与DIE之间的物理通信距离,指的是网卡设备与DIE之间的物理连接线的长度。
因此,在网卡设备获取到会话(session)之后,便可以根据预设的绑定关系,确定M个DIE中的目标DIE。在确定出对应的目标DIE之后,网卡设备便可以将目标会话传递给目标DIE,由目标DIE来执行该目标会话。
通过上述方式,网卡设备会将目标会话传递给与其物理通信距离较为接近的DIE去执行,从而提高了网卡设备与DIE之间的通信速度。
在一种可能的实现中,本申请实施例中,并不限定计算机系统中DIE的数量(M)和被配置为网卡设备的目标DIE的数量(N),在本申请实施例的绑定关系中,只需要N为小于M的正整数即可,例如可以选定与该网卡设备的物理通信距离最近的2个DIE或1个DIE为目标DIE。示例性的,计算机系统配置了4个DIE(M=4),则可以将其中与网卡设备的物理通信距离最接近的2个DIE(N=2)确定为目标DIE,或者,也可以将其中与网卡设备的物理通信距离最接近的1个DIE(N=1)确定为目标DIE。
示例性的,在实际应用中,一般来说计算机系统中会将两个DIE配置为一个NUMA,则若本申请中选定与网卡设备的物理通信距离最近的2个DIE为目标DIE时(即N=2),这两个目标DIE是处于同一个NUMA中的,换句话说,在这种示例下,与该网卡设备的物理通信距离最近的NUMA中的DIE即为目标DIE。
示例性的,本申请中也可以选定网卡设备的物理通信距离最近的1个DIE为目标DIE(即N=1),因此,目标DIE即为计算机系统中与该网卡设备的物理通信距离最近,通信速度最快的DIE。
在一种可能的实现中,计算机系统中的内存和DIE可以部署为NUMA系统,而每个DIE上运行有一个非统一内存访问NUMA节点。
在一种可能的实现中,目标会话包括待执行数据,目标DIE在获取到来自网卡设备的目标会话后,目标DIE可以根据目标会话获取待运行的目标进程,然后利用目标进程执行待执行数据。示例性的,目标会话可以是云计算领域中由客户端设备向服务器端设备所发起的,客户端设备请求访问服务器端设备中的待执行数据,则服务器端设备通过网卡设备获取到该目标会话后,通过该目标会话确定出目标进程,利用目标进程执行该待执行数据,从而实现客户端服务器对于该待执行数据的访问。
第二方面,本申请实施例提供了一种计算机系统,计算机系统包括网卡设备和M个裸片DIE,网卡设备与M个裸片DIE连接,M为大于1的整数;其中,
网卡设备,用于获取目标会话,目标会话包括目标IP地址,目标IP地址为网卡设备的IP地址;根据目标IP地址以及预设的绑定关系,确定M个DIE中的目标DIE,其中,绑定关系指示目标IP地址对应目标DIE,目标DIE为多个DIE中与网卡设备的物理通信距离最近的N个DIE,N为小于M的正整数;将目标会话传递至目标DIE;
目标DIE,用于执行目标会话。
本方面所示实施例的信息交互和执行过程等内容,与第一方面所示的实施例基于同一构思,因此,本方面所示的有益效果的说明,请详见上述第一方面所示,具体此处不做赘述。
在一种可能的实现中,目标DIE在执行目标会话时,具体用于:
获取多个线程,以及每个线程的资源空闲信息;
根据资源空闲信息,利用多个线程中资源空闲程度最大的线程执行目标会话。
本实施例中,目标DIE采用当前资源空闲程度最大的线程来执行目标会话,从而提高了资源利用的效率,实现了计算资源的平衡。
在一种可能的实现中,资源空闲信息包括每个线程所执行的会话数量,资源空闲程度与会话数量负相关。本实施例中,以线程所执行的会话数量来量化线程的资源空闲程度,提高了资源管理的效率。
在一种可能的实现中,N等于1或2。
在一种可能的实现中,每个DIE上运行有一个非统一内存访问NUMA节点。
基于第二方面,一种可选的实施方式中,目标会话包括待执行数据,目标DIE在获取到来自网卡设备的目标会话后,目标DIE可以根据目标会话获取待运行的目标进程,然后利用目标进程执行待执行数据。
第三方面,本申请实施例提供了一种网卡设备,网卡设备与M个裸片DIE连接,M为大于1的整数,网卡设备包括:
获取单元,用于获取目标会话,目标会话包括目标IP地址,目标IP地址为网卡设备的IP地址;
确定单元,用于根据目标IP地址以及预设的绑定关系,确定M个DIE中的目标DIE,其中,绑定关系指示目标IP地址对应目标DIE,目标DIE为多个DIE中与网卡设备的物理通信距离最近的N个DIE,N为小于M的正整数;
传递单元,用于将目标会话传递至目标DIE,以便目标DIE执行目标会话。
本方面所示实施例的信息交互和执行过程等内容,与第一方面所示的实施例基于同一构思,因此,本方面所示的有益效果的说明,请详见上述第一方面所示,具体此处不做赘述。
在一种可能的实现中,N等于1或2。
在一种可能的实现中,每个DIE上运行有一个非统一内存访问NUMA节点。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行上述任一方面所述的数据处理的方法。
第五方面,本申请实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,当其在计算机上运行时,使得计算机执行上述任一方面所述的数据处理的方法。
本申请实施例中提供了一种数据处理的方法和相关装置,该方法应用于网卡设备,网卡设备与M个裸片DIE连接,M为大于1的整数,该方法包括:获取目标会话,目标会话包括目标IP地址,目标IP地址为网卡设备的IP地址;根据目标IP地址以及预设的绑定关系,确定M个DIE中的目标DIE,其中,绑定关系指示目标IP地址对应目标DIE,目标DIE为多个DIE中与网卡设备的物理通信距离最近的N个DIE,N为小于M的正整数;目标会话传递至目标DIE,以便目标DIE执行目标会话。通过上述方式,网卡设备会将目标会话传递给与其物理通信距离较为接近的DIE去执行,从而提高了网卡设备与DIE之间的通信速度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种NUMA系统100的示意性架构示意图;
图2为一种NUMA架构中两个节点的连接示意图;
图3为现有技术中计算机设备的网卡设备与各个裸片之间的访问机制的逻辑示意图;
图4为本申请实施例中数据处理的方法的流程示意图;
图5为本申请实施例中数据处理的方法的应用场景示意图;
图6为本申请实施例中数据处理方法应用于数据库产品的部署示意图;
图7为本申请实施例中数据库产品的单个节点的系统框架示意图;
图8为本申请实施例中将多个IP地址录入软件应用的流程示意图;
图9为本申请实施例中目标DIE派发目标会话给到线程去执行的流程示意图;
图10为本申请实施例中计算机设备的多个网卡设备与各个裸片之间的访问机制的逻辑示意图;
图11为本申请实施例中数据处理方法的一种可能的应用场景;
图12为本申请实施例提供的一种计算机系统的结构示意图;
图13为本申请实施例提供的一种网卡设备的结构示意图。
具体实施方式
本申请实施例提供了一种数据处理的方法和相关装置,用于提高网卡设备与DIE之间的通信速度。
下面结合本发明实施例中的附图对本发明实施例进行描述。本发明的实施方式部分使用的术语仅用于对本发明的具体实施例进行解释,而非旨在限定本发明。本领域普通技术人员可知,随着技术的发展和新场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面首先介绍一下本申请的应用场景,本申请实施例中的运行进程的方法可以应用于基于NUMA的计算机系统。请参照图1,图1为本申请实施例提供的一种NUMA系统100的示意性架构示意图。其中,在NUMA系统100的架构中,可以为多插槽系统100。如图1中示出的那样,NUMA系统100包括插槽(socket)101a和插槽101b。插槽101a和插槽101b在本文中可被统称为插槽,可以用于安装裸片DIE,其中,每个DIE中包括多个处理器核(centralprocessing unit core,CPU core)。插槽可以通过互联(interconnect)104彼此通信地耦合。示例性的,每个插槽可经由点对点快速路径互连(quick path interconnect,QPI)链路来连接至其他插槽中的每一个。需要说明的是,QPI是一种互连架构,本申请实施例中各个插槽之间的互联还可以通过其他互连架构实现,诸如其他点对点架构、环架构以及总线架构,这里并不限定。NUMA系统100中所描绘插槽的数量仅为一种示例,并且本领域技术人员将理解,可存在不同数量的插槽。例如,NUMA系统100可包括诸如,六个、四个或更少数量的插槽,又或者NUMA系统100可以包括诸如,十六个、三十二个或更多数量的插槽。
插槽可以包括多个DIE,每个DIE对应一个NUMA节点,每个节点有自己的CPU core和内存,节点和节点之间通过互联104进行连接和通信,如图1中示出的那样,插槽101a包括节点102a和节点102b,插槽101b包括节点103a和节点103b,每个节点包括一个内存和多个CPU core(图中未示出)。需要说明的是,NUMA系统100中所描绘的节点和CPU core的数量仅为一种示例,并且本领域技术人员将理解,每个插槽可以包括其他数量的节点,每个节点可以包括其他数量的CPU core。
针对于对每个节点内的CPU core而言,它访问的内存存在两种距离:一种是本节点内的内存,即近端内存;另一种是其他节点内的内存,即远端内存。参照图2,图2为一种NUMA架构中两个节点的连接示意图,如图2中示出的那样,当节点201上的CPU core访问节点202上的内存(远端访问)时,需要通过互联104进行传输,而节点201上的CPU core访问节点201自己内存(近端访问)则只需要通过内存通道进行访问,远端访问所需的时间明显大于近端访问所需的时间。
关于上述处理器核与内存之间的访问机制,映射到计算机设备中网卡设备与处理器核之间的访问机制也是一样的。因此,该网卡设备访问物理通信距离最近的Die所花费的时间最短,而访问其他NUMA中(远端)的Die时所花费的时间最长。
为了便于理解,请参阅图3,图3为现有技术中计算机设备的网卡设备与各个裸片之间的访问机制的逻辑示意图。如图3所示,以网卡设备接收到来自外部输入的会话(session)为例,由于该网卡设备与计算机设备的各个DIE都建立了通信,因此,网卡设备获取到会话(session)之后,可以将该会话派发到任意DIE上来执行。而图3中该网卡设备与NUMA1中的DIE的物理通信距离最为相近,若网卡设备将会话派发到其他NUMA上的DIE来执行时,则需要花费较长的访问时间。
有鉴于此,本申请实施例提供了一种数据处理的方法和相关装置,用于提高网卡设备与DIE之间的通信速度。接下来结合附图对本申请实施例中的数据处理的方法进行介绍。请参阅图4,图4为本申请实施例中数据处理的方法的流程示意图,如图4所示,本申请实施例中数据处理的方法包括:
301.网卡设备获取目标会话;
本申请提供的数据处理的方法应用于网卡设备,网卡设备与计算机系统中的M个裸片DIE进行连接,M为大于1的整数。计算机系统中的内存和DIE可以部署为NUMA系统,而每个DIE上运行有一个非统一内存访问NUMA节点。例如图1中示出了4个裸片DIE,则对应运行有4个NUMA节点。
本申请实施例中,在计算机系统通过网卡设备来收发会话之前,需要预先配置网卡设备与计算机系统中各个DIE之间的绑定关系,即将网卡设备与计算机系统中物理通信距离较为接近的DIE进行绑定,在网卡设备确定绑定关系后,则网卡设备所获取的会话(session)只会传递给所绑定的DIE上去执行。示例性的,若网卡设备的位置与图1中插槽101a中的裸片102a和裸片102b的物理通信距离较为接近,而与图1中插槽101b中的裸片103a和裸片103b的物理通信距离较为疏远,则可以将该网卡设备与图1中插槽101a中的裸片102a和裸片102b进行绑定,则网卡设备所获取的会话(session)便不会传递给未绑定的插槽101a中的裸片102a和裸片102b来执行,避免了网卡设备访问与其通信距离较为疏远的裸片,提高了通信的效率。
进一步的,为了更好地实施本申请实施例的方案,计算机系统可以配置多张网卡设备,每张网卡设备各自绑定不同的物理通信距离较为接近的DIE,并且每张网卡设备都可以采用本申请的数据处理方法,从而改变网卡设备与各个裸片之间的访问机制。以计算机系统配置两张网卡设备(网卡设备1和网卡设备2)为例,其中,每张网卡设备绑定与自身物理通信距离较为接近的DIE。例如,网卡设备1的位置与图1中插槽101a中的裸片102a和裸片102b的物理通信距离最接近,而网卡设备2的位置与图1中插槽101b中的裸片103a和裸片103b的物理通信距离最接近。因此,网卡设备1则与裸片102a和裸片102b进行绑定,通过网卡设备1所获取的会话(session)则传递给裸片102a和裸片102b进行执行,网卡设备2则与裸片103a和裸片103b进行绑定,通过网卡设备2所获取的会话(session)则传递给裸片103a和裸片103b进行执行。
请参阅图5,图5为本申请实施例中数据处理的方法的应用场景示意图,如图5所示,物理机可以通过配置网卡设备,采用本申请实施例中的数据处理方法来获取其他物理机的会话(session),或者向其他物理机发送会话,具体此处不做限定。
示例性的,以数据库产品为例,请参阅图6,图6为本申请实施例中数据处理方法应用于数据库产品的部署示意图,如图6所示,数据处理方法可以应用于图6中的客户端(client)节点,也可以应用于图6中的服务器(server)节点。进一步的,请参阅图7,图7为本申请实施例中数据库产品的单个节点的系统框架示意图,图7中,Transaction可以指一个事务(在数据库业务中,可指代一个query),经由网卡设备向Java数据库连接(JavaDatabase Connectivity,JBDC)下发会话(session),然后JBDC软件层再将该会话(session)传递给网卡设备所绑定的DIE执行。
应理解,本申请实施例所提供的数据处理的方法,并不限定应用于数据库产品,在实际用中,还可以应用于其他的配置有多个裸片DIE的计算机系统。例如,可以是云存储计算机系统、云计算系统或大数据引擎等产品,具体此处不做限定。
下面,继续以计算机系统配置两张网卡设备为例,介绍计算机系统如何实现同时采用多张网卡设备来实施本申请所提供的数据处理方法。
首先,需要为操作系统(operating system,OS)配置ip路由对每个网卡的IP地址进行ip table的绑定。
具体的,系统初始化对ip link进行修改配置路由,以两张网卡设备对应的IP地址分别为:enp3s0(192.168.6.52)和enp23s0(192.168.10.51)为例,root用户执行:
ip route(查看当前的路由配置,是否配置多个网络IP)。
ip route add 192.168.6.0/24dev enp3s0 proto kernel scope link src192.168.6.52table 111(配置enp3s0网卡的ip:192.168.6.52到192.168.6.0网段,iptable编号111)。其中table#可从1-252中自定义。
ip route add 192.168.10.0/24dev enp23s0 proto kernel scope linksrc192.168.10.51table 112(配置enp23s0网卡的ip:192.168.10.51到192.168.10.0网段,ip table编号112)。其中table#可从1-252中自定义。
ip rule add from 192.168.6.52/32table 111(为192.168.6.52的ip table111增加规则)。
ip rule add from 192.168.10.51/32table 112(为192.168.10.51的ip table112增加规则)。
ip route show table 111(查看ip table 111的基本信息)。
ip route show table 112(查看ip table 111的基本信息)。
接下来,以数据库软件为例,还需要在软件层初始化阶段读取各个IP地址,通过index绑定IP与对应DIE。具体请参阅图8,图8为本申请实施例中将多个IP地址录入软件应用的流程示意图。其中,Main函数为软件层的主函数;PostmasterMain函数则为初始化函数,用于执行各节点基本信息的建连;Set_multiplu_nic_ip函数则用于新增全局变量(g_nic_list),记录所有的IP地址。
进一步的,还需要为各个网卡设备绑定相应的DIE,从而得到各个IP地址与DIE之间的绑定关系。在建立上述预设的绑定关系之后,计算机系统便可以实施本申请实施例中的数据处理方法。其中,网卡设备获取到目标会话,目标会话包括目标IP地址,该目标IP地址为网卡设备对应的IP地址。
302.网卡设备根据目标IP地址以及预设的绑定关系,确定M个DIE中的目标DIE;
计算机系统中包括了M个DIE,而本申请实施例中,在上述绑定关系的建立时,会将与网卡设备的物理通信距离最近的N个DIE绑定为该网卡设备的目标DIE,N为小于M的正整数,其中,网卡设备与DIE之间的物理通信距离,指的是网卡设备与DIE之间的物理连接线的长度。示例性的,若网卡设备的物理位置位于图1中插槽101a相近的位置,则网卡设备与图1中插槽101a中的裸片102a和裸片102b的物理通信距离较为接近,而与图1中插槽101b中的裸片103a和裸片103b的物理通信距离较为疏远。针对于该网卡设备,可以将裸片102a和裸片102b确定为网卡设备的目标DIE。
需要说明的是,本申请中,并不限定计算机系统中DIE的数量(M)和被配置为网卡设备的目标DIE的数量(N),在本申请实施例的绑定关系中,只需要N为小于M的正整数即可,例如可以选定与该网卡设备的物理通信距离最近的2个DIE或1个DIE为目标DIE。示例性的,计算机系统配置了4个DIE(M=4),则可以将其中与网卡设备的物理通信距离最接近的2个DIE(N=2)确定为目标DIE,或者,也可以将其中与网卡设备的物理通信距离最接近的1个DIE(N=1)确定为目标DIE。
示例性的,在实际应用中,一般来说计算机系统中会将两个DIE配置为一个NUMA,则若本申请中选定与网卡设备的物理通信距离最近的2个DIE为目标DIE时(即N=2),这两个目标DIE是处于同一个NUMA中的,换句话说,在这种示例下,与该网卡设备的物理通信距离最近的NUMA中的DIE即为目标DIE。
示例性的,本申请中也可以选定网卡设备的物理通信距离最近的1个DIE为目标DIE(即N=1),因此,目标DIE即为计算机系统中与该网卡设备的物理通信距离最近,通信速度最快的DIE。
因此,在步骤301获取到会话(session)之后,便可以根据预设的绑定关系,确定M个DIE中的目标DIE。
303.网卡设备将目标会话传递至目标DIE;
网卡设备在确定出对应的目标DIE之后,便可以将目标会话传递给目标DIE,由目标DIE来执行该目标会话,即执行步骤304。
304.目标DIE执行目标会话;
目标会话包括待执行数据,目标DIE在获取到来自网卡设备的目标会话后,目标DIE可以根据目标会话获取待运行的目标进程,然后利用目标进程执行所述待执行数据。
示例性的,目标会话可以是云计算领域中由客户端设备向服务器端设备所发起的,客户端设备请求访问服务器端设备中的待执行数据,则服务器端设备通过网卡设备获取到该目标会话后,通过该目标会话确定出目标进程,利用目标进程执行该待执行数据,从而实现客户端服务器对于该待执行数据的访问。
计算机系统中,每个DIE运行有包括多个CPU core,而CPU core都可以运行多个线程(thread),线程(thread)是操作系统可以进行运算调度的最小单位。目标DIE在获取到来自网卡设备的目标会话后,需要将该目标会话分配给目标DIE中的线程来执行。
具体的,本申请实施例中,为目标DIE提供了将目标会话派发给到各个线程(thread)的运算逻辑。请参阅图9,图9为本申请实施例中目标DIE派发目标会话给到线程去执行的流程示意图。如图9所示,由main函数调起软件进程后,进入数据库通信主函数(PostmasterMain),其中的SeverLoop函数负责对所有节点循环初始化以及建立连接。在上述过程完毕后吗,进入目标会话的派发流程(DispatchSession函数),接下来本申请新增了FindThreadGroupWithIP函数,来实现目标会话与线程(thread)的绑定。在FindThreadGroupWithIP函数中,遵循“最闲分配”的原则,即目标DIE需要获取目标DIE中的多个线程,以及每个线程的资源空闲信息。目标DIE在掌握各个线程的资源空闲信息后,利用多个线程中资源空闲程度最大的线程来执行该目标会话。本实施例中,目标DIE采用当前资源空闲程度最大的线程来执行目标会话,从而提高了资源利用的效率,实现了计算资源的平衡。
进一步的,该资源空闲信息包括每个线程当前正在执行的会话的数量,线程的资源空闲程度则与该线程所执行的会话数量负相关,即线程执行的会话数量越少,则说明该线程的资源空闲程度越高,换句话说,目标DIE会通过FindThreadGroupWithIP函数,选出当前执行会话最少的线程,来执行目标会话。通过上述方式,以线程所执行的会话数量来量化线程的资源空闲程度,提高了资源管理的效率。
为了便于理解,请参阅图10,图10为本申请实施例中计算机设备的多个网卡设备与各个裸片之间的访问机制的逻辑示意图。如图10所示,网卡1与NUMA 1中的DIE的物理通信距离最近,而网卡N与NUMA N中的DIE的物理通信距离最近。因此,网卡1所获取的会话,只会下发给到NUMA1中的DIE,而网卡N所获取的会话,只会下发给到NUMAN中的DIE。下发的目标会话,最终会绑定到最空闲的线程上来执行。
本申请实施例所提供的方法适用于任意的配置有网卡设备的计算机系统,请参阅图11,图11为本申请实施例中数据处理方法的一种可能的应用场景。如图11所示,节点1位客户端节点,节点2为服务器节点,本申请所提供的数据处理方法都可以适用于图中的客户端节点或者服务器节点。
经过业务处理系统(transaction processing performance council,TPCC)实验测试,对于单机集中式服务器的性能普遍提升了6%至8%,对于32个节点的分布式服务器集群的性能普遍提升了10-12%。并且,服务器中的裸片DIE的数量越多,性能提升效果越明显;服务器中的CPU core的数量越多,性能提升效果越明显。
本申请实施例中提供了一种数据处理的方法,该方法应用于网卡设备,网卡设备与M个裸片DIE连接,M为大于1的整数,该方法包括:获取目标会话,目标会话包括目标IP地址,目标IP地址为网卡设备的IP地址;根据目标IP地址以及预设的绑定关系,确定M个DIE中的目标DIE,其中,绑定关系指示目标IP地址对应目标DIE,目标DIE为多个DIE中与网卡设备的物理通信距离最近的N个DIE,N为小于M的正整数;目标会话传递至目标DIE,以便目标DIE执行目标会话。通过上述方式,网卡设备会将目标会话传递给与其物理通信距离较为接近的DIE去执行,从而提高了网卡设备与DIE之间的通信速度。
在图4所对应的实施例的基础上,为了更好的实施本申请实施例的上述方案,下面还提供用于实施上述方案的相关设备。具体请参阅图12,图12为本申请实施例提供的一种计算机系统的结构示意图。如图12所示,计算机系统400包括网卡设备401和目标裸片402;
网卡设备401与M个裸片DIE连接,M为大于1的整数;网卡设备401,用于获取目标会话,目标会话包括目标IP地址,目标IP地址为网卡设备的IP地址;根据目标IP地址以及预设的绑定关系,确定M个DIE中的目标DIE,其中,绑定关系指示目标IP地址对应目标裸片402,目标裸片402为多个DIE中与网卡设备的物理通信距离最近的N个DIE,N为小于M的正整数;将目标会话传递至目标裸片402;
目标裸片402,用于执行目标会话。
在一种可能的设计中,目标裸片402在执行目标会话时,具体用于,获取多个线程中每个线程的资源空闲信息,资源空闲信息用于指示资源空闲程度;
根据资源空闲信息,利用多个线程中所述资源空闲程度最大的目标线程执行目标会话。
在一种可能的设计中,资源空闲信息包括每个线程所执行的会话数量,资源空闲程度与会话数量负相关。
在一种可能的设计中,N等于1或2。
在一种可能的设计中,每个DIE上运行有一个非统一内存访问NUMA节点。
在一种可能的设计中,目标会话包括待执行数据,目标裸片402在执行目标会话时,具体用于:
根据所述目标会话,确定目标进程,并利用所述目标进程执行所述待执行数据。
需要说明的是,计算机设备中各模块/单元之间的信息交互、执行过程等内容,与本申请中图4的方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
在图4所对应的实施例的基础上,为了更好的实施本申请实施例的上述方案。请参阅图13,图13为本申请实施例提供的一种网卡设备的结构示意图,网卡设备与M个裸片DIE连接,M为大于1的整数,网卡设备包括:
获取单元501,用于获取目标会话,目标会话包括目标IP地址,目标IP地址为网卡设备的IP地址;
确定单元502,用于根据目标IP地址以及预设的绑定关系,确定M个DIE中的目标DIE,其中,绑定关系指示目标IP地址对应目标DIE,目标DIE为多个DIE中与网卡设备的物理通信距离最近的N个DIE,N为小于M的正整数;
传递单元503,用于将目标会话传递至目标DIE,以便目标DIE执行目标会话。
在一种可能的设计中,N等于1或2。
在一种可能的设计中,每个DIE上运行有一个非统一内存访问NUMA节点。
需要说明的是,计算机设备中各模块/单元之间的信息交互、执行过程等内容,与本申请中图4的方法实施例基于同一构思,具体内容可参见本申请前述所示的方法实施例中的叙述,此处不再赘述。
本申请实施例中还提供一种包括计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图4所示实施例描述的方法中服务器所执行的步骤。
本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有用于进行信号处理的程序,当其在计算机上运行时,使得计算机执行如前述图4所示实施例描述的方法中服务器所执行的步骤。
所另外需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本申请提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现,当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下,凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现,而且,用来实现同一功能的具体硬件结构也可以是多种多样的,例如模拟电路、数字电路或专用电路等。但是,对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在可读取的存储介质中,如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,训练设备,或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(Solid State Disk,SSD))等。

Claims (15)

1.一种数据处理的方法,其特征在于,所述方法应用于网卡设备,所述网卡设备与M个裸片DIE连接,M为大于1的整数,所述方法包括:
获取目标会话,所述目标会话包括目标IP地址,所述目标IP地址为所述网卡设备的IP地址;
根据所述目标IP地址以及预设的绑定关系,确定所述M个DIE中的目标DIE,其中,所述绑定关系指示所述目标IP地址对应所述目标DIE,所述目标DIE为所述多个DIE中与所述网卡设备的物理通信距离最近的N个DIE,N为小于M的正整数;
将所述目标会话传递至所述目标DIE,以便所述目标DIE执行所述目标会话。
2.根据权利要求1所述的方法,其特征在于,所述N等于1或2。
3.根据权利要求1或2所述的方法,其特征在于,每个DIE上运行有一个非统一内存访问NUMA节点。
4.根据权利要求1至3任一所述的方法,其特征在于,所述目标会话包括待执行数据,所述目标DIE执行所述目标会话,包括:
所述目标DIE根据所述目标会话,确定目标进程,并利用所述目标进程执行所述待执行数据。
5.一种计算机系统,其特征在于,所述计算机系统包括网卡设备和M个裸片DIE,所述网卡设备与所述M个裸片DIE连接,所述M为大于1的整数;其中,
所述网卡设备,用于获取目标会话,所述目标会话包括目标IP地址,所述目标IP地址为所述网卡设备的IP地址;
根据所述目标IP地址以及预设的绑定关系,确定所述M个DIE中的目标DIE,其中,所述绑定关系指示所述目标IP地址对应所述目标DIE,所述目标DIE为所述多个DIE中与所述网卡设备的物理通信距离最近的N个DIE,N为小于M的正整数;
将所述目标会话传递至所述目标DIE;
所述目标DIE,用于执行所述目标会话。
6.根据权利要求5所述的计算机系统,其特征在于,所述目标DIE在执行所述目标会话时,具体用于:
获取多个线程中每个线程的资源空闲信息,所述资源空闲信息用于指示资源空闲程度;
根据所述资源空闲信息,利用所述多个线程中所述资源空闲程度最大的目标线程执行所述目标会话。
7.根据权利要求6所述的计算机系统,其特征在于,所述资源空闲信息包括每个线程所执行的会话数量,所述资源空闲程度与所述会话数量负相关。
8.根据权利要求5、6或7所述的计算机系统,其特征在于,所述N等于1或2。
9.根据权利要求5、6或7所述的计算机系统,其特征在于,每个DIE上运行有一个非统一内存访问NUMA节点。
10.根据权利要求5至9中任一项所述的计算机系统,其特征在于,所述目标会话包括待执行数据,所述目标DIE在执行所述目标会话时,具体用于:
根据所述目标会话,确定目标进程,并利用所述目标进程执行所述待执行数据。
11.一种网卡设备,其特征在于,所述网卡设备与M个裸片DIE连接,M为大于1的整数,所述网卡设备包括:
获取单元,用于获取目标会话,所述目标会话包括目标IP地址,所述目标IP地址为所述网卡设备的IP地址;
确定单元,用于根据所述目标IP地址以及预设的绑定关系,确定所述M个DIE中的目标DIE,其中,所述绑定关系指示所述目标IP地址对应所述目标DIE,所述目标DIE为所述多个DIE中与所述网卡设备的物理通信距离最近的N个DIE,N为小于M的正整数;
传递单元,用于将所述目标会话传递至所述目标DIE,以便所述目标DIE执行所述目标会话。
12.根据权利要求11所述的网卡设备,其特征在于,所述N等于1或2。
13.根据权利要求11所述的网卡设备,其特征在于,每个DIE上运行有一个非统一内存访问NUMA节点。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的方法。
15.一种计算机程序产品,其特征在于,所述计算机程序产品中存储有计算机可读指令,当所述计算机可读指令被处理器执行时实现如权利要求1至4中任一项所述的方法。
CN202111216222.3A 2021-10-19 2021-10-19 一种数据处理的方法和相关装置 Pending CN115996153A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111216222.3A CN115996153A (zh) 2021-10-19 2021-10-19 一种数据处理的方法和相关装置
PCT/CN2022/125597 WO2023066180A1 (zh) 2021-10-19 2022-10-17 一种数据处理的方法和相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111216222.3A CN115996153A (zh) 2021-10-19 2021-10-19 一种数据处理的方法和相关装置

Publications (1)

Publication Number Publication Date
CN115996153A true CN115996153A (zh) 2023-04-21

Family

ID=85989108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111216222.3A Pending CN115996153A (zh) 2021-10-19 2021-10-19 一种数据处理的方法和相关装置

Country Status (2)

Country Link
CN (1) CN115996153A (zh)
WO (1) WO2023066180A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184960A (ja) * 2014-03-25 2015-10-22 日本電気株式会社 情報処理システム及び制御方法、並びにコンピュータ・プログラム
WO2018032519A1 (zh) * 2016-08-19 2018-02-22 华为技术有限公司 一种资源分配方法、装置及numa系统
CN111884945B (zh) * 2020-06-10 2022-09-02 中国电信股份有限公司重庆分公司 一种网络报文的处理方法和网络接入设备
CN112363833B (zh) * 2020-11-10 2023-01-31 海光信息技术股份有限公司 一种网络数据包的内存分配方法、装置及相关设备

Also Published As

Publication number Publication date
WO2023066180A1 (zh) 2023-04-27

Similar Documents

Publication Publication Date Title
US20240168823A1 (en) Computer cluster arrangement for processing a computation task and method for operation thereof
US9558041B2 (en) Transparent non-uniform memory access (NUMA) awareness
US9485310B1 (en) Multi-core storage processor assigning other cores to process requests of core-affined streams
US7500067B2 (en) System and method for allocating memory to input-output devices in a multiprocessor computer system
EP3267322B1 (en) Scalable direct inter-node communication over peripheral component interconnect-express (pcie)
CN109240832B (zh) 一种硬件重构系统及方法
WO2016065643A1 (zh) 一种网卡配置方法及资源管理中心
CN111158909B (zh) 集群资源分配处理方法、装置、设备及存储介质
CN110990154B (zh) 一种大数据应用优化方法、装置及存储介质
CN107315697A (zh) 用于减少管理端口的计算机可读取存储装置、系统及方法
CN111078516A (zh) 分布式性能测试方法、装置、电子设备
WO2023155785A1 (zh) 一种网卡配置方法、装置、设备及存储介质
US11635981B2 (en) Virtualizing shared computing resources
JP2020035453A (ja) I/oステアリングエンジンを備えるシステムオンチップ
WO2023020010A1 (zh) 一种运行进程的方法及相关设备
JP2023511467A (ja) 機械学習ワークロードのためのタスクスケジューリング
Guleria et al. EMF: Disaggregated GPUs in datacenters for efficiency, modularity and flexibility
CN112202600B (zh) 一种多节点单主机与多主机通信自动切换装置及方法
CN115996153A (zh) 一种数据处理的方法和相关装置
WO2022063273A1 (zh) 一种基于numa属性的资源分配方法及装置
CN107967165B (zh) 基于lvm的虚拟机离线迁移方法
CN117632457A (zh) 一种加速器调度方法及相关装置
CN114546654A (zh) 一种不同架构之间cpu调用的方法、装置及互联设备
CN114428757A (zh) 一种架构可重构的计算装置及其重构方法
CN113608861A (zh) 一种软件化载荷计算资源虚拟化分配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination