CN117938849A - 传输通道管理方法、数据传输方法、管理设备及计算设备 - Google Patents
传输通道管理方法、数据传输方法、管理设备及计算设备 Download PDFInfo
- Publication number
- CN117938849A CN117938849A CN202311695403.8A CN202311695403A CN117938849A CN 117938849 A CN117938849 A CN 117938849A CN 202311695403 A CN202311695403 A CN 202311695403A CN 117938849 A CN117938849 A CN 117938849A
- Authority
- CN
- China
- Prior art keywords
- target
- computing device
- storage space
- transmission channel
- cxl
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 341
- 238000007726 management method Methods 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 100
- 230000015654 memory Effects 0.000 claims description 94
- 238000004891 communication Methods 0.000 claims description 53
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000012546 transfer Methods 0.000 description 7
- 239000000872 buffer Substances 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000004064 recycling Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000013403 standard screening design Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Computer And Data Communications (AREA)
Abstract
本申请公开了传输通道管理方法、数据传输方法、管理设备及计算设备,涉及计算机技术领域,能够灵活管理和配置传输通道,提高集群的整体性能。方法包括:管理单元接收第一计算设备发送的传输通道建立请求;该请求用于请求为第一计算设备与目标计算设备之间建立传输通道,目标计算设备为多个计算设备中除第一计算设备外的任意计算设备;从CXL存储空间的可用存储空间中确定目标存储空间;目标存储空间用作第一计算设备与目标计算设备之间的目标传输通道;分别向第一计算设备和目标计算设备发送第一指示信息;第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及传输通道管理方法、数据传输方法、管理设备及计算设备。
背景技术
随着科技的快速发展,从大数据到人工智能训练集群,以及面向高性能计算的集群的规模也逐步扩展。当集群中服务器的数量逐步增加时,服务器之间的数据传输的速度影响着集群的整体性能。
相关技术中,集群中的多个服务器之间通常通过服务器上安装的网卡进行数据传输。服务器之间通过网卡和传统的网络进行数据传输时,需要使用网络传输协议并进行协议转换,由于网络传输数据时网络带宽和网络传输速度有限,若传输的数据量较大,将存在数据传输速度慢,网络延迟高的问题。因此,通过网卡进行数据传输将限制集群的整体性能。
发明内容
本申请实施例提供了传输通道管理方法、数据传输方法、管理设备及计算设备,能够灵活管理和配置传输通道,提高集群的整体性能。
为实现上述技术目的,本申请实施例采用如下技术方案:
第一方面,本申请实施例提供了一种传输通道管理方法,应用于管理单元,管理单元与多个计算设备通信连接,多个计算设备包括第一计算设备,管理单元用于管理一个或多个CXL存储设备构成的存储空间,方法包括:接收第一计算设备发送的传输通道建立请求;传输通道建立请求用于请求为第一计算设备与目标计算设备建立传输通道,目标计算设备为多个计算设备中除第一计算设备外的任意计算设备;从CXL存储空间的可用存储空间中确定目标存储空间;CXL存储空间所属的CXL存储设备与第一计算设备和目标计算设备均连接,目标存储空间用作第一计算设备与目标计算设备之间的目标传输通道;分别向第一计算设备和目标计算设备发送第一指示信息;第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道。
CXL存储设备具有无限扩容的特点,能够提供较大的存储空间,管理单元在接收到任意计算设备的请求后,从该管理单元所管理的CXL存储空间中分出一部分存储空间作为计算设备的传输通道,计算设备两端即可通过该专属传输通道进行数据传输。由于CXL存储设备与计算设备是通过物理链路连接,因此该方法相比传统的通过网络进行数据传输的方法而言,不需要受限于网络传输速度和带宽,具有传输速度快、带宽高和延迟低的优点。
在一种可能的实现方式中,从CXL存储空间的可用存储空间中确定目标存储空间之前,方法还包括:确定CXL存储空间中与第一计算设备和目标计算设备均连接的目标CXL存储设备;基于目标CXL存储设备确定可用存储空间。
可以理解的是,系统中可能有多个CXL存储设备,需要先确定与第一计算设备和目标计算设备连接的CXL存储设备,再从中确定可用存储空间,以保证目标存储空间能为第一计算设备与目标计算设备传输数据。
在另一种可能的实现方式中,目标计算设备包括一个或多个第二计算设备,这表明一个目标存储空间可以作为第一计算设备与多个第二计算设备之间的传输通道。第一计算设备只需要发送一次目标数据,多个第二计算设备即可从目标存储空间获取目标数据,多个第二计算设备与第一计算设备完成传输数据。
在另一种可能的实现方式中,传输通道建立请求包括需要建立的传输通道的容量信息,从CXL存储空间的可用存储空间中确定目标存储空间,包括:基于需要建立的传输通道的容量,从CXL存储空间的可用存储空间中确定目标存储空间;目标存储空间的存储容量大于或等于需要建立的传输通道的容量。
可以理解的是,传输通道请求中包括需要建立的传输通道的容量信息,能够使得管理单元基于计算设备的需求分配存储空间,既能满足计算设备的需求,也能避免存储空间浪费,进一步的提高后续数据传输速度,降低CXL存储设备的使用成本。
在另一种可能的实现方式中,第一指示信息包括:目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址和目标存储空间的存储容量。
可以理解的是,上述目标传输通道的标识用于表征目标传输通道,第一计算设备的标识和目标计算设备的标识用于表征数据传输两端设备,目标存储空间的地址用于传输数据时将数据写入正确的存储空间,目标存储空间的存储容量用于决定一次传输的数据量。
在另一种可能的实现方式中,管理单元包括数据传输通道表,数据传输通道表用于储存通信关系条目,通信关系条目用于记录CXL存储空间中分配出去作为传输通道的存储空间的信息,通信关系条目包括:传输通道的标识、计算设备的标识、存储空间的地址和存储空间的存储容量;方法还包括:将目标通信关系条目记录在数据传输通道表中,其中,目标通信关系条目包含目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址和目标存储空间的存储容量。
可以理解的是,将包含目标通信关系条目的目标传输通道的信息记录在数据管理通道表中,能够及时记录所分配的目标传输通道,便于管理目标传输通道。另外,数据管理通道表可以记录多个通信关系条目,该管理方法能避免混淆多个传输通道,提高管理效率。
在另一种可能的实现方式中,方法还包括:在接收到第一计算设备或目标计算设备发送的第二指示信息后,回收目标传输通道;第二指示信息用于指示第一计算设备与目标设备之间完成数据传输,归还目标传输通道。
可以理解的是,计算设备之间完成数据传输后,管理单元及时回收分配出去的传输通道,即存储空间,后续可以将该存储空间继续分配给其他有数据传输需求的计算设备,提高存储空间的利用率。及时回收存储空间可以减少CXL存储设备的存储容量配置,降低CXL存储设备的使用成本。
在另一种可能的实现方式中,管理单元包括数据传输通道表,数据传输通道表包括目标通信关系条目,目标通信关系条目包含目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址、和目标存储空间的存储容量;第二指示信息包括目标传输通道的标识,回收目标传输通道,包括:基于目标传输通道的标识,确定数据传输通道表记录的目标通信关系条目中目标存储空间的地址;基于目标存储空间的地址,删除目标存储空间中储存的数据;删除数据传输通道表中记录的目标通信关系条目。
可以理解的是,上述为回收目标存储空间的具体实施过程,该过程操作简单,便于管理单元管理CXL存储设备中的存储空间。
第二方面,本申请实施例提供了一种数据传输方法,方法应用于第一计算设备,第一计算设备为多个计算设备中的任意一个计算设备,多个计算设备与管理单元均与一个或多个CXL存储设备通信连接,管理单元用于管理一个或多个CXL存储设备构成的存储空间,方法包括:在第一计算设备需要与目标计算设备进行数据传输的情况下,向管理单元发送传输通道建立请求;传输通道建立请求用于请求为第一计算设备与目标计算设备建立传输通道,目标计算设备包括一个或多个第二计算设备,第二计算设备为多个计算设备中除第一计算设备外的任意计算设备;接收管理单元发送的第一指示信息;第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道;其中,目标存储空间为CXL存储空间中的可用存储空间,目标存储空间所属的CXL存储设备与第一计算设备和目标计算设备均连接;向目标存储空间中写入目标数据,以使得目标计算设备从目标存储空间获取目标数据。
可以理解的是,第一计算设备和目标计算设备基于管理单元分配的目标存储空间进行数据传输。由于目标存储空间是CXL存储设备中的部分存储空间,而CXL存储设备是与第一计算设备和目标计算设备以物理链路连接,因此,第一计算设备和目标计算设备数据传输时不需要再通过网络通道,避免了对网络传输速度的依赖,降低网络带宽使用成本和网卡等硬件使用成本。而目标存储空间具有无限扩展的特点,具有传输速度快、带宽高和延迟低的优点,能够提高多个计算设备所在的集群的业务处理性能。
另外,本申请实施例中,目标计算设备包括一个或多个第二计算设备,这表明一个目标存储空间可以作为第一计算设备与多个第二计算设备之间的传输通道。第一计算设备只需要发送一次目标数据,多个第二计算设备即可从目标存储空间获取目标数据,多个第二计算设备与第一计算设备完成数据传输。而传统方法中,若第一计算设备需要向多个第二计算设备发送数据,要分别向多个计算设备发送数据,因此,本申请实施例提出的方法能够减少数据传输次数,提高数据传输效率。
第三方面,本申请实施例提供了一种数据传输方法,方法应用于目标计算设备,目标计算设备是多个计算设备中任意一个或多个第二计算设备,多个计算设备与管理单元均与一个或多个CXL存储设备通信连接,管理单元用于管理一个或多个CXL存储设备构成的存储空间,方法包括:接收管理单元发送的第一指示信息;第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道;第一计算设备为多个计算设备中任意一个计算设备,其中,目标存储空间为CXL存储空间中的可用存储空间,目标存储空间所属的CXL存储设备与第一计算设备和目标计算设备均连接;响应于指示消息,从目标存储空间获取第一计算设备发送的目标数据;指示消息用于指示第一计算设备已向目标存储空间写入目标数据,指示消息由第一计算设备发送,或者,由CXL存储设备中的CXL控制器发送。
可以理解的是,第二计算设备在指示消息的指示下,从目标存储空间获取到了第一计算设备发送的目标数据,该方法不需要依赖网络,能够避免网络时延带来的影响,提高第二计算设备所在的集群的业务处理性能。
第四方面,本申请实施例提供一种管理设备,其中,管理设备应用于第一方面或第一方面中任一种可能的实现方式的传输通道管理方法的各个模块。
第五方面,本申请实施例提供一种计算设备,其中,计算设备应用于第二方面或第二方面中任一种可能的实现方式的数据传输方法的各个模块;或者,计算设备应用于第三方面或第三方面中任一种可能的实现方式的数据传输方法的各个模块。
第六方面,本申请实施例提供一种管理设备,包括处理器,处理器与存储器耦合,存储器用于存储程序或指令,当程序或指令被处理器执行时,使得管理设备执行如第一方面及其任一种可能的实现方式的传输通道管理方法。
第七方面,本申请实施例提供一种计算设备,包括存储器和与存储器连接的至少一个处理器,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被至少一个处理器执行时,使得计算设备执行如第二方面及其任一种可能的实现方式的数据传输方法;或者,使得计算设备执行如第三方面及其任一种可能的实现方式的数据传输方法。
第八方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令。其中,当计算机指令在管理设备上运行时,使得该管理设备执行如第一方面及其任一种可能的实现方式的传输通道管理方法;或者,当计算机指令在计算设备上运行时,使得该计算设备执行如第二方面及其任一种可能的实现方式的数据传输方法;或者,当计算机指令在计算设备上运行时,使得该计算设备执行如第三方面及其任一种可能的实现方式的数据传输方法。
第九方面,本申请实施例提供一种计算机程序产品,该计算机程序产品包括计算机指令。其中,当计算机指令在管理设备上运行时,使得该管理设备执行如第一方面及其任一种可能的实现方式的传输通道管理方法;或者,当计算机指令在计算设备上运行时,使得该计算设备执行如第二方面及其任一种可能的实现方式的数据传输方法;或者,当计算机指令在计算设备上运行时,使得该计算设备执行如第三方面及其任一种可能的实现方式的数据传输方法。
本申请实施例中第四方面到第九方面及其各种实现方式的具体描述,可以参考第一方面、第二方面或第三方面及其各种实现方式中的详细描述;并且,第四方面到第九方面及其各种实现方式的有益效果,可以参考第一方面、第二方面或第三方面及其各种实现方式中的有益效果分析,此处不再赘述。
本申请实施例的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
图1为本申请实施例提供的一种传输通道管理方法、数据传输方法涉及的系统架构示意图;
图2为本申请实施例提供的另一种传输通道管理方法、数据传输方法涉及的系统架构示意图;
图3为本申请实施例提供的一种传输通道管理方法的流程图;
图4为本申请实施例提供的另一种传输通道管理方法的流程图;
图5为本申请实施例提供的一种数据传输方法的流程图;
图6为本申请实施例提供的一种管理设备的结构示意图;
图7为本申请实施例提供的一种计算设备的结构示意图;
图8为本申请实施例提供的另一种计算设备的结构示意图;
图9为本申请实施例提供的一种设备的结构示意图。
具体实施方式
为了方便理解,以下先对本申请实施例中涉及的相关术语进行简单介绍:
(1)计算扩展连接(compute express link,CXL)技术是一种新型的高速互联技术,旨在提供更高的数据吞吐量和更低的延迟,以满足现代计算和存储系统的需求。
(2)CXL存储设备:基于CXL技术构建的存储设备,具有无线扩容的特点,能够满足数据中心资源共享、内存池化和高效运算调度的需求。
以下,术语“第一”、“第二”和“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”或“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。
在本申请实施例的描述中,除非另有说明,“/”表示“或”的意思,例如,A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。此外,“至少一个”是指一个或多个,“多个”是指两个或两个以上。
相关技术中,集群中的多个服务器之间通过网卡进行数据传输,网卡具有缓存空间,能够缓存所要传输的数据。由于网卡硬件规格的限制,网卡对缓存空间的管理固化在网卡的芯片中,网卡无法灵活配置和管理缓存空间。例如,服务器上安装的网卡为该服务器中的多个应用程序提供一个共享的数据传输通道,当多个应用程序同时需要传输数据时,多个数据均需要通过同一个数据传输通道完成数据传输,此时,不同的数据需要排队等待,网卡无法灵活配置数据传输通道,因此使用网卡进行数据传输将会限制集群的整体数据传输性能。
基于此,本申请实施例提出一种传输通道管理方法、数据传输方法,该传输通道管理方法中,多个计算设备中的任意计算设备(例如第一计算设备)需要与其他计算设备(例如目标计算设备)进行数据传输时,向管理单元发送传输通道建立请求,用于请求建立第一计算设备与目标计算设备的传输通道。管理单元基于该传输通道建立请求,从管理单元管理的CXL存储空间中确定目标存储空间作为第一计算设备和目标计算设备之间的传输通道。第一计算设备和目标计算设备接收到所分配的目标存储空间后,将目标存储空间作为目标传输通道进行数据传输。
其中,CXL存储空间可以由一个或多个CXL存储设备的存储空间构成,目标存储空间为其中一个CXL存储空间的至少部分存储空间。
可以理解的是,本申请实施例提供的方法具有以下优点,首先,CXL存储设备具有无限扩容的特点,能够提供较大的存储空间,管理单元在接收到任意计算设备的请求后,从该管理单元所管理的CXL存储空间中分出一部分存储空间作为计算设备的传输通道,计算设备两端即可通过该专属传输通道进行数据传输。由于CXL存储设备与计算设备是通过物理链路连接,因此该方法相比传统的通过网络进行数据传输的方法而言,不需要受限于网络传输速度和带宽,具有传输速度快、带宽高和延迟低的优点。
其次,本申请实施例提出的方法不再受限于网卡的硬件规格和网络传输速度,能够节约硬件成本和网络使用成本。
再其次,相关技术中,计算设备之间通过网卡传输数据时,由于网卡只提供了一个共享的数据传输通道,若计算设备需要向其他多个计算设备发送数据,则需要使用共享的数据传输通道进行数据传输,而本申请实施例中,任意两个计算设备之间传输数据时可以申请专属的传输通道,计算设备之间无需再像相关技术中使用共享传输通道需要排队等待,因此本申请实施例提供的方法可以灵活配置传输通道,提升集群的整体数据传输性能。
最后,目标计算设备包括一个或多个第二计算设备,这表明一个目标存储空间可以作为第一计算设备与多个第二计算设备之间的传输通道。第一计算设备只需要发送一次目标数据,多个第二计算设备即可从目标存储空间获取目标数据,多个第二计算设备与第一计算设备完成传输数据。而传统方法中,若第一计算设备需要向多个第二计算设备发送数据,要分别向多个计算设备发送数据,因此,本申请实施例提出的方法能够减少数据传输次数,提高数据传输效率。
下面将结合附图对本申请实施例的实施方式进行详细描述。
请参考图1,其示出本申请实施例提供的传输通道管理方法、数据传输方法所涉及的一种系统架构示意图。如图1所示,该系统架构可以包括:多个计算设备110,CXL存储设备120和CXL连接设备130。
多个计算设备110通过CXL连接设备130与CXL存储设备120通信连接。
在一种实施方式中,每个计算设备110均通过CXL连接设备130接入CXL存储设备120的PCIE接口进行通信连接。每个计算设备110与CXL存储设备120通过CXL协议通信或传输数据,例如,输入/输出协议(CXL.io),访问缓存协议(CXL.cache)和访问内存协议(CXL.mem)。
计算设备110,具有数据处理、逻辑运算以及存储功能的计算设备。例如,计算设备110可以包括如:服务器、平板电脑、桌面型电脑、膝上型电脑、笔记本电脑、计算节点或上网本等计算设备。其中,服务器可以是机架式服务器、刀片式服务器或塔式服务器等不同类型的服务器。服务器可以包括一个计算节点或多个计算节点,每个计算节点包括至少一个中央处理器(central processing unit,CPU),当服务器包括多个计算节点时,多个计算节点中的多个CPU共用一套操作系统。
CXL存储设备120,用于提供存储空间,用作多个计算设备110中任意两个计算设备之间的传输通道。本申请实施例所示的系统架构中可以包括一个CXL存储设备120,或者,包括多个CXL存储设备120,一个或多个存储设备120提供的存储空间构成CXL存储空间,也可以称为CXL存储池,由管理单元统一管理。
CXL存储设备120,可以包括CXL控制器121和存储器122。
其中,CXL控制器121用于接收任意计算设备110发送的将数据写入存储器122提供的存储空间的请求,或者,从存储器122提供的存储空间读取数据的请求,以实现CXL存储设备120的存储空间作为传输通道的功能。
示例性的,CXL控制器121可以是集成在CXL存储设备120中的控制芯片,该控制芯片又可以称为内存扩展(CXL memory expander)芯片、CXL内存控制器(CXL memoryexpander controller)或CXL内存池化(CXL memory expander pooling)芯片。
存储器122,为CXL存储设备120中提供存储空间的实际物理载体,能够提供存储空间作为任意两个计算设备110之间的传输通道。
示例性的,存储器122可以包括双列直插内存模块(dual inline memory module,DIMM)、动态随机存取存储器(dynamic random access memory,DRAM)、同步动态随机存储器(synchronous dynamic random access memory,SDRAM)、固态硬盘(solid state disk,SSD)、或持久内存(persistent memory,PMEM)。
本申请实施例中,上述存储器122的数量可以是一个或多个,当存储器为一个时,存储器可以是DIMM,也可以是SSD,当存储器122为多个时,多个存储器122可以均为DIMM,或多个存储器122可以均为SSD,或者多个存储器122一部分为DIMM,一部分为SSD。
当然,在其他实施例中,当存储器122为一个时,存储器122还可以是SDRAM或PMEM等其他类型的存储器。当存储器122的数量为多个时,多个存储器122可以均为SDRAM或PMEM等其他类型的存储器,或者多个存储器122包括SDRAM、PMEM、DIMM或SSD中的至少两种。上述灵活的实现方式和部署方式可以使得CXL存储设备120兼容更多介质类型的存储器,本申请实施例对存储器的介质类型、数量和部署方式等不做限定。
一般的,由于易失性存储介质例如DIMM、DRAM或SDRAM具有快速读写数据的特点,为了提高计算设备110之间的速度,可以选择易失性存储介质作为存储器122。
CXL连接设备130,能够提供扩展接口,使得多个计算设备110与CXL存储设备120连接起来。CXL连接设备130可以独立设置,也可以集成在任意一个计算设备110上,或者集成在CXL存储设备120上。
示例性的,当CXL连接设备130独立设置时,CXL连接设备130可以是CXL交换机(Switch),CXL交换机包括CXL交换芯片;或者CXL连接设备130可以是多头的CXL内存扩展卡(multi head single logic device,MH-SLD)。当CXL连接设备130是多头的CXL内存扩展卡的情况下,CXL连接设备130可以集成在CXL存储设备120上,多头的CXL内存扩展卡可以作为CXL存储设备120的CXL控制器,多头的CXL内存扩展卡可以与多个计算设备分别连接。当CXL存储设备的数量为一个的情况下,一个CXL存储设备的多头的CXL内存扩展卡分别与多个计算设备连接。当CXL存储设备的数量为多个的情况下,每个CXL存储设备的多头的CXL内存扩展卡分别与多个计算设备连接中的至少两个计算设备连接,每个CXL存储设备连接的计算设备可以相同。
当CXL连接设备130集成在计算设备上时,CXL连接设备130可以是CXL交换机(Switch)、CXL交换机(Switch)芯片或多头的CXL内存扩展卡。其中,CXL Switch除了具有扩展功能外,还具有处理器,具有处理功能,例如能够运行管理单元(fabric manager,FM)。
在其他一些实施例中,CXL连接设备130的数量可以是一个或多个,多个CXL连接设备130可以连接多个CXL存储设备120。
在其他一些实施例中,如图2所示,图2示出多个CXL连接设备130分别与多个CXL存储设备120连接,图2还包括管理设备140,运行有FM。从图2可以看出,多个计算设备110分别通过CXL连接设备130与部分CXL存储设备120连接。本申请实施例对系统中的CXL存储设备120、CXL连接设备130、计算设备110的数量以及连接方式不做限定。
FM,一种管理一个或多个CXL存储设备120提供的CXL存储空间的进程,在接收到任意计算设备110发送的传输通道请求时,从CXL存储空间的可用存储空间中划分出一部分存储空间,作为申请传输通道的计算设备110的传输通道;在接收到任意计算设备110发送的数据传输完成的消息时,回收为该计算设备110分配的存传输通道。
一些实施方式中,FM将分配出去作为传输通道的存储空间的信息记录为通信关系条目,该通信关系条目中包括所分配的计算设备的标识、已分配的存储空间的地址、存储空间的存储容量和传输通道的编号。FM将多个通信关系条目储存在数据传输通道表中,以便于管理多个已分配的传输通道的信息;当任意计算设备110归还所分配的传输通道时,FM从数据传输通道表中删除所归还的传输通道对应的通信关系条目,以回收分配出去的传输通道。
本申请实施例中,FM可以运行在任意计算设备110的CPU或基板管理控制器(baseboard management controller,BMC)中,也可以运行在CXL连接设备130的处理器中,或者,FM也可以运行在一个独立设备的CPU、BMC、或控制器中,本申请实施例对FM的具体运行位置不做限定。
需要说明的是,不同计算设备对BMC有不同的称呼,例如一些计算设备称为BMC,一些计算设备称为iLO(Integrated lights-out),另一些计算设备称为集成戴尔远程控制卡(Integrated Dell Remote Access Controller,iDRAC)。不论是叫BMC,还是叫iLO或iDRAC,都可以理解为是本发明实施例中的BMC。
一些实施方式中,FM若运行在多个计算设备110中的任意一个计算设备110上,其他计算设备110可以通过网络和/或者485链路(使用RS-485串行总线标准的链路)等方式与运行FM的计算设备通信连接。CXL连接设备130通过总线(例如UART,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)集成电路总线(inter-integrated circuit,IIC)或系统管理总线(system management bus,SMBus))分别连接多个计算设备110和CXL存储设备120。
另一些实施方式中,FM若运行在CXL连接设备130中,CXL连接设备130通过总线(例如UART、IIC或SMBUS总线)分别连接多个计算设备110和CXL存储设备120。
在一种应用场景中,多个计算设备110包括第一计算设备和第二计算设备,当第一计算设备需要与第二计算设备进行数据传输时,第一计算设备向FM发送传输通道建立请求。FM基于该传输通道建立请求,从CXL存储空间的可用存储空间中分配出目标存储空间,作为第一计算设备和第二计算设备的目标传输通道。当第一计算设备与第二计算设备之间完成数据传输时,第一计算设备或第二计算设备可以向FM发送数据传输完成的消息,此时FM回收目标存储空间。
下文对本申请实施例提供的传输通道管理方法、数据传输方法进行说明:
请参考图3,为本申请实施例提供的一种传输通道管理方法的流程图,该方法可以应用于管理单元,管理单元与多个计算设备通信连接,多个计算设备包括第一计算设备,管理单元管理一个或多个CXL存储设备构成的CXL存储空间。上述管理单元可以是图1中的FM,第一计算设备为图1中的计算设备110中任意计算设备,CXL存储设备为图1中的CXL存储设备120。如图3所示,该方法可以包括S101-S103。
S101:在第一计算设备需要与目标计算设备进行数据传输的情况下,第一计算设备向管理单元发送传输通道建立请求,对应的,管理单元接收第一计算设备发送的传输通道建立请求。
目标计算设备为多个计算设备中除第一计算设备外的任意计算设备,目标计算设备包括一个或多个第二计算设备。
在一些应用场景中,在第一计算设备在处理上层客户端中的应用程序下发的任务的过程中,具有向目标计算设备传输数据的需求。
传输通道建立请求用于请求为第一计算设备与目标计算设备建立传输通道,传输通道用于传输第一计算设备向目标计算设备发送的数据。
在一种实施方式中,传输通道建立请求包括第一计算设备的标识、目标计算设备的标识,可选的,传输通道建立请求还包括需要建立的传输通道的容量信息。
计算设备的标识可以是计算设备的编号、主机名、互联网协议(internetprotocol,IP)地址或设备地址(media access control address,MAC)地址等能够表示计算设备身份的信息。
计算设备的编号可以是在计算设备与管理单元连接时,管理单元统一为接入的计算设备分配的编号,为计算设备分配编号便于后续为计算设备分配传输通道时,管理各个计算设备的传输通道。
示例性的,若第一计算设备的标识为“计算设备1”,目标计算设备的标识为“计算设备2”,传输通道请求可以包括:为“计算设备1”和“计算设备2”建立传输通道,传输通道的容量为1G。
S102:管理单元从CXL存储空间的可用存储空间确定目标存储空间。
CXL存储空间是由一个或多个CXL存储设备的存储空间构成。
目标存储空间用作第一计算设备与目标计算设备之间的目标传输通道。
可用存储空间,即CXL存储空间中未被分配的存储空间,目标存储空间为CXL存储空间的可用存储空间中的部分存储空间,目标存储空间所属的CXL存储设备与第一计算设备和目标计算设备均连接。
一些实施方式中,传输通道建立请求包括需要建立的传输通道的容量信息,管理单元基于需要建立的传输通道的容量,从CXL存储空间的可用存储空间中分配出目标存储空间;其中,目标存储空间的存储容量大于或等于需要建立的传输通道的容量。
另一些实施方式中,传输通道请求中没有携带需要建立的传输通道的容量信息,管理单元基于系统中预设好的存储容量,从CXL存储设备的可用存储空间中分配出目标存储空间;其中,目标存储空间的存储容量等于系统中预设好的存储容量。
上述传输通道的容量,可以是管理单元中设置好的默认值,也可以是第一计算设备基于处理的任务的类型确定的传输通道的容量。
示例性的,第一计算设备处理的任务类型为云计算、人工智能或大数据等任务时,计算设备需要传输的数据量较大,计算设备可以基于任务历史运行数据预估需要传输的数据量,确定传输通道的容量。例如,对于云计算类任务,历史运行数据预估需要传输的数据量在5G-20G之间,第一计算设备可以取5G-20G之间的值作为传输通道的容量,如确定传输通道的容量为10G。对于人工智能类任务,历史运行数据预估需要传输的数据量在1G-5G之间,第一计算设备可以取1G-5G之间的值作为传输通道的容量,如确定传输通道的容量为2G。
本申请实施例对如何确定目标存储空间的存储容量不做限定。传输通道请求中包括需要建立的传输通道的容量信息,能够使得管理单元基于计算设备的需求分配存储空间,既能满足计算设备的需求,提高后续数据传输速度,也能避免存储空间浪费,降低CXL存储设备的硬件使用成本。
在一种实施方式中,针对S102提出的具体实施过程,包括:S102a-S102c。
S102a:管理单元确定CXL存储空间中的目标CXL存储设备。
具体的,目标CXL存储设备为与第一计算设备和目标计算设备均连接的一个或多个CXL存储设备。
在一种实施方式中,管理单元管理的CXL存储空间由多个CXL存储设备构成,多个CXL存储设备分别与集群中的多个计算设备连接。管理单元从多个CXL存储设备中确定与第一计算设备和目标计算设备连接的CXL存储设备。
示例性的,如表1所示,表1示出管理单元管理的多个CXL存储设备,以及每个CXL存储设备所连接的计算设备。表1包括:“CXL存储设备的标识”和“CXL存储设备所连接的计算设备的标识”。
表1
CXL存储设备的标识 | CXL存储设备所连接的计算设备的标识 |
CXL存储设备1 | 计算设备1,计算设备2,计算设备3,计算设备4 |
CXL存储设备2 | 计算设备2,计算设备3,计算设备4 |
CXL存储设备3 | 计算设备3,计算设备4 |
若第一计算设备的标识为“计算设备1”,目标计算设备的标识包括“计算设备2”和“计算设备3”,从上述表1可以看出,分别与计算设备1、计算设备2和计算设备3连接的CXL存储设备为“CXL存储设备1”,则管理单元确定CXL存储空间由“CXL存储设备1”提供。
S102b:管理单元确定目标CXL存储设备中的可用存储空间。
可用存储空间为目标CXL存储设备中未被分配的存储空间。
在一种实施方式中,管理单元管理有CXL存储空间的分配状态,分配状态包括已分配的存储空间和未分配的存储空间,管理单元基于CXL存储空间的分配状态,确定CXL存储空间中的目标CXL存储设备的可用存储空间。
示例性的,管理单元管理的目标CXL存储设备的分配状态如表2所示,表2包括:“分配状态”、“地址”和“存储容量”。
表2
从表2所示的CXL存储空间的分配状态可以看出,未被分配的存储空间的地址为Addr3,存储容量为20G,则管理单元确定可用存储空间为上述地址“Addr3”、存储容量为“20G”的存储空间。
S102c:管理单元从目标CXL存储设备的可用存储空间中确定分配给第一计算设备和目标计算设备的目标存储空间。
示例性的,若第一计算设备和目标计算设备需要的传输通道的容量为10G,管理单元从表3所示的地址为“Addr3”、存储容量为“20G”的可用存储空间中确定出地址为“Addr3-1”、存储容量为“10G”的目标存储空间,用作第一计算设备和目标计算设备的目标传输通道。此时,未分配的存储空间为Addr3-2,存储容量为10G,表3中CXL存储空间的分配状态可以对应更新为如表3所示的CXL存储空间的分配状态。
表3
一些实施方式中,管理单元包括数据传输通道表,数据传输通道表用于储存通信关系条目,通信关系条目用于记录CXL存储设备中分配出去作为传输通道的存储空间的信息,通信关系条目包括:传输通道的标识、计算设备的标识、存储空间的地址和存储空间的存储容量。
数据传输通道表中记录了多个通信关系条目,每条通信关系条目用于记录CXL存储设备中已分配出去作为传输通道的存储空间的信息,通信关系条目中包括:传输通道的标识、计算设备的标识、存储空间的地址和存储空间的存储容量。
上述计算设备的标识包括:需要进行数据传输的两端计算设备的标识,例如:例如对于第一计算设备和目标计算设备而言,计算设备的标识包括:第一计算设备的标识和目标计算设备的标识。
上述存储空间的地址可以是存储空间的物理地址,或者是存储空间的逻辑地址。若是存储空间的逻辑地址,管理单元还维护有存储空间的逻辑地址与物理地址的映射关系。
示例性的,如表4所示,表4示出管理单元维护的数据传输通道表,该数据传输通道表包括:传输通道的标识、一端计算设备的标识、另一端计算设备的标识,存储空间的地址和存储空间的存储容量。
表4
可选的,管理单元在确定了目标存储空间后,在数据传输通道表中记录包含目标传输通道对应的目标通信关系条目,其中,目标通信关系条目包含目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址和目标存储空间的存储容量。
示例性的,目标通信关系条目包括:目标传输通道的标识“3”,第一计算设备的标识“计算设备1”,目标计算设备的标识“计算设备2”,目标存储空间的地址为Addr3-1,存储容量为10G,如表5所示,管理单元将该目标通信关系条目储存在数据传输通道表。
表5
需要说明的是,上述表5中一端计算设备的标识一般为申请传输通道的计算设备的标识,另一端计算设备的标识一般为接收数据的计算设备的标识,但是,管理单元在将传输通道分配给两端的计算设备后,接收数据的计算设备也可以通过该分配的传输通道,向申请传输通道的计算设备发送数据。也就是说,分配出去的传输通道的两端计算设备均可以主动向对方发送数据。
本申请实施例中,将包含目标通信关系条目的目标传输通道的信息记录在数据管理通道表中,能够及时记录所分配的目标传输通道,便于管理目标传输通道。另外,数据管理通道表可以记录多个通信关系条目,该管理方法能避免混淆多个传输通道,提高管理效率。
S103:管理单元分别向第一计算设备和目标计算设备发送第一指示信息。
第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道。
可选的,第一指示信息包含目标通信关系条目,第一指示信息指示目标通信关系条目中的目标存储空间作为目标传输通道。
可以理解的是,本申请实施例提出的传输通道管理方法中,管理单元在第一计算设备的请求下,从CXL存储空间的可用存储空间中分配部分存储空间作为第一计算设备与目标计算设备之间的传输通道。由于CXL存储设备提供的存储空间具有无限扩展的特点,因此管理单元能够灵活控制为计算设备分配的存储空间的存储容量的大小,将CXL存储设备的存储空间作为多个计算设备之间数据传输的传输通道,能够解决相关技术中,网卡的缓存空间有限导致所能传输的数据有限的缺点。因此本申请实施例提出的传输通道管理方法能够提高带宽,减少传输时延,提高数据传输速度。另外,本申请实施例提出的传输通道管理方法不会不限制集群整体性能,且能够灵活管理存储空间。
第一计算设备和目标计算设备接收到第一指示信息后,基于该第一指示信息中用作目标传输通道的目标存储空间的地址来进行数据传输。第一计算设备与目标计算设备之间的数据传输过程具体可以参见S201-S203。
目标计算设备获取到目标数据后,向第一计算设备发送已获取目标数据的响应消息,此时,第一计算设备与目标计算设备完成数据传输,第一计算设备或目标计算设备可以向管理单元发送第二指示信息。
第二指示信息用于指示第一计算设备与目标设备之间完成数据传输,归还目标传输通道。
结合图3,如图4所示,管理单元接收到第二指示信息后,上述图3所示的过程还可以包括以下内容S104-S105。
S104:管理单元回收目标传输通道。
一些实施方式中,第一计算设备或目标计算设备发送第二指示信息中包含目标传输通道的标识。
示例性的,若第一计算设备的标识为“计算设备1”,目标计算设备的标识为“计算设备2”,第一计算设备和目标计算设备之间的目标传输通道的标识为“3”,则第一计算设备或目标计算设备发送的第二指示信息可以包括:“计算设备1”和“计算设备2”之间通过目标传输通道“3”的数据传输已经完成,请回收目标传输通道“3”。
一些实施方式中,管理单元基于第二指示信息中包含的目标传输通道的标识,回收目标传输通道。具体步骤包括:S104a-S104c。
S104a:管理单元基于目标传输通道的标识,确定数据传输通道表记录的目标通信关系条目中目标存储空间的地址。
示例性的,如表2所示,管理单元获取到目标传输通道的标识为“3”,管理单元基于目标传输通道的标识“3”,在数据传输通道表中查询到目标传输通道的标识“3”所在的目标通信关系条目,从目标通信关系条目中确目标存储空间的地址为Addr3-1。
S104b:管理单元基于目标存储空间的地址,删除目标存储空间中储存的数据。
示例性的,管理单元确定了目标储存空间的地址为Addr3-1后,删除CXL存储设备中Addr3-1,存储容量为1G的存储空间中的数据。
管理单元删除目标存储空间中的数据能够保证上一个使用该目标存储空间中的计算设备的数据不会被下一个使用该目标存储空间的计算设备获取,以此保证数据安全性。
S104c:管理单元删除数据传输通道表中目标传输通道所在的目标通信关系条目。
上述回收步骤操作简单,便于管理单元管理CXL存储设备中的存储空间。
S105:管理单元分别向第一计算设备和目标计算设备发送已回收目标传输通道的消息。
可选的,第一计算设备或目标计算设备接收到已回收目标传输通道的消息后,删除系统中所储存的目标通信关系条目。
管理单元向第一计算设备和目标计算设备发送已回收目标传输通道的消息,后续第一计算设备和目标计算设备若需要进行数据传输,不能再使用该目标传输通道,需要重新申请传输通道。因此,该回收目标传输通道的消息能够避免第一计算设备或目标计算设备再使用目标传输通道而导致的数据传输失败。
可以理解的是,上述S104-S105中,计算设备之间数据传输完成后,管理单元及时回收分配出去的传输通道,即存储空间,后续可以将该存储空间继续分配给其他有数据传输需求的计算设备,提高存储空间的利用率。及时回收存储空间可以减少CXL存储设备的存储容量配置,降低CXL存储设备的使用成本。
请参考图5,为本申请实施例提供的一种数据传输方法的流程图,该方法应用于第一计算设备与目标计算设备进行数据传输的过程,该方法包括:S201-S204。
S201:第一计算设备和目标计算设备接收管理单元发送的第一指示信息。
可选的,第一指示信息包含目标通信关系条目,目标通信关系条目中包括目标存储空间的地址。
在一种实施方式中,第一计算设备和目标计算设备中均包括本地CXL空间管理(local CXL space management daemon,LMD)进程,第一计算设备和目标计算设备的LMD接收管理单元发送的第一指示信息。LMD用于管理所分配的目标存储空间,例如将目标存储空间分配至操作系统中的应用程序,以使得应用程序通过目标存储空间与其他计算设备传输数据。
S202:第一计算设备向目标存储空间中写入目标数据,以使得目标计算设备从目标存储空间获取目标数据。
其中,从目标存储空间获取目标数据的目标计算设备与第一计算设备完成数据传输。
一种实施方式中,第一计算设备向CXL存储设备的CXL控制器发送目标数据写入请求,目标数据写入请求用于请求CXL控制器将目标数据写入目标存储空间。CXL控制器接收该请求后,将目标数据写入目标存储空间。
可选的,第一计算设备还通过网络向目标计算设备发送指示消息,指示消息用于指示第一计算设备已向目标计算设备发送了信息,即已向目标存储空间写入目标数据。
可以理解的是,目标存储空间相当于缓存空间,能够缓存目标数据,CXL控制器在将目标数据缓存在目标存储空间,并转发至目标计算设备。
S203:目标计算设备从目标存储空间获取目标数据。
可选的,目标计算设备响应于指示消息,从目标存储空间获取第一计算设备发送的目标数据;指示消息用于指示第一计算设备已向目标计算设备发送了信息,即目标存储空间写入目标数据,指示消息由第一计算设备发送,或者,由CXL存储设备中的CXL控制器发送。
在其他一些可选的实施方式中,目标计算设备在接收到管理单元发送的第一指示信息后,周期性的查询目标存储空间中是否被写入数据,若查询到被写入数据,则对目标存储空间进行读操作,以获取目标数据。
S204:目标计算设备向第一计算设备发送已获取目标数据的响应消息。
其中,第一计算设备接收到目标计算设备发送的目标数据的响应消息后,第一计算设备与目标计算设备完成数据传输。
本申请实施例提出的数据传输方法中,第一计算设备和目标计算设备基于管理单元分配的目标存储空间进行数据传输。由于目标存储空间是CXL存储设备中的部分存储空间,而CXL存储设备是与第一计算设备和目标计算设备以物理链路连接,第一计算设备和目标计算设备数据传输时不需要再通过网络通道,避免了对网络传输速度的依赖,降低网络带宽使用成本和网卡等硬件使用成本。而目标存储空间具有无限扩展的特点,具有传输速度快、带宽高和延迟低的优点,能够提高多个计算设备所在的集群的业务处理性能。
另外,本申请实施例中,目标计算设备包括一个或多个第二计算设备,这表明一个目标存储空间可以作为第一计算设备与多个第二计算设备之间的传输通道。第一计算设备只需要发送一次目标数据,多个第二计算设备即可从目标存储空间获取目标数据,多个第二计算设备与第一计算设备完成数据传输。而传统方法中,若第一计算设备需要向多个第二计算设备发送数据,要分别向多个计算设备发送数据,因此,本申请实施例提出的方法能够减少数据传输次数,提高数据传输效率。
上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术目标应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术目标可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例还提供一种管理设备200,例如图1中包含FM的设备。如图6所示,为本申请实施例提供的一种管理设备200的结构示意图。
其中,管理设备200包括:接收单元201,用于接收第一计算设备发送的传输通道建立请求;传输通道建立请求用于请求为第一计算设备与目标计算设备建立传输通道,目标计算设备包括一个或多个第二计算设备,第二计算设备为多个计算设备中除第一计算设备外的任意计算设备;处理单元202,用于从CXL存储空间的可用存储空间中确定目标存储空间;CXL存储空间所属的CXL存储设备与第一计算设备和目标计算设备均连接,目标存储空间用作第一计算设备与目标计算设备之间的目标传输通道;发送单元203,用于分别向第一计算设备和目标计算设备发送第一指示信息;第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道。例如,结合图3,接收单元201可以应用于方法实施例中的S101,处理单元202可以应用于方法实施例中的S102,发送单元203可以应用于方法实施例中的S103。
一些实施方式中,从CXL存储空间的可用存储空间中确定目标存储空间之前,处理单元202还用于,确定CXL存储空间中与第一计算设备和目标计算设备均连接的目标CXL存储设备;基于目标存储设备确定可用存储空间。例如,处理单元202可以应用于方法实施例中的S102a-S102c。
一些实施方式中,传输通道建立请求包括需要建立的传输通道的容量信息,处理单元202具体用于,基于需要建立的传输通道的容量,从CXL存储空间的可用存储空间中确定目标存储空间;目标存储空间的存储容量大于或等于需要建立的传输通道的容量。例如,处理单元202可以应用于方法实施例中的S102。
一些实施方式中,第一指示信息包括:目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址、和目标存储空间的存储容量。
一些实施方式中,管理单元包括数据传输通道表,数据传输通道表用于储存通信关系条目,通信关系条目用于记录CXL存储空间中分配出去作为传输通道的存储空间的信息,通信关系条目包括:传输通道的标识、计算设备的标识、存储空间的地址和存储空间的存储容量;处理单元202还用于,将目标通信关系条目记录在数据传输通道表中,其中,目标通信关系条目包含目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址和目标存储空间的存储容量。例如,处理单元202可以应用于方法实施例中的S102。
一些实施方式中,处理单元202还用于,在接收到第一计算设备或目标计算设备发送的第二指示信息后,回收目标传输通道;第二指示信息用于指示第一计算设备与目标设备之间完成数据传输,归还目标传输通道。例如,结合图4,处理单元202可以应用于方法实施例中的S104。
一些实施方式中,管理单元包括数据传输通道表,数据传输通道表包括目标通信关系条目,目标通信关系条目包含目标传输通道的标识、第一计算设备的标识、目标计算设备的标识、目标存储空间的地址、和目标存储空间的存储容量;第二指示信息包括目标传输通道的标识,处理单元202具体用于,基于目标传输通道的标识,确定数据传输通道表记录的目标通信关系条目中目标存储空间的地址;基于目标存储空间的地址,删除目标存储空间中储存的数据;删除数据传输通道表中记录的目标通信关系条目。例如,处理单元202可以应用于方法实施例中的S104a-S104c。
本申请实施例还提供一种计算设备300。如图7所示,为本申请实施例提供的一种计算设备300的结构示意图。
其中,计算设备300包括:发送单元301,用于在第一计算设备需要与目标计算设备进行数据传输的情况下,向管理单元发送传输通道建立请求;传输通道建立请求用于请求为第一计算设备与目标计算设备建立传输通道,目标计算设备包括一个或多个第二计算设备,第二计算设备为多个计算设备中除第一计算设备外的任意计算设备;接收单元302,用于接收管理单元发送的第一指示信息;第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道;其中,目标存储空间为CXL存储空间中的可用存储空间,目标存储空间所属的CXL存储设备与第一计算设备和目标计算设备均连接;处理单元303,用于向目标存储空间中写入目标数据,以使得目标计算设备从目标存储空间获取目标数据。例如,结合图4,发送单元301可以应用于方法实施例中的S101,结合图5,接收单元302可以应用于方法实施例中的S201,处理单元303可以应用于方法实施例中的S202。
本申请实施例还提供另一种计算设备400。如图8所示,为本申请实施例提供的一种计算设备400的结构示意图。
其中,计算设备400包括:接收单元401,用于接收管理单元发送的第一指示信息;第一指示信息用于指示将目标存储空间作为第一计算设备和目标计算设备之间的目标传输通道;第一计算设备为多个计算设备中任意一个计算设备,其中,目标存储空间为CXL存储空间中的可用存储空间,目标存储空间所属的CXL存储设备与第一计算设备和目标计算设备均连接;处理单元402,用于响应于指示消息,从目标存储空间获取第一计算设备发送的目标数据;指示消息用于指示第一计算设备已向目标存储空间写入目标数据,指示消息由第一计算设备发送,或者,由CXL存储设备中的CXL控制器发送。例如,结合图5,接收单元401可以应用于方法实施例中的S201,处理单元402可以应用于方法实施例中的S203。
当然,本申请实施例提供的管理设备200、计算设备300或计算设备400包括但不限于上述模块。
图9是本申请实施例提供的设备500的结构示意图,该设备500可以是图1中的计算设备或运行管理单元的管理设备。如图9所示,该设备500包括处理器501、存储器502和网络接口503。
其中,处理器501包括一个或多个CPU。该CPU可以为单核CPU(single-CPU)或多核CPU(multi-CPU)。
存储器502包括但不限于是随机存取存储器(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmableread-only memory,EPROM)、快闪存储器、或光存储器等。
一些实施方式中,处理器501通过读取存储器502中保存的指令实现本申请实施例提供的传输通道管理方法,或者,处理器501通过内部存储的指令实现本申请实施例提供的数据传输方法。在处理器501通过读取存储器502中保存的指令实现上述实施例中的方法的情况下,存储器502中保存实现本申请实施例提供的传输通道管理方法或数据传输方法的指令。
网络接口503,包含发送器和接收器的一类装置,用于与其他设备或通信网络通信,可以是有线接口(端口),例如光纤分布式数据接口(fiber distributed datainterface,FDDI)、千兆以太网接口(gigabit ethernet,GE)。或者,网络接口503是无线接口。应理解,网络接口503包括多个物理端口,网络接口503用于通信等。
一些实施方式中,设备500还包括总线504,上述处理器501、存储器502、网络接口503通常通过总线504相互连接,或采用其他方式相互连接。
在实际实现时,接收单元201、处理单元202和发送单元203,或者,发送单元301、接收单元302和处理单元303,或者,接收单元401和处理单元402可以由处理器调用存储器中的计算机程序代码来实现。其具体的执行过程可参考上述方法部分的描述,这里不再赘述。
本申请另一实施例还提供一种管理设备,包括处理器,处理器与存储器耦合,存储器用于存储程序或指令,当程序或指令被处理器执行时,使得该管理设备执行上述方法实施例所示的传输通道管理方法的各个步骤。
本申请实施例提供一种计算设备,包括存储器和与存储器连接的至少一个处理器,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被至少一个处理器执行时,使得该计算设备执行上述方法实施例所示的数据传输方法的各个步骤。
本申请另一实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当计算机指令在管理设备上运行时,使得管理设备执行上述方法实施例所示的传输通道管理方法流程中管理设备执行的各个步骤;或者,当计算机指令在计算设备上运行时,使得计算设备执行上述方法实施例所示的数据传输方法流程中计算设备执行的各个步骤。
本申请另一实施例还提供一种芯片系统,该芯片系统应用于管理设备。该芯片系统包括一个或多个接口电路,以及一个或多个处理器。接口电路和处理器通过线路互联。接口电路用于从管理设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令。当管理设备的处理器执行计算机指令时,管理设备执行上述方法实施例所示的传输通道管理方法流程中管理设备执行的各个步骤。
本申请另一实施例还提供另一种芯片系统,该芯片系统应用于计算设备。该芯片系统包括一个或多个接口电路,以及一个或多个处理器。接口电路和处理器通过线路互联。接口电路用于从计算设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令。当计算设备的处理器执行计算机指令时,计算设备执行上述方法实施例所示的数据传输方法流程中计算设备执行的各个步骤。
在本申请另一实施例中还提供一种计算机程序产品,该计算机程序产品包括计算机指令,当计算机指令在管理设备上运行时,使得管理设备执行上述方法实施例所示的传输通道管理方法流程中管理设备执行的各个步骤。
在本申请另一实施例中还提供另一种计算机程序产品,该计算机程序产品包括计算机指令,当计算机指令在计算设备上运行时,使得计算设备执行上述方法实施例所示的数据传输方法流程中计算设备执行的各个步骤。
上述实施例可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,上述实施例可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机执行指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、服务器或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
以上所述,仅为本申请的具体实施方式。熟悉本技术领域的技术人员根据本申请提供的具体实施方式,可想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种传输通道管理方法,其特征在于,应用于管理单元,所述管理单元与多个计算设备通信连接,所述多个计算设备包括第一计算设备,所述管理单元用于管理一个或多个CXL存储设备构成的CXL存储空间,所述方法包括:
接收所述第一计算设备发送的传输通道建立请求;所述传输通道建立请求用于请求为所述第一计算设备与目标计算设备建立传输通道,所述目标计算设备为所述多个计算设备中除所述第一计算设备外的任意计算设备;
从所述CXL存储空间的可用存储空间中确定目标存储空间;所述目标存储空间所属的CXL存储设备与所述第一计算设备和所述目标计算设备均连接,所述目标存储空间用作所述第一计算设备与所述目标计算设备之间的目标传输通道;
分别向所述第一计算设备和所述目标计算设备发送第一指示信息;所述第一指示信息用于指示将所述目标存储空间作为所述第一计算设备和所述目标计算设备之间的目标传输通道。
2.根据权利要求1所述的方法,其特征在于,所述从所述CXL存储空间的可用存储空间中确定目标存储空间包括:
确定CXL存储空间中与所述第一计算设备和所述目标计算设备均连接的目标CXL存储设备;
基于所述目标CXL存储设备确定所述可用存储空间。
3.根据权利要求1或2所述的方法,其特征在于,所述传输通道建立请求包括需要建立的传输通道的容量,所述从CXL存储空间的可用存储空间中确定目标存储空间,包括:
基于所述需要建立的传输通道的容量,从所述CXL存储空间的可用存储空间中确定目标存储空间;所述目标存储空间的存储容量大于或等于所述传输通道的容量。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述管理单元包括数据传输通道表,所述数据传输通道表用于储存通信关系条目,所述通信关系条目用于记录CXL存储空间中分配出去作为传输通道的存储空间的信息,所述通信关系条目包括:传输通道的标识、计算设备的标识、存储空间的地址和存储空间的存储容量,所述方法还包括:
将目标通信关系条目记录在所述数据传输通道表中,其中,所述目标通信关系条目包含所述目标传输通道的标识、所述第一计算设备的标识、所述目标计算设备的标识、所述目标存储空间的地址和所述目标存储空间的存储容量。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述方法还包括:
在接收到所述第一计算设备或所述目标计算设备发送的第二指示信息后,回收所述目标传输通道;所述第二指示信息用于指示所述第一计算设备与所述目标设备之间的通信完成,归还所述目标传输通道。
6.根据权利要求5所述的方法,其特征在于,所述管理单元包括数据传输通道表,所述数据传输通道表包括目标通信关系条目,所述目标通信关系条目包含所述目标传输通道的标识、所述第一计算设备的标识、所述目标计算设备的标识、所述目标存储空间的地址、和所述目标存储空间的存储容量;所述第二指示信息包括所述目标传输通道的标识,所述回收所述目标传输通道,包括:
基于所述目标传输通道的标识,确定所述数据传输通道表记录的所述目标通信关系条目中所述目标存储空间的地址;
基于所述目标存储空间的地址,删除所述目标存储空间中储存的数据;
删除所述数据传输通道表中记录的所述目标通信关系条目。
7.一种数据传输方法,其特征在于,所述方法应用于第一计算设备,所述第一计算设备为多个计算设备中的任意一个计算设备,所述多个计算设备与管理单元通信连接,所述管理单元用于管理一个或多个CXL存储设备构成的CXL存储空间,所述方法包括:
在所述第一计算设备需要与所述目标计算设备进行数据传输的情况下,向所述管理单元发送传输通道建立请求;所述传输通道建立请求用于请求为所述第一计算设备与所述目标计算设备建立传输通道,所述目标计算设备为所述多个计算设备中除所述第一计算设备外的任意计算设备;
接收所述管理单元发送的第一指示信息;所述第一指示信息用于指示将所述目标存储空间作为所述第一计算设备和所述目标计算设备之间的目标传输通道,其中,所述目标存储空间为CXL存储空间中的可用存储空间,所述目标存储空间所属的CXL存储设备与所述第一计算设备和所述目标计算设备均连接;
向所述目标存储空间中写入目标数据,以使得所述目标计算设备从所述目标存储空间获取所述目标数据。
8.一种数据传输方法,其特征在于,所述方法应用于目标计算设备,所述目标计算设备是所述多个计算设备中任意计算设备,所述多个计算设备与管理单元通信连接,所述管理单元用于管理一个或多个CXL存储设备构成的CXL存储空间,所述方法包括:
接收所述管理单元发送的第一指示信息;所述第一指示信息用于指示将所述目标存储空间作为所述第一计算设备和所述目标计算设备之间的目标传输通道;所述第一计算设备为所述多个计算设备中任意一个计算设备,其中,所述目标存储空间为CXL存储空间中的可用存储空间,所述目标存储空间所属的CXL存储设备与所述第一计算设备和所述目标计算设备均连接;
响应于指示消息,从所述目标存储空间获取所述第一计算设备发送的目标数据;所述指示消息用于指示所述第一计算设备已向所述目标存储空间写入所述目标数据,所述指示消息由所述第一计算设备发送,或者,由所述CXL存储设备中的CXL控制器发送。
9.一种管理设备,其特征在于,包括处理器,所述处理器与存储器耦合,所述存储器用于存储程序或指令,当所述程序或指令被所述处理器执行时,使得所述管理设备执行如权利要求1至6中任一项所述的方法。
10.一种计算设备,其特征在于,包括存储器和与所述存储器连接的至少一个处理器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述计算机指令被所述至少一个处理器执行时,使得所述计算设备执行如权利要求7或8所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311695403.8A CN117938849A (zh) | 2023-12-11 | 2023-12-11 | 传输通道管理方法、数据传输方法、管理设备及计算设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311695403.8A CN117938849A (zh) | 2023-12-11 | 2023-12-11 | 传输通道管理方法、数据传输方法、管理设备及计算设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117938849A true CN117938849A (zh) | 2024-04-26 |
Family
ID=90754629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311695403.8A Pending CN117938849A (zh) | 2023-12-11 | 2023-12-11 | 传输通道管理方法、数据传输方法、管理设备及计算设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117938849A (zh) |
-
2023
- 2023-12-11 CN CN202311695403.8A patent/CN117938849A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102457611B1 (ko) | 터넌트-어웨어 스토리지 쉐어링 플랫폼을 위한 방법 및 장치 | |
US10642704B2 (en) | Storage controller failover system | |
KR102044023B1 (ko) | 키 값 기반 데이터 스토리지 시스템 및 이의 운용 방법 | |
US11809252B2 (en) | Priority-based battery allocation for resources during power outage | |
US10255305B2 (en) | Technologies for object-based data consistency in distributed architectures | |
WO2021008197A1 (zh) | 资源分配方法、存储设备和存储系统 | |
WO2019233322A1 (zh) | 资源池的管理方法、装置、资源池控制单元和通信设备 | |
US11726701B2 (en) | Memory expander, heterogeneous computing device using memory expander, and operation method of heterogenous computing | |
CN112632069B (zh) | 哈希表数据存储管理方法、装置、介质和电子设备 | |
CN110119304B (zh) | 一种中断处理方法、装置及服务器 | |
CN115129621B (zh) | 一种内存管理方法、设备、介质及内存管理模块 | |
US20110282917A1 (en) | System and method for efficient resource management | |
AU2015402888B2 (en) | Computer device and method for reading/writing data by computer device | |
US20210334143A1 (en) | System for cooperation of disaggregated computing resources interconnected through optical circuit, and method for cooperation of disaggregated resources | |
WO2023125524A1 (zh) | 数据存储方法、系统、存储访问配置方法及相关设备 | |
CN115687193A (zh) | 存储模块、包括其的系统以及存储模块的操作方法 | |
CN109783002B (zh) | 数据读写方法、管理设备、客户端和存储系统 | |
US20210311767A1 (en) | Storage system, storage device therefor, and operating method thereof | |
CN115934624A (zh) | 多主机远程直接内存访问网络管理的方法、设备及介质 | |
CN117938849A (zh) | 传输通道管理方法、数据传输方法、管理设备及计算设备 | |
CN116401043A (zh) | 一种计算任务的执行方法和相关设备 | |
WO2024021470A1 (zh) | 一种跨区域的数据调度方法、装置、设备及存储介质 | |
WO2020253407A1 (zh) | 一种执行写操作、读操作的方法及装置 | |
CN117938848A (zh) | 数据传输方法、传输通道分配方法、计算设备及管理设备 | |
CN117997900A (zh) | 数据传输方法、传输通道分配方法、计算设备及管理设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |