CN116775510B - 数据访问方法、装置、服务器和计算机可读存储介质 - Google Patents
数据访问方法、装置、服务器和计算机可读存储介质 Download PDFInfo
- Publication number
- CN116775510B CN116775510B CN202311054846.9A CN202311054846A CN116775510B CN 116775510 B CN116775510 B CN 116775510B CN 202311054846 A CN202311054846 A CN 202311054846A CN 116775510 B CN116775510 B CN 116775510B
- Authority
- CN
- China
- Prior art keywords
- written
- space
- address
- data
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000015654 memory Effects 0.000 claims abstract description 72
- 238000013403 standard screening design Methods 0.000 claims description 128
- 230000004044 response Effects 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 2
- 101100045541 Homo sapiens TBCD gene Proteins 0.000 description 1
- 101150093640 SSD1 gene Proteins 0.000 description 1
- 101100111629 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) KAR2 gene Proteins 0.000 description 1
- 102100030290 Tubulin-specific chaperone D Human genes 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000010921 in-depth analysis Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及存储技术领域,提供了一种数据访问方法、装置、服务器和计算机可读存储介质,方法包括:接收客户端发送的写请求,写请求包括待写数据的写入长度和待写地址;根据写入长度和待写地址,从RDMA缓存层确定用于暂存待写数据的待写空间,并将待写空间的起始地址返回至客户端;通过RDMA方式接收客户端基于接收到待写空间的起始地址发送的写请求报文,写请求报文包括待写数据,写请求报文中的目的地址为待写空间的起始地址;根据写请求报文中的目的地址,将待写数据暂存至待写空间,以根据待写地址将待写空间中写入的数据存储至SSD的闪存区。本发明能够无需采用更高性能的CPU即可降低数据访问的时延。
Description
技术领域
本发明涉及存储技术领域,具体而言,涉及一种数据访问方法、装置、服务器和计算机可读存储介质。
背景技术
当前的高性能计算、大数据分析、人工智能以及物联网等场景,在业务中越来越多的数据需要从网络中获取,对数据访问的时延要求越来越高,为了降低数据访问的时延,通常采用更高性能的CPU以期提高处理效率,降低数据访问的时延,由此导致成本增加,同时还需要消耗大量的设备内存。
发明内容
本发明的目的在于提供了一种数据访问方法、装置、服务器和计算机可读存储介质,其能够无需采用更高性能的CPU即可降低数据访问的时延,同时也无需大量的服务器内存。
本发明的实施例可以这样实现:
第一方面,本发明提供一种数据访问方法,应用于服务器,所述服务器与客户端通信连接,所述服务器包括RDMA缓存层和SSD,所述方法包括:
接收所述客户端发送的写请求,所述写请求包括待写数据的写入长度和待写地址;
根据所述写入长度和所述待写地址,从所述RDMA缓存层确定用于暂存所述待写数据的待写空间,并将所述待写空间的起始地址返回至所述客户端;
通过RDMA方式接收所述客户端基于接收到待写空间的起始地址发送的写请求报文,所述写请求报文包括所述待写数据,所述写请求报文中的目的地址为所述待写空间的起始地址;
根据所述写请求报文中的目的地址,将所述待写数据暂存至所述待写空间,以根据所述待写地址将所述待写空间中写入的数据存储至所述SSD的闪存区。
在可选的实施方式中,所述SSD为多个,每一所述SSD还包括DRAM区,所述RDMA缓存层的存储空间包括多个所述SSD的DRAM区,所述根据所述写入长度和所述待写地址,从所述RDMA缓存层确定用于暂存所述待写数据的待写空间的步骤包括:
根据所述待写地址确定所述待写数据需要写入的待写SSD;
若所述待写SSD的DRAM区的可用空间的大小大于或者等于所述写入长度,则从所述待写SSD的DRAM区中确定所述待写空间。
在可选的实施方式中,所述服务器的DRAM网卡中存在自带DRAM区,所述RDMA缓存层的存储空间还包括所述自带DRAM区,所述根据所述写入长度和所述待写地址,从所述RDMA缓存层确定用于暂存所述待写数据的待写空间的步骤还包括:
若所述待写SSD的DRAM区的可用空间的大小小于所述写入长度、且所述自带DRAM区的可用空间的大小大于或者等于所述写入长度,则从所述自带DRAM区中确定所述待写空间。
在可选的实施方式中,所述根据所述写入长度和所述待写地址,从所述RDMA缓存层确定用于暂存所述待写数据的待写空间的步骤还包括:
若所述待写SSD的DRAM区的可用空间的大小小于所述写入长度、且所述自带DRAM区的可用空间的大小小于所述写入长度,且所述多个SSD中除所述待写SSD之外存在可用空间的大小大于或者等于所述写入长度的可用SSD,则从所述可用SSD的DRAM区中确定所述待写空间。
在可选的实施方式中,所述根据所述待写地址将所述待写空间中写入的数据存储至所述SSD的闪存区的步骤包括:
将所述待写空间的起始地址作为源地址、将所述待写地址对应的物理地址作为目的地址,采用DMA方式将所述待写空间中写入的数据存储至与所述待写地址对应的所述SSD的闪存区。
在可选的实施方式中,所述方法还包括:
接收所述客户端发送的读请求,所述读请求包括待读数据的读取长度和表征所述待读数据存储位置的待读地址;
根据所述读取长度和所述待读地址,从所述RDMA缓存层确定用于暂存所述待读数据的待读空间;
根据所述待读地址将读取的所述待读数据暂存至所述待读空间、并向所述客户端反馈读响应请求;
接收所述客户端基于所述读响应请求发送的控制请求,所述控制请求包括所述客户端用于接收所述待读数据的接收地址;
基于所述控制请求,通过RDMA方式向所述客户端发送的读响应报文,所述读响应报文包括所述待读数据,所述读响应报文的目的地址为所述接收地址,所述读响应报文的源地址为所述待读空间的起始地址。
在可选的实施方式中,所述根据所述待读地址将读取的所述待读数据暂存至所述待读空间的步骤包括:
将所述待读地址对应的物理地址作为源地址、将所述待读空间的起始地址作为目的地址,采用DMA方式将读取的所述待读数据暂存至所述待读空间。
第二方面,本发明提供一种数据访问装置,应用于服务器,所述服务器与客户端通信连接,所述服务器包括RDMA缓存层和SSD,所述装置包括:
接收模块,用于接收所述客户端发送的写请求,所述写请求包括待写数据的写入长度和待写地址;
确定模块,用于根据所述写入长度和所述待写地址,从所述RDMA缓存层确定用于暂存所述待写数据的待写空间,并将所述待写空间的起始地址返回至所述客户端;
写入模块,用于通过RDMA方式接收所述客户端基于接收到待写空间的起始地址发送的写请求报文,所述写请求报文包括所述待写数据,所述写请求报文中的目的地址为所述待写空间的起始地址;
所述写入模块,还用于根据所述写请求报文中的目的地址,将所述待写数据暂存至所述待写空间,以根据所述待写地址将所述待写空间中写入的数据存储至所述SSD的闪存区。
第三方面,本发明提供一种服务器,包括处理器和存储器,所述存储器用于存储程序,所述处理器用于在执行所述程序时,实现前述实施方式中任一项所述的数据访问方法。
第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现前述实施方式中任一项所述的数据访问方法。
本发明实施例在服务器中引入RDMA缓存层,客户端需要向服务器写数据时,服务器首先从RDMA缓存层确定用于暂存待写数据的待写空间,并将待写空间的起始地址返回客户端,客户端基于待写空间的起始地址利用RDMA方式向服务器发送写请求报文、将待写空间的起始地址添加在写请求报文中,以将写请求报文中的待写数据暂存至待写空间中,服务器根据待写数据的待写地址再将待写空间中写入的数据存储至SSD的闪存区。由于写请求报文中的待写数据是通过RDMA方式进行传输的,传输过程中无需CPU参与,且由于RDMA缓存层的数据访问性能比较高,因此实现了无需采用更高性能的CPU、同时也无需大量的服务器内存即可降低数据访问的时延的技术效果。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供应用场景的示例图。
图2为本发明实施例提供的应用于图1应用场景的数据访问的示例图一。
图3为本发明实施例提供的应用于图1应用场景的数据访问的示例图二。
图4为本发明实施例提供的图3中RDMA缓存层的示例图。
图5为本发明实施例提供的数据访问方法的流程示例图一。
图6为本发明实施例提供的数据访问方法的流程示例图二。
图7为本发明实施例提供的数据访问装置的方框示意图。
图8为本发明实施例提供的服务器的方框示意图。
图标:10-服务器;11-处理器;12-存储器;13-总线;20-客户端;100-数据访问装置;110-接收模块;120-确定模块;130-写入模块;140-读取模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,若出现术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在不冲突的情况下,本发明的实施例中的特征可以相互结合。
请参考图1,图1为本发明实施例提供应用场景的示例图,图1中,服务器10和客户端20通信连接,服务器10为存储服务的提供方,客户端20为存储服务的请求方,当客户端20需要存储数据时,客户端20向将数据发送至服务器10,服务器10将该数据进行存储,当客户端20需要读取存储的数据时,向服务器10发送读取请求,以读取存储至服务器10的数据。
服务器10包括、但不限于存储阵列、一台存储服务器、多台存储服务器组成的服务器集群、网络存储设备等。
客户端20包括、但不限于手机、平板电脑、笔记本电脑、可穿戴设备、主机等设备。
基于图1的应用场景,发明人对服务器10和客户端20之间的数据传输的过程进行了深入分析,请参照图2,图2为本发明实施例提供的应用于图1应用场景的数据访问的示例图一,图2中,客户端20包括用于持久存储数据的SSD盘、用于暂存数据的内存块,用于发送数据的RDMA网卡,RDMA网卡自带DMA引擎。其中,SSD盘包括DMA(Direct Memory Access,直接内存访问)引擎和实际持久存储数据的闪存,通过DMA引擎,可以将闪存中需要传输的数据拷贝到内存块中。RDMA网卡是支持RDMA(Remote Direct Memory Access,远程直接内存访问)的网络适配器,RDMA技术允许网络中的两个节点(例如服务器10和客户端20)直接访问彼此的内存,而无需操作系统的中介。同样地,服务器10也包括自带DMA引擎的RDMA网卡、用于暂存数据的内存块、包括DMA引擎及闪存的SSD盘。
客户端20利用本地的DMA引擎将数据从闪存中读入内存,当需要存储数据时,先向服务器10发送写请求,服务器10根据写请求中的待写长度从内存块中准备用于暂存待写数据的空间,并将该空间的起始地址返回至客户端20,客户端20得到该起始地址后,客户端20的RDMA网卡利用其DMA引擎从本地的内存块中取出待写数据,组装成数据报文后发送至服务器10的RDMA网卡,服务器10的RDMA网卡将接收到的数据报文进行解包,利用其DMA引擎将解包后得到的待写数据暂存至预先准备好的本地内存块中,再利用SSD的DMA引擎将暂存至内存块中的数据存储至本地的闪存中。
由图2可以看出,服务器10在接收到待写数据后,需要CPU参与两次转换,先是数据从客户端20到服务器10中的本地内存块,后是从服务器10的本地内存块到服务器10的闪存,由于整个过程需要服务器10的CPU的参与,增加了对CPU的依赖,如果要提高数据处理效率,必须对CPU的配置进行升级,而配置升级势必造成成本的增加,此外,为了保证数据存储效率,需要锁定大量的大页内存,影响了其他业务使用内存。
有鉴于此,本实施例提供一种数据访问方法、装置、服务器和计算机可读存储介质,通过在服务器10中引入RDMA缓存层,用RDMA方式实现服务器10和客户端20之间的数据访问,数据访问过程无需服务器10的CPU干预,有效减小了服务器10的CPU负载,降低了服务器10的CPU的性能要求,降低了服务器10的成本,同时,无需锁定大量的大页内存,避免了对其他业务使用内存的影响。下面将对其进行详细描述。
请参照图3,图3为本发明实施例提供的应用于图1应用场景的数据访问的示例图二,该数据访问的示例图是发明人对图2中存在的问题进行分析后提供的改进后的示例,图3中,服务器10中的RDMA网卡自带DRAM,此外,服务器10的SSD盘也带有DRAM区,RDMA缓存层统一管理RDMA网卡的自带DRAM和SSD的DRAM区,SSD的DRAM区是一种用于提升SSD性能的技术,DRAM区的访问性能较高,通过加入DRAM区,可以提高数据处理速度、降低访问延迟。
在写数据时,服务器10从RDMA缓存层确定暂存待写数据的空间,并向客户端20返回该空间的起始地址,客户端20发送的数据包以RDMA技术直接写入服务器10预先准备的RDMA缓存层中的空间,再利用DMA技术将RDMA缓存层中写入的数据存储至SSD盘的闪存中。由于客户端20发来的数据无需存储至服务器10的本地内存,而是暂存于RDMA缓存层,无需服务器10的CPU的干预即可实现,同时也不影响其他业务使用内存,此外,数据通过DMA方式从RDMA缓存层存储至本地闪存中,以DMA方式传输数据也无需CPU的干预,在提高传输效率的同时,进一步减轻了服务器10的CPU负载。
为了更清楚的说明RDMA缓存层,本实施例还提供了RDMA缓存层的示例图,请参照图4,图4为本发明实施例提供的图3中RDMA缓存层的示例图,图4中,RDMA缓存层统一管理了RDMA网卡的自带DRAM和服务器10上SSD A、SSD B和SSD C的DRAM,为了保证数据访问效率,以写数据为例,一种较优的实现方式为,首先从待写数据需要写入的SSD盘的DRAM中获取需要暂存待写数据的空间,由此,待写数据暂存后,可以在同一个SSD盘内以DMA方式实现数据的存储,存储效率更高。若待写数据需要写入的SSD盘的DRAM中不存在足够的空间,则从RDMA网卡的自带DRAM中获取需要暂存待写数据的空间,由此,可以在不影响其他SSD盘的数据存储的基础上,实现数据的存储,若上述两种情况均不满足,则尝试从其他SSD盘的DRAM中获取暂存待写数据的空间,由此,实现SSD盘的DRAM资源的充分利用。
基于图3的数据访问的示例图和图4的RDMA缓存层的示例图,本实施例还提供了一种应用于服务器10的数据访问方法,请参照图5,图5为本发明实施例提供的数据访问方法的流程示例图,该方法包括以下步骤:
步骤S101,接收客户端发送的写请求,写请求包括待写数据的写入长度和待写地址。
在本实施例中,待写地址可以为客户端20运行的应用程序能够看到的逻辑地址,并非实际存储待写数据的地址,事实上,客户端20无需关心待写数据存储的物理地址,即SSD盘中的物理地址,只有提供存储服务的服务器才需要根据待写地址确定实际要存储待写数据的SSD盘中的物理地址。
步骤S102,根据写入长度和待写地址,从RDMA缓存层确定用于暂存待写数据的待写空间,并将待写空间的起始地址返回至客户端。
在本实施例中,可以理解的是,待写空间的大小可以大于或者等于写入长度,以便待写数据能够正常暂存至待写空间。RDMA缓存层可以包括DRAM网卡中的自带DRAM区和SSD盘的DRAM区中至少一个,待写空间可以是自带DRAM区中的区域,也可以是SSD盘的DRAM区中的区域。
步骤S103,通过RDMA方式接收客户端基于接收到待写空间的起始地址发送的写请求报文,写请求报文包括待写数据,写请求报文中的目的地址为待写空间的起始地址。
在本实施例中,客户端20接收到待写空间的起始地址后,客户端20以RDMA方式发送写请求报文,写请求报文中的源地址为待写数据在客户端20中的内存中的地址,目的地址为待写空间的起始地址。
步骤S104,根据写请求报文中的目的地址,将待写数据暂存至待写空间,以根据待写地址将待写空间中写入的数据存储至SSD的闪存区。
在本实施例中,在待写数据暂存至待写空间后,若对数据一致性要求极高的场景,可以将待写空间中写入的数据存储至SSD的闪存区之后再向客户端20返回写入成功的响应消息,若对数据一致性要求一般的场景,可以在待写数据暂存至待写空间后立即向客户端20返回写入成功的响应消息。
本实施例提供的上述方法,通过引入RDMA缓存层,通过RDMA方式进行数据传输,传输过程中无需CPU参与,且由于RDMA缓存层的数据访问性能比较高,因此实现了无需采用更高性能的CPU、也无需大量的服务器内存即可降低数据访问的时延的技术效果,同时也避免了影响其他业务使用内存。
在可选的实施方式中,当SSD为多个,多个SSD的DRAM区由RDMA缓存层统一管理,为了使从RDMA缓存层中获取的待写空间更合适,以进一步提高数据写入效率,本实施例还提供了一种确定待写空间的实现方式:
根据待写地址确定待写数据需要写入的待写SSD;
若待写SSD的DRAM区的可用空间的大小大于或者等于写入长度,则从待写SSD的DRAM区中确定待写空间。
本实施例中,由于优先从待写数据需要写入的待写SSD的DRAM区中获取待写空间,待写数据能够在待写SSD盘内部快速地从待写空间存储至待写SSD的闪存。例如,服务器10有3个SSD:SSD1~SSD3,根据待写地址确定待写数据需要写入SSD2,则优先从SSD2的DRAM区中获取待写空间。
在可选的实施方式中,在待写SSD的DRAM区的可用空间不够时,为了不影响其他SSD的数据存储,本实施例还提供了此情况下确定待写空间的实现方式:
若待写SSD的DRAM区的可用空间的大小小于写入长度、且自带DRAM区的可用空间的大小大于或者等于写入长度,则从自带DRAM区中确定待写空间。
在本实施例中,自带DRAM区可以是RDMA网卡中的全部DRAM区,也可以是从RDMA网卡中DRAM区中专门划分出来的专用区域。
在可选的实施方式中,若待写SSD的DRAM区不够、且自带DRAM区也不够,为了充分利用SSD的DRAM区,本实施例还提供了一种此场景下确定待写空间的实现方式:
若待写SSD的DRAM区的可用空间的大小小于写入长度、且自带DRAM区的可用空间的大小小于写入长度,且多个SSD中除待写SSD之外存在可用空间的大小大于或者等于写入长度的可用SSD,则从可用SSD的DRAM区中确定待写空间。
在本实施例中,若可用SSD为多个,则可以从多个可用SSD的DRAM区中确定待写空间的方式可以是随机选择一个可用SSD,也可以是从中选择一个DRAM区的可用空间最大的可用SSD,或者是选择一个SSD当前访问负载最小的可用SSD等。
本实施例提供的上述方法,通过对SSD的DRAM区统一管理,实现了SSD的DRAM区的资源共享,有效地节省了服务器10的成本。
在可选的实施方式中,为了提高待写空间中的数据存储至SSD的闪存区的存储效率,同时进一步减少CPU的负载,本实施例提供了一种实现方式:
将待写空间的起始地址作为源地址、将待写地址对应的物理地址作为目的地址,采用DMA方式将待写空间中写入的数据存储至与待写地址对应的SSD的闪存区。
本实施例提供的上述方法,通过DMA方式将待写空间中写入的数据存储至与待写地址对应的SSD的闪存区,由于DMA方式无需服务器10的CPU的干预,可以进一步减小了服务器10的CPU负载,同时,由于数据无需经过内存,直接在两个DRAM区域中传输,减少了IO的处理步骤,进一步提高了性能。
在可选的实施方式中,为了能够快速地从服务器10读取存储的数据,本实施例还提了一种读数据的处理方式,请参照图6,图6为本发明实施例提供的数据访问方法的流程示例图二,该方法包括以下步骤:
步骤S110,接收客户端发送的读请求,读请求包括待读数据的读取长度和表征待读数据存储位置的待读地址。
在本实施例中,待读地址与待写地址一样,也为客户端20运行的应用程序能够看到的逻辑地址,并非实际存储待写数据的地址。
步骤S111,根据读取长度和待读地址,从RDMA缓存层确定用于暂存待读数据的待读空间。
在本实施例中,也可以按照与本实施例记载的确定待写空间的一样的方式确定待读空间,以使从RDMA缓存层获取的待读空间更合适,以进一步提高数据读取效率,例如,根据待读地址确定存储待读数据的待读SSD;若待读SSD的DRAM区的可用空间的大小大于或者等于写入长度,则从待读SSD的DRAM区中确定待读空间,其他场景下与确定待写空间的方式一样,此处不再赘述。
步骤S112,根据待读地址将读取的待读数据暂存至待读空间、并向客户端反馈读响应请求。
步骤S113,接收客户端基于读响应请求发送的控制请求,控制请求包括客户端用于接收待读数据的接收地址。
步骤S114,基于控制请求,通过RDMA方式向客户端发送的读响应报文,读响应报文包括待读数据,读响应报文的目的地址为接收地址,读响应报文的源地址为待读空间的起始地址。
在本实施例中,服务器10通过RDMA方式发送读响应报文的方式与客户端20通过RDMA方式发送写请求报文的方式类似,此处不再赘述。
在可选的实施方式中,为了使待读数据快速地暂存至待读空间,本实施例还提供了一种实现方式:
将待读地址对应的物理地址作为源地址、将待读空间的起始地址作为目的地址,采用DMA方式将读取的待读数据暂存至待读空间。
在本实施例中,待读地址对应的物理地址为待读数据在SSD中的实际存储的地址,通过DMA方式将SSD中的待读数据暂存至待读空间,由于DMA方式无需服务器10的CPU的干预,可以进一步减小了服务器10的CPU负载,同时,由于数据无需经过内存,直接在两个DRAM区域中传输,减少了IO的处理步骤,进一步提高了性能。
还需要说明的是,上述数据访问方法都是站在服务器10这一侧进行的描述,事实上,基于上述记载的内容,本领域技术人员可以在不付出创造性劳动的情况下,参照本实施例中对服务器10的改进及应用于服务器10的数据访问方法,对客户端20进行类似改进,例如,为客户端20增加RDMA缓存层,RDMA缓存层统一管理客户端20上各SSD的DRAM,以实现对应的提高访问效率、减少成本的技术效果。
为了执行上述实施例及各个可能的实施方式中的相应步骤,下面给出一种数据访问装置的实现方式。请参照图7,图7为本发明实施例提供的数据访问装置100的方框示意图。需要说明的是,本实施例所提供的数据访问装置100,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及指出。
数据访问装置100包括接收模块110、确定模块120、写入模块130及读取模块140,数据访问装置100应用于服务器。
接收模块110,用于接收客户端发送的写请求,写请求包括待写数据的写入长度和待写地址;
确定模块120,用于根据写入长度和待写地址,从RDMA缓存层确定用于暂存待写数据的待写空间,并将待写空间的起始地址返回至客户端;
写入模块130,用于通过RDMA方式接收客户端基于接收到待写空间的起始地址发送的写请求报文,写请求报文包括待写数据,写请求报文中的目的地址为待写空间的起始地址;
写入模块130,还用于根据写请求报文中的目的地址,将待写数据暂存至待写空间,以根据待写地址将待写空间中写入的数据存储至SSD的闪存区。
在可选的实施方式中, SSD为多个,每一SSD还包括DRAM区, RDMA缓存层的存储空间包括多个SSD的DRAM区,确定模块120具体用于:根据待写地址确定待写数据需要写入的待写SSD;若待写SSD的DRAM区的可用空间的大小大于或者等于写入长度,则从待写SSD的DRAM区中确定待写空间。
在可选的实施方式中,服务器的DRAM网卡中存在自带DRAM区, RDMA缓存层的存储空间还包括自带DRAM区,确定模块120还用于:若待写SSD的DRAM区的可用空间的大小小于写入长度、且自带DRAM区的可用空间的大小大于或者等于写入长度,则从自带DRAM区中确定待写空间。
在可选的实施方式中,确定模块120还用于:若待写SSD的DRAM区的可用空间的大小小于写入长度、且自带DRAM区的可用空间的大小小于写入长度,且多个SSD中除待写SSD之外存在可用空间的大小大于或者等于写入长度的可用SSD,则从可用SSD的DRAM区中确定待写空间。
在可选的实施方式中,写入模块130具体用于:将待写空间的起始地址作为源地址、将待写地址对应的物理地址作为目的地址,采用DMA方式将待写空间中写入的数据存储至与待写地址对应的SSD的闪存区。
在可选的实施方式中,接收模块110还用于:接收客户端发送的读请求,读请求包括待读数据的读取长度和表征待读数据存储位置的待读地址。
确定模块120还用于:根据读取长度和待读地址,从RDMA缓存层确定用于暂存待读数据的待读空间。
读取模块140用于:根据待读地址将读取的待读数据暂存至待读空间、并向客户端反馈读响应请求;接收客户端基于读响应请求发送的控制请求,控制请求包括客户端用于接收待读数据的接收地址;基于控制请求,通过RDMA方式向客户端发送的读响应报文,读响应报文包括待读数据,读响应报文的目的地址为接收地址,读响应报文的源地址为待读空间的起始地址。
在可选的实施方式中,读取模块140具体用于:将待读地址对应的物理地址作为源地址、将待读空间的起始地址作为目的地址,采用DMA方式将读取的待读数据暂存至待读空间。
本实施例还提供了一种服务器10的方框示意图,请参照图8,图8为本发明实施例提供的服务器10的方框示意图,服务器10包括处理器11、存储器12、总线13。处理器11、存储器12通过总线13连接。
处理器11可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器12用于存储程序,例如图7中的数据访问装置100,数据访问装置100均包括至少一个可以软件或固件(firmware)的形式存储于存储器12中的软件功能模块,处理器11在接收到执行指令后,执行程序以实现本发明实施例中的数据访问方法。
存储器12可能包括高速随机存取存储器(RAM:Random Access Memory),也可能还包括非易失存储器(non-volatile memory)。可选地,存储器12可以是内置于处理器11中的存储装置,也可以是独立于处理器11的存储装置。
总线13可以是ISA总线、PCI总线或EISA总线等。图8仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时,实现前述实施方式中任一项的数据访问方法。
综上所述,本发明实施例提供了一种数据访问方法、装置、服务器和计算机可读存储介质,应用于服务器,服务器与客户端通信连接,服务器包括RDMA缓存层和SSD,方法包括:接收客户端发送的写请求,写请求包括待写数据的写入长度和待写地址;根据写入长度和待写地址,从RDMA缓存层确定用于暂存待写数据的待写空间,并将待写空间的起始地址返回至客户端;通过RDMA方式接收客户端基于接收到待写空间的起始地址发送的写请求报文,写请求报文包括待写数据,写请求报文中的目的地址为待写空间的起始地址;根据写请求报文中的目的地址,将待写数据暂存至待写空间,以根据待写地址将待写空间中写入的数据存储至SSD的闪存区。与现有技术相比,本实施例至少具有以下优势:(1)通过引入RDMA缓存层,通过RDMA方式进行数据传输,传输过程中无需CPU参与,且由于RDMA缓存层的数据访问性能比较高,因此实现了无需采用更高性能的CPU、也无需大量的服务器内存即可降低数据访问的时延的技术效果,同时也避免了影响其他业务使用内存,使得客户端的应用可以访问远程服务器的持久存储而不消耗远程服务器中的任何CPU资源和内存资源。远程服务器的持久存储能够被读取而不需要远程服务器上的进程(或CPU内存)参与,天然避免服务器的CPU的缓存(cache)不会被访问的内存内容所填充;(2)优先采用与待写数据/待读数据同一个SSD的DRAM,使得数据在同一个SSD内部进行传输时传输效率高,提高了访问性能;(3)利用RDMA网卡的自带DRAM,避免在SSD的DRAM不够时,仍然可以采用自带DRAM保证较高的访问性能;(4)通过RDMA缓存层将多个SSD的DRAM和自带DRAM统一管理,充分利用了服务器中的DRAM,有效实现DRAM资源共享,节省了服务器成本。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种数据访问方法,其特征在于,应用于服务器,所述服务器与客户端通信连接,所述服务器包括RDMA缓存层和SSD,所述SSD为多个,每一所述SSD还包括DRAM区,所述RDMA缓存层的存储空间包括多个所述SSD的DRAM区,所述服务器的DRAM网卡中存在自带DRAM区,所述RDMA缓存层的存储空间还包括所述自带DRAM区,所述方法包括:
接收所述客户端发送的写请求,所述写请求包括待写数据的写入长度和待写地址;
根据所述写入长度和所述待写地址,从所述RDMA缓存层确定用于暂存所述待写数据的待写空间,并将所述待写空间的起始地址返回至所述客户端;
通过RDMA方式接收所述客户端基于接收到待写空间的起始地址发送的写请求报文,所述写请求报文包括所述待写数据,所述写请求报文中的目的地址为所述待写空间的起始地址;
根据所述写请求报文中的目的地址,将所述待写数据暂存至所述待写空间,以根据所述待写地址将所述待写空间中写入的数据存储至所述SSD的闪存区;
所述根据所述写入长度和所述待写地址,从所述RDMA缓存层确定用于暂存所述待写数据的待写空间的步骤包括:
根据所述待写地址确定所述待写数据需要写入的待写SSD;
若所述待写SSD的DRAM区的可用空间的大小大于或者等于所述写入长度,则从所述待写SSD的DRAM区中确定所述待写空间;
若所述待写SSD的DRAM区的可用空间的大小小于所述写入长度、且所述自带DRAM区的可用空间的大小大于或者等于所述写入长度,则从所述自带DRAM区中确定所述待写空间;
若所述待写SSD的DRAM区的可用空间的大小小于所述写入长度、且所述自带DRAM区的可用空间的大小小于所述写入长度,且多个所述SSD中除所述待写SSD之外存在可用空间的大小大于或者等于所述写入长度的可用SSD,则从所述可用SSD的DRAM区中确定所述待写空间。
2.如权利要求1所述的数据访问方法,其特征在于,所述根据所述待写地址将所述待写空间中写入的数据存储至所述SSD的闪存区的步骤包括:
将所述待写空间的起始地址作为源地址、将所述待写地址对应的物理地址作为目的地址,采用DMA方式将所述待写空间中写入的数据存储至与所述待写地址对应的所述SSD的闪存区。
3.如权利要求1所述的数据访问方法,其特征在于,所述方法还包括:
接收所述客户端发送的读请求,所述读请求包括待读数据的读取长度和表征所述待读数据存储位置的待读地址;
根据所述读取长度和所述待读地址,从所述RDMA缓存层确定用于暂存所述待读数据的待读空间;
根据所述待读地址将读取的所述待读数据暂存至所述待读空间、并向所述客户端反馈读响应请求;
接收所述客户端基于所述读响应请求发送的控制请求,所述控制请求包括所述客户端用于接收所述待读数据的接收地址;
基于所述控制请求,通过RDMA方式向所述客户端发送的读响应报文,所述读响应报文包括所述待读数据,所述读响应报文的目的地址为所述接收地址,所述读响应报文的源地址为所述待读空间的起始地址。
4.如权利要求3所述的数据访问方法,其特征在于,所述根据所述待读地址将读取的所述待读数据暂存至所述待读空间的步骤包括:
将所述待读地址对应的物理地址作为源地址、将所述待读空间的起始地址作为目的地址,采用DMA方式将读取的所述待读数据暂存至所述待读空间。
5.一种数据访问装置,其特征在于,应用于服务器,所述服务器与客户端通信连接,所述服务器包括RDMA缓存层和SSD,所述SSD为多个,每一所述SSD还包括DRAM区,所述RDMA缓存层的存储空间包括多个所述SSD的DRAM区,所述服务器的DRAM网卡中存在自带DRAM区,所述RDMA缓存层的存储空间还包括所述自带DRAM区,所述装置包括:
接收模块,用于接收所述客户端发送的写请求,所述写请求包括待写数据的写入长度和待写地址;
确定模块,用于根据所述写入长度和所述待写地址,从所述RDMA缓存层确定用于暂存所述待写数据的待写空间,并将所述待写空间的起始地址返回至所述客户端;
写入模块,用于通过RDMA方式接收所述客户端基于接收到待写空间的起始地址发送的写请求报文,所述写请求报文包括所述待写数据,所述写请求报文中的目的地址为所述待写空间的起始地址;
所述写入模块,还用于根据所述写请求报文中的目的地址,将所述待写数据暂存至所述待写空间,以根据所述待写地址将所述待写空间中写入的数据存储至所述SSD的闪存区;
所述确定模块具体用于:根据所述待写地址确定所述待写数据需要写入的待写SSD;若所述待写SSD的DRAM区的可用空间的大小大于或者等于所述写入长度,则从所述待写SSD的DRAM区中确定所述待写空间;若所述待写SSD的DRAM区的可用空间的大小小于所述写入长度、且所述自带DRAM区的可用空间的大小大于或者等于所述写入长度,则从所述自带DRAM区中确定所述待写空间;若所述待写SSD的DRAM区的可用空间的大小小于所述写入长度、且所述自带DRAM区的可用空间的大小小于所述写入长度,且多个所述SSD中除所述待写SSD之外存在可用空间的大小大于或者等于所述写入长度的可用SSD,则从所述可用SSD的DRAM区中确定所述待写空间。
6.一种服务器,其特征在于,包括处理器和存储器,所述存储器用于存储程序,所述处理器用于在执行所述程序时,实现权利要求1-4中任一项所述的数据访问方法。
7.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被处理器执行时,实现权利要求1-4中任一项所述的数据访问方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311054846.9A CN116775510B (zh) | 2023-08-22 | 2023-08-22 | 数据访问方法、装置、服务器和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311054846.9A CN116775510B (zh) | 2023-08-22 | 2023-08-22 | 数据访问方法、装置、服务器和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116775510A CN116775510A (zh) | 2023-09-19 |
CN116775510B true CN116775510B (zh) | 2023-11-24 |
Family
ID=88011982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311054846.9A Active CN116775510B (zh) | 2023-08-22 | 2023-08-22 | 数据访问方法、装置、服务器和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116775510B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109983439A (zh) * | 2016-12-28 | 2019-07-05 | 英特尔公司 | 虚拟化远程直接存储器访问 |
CN112579311A (zh) * | 2019-09-30 | 2021-03-30 | 华为技术有限公司 | 访问固态硬盘的方法及存储设备 |
CN112612734A (zh) * | 2020-12-18 | 2021-04-06 | 平安科技(深圳)有限公司 | 文件传输方法、装置、计算机设备及存储介质 |
CN113971138A (zh) * | 2020-07-24 | 2022-01-25 | 华为技术有限公司 | 一种数据访问方法及相关设备 |
WO2022017628A1 (en) * | 2020-07-24 | 2022-01-27 | Huawei Technologies Co., Ltd. | Devices, methods, and system for reducing latency in remote direct memory access system |
WO2023125524A1 (zh) * | 2021-12-30 | 2023-07-06 | 华为技术有限公司 | 数据存储方法、系统、存储访问配置方法及相关设备 |
-
2023
- 2023-08-22 CN CN202311054846.9A patent/CN116775510B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109983439A (zh) * | 2016-12-28 | 2019-07-05 | 英特尔公司 | 虚拟化远程直接存储器访问 |
CN112579311A (zh) * | 2019-09-30 | 2021-03-30 | 华为技术有限公司 | 访问固态硬盘的方法及存储设备 |
CN113971138A (zh) * | 2020-07-24 | 2022-01-25 | 华为技术有限公司 | 一种数据访问方法及相关设备 |
WO2022017628A1 (en) * | 2020-07-24 | 2022-01-27 | Huawei Technologies Co., Ltd. | Devices, methods, and system for reducing latency in remote direct memory access system |
CN112612734A (zh) * | 2020-12-18 | 2021-04-06 | 平安科技(深圳)有限公司 | 文件传输方法、装置、计算机设备及存储介质 |
WO2023125524A1 (zh) * | 2021-12-30 | 2023-07-06 | 华为技术有限公司 | 数据存储方法、系统、存储访问配置方法及相关设备 |
Non-Patent Citations (2)
Title |
---|
optimizing the datapath for key-value middleware with nvme ssds over rdma interconnects;Zhongqi An .etc;《2017 IEEE International Conference on Cluster Computing》;1-5 * |
基于RDMA的数据传输策略优化与实现;刘冰;《中国优秀硕士学位论文全文数据库》;I138-753 * |
Also Published As
Publication number | Publication date |
---|---|
CN116775510A (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110647480B (zh) | 数据处理方法、远程直接访存网卡和设备 | |
CN107690622B (zh) | 实现硬件加速处理的方法、设备和系统 | |
CN110119304A (zh) | 一种中断处理方法、装置及服务器 | |
CN111309805B (zh) | 数据库的数据读写方法及装置 | |
CN109478171B (zh) | 提高openfabrics环境中的吞吐量 | |
CN115964319A (zh) | 远程直接内存访问的数据处理方法及相关产品 | |
WO2023124304A1 (zh) | 芯片的缓存系统、数据处理方法、设备、存储介质及芯片 | |
CN111767114A (zh) | 创建云主机的方法和装置、计算机系统和可读存储介质 | |
CN116775510B (zh) | 数据访问方法、装置、服务器和计算机可读存储介质 | |
CN116881191B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN107291628B (zh) | 访问数据存储设备的方法和装置 | |
US20210011716A1 (en) | Processing circuit, information processing apparatus, and information processing method | |
CN115809015A (zh) | 分布式系统中数据处理的方法以及相关系统 | |
CN115878550A (zh) | 一种数据处理的方法、芯片、设备以及系统 | |
CN115878311A (zh) | 一种计算节点集群、数据聚合方法和相关设备 | |
CN116745754A (zh) | 一种访问远端资源的系统及方法 | |
CN112486402A (zh) | 一种存储节点及系统 | |
CN111371884A (zh) | 局域网内的数据处理方法、客户机、介质、请求端及系统 | |
CN115297169B (zh) | 数据处理方法、装置、电子设备及介质 | |
CN110704163A (zh) | 一种服务器及其虚拟化存储方法和装置 | |
CN113094328B (zh) | 一种用于合成孔径雷达实时成像的多通道并行计算系统 | |
US20240036940A1 (en) | Method and system for acceleration or offloading utilizing a unified data pointer | |
CN111866093B (zh) | 一种业务数据的分发方法及装置 | |
US20230409226A1 (en) | Method and system for acceleration or offloading utilizing a multiple input data stream | |
WO2023151216A1 (zh) | 图数据处理的方法和芯片 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |