CN110191194B - 一种基于rdma网络的分布式文件系统数据传输方法和系统 - Google Patents

一种基于rdma网络的分布式文件系统数据传输方法和系统 Download PDF

Info

Publication number
CN110191194B
CN110191194B CN201910508982.8A CN201910508982A CN110191194B CN 110191194 B CN110191194 B CN 110191194B CN 201910508982 A CN201910508982 A CN 201910508982A CN 110191194 B CN110191194 B CN 110191194B
Authority
CN
China
Prior art keywords
server
access request
rdma
file
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910508982.8A
Other languages
English (en)
Other versions
CN110191194A (zh
Inventor
王桦
周可
阴智辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201910508982.8A priority Critical patent/CN110191194B/zh
Publication of CN110191194A publication Critical patent/CN110191194A/zh
Application granted granted Critical
Publication of CN110191194B publication Critical patent/CN110191194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于RDMA网络的分布式文件系统数据传输方法，包括：客户端在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求，服务端在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接，客户端根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端，服务端对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，服务端将服务端返回地址、以及RDMA远程访问权限信息发送到客户端。本发明能够解决现有分布式文件系统存在的数据传输过程中内存操作的开销较大的技术问题，以及服务端的负载较大、传输时延较长的技术问题。

Description

一种基于RDMA网络的分布式文件系统数据传输方法和系统
技术领域
本发明属于计算机网络技术领域，更具体地，涉及一种基于RDMA网络的分布式文件系统数据传输方法和系统。
背景技术
随着近年来大数据、云计算以及人工智能等计算机信息技术的快速发展，全球互联网数据规模呈指数级增长，众多高并发、低时延应用对高性能硬件的需求催生了高性能存储器的出现。对于高性能存储器而言，由于其存储侧I/O吞吐能力强大，分布式文件系统需要分配较多的计算资源以完成数据处理与数据交换，从而导致系统的传输时延增加，从而限制了网络传输能力与系统性能。为了解决这个问题，远程内存直接存取(RemoteDirect Memory Access，简称RDMA)网络应运而生，它在减少计算资源消耗的同时，能保证极低的传输时延。
目前使用RDMA网络的分布式文件系统大多数是将RDMA库或插件作为RDMA模块使用。在此方式下，分布式文件系统的RDMA模块封装了底层的RDMA网络传输功能，并为上层应用提供调用接口，上层应用则通过该调用接口，间接使用RDMA网络。
然而，现有使用RDMA网络的分布式文件系统都存在一些不可忽略的技术问题：由于分布式文件系统的网络传输层基本都与逻辑处理层严格隔离，从而无法根据RDMA传输的特点将RDMA网络与分布式文件系统的数据处理机制进行有效的整合与适配，进而一方面会导致数据传输过程中的内存操作的开销较大，另一方面会使得服务端的负载较大，传输时延较长。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于RDMA网络的分布式文件系统数据传输方法和系统，其目的在于，根据RDMA网络传输的特点将其与分布式文件系统有机地结合在一起，从而解决现有使用RDMA网络的分布式文件系统存在的数据传输过程中内存操作的开销较大的技术问题，以及服务端的负载较大、传输时延较长的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于RDMA网络的分布式文件系统数据传输方法，包括以下步骤：
(1)客户端在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求；
(2)服务端在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接；
(3)客户端根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端；
(4)服务端判断来自于客户端的网络数据访问请求是数据读请求还是数据写请求，如果是数据读请求则进入步骤(5)，如果是数据写请求则进入步骤(6)；
(5)服务端对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，然后进入步骤(8)；
(6)服务端判断网络数据访问请求对应文件的大小是否大于其已注册的文件存储空间，如果是则进入步骤(7)，否则进入步骤(8)；
(7)服务端根据网络数据访问请求对应文件的大小对其已注册的文件存储空间进行扩容操作，并获取网络数据访问请求对应的文件在扩容后的文件存储空间中的待写入地址作为服务端返回地址；
(8)服务端将服务端返回地址、以及RDMA远程访问权限信息发送到客户端；
(9)客户端使用来自服务端的服务端返回地址、以及RDMA远程访问权限信息完成对服务端中与网络数据访问请求对应的单个数据块的远程访问操作；
(10)客户端针对网络数据访问请求对应的其余所有数据块，重复上述步骤(9)，直到完成所有数据块的访问操作为止，并通知服务端数据传输完成。
优选地，步骤(3)具体为，将文件访问请求中的路径信息进行哈希运算以得到地址信息，并将该地址信息、以及文件访问请求对应的文件大小作为网络数据访问请求、并通过RDMA Send的通信方式发送到服务端。
优选地，文件存储空间是系统初始化阶段，服务端通过RDMA接口向RDMA网卡注册的内存空间，该内存空间中包含了服务端为所有用户存储的文件数据。
优选地，步骤(7)中的扩容操作是首先对已有的文件存储空间进行翻倍扩容，如果翻倍扩容后的文件存储空间仍然不足以写入网络数据访问请求对应的文件，则继续进行翻倍扩容，直至能够写入网络数据访问请求对应的文件为止，若扩容过程中服务端已经没有足够的空间用于扩容，则过程结束；
优选地，步骤(8)中，RDMA远程访问权限信息是服务端在系统初始化阶段向RDMA网卡注册时，从RDMA网卡获取到的。
优选地，步骤(8)中，服务端发送服务端返回地址、以及RDMA远程访问权限信息是通过RDMA Send Inline的方式。
优选地，步骤(9)中，远程访问操作是使用RDMA内存型通讯方式，通讯过程中需要使用客户端在系统初始化阶段通过RDMA接口向RDMA网卡注册的内存空间，该内存空间是可以反复使用的。
优选地，所述分布式文件系统数据传输方法进一步包括所述步骤(10)以后的以下步骤：
服务器在收到来自于客户端数据传输完成的通知后判断其已注册的文件存储空间的使用率是否超过阈值，如果是则进行文件存储空间的扩容操作，然后过程结束，否则过程结束。
按照本发明的另一方面，提供了一种基于RDMA网络的分布式文件系统数据传输系统，包括：
第一模块，其设置在客户端中，用于在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求；
第二模块，其设置于服务端中，用于在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接；
第三模块，其设置在客户端中，用于根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端；
第四模块，其设置于服务端中，用于判断来自于客户端的网络数据访问请求是数据读请求还是数据写请求，如果是数据读请求则进入第五模块，如果是数据写请求则进入第六模块；
第五模块，其设置于服务端中，用于对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，然后进入第八模块；
第六模块，其设置于服务端中，用于判断网络数据访问请求对应文件的大小是否大于其已注册的文件存储空间，如果是则进入第七模块，否则进入第八模块；
第七模块，其设置于服务端中，用于根据网络数据访问请求对应文件的大小对其已注册的文件存储空间进行扩容操作，并获取网络数据访问请求对应的文件在扩容后的文件存储空间中的待写入地址作为服务端返回地址；
第八模块，其设置于服务端中，用于将服务端返回地址、以及RDMA远程访问权限信息发送到客户端；
第九模块，其设置在客户端中，用于使用来自服务端的服务端返回地址、以及RDMA远程访问权限信息完成对服务端中与网络数据访问请求对应的单个数据块的远程访问操作；
第十模块，其设置在客户端中，用于针对网络数据访问请求对应的其余所有数据块，重复上述第九模块，直到完成所有数据块的访问操作为止，并通知服务端数据传输完成。
优选地，所述分布式文件系统数据传输系统进一步包括第十一模块，其设置于服务端中，用于在收到来自于客户端数据传输完成的通知后判断其已注册的文件存储空间的使用率是否超过阈值，如果是则进行文件存储空间的扩容操作，然后过程结束，否则过程结束。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明能够解决现有使用RDMA网络的分布式文件系统存在的数据传输过程中内存操作的开销较大的技术问题：由于本发明在系统初始化阶段为客户端注册了可重复使用的内存空间，并为服务端注册了包含用户文件数据的内存空间，并在步骤(11)中使用了扩容策略，从而保证了内存注册空间的充足，因此本发明的分布式文件系统无需在RDMA数据传输过程中进行内存注册，从而降低了内存操作的开销；
(2)本发明能够解决现有使用RDMA网络的分布式文件系统存在的服务端的负载较大、传输时延较长的技术问题：由于本发明采用步骤(8)、(9)和(10)实现了客户端单侧的远程数据访问，无需服务端参与，并进一步通过利用RDMA Send Inline的特性减少了数据复制与上下文切换，因此降低了服务端的负载，提升了分布式文件系统的数据传输效率；
(3)由于本发明实现了降低服务端的负载，因此本发明的方法能够适用于高并发的RDMA传输场景，并具有更高的可扩展性能。
附图说明
图1是本发明基于RDMA网络的分布式文件系统数据传输方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明基于RDMA网络的分布式文件系统数据传输方法包括以下步骤：
(1)客户端在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求；
(2)服务端在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接；
(3)客户端根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端；
具体而言，本步骤是将文件访问请求中的路径信息进行哈希运算以得到地址信息，将该地址信息、以及文件访问请求对应的文件大小作为网络数据访问请求、并通过RDMASend的通信方式发送到服务端。
(4)服务端判断来自于客户端的网络数据访问请求是数据读请求还是数据写请求，如果是数据读请求则进入步骤(5)，如果是数据写请求则进入步骤(6)；
(5)服务端对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，然后进入步骤(8)；
(6)服务端判断网络数据访问请求对应文件的大小是否大于其已注册的文件存储空间，如果是则进入步骤(7)，否则进入步骤(8)；
具体而言，文件存储空间是系统初始化阶段，服务端通过RDMA接口向RDMA网卡注册的内存空间，该内存空间中包含了服务端为所有用户存储的文件数据。
现有的分布式文件系统中，用于为用户存储文件数据的空间(即文件存储空间)、以及向RDMA网卡注册的内存空间(即内存注册空间)是彼此独立的，在读写数据过程中，文件存储空间和内存注册空间需要进行彼此的数据复制。
本发明上述实现的优点在于，消除了RDMA通讯过程期间文件存储空间和内存注册空间之间的数据复制过程，降低了内存开销，和操作时延。
(7)服务端根据网络数据访问请求对应文件的大小对其已注册的文件存储空间进行扩容操作，并获取网络数据访问请求对应的文件在扩容后的文件存储空间中的待写入地址作为服务端返回地址；
具体而言，扩容操作是首先对已有的文件存储空间进行翻倍扩容，如果翻倍扩容后的文件存储空间仍然不足以写入网络数据访问请求对应的文件，则继续进行翻倍扩容，直至能够写入网络数据访问请求对应的文件为止，若扩容过程中服务端已经没有足够的空间用于扩容，则过程结束；
(8)服务端将服务端返回地址、以及RDMA远程访问权限信息发送到客户端；
其中RDMA远程访问权限信息是服务端在系统初始化阶段向RDMA网卡注册时，从RDMA网卡获取到的。
本步骤中服务端发送服务端返回地址、以及RDMA远程访问权限信息是通过RDMASend Inline的方式。
(9)客户端使用来自服务端的服务端返回地址、以及RDMA远程访问权限信息完成对服务端中与网络数据访问请求对应的单个数据块的远程访问操作；
具体而言，该远程访问操作是使用RDMA内存型通讯方式，通讯过程中需要使用客户端在系统初始化阶段通过RDMA接口向RDMA网卡注册的内存空间，该内存空间是可以反复使用的，从而避免多次注册所导致的高内存开销。
(10)客户端针对网络数据访问请求对应的其余所有数据块，重复上述步骤(9)，直到完成所有数据块的访问操作为止，并通知服务端数据传输完成。
具体而言，是通过RDMA Send空请求的方式通知服务端数据传输完成。
(11)服务器在收到来自于客户端数据传输完成的通知后判断其已注册的文件存储空间的使用率是否超过阈值，如果是则进行文件存储空间的扩容操作，然后过程结束，否则过程结束；
具体而言，阈值的取值范围是0.3到0.8之间，优选为0.5。
本步骤中的扩容操作是首先对已有的文件存储空间进行翻倍扩容，如果翻倍扩容后的文件存储空间仍然不足以写入网络数据访问请求对应的文件，则继续进行翻倍扩容，直至能够写入网络数据访问请求对应的文件为止，若扩容过程中服务端已经没有足够的空间用于扩容，则过程结束。
总而言之，本发明的优点包括：
(1)本发明能够解决现有使用RDMA网络的分布式文件系统存在的数据传输过程中内存操作的开销较大的技术问题：由于本发明在系统初始化阶段为客户端注册了可重复使用的内存空间，并为服务端注册了包含用户文件数据的内存空间，并在步骤(11)中使用了扩容策略，从而保证了内存注册空间的充足，因此本发明的分布式文件系统无需在RDMA数据传输过程中进行内存注册，从而降低了内存操作的开销；
(2)本发明能够解决现有使用RDMA网络的分布式文件系统存在的服务端的负载较大、传输时延较长的技术问题：由于本发明采用步骤(8)、(9)和(10)实现了客户端单侧的远程数据访问，无需服务端参与，并进一步通过利用RDMA Send Inline的特性减少了数据复制与上下文切换，因此降低了服务端的负载，提升了分布式文件系统的数据传输效率；
(3)由于本发明实现了降低服务端的负载，因此本发明的方法能够适用于高并发的RDMA传输场景，并具有更高的可扩展性能。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于RDMA网络的分布式文件系统数据传输方法，其特征在于，包括以下步骤：
(1)客户端在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求；
(2)服务端在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接；
(3)客户端根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端；
(4)服务端判断来自于客户端的网络数据访问请求是数据读请求还是数据写请求，如果是数据读请求则进入步骤(5)，如果是数据写请求则进入步骤(6)；
(5)服务端对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，然后进入步骤(8)；
(6)服务端判断网络数据访问请求对应文件的大小是否大于其已注册的文件存储空间，如果是则进入步骤(7)，否则进入步骤(8)；
(7)服务端根据网络数据访问请求对应文件的大小对其已注册的文件存储空间进行扩容操作，并获取网络数据访问请求对应的文件在扩容后的文件存储空间中的待写入地址作为服务端返回地址；
(8)服务端通过RDMA Send Inline的方式将服务端返回地址、以及RDMA远程访问权限信息发送到客户端；
(9)客户端使用来自服务端的服务端返回地址、以及RDMA远程访问权限信息完成对服务端中与网络数据访问请求对应的单个数据块的远程访问操作；
(10)客户端针对网络数据访问请求对应的其余所有数据块，重复上述步骤(9)，直到完成所有数据块的访问操作为止，并通知服务端数据传输完成。
2.根据权利要求1所述的分布式文件系统数据传输方法，其特征在于，步骤(3)具体为，将文件访问请求中的路径信息进行哈希运算以得到地址信息，并将该地址信息、以及文件访问请求对应的文件大小作为网络数据访问请求、并通过RDMA Send的通信方式发送到服务端。
3.根据权利要求1或2所述的分布式文件系统数据传输方法，其特征在于，文件存储空间是系统初始化阶段，服务端通过RDMA接口向RDMA网卡注册的内存空间，该内存空间中包含了服务端为所有用户存储的文件数据。
4.根据权利要求3所述的分布式文件系统数据传输方法，其特征在于，步骤(7)中的扩容操作是首先对已有的文件存储空间进行翻倍扩容，如果翻倍扩容后的文件存储空间仍然不足以写入网络数据访问请求对应的文件，则继续进行翻倍扩容，直至能够写入网络数据访问请求对应的文件为止，若扩容过程中服务端已经没有足够的空间用于扩容，则过程结束。
5.根据权利要求1所述的分布式文件系统数据传输方法，其特征在于，步骤(8)中，RDMA远程访问权限信息是服务端在系统初始化阶段向RDMA网卡注册时，从RDMA网卡获取到的。
6.根据权利要求1所述的分布式文件系统数据传输方法，其特征在于，步骤(9)中，远程访问操作是使用RDMA内存型通讯方式，通讯过程中需要使用客户端在系统初始化阶段通过RDMA接口向RDMA网卡注册的内存空间，该内存空间是可以反复使用的。
7.根据权利要求1所述的分布式文件系统数据传输方法，其特征在于，进一步包括所述步骤(10)以后的以下步骤：
服务器在收到来自于客户端数据传输完成的通知后判断其已注册的文件存储空间的使用率是否超过阈值，如果是则进行文件存储空间的扩容操作，然后过程结束，否则过程结束。
8.一种基于RDMA网络的分布式文件系统数据传输系统，其特征在于，包括：
第一模块，其设置在客户端中，用于在接收到来自用户的文件访问请求时，向服务端发起RDMA连接请求；
第二模块，其设置于服务端中，用于在获取到来自客户端的RDMA连接请求后，建立与客户端的RDMA连接；
第三模块，其设置在客户端中，用于根据文件访问请求生成网络数据访问请求，并利用RDMA连接将该网络数据访问请求发送到服务端；
第四模块，其设置于服务端中，用于判断来自于客户端的网络数据访问请求是数据读请求还是数据写请求，如果是数据读请求则进入第五模块，如果是数据写请求则进入第六模块；
第五模块，其设置于服务端中，用于对网络数据访问请求进行解析，以获取其中的地址信息，并根据该地址信息获取其对应的文件在该服务端的内存中的地址作为服务端返回地址，然后进入第八模块；
第六模块，其设置于服务端中，用于判断网络数据访问请求对应文件的大小是否大于其已注册的文件存储空间，如果是则进入第七模块，否则进入第八模块；
第七模块，其设置于服务端中，用于根据网络数据访问请求对应文件的大小对其已注册的文件存储空间进行扩容操作，并获取网络数据访问请求对应的文件在扩容后的文件存储空间中的待写入地址作为服务端返回地址；
第八模块，其设置于服务端中，用于通过RDMA Send Inline的方式将服务端返回地址、以及RDMA远程访问权限信息发送到客户端；
第九模块，其设置在客户端中，用于使用来自服务端的服务端返回地址、以及RDMA远程访问权限信息完成对服务端中与网络数据访问请求对应的单个数据块的远程访问操作；
第十模块，其设置在客户端中，用于针对网络数据访问请求对应的其余所有数据块，重复上述第九模块，直到完成所有数据块的访问操作为止，并通知服务端数据传输完成。
9.根据权利要求8所述的分布式文件系统数据传输系统，其特征在于，进一步包括：
第十一模块，其设置于服务端中，用于在收到来自于客户端数据传输完成的通知后判断其已注册的文件存储空间的使用率是否超过阈值，如果是则进行文件存储空间的扩容操作，然后过程结束，否则过程结束。
CN201910508982.8A 2019-06-13 2019-06-13 一种基于rdma网络的分布式文件系统数据传输方法和系统 Active CN110191194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910508982.8A CN110191194B (zh) 2019-06-13 2019-06-13 一种基于rdma网络的分布式文件系统数据传输方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910508982.8A CN110191194B (zh) 2019-06-13 2019-06-13 一种基于rdma网络的分布式文件系统数据传输方法和系统

Publications (2)

Publication Number Publication Date
CN110191194A CN110191194A (zh) 2019-08-30
CN110191194B true CN110191194B (zh) 2020-07-03

Family

ID=67721510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910508982.8A Active CN110191194B (zh) 2019-06-13 2019-06-13 一种基于rdma网络的分布式文件系统数据传输方法和系统

Country Status (1)

Country Link
CN (1) CN110191194B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565326B (zh) * 2019-09-26 2023-10-17 无锡江南计算技术研究所 面向分布式文件系统的rdma通信地址交换方法
CN110908965A (zh) * 2019-11-07 2020-03-24 北京浪潮数据技术有限公司 一种对象存储管理方法、装置、设备及存储介质
CN111131470B (zh) * 2019-12-27 2021-10-22 联想(北京)有限公司 终端设备及其数据处理方法以及数据处理系统
CN112596669A (zh) * 2020-11-25 2021-04-02 新华三云计算技术有限公司 一种基于分布式存储的数据处理方法及装置
CN112559436B (zh) * 2020-12-16 2023-11-03 中国科学院计算技术研究所 一种rdma通信设备的上下文访问方法及系统
CN112612734B (zh) * 2020-12-18 2023-09-26 平安科技（深圳）有限公司 文件传输方法、装置、计算机设备及存储介质
CN112765090B (zh) * 2021-01-19 2022-09-20 苏州浪潮智能科技有限公司 一种目标地址的预取方法、系统、设备及介质
CN112954068B (zh) * 2021-03-09 2022-09-27 西安奥卡云数据科技有限公司 一种基于rdma的数据传输方法及装置
CN113395359B (zh) * 2021-08-17 2021-10-29 苏州浪潮智能科技有限公司 基于远程直接内存访问的文件币集群数据传输方法、系统
CN116266842A (zh) * 2021-12-16 2023-06-20 华为技术有限公司 一种数据系统、数据访问方法及设备
CN114553521A (zh) * 2022-02-21 2022-05-27 杭州时代银通软件股份有限公司 一种远端内存访问方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589664A (zh) * 2015-12-29 2016-05-18 四川中电启明星信息技术有限公司 虚拟存储高速传输方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8595397B2 (en) * 2009-06-09 2013-11-26 Netapp, Inc Storage array assist architecture
CN102685219B (zh) * 2012-04-27 2016-12-14 浪潮电子信息产业股份有限公司 San存储系统中通过动态扩容提高存储资源利用率的方法
CN103929415B (zh) * 2014-03-21 2018-03-06 华为技术有限公司 Rdma下数据读写的方法、装置和网络系统
CN104202391B (zh) * 2014-08-28 2018-09-25 浪潮(北京)电子信息产业有限公司 共享系统地址空间的非紧耦合系统间的rdma通信方法
CN107147590A (zh) * 2017-07-12 2017-09-08 郑州云海信息技术有限公司 一种基于rdma协议消息通信的方法及系统
US11042657B2 (en) * 2017-09-30 2021-06-22 Intel Corporation Techniques to provide client-side security for storage of data in a network environment
CN109194721A (zh) * 2018-08-15 2019-01-11 无锡江南计算技术研究所 一种异步的rdma通信内存动态管理方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105589664A (zh) * 2015-12-29 2016-05-18 四川中电启明星信息技术有限公司 虚拟存储高速传输方法

Also Published As

Publication number Publication date
CN110191194A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110191194B (zh) 一种基于rdma网络的分布式文件系统数据传输方法和系统
US11997163B2 (en) System and method for supporting energy and time efficient content distribution and delivery
CN112054963A (zh) 用于异构计算环境中的数据传输的网络接口
CN109960671B (zh) 一种数据传输系统、方法及计算机设备
US8478926B1 (en) Co-processing acceleration method, apparatus, and system
CN112422615A (zh) 一种通信的方法及装置
US10552936B2 (en) Solid state storage local image processing system and method
CN102629941A (zh) 云计算系统中虚拟机镜像缓存的方法
CN114756388B (zh) 一种基于rdma的集群系统节点间按需共享内存的方法
WO2022017475A1 (zh) 一种数据访问方法及相关设备
CN115129621A (zh) 一种内存管理方法、设备、介质及内存管理模块
CN113596085A (zh) 数据处理方法系统及装置
CN113691466B (zh) 一种数据的传输方法、智能网卡、计算设备及存储介质
US11567683B2 (en) Technologies for providing edge deduplication
CN112596669A (zh) 一种基于分布式存储的数据处理方法及装置
WO2022142562A1 (zh) 基于rdma的通信方法、节点、系统及介质
CN115334134A (zh) 数据处理方法及系统
CN113691465B (zh) 一种数据的传输方法、智能网卡、计算设备及存储介质
CN108139980B (zh) 用于合并存储器页的方法和存储器合并功能
CN115599532A (zh) 一种访问索引的方法以及计算机集群
CN114691026A (zh) 一种数据访问方法及相关设备
CN115037783B (zh) 数据传输方法及装置
CN111382099A (zh) 一种基于rdma技术的分布式高性能计算方法
US10042682B2 (en) Copy message from application buffer to send buffer within kernel
CN116775510B (zh) 数据访问方法、装置、服务器和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant