CN103607428B - 一种访问共享内存的方法和装置 - Google Patents

一种访问共享内存的方法和装置 Download PDF

Info

Publication number
CN103607428B
CN103607428B CN201310529433.1A CN201310529433A CN103607428B CN 103607428 B CN103607428 B CN 103607428B CN 201310529433 A CN201310529433 A CN 201310529433A CN 103607428 B CN103607428 B CN 103607428B
Authority
CN
China
Prior art keywords
mark
node
shared drive
mapping table
destination node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310529433.1A
Other languages
English (en)
Other versions
CN103607428A (zh
Inventor
杨帅
袁学文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201310529433.1A priority Critical patent/CN103607428B/zh
Publication of CN103607428A publication Critical patent/CN103607428A/zh
Priority to PCT/CN2014/076647 priority patent/WO2015062228A1/zh
Application granted granted Critical
Publication of CN103607428B publication Critical patent/CN103607428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/16Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163Interprocessor communication

Abstract

本发明公开了一种访问共享内存的方法和装置,属于计算机领域。该方法包括:获取目的节点和所述目的节点对应的共享内存的标识,所述目的节点为共享内存映射表中的一个节点的标识对应的节点,所述共享内存映射表用于存储节点的标识与共享内存的标识的对应关系;调用远程直接内存访问RDMA的应用程序编程接口API;通过所述API对所述目的节点上的所述共享内存的标识对应的共享内存进行读写操作。该装置包括:第一获取模块、调用模块和访问模块。本发明中访问节点可以直接从共享内存映射表中获取目的节点的标识和共享内存的标识,简化了访问共享内存的处理过程;并且,通过调用API对共享内存进行读写操作,不需要消耗系统资源,提高了共享内存的读写性能。

Description

一种访问共享内存的方法和装置
技术领域
本发明涉及计算机领域,特别涉及一种访问共享内存的方法和装置。
背景技术
在服务器集群中,共享内存是指可以被服务器集群中的不同节点服务器访问的大容量内存,当节点服务器本地内存不足时,节点服务器可以访问共享内存,对共享内存进行读写操作。
现有技术中提供了一种访问共享内存的方法,可以为:在计算机集群中,选取一个代理服务器,代理服务器对集群中的共享内存进行管理。当集群中某个节点服务器的内存不足时,节点服务器发送调用请求给代理服务器,该调用请求携带节点服务器的标识;代理服务器接收节点服务器发送的调用请求,并根据该调用请求为节点服务器分配共享内存,发送分配的共享内存的标识给节点服务器。节点服务器根据共享内存的标识远程调用共享内存;并根据读写算法对该调用的共享内存进行读写操作。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
当节点服务器本地内存不足时,需要发送请求给代理服务器,由代理服务器分配共享内存,操作复杂;并且,节点服务器远程调用共享内存的过程消耗大量系统资源,降低系统性能。
发明内容
为了解决现有技术的问题,本发明提供了一种访问共享内存的方法和装置。所述技术方案如下:
第一方面,本发明提供了一种访问共享内存的方法,所述方法包括:
获取目的节点和所述目的节点对应的共享内存的标识,所述目的节点为共享内存映射表中的一个节点的标识对应的节点,所述共享内存映射表用于存储节点的标识与共享内存的标识的对应关系;
调用远程直接内存访问RDMA的应用程序编程接口API;
通过所述API对所述目的节点上的所述共享内存的标识对应的共享内存进行读写操作。
结合第一方面,在第一方面的第一种可能的实现方式中,所述通过所述API对所述目的节点上的所述共享内存的标识对应的共享内存进行读写操作,包括:
通过所述API发送所述共享内存的标识和待写入的数据给所述目的节点,使所述目的节点根据所述共享内存的标识将所述待写入的数据写入所述共享内存的标识对应的共享内存中。
结合第一方面,在第一方面的第二种可能的实现方式中,所述通过所述API对所述目的节点上的所述共享内存的标识对应的共享内存进行读写操作,包括:
通过所述API发送所述共享内存的标识和待读出的数据的标识给所述目的节点,使所述目的节点根据所述共享内存的标识和所述待读出的数据的标识从所述共享内存的标识对应的共享内存中获取所述待读出的数据;
接收所述目的节点发送的所述待读出的数据。
结合第一方面,在第一方面的第三种可能的实现方式中,所述获取目的节点和所述目的节点对应的共享内存的标识,包括:
获取所述共享内存映射表;
从所述共享内存映射表中选择一个节点的标识作为所述目的节点的标识;
根据所述目的节点的标识获取所述目的节点;
根据所述目的节点的标识从所述共享内存映射表中获取与所述目的节点的标识对应的所述共享内存的标识。
结合第一方面,在第一方面的第四种可能的实现方式中,所述获取目的节点和所述目的节点对应的共享内存的标识之前,所述方法还包括:
将自身节点的标识和所述自身节点的标识对应的共享内存的标识的对应关系保存在所述共享内存映射表中。
结合第一方面,在第一方面的第五种可能的实现方式中,所述获取目的节点和所述目的节点对应的共享内存的标识之前,所述方法还包括:
发送注册请求给代理节点,所述注册请求携带自身节点的标识和所述自身节点的标识对应的共享内存的标识,使所述代理节点将所述自身节点的标识和所述自身节点的标识对应的共享内存的标识的对应关系保存在所述共享内存映射表中。
结合第一方面的第三种可能,在第一方面的第六种可能的实现方式中,所述获取所述共享内存映射表,包括:
从本地已存储的数据库中获取所述共享内存映射表;或者,
发送第一获取请求给代理节点,所述第一获取请求携带自身节点的标识;接收所述代理节点根据所述自身节点的标识发送的所述共享内存映射表。
结合第一方面的第六种可能,在第一方面的第七种可能的实现方式中,所述发送第一获取请求给代理节点之后,所述方法还包括:
判断在第一预设时间内是否接收到所述代理节点发送的所述共享内存映射表;
如果否,发送第二获取请求给备份代理节点,所述第二获取请求携带所述自身节点的标识,所述备份代理节点为所述代理节点的备份节点;
接收所述备份代理节点根据所述自身节点的标识发送的所述共享内存映射表。
结合第一方面的第三种可能,在第一方面的第八种可能的实现方式中,所述方法还包括:
每隔第二预设时间获取所述共享内存映射表;
将本地已存储的所述共享内存映射表更新为所述获取的共享内存映射表。
第二方面,本发明提供了一种访问共享内存的装置,所述装置包括:
第一获取模块,用于获取目的节点和所述目的节点对应的共享内存的标识,所述目的节点为共享内存映射表中的一个节点的标识对应的节点,所述共享内存映射表用于存储节点的标识与共享内存的标识的对应关系;
调用模块,用于调用远程直接内存访问RDMA的应用程序编程接口API;
访问模块,用于通过所述API对所述目的节点上的所述共享内存的标识对应的共享内存进行读写操作。
结合第二方面,在第二方面的第一种可能的实现方式中,所述访问模块,包括:
第一发送单元,用于通过所述API发送所述共享内存的标识和待写入的数据给所述目的节点,使所述目的节点根据所述共享内存的标识将所述待写入的数据写入所述共享内存的标识对应的共享内存中。
结合第二方面,在第二方面的第二种可能的实现方式中,所述访问模块,包括:
第二发送单元,用于通过所述API发送所述共享内存的标识和待读出的数据的标识给所述目的节点,使所述目的节点根据所述共享内存的标识和所述待读出的数据的标识从所述共享内存的标识对应的共享内存中获取所述待读出的数据;
接收单元,用于接收所述目的节点发送的所述待读出的数据。
结合第二方面,在第二方面的第三种可能的实现方式中,所述第一获取模块,包括:
第一获取单元,用于获取所述共享内存映射表;
选择单元,用于从所述共享内存映射表中选择一个节点的标识作为所述目的节点的标识;
第二获取单元,用于根据所述目的节点的标识获取所述目的节点;
第三获取单元,用于根据所述目的节点的标识从所述共享内存映射表中获取与所述目的节点的标识对应的所述共享内存的标识。
结合第二方面,在第二方面的第四种可能的实现方式中,所述装置还包括:
保存模块,用于将自身节点的标识和所述自身节点的标识对应的共享内存的标识的对应关系保存在所述共享内存映射表中。
结合第二方面,在第二方面的第五种可能的实现方式中,所述装置还包括:
第一发送模块,用于发送注册请求给代理节点,所述注册请求携带自身节点的标识和所述自身节点的标识对应的共享内存的标识,使所述代理节点将所述自身节点的标识和所述自身节点的标识对应的共享内存的标识的对应关系保存在所述共享内存映射表中。
结合第二方面的第三种可能,在第二方面的第六种可能的实现方式中,所述第一获取单元,用于从本地已存储的数据库中获取所述共享内存映射表;或者,所述第一获取单元,用于发送第一获取请求给代理节点,所述第一获取请求携带自身节点的标识;接收所述代理节点根据所述自身节点的标识发送的所述共享内存映射表。
结合第二方面的第六种可能,在第二方面的第七种可能的实现方式中,所述装置还包括:
判断模块,用于判断在第一预设时间内是否接收到所述代理节点发送的所述共享内存映射表;
如果否,第二发送模块,用于发送第二获取请求给备份代理节点,所述第二获取请求携带所述自身节点的标识,所述备份代理节点为所述代理节点的备份节点;
接收模块,用于接收所述备份代理节点根据所述自身节点的标识发送的所述共享内存映射表。
结合第二方面的第三种可能,在第二方面的第八种可能的实现方式中,所述装置还包括:
第二获取模块,用于每隔第二预设时间获取所述共享内存映射表;
更新模块,用于将本地已存储的所述共享内存映射表更新为所述获取的共享内存映射表。
第三方面,本发明提供了一种访问共享内存的装置,所述装置包括:存储器和处理器,所述存储器存储程序代码,所述处理器用于调用所述存储器中的程序代码执行如第一方面提供的访问共享内存的方法。
在本发明实施例中,访问节点从共享内存映射表中获取目的节点的标识和共享内存的标识,不需要代理节点分配共享内存,简化了访问共享内存的处理过程;并且,访问节点通过调用API对共享内存进行读写操作,不需要消耗系统资源,提高了共享内存的读写性能。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例1提供的一种访问共享内存的方法流程图;
图2是本发明实施例2提供的一种访问共享内存的方法流程图;
图3是本发明实施例3提供的一种访问共享内存的装置结构示意图;
图4是本发明实施例4提供的一种访问共享内存的另一装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例1
本发明实施例提供了一种访问共享内存的方法。参见图1,其中,该方法包括:
101:获取目的节点和目的节点对应的共享内存的标识,目的节点为共享内存映射表中的一个节点的标识对应的节点,共享内存映射表用于存储节点的标识与共享内存的标识的对应关系;
102:调用RDMA(Remote Direct Memory Access,远程直接内存访问)的API(Application Programming Interface,应用程序编程接口);
103:通过API对目的节点上的共享内存的标识对应的共享内存进行读写操作。
在本发明实施例中,访问节点从共享内存映射表中获取目的节点的标识和共享内存的标识,不需要代理节点分配共享内存,简化了访问共享内存的处理过程;并且,访问节点通过调用API对共享内存进行读写操作,不需要消耗系统资源,提高了共享内存的读写性能。
实施例2
本发明实施例提供了一种访问共享内存的方法。参见图2,其中,该方法包括:
201:访问节点将节点的标识和共享内存的标识的对应关系保存在共享内存映射表中;
其中,访问节点为服务器集群中的任一节点,用于访问服务器集群中目的节点的共享内存的节点;目的节点为共享内存映射表一个节点的标识对应的节点,目的节点为被访问节点。
其中,共享内存映射表位于共享内存管理组件中;共享内存管理组件用于对共享内存进行管理,且一个服务器集群中存在一个或多个共享内存管理组件。当服务器集群中存在一个共享内存管理组件时,该共享内存管理组件部署在代理节点中,代理节点为服务器集群中任一节点;当服务器集群中存在多个共享内存管理组件时,共享内存管理组件可以部署在服务器集群中包括的每个节点上。
其中,如果访问节点上没有安装共享内存管理组件,服务器集群中仅代理节点上安装共享内存管理组件时,访问节点将节点的标识和共享内存的标识的对应关系保存在共享内存映射表中的操作,可以为:
访问节点发送注册请求给代理节点,该注册请求携带访问节点的标识和访问节点的标识对应的共享内存的标识,代理节点接收访问节点发送的注册请求,并根据注册请求获取访问节点的标识和共享内存的标识,将访问节点的标识和访问节点的标识对应的共享内存的标识的对应关系保存在共享内存映射表中。
其中,如果访问节点上安装共享内存管理组件时,访问节点将节点的标识和共享内存的标识的对应关系保存在共享内存映射表中的操作,可以为:
访问节点发送第一注册请求给本节点的共享内存管理组件,该第一注册请求携带访问节点的标识和访问节点上的共享内存的标识;共享内存管理组件接收访问节点发送的第一注册请求,并根据第一注册请求获取访问节点的标识和共享内存的标识,将访问节点的标识和共享内存的标识的对应关系保存在共享内存映射表中。
其中,将访问节点的标识和共享内存的标识的对应关系保存在共享内存映射表中的操作,可以为:
将访问节点的标识和共享内存的标识的对应关系编码为64bit数据,64bit数据中包括的高16bit数据为访问节点的标识;64bit数据中包括的低48bit数据为共享内存的标识。
其中,需要说明的是,注册请求携带访问节点的标识和访问节点的标识对应的共享内存的标识,注册请求中还可以携带共享内存的起始地址和长度。第一注册请求携带节点的标识和节点上的共享内存的标识,第一注册请求中还可以携带共享内存的起始地址和长度。
其中,服务器集群中每个节点均将节点的标识和节点上的共享内存的标识的对应关系保存在共享内存映射表中。
其中,在步骤201之前,需要按照服务器集群中各节点的基础设施要求进行系统安装和配置,本发明提供的访问共享内存的方法,依赖于这些配置。
其中,系统配置包括:RDMA能力的链路层、操作系统层、驱动层和协议栈层。
其中,RDMA能力的链路层主要由具有RDMA能力的硬件网络接口卡提供;例如,无线带宽infiniband网络接口HCA(Host Channel Adapter,主机通道适配器)、RoCE(RDMA overConverged Ethernet,基于融合以太网的RDMA)网络接口卡或者iWARP(Internet Wide-Area RDMA Protocol,广域因特网上的RDMA协议)网络接口卡。
其中,操作系统层主要提供操作系统平台。
其中,驱动层主要针对硬件网络接口卡提供底层设备驱动;例如,可以采用开源OFED(OpenFabrics Enterprise Distribution,OpenFabrics企业发行版),其中已包含的主流RDMA网络接口卡的驱动。
其中,协议栈层主要针对RDMA操作,提供协议处理;例如,可以采用开源的OFED发布版。
202:访问节点获取目的节点和目的节点对应的共享内存的标识;
其中,目的节点为共享内存映射表中的一个节点的标识对应的节点;共享内存映射表用于存储节点的标识与共享内存的标识的对应关系。
其中,当访问节点的内存不足时,访问节点需要访问共享内存。访问节点访问共享内存时,获取需要访问的目的节点和目的节点对应的共享内存的标识。
其中,访问节点获取目的节点和目的节点对应的共享内存的标识的操作,可以为:
访问节点获取共享内存映射表,从共享内存映射表中选择一个节点的标识作为目的节点的标识;访问节点根据目的节点的标识获取目的节点;并根据目的节点的标识从共享内存映射表中获取与目的节点的标识对应的共享内存的标识。
其中,需要说明的是,访问节点中实现存储有目的节点的标识和目的节点的对应关系,根据目的节点的标识可以从目的节点的标识和目的节点的对应关系中获取与目的节点的标识对应的目的节点。
其中,从共享内存映射表中选择一个节点的标识作为目的节点的标识,根据目的节点的标识从共享内存映射表中获取共享内存的标识的操作,可以为:
从共享内存映射表中选择一个64bit数据,解析64bit数据包括的高16bit数据,得到目的节点的标识,解析64bit数据包括的低48bit数据,得到共享内存的标识。
其中,如果访问节点上安装共享内存管理组件时,访问节点获取共享内存映射表的操作,可以为:
从本地已存储的数据库中获取共享内存映射表。
其中,如果访问节点上没有安装共享内存管理组件,服务器集群中仅代理节点上安装共享内存管理组件时,访问节点获取共享内存映射表的操作,可以为:
访问节点发送第一获取请求给代理节点,该第一获取请求携带访问节点的标识;代理节点接收访问节点发送的第一获取请求,并根据该第一获取请求获取访问节点的标识;代理节点根据访问节点的标识发送共享内存映射表给访问节点;访问节点接收代理节点根据访问节点的标识发送的共享内存映射表。
其中,访问节点发送第一获取请求给代理节点之后,启动定时器,并判断在第一预设时间内是否接收到代理节点发送的共享内存映射表;如果在第一预设时间内没有接收到代理节点发送的共享内存映射表时,访问节点发送第二获取请求给备份代理节点,该第二获取请求携带访问节点的标识,备份代理节点接收访问节点发送的第二获取请求,并根据第二获取请求获取访问节点的标识;备份代理节点根据访问节点的标识发送共享内存映射表给访问节点;访问节点接收备份代理节点根据访问节点的标识发送的共享内存映射表。
进一步地,访问节点在第一预设时间内接收到代理节点发送的共享内存映射表时,访问节点不发送第二获取请求给备份代理节点。
其中,需要说明的是,备份代理节点为服务器集群中除代理节点之外的任一节点;且备份代理节点为代理节点的备份节点;备份节点中存储有和代理节点相同的数据库,即备份代理节点中存储有和代理节点相同的共享内存映射表。第一预设时间可以根据系统需要进行设置并更改,在本发明实施例中对第一预设时间不作具体限定。
其中,在本发明实施例中,设置备份代理节点,当代理节点宕机时,可以发送第二获取请求给备份代理节点,以获取共享内存映射表,从而能够保证系统的可靠性。
203:访问节点调用RDMA的API;
其中,RDMA是一种网卡技术,可以通过网络将数据直接传入另一台服务器的某一块内存区域,并且,在数据传输过程中不需要消耗服务器的处理能力。
204:访问节点通过API对目的节点上的共享内存的标识对应的共享内存进行读写操作;
其中,访问节点通过API对目的节点上的共享内存的标识对应的共享内存进行写操作,可以为:
访问节点通过API发送共享内存的标识和待写入的数据给目的节点,目的节点接收访问节点通过API发送的共享内存的标识和待写入的数据,并根据共享内存的标识将待写入的数据写入共享内存的标识对应的共享内存中。
其中,访问节点通过API对目的节点上的共享内存的标识对应的共享内存进行读操作,可以为:
访问节点通过API发送共享内存的标识和待读出的数据的标识给目的节点,目的节点接收访问节点发送的共享内存的标识和待读出的数据的标识,并根据共享内存的标识和待读出的数据的标识从共享内存的标识对应的共享内存中获取待读出的数据。目的节点发送待读出的数据给访问节点,访问节点接收目的节点发送的待读出的数据。
其中,需要说明的是,访问节点通过调用API对共享内存进行读写操作,不需要消耗系统资源,能够降低系统性能,提高共享内存的读写性能。
其中,访问节点通过API对目的节点上的共享内存的标识对应的共享内存进行读写操作之后,发送响应消息给本节点的共享内存管理组件或者代理节点,该响应消息携带访问节点的标识。
其中,如果访问节点上没有安装共享内存管理组件时,访问节点通过API对目的节点上的共享内存的标识对应的共享内存进行读写操作之后,访问节点发送第一响应消息给代理节点,该第一响应消息携带目的节点的标识;代理节点接收访问节点发送的第一响应消息,并根据第一响应消息获取目的节点的标识。代理节点根据目的节点的标识将共享内存映射表中目的节点的标识与共享内存的标识的对应关系删除。
其中,如果访问节点上安装共享内存管理组件时,访问节点通过API对目的节点上的共享内存的标识对应的共享内存进行读写操作之后,访问节点发送第二响应消息给本节点的共享内存管理组件,该第二响应消息携带目的节点的标识;共享内存管理组件接收访问节点发送的第二响应消息,并根据第二响应消息获取目的节点的标识。共享内存管理组件根据目的节点的标识将共享内存映射表中目的节点的标识与共享内存的标识的对应关系删除。
其中,访问节点通过API对目的节点上的共享内存的标识对应的共享内存进行读写操作之后,将目的节点的标识与共享内存的标识的对应关系删除,能够保证服务器集群中共享内存与共享内存映射表中的共享内存一致。
205:访问节点每隔第二预设时间获取共享内存映射表,将本地已存储的共享内存映射表更新为获取的共享内存映射表。
其中,访问节点每隔第二预设时间更新一次共享内存映射表,能够保证数据的一致性,并保证获取共享内存的准确性。
其中,需要说明的是,访问节点获取共享内存映射表的操作和步骤202中获取共享内存映射表的步骤相同,在此不再赘述。第二预设时间可以根据系统需要进行设置并更改,在本发明实施例中,对第二预设时间不作具体限定。
在本发明实施例中,访问节点从共享内存映射表中获取目的节点的标识和共享内存的标识,不需要代理节点分配共享内存,简化了访问共享内存的处理过程;并且,访问节点通过调用API对共享内存进行读写操作,不需要消耗系统资源,提高了共享内存的读写性能。
实施例3
本发明实施例提供了一种访问共享内存的装置。参见图3,其中,该装置包括:
第一获取模块301,用于获取目的节点和目的节点对应的共享内存的标识,目的节点为共享内存映射表中的一个节点的标识对应的节点,共享内存映射表用于存储节点的标识与共享内存的标识的对应关系;
调用模块302,用于调用远程直接内存访问RDMA的应用程序编程接口API;
访问模块303,用于通过API对目的节点上的共享内存的标识对应的共享内存进行读写操作。
进一步地,访问模块303,包括:
第一发送单元,用于通过API发送共享内存的标识和待写入的数据给目的节点,使目的节点根据共享内存的标识将待写入的数据写入共享内存的标识对应的共享内存中。
进一步地,访问模块303,包括:
第二发送单元,用于通过API发送共享内存的标识和待读出的数据的标识给目的节点,使目的节点根据共享内存的标识和待读出的数据的标识从共享内存的标识对应的共享内存中获取待读出的数据;
接收单元,用于接收目的节点发送的待读出的数据。
进一步地,第一获取模块301,包括:
第一获取单元,用于获取共享内存映射表;
选择单元,用于从共享内存映射表中选择一个节点的标识作为目的节点的标识;
第二获取单元,用于根据目的节点的标识获取目的节点;
第三获取单元,用于根据目的节点的标识从共享内存映射表中获取与目的节点的标识对应的共享内存的标识。
进一步地,该装置还包括:
保存模块,用于将自身节点的标识和自身节点的标识对应的共享内存的标识的对应关系保存在共享内存映射表中。
进一步地,该装置还包括:
第一发送模块,用于发送注册请求给代理节点,注册请求携带自身节点的标识和自身节点的标识对应的共享内存的标识,使代理节点将自身节点的标识和自身节点的标识对应的共享内存的标识的对应关系保存在共享内存映射表中。
进一步地,第一获取单元,用于从本地已存储的数据库中获取共享内存映射表;或者,第一获取单元,用于发送第一获取请求给代理节点,第一获取请求携带自身节点的标识;接收代理节点根据自身节点的标识发送的共享内存映射表。
进一步地,该装置还包括:
判断模块,用于判断在第一预设时间内是否接收到代理节点发送的共享内存映射表;
如果否,第二发送模块,用于发送第二获取请求给备份代理节点,第二获取请求携带自身节点的标识,备份代理节点为代理节点的备份节点;
接收模块,用于接收备份代理节点根据自身节点的标识发送的共享内存映射表。
进一步地,该装置还包括:
第二获取模块,用于每隔第二预设时间获取共享内存映射表;
更新模块,用于将本地已存储的共享内存映射表更新为获取的共享内存映射表。
在本发明实施例中,访问节点从共享内存映射表中获取目的节点的标识和共享内存的标识,不需要代理节点分配共享内存,简化了访问共享内存的处理过程;并且,访问节点通过调用API对共享内存进行读写操作,不需要消耗系统资源,提高了共享内存的读写性能。
实施例4
本发明实施例提供了一种访问共享内存的装置。参见图4,其中,该装置包括:存储器401和处理器402,该存储器401存储程序代码,该处理器402用于调用存储器中的程序代码执行如下访问共享内存的方法:
获取目的节点和目的节点对应的共享内存的标识,目的节点为共享内存映射表中的一个节点的标识对应的节点,共享内存映射表用于存储节点的标识与共享内存的标识的对应关系;
调用远程直接内存访问RDMA的应用程序编程接口API;
通过API对目的节点上的共享内存的标识对应的共享内存进行读写操作。
进一步地,通过API对目的节点上的共享内存的标识对应的共享内存进行读写操作,包括:
通过API发送共享内存的标识和待写入的数据给目的节点,使目的节点根据共享内存的标识将待写入的数据写入共享内存的标识对应的共享内存中。
进一步地,通过API对目的节点上的共享内存的标识对应的共享内存进行读写操作,包括:
通过API发送共享内存的标识和待读出的数据的标识给目的节点,使目的节点根据共享内存的标识和待读出的数据的标识从共享内存的标识对应的共享内存中获取待读出的数据;
接收目的节点发送的待读出的数据。
进一步地,获取目的节点和目的节点对应的共享内存的标识,包括:
获取共享内存映射表;
从共享内存映射表中选择一个节点的标识作为目的节点的标识;
根据目的节点的标识获取目的节点;
根据目的节点的标识从共享内存映射表中获取与目的节点的标识对应的共享内存的标识。
进一步地,获取目的节点和目的节点对应的共享内存的标识之前,方法还包括:
将自身节点的标识和自身节点的标识对应的共享内存的标识的对应关系保存在共享内存映射表中。
进一步地,获取目的节点和目的节点对应的共享内存的标识之前,该方法还包括:
发送注册请求给代理节点,注册请求携带自身节点的标识和自身节点的标识对应的共享内存的标识,使代理节点将自身节点的标识和自身节点的标识对应的共享内存的标识的对应关系保存在共享内存映射表中。
进一步地,获取共享内存映射表,包括:
从本地已存储的数据库中获取共享内存映射表;或者,
发送第一获取请求给代理节点,第一获取请求携带自身节点的标识;接收代理节点根据自身节点的标识发送的共享内存映射表。
进一步地,发送第一获取请求给代理节点之后,该方法还包括:
判断在第一预设时间内是否接收到代理节点发送的共享内存映射表;
如果否,发送第二获取请求给备份代理节点,第二获取请求携带自身节点的标识,备份代理节点为代理节点的备份节点;
接收备份代理节点根据自身节点的标识发送的共享内存映射表。
进一步地,该方法还包括:
每隔第二预设时间获取共享内存映射表;
将本地已存储的共享内存映射表更新为获取的共享内存映射表。
在本发明实施例中,访问节点从共享内存映射表中获取目的节点的标识和共享内存的标识,不需要代理节点分配共享内存,简化了访问共享内存的处理过程;并且,访问节点通过调用API对共享内存进行读写操作,不需要消耗系统资源,提高了共享内存的读写性能。
需要说明的是:上述实施例提供的访问共享内存的装置在访问共享内存时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的访问共享内存的装置与访问共享内存的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (17)

1.一种访问共享内存的方法,其特征在于,所述方法应用在访问节点中,包括:
获取目的节点和所述目的节点对应的共享内存的标识,所述目的节点为共享内存映射表中的一个节点的标识对应的节点,所述共享内存映射表用于存储节点的标识与共享内存的标识的对应关系;
调用远程直接内存访问RDMA的应用程序编程接口API;
通过所述API对所述目的节点上的所述共享内存的标识对应的共享内存进行读写操作;
根据所述目的节点的标识,将所述共享内存映射表中所述目的节点的标识与所述共享内存的标识的对应关系删除;
其中,所述获取目的节点和所述目的节点对应的共享内存的标识,包括:
获取所述共享内存映射表;
从所述共享内存映射表中选择一个节点的标识作为所述目的节点的标识;
根据所述目的节点的标识获取所述目的节点;
根据所述目的节点的标识从所述共享内存映射表中获取与所述目的节点的标识对应的所述共享内存的标识。
2.如权利要求1所述的方法,其特征在于,所述通过所述API对所述目的节点上的所述共享内存的标识对应的共享内存进行读写操作,包括:
通过所述API发送所述共享内存的标识和待写入的数据给所述目的节点,使所述目的节点根据所述共享内存的标识将所述待写入的数据写入所述共享内存的标识对应的共享内存中。
3.如权利要求1所述的方法,其特征在于,所述通过所述API对所述目的节点上的所述共享内存的标识对应的共享内存进行读写操作,包括:
通过所述API发送所述共享内存的标识和待读出的数据的标识给所述目的节点,使所述目的节点根据所述共享内存的标识和所述待读出的数据的标识从所述共享内存的标识对应的共享内存中获取所述待读出的数据;
接收所述目的节点发送的所述待读出的数据。
4.如权利要求1所述的方法,其特征在于,所述获取目的节点和所述目的节点对应的共享内存的标识之前,所述方法还包括:
将自身节点的标识和所述自身节点的标识对应的共享内存的标识的对应关系保存在所述共享内存映射表中。
5.如权利要求1所述的方法,其特征在于,所述获取目的节点和所述目的节点对应的共享内存的标识之前,所述方法还包括:
发送注册请求给代理节点,所述注册请求携带自身节点的标识和所述自身节点的标识对应的共享内存的标识,使所述代理节点将所述自身节点的标识和所述自身节点的标识对应的共享内存的标识的对应关系保存在所述共享内存映射表中。
6.如权利要求1所述的方法,其特征在于,所述获取所述共享内存映射表,包括:
从本地已存储的数据库中获取所述共享内存映射表;或者,
发送第一获取请求给代理节点,所述第一获取请求携带自身节点的标识;接收所述代理节点根据所述自身节点的标识发送的所述共享内存映射表。
7.如权利要求6所述的方法,其特征在于,所述发送第一获取请求给代理节点之后,所述方法还包括:
判断在第一预设时间内是否接收到所述代理节点发送的所述共享内存映射表;
如果否,发送第二获取请求给备份代理节点,所述第二获取请求携带所述自身节点的标识,所述备份代理节点为所述代理节点的备份节点;
接收所述备份代理节点根据所述自身节点的标识发送的所述共享内存映射表。
8.如权利要求1所述的方法,其特征在于,所述方法还包括:
每隔第二预设时间获取所述共享内存映射表;
将本地已存储的所述共享内存映射表更新为所述获取的共享内存映射表。
9.一种访问共享内存的装置,其特征在于,所述装置应用在访问节点中,包括:
第一获取模块,用于获取目的节点和所述目的节点对应的共享内存的标识,所述目的节点为共享内存映射表中的一个节点的标识对应的节点,所述共享内存映射表用于存储节点的标识与共享内存的标识的对应关系;
调用模块,用于调用远程直接内存访问RDMA的应用程序编程接口API;
访问模块,用于通过所述API对所述目的节点上的所述共享内存的标识对应的共享内存进行读写操作;
共享内存管理组件,用于根据所述目的节点的标识,将所述共享内存映射表中所述目的节点的标识与所述共享内存的标识的对应关系删除;
所述第一获取模块,包括:
第一获取单元,用于获取所述共享内存映射表;
选择单元,用于从所述共享内存映射表中选择一个节点的标识作为所述目的节点的标识;
第二获取单元,用于根据所述目的节点的标识获取所述目的节点;
第三获取单元,用于根据所述目的节点的标识从所述共享内存映射表中获取与所述目的节点的标识对应的所述共享内存的标识。
10.如权利要求9所述的装置,其特征在于,所述访问模块,包括:
第一发送单元,用于通过所述API发送所述共享内存的标识和待写入的数据给所述目的节点,使所述目的节点根据所述共享内存的标识将所述待写入的数据写入所述共享内存的标识对应的共享内存中。
11.如权利要求9所述的装置,其特征在于,所述访问模块,包括:
第二发送单元,用于通过所述API发送所述共享内存的标识和待读出的数据的标识给所述目的节点,使所述目的节点根据所述共享内存的标识和所述待读出的数据的标识从所述共享内存的标识对应的共享内存中获取所述待读出的数据;
接收单元,用于接收所述目的节点发送的所述待读出的数据。
12.如权利要求9所述的装置,其特征在于,所述装置还包括:
保存模块,用于将自身节点的标识和所述自身节点的标识对应的共享内存的标识的对应关系保存在所述共享内存映射表中。
13.如权利要求9所述的装置,其特征在于,所述装置还包括:
第一发送模块,用于发送注册请求给代理节点,所述注册请求携带自身节点的标识和所述自身节点的标识对应的共享内存的标识,使所述代理节点将所述自身节点的标识和所述自身节点的标识对应的共享内存的标识的对应关系保存在所述共享内存映射表中。
14.如权利要求9所述的装置,其特征在于,
所述第一获取单元,用于从本地已存储的数据库中获取所述共享内存映射表;或者,所述第一获取单元,用于发送第一获取请求给代理节点,所述第一获取请求携带自身节点的标识;接收所述代理节点根据所述自身节点的标识发送的所述共享内存映射表。
15.如权利要求14所述的装置,其特征在于,所述装置还包括:
判断模块,用于判断在第一预设时间内是否接收到所述代理节点发送的所述共享内存映射表;
如果否,第二发送模块,用于发送第二获取请求给备份代理节点,所述第二获取请求携带所述自身节点的标识,所述备份代理节点为所述代理节点的备份节点;
接收模块,用于接收所述备份代理节点根据所述自身节点的标识发送的所述共享内存映射表。
16.如权利要求9所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于每隔第二预设时间获取所述共享内存映射表;
更新模块,用于将本地已存储的所述共享内存映射表更新为所述获取的共享内存映射表。
17.一种访问共享内存的装置,其特征在于,所述装置应用在访问节点中,包括:存储器和处理器,所述存储器存储程序代码,所述处理器用于调用所述存储器中的程序代码执行如权利要求1-8任一所述的访问共享内存的方法。
CN201310529433.1A 2013-10-30 2013-10-30 一种访问共享内存的方法和装置 Active CN103607428B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201310529433.1A CN103607428B (zh) 2013-10-30 2013-10-30 一种访问共享内存的方法和装置
PCT/CN2014/076647 WO2015062228A1 (zh) 2013-10-30 2014-04-30 一种访问共享内存的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310529433.1A CN103607428B (zh) 2013-10-30 2013-10-30 一种访问共享内存的方法和装置

Publications (2)

Publication Number Publication Date
CN103607428A CN103607428A (zh) 2014-02-26
CN103607428B true CN103607428B (zh) 2017-11-17

Family

ID=50125628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310529433.1A Active CN103607428B (zh) 2013-10-30 2013-10-30 一种访问共享内存的方法和装置

Country Status (2)

Country Link
CN (1) CN103607428B (zh)
WO (1) WO2015062228A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607428B (zh) * 2013-10-30 2017-11-17 华为技术有限公司 一种访问共享内存的方法和装置
WO2016101288A1 (zh) * 2014-12-27 2016-06-30 华为技术有限公司 一种远程直接数据存取方法、设备和系统
CN108475231B (zh) * 2016-01-27 2021-01-05 华为技术有限公司 一种内存访问方法、装置及系统架构
US10303646B2 (en) * 2016-03-25 2019-05-28 Microsoft Technology Licensing, Llc Memory sharing for working data using RDMA
DK3358463T3 (da) * 2016-08-26 2020-11-16 Huawei Tech Co Ltd Fremgangsmåde, anordning og system til implementering af hardwareaccelerationsbehandling
CN106844048B (zh) * 2017-01-13 2020-11-06 上海交通大学 基于硬件特性的分布式共享内存方法及系统
CN107609093B (zh) * 2017-09-08 2020-12-18 东软集团股份有限公司 一种数据库表监控方法、装置、设备和存储介质
WO2019161557A1 (zh) 2018-02-24 2019-08-29 华为技术有限公司 一种通信的方法及装置
CN108762822B (zh) * 2018-03-23 2021-11-16 中国银联股份有限公司 一种数据加载方法及装置
CN109597713A (zh) * 2018-11-29 2019-04-09 阿里巴巴集团控股有限公司 数据备份方法及装置
CN109766199B (zh) * 2018-12-29 2024-01-30 歌尔股份有限公司 一种机器人操作系统中的节点通信方法和装置
CN112114947B (zh) * 2020-09-17 2024-02-02 石家庄科林电气股份有限公司 一种基于边缘计算网关的系统资源调度方法
CN114780465B (zh) * 2022-03-01 2024-04-16 阿里巴巴(中国)有限公司 可共享远程直接数据存取链接的创建方法及装置
CN114490141B (zh) * 2022-04-14 2022-07-05 中国电子科技集团公司第二十八研究所 一种基于共享内存的高并发ipc数据交互方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136110A (zh) * 2013-02-18 2013-06-05 华为技术有限公司 内存管理方法、内存管理装置及numa系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7428730B2 (en) * 2003-12-15 2008-09-23 Intel Corporation Software development environment
CN100489815C (zh) * 2007-10-25 2009-05-20 中国科学院计算技术研究所 一种内存共享的系统和装置及方法
CN101860574B (zh) * 2010-07-02 2012-08-01 中国人民解放军国防科学技术大学 P2p内存资源共享网络中基于信誉的服务匹配方法
CN103607428B (zh) * 2013-10-30 2017-11-17 华为技术有限公司 一种访问共享内存的方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136110A (zh) * 2013-02-18 2013-06-05 华为技术有限公司 内存管理方法、内存管理装置及numa系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RDMA技术分析;徐列敏等;《今日电子》;20050430(第4期);第1.2部分,第2部分 *

Also Published As

Publication number Publication date
CN103607428A (zh) 2014-02-26
WO2015062228A1 (zh) 2015-05-07

Similar Documents

Publication Publication Date Title
CN103607428B (zh) 一种访问共享内存的方法和装置
CN106487850B (zh) 一种云环境下获取镜像的方法、装置和系统
US10484472B2 (en) Methods and systems for efficiently moving data between nodes in a cluster
CN103780679B (zh) 基于http协议的长延时远程调用方法
CN111489256B (zh) 用于多链区块链系统中的跨链处理方法、设备及系统
CN104811473B (zh) 一种创建虚拟非易失性存储介质的方法、系统及管理系统
CN104639596A (zh) 用于使用rdma的低等待时间fifo消息收发中支持多个发送器的系统和方法
CN112130748A (zh) 一种数据访问方法、网卡及服务器
CN106713391A (zh) 一种session信息的共享方法和共享系统
WO2009097776A1 (zh) 一种实现业务升级的系统、装置及方法
CN112698838B (zh) 多云容器部署系统及其容器部署方法
CN110445873A (zh) 一种云平台服务接入方法及重定向服务器
CN113031874A (zh) 基于Kubernetes集群的缓存处理方法、装置、设备及存储介质
CN109196837A (zh) 用户空间中os级容器之间进行进程间通信的方法和系统
CN114826869B (zh) 设备管理方法和设备管理系统
CN113411363A (zh) 一种镜像文件的上传方法、相关设备及计算机存储介质
CN110543315A (zh) 一种kbroker分布式操作系统、存储介质和电子设备
CN110855726A (zh) 通信方法、装置以及网关、计算设备和介质
CN112583937A (zh) 一种公有云和私有云结合的可视化便捷云资源部署系统
US8464331B2 (en) Data transmission management server and method
CN109413142B (zh) 一种Linux下的iSCSI虚拟代理实现方法
CN105573801A (zh) 堆叠系统中实现软件升级的方法、装置及系统
CN108829340B (zh) 存储处理方法、装置、存储介质及处理器
CN110011850A (zh) 云计算系统中服务的管理方法和装置
CN106550002A (zh) 一种paas云托管系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant