CN104239222A - 一种内存访问方法、设备和系统 - Google Patents
一种内存访问方法、设备和系统 Download PDFInfo
- Publication number
- CN104239222A CN104239222A CN201310247458.2A CN201310247458A CN104239222A CN 104239222 A CN104239222 A CN 104239222A CN 201310247458 A CN201310247458 A CN 201310247458A CN 104239222 A CN104239222 A CN 104239222A
- Authority
- CN
- China
- Prior art keywords
- memory
- address
- node
- strange land
- internal storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供的一种内存访问方法、设备和系统，涉及计算机体系结构领域，解决了集群系统中内存资源的分配问题，并提高了集群内部通信效率。该方法包括：通过接收内存访问命令，判断该内存访问命令的访存地址是否为异地内存地址；如果该内存访问命令的访存地址为异地内存地址，则根据外部地址映射表查找外部地址映射表中访存地址对应的参数信息，获得访存地址所在的异地节点的标识；根据参数信息生成内存请求消息，并将内存请求消息发送至异地节点，以便通知异地节点根据内存请求消息访问异地内存获取请求数据完成内存访问并生成响应消息；通过通信模块接收并分析响应消息得到请求数据。本发明的实施例应用于计算机集群系统间内存访问技术。
Description
技术领域
本发明涉及计算机体系结构领域，尤其涉及一种内存访问方法、设备和系统。
背景技术
计算机集群系统由数量众多的服务节点组成，这些节点通过软件与硬件之间的协同处理来完成特定的计算任务。在完成计算任务时计算机集群中不同节点担当的角色不同，从而有不同的资源需求，其中，在主从式集群系统中，主节点负责任务的分发，从节点负责计算，并将计算结果发至主节点。这里从节点具有较高的计算能力需求和内存需求，但是由于对于内存需求的不同往往主从节点间会发生内存分配不均，从而导致集群系统中资源利用的不均衡。
在现有解决内训需求问题上，现有技术提供了一种通过在最高内存区的内存条插槽中安装内存通信网卡的方式，即将内存通信网卡插入最高内存区的内存条插槽中，根据通信协议，用户预先将内存的最高内存区注册预留为计算机与网卡的共享区。这里当用户通过把数据写入共享区中时，内存通信网卡将自动将数据发送至对方内存通信网卡，并自动写入对方本地共享区中，直至对方计算机中央处理器CPU(Central Processing Unit)从共享区读取数据，从而实现计算机内存之间的直接通信。
发明人发现现有技术中至少存在如下问题：由于现有技术中提出了一种内存直接互联的通信方式，但是在实现的过程中仅实现了内存的直接互连通信，而且不适用于大规模集群的内存通信方式。在现有问题的基础上依旧存在集群系统中内存资源利用不均衡的问题，从而导致集群系统资源浪费。
发明内容
本发明的实施例提供一种内存访问方法、设备和系统，解决了集群系统中内存资源的分配问题，并提高了集群内部通信效率。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供一种内存访问方法，包括：
通过接收内存访问命令，判断所述内存访问命令的访存地址是否为异地内存地址；
如果所述内存访问命令的访存地址为异地内存地址，则根据外部地址映射表查找所述外部地址映射表中所述访存地址对应的参数信息，获得所述访存地址所在的异地节点的标识；所述外部地址映射表存储有异地节点内存地址及异地节点的标识；
根据所述参数信息生成内存请求消息，并将所述内存请求消息发送至所述异地节点，以便通知所述异地节点根据所述内存请求消息访问异地内存获取请求数据完成内存访问并生成响应消息，所述响应消息中包含所述内存访问命令所请求的请求数据；
通过通信模块接收并分析所述响应消息得到请求数据。
在第一种可能的实现方式中，结合第一方面具体包括，所述通过接收内存访问命令，判断所述内存访问命令的访问地址是否为异地节点的内存地址，包括：
根据所述内存访问命令中的访问地址查询所述外部地址映射表中的本地起始地址；
如果在所述外部地址映射表中查询到与所述访问地址对应的异地节点的标识，则确定所述内存访问命令的访问地址为异地节点的内存地址；否则不是异地节点的内存地址。
在第二种可能的实现方式中，结合第一方面或第一种可能的实现方式具体包括，所述如果所述内存访问命令的访存地址为异地内存地址，则根据外部地址映射表查找所述外部地址映射表中所述访存地址对应的参数信息，获得所述访存地址所在的异地节点的标识，包括：
通过查找所述外部地址映射表得到所述内存访问命令中所述异地节点的访问内存的起始地址和所述异地节点的标识，并根据所述异地节点访问的内存地址计算至所述内存地址所在的所述内存的起始地址的偏移量。
在第三种可能的实现方式中，结合第一方面具体包括，所述方法还包括：
当本地内存使用率超过阈值时，通过解析所述内存访问命令得到可提供空余内存空间的异地节点；
向所述异地节点发送内存请求消息，请求所述异地内存节点可提供的内存；
接收所述异地节点的内存请求响应消息，所述响应消息包含异地内存节点可提供的内存的起始地址和结束地址；
将所述异地节点的标识和异地节点的内存起始地址写入所述外部地址映射表。
在第四种可能的实现方式中，结合第一方面具体包括，所述通过通信模块接收并分析所述响应消息得到请求数据，包括：
所述响应消息包括所述异地节点地址，请求节点地址，请求数据和响应消息序列号。
在第五种可能的实现方式中，结合第一方面具体包括，所述外部地址映射表包括：本地起始地址，本地结束地址，异地起始地址及异地节点的标识。
在第六种可能的实现方式中，结合第一方面具体包括，所述通信模块通过互联网络将至少一个请求节点与至少一个所述异地节点进行互联，构成内存网络。
第二方面，提供一种内存访问方法，包括：
接收并解析内存请求消息，通过解析所述内存请求消息获取异地内存访问地址，使得根据所述异地内存访问地址获取请求数据；
封装所述请求数据为响应消息，并通过通信模块发送至所述请求节点。
在第一种可能的实现方式中，结合第二方面具体包括，所述内存请求消息，包括：所述异地节点的地址，所述请求节点的地址，所述异地节点的内存段的起始地址，内存地址偏移量和所述请求消息的序列号。
在第二种可能的实现方式中，结合第二方面或第一种可能的实现方式具体包括，所述根据所述异地内存访问地址获取请求数据，包括：
所述异地节点通过解析所述内存请求消息得到所述请求节点请求所需内存段的起始地址以及内存地址偏移量，并根据所述内存段的起始地址和所述内存地址偏移量获取所述请求节点所需的内存数据。
第三方面，提供一种请求节点，包括：
判断模块，用于通过接收内存访问命令，判断所述内存访问命令的访判断模块，用于通过接收内存访问命令，判断所述内存访问命令的访存地址是否为异地内存地址；
查询模块，用于如果所述内存访问命令的访存地址为异地内存地址，则根据外部地址映射表查找所述外部地址映射表中所述访存地址对应的参数信息，获得所述访存地址所在的异地节点的标识；所述外部地址映射表存储有异地节点内存地址及异地节点的标识；
通信模块，用于根据所述参数信息生成内存请求消息，并将所述内存请求消息发送至所述异地节点，以便通知所述异地节点根据所述内存请求消息访问异地内存获取请求数据完成内存访问并生成响应消息，所述响应消息中包含所述内存访问命令所请求的请求数据；
分析模块，用于通过所述通信模块接收并分析所述响应消息得到请求数据。
在第一种可能的实现方式中，结合第三方面具体包括，所述判断模块包括：
查询子模块，用于根据所述内存访问命令中的访问地址查询所述外部地址映射表中的本地起始地址；
判断子模块，用于如果在所述外部地址映射表中查询到与所述访问地址对应的异地节点的标识，则确定所述内存访问命令的访问地址为异地节点的内存地址；否则不是异地节点的内存地址。
在第二种可能的实现方式中，结合第三方面或第一种可能的实现方式具体包括，所述判断模块还包括：
查询子模块，用于通过查找所述外部地址映射表得到所述内存访问命令中所述异地节点的访问内存的起始地址和所述异地节点的标识，并根据所述异地节点访问的内存地址计算至所述内存地址所在的所述内存的起始地址的偏移量。
在第三种可能的实现方式中，结合第三方面具体包括，所述设备还包括：
所述分析模块，还用于当本地内存使用率超过阈值时，通过解析所述内存访问命令得到可提供空余内存空间的异地节点；
所述通信模块，还用于向所述异地节点发送内存请求消息，请求所述异地内存节点可提供的内存；
所述通信模块，还用于接收所述异地节点的内存请求响应消息，所述响应消息包含异地内存节点可提供的内存的起始地址和结束地址；
写入模块，用于将所述异地节点的标识和异地节点的内存起始地址写入所述外部地址映射表。
在第四种可能的实现方式中，结合第三方面具体包括，所述响应消息，包括：所述异地节点地址，请求节点地址，请求数据和响应消息序列号。
在第五种可能的实现方式中，结合第三方面具体包括，所述外部地址映射表包括：本地起始地址，本地结束地址，异地起始地址及异地节点的标识。
在第六种可能的实现方式中，结合第三方面具体包括，所述通信模块通过互联网络将至少一个请求节点与至少一个所述异地节点进行互联，构成内存网络。
第四方面，通过一种异地节点，包括：
分析模块，用于接收并解析所述内存请求消息，通过解析所述内存请求消息获取异地内存访问地址，使得根据所述异地内存访问地址获取请求数据；
封装模块，用于封装所述分析模块获取的所述请求数据为响应消息，并通过通信模块发送至所述请求节点。
在第一种可能的实现方式中，结合第四方面具体包括，所述内存请求消息，包括：所述异地节点的地址，所述请求节点的地址，所述异地节点的内存段的起始地址，内存地址偏移量和所述请求消息的序列号。
在第二种可能的实现方式中，结合第四方面或第一种可能的实现方式具体包括，所述分析模块，具体用于通过解析所述内存请求消息得到所述请求节点请求所需内存段的起始地址以及内存地址偏移量，并根据所述内存段的起始地址和所述内存地址偏移量获取所述请求节点所需的内存数据。
第五方面，提供一种集群通信系统，包括：至少一个请求节点和至少一个异地节点，其中，
所述至少一个请求节点为第三方面或第三方面中任一可能的实现方式中任一所述的请求节点，所述至少一个异地节点为第四方面或第四方面中任一种可能的实现方式中任一所述的异地节点；
其中，当所述至少一个请求节点在作为请求节点时，也可以作为其他异地节点的请求节点；
或者，
当所述至少一个异地节点在作为异地节点时，也可以作为其他异地节点的请求节点。
在第一种可能的实现方式中，结合第五方面具体包括，所述至少一个请求节点通过内部的通信模块与所述至少一个异地节点进行互联构成内存网络，以便在所述内存网络中进行集群通信系统范围的数据传输。
本发明实施例提供的内存访问方法、设备和系统，通过判断接收的内存访存命令的访存地址是否为异地节点的异地内存地址，若是异地节点的异地内存地址，则根据外部地址映射表查询接收的内存访存命令的异地内存地址所对应的的参数消息，进而能够从该异地节点获取部分内存数据以满足本地内存的数据需求，从而解决了集群系统中内存资源的分配问题，并提高了集群内部通信效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种内存访问方法的流程示意图；
图2为本发明实施例提供的一种内存请求消息的结构示意图；
图3为本发明实施例提供的另一种内存访问方法的流程示意图；
图4为本发明实施例提供的一种响应消息的结构示意图；
图5为本发明实施例提供的又一种内存访问方法的流程示意图；
图6为本发明实施例提供的一种请求节点的结构示意图；
图7为本发明实施例提供的另一种请求节点的结构示意图；
图8为本发明实施例提供的又一种请求节点的结构示意图；
图9为本发明实施例提供的一种异地节点的结构示意图；
图10为本发明实施例提供的一种集群通信系统的结构示意图；
图11为本发明实施例提供的一种通信模块的结构示意图；
图12为本发明实施例提供的一种通信模块的内部功能结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种内存访问方法，参照图1所示，具体步骤如下所示：
101、请求节点通过接收内存访问命令，判断该内存访问命令的访存地址是否为异地内存地址。
具体的，在请求节点通过接收访问内存命令之前，内存网络监控本地请求节点的内存利用率，若该请求节点的内存利用率超过预定阈值，通过接收的内存访问命令的访存地址判断是否为异地节点的访存地址，其中内存访问命令由本地请求节点的中央处理器CPU(CentralProcess Unit)发送，该内存访问命令用于指示请求节点中的内存控制器MC(Memory Controller)判断该内存访问命令中的访存地址为本地地址或是异地地址。
这里请求节点通过接收到的内存访问命令能够判断该内存访问命令的访存地址是本地内存地址或是异地内存地址，若是本地内存访问，请求节点可以直接通过内存系统获取访问本地内存数据；若是异地节点，请求节点能够根据外部地址映射表查找异地节点的内存信息。
其中，内存访问命令在计算机系统架构中请求节点部分一直会收到内存访问命令，在收到的内存访问命令中主要由本地内存和异地节点发送的内存访问消息组成，操作系统通过监测本地内存空间，以及接收异地节点的内存访问命令判断本地的请求节点是否需要从异地节点获取异地节点空闲的内存空间，以便当本地内存空间不足时通过异地节点提供异地空闲的内存空间供本地请求节点使用。
102、如果内存访问命令的访存地址为异地内存地址，则根据外部地址映射表查找外部地址映射表中访存地址对应的参数信息，获得访存地址所在的异地节点的标识。
其中，外部地址映射表存储有异地节点内存地址及异地节点的标识。
这里请求节点会根据查找本地的外部地址映射表，得到内存访问命令的访存地址的异地起始内存的起始地址start，内存地址偏移量offset(要访问的地址在该起始地址内存段的偏移)和异地节点的属主标识ID(IDentity，ID)，其中，根据不同的网络环境外部地址映射表中的属主ID还可以为异地节点的网际互连协议IP(Internet Protocol)地址。
其中，在本发明实施例提供的请求节点中可以以计算机为例，这里外部地址映射表存储于计算机的内存控制器中(Memory Controller，MC)。
103、请求节点根据参数信息生成内存请求消息，并将内存请求消息发送至异地节点，以便通知异地节点根据内存请求消息访问异地内存获取请求数据完成内存访问并生成响应消息。
其中，该响应消息中包含内存访问命令所请求的请求数据。
这里请求节点通过查询外部地址映射表获取到异地节点能够提供的内存空间，此时根据异地节点的内存起始地址和属主标识发送内存请求消息，使得异地节点能够通过该内存请求消息获取请求的数据。
其中内存请求消息结构如图2所示，包含了内存请求消息将要发送至的目的地址dst，即异地节点的地址，以及请求节点的地址src，异地节点的内存段起始地址、内存地址偏移量和请求消息的序号。
104、请求节点通过通信模块接收并分析该响应消息得到请求数据。
这里请求节点在通过通信模块接收响应消息后，根据分析该响应消息获取请求数据。
本发明实施例提供的内存访问方法，通过判断接收的内存访存命令的访存地址是否为异地节点的异地内存地址，若是异地节点的异地内存地址，则根据外部地址映射表查询接收的内存访存命令的异地内存地址所对应的参数消息，进而能够从该异地节点获取部分内存数据以满足本地内存的数据需求，从而解决了集群系统中内存资源的分配问题，并提高了集群内部通信效率。
本发明实施例提供了一种内存访问方法，参照图3所示，具体步骤如下所示：
201、异地节点接收并解析内存请求消息，通过解析该内存请求消息获取异地内存访问地址，使得根据该异地内存访问地址获取请求数据。
这里异地节点通过通信模块接收到请求节点发送的内存请求消息后，对该内存请求消息进行解析，得到内存请求消息中的请求节点内存不足所需的内存段访问地址。
其中，异地节点通过内存请求消息中获取请求节点所需的内存访问地址，其中异地节点得到请求节点的地址src，内存段的起始地址和内存地址偏移量，并根据起始地址和内存地址偏移量计算得到请求节点的请求数据的内存地址从而得到请求数据。
202、异地节点封装该请求数据为响应消息，并通过通信模块发送至该请求节点。
这里异地节点通过将步骤201中计算得到的请求数据封装为响应消息，并将该响应消息通过通信模块发送至请求节点。
其中，异地节点向请求节点发送的响应消息结构如图4所示，响应消息包括目的地址dst(即请求节点的地址)、源地址src(即异地节点的地址)、序号(对应于请求节点发送的请求消息序号的响应消息的序号)和内存数据
本发明实施例提供的内存访问方法，通过判断接收的内存访存命令的访存地址是否为异地节点的异地内存地址，若是异地节点的异地内存地址，则根据外部地址映射表查询接收的内存访存命令的异地内存地址所对应的参数消息，进而能够从该异地节点获取部分内存数据以满足本地内存的数据需求，从而解决了集群系统中内存资源的分配问题，并提高了集群内部通信效率。
具体的，以下结合具体的实施例进行说明。本发明实施例提到的请求节点与异地节点在具体实施过程中设备结构相同，可以为移动通信设备中任一终端，例如私人计算机PC，笔记本电脑等具备内存的智能终端，其中由于内存模块上扩展了通信模块，使得在集群节点间的内存系统通过内存模块中的通信模块和下层的网络互连，构成内存网络，以便集群节点间能够在本地内存不足时，通过内存网络使得本地节点对异地节点实现内存“借用”。
可以在图1和图3的实施例的基础上，参照图5所示，本发明的实施例提供了一种内存访问方法，参照图5所示，为请求节点通过查询外部内存地址映射表请求异地节点内存数据的过程，具体步骤如下：
301、请求节点通过接收内存访问命令，判断该内存访问命令的访存地址是否为异地内存地址。
进一步的，请求节点根据内存访问命令中的访问地址查询外部地址映射表中的本地起始地址；
如果在外部地址映射表中查询到与访问地址对应的异地节点的标识，则确定内存访问命令的访问地址为异地节点的内存地址；否则不是异地节点的内存地址。
具体的，在请求节点通过接收访问内存命令之前，内存网络监控本地请求节点的内存利用率，若该请求节点的内存利用率超过预定阈值，通过接收的内存访问命令的访存地址判断是否为异地节点的访存地址，其中内存访问命令由本地请求节点的中央处理器CPU(CentralProcess Unit)发送，该内存访问命令用于指示请求节点中的内存控制器MC(Memory Controller)判断该内存访问命令中的访存地址为本地地址或是异地地址。
这里请求节点通过接收到的内存访问命令能够判断该内存访问命令的访存地址是本地内存地址或是异地内存地址，若是本地内存访问，请求节点可以直接通过内存系统获取访问本地内存数据；若是异地节点，请求节点能够根据外部地址映射表查找异地节点的内存信息。
其中，内存访问消息在计算机系统架构中请求节点侧一直会收到内存访问命令，该内存访问命令中主要由本地内存和异地节点发送的内存访问消息组成，操作系统通过监测本地内存空间，以及接收异地节点的内存访问命令判断本地的请求节点是否需要从异地节点获取异地节点空闲的内存空间。
302、如果内存访问命令的访存地址为异地内存地址，则根据外部地址映射表查找外部地址映射表中访存地址对应的参数信息，获得访存地址所在的异地节点的标识。
进一步的，通过查找外部地址映射表得到内存访问命令中异地节点的访问内存的起始地址和异地节点的标识，并根据异地节点访问的内存地址计算至内存地址所在的内存的起始地址的偏移量。
这里请求节点会根据查找本地的外部地址映射表，得到内存访问命令的访存地址的异地起始内存的起始地址start，内存地址偏移量offset(要访问的地址在该起始地址内存段的偏移)和异地节点的属主标识ID(IDentity，ID)，其中，根据不同的网络环境外部地址映射表中的属主ID还可以为异地节点的网际互连协议IP(Internet Protocol)地址。
其中，在本发明实施例提供的请求节点中可以以计算机为例，这里外部地址映射表存储于计算机的内存控制器中(Memory Controller，MC)。
具体查询外部地址映射表如下，若异地节点要访问内存地址为6G(0x180000000)处的数据，则请求节点通过查找表1的外部地址映射表，得到异地起始地址为3G(0xC0000000)，偏移量为0，属主ID为3的异地节点。
表1
| 本地起始地址 | 本地结束地址 | 异地起始地址 | 属主id |
| 0x100000000 | 0x17FFFFFFF | 0x80000000 | 2 |
| 0x180000000 | 0x1BFFFFFFF | 0xC0000000 | 3 |
303、请求节点根据该参数信息生成内存请求消息，并将该内存请求消息发送至异地节点，以便该异地节点根据内存请求消息访问异地内存获取请求数据并生成响应消息。
这里请求节点通过查询外部地址映射表获取到异地节点能够提供的内存空间，此时根据请求节点请求的异地节点中内存段的起始地址和属主标识发送内存请求消息，使得异地节点能够通过该内存请求消息获取请求的数据。
304、异地节点接收并解析该内存请求消息，通过解析该内存请求消息获取异地内存访问地址，使得根据该异地内存访问地址获取请求数据。
这里异地节点通过通信模块接收到请求节点发送的内存请求消息后，对该内存请求消息进行解析，得到内存请求消息中的请求节点内存不足所需的内存访问地址。
其中，异地节点通过内存请求消息中获取请求节点所需的内存访问地址，其中异地节点得到请求节点的地址src，内存段的起始地址和内存地址偏移量，并根据起始地址和内存地址偏移量计算得到请求节点的请求数据的内存地址从而得到请求数据。
305、异地节点封装该请求数据为响应消息，并通过通信模块发送至该请求节点。
这里异地节点通过将步骤304中计算得到的请求数据封装为响应消息，并将该响应消息通过通信模块发送至请求节点。
306、请求节点通过通信模块接收并分析该响应消息得到请求数据。
这里请求节点在通过通信模块接收响应消息后，根据分析该响应消息获取请求数据。
具体示例如表2和表3所示，这里表2和表3为外部地址映射表，其中表3为更新后的外部地址映射表。在外部地址映射表中包括本地起始地址、本地结束地址、异地起始地址和属主ID。
这里请求节点在请求内存数据过程中的内存参数信息为表2和表3中的参数变换所示，例如，集群操作系统间通过互相协商，确定异地节点B1，B2......Bn，为请求节点起始地址分别为C1，C2......Cn提供大小为S1，S2......Sn的地址空间，并分别映射到请求节点本地的起始地址M1，M2......Mn。其中，提供地址空间量的大小Si和提供内存空间的节点以及节点数目n均由集群操作系统协商确定。具体如表2和表3所示，请求节点通过查询表2将分配的内存空间更新至如表3所示。
其中，表2表示为：
通过集群操作系统协商异地节点为请求节点分配部分内存后表2更新后为表3，其中，其中表3表示为：
这里由于本地结束地址在更新后由于在计数方面是由0开始计数，故在计算地址时通过M1+S1-1确定本地结束地址的实际数值。
其中，具体的外部地址映射表更新如表4和表5所示，若当前请求节点的外部内存映射表如表4所示，通过集群操作系统间的互相协商，获得了ID为3的节点的起始地址为3G的1G大小空间，更新后，如表5所示。
表4
| 本地起始地址 | 本地结束地址 | 异地起始地址 | 属主id |
| 0x100000000 | 0x17FFFFFFF | 0x80000000 | 2 |
更新后，表5
| 本地起始地址 | 本地结束地址 | 异地起始地址 | 属主id |
| 0x100000000 | 0x17FFFFFFF | 0x80000000 | 2 |
| 0x180000000 | 0x1BFFFFFFF | 0xC0000000 | 3 |
可选的，在请求节点内存空间不足时，存在以下请求过程：
a、当本地内存使用率超过阈值时，请求节点通过解析内存访问命令得到可提供空余内存空间的异地节点。
在请求节点向异地节点发送请求消息之前，计算机网络将通过监控发现请求节点中的内存空间不足，需要通过“借用”所在的计算机集群中其他节点的内存空间满足自身运行使用的需求。
b、请求节点向异地节点发送内存请求消息，请求异地内存节点可提供的内存。
这里当请求节点通过解析内存访问消息获知存在某一异地节点具备空余内存能够提供内存调用时，请求节点此时向异地节点发送内存请求消息，以便异地节点通过该请求消息提供内存空间。具体步骤可以参照步骤303～306。
c、请求节点接收异地节点的内存请求响应消息。
其中，响应消息包含异地内存节点可提供的内存的起始地址和结束地址。
d、请求节点将异地节点的标识和异地节点的内存起始地址写入外部地址映射表。
这里步骤d具体参照步骤306所示。
本发明实施例提供的内存访问方法，通过判断接收的内存访问命令的访存地址是否为异地节点的内存地址，若是异地节点的内存地址，则根据外部地址映射表查询访存地址映射的参数消息，进而异地节点能够根据参数信息获取请求数据以满足本地内存的数据需求，从而解决了集群系统中内存资源的分配问题，并提高了集群内部通信效率。
本发明实施例提供一种请求节点4，该请求节点具体可以为移动通讯网络中任一种移动智能通讯终端，如手机、平板电脑、私人计算机PC等在移动通讯网络中任一能够实现内存访问方法的设备，在本发明的实施例中对请求节点的具体形式不做具体限制，以可以实现本发明的实施例所提供的上述任一内存访问方法为准，参照图6所示，包括：
判断模块41，用于通过接收内存访问命令，判断该内存访问命令的访存地址是否为异地内存地址；
查询模块42，用于如果内存访问命令的访存地址为异地内存地址，则根据外部地址映射表查找外部地址映射表中访存地址对应的参数信息，获得访存地址所在的异地节点的标识；该外部地址映射表存储有异地节点内存地址及异地节点的标识；
通信模块43，用于根据参数信息生成内存请求消息，并将内存请求消息发送至异地节点，以便通知异地节点根据内存请求消息访问异地内存获取请求数据完成内存访问并生成响应消息，该响应消息中包含内存访问命令所请求的请求数据；
分析模块44，用于通过该通信模块接收并分析该响应消息得到请求数据。
本发明实施例提供的请求节点，通过判断接收的内存访存命令的访存地址是否为异地节点的异地内存地址，若是异地节点的异地内存地址，则根据外部地址映射表查询接收的内存访存命令的异地内存地址所对应的参数消息，进而能够从该异地节点获取部分内存数据以满足本地内存的数据需求，从而解决了集群系统中内存资源的分配问题，并提高了集群内部通信效率。
可选的，参照图7所示，判断模块41包括：
查询子模块411，用于根据内存访问命令中的访问地址查询外部地址映射表中的本地起始地址；
判断子模块412，用于如果在外部地址映射表中查询到与访问地址对应的异地节点的标识，则确定内存访问命令的访问地址为异地节点的内存地址；否则不是异地节点的内存地址。
进一步的，参照图7所示，判断模块41还包括：
查询子模块411，用于通过查找外部地址映射表得到内存访问命令中异地节点的访问内存的起始地址和异地节点的标识，并根据异地节点访问的内存地址计算至内存地址所在的内存的起始地址的偏移量。
可选的，参照图8所示，请求节点4还包括：
分析模块44，还用于当本地内存使用率超过阈值时，通过解析内存访问命令得到可提供空余内存空间的异地节点；
通信模块43，还用于向异地节点发送内存请求消息，请求异地内存节点可提供的内存；
通信模块43，还用于接收异地节点的内存请求响应消息，该响应消息包含异地内存节点可提供的内存的起始地址和结束地址；
写入模块45，用于将异地节点的标识和异地节点的内存起始地址写入外部地址映射表。
可选的，响应消息，包括：异地节点地址，请求节点地址，请求数据和响应消息序列号。
可选的，外部地址映射表包括：本地起始地址，本地结束地址，异地起始地址及异地节点的标识。
可选的，通信模块通过互联网络将至少一个请求节点与至少一个异地节点进行互联，构成内存网络。
本发明实施例提供的请求节点，通过接收内存访问命令，并通过判断接收的内存访问命令的访存地址是否为异地节点的内存地址，若是异地节点的内存地址，则根据外部地址映射表查询该访存地址对应的参数消息，进而能够根据该参数信息，从异地节点获取请求的数据，从而解决了集群系统中内存资源的分配问题，并提高了集群内部通信效率。
本发明实施例提供一种异地节点5，该异地节点具体可以为移动通讯网络中任一种移动智能通讯终端，如手机、平板电脑、私人计算机PC等在移动通讯网络中任一能够实现内存访问方法的设备，在本发明的实施例中对异地节点的具体形式不做具体限制，以可以实现本发明的实施例所提供的上述任一内存访问方法为准，参照图9所示，包括：
分析模块51，用于接收并解析内存请求消息，通过解析该内存请求消息获取异地内存访问地址，使得根据该异地内存访问地址获取请求数据；
封装模块52，还用于封装该分析模块获取的请求数据为响应消息，并通过通信模块发送至请求节点。
本发明实施例提供的异地节点，通过判断接收的内存访存命令的访存地址是否为异地节点的异地内存地址，若是异地节点的异地内存地址，则根据外部地址映射表查询接收的内存访存命令的异地内存地址所对应的参数消息，进而能够从该异地节点获取部分内存数据以满足本地内存的数据需求，从而解决了集群系统中内存资源的分配问题，并提高了集群内部通信效率。
可选的，内存请求消息，包括：异地节点的地址，请求节点的地址，异地节点的内存段的起始地址，内存地址偏移量和请求消息的序列号。
进一步，可选的，分析模块51具体用于：
通过解析内存请求消息得到请求节点请求所需内存段的起始地址以及内存地址偏移量，并根据内存段的起始地址和内存地址偏移量获取请求节点所需的内存数据。
本发明实施例提供的异地节点，通过判断接收的访问内存命令的访存地址是否为异地节点的内存地址，若是异地节点的内存地址，则根据外部地址映射表查询访存地址对应参数消息，进而能够根据参数消息获取请求数据，从而解决了集群系统中内存资源的分配问题，并提高了集群内部通信效率。
本发明实施例提供一种集群通信系统6，参照图10所示，包括：至少一个请求节点61和至少一个异地节点62，其中，
该至少一个请求节点61为图6～图8所示的请求节点，该至少一个异地节点62为图9所示的异地节点。
其中，当至少一个请求节点在作为请求节点时，也可以作为其他异地节点的请求节点；
或者，
当至少一个异地节点在作为异地节点时，也可以作为其他异地节点的请求节点。
进一步的，至少一个请求节点通过内部的通信模块与至少一个异地节点进行互联构成内存网络，以便在该内存网络中进行集群通信系统范围的数据传输。
本发明扩展了传统的内存模块，在传统的内存模块的基础上，增加了网络通信逻辑，即本发明实施例提到的通信模块，以实现内存的互联通信，具体如图11所示。其中通信模块的内部功能如图12所示，这里通信模块中包括发送缓存、接收缓存、封包逻辑、解包逻辑以及发送和接收队列。
本发明实施例适用于关联计算机系统多种网络环境，例如以太网，无线宽带InfiniBand架构(InfiniBand架构是一种支持多并发链接的“转换线缆”技术)等集群大规模计算机系统。其中，通过增加的网络通信逻辑，实现了集群节点间的内存互相访问，这里通过集群节点间的内存互相访问实现了节点间的内存空间借用。
本发明实施例提供的集群通信系统，通过判断接收的内存访存命令的访存地址是否为异地节点的异地内存地址，若是异地节点的异地内存地址，则根据外部地址映射表查询接收的内存访存命令的异地内存地址所对应的参数消息，进而能够从该异地节点获取部分内存数据以满足本地内存的数据需求，从而解决了集群系统中内存资源的分配问题，并提高了集群内部通信效率。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (22)
1.一种内存访问方法，其特征在于，包括：
通过接收内存访问命令，判断所述内存访问命令的访存地址是否为异地内存地址；
如果所述内存访问命令的访存地址为异地内存地址，则根据外部地址映射表查找所述外部地址映射表中所述访存地址对应的参数信息，获得所述访存地址所在的异地节点的标识；所述外部地址映射表存储有异地节点内存地址及异地节点的标识；
根据所述参数信息生成内存请求消息，并将所述内存请求消息发送至所述异地节点，以便通知所述异地节点根据所述内存请求消息访问异地内存获取请求数据完成内存访问并生成响应消息，所述响应消息中包含所述内存访问命令所请求的请求数据；
通过通信模块接收并分析所述响应消息得到请求数据。
2.根据权利要求1所述的方法，其特征在于，所述通过接收内存访问命令，判断所述内存访问命令的访问地址是否为异地节点的内存地址，包括：
根据所述内存访问命令中的访问地址查询所述外部地址映射表中的本地起始地址；
如果在所述外部地址映射表中查询到与所述访问地址对应的异地节点的标识，则确定所述内存访问命令的访问地址为异地节点的内存地址；否则不是异地节点的内存地址。
3.根据权利要求1或2所述的方法，其特征在于，所述如果所述内存访问命令的访存地址为异地内存地址，则根据外部地址映射表查找所述外部地址映射表中所述访存地址对应的参数信息，获得所述访存地址所在的异地节点的标识，包括：
通过查找所述外部地址映射表得到所述内存访问命令中所述异地节点的访问内存的起始地址和所述异地节点的标识，并根据所述异地节点访问的内存地址计算至所述内存地址所在的所述内存的起始地址的偏移量。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当本地内存使用率超过阈值时，通过解析所述内存访问命令得到可提供空余内存空间的异地节点；
向所述异地节点发送内存请求消息，请求所述异地内存节点可提供的内存；
接收所述异地节点的内存请求响应消息，所述响应消息包含异地内存节点可提供的内存的起始地址和结束地址；
将所述异地节点的标识和异地节点的内存起始地址写入所述外部地址映射表。
5.根据权利要求1所述的方法，其特征在于，所述通过通信模块接收并分析所述响应消息得到请求数据，包括：
所述响应消息包括所述异地节点地址，请求节点地址，请求数据和响应消息序列号。
6.根据权利要求1所述的方法，其特征在于，所述外部地址映射表包括：本地起始地址，本地结束地址，异地起始地址及异地节点的标识。
7.根据权利要求1所述的方法，其特征在于，所述通信模块通过互联网络将至少一个请求节点与至少一个所述异地节点进行互联，构成内存网络。
8.一种内存访问方法，其特征在于，包括：
接收并解析内存请求消息，通过解析所述内存请求消息获取异地内存访问地址，使得根据所述异地内存访问地址获取请求数据；
封装所述请求数据为响应消息，并通过通信模块发送至所述请求节点。
9.根据权利要求8所述的方法，其特征在于，所述内存请求消息，包括：所述异地节点的地址，所述请求节点的地址，所述异地节点的内存段的起始地址，内存地址偏移量和所述请求消息的序列号。
10.根据权利要求8或9所述的方法，其特征在于，所述根据所述异地内存访问地址获取请求数据，包括：
所述异地节点通过解析所述内存请求消息得到所述请求节点请求所需内存段的起始地址以及内存地址偏移量，并根据所述内存段的起始地址和所述内存地址偏移量获取所述请求节点所需的内存数据。
11.一种请求节点，其特征在于，包括：
判断模块，用于通过接收内存访问命令，判断所述内存访问命令的访存地址是否为异地内存地址；
查询模块，用于如果所述内存访问命令的访存地址为异地内存地址，则根据外部地址映射表查找所述外部地址映射表中所述访存地址对应的参数信息，获得所述访存地址所在的异地节点的标识；所述外部地址映射表存储有异地节点内存地址及异地节点的标识；
通信模块，用于根据所述参数信息生成内存请求消息，并将所述内存请求消息发送至所述异地节点，以便通知所述异地节点根据所述内存请求消息访问异地内存获取请求数据完成内存访问并生成响应消息，所述响应消息中包含所述内存访问命令所请求的请求数据；
分析模块，用于通过所述通信模块接收并分析所述响应消息得到请求数据。
12.根据权利要求11所述的设备，其特征在于，所述判断模块包括：
查询子模块，用于根据所述内存访问命令中的访问地址查询所述外部地址映射表中的本地起始地址；
判断子模块，用于如果在所述外部地址映射表中查询到与所述访问地址对应的异地节点的标识，则确定所述内存访问命令的访问地址为异地节点的内存地址；否则不是异地节点的内存地址。
13.根据权利要求11或12所述的设备，其特征在于，所述判断模块还包括：
查询子模块，用于通过查找所述外部地址映射表得到所述内存访问命令中所述异地节点的访问内存的起始地址和所述异地节点的标识，并根据所述异地节点访问的内存地址计算至所述内存地址所在的所述内存的起始地址的偏移量。
14.根据权利要求11所述的设备，其特征在于，所述设备还包括：
所述分析模块，还用于当本地内存使用率超过阈值时，通过解析所述内存访问命令得到可提供空余内存空间的异地节点；
所述通信模块，还用于向所述异地节点发送内存请求消息，请求所述异地内存节点可提供的内存；
所述通信模块，还用于接收所述异地节点的内存请求响应消息，所述响应消息包含异地内存节点可提供的内存的起始地址和结束地址；
写入模块，用于将所述异地节点的标识和异地节点的内存起始地址写入所述外部地址映射表。
15.根据权利要求11所述的设备，其特征在于，所述响应消息，包括：所述异地节点地址，请求节点地址，请求数据和响应消息序列号。
16.根据权利要求11所述的设备，其特征在于，所述外部地址映射表包括：本地起始地址，本地结束地址，异地起始地址及异地节点的标识。
17.根据权利要求11所述的设备，其特征在于，所述通信模块通过互联网络将至少一个请求节点与至少一个所述异地节点进行互联，构成内存网络。
18.一种异地节点，其特征在于，包括：
分析模块，用于接收并解析内存请求消息，通过解析所述内存请求消息获取异地内存访问地址，使得根据所述异地内存访问地址获取请求数据；
封装模块，用于封装所述分析模块获取的所述请求数据为响应消息，并通过通信模块发送至所述请求节点。
19.根据权利要求18所述的设备，其特征在于，所述内存请求消息，包括：所述异地节点的地址，所述请求节点的地址，所述异地节点的内存段的起始地址，内存地址偏移量和所述请求消息的序列号。
20.根据权利要求18或19所述的设备，其特征在于，
所述分析模块，具体用于通过解析所述内存请求消息得到所述请求节点请求所需内存段的起始地址以及内存地址偏移量，并根据所述内存段的起始地址和所述内存地址偏移量获取所述请求节点所需的内存数据。
21.一种集群通信系统，其特征在于，包括：至少一个请求节点和至少一个异地节点，其中，
所述至少一个请求节点为权利要求11～17任一所述的请求节点，所述至少一个异地节点为权利要求18～20任一所述的异地节点；
其中，当所述至少一个请求节点在作为请求节点时，也可以作为其他异地节点的请求节点；
或者，
当所述至少一个异地节点在作为异地节点时，也可以作为其他异地节点的请求节点。
22.根据权利要求21所述的集群通信系统，其特征在于，所述至少一个请求节点通过内部的通信模块与所述至少一个异地节点进行互联构成内存网络，以便在所述内存网络中进行集群通信系统范围的数据传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310247458.2A CN104239222B (zh) | 2013-06-20 | 2013-06-20 | 一种内存访问方法、设备和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310247458.2A CN104239222B (zh) | 2013-06-20 | 2013-06-20 | 一种内存访问方法、设备和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104239222A true CN104239222A (zh) | 2014-12-24 |
| CN104239222B CN104239222B (zh) | 2018-01-23 |
Family
ID=52227338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310247458.2A Active CN104239222B (zh) | 2013-06-20 | 2013-06-20 | 一种内存访问方法、设备和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104239222B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008140A (zh) * | 2019-03-11 | 2019-07-12 | 深圳市广和通无线股份有限公司 | 内存管理方法、装置、计算机设备和存储介质 |
| CN114374644A (zh) * | 2021-12-22 | 2022-04-19 | 烟台东方瑞创达电子科技有限公司 | 基于基础设施逻辑架构的工业互联网标识解析方法及系统 |
| WO2022170769A1 (zh) * | 2021-02-10 | 2022-08-18 | 华为技术有限公司 | 通信方法、装置及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1852318A (zh) * | 2006-04-19 | 2006-10-25 | 华中科技大学 | 适用于对象网络存储的分布式多级缓存系统 |
| CN101471899A (zh) * | 2007-12-26 | 2009-07-01 | 上海贝尔阿尔卡特股份有限公司 | 一种支持传感器网络数据访问方法及其接入网关、系统 |
| US7913055B2 (en) * | 2006-11-04 | 2011-03-22 | Virident Systems Inc. | Seamless application access to hybrid main memory |
| CN101998223A (zh) * | 2009-08-14 | 2011-03-30 | 郭佳 | 分布式标签号簿实现方法及系统 |
| CN102314480A (zh) * | 2011-07-05 | 2012-01-11 | 万达信息股份有限公司 | 一种针对海量数据的分布式数据存储方法 |
| US20120110236A1 (en) * | 2010-10-29 | 2012-05-03 | Vmware, Inc. | System and Method to Prioritize Large Memory Page Allocation in Virtualized Systems |
-
2013
- 2013-06-20 CN CN201310247458.2A patent/CN104239222B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1852318A (zh) * | 2006-04-19 | 2006-10-25 | 华中科技大学 | 适用于对象网络存储的分布式多级缓存系统 |
| US7913055B2 (en) * | 2006-11-04 | 2011-03-22 | Virident Systems Inc. | Seamless application access to hybrid main memory |
| CN101471899A (zh) * | 2007-12-26 | 2009-07-01 | 上海贝尔阿尔卡特股份有限公司 | 一种支持传感器网络数据访问方法及其接入网关、系统 |
| CN101998223A (zh) * | 2009-08-14 | 2011-03-30 | 郭佳 | 分布式标签号簿实现方法及系统 |
| US20120110236A1 (en) * | 2010-10-29 | 2012-05-03 | Vmware, Inc. | System and Method to Prioritize Large Memory Page Allocation in Virtualized Systems |
| CN102314480A (zh) * | 2011-07-05 | 2012-01-11 | 万达信息股份有限公司 | 一种针对海量数据的分布式数据存储方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110008140A (zh) * | 2019-03-11 | 2019-07-12 | 深圳市广和通无线股份有限公司 | 内存管理方法、装置、计算机设备和存储介质 |
| CN110008140B (zh) * | 2019-03-11 | 2021-08-17 | 深圳市广和通无线股份有限公司 | 内存管理方法、装置、计算机设备和存储介质 |
| WO2022170769A1 (zh) * | 2021-02-10 | 2022-08-18 | 华为技术有限公司 | 通信方法、装置及系统 |
| CN114374644A (zh) * | 2021-12-22 | 2022-04-19 | 烟台东方瑞创达电子科技有限公司 | 基于基础设施逻辑架构的工业互联网标识解析方法及系统 |
| CN114374644B (zh) * | 2021-12-22 | 2023-09-19 | 烟台东方瑞创达电子科技有限公司 | 基于基础设施逻辑架构的工业互联网标识解析方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104239222B (zh) | 2018-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106489251B (zh) | 应用拓扑关系发现的方法、装置和系统 | |
| US10305823B2 (en) | Network interface card configuration method and resource management center | |
| US11240155B2 (en) | Technologies for network device load balancers for accelerated functions as a service | |
| CN109245984B (zh) | 一种报文传输方法、一种信息处理方法及其相关设备 | |
| US20150058473A1 (en) | Network address mapping to nearby location identification | |
| US20180246768A1 (en) | Mobile edge compute dynamic acceleration assignment | |
| US20160217013A1 (en) | Method and system for generating a virtual device resource accessible by an application | |
| CN106664515B (zh) | 通过服务控制装置链路在终端之间发送内容的方法 | |
| CN112511660B (zh) | 一种边缘终端设备的管理系统、方法、装置及存储介质 | |
| CN105791254B (zh) | 网络请求处理方法、装置及终端 | |
| CN113094182B (zh) | 一种服务的负载均衡处理方法、装置及云端服务器 | |
| US10945309B2 (en) | Technologies for providing hardware resources as a service with direct resource addressability | |
| US20210092073A1 (en) | Resource trees by management controller | |
| US20170093963A1 (en) | Method and Apparatus for Allocating Information and Memory | |
| CN112333017A (zh) | 一种服务配置方法、装置、设备及存储介质 | |
| CN104239222A (zh) | 一种内存访问方法、设备和系统 | |
| CN104571934A (zh) | 一种内存访问的方法、设备和系统 | |
| CN112243045A (zh) | 服务数据处理方法、装置、节点结构及电子设备 | |
| CN112187508B (zh) | 物联网网关设备管理方法、装置、设备和可读存储介质 | |
| KR20150091836A (ko) | 공여 메모리 제공 시스템, 공여 메모리 등록 및 할당 방법 | |
| CN115665231A (zh) | 服务创建方法、装置以及计算机可读存储介质 | |
| CN110022219B (zh) | 一种网络集群探测方法、系统及电子设备和存储介质 | |
| CN114301980A (zh) | 容器集群的调度方法、装置、系统及计算机可读介质 | |
| CN104092731A (zh) | 一种云计算系统 | |
| CN114157455A (zh) | 一种数据传输方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |