CN101458655A - 内存管理方法、系统及内存控制装置 - Google Patents

Abstract

本发明实施例提供一种内存管理方法，包括以下步骤：在对生产内存中第一内存单元的数据进行更新时，更新所述第一内存单元所在生产内存域和生产超域的元数据；将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；根据所述镜像内存域和镜像超域的元数据，将生产内存更新的数据复制到镜像内存的相应位置。本发明实施例还提供一种内存管理系统及内存控制装置。本发明实施例通过将内存空间划分为内存域和超域，可以实现海量内存的镜像的便利管理和镜像实现。通过元数据为内存镜像提供及时同步辨别机制，提高内存可靠性和访问速度。

Description

内存管理方法、系统及内存控制装置

技术领域

本发明涉及计算机存储领域，尤其涉及一种内存管理方法、系统及内存控制装置。

背景技术

现有集中计算系统或紧耦合分布式计算系统的内存一般为256GB到1TB(1Tera Byte Memory，存储信息为1Tera Byte的计算机系统与中央处理单元直接连接的存储设备)，其中的高可靠系统要求实现内存镜像，保证系统数据不间断，不丢失。但是，针对超过1TB的内存，需要镜像的缓存子系统，目前还没有行之有效的实现方案和实用算法。

如果沿用现有针对1TB以下内存的管理方式，一方面容易出错，另一方面会占用相当大的系统资源，内存访问极为困难，不具有实施的可能性。

发明内容

本发明实施例要解决的技术问题在于，提供一种内存管理方法、系统及内存控制装置，针对海量内存的镜像实现高效便利地管理。

为解决上述技术问题，本发明实施例提供一种内存管理方法，包括以下步骤：

在对生产内存中第一内存单元的数据进行更新时，更新所述第一内存单元所在生产内存域和生产超域的元数据；

将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；

根据所述镜像内存域和镜像超域的元数据，将生产内存更新的数据复制到镜像内存的相应位置。

本发明实施例又提供一种内存管理系统，包括：

生产内存和镜像内存；

内存控制单元，连接在生产内存和镜像内存之间，用于控制在对第一生产内存单元的数据进行更新时，更新所述第一生产内存单元所在生产内存域和生产超域的元数据；并将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；再根据所述镜像内存域和镜像超域的元数据，将所述第一生产内存单元更新的数据复制到与所述第一生产内存单元相对应的镜像内存单元。

本发明实施例还提供一种内存控制装置，连接在生产内存和镜像内存之间，用于控制在对第一生产内存单元的数据进行更新时，更新所述第一生产内存单元所在生产内存域和生产超域的元数据；并将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；再根据所述镜像内存域和镜像超域的元数据，将所述第一生产内存单元更新的数据复制到与所述第一生产内存单元相对应的镜像内存单元。

本发明实施例具有以下有益的效果：通过将内存空间划分为内存域和超域，可以实现对海量内存的镜像的便利管理和镜像实现。通过元数据，为内存镜像提供及时同步辨别机制，提高内存可靠性和访问速度。

附图说明

图1是本发明实施例中超域映射的示意图。

图2是本发明实施例中内存域和超域的寻址方式示意图。

图3是本发明实施例一内存管理方法的流程示意图。

图4是本发明实施例一中实现内存数据镜像的示意图。

图5是本发明实施例二内存管理系统的结构示意图。

具体实施方式

以下结合附图对本发明实施例进行详细描述。

本发明实施例引入内存域和超域的划分，对内存的组织架构进行优化，实现海量内存高性能管理调度。

超域是实现海量内存(超过1TB内存)多内存域的分层次结构中的最高层次。图1给出了超域的形成机制。在图1中，第一级是由若干内存单元(比如内存电路板)组成基本内存域，基本内存域是操作系统内存读写寻址的基本单元。若干个内存基本域组成内存超域，即图1中的第二级。对于第一级的内存域，第二级的内存超域将作为自身的内存单元，内存域是操作系统通过超域进行内存读写寻址的基本单元。当第二级的超域数量较多时，可以引入第三级超域，实现超域管理的简化，基于同样的映射策略，即图1中的第三级。对于第二级的超域，第三级的内存超域将作为自身的内存单元，第二级的超域是操作系统通过第三级超域进行内存读写寻址的基本单元。考虑到集中计算系统或紧耦合分布式计算系统对内存读写的高速、高性能要求，第三级超域的引入将用于更高容量的应用场景。如果针对1TB量级的内存空间，第二级超域具备较佳的实施便利。本发明实施例以高容量内存配置的紧耦合计算系统或存储磁盘阵列控制器为例进行说明。

上述的划分均在生产内存和镜像内存上实现，即将生产内存划分为生产内存域和生产超域，将镜像内存划分为镜像内存域和镜像超域。生产内存域、生产超域与镜像内存域、镜像超域存在着对应关系，例如：生产内存划分有A、B两个生产超域，生产超域A包括两个生产内存域A1、A2，生产超域B包括两个生产内存域B1、B2，每一生产内存域又进一步包括两个生产内存单元，如A11、A12、A21、A22、B11、B12、B21、B22；而对应的镜像内存划分有A’、B’两个镜像超域，镜像超域A’包括两个镜像内存域A1’、A2’，镜像超域B’包括两个镜像内存域B1’、B2’，每一镜像内存域又进一步包括两个镜像内存单元，如A11’、A12’、A21’、A22’、B11’、B12’、B21’、B22’，其对应关系是：生产超域A对应镜像超域A’，生产超域B对应镜像超域B’，生产内存域A1对应镜像内存域A1’，生产内存域A2对应镜像内存域A2’，生产内存域B1对应镜像内存域B1’，生产内存域B2对应镜像内存域B2’，生产内存单元A11对应镜像内存单元A11’，......，生产内存单元B22对应镜像内存单元B22’。前述例子对应关系是严格一致的对应，其也可以是交叉对应，例如生产超域A对应镜像超域B’。

生产内存和镜像内存的内存域和超域的划分，以及各自的对应关系，由系统预先设置，生产内存和镜像内存的内存域和超域的划分好之后，各自的对应关系也就确定了。建立上述对应关系通常以内存地址解析来实现，例如，生产内存单元地址分别是1、2、3、4，而镜像内存单元的地址是4、3、2、1，建立对应关系时即是将所述生产内存单元的地址，通过某种算法解析为相应镜像内存单元地址。

整个内存空间布局采用2级或其他级别内存域划分，内存域以128GB或其他大小为单位。内存域每4个或其他个数的内存域组成一个超域，整个内存空间包括至少两个超域。

整个内存域和超域的映射关系反映在一32位的链表中，如下所示，该链表保存在内存中，用于记录内存域、超域的标识、地址空间划分(即所述内存域、超域的内存空间分配关系)以及读写状态等：

 

Log记录标号	超域标识	内存域标识	读写更改属性	保留
					1#	1	A	R/W	-
2#	1	B	R/W	-
					...	2	K	R/W	-
N#	2	N	R/W	-

图2为本发明实施例采用内存域和超域二次寻址方式来实现内存的可靠读写的示意图，当发起读写时，首先根据接收到的读操作或写操作指令中指示的超域标识寻址到某一超域，然后再根据指令中指示的内存域标识，直接访问该超域的相应内存域(如图1中的第一级)，并定位所述内存域，再利用所述内存域的绝对地址，寻找到需更新的内存单元，实现数据访问。该指令里包括有需更新的生产内存单元所在生产内存域、生产超域的标识及地址。

本发明实施例一内存管理方法，包括以下步骤：

步骤一，在对生产内存中第一内存单元的数据进行更新时，更新所述第一内存单元所在生产内存域和生产超域的元数据。

元数据(Metadate)是关于数据的数据，其为各种形态的数字化信息单元和资源集合提供规范、普遍的描述方法和检索工具。例如，在对内存单元进行读写时，每一次操作都将生成一个元数据，该元数据用来记录操作的信息，所述的操作信息包括进行读写的内存单元的地址、属于哪个内存域和超域、读写的时间、状态等。本发明实施例中，预先将生产内存空间和镜像内存空间均划分为内存域和超域，内存域和超域均存在着元数据。

例如，当需要对生产内存中第一生产内存单元进行数据更新时，首先将接收数据更新指令，该指令中包括所述生产内存单元所在生产内存域、生产超域的标识及地址；根据所述指令中的生产超域标识寻址到对应的超域，然后再根据内存域标识，访问并定位所述超域的相应内存域，并利用所述内存域的绝对地址，寻找到需更新的所述生产内存单元；再根据所述更新指令对所述第一生产内存单元的数据进行更新。

在对该内存单元的数据进行更新的同时，该内存单元所在的生产内存域和生产超域将更新生成新的元数据。

步骤二，将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域。

请参照图4所示，具体的步骤如下：

(1)依据业务系统不同的工作业务要求，预先设定同步触发条件；

内存控制单元将根据所述同步触发条件来控制元数据的同步操作。同步触发条件通常包括实时更新条件和定时更新条件，例如，对于某些对生产内存的实时更新，需要在2个时钟周期或更短的时间内镜像到镜像内存中，则设定同步触发条件为实时更新条件，内存控制单元将控制相应生产内存元数据同步到镜像内存。

(2)在达到所述同步触发条件后，将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域。

步骤三，根据所述镜像内存域和镜像超域的元数据，将生产内存更新的数据复制到该生产内存所对应的镜像内存。

镜像的实现过程如图4所示。当镜像内存域和镜像超域获取更新的元数据后，内存控制单元根据该元数据所记录的信息，获知在生产内存的哪个超域、哪个内存域、哪个内存单元进行了数据更新，再根据前述生产内存与镜像内存的对应关系获知与该更新的生产内存单元相对应的镜像内存单元，然后将生产内存中更新的内存单元的内容复制到所述镜像内存单元。

具体的步骤如下：

(1)根据所述镜像内存域和镜像超域的元数据，获得第一生产内存单元更新数据的描述及该第一生产内存单元的地址；

(2)根据该第一生产内存的地址获得对应的镜像内存单元的地址；

(3)从该第一生产内存单元中将更新的数据复制到所述镜像内存单元。

在这个过程中，内存控制单元依据不同的工作业务要求，启动不同的镜像周期。例如针对活跃的在线事务处理进程，高度可靠性敏感业务，镜像周期采用短周期方式；针对可靠性不敏感业务，镜像周期采用长周期方式。

内存镜像操作结束后，将执行备案操作，备案更新镜像内存的元数据。如果镜像过程中有错误发生，例如将生产内存中更新的内存单元的内容复制到错误位置，则可根据所述备案的元数据，恢复至镜像前的状态。

针对高强度内存刷新的进程需求，可对元数据进行优先级控制，内存镜像同步控制单元依据元数据，针对镜像内存采用高优先级进行同步镜像刷新。

请再参照图5所示，本发明实施例二内存管理系统，包括生产内存和镜像内存，以及内存控制单元，所述内存控制单元连接在生产内存和镜像内存之间，用于控制在对第一生产内存单元的数据进行更新时，更新所述第一生产内存单元所在生产内存域和生产超域的元数据；并将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；再根据所述镜像内存域和镜像超域的元数据，将所述第一生产内存单元更新的数据复制到与所述第一生产内存单元相对应的镜像内存单元。

本发明实施例三提供一种内存控制装置，连接在生产内存和镜像内存之间，用于控制在对第一生产内存单元的数据进行更新时，更新所述第一生产内存单元所在生产内存域和生产超域的元数据；并将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；再根据所述镜像内存域和镜像超域的元数据，将所述第一生产内存单元更新的数据复制到与所述第一生产内存单元相对应的镜像内存单元。

生产内存的内存空间被划分为内存域和至少一级超域。内存域由若干内存单元(比如内存电路板)组成，以128GB或其他大小为单位。内存域每4个或其他个数的内存域组成一个超域，整个内存空间包括至少两个超域，其中，包括生产内存超域和镜像内存超域。当超域数量较多时，可以引入上一级超域，实现超域管理的简化，以适应更高容量的应用场景。

整个域和超域的组织结构反映在一32位的链表，该链表保存在内存，记录内存域、超域的标识、地址空间划分(即所述内存域、超域的内存空间分配关系)以及读写状态。

生产内存和镜像内存的内存域和超域的划分，以及各自的对应关系，由系统预先设置，生产内存和镜像内存的内存域和超域的划分好之后，各自的对应关系也就确定了。建立上述对应关系通常以内存地址解析来实现，例如，生产内存单元地址分别是1、2、3、4，而镜像内存单元的地址是4、3、2、1，建立对应关系时即是将所述生产内存单元的地址，通过某种算法解析为相应镜像内存单元地址。

上述实施例中的内存控制单元包括：

索引链表，用于记录生产内存和镜像内存中内存域标识、超域的标识、所述内存域、超域的内存空间分配关系以及读写状态；

数据更新单元，用于根据数据更新指令，查询索引链表并找到需要更新的第一生产内存单元，并对所述第一生产内存单元进行数据更新；

元数据生成单元，用于根据所述数据更新指令，生成所述第一生产内存单元所在生产内存域和生产超域的元数据；

元数据同步单元，用于将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；

镜像单元，用于根据所述镜像内存域和镜像超域的元数据，将所述第一生产内存单元更新的数据复制到与所述第一生产内存单元相对应的镜像内存单元。

其中，所述镜像单元包括：

地址获取单元，用于根据所述镜像内存域和镜像超域的元数据，获得所述第一生产内存单元更新数据的描述及所述第一生产内存单元的地址；

镜像地址获取单元，用于根据所述第一生产内存单元的地址获得对应的镜像内存单元的地址；

更新单元，用于从所述第一生产内存单元中将更新的数据复制到所述镜像内存单元。

本发明实施例的内存管理系统可以体现为例如磁盘阵列存储器的存储管理系统或紧耦合分布式计算系统的存储管理系统。

本发明实施例通过优化硬件设计和采用合理软件算法完成内存超过1TB、需要镜像的缓存子系统的应用实现。

本发明实施例通过将内存空间划分为内存域和超域，可以实现对海量内存的镜像的便利管理和镜像实现。通过元数据，为内存镜像提供及时同步辨别机制，提高内存可靠性和访问速度。

Claims (13)

1、一种内存管理方法，包括以下步骤：

在对第一生产内存单元的数据进行更新时，更新所述第一生产内存单元所在生产内存域和生产超域的元数据；

将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；

根据所述镜像内存域和镜像超域的元数据，将所述第一生产内存单元更新的数据复制到与所述第一生产内存单元相对应的镜像内存单元。

2、根据权利要求1所述的方法，其特征在于：所述对第一生产内存单元的数据进行更新步骤包括：

接收数据更新指令，所述指令中包括所述第一生产内存单元所在生产内存域、生产超域的标识及地址；

根据所述指令中的生产超域标识寻址到对应的超域，然后再根据内存域标识，访问并定位所述超域的相应内存域，再利用所述内存域的绝对地址，寻找到需更新的所述第一生产内存单元；

根据所述更新指令对所述第一生产内存单元的数据进行更新。

3、根据权利要求1所述的方法，其特征在于：所述元数据的同步步骤具体包括：

预先设定同步触发条件；

在达到所述同步触发条件后，将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域。

4、根据权利要求1所述的方法，其特征在于：还包括步骤：

备案更新镜像内存的元数据。

5、根据权利要求1所述的方法，其特征在于：根据所述镜像内存域和镜像超域的元数据，将所述第一生产内存单元更新的数据复制到与所述第一生产内存单元相对应的镜像内存单元的步骤包括：

根据所述镜像内存域和镜像超域的元数据，获得所述第一生产内存单元更新数据的描述及所述第一生产内存单元的地址；

根据所述第一生产内存单元的地址获得对应的镜像内存单元的地址；

从所述第一生产内存单元中将更新的数据复制到所述镜像内存单元。

6、一种内存管理系统，其特征在于：包括：

生产内存和镜像内存；

内存控制装置，连接在生产内存和镜像内存之间，用于控制在对第一生产内存单元的数据进行更新时，更新所述第一生产内存单元所在生产内存域和生产超域的元数据；并将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；再根据所述镜像内存域和镜像超域的元数据，将所述第一生产内存单元更新的数据复制到与所述第一生产内存单元相对应的镜像内存单元。

7、根据权利要求6所述的系统，其特征在于：所述生产内存和镜像内存均分别包括内存域和超域。

8、根据权利要求7所述的系统，其特征在于：所述内存域和超域通过索引链表实现映射，用于记录所述内存域、超域的标识、所述内存域、超域的内存空间分配关系以及读写状态。

9、根据权利要求6所述的系统，其特征在于：所述内存控制单元包括：

索引链表，用于记录生产内存和镜像内存中内存域标识、超域的标识、所述内存域、超域的内存空间分配关系以及读写状态；

数据更新单元，用于根据数据更新指令，查询索引链表并找到需要更新的第一生产内存单元，并对所述第一生产内存单元进行数据更新；

元数据生成单元，用于根据所述数据更新指令，生成所述第一生产内存单元所在生产内存域和生产超域的元数据；

元数据同步单元，用于将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；

镜像单元，用于根据所述镜像内存域和镜像超域的元数据，将所述第一生产内存单元更新的数据复制到与所述第一生产内存单元相对应的镜像内存单元。

10、根据权利要求9所述的系统，其特征在于，所述镜像单元包括：

地址获取单元，用于根据所述镜像内存域和镜像超域的元数据，获得所述第一生产内存单元更新数据的描述及所述第一生产内存单元的地址；

镜像地址获取单元，用于根据所述第一生产内存单元的地址获得对应的镜像内存单元的地址；

更新单元，用于从所述第一生产内存单元中将更新的数据复制到所述镜像内存单元。

11、一种内存控制装置，其特征在于：连接在生产内存和镜像内存之间，用于控制在对第一生产内存单元的数据进行更新时，更新所述第一生产内存单元所在生产内存域和生产超域的元数据；并将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；再根据所述镜像内存域和镜像超域的元数据，将所述第一生产内存单元更新的数据复制到与所述第一生产内存单元相对应的镜像内存单元。

12、根据权利要求11所述的装置，其特征在于：所述内存控制单元包括：

索引链表，用于记录生产内存和镜像内存中内存域标识、超域的标识、所述内存域、超域的内存空间分配关系以及读写状态；

数据更新单元，用于根据数据更新指令，查询索引链表并找到需要更新的第一生产内存单元，并对所述第一生产内存单元进行数据更新；

元数据生成单元，用于根据所述数据更新指令，生成所述第一生产内存单元所在生产内存域和生产超域的元数据；

元数据同步单元，用于将所述生产内存域的元数据同步到镜像内存域，将所述生产超域的元数据同步到镜像超域；

镜像单元，用于根据所述镜像内存域和镜像超域的元数据，将所述第一生产内存单元更新的数据复制到与所述第一生产内存单元相对应的镜像内存单元。

13、根据权利要求11所述的装置，其特征在于，所述镜像单元包括：

地址获取单元，用于根据所述镜像内存域和镜像超域的元数据，获得所述第一生产内存单元更新数据的描述及所述第一生产内存单元的地址；

镜像地址获取单元，用于根据所述第一生产内存单元的地址获得对应的镜像内存单元的地址；

更新单元，用于从所述第一生产内存单元中将更新的数据复制到所述镜像内存单元。

Images