CN101478567A - 基于网格划分的内存管理方法 - Google Patents
基于网格划分的内存管理方法 Download PDFInfo
- Publication number
- CN101478567A CN101478567A CNA2009100281076A CN200910028107A CN101478567A CN 101478567 A CN101478567 A CN 101478567A CN A2009100281076 A CNA2009100281076 A CN A2009100281076A CN 200910028107 A CN200910028107 A CN 200910028107A CN 101478567 A CN101478567 A CN 101478567A
- Authority
- CN
- China
- Prior art keywords
- grid
- memory
- layer
- mesh
- secondary storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 27
- 238000012217 deletion Methods 0.000 claims abstract description 8
- 230000037430 deletion Effects 0.000 claims abstract description 8
- 238000003780 insertion Methods 0.000 claims abstract description 8
- 230000037431 insertion Effects 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 8
- 238000004513 sizing Methods 0.000 claims description 3
- 238000013467 fragmentation Methods 0.000 abstract 1
- 238000006062 fragmentation reaction Methods 0.000 abstract 1
- 230000005055 memory storage Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 4
- 238000013523 data management Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
基于网格划分的内存管理方法，将系统物理内存按照主存网格划分规则逐层网格化，直至最终可使用单元是应用所需的最小数据单位，并通过一系列对链表的插入、删除操作，进行分级网格单元的管理；对物理内存逐层网格化采用主存网格划分规则，步骤如下：将物理内存按照一维网格逐层划分为若干不同层次的次级存储网格，每层次级存储网格分为网格描述信息和数据体两部分，最小可分配网格除外；利用单向链表和物理内存逐层细分模式，对计算机系统的物理内存进行管理。以应用程序所需的最小记录长度为分配单位，通过对维系内存网格关系的单向链表的插入和删除，完成应用程序对内存存储空间的申请和释放工作，达到减少内存碎片，提高内存利用率和应用进程效率的目的。
Description
一、技术领域
本发明涉及一种对数据内存管理的模块，尤其是应用于物理内存管理方法。
二、背景技术
目前多数电信运营支撑系统的应用程序，会将业务数据载入物理内存使用，以追求高效率。由于电信运营支撑系统自身的特性，这些数据往往数量巨大，而且变更频繁，如果仅仅凭借操作系统对数据集所使用的内存进行管理，难免会因为操作系统的分配策略问题，导致物理内存会有大量的碎片产生，一方面造成内存浪费，另一方面，会影响应用系统的处理效率。
三、发明内容：
本发明目的是：解决海量内存数据集在使用过程产生的如下问题：减少内存使用过程中产生的碎片，提高内存利用率；提供高效的内存申请、释放操作；提供完备的内存回收再利用功能；提出一种基于网格划分的内存管理方法。
本发明的技术方案：基于网格划分的内存管理方法，实现的基本技术思想是将系统物理内存按照主存网格划分规则逐层网格化，直至最终可使用单元是应用所需的最小数据单位，并通过一系列对链表的插入、删除操作，进行分级网格单元的管理；
对物理内存逐层网格化采用主存网格划分规则，步骤如下：
将物理内存按照一维网格逐层划分为若干不同层次的次级存储网格，每层次级存储网格分为网格描述信息和数据体两部分，最小可分配网格除外；其中：
a)每层存储网格的网格描述信息描述了本内存块的相关属性，同时维护该网格内次级存储网格的使用情况；
b)每层存储网格的数据体作为次级存储网格的父网格单元，限定次级存储网格集合体大小；
c)最小可分配网格为应用可见的最小分配单位，无需再进行网格化，不再需要网格描述信息，其空间直接用于应用数据存储；
d)最小可分配网格大小，由应用系统不同数据集单条记录长度定义，对终端用户不可见；不同最小网格的父网格单元可绑定不同的最小网格大小，以存储不同的数据集，父网格一旦分配给某一数据集使用，则不可再分配给其它数据集；
对物理内存逐层网格化的管理方法步骤如下：
主存网络管理通过维护若干个单向链表，分别对应不同层次的层次级网格单元，链表的入口在次级存储网格父网格单元的网格描述信息，将已分配已满、已分配未满、未分配的不同状态的网格单元串联起来；当需要对网格单元进行分配和回收时，通过对相应层次的链表的插入、删除操作，完成网格单元的管理。
本发明利用单向链表和物理内存逐层细分模式，对计算机系统的物理内存进行管理。以应用程序所需的最小记录长度为分配单位，通过对维系内存网格关系的单向链表的插入和删除，完成应用程序对内存存储空间的申请和释放工作。
本发明有益效果是：本发明已经在内存数据管理产品中得到成功应用，并作为我国核心电信运营系统产品关键业务数据管理中心的主要构成技术方案，部署在计费账务后台业务处理系统中，内存占用量较以往操作系统直接管理的应用减少了20～30％。
四、具体实施方式
此发明方法目前内嵌于内存数据管理的内存管理模块中，也可独立封装，做为第三方插件提供于其他模块适配，其在内存数据管理模块中应用的标准的软件模型为：
●内部主存管理：
此功能对外完全不可见，是被封装在内存管理模块内部的逻辑，上层调用者只需要指定各层网格存储单元的大小，内部主存管理逻辑即可自动完成下述功能：
1、主存网格划分
将物理内存按照一维网格逐层划分为若干存储网格，每层存储网格内分为网格描述信息和数据体两部分(最小可分配网格除外)。
a)网格描述信息描述了本内存块的相关属性，同时维护该网格内次级存储网格的使用情况。
b)数据体作为次级存储网格的父单元，限定次级存储网格集合体大小。
c)最小可分配网格为应用可见的最小分配单位，无需再进行网格化，不再需要网格描述信息，其空间直接用于应用数据存储。
d)最小可分配网格大小，由应用系统不同数据集单条记录长度定义，对终端用户不可见。不同最小网格的父网格单元可绑定不同的最小网格大小，以存储不同的数据集，父网格一旦分配给某一数据集使用，则不可再分配给其它数据集。
2、主存网格管理
主存网络管理通过维护若干个单向链表，分别对应不同层次的网格单元，链表的入口在父网格单元的网格描述信息，将已分配已满、已分配未满、未分配的不同状态的网格单元串联起来。
a)链表的节点维护指向下一个同级存储网格单元的地址。
b)链表的入口在父网格单元的网格描述信息。
c)利用未分配的网格单元存储未分配网格单元链表的节点，以节省内存使用。
●内存申请、释放：
此功能为内存管理模块的对外接口，内存数据管理模块通过网格划分内存管理方法，对预先维护的相应层次的链表的插入、删除操作，相应上层应用对存储单元的申请和释放管理。
Claims (2)
1、基于网格划分的内存管理方法，其特征是是将系统物理内存按照主存网格划分规则逐层网格化，直至最终可使用单元是应用所需的最小数据单位，并通过一系列对链表的插入、删除操作，进行分级网格单元的管理；对物理内存逐层网格化采用主存网格划分规则，步骤如下：将物理内存按照一维网格逐层划分为若干不同层次的次级存储网格，每层次级存储网格分为网格描述信息和数据体两部分，最小可分配网格除外；其中：
a)每层存储网格的网格描述信息描述了本内存块的相关属性，同时维护该网格内次级存储网格的使用情况；
b)每层存储网格的数据体作为次级存储网格的父网格单元，限定次级存储网格集合体大小；
c)最小可分配网格为应用可见的最小分配单位，无需再进行网格化，不再需要网格描述信息，其空间直接用于应用数据存储；
d)最小可分配网格大小，由应用系统不同数据集单条记录长度定义，对终端用户不可见；不同最小网格的父网格单元可绑定不同的最小网格大小，以存储不同的数据集，父网格一旦分配给某一数据集使用，则不可再分配给其它数据集。
2、根据权利要求1所述的网格划分的内存管理方法，其特征是对物理内存逐层网格化的管理方法步骤如下：主存网络管理通过维护若干个单向链表，分别对应不同层次的层次级网格单元，链表的入口在次级存储网格父网格单元的网格描述信息，将已分配已满、已分配未满、未分配的不同状态的网格单元串联起来；当需要对网格单元进行分配和回收时，通过对相应层次的链表的插入、删除操作，完成网格单元的管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100281076A CN101478567B (zh) | 2009-01-09 | 2009-01-09 | 基于网格划分的内存管理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100281076A CN101478567B (zh) | 2009-01-09 | 2009-01-09 | 基于网格划分的内存管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101478567A true CN101478567A (zh) | 2009-07-08 |
| CN101478567B CN101478567B (zh) | 2011-09-21 |
Family
ID=40839197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100281076A Expired - Fee Related CN101478567B (zh) | 2009-01-09 | 2009-01-09 | 基于网格划分的内存管理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101478567B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436463A (zh) * | 2011-08-31 | 2012-05-02 | 航天恒星科技有限公司 | 一种导航数据转换中内存管理的方法 |
| CN103488699A (zh) * | 2013-09-04 | 2014-01-01 | 用友软件股份有限公司 | 基于内存数据网格的数据处理装置和方法 |
| US8806169B1 (en) | 2013-02-18 | 2014-08-12 | Huawei Technologies Co., Ltd. | Memory management method, memory management apparatus and NUMA system |
| CN105610764A (zh) * | 2014-11-10 | 2016-05-25 | 联想(北京)有限公司 | 信息处理方法和电子设备 |
| WO2022021177A1 (zh) * | 2020-07-30 | 2022-02-03 | 华为技术有限公司 | 缓存系统、方法和芯片 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6973517B1 (en) * | 2000-08-31 | 2005-12-06 | Hewlett-Packard Development Company, L.P. | Partition formation using microprocessors in a multiprocessor computer system |
| CN100418092C (zh) * | 2006-02-20 | 2008-09-10 | 南京联创科技股份有限公司 | 海量数据内存数据库中快速定位的网格+t树索引的方法 |
| CN100570573C (zh) * | 2008-05-22 | 2009-12-16 | 清华大学 | 大规模磁盘阵列存储系统的磁盘容错方法 |
-
2009
- 2009-01-09 CN CN2009100281076A patent/CN101478567B/zh not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102436463A (zh) * | 2011-08-31 | 2012-05-02 | 航天恒星科技有限公司 | 一种导航数据转换中内存管理的方法 |
| US8806169B1 (en) | 2013-02-18 | 2014-08-12 | Huawei Technologies Co., Ltd. | Memory management method, memory management apparatus and NUMA system |
| US9026766B2 (en) | 2013-02-18 | 2015-05-05 | Huawei Technologies Co., Ltd. | Memory management method, memory management apparatus and NUMA system |
| CN103488699A (zh) * | 2013-09-04 | 2014-01-01 | 用友软件股份有限公司 | 基于内存数据网格的数据处理装置和方法 |
| CN105610764A (zh) * | 2014-11-10 | 2016-05-25 | 联想(北京)有限公司 | 信息处理方法和电子设备 |
| WO2022021177A1 (zh) * | 2020-07-30 | 2022-02-03 | 华为技术有限公司 | 缓存系统、方法和芯片 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101478567B (zh) | 2011-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101478567B (zh) | 基于网格划分的内存管理方法 | |
| CN104731799B (zh) | 内存数据库管理装置 | |
| CN105574643A (zh) | 一种电网实时数据中心与大数据平台融合方法 | |
| CN103365788B (zh) | 实时闪存转换层使用的自适应局部垃圾回收方法 | |
| CN103914265B (zh) | 集群细粒度内存管理方法 | |
| CN101916296B (zh) | 基于文件的海量数据处理方法 | |
| CN103700041A (zh) | 基于云计算的智能电网负荷预测管理平台 | |
| CN108052634A (zh) | 一种电网生产控制大区与资产管理大区多信息系统的集成方法 | |
| CN103325074B (zh) | 电力系统实时数据处理方法 | |
| CN102855271A (zh) | 一种多版本电网模型的存储与可追溯管理方法 | |
| CN103605727A (zh) | 基于连接池的多用户数据库访问高效率优化方法及架构 | |
| CN105335822B (zh) | 一种面向大数据分析的智能电网统一数据模型建模方法 | |
| CN101944119B (zh) | 一种智能电子设备的实时事件管理方法 | |
| CN101226553A (zh) | 一种嵌入式数据库变长字段存储的实现方法及装置 | |
| CN108848132B (zh) | 一种基于云的配电调度主站系统 | |
| CN101770518A (zh) | 电网企业一体化信息模型元数据管理方法 | |
| CN103677759A (zh) | 一种用于信息系统性能提升的对象化并行计算方法及系统 | |
| CN107273061A (zh) | 一种固态硬盘创建多namespace的方法及系统 | |
| CN101859279A (zh) | 一种内存分配、释放方法及装置 | |
| CN105138286A (zh) | 一种在磁盘文件系统中混合利用ssd和smr硬盘的方法 | |
| CN105162133B (zh) | 地调关口主变无功目标值分配方法 | |
| CN106557427A (zh) | 共享内存数据库的内存管理方法及装置 | |
| CN103617123A (zh) | 一种通过内存块实现内存管理的方法及系统 | |
| CN102982186A (zh) | 基于oracle数据库系统的range分区表的维护方法和系统 | |
| CN100395712C (zh) | 软件系统的资源管理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20110921 |