CN113971091B - 一种考虑制程差异的持久内存的分配方法 - Google Patents

一种考虑制程差异的持久内存的分配方法 Download PDF

Info

Publication number
CN113971091B
CN113971091B CN202111242108.8A CN202111242108A CN113971091B CN 113971091 B CN113971091 B CN 113971091B CN 202111242108 A CN202111242108 A CN 202111242108A CN 113971091 B CN113971091 B CN 113971091B
Authority
CN
China
Prior art keywords
memory
page
batch
bitmap
pages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111242108.8A
Other languages
English (en)
Other versions
CN113971091A (zh
Inventor
陈咸彰
冯筱柳
刘铎
谭玉娟
任骜
汪成亮
乔磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202111242108.8A priority Critical patent/CN113971091B/zh
Publication of CN113971091A publication Critical patent/CN113971091A/zh
Application granted granted Critical
Publication of CN113971091B publication Critical patent/CN113971091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及内存分配技术领域，具体公开了一种考虑制程差异的持久内存的分配方法，包括步骤：将整个持久内存空间划分为大小相等的内存域，同一内存域具有相同的耐久性；结合不同内存域的耐久性，将整个持久内存空间划分为多个批次，不同批次中的页面设置有不同的分配优先级；在每个批次中，将最大可用内存段相同的页面用链表组织在一起成为一个桶，而得到不同的桶；在分配内存时，先分配优先级最高的批次，再在最优适配的桶中分配内存单元。最后将被分配了内存单元的页面放回到合适的批次和桶中。本发明充分考虑了页面之间和页面内部的磨损均衡，能够感知耐久差异，做到每一个页面的内存单元都能够被均匀地磨损，可最大程度地提高PM的使用寿命。

Description

一种考虑制程差异的持久内存的分配方法
技术领域
本发明涉及内存分配技术领域，尤其涉及一种考虑制程差异的持久内存的分配方法。
背景技术
持久内存(Persistent Memory，PM)具有低延迟、高密度、大容量等优点，是动态随机存取存储器(Dynamic Random Access Memory，DRAM)的潜在替代对象。然而，与DRAM相比，PM的寿命远远不及DRAM。同时，PM内存单元具有巨大的制程差异，即电路的变化，例如底部电极接触直径、加热器厚度和存取晶体管长度。因此，持久内存单元的编程电流会发生变化，导致了持久内存单元的耐久性在生产过程中会发生变化，从而产生相对较弱和较强的内存单元，制程差异会带来PM页面间的耐久不均衡，使PM某些内存单元过早老化，导致其寿命更短。
内存分配器主要用于分配物理内存或虚拟内存，其目的在于对内存空间的管理和回收。基于PM耐久低的特性，现有的持久内存分配器会设计磨损均衡机制来延缓PM的老化。但大多数现有的PM内存分配忽略了页内磨损均衡，导致有些内存单元被磨损严重，仍然会减少PM设备的使用寿命。还有的磨损均衡的PM内存分配器不能感知存储单元的耐久差异，其磨损均衡算法并不一定能使其磨损得更均衡。因为不能感知耐久差异的磨损均衡算法可能导致耐久低的内存单元被过度磨损，也会导致PM的使用寿命被明显缩短。
发明内容
本发明提供一种考虑制程差异的持久内存的分配方法，解决的技术问题在于：如何在对持久内存进行内存分配时，克服持久内存的制程差异所带来的耐久不均衡的问题，使得各个内存单元被均匀磨损，以充分延长PM的使用寿命。
为解决以上技术问题，本发明提供一种考虑制程差异的持久内存的分配方法，包括步骤：
S1、将整个持久内存空间划分为大小相等的内存域，同一内存域具有相同的耐久性，而不同内存域具有不同的耐久性；
S2、结合不同内存域的耐久性，将整个持久内存空间根据其磨损情况划分为多个批次，不同批次中的页面根据其与磨损率上界的距离设置有不同的分配优先级；
S3、在每个批次中，将最大可用内存段相同的页面用链表组织在一起成为一个桶，而得到该批次中不同最大可用内存段所对应的不同的桶；
S4、在分配内存单元时，先分配优先级最高的批次，再在最优适配的桶中分配内存单元，最后将被分配了内存单元的页面放回到合适的批次和桶中。
进一步地，在步骤S2中，页面与磨损率上界的距离定义为页面到磨损率上界的可磨损次数wt，计算方式为：
其中，T表示所有页面统一的磨损率上界，Emax和Emin分别表示持久内存空间中耐久最大和最小的内存域的磨损次数的理论上限，Dnum表示内存域的数量，Dx表示该页面所在内存域的序号，C表示该页面的平均磨损次数。
进一步地，在所述步骤S2中，还包括步骤：
为了记录每个批次的情况，用一个指针指向该批次所在的逻辑空间，用第一个变量记录该批次中页面的数量，用第二个变量记录该批次到磨损率上界的可磨损次数下界；可磨损次数下界是批次之间的分界线，意味着该批次中的页面到磨损率上界的可磨损次数要大于其可磨损次数下界，否则将会被放到下一个批次中。
进一步地，在所述步骤S3中，还包括步骤：
S31、将每个批次中的每一个页面划分成64个基本的内存单元，其中最后一个内存单元用于存储该页面的元数据，则每个批次用64个链表组织得到64个桶；
S32、在一个页面的最后一个内存单元中，用第一段内存作为第一个位图Usebitmap记录每个内存单元是否空闲，用第二段内存作为第二个位图Size bitmap记录每次分配出去的内存单元的大小；用第三段内存CFU记录该页面内部空闲的内存单元的总数量，用第四段内存SMS记录最大可用内存段，用第五段内存SFF记录下一个将要分配的内存单元的序号，用第六段内存Pre作为第一个指针用以指向前一个具有相同的最大可用内存段的页面，用第七段内存Next作为第二个指针用以指向后一个具有相同的最大可用内存段的页面。
进一步地，在所述步骤S4中，所述在最优适配的桶中分配空闲页中可以被分配的内存段，具体包括步骤：
S41、在选定的批次中选择最优适配的桶，并判断该桶中是否有空闲页，若是则选择该空闲页，若否则选择该批次中下一个最大可用内存段更大的桶，再重新判断；若该批次中所有的桶都为空，那么配置内存页，再重新判断；如果配置内存页失败，则需要重新进行批次选择，再重新判断；
S42、分配内存单元，得到被分配空间的首地址。
进一步地，在所述步骤S4后还包括步骤：
S5、更新被分配页面的元数据，包括Use bitmap、Size bitmap、CFU、SMS、SFF、Pre和Next；
S6、利用公式(1)重新计算被分配页面的批次并根据更新后的SMS将该被分配页面放到对应的批次和桶中。
进一步地，在步骤S1～S6的分配过程中，整个持久内存空间会老化，随着持久内存空间的老化，磨损率上界则被动态地调整，则所有页面到磨损率上界的可磨损次数被改变，需要重新划分批次；
依据磨损率上界的更新次数N来计算现有的磨损率上界；
依据页面所在内存域的磨损率上界对应的可磨损次数上界和该页面已经被磨损的次数来计算得到该页面的可磨损次数。
进一步地，用大小为8Bytes即64bits的位图Size bitmap来记录整个页面的分配情况，在该位图中，每个bit表示一个内存单元的分配情况，用连续的0或1表示每次被分配出去的内存单元，用连续的0或1的数量n计算此次被分配出去的内存空间大小为n*64Bytes；
记录分配空间的步骤包括：
A1、计算此次分配出去的内存空间对应在Size bitmap中的起始位置和偏移量，这段bits被称为待着色空间；
A2、计算待着色空间的bits对应的着色值，为0或者1，其值和待着色空间的前一个bit值相反；
A3、对待着色空间的bits赋值；如果待着色空间后一位bit值和所赋值的bits值不相同，将后续的bits全部翻转；
在步骤A2中，利用两个辅助数组来得到Size bitmap的着色值，每一个辅助数组中的元素都是大小为64bits的0和1向量，第一个辅助数组aleft存储了值为1的下三角矩阵，第二个辅助数组aright存储了值为1的上三角矩阵；
在步骤A3中，
如果需要执行将第i到第j个bits置1的操作，首先计算该操作的掩码：aleft[j+1]&aright[i]，接着与Size bitmap做或运算；
如果需要执行将第i到第j个bits置0的操作，首先计算该操作的掩码：aleft[i]|aright[j+1]，接着与Size bitmap做与运算；
如果需要执行将第j个bit后的bits翻转的操作，则首先计算翻转部分的掩码：～size_bitmap&aright[j+1]，接着保留原来部分的掩码：size_bitmap&aleft[j+1]，最后将这两个掩码做或运算。
进一步地，当且仅当桶k中页面的平均空闲单元数TFk.avg超过桶的序号k，即TFk.avg>k时，采用一个守护线程对桶进行改造，具体包括步骤：
B1、守护线程计算桶k的TFk.avg：
其中，NPk为桶k中的总页数，CFU(Pq)表示第q页Pq的空闲单元数；
B2、如果TFk.avg>k，计算桶k中的每个页面的最大空闲段，页面中的元数据SMS和CFU将根据最大空闲段进行重置；
B3、根据其元数据SMS将改造后的页面添加到桶中；
B4、该线程将每个桶的数据持久化；
将位图Use bitmap分成包含以下三个部分的n个位图片段：
左边部分：从位图片段的第一个位开始的最大空闲段，第i个位图片段的左边部分的大小用Si.left来表示；
右边部分：在位图片段的最后一位结束的最大空闲段，第i个位图片段的右边部分的大小用Si.right表示，如果左边部分在片段的最后一位结束，Si.right＝0；
中间部分：左边部分和右边部分之间的最大空闲段，第i个位图片段的中间部分的大小用Si.mid来表示，如果在左边部分和右边部分之间没有超过一个空闲内存单元，Si.mid＝0；
则在步骤B2中，计算最大空闲段的步骤包括：
B21、寻找完全空闲的位图片段；
B22、确定从位图片段i开始的最大空闲段的大小为Max{Si.left,Si.mid,Si.right+(j-i-1)*Sslice+Sj.left}，Sslice表示位图片段的大小，Sj.left表示结束位图片段j的左边部分。
进一步地，当达到以下条件之一时，触发对批次的改造：
条件1：P1＝0；
条件2：P1<＝x且P1的值在r个连续分配请求后依然保持不变；
条件3：P1>x且P2＝0，或者P2<＝x并且P2在r个连续分配请求后保持不变；
P1和P2分别是优先级最高的批次和优先级第二高的批次的页面数量，x为该批次中初始页面数量的1％，r为256；
对批次的改造操作包括：
设置一个滑动的窗口，当窗口滑动的时候，当前优先级最高的批次会被抛弃，该批次中的页面会被放入下一批次，当前优先级次高的批次成为新的优先级最高的批次，最后，在这些批次底部增加一个新批次，并计算出相应的新边界；
随着批次的不断改造，批次的可磨损次数将接近磨损率上界T，这将导致T被更新以适应PM的老化，计算T的方程式如下：
其中，α为比例因子，N为T的更新次数；在初始时刻将T设为0.01％；
随着T的更新，批次到T的可磨损次数上界也将被改变，使用到T的可磨损次数的最大增量emax来计算新边界，其计算式如下：
emax＝(T-T′)×Emax (4)
其中T'是更新前的磨损率上界，当第一次计算T时，T'为0。
本发明提供的一种考虑制程差异的持久内存的分配方法，其效果在于：
1、针对页面之间存在的制程差异，采用了基于优先级的动态磨损均衡策略(步骤S1、S2、S4)，首先针对所有页面，设置一个统一的磨损率上界；然后，根据PM中的页面与磨损率上界的距离，将整个内存空间分成不同的批次，不同批次设置有不同的分配优先级；然后，优先级最高的页面总是被先分配；最后，随着PM的老化，批次和磨损率上界会被不断更新，确保页面之间的磨损率均衡(磨损率是现有磨损次数和理论磨损次数上限的比值)；
2、针对页面内部的磨损不均衡，本发明对页内空间做了细粒度的空间管理和分配策略，以一种循环的最优适应策略来分配内存单元(步骤S3、S4)。首先，用最大可用内存段来组织内存页，用链表将最大可用内存段相同的页链接起来，然后从最优适应链表里选择页面分配。随着不断的分配释放，更新页内的最大连续内存单元，将其放到合适的链表中。以这样的方式，同一个页面内部的内存单元能够被均匀地磨损；
3、充分考虑了页面之间和页面内部的磨损均衡，能够感知耐久差异，减少耐久低的内存单元的磨损，增大耐久度高的内存单元的磨损，做到每一个页面的内存单元都能够被均匀地磨损，可最大程度地提高PM的使用寿命。
附图说明
图1是本发明实施例提供的一种考虑制程差异的持久内存的分配方法的步骤流程图；
图2是本发明实施例提供的内存空间的总体结构图；
图3是本发明实施例提供的页面的组织结构图；
图4是本发明实施例提供的内存分配的流程图；
图5是本发明实施例提供的Size bitmap的示例图；
图6是本发明实施例提供的辅助数组的展示图；
图7是本发明实施例提供的滑动窗口策略的处理过程图。
具体实施方式
下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
为了克服制程差异所带来的磨损不均衡的问题，本发明实施例提供一种考虑制程差异的持久内存的分配方法，如图1所示，包括步骤S1～S4：
S1、将整个持久内存空间划分为大小相等的内存域，同一内存域具有相同的耐久性，而不同内存域具有不同的耐久性。
内存域的耐久性分布可以用线性函数近似拟合得到。Emax和Emin分别表示持久内存空间中耐久最大和最小的内存域的磨损次数的理论上限，Dnum表示内存域的数量，Dx(x＝1,2,…,Dnum)表示该页面所在内存域的序号。
S2、结合不同内存域的耐久性，将整个持久内存空间根据其磨损情况划分为多个批次，不同批次中的页面根据其与磨损率上界的距离设置有不同的分配优先级。
这里，页面与磨损率上界的距离定义为页面到磨损率上界的可磨损次数wt，计算方式为：
其中，T表示所有页面统一的磨损率上界，C表示该页面的平均磨损次数。
如图2所示，整个内存空间根据其磨损情况被划分为n个批次(Batch cache0～Batch cache n-1，保存批次的缓存元数据在DRAM中)，在每个批次的元数据中，用一个指针(B-pointer)指向该批次所在的逻辑空间，用第一个变量(B-counts)记录该批次中页面的数量，用第二个变量(Boundary)记录该批次到磨损率上界T的可磨损次数下界；可磨损次数下界是批次之间的分界线，意味着该批次中的页面到磨损率上界的可磨损次数要大于其可磨损次数下界，否则将会被放到下一个批次中。批次的分配优先级在图2中从上到下依次下降。批次的这些元数据都会被持久化到PM的Batch metadata区域中。
随着PM的老化，T会被动态调整。本发明通过记录T的更新次数N来计算现有T值，其被存放在PM的元数据区域。动态调整T会导致所有页面的到T的可磨损次数被改变，所以本例用页面所在内存域的T值对应的磨损次数(近似该页面T值对应的磨损次数)和该页面已经被磨损的次数来计算得到。在图2中，内存域的T值对应的磨损次数用Maximum weartimes表示，每个页面的磨损次数被持久化到元数据Wear counts区域，都被持久化到PM中。
S3、在每个批次中，将最大可用内存段相同的页面用链表组织在一起成为一个桶，而得到该批次中不同最大可用内存段所对应的不同的桶。
对于页面内部的管理，如图3所示，本例具体设有步骤：
S31、将一个页划分成64个基本的内存单元，页面中的最后的一个单元用于存储页面的元数据，则每个批次用64个链表组织得到64个桶；
S32、在页面元数据的管理下，在一个页面的最后一个内存单元中，用第一段内存作为第一个位图Use bitmap(8Bytes)记录每个内存单元是否空闲，用第二段内存作为第二个位图Size bitmap(8Bytes)记录每次分配出去的内存单元的大小；用第三段内存CFU(1Byte)记录该页面内部空闲的内存单元的总数量，用第四段内存SMS记录最大可用内存段(即：最大的连续空闲内存单元)，用第五段内存SFF记录下一个将要分配的内存单元的序号，用第六段内存Pre作为第一个指针用以指向前一个具有相同的最大可用内存段的页面，用第七段内存Next作为第二个指针用以指向后一个具有相同的最大可用内存段的页面，Reserved space表示剩余空间。
页内的内存单元的分配是循环分配的，每次从最大空闲内存段里分配。所以内存段的大小从0到63，分别表示页满和页空的两种状态。为了迅速进行内存分配，这些页根据最大连续空闲内存单元被划分成不同的链表。其链表结构如图2右上角的链表所示，每个批次用64个链表组织。
S4、在分配内存单元时，先分配优先级最高的批次，再在最优适配的桶中分配空闲页中可以被分配的内存段，最后将被分配了内存单元的页面放回到合适的批次和桶中。
针对页面内部磨损均衡，本例设计了顺时针最优适应的分配策略(按顺时针的方式循环搜索最大内存段，在最优适配的桶中分配空闲页中可以被分配的内存段)，具体包括步骤：
S41、在选定的批次中选择最优适配的桶，并判断该桶中是否有空闲页，若是则选择该空闲页，若否则选择该批次中下一个最大可用内存段更大的桶，再重新判断；若该批次中所有的桶都为空，那么配置内存页，再重新判断；如果配置内存页失败，则需要重新进行批次选择，再重新判断；
S42、分配内存单元，得到被分配空间的首地址。
页面内部的可用内存单元是按顺时针的方式循环搜索的，最大可用内存段相同的页面被链表组织在一起，被称作不同的“桶”。所以，本例首先计算分配请求需要的内存段的大小。然后，尝试从最优适应的“桶”(也就是图2中右边的链表)中找到可以被分配的内存段。当该最优适应的桶为空时，则从更大的桶中搜寻。当找到满足条件的内存段之后，分配空间并更新相应的元数据。整体的内存分配流程如图4所示。
S5、更新被分配页面的元数据，包括Use bitmap、Size bitmap、CFU、SMS、SFF、Pre和Next。
S6、利用公式(1)重新计算被分配页面的批次并根据更新后的SMS将该被分配页面放到对应的批次和桶中。
S7、对内存进行回收。该步骤主要包括步骤：
S71、通过回收内存的地址，找到相应的页面元数据；
S72、计算应该回收的内存单元大小；
S73、更新DRAM中相应的页面元数据，包括记录内存单元是否空闲的位图Usebitmap和页面空闲单元的数量CFU。
为了记录分配空间的大小，本例提出了位图着色算法。这个算法用大小为8Bytes(64bits)的位图(Size bitmap)来记录整个页面的分配情况。在该位图中，每个bit表示一个内存单元的分配情况，用连续的0或1表示每次被分配出去的内存单元，用连续的0或1的数量n来计算此次被分配出去的内存空间大小为n*64Bytes。如图5所示的示例，最开始的连续4个1表示被分配出去的空间大小为4*64Bytes，之后的3个连续的0表示另外一次被分配出去的空间大小为3*64Bytes。该位图着色算法记录分配空间的步骤包括：
A1、计算此次分配出去的内存空间对应在Size bitmap中的起始位置和偏移量，这段bits被称为待着色空间；
A2、计算待着色空间的bits对应的着色值，为0或者1，其值和待着色空间的前一个bit值相反；
A3、对待着色空间的bits赋值；如果待着色空间后一位bit值和赋值的bits值不相同，将后续的bits全部翻转。
为了加快计算速度，本例利用两个辅助数组来得到Size bitmap的着色值。每一个数组中的元素都是大小为64bits的0和1向量。具体的，如图6所示，第一个辅助数组aleft存储了值为1的下三角矩阵，第二个辅助数组aright存储了值为1的上三角矩阵。
在步骤A3中，如果需要执行将第i到第j个bits置1的操作，首先计算该操作的掩码：aleft[j+1]&aright[i]，接着与Size bitmap做或运算；
如果需要执行将第i到第j个bits置0的操作，首先计算该操作的掩码：aleft[i]|aright[j+1]，接着与Size bitmap做与运算；
如果需要执行将第j个bit后的bits翻转的操作，则首先计算翻转部分的掩码：～size_bitmap&aright[j+1]，接着保留原来部分的掩码：size_bitmap&aleft[j+1]，最后将这两个掩码做或运算。
例如，内存单元9-13需要被赋值为1，那么首先利用逻辑运算aleft[13]&aright[9]得到9-13位bits值为1的掩码。然后对size bitmap和掩码进行按位或操作，就得到了记录了此次分配空间大小的size bitmap。同样的，最后一步后续bits翻转操作也被优化。这样，该算法的时间复杂度为O(1)。
在执行了大量的空间分配和回收操作后，本例提出内存改造操作来整理桶和批次。改造桶的目的是为页面找到最大的空闲段，并将页面放到恰当的桶中。改造批次的目的是为了更新T以适应PM的老化，并调整批次以保持磨损均衡策略的有效性。
当且仅当桶k中页面的平均空闲单元数TFk.avg超过桶的序号k，即TFk.avg>k时，采用一个守护线程对桶进行改造，具体包括步骤：
B1、守护线程计算桶k的TFk.avg：
其中，NPk为桶k中的总页数，CFU(Pq)表示第q页Pq的空闲单元数；
B2、如果TFk.avg>k，计算桶k中的每个页面的最大空闲段，页面中的元数据SMS和CFU将根据最大空闲段进行重置；
B3、根据其元数据SMS将改造后的页面添加到桶中；
B4、该线程将每个桶的数据持久化。
桶改造操作后，元数据缓存被备份到PM中对应的页面的元数据中。在步骤B2中，有必要迅速找出最大空闲段。因此，本例提出了一个DMA(Divide-and-Matching Algorithm)算法来有效地获得最大空闲段。该算法的主要思想是基于分治思想和缓存状态。该算法中，空间使用位图(Use bitmap)被分成包含了以下三个部分的n个位图片段：
左边部分：从位图片段的第一个位开始的最大空闲段，第i个位图片段的左边部分的大小用Si.left来表示；
右边部分：在位图片段的最后一位结束的最大空闲段，第i个位图片段的右边部分的大小用Si.right表示，如果左边部分在片段的最后一位结束，Si.right＝0；
中间部分：左边部分和右边部分之间的最大空闲段，第i个位图片段的中间部分的大小用Si.mid来表示，如果在左边部分和右边部分之间没有超过一个空闲内存单元，Si.mid＝0。
则在步骤B2中，计算最大空闲段的步骤包括：
B21、寻找完全空闲的位图片段；
B22、确定从位图片段i开始的最大空闲段的大小为Max{Si.left,Si.mid,Si.right+(j-i-1)*Sslice+Sj.left}(即确定为Si.left、Si.mid、Si.right+(j-i-1)*Sslice+Sj.left三个值中最大的那个)，Sslice表示位图片段的大小。
在步骤B22中，如果当前位图片段是完全空闲的，最大空闲段必须包括后续所有完全空闲的片段[Si.right+(j-i-1)*Sslice]和结束位图片段的左边部分(Sj.left)。假设当前图片片段不是完全空闲的，位图片段的所有部分都可能是最大部分。然而，右边部分可能与后续片段的左边部分接壤。因此，从片断i开始的最大段的大小为Max{Si.left,Si.mid,Si.right+(j-i-1)*Sslice+Sj.left}。
最后，必要时更新SMS和SFF。
为了提高DMA算法的效率，本例用空间换时间的思想计算每个位图片段的空闲比特。首先，本例构建了一个辅助数组来存储位图片段的所有可能状态，包括每个位图片段的左边部分，右边部分和中间部分的大小。所以，只需查询存储在辅助数组中的相应状态，就可以在O(1)时间内得到Si.left、Si.mid和Si.right。在实现上，本例将8字节的位图被分为4*2字节的位图片段。每个2字节的位图片段可以被看作是一个从0到65535的整数范围。本例构建了一个辅助数组来存储所有65536个比特片段的状态，包括每个比特片段的三个部分的大小。每个部分的大小最多可以用4比特表示，因为一个片段的长度是16比特。
随着内存分配请求不断发生，优先级最高的批次中的页面会由于被磨损而被放入后续批次中，所以优先级高的批次中页面会越来越少。为了调整批次以保持磨损均衡策略的有效性，需要对批次进行改造。然而，一些应用场景会导致优先级高的批次中页面数量不均匀下降。因此，这里总结了批处理操作的触发条件：
条件1：P1＝0；
条件2：P1<＝x且P1的值在r个连续分配请求后依然保持不变；
条件3：P1>x且P2＝0，或者P2<＝x并且P2在r个连续分配请求后保持不变。
当达到以上条件之一时，触发对批次的改造。其中，P1和P2分别是优先级最高的批次和优先级第二高的批次的页面数量，x为该批次中初始页面数量的1％，r为256，是一个页面的基本内存单元数量的4倍。也就是说，批次改造触发的条件为：优先级最高的批次中的页面很少或者其页面长时间保持不变。
本例使用滑动窗口策略来进行批次改造。具体的改造操作包括：设置一个滑动的窗口，当窗口滑动的时候，当前优先级最高的批次会被抛弃，该批次中的页面会被放入下一批次，当前优先级次高的批次成为新的优先级最高的批次，最后，在这些批次底部增加一个新批次，并计算出相应的新边界。举例如图7所示，该窗口包含每一个批次的到T的可磨损次数边界，分别由B0到Bn-1表示。当滑动窗口后，第0批(也就是优先级最高的批次)的页面被搬移到了下一批次。然后，下一个批次成为新的优先级最高的批次。最后，在这些批次底部增加一个新批次，并计算出相应的新边界。新的第0批到第n-1批的边界变成了B'0到B'n-1，如图7右侧所示。通过批次改造操作，这些页面可以继续按照磨损情况进行划分，距离磨损率上界T较远的页面将被首先分配。
随着批次的不断改造，批次的可磨损次数将接近磨损率的上限T，这将导致T被更新以适应PM的老化。初始阶段，本例采用宽松的磨损均衡策略，T的增量最为明显。随着PM的老化，逐渐收紧磨损均衡策略，T的增长也逐渐放缓。考虑到T的上升趋势，本例调整sigmoid函数，将x轴的正半轴对应的y值缩放到0到1之间，计算T的方程式如(3)：
其中，α为比例因子，N是更新T的次数。为了防止磨损耐久差的内存域过早老化，本例通过在初始时刻将T设为0.01％对页面的磨损次数进行精细控制，并把α设置为5000。随着T的更新，批次的到T的可磨损次数上界也将被改变。本例使用到T的可磨损次数的最大增量(用emax表示)来计算新边界，其计算式如下：
emax＝(T-T′)×Emax (4)
其中T'是更新前的磨损率上界，当第一次计算T时，T'为0。
总之，边界更新包括两种情况：第一种是通常情况下的批次改造，不会更新T，另一种情况是批次和T一起更新。第一种情况只需要在添加新批次时计算其到T的可磨损次数边界B(i)，其计算式如下：
B(i)＝B(i-1)×(1-t) (5)
其中，t是预设的边界下降率，B(i-1)是上一批次的边界。在初始化批次时，边界的计算方法如公式(6)：
其中emax是由公式(4)计算的到T的可磨损次数的最大增量。同样地，emin是到T的可磨损次数的最小增量，n是批次的数量。本例将B(-1)的大小定义为emax来计算第一批的边界。
然而，如果由公式(5)计算的新边界B(i)接近T，批次边界将随着T的更新而更新，以避免页面的磨损率超过T。在这种情况下，本例首先通过公式(3)调整阈值T。然后，按以下方式更新所有批次的边界。
B(i)＝emax+B(i)′ (7)
其中，B(i)′是更新前的到T的可磨损次数的边界。
本发明实施例提供的一种考虑制程差异的持久内存的分配方法，其效果在于：
1、针对页面之间存在的制程差异，采用了基于优先级的动态磨损均衡策略(步骤S1、S2、S4)，首先针对所有页面，设置一个统一的磨损率上界；然后，根据PM中的页面与磨损率上界的距离，将整个内存空间分成不同的批次，不同批次设置有不同的分配优先级；然后，优先级最高的页面总是被先分配；最后，随着PM的老化，批次和磨损率上界会被不断更新，确保页面之间的磨损率均衡(磨损率是现有磨损次数和理论磨损次数上限的比值)；
2、针对页面内部的磨损不均衡，本发明对页内空间做了细粒度的空间管理和分配策略，以一种循环的最优适应策略来分配内存单元(步骤S3、S4)。首先，用最大可用内存段来组织内存页，用链表将最大可用内存段相同的页链接起来，然后从最优适应链表里选择页面分配。随着不断的分配释放，更新页内的最大连续内存单元，将其放到合适的链表中。以这样的方式，同一个页面内部的内存单元能够被均匀地磨损；
3、在执行了大量的空间分配和回收操作后，提出内存改造操作来整理桶和批次。改造桶的目的是为页面找到最大的空闲段，并将页面放到恰当的桶中。改造批次的目的是为了更新T以适应PM的老化，并调整批次以保持磨损军均衡策略的有效性；
4、充分考虑了页面之间和页面内部的磨损均衡，能够感知耐久差异，减少耐久低的内存单元的磨损，增大耐久度高的内存单元的磨损，做到每一个页面的内存单元都能够被均匀地磨损，可最大程度地提高PM的使用寿命。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种考虑制程差异的持久内存的分配方法，其特征在于，包括步骤：
S1、将整个持久内存空间划分为大小相等的内存域，同一内存域具有相同的耐久性，而不同内存域具有不同的耐久性；
S2、结合不同内存域的耐久性，将整个持久内存空间根据其磨损情况划分为多个批次，不同批次中的页面根据其与磨损率上界的距离设置有不同的分配优先级；在步骤S2中，页面与磨损率上界的距离定义为页面到磨损率上界的可磨损次数wt，计算方式为：
其中，T表示所有页面统一的磨损率上界，Emax和Emin分别表示持久内存空间中耐久最大和最小的内存域的磨损次数的理论上限，Dnum表示内存域的数量，Dx表示该页面所在内存域的序号，C表示该页面的平均磨损次数；
S3、在每个批次中，将最大可用内存段相同的页面用链表组织在一起成为一个桶，而得到该批次中不同最大可用内存段所对应的不同的桶；
S4、在分配内存单元时，先分配优先级最高的批次，再在最优适配的桶中分配内存单元，最后将被分配了内存单元的页面放回到合适的批次和桶中；
在所述步骤S4中，所述在最优适配的桶中分配内存单元，具体包括步骤：
S41、在选定的批次中选择最优适配的桶，并判断该桶中是否有空闲页，若是则选择该空闲页，若否则选择该批次中下一个最大可用内存段更大的桶，再重新判断；若该批次中所有的桶都为空，那么配置内存页，再重新判断；如果配置内存页失败，则需要重新进行批次选择，再重新判断；
S42、分配内存单元，得到被分配空间的首地址；
在所述步骤S4后还包括步骤：
S5、更新被分配页面的元数据，包括Use bitmap、Size bitmap、CFU、SMS、SFF、Pre和Next，Use bitmap、Size bitmap、CFU、SMS、SFF、Pre和Next分别是一个页面的最后一个内存单元中的第一段至第七段内存，第一个位图Use bitmap记录每个内存单元是否空闲，第二个位图Size bitmap记录每次分配出去的内存单元的大小，CFU记录该页面内部空闲的内存单元的总数量，SMS记录最大可用内存段，SFF记录下一个将要分配的内存单元的序号，Pre作为第一个指针用以指向前一个具有相同的最大可用内存段的页面，Next作为第二个指针用以指向后一个具有相同的最大可用内存段的页面；
S6、利用公式(1)重新计算被分配页面的批次并根据更新后的SMS将该被分配页面放到对应的批次和桶中。
2.根据权利要求1所述的一种考虑制程差异的持久内存的分配方法，其特征在于，在所述步骤S2中，还包括步骤：
为了记录每个批次的情况，有相应空间用于保存变量，用一个指针指向该批次所在的逻辑空间，用第一个变量记录该批次中页面的数量，用第二个变量记录该批次到磨损率上界的可磨损次数下界；可磨损次数下界是批次之间的分界线，意味着该批次中的页面到磨损率上界的可磨损次数要大于其可磨损次数下界，否则将会被放到下一个批次中。
3.根据权利要求2所述的一种考虑制程差异的持久内存的分配方法，其特征在于，在所述步骤S3中，还包括步骤：
S31、将每个批次中的每一个页面划分成64个基本的内存单元，其中最后一个内存单元用于存储该页面的元数据，则每个批次用64个链表组织得到64个桶；
S32、在一个页面的最后一个内存单元中，划分七段内存依次作为Use bitmap、Sizebitmap、CFU、SMS、SFF、Pre和Next。
4.根据权利要求1所述的一种考虑制程差异的持久内存的分配方法，其特征在于，在步骤S1～S6的分配过程中，整个持久内存空间会老化，随着持久内存空间的老化，磨损率上界则被动态地调整，则所有页面到磨损率上界的可磨损次数被改变，需要重新划分批次；
依据磨损率上界的更新次数N来计算现有的磨损率上界；
依据页面所在内存域的磨损率上界对应的可磨损次数上界和该页面已经被磨损的次数来计算得到该页面的可磨损次数。
5.根据权利要求4所述的一种考虑制程差异的持久内存的分配方法，其特征在于：
用大小为8Bytes即64bits的位图Size bitmap来记录整个页面的分配情况，在该位图中，每个bit表示一个内存单元的分配情况，用连续的0或1表示每次被分配出去的内存单元，用连续的0或1的数量n计算此次被分配出去的内存空间大小为n*64Bytes；
记录分配空间的步骤包括：
A1、计算此次分配出去的内存空间对应在Size bitmap中的起始位置和偏移量，这段bits被称为待着色空间；
A2、计算待着色空间的bits对应的着色值，为0或者1，其值和待着色空间的前一个bit值相反；
A3、对待着色空间的bits赋值；如果待着色空间后一位bit值和所赋值的bits值不相同，将后续的bits全部翻转；
在步骤A2中，利用两个辅助数组来得到Size bitmap的着色值，每一个辅助数组中的元素都是大小为64bits的0和1向量，第一个辅助数组aleft存储了值为1的下三角矩阵，第二个辅助数组aright存储了值为1的上三角矩阵；
在步骤A3中，
如果需要执行将第i到第j个bits置1的操作，首先计算该操作的掩码：aleft[j+1]&aright[i]，接着与Size bitmap做或运算；
如果需要执行将第i到第j个bits置0的操作，首先计算该操作的掩码：aleft[i]|aright[j+1]，接着与Size bitmap做与运算；
如果需要执行将第j个bit后的bits翻转的操作，则首先计算翻转部分的掩码：～size_bitmap&aright[j+1]，接着保留原来部分的掩码：size_bitmap&aleft[j+1]，最后将这两个掩码做或运算。
6.根据权利要求5所述的一种考虑制程差异的持久内存的分配方法，其特征在于，当且仅当桶k中页面的平均空闲单元数TFk.avg超过桶的序号k，即TFk.avg>k时，采用一个守护线程对桶进行改造，具体包括步骤：
B1、守护线程计算桶k的TFk.avg：
其中，NPk为桶k中的总页数，CFU(Pq)表示第q页Pq的空闲单元数；
B2、如果TFk.avg>k，计算桶k中的每个页面的最大空闲段，页面中的元数据SMS和CFU将根据最大空闲段进行重置；
B3、根据其元数据SMS将改造后的页面添加到桶中；
B4、该线程将每个桶的数据持久化；
将位图Use bitmap分成包含以下三个部分的n个位图片段：
左边部分：从位图片段的第一个位开始的最大空闲段，第i个位图片段的左边部分的大小用Si.left来表示；
右边部分：在位图片段的最后一位结束的最大空闲段，第i个位图片段的右边部分的大小用Si.right表示，如果左边部分在片段的最后一位结束，Si.right＝0；
中间部分：左边部分和右边部分之间的最大空闲段，第i个位图片段的中间部分的大小用Si.mid来表示，如果在左边部分和右边部分之间没有超过一个空闲内存单元，Si.mid＝0；
则在步骤B2中，计算最大空闲段的步骤包括：
B21、寻找完全空闲的位图片段；
B22、确定从位图片段i开始的最大空闲段的大小为Max{Si.left,Si.mid,Si.right+(j-i-1)*Sslice+Sj.left}，Sslice表示位图片段的大小，Sj.left表示结束位图片段j的左边部分。
7.根据权利要求5所述的一种考虑制程差异的持久内存的分配方法，其特征在于，当达到以下条件之一时，触发对批次的改造：
条件1：P1＝0；
条件2：P1<＝x且P1的值在r个连续分配请求后依然保持不变；
条件3：P1>x且P2＝0，或者P2<＝x并且P2在r个连续分配请求后保持不变；
P1和P2分别是优先级最高的批次和优先级第二高的批次的页面数量，x为该批次中初始页面数量的1％，r为256；
对批次的改造操作包括：
设置一个滑动的窗口，当窗口滑动的时候，当前优先级最高的批次会被抛弃，该批次中的页面会被放入下一批次，当前优先级次高的批次成为新的优先级最高的批次，最后，在这些批次底部增加一个新批次，并计算出相应的新边界；
随着批次的不断改造，批次的可磨损次数将接近磨损率上界T，这将导致T被更新以适应PM的老化，计算T的方程式如下：
其中，α为比例因子，N为T的更新次数；在初始时刻将T设为0.01％；
随着T的更新，批次到T的可磨损次数上界也将被改变，使用到T的可磨损次数的最大增量emax来计算新边界，其计算式如下：
emax＝(T-T′)×Emax (4)
其中T'是更新前的磨损率上界，当第一次计算T时，T'为0。
CN202111242108.8A 2021-10-25 2021-10-25 一种考虑制程差异的持久内存的分配方法 Active CN113971091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111242108.8A CN113971091B (zh) 2021-10-25 2021-10-25 一种考虑制程差异的持久内存的分配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111242108.8A CN113971091B (zh) 2021-10-25 2021-10-25 一种考虑制程差异的持久内存的分配方法

Publications (2)

Publication Number Publication Date
CN113971091A CN113971091A (zh) 2022-01-25
CN113971091B true CN113971091B (zh) 2024-05-14

Family

ID=79588263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111242108.8A Active CN113971091B (zh) 2021-10-25 2021-10-25 一种考虑制程差异的持久内存的分配方法

Country Status (1)

Country Link
CN (1) CN113971091B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105988875A (zh) * 2015-03-04 2016-10-05 华为技术有限公司 一种运行进程的方法及装置
CN108038002A (zh) * 2017-12-15 2018-05-15 天津津航计算技术研究所 一种嵌入式软件内存管理方法
CN109426449A (zh) * 2017-09-04 2019-03-05 爱思开海力士有限公司 存储器系统及其操作方法
CN109508142A (zh) * 2017-09-14 2019-03-22 爱思开海力士有限公司 数据存储装置及其操作方法
CN111597125A (zh) * 2020-05-09 2020-08-28 重庆大学 一种非易失内存文件系统索引节点的磨损均衡方法及系统
CN112231244A (zh) * 2020-12-21 2021-01-15 深圳杰睿联科技有限公司 应用于SoftSIM的SIM卡文件擦写系统、方法和可读存储介质
CN112988387A (zh) * 2017-08-24 2021-06-18 华为技术有限公司 一种内存页管理方法及计算设备
CN113010290A (zh) * 2021-03-18 2021-06-22 山东英信计算机技术有限公司 一种任务管理方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021043678A (ja) * 2019-09-10 2021-03-18 キオクシア株式会社 メモリシステム及び方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105988875A (zh) * 2015-03-04 2016-10-05 华为技术有限公司 一种运行进程的方法及装置
CN112988387A (zh) * 2017-08-24 2021-06-18 华为技术有限公司 一种内存页管理方法及计算设备
CN109426449A (zh) * 2017-09-04 2019-03-05 爱思开海力士有限公司 存储器系统及其操作方法
CN109508142A (zh) * 2017-09-14 2019-03-22 爱思开海力士有限公司 数据存储装置及其操作方法
CN108038002A (zh) * 2017-12-15 2018-05-15 天津津航计算技术研究所 一种嵌入式软件内存管理方法
CN111597125A (zh) * 2020-05-09 2020-08-28 重庆大学 一种非易失内存文件系统索引节点的磨损均衡方法及系统
CN112231244A (zh) * 2020-12-21 2021-01-15 深圳杰睿联科技有限公司 应用于SoftSIM的SIM卡文件擦写系统、方法和可读存储介质
CN113010290A (zh) * 2021-03-18 2021-06-22 山东英信计算机技术有限公司 一种任务管理方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Efficient Warranty-Aware Wear Leveling for Embedded Systems With PCM Main Memory";Sheng-Wei Cheng;《IEEE Transactions on Very Large Scale Integration (VLSI) Systems》;20160731;第24卷(第7期);第2535-2547页 *
"制程差异感知的细粒度持久内存分配器研究";冯筱柳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20231215(第2023年12期);第I137-82页 *
"基于开放通道固态硬盘的内存数据库持久化优化研究";殷聪敏;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200315(第2020年03期);第I137-115页 *

Also Published As

Publication number Publication date
CN113971091A (zh) 2022-01-25

Similar Documents

Publication Publication Date Title
JP6995723B2 (ja) メモリシステム、ストレージシステム、および制御方法
US20240319924A1 (en) Memory system and control method
US5930193A (en) Memory system using a flash memory and method of controlling the memory system
US10310747B2 (en) Memory management device and method
KR102043886B1 (ko) 프로파일링 캐시 대체
US9176862B2 (en) SLC-MLC wear balancing
US8214582B2 (en) Non-volatile memory system storing data in single-level cell or multi-level cell according to data characteristics
US9201786B2 (en) Memory controller and memory system
EP2441004B1 (en) Memory system having persistent garbage collection
US20130097387A1 (en) Memory-based apparatus and method
US20170242583A1 (en) Memory device having a translation layer with multiple associative sectors
US20130297853A1 (en) Selective write-once-memory encoding in a flash based disk cache memory
KR20050079576A (ko) 플래시 메모리의 재사상 방법
TW201915747A (zh) 記憶體系統及控制非揮發性記憶體之控制方法
CN110413537B (zh) 一种面向混合固态硬盘的闪存转换层及转换方法
EP2939100A2 (en) Method and system for asynchronous die operations in a non-volatile memory
US10162554B2 (en) System and method for controlling a programmable deduplication ratio for a memory system
WO2012158455A1 (en) Fast translation indicator to reduce secondary address table checks in a memory device
US20130311724A1 (en) Cache system with biased cache line replacement policy and method therefor
CN111580754B (zh) 一种写友好的闪存固态盘缓存管理方法
CN109542354A (zh) 一种基于擦除上限的磨损均衡方法、装置及设备
CN113590045B (zh) 数据分层式存储方法、装置及存储介质
JP3989312B2 (ja) キャッシュメモリ装置およびメモリ割付方法
CN113971091B (zh) 一种考虑制程差异的持久内存的分配方法
US10877698B2 (en) Semiconductor device for managing cold addresses of nonvolatile memory device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant