CN111158600A - 一种提升高带宽存储器（hbm）访问效率的装置和方法 - Google Patents

一种提升高带宽存储器（hbm）访问效率的装置和方法 Download PDF

Info

Publication number
CN111158600A
CN111158600A CN201911393975.4A CN201911393975A CN111158600A CN 111158600 A CN111158600 A CN 111158600A CN 201911393975 A CN201911393975 A CN 201911393975A CN 111158600 A CN111158600 A CN 111158600A
Authority
CN
China
Prior art keywords
memory
access
storage
channel
bandwidth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911393975.4A
Other languages
English (en)
Other versions
CN111158600B (zh
Inventor
王耀华
唐冬灯
刘胜
郭阳
鲁建壮
陈小文
金志成
刘仲
陈海燕
李勇
雷元武
孙书为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201911393975.4A priority Critical patent/CN111158600B/zh
Publication of CN111158600A publication Critical patent/CN111158600A/zh
Application granted granted Critical
Publication of CN111158600B publication Critical patent/CN111158600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种提升高带宽存储器（HBM）访问效率的装置和方法，方法实施步骤包括统计高带宽存储器不同存储通道的访问量，按照访问量大小对存储通道排序，通过存储地址的重映射把访问量较大的存储通道地址映射到高带宽存储器较低的存储层上；装置包括存储通道访问统计模块、访问量排序模块、重映射模块；存储控制器包括存储器本体以及前述装置；存储器包括带有存储控制器的存储器本体及前述存储控制器；计算机装置包括带有存储器的计算机装置本体以及前述存储器。本发明能够有效利用高带宽存储器中不同存储层延迟不均衡性、充分开发利用低存储层的低延迟特性提升高带宽存储器整体的访问效率，具有实现简单、操作方便、运行高效的优点。

Description

一种提升高带宽存储器（HBM）访问效率的装置和方法
技术领域
本发明涉及处理器领域，具体涉及一种提升高带宽存储器（HBM）访问效率的装置和方法，用于提升处理器中降低高带宽存储器（HBM）的访问延迟。
背景技术
随着处理器的不断发展，存储器的带宽成为处理器整体性能的关键限制因素。高带宽存储器（High Bandwidth Memory HBM）采用3D堆叠存储层的方式极大的提升了存储系统的带宽，逐渐成为高性能处理器的主流存储技术。3D堆叠存储层的结构在带来存储带宽提升的同时，也引入了不同存储层的访问延迟不均衡的特性。在HBM中不同的存储通道映射到不同的存储层中，从最底层到最高层存储，随着与运算逻辑距离的逐渐增大，访存延迟也逐渐增加。一直以来，业界都缺乏对上述不同存储层间访问延迟不均衡性的有效开发，无法充分发挥高带宽存储器的潜在效率。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种提升高带宽存储器（HBM）访问效率的装置和方法，本发明能够有效利用高带宽存储器中不同存储层延迟不均衡性、充分开发利用低存储层的低延迟特性提升高带宽存储器整体的访问效率，具有实现简单、操作方便、运行高效的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种提升高带宽存储器访问效率的装置，包括：
存储通道访问统计模块，用于统计高带宽存储器不同存储通道的访问量；
访问量排序模块，用于按照访问量大小对存储通道进行排序；
重映射模块，用于通过存储地址的重映射把访问量较大的存储通道地址映射到高带宽存储器中较低的存储层上。
可选地，所述存储通道访问统计模块包括：
位翻转监控阵列，挂载在高带宽存储器的存储总线上，用于根据存储通道的每一个有效访问触发对应存储通道的访问量计数；
按位累加器阵列，用于记录各个存储通道的访问量计数；
控制部件，用于使能和重置存储通道访问统计模块并提供对外的访问量计数读取操作。
可选地，所述位翻转监控阵列包括N个监控单元，所述监控单元与累加器以及存储通道一一对应，每一个监控单元用于根据对应存储通道的每一个有效访问触发该存储通道的计数操作，其中N为访存地址位宽。
可选地，所述按位累加器阵列包括N个累加器，每一个累加器与存储通道一一对应，累加器仅需支持加1操作，当累加值达到最大值时取消后续累加、且保持最大值直至累加器被重置。
本发明还提供一种存储控制器，包括存储器本体，所述存储器本体中集成或者挂载有前述提升高带宽存储器访问效率的装置
本发明还提供一种存储器，包括带有存储控制器的存储器本体，所述存储控制器为前述的存储控制器。
此外，本发明还提供一种提升高带宽存储器访问效率的方法，实施步骤包括：
1）统计高带宽存储器不同存储通道的访问量；
2）按照访问量大小对存储通道进行排序；
3）通过存储地址的重映射把访问量较大的存储通道地址映射到高带宽存储器中较低的存储层上。
可选地，步骤1）的详细步骤包括：通过N个累加器来记录高带宽存储器的N位存储通道的访问量，且每一个累加器与存储通道一一对应，每一个累加器仅需支持加1操作，当累加值达到最大值时取消后续累加、保持最大值直至累加器被重置，其中N为访存地址位宽。
可选地，步骤2）中的排序具体是指从大到小的排序。
可选地，步骤3）中通过存储地址的重映射把访问量较大的存储通道地址映射到较低的存储层上具体是指：针对按照访问量大小排序后的存储通道，从高带宽存储器最底层存储层开始从低到高顺序映射存储通道与存储层，使得一个或者多个存储通道映射到同一个存储层上，且任意映射到较低存储层上的存储通道的访问量高于映射到较高存储层上的存储通道的访问量。
和现有技术相比，本发明具有下述优点：本发明能够有效利用高带宽存储器中不同存储层延迟不均衡性、充分开发利用低存储层的低延迟特性提升高带宽存储器整体的访问效率，具有实现简单、操作方便、运行高效的优点。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例方法的重映射原理示意图。
图3为本发明实施例装置的结构示意图。
图4为本发明实施例装置的存储通道访问统计模块结构示意图。
具体实施方式
如图1所示，本实施例提升高带宽存储器访问效率的方法的实施步骤包括：
1）统计高带宽存储器不同存储通道的访问量；
2）按照访问量大小对存储通道进行排序；
3）通过存储地址的重映射把访问量较大的存储通道地址映射到高带宽存储器中较低的存储层上。
本实施例中，步骤1）的详细步骤包括：通过N个累加器来记录高带宽存储器的N位存储通道的访问量，且每一个累加器与存储通道一一对应，每一个累加器仅需支持加1操作，当累加值达到最大值时取消后续累加、保持最大值直至累加器被重置，其中N为访存地址位宽。本实施例中，访存地址位宽为40bit，因此通过40个累加器来记录高带宽存储器的40位存储通道的访问量，访存地址位宽可根据实际系统进行累加器的位宽扩展或缩减，对应地N也需要进行适应性调整。
本实施例中，步骤2）中的排序具体是指从大到小的排序。此外，也可以根据需要采用从小到大的顺序，一样也可以实现通过存储地址的重映射把访问量较大的存储通道地址映射到高带宽存储器中较低的存储层上。
如图2所示，步骤3）中通过存储地址的重映射把访问量较大的存储通道地址映射到较低的存储层上具体是指：针对按照访问量大小排序后的存储通道，从高带宽存储器最底层存储层开始从低到高顺序映射存储通道与存储层，使得一个或者多个存储通道映射到同一个存储层上（图2为采用一个示例），且任意映射到较低存储层上的存储通道的访问量高于映射到较高存储层上的存储通道的访问量。参见图2，本实施例基于通道访问量的存储通道与存储层映射方法分为两个步骤，第一：根据不同存储通道的访问量进行从大到小的排序；第二：基于访问量从大到小的排序，从最底层存储层开始，从低到高顺序映射存储通道与存储层次，使得访问量大的存储通道映射到存储层次较低的的存储层上。从而实现对具有较低延迟的存储层次更为充分的利用和开发。作为一般情况，可将多个存储通道映射到同一个存储层次上，但需要保证在较低存储层上的存储通道的访问量高于较高存储层上的存储通道。
如图3所示，本实施例提升高带宽存储器访问效率的装置包括：
存储通道访问统计模块，用于统计高带宽存储器不同存储通道的访问量；
访问量排序模块，用于按照访问量大小对存储通道进行排序；
重映射模块，用于通过存储地址的重映射把访问量较大的存储通道地址映射到高带宽存储器中较低的存储层上。
如图4所示，存储通道访问统计模块包括：
位翻转监控阵列，挂载在高带宽存储器的存储总线上，用于根据存储通道的每一个有效访问触发对应存储通道的访问量计数；
按位累加器阵列，用于记录各个存储通道的访问量计数；
控制部件，用于使能和重置存储通道访问统计模块并提供对外的访问量计数读取操作。
如图4所示，本实施例中位翻转监控阵列包括N个监控单元，所述监控单元与累加器以及存储通道一一对应，每一个监控单元用于根据对应存储通道的每一个有效访问触发该存储通道的计数操作，其中N为访存地址位宽。
如图4所示，本实施例中按位累加器阵列包括N个累加器，每一个累加器与存储通道一一对应，累加器仅需支持加1操作，当累加值达到最大值时取消后续累加、且保持最大值直至累加器被重置。
在处理器设计过程中，存储通道访问统计模块可以集成在存储器控制器中，或者作为单独的部件挂接在存储控制器的控制总线上。作为一般情况，可将累加器按照只读的配置寄存器进行处理。
此外，本实施例还提供一种存储控制器，包括存储器本体，该存储器本体中集成或者挂载有前述的提升高带宽存储器访问效率的装置
此外，本实施例还提供一种存储器，包括带有存储控制器的存储器本体，该存储控制器为前述的存储控制器。
此外，本实施例还提供一种计算机装置，包括带有存储器的计算机装置本体，该存储器为前述的存储器。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围的情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

Claims (10)

1.一种提升高带宽存储器访问效率的装置，其特征在于包括：
存储通道访问统计模块，用于统计高带宽存储器不同存储通道的访问量；
访问量排序模块，用于按照访问量大小对存储通道进行排序；
重映射模块，用于通过存储地址的重映射把访问量较大的存储通道地址映射到高带宽存储器中较低的存储层上。
2.根据权利要求1所述的提升高带宽存储器访问效率的装置，其特征在于，所述存储通道访问统计模块包括：
位翻转监控阵列，挂载在高带宽存储器的存储总线上，用于根据存储通道的每一个有效访问触发对应存储通道的访问量计数；
按位累加器阵列，用于记录各个存储通道的访问量计数；
控制部件，用于使能和重置存储通道访问统计模块并提供对外的访问量计数读取操作。
3.根据权利要求2所述的提升高带宽存储器访问效率的装置，其特征在于，所述位翻转监控阵列包括N个监控单元，所述监控单元与累加器以及存储通道一一对应，每一个监控单元用于根据对应存储通道的每一个有效访问触发该存储通道的计数操作，其中N为访存地址位宽。
4.根据权利要求2所述的提升高带宽存储器访问效率的装置，其特征在于，所述按位累加器阵列包括N个累加器，每一个累加器与存储通道一一对应，累加器仅需支持加1操作，当累加值达到最大值时取消后续累加、且保持最大值直至累加器被重置。
5.一种存储控制器，包括存储器本体，其特征在于，所述存储器本体中集成或者挂载有权利要求1～4中任意一项所述的提升高带宽存储器访问效率的装置。
6.一种存储器，包括带有存储控制器的存储器本体，其特征在于，所述存储控制器为权利要求5所述的存储控制器。
7.一种提升高带宽存储器访问效率的方法，其特征在于实施步骤包括：
1）统计高带宽存储器不同存储通道的访问量；
2）按照访问量大小对存储通道进行排序；
3）通过存储地址的重映射把访问量较大的存储通道地址映射到高带宽存储器中较低的存储层上。
8.根据权利要求7所述的提升高带宽存储器访问效率的方法，其特征在于，步骤1）的详细步骤包括：通过N个累加器来记录高带宽存储器的N位存储通道的访问量，且每一个累加器与存储通道一一对应，每一个累加器仅需支持加1操作，当累加值达到最大值时取消后续累加、保持最大值直至累加器被重置，其中N为访存地址位宽。
9.根据权利要求7所述的提升高带宽存储器访问效率的方法，其特征在于，步骤2）中的排序具体是指从大到小的排序。
10.根据权利要求7所述的提升高带宽存储器访问效率的方法，其特征在于，步骤3）中通过存储地址的重映射把访问量较大的存储通道地址映射到较低的存储层上具体是指：针对按照访问量大小排序后的存储通道，从高带宽存储器最底层存储层开始从低到高顺序映射存储通道与存储层，使得一个或者多个存储通道映射到同一个存储层上，且任意映射到较低存储层上的存储通道的访问量高于映射到较高存储层上的存储通道的访问量。
CN201911393975.4A 2019-12-30 2019-12-30 一种提升高带宽存储器（hbm）访问效率的装置和方法 Active CN111158600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911393975.4A CN111158600B (zh) 2019-12-30 2019-12-30 一种提升高带宽存储器（hbm）访问效率的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911393975.4A CN111158600B (zh) 2019-12-30 2019-12-30 一种提升高带宽存储器（hbm）访问效率的装置和方法

Publications (2)

Publication Number Publication Date
CN111158600A true CN111158600A (zh) 2020-05-15
CN111158600B CN111158600B (zh) 2023-10-27

Family

ID=70559141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911393975.4A Active CN111158600B (zh) 2019-12-30 2019-12-30 一种提升高带宽存储器（hbm）访问效率的装置和方法

Country Status (1)

Country Link
CN (1) CN111158600B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022109975A1 (zh) * 2020-11-27 2022-06-02 华为技术有限公司 存储芯片、存储设备及其访问方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146340A (ja) * 2004-11-16 2006-06-08 Canon Inc メモリ制御装置及びメモリ制御方法
US20060195665A1 (en) * 2005-02-25 2006-08-31 Canon Kabushiki Kaisha Access control device, method for changing memory addresses, and memory system
CN101141296A (zh) * 2007-08-16 2008-03-12 华为技术有限公司 通道化逻辑单通道统计的方法和装置
US20140149653A1 (en) * 2012-11-26 2014-05-29 Arm Limited Variable mapping of memory accesses to regions within a memory
CN104850501A (zh) * 2015-04-29 2015-08-19 中国人民解放军国防科学技术大学 一种ddr存储器访存地址映射方法及访存地址映射单元
US20180024935A1 (en) * 2016-07-21 2018-01-25 Advanced Micro Devices, Inc. Data Block Sizing for Channels in a Multi-Channel High-Bandwidth Memory
CN107729261A (zh) * 2017-09-28 2018-02-23 中国人民解放军国防科技大学 一种多核/众核处理器中Cache地址映射方法
CN110531935A (zh) * 2019-08-29 2019-12-03 北京计算机技术及应用研究所 一种基于物理页相对温度的slc闪存磨损均衡方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146340A (ja) * 2004-11-16 2006-06-08 Canon Inc メモリ制御装置及びメモリ制御方法
US20060195665A1 (en) * 2005-02-25 2006-08-31 Canon Kabushiki Kaisha Access control device, method for changing memory addresses, and memory system
CN101141296A (zh) * 2007-08-16 2008-03-12 华为技术有限公司 通道化逻辑单通道统计的方法和装置
US20140149653A1 (en) * 2012-11-26 2014-05-29 Arm Limited Variable mapping of memory accesses to regions within a memory
CN104850501A (zh) * 2015-04-29 2015-08-19 中国人民解放军国防科学技术大学 一种ddr存储器访存地址映射方法及访存地址映射单元
US20180024935A1 (en) * 2016-07-21 2018-01-25 Advanced Micro Devices, Inc. Data Block Sizing for Channels in a Multi-Channel High-Bandwidth Memory
CN107729261A (zh) * 2017-09-28 2018-02-23 中国人民解放军国防科技大学 一种多核/众核处理器中Cache地址映射方法
CN110531935A (zh) * 2019-08-29 2019-12-03 北京计算机技术及应用研究所 一种基于物理页相对温度的slc闪存磨损均衡方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022109975A1 (zh) * 2020-11-27 2022-06-02 华为技术有限公司 存储芯片、存储设备及其访问方法

Also Published As

Publication number Publication date
CN111158600B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US10296473B2 (en) System and method for fast execution of in-capsule commands
US11302410B2 (en) Zone swapping for wear leveling memory
US10936418B2 (en) Reduced uncorrectable memory errors
CN104503707B (zh) 读取数据的方法以及装置
US10365859B2 (en) Storage array management employing a merged background management process
TWI457758B (zh) 包含記憶體系統控制器之裝置及相關方法
US7856528B1 (en) Method and apparatus for protecting data using variable size page stripes in a FLASH-based storage system
US20170286311A1 (en) Repetitive address indirection in a memory
US9898215B2 (en) Efficient management of page retirement in non-volatile memory utilizing page retirement classes
US10254981B2 (en) Adaptive health grading for a non-volatile memory
US9740609B1 (en) Garbage collection techniques for a data storage system
US20150347012A1 (en) System and method of interleaving data retrieved from first and second buffers
KR20150087319A (ko) 단편화를 해결하는 메모리 세그먼트 재매핑
US20200326890A1 (en) Quality of service based arbitrations optimized for enterprise solid state drives
US20180067661A1 (en) Memory wear leveling
CN104331252A (zh) 异构nand固态硬盘结构及其数据读取管理方法
JP2022539788A (ja) 読出しヒート・データ分離をサポートしている書込みキャッシュ・アーキテクチャ内でのデータ配置
WO2023275632A1 (en) Mirroring data in write caches of controller of non-volatile memory
US11601531B2 (en) Sketch table for traffic profiling and measurement
CN111158600A (zh) 一种提升高带宽存储器（hbm）访问效率的装置和方法
CN110047537A (zh) 一种半导体存储装置及计算机系统
CN111324283A (zh) 一种存储器
KR20210097010A (ko) 키-값 스토리지 장치들에 대한 입출력 성능을 향상을 위한 키 값 객체 입출력들 그룹화
CN109783021A (zh) 数据存储系统及数据存储、读取方法、装置、电子设备
CN106991062A (zh) 一种基于服务器cpu的srio接口固态硬盘的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant