CN109240612A - 一种海量元数据缓存加速的方法 - Google Patents

一种海量元数据缓存加速的方法 Download PDF

Info

Publication number
CN109240612A
CN109240612A CN201810995097.2A CN201810995097A CN109240612A CN 109240612 A CN109240612 A CN 109240612A CN 201810995097 A CN201810995097 A CN 201810995097A CN 109240612 A CN109240612 A CN 109240612A
Authority
CN
China
Prior art keywords
temperature data
memory
accelerates
data
magnanimity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810995097.2A
Other languages
English (en)
Inventor
程瑶
李雪生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810995097.2A priority Critical patent/CN109240612A/zh
Publication of CN109240612A publication Critical patent/CN109240612A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种海量元数据缓存加速的方法，包括以下步骤：增加非易失性内存作为扩展缓存；将元数据区分为第一热度数据、第二热度数据和第三热度数据；将第一热度数据存储在内存中，将第二热度数据存储在扩展缓存中，将第三热度数据存储在外存中。本发明公开的海量元数据缓存加速的方法，减少了SSD读取数据的操作，从而降低时延，最大限度的加速元数据的访问速度。

Description

一种海量元数据缓存加速的方法
技术领域
本发明涉及存储技术领域，尤其涉及一种海量元数据缓存加速的方法。
背景技术
现在数据量日益增大，对存储和读取元数据也提出更高的要求。元数据放在内存里读取最快。但是对于海量的元数据，内存始终是一种稀缺资源，从价格和容量的角度，元数据不能全部放入内存。与内存相对应的外存是容量更大。可对于计算机系统来说，并不识别外存，需要操作系统(OS)把发出的内存访问需求转化为硬盘读写操作。操作系统知道数据真实存储位置，访问的数据不在内存时，操作系统会临时将其从外存中调入。现在主要用SSD存储元数据。虽然SSD性能比磁盘高，但是SSD仍然是外存的一种。存储阵列容量增大后，产生的元数据无法全缓存到内存中，SSD使用中涉及到内存外存来回加载的问题，会造成系统性能的明显下降。
基于上述问题，因此，对于本领域技术人员而言，如何进行海量元数据缓存加速，降低数据来回加载是亟需解决的技术问题。
发明内容
基于背景技术存在的技术问题，本发明提出了一种海量元数据缓存加速的方法，减少了SSD读取数据的操作，从而降低时延，最大限度的加速元数据的访问速度。而且如果发生故障，持久性内存系统使得内存数据在系统发生故障时依然得以保留。使得通电后可以直接读取数据，避免了再次加载数据到内存。
本发明提出的一种海量元数据缓存加速的方法，包括以下步骤：
增加非易失性内存作为扩展缓存；
将元数据区分为第一热度数据、第二热度数据和第三热度数据；
将第一热度数据存储在内存中，将第二热度数据存储在扩展缓存中，将第三热度数据存储在外存中。
优选地，扩展内存中数据按照页进行管理。
优选地，内存为RDAM。
优选地，外存为SSD。
优选地，还包括步骤：利用虚地址映射到元数据服务，使得第一热度数据或第二热度数据直接从内存或扩展缓存访问。
本发明中提供的一种海量元数据缓存加速的方法，减少了SSD读取数据的操作，从而降低时延，最大限度的加速元数据的访问速度。而且如果发生故障，持久性内存系统使得内存数据在系统发生故障时依然得以保留。使得通电后可以直接读取数据，避免了再次加载数据到内存。
附图说明
图1为本发明提出的一种海量元数据缓存加速的方法的流程图。
具体实施方式
如图1所示，图1为本发明提出的一种海量元数据缓存加速的方法的流程图。
下面结合附图和实施例对本发明进行详细的描述。
一种海量元数据缓存加速的方法，包括以下步骤：
S1：增加非易失性内存作为扩展缓存；
S2：将元数据区分为第一热度数据、第二热度数据和第三热度数据；
S3：将第一热度数据存储在内存RDAM中，将第二热度数据存储在扩展缓存中，将第三热度数据存储在外存SSD中，扩展内存中数据按照页进行管理；
S4：当元数据无法全缓存时，利用虚地址映射到元数据服务，使得第一热度数据或第二热度数据直接从内存或扩展缓存访问。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (5)

1.一种海量元数据缓存加速的方法，其特征在于，包括以下步骤：
增加非易失性内存作为扩展缓存；
将元数据区分为第一热度数据、第二热度数据和第三热度数据；
将第一热度数据存储在内存中，将第二热度数据存储在扩展缓存中，将第三热度数据存储在外存中。
2.根据权利要求1所述的海量元数据缓存加速的方法，其特征在于，扩展内存中数据按照页进行管理。
3.根据权利要求1所述的海量元数据缓存加速的方法，其特征在于，内存为RDAM。
4.根据权利要求1所述的海量元数据缓存加速的方法，其特征在于，外存为SSD。
5.根据权利要求1-4任一项所述的海量元数据缓存加速的方法，其特征在于，还包括步骤：利用虚地址映射到元数据服务，使得第一热度数据或第二热度数据直接从内存或扩展缓存访问。
CN201810995097.2A 2018-08-29 2018-08-29 一种海量元数据缓存加速的方法 Pending CN109240612A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810995097.2A CN109240612A (zh) 2018-08-29 2018-08-29 一种海量元数据缓存加速的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810995097.2A CN109240612A (zh) 2018-08-29 2018-08-29 一种海量元数据缓存加速的方法

Publications (1)

Publication Number Publication Date
CN109240612A true CN109240612A (zh) 2019-01-18

Family

ID=65069735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810995097.2A Pending CN109240612A (zh) 2018-08-29 2018-08-29 一种海量元数据缓存加速的方法

Country Status (1)

Country Link
CN (1) CN109240612A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506253A (zh) * 2019-01-31 2020-08-07 阿里巴巴集团控股有限公司 一种分布式存储系统及其存储方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019955A (zh) * 2011-09-28 2013-04-03 中国科学院上海微系统与信息技术研究所 基于pcram主存应用的内存管理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019955A (zh) * 2011-09-28 2013-04-03 中国科学院上海微系统与信息技术研究所 基于pcram主存应用的内存管理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111506253A (zh) * 2019-01-31 2020-08-07 阿里巴巴集团控股有限公司 一种分布式存储系统及其存储方法
CN111506253B (zh) * 2019-01-31 2023-06-20 阿里巴巴集团控股有限公司 一种分布式存储系统及其存储方法

Similar Documents

Publication Publication Date Title
US11055230B2 (en) Logical to physical mapping
TWI650644B (zh) 管理快閃記憶體模組的方法及相關的快閃記憶體控制器及電子裝置
US8595451B2 (en) Managing a storage cache utilizing externally assigned cache priority tags
US8417901B2 (en) Combining write commands to overlapping addresses or to a specific page
TWI530791B (zh) 用於改善外部計算裝置效能的調適性記憶體系統
US20140281361A1 (en) Nonvolatile memory device and related deduplication method
US8650379B2 (en) Data processing method for nonvolatile memory system
US20090240750A1 (en) Memory system and data access method
US20170212698A1 (en) Computing system with cache storing mechanism and method of operation thereof
US11132145B2 (en) Techniques for reducing write amplification on solid state storage devices (SSDs)
US11726906B2 (en) Memory device and non-transitory computer readable recording medium
CN113419975B (zh) 存储器的控制系统及地址映射方法和地址映射装置
CN112799595A (zh) 数据处理方法、设备及存储介质
US20230342294A1 (en) Memory device and non-transitory computer readable recording medium
CN107135662A (zh) 一种差异数据备份方法、存储系统和差异数据备份装置
CN113407120B (zh) 基于hmb的映射表管理方法、装置及计算机设备
CN1963810A (zh) 在Flash存储介质上的关于文件分配表的缓存实现方法
CN109240612A (zh) 一种海量元数据缓存加速的方法
US20230142948A1 (en) Techniques for managing context information for a storage device
KR102071072B1 (ko) 데이터 저장장치의 주소 맵핑 테이블 운용 방법
EP2381354A2 (en) Data recording device
US11132128B2 (en) Systems and methods for data placement in container-based storage systems
CN104424124A (zh) 内存装置、电子设备和用于控制内存装置的方法
US20210081126A1 (en) Method and apparatus for performing data-accessing management in a storage server
CN115963977A (zh) 一种固态硬盘及其数据操作方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118