CN111061433A - 冷热数据处理方法及装置 - Google Patents

冷热数据处理方法及装置 Download PDF

Info

Publication number
CN111061433A
CN111061433A CN201911297991.3A CN201911297991A CN111061433A CN 111061433 A CN111061433 A CN 111061433A CN 201911297991 A CN201911297991 A CN 201911297991A CN 111061433 A CN111061433 A CN 111061433A
Authority
CN
China
Prior art keywords
data
processed
cold
total number
accesses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911297991.3A
Other languages
English (en)
Inventor
叶欣
朱钦床
张翔
黄裕全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biwin Storage Technology Co Ltd
Original Assignee
Biwin Storage Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biwin Storage Technology Co Ltd filed Critical Biwin Storage Technology Co Ltd
Priority to CN201911297991.3A priority Critical patent/CN111061433A/zh
Publication of CN111061433A publication Critical patent/CN111061433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0616—Improving the reliability of storage systems in relation to life time, e.g. increasing Mean Time Between Failures [MTBF]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种冷热数据处理方法及装置，方法包括：接收当前访问请求；获取所述当前访问请求中待处理数据的历史访问参数；根据所述历史访问参数计算所述待处理数据的综合频度；根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果；根据所述分类结果对当前访问请求进行处理。在对当前访问请求进行处理之前，提前预判当前访问请求中待处理数据的冷热情况，克服了现有技术对冷热数据处理时读写速度较慢，回收次数较多的技术问题，达到了控制冷热数据一次性分离，提升读写速度，并且可以减少后续重复数据回收造成的磨损，提高闪存寿命的技术效果，本发明的冷热数据处理方法适用于EMMC存储器。

Description

冷热数据处理方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种冷热数据处理方法及装置。
背景技术
数据存储设备访问数据，一般具有某段时间内部分逻辑空间的数据经常访问，部分空间的数据极少访问的特性。经常访问的数据也叫热数据，极少访问的数据又称冷数据。冷热数据在一定时间内具有逻辑空间相对独立性。
在EMMC(Embedded Multi Media Card)存储器中存在快速访问区和慢速访问区，处理好冷热数据将有利于提升读写速度；并且在垃圾回收过程处理好冷热数据，有利于减少回收次数，减少写放大，延长产品使用寿命。
目前EMMC对冷热数据的处理，要么算法过于复杂，需要较大内存空间保存相关表项和消耗较大的运行性能，使其在EMMC中运用实效受限，要么就不提供冷热数据处理。
发明内容
本发明所要解决的技术问题是：提供一种冷热数据处理方法及装置，可提前预判数据的冷热情况，控制冷热数据一次性分离。
为了解决上述技术问题，本发明采用的技术方案为：
一种冷热数据处理方法，包括：
接收当前访问请求；
获取所述当前访问请求中待处理数据的历史访问参数；
根据所述历史访问参数计算所述待处理数据的综合频度；
根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果；
根据所述分类结果对当前访问请求进行处理。
本发明采用的另一技术方案为：
一种冷热数据处理装置，包括：
接收模块，用于接收当前访问请求；
获取模块，用于获取所述当前访问请求中待处理数据的历史访问参数；
计算模块，用于根据所述历史访问参数计算所述待处理数据的综合频度；
分类模块，用于根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果；
处理模块，用于根据所述分类结果对当前访问请求进行处理。
本发明的有益效果在于：本发明实施例提供的冷热数据处理方法在对当前访问请求进行处理之前，提前预判当前访问请求中待处理数据的冷热情况，根据该待处理数据的冷热情况进行对应的处理，本发明实施例克服了现有技术对冷热数据处理时读写速度较慢，回收次数较多的技术问题，达到了控制冷热数据一次性分离，提升读写速度，减少后续重复数据回收造成的磨损，提高闪存寿命的技术效果。
附图说明
图1为本发明实施例一的冷热数据处理方法的流程图；
图2为本发明实施例一的映射示意图；
图3为本发明一具体实施方式的冷热数据处理装置的示意图；
图4为本发明另一具体实施方式的冷热数据处理装置的示意图。
标号说明：
301、接收模块；302、获取模块；303、计算模块；304、分类模块；305、处理模块；306、更新模块；307、回收模块；
100、冷热数据处理装置；1、存储器；2、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
本发明最关键的构思在于：提前预判数据的冷热情况，可以控制冷热数据一次性分离，提升读写速度。
请参照图1及图2，本发明实施例提供了一种冷热数据处理方法，包括：
接收当前访问请求；
获取所述当前访问请求中待处理数据的历史访问参数；
根据所述历史访问参数计算所述待处理数据的综合频度；
根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果；
根据所述分类结果对当前访问请求进行处理。
从上述描述可知，本发明的有益效果在于：本发明实施例提供的冷热数据处理方法在对当前访问请求进行处理之前，提前预判当前访问请求中待处理数据的冷热情况，根据该待处理数据的冷热情况进行对应的处理，本发明实施例克服了现有技术对冷热数据处理时读写速度较慢，回收次数较多的技术问题，达到了控制冷热数据一次性分离，提升读写速度，减少后续重复数据回收造成的磨损，提高闪存寿命的技术效果。本发明的冷热数据处理方法适用于EMMC存储器。
进一步的，所述根据所述分类结果对当前访问请求进行处理之后，还包括：根据对所述当前访问请求的处理结果，更新所述历史访问参数。
由上述描述可知，对该当前访问请求进行处理之后需更新该当前访问请求中待处理数的历史访问参数，以方便在后续的冷热数据处理方法中使用该待处理数据的最新历史访问参数。在本发明的其他实施例中，在更新该待处理数据的历史访问参数后，可以直接计算该待处理数据的综合频度，以便对下次访问请求进行处理时方便快捷地使用该数据的综合频度。
进一步的，所述历史访问参数存储在闪存转换层的一级映射表项的表头。
由上述描述可知，将历史访问参数存储与映射表项结合，无需额外消耗内存表项，可以减少内存消耗和减少存取表项的时间。
进一步的，所述历史访问参数包括：读写访问总次数、仅读访问总次数、仅写访问总次数、近期读写访问总次数、近期仅读访问总次数和近期仅写访问总次数。
进一步的，所述根据所述历史访问参数计算所述待处理数据的综合频度具体为：
根据公式
Figure BDA0002321084030000041
计算所述待处理数据的综合频度，其中Wcnt表示写访问总次数，所述写访问总次数为读写访问总次数与仅写访问总次数之和；Rcnt表示读访问总次数，所述读访问总次数为读写访问总次数与仅读访问总次数之和；T表示运行总时间，LastFreq表示近期频度，k、n和m均为系数，Freq表示综合频度；LastFreq＝近期读访问总次数/近期运行时间+近期写访问总次数/近期运行时间，所述近期读访问总次数为近期读写访问总次数与近期仅读访问总次数之和，所述近期写访问总次数为近期读写访问总次数与近期仅写访问总次数之和。
由上述描述可知，进行逻辑空间分段跟踪，可以减少预判计算量，提高运算效率。
进一步的，所述根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果具体包括：将综合频度在前1％的待处理数据列为极热数据；将综合频度在前1％～20％的待处理数据列为热数据；将综合频度在21％～80％区间的待处理数据列为过渡数据；将综合频度在后20％的待处理数据列为冷数据。
由上述描述可知，对数据进行冷热分类便于后续进行写操作和回收等处理。
进一步的，还包括：根据所述分类结果对待处理数据进行回收处理。
进一步的，所述根据所述分类结果对待处理数据进行回收处理具体为：
若所述待处理数据为过渡数据或冷数据，则将所述待处理数据回收至慢速访问区域；
若所述待处理数据为极热数据或热数据，则将所述待处理数据回收至快速访问区域。
由上述描述可知，对不同的数据进行不同的回收处理，可以减少重复回收的次数，提高平均读写性能，减少闪存磨损，延长使用寿命。
进一步的，所述当前访问请求为写操作，则所述根据所述分类结果对当前访问请求进行处理具体包括：
若所述待处理数据为冷数据，则将所述待处理数据写入慢速访问区；
若所述待处理数据为热数据或过渡数据，则将所述待处理数据写入快速访问区；
若所述待处理数据为极热数据，则将所述待处理数据写入快速访问区并同时在内存缓存中保留。
由上述描述可知，对不同的数据写入不同的访问区，可以提高读写性能，减少垃圾回收次数和写入放大。
请参照图3，本发明涉及的另一技术方案为：
一种冷热数据处理装置，包括：
接收模块301，用于接收当前访问请求；
获取模块302，用于获取所述当前访问请求中待处理数据的历史访问参数；
计算模块303，用于根据所述历史访问参数计算所述待处理数据的综合频度；
分类模块304，用于根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果；
处理模块305，用于根据所述分类结果对当前访问请求进行处理。
进一步的，冷热数据处理装置还包括：
更新模块306，用于根据对所述当前访问请求的处理结果，更新所述历史访问参数。
进一步的，所述历史访问参数存储在闪存转换层的一级映射表项的表头。
进一步的，所述历史访问参数包括：读写访问总次数、仅读访问总次数、仅写访问总次数、近期读写访问总次数、近期仅读访问总次数和近期仅写访问总次数。
进一步的，计算模块303具体用于：
根据公式
Figure BDA0002321084030000051
计算所述待处理数据的综合频度，其中Wcnt表示写访问总次数，所述写访问总次数为读写访问总次数与仅写访问总次数之和；Rcnt表示读访问总次数，所述读访问总次数为读写访问总次数与仅读访问总次数之和；T表示运行总时间，LastFreq表示近期频度，k、n和m均为系数，Freq表示综合频度；LastFreq＝近期读访问总次数/近期运行时间+近期写访问总次数/近期运行时间，所述近期读访问总次数为近期读写访问总次数与近期仅读访问总次数之和，所述近期写访问总次数为近期读写访问总次数与近期仅写访问总次数之和。
进一步的，分类模块304具体用于：
将综合频度在前1％的待处理数据列为极热数据；将综合频度在前1％～20％的待处理数据列为热数据；将综合频度在21％～80％区间的待处理数据列为过渡数据；将综合频度在后20％的待处理数据列为冷数据。
进一步的，冷热数据处理装置还包括：
回收模块307，用于根据所述分类结果对待处理数据进行回收处理。
该回收模块307进行回收处理的步骤具体包括：
若所述待处理数据为过渡数据或冷数据，则将所述待处理数据回收至慢速访问区域；
若所述待处理数据为极热数据或热数据，则将所述待处理数据回收至快速访问区域。
进一步的，所述当前访问请求为写操作，处理模块305具体用于：
若所述待处理数据为冷数据，则将所述待处理数据写入慢速访问区；
若所述待处理数据为热数据或过渡数据，则将所述待处理数据写入快速访问区；
若所述待处理数据为极热数据，则将所述待处理数据写入快速访问区并同时在内存缓存中保留。
请参照图4，本发明涉及的另一技术方案为：
一种冷热数据处理装置100，包括存储器1和处理器2，所述存储器1存储有计算机程序，所述处理器2执行所述计算机程序时，实现上述冷热数据处理方法的各个步骤，包括：
接收当前访问请求；
获取所述当前访问请求中待处理数据的历史访问参数；
根据所述历史访问参数计算所述待处理数据的综合频度；
根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果；
根据所述分类结果对当前访问请求进行处理。
本发明涉及的另一技术方案为：
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述冷热数据处理方法的各个步骤，包括：
接收当前访问请求；
获取所述当前访问请求中待处理数据的历史访问参数；
根据所述历史访问参数计算所述待处理数据的综合频度；
根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果；
根据所述分类结果对当前访问请求进行处理。
进一步的，所述计算机程序被处理器执行时还实现以下步骤：
所述根据所述分类结果对当前访问请求进行处理之后，还包括：
根据对所述当前访问请求的处理结果，更新所述历史访问参数。
进一步的，所述历史访问参数存储在闪存转换层的一级映射表项的表头。
进一步的，所述历史访问参数包括：读写访问总次数、仅读访问总次数、仅写访问总次数、近期读写访问总次数、近期仅读访问总次数和近期仅写访问总次数。
进一步的，所述根据所述历史访问参数计算所述待处理数据的综合频度具体为：
根据公式
Figure BDA0002321084030000071
计算所述待处理数据的综合频度，其中Wcnt表示写访问总次数，所述写访问总次数为读写访问总次数与仅写访问总次数之和；Rcnt表示读访问总次数，所述读访问总次数为读写访问总次数与仅读访问总次数之和；T表示运行总时间，LastFreq表示近期频度，k、n和m均为系数，Freq表示综合频度；LastFreq＝近期读访问总次数/近期运行时间+近期写访问总次数/近期运行时间，所述近期读访问总次数为近期读写访问总次数与近期仅读访问总次数之和，所述近期写访问总次数为近期读写访问总次数与近期仅写访问总次数之和。
进一步的，所述根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果具体包括：将综合频度在前1％的待处理数据列为极热数据；将综合频度在前1％～20％的待处理数据列为热数据；将综合频度在21％～80％区间的待处理数据列为过渡数据；将综合频度在后20％的待处理数据列为冷数据。
进一步的，所述计算机程序被处理器执行时还实现以下步骤：
根据所述分类结果对待处理数据进行回收处理。
进一步的，所述根据所述分类结果对待处理数据进行回收处理具体为：
若所述待处理数据为过渡数据或冷数据，则将所述待处理数据回收至慢速访问区域；
若所述待处理数据为极热数据或热数据，则将所述待处理数据回收至快速访问区域。
进一步的，所述当前访问请求为写操作，则所述根据所述分类结果对当前访问请求进行处理具体包括：
若所述待处理数据为冷数据，则将所述待处理数据写入慢速访问区；
若所述待处理数据为热数据或过渡数据，则将所述待处理数据写入快速访问区；
若所述待处理数据为极热数据，则将所述待处理数据写入快速访问区并同时在内存缓存中保留。
请参照图1及图2，本发明的实施例一为：
一种冷热数据处理方法，如图1所示，包括如下步骤：
S1、接收当前访问请求。
在本步骤中，外部设备对EMMC存储器发起读操作或者写操作，本实施例中将该读操作或者写操作称为访问请求，该访问请求中包含有该操作的类型，即读或者写，还包含需要进行读操作或者写操作的待处理数据，该待处理数据可以是某一字符段，也可以是某一数据段。
S2、获取所述当前访问请求中待处理数据的历史访问参数。
本实施例中，所述历史访问参数存储在闪存转换层的一级映射表项的表头。如图2所示，对于EMMC存储器来说，EMMC接收到访问请求后，根据该访问请求中的待处理数据读取存储在闪存转换层的一级映射表项的表头中的该待处理数据对应的历史访问数据，历史访问参数随闪存转换层的一级映射表项一起存取，图2中的频度信息即为历史访问参数，每一个映射单元对应一些数据字段。所述历史访问参数包括：读写访问总次数、仅读访问总次数、仅写访问总次数、近期读写访问总次数、近期仅读访问总次数和近期仅写访问总次数。本实施例中的历史访问参数是EMMC存储器根据对本机进行数据读写操作等的历史访问情况统计得出，该历史访问数据存储在EMMC存储器的闪存转换层(Flash TranslationLayer，TTL)，在其他实施例中，该历史访问数据也可以从其他计算机或处理器复制过来，或者本领域技术人员根据实际需要进行设置。在具体实施过程中，步骤S1中，EMMC存储器接收到该当前访问请求，得到该当前访问请求中的待处理数据A，则本步骤中，根据该待处理数据A获取存储在该闪存转换层的一级映射表项的表头中的该待处理数据A对应的历史访问数据A’。
S3、根据所述历史访问参数计算所述待处理数据的综合频度。
在本步骤中，根据公式
Figure BDA0002321084030000091
计算所述待处理数据的综合频度，其中Wcnt表示写访问总次数，所述写访问总次数为读写访问总次数与仅写访问总次数之和；Rcnt表示读访问总次数，所述读访问总次数为读写访问总次数与仅读访问总次数之和；T表示运行总时间，LastFreq表示近期频度，k、n和m均为系数，Freq表示综合频度；LastFreq＝近期读访问总次数/近期运行时间+近期写访问总次数/近期运行时间，所述近期读访问总次数为近期读写访问总次数与近期仅读访问总次数之和，所述近期写访问总次数为近期读写访问总次数与近期仅写访问总次数之和。本实施例中，近期运行时间可以根据需要进行设置或选取。EMMC存储器在步骤S2获取待处理数据的历史访问参数后，根据上述公式计算该待处理数据的综合频度，以根据该综合频度执行下一步骤。在本步骤中，该待处理数据的综合频度根据获得的历史访问参数进行实时计算，但是在具体实施过程中，为节约计算损耗及实时计算带来的计算延迟，可以在计算空隙根据该历史访问参数计算该待处理数据的综合频度，并将该待处理数据的综合频度存储在该EMMC存储器的预设存储位置，当在下一接收到访问请求时，可以直接根据该待处理数据获取对应的综合频度，不需要在进行计算步骤。
S4、根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果。
在本步骤中，将综合频度在前1％的待处理数据列为极热数据；将综合频度在前1％～20％的待处理数据列为热数据；将综合频度在21％～80％区间的待处理数据列为过渡数据；将综合频度在后20％的待处理数据列为冷数据。对于冷热数据的分类，不限于本实施例列举出来的分类方式，还可以按照其他的百分比区间进行划分。
S5、根据所述分类结果对当前访问请求进行处理。
在本步骤中，根据该分类结果和该当前访问请求中包含的操作类型，对该待处理数据进行相应的操作，如当所述当前访问请求为写操作时，若所述待处理数据为冷数据，则将所述待处理数据写入慢速访问区；若所述待处理数据为热数据或过渡数据，则将所述待处理数据写入快速访问区；若所述待处理数据为极热数据，则将所述待处理数据写入快速访问区并同时在内存缓存中保留。在本实施例中，该待处理数据为单一类型的数据，即该当前访问请求中，待进行写操作的待处理数据只能为冷数据、热数据、极热数据和过渡数据中的一种。在其他实施例中，该待处理数据可以包括多种类型的数据，如待处理数据A包括冷数据A’、极热数据A”和热数据A”’，则对该待处理数据中的每一种数据类型分别进行处理，为保证处理效率，优先处理极热数据和热数据。
本实施例中，步骤S5之后，还包括：根据对所述当前访问请求的处理结果，更新所述历史访问参数。每一次访问请求结束后，都需要对历史访问参数进行更新。其更新依据为根据本次的访问请求的类型更新该待处理数据的读写访问总次数、仅读访问总次数、仅写访问总次数、近期读写访问总次数、近期仅读访问总次数或近期仅写访问总次数。该更新后的历史访问参数用于在后续的访问操作中重新计算综合频度，便于对下一次访问请求进行处理。
本实施例中，还包括：根据所述分类结果对待处理数据进行回收处理，具体为：若所述待处理数据为过渡数据或冷数据，则将所述待处理数据回收至慢速访问区域；若所述待处理数据为极热数据或热数据，则将所述待处理数据回收至快速访问区域。回收处理时，若待处理数据包含多种数据类型，则对每一种数据类型分别进行回收，可以优先回收冷数据。
综上所述，本发明实施例提供的一种冷热数据处理方法、装置和计算机可读存储介质，在对当前访问请求进行处理之前，提前预判当前访问请求中待处理数据的冷热情况，克服了现有技术对冷热数据处理时读写速度较慢，回收次数较多的技术问题，达到了控制冷热数据一次性分离，提升读写速度，并且可以减少后续重复数据回收造成的磨损，提高闪存寿命的技术效果，本发明实施例提供的冷热数据处理方法适用于EMMC存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种冷热数据处理方法，其特征在于，包括：
接收当前访问请求；
获取所述当前访问请求中待处理数据的历史访问参数；
根据所述历史访问参数计算所述待处理数据的综合频度；
根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果；
根据所述分类结果对当前访问请求进行处理。
2.根据权利要求1所述的冷热数据处理方法，其特征在于，所述根据所述分类结果对当前访问请求进行处理之后，还包括：
根据对所述当前访问请求的处理结果，更新所述历史访问参数。
3.根据权利要求1所述的冷热数据处理方法，其特征在于，所述历史访问参数存储在闪存转换层的一级映射表项的表头。
4.根据权利要求1所述的冷热数据处理方法，其特征在于，所述历史访问参数包括：读写访问总次数、仅读访问总次数、仅写访问总次数、近期读写访问总次数、近期仅读访问总次数和近期仅写访问总次数。
5.根据权利要求4所述的冷热数据处理方法，其特征在于，所述根据所述历史访问参数计算所述待处理数据的综合频度具体为：
根据公式
Figure FDA0002321084020000011
计算所述待处理数据的综合频度，其中Wcnt表示写访问总次数，所述写访问总次数为读写访问总次数与仅写访问总次数之和；Rcnt表示读访问总次数，所述读访问总次数为读写访问总次数与仅读访问总次数之和；T表示运行总时间，LastFreq表示近期频度，k、n和m均为系数，Freq表示综合频度；LastFreq＝近期读访问总次数/近期运行时间+近期写访问总次数/近期运行时间，所述近期读访问总次数为近期读写访问总次数与近期仅读访问总次数之和，所述近期写访问总次数为近期读写访问总次数与近期仅写访问总次数之和。
6.根据权利要求1所述的冷热数据处理方法，其特征在于，所述根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果具体包括：将综合频度在前1％的待处理数据列为极热数据；将综合频度在前1％～20％的待处理数据列为热数据；将综合频度在21％～80％区间的待处理数据列为过渡数据；将综合频度在后20％的待处理数据列为冷数据。
7.根据权利要求6所述的冷热数据处理方法，其特征在于，还包括：根据所述分类结果对待处理数据进行回收处理。
8.根据权利要求7所述的冷热数据处理方法，其特征在于，所述根据所述分类结果对待处理数据进行回收处理具体为：
若所述待处理数据为过渡数据或冷数据，则将所述待处理数据回收至慢速访问区域；
若所述待处理数据为极热数据或热数据，则将所述待处理数据回收至快速访问区域。
9.根据权利要求6所述的冷热数据处理方法，其特征在于，所述当前访问请求为写操作，则所述根据所述分类结果对当前访问请求进行处理具体包括：
若所述待处理数据为冷数据，则将所述待处理数据写入慢速访问区；
若所述待处理数据为热数据或过渡数据，则将所述待处理数据写入快速访问区；
若所述待处理数据为极热数据，则将所述待处理数据写入快速访问区并同时在内存缓存中保留。
10.一种冷热数据处理装置，其特征在于，包括：
接收模块，用于接收当前访问请求；
获取模块，用于获取所述当前访问请求中待处理数据的历史访问参数；
计算模块，用于根据所述历史访问参数计算所述待处理数据的综合频度；
分类模块，用于根据所述综合频度对所述待处理数据进行冷热数据分类，得到分类结果；
处理模块，用于根据所述分类结果对当前访问请求进行处理。
CN201911297991.3A 2019-12-17 2019-12-17 冷热数据处理方法及装置 Pending CN111061433A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911297991.3A CN111061433A (zh) 2019-12-17 2019-12-17 冷热数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911297991.3A CN111061433A (zh) 2019-12-17 2019-12-17 冷热数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN111061433A true CN111061433A (zh) 2020-04-24

Family

ID=70301080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911297991.3A Pending CN111061433A (zh) 2019-12-17 2019-12-17 冷热数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN111061433A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022123491A1 (en) * 2020-12-10 2022-06-16 Coupang Corp. Cloud-based database backup and recovery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017139973A1 (zh) * 2016-02-19 2017-08-24 华为技术有限公司 一种闪存设备的访问方法和装置
CN108829344A (zh) * 2018-05-24 2018-11-16 北京百度网讯科技有限公司 数据存储方法、装置及存储介质
CN109542358A (zh) * 2018-12-03 2019-03-29 浪潮电子信息产业股份有限公司 一种固态硬盘冷热数据分离方法、装置及设备
CN109799958A (zh) * 2019-01-17 2019-05-24 湖南大学 固态硬盘及其数据处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017139973A1 (zh) * 2016-02-19 2017-08-24 华为技术有限公司 一种闪存设备的访问方法和装置
CN108829344A (zh) * 2018-05-24 2018-11-16 北京百度网讯科技有限公司 数据存储方法、装置及存储介质
CN109542358A (zh) * 2018-12-03 2019-03-29 浪潮电子信息产业股份有限公司 一种固态硬盘冷热数据分离方法、装置及设备
CN109799958A (zh) * 2019-01-17 2019-05-24 湖南大学 固态硬盘及其数据处理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022123491A1 (en) * 2020-12-10 2022-06-16 Coupang Corp. Cloud-based database backup and recovery

Similar Documents

Publication Publication Date Title
US8356154B2 (en) Storage system, data relocation method thereof, and recording medium that records data relocation program
CN103593298B (zh) 内存回收方法和装置
CN111176560B (zh) 一种缓存管理方法、装置、计算机设备及存储介质
CN105242871A (zh) 一种数据写入方法及装置
WO2017041570A1 (zh) 向缓存写入数据的方法及装置
CN104503703B (zh) 缓存的处理方法和装置
CN104050103B (zh) 一种用于数据恢复的缓存替换方法与系统
CN107015888B (zh) 一种基于子模模型的数据备份方法和系统
CN109086141B (zh) 内存管理方法和装置以及计算机可读存储介质
CN111459919A (zh) 数据查询方法、加载组件、搜索组件和存储介质
CN104050057B (zh) 一种历史感知的数据去重碎片消除方法与系统
CN106294205A (zh) 缓存数据处理方法及装置
CN108228339B (zh) 一种内存回收方法及装置、终端设备及计算机可读存储介质
CN102681792B (zh) 一种固态盘内存分区方法
CN104462388A (zh) 一种基于级联式存储介质的冗余数据清理方法
CN102354301B (zh) 缓存分区方法
CN111061433A (zh) 冷热数据处理方法及装置
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN109783019B (zh) 一种数据智能存储管理方法与装置
CN112052193B (zh) 一种垃圾回收方法、装置、可读存储介质及电子设备
CN104731716B (zh) 一种数据存储方法
CN103514098B (zh) 用于回收存储空间的方法和系统
CN108664217A (zh) 一种降低固态盘存储系统写性能抖动的缓存方法及系统
CN102609364A (zh) 缓存交换方法
CN108762989A (zh) 固态硬盘的数据存储方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 floors 1-3 and 4 of buildings 4 and 8, zone 2, Zhongguan honghualing Industrial South Zone, No. 1213 Liuxian Avenue, Pingshan community, Taoyuan Street, Nanshan District, Shenzhen, Guangdong

Applicant after: BIWIN STORAGE TECHNOLOGY Co.,Ltd.

Address before: 518000 1st, 2nd, 4th and 5th floors of No.4 factory building, tongfuyu industrial town, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: BIWIN STORAGE TECHNOLOGY Co.,Ltd.