CN110716689B - 数据处理方法、装置及计算设备 - Google Patents

数据处理方法、装置及计算设备 Download PDF

Info

Publication number
CN110716689B
CN110716689B CN201810758992.2A CN201810758992A CN110716689B CN 110716689 B CN110716689 B CN 110716689B CN 201810758992 A CN201810758992 A CN 201810758992A CN 110716689 B CN110716689 B CN 110716689B
Authority
CN
China
Prior art keywords
data
area
written
storage
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810758992.2A
Other languages
English (en)
Other versions
CN110716689A (zh
Inventor
王文铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810758992.2A priority Critical patent/CN110716689B/zh
Publication of CN110716689A publication Critical patent/CN110716689A/zh
Application granted granted Critical
Publication of CN110716689B publication Critical patent/CN110716689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0613—Improving I/O performance in relation to throughput
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0656—Data buffering arrangements
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种数据处理方法、装置及计算设备，其中，确定第一待写入数据；从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域；将所述第一待写入数据覆盖写入所述第一覆盖区域。本申请实施例提供的技术方案降低了设备IO量，提高了设备性能。

Description

数据处理方法、装置及计算设备
技术领域
本申请实施例涉及计算机应用技术领域，尤其涉及一种数据处理方法、装置及计算设备。
背景技术
循环写是一种常见的数据写入方式，是指从存储设备的开始位置到结束位置顺序写入数据，且存储设备写满之后再从开始位置开始覆盖写入数据。目前在cache(缓存)场景下大多采用循环写的方式写入数据。
由于在存储设备中循环写入数据时会覆盖已存储数据，被覆盖的已存储数据会被淘汰掉，然而淘汰的数据中可能包括后续仍会访问的数据，因此这些淘汰的数据可能会被再次写入存储设备中，从而就会增加了存储设备的IO(In put/Out put，输入/输出)量，影响设备性能。
发明内容
本申请实施例提供一种数据处理方法、装置及计算设备，用以解决现有技术中设备IO(In put/Out put，输入/输出)量增加影响设备性能的技术问题。
第一方面，本申请实施例提供了一种数据处理方法，包括：
确定第一待写入数据；
从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域；
将所述第一待写入数据覆盖写入所述第一覆盖区域。
可选地，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：
从前一次覆盖写操作的结束位置开始，在第一存储设备中确定所述第一待写入数据的待覆盖区域；
判断所述待覆盖区域是否满足淘汰条件；
如果否，将所述待覆盖区域相邻的下一个存储区域继续作为所述第一待写入数据的待覆盖区域，并返回执行所述判断所述待覆盖区域是否满足淘汰条件；
如果是，将所述待覆盖区域作为满足淘汰条件的第一覆盖区域。
可选地，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：
从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找访问热度低于淘汰阈值的第一覆盖区域。
可选地，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：
从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找标记有冷数据标识的第一覆盖区域；其中，所述第一覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识。
可选地，所述判断所述待覆盖区域是否满足淘汰条件包括：
确定所述待覆盖区域的访问热度；
判断所述待覆盖区域的访问热度是否低于淘汰阈值。
可选地，所述确定所述待覆盖区域的访问热度包括：
根据针对所述待覆盖区域的访问次数，确定所述待覆盖区域的访问热度。
可选地，所述判断所述待覆盖区域是否满足淘汰条件包括：
判断所述待覆盖区域是否设置有冷数据标记；其中，如果所述待覆盖区域标记有冷数据标识则确定所述第一存储数据满足淘汰条件，如果所述待覆盖区域标记有温数据标识则确定所述第一存储数据未满足所述淘汰条件；其中，所述待覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识，否则标记所述第一覆盖区域为温数据标识。
可选地，所述第一存储设备预先划分为多个存储区域；
所述多个存储区域预先按照如下方式进行标记：
记录每个存储区域的访问次数，以确定每个存储区域的访问热度；
如果任一个存储区域的访问热度低于所述淘汰阈值，标记所述任一个存储区域为冷数据标识，否则标记所述任一个存储区域为温数据标识。
可选地，所述确定第一待写入数据包括：
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；
将每个数据块作为所述第一待写入数据。
可选地，所述将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块包括：
接收数据访问请求；
判断所述第一存储设备中是否存储所述数据访问请求对应的数据对象；
如果所述第一存储设备中未存储所述数据访问请求对应的数据对象，从数据源获取所述数据访问请求对应的数据对象；
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块。
可选地，所述确定第一待写入数据包括：
确定第二待写入数据对应第二存储设备的第二覆盖区域；
读取所述第二覆盖区域中的存储数据；
将所述第二待写入数据覆盖写入所述第二覆盖区域；
确定所述存储数据中满足淘汰需求的至少一条数据对象；
将所述至少一条数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；
将每一个数据块分别作为所述第一待写入数据。
可选地，所述确定第二待写入数据对应第二存储设备的第二覆盖区域之前，所述方法还包括：
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；
将每个数据块作为所述第二待写入数据。
第二方面，本申请实施例中提供了一种数据处理装置，包括：
数据确定模块，用于确定第一待写入数据；
区域寻找模块，用于从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域；
数据写入模块，用于将所述第一待写入数据覆盖写入所述第一覆盖区域。
第三方面，本申请实施例中提供了一种计算设备，包括存储组件和处理组件；其中，
所述存储组件用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件调用执行；
所述处理组件用于：
确定第一待写入数据；
从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域；
将所述第一待写入数据覆盖写入所述第一覆盖区域。
本申请实施例中，对于第一待写入数据，从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域，再将所述第一待写入数据覆盖写入所述第一覆盖区域。通过本申请实施例的技术方案，通过寻找满足淘汰条件的第一覆盖区域，可以仅将满足淘汰条件的存储区域中的存储数据进行淘汰，而保留不满足淘汰条件的存储区域中的存储数据，从而可以降低设备IO量，提高设备性能。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请提供的一种数据处理方法一个实施例的流程图；
图2示出了本申请提供的一种数据处理方法又一个实施例的流程图；
图3示出了本申请实施例在一个实际应用中的数据处理系统的结构示意图；
图4示出了本申请提供的一种数据处理装置一个实施例的结构示意图；
图5示出了本申请提供的一种计算设备一个实施例的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
本申请实施例的技术方案可以适用于涉及循环写或者覆盖写的数据处理场景中，特别是在cache(缓存)场景中，cache场景是指为了减少在网络上的时间消费，会将从数据源请求获取的访问数据缓存至本地存储设备中，如果下次在接收到针对该访问数据的访问请求时，可以直接从本地存储设备中获取，以提高数据获取效率，例如在CDN(ContentDelivery Network，内容分发网络)中通常会采用cache方式进行数据本地缓存。
在cache场景中，存储设备通常会被写满，因此需要采用循环写的方式继续在存储设备中写入数据。
为了方便理解，下面首先对本申请实施例中可能出现的技术术语进行相应解释：
覆盖写：待写入数据会覆盖相应的已存储数据的一种数据写入方式，以覆盖写的方式写入数据的操作又被称为覆盖写操作，以覆盖写的方式写入也即称为覆盖写入；
顺序写：是指多次写操作的位置是连续的一种数据写入方式，以顺序写的方式写入数据的操作又被称为顺序写操作，以顺序写的方式写入也即称为顺序写入；
循环写：从存储设备的开始位置到结束位置顺序写入数据，存储设备写满之后继续从开始位置开始覆盖写入数据；
存储设备：用以存储数据的硬件设备，数据最终需要写入存储设备中，可以是指诸如磁盘等的存储介质；
缓存单元：本申请实施例定义的一种具有预定大小的数据存储结构，请求写入的数据对象会写入缓存单元中，每个写满的缓存单元形成预定大小的数据块，通常每个数据块的预定大小可以为8MB(MByte，兆字节)，再将数据块写入存储设备，使得即可以将多条数据对象作为一个整体写入存储设备；当然也可以将数据量较大的数据对象划分为多个数据块再顺序写入存储设备中，以方便数据管理；
数据对象：一次数据写入请求中请求写入的数据；
索引表：存储在内存中用于记录每条数据对象的索引信息；索引信息可以至少包括每条数据对象在存储设备中的存储位置，从而读取数据时可以依据索引表确定待读取数据的存储位置；
命中率：在cache场景中，由于存储设备的存储空间有限,不足以存储全部需要缓存的数据，如果请求访问的数据位于缓存中，则叫命中，总命中数据的字节和除以总请求访问数据的字节和，即是指命中率。
正如背景技术中所述，在存储设备中循环写入数据时会覆盖已存储数据，会将覆盖的已存储数据淘汰掉，然而淘汰数据中可能包括后续仍可能会访问的数据，而存储设备中已删除淘汰数据，就会导致存储设备的命中率降低，且由于存储设备中已删除淘汰数据，如果接收到在针对淘汰数据的访问请求，为了保证访问有效性，淘汰数数据只能再次写入存储设备中，从而增加了存储设备的写IO(In put/Out put，输入/输出)量，从存储设备中淘汰数据时，需要从存储设备中读取淘汰数据的索引信息，再将淘汰数据的索引信息从索引表中删除，增加了存储设备的读IO量，特别是对于机械硬盘，由于其存储速度有限、功耗也较高，IO量如果较大，会严重影响设备性能。
为了降低设备IO量，提高设备性能，提高缓存命中率，发明人经过一系列研究提出本申请的技术方案，在本申请实施例中，对于第一待写入数据，从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域，再将所述第一待写入数据覆盖写入所述第一覆盖区域。通过本申请实施例的技术方案，通过寻找满足淘汰条件的第一覆盖区域，可以仅将满足淘汰条件的存储区域中的存储数据进行淘汰，而保留不满足淘汰条件的存储区域中的存储数据，从而可以降低设备IO量，提高设备性能，由于未覆盖未满足淘汰条件的存储区域中的存储数据，使得可以提高缓存命中率。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种数据处理方法一个实施例的流程图，该方法可以包括以下几个步骤：
101：确定第一待写入数据。
其中，该第一待写入数据可以为将请求写入的数据对象写入缓存单元而转换形成的一个数据块。
当然，如果请求写入的数据对象不写入缓存单元，而直接写入第一存储设备时，该第一待写入数据也可以是指该请求写入的数据对象。
102：从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域。
在循环写场景中，数据均是顺序写入存储设备中，也即多次写操作的位置是连续的，因此，可以是从前一次写操作的结束位置开始，寻找满足淘汰条件的存储区域，将满足淘汰条件的存储区域即作为第一覆盖区域。
在以数据块形式写入时，第一存储设备可以预先划分为多个与数据块大小一致的存储区域，每一次数据写入操作即写入一个存储区域中。在第一存储设备寻找满足淘汰条件的第一覆盖区域的过程中，如果任一个存储区域不满足淘汰条件即可以跳过该存储区域，继续判断相邻的下一个存储区域直至获得该满足淘汰条件的第一覆盖区域。
其中，满足淘汰条件的存储区域中的存储数据可以认为是冷数据，而未满足淘汰条件的存储区域中的存储数据可以认为是温数据，后续有可能会被访问。
103：将所述第一待写入数据覆盖写入所述第一覆盖区域。
对于满足淘汰条件的第一覆盖区域，可以认为该第一覆盖区域中的存储数据为冷数据，也即不会被访问的数据，可以将其淘汰掉，因此即可以将第一待写入覆盖写入所述第一覆盖区域。
其中，覆盖写入过程与现有技术相同，在此不再赘述。
本实施例中，通过寻找满足淘汰条件的第一覆盖区域，可以仅将满足淘汰条件的第一覆盖区域中的存储数据进行淘汰，而保留不满足淘汰条件的存储区域中的存储数据，以避免所有数据淘汰而导致的数据重写问题，因此可以大大降低了设备IO量，提高设备性能，提高缓存命中率。
其中，第一存储设备可以预先划分为多个存储区域，第一待写入数据为缓存获得的一个数据块时，每个存储区域的数据大小与数据块的数据大小一致。
作为一种可选方式，该淘汰条件可以是指访问热度低于淘汰阈值。也即，所述从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域可以包括：
从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找访问热度低于淘汰阈值的第一覆盖区域。
其中，第一覆盖区域的访问热度可以根据第一覆盖区域的访问次数确定，该访问热度可以具体即是指访问次数，例如从0开始，第一覆盖区域每接收到一次访问，访问热度即加1。可选地，可以根据预定时间段内对第一覆盖区域的访问次数确定，可以理解的是，对第一覆盖区域的访也即是指对第一覆盖区域中存储的任意数据的访问。
可知，第一覆盖区域的访问热度越大，表明该第一覆盖区域中的存储数据越受欢迎，后续被访问的可能性越大。因此可以结合实际情况设置淘汰阈值。
在第一存储设备划分多个与数据块的数据大小一致的存储区域时，对于低于淘汰阈值的存储区域中的存储数据可以淘汰，而对于高于淘汰阈值的存储区域中的存储数据可以保留，在寻找第一覆盖区域时，即可以跳过此类高于淘汰阈值的存储区域。
作为另一种可选方式，该淘汰条件可以是指标记有冷数据标识。也即，所述从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域可以包括：
从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找标记有冷数据标识的第一覆盖区域。
其中，所述第一覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识，否则标记所述第一覆盖区域为温数据标识。
在第一存储设备划分多个与数据块的数据大小一致的存储区域时，对每个存储区域的访问热度的判断可以预先进行，对于访问热度低于淘汰阈值的存储区域可以标记冷数据标识，表示其存储数据为冷数据，可以淘汰；对于访问热度高于淘汰阈值的存储区域可以标记为温数据，可以保留。
图2为本申请实施例提供的一种数据处理方法又一个实施例的流程图，该方法可以包括以下几个步骤：
201：确定第一待写入数据。
202：从前一次写操作的结束位置开始，在第一存储设备中确定所述第一待写入数据的待覆盖区域。
第一待写入数据对应的第一个待覆盖区域也即将前一次写操作的结束位置作为开始位置而确定的一个存储区域。
203：判断所述待覆盖区域是否满足淘汰条件，如果否，执行步骤204，如果是，执行步骤205。
204：将所述待覆盖区域相邻的下一个存储区域继续作为所述第一待写入数据的待覆盖区域，并返回步骤203继续执行。
其中，如果第一待写入数据为缓存获得的一个数据块，第一存储设备中可以预先划分多个与数据块大小一致的存储区域进行管理，待覆盖区域为预先划分获得的一个存储区域，因此可以确定与待覆盖区域的下一个存储区域。
当然，第一待写入数据为请求写入的数据对象时，待覆盖区域相邻的下一个存储区域也可以是指根据第一待写入数据的数据大小，从待覆盖区域的结束位置开始确定的一个存储区域。
205：将所述待覆盖区域作为满足淘汰条件的第一覆盖区域。
206：将所述第一待写入数据覆盖写入所述第一覆盖区域。
本实施例中，通过寻找满足淘汰条件的第一覆盖区域，可以跳过未满足淘汰条件的存储区域，而将第一待写入数据覆盖写入满足淘汰条件的第一覆盖区域中，以此避免数据重写，因此可以大大降低了设备IO量，提高设备性能，提高缓存命中率。
作为一种可选方式，该淘汰条件可以是指访问热度低于淘汰阈值。
所述判断所述待覆盖区域是否满足淘汰条件可以包括：
确定所述待覆盖区域的访问热度；
判断所述待覆盖区域的访问热度是否低于淘汰阈值。
其中，所述确定所述待覆盖区域的访问热度包括：
根据针对所述待覆盖区域的访问次数，确定所述待覆盖区域的访问热度。
该访问热度可以具体即是指访问次数，例如，从0开始，待覆盖区域每接收到一次访问，访问热度即加1。可选地，可以根据预定时间段内对待覆盖区域的访问次数确定，可以理解的是，对待覆盖区域的访问也即是指对待覆盖区域中存储数据的访问。
作为另一种可选方式，该淘汰条件可以是指标记有冷数据标识。
所述判断所述待覆盖区域是否满足淘汰条件可以包括：
判断所述待覆盖区域是否设置有冷数据标记；其中，如果所述待覆盖区域标记有冷数据标识则确定所述第一存储数据满足淘汰条件，如果所述待覆盖区域标记有温数据标识则确定所述第一存储数据未满足所述淘汰条件；其中，所述待覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识，否则标记所述第一覆盖区域为温数据标识。
其中，第一存储设备可以预先划分为多个存储区域；第一待写入数据为缓存获得的一个数据块，存储区域与数据块的数据大小一致。
所述多个存储区域可以预先按照如下方式进行标记：
记录每个存储区域的访问次数，以确定每个存储区域的访问热度；
如果任一个存储区域的访问热度低于所述淘汰阈值，标记所述任一个存储区域为冷数据标识，否则标记所述任一个存储区域为温数据标识。
标记为冷数据标识的存储区域中的存储数据可以淘汰，标记为温数据标识的存储区域中的存储数据可以保留，因此寻找第一覆盖区域时，可以跳过标记有温数据标识的存储区域，而寻找标记有冷数据标识的存储区域作为第一覆盖区域。
本申请实施例的技术方案在一个实际应用中可以应用于cache场景中，例如在CDN系统中，每个CND服务器可以采用cache方式将从源服务获取的数据缓存至本地存储设备中。
如图3中所示，为CDN系统中的部分结构示意图，图3中，CDN服务器301对应的CDN客户端302基于用户访问请求(图3中仅示出了其中一个CDN服务对应的CDN客户端，CDN服务器与其对应的CDN客户端位于同一服务区域)，向CDN服务器301请求获取的访问数据，如果CDN服务器301本地缓存有访问数据，则直接将访数据反馈给CDN客户端，而如果CDN服务器301中不存在该请求访问的访问数据，则需要从源服务器303请求获取访问数据，为了方便后续访问，CDN服务器301即可以将从源服务器303获取的访问数据cache在本地存储系统304中。
由于采用循环写的方式，将覆盖的已存储数据全部淘汰，后续如果需要再次访问，只能重新从源服务器拉取，并且再次进行缓存，不仅影响数据访问效率，且需要数据重写，增加了设备IO量，影响设备性能。
需要说明的是，为了方便理解，图3中仅示出了部分CDN服务器，本领域技术人员可以理解的是，CDN系统中通常会包括多个CDN服务器，分别部署在不同服务区域中，每一个CDN服务器均可以采用cache方式将从源服务获取的数据缓存至本地存储设备中。
而为了方便数据管理，避免大小不一致的数据写入，每个数据访问请求对应的请求访问的数据作为一个数据对象，不会直接写入存储设备中，而是先写入预定大小的缓存单元中，每一个缓存单元写满之后，即形成一个数据块，再将数据块写入存储设备中，存储设备也可以对应划分与数据块的数据大小一致的存储区域，每个存储区域用以存储一个数据块，以方便数据管理。
因此，在某些实施例中，所述确定第一待写入数据可以包括：
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；
将每个数据块作为所述第一待写入数据。
其中，图3中，作为一种可能的实现方式，存储系统304可以包括第一存储设备。第一存储设备可以缓存从源服务获取的数据。
因此，在某些实施例中，所述将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块可以包括：
接收数据访问请求；
判断所述第一存储设备中是否存储所述数据访问请求对应的数据对象；
如果所述第一存储设备中未存储所述任一个数据访问请求对应的数据对象，从数据源获取所述数据访问请求对应的数据对象；
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块。
其中，在CDN系统中，该数据源即是指源服务器。
也即如果任一个数据访问请求对应的数据对象未存储在第一存储设备中，则可以从数据源获取其对应的数据对象。该数据对象即可以写入缓存单元中。每一个写满的缓存单元即可以获得一个数据块。每一个数据块即可以作为一个第一待写入数据。
此外，在cache场景下，为了提高cache命中率，通常会采用两级cache方案，也即图3中的存储系统可以设置两个存储设备，第一存储设备以及第二存储设备，因此，所述将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块可以包括：
接收数据访问请求；
判断所述第一存储设备或所述第二存储设备中是否存储所述数据访问请求对应的数据对象；
如果所述第一存储设备以及所述第二存储设备中均未存储所述任一个数据访问请求对应的数据对象，从数据源获取所述数据访问请求对应的数据对象；
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块。
此外，在两级cache场景下，第二存储设备的性能可以优于第一存储设备的性能，例如第二存储设备可以采用性能较好的固态硬盘，而第一存储设备可以采用机械硬盘，数据访问请求对应的数据对象可以首先写入第二存储设备中，第二存储设备淘汰的数据可以首先淘汰至第一存储设备中，第一存储设备淘汰的数据再彻底删除，以此进一步保证缓存命中率。
因此，在一种可能的实现方式中，第一待写入数据也可以是指从第二存储设备的淘汰数据。
在某些实施例中，所述确定第一待写入数据可以包括：
确定第二待写入数据对应第二存储设备的第二覆盖区域；
读取所述第二覆盖区域中的存储数据；
将所述第二待写入数据覆盖写入所述第二覆盖区域；
将所述存储数据写入至少一个预定大小的缓存单元中，获得至少一个数据块；
将每一个数据块分别作为所述第一待写入数据。
第二存储设备可以为固态硬盘，固态硬盘存储速度快、功耗低、因此将存储数据读取并不会影响其设备性能，读取的存储数据也即为第二待写入数据覆盖写入之后被第二存储设备淘汰的数据，该存储数据可以淘汰至第一存储设备中，因此可以将其写入至少一个预定大小的缓存单元中，获得至少一个数据块；将每一个数据块分别作为所述第一待写入数据，再写入第一存储设备中。
此外，为了进一步降低第一存储设备的IO量，可以对存储数据进行判断，因此，作为又一个实施例，所述确定第一待写入数据可以包括：
确定第二待写入数据对应第二存储设备的第二覆盖区域；
读取所述第二覆盖区域中的存储数据；
将所述第二待写入数据覆盖写入所述第二覆盖区域；
确定所述存储数据中满足淘汰需求的至少一个数据对象；
将所述至少一个数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；
将每一个数据块分别作为所述第一待写入数据。
其中，每个数据对象也即对应一个数据访问请求。第二覆盖区域中的存储数据也即包括至少一个数据访问请求分别对应的数据对象。
通过对存储数据中的数据对象进行判断，仅将满足淘汰需求的至少一个数据对象写入第一存储设备中，而无需将所有存储数据均写入第一存储设备，既可以降低第一存储设备的写IO量，同时可以保留未满足淘汰需求的数据对象，以避免重写，同时也降低了第二存储设备的写IO量。
其中，该淘汰需求可以是指历史访问次数小于预设次数，或者属于预定对象标识的数据对象。也即对每个数据对象也可以统计访问次数，此外还可以根据数据对象的对象标识进行判断，如果数据对象的对象标识为预定对象标识，则可以认为该数据对象满足淘汰需求，可以进行淘汰。预定对象标识可以预先设定。
可选地，在两级cache场景下，数据访问请求对应的数据对象可以首先写入第二存储设备中，因此，该第二待写入数据也即可以是指数据访问请求对应的数据对象。
作为一种可选方式，所述确定第二待写入数据对应第二存储设备的第二覆盖区域之前，所述还可以包括：
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；
将每个数据块作为所述第一待写入数据。
可选地，将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块可以包括：
接收数据访问请求；
判断所述第一存储设备或所述第二存储设备中是否存储所述数据访问请求对应的数据对象；
如果所述第一存储设备以及所述第二存储设备中均未存储所述数据访问请求对应的数据对象，从数据源获取所述数据访问请求对应的数据对象；
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块。
图4为本申请实施例提供的一种数据处理装置一个实施例的结构示意图，该装置可以包括：
数据确定模块401，用于确定第一待写入数据。
区域寻找模块402，用于从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域。
数据写入模块402，用于将所述第一待写入数据覆盖写入所述第一覆盖区域。
作为一种可选方式，所述区域寻找模块可以具体用于从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找访问热度低于淘汰阈值的第一覆盖区域。
作为另一种可选方式，所述区域寻找模块可以具体用于从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找标记有冷数据标识的第一覆盖区域；其中，所述第一覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识。在某些实施例中，所述区域寻找模块可以包括：
区域确定子模块，用于从前一次覆盖写操作的结束位置开始，在第一存储设备中确定所述第一待写入数据的待覆盖区域；
判断子模块，用于判断所述待覆盖区域是否满足淘汰条件，如果是触发所述区域确定子模块将所述待覆盖区域相邻的下一个存储区域作为所述第一待写入数据的待覆盖区域；如果否，触发所述区域确定子模块将所述待覆盖区域作为满足淘汰条件的第一覆盖区域。
在某些实施例中，所述判断子模块用于判断所述待覆盖区域是否满足淘汰条件包括：
确定所述待覆盖区域的访问热度；
判断所述待覆盖区域的访问热度是否低于淘汰阈值。
在某些实施例中，所述判断子模块确定所述待覆盖区域的访问热度具体是根据针对所述待覆盖区域的访问次数，确定所述待覆盖区域的访问热度。
在某些实施例中，所述判断子模块判断所述待覆盖区域是否满足淘汰条件包括：
判断所述待覆盖区域是否设置有冷数据标记；其中，如果所述待覆盖区域标记有冷数据标识则确定所述第一存储数据满足淘汰条件，如果所述待覆盖区域标记有温数据标识则确定所述第一存储数据未满足所述淘汰条件；其中，所述待覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识，否则标记所述第一覆盖区域为温数据标识。
其中，所述第一存储设备预先划分为多个存储区域；
所述装置还可以包括：
标记模块，用于记录每个存储区域的访问次数，以确定每个存储区域的访问热度；如果任一个存储区域的访问热度低于所述淘汰阈值，标记所述任一个存储区域为冷数据标识，否则标记所述任一个存储区域为温数据标识。
在某些实施例中，所述数据确定模块可以具体用于将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；将每个数据块作为所述第一待写入数据。
可选地，所述数据确定模块将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块可以具体包括：
接收数据访问请求；
判断所述第一存储设备中是否存储所述数据访问请求对应的数据对象；
如果所述第一存储设备中未存储所述数据访问请求对应的数据对象，从数据源获取所述数据访问请求对应的数据对象；
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块。
在某些实施例中，所述数据确定模块可以具体用于确定第二待写入数据对应第二存储设备的第二覆盖区域；
读取所述第二覆盖区域中的存储数据；
将所述第二待写入数据覆盖写入所述第二覆盖区域；
确定所述存储数据中满足淘汰需求的至少一条数据对象；
将所述至少一条数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；
将每一个数据块分别作为所述第一待写入数据。
可选地，所述数据确定模块确定第二待写入数据对应第二存储设备的第二覆盖区域可以具体用于将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；将每个数据块作为所述第二待写入数据。
本实施例中，通过寻找满足淘汰条件的第一覆盖区域，可以跳过未满足淘汰条件的存储区域，而将第一待写入数据覆盖写入满足淘汰条件的第一覆盖区域中，以此避免数据重写，因此可以大大降低了设备IO量，提高设备性能，提高缓存命中率。
图4所述的数据处理装置可以执行图1～图2任一项实施例所述的数据处理方法，其实现原理和技术效果不再赘述。对于上述实施例中的数据处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
在一个可能的设计中，图4所示实施例的数据处理装置可以实现为计算设备，在CDN中，该计算设备可以作为CDN服务器，如图5所示，该计算设备可以包括存储组件501以及处理组件502；
其中，存储组件501存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件502调用并执行。
所述处理组件502用于：
确定第一待写入数据；
从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域；
将所述第一待写入数据覆盖写入所述第一覆盖区域。
可选地，该处理组件502可以用于执行上述任一实施例所述的数据方法。
其中，处理组件502可以包括一个或多个处理器来执行计算机指令，以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
存储组件501被配置为存储各种类型的数据以支持在计算设备的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
当然，计算设备必然还可以包括其他部件，例如输入/输出接口、通信组件等。
输入/输出接口为处理组件和外围接口模块之间提供接口，上述外围接口模块可以是输出设备、输入设备等。
通信组件被配置为便于计算设备和其他设备之间有线或无线方式的通信等。
本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现上述图1～图2任一实施例所述的数据处理方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (14)

1.一种数据处理方法，其特征在于，包括：
确定第一待写入数据，所述第一待写入数据包括将请求写入的数据写入缓存单元而转换形成的数据块；
从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域，所述第一存储设备可以预先划分为多个与所述数据块大小一致的存储区域，以便于将所述第一待写入数据写入至少一个所述存储区域；所述在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括:如果任一个存储区域不满足淘汰条件，跳过该存储区域，继续判断相邻的下一个存储区域直至获得该满足淘汰条件的第一覆盖区域；
将所述第一待写入数据覆盖写入所述第一覆盖区域。
2.根据权利要求1所述的方法，其特征在于，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：
从前一次覆盖写操作的结束位置开始，在第一存储设备中确定所述第一待写入数据的待覆盖区域；
判断所述待覆盖区域是否满足淘汰条件；
如果否，将所述待覆盖区域相邻的下一个存储区域继续作为所述第一待写入数据的待覆盖区域，并返回执行所述判断所述待覆盖区域是否满足淘汰条件；
如果是，将所述待覆盖区域作为满足淘汰条件的第一覆盖区域。
3.根据权利要求1所述的方法，其特征在于，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：
从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找访问热度低于淘汰阈值的第一覆盖区域。
4.根据权利要求1所述的方法，其特征在于，所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：
从前一次覆盖写操作的结束位置开始，在第一存储设备中寻找标记有冷数据标识的第一覆盖区域；其中，所述第一覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识。
5.根据权利要求2所述的方法，其特征在于，所述判断所述待覆盖区域是否满足淘汰条件包括：
确定所述待覆盖区域的访问热度；
判断所述待覆盖区域的访问热度是否低于淘汰阈值。
6.根据权利要求5所述的方法，其特征在于，所述确定所述待覆盖区域的访问热度包括：
根据针对所述待覆盖区域的访问次数，确定所述待覆盖区域的访问热度。
7.根据权利要求2所述的方法，其特征在于，所述判断所述待覆盖区域是否满足淘汰条件包括：
判断所述待覆盖区域是否设置有冷数据标记；其中，如果所述待覆盖区域标记有冷数据标识则确定第一存储数据满足淘汰条件，如果所述待覆盖区域标记有温数据标识则确定所述第一存储数据未满足所述淘汰条件；其中，所述待覆盖区域的访问热度低于淘汰阈值时标记所述第一覆盖区域为冷数据标识，否则标记所述第一覆盖区域为温数据标识。
8.根据权利要求7所述的方法，其特征在于，所述第一存储设备预先划分为多个存储区域；
所述多个存储区域预先按照如下方式进行标记：
记录每个存储区域的访问次数，以确定每个存储区域的访问热度；
如果任一个存储区域的访问热度低于所述淘汰阈值，标记所述任一个存储区域为冷数据标识，否则标记所述任一个存储区域为温数据标识。
9.根据权利要求1所述的方法，其特征在于，所述确定第一待写入数据包括：
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；
将每个数据块作为所述第一待写入数据。
10.根据权利要求9所述的方法，其特征在于，所述将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块包括：
接收数据访问请求；
判断所述第一存储设备中是否存储所述数据访问请求对应的数据对象；
如果所述第一存储设备中未存储所述数据访问请求对应的数据对象，从数据源获取所述数据访问请求对应的数据对象；
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块。
11.根据权利要求1所述的方法，其特征在于，所述确定第一待写入数据包括：
确定第二待写入数据对应第二存储设备的第二覆盖区域；
读取所述第二覆盖区域中的存储数据；
将所述第二待写入数据覆盖写入所述第二覆盖区域；
确定所述存储数据中满足淘汰需求的至少一条数据对象；
将所述至少一条数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；
将每一个数据块分别作为所述第一待写入数据。
12.根据权利要求11所述的方法，其特征在于，所述确定第二待写入数据对应第二存储设备的第二覆盖区域之前，所述方法还包括：
将至少一个数据访问请求分别对应的数据对象写入至少一个预定大小的缓存单元中，获得至少一个数据块；
将每个数据块作为所述第二待写入数据。
13.一种数据处理装置，其特征在于，包括：
数据确定模块，用于确定第一待写入数据，所述第一待写入数据包括将请求写入的数据写入缓存单元而转换形成的数据块；
区域寻找模块，用于从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域，所述第一存储设备可以预先划分为多个与所述数据块大小一致的存储区域，以便于将所述第一待写入数据写入至少一个所述存储区域；所述区域寻找模块具体用于：如果任一个存储区域不满足淘汰条件，跳过该存储区域，继续判断相邻的下一个存储区域直至获得该满足淘汰条件的第一覆盖区域；
数据写入模块，用于将所述第一待写入数据覆盖写入所述第一覆盖区域。
14.一种计算设备，其特征在于，包括存储组件和处理组件；其中，
所述存储组件用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件调用执行；
所述处理组件用于：
确定第一待写入数据，所述第一待写入数据包括将请求写入的数据写入缓存单元而转换形成的数据块；
从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域，所述第一存储设备可以预先划分为多个与所述数据块大小一致的存储区域，以便于将所述第一待写入数据写入至少一个所述存储区域；所述从前一次写操作的结束位置开始，在第一存储设备中寻找满足淘汰条件的第一覆盖区域包括：如果任一个存储区域不满足淘汰条件，跳过该存储区域，继续判断相邻的下一个存储区域直至获得该满足淘汰条件的第一覆盖区域；
将所述第一待写入数据覆盖写入所述第一覆盖区域。
CN201810758992.2A 2018-07-11 2018-07-11 数据处理方法、装置及计算设备 Active CN110716689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810758992.2A CN110716689B (zh) 2018-07-11 2018-07-11 数据处理方法、装置及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810758992.2A CN110716689B (zh) 2018-07-11 2018-07-11 数据处理方法、装置及计算设备

Publications (2)

Publication Number Publication Date
CN110716689A CN110716689A (zh) 2020-01-21
CN110716689B true CN110716689B (zh) 2023-05-26

Family

ID=69209050

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810758992.2A Active CN110716689B (zh) 2018-07-11 2018-07-11 数据处理方法、装置及计算设备

Country Status (1)

Country Link
CN (1) CN110716689B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488626A (zh) * 2020-04-09 2020-08-04 腾讯科技（深圳）有限公司 基于区块链的数据处理方法、装置、设备及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862475A (zh) * 2005-07-15 2006-11-15 华为技术有限公司 磁盘阵列缓存的管理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2811784B1 (fr) * 2000-07-17 2002-10-11 Cit Alcatel Dispositif de gestion de memoire permettant l'inscription de blocs de donnees par substitution
CN103631528B (zh) * 2012-08-21 2016-05-18 苏州捷泰科信息技术有限公司 用固态硬盘作为缓存器的读写方法、系统及读写控制器
CN104111900B (zh) * 2013-04-22 2017-06-20 中国移动通信集团公司 一种缓存中数据替换方法及装置
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN104516471B (zh) * 2013-09-27 2017-04-12 国际商业机器公司 一种管理存储器系统的电源的方法和装置
CN105224473A (zh) * 2015-09-15 2016-01-06 浪潮(北京)电子信息产业有限公司 一种固态硬盘缓存数据的更新方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1862475A (zh) * 2005-07-15 2006-11-15 华为技术有限公司 磁盘阵列缓存的管理方法

Also Published As

Publication number Publication date
CN110716689A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
US11372771B2 (en) Invalidation data area for cache
US9164676B2 (en) Storing multi-stream non-linear access patterns in a flash based file-system
CN104115134B (zh) 用于管理对复合数据存储设备进行访问的方法和系统
TWI684099B (zh) 剖析快取替代
US9645922B2 (en) Garbage collection in SSD drives
CN107870732B (zh) 从固态存储设备冲刷页面的方法和设备
CN112328185B (zh) 一种基于分布式存储的智能预读方法
US20220398201A1 (en) Information processing apparatus and method
CN107197359B (zh) 视频文件缓存方法及装置
CN107408079A (zh) 带有一致单元的多级别系统存储器的存储器控制器
JP2020531994A5 (zh)
CN104967807B (zh) 一种缓存方法和装置
US10585642B2 (en) System and method for managing data in a ring buffer
CN110377572A (zh) 一种缓存空间管理方法、装置、设备及介质
CN110716689B (zh) 数据处理方法、装置及计算设备
US9892038B2 (en) Method, apparatus, and system for data caching
CN115712583B (zh) 一种提升分布式缓存跨节点访问性能的方法及装置、介质
CN106649143B (zh) 一种访问缓存的方法、装置及电子设备
CN110019362B (zh) 一种访问数据库的方法及装置
US10949359B2 (en) Optimizing cache performance with probabilistic model
CN115080459A (zh) 缓存管理方法及装置、计算机可读存储介质
US10802980B1 (en) Caching assets in a multiple cache system
KR101463333B1 (ko) 자원의 타입에 기초한 웹 브라우저 정보 캐싱 장치 및 방법
CN110825652A (zh) 淘汰磁盘块上的缓存数据的方法、装置及设备
US9223708B2 (en) System, method, and computer program product for utilizing a data pointer table pre-fetcher

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant