CN115981555A - 一种数据处理方法、装置、电子设备及介质 - Google Patents

一种数据处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN115981555A
CN115981555A CN202211649937.2A CN202211649937A CN115981555A CN 115981555 A CN115981555 A CN 115981555A CN 202211649937 A CN202211649937 A CN 202211649937A CN 115981555 A CN115981555 A CN 115981555A
Authority
CN
China
Prior art keywords
data
cache
target
level
cache data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211649937.2A
Other languages
English (en)
Inventor
郭先宇
苏俊康
陈振轩
李程娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN202211649937.2A priority Critical patent/CN115981555A/zh
Publication of CN115981555A publication Critical patent/CN115981555A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本申请实施例公开了一种数据处理方法、装置、电子设备及介质。其中,该方法通过对于目标层级缓存数据,确定缓存数据的缓存头数据;其中,缓存头数据中包括缓存数据的存储信息;其中,目标层级为除一级之外层级;将缓存头数据中包含的缓存数据的特征数据以及索引链表节点存储于内存中,将缓存头数据中包含的位图数据处理于第一存储区域中;其中,索引链表用于表示缓存数据与存储位置的对应关系,位图数据用于表示缓存数据的有效性;第一存储区域用于存储目标层级缓存数据。本技术方案,以实现对缓存头数据的结构进行优化,节省缓存头数据占用的内存空间,提高对大容量缓存数据的处理效率和速度。

Description

一种数据处理方法、装置、电子设备及介质
技术领域
本申请涉及计算机系统结构技术领域,尤其涉及一种数据处理方法、装置、电子设备及介质。
背景技术
随着科技的发展和计算机技术在各行各业的普及,数据呈现出爆发性的增长,而规模庞大的数据需要由性能强大的系统来支撑和处理。
目前,通常采用缓存技术以增强系统性能。然而,若以系统的内存作为缓存,其容量往往有限,无法满足大量数据的要求。在很多情况下系统的性能瓶颈仍然取决于存储设备。对于存储设备来说,若采用成本比较低的机械硬盘作为存储设备,则其数据传输速率无法满足业务的需求,若采用数据传输速率较高的SSD(Solid State Disk,固态硬盘)等作为存储设备则其成本过于高昂。
因此,如何提供一种高性价比的数据缓存方案,是本领域技术人员亟待解决的技术问题。
发明内容
本申请提供了一种数据处理方法、装置、电子设备及介质,以实现对缓存头数据的结构进行优化,节省缓存头数据占用的内存空间,提高对大容量缓存数据的处理效率和速度。
根据本申请的一方面,提供了一种数据处理方法,该方法包括:
对于目标层级缓存数据,确定所述缓存数据的缓存头数据;其中,所述缓存头数据中包括所述缓存数据的存储信息;其中,目标层级为除一级之外层级;
将所述缓存头数据中包含的所述缓存数据的特征数据以及索引链表节点存储于内存中,将所述缓存头数据中包含的位图数据处理于第一存储区域中;
其中,所述索引链表用于表示所述缓存数据与存储位置的对应关系,所述位图数据用于表示所述缓存数据的有效性;第一存储区域用于存储目标层级缓存数据。
根据本申请的另一方面,提供了一种数据处理装置,该装置包括:
缓存头数据确定模块,用于对于目标层级缓存数据,确定所述缓存数据的缓存头数据;其中,所述缓存头数据中包括所述缓存数据的存储信息;其中,目标层级为除一级之外层级;
缓存头数据调整模块,用于将所述缓存头数据中包含的所述缓存数据的特征数据以及索引链表节点存储于内存中,将所述缓存头数据中包含的位图数据处理于第一存储区域中;
其中,所述索引链表用于表示所述缓存数据与存储位置的对应关系,所述位图数据用于表示所述缓存数据的有效性;第一存储区域用于存储目标层级缓存数据。
根据本申请的另一方面,提供了一种电子设备,该设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请任一实施例所述的数据处理方法。
根据本申请的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本申请任一实施例所述的数据处理方法。
本申请实施例的技术方案,通过对于目标层级缓存数据,确定缓存数据的缓存头数据;其中,缓存头数据中包括缓存数据的存储信息;其中,目标层级为除一级之外层级;将缓存头数据中包含的缓存数据的特征数据以及索引链表节点存储于内存中,将缓存头数据中包含的位图数据处理于第一存储区域中;其中,索引链表用于表示缓存数据与存储位置的对应关系,位图数据用于表示缓存数据的有效性;第一存储区域用于存储目标层级缓存数据。本技术方案,以实现对缓存头数据的结构进行优化,节省缓存头数据占用的内存空间,提高对大容量缓存数据的处理效率和速度。
应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种数据处理方法的流程图;
图2为本申请实施例二提供的一种数据处理方法的流程图;
图3a为本申请实施例二提供的一种读缓存块的传统结构示意图;
图3b为本申请实施例二提供的一种读缓存块的优化结构示意图;
图4为本申请实施例三提供的一种数据处理方法的流程图;
图5a为本申请实施例三提供的一种写缓存块的传统结构示意图;
图5b为本申请实施例三提供的一种写缓存块的优化结构示意图;
图5c为本申请实施例三提供的另一种写缓存块的优化结构示意图
图6为本申请实施例四提供的一种数据处理方法的流程图;
图7为本申请实施例四提供的目标数据读命中的流程图;
图8为本申请实施例五提供的一种数据处理方法的流程图;
图9为本申请实施例六提供的一种数据处理装置的结构示意图;
图10是实现本申请实施例的一种数据处理方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“候选”、“目标”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本申请实施例一提供的一种数据处理方法的流程图,本实施例可适用于对存储设备进行优化的情况,该方法可以由数据处理装置来执行,该数据处理装置可以采用硬件和/或软件的形式实现,该数据处理装置可配置于具有数据处理能力的电子设备中。如图1所示,该方法包括:
S110、对于目标层级缓存数据,确定所述缓存数据的缓存头数据。其中,所述缓存头数据中包括所述缓存数据的存储信息;其中,目标层级为除一级之外层级。
其中,缓存数据可为存储于缓存区中的数据,可先于内存与CPU进行交换,解决CPU运算速度与内存速度不匹配的矛盾,以提高CPU的运行效率。为了提高缓存数据的命中率,通常会设置多层级缓存区。具体的,缓存通常可包括一级缓存区、二级缓存区和三级缓存区。其中,一级缓存区可内置在CPU内部并与CPU同速运行,但由于一级缓存区受到CPU内部结构的限制,可缓存的一级缓存数据容量较小;二级缓存区可为内存和一级缓存区之间数据临时交换的缓冲存储器,二级缓存区可缓存的容量一般比一级缓存可缓存的容量更大;三级缓存区可为一级缓存区和二级缓存区之间数据临时交换的缓冲存储器。当前,本发明实施例对缓存的层级不作限定,可根据实际需要进行确定。
在CPU对某个数据进行读取时,首先对一级缓存区中的一级缓存数据进行访问,若一级缓存数据未被命中,则按照层级顺序依次向下访问。只有当各级缓存区中的缓存数据均未被命中时,CPU才对底层磁盘中的数据进行调用。这样可进一步提高缓存数据的命中率,进而降低底层磁盘的调用率,提升CPU性能和系统运行流畅度。
在本发明实施例中,目标层级缓存数据可为二级缓存数据或三级缓存数据等除一级缓存数据之外的缓存数据。其中,缓存区通常使用普通的机械硬盘、SSD、闪存盘或其他读写速度较快的永续性存储设备。
其中,目标层级缓存数据可由若干个缓存块组成,缓存块可为由若干个连续排列的字节所组成的区域,缓存头数据可为缓存块的管理结构数据。其中,缓存头数据存储于内存中,可用于存储缓存块中缓存数据的存储信息。在本发明实施例中,缓存数据的存储信息可包括缓存数据的特征数据、索引链表节点和位图数据等。需要说明的是,还可根据目标层级缓存数据的功能属性,将目标层级缓存数据分为读缓存数据和写缓存数据。
在本发明实施例中,可根据目标层级缓存数据的索引链表节点等,在内存中查找与索引链表节点对应的目标层级缓存数据的缓存头数据。
S120、将所述缓存头数据中包含的所述缓存数据的特征数据以及索引链表节点存储于内存中,将所述缓存头数据中包含的位图数据处理于第一存储区域中。其中,所述索引链表用于表示所述缓存数据与存储位置的对应关系,所述位图数据用于表示所述缓存数据的有效性;第一存储区域用于存储目标层级缓存数据以及目标层级缓存数据的缓存头数据。
其中,特征数据可为用于唯一表征缓存块属性的数据。例如,可以是LBA(LogicalBlock Address,逻辑区块地址)或LUN(Logical Unit Number Device,逻辑单元号)的ID等。其中,LBA可为缓存块的地址或是某个地址所指向的缓存块,可用于判断冲突缓存块;LUN ID可为缓存块数据所在存储区域的编号,可用于判断冲突缓存块。
其中,索引链表可用于表示所述缓存数据与存储位置的对应关系,索引链表节点可用于判断数据是否被命中。需要说明的是,不同缓存数据的特征数据可能相同,即同一索引链表节点上可挂载多个缓存数据,此时索引链表节点也为一个链表。例如,索引链表节点可为哈希链表节点,也可为LUN链表节点。当索引链表节点可为哈希链表节点时,缓存数据的特征数据可为通过哈希算法进行计算后得到的值。
其中,位图数据可用于表示缓存数据的有效性。具体的,位图数据可以通过比特位bit的值进行表示,例如,bit值为1表示缓存数据有效,bit值为0表示缓存数据无效。示例性的,用一个bit代表一个扇区,若bit位的值为1表示该扇区数据有效,bit值为0表示该扇区数据无效。
需要说明的是,传统的缓存头数据通常存储于内存中,其中,缓存头数据所占用的内存空间主要用于存储位图数据。一般情况下,最大支持缓存块大小为512KB,若缓存头数据中的位图数据用一个bit代表一个扇区,一个扇区为512Bytes,那么512KB的缓存块需要1024个bit进行表示,由于1Byte为8bits,则512KB的缓存块中位图数据将占用128Bytes,这样会占用很大的内存空间,导致CPU性能下降。
一般情况下,目标层级读缓存数据由上一层级读缓存数据刷新淘汰得到。在由上一层级读缓存数据刷新淘汰至目标层级读缓存数据时,每个缓存块均为满块,即缓存块中各数组的有限性均为有效,则在此情况下目标层级读缓存数据不需要位图数据。
鉴于上述问题,本发明实施例通过将缓存头数据中包含的缓存数据的特征数据以及索引链表节点存储于内存中,将缓存头数据中包含的位图数据处理于第一存储区域中,以减少缓存头数据中位图数据所占用的内存空间。其中,第一存储区域用于存储目标层级缓存数据,可以是除内存之外的大容量存储区域。例如第一存储区域可以是由多个SSD组成的RAID(Redundant Array of Independent Disks,独立冗余磁盘阵列)。
本发明实施例提供了一种数据处理方法,该方法通过对于目标层级缓存数据,确定缓存数据的缓存头数据;将缓存头数据中包含的缓存数据的特征数据以及索引链表节点存储于内存中,将缓存头数据中包含的位图数据处理于第一存储区域中。本技术方案,以实现对缓存头数据的结构进行优化,节省缓存头数据占用的内存空间,提高对大容量缓存数据的处理效率和速度。
实施例二
图2为本申请实施例二提供的一种数据处理方法的流程图,本实施例以上述实施例为基础,对目标层级缓存数据为读缓存数据时的数据处理方法进行优化。如图2所示,本实施例的方法具体包括如下步骤:
S210、若目标层级缓存数据为读缓存数据,则从所述第一存储区域中读取所述缓存数据的特征数据。
其中,读缓存数据存储在读缓存块中。当读缓存数据在被刷新或者关闭系统时,读缓存数据将被直接丢弃,不需要支持刷新功能。因此,读缓存块的缓存头数据只需支持命中功能即可。需要说明的是,命中功能可通过索引链表节点进行确定;在确定命中之后,可通过缓存数据的特征数据确定冲突缓存块。在本发明实施例中,可通过从第一存储区域中读取读缓存数据的特征数据,以解决同一索引链表节点中冲突缓存块的问题。
在本发明实施例中,可根据索引链表节点,从第一存储区域中确定与索引链表节点对应的读缓存块,并读取该读缓存块中存储的读缓存数据以及读缓存数据的特征数据。
S220、将所述特征数据处理于内存中,并将所述缓存数据的索引链表节点保留存储于内存中。
具体的,根据索引链表中缓存数据与存储位置的对应关系,将读缓存数据的特征数据保存至内存中相应位置处;读缓存数据的索引链表节点保留存储于内存中。
图3a为本申请实施例二提供的一种读缓存块的传统结构示意图。如图3a所示,传统的读缓存块数据包括读缓存数据的特征数据、位图数据BitMap和索引链表节点ListNode;其中,缓存数据的特征数据可为LBA、LUN ID等。
图3b为本申请实施例二提供的一种读缓存块的优化结构示意图。如图3b所示,传统的读缓存块数据包括读缓存数据的特征数据、和List Node;其中,缓存数据的特征数据可为LBA、LUN ID等。在本发明实施例中,可根据第一存储区域内缓存块中存储的信息,只提取读缓存数据的LBA和LUN ID等特征数据。
S230、将所述缓存数据的位图数据保留存储于所述第一存储区域中。
需要说明的是,一般情况下,目标层级读缓存数据由上一层级读缓存数据刷新淘汰得到,且被刷新淘汰的上一层级读缓存数据只有在满块的情况下会被刷新淘汰,即使不是满块也会填充成满块后再被刷新淘汰至目标层级,因此可以保证目标层级读缓存数据均为满块。
鉴于上述情况,由于目标层级读缓存数据均为满块,即缓存数据的位图数据均为有效,因此目标层级读缓存数据的位图数据可不必保存在目标层级读缓存块中,可保留存储于第一存储区域中,以节省目标层级读缓存块的内存空间。例如,可将目标层级读缓存数据的位图数据保留存储于RAID SSD阵列中。
本发明实施例提供了一种数据处理方法,该方法通过若缓存数据为读缓存数据,则从第一存储区域中读取缓存数据的特征数据;将特征数据处理于内存中,并将缓存数据的索引链表节点保留存储于内存中;将缓存数据的位图数据保留存储于第一存储区域中。本技术方案,以实现对读缓存块的缓存头数据的结构进行优化,避免缓存头数据中位图数据对内存空间的影响,提高对大容量缓存数据的处理效率和速度。
实施例三
图4为本申请实施例三提供的一种数据处理方法的流程图,本实施例以上述实施例为基础,对目标层级缓存数据为写缓存数据时的数据处理方法进行优化。如图4所示,本实施例的方法具体包括如下步骤:
S310、若目标层级缓存数据为写缓存数据,且所述缓存数据未满足预设条件,则构建所述缓存数据的索引链表节点以及候选刷新链表节点。其中,所述候选刷新链表节点用于表示不进行刷新的缓存数据与存储位置的对应关系;其中,所述缓存头数据中包括所述缓存数据的存储信息;其中,目标层级为除一级之外层级。
其中,写缓存块可用于读取和写入数据,因此需要具备刷新和命中两种功能。需要说明的是,所有的写缓存块均需参与命中以用于数据查找,但不是所有的写缓存块都需要参与刷新,只有当满足预设条件时写缓存块才需参与刷新。
鉴于上述问题,本发明实施例将写缓存块中的刷新功能和命中功能分开处理,即分别确定仅参与命中的写缓存块和必需参与刷新和命中的写缓存块的缓存头数据。本发明实施例主要针对仅参与命中的写缓存块的缓存头数据的确定方法进行解释。
其中,预设条件可根据刷新的方式进行确定。具体的,预设条件可以是写缓存块的占用比例,也可以是写缓存块的缓存周期,还可以是写缓存块的访问量。当然,本发明实施例对此不作限定,可根据实际需要进行确定。
在本发明实施例中,为了支持多种刷新方式,写缓存块的缓存头数据可挂载到多个候选刷新链表中,根据不同的预设条件确定刷新方式,在每种刷新方式对应的候选刷新链表中确定合适的写缓存块,以使上一层级写缓存块下刷至目标层级写缓存块中。
需要说明的是,为了支持多种刷新方式,可根据刷新淘汰的个数确定对应的候选刷新链表节点的个数,即若支持n种刷新方式,若存储系统为32位系统,则会占用4nByte的内存空间,若存储系统为64位系统,则会占用8nByte的内存空间。
在本发明实施例中,若目标层级缓存数据为写缓存数据,且写缓存数据未满足预设条件,则此类写缓存块暂时仅需参与命中。为了保证此类写缓存块在未来某个时刻满足预设条件可快速参与刷新,本发明实施例还构建缓存数据的候选刷新链表节点。
具体的,可在目标层级写缓存块被写入数据时,为被写入的目标层级写缓存数据构造命中管理头,并将命中管理头插入至候选刷新链表节点中,以保证目标层级写缓存块在未来某个时刻满足预设条件时可快速参与刷新。需要说明的是,本申请实施例中,所有的目标层级写缓存数据都要参与命中,但并不是所有的目标层级写缓存数据都需要参与刷新,因此将需要参与命中的目标层级写缓存数据的管理头数据与需要参与刷新的目标层级写缓存数据的管理头数据分开设置,只将一部分写缓存目标层级写缓存块设置为需要参与刷新的数据,只为需要参与刷新的目标层级写缓存数据构造刷新管理头数据,进而优化了管理头数据,有效地节省了内存空间。
S320、根据所述缓存数据的特征数据、索引链表节点以及候选刷新链表节点,确定所述缓存数据的缓存头数据。
在本发明实施例中,可将缓存数据的特征数据、索引链表节点以及候选刷新链表节点按照预设顺序进行组合,生成缓存数据的缓存头数据。
具体的,图5a为本申请实施例三提供的一种写缓存块的传统结构示意图。如图5a所示,传统结构中,在内存中存储写缓存数据的特征数据、位图数据和索引链表节点,其中,特征数据可为LBA、LUN ID等。图5b为本申请实施例三提供的一种写缓存块的优化结构示意图。如图5b所示,在内存中存储写缓存数据的特征数据、索引链表节点和候选刷新链表节点Wait Flush Node,其中,特征数据可为LBA、LUN ID等,索引链表节点可为哈希链表节点Hash Node。
S330、将所述缓存头数据中包含的所述缓存数据的特征数据以及索引链表节点存储于内存中,将所述缓存头数据中包含的位图数据处理于第一存储区域中。其中,所述索引链表用于表示所述缓存数据与存储位置的对应关系,所述位图数据用于表示所述缓存数据的有效性;第一存储区域用于存储目标层级缓存数据。
本发明实施例提供了一种数据处理方法,该方法通过若目标层级缓存数据为写缓存数据,且缓存数据未满足预设条件,则构建缓存数据的索引链表节点以及候选刷新链表节点;根据缓存数据的特征数据、索引链表节点以及候选刷新链表节点,确定缓存数据的缓存头数据;将缓存头数据中包含的缓存数据的特征数据以及索引链表节点存储于内存中,将缓存头数据中包含的位图数据处理于第一存储区域中。本技术方案,以实现对仅参与命中的写缓存头数据的结构进行优化,在保证此类写缓存头数据在满足预设条件时还可继续刷新的情况下,节省写缓存头数据占用的内存空间,进一步提高对大容量缓存数据的处理效率和速度。
在上述各实施例的基础上,作为一种可选的但非限定性的实现方式,对于目标层级缓存数据,确定所述缓存数据的缓存头数据,包括但不限于如下步骤A1至A2的过程:
步骤A1、若目标层级缓存数据为写缓存数据,且所述缓存数据满足预设条件,则构建所述缓存数据的索引链表节点以及目标刷新链表节点;其中,所述目标刷新链表节点用于表示进行刷新的缓存数据与存储位置的对应关系。
本发明实施例主要针对必需参与刷新和命中的写缓存块的缓存头数据的确定方法进行解释。其中,预设条件可根据刷新的方式进行确定。
具体的,若目标层级缓存数据为写缓存数据,且写缓存数据满足预设条件,则此类写缓存块必需参与刷新和命中。为了保证此类写缓存块可快速进行刷新,本发明实施例通过构建缓存数据的目标刷新链表节点,可将该写缓存数据直接写入与目标刷新链表节点对应的目标层级缓存块中。
步骤A2、根据所述缓存数据的特征数据、索引链表节点以及目标刷新链表节点,确定所述缓存数据的缓存头数据。
具体的,图5c为本申请实施例三提供的另一种写缓存块的优化结构示意图。如图5c所示,在内存中存储写缓存数据的特征数据、索引链表节点和目标刷新链表节点FlushNode,其中,特征数据可为LBA、LUN ID等,索引链表节点可为哈希链表节点Hash Node。
进一步的,除上述步骤A1至A2所提供的可直接将满足预设条件的目标层级写缓存数据插入到目标刷新链表节点中,还可将在候选刷新链表节点中目标层级写缓存数据满足预设条件时,将候选刷新链表节点插入至目标刷新链表中。
上述方案的有益效果在于,以实现对必需参与刷新和命中的写缓存头数据的结构进行优化,节省写缓存头数据占用的内存空间,提高对大容量缓存数据的处理效率和速度。
实施例四
图6为本申请实施例四提供的一种数据处理方法的流程图,本实施例以上述实施例为基础进行优化。如图6所示,本实施例的方法具体包括如下步骤:
S410、对于目标层级缓存数据,确定所述缓存数据的缓存头数据。其中,所述缓存头数据中包括所述缓存数据的存储信息;其中,目标层级为除一级之外层级。
S420、将所述缓存头数据中包含的所述缓存数据的特征数据以及索引链表节点存储于内存中,将所述缓存头数据中包含的位图数据处理于第一存储区域中。其中,所述索引链表用于表示所述缓存数据与存储位置的对应关系,所述位图数据用于表示所述缓存数据的有效性;第一存储区域用于存储目标层级缓存数据。
S430、若从目标层级读缓存数据、目标层级以上层级的读缓存数据以及目标层级以上层级的写缓存数据中均未查找到目标数据,或者查找到部分目标数据,则从目标层级写缓存数据中查找是否存在目标数据。其中,目标层级以上层级的层级值小于所述目标层级的层级值。
需要说明的是,目标层级读缓存数据由目标层级以上层级的读缓存数据迁移而来,其中,待迁移的目标层级以上层级的读缓存数据若不是满块则会被填充成满块后再迁移至目标层级。
此外,在查找目标数据时,若部分目标数据被写缓存数据命中,则目标层级读缓存数据会被全部回收。因此,若目标数据被目标层级读缓存数据命中,则表示目标数据全部存储在目标层级读缓存数据中,不需从其他地方读取。
示例性的,图7为本申请实施例四提供的目标数据读命中的流程图。如图7所示,第一步、开始查找目标数据;第二步、确定目标数据是否被一级写缓存数据命中;第三步、确定目标数据是否被一级读缓存数据命中,若不是,则跳转至第四步,若是,则跳转至第五步;第四步、确定目标数据是否被二级读缓存数据命中,若不是,则跳转至第五步,若是,则结束读命中;第五步、确定目标数据是否被二级写缓存数据命中,并结束读命中。
S440、若根据目标层级写缓存数据的缓存头数据确定所述目标层级写缓存数据中存在与所述目标数据相匹配的目标缓存数据,则从第一存储区域中获取所述目标缓存数据的位图数据。
在本发明实施例中,当目标层级读缓存数据、目标层级以上层级的读缓存数据以及目标层级以上层级的写缓存数据中均未查找到目标数据,或者查找到部分目标数据时,则需要确定目标数据是否被目标层级写缓存数据命中。
具体的,可在目标层级写缓存数据的索引链表中遍历查询目标数据的索引链表节点,若查找到与目标数据的索引链表节点匹配的目标节点,则进一步根据目标数据的特征数据和目标节点中的各缓存数据的特征数据,判断是否存在与目标数据相匹配的目标缓存数据。
进一步的,若存在与目标数据相匹配的目标缓存数据,由于目标缓存数据的缓存头数据中的位图数据存储于第一存储区域中,则可从第一存储区域中读取目标缓存数据的位图数据,以判断目标缓存数据的有效性。其中,第一存储区域可为RAID SSD。
S450、若根据所述位图数据判断所述目标缓存数据有效,则确定所述目标数据至少包括所述目标缓存数据。
具体的,可通过判断目标缓存数据的位图数据是否都为1,以确定目标缓存数据是否为目标数据。若目标缓存数据的位图数据都为1,则确定目标缓存数据为目标数据;若目标缓存数据的位图数据存在0,则确定目标缓存数据不是目标数据。
本发明实施例提供了一种数据处理方法,该方法通过对于目标层级缓存数据,确定缓存数据的缓存头数据;将缓存头数据中包含的缓存数据的特征数据以及索引链表节点存储于内存中,将缓存头数据中包含的位图数据处理于第一存储区域中;若从目标层级读缓存数据、目标层级以上层级的读缓存数据以及目标层级以上层级的写缓存数据中均未查找到目标数据,或者查找到部分目标数据,则从目标层级写缓存数据中查找是否存在目标数据;若根据目标层级写缓存数据的缓存头数据确定目标层级写缓存数据中存在与目标数据相匹配的目标缓存数据,则从第一存储区域中获取目标缓存数据的位图数据;若根据位图数据判断目标缓存数据有效,则确定目标缓存数据即为目标数据。本技术方案,以实现对读缓存数据的命中取流程进行限定,确保目标数据的命中准确性,进一步提高对大容量缓存数据的处理效率和速度。
实施例五
图8为本申请实施例五提供的一种数据处理方法的流程图,本实施例以上述实施例为基础进行优化。如图8所示,本实施例的方法具体包括如下步骤:
S510、对于目标层级缓存数据,确定所述缓存数据的缓存头数据。其中,所述缓存头数据中包括所述缓存数据的存储信息;其中,目标层级为除一级之外层级。
S520、将所述缓存头数据中包含的所述缓存数据的特征数据以及索引链表节点存储于内存中,将所述缓存头数据中包含的位图数据处理于第一存储区域中。其中,所述索引链表用于表示所述缓存数据与存储位置的对应关系,所述位图数据用于表示所述缓存数据的有效性;第一存储区域用于存储目标层级缓存数据。
S530、对于从目标层级上一层级的写缓存区刷新到目标层级写缓存区中的第一刷新缓存数据,确定所述第一刷新缓存数据在目标层级写缓存区中存储的第一缓存块。
具体的,写缓存数据首先会写入一级写缓存区中,当一级写缓存区中写缓存数据的容量超过一级写缓存区的预设容量,则将多余的写缓存数据刷新到底层磁盘中。当一级写缓存区中写缓存数据满足刷新条件,则将满足刷新条件的写缓存数据刷新到二级写缓存区中,并按照层级顺序依次向下刷新。刷新条件可以为一级写缓存区中的写缓存数据的查询结束或处理结束或缓存时长达到预设时长等,可以根据实际情况设置。
其中,第一刷新缓存数据可为目标层级上一层级的写缓存区中需要刷新的写缓存数据。
在本发明实施例中,在确定目标层级上一层级的写缓存区刷新到目标层级写缓存区中的第一刷新缓存数据之后,判断第一刷新缓存数据是否被一级读缓存区或者二级读缓存区命中;若未被一级读缓存区和二级读缓存区命中,则确定第一刷新缓存数据在目标层级写缓存区中存储的第一缓存块;若被一级读缓存区命中,则将被一级读缓存区命中的部分数据的位图数据设置为无效;若被二级读缓存区命中,则将被二级读缓存区命中的数据所在的读缓存块的位图数据全部设置为无效并回收。
S540、从第一存储区域中读取所述第一缓存块对应的位图数据,并根据所述第一刷新缓存数据在所述第一缓存块中的存储位置,对所述位图数据进行更新。
具体的,可在第一缓存块对应的位图数据中,将第一刷新缓存数据在第一缓存块中存储位置对应的位图数据设置为有效。
S550、将更新后的位图数据以及所述第一刷新缓存数据处理于第一存储区域中。
示例性的,可将更新后的位图数据以及第一刷新缓存数据写入RAID SSD阵列中。
本发明实施例提供了一种数据处理方法,该方法通过对于目标层级缓存数据,确定缓存数据的缓存头数据;将缓存头数据中包含的缓存数据的特征数据以及索引链表节点存储于内存中,将缓存头数据中包含的位图数据处理于第一存储区域中;对于从目标层级上一层级的写缓存区刷新到目标层级写缓存区中的第一刷新缓存数据,确定第一刷新缓存数据在目标层级写缓存区中存储的第一缓存块;从第一存储区域中读取第一缓存块对应的位图数据,并根据第一刷新缓存数据在第一缓存块中的存储位置,对位图数据进行更新;将更新后的位图数据以及第一刷新缓存数据处理于第一存储区域中。本技术方案,以实现对写缓存数据的刷新流程进行限定,确保缓存数据的刷新准确性,进一步提高对大容量缓存数据的处理效率和速度。
在上述实施例的基础上,可选的,该方法还包括但不限于如下步骤B1至B2的过程:
步骤B1、对于从目标层级写缓存区刷新到第二存储区域中的第二刷新缓存数据,确定所述第二刷新缓存数据所在的第二缓存块。
其中,第二存储区域可为HDD(Hard Disk Drive,机械硬盘)阵列。第二刷新缓存数据可为目标层级写缓存区中冗余的写缓存数据。
示例性的,可根据第二刷新缓存数据的缓存头数据,确定第二刷新缓存数据所在的第二缓存块。
步骤B2、从第一存储区域中读取所述第二缓存块对应的位图数据,并根据所述第二缓存块对应的位图数据,将所述第二缓存块中有效的第二刷新缓存数据处理于所述第二存储区域中。
具体的,若第二刷新缓存数据所属的第二缓存块为满块的话,则可直接将第二缓存块进行刷新至第二存储区域中;若第二刷新缓存数据所属的第二缓存块不为满块的话,则将第二缓存中有效的第二刷新缓存数据刷新到第二存储区域中。
示例性的,若第二缓存块的位图数据为“1 1 1 1”,则表示第二缓存块为满块,可直接将第二缓存块进行刷新至第二存储区域中。
又示例性的,若第二缓存块的位图数据为“1 0 0 1”,则表示第二缓存块不为满块,则将第二缓存块中第一数组和第四数组对应的第二刷新缓存数据刷新至第二存储区域中。
上述方案的有益效果在于,以实现对写缓存数据的刷新流程进行进一步限定,确保缓存数据的刷新准确性,进一步提高对大容量缓存数据的处理效率和速度。
以二级缓存为数据区为1T大小的RAID SSD阵列为例进行解释说明。其中,该二级缓存共有16777216个缓存块,每个缓存块的数据区为64KB。假设读缓存块和写缓存块的数量各占一半,且每个缓存块中都有数据存在。
若根据传统的读缓存头数据的结构对该二级缓存进行缓存,则以64位系统为例,传统的读缓存头数据占用的内存空间如表1所示,其中,表1为传统的读缓存头数据占用的内存空间表。
表1
Figure BDA0004010001430000121
Figure BDA0004010001430000131
若根据本申请实施例所述的方法对该二级缓存进行缓存,则优化的读缓存头数据占用的内存空间如表2所示,其中,表2为优化的读缓存头数据占用的内存空间表。
表2
成员 数据类型 大小/Byte
LBA unsigned long int 8
LUN ID unsigned int 4
Hash Node struct list_head 8
通过比较表1和表2,传统的读缓存头数据占用的内存空间达148Byte,而优化的读缓存头数据占用的内存空间仅占20Byte。
若根据传统的写缓存头数据的结构对该二级缓存进行缓存,则传统的写缓存头数据占用的内存空间如表3所示,其中,表3为传统的写缓存头数据占用的内存空间表。
表3
成员 数据类型 大小/Byte
LBA unsigned long int 8
LUN ID unsigned int 4
BitMap unsigned long int 128
Hash Node struct list_head 8
Flush Node struct list_head 8
根据本申请实施例所述的方法对该二级缓存进行缓存,则优化的写缓存头数据占用的内存空间如表4所示,其中,表4为优化的写缓存头数据占用的内存空间表。
表4
Figure BDA0004010001430000132
通过比较表3和表4,传统的写缓存头数据占用的内存空间达156Byte,而优化后按照是否参与命中与是否参与刷新会在内存中为一个写缓存头构造两个不同的数据结构,每个数据结构需要占用28Byte的内存空间。综上,按照传统的读缓存头数据的结构对该二级缓存进行缓存,则读缓存块所占用的内存空间为:
16777216块×0.5×148Byte=1241513984Byte=1184MB;
则写缓存块所占用的内存空间为:
16777216块×0.5×156Byte=130862284Byte=1248MB;
因此,传统的缓存结构共计需要占用2432MB的内存。
按照优化的读缓存头数据的结构对该二级缓存进行缓存,则读缓存块所占用的内存空间为:
16777216块×0.5×20Byte=167772160Byte=160MB;
设定参与命中的写缓存块的数量等于写缓存块的总数量,参与参与刷新的写缓存块的数量占写缓存块的总数量的一半,则参与命中的写缓存块所占用的内存空间为:
16777216块×0.5×28Byte=234881024Byte=224MB;
则参与命中的写缓存块所占用的内存空间为:
16777216块×0.5×0.5×28Byte=117440512Byte=112MB;
因此,优化的缓存结构共计需要占用496MB的内存。
由此看出,本申请所提供的数据处理方法,通过对缓存头数据的结构进行优化,节省缓存头数据占用的内存空间,可提高对大容量缓存数据的处理效率和速度。
实施例六
图9为本申请实施例六提供的一种数据处理装置的结构示意图,该装置可执行本申请任意实施例所提供的数据处理方法,具备执行方法相应的功能模块和有益效果。如图9所示,该装置包括:
缓存头数据确定模块610,用于对于目标层级缓存数据,确定所述缓存数据的缓存头数据;其中,所述缓存头数据中包括所述缓存数据的存储信息;其中,目标层级为除一级之外层级;
缓存头数据调整模块620,用于将所述缓存头数据中包含的所述缓存数据的特征数据以及索引链表节点存储于内存中,将所述缓存头数据中包含的位图数据处理于第一存储区域中;
其中,所述索引链表用于表示所述缓存数据与存储位置的对应关系,所述位图数据用于表示所述缓存数据的有效性;第一存储区域用于存储目标层级缓存数据。
本发明实施例提供了一种数据处理装置,该装置通过对于目标层级缓存数据,确定缓存数据的缓存头数据;其中,缓存头数据中包括缓存数据的存储信息;其中,目标层级为除一级之外层级;将缓存头数据中包含的缓存数据的特征数据以及索引链表节点存储于内存中,将缓存头数据中包含的位图数据处理于第一存储区域中;其中,索引链表用于表示缓存数据与存储位置的对应关系,位图数据用于表示缓存数据的有效性;第一存储区域用于存储目标层级缓存数据。本技术方案,以实现对缓存头数据的结构进行优化,节省缓存头数据占用的内存空间,提高对大容量缓存数据的处理效率和速度。
进一步的,缓存头数据确定模块610,包括:
缓存特征数据读取单元,用于若所述缓存数据为读缓存数据,则从所述第一存储区域中读取所述缓存数据的特征数据;
缓存头数据调整模块620,包括:
缓存头数据第一调整单元,用于将所述特征数据处理于内存中,并将所述缓存数据的索引链表节点保留存储于内存中;
缓存头数据第二调整单元,用于将所述缓存数据的位图数据保留存储于所述第一存储区域中。
进一步的,缓存头数据确定模块610,包括:
写缓存数据属性构建单元,用于若所述缓存数据为写缓存数据,且所述缓存数据未满足预设条件,则构建所述缓存数据的索引链表节点以及候选刷新链表节点;其中,所述候选刷新链表节点用于表示不进行刷新的缓存数据与存储位置的对应关系;
写缓存头数据确定单元,用于根据所述缓存数据的特征数据、索引链表节点以及候选刷新链表节点,确定所述缓存数据的缓存头数据。
进一步的,缓存头数据确定模块610,包括:
读缓存数据属性构建单元,用于若所述缓存数据为写缓存数据,且所述缓存数据满足预设条件,则构建所述缓存数据的索引链表节点以及目标刷新链表节点;其中,所述目标刷新链表节点用于表示进行刷新的缓存数据与存储位置的对应关系;
读缓存头数据确定单元,用于根据所述缓存数据的特征数据、索引链表节点以及目标刷新链表节点,确定所述缓存数据的缓存头数据。
进一步的,所述装置还包括:
目标数据查找模块,用于若从目标层级读缓存数据、目标层级以上层级的读缓存数据以及目标层级以上层级的写缓存数据中均未查找到目标数据,或者查找到部分目标数据,则从目标层级写缓存数据中查找是否存在目标数据;其中,目标层级以上层级的层级值小于所述目标层级的层级值;
位图数据确定模块,用于若根据目标层级写缓存数据的缓存头数据确定所述目标层级写缓存数据中存在与所述目标数据相匹配的目标缓存数据,则从第一存储区域中获取所述目标缓存数据的位图数据;
目标数据确定模块,用于若根据所述位图数据判断所述目标缓存数据有效,则确定所述目标数据至少包括所述目标缓存数据。
进一步的,所述装置还包括:
第一缓存块确定模块,用于对于从目标层级上一层级的写缓存区刷新到目标层级写缓存区中的第一刷新缓存数据,确定所述第一刷新缓存数据在目标层级写缓存区中存储的第一缓存块;
位图数据更新模块,用于从第一存储区域中读取所述第一缓存块对应的位图数据,并根据所述第一刷新缓存数据在所述第一缓存块中的存储位置,对所述位图数据进行更新;
第一刷新缓存数据存储模块,用于将更新后的位图数据以及所述第一刷新缓存数据处理于第一存储区域中。
进一步的,所述装置还包括:
第二缓存块确定模块,用于对于从目标层级写缓存区刷新到第二存储区域中的第二刷新缓存数据,确定所述第二刷新缓存数据所在的第二缓存块;
第二刷新缓存数据存储模块,用于从第一存储区域中读取所述第二缓存块对应的位图数据,并根据所述第二缓存块对应的位图数据,将所述第二缓存块中有效的第二刷新缓存数据处理于所述第二存储区域中。
本申请实施例所提供的一种数据处理装置可执行本申请任意实施例所提供的一种数据处理方法,具备执行方法相应的功能模块和有益效果。
实施例七
图10示出了可以用来实施本申请的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图10所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(ROM)12、随机访问存储器(RAM)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序,来执行各种适当的动作和处理。在RAM 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如第二存储区域、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,例如数据处理方法。
在一些实施例中,数据处理方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时,可以执行上文描述的数据处理方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本申请的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程目标确定装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本申请的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子设备具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务中,存在的管理难度大,业务扩展性弱的缺陷。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请的技术方案所期望的信息,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
对于目标层级缓存数据,确定所述缓存数据的缓存头数据;其中,所述缓存头数据中包括所述缓存数据的存储信息;其中,目标层级为除一级之外层级;
将所述缓存头数据中包含的所述缓存数据的特征数据以及索引链表节点存储于内存中,将所述缓存头数据中包含的位图数据处理于第一存储区域中;
其中,所述索引链表用于表示所述缓存数据与存储位置的对应关系,所述位图数据用于表示所述缓存数据的有效性;第一存储区域用于存储目标层级缓存数据。
2.根据权利要求1所述的方法,其特征在于,对于目标层级缓存数据,确定所述缓存数据的缓存头数据,包括:
若所述缓存数据为读缓存数据,则从所述第一存储区域中读取所述缓存数据的特征数据;
将所述缓存头数据中包含的所述缓存数据的特征数据以及索引链表节点存储于内存中,将所述缓存头数据中包含的位图数据处理于第一存储区域中,包括:
将所述特征数据处理于内存中,并将所述缓存数据的索引链表节点保留存储于内存中;
将所述缓存数据的位图数据保留存储于所述第一存储区域中。
3.根据权利要求1所述的方法,其特征在于,对于目标层级缓存数据,确定所述缓存数据的缓存头数据,包括:
若所述缓存数据为写缓存数据,且所述缓存数据未满足预设条件,则构建所述缓存数据的索引链表节点以及候选刷新链表节点;其中,所述候选刷新链表节点用于表示不进行刷新的缓存数据与存储位置的对应关系;
根据所述缓存数据的特征数据、索引链表节点以及候选刷新链表节点,确定所述缓存数据的缓存头数据。
4.根据权利要求1所述的方法,其特征在于,对于目标层级缓存数据,确定所述缓存数据的缓存头数据,包括:
若所述缓存数据为写缓存数据,且所述缓存数据满足预设条件,则构建所述缓存数据的索引链表节点以及目标刷新链表节点;其中,所述目标刷新链表节点用于表示进行刷新的缓存数据与存储位置的对应关系;
根据所述缓存数据的特征数据、索引链表节点以及目标刷新链表节点,确定所述缓存数据的缓存头数据。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若从目标层级读缓存数据、目标层级以上层级的读缓存数据以及目标层级以上层级的写缓存数据中均未查找到目标数据,或者查找到部分目标数据,则从目标层级写缓存数据中查找是否存在目标数据;其中,目标层级以上层级的层级值小于所述目标层级的层级值;
若根据目标层级写缓存数据的缓存头数据确定所述目标层级写缓存数据中存在与所述目标数据相匹配的目标缓存数据,则从第一存储区域中获取所述目标缓存数据的位图数据;
若根据所述位图数据判断所述目标缓存数据有效,则确定所述目标数据至少包括所述目标缓存数据。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对于从目标层级上一层级的写缓存区刷新到目标层级写缓存区中的第一刷新缓存数据,确定所述第一刷新缓存数据在目标层级写缓存区中存储的第一缓存块;
从第一存储区域中读取所述第一缓存块对应的位图数据,并根据所述第一刷新缓存数据在所述第一缓存块中的存储位置,对所述位图数据进行更新;
将更新后的位图数据以及所述第一刷新缓存数据处理于第一存储区域中。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对于从目标层级写缓存区刷新到第二存储区域中的第二刷新缓存数据,确定所述第二刷新缓存数据所在的第二缓存块;
从第一存储区域中读取所述第二缓存块对应的位图数据,并根据所述第二缓存块对应的位图数据,将所述第二缓存块中有效的第二刷新缓存数据处理于所述第二存储区域中。
8.一种数据处理装置,其特征在于,所述装置包括:
缓存头数据确定模块,用于对于目标层级缓存数据,确定所述缓存数据的缓存头数据;其中,所述缓存头数据中包括所述缓存数据的存储信息;其中,目标层级为除一级之外层级;
缓存头数据调整模块,用于将所述缓存头数据中包含的所述缓存数据的特征数据以及索引链表节点存储于内存中,将所述缓存头数据中包含的位图数据处理于第一存储区域中;
其中,所述索引链表用于表示所述缓存数据与存储位置的对应关系,所述位图数据用于表示所述缓存数据的有效性;第一存储区域用于存储目标层级缓存数据。
9.一种电子设备,其特征在于,所述设备包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据处理方法。
CN202211649937.2A 2022-12-21 2022-12-21 一种数据处理方法、装置、电子设备及介质 Pending CN115981555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211649937.2A CN115981555A (zh) 2022-12-21 2022-12-21 一种数据处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211649937.2A CN115981555A (zh) 2022-12-21 2022-12-21 一种数据处理方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN115981555A true CN115981555A (zh) 2023-04-18

Family

ID=85958986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211649937.2A Pending CN115981555A (zh) 2022-12-21 2022-12-21 一种数据处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115981555A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117806572A (zh) * 2024-03-01 2024-04-02 合肥康芯威存储技术有限公司 一种存储设备以及内存管理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117806572A (zh) * 2024-03-01 2024-04-02 合肥康芯威存储技术有限公司 一种存储设备以及内存管理方法

Similar Documents

Publication Publication Date Title
CN108009008B (zh) 数据处理方法和系统、电子设备
US20080120469A1 (en) Systems and Arrangements for Cache Management
WO2017041570A1 (zh) 向缓存写入数据的方法及装置
CN107888687B (zh) 一种基于分布式存储系统的代理客户端存储加速方法及系统
CN113641596B (zh) 缓存管理方法、缓存管理装置、处理器
CN103049392B (zh) 缓存目录的实现方法及装置
CN112540731B (zh) 数据的追加写方法、装置、设备、介质和程序产品
US10936500B1 (en) Conditional cache persistence in database systems
WO2023000536A1 (zh) 一种数据处理方法、系统、设备以及介质
CN115981555A (zh) 一种数据处理方法、装置、电子设备及介质
CN113127382A (zh) 用于追加写的数据读取方法、装置、设备和介质
US10747773B2 (en) Database management system, computer, and database management method
CN106909323B (zh) 适用于dram/pram混合主存架构的页缓存方法及混合主存架构系统
JP2022137281A (ja) データ照会方法、装置、電子デバイス、記憶媒体、及びプログラム
CN113867627B (zh) 一种存储系统性能优化方法及系统
US8127079B2 (en) Intelligent cache injection
CN114637700A (zh) 针对目标虚拟地址的地址转换方法、处理器及电子设备
CN109992535B (zh) 一种存储控制方法、装置和系统
CN114896250B (zh) 一种键值分离的键值存储引擎索引优化方法及装置
CN114528229A (zh) 一种缓存数据访问方法、装置及电子设备
CN109492020A (zh) 一种数据缓存方法、装置、电子设备及存储介质
CN115712388A (zh) 固态盘的数据存储方法、装置、设备及存储介质
US10067678B1 (en) Probabilistic eviction of partial aggregation results from constrained results storage
CN115469810A (zh) 一种数据获取方法、装置、设备及存储介质
CN113867626A (zh) 一种存储系统性能优化方法、系统、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination