CN115809028A - 一种缓存数据替换方法、装置、图形处理系统及电子设备 - Google Patents

一种缓存数据替换方法、装置、图形处理系统及电子设备 Download PDF

Info

Publication number
CN115809028A
CN115809028A CN202310057779.XA CN202310057779A CN115809028A CN 115809028 A CN115809028 A CN 115809028A CN 202310057779 A CN202310057779 A CN 202310057779A CN 115809028 A CN115809028 A CN 115809028A
Authority
CN
China
Prior art keywords
cache
cache line
main memory
replaced
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310057779.XA
Other languages
English (en)
Other versions
CN115809028B (zh
Inventor
唐志敏
王海洋
姜莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiangdixian Computing Technology Co Ltd
Original Assignee
Beijing Xiangdixian Computing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiangdixian Computing Technology Co Ltd filed Critical Beijing Xiangdixian Computing Technology Co Ltd
Priority to CN202310057779.XA priority Critical patent/CN115809028B/zh
Publication of CN115809028A publication Critical patent/CN115809028A/zh
Application granted granted Critical
Publication of CN115809028B publication Critical patent/CN115809028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本公开提供一种缓存数据替换方法、装置、图形处理系统及电子设备,包括:在利用主存中的替换数据块对缓存中的待替换缓存行进行替换时,对缓存中各个缓存行进行遍历确定目标缓存行;所述目标缓存行,包括与所述待替换缓存行对应的主存地址位于同一主存页的缓存行;将目标缓存行以及待替换缓存行写回至主存,并将替换数据块写入至所述待替换缓存行所在的位置。

Description

一种缓存数据替换方法、装置、图形处理系统及电子设备
技术领域
本公开涉及计算机技术领域,尤其涉及一种缓存数据替换方法、装置、图形处理系统及电子设备。
背景技术
Cache即缓存也称为高速缓冲,是除寄存器以外最靠近处理器的存储单元,通常由SRAM组成。将Cache部署在处理器和主存之间,同时将主存中的部分数据也存储在Cache中,处理器可以访问Cache进行读写数据以避免直接访问主存,由于处理器对Cache的读写速度较快,因此提升了读写效率,同时也减少了处理器对主存的访问次数。
在Cache被数据占满后,如果需要将新的数据写到Cache中,需要对Cache中的已有数据进行替换,目前的替换策略在对数据进行替换时,无法充分利用主存的带宽。
发明内容
本公开的目的是提供一种缓存数据替换方法装置、装置、图形处理系统以及电子设备,以解决在将缓存中的数据替换时,无法充分利用主存带宽的问题。
根据本公开的一个方面,提供一种缓存数据替换方法,包括:
在利用主存中的替换数据块对缓存中的待替换缓存行进行替换时,对缓存中各个缓存行进行遍历确定目标缓存行;所述目标缓存行,包括与所述待替换缓存行对应的主存地址位于同一主存页的、待写回主存的缓存行;
将目标缓存行以及待替换缓存行写回至主存,并将替换数据块写入至所述待替换缓存行所在的位置。
在一个实施例中,所述对缓存中各个缓存行进行遍历确定目标缓存行,包括:
遍历全部缓存行的脏数据标记和有效标记确定待写回到主存的多个缓存行;
针对待写回到主存的多个缓存行,根据Tag确定目标缓存行。
在一个实施例中,所述主存和缓存的映射方式为组相联映射或直接映射,主存地址中的bank地址以及row地址被映射为Tag标记;
所述根据Tag确定目标缓存行,包括:
确定与所述待替换缓存行的Tag标记相同的至少一个缓存行为目标缓存行。
在一个实施例中,所述主存和缓存的映射方式为组相联映射;
所述确定与所述待替换缓存行的Tag标记相同的至少一个缓存行为目标缓存行,包括:
确定多个way中,与所述待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行,为目标缓存行。
在一个实施例中,方法还包括:
若缓存中不存在与所述待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行,则将缓存中的待替换缓存行替换为替换数据块。
在一个实施例中,所述主存和缓存的映射方式为全相联映射;所述主存地址中的bank地址以及row地址被映射为包含于Tag标记;
所述根据Tag确定目标缓存行,包括:
针对待写回到主存的多个缓存行,从所述多个缓存行的Tag标记中查找bank地址和row地址;
确定与所述待替换缓存行的bank地址和row地址相同的至少一个缓存行为目标缓存行。
在一个实施例中,方法还包括:
在将目标缓存行以及待替换缓存行写回至主存后,将目标缓存的脏数据标记进行更新,以将目标缓存行的数据标记为有效的非脏数据。
根据本公开的第二个方面,提供一种缓存数据替换装置,包括:
查找模块,用于在利用主存中的替换数据块对缓存中的待替换缓存行进行替换时,对缓存中各个缓存行进行遍历确定目标缓存行;所述目标缓存行,包括与所述待替换缓存行对应的主存地址位于同一主存页的、待写回主存的缓存行;
写入模块,用于将目标缓存行以及待替换缓存行写回至主存,并将替换数据块写入至所述待替换缓存行所在的位置。
在一个实施例中,所述查找模块,具体用于遍历全部缓存行的脏数据标记和有效标记确定待写回到主存的多个缓存行;针对待写回到主存的多个缓存行,根据Tag确定目标缓存行。
在一个实施例中,所述主存和缓存的映射方式为组相联映射或直接映射,主存地址中的bank地址以及row地址被映射为Tag标记;
所述查找模块,具体用于确定与所述待替换缓存行的Tag标记相同的至少一个缓存行为目标缓存行。
在一个实施例中,所述主存和缓存的映射方式为组相联映射;
所述查找模块,具体用于确定多个way中,与所述待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行,为目标缓存行。
在一个实施例中,所述写入模块,还用于在缓存中不存在与所述待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行的情况下,将缓存中的待替换缓存行替换为替换数据块。
在一个实施例中,所述主存和缓存的映射方式为全相联映射;所述主存地址中的bank地址以及row地址被映射为包含于Tag标记;
所述查找模块,具体用于针对待写回到主存的多个缓存行,从所述多个缓存行的Tag标记中查找bank地址和row地址;确定与所述待替换缓存行的bank地址和row地址相同的至少一个缓存行为目标缓存行。
在一个实施例中,所述写入模块,还用于在将目标缓存行以及待替换缓存行写回至主存后,将目标缓存的脏数据标记进行更新,以将目标缓存行的数据标记为有效的非脏数据。
根据本公开的第三个方面,提供一种图形处理系统,包括上述第二个方面任一实施例所述的缓存数据替换装置。
根据本公开的第四个方面,提供一种电子设备,包括上述第三个方面任一实施例所述的图像处理系统。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
图1为本公开一个实施例提供的主存和缓存直接映射的结构示意图;
图2为本公开一个实施例提供的主存和缓存组相联映射的结构示意图;
图3为本公开一个实施例提供的主存和缓存全相联映射的结构示意图;
图4为本公开一个实施例提供的直接映射和组相联映射中缓存中地址的结构示意图;
图5为本公开一个实施例提供的缓存中缓存行的结构示意图;
图6为本公开一个实施例提供的一种缓存中数据替换方法的流程示意图;
图7为本公开一个实施例提供的缓存中数据替换的场景示意图;
图8为本公开一个实施例提供的一种缓存中数据替换装置的结构示意图;
图9为本公开一个实施例提供的一种图形处理系统的结构示意图。
具体实施方式
在介绍本公开实施例之前,应当说明的是:
本公开部分实施例被描述为处理流程,虽然流程的各个操作步骤可能被冠以顺序的步骤编号,但是其中的操作步骤可以被并行地、并发地或者同时实施。
本公开实施例中可能使用了术语“第一”、“第二”等等来描述各个特征,但是这些特征不应当受这些术语限制。使用这些术语仅仅是为了将一个特征与另一个特征进行区分。
本公开实施例中可能使用了术语“和/或”,“和/或”包括其中一个或更多所列出的相关联特征的任意和所有组合。
应当理解的是,当描述两个部件的连接关系或通信关系时,除非明确指明两个部件之间直接连接或直接通信,否则,两个部件的连接或通信可以理解为直接连接或通信,也可以理解为通过中间部件间接连接或通信。
为了使本公开实施例中的技术方案及优点更加清楚明白,以下结合附图对本公开的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本公开的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
Cache的容量相对于主存的容量较小,它保存的数据是主存的一个子集,且Cache和主存进行地址交换是以缓存行为单位的。即将主存和Cache分割成一定大小的块,这个块在主存中称为数据块data block,在Cache中称为缓存行即Cacheline,将主存中的datablock映射到Cache中的缓存行中就需要采用相应的映射方式,常见的映射方式包括直接映射、组相联映射以及全相联映射。
直接映射采用取模的方式进行一对一映射,容易出现Cache不命中的情况。组相联中每一组(set)中可以存储更多的信息,因此相对于直接映射的方式,增加了Cache命中的几率。全相联是极端的组相联,即Cache只有一个set,实现较为复杂,目前业界最常用的映射方法为组相联映射。
如图1所示,为直接映射的示意图,在直接映射的方式中,如果Cache中共有8个缓存行,那么主存中的0、8、16、24...号数据块会被映射到缓存行0中,同理1、9、17....号数据块会被映射到缓存行1中。当处理器的读取顺序是数据块0-数据块8-数据块0-数据块8的情况下,由于缓存行0只能同时缓存一个数据块,因此,在读取数据块8以及第二次读取数据块0时,会发生Cache不命中的情况,即在Cache中无法找到数据块需要去主存中查找数据块。因此,直接映射的方式中Cache命中的几率并不高,进而整体的读写效率也不高。
在组相联的方式中包括N个路(way),每个way中包括M组(set)。每一组即每一set中包括N个缓存行。如图2所示,存在两个way,即way0和way1,每一way有8行,对应8组,每组中有2个缓存行,例如,way0的Cache line0和way1的Cache line0为一组。
这样主存中数据块0、8、16、24…中任意两个数据块可以同时存储在缓存中的两个Cache line0中,进而组相联映射的方式相对于直接映射增加了Cache命中的概率提升了整体的读写效率。
如图3所示,为全相联的示意图,全相联是极端的组相联,即cache只有一个组。每一个数据块都可以存进任何一个缓存行。全相联映射方式中Cache命中的概率也较高,但是实现较为复杂,工作延时也较高。
在直接映射和组相联的映射方式中,处理器发送到Cache中的地址被划分为3段,如图4所示,包括Tag、Index、Line offset。其中line offset(偏移位)用来表示该地址在缓存行中的偏移,Index(行标记)表示该地址位于哪一个组(set)中(组相联映射的方式中)或哪一行中(直接映射的方式中),Tag(标记位)用于确定是否命中数据块。其中,每个缓存行如图5所示,缓存行中包括有效标记V、标记位Tag和数据位Data block。Cache根据接收地址的Tag和标记位Tag进行对比就能判断出该地址在Cache中是否命中。
而在全相联映射的方式中不存在组的概念,因此处理器发来的地址只包括块号Tag和Line offset。
本公开中的主存可以是DDR SDRAM,即双倍速率同步动态随机存储器,主存地址通常由column(列)地址、bank地址、row(行)组成。
Figure SMS_1
表1
例如,如表1所示,主存地址由12bit的column(列)地址,4bit的bank地址和14bit的row(行)地址组成。另外,在一些场景中,主存地址中可能并不包含bank,仅由row和column组成。其中,一个row也为主存的一个主存页,如果需要从主存中读写数据,则需要先定位和开启主存页,进一步在主存页中的相应位置读写数据。
另外,如前文介绍,在直接映射和组相联映射的方式中,在缓存中Cache line地址被分为了Tag、Index以及Line offset,因此主存中的row、bank、column在映射到缓存中时,会被映射为Tag、Index以及Line offset。
在实际应用中,在直接映射和组相联的方式中,可以将主存地址中的row地址和bank地址映射为Tag。
例如,如表2所示:
Figure SMS_2
表2
此外,row地址也可以被映射为Tag;row地址和bank地址还可能被映射为包含于Tag,例如Tag中包括row地址、bank地址以及column中的部分地址,具体的映射方式往往和Cache中cache line即缓存行的数量以及缓存行中包含的数据量的大小相关,具体方式可以参照相关技术,本公开对此不进行详述。
当发生Cache命中,需要对Cache中的数据进行写操作时,会涉及到Cache更新策略,Cache更新策略分成两种:写直通和回写。
写直通又称为写穿,当地址在Cache命中时,既更新Cache中的数据,也更新主存的数据,因此,写直通策略并没有减少设备对主存的写访问量。
写回策略是指当写地址在Cache命中时,只更新Cache中的数据,而不更新主存里的数据,从而能有效降低处理器对主存的写访问量。但是写回策略由于只更新Cache中的数据,因此Cache和主存的数据可能不一致,每个缓存行中会有一个bit位记录数据是否被修改过,称之为dirty bit。为了减少处理器对主存的写访问量,实际应用中通常使用写回策略。在写回策略中,需要在满足一定的条件下将标记为dirty的数据写回到主存中,以保证主存和Cache中的数据一致性,例在处理器确定Cache中的某些标记为dirty的数据不再具有较高的复用率时,触发Cache的写回操作。另外,处理器还会在一定的时间周期触发刷新操作,即将Cache中当前的所有标记为dirty的数据一起写回至主存。
另外,在Cache中没有命中时,需要将被访问的数据块从内存中读取并写入Cache中以使处理器可以在Cache中对该数据块进行读写,而当Cache被存满时,需要将Cache中已有的缓存行进行替换,即将Cache中已有的某个缓存行中的数据写回至主存,并将主存当前需要被访问的数据块写入该缓存行的存储位置,目前的替换策略包括:随机算法,即从已有的缓存行中,随机确定一个缓存行作为待替换缓存行,然后进行替换;先进先出算法:从已有的缓存行中选择最先写入的缓存行作为待替换缓存行进行替换;近期最少使用算法:通过计数器来确定每个缓存行未被访问的时间,将未被访问时间最长的缓存行作为待替换缓存行,进行替换;最近不常使用算法:通过计数器来记录每个缓存行被访问的次数,将被访问次数最少的缓存行作为待替换缓存行,进行替换。上述替换算法中,仅是一对一的进行替换,每次在需要替换时,仅将一个待替换缓存行的数据写回至主存,而主存一般为DDRSDRAM,在对DDR SDRAM进行访问时,需要先开启访问地址所在的主存页,在开启后,才能进行访问,采用上述替换方式,在开启主存页后,仅将一个待替换缓存行的数据写回到该主存页中,并未充分利用主存的带宽,另外,在替换时,整体的执行过程包括:需要开启主存页,写入一个待替换缓存行,关闭该主存页,整体执行过程中,开启和关闭主存页所需的时间可能要多余写入一个待替换缓存行的时间,因此,仅为写入一个待替换缓存行而执行开启和关闭主存页的过程,无疑是一种资源上的浪费。
为了解决上述问题,本公开提出在利用主存中的替换数据块对待替换缓存行进行替换时,对Cache中各个缓存行进行遍历,确定与待替换缓存行对应的主存地址位于同一主存页的目标缓存行,将目标缓存行和待替换缓存行一起写回至主存,并将替换数据块写入至所述待替换缓存行所在的位置。
具体的,如图6所示,为本公开提出的一种Cache数据替换方法,在利用主存中的替换数据块对Cache中的待替换缓存行进行替换时执行,确定待替换缓存行的算法,可以是采用上述提到的任意算法实现,本公开对此不进行限定。
该方法包括:
S601,对Cache中各个缓存行进行遍历确定目标缓存行;
其中,目标缓存行包括,与待替换缓存行对应的主存地址位于同一主存页的、待写回主存的缓存行;
S602,将目标缓存行以及待替换缓存行写回至主存,并将替换数据块写入至所述待替换缓存行所在的位置。
采用本公开提出的方案,可以将多个位于同一主存页的缓存行一起写回至主存,在进行缓存行替换时,提升了主存带宽的利用率,即在开启了待替换缓存行对应的主存页后,可以将缓存中多个对应于该主存页且待写回主存的缓存行,和待替换缓存行一起写回至主存,避免了在开启主存页后只写入一个缓存行就进行关闭,所带来了的资源浪费。另外,在Cache中的数据需要写回或刷新时,由于一部分数据已经通过替换操作提前进行了写回,因此可以有效减少写回或刷新的数据量,减少了写回的次数(通常在每次写回时,只写回一个缓存行中的数据),并且提升了刷新的效率。
上述S601中,可以是遍历全部缓存行的脏数据标记和有效标记确定待写回到主存的多个缓存行;针对待写回到主存的多个缓存行,根据Tag确定目标缓存行。
具体的,可以是确定有效标记和脏数据标记都置位的缓存行为待写回主存的缓存行,即确定当前有效且被标记为脏数据的缓存行为待写回主存的缓存行,在确定了待写回主存的缓存行后,可以针对待写回到主存的多个缓存行,根据Tag标记确定目标缓存行。
上文提到,主存和Cache的映射方式包括直接映射、组相联映射以及全相联映射。在直接映射和组相联映射方式中,主存地址被映射到缓存中后为Tag、Index以及Lineoffset,而在全相联映射中由于各个数据块可以映射到任意的缓存行中,因此不需要基于index进行映射,进而在全相联映射的方式中主存地址被映射到缓存中后成为Tag和Lineoffset的组合。上文也提到,在实际应用中,在直接映射和组相联的方式中,Tag可能包含row、bank等。在此基础上,本公开提出,在上述S601中,根据Tag标记确定目标缓存行时,在主存和Cache的映射方式为组相联映射或直接映射,且在主存地址中的bank地址以及row地址被映射为Tag标记的情况下,具体可以将与待替换缓存行的Tag标记相同的至少一个缓存行为目标缓存行。
如图1所示,如果待替换缓存行为Cacheline0,且Cache line0和Cache line1的Tag标记相同,则说明Cacheline0 和Cache line1对应的主存地址是位于同一主存页的(bank和row均相同),另外,由于Cache line0 和Cache line1映射到缓存中的位置也是连续的,因此,可以确定Cache line0 和Cache line1对应的主存地址在物理上也是连续的。如果Cacheline1是有效且为脏数据,则确定Cache line1为目标缓存行。
又例如,Cache line0和Cache line2的Tag标记相同,则说明Cacheline0 和Cacheline2对应的主存地址是位于同一主存页的,如果Cache line2是有效的且为脏数据,则确定Cache line2为目标缓存行。
再以图2示出的组相联为例,根据Tag标记确定目标缓存行,具体可以是确定多个way中,与待替换缓存行Tag标记相同的至少一个缓存行为目标缓存行。如果待替换缓存行为way0中的Cacheline0,且way0中的Cache line0与way0中的Cache line3 Tag标记相同,如果way0中的Cache line3是有效的且为脏数据,则确定way0中的Cache line3 为目标缓存行。
在一个实施例中,也可以进一步缩小目标缓存的查找范围,即只将主存地址物理上与待替换缓存行连续的缓存行作为目标缓存行,那么可以确定多个way中,与待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行,为目标缓存行。
例如,如果待替换缓存行为way0中的Cacheline0,way0中的Cache line0与way1中的Cache line1 Tag标记、Way0中的Cache line2 Tag标记相同,且way1中的Cache line1以及Way0中的Cache line2为有效的、脏数据,则将way1中的Cache line1以及Way0中的Cache line2 确定为目标缓存行。
在本实施例中,将主存地址物理上与待替换缓存行连续的缓存行作为目标缓存行,那么在替换时,还可以是若Cache中不存在与所述待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行,则将Cache中的待替换缓存行替换为替换数据块。
即,在主存地址物理上与待替换缓存行连续的缓存行作为目标缓存行的方式中,在替换时,如果Cache中存在与原本的待替换缓存行主存地址物理上连续的目标缓存行,则在替换数据块会打断Cache中各缓存行主存地址的连续性时,直接将Cache中目标缓存行和待替换缓存行一起写回至主存,如果没有打断Cache中各缓存行主存地址的连续性,则直接进行替换。
如图7所示,针对内存地址1,即替换数据块的地址,其映射后需要映射到way0中的Cache line6中,并且映射的Tag为0x1000,由于way0中的cache line3到cache line5以及way1中的cache line7,Tag均为0x1000,因此替换数据块和way0中的cache line3、way0中的cache line4、cacheline5、way1中的cache line7,主存地址物理上连续,而原本的way0中的Cache line6即待替换缓存行中的Tag=1400,当前Cache中不存在与其主存地址物理上连续的目标缓存行,因此可以直接对way0中的Cache line6进行替换。
又如图7所示,针对内存地址2,即替换数据块的地址,其映射后需要映射到way0中的Cache line1中,并且映射的Tag为0x3000,而当前待替换缓存行即way0中的Cache line1中的Tag=0x2000,其与目前Cache中的way1中的Cache line0、way0中的Cache line2、way1中的Cache line3的Tag均相同,因此可以确定目标缓存行为Cache中的way1中的Cacheline0、way0中的Cache line2和way1中的Cache line3,在替换时,可以将目标缓存行:way1中的Cache line0、way0中的Cache line2、way1中的Cache line3以及待替换缓存行way0中的Cache line1中的数据写回至主存,并将替换数据块写入至way0中的Cacheline1中。
另外,如果Cache中既不存在与待替换缓存行主存地址连续的目标缓存行,也不存在与替换数据块主存地址连续的缓存行的情况下,也可以直接利用替换数据块对待替换缓存行进行替换。
在本实施例中,采用该方式,如果存在目标缓存行,则将目标缓存行和待替换缓存行一起写回主存,可以在替换时充分利用主存的带宽资源,并且,可以在Cache中的数据需要写回或刷新时,由于一部分数据已经通过替换操作提前进行了写回,因此可以有效减少写回或刷新的数据量,减少了写回的次数,并且提升了刷新的效率。另外,如果不存在目标缓存行,仅对目标缓存行进行替换,可以使Cache中的各个缓存行的数据逐渐趋于主存地址连续(由于替换数据块可能会与Cache中已有的缓存行组成主存地址连续的多个缓存行,如图7中的内存地址1的替换),这样在再下次触发替换或者刷新时,可以将Cache中主存地址连续的多个缓存行一起进行刷新或替换,提升刷新或替换的效率。
上文提到,在实际应用中,在全相联映射方式中,在缓存中的地址只包括Tag以及Line offset,而Tag的长度往往大于主存地址中bank以及row的长度,即主存地址中的bank地址以及row地址通常被映射为包含于Tag标记。
因此,在全相联的方式中,根据Tag标记目标缓存行,具体可以针对待写回到主存的多个缓存行,从多个缓存行的Tag标记中查找bank地址和row地址;确定与待替换缓存行的bank地址和row地址相同的至少一个缓存行,为目标缓存行。
如图3所示,如果待替换数据块为Cache line0,并且Cache line1与Cache line0的bank地址和row地址相同,则将Cache line1确定为目标缓存行,将Cacheline0和Cacheline1中的数据一起写回至主存,并将替换数据块写入至Cache line0。
上述S602中,将目标缓存行以及待替换缓存行写回至主存,主要是保证目标缓存行中的数据和主存中存储的数据的一致性,在将目标缓存行以及待替换缓存行写回至主存后,还可以是将目标缓存行清空,或者将目标缓存行的有效标记进行更新以标识该目标缓存行失效。采用这种方式,目标缓存行中的数据将无法被处理器直接进行访问。
另外,为了让处理器能够继续访问和使用目标缓存行中的数据,还可以是在将目标缓存行以及待替换缓存行写回至主存后,仅将目标缓存的脏数据标记进行更新,不将有效标记位进行更新,以标记目标缓存行的数据为有效的非脏数据,即标识目标缓存行存储的数据与主存中存储的数据一致且有效,而不将目标缓存行清空或者标记为失效。这样,处理器,在需要访问数据时,还是可以继续访问目标缓存行中的数据而无需访问内存。并且,采用这种方式,如果之后新的替换操作的待替换缓存行为本次替换操作对应的目标缓存行,则在下次替换操作时,如果该待替换缓存行没有被更新,即为非脏数据,则不需要将该待替换缓存行写回至主存,直接利用替换数据块对该待替换缓存行进行替换即可,也提升了下次替换的效率。
与前述一种缓存数据替换方法相对应,如图8所示,本公开还提出一种缓存数据替换装置,包括:
查找模块810,用于在利用主存中的替换数据块对缓存中的待替换缓存行进行替换时,对缓存中各个缓存行进行遍历确定目标缓存行;所述目标缓存行,包括与所述待替换缓存行对应的主存地址位于同一主存页的缓存行;
写入模块820,用于将目标缓存行以及待替换缓存行写回至主存,并将替换数据块写入至所述待替换缓存行所在的位置。
在一个实施例中,所述查找模块810,具体用于遍历全部缓存行的脏数据标记和有效标记确定待写回到主存的多个缓存行;针对待写回到主存的多个缓存行,根据Tag确定目标缓存行。
在一个实施例中,主存和缓存的映射方式为组相联映射或直接映射,主存地址中的bank地址以及row地址被映射为Tag标记;
查找模块810,具体用于确定与所述待替换缓存行的Tag标记相同的至少一个缓存行为目标缓存行。
在一个实施例中,主存和缓存的映射方式为组相联映射;
查找模块810,具体用于确定多个way中,与所述待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行,为目标缓存行。
在一个实施例中,写入模块820,还用于在缓存中不存在与待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行的情况下,将缓存中的待替换缓存行替换为替换数据块。
在一个实施例中,主存和缓存的映射方式为全相联;主存地址中的bank地址以及row地址被映射为包含于Tag标记;
查找模块810,具体用于针对待写回到主存的多个缓存行,从所述多个缓存行的Tag标记中查找bank地址和row地址;确定与所述待替换缓存行的bank地址和row地址相同的至少一个缓存行为目标缓存行。
在一个实施例中,所述写入模块,还用于在将目标缓存行以及待替换缓存行写回至主存后,将目标缓存的脏数据标记进行更新,以将目标缓存行的数据标记为有效的非脏数据。
本公开实施例还提供一种图形处理系统,包括上述缓存数据替换装置。
在一个具体的实施例中,本公开中所描述图形处理系统,如图9所示,其至少包括:
GPU core,用来处理命令,例如处理画图的命令,根据画图命令,执行图像渲染的Pipeline。其中,GPU core里面主要包含了计算单元,用于执行shader编译后的指令,属于可编程模块,由大量的ALU组成;Cache(存储器),用于缓存GPU core的数据,以减少对内存的访问;控制器(图中未示出)另外,GPU core 还具有多种功能模块,例如光栅化(3D渲染管线的一个固定的阶段)、Tilling(TBR和TBDR GPU架构中对一帧进行划片处理)、裁剪(3D渲染管线的一个固定的阶段,裁剪掉观察范围外,或者背面不显示的图元)、后处理(对画完的图进行缩放,裁剪,旋转等操作)等。
通用DMA,用于执行主机内存到GPU显卡内存之间的数据搬移,例如,用于3D画图的vertex数据,通用DMA将vertex数据从主机内存搬到GPU显卡内存;
片上网络,用于SOC上各个master和salve之间的数据交换;
应用处理器,用于SOC上各个模块任务的调度,例如GPU渲染完一帧图后通知应用处理器,应用处理器再启动显示控制器将GPU画完的图显示到屏幕上;
PCIe控制器,用于和主机通信的接口,实现PCIe协议,使GPU显卡通过PCIe接口连接到主机上。主机上运行了图形API,以及显卡的驱动等程序;
内存控制器,用于连接内存设备,用于保存SOC上的数据;
缓存数据替换装置,用于执行上文中所描述的缓存数据替换方法;
显示控制器,用于控制将内存里的frame buffer以显示接口(HDMI, DP等)输出到显示器上;
视频解码器,用于将主机硬盘上的编码的视频解码成能显示的画面。
视频编码器,用于将主机硬盘上原始的视频码流编码成指定的格式返回给主机。
本公开实施例还提供一种电子设备,该电子设备包括上述的图形处理系统。在一些使用场景下,该电子设备的产品形式是便携式电子设备,例如智能手机、平板电脑、VR设备等;在一些使用场景下,该电子设备的产品形式是个人电脑、游戏主机等。
以上尽管已描述了本公开的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改,本领域的技术人员在不脱离本公开的精神和范围的前提下,做出的变更和修改也应视为本公开实施例的保护范围。

Claims (16)

1.一种缓存数据替换方法,其特征在于,方法包括:
在利用主存中的替换数据块对缓存中的待替换缓存行进行替换时,对缓存中各个缓存行进行遍历确定目标缓存行;所述目标缓存行,包括与所述待替换缓存行对应的主存地址位于同一主存页的、待写回主存的缓存行;
将目标缓存行以及待替换缓存行写回至主存,并将替换数据块写入至所述待替换缓存行所在的位置。
2.根据权利要求1所述的方法,其特征在于,所述对缓存中各个缓存行进行遍历确定目标缓存行,包括:
遍历全部缓存行的脏数据标记和有效标记确定待写回到主存的多个缓存行;
针对待写回到主存的多个缓存行,根据Tag确定目标缓存行。
3.根据权利要求2所述的方法,其特征在于,所述主存和缓存的映射方式为组相联映射或直接映射,主存地址中的bank地址以及row地址被映射为Tag标记;
所述根据Tag确定目标缓存行,包括:
确定与所述待替换缓存行的Tag标记相同的至少一个缓存行为目标缓存行。
4.根据权利要求3所述的方法,其特征在于,所述主存和缓存的映射方式为组相联映射;
所述确定与所述待替换缓存行的Tag标记相同的至少一个缓存行为目标缓存行,包括:
确定多个way中,与所述待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行,为目标缓存行。
5.根据权利要求4所述的方法,其特征在于,还包括:
若缓存中不存在与所述待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行,则将缓存中的待替换缓存行替换为替换数据块。
6.根据权利要求2所述的方法,其特征在于,所述主存和缓存的映射方式为全相联映射;所述主存地址中的bank地址以及row地址被映射为包含于Tag标记;
所述根据Tag确定目标缓存行,包括:
针对待写回到主存的多个缓存行,从所述多个缓存行的Tag标记中查找bank地址和row地址;
确定与所述待替换缓存行的bank地址和row地址相同的至少一个缓存行为目标缓存行。
7.根据权利要求2所述的方法,其特征在于,还包括:
在将目标缓存行以及待替换缓存行写回至主存后,将目标缓存的脏数据标记进行更新,以将目标缓存行的数据标记为有效的非脏数据。
8.一种缓存数据替换装置,其特征在于,所述装置包括:
查找模块,用于在利用主存中的替换数据块对缓存中的待替换缓存行进行替换时,对缓存中各个缓存行进行遍历确定目标缓存行;所述目标缓存行,包括与所述待替换缓存行对应的主存地址位于同一主存页的、待写回主存的缓存行;
写入模块,用于将目标缓存行以及待替换缓存行写回至主存,并将替换数据块写入至所述待替换缓存行所在的位置。
9.根据权利要求8所述的装置,其特征在于,
所述查找模块,具体用于遍历全部缓存行的脏数据标记和有效标记确定待写回到主存的多个缓存行;针对待写回到主存的多个缓存行,根据Tag确定目标缓存行。
10.根据权利要求9所述的装置,其特征在于,所述主存和缓存的映射方式为组相联映射或直接映射,主存地址中的bank地址以及row地址被映射为Tag标记;
所述查找模块,具体用于确定与所述待替换缓存行的Tag标记相同的至少一个缓存行为目标缓存行。
11.根据权利要求10所述的装置,其特征在于,所述主存和缓存的映射方式为组相联映射;
所述查找模块,具体用于确定多个way中,与所述待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行,为目标缓存行。
12.根据权利要求11所述的装置,其特征在于,
所述写入模块,还用于在缓存中不存在与所述待替换缓存行set编号连续并且Tag标记相同的至少一个缓存行的情况下,将缓存中的待替换缓存行替换为替换数据块。
13.根据权利要求9所述的装置,其特征在于,所述主存和缓存的映射方式为全相联映射;所述主存地址中的bank地址以及row地址被映射为包含于Tag标记;
所述查找模块,具体用于针对待写回到主存的多个缓存行,从所述多个缓存行的Tag标记中查找bank地址和row地址;确定与所述待替换缓存行的bank地址和row地址相同的至少一个缓存行为目标缓存行。
14.根据权利要求9所述的装置,其特征在于,
所述写入模块,还用于在将目标缓存行以及待替换缓存行写回至主存后,将目标缓存的脏数据标记进行更新,以将目标缓存行的数据标记为有效的非脏数据。
15.一种图形处理系统,其特征在于,包括上述权利要求8-14任一项所述的缓存数据替换装置。
16.一种电子设备,其特征在于,包括权利要求15所述的图形处理系统。
CN202310057779.XA 2023-01-19 2023-01-19 一种缓存数据替换方法、装置、图形处理系统及电子设备 Active CN115809028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310057779.XA CN115809028B (zh) 2023-01-19 2023-01-19 一种缓存数据替换方法、装置、图形处理系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310057779.XA CN115809028B (zh) 2023-01-19 2023-01-19 一种缓存数据替换方法、装置、图形处理系统及电子设备

Publications (2)

Publication Number Publication Date
CN115809028A true CN115809028A (zh) 2023-03-17
CN115809028B CN115809028B (zh) 2023-05-12

Family

ID=85487416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310057779.XA Active CN115809028B (zh) 2023-01-19 2023-01-19 一种缓存数据替换方法、装置、图形处理系统及电子设备

Country Status (1)

Country Link
CN (1) CN115809028B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117349198A (zh) * 2023-11-30 2024-01-05 摩尔线程智能科技(北京)有限责任公司 缓存行替换方法及装置
CN117806992A (zh) * 2024-02-29 2024-04-02 山东云海国创云计算装备产业创新中心有限公司 数据块替换方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101077A (ja) * 1999-10-01 2001-04-13 Fujitsu Ltd キャッシュメモリの制御方法とその方法を採用した計算機
WO2010029694A1 (ja) * 2008-09-09 2010-03-18 パナソニック株式会社 キャッシュメモリ、キャッシュメモリシステム
CN105095116A (zh) * 2014-05-19 2015-11-25 华为技术有限公司 缓存替换的方法、缓存控制器和处理器
CN114860785A (zh) * 2022-07-08 2022-08-05 深圳云豹智能有限公司 缓存数据处理系统、方法、计算机设备和存储介质
CN115390756A (zh) * 2022-08-20 2022-11-25 西安翔腾微电子科技有限公司 一种基于掩码的GPU像素流Cache的读写访问系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101077A (ja) * 1999-10-01 2001-04-13 Fujitsu Ltd キャッシュメモリの制御方法とその方法を採用した計算機
WO2010029694A1 (ja) * 2008-09-09 2010-03-18 パナソニック株式会社 キャッシュメモリ、キャッシュメモリシステム
CN105095116A (zh) * 2014-05-19 2015-11-25 华为技术有限公司 缓存替换的方法、缓存控制器和处理器
CN114860785A (zh) * 2022-07-08 2022-08-05 深圳云豹智能有限公司 缓存数据处理系统、方法、计算机设备和存储介质
CN115390756A (zh) * 2022-08-20 2022-11-25 西安翔腾微电子科技有限公司 一种基于掩码的GPU像素流Cache的读写访问系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵建明;姚念民;韩永;蔡绍滨;: "一种针对iSCSI存储的缓存替换算法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117349198A (zh) * 2023-11-30 2024-01-05 摩尔线程智能科技(北京)有限责任公司 缓存行替换方法及装置
CN117806992A (zh) * 2024-02-29 2024-04-02 山东云海国创云计算装备产业创新中心有限公司 数据块替换方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115809028B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN115809028B (zh) 一种缓存数据替换方法、装置、图形处理系统及电子设备
US8244984B1 (en) System and method for cleaning dirty data in an intermediate cache using a data class dependent eviction policy
US6801203B1 (en) Efficient graphics pipeline with a pixel cache and data pre-fetching
KR101121487B1 (ko) 멀티-클래스 데이터 캐시 정책들
US7519781B1 (en) Physically-based page characterization data
US9952977B2 (en) Cache operations and policies for a multi-threaded client
US8055851B2 (en) Line swapping scheme to reduce back invalidations in a snoop filter
US20080028181A1 (en) Dedicated mechanism for page mapping in a gpu
US8949541B2 (en) Techniques for evicting dirty data from a cache using a notification sorter and count thresholds
US20170060434A1 (en) Transaction-based hybrid memory module
CN115794673B (zh) 系统级芯片non-Cacheable数据的访问方法、装置及电子设备
US20090077320A1 (en) Direct access of cache lock set data without backing memory
US8060700B1 (en) System, method and frame buffer logic for evicting dirty data from a cache using counters and data types
CN110297787B (zh) I/o设备访问内存的方法、装置及设备
CN106354664A (zh) 一种固态硬盘数据传输方法及装置
US7831780B2 (en) Operating system supplemental disk caching system and method
US20070233965A1 (en) Way hint line replacement algorithm for a snoop filter
US7809904B1 (en) Page preloading using page characterization data
CN115878507B (zh) 系统级芯片的内存访问方法、装置及电子设备
CN105550979A (zh) 一种高数据通量纹理Cache层次结构
CN117389914B (zh) 缓存系统、缓存写回方法、片上系统及电子设备
US7949833B1 (en) Transparent level 2 cache controller
US6570573B1 (en) Method and apparatus for pre-fetching vertex buffers in a computer system
CN115794675B (zh) 写数据方法、装置、图形处理系统、电子组件及电子设备
CN115809208B (zh) 缓存数据刷新方法、装置、图形处理系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant