CN113687781A - 一种热数据的上拉方法、装置、设备及介质 - Google Patents
一种热数据的上拉方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN113687781A CN113687781A CN202110873167.9A CN202110873167A CN113687781A CN 113687781 A CN113687781 A CN 113687781A CN 202110873167 A CN202110873167 A CN 202110873167A CN 113687781 A CN113687781 A CN 113687781A
- Authority
- CN
- China
- Prior art keywords
- target
- data
- request
- statistic
- statistics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 abstract description 8
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种热数据的上拉方法、装置、设备及介质,包括:当接收到客户端所发送的目标读请求时,则获取统计集合;若目标读请求的请求对象存在于统计集合中,则在统计集合中对目标读请求的请求对象的统计数加一,得到目标统计数;若目标统计数大于或等于预设阈值,则判定目标读请求的请求对象为热数据;当目标读请求的请求对象为热数据时,若需要将目标读请求转发至低速存储池,则从低速存储池中读取目标数据,并从高速缓存池中读取目标剩余数据;将目标数据上拉至高速缓存池,对目标数据和目标剩余数据进行合并,并将合并数据反馈至客户端。通过该方法就可以在降低高速缓存池对客户端响应延时的同时,也能够降低传输网络和低速存储池的压力。
Description
技术领域
本发明涉及服务器技术领域,特别涉及一种热数据的上拉方法、装置、设备及介质。
背景技术
在分布式存储系统中,由于存储成本有限,为了保证硬件存储资源的最大利用率,一般会对存储数据进行分层存储来保证存储数据在分布式存储系统中的安全性以及可靠性。请参见图1,图1为分层存储的示意图。在分布式存储系统中,通常会将用户访问频率较高的热数据存储于高速缓存池中,并将用户访问频率较低的冷数据存储于低速存储池中。显然,基于此种数据存储机制就应该在高速缓存池中尽可能多的存储热数据,但是,由于高速缓存池的容量限制,就需要将高速缓存池中访问频率较低的数据下发到低速存储池,并将低速存储池中访问频率较高的数据上拉到高速缓存池中。
在现有技术中,客户端会将业务请求下发到高速缓存池所属的OSD(ObjectStorage Device,对象存储资源)中,并由OSD负责业务请求的整个生命流程。当业务请求所对应的请求对象存在于高速缓存池时,OSD会直接将请求对象从高速缓存池反馈至客户端;如果业务请求所对应的请求对象不在高速缓存池中,则OSD需要将请求对象所对应的整个文件上拉至高速缓存池,然后再将整个文件反馈至客户端。
在此设置机制下,当OSD从低速存储池中识别到热数据时,就需要将热数据所对应的整个文件全部上拉至高速缓存池。显然,由于上拉的数据颗粒度较大,这样不仅会增加高速缓存池对客户端的响应延时,而且,也会增加传输网络和低速存储池的压力。目前,针对这一技术问题,还没有较为有效的解决办法。
发明内容
有鉴于此,本发明的目的在于提供一种热数据的上拉方法、装置、设备及介质,以在降低高速缓存池对客户端响应延时的同时,也可以降低传输网络和低速存储池的压力。其具体方案如下:
一种热数据的上拉方法,应用于分布式存储系统中高速缓存池的OSD,包括:
当接收到客户端所发送的目标读请求时,则获取统计集合;其中,所述统计集合为所述客户端发送所述目标读请求之前的预设时间段内向所述高速缓存池发送读请求和/或写请求的请求对象的集合;
若所述目标读请求的请求对象存在于所述统计集合中,则在所述统计集合中对所述目标读请求的请求对象的统计数加一,得到目标统计数;
若所述目标统计数大于或等于预设阈值,则判定所述目标读请求的请求对象为热数据;
当所述目标读请求的请求对象为热数据时,若需要将所述目标读请求转发至所述分布式存储系统中的低速存储池,则从所述低速存储池中读取所述目标数据,并从所述高速缓存池中读取目标剩余数据;其中,所述目标剩余数据为所述目标读请求的请求对象中除去所述目标数据的剩余数据;
将所述目标数据上拉至所述高速缓存池,对所述目标数据和所述目标剩余数据进行合并,得到合并数据,并将所述合并数据反馈至所述客户端。
优选的,还包括:
若所述目标读请求的请求对象不存在于所述统计集合,则将所述目标读请求的请求对象插入至所述统计集合,并将所述统计集合中与所述目标读请求间隔时间最长请求的请求对象删除。
优选的,还包括:
若所述目标统计数小于所述预设阈值,则判定所述目标读请求的请求对象为冷数据。
优选的,所述对所述目标数据和所述目标剩余数据进行合并,得到合并数据的过程之后,还包括:
对所述高速缓存池进行更新。
优选的,所述在所述统计集合中对所述目标读请求的请求对象的统计数加一,得到目标统计数的过程之后,还包括:
对所述统计集合进行释放。
优选的,所述高速缓存池具体为SSD和/或NVMe。
优选的,所述在所述统计集合中对所述目标读请求的请求对象的统计数加一,得到目标统计数过程,包括:
在所述统计集合中,利用布隆过滤器对所述目标读请求的请求对象的统计数加一,得到所述目标统计数。
相应的,本发明还公开了一种热数据的上拉装置,应用于分布式存储系统中高速缓存池的OSD,包括:
请求发送模块,用于当接收到客户端所发送的目标读请求时,则获取统计集合;其中,所述统计集合为所述客户端发送所述目标读请求之前的预设时间段内向所述高速缓存池发送读请求和/或写请求的请求对象的集合;
请求判断模块,用于若所述目标读请求的请求对象存在于所述统计集合中,则在所述统计集合中对所述目标读请求的请求对象的统计数加一,得到目标统计数;
数据判断模块,用于若所述目标统计数大于或等于预设阈值,则判定所述目标读请求的请求对象为热数据;
数据读取模块,用于当所述目标读请求的请求对象为热数据时,若需要将所述目标读请求转发至所述分布式存储系统中的低速存储池,则从所述低速存储池中读取所述目标数据,并从所述高速缓存池中读取目标剩余数据;其中,所述目标剩余数据为所述目标读请求的请求对象中除去所述目标数据的剩余数据;
数据上拉模块,用于将所述目标数据上拉至所述高速缓存池,对所述目标数据和所述目标剩余数据进行合并,得到合并数据,并将所述合并数据反馈至所述客户端。
相应的,本发明还公开了一种热数据的上拉设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如前述所公开的一种热数据的上拉方法的步骤。
相应的,本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前述所公开的一种热数据的上拉方法的步骤。
可见,在本发明中,当分布式存储系统中高速缓存池的OSD接收到客户端所发送的目标读请求时,则获取统计集合;其中,统计集合为客户端发送目标读请求之前的预设时间段内向高速缓存池发送读请求和/或写请求的请求对象的集合;如果目标读请求的请求对象存在于统计集合中,则在统计集合中对目标读请求的请求对象的统计数加一,得到目标统计数;如果目标统计数大于或等于预设阈值,则说明目标读请求的请求对象为热数据;在此情况下,如果OSD还需要将目标读请求转发至分布式存储系统中的低速存储池,则从低速存储池中读取目标数据,并从高速缓存池中读取目标剩余数据;其中,目标剩余数据为目标读请求的请求对象中除去目标数据的剩余数据;最后,再将目标数据上拉至高速缓存池,对目标数据和目标剩余数据进行合并,得到合并数据,并将合并数据反馈至客户端。显然,相较于现有技术而言,由于该方法不仅能够保证热数据在高速缓存池中进行存储时的实时性,而且,只需要将低速存储池中的部分数据上拉到高速缓存池就可以完成热数据的上拉,所以,通过该方法就可以在降低高速缓存池对客户端响应延时的同时,也能够降低传输网络和低速存储池的压力。相应的,本发明所提供的一种热数据的上拉装置、设备及介质,同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为分层存储的示意图;
图2为本发明实施例所提供的一种热数据的上拉方法的流程图;
图3为本发明实施例所提供的一种热数据的判断流程图;
图4为将低速存储池的数据上拉到高速缓存池时的通信示意图;
图5为本发明实施例所提供的一种热数据的上拉装置的结构图;
图6为本发明实施例所提供的一种热数据的上拉设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图2,图2为本发明实施例所提供的一种热数据的上拉方法的流程图,该上拉方法包括:
步骤S11:当接收到客户端所发送的目标读请求时,则获取统计集合;
其中,统计集合为客户端发送目标读请求之前的预设时间段内向高速缓存池发送读请求和/或写请求的请求对象的集合;
步骤S12:若目标读请求的请求对象存在于统计集合中,则在统计集合中对目标读请求的请求对象的统计数加一,得到目标统计数;
步骤S13:若目标统计数大于或等于预设阈值,则判定目标读请求的请求对象为热数据;
步骤S14:当目标读请求的请求对象为热数据时,若需要将目标读请求转发至分布式存储系统中的低速存储池,则从低速存储池中读取目标数据,并从高速缓存池中读取目标剩余数据;
其中,目标剩余数据为目标读请求的请求对象中除去目标数据的剩余数据;
步骤S15:将目标数据上拉至高速缓存池,对目标数据和目标剩余数据进行合并,得到合并数据,并将合并数据反馈至客户端。
在本实施例中,是提供了一种热数据的上拉方法,利用该方法不仅可以降低高速缓存池对客户端请求的响应延时,而且,也能够降低传输网络和低速存储池的压力。在该上拉方法中,是以分布式存储系统中高速缓存池的OSD为执行主体进行具体说明。
当OSD接收到客户端所发送的目标读请求时,首先是获取统计集合;其中,统计集合为客户端发送目标读请求之前的预设时间段内向高速缓存池发送读请求和/或写请求的请求对象的集合。
假设预设时间段为客户端向高速缓存池发送目标读请求之前的5min,那么统计集合中就会存储有客户端在向高速缓存池发送目标读请求之前5min内发送读请求和/或写请求的请求对象。如果1min可以存储100个请求对象,那么统计集合中就会存储有500个请求对象。
当OSD获取得到统计集合之后,会判断目标读请求的请求对象是否存在于统计集合中,如果目标读请求的请求对象存在于统计集合中,则OSD会在统计集合中对目标读请求的请求对象的统计数加一,得到目标统计数。当OSD统计得到了统计集合中与目标读请求相对应请求对象的目标统计数之后,OSD会将目标统计数与预设阈值进行比较,如果目标统计数大于或等于预设阈值,则说明目标读请求的请求对象为热数据。
当目标读请求的请求对象为热对象时,如果OSD还需要将目标读请求转发至分布式存储系统中的低速存储池,则说明目标读请求的请求对象一部分数据存在于高速缓存池,而另一部分数据存在于低速存储池。在此情况下,OSD就会对低速存储池中需要上拉至高速缓存池的目标数据进行标识。
当OSD对低速存储池中需要上拉至高速缓存池的目标数据进行标识之后,OSD就会从低速缓存池中读取目标数据,并从高速缓存池中读取目标剩余数据;其中,目标剩余数据为目标读请求的请求对象中除去目标数据的剩余数据。之后,OSD就会将低速存储池中的目标数据上拉至高速缓存池,并对目标数据和目标剩余数据进行合并,得到合并数据。当OSD将目标数据和目标剩余数据进行合并之后,就会将合并数据反馈至客户端。
能够想到的是,由于该方法只需要将低速存储池中的部分数据上拉到高速缓存池就可以完成热数据的上拉,所以,通过该方法就可以在降低高速缓存池对客户端响应延时的同时,也能够降低传输网络和低速存储池的压力。
可见,在本实施例中,当分布式存储系统中高速缓存池的OSD接收到客户端所发送的目标读请求时,则获取统计集合;其中,统计集合为客户端发送目标读请求之前的预设时间段内向高速缓存池发送读请求和/或写请求的请求对象的集合;如果目标读请求的请求对象存在于统计集合中,则在统计集合中对目标读请求的请求对象的统计数加一,得到目标统计数;如果目标统计数大于或等于预设阈值,则说明目标读请求的请求对象为热数据;在此情况下,如果OSD还需要将目标读请求转发至分布式存储系统中的低速存储池,则从低速存储池中读取目标数据,并从高速缓存池中读取目标剩余数据;其中,目标剩余数据为目标读请求的请求对象中除去目标数据的剩余数据;最后,再将目标数据上拉至高速缓存池,对目标数据和目标剩余数据进行合并,得到合并数据,并将合并数据反馈至客户端。显然,相较于现有技术而言,由于该方法不仅能够保证热数据在高速缓存池中进行存储时的实时性,而且,只需要将低速存储池中的部分数据上拉到高速缓存池就可以完成热数据的上拉,所以,通过该方法就可以在降低高速缓存池对客户端响应延时的同时,也能够降低传输网络和低速存储池的压力。
基于上述实施例,本实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,前述上拉方法还包括:
若目标读请求的请求对象不存在于统计集合,则将目标读请求的请求对象插入至统计集合,并将统计集合中与目标读请求间隔时间最长请求的请求对象删除。
在本实施例中,如果目标读请求的请求对象不存在于统计集合中,此时为了保证统计集合中存储的都是客户端在最近一段时间内访问请求对象的集合。在此情况下,就可以将目标读请求的请求对象插入至统计集合中,并将统计集合中与目标读请求间隔时间最长请求的请求对象删除。
能够想到的是,通过这样的设置方式就可以保证统计集合中存储的一直都是客户端在当前最近一段时间内访问的请求对象,由此就可以保证统计集合中存储数据的可靠性与实时性。
基于上述实施例,本实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,上述上拉方法还包括:
若目标统计数小于预设阈值,则判定目标读请求的请求对象为冷数据。
如果OSD判断出统计集合中与目标读请求相对应请求对象的统计数小于预设阈值,则说明与目标读请求相对应的请求对象为冷数据。在此情况下,只需要按照正常的数据处理流程对目标读请求的请求对象进行处理即可。
显然,通过本实施例所提供的技术方案,就可以进一步保证本申请所提供热数据上拉方法的完整性。
基于上述实施例,本实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,上述步骤:在统计集合中对目标读请求的请求对象的统计数加一,得到目标统计数的过程之后,还包括:
对统计集合进行释放。
可以理解的是,当OSD在统计集合中计算得到与目标读请求相对应请求对象的目标统计数之后,OSD在后续的执行流程中就无需使用统计集合,在此情况下,为了减少OSD的资源开销,还可以将统计集合从OSD的执行进程中释放,并以此来保证OSD的执行效率。
请参见图3,图3为本发明实施例所提供的一种热数据的判断流程图。在实际应用中,当分布式存储系统中高速缓存池的OSD接收到客户端所发送的读/写请求时,如果想要判断读/写请求的请求对象是否为热数据,则需要获取统计集合,并对统计集合进行遍历。如果读/写请求的请求对象存在于统计集合中,则在统计集合中对读/写请求的请求对象的统计数加一,统计得到与读/写请求的请求对象相对应的统计数X,如果统计数X大于或等于预设阈值,则说明读/写请求的请求对象为热数据,如果统计数X小于预设阈值,则说明读/写请求的请求对象为冷数据。当OSD判断出读/写请求的请求对象为热数据或冷数据之后,就可以将统计集合释放掉。如果读/写请求的请求对象不存在于统计集合中时,则需要将读/写请求的请求对象插入至统计集合,并将统计集合中与读/写请求间隔时间最长请求的请求对象删除。很显然,不管客户端所发送的请求是读请求还是写请求,均会触发热数据的统计流程。
可见,通过本实施例所提供的技术方案,就可以相对减少OSD所需要的资源开销。
基于上述实施例,本实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,上述步骤:对目标数据和目标剩余数据进行合并,得到合并数据的过程之后,还包括:
对高速缓存池进行更新。
可以理解的是,当高速缓存池中的OSD将目标剩余数据和目标数据进行合并之后,高速缓存池中所存储的数据就发生了变化,所以,为了保证高速缓存池中存储热数据的实时性与准确性,还需要在OSD对目标剩余数据和目标数据进行合并之后,对高速缓存池进行更新。
基于上述实施例,本实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,高速缓存池具体为SSD和/或NVMe。
具体的,在本实施例中,可以将高速缓存池设置为SSD(Solid State Disk,固态硬盘)和/或NVMe(Non Volatile Memory Host Controller Interface Specification,非易失性存储器),因为这两种存储介质均为实际应用中较为常见的高速存储介质,所以,通过此种设置方式就可以相对保证高速缓存池在实际操作过程中的易用性。
另外,在实际应用中,还可以将低速存储池设置为HDD(Hard Disk Drive,硬盘驱动器)等低速存储设备中,此处不作具体赘述。
基于上述实施例,本实施例对技术方案作进一步的说明与优化,作为一种优选的实施方式,上述步骤:在统计集合中对目标读请求的请求对象的统计数加一,得到目标统计数的过程,包括:
在统计集合中,利用布隆过滤器对目标读请求的请求对象的统计数加一,得到目标统计数。
可以理解的是,因为布隆过滤器的空间效率和查询效率要远远高于同类型的其它算法,所以,在实际应用中,就可以利用布隆过滤器来记录统计集合,并利用布隆过滤器来对统计集合中与目标读请求相对应请求对象的统计数进行累加与统计。
显然,通过本实施例所提供的技术方案,不仅可以相对减少统计集合对缓存的占用量,而且,也可以提高OSD对统计集合中各个请求对象进行统计时的统计效率。
为了使得本领域技术人员能够更为清楚、明白本申请的实现原理,在本实施例中,将通过一个应用场景实施例对上述实施例所公开的技术内容进行详细说明。请参见图4,图4为将低速存储池的数据上拉到高速缓存池时的通信示意图。
当高速缓存池中的OSD接收到客户端所发送的读请求时,OSD首先会判断与读请求相对应的请求对象是否为热数据,如果是热数据,OSD会判断是否需要执行代理读。也即,OSD需要判断与读请求相对应的请求对象是否全部存在于高速缓存池当中,如果与读请求相对应的请求对象不是全部存在于高速缓存池,则OSD需要将客户端所发送的读请求转发至低速存储池。
当OSD确定出要执行代理读时,OSD会对低速存储池中需要上拉到高速缓存池中的数据进行标记。假设读请求的请求对象为A+B,其中,数据A存在于高速缓存池中,数据B存在于低速存储池当中。那么,OSD就会从高速缓存池中读取数据A,并向低速存储池发送代理读请求,以从低速存储池中读取数据B。当OSD读取完毕数据A和数据B时,OSD就会将数据B上拉至高速缓存池,并对数据A和数据B进行合并,最后,OSD就会将合并数据返回至客户端。
显然,由于该方法只需要将低速存储池中的部分数据上拉到高速缓存池就可以完成热数据的上拉,所以,通过该方法就可以在降低高速缓存池对客户端响应延时的同时,也能够降低传输网络和低速存储池的压力。
请参见图5,图5为本发明实施例所提供的一种热数据的上拉装置的结构图,该上拉装置包括:
请求发送模块21,用于当接收到客户端所发送的目标读请求时,则获取统计集合;其中,统计集合为客户端发送目标读请求之前的预设时间段内向高速缓存池发送读请求和/或写请求的请求对象的集合;
请求判断模块22,用于若目标读请求的请求对象存在于统计集合中,则在统计集合中对目标读请求的请求对象的统计数加一,得到目标统计数;
数据判断模块23,用于若目标统计数大于或等于预设阈值,则判定目标读请求的请求对象为热数据;
数据读取模块24,用于当所述目标读请求的请求对象为热数据时,若需要将目标读请求转发至分布式存储系统中的低速存储池,则从低速存储池中读取目标数据,并从高速缓存池中读取目标剩余数据;其中,目标剩余数据为目标读请求的请求对象中除去目标数据的剩余数据;
数据上拉模块25,用于将目标数据上拉至高速缓存池,对目标数据和目标剩余数据进行合并,得到合并数据,并将合并数据反馈至客户端。
本发明实施例所提供的一种热数据的上拉装置,具有前述所公开的一种热数据的上拉方法所具有的有益效果。
请参见图6,图6为本发明实施例所提供的一种热数据的上拉设备的结构图,该上拉设备包括:
存储器31,用于存储计算机程序;
处理器32,用于执行计算机程序时实现如前述所公开的一种热数据的上拉方法的步骤。
本发明实施例所提供的一种热数据的上拉设备,具有前述所公开的一种热数据的上拉方法所具有的有益效果。
相应的,本发明实施例还公开了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如前述所公开的一种热数据的上拉方法的步骤。
本发明实施例所提供的一种计算机可读存储介质,具有前述所公开的一种热数据的上拉方法所具有的有益效果。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种热数据的上拉方法、装置、设备及介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种热数据的上拉方法,其特征在于,应用于分布式存储系统中高速缓存池的OSD,包括:
当接收到客户端所发送的目标读请求时,则获取统计集合;其中,所述统计集合为所述客户端发送所述目标读请求之前的预设时间段内向所述高速缓存池发送读请求和/或写请求的请求对象的集合;
若所述目标读请求的请求对象存在于所述统计集合中,则在所述统计集合中对所述目标读请求的请求对象的统计数加一,得到目标统计数;
若所述目标统计数大于或等于预设阈值,则判定所述目标读请求的请求对象为热数据;
当所述目标读请求的请求对象为热数据时,若需要将所述目标读请求转发至所述分布式存储系统中的低速存储池,则从所述低速存储池中读取所述目标数据,并从所述高速缓存池中读取目标剩余数据;其中,所述目标剩余数据为所述目标读请求的请求对象中除去所述目标数据的剩余数据;
将所述目标数据上拉至所述高速缓存池,对所述目标数据和所述目标剩余数据进行合并,得到合并数据,并将所述合并数据反馈至所述客户端。
2.根据权利要求1所述的上拉方法,其特征在于,还包括:
若所述目标读请求的请求对象不存在于所述统计集合,则将所述目标读请求的请求对象插入至所述统计集合,并将所述统计集合中与所述目标读请求间隔时间最长请求的请求对象删除。
3.根据权利要求1所述的上拉方法,其特征在于,还包括:
若所述目标统计数小于所述预设阈值,则判定所述目标读请求的请求对象为冷数据。
4.根据权利要求1所述的上拉方法,其特征在于,所述对所述目标数据和所述目标剩余数据进行合并,得到合并数据的过程之后,还包括:
对所述高速缓存池进行更新。
5.根据权利要求1所述的上拉方法,其特征在于,所述在所述统计集合中对所述目标读请求的请求对象的统计数加一,得到目标统计数的过程之后,还包括:
对所述统计集合进行释放。
6.根据权利要求1所述的上拉方法,其特征在于,所述高速缓存池具体为SSD和/或NVMe。
7.根据权利要求1至6任一项所述的上拉方法,其特征在于,所述在所述统计集合中对所述目标读请求的请求对象的统计数加一,得到目标统计数过程,包括:
在所述统计集合中,利用布隆过滤器对所述目标读请求的请求对象的统计数加一,得到所述目标统计数。
8.一种热数据的上拉装置,其特征在于,应用于分布式存储系统中高速缓存池的OSD,包括:
请求发送模块,用于当接收到客户端所发送的目标读请求时,则获取统计集合;其中,所述统计集合为所述客户端发送所述目标读请求之前的预设时间段内向所述高速缓存池发送读请求和/或写请求的请求对象的集合;
请求判断模块,用于若所述目标读请求的请求对象存在于所述统计集合中,则在所述统计集合中对所述目标读请求的请求对象的统计数加一,得到目标统计数;
数据判断模块,用于若所述目标统计数大于或等于预设阈值,则判定所述目标读请求的请求对象为热数据;
数据读取模块,用于当所述目标读请求的请求对象为热数据时,若需要将所述目标读请求转发至所述分布式存储系统中的低速存储池,则从所述低速存储池中读取所述目标数据,并从所述高速缓存池中读取目标剩余数据;其中,所述目标剩余数据为所述目标读请求的请求对象中除去所述目标数据的剩余数据;
数据上拉模块,用于将所述目标数据上拉至所述高速缓存池,对所述目标数据和所述目标剩余数据进行合并,得到合并数据,并将所述合并数据反馈至所述客户端。
9.一种热数据的上拉设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至7任一项所述的一种热数据的上拉方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的一种热数据的上拉方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110873167.9A CN113687781A (zh) | 2021-07-30 | 2021-07-30 | 一种热数据的上拉方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110873167.9A CN113687781A (zh) | 2021-07-30 | 2021-07-30 | 一种热数据的上拉方法、装置、设备及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113687781A true CN113687781A (zh) | 2021-11-23 |
Family
ID=78578391
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110873167.9A Pending CN113687781A (zh) | 2021-07-30 | 2021-07-30 | 一种热数据的上拉方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113687781A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114237518A (zh) * | 2022-02-22 | 2022-03-25 | 苏州浪潮智能科技有限公司 | 一种数据读取方法、系统、装置及终端 |
CN115686385A (zh) * | 2023-01-03 | 2023-02-03 | 苏州浪潮智能科技有限公司 | 一种数据存储方法、装置、计算机设备及存储介质 |
CN115827508A (zh) * | 2023-01-09 | 2023-03-21 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统、设备以及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150227465A1 (en) * | 2012-04-09 | 2015-08-13 | Netapp Inc. | Data storage within hybrid storage aggregate |
US20160283129A1 (en) * | 2013-12-05 | 2016-09-29 | Huawei Technologies Co., Ltd. | Method, apparatus, and system for calculating identification threshold to distinguish cold data and hot data |
CN111857597A (zh) * | 2020-07-24 | 2020-10-30 | 浪潮电子信息产业股份有限公司 | 一种热点数据缓存方法、系统及相关装置 |
CN112269534A (zh) * | 2020-10-16 | 2021-01-26 | 苏州浪潮智能科技有限公司 | 一种数据读取方法、装置、设备及计算机可读存储介质 |
CN112463054A (zh) * | 2020-11-27 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种提升读写性能的方法和设备 |
CN112783831A (zh) * | 2021-01-28 | 2021-05-11 | 新华三大数据技术有限公司 | 一种文件迁移方法及装置 |
-
2021
- 2021-07-30 CN CN202110873167.9A patent/CN113687781A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150227465A1 (en) * | 2012-04-09 | 2015-08-13 | Netapp Inc. | Data storage within hybrid storage aggregate |
US20160283129A1 (en) * | 2013-12-05 | 2016-09-29 | Huawei Technologies Co., Ltd. | Method, apparatus, and system for calculating identification threshold to distinguish cold data and hot data |
CN111857597A (zh) * | 2020-07-24 | 2020-10-30 | 浪潮电子信息产业股份有限公司 | 一种热点数据缓存方法、系统及相关装置 |
CN112269534A (zh) * | 2020-10-16 | 2021-01-26 | 苏州浪潮智能科技有限公司 | 一种数据读取方法、装置、设备及计算机可读存储介质 |
CN112463054A (zh) * | 2020-11-27 | 2021-03-09 | 苏州浪潮智能科技有限公司 | 一种提升读写性能的方法和设备 |
CN112783831A (zh) * | 2021-01-28 | 2021-05-11 | 新华三大数据技术有限公司 | 一种文件迁移方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114237518A (zh) * | 2022-02-22 | 2022-03-25 | 苏州浪潮智能科技有限公司 | 一种数据读取方法、系统、装置及终端 |
CN115686385A (zh) * | 2023-01-03 | 2023-02-03 | 苏州浪潮智能科技有限公司 | 一种数据存储方法、装置、计算机设备及存储介质 |
CN115827508A (zh) * | 2023-01-09 | 2023-03-21 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统、设备以及存储介质 |
CN115827508B (zh) * | 2023-01-09 | 2023-05-09 | 苏州浪潮智能科技有限公司 | 一种数据处理方法、系统、设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113687781A (zh) | 一种热数据的上拉方法、装置、设备及介质 | |
US10133679B2 (en) | Read cache management method and apparatus based on solid state drive | |
US8418003B2 (en) | Log collecting apparatus, program, method, and system | |
CN1997015B (zh) | 缓存应用方法与装置以及文件传输系统 | |
CN110737388A (zh) | 数据预读方法、客户端、服务器以及文件系统 | |
KR20120102664A (ko) | 미래 사용 추정에 기반한 저장 메모리 할당 | |
CN101510219A (zh) | 文件数据访问方法、装置以及系统 | |
WO2022016861A1 (zh) | 一种热点数据缓存方法、系统及相关装置 | |
CN110008041B (zh) | 一种消息处理方法及装置 | |
JP2011118771A (ja) | 情報処理装置、情報処理方法、データ管理サーバおよびデータ同期システム | |
EP4020153A1 (en) | Cache space management method and device | |
CN108540510B (zh) | 一种云主机创建方法、装置及云服务系统 | |
CN110908965A (zh) | 一种对象存储管理方法、装置、设备及存储介质 | |
CN112231242A (zh) | 数据缓存方法、存储控制装置、及存储设备 | |
CN112165436A (zh) | 流量控制方法、装置及系统 | |
US8751750B2 (en) | Cache device, data management method, program, and cache system | |
CN111881096A (zh) | 一种文件读取方法、装置、设备及存储介质 | |
CN111399765B (zh) | 数据处理方法、装置、电子设备及可读存储介质 | |
EP3588913A1 (en) | Data caching method and apparatus | |
CN106599323B (zh) | 在分布式文件系统中实现分布式管道的方法和装置 | |
CN113326146A (zh) | 一种消息处理方法、装置、电子设备及存储介质 | |
CN110554914B (zh) | 资源锁管理方法、装置、服务器及存储介质 | |
CN107491455B (zh) | 一种分布式系统中的读取方法及装置 | |
CN111078643B (zh) | 一种批量删除文件的方法、装置及电子设备 | |
CN115167778A (zh) | 存储的管理方法、系统及服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |