CN106228074A - 存储对象老化方法及装置 - Google Patents
存储对象老化方法及装置 Download PDFInfo
- Publication number
- CN106228074A CN106228074A CN201610562433.5A CN201610562433A CN106228074A CN 106228074 A CN106228074 A CN 106228074A CN 201610562433 A CN201610562433 A CN 201610562433A CN 106228074 A CN106228074 A CN 106228074A
- Authority
- CN
- China
- Prior art keywords
- storage object
- value
- aging
- storage
- memory block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/604—Tools and structures for managing or administering access control systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/0644—Management of space entities, e.g. partitions, extents, pools
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Bioethics (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请是关于存储对象老化方法及装置,所述方法包括:存储对象被操作时,提升被操作的存储对象的热度值,加入到存储区的存储对象预先设有初始热度值,所述初始热度值大于预设老化值;预设间隔时间到达后,降低所有存储对象的热度值;将热度值小于预设老化值的存储对象进行老化。本申请既考虑了时间维度,又考虑了频率维度,实现将被操作频率比较高的存储对象确定为热度比较高的对象,将被操作频率比较低的存储对象确定为热度比较低的对象,并根据升温的快慢进行老化,将升温比较快的保留下来,将升温比较慢的老化,从而可以应对伪造源攻击,将频率比较高的存储对象保留下来,避免相关老化技术中由于无差别老化导致存储对象不可用的缺陷。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及存储对象老化方法及装置。
背景技术
在利用内存存储所有存储对象时,会存在存储空间不足的情况。例如,绝大部分的服务器中内存是不足以存放全量的远端的终端IP(黑名单中的终端IP或白名单中的终端IP)的,尤其是为了快速查找,采用哈希表的方式存储终端IP,由于终端IP的更新通常是动态的,容易出现攻击者或正常的高密集业务将哈希表打满的情况。可见,由于存储空间有限,存储对象的不断加入会导致存储空间不足。为了解决存储空间不足的问题,可以采用老化机制对存储对象进行老化。老化是选择部分存储对象离开的过程,老化存储对象可以是删除存储对象。
目前通常采用基于时间的老化策略对存储对象进行老化。基于时间的老化策略是将时间戳最老的存储对象进行老化,保留最近加入的存储对象。由于基于时间的老化策略按照时间对所有存储对象进行无差别老化,在遇到攻击时,最近加入的存储对象是恶意的存储对象,按时间删除的是时间戳最老的存储对象。此方式可能将所有或大部分正确的存储对象删除,保留了恶意的存储对象,导致存储区中存储对象不可用。
发明内容
为克服相关技术中存在的问题,本申请提供了存储对象老化方法及装置。
根据本申请实施例的第一方面,提供一种存储对象老化方法,所述方法包括:
存储对象被操作时,提升被操作的存储对象的热度值,加入到存储区的存储对象预先设有初始热度值,所述初始热度值大于预设老化值;
预设间隔时间到达后,降低所有存储对象的热度值;
将热度值小于预设老化值的存储对象进行老化。
可选的,在提升被操作的存储对象的热度值之前,和/或在降低所有存储对象的热度值之前,还包括:
确定存储区的当前使用率达到预设使用率阈值;
或,确定所述存储区中存储对象的数量达到预设数量。
可选的,所述初始热度值和预设间隔时间根据存储对象被操作的速度、存储对象被操作的频率所满足的幂律分布和存储区容量确定。
可选的,所述初始热度值和预设间隔时间根据存储对象被操作的速度和老化后存储对象的保留率确定,所述保留率根据存储对象被操作的频率所满足的幂律分布和存储区容量确定。
可选的,所述操作包括添加或访问,所述存储对象通过哈希表的方式存储,所述存储对象为白名单/黑名单中的终端IP;
所述操作为添加时,所述存储对象被操作时,提升被操作的存储对象的热度值,包括:
接收添加存储对象的指令时,若存储区中不存在所述存储对象,则将所述存储对象加入存储区,并将所述存储对象的热度值设置为初始热度值,若存储区中存在所述存储对象,则将存储区中所述存储对象的热度值增加第一预设值。
根据本申请实施例的第二方面,提供一种存储对象老化装置,所述装置包括:
热度值升温模块,用于存储对象被操作时,提升被操作的存储对象的热度值,加入到存储区的存储对象预先设有初始热度值,所述初始热度值大于预设老化值;
热度值降温模块,用于预设间隔时间到达后,降低所有存储对象的热度值;
存储对象老化模块,用于将热度值小于预设老化值的存储对象进行老化。
可选的,所述装置还包括:
第一老化启动模块,用于在提升被操作的存储对象的热度值之前,和/或在降低所有存储对象的热度值之前,确定存储区的当前使用率达到预设使用率阈值,
或,第二老化启动模块,用于在提升被操作的存储对象的热度值之前,和/或在降低所有存储对象的热度值之前,确定所述存储区中存储对象的数量达到预设数量。
可选的,所述初始热度值和预设间隔时间根据存储对象被操作的速度、存储对象被操作的频率所满足的幂律分布和存储区容量确定。
可选的,所述初始热度值和预设间隔时间根据存储对象被操作的速度和老化后存储对象的保留率确定,所述保留率根据存储对象被操作的频率所满足的幂律分布和存储区容量确定。
可选的,所述操作包括添加或访问,所述存储对象通过哈希表的方式存储,所述存储对象为白名单/黑名单中的终端IP;
所述操作为添加时,所述热度值升温模块,用于接收添加存储对象的指令时,若存储区中不存在所述存储对象,则将所述存储对象加入存储区,并将所述存储对象的热度值设置为初始热度值,若存储区中存在所述存储对象,则将存储区中所述存储对象的热度值增加第一预设值。
应用本申请实施例存储对象老化方法及装置时,可以预先将加入到存储区的存储对象设置初始热度值,并且初始热度值大于预设老化值,以使存储对象不会在第一次老化过程中立刻被老化,并在存储对象被操作时提升热度,在预设间隔时间到达时降低热度,既考虑了时间维度,又考虑了频率维度,实现将被操作频率比较高的存储对象确定为热度比较高的对象,将被操作频率比较低的存储对象确定为热度比较低的对象,并根据升温的快慢进行老化,将升温比较快的保留下来,将升温比较慢的老化,从而可以应对伪造源攻击,将频率比较高的存储对象保留下来,避免相关老化技术中由于无差别老化导致存储对象不可用的缺陷。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请存储对象老化方法的一个实施例流程图。
图2A为本申请存储对象老化方法的另一个实施例流程图。
图2B为本申请根据一示例性实施例示出的一种哈希条目老化示意图。
图3为本申请存储对象老化装置所在电子设备的一种硬件结构图。
图4为本申请存储对象老化装置的一个实施例框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
在实际应用中,存储对象的添加不会总是均匀添加,而是会出现突发的情况。突发可以包括攻击突发和业务突发。攻击突发一般是伪造源造成的,属于恶意的突发,业务突发属于正常的突发。攻击突发的显著特点是单个存储对象的操作频率不高,但存储对象的数量很大。业务突发的显著特点是单个正常业务存储对象的操作频率较高,但存储对象的总数相对攻击突发的数量而言不大,相对于不突发的情况而言很大。利用相关技术中基于时间的老化策略,在面临攻击突发时,将时间戳比较老的存储对象老化,将最近加入的错误的存储对象留下,则导致存储区中存储对象不可用。
为了避免相关技术中老化策略无法应对攻击的缺陷,本申请提供一种存储对象老化方法,如图1所示,图1为本申请存储对象老化方法的一个实施例流程图,包括以下步骤101至步骤102:
在步骤101中,存储对象被操作时,提升被操作的存储对象的热度值,加入到存储区的存储对象预先设有初始热度值,所述初始热度值大于预设老化值。
在步骤102中,预设间隔时间到达后,降低所有存储对象的热度值,将热度值小于预设老化值的存储对象进行老化。
其中,步骤101和步骤102可以没有先后顺序,只要达到相应的条件即可执行。
本申请中,各存储对象被操作的频率满足幂律分布。例如,操作为访问时,对所有存储对象的访问频率进行统计,该统计结果满足幂律分布。
其中,幂律分布可以是帕累托分布(Pareto distributions)、可以是Zipf分布等。其中,如果把单词出现的频率按由大到小的顺序排列,则每个单词出现的频率与它的名次的常数次幂存在简单的反比关系,这种分布可以称为Zipf分布,它表明在英语单词中,只有极少数的词被经常使用,而绝大多数词很少被使用。Pareto分布是从大量真实世界的现象中发现的幂次定律分布。Pareto在研究收入分配问题时,发现少数人的收入远多于大多数人的收入,提出了80/20法则,即20%的人口占据了80%的社会财富,个人收入不小于某个特定值的概率与特定值的常数次幂存在简单的反比关系,将这样的规律称为Pareto定律。
在存储对象被操作前,系统往往有一个监测机制对此次操作进行监测,当满足监测条件时,可以执行操作,否则不执行操作。可见,正常的操作更容易执行,异常的操作大部分都会被拦截,少部分会突破监测机制进行执行,即恶意的突发相对于正常业务少很多。另外,攻击突发时存在存储对象的操作频率不高、但量大的特点,而正常业务突发存在量较大、且存储对象的操作频率高的特点。
基于此,本申请中加入到存储区的存储对象预先设有初始热度值,并且初始热度值大于预设老化值,以使存储对象不会在第一次老化过程中立刻被老化,并在存储对象被操作时提升热度,在预设间隔时间到达时降低热度,既考虑了时间维度,又考虑了频率维度,实现将被操作频率比较高的存储对象确定为热度比较高的对象,将被操作频率比较低的存储对象确定为热度比较低的对象,并根据升温的快慢进行老化,将升温比较快的保留下来,将升温比较慢的老化,从而可以应对伪造源攻击,将频率比较高的存储对象保留下来,避免相关老化技术中由于无差别老化导致存储对象不可用的缺陷。
其中,存储对象可以以链表的方式存储在存储区中,为了提高查询效率,存储对象还可以通过哈希表的方式存储,具体根据需求设定。
操作根据具体的应用场景确定。例如,操作可以是添加、访问等。举例,当应用在网络环境,存储对象为白名单/黑名单中的终端IP时,判定终端IP的添加频率满足幂律分布,则操作可以是添加。预添加存储对象时,可以先查询存储区中是否存在存储对象,不存在时添加该存储对象。又如,存储对象还可以是URL(统一资源定位符),判定URL的访问频率满足幂律分布,则操作可以是访问。针对访问,可以预先将存储区的存储对象的热度值设为初始热度值。存储对象被操作时,可以提升所操作的存储对象的热度值。提升热度值的方式可以包括两种方式,若存储区中不存在被操作的存储对象,将存储对象加入存储区后,赋予该新加入的存储对象一个初始热度值,从而使存储区中每个新加入的存储对象都预先设有初始热度值。若存储区中存在被操作的存储对象,则提升存储区中该存储对象的热度值。
可以理解的是,加入是指将存储对象添加到了存储区。存储对象被添加可以包括:将存储区中不存在的存储对象加入存储区,在存储区中存在存储对象时不执行将存储对象加入存储区操作。
可见,所述操作为添加时,所述存储对象被操作时,提升被操作的存储对象的热度值,包括:接收添加存储对象的指令时,若存储区中不存在所述存储对象,则将所述存储对象加入存储区,并将所述存储对象的热度值设置为初始热度值,若存储区中存在所述存储对象,则将存储区中所述存储对象的热度值增加第一预设值。
举例说明,若在白名单中查询不到待添加的终端IP时,将终端IP添加到白名单中,并设置该终端IP的初始热度值。若在白名单中查询到待添加的终端IP时,则不执行添加操作,而是提升白名单中该终端IP的热度值。又如,当URL被访问时,提升该URL的热度值等。
其中,初始热度值是预先为每个新加入的存储对象设置的热度值。预设老化值是将存储对象进行老化的基准值。初始热度值至少大于预设老化值,以使存储对象不会在第一次老化过程中立刻被老化。例如,当预设老化值为1时,初始热度值是至少大于1的值。初始热度值与每次老化时需删除的存储对象数量有关,换言之,初始热度值与每次老化后需保留的存储对象数量有关。预设间隔时间是预先设置的老化间隔时间,每间隔预设间隔时间后,进行一次老化,即降低存储区中所有存储对象的热度值。例如,将所有存储对象的热度值减去第二预设值。其中,第一预设值和第二预设值可以相同,也可以不同,具体可以根据需保留的存储对象数量确定。
可见,初始热度值和预设间隔时间是决定老化速度的值,可以根据需要的老化速度设置相应的初始热度值和预设间隔时间。
在一个可选的实现方式中,所述初始热度值和预设间隔时间根据存储对象被操作的速度、存储对象被操作的频率所满足的幂律分布和存储区容量确定。
由于存储对象被操作的频率满足幂律分布,则可以根据所满足的幂律分布、存储对象被操作速度以及存储区容量确定初始热度值和预设间隔时间。例如,存储对象被操作速度比较快时,老化速度不能太慢,则可以将预设间隔时间设置为较短时间,或者将初始热度值设置为较小热度值,从而实现提高老化速度。
在一个例子中,所述初始热度值和预设间隔时间根据存储对象被操作的速度和老化后存储对象的保留率确定,所述保留率根据存储对象被操作的频率所满足的幂律分布和存储区容量确定。
可见,可以根据存储对象被操作的频率所满足的幂律分布和存储区容量确定老化后存储对象的保留率,并根据保留率和存储对象被操作的速度确定初始热度值和预设间隔时间。例如,存储对象被操作的频率满足二八原则时,可以将保留率设置为20%,如果存储区的存储容量比较大时,又可以将保留率稍微进行提高,例如,将保留率设置为30%。在确定保留率后可以根据保留率和存储对象被操作的速度确定初始热度值和预设间隔时间。
由上述实施例可见,由于将存储对象被操作的频率所满足的幂律分布和存储区容量作为确定保留率的决定因素,并将保留率作为确定初始热度值和预设间隔时间的决定因素,因此使保留率有一个确切的度量,实现保活少量的存储对象可以达到保活大量的服务,使保留下来的存储对象更有价值,从而提高了存储区中存储对象的命中率。同时,还将存储对象被操作的速度作为确定初始热度值和预设间隔时间的决定因素,从而可以避免操作速度给业务满足性带来的影响。
在一个可选的实现方式中,在提升被操作的存储对象的热度值之前,和/或在降低所有存储对象的热度值之前,还可以包括:确定存储区的当前使用率达到预设使用率阈值。
其中,存储区的使用率可以是存储区中存储对象所占容量和存储区总容量的比值。存储区的总容量是固定的,这部分内存使用的越多,存储区的使用率越高。在该实施例中,先判断存储区的当前使用率是否达到预设使用率阈值,若达到预设使用率阈值,则启动老化机制,执行步骤101和步骤102。
由上述实施例可见,通过设置预设使用率阈值,在存储区的当前使用率达到预设使用率阈值时才启动老化机制,确定是否提升热度值和降低热度值,可以阻止进程刚启动的时候就开始老化流程,从而保证了业务的质量程度,同时将内存使用率控制在一定范围内。
在一个可选的实现方式中,在提升被操作的存储对象的热度值之前,和/或在降低所有存储对象的热度值之前,还可以包括:确定所述存储区中存储对象的数量达到预设数量。
在该实施例中,通过存储对象的数量来决定是否启动老化机制,判定存储区中存储对象的数量达到预设数量时,则启动老化机制,执行步骤101和步骤102。
由上述实施例可见,通过设置预设数量,在存储区中存储对象的数量达到预设数量时才启动老化机制,确定是否提升热度值和降低热度值,实现将内存使用率控制在一定范围。
以上实施方式中的各种技术特征可以任意进行组合,只要特征之间的组合不存在冲突或矛盾,但是限于篇幅,未进行一一描述,因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。基于此,本申请列举其中一个应用实例进行说明。
在网络安全领域中,远端的终端IP的哈希表是防御系统中非常重要的一环,由于终端IP的表有白名单表和黑名单表,绝大部分的server中内存不足够存放全量的终端IP,尤其是为了快速查找,普遍采用哈希的方式存储终端IP。由于终端IP通常动态更新,就容易出现攻击者或者正常的高密集业务把IP的哈希表打爆的情形。
基于这种场景,本申请提供另一种存储对象老化方法,如图2A所示,图2A为本申请存储对象老化方法的另一个实施例流程图,包括以下步骤201至步骤203:
在步骤201中,确定当前哈希条目的数量达到预设数量,所述哈希条目是通过哈希方式存储的存储对象,例如,哈希条目可以是终端IP。
在该步骤中,可以判断当前哈希条目的数量是否达到预设数量,如果达到预设数量,则执行步骤202和步骤203,否则不执行步骤202和步骤203。下述步骤202和步骤203没有绝对的先后顺序,只要相应的条件满足即可执行。例如,哈希条目被添加时,执行步骤202,预设间隔时间到达时,执行步骤203。
在步骤202中,添加存储区中不存在的哈希条目时,将哈希条目的热度值设为初始热度值,添加存储区中已存在的哈希条目时,将所述哈希条目的热度值增加第一预设值。
例如,给新加入的哈希条目设置一个计数器,并将计数器的初始值设置为初始热度值。每当哈希条目被添加时,如果哈希条目存在,则该哈希条目的计数器加1,如果哈希条目不存在,则该哈希条目的计数器设置为初始热度值。在一个可选的实现方式中,根据哈希条目被操作的速度、哈希条目被操作的频率所满足的Pareto分布和存储区容量确定初始热度值为5。将初始热度值设为5,目的是为了保护最近添加的条目,可以应对攻击突发、同时能保证老化的速度不会太低。
在步骤203中,每次预设间隔时间到达后,将所有哈希条目的热度值减去第二预设值,老化热度值小于预设老化值的哈希条目。
该步骤中,可以设置一个单独的老化线程,每间隔一段时间进行一次遍历老化。例如,可以将每个哈希条目的计数器减1,当减为0的时候,就删除该哈希条目。
本实施例通过设置初始热度值,并在哈希条目被添加时,将哈希条目的热度值增加第一预设值,在预设间隔时间到达后,将所有哈希条目的热度值减去第二预设值,从而使所有的攻击条目都可以在高频条目老化之前被老化。
如图2B所示,图2B为本申请根据一示例性实施例示出的一种哈希条目老化示意图。在该示意图中,存在热度值不同的哈希条目,新加入的哈希条目的初始热度值为5,每次添加已存在的哈希条目时,该哈希条目的热度值加1,则添加频率比较高的哈希条目的热度值比较大。每间隔预设间隔时间将所有哈希条目的热度值减1,则在间隔6次预设间隔时间后,将热度值小于0的哈希条目删除。可以理解的是,在间隔时间期间如果存在添加哈希条目行为,哈希条目被添加时,将该哈希条目的热度值加1。为了示意方便,在图2B中没有示出添加的情况。可见,通过本实施例可以将添加频率低的哈希条目删除,保留添加频率高的哈希条目,从而实现应对伪造源的攻击。
应用本实施例方案,不会带来数据面的插入哈希延时,将Pareto分布用于哈希条目的老化,以保留少数哈希条目但占据多数业务,实现把哈希表控制在很小的空间占用,增加内存的利用价值和哈希表传输的价值,并且让内存大小的确定有定量的参考,使得本哈希表可以应对伪造源攻击,并且使用本实施例可以应对攻击突发和正常的业务突发。
与本申请存储对象老化方法的实施例相对应,本申请还提供了存储对象老化装置及电子设备的实施例。
本申请存储对象老化装置的实施例可以应用在需要存储多个存储对象的各种电子设备上,例如,该电子设备可以是服务器、服务器集群或者云平台等。其中,装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器310将非易失性存储器320中对应的计算机程序指令读取到内存330中运行形成的。从硬件层面而言,如图3所示,为本申请存储对象老化装置所在电子设备的一种硬件结构图,除了图3所示的处理器310、内存330、网络接口340、以及非易失性存储器320之外,实施例中装置所在的电子设备通常根据该设备的实际功能,还可以包括其他硬件,图3中不再一一示出。
参见图4,为本申请存储对象老化装置的一个实施例框图,该装置包括热度值升温模块410、热度值降温模块420和存储对象老化模块430。
其中,热度值升温模块410,用于存储对象被操作时,提升被操作的存储对象的热度值,加入到存储区的存储对象预先设有初始热度值,所述初始热度值大于预设老化值。
热度值降温模块420,用于预设间隔时间到达后,降低所有存储对象的热度值。
存储对象老化模块430,用于将热度值小于预设老化值的存储对象进行老化。
在一个可选的实现方式中,所述装置还包括(图4未示出):
第一老化启动模块,用于在提升被操作的存储对象的热度值之前,和/或在降低所有存储对象的热度值之前,确定存储区的当前使用率达到预设使用率阈值。
在一个可选的实现方式中,所述装置还包括(图4未示出):
第二老化启动模块,用于在提升被操作的存储对象的热度值之前,和/或在降低所有存储对象的热度值之前,确定所述存储区中存储对象的数量达到预设数量。
在一个可选的实现方式中,所述初始热度值和预设间隔时间根据存储对象被操作的速度、存储对象被操作的频率所满足的幂律分布和存储区容量确定。
在一个可选的实现方式中,所述初始热度值和预设间隔时间根据存储对象被操作的速度和老化后存储对象的保留率确定,所述保留率根据存储对象被操作的频率所满足的幂律分布和存储区容量确定。
在一个可选的实现方式中,所述操作包括添加或访问,所述存储对象通过哈希表的方式存储,所述存储对象为白名单/黑名单中的终端IP;
所述操作为添加时,所述热度值升温模块,用于接收添加存储对象的指令时,若存储区中不存在所述存储对象,则将所述存储对象加入存储区,并将所述存储对象的热度值设置为初始热度值,若存储区中存在所述存储对象,则将存储区中所述存储对象的热度值增加第一预设值。
基于此,本申请还提供一种电子设备,包括:
处理器;用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为:
存储对象被操作时,提升被操作的存储对象的热度值,加入到存储区的存储对象预先设有初始热度值,所述初始热度值大于预设老化值。
预设间隔时间到达后,降低所有存储对象的热度值。
将热度值小于预设老化值的存储对象进行老化。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本领域技术人员在考虑说明书及实践这里申请的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
Claims (10)
1.一种存储对象老化方法,其特征在于,所述方法包括:
存储对象被操作时,提升被操作的存储对象的热度值,加入到存储区的存储对象预先设有初始热度值,所述初始热度值大于预设老化值;
预设间隔时间到达后,降低所有存储对象的热度值;
将热度值小于预设老化值的存储对象进行老化。
2.根据权利要求1所述的方法,其特征在于,在提升被操作的存储对象的热度值之前,和/或在降低所有存储对象的热度值之前,还包括:
确定存储区的当前使用率达到预设使用率阈值;
或,确定所述存储区中存储对象的数量达到预设数量。
3.根据权利要求1所述的方法,其特征在于,所述初始热度值和预设间隔时间根据存储对象被操作的速度、存储对象被操作的频率所满足的幂律分布和存储区容量确定。
4.根据权利要求3所述的方法,其特征在于,所述初始热度值和预设间隔时间根据存储对象被操作的速度和老化后存储对象的保留率确定,所述保留率根据存储对象被操作的频率所满足的幂律分布和存储区容量确定。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述操作包括添加或访问,所述存储对象通过哈希表的方式存储,所述存储对象为白名单/黑名单中的终端IP;
所述操作为添加时,所述存储对象被操作时,提升被操作的存储对象的热度值,包括:接收添加存储对象的指令时,若存储区中不存在所述存储对象,则将所述存储对象加入存储区,并将所述存储对象的热度值设置为初始热度值,若存储区中存在所述存储对象,则将存储区中所述存储对象的热度值增加第一预设值。
6.一种存储对象老化装置,其特征在于,所述装置包括:
热度值升温模块,用于存储对象被操作时,提升被操作的存储对象的热度值,加入到存储区的存储对象预先设有初始热度值,所述初始热度值大于预设老化值;
热度值降温模块,用于预设间隔时间到达后,降低所有存储对象的热度值;
存储对象老化模块,用于将热度值小于预设老化值的存储对象进行老化。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
第一老化启动模块,用于在提升被操作的存储对象的热度值之前,和/或在降低所有存储对象的热度值之前,确定存储区的当前使用率达到预设使用率阈值,
或,第二老化启动模块,用于在提升被操作的存储对象的热度值之前,和/或在降低所有存储对象的热度值之前,确定所述存储区中存储对象的数量达到预设数量。
8.根据权利要求6所述的装置,其特征在于,所述初始热度值和预设间隔时间根据存储对象被操作的速度、存储对象被操作的频率所满足的幂律分布和存储区容量确定。
9.根据权利要求8所述的装置,其特征在于,所述初始热度值和预设间隔时间根据存储对象被操作的速度和老化后存储对象的保留率确定,所述保留率根据存储对象被操作的频率所满足的幂律分布和存储区容量确定。
10.根据权利要求6至9任一项所述的装置,其特征在于,所述操作包括添加或访问,所述存储对象通过哈希表的方式存储,所述存储对象为白名单/黑名单中的终端IP;
所述操作为添加时,所述热度值升温模块,用于接收添加存储对象的指令时,若存储区中不存在所述存储对象,则将所述存储对象加入存储区,并将所述存储对象的热度值设置为初始热度值,若存储区中存在所述存储对象,则将存储区中所述存储对象的热度值增加第一预设值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610562433.5A CN106228074A (zh) | 2016-07-14 | 2016-07-14 | 存储对象老化方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610562433.5A CN106228074A (zh) | 2016-07-14 | 2016-07-14 | 存储对象老化方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106228074A true CN106228074A (zh) | 2016-12-14 |
Family
ID=57519339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610562433.5A Pending CN106228074A (zh) | 2016-07-14 | 2016-07-14 | 存储对象老化方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106228074A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107608722A (zh) * | 2017-09-19 | 2018-01-19 | 北京安博通科技股份有限公司 | 应用程序下载方法及装置 |
CN108174136A (zh) * | 2018-03-14 | 2018-06-15 | 成都创信特电子技术有限公司 | 云盘视频编码存储方法 |
CN111177157A (zh) * | 2020-01-02 | 2020-05-19 | 中国银行股份有限公司 | 账户黑名单检测方法及系统 |
US11650812B2 (en) | 2020-12-11 | 2023-05-16 | International Business Machines Corporation | Asset identification for collaborative projects in software development |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101887400A (zh) * | 2010-06-24 | 2010-11-17 | 中兴通讯股份有限公司 | 缓存对象老化的方法和装置 |
US20100306339A1 (en) * | 2009-05-31 | 2010-12-02 | International Business Machines Corporation | P2p content caching system and method |
CN102137087A (zh) * | 2010-09-15 | 2011-07-27 | 华为技术有限公司 | 业务处理方法、对已分发的内容进行调整的方法和业务节点 |
CN104424118A (zh) * | 2013-08-23 | 2015-03-18 | 深圳市腾讯计算机系统有限公司 | 热点文件自适应拷贝方法及系统 |
CN105447062A (zh) * | 2014-09-30 | 2016-03-30 | 中国电信股份有限公司 | 热点数据识别方法和装置 |
CN105447059A (zh) * | 2014-09-29 | 2016-03-30 | 华为技术有限公司 | 一种数据处理方法及装置 |
CN105589926A (zh) * | 2015-11-27 | 2016-05-18 | 深圳市美贝壳科技有限公司 | 一种移动终端实时清理缓存文件的方法 |
-
2016
- 2016-07-14 CN CN201610562433.5A patent/CN106228074A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100306339A1 (en) * | 2009-05-31 | 2010-12-02 | International Business Machines Corporation | P2p content caching system and method |
CN101887400A (zh) * | 2010-06-24 | 2010-11-17 | 中兴通讯股份有限公司 | 缓存对象老化的方法和装置 |
CN102137087A (zh) * | 2010-09-15 | 2011-07-27 | 华为技术有限公司 | 业务处理方法、对已分发的内容进行调整的方法和业务节点 |
CN104424118A (zh) * | 2013-08-23 | 2015-03-18 | 深圳市腾讯计算机系统有限公司 | 热点文件自适应拷贝方法及系统 |
CN105447059A (zh) * | 2014-09-29 | 2016-03-30 | 华为技术有限公司 | 一种数据处理方法及装置 |
CN105447062A (zh) * | 2014-09-30 | 2016-03-30 | 中国电信股份有限公司 | 热点数据识别方法和装置 |
CN105589926A (zh) * | 2015-11-27 | 2016-05-18 | 深圳市美贝壳科技有限公司 | 一种移动终端实时清理缓存文件的方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107608722A (zh) * | 2017-09-19 | 2018-01-19 | 北京安博通科技股份有限公司 | 应用程序下载方法及装置 |
CN107608722B (zh) * | 2017-09-19 | 2020-12-01 | 北京安博通科技股份有限公司 | 应用程序下载方法及装置 |
CN108174136A (zh) * | 2018-03-14 | 2018-06-15 | 成都创信特电子技术有限公司 | 云盘视频编码存储方法 |
CN111177157A (zh) * | 2020-01-02 | 2020-05-19 | 中国银行股份有限公司 | 账户黑名单检测方法及系统 |
CN111177157B (zh) * | 2020-01-02 | 2023-12-19 | 中国银行股份有限公司 | 账户黑名单检测方法及系统 |
US11650812B2 (en) | 2020-12-11 | 2023-05-16 | International Business Machines Corporation | Asset identification for collaborative projects in software development |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108495195B (zh) | 一种网络直播排行榜生成方法、装置、设备及存储介质 | |
CN106228074A (zh) | 存储对象老化方法及装置 | |
CN110753099B (zh) | 分布式缓存系统以及缓存数据更新方法 | |
CN105138678B (zh) | 一种地图瓦片数据的读取、分发方法及读取、分发系统 | |
CN103812849B (zh) | 一种本地缓存更新方法、系统、客户端及服务器 | |
CN104731799B (zh) | 内存数据库管理装置 | |
CN103607312B (zh) | 用于服务器系统的数据请求处理方法及系统 | |
CN104917779A (zh) | 一种基于云的cc攻击的防护方法、装置及系统 | |
CN105718280A (zh) | 一种加速虚拟机io的方法和管理平台 | |
CN102420771B (zh) | 高速网络环境中提高tcp并发连接速度的方法 | |
CN102279810A (zh) | 一种网络存储服务器及其缓存数据的方法 | |
CN104639650A (zh) | 一种细粒度分布式接口访问控制方法及装置 | |
US11277489B2 (en) | Software application updating in a local network | |
CN105119906A (zh) | 一种用于防御dns递归攻击的方法、装置及系统 | |
CN102263701A (zh) | 队列调整方法及装置 | |
CN108287760A (zh) | 终端设备控制方法及装置、终端设备及计算机可读存储介质 | |
CN109271113A (zh) | 一种基于云存储的数据管理系统及方法 | |
CN111881092A (zh) | 一种基于cassandra数据库的文件合并的方法和装置 | |
CN112748996A (zh) | 一种非集中式拓扑系统的负载均衡策略方法及系统 | |
CN112799588A (zh) | 使用外部存储加载容器集群应用数据时的数据存储方法 | |
CN106406771A (zh) | 日志记录方法及日志记录器 | |
CN104935517B (zh) | 表项管理方法及装置 | |
CN114040378B (zh) | 应用的编排方法、装置、计算机设备和存储介质 | |
CN109005465A (zh) | 弹幕消息分发方法、装置、设备及存储介质 | |
CN112153036B (zh) | 一种基于代理服务器的安全防御方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161214 |