CN109831508B - 一种缓存方法及设备、存储介质 - Google Patents

一种缓存方法及设备、存储介质 Download PDF

Info

Publication number
CN109831508B
CN109831508B CN201910116600.7A CN201910116600A CN109831508B CN 109831508 B CN109831508 B CN 109831508B CN 201910116600 A CN201910116600 A CN 201910116600A CN 109831508 B CN109831508 B CN 109831508B
Authority
CN
China
Prior art keywords
service level
data
disk
determining
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910116600.7A
Other languages
English (en)
Other versions
CN109831508A (zh
Inventor
李厦勤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201910116600.7A priority Critical patent/CN109831508B/zh
Publication of CN109831508A publication Critical patent/CN109831508A/zh
Application granted granted Critical
Publication of CN109831508B publication Critical patent/CN109831508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及计算机领域,公开了一种缓存方法及设备、存储介质。本发明中,该缓存方法包括:确定在第一时长内接收到客户端发送的数据的流量;根据磁盘利用率和数据的流量,确定磁盘的服务等级,其中,服务等级包括:第一服务等级和第二服务等级,第一服务等级为将数据写入缓存区,第二服务等级为丢弃数据;根据服务等级,确定缓存或丢弃数据。通过磁盘利用率和数据的流量,来确定磁盘的服务等级,根据确定的服务等级缓存或丢弃数据,避免了在短时间内数据量突然增加时,出现无法处理数据的情况,为服务器节点的持续可用提供保障,进而提高网络的稳定性。

Description

一种缓存方法及设备、存储介质
技术领域
本发明实施例涉及计算机领域,特别涉及一种缓存方法及设备、存储介质。
背景技术
在计算机领域中,内容分发网络(Content Delivery Network,CDN)是一种通过互联网互相连接的计算机系统,该系统通过距离客户端最近的服务器,向使用该客户端的用户提供音乐、图片、视频、应用程序及其他形式的数据,可保证该用户能够更快、更可靠地接收到所请求的数据,从而提高网络性能、增加可扩展性以及降低成本,CDN可将服务器节点设置在多个地点,或者,在多个不同的网络中设置多个服务器节点。
发明人发现现有技术中至少存在如下问题:当用户通过客户端访问服务器节点时,如果该服务器节点具有缓存区,则可从对应的缓存区中取出用户所需的数据,直接发送给该用户对应的客户端;如果该服务器节点没有缓存区,则需要返回上层服务器节点,获取用户所需的数据,并反馈给该用户对应的客户端。但是当该服务器节点的数据量突然增加时,该服务器节点的磁盘的输入/输出数据量就会突然增加,若所增加的数据量大于该服务器节点的处理阈值时,会导致该服务器节点不可用,从而使用户无法获得所请求的数据,降低了用户体验度,若多个服务器节点同时出现此情况,会导致网络瘫痪,影响用户使用。
发明内容
本发明实施方式的目的在于提供一种缓存方法及设备、存储介质,用以避免在短时间内出现数据量突然增加时,出现无法处理数据的情况,保证服务器节点不死机,进而提高网络的稳定性。
为解决上述技术问题,本发明的实施方式提供了一种缓存方法,包括以下步骤:确定在第一时长内接收到客户端发送的数据的流量;根据磁盘利用率和数据的流量,确定磁盘的服务等级,其中,服务等级包括:第一服务等级和第二服务等级,第一服务等级为将数据写入缓存区,第二服务等级为丢弃数据;根据服务等级,确定缓存或丢弃数据。
本发明的实施方式还提供了一种缓存装置,包括以下模块:接收模块,确定服务等级模块和缓存模块;接收模块,用于确定在第一时长内接收到客户端发送的数据的流量;确定服务等级模块,用于根据磁盘利用率和数据的流量,确定磁盘的服务等级,其中,服务等级包括:第一服务等级和第二服务等级,第一服务等级为将数据写入缓存区,第二服务等级为丢弃数据;缓存模块,用于根据服务等级,确定缓存或丢弃数据。
本发明的实施方式还提供了一种电子设备,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行上述缓存方法。
本发明的实施方式还提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述缓存方法。
本发明实施方式相对于现有技术而言,通过磁盘利用率和数据的流量,来确定磁盘的服务等级,根据确定的服务等级缓存或丢弃数据,避免了在短时间内数据量突然增加时,出现无法处理数据的情况,为服务器节点的持续可用提供保障,进而提高网络的稳定性。
另外,根据磁盘利用率和数据的流量,确定磁盘的服务等级,包括:确定数据的流量大于第一预设阈值;若确定磁盘利用率小于第二预设阈值,则确定服务等级为第一服务等级;若确定磁盘利用率大于或等于第二预设阈值,且,数据用于创建新文件,则确定服务等级为第一服务等级;若确定磁盘利用率大于或等于第二预设阈值,且,数据不是用于创建新文件,则根据磁盘利用率计算丢弃比例,根据丢弃比例,确定服务等级。
该方式中,在确定预设时长内接收到客户端发送的数据的流量突增的情况下,综合考虑磁盘利用率来确定是否缓存数据,从而能够及时调整缓存的数据量,避免了数据流量突增导致磁盘的输入/输出的数据流量突增,进而导致服务器节点不可用的情况发生,保证了服务器节点在流量突增情况下的可用性。
另外,根据磁盘利用率计算丢弃比例,根据丢弃比例,确定服务等级,包括:根据磁盘利用率,计算获得丢弃比例;采用随机数与丢弃比例进行比较,根据比较结果确定服务等级,其中,随机数和丢弃比例分别为小于或等于第三预设阈值的正整数。
另外,根据比较结果确定服务等级,包括:若确定随机数小于或等于丢弃比例,则确定服务等级为第二服务等级;若确定随机数大于丢弃比例,则确定服务等级为第一服务等级。
该方式中,通过随机数模拟未来的丢弃比例,根据随机数与当前的丢弃比例的比较结果,来确定是否缓存数据,若确定当前的丢弃比例大于随机数,则表示当前的磁盘没有足够的空间来处理当前所接收到的数据,进而通过降低服务等级为第二服务等级,即丢弃接收到的数据,进而保证服务器的磁盘能够正常工作,避免服务器不可用的情况发生。
另外,根据磁盘利用率,计算获得丢弃比例,包括:根据第二预设阈值和磁盘利用率,确定磁盘状态的误差值;根据磁盘状态的上一周期的积分值、误差值和时间间隔,确定磁盘状态的积分值,其中,时间间隔为本次检测磁盘状态的时间与上一次检测磁盘状态的时间的时间差;根据误差值、磁盘状态的上一周期的误差值和时间间隔,确定磁盘状态的差分值;根据误差值与比例系数、积分值与积分系数和差分值与差分系数中的至少两组,确定丢弃比例。
另外,在根据服务等级,确定缓存或丢弃数据之后,还包括:若确定服务等级为第二服务等级,则将历史丢弃流量与数据的流量相加,采用相加所得的结果更新历史丢弃流量,并更新历史丢弃流量对应的统计时长,统计时长的起始时间为上一次对历史丢弃流量和统计时长进行清零的时间点。
另外,采用相加所得的结果更新历史丢弃流量,并更新历史丢弃流量对应的统计时长之后,方法还包括:若确定统计时长大于第四预设阈值,且,确定历史丢弃流量大于第五预设阈值,则告警提示并将历史丢弃流量以及统计时长清零,其中,第四预设阈值大于或等于第一时长;若确定统计时长大于第四预设阈值,且,确定历史丢弃流量不大于第五预设阈值,则将历史丢弃流量以及统计时长清零。
该方式中,通过历史丢弃流量和统计时长确定是否告警提示,保证在服务器出现异常情况时,能够及时通知维护人员进行处理,为服务器节点的持续可用提供保障,进而提高网络的稳定性。
另外,在根据服务等级,确定缓存或丢弃数据之后,还包括:发送响应消息给客户端。
另外,根据误差值与比例系数、积分值与积分系数和差分值与差分系数中的至少两组,确定丢弃比例,包括:计算误差值与比例系数的乘积,获得第一乘积值;计算积分值与积分系数的乘积,获得第二乘积值;计算差分值与差分系数的乘积,获得第三乘积值;计算第一乘积值、第二乘积值和第三乘积值中的至少两个乘积值的和值,将所得的和值作为丢弃比例。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是根据本发明第一实施方式中的缓存方法流程方框图;
图2是根据本发明第二实施方式中的缓存方法的流程方框图;
图3是根据本发明第二实施方式中的确定告警的流程方框图;
图4是根据本发明第三实施方式中的缓存装置的结构示意图;
图5是根据本发明第四实施方式中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的各实施方式进行详细的阐述。然而,本领域的普通技术人员可以理解,在本发明各实施方式中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施方式的种种变化和修改,也可以实现本申请所要求保护的技术方案。
本发明的第一实施方式涉及一种缓存方法。用于通过磁盘利用率和短时间内接收到的数据的流量,确定是否缓存数据,避免了在短时间内数据量突然增加时,出现无法处理数据的情况,为服务器节点的持续可用提供保障,进而提高网络的稳定性。
下面对本实施方式中的缓存方法的实现细节进行具体的说明,以下内容仅为方便理解本方案的实现细节,并非实施本方案的必须。
图1所示为本实施方式中的缓存方法的流程图,该方法可应用于服务器。该方法可包括如下步骤。
在步骤101中,确定在第一时长内接收到客户端发送的数据的流量。
其中,第一时长为预先配置在服务器侧,服务器按照以该第一时长作为统计周期,统计每个第一时长内客户端发送的数据的流量。具体地,第一时长为一个较短的时间段,以能够体现流量的突然变化的时间长度为宜,例如5分钟、10分钟等。例如,某个CDN服务器节点在处理客户端发送来的数据时,统计第一时长内,比如零点至零点10分这10分钟内,接收到的数据的流量。
在步骤102中,根据磁盘利用率和数据的流量,确定磁盘的服务等级。
其中,服务等级包括:第一服务等级和第二服务等级,第一服务等级为将数据写入缓存区,第二服务等级为丢弃数据。
磁盘利用率用来表征磁盘的状态,例如,使用0~100的整数来表示当前时刻的磁盘利用率,磁盘利用率越低,表示该磁盘的状态越好,能够及时缓存接收到的数据;反之,磁盘利用率越高,表示该磁盘的状态越差,不能及时缓存接收到的数据。
具体地,确定数据的流量大于第一预设阈值的情况下,按照以下方式确定服务等级:
若确定磁盘利用率小于第二预设阈值,则确定服务等级为第一服务等级;
若确定磁盘利用率大于或等于第二预设阈值,且,数据用于创建新文件,则确定服务等级为第一服务等级;
若确定磁盘利用率大于或等于第二预设阈值,且,数据不是用于创建新文件,则根据磁盘利用率计算丢弃比例,根据丢弃比例,确定服务等级。
需要说明的是,第一预设阈值是用于判断是否发生流量突增的依据,应用中,第一预设阈值可以是统计得到的经验值,即在确定第一时长内的数据流量大于第一预设阈值时,判定发生了流量突增,否则,判定未发生流量突增。
需要说明的是,第二预设阈值表示磁盘可以进行正常工作的最低门限值,若确定磁盘利用率小于第二预设阈值,表示该磁盘还有足够的空间,足以缓存接收到的数据。例如,设定第二预设阈值为70,若磁盘利用率小于70,则表示磁盘有足够的缓存空间。若确定磁盘利用率大于或等于第二预设阈值,表示该磁盘没有足够的空间,无法再缓存接收到的数据。例如,设定第二预设阈值为70,当磁盘利用率等于90时,确定磁盘利用率大于70,表示该磁盘的空间紧张,但因为接收到的是用于创建新文件的数据,对于客户端来说,是非常重要的操作,所以仍然需要缓存该数据。
具体地,在确定磁盘利用率大于或等于第二预设阈值,且,数据不是用于创建新文件的情况下,根据磁盘利用率,计算获得丢弃比例;采用随机数与丢弃比例进行比较,根据比较结果确定服务等级,其中,随机数和丢弃比例分别为小于或等于第三预设阈值的正整数。
需要说明的是,随机数是根据系统设定的随机函数自动生成的,并且,所生成的随机数是小于或等于第三预设阈值的正整数,例如,该随机数可以是0~100之间的任意一个正整数。丢弃比例是根据磁盘利用率计算获得的,并且丢弃比例和随机数的取值范围一致,例如,丢弃比例是0~100以内的任意整数,并且随机数也是0~100以内的任意整数。
其中,根据比较结果确定服务等级的具体过程如下:若确定随机数小于或等于丢弃比例,则确定服务等级为第二服务等级;若确定随机数大于丢弃比例,则确定服务等级为第一服务等级。
在一个具体实现中,根据磁盘利用率计算获得丢弃比例的具体过程如下:根据第二预设阈值和磁盘利用率,确定磁盘状态的误差值;并根据磁盘状态的上一周期的积分值、误差值和时间间隔,确定磁盘状态的积分值,其中,时间间隔为本次检测磁盘状态的时间与上一次检测磁盘状态的时间的时间差;再根据误差值、磁盘状态的上一周期的误差值和时间间隔,确定磁盘状态的差分值;进而根据误差值与比例系数、积分值与积分系数和差分值与差分系数中的至少两组,确定丢弃比例。
在一个具体实现中,首先获得当前时刻的磁盘利用率,使用该当前时刻的磁盘利用率减去第二预设阈值,所获得的差值,即为磁盘状态的误差值;再将获得的误差值乘以时间间隔,所获得的乘积值,再加上上一周期的积分值,最终所获得的和值,即为该磁盘状态的积分值;使用获得的误差值减去上一周期的误差值,所获得的差值,将该差值除以时间间隔,最终获得的商值,即为该磁盘状态的差分值。
在一个具体实现中,根据误差值与比例系数、积分值与积分系数和差分值与差分系数中的至少两组,确定丢弃比例,可先计算误差值与比例系数的乘积,获得第一乘积值;其次计算积分值与积分系数的乘积,获得第二乘积值;再计算差分值与差分系数的乘积,获得第三乘积值;最后,计算第一乘积值、第二乘积值和第三乘积值中的至少两个乘积值的和值,将所得的和值作为丢弃比例。
需要说明的是,其中的比例系数、积分系数和差分系数都是在实验中多次尝试,根据经验值调整获得的,计算以上三个乘积值中的至少两个乘积值的和值,可获得丢弃比例,通过随机数模拟未来的丢弃比例,若确定当前的丢弃比例大于随机数,则表示当前的磁盘没有足够的空间来处理当前所接收到的数据,则丢弃接收到的数据,进而保证服务器的磁盘能够正常工作,避免服务器不可用的情况发生。
在步骤103中,根据服务等级,确定缓存或丢弃数据。
在一个具体实现中,对应不同的服务等级,对数据做不同的缓存处理;例如,若确定服务等级为第一服务等级,则将该数据进行缓存;若确定服务等级为第二服务等级,则丢弃该数据。
需要说明的是,在执行完步骤103之后,可以发送响应消息给客户端。
在一个具体实现中,若确定服务等级为第一服务等级,则将接收到的数据进行缓存,并发送响应消息给客户端,此时的响应消息中携带有缓存成功的标识;若确定服务等级为第二服务等级,则将接收到的数据丢弃,并发送响应消息给客户端,此时的响应消息中携带有缓存失败的标识。
在本实施方式中,通过磁盘利用率和数据的流量,来确定磁盘的服务等级,根据确定的服务等级缓存或丢弃数据,避免了在短时间内出现数据量突然增加时,出现无法处理数据的情况,为服务器节点的持续可用提供保障,进而提高网络的稳定性。
本发明的第二实施方式涉及一种缓存方法。第二实施方式与第一实施方式大致相同,主要区别之处在于:在根据服务等级,确定缓存或丢弃数据之后,若确定服务等级为第二服务等级,则将历史丢弃流量与接收到客户端发送的数据的流量相加,采用相加所得的结果更新历史丢弃流量,并更新历史丢弃流量对应的统计时长。
具体处理流程如图2所示,在本实施方式中,包括步骤201~204,其中,步骤201~203与第一实施方式中的步骤101~103相同,在此不再赘述,下面具体介绍本实施方式中的步骤204。
在步骤204中,若确定服务等级为第二服务等级,则将历史丢弃流量与接收到客户端发送的数据的流量相加,采用相加所得的结果更新历史丢弃流量,并更新历史丢弃流量对应的统计时长。
其中,统计时长的起始时间为上一次对历史丢弃流量和统计时长进行清零的时间点。
例如,设定统计时长的起始时间为10:00,在10:25时接收到客户端发送的数据,根据磁盘利用率确定此时服务器的服务等级为第二服务等级,则需要将该接收到的数据与历史丢弃流量相加,进而获得更新后的历史丢弃流量,其中的历史丢弃流量表示的是从10:00到10:24这24分钟内服务等级为第二服务等级所对应的数据的总和,而更新后的历史丢弃流量则表示的是从10:00到10:25这25分钟内服务等级为第二服务等级所对应的数据的总和。
在一个具体实现中,采用相加所得的结果更新历史丢弃流量,并更新历史丢弃流量对应的统计时长之后,还需要进一步判断是否进行告警,具体确定是否告警的流程图如图3所示。
在步骤301中,若确定统计时长大于第四预设阈值,且,确定历史丢弃流量大于第五预设阈值,则告警提示并将历史丢弃流量以及统计时长清零。
其中,第四预设阈值大于或等于第一时长。
在一个具体实现中,设定第四预设阈值为1个小时,设定第五预设阈值为1G的数据流量,则当统计时长超过一小时且历史丢弃流量大于1G时,则告警提示操作人员,此时磁盘无法工作,需要人为调整处理此异常情况,同时在告警后,还需要将当前统计的历史丢弃流量清零,并且将统计时长也清零,以方便下一个统计周期进行统计。
在步骤302中,若确定统计时长大于第四预设阈值,且,确定历史丢弃流量不大于第五预设阈值,则将历史丢弃流量以及统计时长清零。
在一个具体实现中,设定第四预设阈值为1个小时,设定第五预设阈值为1G的数据流量,则当统计时长超过一个小时,且,历史丢弃流量小于1G时,则不告警,但需要将历史丢弃流量以及统计时长清零,以方便下一个统计周期进行统计。
在该实施方式中,通过历史丢弃流量和统计时长来确定是否告警提示,保证了在服务器出现异常情况时,能够及时通知维护人员进行处理,为服务器节点的持续可用提供保障,进而提高网络的稳定性。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明的第三实施方式涉及一种缓存装置,该装置的具体实施可参见第一实施方式的相关描述,重复之处不再赘述。值得说明的是,本实施方式中的装置的具体实施也可参见第二实施方式的相关描述,但不局限于以上两个实施例,其他未说明的实施例也在本装置的保护范围之内。
如图4所示,该装置主要包括:接收模块401,确定服务等级模块402和缓存模块403;接收模块401用于确定在第一时长内接收到客户端发送的数据的流量;确定服务等级模块402用于根据磁盘利用率和数据的流量,确定磁盘的服务等级,其中,服务等级包括:第一服务等级和第二服务等级,第一服务等级为将数据写入缓存区,第二服务等级为丢弃数据;缓存模块403用于根据服务等级,确定缓存或丢弃数据。
不难发现,本实施方式为与第一或第二实施方式相对应的装置实施例,本实施方式可与第一或第二实施方式互相配合实施。第一或第二实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在第一或第二实施方式中。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
本申请第四实施方式提供了一种电子设备,该设备具体结构如图5所示。包括至少一个处理器501;以及,与至少一个处理器501通信连接的存储器502。其中,存储器502存储有可被至少一个处理器501执行的指令,指令被至少一个处理器501执行,以使至少一个处理器501能够执行第一实施方式所描述的缓存方法。
本实施方式中,处理器501以中央处理器(Central Processing Unit,CPU)为例,存储器502以可读写存储器(Random Access Memory,RAM)为例。处理器501、存储器502可以通过总线或者其他方式连接,图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中实现缓存方法的程序就存储于存储器502中。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述缓存方法。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储选项列表等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至外接设备。
一个或者多个程序模块存储在存储器502中,当被一个或者多个处理器501执行时,执行上述任意方法实施例中的缓存方法。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果,未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请的第五实施方式涉及一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,该计算机程序被处理器执行时能够实现本申请任意方法实施例中涉及的缓存方法。
本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施方式是实现本发明的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本发明的精神和范围。

Claims (11)

1.一种缓存方法,其特征在于,所述方法包括:
确定在第一时长内接收到客户端发送的数据的流量;
根据磁盘利用率和所述数据的流量,确定磁盘的服务等级,其中,所述服务等级包括:第一服务等级和第二服务等级,所述第一服务等级为将所述数据写入缓存区,所述第二服务等级为丢弃所述数据;
根据所述服务等级,确定缓存或丢弃所述数据;
其中,所述根据磁盘利用率和所述数据的流量,确定磁盘的服务等级,包括:若确定所述数据的流量大于第一预设阈值,所述磁盘利用率大于或等于第二预设阈值,且,所述数据不是用于创建新文件,则根据所述磁盘利用率,计算获得丢弃比例,并采用随机数与所述丢弃比例进行比较,根据比较结果确定所述服务等级,其中,所述随机数和所述丢弃比例分别为小于或等于第三预设阈值的正整数。
2.根据权利要求1所述的缓存方法,其特征在于,所述根据磁盘利用率和所述数据的流量,确定磁盘的服务等级,还包括:
若确定所述数据的流量大于所述第一预设阈值,且所述磁盘利用率小于所述第二预设阈值,则确定所述服务等级为第一服务等级;
若确定所述数据的流量大于所述第一预设阈值,所述磁盘利用率大于或等于所述第二预设阈值,且,所述数据用于创建新文件,则确定所述服务等级为所述第一服务等级。
3.根据权利要求1所述的缓存方法,其特征在于,根据比较结果确定所述服务等级,包括:
若确定所述随机数小于或等于所述丢弃比例,则确定所述服务等级为第二服务等级;
若确定所述随机数大于所述丢弃比例,则确定所述服务等级为第一服务等级。
4.根据权利要求1所述的缓存方法,其特征在于,根据所述磁盘利用率,计算获得所述丢弃比例,包括:
根据所述第二预设阈值和所述磁盘利用率,确定磁盘状态的误差值;
根据所述磁盘状态的上一周期的积分值、所述误差值和时间间隔,确定所述磁盘状态的积分值,其中,所述时间间隔为本次检测磁盘状态的时间与上一次检测磁盘状态的时间的时间差;
根据所述误差值、所述磁盘状态的上一周期的误差值和所述时间间隔,确定所述磁盘状态的差分值;
根据所述误差值与比例系数、所述积分值与积分系数和所述差分值与差分系数中的至少两组,确定所述丢弃比例。
5.根据权利要求1至4中任一项所述的缓存方法,其特征在于,在根据所述服务等级,确定缓存或丢弃所述数据之后,还包括:
若确定所述服务等级为第二服务等级,则将历史丢弃流量与所述数据的流量相加,采用相加所得的结果更新所述历史丢弃流量,并更新所述历史丢弃流量对应的统计时长,所述统计时长的起始时间为上一次对所述历史丢弃流量和所述统计时长进行清零的时间点。
6.根据权利要求5所述的缓存方法,其特征在于,采用相加所得的结果更新所述历史丢弃流量,并更新所述历史丢弃流量对应的统计时长之后,所述方法还包括:
若确定所述统计时长大于第四预设阈值,且,确定所述历史丢弃流量大于第五预设阈值,则告警提示并将所述历史丢弃流量以及所述统计时长清零,其中,所述第四预设阈值大于或等于所述第一时长;
若确定所述统计时长大于所述第四预设阈值,且,确定所述历史丢弃流量不大于所述第五预设阈值,则将所述历史丢弃流量以及所述统计时长清零。
7.根据权利要求1至4中任一项所述的缓存方法,其特征在于,在根据所述服务等级,确定缓存或丢弃所述数据之后,还包括:
发送响应消息给所述客户端。
8.根据权利要求4所述的缓存方法,其特征在于,根据所述误差值与比例系数、所述积分值与积分系数和所述差分值与差分系数中的至少两组,确定所述丢弃比例,包括:
计算所述误差值与比例系数的乘积,获得第一乘积值;
计算所述积分值与积分系数的乘积,获得第二乘积值;
计算所述差分值与差分系数的乘积,获得第三乘积值;
计算所述第一乘积值、所述第二乘积值和所述第三乘积值中的至少两个乘积值的和值,将所得的和值作为所述丢弃比例。
9.一种缓存装置,其特征在于,包括:接收模块,确定服务等级模块和缓存模块;
所述接收模块,用于确定在第一时长内接收到客户端发送的数据的流量;
所述确定服务等级模块,用于根据磁盘利用率和所述数据的流量,确定磁盘的服务等级,其中,所述服务等级包括:第一服务等级和第二服务等级,所述第一服务等级为将所述数据写入缓存区,所述第二服务等级为丢弃所述数据;若确定所述数据的流量大于第一预设阈值,所述磁盘利用率大于或等于第二预设阈值,且,所述数据不是用于创建新文件,则根据所述磁盘利用率,计算获得丢弃比例,并采用随机数与所述丢弃比例进行比较,根据比较结果确定所述服务等级,其中,所述随机数和所述丢弃比例分别为小于或等于第三预设阈值的正整数;
所述缓存模块,用于根据所述服务等级,确定缓存或丢弃所述数据。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至8中任一所述的缓存方法。
11.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一所述的缓存方法。
CN201910116600.7A 2019-02-15 2019-02-15 一种缓存方法及设备、存储介质 Active CN109831508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910116600.7A CN109831508B (zh) 2019-02-15 2019-02-15 一种缓存方法及设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910116600.7A CN109831508B (zh) 2019-02-15 2019-02-15 一种缓存方法及设备、存储介质

Publications (2)

Publication Number Publication Date
CN109831508A CN109831508A (zh) 2019-05-31
CN109831508B true CN109831508B (zh) 2021-11-19

Family

ID=66863663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910116600.7A Active CN109831508B (zh) 2019-02-15 2019-02-15 一种缓存方法及设备、存储介质

Country Status (1)

Country Link
CN (1) CN109831508B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110262756B (zh) * 2019-06-24 2023-03-28 北京百度网讯科技有限公司 用于缓存数据的方法和装置
CN110941541B (zh) * 2019-11-06 2023-06-23 北京百度网讯科技有限公司 对数据流服务进行问题定级的方法以及装置
CN111555974B (zh) * 2020-03-19 2023-05-02 视联动力信息技术股份有限公司 一种数据包的处理方法、装置、终端设备和存储介质
CN112733648B (zh) * 2020-12-30 2023-07-25 杭州海康威视数字技术股份有限公司 数据处理方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957800A (zh) * 2010-06-12 2011-01-26 福建星网锐捷网络有限公司 多通道缓存分配方法及装置
CN102004700A (zh) * 2010-11-26 2011-04-06 华为终端有限公司 闪存的存储空间分配方法及装置
CN106020718A (zh) * 2016-05-09 2016-10-12 福建联迪商用设备有限公司 一种提高虚拟磁盘写入性能的方法及系统
CN106911776A (zh) * 2017-02-24 2017-06-30 郑州云海信息技术有限公司 一种云存储设备的管理方法及装置
CN108287666A (zh) * 2018-01-16 2018-07-17 中国人民公安大学 用于云存储环境的数据存储方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9146678B2 (en) * 2013-04-29 2015-09-29 International Business Machines Corporation High throughput hardware acceleration using pre-staging buffers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957800A (zh) * 2010-06-12 2011-01-26 福建星网锐捷网络有限公司 多通道缓存分配方法及装置
CN102004700A (zh) * 2010-11-26 2011-04-06 华为终端有限公司 闪存的存储空间分配方法及装置
CN106020718A (zh) * 2016-05-09 2016-10-12 福建联迪商用设备有限公司 一种提高虚拟磁盘写入性能的方法及系统
CN106911776A (zh) * 2017-02-24 2017-06-30 郑州云海信息技术有限公司 一种云存储设备的管理方法及装置
CN108287666A (zh) * 2018-01-16 2018-07-17 中国人民公安大学 用于云存储环境的数据存储方法及装置

Also Published As

Publication number Publication date
CN109831508A (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
CN109831508B (zh) 一种缓存方法及设备、存储介质
JP6949045B2 (ja) 分散クラスタ型訓練方法及び装置
US9923965B2 (en) Storage mirroring over wide area network circuits with dynamic on-demand capacity
CN110048968B (zh) 一种域名带宽调整方法及装置
CN110753112A (zh) 云服务的弹性伸缩方法和装置
CN106815254B (zh) 一种数据处理方法和装置
CN106716335B (zh) 映射信息的异步处理
CN108572898B (zh) 一种控制接口的方法、装置、设备、以及存储介质
CN109597800B (zh) 一种日志分发方法及装置
CN111641563B (zh) 基于分布式场景的流量自适应方法与系统
US8185912B1 (en) Rerouting messages to parallel queue instances
US9270617B2 (en) Load controller framework
US10642585B1 (en) Enhancing API service schemes
CN112398945A (zh) 一种基于背压的业务处理方法及装置
US11163630B2 (en) Using real-time analytics to manage application features
CN113760982B (zh) 一种数据处理方法和装置
CN112000909B (zh) 用于浏览器信息处理的方法、计算设备和存储介质
US20180254965A1 (en) Apparatus and method for validating service control status
EP3905706A1 (en) Definition switching algorithm selection method and system, and device and medium
US10223189B1 (en) Root cause detection and monitoring for storage systems
US20170154110A1 (en) Efficient size reduction of a bloom filter
CN108781170B (zh) 一种配置装置及方法
CN111611243B (zh) 数据处理方法及装置
US10795726B2 (en) Processing requests received online and dividing processing requests for batch processing
CN113934531A (zh) 一种高吞吐量流处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant