CN110944050B - 反向代理服务器缓存动态配置方法及系统 - Google Patents

反向代理服务器缓存动态配置方法及系统 Download PDF

Info

Publication number
CN110944050B
CN110944050B CN201911201161.6A CN201911201161A CN110944050B CN 110944050 B CN110944050 B CN 110944050B CN 201911201161 A CN201911201161 A CN 201911201161A CN 110944050 B CN110944050 B CN 110944050B
Authority
CN
China
Prior art keywords
cache space
cache
connection request
storage volume
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911201161.6A
Other languages
English (en)
Other versions
CN110944050A (zh
Inventor
郭盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wangpin Information Technology Co ltd
Original Assignee
Beijing Wangpin Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wangpin Consulting Co ltd filed Critical Beijing Wangpin Consulting Co ltd
Priority to CN201911201161.6A priority Critical patent/CN110944050B/zh
Publication of CN110944050A publication Critical patent/CN110944050A/zh
Application granted granted Critical
Publication of CN110944050B publication Critical patent/CN110944050B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5683Storage of data provided by user terminals, i.e. reverse caching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明公开了一种反向代理服务器缓存动态配置方法,其包括以下步骤:步骤S1、分析并统计多个存储卷的所需的适配缓存空间大小;步骤S2、预测多个存储卷各自所需占用的缓存空间大小,并及时多个存储卷的缓存空间分配权重;步骤S3、构建反向代理服务器的缓存结构;步骤S4、接收实时网站连接请求,判断是否存在历史网站访问日志中,并为该实时网站连接请求分配合理的缓存空间。本发明能够为各个存储卷的访问分配合理的缓存空间大小,尤其对于高缓存需求和收益或者高优先级的网站访问,为其分配更加充足的缓存空间,提高网站缓存命中率,提高缓存空间的利用率,达到降低用户访问延迟的目的。

Description

反向代理服务器缓存动态配置方法及系统
技术领域
本发明涉及计算机应用领域。更具体地说,本发明涉及一种反向代理服务器缓存动态配置方法及系统。
背景技术
互联网的快速发展和日益增长的网络用户,使得网站服务器的压力逐渐增大,使用反向代理技术和其提供的缓存服务是解决这一问题的有效手段。现有的反向代理缓存技术研究主要集中在缓存替换算法的设计上,在使用时,代理服务器下多个网站一般都是共享同一块缓存空间,无法为各个网站单独划分缓存空间,存在网站间缓存污染和竞争的问题,从而导致网站的缓存需求无法得到很好的满足,进而导致网站访问延迟时间较长。
发明内容
本发明的一个目的是解决至少上述问题,并提供至少后面将说明的优点。
本发明还有一个目的是提供一种反向代理服务器缓存动态配置方法和系统,其能够为各个存储卷的访问分配合理的缓存空间大小,尤其对于高缓存需求和收益或者高优先级的网站访问,为其分配更加充足的缓存空间,提高网站缓存命中率,提高缓存空间的利用率,达到降低用户访问延迟的目的。
为了实现根据本发明的这些目的和其它优点,提供了一种反向代理服务器缓存动态配置方法,其包括以下步骤:
步骤S1、根据网站域名的不同,将历史网站访问日志中的若干网站的请求数据分成多个存储卷,分析并统计多个存储卷的所需的适配缓存空间大小;
步骤S2、根据多个存储卷对应的网络数据属性以及对应的所需的适配缓存空间大小,预测多个存储卷在未来第一单位时间内所需占用的缓存空间大小,并根据多个存储卷的所需占用的缓存空间大小计算多个存储卷的缓存空间分配权重;
步骤S3、构建反向代理服务器的缓存结构,其包括运行缓存空间、共享缓存空间以及闲置缓存空间,所述运行缓存空间包括多个与多个存储卷一一对应的单元运行缓存空间x,任一单元运行缓存空间的大小不小于与其相对应的存储卷的所需占用的缓存空间大小;任一存储卷可使用所述共享缓存空间,对于任一存储卷,根据该存储卷的优先级的等级以及其缓存空间的分配权重,确定所述共享缓存空间分配给该存储卷的缓存空间大小,并计为备用缓存空间y;
步骤S4、接收实际网站连接请求,计算实际网站连接请求实际所需的缓存空间z,判断该实际网站连接请求是否存在于历史网站访问日志中,若存在于历史网站访问日志中,则分析该实际网站连接请求所属的存储卷,将实际所需的缓存空间z与单元运行缓存空间x进行比较:
若z=x,则将该实际网站连接请求分配相对应的单元运行缓存空间x分配给该实际网站连接请求;
若z<x时,则将单元运行缓存空间x中多于实际所需的缓存空间的部分缓存空间调配给所述共享缓存空间,然后再将剩余的单元运行缓存空间分配给该实际网站连接请求;
若z>x时,则将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求;
若z>x+y时,将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求,再从所述闲置缓存空间调用部分缓存空间,以补足该实际网站连接请求缺失的缓存空间;
若该实际网站连接请求不存在于历史网站访问日志中,则根据该实际网站连接请求实际所需的缓存空间z,从所述闲置缓存空间调用相对应大小的缓存空间分配给该实际网站连接请求。
优选的是,所述的反向代理服务器缓存动态配置方法,还包括:
步骤S5、每间隔第二单位时间更新一次历史网站访问日志,并根据更新的历史网站访问日志,重新构建反向代理服务器的缓存结构。
优选的是,所述的反向代理服务器缓存动态配置方法,存储卷对应的网络数据属性为该存储卷的平均响应时间,对于任一存储卷,其所需占用的缓存空间大小和与其相对应的所需的适配缓存空间大小的比值,与该存储卷的平均响应时间与预设响应时间的比值相等。
优选的是,所述的反向代理服务器缓存动态配置方法,存储卷的优先级设置具体为:根据历史网站访问日志中多个存储卷对应的被访问的频率值,并按照频率值从大到小将多个存储卷分成若干等级,排列在前30%的若干存储卷为第一等级,中间40%的若干存储卷为第二等级,最后30%的若干存储卷为第三等级。
优选的是,所述的反向代理服务器缓存动态配置方法,步骤S3中确定所述共享缓存空间分配给任一存储卷的缓存空间大小,具体为:按照该存储卷的缓存空间的分配权重,从所述共享缓存空间中调配初步备用缓存空间w,
若该存储卷的优先级为第一等级,则该存储卷的备用缓存空间y=1.5w;
若该存储卷的优先级为第二等级,则该存储卷的备用缓存空间y=1.2w;
若该存储卷的优先级为第三等级,则该存储卷的备用缓存空间y=w。
优选的是,所述的反向代理服务器缓存动态配置方法,根据除所述运行缓存空间以外的剩余缓存空间实时调整所述共享缓存空间和所述闲置缓存空间的大小,始终保持所述共享缓存空间与所述闲置缓存空间的空间大小比值为1.5:1。
本发明还提供一种反向代理服务器缓存动态配置系统,其包括:
网站访问日志分析模块:其用于根据网站域名的不同,将历史网站访问日志中的若干网站的请求数据分成多个存储卷,分析并统计多个存储卷的所需的适配缓存空间大小;还用于每间隔第二单位时间更新一次历史网站访问日志,并根据更新的历史网站访问日志,重新构建反向代理服务器的缓存结构;
统计模块:其用于根据多个存储卷对应的网络数据属性以及对应的所需的适配缓存空间大小,预测多个存储卷在未来第一单位时间内所需占用的缓存空间大小,并根据多个存储卷的所需占用的缓存空间大小计算多个存储卷的缓存空间分配权重;
缓存结构构建模块,其用于构建反向代理服务器的缓存结构,其包括运行缓存空间、共享缓存空间以及闲置缓存空间,所述运行缓存空间包括多个与多个存储卷一一对应的单元运行缓存空间x,任一单元运行缓存空间的大小不小于与其相对应的存储卷的所需占用的缓存空间大小;任一存储卷可使用所述共享缓存空间,对于任一存储卷,根据该存储卷的优先级的等级以及其缓存空间的分配权重,确定所述共享缓存空间分配给该存储卷的缓存空间大小,并计为备用缓存空间y;
请求接收模块:其用于接收实际网站连接请求,计算实际网站连接请求实际所需的缓存空间z,判断该实际网站连接请求是否存在于历史网站访问日志中,若存在于历史网站访问日志中,则分析该实际网站连接请求所属的存储卷,将实际所需的缓存空间z与单元运行缓存空间x进行比较:
若z=x,则将该实际网站连接请求分配相对应的单元运行缓存空间x分配给该实际网站连接请求;
若z<x时,则将单元运行缓存空间x中多于实际所需的缓存空间的部分缓存空间调配给所述共享缓存空间,然后再将剩余的单元运行缓存空间分配给该实际网站连接请求;
若z>x时,则将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求;
若z>x+y时,将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求,再从所述闲置缓存空间调用部分缓存空间,以补足该实际网站连接请求缺失的缓存空间;
若该实际网站连接请求不存在于历史网站访问日志中,则根据该实际网站连接请求实际所需的缓存空间z,从所述闲置缓存空间调用相对应大小的缓存空间分配给该实际网站连接请求。
本发明还提供一种电子设备,其包括:
存储器,其用于存储计算机程序;
至少一个处理器,其用于执行计算机程序时,实现上述的反向代理服务器缓存动态配置方法的步骤,至少一个处理器执行的指令存储于所述存储器中。
本发明还提供一种存储介质,其上存储有所述计算机程序,所述计算机程序被处理器执行时,实现权利要求1~7中任一项所述的反向代理服务器缓存动态配置方法的步骤。
本发明至少包括以下有益效果:
1、本发明基于网站访问日志统计分析出网站数据指标,分析并统计各个存储卷的适配缓存空间,随后预测出未来一段时间内各个存储卷运行时所需占用的缓存空间,然后根据预测值计算出缓存分配权重,进而对反向代理服务器的缓存结构进行按需分配构建,能够为各个存储卷的访问分配合理的缓存空间大小,尤其对于高缓存需求和收益或者高优先级的网站访问,为其分配更加充足的缓存空间,提高网站缓存命中率,提高缓存空间的利用率,达到降低用户访问延迟的目的。
2、本发明在实现反向代理服务器和网站管理的功能上,实现了反向代理服务器缓存空间动态配置、构建的功能,其一,能实时统计分析网站访问日志得到网站数据指标,然后周期性对网站未来一段时间内的数据指标进行预测,计算出网站最新的缓存需求和收益,并根据预测值计算出网站的缓存分配空间大小,最后自动部署更新反向代理服务器的缓存空间的配置结构;其二,能根据网站缓存需求与收益,动态的为网站分配合适的缓存空间大小,保证各个网站访问请求可快速、准确的响应,提高用户体验感。
本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明的流程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
应当理解,本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。
需要说明的是,下述实施方案中所述实验方法,如无特殊说明,均为常规方法,所述试剂和材料,如无特殊说明,均可从商业途径获得。
在本发明的描述中,术语“横向”、“纵向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,并不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
如图1所示,本发明提供一种反向代理服务器缓存动态配置方法,其包括以下步骤:
步骤S1、根据网站域名的不同,将历史网站访问日志中的若干网站的请求数据分成多个存储卷,分析并统计多个存储卷的所需的适配缓存空间大小;
步骤S2、根据多个存储卷对应的网络数据属性以及对应的所需的适配缓存空间大小,预测多个存储卷在未来第一单位时间内所需占用的缓存空间大小,并根据多个存储卷的所需占用的缓存空间大小计算多个存储卷的缓存空间分配权重;
步骤S3、构建反向代理服务器的缓存结构,其包括运行缓存空间、共享缓存空间以及闲置缓存空间,所述运行缓存空间包括多个与多个存储卷一一对应的单元运行缓存空间x,任一单元运行缓存空间的大小不小于与其相对应的存储卷的所需占用的缓存空间大小;任一存储卷可使用所述共享缓存空间,对于任一存储卷,根据该存储卷的优先级的等级以及其缓存空间的分配权重,确定所述共享缓存空间分配给该存储卷的缓存空间大小,并计为备用缓存空间y;
步骤S4、接收实际网站连接请求,计算实际网站连接请求实际所需的缓存空间z,判断该实际网站连接请求是否存在于历史网站访问日志中,若存在于历史网站访问日志中,则分析该实际网站连接请求所属的存储卷,将实际所需的缓存空间z与单元运行缓存空间x进行比较:
若z=x,则将该实际网站连接请求分配相对应的单元运行缓存空间x分配给该实际网站连接请求;
若z<x时,则将单元运行缓存空间中多余实际所需的缓存空间的部分缓存空间调配给所述共享缓存空间,然后再剩余的单元运行缓存空间分配给该实际网站连接请求;
若z>x时,则将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求;
若z>x+y时,将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求,再从所述闲置缓存空间调用部分缓存空间,以补足该实际网站连接请求缺失的缓存空间;
若该实际网站连接请求不存在于历史网站访问日志中,则根据该实际网站连接请求实际所需的缓存空间z,从所述闲置缓存空间调用相对应大小的缓存空间分配给该实际网站连接请求。
在上述技术方案中,本发明基于网站访问日志统计分析出网站数据指标,分析并统计各个存储卷的适配缓存空间,随后预测出未来一段时间内各个存储卷运行时所需占用的缓存空间,然后根据预测值计算出缓存分配权重,进而对反向代理服务器的缓存结构进行按需分配构建,能够为各个存储卷的访问分配合理的缓存空间大小,尤其对于高缓存需求和收益或者高优先级的网站访问,为其分配更加充足的缓存空间,提高网站缓存命中率,提高缓存空间的利用率,达到降低用户访问延迟的目的。
通过镜像学,对反向代理服务器经过本发明缓存配置方法进行缓存空间分配时的运行状态一,和未经过缓存配置方法进行缓存空间分配时的运行状态二,进行对比测试,结果显示状态一下的网站访问响应时间比状态二下同一网站访问响应时间缩短了20%,实验结果表明,本发明可以根据网站缓存需求、优先级变化,为各个网站访问请求分配独立的、合适的缓存空间,有效地提高了网站的缓存命中率、延迟降低率和字节命中率。
另一种技术方案中,所述的反向代理服务器缓存动态配置方法,还包括:
步骤S5、每间隔第二单位时间更新一次历史网站访问日志,并根据更新的历史网站访问日志,重新构建反向代理服务器的缓存结构。根据网站缓存需求与收益,动态的为网站分配合适的缓存空间大小,保证各个网站访问请求可快速、准确的响应,提高用户体验感。
另一种技术方案中,所述的反向代理服务器缓存动态配置方法,存储卷对应的网络数据属性为该存储卷的平均响应时间,对于任一存储卷,其所需占用的缓存空间大小和与其相对应的所需的适配缓存空间大小的比值,与该存储卷的平均响应时间与预设响应时间的比值相等。响应时间越快所耗损的缓存空间越小,响应时间越慢,所耗损的缓存空间越大,为提高网站连接请求的响应速度,可根据历史响应情况事先为其调配较宽裕的缓存空间,进而达到缩短网站访问延迟时间。
另一种技术方案中,所述的反向代理服务器缓存动态配置方法,存储卷的优先级设置具体为:根据历史网站访问日志中多个存储卷对应的被访问的频率值,并按照频率值从大到小将多个存储卷分成若干等级,排列在前30%的若干存储卷为第一等级,中间40%的若干存储卷为第二等级,最后30%的若干存储卷为第三等级。
上述技术方案中,根据各个存储卷的历史访问频率,对多个存储卷进行等级分类,一方面提高历史网站访问日志内容归置的条理性,另一方面可根据等级分类实现后续的按需分配的结构配置。
另一种技术方案中,所述的反向代理服务器缓存动态配置方法,步骤S3中确定所述共享缓存空间分配给任一存储卷的缓存空间大小,具体为:按照该存储卷的缓存空间的分配权重,从所述共享缓存空间中调配初步备用缓存空间w,
若该存储卷的优先级为第一等级,则该存储卷的备用缓存空间y=1.5w;
若该存储卷的优先级为第二等级,则该存储卷的备用缓存空间y=1.2w;
若该存储卷的优先级为第三等级,则该存储卷的备用缓存空间y=w。
在上述技术方案中,根据各个存储卷所属等级,为其调配最佳的备用缓存空间,为经常需要访问的网站请求实现预设充足的缓存空间,使得下次访问该网站时,服务器可快速、准确的关联,进一步地缩短用户访问延迟时间,实现按需分配,将缓存空间的配置做到最优。
另一种技术方案中,所述的反向代理服务器缓存动态配置系统,根据除所述运行缓存空间以外的剩余缓存空间实时调整所述共享缓存空间和所述闲置缓存空间的大小,始终保持所述共享缓存空间与所述闲置缓存空间的空间大小比值为1.5:1。合理分配剩余的缓存空间,共享缓存空间的调用速度由于闲置缓存空间,可在最短时间内,快速、准确地为实时网站连接请求分配最为合理的缓存空间。
本发明还提供一种反向代理服务器缓存动态配置系统,其包括:
网站访问日志分析模块:其用于根据网站域名的不同,将历史网站访问日志中的若干网站的请求数据分成多个存储卷,分析并统计多个存储卷的所需的适配缓存空间大小;还用于每间隔第二单位时间更新一次历史网站访问日志,并根据更新的历史网站访问日志,重新构建反向代理服务器的缓存结构;
统计模块:其用于根据多个存储卷对应的网络数据属性以及对应的所需的适配缓存空间大小,预测多个存储卷在未来第一单位时间内所需占用的缓存空间大小,并根据多个存储卷的所需占用的缓存空间大小计算多个存储卷的缓存空间分配权重;
缓存结构构建模块,其用于构建反向代理服务器的缓存结构,其包括运行缓存空间、共享缓存空间以及闲置缓存空间,所述运行缓存空间包括多个与多个存储卷一一对应的单元运行缓存空间x,任一单元运行缓存空间的大小不小于与其相对应的存储卷的所需占用的缓存空间大小;任一存储卷可使用所述共享缓存空间,对于任一存储卷,根据该存储卷的优先级的等级以及其缓存空间的分配权重,确定所述共享缓存空间分配给该存储卷的缓存空间大小,并计为备用缓存空间y;
请求接收模块:其用于接收实际网站连接请求,计算实际网站连接请求实际所需的缓存空间z,判断该实际网站连接请求是否存在于历史网站访问日志中,若存在于历史网站访问日志中,则分析该实际网站连接请求所属的存储卷,将实际所需的缓存空间z与单元运行缓存空间x进行比较:
若z=x,则将该实际网站连接请求分配相对应的单元运行缓存空间x分配给该实际网站连接请求;
若z<x时,则将单元运行缓存空间x中多余实际所需的缓存空间的部分缓存空间调配给所述共享缓存空间,然后再剩余的单元运行缓存空间分配给该实际网站连接请求;
若z>x时,则将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求;
若z>x+y时,将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求,再从所述闲置缓存空间调用部分缓存空间,以补足该实际网站连接请求缺失的缓存空间;
若该实际网站连接请求不存在于历史网站访问日志中,则根据该实际网站连接请求实际所需的缓存空间z,从所述闲置缓存空间调用相对应大小的缓存空间分配给该实际网站连接请求。
在上述技术方案中,本发明为反向代理服务器的缓存空间的动态配置提供一种配置系统,可实现根据实时网站访问的数据指标属性,实时对反向代理服务器的缓存空间进行调配,为各个实时网站访问连接请求分配独立、合理、最佳的缓存空间,加快服务器对网站访问连接请求的响应速度,缩短网站访问延迟时间。
本发明还提供一种电子设备,其包括:
存储器,其用于存储计算机程序;
至少一个处理器,其用于执行计算机程序时,实现所述的反向代理服务器缓存动态配置方法的步骤,至少一个处理器执行的指令存储于所述存储器中。形成专业的反向代理服务器的缓存空间的配置设备。
本发明还提供一种存储介质,其上存储有所述计算机程序,所述计算机程序被处理器执行时,实现所述的反向代理服务器缓存动态配置方法的步骤。形成专业的反向代理服务器的缓存空间存储介质。这里说明的设备数量和处理规模是用来简化本发明的说明的。对本发明的应用、修改和变化对本领域的技术人员来说是显而易见的。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。

Claims (7)

1.反向代理服务器缓存动态配置方法,其特征在于,其包括以下步骤:
步骤S1、根据网站域名的不同,将历史网站访问日志中的若干网站的请求数据分成多个存储卷,分析并统计多个存储卷的所需的适配缓存空间大小;
步骤S2、根据多个存储卷对应的网络数据属性以及对应的所需的适配缓存空间大小,预测多个存储卷在未来第一单位时间内所需占用的缓存空间大小,并根据多个存储卷的所需占用的缓存空间大小计算多个存储卷的缓存空间分配权重;存储卷对应的网络数据属性为该存储卷的平均响应时间,对于任一存储卷,其所需占用的缓存空间大小和与其相对应的所需的适配缓存空间大小的比值,与该存储卷的平均响应时间与预设响应时间的比值相等;
步骤S3、构建反向代理服务器的缓存结构,其包括运行缓存空间、共享缓存空间以及闲置缓存空间,所述运行缓存空间包括多个与多个存储卷一一对应的单元运行缓存空间x,任一单元运行缓存空间的大小不小于与其相对应的存储卷的所需占用的缓存空间大小;任一存储卷可使用所述共享缓存空间,对于任一存储卷,根据该存储卷的优先级的等级以及其缓存空间的分配权重,确定所述共享缓存空间分配给该存储卷的缓存空间大小,并计为备用缓存空间y;
步骤S4、接收实际网站连接请求,计算实际网站连接请求实际所需的缓存空间z,判断该实际网站连接请求是否存在于历史网站访问日志中,若存在于历史网站访问日志中,则分析该实际网站连接请求所属的存储卷,将实际所需的缓存空间z与单元运行缓存空间x进行比较:
若z=x,则将该实际网站连接请求分配相对应的单元运行缓存空间x分配给该实际网站连接请求;
若z<x时,则将单元运行缓存空间x中多于实际所需的缓存空间的部分缓存空间调配给所述共享缓存空间,然后再将剩余的单元运行缓存空间分配给该实际网站连接请求;
若z>x时,则将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求;
若z>x+y时,将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求,再从所述闲置缓存空间调用部分缓存空间,以补足该实际网站连接请求缺失的缓存空间;
若该实际网站连接请求不存在于历史网站访问日志中,则根据该实际网站连接请求实际所需的缓存空间z,从所述闲置缓存空间调用相对应大小的缓存空间分配给该实际网站连接请求;
步骤S5、每间隔第二单位时间更新一次历史网站访问日志,并根据更新的历史网站访问日志,重新构建反向代理服务器的缓存结构。
2.如权利要求1所述的反向代理服务器缓存动态配置方法,其特征在于,存储卷的优先级设置具体为:根据历史网站访问日志中多个存储卷对应的被访问的频率值,并按照频率值从大到小将多个存储卷分成若干等级,排列在前30%的若干存储卷为第一等级,中间40%的若干存储卷为第二等级,最后30%的若干存储卷为第三等级。
3.如权利要求2所述的反向代理服务器缓存动态配置方法,其特征在于,步骤S3中确定所述共享缓存空间分配给任一存储卷的缓存空间大小,具体为:按照该存储卷的缓存空间的分配权重,从所述共享缓存空间中调配初步备用缓存空间w,
若该存储卷的优先级为第一等级,则该存储卷的备用缓存空间y=1.5w;
若该存储卷的优先级为第二等级,则该存储卷的备用缓存空间y=1.2w;
若该存储卷的优先级为第三等级,则该存储卷的备用缓存空间y=w。
4.如权利要求3所述的反向代理服务器缓存动态配置方法,其特征在于,根据除所述运行缓存空间以外的剩余缓存空间实时调整所述共享缓存空间和所述闲置缓存空间的大小,始终保持所述共享缓存空间与所述闲置缓存空间的空间大小比值为1.5:1。
5.反向代理服务器缓存动态配置系统,其特征在于,其包括:
网站访问日志分析模块:其用于根据网站域名的不同,将历史网站访问日志中的若干网站的请求数据分成多个存储卷,分析并统计多个存储卷的所需的适配缓存空间大小;还用于每间隔第二单位时间更新一次历史网站访问日志,并根据更新的历史网站访问日志,重新构建反向代理服务器的缓存结构;
统计模块:其用于根据多个存储卷对应的网络数据属性以及对应的所需的适配缓存空间大小,预测多个存储卷在未来第一单位时间内所需占用的缓存空间大小,并根据多个存储卷的所需占用的缓存空间大小计算多个存储卷的缓存空间分配权重;存储卷对应的网络数据属性为该存储卷的平均响应时间,对于任一存储卷,其所需占用的缓存空间大小和与其相对应的所需的适配缓存空间大小的比值,与该存储卷的平均响应时间与预设响应时间的比值相等;
缓存结构构建模块,其用于构建反向代理服务器的缓存结构,其包括运行缓存空间、共享缓存空间以及闲置缓存空间,所述运行缓存空间包括多个与多个存储卷一一对应的单元运行缓存空间x,任一单元运行缓存空间的大小不小于与其相对应的存储卷的所需占用的缓存空间大小;任一存储卷可使用所述共享缓存空间,对于任一存储卷,根据该存储卷的优先级的等级以及其缓存空间的分配权重,确定所述共享缓存空间分配给该存储卷的缓存空间大小,并计为备用缓存空间y;
请求接收模块:其用于接收实际网站连接请求,计算实际网站连接请求实际所需的缓存空间z,判断该实际网站连接请求是否存在于历史网站访问日志中,若存在于历史网站访问日志中,则分析该实际网站连接请求所属的存储卷,将实际所需的缓存空间z与单元运行缓存空间x进行比较:
若z=x,则将该实际网站连接请求分配相对应的单元运行缓存空间x分配给该实际网站连接请求;
若z<x时,则将单元运行缓存空间x中多于实际所需的缓存空间的部分缓存空间调配给所述共享缓存空间,然后再将剩余的单元运行缓存空间分配给该实际网站连接请求;
若z>x时,则将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求;
若z>x+y时,将该实际网站连接请求相对应的单元运行缓存空间x和对应的备用缓存空间y分配给该实际网站连接请求,再从所述闲置缓存空间调用部分缓存空间,以补足该实际网站连接请求缺失的缓存空间;
若该实际网站连接请求不存在于历史网站访问日志中,则根据该实际网站连接请求实际所需的缓存空间z,从所述闲置缓存空间调用相对应大小的缓存空间分配给该实际网站连接请求。
6.电子设备,其特征在于,其包括:
存储器,其用于存储计算机程序;
至少一个处理器,其用于执行计算机程序时,实现权利要求1~4中任一项所述的反向代理服务器缓存动态配置方法的步骤,至少一个处理器执行的指令存储于所述存储器中。
7.存储介质,其上存储有所述计算机程序,其特征在于,所述计算机程序被处理器执行时,实现权利要求1~4中任一项所述的反向代理服务器缓存动态配置方法的步骤。
CN201911201161.6A 2019-11-29 2019-11-29 反向代理服务器缓存动态配置方法及系统 Active CN110944050B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911201161.6A CN110944050B (zh) 2019-11-29 2019-11-29 反向代理服务器缓存动态配置方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911201161.6A CN110944050B (zh) 2019-11-29 2019-11-29 反向代理服务器缓存动态配置方法及系统

Publications (2)

Publication Number Publication Date
CN110944050A CN110944050A (zh) 2020-03-31
CN110944050B true CN110944050B (zh) 2022-04-26

Family

ID=69908631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911201161.6A Active CN110944050B (zh) 2019-11-29 2019-11-29 反向代理服务器缓存动态配置方法及系统

Country Status (1)

Country Link
CN (1) CN110944050B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813549B (zh) * 2020-07-07 2023-07-25 河南城建学院 一种服务器资源配置方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739298A (zh) * 2008-11-27 2010-06-16 国际商业机器公司 共享缓存管理方法和系统
CN109511009A (zh) * 2018-12-07 2019-03-22 北京交通大学 一种视频在线缓存管理方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150304442A1 (en) * 2014-04-17 2015-10-22 Go Daddy Operating Company, LLC Website product integration and caching via domain name routing rules

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739298A (zh) * 2008-11-27 2010-06-16 国际商业机器公司 共享缓存管理方法和系统
CN109511009A (zh) * 2018-12-07 2019-03-22 北京交通大学 一种视频在线缓存管理方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
反向代理服务器缓存动态配置系统的设计与实现;赵泽华;《中国优秀硕士学位论文全文数据库》;20190815;第五章 *

Also Published As

Publication number Publication date
CN110944050A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
US6901484B2 (en) Storage-assisted quality of service (QoS)
EP3089039B1 (en) Cache management method and device
US10769126B1 (en) Data entropy reduction across stream shard
US6961835B2 (en) System and method for autonomically reallocating memory among buffer pools
CN108139872B (zh) 一种缓存管理方法、缓存控制器以及计算机系统
US9354989B1 (en) Region based admission/eviction control in hybrid aggregates
CN110297698B (zh) 一种多优先级动态限流方法、装置、服务器及存储介质
KR20010014824A (ko) 참조의 국한성에 대한 고효율의 동적 추적 방법 및 장치
Chockler et al. Design and implementation of caching services in the cloud
CN104035807B (zh) 一种云存储系统的元数据缓存替换方法
CN102868542A (zh) 一种服务分发网络中服务质量的控制方法及系统
CN106294192B (zh) 内存分配方法、内存分配装置及服务器
CN110944050B (zh) 反向代理服务器缓存动态配置方法及系统
CN104102646B (zh) 数据处理的方法、装置及系统
US20150319234A1 (en) Load balancing scalable storage utilizing optimization modules
US20090150401A1 (en) System and method for handling data access
CN110162272B (zh) 一种内存计算缓存管理方法及装置
EP3507699A1 (en) Method and systems for master establishment using service-based statistics
CN111190737A (zh) 一种针对嵌入式系统的内存分配方法
CN110895451A (zh) 基于分布式系统的数据访问性能优化方法
CN116027982A (zh) 数据处理方法、设备及可读存储介质
CN115509962A (zh) 一种多级缓存管理方法、装置、设备及可读存储介质
CN112883064B (zh) 一种自适应采样与查询方法及系统
CN109408412B (zh) 内存预取控制方法、装置及设备
CN109460293B (zh) 无线云计算系统中分布式计算环境下的计算资源选择方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 100102 unit 02-31, 5 / F, 5 / F, 10 Furong street, Chaoyang District, Beijing

Patentee after: Beijing Wangpin Information Technology Co.,Ltd.

Address before: 100102 unit 02-31, 5 / F, 5 / F, 10 Furong street, Chaoyang District, Beijing

Patentee before: BEIJING WANGPIN CONSULTING Co.,Ltd.

CP01 Change in the name or title of a patent holder