CN105354258B - 一种更新网站数据缓存的装置及方法 - Google Patents

一种更新网站数据缓存的装置及方法 Download PDF

Info

Publication number
CN105354258B
CN105354258B CN201510691231.6A CN201510691231A CN105354258B CN 105354258 B CN105354258 B CN 105354258B CN 201510691231 A CN201510691231 A CN 201510691231A CN 105354258 B CN105354258 B CN 105354258B
Authority
CN
China
Prior art keywords
current
access
amount
caching
website
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510691231.6A
Other languages
English (en)
Other versions
CN105354258A (zh
Inventor
黄沂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201510691231.6A priority Critical patent/CN105354258B/zh
Publication of CN105354258A publication Critical patent/CN105354258A/zh
Application granted granted Critical
Publication of CN105354258B publication Critical patent/CN105354258B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/957Browsing optimisation, e.g. caching or content distillation
    • G06F16/9574Browsing optimisation, e.g. caching or content distillation of access to content, e.g. by caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种更新网站数据缓存的装置及方法,所述装置包括:采集单元,用于采集当前网站的访问量以及数据库负载;计算单元,用于根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期;更新单元,用于按照所述当前的缓存周期更新所述网站的缓存数据。

Description

一种更新网站数据缓存的装置及方法
技术领域
本发明涉及网站数据缓存技术,尤其涉及一种更新网站数据缓存的装置及方法。
背景技术
随着互联网的高速发展,大型网站承担的访问负载越来越重。网站数据缓存技术已经成为网站的一个关键性支撑技术。数据缓存技术主要指:网站服务器将从数据库中查询出的数据集合放入缓存中,下次如果再执行这个查询,将直接从缓存中返回这个数据集合,不需要再进行数据库的查询,同时可以配置缓存更新策略。
数据缓存技术主要用于缓解网站服务器数据库的压力,提高网站服务器的稳定性和并发能力等。缓存策略使用是否得当,直接关系网站的访问速度、影响用户体验,进而影响服务器集群的规模及购置服务器的数量等。
当前一般缓存更新策略是采用设定更新周期的方法:网站服务器查询数据集合写入缓存时记录时间;下次查询时,检查缓存时间是否已过期,如果没过期,就直接从缓存返回数据集合,如果过期,则执行数据库查询,并更新缓存。这种缓存更新策略在网站运行期间一般保持不变。在使用数据缓存时,网站数据改变后,用户要到下个更新周期才能看到新内容。如果周期过长,必然影响用户体验;如果周期过短,缓存的效果减弱,必然增加数据库查询压力,严重时将造成网站服务器故障。
发明内容
为解决上述技术问题,本发明实施例提供了一种更新网站数据缓存的装置及方法。
本发明实施例提供的更新网站数据缓存的装置包括:
采集单元,用于采集当前网站的访问量以及数据库负载;
计算单元,用于根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期;
更新单元,用于按照所述当前的缓存周期更新所述网站的缓存数据。
本发明实施例中,所述装置还包括:
设置单元,用于根据所述当前网站的访问量,设置以下阈值:最小访问量阈值、最大访问量阈值、最小缓存周期阈值、最大缓存周期阈值。
本发明实施例中,所述计算单元,还用于当所述当前网站的访问量大于或等于所述最大访问量阈值时,将所述最大缓存周期阈值设置为所述当前的缓存周期;当所述当前网站的访问量小于或等于所述最小访问量阈值时,将所述最小缓存周期阈值设置为所述当前的缓存周期。
本发明实施例中,所述设置单元,还用于当所述当前网站的访问量大于所述最小访问量阈值,且小于所述最大访问量阈值时,为数据库负载设置最优稳定值。
本发明实施例中,所述计算单元,还用于以所述当前的数据库负载与所述最优稳定值的差值为依据,根据比例-积分-微分(PID,Proportion IntegrationDifferentiation)算法计算得到所述当前的缓存周期。
本发明实施例提供的更新网站数据缓存的方法包括:
采集当前网站的访问量以及数据库负载;
根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期;
按照所述当前的缓存周期更新所述网站的缓存数据。
本发明实施例中,所述方法还包括:
根据所述当前网站的访问量,设置以下阈值:最小访问量阈值、最大访问量阈值、最小缓存周期阈值、最大缓存周期阈值。
本发明实施例中,所述根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期,包括:
当所述当前网站的访问量大于或等于所述最大访问量阈值时,将所述最大缓存周期阈值设置为所述当前的缓存周期;
当所述当前网站的访问量小于或等于所述最小访问量阈值时,将所述最小缓存周期阈值设置为所述当前的缓存周期。
本发明实施例中,所述方法还包括:
当所述当前网站的访问量大于所述最小访问量阈值,且小于所述最大访问量阈值时,为数据库负载设置最优稳定值。
本发明实施例中,所述根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期,包括:
以所述当前的数据库负载与所述最优稳定值的差值为依据,根据PID算法计算得到所述当前的缓存周期。
本发明实施例的技术方案中,通过实时采集网站的访问量以及数据库负载,计算得到当前的缓存周期,按照所述当前的缓存周期更新所述网站的缓存数据。从而实现了根据网站的实时状况,动态地调整缓存周期。如此,当数据库为低负载时,适当降低了缓存周期更新缓存数据,优化了用户体验。当数据库为高负载时,适当提高了缓存周期更新缓存数据,保障了网站服务器的稳定性。并且,缓存周期的微调采用PID算法,稳定可靠。
附图说明
图1为本发明实施例一的更新网站数据缓存的方法的流程示意图;
图2为本发明实施例二的更新网站数据缓存的方法的流程示意图;
图3为本发明实施例一的更新网站数据缓存的装置的结构组成示意图;
图4为本发明实施例二的更新网站数据缓存的装置的结构组成示意图;
图5为本发明实施例的交互示意图一;
图6为本发明实施例的交互示意图二;
图7为本发明实施例的网站系统的框架示意图。
具体实施方式
为了能够更加详尽地了解本发明实施例的特点与技术内容,下面结合附图对本发明实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本发明实施例。
图1为本发明实施例一的更新网站数据缓存的方法的流程示意图,本示例中的更新网站数据缓存的方法应用于更新网站数据缓存的装置中,如图1所示,所述更新网站数据缓存的方法包括以下步骤:
步骤101:采集当前网站的访问量以及数据库负载。
具体地,由更新网站数据缓存的装置采集当前网站的访问量以及数据库负载。
本发明实施例中,参照图5,网站客户端是能够访问网站的应用,例如浏览器,网站客户端设置在用户设备(UE,User Equipment)中,UE可以是手机、平板电脑、笔记本、台式机等电子设备。用户可以在UE上打开网站客户端,然后在网站客户端上输入所需的网站的地址,从而打开相应的网页。在这个过程中,网站客户端需要与网站服务器之间进行数据交互,具体地,网页中包含的图片,Java脚本(JS,JavaScript),层叠样式表(CSS,CascadingStyle Sheets)等每一个资源都会生成一个超文本传输协议(HTTP,HyperText TransferProtocol)下载请求,由网站客户端(浏览器)发向网站服务器,本发明实施例将由网站客户端向网站服务器发送的HTTP请求称为访问请求,将网站服务器接收到的所有HTTP请求的数量称为网站的访问量。这里,某一个网站的访问量可以是来自同一个UE的多个HTTP请求,还可以是来自不同UE的多个HTTP请求。
本发明实施例中,参照图6,网站客户端与网站服务器进行数据交互时,采用缓存技术(webcache),如此,可以加快数据交互的速度。缓存技术实现的基本方式为:将指定的网页的数据周期性地缓存起来,缓存时间可从几秒到几天,在缓存时间内,网页只需要生成一次,以后有用户访问这个网页时,网站服务器无需在数据库中执行复杂的查询操作,再重新生成相同的网页,极大减少了网站服务器和数据库的负荷。这里,数据库是存放网站数据的空间,大多网站都是由动态服务器页面(ASP,Active Server Page)、超文本预处理器(PHP,Hypertext Preprocessor)开发的动态网站,网站数据由专门的一个数据库来存放。网站的数据库根据网站的大小、数据的多少,决定选用结构化查询语(SQL,StructuredQuery Language)、关系数据库(ACCESS)、关系型数据库(DB2)、或甲骨文(ORCLE)数据库。
这里,数据库包括但不限于各种关系型和非关系型的数据库;缓存包括但不限于各种内存和文件缓存,比如使用内存缓存(memcache)和数据库(redis)等实现。
基于此,数据库负载是指数据库查询网站数据所消耗的资源,数据库负载与网站的访问量有关。
步骤102:根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期。
本发明实施例中,计算当前的缓存周期采用闭环控制方法,闭环控制方法是根据控制对象输出反馈来进行校正的控制方式,它是在测量出实际与计划发生偏差时,按定额或标准来进行纠正的。从输出量变化取出控制信号作为比较量反馈给输入端控制输入量,自动控制通常是闭环控制。可见,本发明实施例是自动调整缓存周期。
本发明实施例中,闭环控制方法主要采用改进的PID算法计算得到当前的缓存周期。PID算法在自动控制过程中,按偏差的比例、积分和微分进行控制,是应用最为广泛的一种自动控制方法。
本发明实施例中,将当前网站的访问量用PV表示,将当前网站的数据库负载用DBLoad表示,将计算得到的当前的缓存周期用T表示;然后通过以下方式计算得到T:
方式一:首先根据当前网站的访问量,设置以下阈值:最小访问量阈值(PVmin)、最大访问量阈值(PVmax)、最小缓存周期阈值(Tmin)、最大缓存周期阈值(Tmax)。可见,访问量区间为(PVmin,PVmax);缓存周期区间为(Tmin,Tmax)。
当所述当前网站的访问量大于或等于所述最大访问量阈值时,将所述最大缓存周期阈值设置为所述当前的缓存周期;即:PV>=PVmax时,T=Tmax。
当所述当前网站的访问量小于或等于所述最小访问量阈值时,将所述最小缓存周期阈值设置为所述当前的缓存周期;即:PV<=PVmin时,T=Tmin。
方式二:当所述当前网站的访问量大于所述最小访问量阈值,且小于所述最大访问量阈值时,即:PVmin<PV<PVmax时,为数据库负载设置最优稳定值(DBLoadbest)。通过调整缓存周期,使数据库的负载保持在DBLoadbest附近,这样使网站服务器负载和性能达到最佳平衡。
本发明实施例采用PID算法来控制微调缓存周期:以所述当前的数据库负载与所述最优稳定值的差值为依据,根据PID算法计算得到所述当前的缓存周期。
具体地,根据PID算法,以当前的数据库负载(DBLoad)与最优值(DBLoadbest)的差值(e(t))为输入变量,输出值为缓存周期T(t)。算法的输入值e(t)与输出值T(t)的关系为:
T(t)=P×[e(t)+I×∫e(t)dt+D×de(t)/dt]
其中,P为比例系数,I为积分时间常数,D为微分时间常数。各个系数值等根据实际网站服务器的性能进行调整。
本发明实施例根据输出值微调数据缓存周期,使得负载(DBLoad)无限逼近最优值(DBLoadbest),实现到系统负载和性能的平衡。
步骤103:按照所述当前的缓存周期更新所述网站的缓存数据。
具体地,当缓存周期确定的时刻达到时,更新一下网站的缓存数据。
本发明实施例中,通过实时采集网站的访问量以及数据库负载,计算得到当前的缓存周期,按照所述当前的缓存周期更新所述网站的缓存数据。从而实现了根据网站的实时状况,动态地调整缓存周期。如此,当数据库为低负载时,适当降低了缓存周期更新缓存数据,优化了用户体验。当数据库为高负载时,适当提高了缓存周期更新缓存数据,保障了网站服务器的稳定性。并且,缓存周期的微调采用PID算法,稳定可靠。
图2为本发明实施例二的更新网站数据缓存的方法的流程示意图,本示例中的更新网站数据缓存的方法应用于更新网站数据缓存的装置中,如图2所示,所述更新网站数据缓存的方法包括以下步骤:
步骤201:采集当前网站的访问量以及数据库负载。
具体地,由更新网站数据缓存的装置采集当前网站的访问量以及数据库负载。
本发明实施例中,参照图5,网站客户端是能够访问网站的应用,例如浏览器,网站客户端设置在UE中,UE可以是手机、平板电脑、笔记本、台式机等电子设备。用户可以在UE上打开网站客户端,然后在网站客户端上输入所需的网站的地址,从而打开相应的网页。在这个过程中,网站客户端需要与网站服务器之间进行数据交互,具体地,网页中包含的图片,JS,CSS等每一个资源都会生成一个HTTP下载请求,由网站客户端(浏览器)发向网站服务器,本发明实施例将由网站客户端向网站服务器发送的HTTP请求称为访问请求,将网站服务器接收到的所有HTTP请求的数量称为网站的访问量。这里,某一个网站的访问量可以是来自同一个UE的多个HTTP请求,还可以是来自不同UE的多个HTTP请求。
本发明实施例中,参照图6,网站客户端与网站服务器进行数据交互时,采用缓存技术(webcache),如此,可以加快数据交互的速度。缓存技术实现的基本方式为:将指定的网页的数据周期性地缓存起来,缓存时间可从几秒到几天,在缓存时间内,网页只需要生成一次,以后有用户访问这个网页时,网站服务器无需在数据库中执行复杂的查询操作,再重新生成相同的网页,极大减少了网站服务器和数据库的负荷。这里,数据库是存放网站数据的空间,大多网站都是由ASP、PHP开发的动态网站,网站数据由专门的一个数据库来存放。网站的数据库根据网站的大小、数据的多少,决定选用SQL、ACCESS、DB2、或ORCLE数据库。
这里,数据库包括但不限于各种关系型和非关系型的数据库;缓存包括但不限于各种内存和文件缓存,比如使用memcache和redis等实现。
基于此,数据库负载是指数据库查询网站数据所消耗的资源,数据库负载与网站的访问量有关。
步骤202:根据所述当前网站的访问量,设置以下阈值:最小访问量阈值、最大访问量阈值、最小缓存周期阈值、最大缓存周期阈值。
本发明实施例中,计算当前的缓存周期采用闭环控制方法,闭环控制方法是根据控制对象输出反馈来进行校正的控制方式,他是在测量出实际与计划发生偏差时,按定额或标准来进行纠正的。从输出量变化取出控制信号作为比较量反馈给输入端控制输入量,自动控制通常是闭环控制。可见,本发明实施例是自动调整缓存周期。
本发明实施例中,闭环控制方法主要采用改进的PID算法计算得到当前的缓存周期。PID算法在自动控制过程中,按偏差的比例、积分和微分进行控制,是应用最为广泛的一种自动控制方法。
本发明实施例中,将当前网站的访问量用PV表示,将当前网站的数据库负载用DBLoad表示,将计算得到的当前的缓存周期用T表示;然后通过以下方式计算得到T:
方式一:首先根据当前网站的访问量,设置以下阈值:最小访问量阈值(PVmin)、最大访问量阈值(PVmax)、最小缓存周期阈值(Tmin)、最大缓存周期阈值(Tmax)。可见,访问量区间为(PVmin,PVmax);缓存周期区间为(Tmin,Tmax)。
当所述当前网站的访问量大于或等于所述最大访问量阈值时,将所述最大缓存周期阈值设置为所述当前的缓存周期;即:PV>=PVmax时,T=Tmax。
当所述当前网站的访问量小于或等于所述最小访问量阈值时,将所述最小缓存周期阈值设置为所述当前的缓存周期;即:PV<=PVmin时,T=Tmin。
步骤203:当所述当前网站的访问量大于或等于所述最大访问量阈值时,将所述最大缓存周期阈值设置为所述当前的缓存周期;当所述当前网站的访问量小于或等于所述最小访问量阈值时,将所述最小缓存周期阈值设置为所述当前的缓存周期。
步骤204:当所述当前网站的访问量大于所述最小访问量阈值,且小于所述最大访问量阈值时,为数据库负载设置最优稳定值。
步骤205:以所述当前的数据库负载与所述最优稳定值的差值为依据,根据PID算法计算得到所述当前的缓存周期。
方式二:当所述当前网站的访问量大于所述最小访问量阈值,且小于所述最大访问量阈值时,即:PVmin<PV<PVmax时,为数据库负载设置最优稳定值(DBLoadbest)。通过调整缓存周期,使数据库的负载保持在DBLoadbest附近,这样使网站服务器负载和性能达到最佳平衡。
本发明实施例采用PID算法来控制微调缓存周期:以所述当前的数据库负载与所述最优稳定值的差值为依据,根据PID算法计算得到所述当前的缓存周期。
具体地,根据PID算法,以当前的数据库负载(DBLoad)与最优值(DBLoadbest)的差值(e(t))为输入变量,输出值为缓存周期T(t)。算法的输入值e(t)与输出值T(t)的关系为:
T(t)=P×[e(t)+I×∫e(t)dt+D×de(t)/dt]
其中,P为比例系数,I为积分时间常数,D为微分时间常数。各个系数值等根据实际网站服务器的性能进行调整。
本发明实施例根据输出值微调数据缓存周期,使得负载(DBLoad)无限逼近最优值(DBLoadbest),实现到系统负载和性能的平衡。
步骤206:按照所述当前的缓存周期更新所述网站的缓存数据。
具体地,当缓存周期确定的时刻达到时,更新一下网站的缓存数据。
本发明实施例中,通过实时采集网站的访问量以及数据库负载,计算得到当前的缓存周期,按照所述当前的缓存周期更新所述网站的缓存数据。从而实现了根据网站的实时状况,动态地调整缓存周期。如此,当数据库为低负载时,适当降低了缓存周期更新缓存数据,优化了用户体验。当数据库为高负载时,适当提高了缓存周期更新缓存数据,保障了网站服务器的稳定性。并且,缓存周期的微调采用PID算法,稳定可靠。
图3为本发明实施例一的更新网站数据缓存的装置的结构组成示意图,如图3所示,所述装置包括:
采集单元31,用于采集当前网站的访问量以及数据库负载;
计算单元32,用于根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期;
更新单元33,用于按照所述当前的缓存周期更新所述网站的缓存数据。
本领域技术人员应当理解,图3所示的更新网站数据缓存的装置中的各单元的实现功能可参照前述更新网站数据缓存的方法的相关描述而理解。图3所示的更新网站数据缓存的装置中的各单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
图4为本发明实施例二的更新网站数据缓存的装置的结构组成示意图,如图4所示,所述装置包括:
采集单元41,用于采集当前网站的访问量以及数据库负载;
计算单元42,用于根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期;
更新单元43,用于按照所述当前的缓存周期更新所述网站的缓存数据。
所述装置还包括:
设置单元44,用于根据所述当前网站的访问量,设置以下阈值:最小访问量阈值、最大访问量阈值、最小缓存周期阈值、最大缓存周期阈值。
所述计算单元42,还用于当所述当前网站的访问量大于或等于所述最大访问量阈值时,将所述最大缓存周期阈值设置为所述当前的缓存周期;当所述当前网站的访问量小于或等于所述最小访问量阈值时,将所述最小缓存周期阈值设置为所述当前的缓存周期。
所述设置单元44,还用于当所述当前网站的访问量大于所述最小访问量阈值,且小于所述最大访问量阈值时,为数据库负载设置最优稳定值。
所述计算单元45,还用于以所述当前的数据库负载与所述最优稳定值的差值为依据,根据PID算法计算得到所述当前的缓存周期。
本领域技术人员应当理解,图4所示的更新网站数据缓存的装置中的各单元的实现功能可参照前述更新网站数据缓存的方法的相关描述而理解。图4所示的更新网站数据缓存的装置中的各单元的功能可通过运行于处理器上的程序而实现,也可通过具体的逻辑电路而实现。
图7为本发明实施例的网站系统的框架示意图,如图7所示,该网站系统包括UE71,网站服务器72,数据库73,更新网站数据缓存的装置74,缓存75;其中,
UE71安装有网站客户端(浏览器),UE71与网站服务器72之间进行数据交互时,由UE71中的网站客户端向网站服务器72发送HTTP请求,该HTTP请求用于请求网页中的各个对象,如图片、文本信息等。网站服务器72接收到UE71的HTTP请求时,在首次进行网页访问时,调用数据库73进行网页数据的查询。与此同时,将查询到的网页数据通过更新网站数据缓存的装置74存储至缓存75中。
更新网站数据缓存75的装置74采集当前网站的访问量以及数据库73负载;根据所述当前网站的访问量以及数据库73负载,计算得到当前的缓存75周期;按照所述当前的缓存75周期更新所述网站的缓存75数据。
当第二次或者更多次访问上述网页时,不再调用数据库73进行网页数据的查询,而是通过更新网站数据缓存75的装置74直接在缓存75中读取相应的网站数据,然后将网站数据反馈给UE,进而通过UE的网站客户端显示网页。
本发明实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法和智能设备,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个第二处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种更新网站数据缓存的装置,其特征在于,所述装置包括:
采集单元,用于采集当前网站的访问量以及数据库负载;
计算单元,用于根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期;
更新单元,用于按照所述当前的缓存周期更新所述网站的缓存数据;
其中,所述计算单元,还用于以当前的数据库负载与预先设置的最优稳定值的差值为依据,根据比例-积分-微分PID算法计算得到所述当前的缓存周期;其中,所述最优稳定值是根据所述当前网站的访问量为数据库负载设置的。
2.根据权利要求1所述的更新网站数据缓存的装置,其特征在于,所述装置还包括:
设置单元,用于根据所述当前网站的访问量,设置以下阈值:最小访问量阈值、最大访问量阈值、最小缓存周期阈值、最大缓存周期阈值。
3.根据权利要求2所述的更新网站数据缓存的装置,其特征在于,所述计算单元,还用于当所述当前网站的访问量大于或等于所述最大访问量阈值时,将所述最大缓存周期阈值设置为所述当前的缓存周期;当所述当前网站的访问量小于或等于所述最小访问量阈值时,将所述最小缓存周期阈值设置为所述当前的缓存周期。
4.根据权利要求2所述的更新网站数据缓存的装置,其特征在于,
所述设置单元,还用于当所述当前网站的访问量大于所述最小访问量阈值,且小于所述最大访问量阈值时,为数据库负载设置最优稳定值。
5.一种更新网站数据缓存的方法,其特征在于,所述方法包括:
采集当前网站的访问量以及数据库负载;
根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期;
按照所述当前的缓存周期更新所述网站的缓存数据;
其中,所述根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期,包括:
以当前的数据库负载与预先设置的最优稳定值的差值为依据,根据PID算法计算得到所述当前的缓存周期;其中,所述最优稳定值是根据所述当前网站的访问量为数据库负载设置的。
6.根据权利要求5所述的更新网站数据缓存的方法,其特征在于,所述方法还包括:
根据所述当前网站的访问量,设置以下阈值:最小访问量阈值、最大访问量阈值、最小缓存周期阈值、最大缓存周期阈值。
7.根据权利要求6所述的更新网站数据缓存的方法,其特征在于,所述根据所述当前网站的访问量以及数据库负载,计算得到当前的缓存周期,包括:
当所述当前网站的访问量大于或等于所述最大访问量阈值时,将所述最大缓存周期阈值设置为所述当前的缓存周期;
当所述当前网站的访问量小于或等于所述最小访问量阈值时,将所述最小缓存周期阈值设置为所述当前的缓存周期。
8.根据权利要求6所述的更新网站数据缓存的方法,其特征在于,所述方法还包括:
当所述当前网站的访问量大于所述最小访问量阈值,且小于所述最大访问量阈值时,为数据库负载设置最优稳定值。
CN201510691231.6A 2015-10-22 2015-10-22 一种更新网站数据缓存的装置及方法 Active CN105354258B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510691231.6A CN105354258B (zh) 2015-10-22 2015-10-22 一种更新网站数据缓存的装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510691231.6A CN105354258B (zh) 2015-10-22 2015-10-22 一种更新网站数据缓存的装置及方法

Publications (2)

Publication Number Publication Date
CN105354258A CN105354258A (zh) 2016-02-24
CN105354258B true CN105354258B (zh) 2019-11-15

Family

ID=55330231

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510691231.6A Active CN105354258B (zh) 2015-10-22 2015-10-22 一种更新网站数据缓存的装置及方法

Country Status (1)

Country Link
CN (1) CN105354258B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016008B (zh) * 2016-06-06 2020-06-09 阿里巴巴集团控股有限公司 信息处理方法和装置及动态信息的显示方法和装置
CN105959392A (zh) * 2016-06-14 2016-09-21 乐视控股(北京)有限公司 访问量控制方法及装置
CN106817424B (zh) * 2017-01-23 2019-08-27 杭州云纪网络科技有限公司 用于控制访问流量的方法及系统
CN107798036A (zh) * 2017-04-10 2018-03-13 平安科技(深圳)有限公司 一种计数方法及计数器
CN107451236A (zh) * 2017-07-26 2017-12-08 上海斐讯数据通信技术有限公司 数据缓存方法、装置和计算机处理设备
CN107517262A (zh) * 2017-08-31 2017-12-26 江西博瑞彤芸科技有限公司 业务数据存储方法
CN108134817B (zh) * 2017-11-30 2019-04-05 北京白山耘科技有限公司 一种自动调整缓存时长的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184253A (zh) * 2011-05-30 2011-09-14 北京搜狗科技发展有限公司 对网络资源进行抓取及更新消息推送的方法及系统
CN103310026A (zh) * 2013-07-08 2013-09-18 焦点科技股份有限公司 一种基于搜索引擎的轻量级通用网页主题爬虫方法
CN103618799A (zh) * 2013-12-04 2014-03-05 北京奇虎科技有限公司 浏览器缓存处理方法、系统及代理服务器
CN104133881A (zh) * 2014-07-25 2014-11-05 广东睿江科技有限公司 一种调整文件缓存时间的方法与装置
CN104133880A (zh) * 2014-07-25 2014-11-05 广东睿江科技有限公司 一种设置文件缓存时间的方法与装置
CN104462457A (zh) * 2014-12-16 2015-03-25 云起思源(天津)科技有限公司 一种面向内部搜索引擎的信息更新检测方法
CN104486248A (zh) * 2014-12-04 2015-04-01 南京邮电大学 基于广义pid的随机早期检测算法的aqm系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE512880C2 (sv) * 1998-07-03 2000-05-29 Ericsson Telefon Ab L M Ett cacheservernät

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102184253A (zh) * 2011-05-30 2011-09-14 北京搜狗科技发展有限公司 对网络资源进行抓取及更新消息推送的方法及系统
CN103310026A (zh) * 2013-07-08 2013-09-18 焦点科技股份有限公司 一种基于搜索引擎的轻量级通用网页主题爬虫方法
CN103618799A (zh) * 2013-12-04 2014-03-05 北京奇虎科技有限公司 浏览器缓存处理方法、系统及代理服务器
CN104133881A (zh) * 2014-07-25 2014-11-05 广东睿江科技有限公司 一种调整文件缓存时间的方法与装置
CN104133880A (zh) * 2014-07-25 2014-11-05 广东睿江科技有限公司 一种设置文件缓存时间的方法与装置
CN104486248A (zh) * 2014-12-04 2015-04-01 南京邮电大学 基于广义pid的随机早期检测算法的aqm系统和方法
CN104462457A (zh) * 2014-12-16 2015-03-25 云起思源(天津)科技有限公司 一种面向内部搜索引擎的信息更新检测方法

Also Published As

Publication number Publication date
CN105354258A (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
CN105354258B (zh) 一种更新网站数据缓存的装置及方法
CN110545246B (zh) 一种基于令牌桶的限流方法、装置和计算机可读介质
CN104133880B (zh) 一种设置文件缓存时间的方法与装置
CN102985921B (zh) 在具有电子资源数据库的客户端装置中高速缓存电子文档资源
CN104468807B (zh) 进行网页缓存的处理方法、云端装置、本地装置及系统
WO2017167050A1 (zh) 配置信息生成、发送方法及资源加载方法和装置及系统
US9614925B2 (en) Intelligent file pre-fetch based on access patterns
CN103338272B (zh) 一种内容分发网络及其缓存实现方法
CN109240946A (zh) 数据的多级缓存方法及终端设备
CN105472045A (zh) 数据库迁移的方法和装置
CN106599239A (zh) 网页内容数据获取方法及服务器
CN105550338A (zh) 一种基于HTML5应用缓存的移动Web缓存优化方法
CN102868542B (zh) 一种服务分发网络中服务质量的控制方法及系统
CN106462589A (zh) 动态缓存器分配和网络管理
CN105930528A (zh) 一种网页缓存的方法及服务器
CN109190070A (zh) 一种数据处理方法、装置、系统及应用服务器
US20200320154A1 (en) A webpage loading method, webpage loading system and server
CN110737857A (zh) 一种后端分页加速方法、系统、终端及存储介质
CN102984203B (zh) 基于云计算的提高缓存设备利用率的方法、装置及系统
CN109951566A (zh) 一种Nginx负载均衡方法、装置、设备及可读存储介质
CN111597213A (zh) 一种缓存方法、软件服务器及存储介质
CN105978936A (zh) Cdn服务器及其缓存数据的方法
CN106933817B (zh) 一种基于b/s结构的内容查询方法及设备、系统
CN108780458A (zh) 一种页面缓存处理方法、装置和服务器
CN109388655A (zh) 一种动态控制数据访问的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant