CN104199970A - 网页数据更新处理方法及装置 - Google Patents

网页数据更新处理方法及装置 Download PDF

Info

Publication number
CN104199970A
CN104199970A CN201410487355.8A CN201410487355A CN104199970A CN 104199970 A CN104199970 A CN 104199970A CN 201410487355 A CN201410487355 A CN 201410487355A CN 104199970 A CN104199970 A CN 104199970A
Authority
CN
China
Prior art keywords
renewal
renewal frequency
amount
data
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410487355.8A
Other languages
English (en)
Other versions
CN104199970B (zh
Inventor
张鹏霄
洪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201410487355.8A priority Critical patent/CN104199970B/zh
Publication of CN104199970A publication Critical patent/CN104199970A/zh
Application granted granted Critical
Publication of CN104199970B publication Critical patent/CN104199970B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种网页数据更新处理方法及装置。该网页数据更新处理方法包括:获取第一时间内的数据更新量;获取第一更新频率;获取第一参考数据更新量和第二参考数据更新量;判断第一时间内的数据更新量是否大于第一参考数据更新量;如果第一时间内的数据更新量大于第一参考数据更新量,则将第一更新频率调整为第二更新频率;判断第一时间内的数据更新量是否小于第二参考数据更新量;如果第一时间内的数据更新量小于第二参考数据更新量,则将第一更新频率调整为第三更新频率;基于调整后的更新频率进行网页数据更新。通过本发明,解决了网页数据更新负载大的问题。

Description

网页数据更新处理方法及装置
技术领域
本发明涉及数据处理领域,具体而言,涉及一种网页数据更新处理方法及装置。
背景技术
目前,随着互联网技术的广泛应用,网页前端需要实现对数据的实时更新,而网页数据的更新在不同的时间段需要更新的网页数据量不同。现有技术采用定时刷新网页数据的方式实现网页数据的更新,该定时刷新网页数据方法以轮询的方式读取网页中在某段时间内发生变化的网页数据,然后将获取的发生变化的网页数据显示在页面上,实现刷新页面数据。这种定时刷新网页数据的方法存在以下缺点:
首先,如果网页上的数据没有发生任何改变,采用该定时刷新网页数据的方法同样要定时地发送请求消息,请求某段时间内的发生改变的网页数据,并由服务器回发给客户端发生改变的网页数据,将此发生改变的网页数据显示在页面上。如此会极大地增加服务器和客户端的网络负载。
其次,当网页上的数据没有发生改变时,为了实现发生改变的网页数据在页面上的刷新,服务器和客户端之间需要以固定更新频率频繁地重复进行请求与回发,这样会占用了客户端和服务器的网络带宽,增大客户端和服务器的网络压力。
最后,如果某段时间的发生改变的网页数据量特别大,采用该定时刷新网页数据的方法定时地获取发生改变的网页数据,这将会导致获取发生改变的网页数据速度缓慢,页面更新速度缓慢。
针对相关技术中网页数据更新负载大的问题,目前尚未提出有效的解决方案。
发明内容
本发明的主要目的在于提供一种网页数据更新处理方法及装置,以解决相关技术中网页数据更新负载大的问题。
为了实现上述目的,根据本发明的一个方面,提供了一种网页数据更新处理方法。
根据本发明的网页数据处理方法包括:获取第一时间内的数据更新量;获取第一更新频率,其中,第一更新频率是第一时间内的数据更新频率;获取第一参考数据更新量和第二参考数据更新量,其中,第一参考数据更新量大于第二参考数据更新量;判断第一时间内的数据更新量是否大于第一参考数据更新量;如果第一时间内的数据更新量大于第一参考数据更新量,则将第一更新频率调整为第二更新频率,其中,第二更新频率大于第一更新频率;判断第一时间内的数据更新量是否小于第二参考数据更新量;如果第一时间内的数据更新量小于第二参考数据更新量,则将第一更新频率调整为第三更新频率,其中,第三更新频率小于第一更新频率;以及基于调整后的更新频率进行网页数据更新。
进一步地,在判断第一时间内的数据更新量是否大于第一参考数据更新量和判断第一时间内的数据更新量是否小于第二参考数据更新量之后,该网页数据更新处理方法包括:如果第一时间内的数据更新量小于等于第一参考数据更新量,大于等于第二参考数据更新量,则不对第一更新频率进行调整。
进一步地,如果第一时间内的数据更新量大于第一参考数据更新量,该网页数据更新处理方法还包括:获取预设的更新频率上限值;判断第一更新频率是否大于等于预设的更新频率上限值;如果第一更新频率大于等于预设的更新频率上限值,则不对第一更新频率进行调整。
进一步地,如果第一时间内的数据更新量小于第二参考数据更新量,该网页数据更新处理方法还包括:获取预设的更新频率下限值;判断第一更新频率是否小于等于预设的更新频率下限值;如果第一更新频率小于等于预设的更新频率下限值,则不对第一更新频率进行调整。
进一步地,基于调整后的更新频率进行网页数据更新包括:客户端接收通知消息,其中,通知消息为服务端监测到有更新频率变化时向客户端发送的消息;客户端接收到通知消息后,以调整后的更新频率向服务端发送请求消息,其中,请求消息用于请求网页更新数据;客户端接收由服务端发送的网页更新数据;以及客户端以调整后的更新频率更新网页上的数据。
为了实现上述目的,根据本发明的另一方面,提供了一种网页数据更新处理装置。根据本发明网页数据更新处理装置包括:第一获取模块,用于获取第一时间内的数据更新量;第二获取模块,用于获取第一更新频率,其中,第一更新频率是第一时间内的数据更新频率;第三获取模块,用于获取第一参考数据更新量和第二参考数据更新量,其中,第一参考数据更新量大于第二参考数据更新量;第一判断模块,用于判断第一时间内的数据更新量是否大于第一参考数据更新量;第一调整模块,用于第一判断模块判断出第一时间内的数据更新量大于第一参考数据更新量,将第一更新频率调整为第二更新频率,其中,第二更新频率大于第一更新频率;第二判断模块,用于判断第一时间内的数据更新量是否小于第二参考数据更新量;第二调整模块,用于第二判断模块判断出第一时间内的数据更新量小于第二参考数据更新量,将第一更新频率调整为第三更新频率,其中,第三更新频率小于第一更新频率;以及更新模块,用于基于调整后的更新频率进行网页数据更新。
进一步地,该网页数据更新处理装置还包括:第三调整模块,用于当第一时间内的数据更新量小于等于第一参考数据更新量,大于等于第二参考数据更新量时,不对第一更新频率进行调整。
进一步地,该网页数据更新处理装置还包括:第四获取模块,用于获取预设的更新频率上限值;第三判断模块,用于判断第一更新频率是否大于等于预设的更新频率上限值;第四调整模块,用于第三判断模块判断出第一更新频率大于等于预设的更新频率上限值,不对第一更新频率进行调整。
进一步地,该网页数据更新处理装置还包括:第五获取模块,用于获取预设的更新频率下限值;第四判断模块,用于判断第一更新频率是否小于等于预设的更新频率下限值;第五调整模块,用于第四判断模块判断出第一更新频率小于等于预设的更新频率下限值,不对第一更新频率进行调整。
进一步地,该网页数据更新处理装置更新模块包括:第一接收模块,用于客户端接收通知消息,其中,通知消息为服务端监测到有更新频率变化时向客户端发送的消息;发送模块,用于客户端接收到通知消息后,以调整后的更新频率向服务端发送请求消息,其中,请求消息用于请求网页更新数据;第二接收模块,用于客户端接收由服务端发送的网页更新数据;以及更新子模块,用于客户端以调整后的更新频率更新网页上的数据。
通过本发明网页数据更新处理方法及装置,采用获取第一时间内的数据更新量;获取第一更新频率,其中,第一更新频率是第一时间内的数据更新频率;获取第一参考数据更新量和第二参考数据更新量,其中,第一参考数据更新量大于第二参考数据更新量;判断第一时间内的数据更新量是否大于第一参考数据更新量;如果第一时间内的数据更新量大于第一参考数据更新量,则将第一更新频率调整为第二更新频率,其中,第二更新频率大于第一更新频率;判断第一时间内的数据更新量是否小于第二参考数据更新量;如果第一时间内的数据更新量小于第二参考数据更新量,则将第一更新频率调整为第三更新频率,其中,第三更新频率小于第一更新频率;以及基于调整后的更新频率进行网页数据更新,解决了相关技术中网页数据更新负载大的问题,进而合理利用了计算机的性能和网络带宽,避免了服务器在数据更新量过大时响应缓慢的问题,减少了服务器在数据更新量过大时存在的负载压力,同时减小了数据更新量过低时服务器的负载和使用带宽。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明的网页数据更新处理方法的第一实施例的流程图;
图2是根据本发明的网页数据更新处理方法的第二实施例的流程图;
图3是根据本发明的网页数据更新处理装置的第一实施例的示意图;以及
图4是根据本发明的网页数据更新处理装置的第二实施例的示意图;
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
图1是根据本发明网页数据更新处理方法的第一实施例的流程图。如图1所示,该网页数据更新处理方法包括如下的步骤S101至步骤S107:
步骤S101,获取第一时间内的数据更新量。
步骤S102,获取第一更新频率,其中,第一更新频率是第一时间内的数据更新频率。
本发明假设第一时间内的数据更新量为第一数值,则网页将以第一更新频率刷新页面数据,其中,第一更新频率为第一时间的倒数。
步骤S103,获取第一参考数据更新量和第二参考数据更新量,其中,第一参考数据更新量大于第二参考数据更新量。
获取网页数据更新量的参考数据更新量,目的是为了根据第一时间内的数据更新量来动态地调整网页数据更新频率。网页数据更新频率通过第一时间时间内的数据更新量与参考数据更新量的比较结果进行响应的调整。
步骤S104,判断第一时间内的数据更新量是否大于第一参考数据更新量。
步骤S105,如果第一时间内的数据更新量大于第一参考数据更新量,则将第一更新频率调整为第二更新频率,其中,第二更新频率大于第一更新频率。
在某段时间内,如果网页数据更新量变大,为了避免数据量变大导致的服务器负载增大,网页数据更新缓慢等现象,需要及时的调整网页数据更新频率,使网页数据更新频率相应地变大,网页数据刷新速度加快,保证了网页数据的实时性和有效性。在本发明第一实施例中,通过将第一时间内的数据更新量与第一参考数据更新量进行比较来决定第一更新频率是否应该相应地增大,如果第一时间内的数据更新量大于第一参考数据更新量,则将第一更新频率调高,将其调整为第二更新频率,其中第二更新频率大于第一更新频率。
步骤S106,判断第一时间内的数据更新量是否小于第二参考数据更新量。
步骤S107,如果第一时间内的数据更新量小于第二参考数据更新量,则将第一更新频率调整为第三更新频率,其中,第三更新频率小于第一更新频率。
在某段时间内,如果网页数据更新量降低,服务器还按照原来的网页数据更新频率定时地去发送请求网页更新数据,并进行网页数据的刷新,将会极大地增加服务器的负载,而且服务器和客户端之间的频繁的请求与响应占用了服务器和客户端的网络带宽。基于此,如果某段时间内网页数据更新量减小应该相应地调整网页数据更新频率,使网页数据更新频率也减小。在本发明第一实施例中,通过将第一时间内的数据更新量与第二参考数据更新量进行比较来决定第一更新频率是否应该相应地减小,如果第一时间内的数据更新量小于第二参考数据更新量,则将第一更新频率调低,将其调整为第三更新频率,其中第三更新频率小于第一更新频率。
步骤S108,如果第一时间内的数据更新量小于等于第一参考数据更新量,大于等于第二参考数据更新量,则不对第一更新频率进行调整。
如果在第一时间内的数据更新量的变化范围在第一参考数据更新量与第二参考数据更新量之间,则证明第一时间内的数据更新量与上一时刻的数据更新量相差不大,如果以上一时刻的网页数据更新频率进行网页数据的更新不会对服务器负载产生影响。所以,当第一时间内的数据更新量小于等于第一参考数据更新量,且大于等于第二参考数据更新量时,则不对第一更新频率进行调整。
步骤S109,基于调整后的更新频率进行网页数据更新。
网页数据更新频率进行动态地调整之后,服务器将会告知客户端调整后的更新频率,客户端收到调整后的更新频率之后,按照此调整后的更新频率进行网页数据的刷新,将第一时间内的发生变化的网页数据显示在网页上。
根据本发明第一实施例,如果第一时间内的数据更新量大于第一参考数据更新量,该网页数据更新处理方法还包括:获取预设的更新频率上限值;判断第一更新频率是否大于等于预设的更新频率上限值;如果第一更新频率大于等于预设的更新频率上限值,则不对第一更新频率进行调整。
当网页数据更新频率增大时,本发明网页数据更新处理方法预设网页数据更新频率上限值,此更新频率上限值用来限定网页数据的新频率,使其不能无限地增大。网页数据更新频率的无限增大将会导致服务器和客户端的负载极具增大,并且占用大量的网络带宽,给服务器和客户端造成了巨大的压力。本发明第一实施例中为了避免上述现象,预先设置了更新频率上限值,当第一更新频率大于等于预设的更新频率上限值时,则不对第一更新频率进行调整,使其维持在上一时刻的更新频率。
根据本发明第一实施例,如果第一时间内的数据更新量小于第二参考数据更新量,该网页数据更新处理方法还包括:获取预设的更新频率下限值;判断第一更新频率是否小于等于预设的更新频率下限值;如果第一更新频率小于等于预设的更新频率下限值,则不对第一更新频率进行调整。
当网页数据更新频率减小时,本发明网页数据更新处理方法预设网页数据更新频率下限值,此更新频率下限值用来限定网页数据的新频率,使其不能无限地减小。网页数据更新频率的无限减小在客户端处表现为网页数据几乎不进行数据更新,无法保证网页数据的实时性及有效性,严重影响了用户体验。本发明第一实施例中为了避免上述现象,预先设置了更新频率下限值,当第一更新频率小于等于预设的更新频率下限值时,则不对第一更新频率进行调整,使其维持在上一时刻的更新频率。
本发明实施例的网页数据更新处理方法采用获取第一时间内的数据更新量;获取第一更新频率,其中,第一更新频率是第一时间内的数据更新频率;获取第一参考数据更新量和第二参考数据更新量,其中,第一参考数据更新量大于第二参考数据更新量;判断第一时间内的数据更新量是否大于第一参考数据更新量;如果第一时间内的数据更新量大于第一参考数据更新量,则将第一更新频率调整为第二更新频率,其中,第二更新频率大于第一更新频率;判断第一时间内的数据更新量是否小于第二参考数据更新量;如果第一时间内的数据更新量小于第二参考数据更新量,则将第一更新频率调整为第三更新频率,其中,第三更新频率小于第一更新频率;以及基于调整后的更新频率进行网页数据更新,解决了网页数据更新负载大的问题,充分利用了计算机的性能和网络带宽,缓解了服务器在数据更新量过大时存在的响应缓慢的问题,同时减小了在数据更新量过小时服务器的负载和使用带宽,改善了用户体验。
图2是根据本发明的网页数据更新处理方法的第二实施例的流程图。如图2所示,该网页数据更新处理方法包括如下的步骤S201至步骤S207:
步骤S201,获取第一时间内的数据更新量。
该步骤同上述步骤S101。
步骤S202,获取第一更新频率,其中,第一更新频率是第一时间内的数据更新频率。
该步骤同上述步骤S102。
步骤S203,获取第一参考数据更新量和第二参考数据更新量,其中,第一参考数据更新量大于第二参考数据更新量。
该步骤同上述步骤S103。
步骤S204,判断第一时间内的数据更新量是否大于第一参考数据更新量;如果第一时间内的数据更新量大于第一参考数据更新量,则将第一更新频率调整为第二更新频率,其中,第二更新频率大于第一更新频率。
该步骤同上述步骤S104。
步骤S205,如果第一时间内的数据更新量大于第一参考数据更新量,则将第一更新频率调整为第二更新频率,其中,第二更新频率大于第一更新频率。
该步骤同上述步骤S105。
步骤S206,判断第一时间内的数据更新量是否小于第二参考数据更新量。
该步骤同上述步骤S106。
步骤S207,如果第一时间内的数据更新量小于第二参考数据更新量,则将第一更新频率调整为第三更新频率,其中,第三更新频率小于第一更新频率。
该步骤同上述步骤S107。
步骤S208,如果第一时间内的数据更新量小于等于第一参考数据更新量,大于等于第二参考数据更新量,则不对第一更新频率进行调整。
该步骤同上述步骤S108。
步骤S209,客户端接收通知消息,其中,通知消息为服务端监测到有更新频率变化时向客户端发送的消息。
当服务器端监测到某段时间内的网页数据更新频率符合调整的条件时,服务端会对网页数据更新频率进行相应地调整,此调整可以是增大,减小或者不变。服务器完成对网页数据更新频率的动态调整之后,将调整后的网页数据更新频率以消息的形式通知给客户端,告知客户端网页数据更新频率发生了变化。
步骤S210,客户端接收到通知消息后,以调整后的更新频率向服务端发送请求消息,其中,请求消息用于请求网页更新数据。
客户端收到由服务器端发送的通知消息之后,获取了调整后的网页数据更新频率,并根据调整后的更新频率向服务端发送请求消息,该请求消息用于请求该时间段内发生变化的网页数据。
步骤S211,客户端接收由服务端发送的网页更新数据。
服务端收到由客户端发送的请求消息之后,将客户端请求的该段时间内发生变化的数据进行整理,将整理后的网页数据发送给客户端。
步骤S212,客户端以调整后的更新频率更新网页上的数据。
客户端收到由服务端发送的整理后的网页数据之后,按照调整后的更新频率将收到的整理后的网页数据显示在客户端网页上。
本发明实施例的网页数据更新处理方法采用获取第一更新频率,其中,第一更新频率是第一时间内的数据更新频率;获取第一参考数据更新量和第二参考数据更新量,其中,第一参考数据更新量大于第二参考数据更新量;判断第一时间内的数据更新量是否大于第一参考数据更新量;如果第一时间内的数据更新量大于第一参考数据更新量,则将第一更新频率调整为第二更新频率,其中,第二更新频率大于第一更新频率;判断第一时间内的数据更新量是否小于第二参考数据更新量;如果第一时间内的数据更新量小于第二参考数据更新量,则将第一更新频率调整为第三更新频率,其中,第三更新频率小于第一更新频率;客户端接收通知消息;客户端接收到通知消息后,以调整后的更新频率向服务端发送请求消息;客户端接收由服务端发送的网页更新数据;客户端以调整后的更新频率更新网页上的数据,解决了网页数据更新负载大的问题,调整了服务器的负载均衡,避免了服务器瞬间处理数据量过大的问题,减轻了服务器在数据更新量过大时存在的负载压力,同时减轻了数据更新量过低时服务端和客户端的网络带宽压力,减缓了网络拥挤。
从以上的描述中,可以看出,本发明实施例的网页数据更新处理方法,按照不同时刻的网页数据更新量动态地调整页面数据更新频率,解决了网页数据更新负载大的问题,调整了服务器的负载均衡,减轻了客户端的网络压力,同时也避免了服务器在数据更新量过大时存在的响应缓慢的现象,同时减轻了服务器和客户端的负载以及占用带宽。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例还提供了一种网页数据更新处理装置。需要说明的是,该网页数据更新处理装置可以用于执行本发明实施例的网页数据更新处理方法。
图3是根据本发明网页数据更新处理装置的第一实施例的示意图。如图3所示,该网页数据更新处理装置包括:第一获取模块10,第二获取模块20,第三获取模块30,第一判断模块40,第一调整模块50,第二判断模块60,第二调整模块70和更新模块80。
第一获取模块10,用于获取第一时间内的数据更新量。
第二获取模块20,用于获取第一更新频率,其中,第一更新频率是第一时间内的数据更新频率。
第三获取模块30,用于获取第一参考数据更新量和第二参考数据更新量,其中,第一参考数据更新量大于第二参考数据更新量。
第一判断模块40,用于判断第一时间内的数据更新量是否大于第一参考数据更新量。
第一调整模块50,用于第一判断模块判断出第一时间内的数据更新量大于第一参考数据更新量,将第一更新频率调整为第二更新频率,其中,第二更新频率大于第一更新频率。
第二判断模块60,用于判断第一时间内的数据更新量是否小于第二参考数据更新量。
第二调整模块70,用于第二判断模块判断出第一时间内的数据更新量小于第二参考数据更新量,将第一更新频率调整为第三更新频率,其中,第三更新频率小于第一更新频率。
更新模块80,用于基于调整后的更新频率进行网页数据更新。
本发明网页数据更新处理装置还包括:第三调整模块90,用于当第一时间内的数据更新量小于等于第一参考数据更新量,大于等于第二参考数据更新量时,不对第一更新频率进行调整。
优选地,根据本发明网页数据更新处理装置第一实施例,该装置还包括:第四获取模块,用于获取预设的更新频率上限值;第三判断模块,用于判断第一更新频率是否大于等于预设的更新频率上限值;第四调整模块,用于第三判断模块判断出第一更新频率大于等于预设的更新频率上限值,不对第一更新频率进行调整。
优选地,根据本发明网页数据更新处理装置第一实施例,该装置还包括:第五获取模块,用于获取预设的更新频率下限值;第四判断模块,用于判断第一更新频率是否小于等于预设的更新频率下限值;第五调整模块,用于第四判断模块判断出第一更新频率小于等于预设的更新频率下限值,不对第一更新频率进行调整。
本发明的网页数据更新处理装置的第一实施例中设置第四获取模块,第三判断模块,第四调整模块以及第五获取模块,第四判断模块,第五调整模块,有效地防止了网页数据更新频率无止境地增大或者减小,避免了网页数据更新频率无止境的增大导致的服务端网络负载和带宽增大的问题,同时也解决了网页数据更新频率无止境的减小导致的网页数据不能及时更新,严重影响用户体验的问题。
图4是根据本发明的网页数据更新处理装置的第二实施例的示意图。如图4所示,该网页数据更新处理装置包括:第一获取模块10,第二获取模块20,第三获取模块30,第一判断模块40,第一调整模块50,第二判断模块60,第二调整模块70和更新模块80。其中,更新模块80具体包括:第一接收模块801,发送模块802,第二接收模块803和更新子模块804。
第一接收模块801,用于客户端接收通知消息,其中,通知消息为服务端监测到有更新频率变化时向客户端发送的消息。
发送模块802,用于客户端接收到通知消息后,以调整后的更新频率向服务端发送请求消息,其中,请求消息用于请求网页更新数据。
第二接收模块803,用于客户端接收由服务端发送的网页更新数据。
更新子模块804,用于客户端以调整后的更新频率更新网页上的数据。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种网页数据更新处理方法,其特征在于,包括:
获取第一时间内的数据更新量;
获取第一更新频率,其中,所述第一更新频率是所述第一时间内的数据更新频率;
获取第一参考数据更新量和第二参考数据更新量,其中,所述第一参考数据更新量大于所述第二参考数据更新量;
判断所述第一时间内的数据更新量是否大于所述第一参考数据更新量;
如果所述第一时间内的数据更新量大于所述第一参考数据更新量,则将所述第一更新频率调整为第二更新频率,其中,所述第二更新频率大于所述第一更新频率;
判断所述第一时间内的数据更新量是否小于所述第二参考数据更新量;
如果所述第一时间内的数据更新量小于所述第二参考数据更新量,则将所述第一更新频率调整为第三更新频率,其中,所述第三更新频率小于所述第一更新频率;以及
基于调整后的更新频率进行网页数据更新。
2.根据权利要求1所述的网页数据更新处理方法,其特征在于,在判断所述第一时间内的数据更新量是否大于所述第一参考数据更新量和判断所述第一时间内的数据更新量是否小于所述第二参考数据更新量之后,所述方法还包括:
如果所述第一时间内的数据更新量小于等于所述第一参考数据更新量,大于等于所述第二参考数据更新量,则不对所述第一更新频率进行调整。
3.根据权利要求1所述的网页数据更新处理方法,其特征在于,如果所述第一时间内的数据更新量大于所述第一参考数据更新量,所述方法还包括:
获取预设的更新频率上限值;
判断所述第一更新频率是否大于等于所述预设的更新频率上限值;
如果所述第一更新频率大于等于所述预设的更新频率上限值,则不对所述第一更新频率进行调整。
4.根据权利要求1所述的网页数据更新处理方法,其特征在于,如果所述第一时间内的数据更新量小于所述第二参考数据更新量,所述方法还包括:
获取预设的更新频率下限值;
判断所述第一更新频率是否小于等于所述预设的更新频率下限值;
如果所述第一更新频率小于等于所述预设的更新频率下限值,则不对所述第一更新频率进行调整。
5.根据权利要求1所述的网页数据更新处理方法,其特征在于,基于调整后的更新频率进行网页数据更新包括:
客户端接收通知消息,其中,所述通知消息为服务端监测到有所述更新频率变化时向所述客户端发送的消息;
所述客户端接收到所述通知消息后,以所述调整后的更新频率向所述服务端发送请求消息,其中,所述请求消息用于请求网页更新数据;
所述客户端接收由所述服务端发送的所述网页更新数据;以及
所述客户端以所述调整后的更新频率更新网页上的数据。
6.一种网页数据更新处理装置,其特征在于,包括:
第一获取模块,用于获取第一时间内的数据更新量;
第二获取模块,用于获取第一更新频率,其中,所述第一更新频率是所述第一时间内的数据更新频率;
第三获取模块,用于获取第一参考数据更新量和第二参考数据更新量,其中,所述第一参考数据更新量大于所述第二参考数据更新量;
第一判断模块,用于判断所述第一时间内的数据更新量是否大于所述第一参考数据更新量;
第一调整模块,用于所述第一判断模块判断出所述第一时间内的数据更新量大于所述第一参考数据更新量,将所述第一更新频率调整为第二更新频率,其中,所述第二更新频率大于所述第一更新频率;
第二判断模块,用于判断所述第一时间内的数据更新量是否小于所述第二参考数据更新量;
第二调整模块,用于所述第二判断模块判断出所述第一时间内的数据更新量小于所述第二参考数据更新量,将所述第一更新频率调整为第三更新频率,其中,所述第三更新频率小于所述第一更新频率;以及
更新模块,用于基于调整后的更新频率进行网页数据更新。
7.根据权利要求6所述的网页数据更新处理装置,其特征在于,所述装置还包括:
第三调整模块,用于当所述第一时间内的数据更新量小于等于所述第一参考数据更新量,大于等于所述第二参考数据更新量时,不对所述第一更新频率进行调整。
8.根据权利要求6所述的网页数据更新处理装置,其特征在于,所述装置还包括:
第四获取模块,用于获取预设的更新频率上限值;
第三判断模块,用于判断所述第一更新频率是否大于等于所述预设的更新频率上限值;
第四调整模块,用于所述第三判断模块判断出所述第一更新频率大于等于所述预设的更新频率上限值,不对所述第一更新频率进行调整。
9.根据权利要求6所述的网页数据更新处理装置,其特征在于,所述装置还包括:
第五获取模块,用于获取预设的更新频率下限值;
第四判断模块,用于判断所述第一更新频率是否小于等于所述预设的更新频率下限值;
第五调整模块,用于所述第四判断模块判断出所述第一更新频率小于等于所述预设的更新频率下限值,不对所述第一更新频率进行调整。
10.根据权利要求6所述的网页数据更新处理装置,其特征在于,所述更新模块包括:
第一接收模块,用于客户端接收通知消息,其中,所述通知消息为服务端监测到有所述更新频率变化时向所述客户端发送的消息;
发送模块,用于所述客户端接收到所述通知消息后,以所述调整后的更新频率向所述服务端发送请求消息,其中,所述请求消息用于请求网页更新数据;
第二接收模块,用于所述客户端接收由所述服务端发送的所述网页更新数据;以及
更新子模块,用于所述客户端以所述调整后的更新频率更新网页上的数据。
CN201410487355.8A 2014-09-22 2014-09-22 网页数据更新处理方法及装置 Active CN104199970B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410487355.8A CN104199970B (zh) 2014-09-22 2014-09-22 网页数据更新处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410487355.8A CN104199970B (zh) 2014-09-22 2014-09-22 网页数据更新处理方法及装置

Publications (2)

Publication Number Publication Date
CN104199970A true CN104199970A (zh) 2014-12-10
CN104199970B CN104199970B (zh) 2017-11-14

Family

ID=52085263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410487355.8A Active CN104199970B (zh) 2014-09-22 2014-09-22 网页数据更新处理方法及装置

Country Status (1)

Country Link
CN (1) CN104199970B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989502A (zh) * 2015-02-04 2016-10-05 阿里巴巴集团控股有限公司 一种数据处理方法、装置及系统
CN106657345A (zh) * 2016-12-28 2017-05-10 深圳天珑无线科技有限公司 服务器访问方法、装置及终端
CN108241693A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 同步数据的方法和装置
CN108282501A (zh) * 2017-01-05 2018-07-13 阿里巴巴集团控股有限公司 一种云服务器资源信息同步方法、装置和系统
CN109902281A (zh) * 2019-01-24 2019-06-18 中国平安人寿保险股份有限公司 信息录入管理方法、装置、计算机装置及可读存储介质
CN111522565A (zh) * 2020-04-21 2020-08-11 北京邮电大学 基于组件化的实时更新数据可视化大屏方法及系统
CN112783907A (zh) * 2020-12-31 2021-05-11 深圳云天励飞技术股份有限公司 数据更新方法、应用端数据更新方法及相关产品
CN112783907B (zh) * 2020-12-31 2024-06-07 深圳云天励飞技术股份有限公司 数据更新方法、应用端数据更新方法及相关产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050108200A1 (en) * 2001-07-04 2005-05-19 Frank Meik Category based, extensible and interactive system for document retrieval
CN1945576A (zh) * 2006-10-31 2007-04-11 上海态格文化传播有限公司 自适应网页更新时间预测方法
CN103324670A (zh) * 2013-05-21 2013-09-25 华中科技大学 一种页面内容更新消息的推送方法和系统
CN104050236A (zh) * 2014-05-23 2014-09-17 小米科技有限责任公司 网站内容更新提示方法、服务器和客户端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050108200A1 (en) * 2001-07-04 2005-05-19 Frank Meik Category based, extensible and interactive system for document retrieval
CN1945576A (zh) * 2006-10-31 2007-04-11 上海态格文化传播有限公司 自适应网页更新时间预测方法
CN103324670A (zh) * 2013-05-21 2013-09-25 华中科技大学 一种页面内容更新消息的推送方法和系统
CN104050236A (zh) * 2014-05-23 2014-09-17 小米科技有限责任公司 网站内容更新提示方法、服务器和客户端

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孙立伟等: "网络爬虫技术的研究", 《电脑知识与技术》 *
杨华: "网络信息动态采集策略的研究及应用", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989502A (zh) * 2015-02-04 2016-10-05 阿里巴巴集团控股有限公司 一种数据处理方法、装置及系统
CN105989502B (zh) * 2015-02-04 2019-10-11 菜鸟智能物流控股有限公司 一种数据处理方法、装置及系统
CN108241693A (zh) * 2016-12-26 2018-07-03 北京国双科技有限公司 同步数据的方法和装置
CN108241693B (zh) * 2016-12-26 2020-10-27 北京国双科技有限公司 同步数据的方法和装置
CN106657345A (zh) * 2016-12-28 2017-05-10 深圳天珑无线科技有限公司 服务器访问方法、装置及终端
CN108282501A (zh) * 2017-01-05 2018-07-13 阿里巴巴集团控股有限公司 一种云服务器资源信息同步方法、装置和系统
CN108282501B (zh) * 2017-01-05 2021-03-09 阿里巴巴集团控股有限公司 一种云服务器资源信息同步方法、装置和系统
CN109902281A (zh) * 2019-01-24 2019-06-18 中国平安人寿保险股份有限公司 信息录入管理方法、装置、计算机装置及可读存储介质
CN111522565A (zh) * 2020-04-21 2020-08-11 北京邮电大学 基于组件化的实时更新数据可视化大屏方法及系统
CN112783907A (zh) * 2020-12-31 2021-05-11 深圳云天励飞技术股份有限公司 数据更新方法、应用端数据更新方法及相关产品
CN112783907B (zh) * 2020-12-31 2024-06-07 深圳云天励飞技术股份有限公司 数据更新方法、应用端数据更新方法及相关产品

Also Published As

Publication number Publication date
CN104199970B (zh) 2017-11-14

Similar Documents

Publication Publication Date Title
CN104199970A (zh) 网页数据更新处理方法及装置
US10455013B2 (en) Peer-to-peer upload scheduling
CN109684358B (zh) 数据查询的方法和装置
US9060292B2 (en) Systems and methods for predictive downloading in congested networks
US11032210B2 (en) Software load balancer to maximize utilization
CN104580393B (zh) 用于服务器集群系统的扩容方法、装置及服务器集群系统
CN105095055B (zh) 用户活跃度统计方法及系统
CN110545246A (zh) 一种基于令牌桶的限流方法和装置
US20130117438A1 (en) Methods for adapting application services based on current server usage and devices thereof
CN106997351B (zh) 一种资源缓存管理方法及系统和装置
WO2015058546A1 (zh) 网页预加载方法及装置
CN105874773B (zh) 任务处理装置、智能设备、任务处理方法及基带处理器
CN105354258B (zh) 一种更新网站数据缓存的装置及方法
US20200287990A1 (en) Information packet download method for preventing high concurrency, electronic device and storage medium
CN102984203B (zh) 基于云计算的提高缓存设备利用率的方法、装置及系统
CN105871590A (zh) 客户端数据更新方法、客户端和服务器
CN109428926B (zh) 一种调度任务节点的方法和装置
CN110401731B (zh) 用于分配内容分发节点的方法和装置
US10650025B2 (en) Method and apparatus for checking and updating data on a client terminal
CN106612329B (zh) 一种缓存方法及装置
KR101272077B1 (ko) 망 부하 감소를 위한 푸시 서비스 제공 시스템 및 방법
CN108108400B (zh) 一种api基于本地数据增量的方法
CN103491393A (zh) 一种视频业务处理方法及设备
CN103051722A (zh) 一种确定页面是否被劫持的方法及相关设备
KR101251630B1 (ko) 푸쉬 서비스 제공 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Webpage data update processing method and device

Effective date of registration: 20190531

Granted publication date: 20171114

Pledgee: Shenzhen Black Horse World Investment Consulting Co., Ltd.

Pledgor: Beijing Guoshuang Technology Co.,Ltd.

Registration number: 2019990000503

CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Patentee after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Beijing city Haidian District Shuangyushu Area No. 76 Zhichun Road cuigongfandian 8 layer A

Patentee before: Beijing Guoshuang Technology Co.,Ltd.