CN110995811B - 一种数据更新方法及装置 - Google Patents

一种数据更新方法及装置 Download PDF

Info

Publication number
CN110995811B
CN110995811B CN201911168085.3A CN201911168085A CN110995811B CN 110995811 B CN110995811 B CN 110995811B CN 201911168085 A CN201911168085 A CN 201911168085A CN 110995811 B CN110995811 B CN 110995811B
Authority
CN
China
Prior art keywords
user
request message
data
cache
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911168085.3A
Other languages
English (en)
Other versions
CN110995811A (zh
Inventor
张强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911168085.3A priority Critical patent/CN110995811B/zh
Publication of CN110995811A publication Critical patent/CN110995811A/zh
Application granted granted Critical
Publication of CN110995811B publication Critical patent/CN110995811B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5682Policies or rules for updating, deleting or replacing the stored data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/566Grouping or aggregating service requests, e.g. for unified processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5681Pre-fetching or pre-delivering data based on network characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5683Storage of data provided by user terminals, i.e. reverse caching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种数据更新方法及装置,应用于缓存服务器,所述缓存服务器与第三方服务器通信,所述方法包括:接收客户端发送的当前请求消息;响应所述当前请求消息,将所述缓存服务器的数据库中,与所述当前请求消息包含的用户标识匹配的缓存数据发送至所述客户端;根据所述当前请求消息,从第三方服务器获取与所述当前请求消息包含的用户标识匹配的用户数据;采用所述用户数据更新所述缓存服务器的数据库中的缓存数据。通过每次接收请求时触发更新缓存数据,从而提供毫秒级的补偿机制及时同步用户的更新操作。

Description

一种数据更新方法及装置
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据更新方法,以及一 种数据更新装置。
背景技术
目前,随着互联网技术的发展,网络逐渐成为人们获取信息的重要来源, 特别是在互联网进入Web2.0时代后,用户既是网站内容的浏览者,也是网 站内容的制造者。用户参与创造的内容被称为UGC(User Generated Content, 用户生成内容),如用户发表的日志、照片和视频等。在Web2.0时代,由于 UGC的大量涌现,网络信息量呈几何级快速增长,形成一个多、广、专的 局面,对人类知识的积累和传播起到了一个非常大的作用。
目前,主要通过在UGC查询系统中添加缓存机制来提高UGC查询系统 的响应速度。然而,由于UGC查询入口的活跃用户较少、流量较低,如果 通过单纯的增加缓存机制,并定时更新缓存数据,在缓存命中上并不是很理 想,且缓存延迟不适合UGC查询操作;推动代理接口优化的难度也比较 大。
发明内容
本发明实施例的目的在于提供一种数据更新方法,以及相应的一种数 据更新装置,以实现缓存数据的更新。具体技术方案如下:
在本发明实施例的第一方面,提供了一种应用于缓存服务器,所述缓存 服务器与第三方服务器通信,所述方法包括:
接收客户端发送的当前请求消息;
响应所述当前请求消息,将所述缓存服务器的数据库中,与所述当前请 求消息包含的用户标识匹配的缓存数据发送至所述客户端;
根据所述当前请求消息,从第三方服务器获取与所述当前请求消息包含 的用户标识匹配的用户数据;
采用所述用户数据更新所述缓存服务器的数据库中的缓存数据。
可选的,所述方法还包括:
统计在先接收到的所有客户端发送历史请求消息的频次;
按照预设规则确定每一客户端发送历史请求消息的频次所处的频次层 级;
剔除所述频次层级中频次较低的层级中的用户,生成所述热点用户列 表;
依据所述热点用户列表,从第三方服务器获取与所述历史请求消息包含 的用户标识匹配的用户数据。
可选的,所述热点用户列表中不同频次层级对应不同的更新时间间隔, 且高频次层级比低频次层级的更新时间间隔短;
其中,所述依据所述热点用户列表,从第三方服务器获取与所述历史请 求消息包含的用户标识匹配的用户数据,包括:
根据所述历史请求消息包含的用户标识,从所述热点用户列表中确定目 标频次层级;
确定与所述目标频次层级对应的目标更新时间间隔;
根据所述目标更新时间间隔,从第三方服务器获取与所述历史请求消息 包含的用户标识匹配的用户数据。
可选的,所述根据所述目标更新时间间隔,从第三方服务器获取与所述 历史请求消息包含的用户标识匹配的用户数据,包括:
获取所述缓存数据库中与所述历史请求消息包含的用户标识匹配的缓 存数据的更新时间,以及获取服务器当前时间;
计算所述缓存数据的更新时间与所述服务器当前时间之间的间隔值;
当所述间隔值大于或等于所述更新时间间隔时,从第三方服务器获取与 所述历史请求消息包含的用户标识匹配的用户数据。
在本发明实施例的第二方面,提供了一种数据更新装置,应用于缓存服 务器,所述缓存服务器与第三方服务器通信,所述装置包括:
请求接收模块,用于接收客户端发送的当前请求消息;
数据发送模块,用于响应所述当前请求消息,将所述缓存服务器的数据 库中,与所述当前请求消息包含的用户标识匹配的缓存数据发送至所述客户 端;
第一数据获取模块,用于根据所述当前请求消息,从第三方服务器获取 与所述当前请求消息包含的用户标识匹配的用户数据;
数据更新模块,用于采用所述用户数据更新所述缓存服务器的数据库中 的缓存数据。
可选的,所述装置还包括:
频次统计模块,用于统计在先接收到的所有客户端发送历史请求消息的 频次;
频次层级确定模块,用于按照预设规则确定每一客户端发送历史请求消 息的频次所处的频次层级;
热点用户列表生成模块,用于剔除所述频次层级中频次较低的层级中的 用户,生成所述热点用户列表;
第二数据获取模块,用于依据所述热点用户列表,从第三方服务器获取 与所述历史请求消息包含的用户标识匹配的用户数据。
可选的,所述热点用户列表中不同频次层级对应不同的更新时间间隔, 且高频次层级比低频次层级的更新时间间隔短;
其中,所述第二数据获取模块,包括:
目标频次层级确定子模块,用于根据所述历史请求消息包含的用户标 识,从所述热点用户列表中确定目标频次层级;
目标更新时间间隔确定子模块,用于确定与所述目标频次层级对应的目 标更新时间间隔;
数据获取子模块,用于根据所述目标更新时间间隔,从第三方服务器获 取与所述历史请求消息包含的用户标识匹配的用户数据。
可选的,所述数据获取子模块,包括:
时间获取单元,用于获取所述缓存数据库中与所述历史请求消息包含的 用户标识匹配的缓存数据的更新时间,以及获取服务器当前时间;
间隔值计算单元,用于计算所述缓存数据的更新时间与所述服务器当前 时间之间的间隔值;
数据获取单元,用于当所述间隔值大于或等于所述更新时间间隔时,从 第三方服务器获取与所述历史请求消息包含的用户标识匹配的用户数据。
在本发明实施例的第三方面,提供了一种电子设备,包括处理器、通信 接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线 完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现如本发明实施例所述 的方法步骤。
在本发明实施例的第四方面,提供了一种计算机可读存储介质,其上存 储有计算机程序,该程序被处理器执行时实现如本发明实施例所述的方法。
本发明实施例包括以下优点:
在本发明实施例中,通过接收客户端发送的当前请求消息;响应当前请 求消息,将缓存服务器的数据库中,与当前请求消息包含的用户标识匹配的 缓存数据发送至客户端;根据在先接收到的客户端发送的当前请求消息,从 第三方服务器获取与当前请求消息包含的用户标识匹配的用户数据;采用用 户数据更新缓存服务器的数据库中的缓存数据。通过每次接收请求时触发 更新缓存数据,从而提供毫秒级的补偿机制及时同步用户的更新操作,避 免当第三方接口出现问题时响应时间增长或者超时的风险,降低了外部依 赖对UGC查询服务造成的影响,提高了UGC查询服务的稳定性,提升了用 户查询操作的体验。
附图说明
图1是本发明的一种数据更新方法实施例的步骤流程图;
图2是本发明实施例的一种的数据更新方法的时序示意图;
图3是本发明的一种数据更新装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附 图和具体实施方式对本发明作进一步详细的说明。
参照图1,示出了本发明的一种数据更新方法实施例的步骤流程图,应 用于缓存服务器,所述缓存服务器与第三方服务器通信,具体可以包括如 下步骤:
步骤101,接收客户端发送的当前请求消息;
在本发明实施例中,缓存服务器可以是用于代理UGC查询的服务器, 缓存服务器与第三方服务器通信,从第三方服务器中获取UGC来缓存。
第三方服务器可以是存储UGC(User Generated Content,用户生成内容) 的服务器,当用户发布UGC时,第三方服务器可以接收用户发布的UGC, 并将UGC存储在本地服务器。其中,UGC可以包括视频、日志和照片等内 容。
在本发明实施例中,当前请求消息可以是用户当前发送的请求消息,该 请求消息用于查询UGC的消息,当用户需要查询UGC时,可以通过客户端 向缓存服务器发送请求消息。当前请求消息可以携带用户标识,用于唯一标 识该历史请求消息,例如,用户标识可以为用户ID。
具体的,客户端提供的用户界面上可以包括一查询控件,查询按钮可以 实现查询的功能,当用户点击用户界面上的查询控件时,相当于向缓存服务 器发送了一个请求消息。
步骤102,响应所述当前请求消息,将所述缓存服务器的数据库中,与 所述当前请求消息包含的用户标识匹配的缓存数据发送至所述客户端;
在本发明实施例中,缓存服务器可以具备一数据库,用于缓存从第三方 服务器中获取的UGC,当用户查询UGC时,可以直接从数据库中获取需要 的UGC并发送给用户。
具体的,可以通过提取当前请求消息中包含的用户标识,在缓存服务器 的数据库中查找与当前请求消息中包含的用户标识匹配的缓存数据,然后将 缓存数据发送至客户端。通过直接从缓存服务器中获取缓存数据发送至客户 端,服务器对请求消息的响应时间短,提高用户的使用体验。
作为一种示例,在缓存数据库中存储的数据结构可以如下表1所示:
用户标识(key) 缓存数据(value)
12001 数据A
12002 数据B
12003 数据C
表1
如果缓存服务器从接收到的当前请求消息中提取出的用户标识为: 12002,查找缓存数据库中的上述表1可知,与用户标识12002匹配的缓存 数据为:数据B,则可以将数据B发送至客户端。
步骤103,根据所述当前请求消息,从第三方服务器获取与所述当前请 求消息包含的用户标识匹配的用户数据;
其中,用户数据可以是用户发布的UGC。在本发明实施例中,缓存服 务器每次接收到当前请求消息时,会触发从第三方服务器获取,与当前请求 消息包含的用户标识匹配的用户数据。
具体的,缓存服务器可以创建第一服务,通过第一服务接收请求消息, 并对请求消息进行响应,以将缓存服务器的数据库中的缓存数据发送至客户 端。同时,第一服务可以启动一个新的进程,触发从第三方服务器获取最新 的用户数据。
上述根据当前请求消息触发从第三方服务器获取用户数据的操作是为 了弥补缓存数据的实时性缺陷,如果用户是第一次进行查询UGC,那么获 取的缓存数据与实际请求的数据基本一致。但是,如果用户刚刚发布了新的 UGC(发布的UGC上传在第三方服务器上,还未更新到缓存服务器中),就 立即发起了查询操作(发送请求消息),则缓存服务器的数据库中的数据并 不一定能够表示该用户当前最新数据。此时,由于用户在查询到的数据中未 看到自己刚刚上传的UGC,大概率会发起第二次刷新请求,在用户发起查 询操作和发起第二次刷新请求操作的间隙,后台有充足的时间完成预加载数 据的操作,该预加载数据的操作即是:在用户还未发起第二次刷新请求操作 时,从第三方服务器获取与请求消息中的用户标识匹配的用户数据,并采用 该用户数据更新缓存服务器中的数据,从而完成预加载数据的操作。从而, 当用户由于第一次未请求到最新数据而发起第二次刷新请求时,第二次请求 到的缓存数据已经是等同于从第三方服务器实时请求的数据,这样做可以将 用户的更新操作和缓存同步的时间间隔控制在毫秒以内,提高缓存服务器的 响应速度。
步骤104,采用所述用户数据更新所述缓存服务器的数据库中的缓存数 据。
在本发明实施例中,可以采用从第三方服务器获取的用户数据,更新缓 存服务器的数据库中的缓存数据。由于从第三方服务器获取的用户数据包含 用户最新发布的UGC,采用从第三方服务器获取的用户数据,更新缓存服 务器的数据库中的缓存数据,则,缓存服务器中存储的是最新的用户数据, 从而提高缓存服务器的缓存命中率。
在本发明的一种优选实施例中,所述方法还可以包括如下步骤:
统计在先接收到的所有客户端发送历史请求消息的频次;按照预设规则 确定每一客户端发送历史请求消息的频次所处的频次层级;剔除所述频次层 级中频次较低的层级中的用户,生成所述热点用户列表;依据所述热点用户 列表,从第三方服务器获取与所述历史请求消息包含的用户标识匹配的用户 数据。
在本发明实施例中,缓存服务器可以统计在先接收到的所有客户端发送 历史请求消息的频次,按照预设规则确定每一客户端发送历史请求消息的频 次所处的频次层级,剔除频次层级中频次较低的层级中的用户,生成热点用 户列表,依据热点用户列表,从第三方服务器获取与历史请求消息包含的用 户标识匹配的用户数据。从而,可以根据热点用户列表,自动触发从第三方 服务器获取用户数据,以对数据库中的缓存的数据进行更新。
其中,历史请求消息即为缓存服务器中存储记录的,用户先在发送的请 求消息,缓存服务器在存储记录请求消息时,可以以用户标识作为每一条记 录的键值key。
缓存服务器可以采用Redis数据库来缓存数据。Redis4.0新增了LFU (LeastFrequently Used,缓存淘汰算法)数据淘汰机制,LFU的优势在于, 除了能够记录访问(请求消息)时间戳外,还有一个指数型计数器Counter 用于记录访问频率,Counter能够在8bits的空间上记录上百万的访问频次; 同时Counter还有一个衰减因子,可以做到活跃用户访问频次的动态变化, 让一段时间内不活跃的用户逐渐衰减为非活跃用户;同时,Redis还提供了 热点keys发现的命令操作--hotkeys,可以获取到当前所有的活跃用户及其访问频次,为后续的数据操作提供了极大便利。
具体的,缓存服务器可以采用计数器统计每一用户发送的历史请求消息 的频次。在统计完客户端发送的历史请求消息的频次之后,按照预设规则确 定每一客户端发送历史请求消息的频次所处的频次层级,其中,预设规则可 以是预先设定的划分频次的方式,例如,预设规则可以是频次层级区间,分 别为:[0-50),[50-100),...,[300-∞)。在确定频次层级之后,剔除频次层 级中频次较低的层级中的用户,生成热点用户列表,例如,剔除处于频次层 级[0-50)中的用户,并生成热点用户列表。生成热点用户列表,则在热点 用户列表中,频次层级越高的用户,活跃度越高。
缓存服务器的可以创建第二服务,用于自动触发更新缓存数据。越活跃 的用户缓存数据的更新时间间隔越短,通过依据热点用户列表,从第三方服 务器获取与历史请求消息包含的用户标识匹配的用户数据。
在本发明的一种优选实施例中,所述热点用户列表中不同频次层级对应 不同的更新时间间隔,且高频次层级比低频次层级的更新时间间隔短;
其中,所述依据所述热点用户列表,从第三方服务器获取与所述历史请 求消息包含的用户标识匹配的用户数据的步骤可以包括如下子步骤:
根据所述历史请求消息包含的用户标识,从所述热点用户列表中确定目 标频次层级;确定与所述目标频次层级对应的目标更新时间间隔;根据所述 目标更新时间间隔,从第三方服务器获取与所述历史请求消息包含的用户标 识匹配的用户数据。
在本发明实施例中,提取历史请求消息中的用户标识,并根据用户标识 从热点用户列表中确定与该用户标识匹配的目标频次层级,然后根据目标频 次层级,确定与目标频次层级对应的目标更新时间间隔。
作为一种示例,假设频次层级1对应的更新时间间隔为300s,频次层级 2对应的更新时间间隔为150s,频次层级3对应的更新时间间隔为60s。如 果某一用户标识对应的目标频次层级为:频次层级3,则可以确定与目标频 次层级对应的目标更新时间间隔为:60s。则缓存服务器可以每60s触发一次 更新该用户标识对应的缓存数据。
可以依据缓存数据的更新时间间隔,触发模拟用户向第三方服务器发送 数据查询请求,从第三方服务器获取与历史请求消息包含的用户标识匹配的 用户数据,以更新缓存服务器中的缓存数据。从而活跃度不同用户的缓存数 据的更新时间间隔不同,按照更新时间间隔错峰更新缓存数据,以避免对第 三方服务器造成较大访问压力。
在本发明的一种优选实施例中,所述根据所述目标更新时间间隔,从第 三方服务器获取与所述历史请求消息包含的用户标识匹配的用户数据的步 骤包括可以包括如下子步骤:
获取所述缓存数据库中与所述历史请求消息包含的用户标识匹配的缓 存数据的更新时间,以及获取服务器当前时间;计算所述缓存数据的更新时 间与所述服务器当前时间之间的间隔值;当所述间隔值大于或等于所述更新 时间间隔时,从第三方服务器获取与所述历史请求消息包含的用户标识匹配 的用户数据。
在本发明实施例中,缓存服务器在更新存储的数据时,可以存储缓存数 据的更新时间。通过获取缓存数据库中与历史请求消息包含的用户标识匹配 的缓存数据的更新时间,以及获取服务器当前时间,并计算缓存数据的更新 时间与服务器当前时间之间的间隔值,当间隔值大于或等于更新时间间隔 时,则满足触发更新缓存数据的条件,可以从第三方服务器获取与历史请求 消息包含的用户标识匹配的用户数据。
如图2示出了本发明实施例的一种的数据更新方法的时序示意图。在图2中,包括客户端、第三方服务器、第一服务、第二服务和数据库,其中, 第一服务、第二服务和数据库部署在缓存服务器,缓存服务器通过两个刷新 机制更新数据库中的缓存数据,具体数据更新过程如下:
刷新机制一:
1-1,客户端向缓存服务器发起请求;
1-2,第一服务向数据库发送请求用户ID信息;
1-3,第一服务接收数据库返回的缓存命中信息;如,缓存命中信息可 以为:在缓存服务器中具有与用户ID对应的缓存数据;
1-4,第一服务向数据库请求缓存数据;
1-5,第一服务接收数据库返回的与用户ID匹配的缓存数据;
1-6,第一服务响应用户的请求,将缓存数据返回至客户端;
1-7,第一服务重新开启一个进程;
1-8,第一服务请求第三方服务器的数据;
1-9,第一服务接收第三方服务器返回的与用户ID匹配的数据;
1-10,第一服务器采用从第三方服务器获取的数据更新数据库中缓存的 数据。
刷新机制二:
2-1,定时任务触发第二服务向数据库发送热点用户ID列表获取请求消 息;
2-2,第二服务接收数据库返回的热点用户ID列表;
2-3,第二服务模拟用户操作,向第三方服务器发送携带用户标识的数 据获取请求;
2-4,第二服务接收第三方服务器返回数据;
2-5,第二服务采用接收数据更新数据库中与用户ID匹配的缓存数据。
在本发明实施例中,通过接收客户端发送的当前请求消息;响应当前请 求消息,将缓存服务器的数据库中,与当前请求消息包含的用户标识匹配的 缓存数据发送至客户端;根据在先接收到的客户端发送的当前请求消息,从 第三方服务器获取与当前请求消息包含的用户标识匹配的用户数据;采用用 户数据更新缓存服务器的数据库中的缓存数据。通过每次接收请求时触发更 新缓存数据,从而提供毫秒级的补偿机制及时同步用户的更新操作,保证了 服务器的响应时间和实时性要求之间的平衡,避免当第三方接口出现问题时 响应时间增长或者超时的风险,降低了外部依赖对UGC查询服务造成的影 响,提高了UGC查询服务的稳定性,提升了用户查询操作的体验。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一 系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所 描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他 顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述 的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必 须的。
参照图3,示出了本发明的一种数据更新装置实施例的结构框图,应用 于缓存服务器,所述缓存服务器与第三方服务器通信,具体可以包括如下模 块:
请求接收模块301,用于接收客户端发送的当前请求消息;
数据发送模块302,用于响应所述当前请求消息,将所述缓存服务器的 数据库中,与所述当前请求消息包含的用户标识匹配的缓存数据发送至所述 客户端;
第一数据获取模块303,用于根据所述当前请求消息,从第三方服务器 获取与所述当前请求消息包含的用户标识匹配的用户数据;
数据更新模块304,用于采用所述用户数据更新所述缓存服务器的数据 库中的缓存数据。
在本发明的一种优选实施例中,所述装置还包括:
频次统计模块,用于统计在先接收到的所有客户端发送历史请求消息的 频次;
频次层级确定模块,用于按照预设规则确定每一客户端发送历史请求消 息的频次所处的频次层级;
热点用户列表生成模块,用于剔除所述频次层级中频次较低的层级中的 用户,生成所述热点用户列表;
第二数据获取模块,用于依据所述热点用户列表,从第三方服务器获取 与所述历史请求消息包含的用户标识匹配的用户数据。
在本发明的一种优选实施例中,所述热点用户列表中不同频次层级对应 不同的更新时间间隔,且高频次层级比低频次层级的更新时间间隔短;
其中,所述第二数据获取模块,包括:
目标频次层级确定子模块,用于根据所述历史请求消息包含的用户标 识,从所述热点用户列表中确定目标频次层级;
目标更新时间间隔确定子模块,用于确定与所述目标频次层级对应的目 标更新时间间隔;
数据获取子模块,用于根据所述目标更新时间间隔,从第三方服务器获 取与所述历史请求消息包含的用户标识匹配的用户数据。
在本发明的一种优选实施例中,所述数据获取子模块,包括:
时间获取单元,用于获取所述缓存数据库中与所述历史请求消息包含的 用户标识匹配的缓存数据的更新时间,以及获取服务器当前时间;
间隔值计算单元,用于计算所述缓存数据的更新时间与所述服务器当前 时间之间的间隔值;
数据获取单元,用于当所述间隔值大于或等于所述更新时间间隔时,从 第三方服务器获取与所述历史请求消息包含的用户标识匹配的用户数据。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比 较简单,相关之处参见方法实施例的部分说明即可。
在本发明实施例还提供了一种电子设备,包括处理器、通信接口、存储 器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间 的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现如本发明实施例所述 的方法步骤。
在本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机 程序,该程序被处理器执行时实现如本发明实施例所述的方法。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明 的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见 即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装 置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全 软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例 可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介 质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程 序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计 算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令 实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框 图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、 专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生 一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的 指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或 多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理 终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读 存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个 流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设 备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计 算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用 于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中 指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦 得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以, 所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所 有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术 语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定 要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而 且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从 而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要 素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方 法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句 “包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物 品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种数据更新方法和一种数据更新装置,进行 了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐 述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同 时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及 应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发 明的限制。

Claims (8)

1.一种数据更新方法,其特征在于,应用于缓存服务器,所述缓存服务器与第三方服务器通信,所述方法包括:
接收客户端发送的当前请求消息;
响应所述当前请求消息,将所述缓存服务器的数据库中,与所述当前请求消息包含的用户标识匹配的缓存数据发送至所述客户端;
根据所述当前请求消息,从第三方服务器获取与所述当前请求消息包含的用户标识匹配的用户数据;
采用所述用户数据更新所述缓存服务器的数据库中的缓存数据;
统计在先接收到的所有客户端发送历史请求消息的频次;按照预设规则确定每一客户端发送历史请求消息的频次所处的频次层级;剔除所述频次层级中频次较低的层级中的用户,生成热点用户列表;依据所述热点用户列表,从第三方服务器获取与所述历史请求消息包含的用户标识匹配的用户数据。
2.根据权利要求1所述的方法,其特征在于,所述热点用户列表中不同频次层级对应不同的更新时间间隔,且高频次层级比低频次层级的更新时间间隔短;
其中,所述依据所述热点用户列表,从第三方服务器获取与所述历史请求消息包含的用户标识匹配的用户数据,包括:
根据所述历史请求消息包含的用户标识,从所述热点用户列表中确定目标频次层级;
确定与所述目标频次层级对应的目标更新时间间隔;
根据所述目标更新时间间隔,从第三方服务器获取与所述历史请求消息包含的用户标识匹配的用户数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标更新时间间隔,从第三方服务器获取与所述历史请求消息包含的用户标识匹配的用户数据,包括:
获取所述缓存数据库中与所述历史请求消息包含的用户标识匹配的缓存数据的更新时间,以及获取服务器当前时间;
计算所述缓存数据的更新时间与所述服务器当前时间之间的间隔值;
当所述间隔值大于或等于所述更新时间间隔时,从第三方服务器获取与所述历史请求消息包含的用户标识匹配的用户数据。
4.一种数据更新装置,其特征在于,应用于缓存服务器,所述缓存服务器与第三方服务器通信,所述装置包括:
请求接收模块,用于接收客户端发送的当前请求消息;
数据发送模块,用于响应所述当前请求消息,将所述缓存服务器的数据库中,与所述当前请求消息包含的用户标识匹配的缓存数据发送至所述客户端;
第一数据获取模块,用于根据所述当前请求消息,从第三方服务器获取与所述当前请求消息包含的用户标识匹配的用户数据;
数据更新模块,用于采用所述用户数据更新所述缓存服务器的数据库中的缓存数据;
频次统计模块,用于统计在先接收到的所有客户端发送历史请求消息的频次;频次层级确定模块,用于按照预设规则确定每一客户端发送历史请求消息的频次所处的频次层级;热点用户列表生成模块,用于剔除所述频次层级中频次较低的层级中的用户,生成热点用户列表;第二数据获取模块,用于依据所述热点用户列表,从第三方服务器获取与所述历史请求消息包含的用户标识匹配的用户数据。
5.根据权利要求4所述的装置,其特征在于,所述热点用户列表中不同频次层级对应不同的更新时间间隔,且高频次层级比低频次层级的更新时间间隔短;
其中,所述第二数据获取模块,包括:
目标频次层级确定子模块,用于根据所述历史请求消息包含的用户标识,从所述热点用户列表中确定目标频次层级;
目标更新时间间隔确定子模块,用于确定与所述目标频次层级对应的目标更新时间间隔;
数据获取子模块,用于根据所述目标更新时间间隔,从第三方服务器获取与所述历史请求消息包含的用户标识匹配的用户数据。
6.根据权利要求5所述的装置,其特征在于,所述数据获取子模块,包括:
时间获取单元,用于获取所述缓存数据库中与所述历史请求消息包含的用户标识匹配的缓存数据的更新时间,以及获取服务器当前时间;
间隔值计算单元,用于计算所述缓存数据的更新时间与所述服务器当前时间之间的间隔值;
数据获取单元,用于当所述间隔值大于或等于所述更新时间间隔时,从第三方服务器获取与所述历史请求消息包含的用户标识匹配的用户数据。
7.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-3任一所述的方法步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-3中任一所述的方法。
CN201911168085.3A 2019-11-25 2019-11-25 一种数据更新方法及装置 Active CN110995811B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911168085.3A CN110995811B (zh) 2019-11-25 2019-11-25 一种数据更新方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911168085.3A CN110995811B (zh) 2019-11-25 2019-11-25 一种数据更新方法及装置

Publications (2)

Publication Number Publication Date
CN110995811A CN110995811A (zh) 2020-04-10
CN110995811B true CN110995811B (zh) 2022-05-03

Family

ID=70086691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911168085.3A Active CN110995811B (zh) 2019-11-25 2019-11-25 一种数据更新方法及装置

Country Status (1)

Country Link
CN (1) CN110995811B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542330B (zh) * 2020-04-21 2023-10-27 中移(上海)信息通信科技有限公司 移动边缘计算数据获取方法及系统
CN112101892B (zh) * 2020-08-07 2024-08-13 五八到家有限公司 数据处理方法及服务端设备
CN112069386B (zh) * 2020-09-07 2023-09-05 北京奇艺世纪科技有限公司 一种请求处理方法、装置、系统、终端及服务器
CN114185905A (zh) * 2021-12-06 2022-03-15 蓝信移动(北京)科技有限公司 缓存数据更新方法、装置、设备、存储介质和程序
CN114490752A (zh) * 2021-12-31 2022-05-13 北京声智科技有限公司 一种数据获取方法、装置、电子设备和存储介质
CN115002132B (zh) * 2022-05-23 2024-05-28 苏州思萃工业互联网技术研究所有限公司 一种用于pcdn网络预缓存资源的分发方法、系统及计算机设备
CN114936216A (zh) * 2022-07-01 2022-08-23 北京奇艺世纪科技有限公司 一种数据更新方法、装置、电子设备及存储介质
CN116248762A (zh) * 2022-12-02 2023-06-09 中山市可讯科技有限公司 一种基于不稳定请求的缓存系统及方法
CN116166682A (zh) * 2023-04-26 2023-05-26 国家工业信息安全发展研究中心 数据更新的方法及服务端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010022274A1 (en) * 2008-08-20 2010-02-25 Esther Finale LLC Data packet generator for generating passcodes
CN105608115A (zh) * 2015-12-11 2016-05-25 北京奇虎科技有限公司 数据获取方法与装置
CN106909690A (zh) * 2017-03-07 2017-06-30 四川驹马企业管理有限公司 网络数据缓存方法
CN107943594A (zh) * 2016-10-13 2018-04-20 北京京东尚科信息技术有限公司 数据获取方法和装置
CN108683695A (zh) * 2018-03-23 2018-10-19 阿里巴巴集团控股有限公司 热点访问处理方法、缓存访问代理设备及分布式缓存系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965845B2 (en) * 2012-12-07 2015-02-24 International Business Machines Corporation Proactive data object replication in named data networks
US10747792B2 (en) * 2017-11-30 2020-08-18 Bby Solutions, Inc. Streaming events analysis for search recall improvements

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010022274A1 (en) * 2008-08-20 2010-02-25 Esther Finale LLC Data packet generator for generating passcodes
CN105608115A (zh) * 2015-12-11 2016-05-25 北京奇虎科技有限公司 数据获取方法与装置
CN107943594A (zh) * 2016-10-13 2018-04-20 北京京东尚科信息技术有限公司 数据获取方法和装置
CN106909690A (zh) * 2017-03-07 2017-06-30 四川驹马企业管理有限公司 网络数据缓存方法
CN108683695A (zh) * 2018-03-23 2018-10-19 阿里巴巴集团控股有限公司 热点访问处理方法、缓存访问代理设备及分布式缓存系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
分布式数据缓存技术的研究与应用;陈怀亮;《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》;20120715(第7期);第46-59页 *

Also Published As

Publication number Publication date
CN110995811A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110995811B (zh) 一种数据更新方法及装置
CN111464615B (zh) 请求处理方法、装置、服务器及存储介质
EP3399434B1 (en) Short link processing method, device and server
CN107395683B (zh) 一种回源路径的选择方法及服务器
CN108737473B (zh) 一种数据处理方法、装置及系统
CN108429777B (zh) 一种基于缓存的数据更新方法及服务器
CN107888666B (zh) 一种跨地域数据存储系统以及数据同步方法和装置
EP3508985A1 (en) Scalable synchronization with cache and index management
CN107748790B (zh) 一种线上服务系统、数据加载方法、装置及设备
CN105100032A (zh) 一种防止资源盗取的方法及装置
CN103312733A (zh) 信息处理方法和装置
CN111782692B (zh) 一种频率控制方法及装置
US9876873B1 (en) Caching techniques
CN111431813A (zh) 访问限流方法、设备及存储介质
CN107040576A (zh) 信息推送方法及装置、通讯系统
CN107277624B (zh) 时长计算方法及其装置
CN110740155A (zh) 分布式系统中的请求处理方法及装置
CN104468248B (zh) 业务性能的监控方法、反向代理服务器、统计分析服务器及系统
CN108337100B (zh) 一种云平台监测的方法和装置
CN105610917A (zh) 实现系统中同步数据修复的方法及系统
CN113839952B (zh) 一种日志访问关系的威胁追踪方法、装置及电子设备
CN112861031A (zh) Cdn中url刷新方法、装置、设备以及cdn节点
CN110943876B (zh) Url状态检测方法、装置、设备和系统
CN104579753B (zh) 用户数据统计方法、接入层服务器和统计服务器
CN110555040A (zh) 一种数据缓存方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant