CN105072172B - 一种基于内容分发网络的热点统计及推送方法及系统 - Google Patents

一种基于内容分发网络的热点统计及推送方法及系统 Download PDF

Info

Publication number
CN105072172B
CN105072172B CN201510464547.1A CN201510464547A CN105072172B CN 105072172 B CN105072172 B CN 105072172B CN 201510464547 A CN201510464547 A CN 201510464547A CN 105072172 B CN105072172 B CN 105072172B
Authority
CN
China
Prior art keywords
hot spot
client
hot
focus statistics
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510464547.1A
Other languages
English (en)
Other versions
CN105072172A (zh
Inventor
洪珂
江盛杰
黄忠旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201510464547.1A priority Critical patent/CN105072172B/zh
Publication of CN105072172A publication Critical patent/CN105072172A/zh
Application granted granted Critical
Publication of CN105072172B publication Critical patent/CN105072172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching
    • H04L67/5681Pre-fetching or pre-delivering data based on network characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/55Push-based network services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Abstract

本发明提供一种基于内容分发网络的热点统计及推送方法,该方法包括:根据配置的热点统计方式,实时记录下辖的客户端的Web访问行为,并生成日志信息;周期性地统计分析日志信息,提取出热点信息,并从源站服务器下载本地未缓存的热点内容;在本地缓存本地未缓存的热点内容;提取出客户端的Web访问请求,若Web访问请求的内容未缓存在本地,则从源站服务器下载内容响应客户端并缓存;否则从本地获取内容响应客户端;提取出客户端的Web访问请求附带的热点摘要信息,根据热点摘要信息和配置的热点分发方式,向客户端推送热点内容。本发明在分布式网络边缘缓存节点中进行热点信息采集、统计及分发,加速了客户端对Web热点内容的访问。

Description

一种基于内容分发网络的热点统计及推送方法及系统
技术领域
本发明属于互联网技术领域,涉及一种热点统计和分发方法,特别是涉及一种基于内容分发网络的热点统计及推送方法及系统。
背景技术
为了解决日益加剧的网络拥塞问题,业界针对Web访问发明了内容分发网络(Content Delivery Network,CDN)。CDN通过将Web站点内容分发到靠近访问用户的网络边缘缓存节点,并以反向代理的方式向用户提供Web内容来加速Web内容访问。CDN不仅降低了网络访问延迟,而且减轻了Web站点的服务压力,提高了Web站点的安全性及服务的可用性。
另一方面,随着移动通信技术的不断发展,全球已经进入移动互联网时代,通过移动设备访问互联网正在成为新的趋势。虽然目前移动运营商正在大力推广4G,但还以3G/2G移动网络通信为主要数据通信网络,因而还有很大比例的用户正受限于低速的网络访问而体验不佳。
为了降低Web访问延迟,一些桌面和移动应用采用了结合热点统计和热点预取技术的方案。在该方案中,热点统计服务器通过对大规模客户端采集提交的行为信息或者本地服务器记录的访问日志信息进行热点信息提取,然后将热点信息分发给客户端,由客户端根据下一步访问行为做内容预取。虽然该方案能在一定程度上降低用户对热点内容的访问延时,但依然在以下几个方面存在不足:
(1)可用性:热点信息的统计和分发集中在一台或多台物理位置靠近的服务器上,其服务可用性和系统健壮性不够高。
(2)实时性:客户端与热点服务器之间的信息交互实时性仍然受物理距离的限制;当Web站点采用CDN加速且采用服务端日志统计时,因很大比例用户访问行为无法直接统计而需要CDN运营商提供日志而造成实时性低。
(3)区域性:一些统计分发方法未能充分考虑热点信息的地理局部性特征,为用户提供区域化服务。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种基于内容分发网络的热点统计及推送方法及系统,用于解决现有热点信息的统计和分发技术可用性和系统健壮性不高,实时性低的问题。
为实现上述目的及其他相关目的,本发明提供一种基于内容分发网络的热点统计及推送方法,所述基于内容分发网络的热点统计及推送方法包括:根据配置的热点统计方式,实时记录下辖的客户端的Web访问行为,并生成日志信息;根据配置的热点统计方式,周期性地统计分析所述日志信息,提取出热点信息,并从源站服务器下载与所述热点信息对应且本地未缓存的热点内容;在本地缓存与所述热点信息对应且本地未缓存的热点内容;提取出客户端的Web访问请求,若所述Web访问请求的内容未缓存在本地,则从源站服务器下载所述Web访问请求的内容响应客户端,并在本地缓存所述Web访问请求的内容;否则直接从本地获取所述Web访问请求的内容响应客户端;提取出客户端的Web访问请求附带的热点摘要信息,根据所述热点摘要信息和配置的热点分发方式,向对应客户端推送本地已缓存而客户端未缓存的与所述热点摘要信息对应的热点内容。
可选地,所述热点统计方式的配置方法包括:以域名为单位进行热点统计;添加、删除、修改参与热点统计的域名列表;在域名内划分按照指定类型进行热点统计;设置热点统计更新周期;或/和设置热点统计时间窗口。
可选地,所述热点分发方式的配置方法包括:设置各热点域名内各热点信息类型的热点内容的推送个数上限;或/和设置各热点域名内各热点信息类型的热点内容的推送字节数上限。
可选地,所述基于内容分发网络的热点统计及推送方法还包括:在下辖的客户端配置热点缓存代理方式;所述客户端根据自身配置的热点缓存代理方式、访问网络类型、本地热点缓存,生成热点摘要信息;所述客户端将所述热点摘要信息附加到Web访问请求中;所述客户端接收自身归属的CDN边缘缓存节点根据所述热点摘要信息推送的热点内容,更新本地缓存。
可选地,所述热点缓存代理方式的配置方法包:设置关注的热点域名;设置关注的热点信息类型;设置热点缓存的更新周期。
本发明还提供一种基于内容分发网络的热点统计及推送系统,所述基于内容分发网络的热点统计及推送系统包括CDN边缘缓存节点,所述CDN边缘缓存节点包括:热点采集模块,根据配置的热点统计方式,实时记录下辖的客户端的Web访问行为,并生成日志信息;热点更新模块,与所述热点采集模块相连,根据配置的热点统计方式,周期性地统计分析所述日志信息,提取出热点信息,并从源站服务器下载与所述热点信息对应且本地未缓存的热点内容;请求响应模块,提取出客户端的Web访问请求,若所述Web访问请求的内容未缓存在本地,则从源站服务器下载所述Web访问请求的内容响应客户端,并在本地缓存所述Web访问请求的内容;否则直接从本地获取所述Web访问请求的内容响应客户端;内容缓存模块,与所述热点更新模块和请求响应模块分别相连,在本地缓存由所述热点更新模块下载的热点内容,和由所述请求响应模块下载的Web访问请求的内容;热点推送模块,与所述请求响应模块和内容缓存模块分别相连,提取出客户端的Web访问请求附带的热点摘要信息,根据所述热点摘要信息和配置的热点分发方式,向对应客户端推送本地已缓存而客户端未缓存的与所述热点摘要信息对应的热点内容。
可选地,所述CDN边缘缓存节点还包括与所述热点采集模块和热点更新模块分别相连的热点统计配置模块,所述热点统计配置模块包括:统计设置单元,以域名为单位进行热点统计;统计修改单元,添加、删除、修改参与热点统计的域名列表;统计分类单元,在域名内划分按照指定类型进行热点统计;统计周期单元,设置热点统计更新周期;统计窗口单元,设置热点统计时间窗口。
可选地,所述CDN边缘缓存节点还包括与所述热点推送模块相连的热点分发配置模块,所述热点分发配置模块包括:第一设置单元,设置各热点域名内各热点信息类型的热点内容的推送个数上限;或/和第二设置单元,设置各热点域名内各热点信息类型的热点内容的推送字节数上限。
可选地,所述基于内容分发网络的热点统计及推送系统还包括所述CDN边缘缓存节点下辖的至少1个客户端,所述客户端包括:热点代理配置模块,在所述客户端配置热点缓存代理方式;热点请求生成模块,与所述热点代理配置模块相连,根据所述客户端配置的热点缓存代理方式、访问网络类型、本地热点缓存,生成热点摘要信息;热点请求发送模块,与所述热点请求生成模块相连,将所述热点摘要信息附加到Web访问请求中发送;热点缓存更新模块,接收所述客户端归属的CDN边缘缓存节点根据所述热点摘要信息推送的热点内容,更新本地缓存。
可选地,所述热点代理配置模块包括:关注对象设置单元,设置关注的热点域名;关注类型设置单元,设置关注的热点信息类型;热点更新设置单元,设置热点缓存的更新周期。
本发明还提供一种基于内容分发网络的热点统计及推送系统,所述基于内容分发网络的热点统计及推送系统包括客户端,所述客户端包括:热点代理配置模块,在所述客户端配置热点缓存代理方式;热点请求生成模块,与所述热点代理配置模块相连,根据所述客户端配置的热点缓存代理方式、访问网络类型、本地热点缓存,生成热点摘要信息;热点请求发送模块,与所述热点请求生成模块,将所述热点摘要信息附加到Web访问请求中发送;热点缓存更新模块,接收所述客户端归属的CDN边缘缓存节点根据所述热点摘要信息推送的热点内容,更新本地缓存。
如上所述,本发明的基于内容分发网络的热点统计及推送方法及系统,具有以下有益效果:
本发明充分利用CDN的分布式集群、物理靠近访问用户、区域化服务等三大特性,在分布式网络边缘缓存节点中进行热点信息采集、热点内容统计及热点信息分发,并采用主动热点内容推送技术来进一步加速客户端对Web热点内容的访问,其可用性和系统健壮性均较高,实时性好,并可以附加地提供区域化服务。
附图说明
图1显示为本发明实施例所述的基于内容分发网络的热点统计及推送方法的一种实现流程示意图。
图2显示为本发明实施例所述的基于内容分发网络的热点统计及推送方法的热点统计方式的配置方法的一种实现流程示意图。
图3显示为本发明实施例所述的基于内容分发网络的热点统计及推送方法的热点分发方式的配置方法的一种实现流程示意图。
图4显示为本发明实施例所述的基于内容分发网络的热点统计及推送方法的另一种实现流程示意图。
图5显示为本发明实施例所述的基于内容分发网络的热点统计及推送方法的热点缓存代理方式的配置方法的一种实现流程示意图。
图6显示为本发明实施例所述的基于内容分发网络的热点统计及推送方法的一种具体实现方式流程图。
图7显示为本发明实施例所述的基于内容分发网络的热点统计及推送方法的另一种具体实现方式流程图。
图8显示为本发明实施例所述的基于内容分发网络的热点统计及推送系统的一种实现结构示意图。
图9显示为本发明实施例所述的基于内容分发网络的热点统计及推送系统的热点统计配置模块的一种实现结构示意图。
图10显示为本发明实施例所述的基于内容分发网络的热点统计及推送系统的热点分发配置模块的一种实现结构示意图。
图11显示为本发明实施例所述的基于内容分发网络的热点统计及推送系统的第四种实现结构示意图。
图12显示为本发明实施例所述的基于内容分发网络的热点统计及推送系统的热点代理配置模块的一种实现结构示意图。
元件标号说明
100 基于内容分发网络的热点统计及推送系统
200 CDN边缘缓存节点
210 热点采集模块
220 热点更新模块
230 请求响应模块
240 内容缓存模块
250 热点推送模块
260 热点统计配置模块
261 统计设置单元
262 统计修改单元
263 统计分类单元
264 统计周期单元
265 统计窗口单元
270 热点分发配置模块
271 第一设置单元
272 第二设置单元
300 客户端
310 热点代理配置模块
311 关注对象设置单元
312 关注类型设置单元
313 热点更新设置单元
320 热点请求生成模块
330 热点请求发送模块
340 热点缓存更新模块
S11~S15 步骤
S21~S25 步骤
S31~S32 步骤
S41~S44 步骤
S51~S53 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
请参阅图1,本发明提供一种基于内容分发网络的热点统计及推送方法,所述基于内容分发网络的热点统计及推送方法包括:
S11,根据配置的热点统计方式,实时记录下辖的客户端的Web访问行为,并生成日志信息。本步骤S11的执行主体为CDN边缘缓存节点,CDN边缘缓存节点可以实时读取客户端的Web访问请求,然后根据热点统计方式中配置的热点域名、热点类型,记录客户端Web访问请求行为到系统的日志中,即生成日志信息。其中,客户端是CDN边缘缓存节点下辖的客户端,通常情况下,该CDN边缘缓存节点是距离客户端最近的内容分发网络缓存节点。
S12,根据配置的热点统计方式,周期性地统计分析所述日志信息,提取出热点信息,并从源站服务器下载与所述热点信息对应且本地未缓存的热点内容。本发明根据热点统计更新周期更新CDN边缘缓存节点本地缓存的热点统计信息。CDN边缘缓存节点以预设的周期频率(一般等同于所述热点统计更新周期对应的频率)从源站服务器下载与热点信息对应且本地未缓存的热点内容。其中,所述源站服务器是泛指提供原始内容供CDN边缘缓存节点代理缓存的服务器,包括利用CDN加速服务的原始服务器和CDN网络内部的中间缓存节点。
S13,在本地缓存与所述热点信息对应且本地未缓存的热点内容。本步骤中的本地即指CDN边缘缓存节点。
S14,提取出客户端的Web访问请求,若所述Web访问请求的内容未缓存在本地,则从源站服务器下载所述Web访问请求的内容响应客户端,并在本地缓存所述Web访问请求的内容;否则直接从本地获取所述Web访问请求的内容响应客户端。
S15,提取出客户端的Web访问请求附带的热点摘要信息,根据所述热点摘要信息和配置的热点分发方式,向对应客户端推送本地已缓存而客户端未缓存的与所述热点摘要信息对应的热点内容。本发明首先判断客户端发送的Web请求中是否带有热点摘要信息,如果是,则从中提取访问网络类型、热点域名、热点内容类型、已缓存热点信息等,然后向客户端推送客户端未缓存的热点内容,否则直接进入下一轮处理。
所述步骤S11至S15可以运行在内容分发网络(Content Delivery Network,CDN)的边缘缓存节点中,负责实现热点内容信息的统计及更新,并向客户端提供热点内容推送服务。
本发明所述的步骤S11至S15的一种具体实现方式参见图6所示,所述CDN边缘缓存节点首先加载热点统计/分发方式的初始配置,然后读取客户端的Web访问请求,将其中的Web访问行为记录到系统日志中,然后判断本地热点统计周期是否到了,若是则更新本地的热点统计信息,并进一步根据热点统计信息更新本地热点缓存;若否则继续判断Web访问请求的内容在本地是否有缓存,若有则直接从本地提取然后响应客户端,若没有则从源站服务器获取Web访问请求的内容再响应客户端,并在本地缓存所述Web访问请求的内容;然后继续判断Web访问请求是否附带了热点摘要信息,若是,则根据热点摘要信息向客户端推送客户端未缓存的热点内容,否则则直接进入下一轮处理。
进一步,参见图2所示,所述热点统计方式的配置方法包括:
S21,以域名为单位进行热点统计。
S22,添加、删除、修改参与热点统计的域名列表。
S23,在域名内划分按照指定类型进行热点统计;其中,指定类型主要包括XML、HTML、图像、音频和视频等。
S24,设置热点统计更新周期。
或/和
S25,设置热点统计时间窗口。
进一步,参见图3所示,所述热点分发方式的配置方法包括:
S31,设置各热点域名内各热点信息类型的热点内容的推送个数上限;或/和
S32,设置各热点域名内各热点信息类型的热点内容的推送字节数上限。
本发明在对所述基于内容分发网络的热点统计及推送方法进行初始化时,会加载热点统计及热点分发的方式配置,包括热点域名列表、热点内容类型、热点统计更新周期、热点统计时间窗口、各热点域名内热点类型推送个数上限或字节数上限等等。
参见图4所示,所述基于内容分发网络的热点统计及推送方法还包括:
S41,在下辖的客户端配置热点缓存代理方式。本步骤可以配置热点缓存代理方式,实现为上层应用提供网络代理服务的功能。其中,热点缓存代理方式包括热点域名、热点内容类型和热点缓存更新周期。
进一步,参见图5所示,所述热点缓存代理方式的配置方法包括:
S51,设置关注的热点域名。
S52,设置关注的热点信息类型;其中,类型主要包括XML、HTML、图像、音频和视频等。
S53,设置热点缓存的更新周期。
S42,所述客户端根据自身配置的热点缓存代理方式、访问网络类型、本地热点缓存,生成热点摘要信息。
S43,所述客户端将所述热点摘要信息附加到Web访问请求中。
S44,所述客户端接收自身归属的CDN边缘缓存节点根据所述热点摘要信息推送的热点内容,更新本地缓存。所述客户端是根据自身发送的热点摘要信息启动更新本地热点缓存的。
所述步骤S41至S44可以运行在客户端,并负责对客户端本地的热点内容进行缓存管理,同时为上层应用提供缓存代理服务。
本发明所述的步骤S41至S44的一种具体实现方式参见图7所示,所述客户端首先接收上层应用的Web访问请求,然后判断Web访问请求的内容是否在本地热点缓存中命中,如果是,则将命中内容直接交付给上层应用,然后直接进入下一轮处理;如果否,则将Web访问请求转发给CDN边缘缓存节点,从CDN边缘缓存节点获取请求内容交付给上层应用。此外,本发明在转发Web访问请求时,首先判断本地热点缓存是否到了更新周期,如果是,则生成热点摘要信息附加到所述Web访问请求中,然后根据CDN边缘缓存节点的响应内容更新本地热点缓存。
本发明所述的基于内容分发网络的热点统计及推送方法的保护范围不限于本实施例列举的步骤执行顺序,凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种基于内容分发网络的热点统计及推送系统,所述基于内容分发网络的热点统计及推送系统可以实现本发明所述的基于内容分发网络的热点统计及推送方法,但本发明所述的基于内容分发网络的热点统计及推送方法的实现装置包括但不限于本实施例列举的基于内容分发网络的热点统计及推送系统的结构,凡是根据本发明的原理所做的现有技术的结构变形和替换,都包括在本发明的保护范围内。
参见图8所示,所述基于内容分发网络的热点统计及推送系统100包括CDN边缘缓存节点200,所述CDN边缘缓存节点200包括:热点采集模块210,热点更新模块220,请求响应模块230,内容缓存模块240,热点推送模块250。
所述热点采集模块210根据配置的热点统计方式,实时记录下辖的客户端的Web访问行为,并生成日志信息。CDN边缘缓存节点可以实时读取客户端的Web访问请求,然后根据热点统计方式中配置的热点域名、热点类型,记录客户端Web访问请求行为到系统的日志中,即生成日志信息。其中,客户端是CDN边缘缓存节点下辖的客户端,通常情况下,该CDN边缘缓存节点是距离客户端最近的内容分发网络缓存节点。
所述热点更新模块220与所述热点采集模块210相连,根据配置的热点统计方式,周期性地统计分析所述日志信息,提取出热点信息,并从源站服务器下载与所述热点信息对应且本地未缓存的热点内容。本发明根据热点统计更新周期更新CDN边缘缓存节点本地缓存的热点统计信息。CDN边缘缓存节点以预设的周期频率(一般等同于所述热点统计更新周期对应的频率)从源站服务器下载与热点信息对应且本地未缓存的热点内容。其中,所述源站服务器是泛指提供原始内容供CDN边缘缓存节点代理缓存的服务器,包括利用CDN加速服务的原始服务器和CDN网络内部的中间缓存节点。
所述请求响应模块230提取出客户端的Web访问请求,若所述Web访问请求的内容未缓存在本地,则从源站服务器下载所述Web访问请求的内容响应客户端,并在本地缓存所述Web访问请求的内容;否则直接从本地获取所述Web访问请求的内容响应客户端。
所述内容缓存模块240与所述热点更新模块220和请求响应模块230分别相连,在本地缓存由所述热点更新模块下载的热点内容,和由所述请求响应模块下载的Web访问请求的内容。本地即指CDN边缘缓存节点。
所述热点推送模块250与所述请求响应模块230和内容缓存模块240分别相连,提取出客户端的Web访问请求附带的热点摘要信息,根据所述热点摘要信息和配置的热点分发方式,向对应客户端推送本地已缓存而客户端未缓存的与所述热点摘要信息对应的热点内容。本发明首先判断客户端发送的Web请求中是否带有热点摘要信息,如果是,则从中提取访问网络类型、热点域名、热点内容类型、已缓存热点信息等,然后向客户端推送客户端未缓存的热点内容,否则则直接进入下一轮处理。
本发明可以运行在内容分发网络(Content Delivery Network,CDN)的边缘缓存节点中,负责实现热点内容信息的统计及更新,并向客户端提供热点内容推送服务。本发明中,所述CDN边缘缓存节点首先加载热点统计/分发方式的初始配置,然后读取客户端的Web访问请求,将其中的Web访问行为记录到系统日志中,然后判断本地热点统计周期是否到了,若是则更新本地的热点统计信息和本地的热点缓存内容;否则继续判断Web访问请求内容是否在本地缓存命中,若否则从源站服务器获取请求内容并在本地缓存,然后向客户端响应请求内容;然后继续判断Web访问请求是否附带了热点摘要信息,若是,则向客户端推送客户端未缓存的热点内容,否则直接进入下一轮处理。
进一步,参见图9所示,所述CDN边缘缓存节点200还包括与所述热点采集模块210和热点更新模块220分别相连的热点统计配置模块260,所述热点统计配置模块260包括:统计设置单元261(未图示),统计修改单元262(未图示),统计分类单元263(未图示),统计周期单元264(未图示),统计窗口单元265(未图示)。所述统计设置单元261以域名为单位进行热点统计;所述统计修改单元262添加、删除、修改参与热点统计的域名列表;所述统计分类单元263在域名内划分按照指定类型进行热点统计;所述统计周期单元264设置热点统计更新周期;所述统计窗口单元265设置热点统计时间窗口。
进一步,参见图10所示,所述CDN边缘缓存节点200还包括与所述热点推送模块250相连的热点分发配置模块270,所述热点分发配置模块270包括:第一设置单元271(未图示),或/和第二设置单元272(未图示)。所述第一设置单元271设置各热点域名内各热点信息类型的热点内容的推送个数上限。第二设置单元272设置各热点域名内各热点信息类型的热点内容的推送字节数上限。本发明在对所述基于内容分发网络的热点统计及推送方法进行初始化时,会加载热点统计及热点分发的方式配置,包括热点域名列表、热点内容类型、热点统计更新周期、热点统计时间窗口、各热点域名内热点类型推送个数上限或字节数上限等等。
参见图11所示,所述基于内容分发网络的热点统计及推送系统100还包括所述CDN边缘缓存节点200下辖的至少1个客户端300,所述客户端300包括:热点代理配置模块310,热点请求生成模块320,热点请求发送模块330,热点缓存更新模块340。
所述热点代理配置模块310在所述客户端配置热点缓存代理方式。本发明可以配置热点缓存代理方式,实现为上层应用提供网络代理服务的功能。其中,热点缓存代理方式包括热点域名、热点内容类型和热点缓存更新周期。
所述热点请求生成模块320与所述热点代理配置模块310相连,根据所述客户端配置的热点缓存代理方式、访问网络类型、本地热点缓存,生成热点摘要信息。
所述热点请求发送模块330与所述热点请求生成模块320相连,将所述热点摘要信息附加到Web访问请求中发送。
所述热点缓存更新模块340接收所述客户端归属的CDN边缘缓存节点根据所述热点摘要信息推送的热点内容,更新本地缓存。所述客户端是根据自身发送的热点摘要信息启动更新本地热点缓存的。所述客户端负责对客户端本地的热点内容进行缓存管理,同时为上层应用提供缓存代理服务。本发明中,所述客户端首先接收上层应用的Web访问请求,然后判断Web访问请求的内容是否在本地热点缓存中命中,如果是,则将命中内容直接交付给上层应用,然后直接进入下一轮处理;如果否,则将Web访问请求转发给CDN边缘缓存节点,从CDN边缘缓存节点获取请求内容交付给上层应用。此外,本发明在转发Web访问请求时,首先判断本地热点缓存是否到了更新周期,如果是,则生成热点摘要信息附加到所述Web访问请求中,然后根据CDN边缘缓存节点的响应内容更新本地热点缓存。
进步一步,参见图12所示,所述热点代理配置模块310包括:关注对象设置单元311,关注类型设置单元312,热点更新设置单元313。所述关注对象设置单元311设置关注的热点域名;所述关注类型设置单元312设置关注的热点信息类型;所述热点更新设置单元313设置热点缓存的更新周期。
本发明针对既有方案(集中式热点统计及热点预取)中存在的不足(可用性不够高、实时性不足和缺乏区域化考虑),基于目前成熟稳定的内容分发网络(CDN),充分利用CDN的分布式集群、物理靠近访问用户、区域化服务等三大特性,在分布式网络边缘缓存节点中进行热点信息采集、热点内容统计及热点信息分发,并采用主动热点内容推送技术来进一步加速客户端对Web热点内容的访问。
综上所述,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (11)

1.一种基于内容分发网络的热点统计及推送方法,其特征在于,所述基于内容分发网络的热点统计及推送方法包括:
CDN边缘缓存节点实时读取自身下辖的客户端的Web访问请求,然后根据热点统计方式中配置的热点域名、热点类型,记录客户端Web访问请求行为,生成日志信息;
根据配置的热点统计方式,周期性地统计分析所述日志信息,提取出热点信息,并从源站服务器下载与所述热点信息对应且本地未缓存的热点内容;
在本地缓存与所述热点信息对应且本地未缓存的热点内容;
提取出客户端的Web访问请求,若所述Web访问请求的内容未缓存在本地,则从源站服务器下载所述Web访问请求的内容响应客户端,并在本地缓存所述Web访问请求的内容;否则直接从本地获取所述Web访问请求的内容响应客户端;
提取出客户端的Web访问请求附带的热点摘要信息,根据所述热点摘要信息和配置的热点分发方式,向对应客户端推送本地已缓存而客户端未缓存的与所述热点摘要信息对应的热点内容;所述热点摘要信息是客户端根据自身配置的热点缓存代理方式、访问网络类型和本地热点缓存生成并附加到Web访问请求中的。
2.根据权利要求1所述的基于内容分发网络的热点统计及推送方法,其特征在于,所述热点统计方式的配置方法包括:
以域名为单位进行热点统计;
添加、删除、修改参与热点统计的域名列表;
在域名内划分按照指定类型进行热点统计;
设置热点统计更新周期;或/和
设置热点统计时间窗口。
3.根据权利要求1所述的基于内容分发网络的热点统计及推送方法,其特征在于,所述热点分发方式的配置方法包括:
设置各热点域名内各热点信息类型的热点内容的推送个数上限;或/和
设置各热点域名内各热点信息类型的热点内容的推送字节数上限。
4.根据权利要求1所述的基于内容分发网络的热点统计及推送方法,其特征在于,所述基于内容分发网络的热点统计及推送方法还包括:
在下辖的客户端配置热点缓存代理方式;
所述客户端根据自身配置的热点缓存代理方式、访问网络类型、本地热点缓存,生成热点摘要信息;
所述客户端将所述热点摘要信息附加到Web访问请求中;
所述客户端接收自身归属的CDN边缘缓存节点根据所述热点摘要信息推送的热点内容,更新本地缓存。
5.根据权利要求4所述的基于内容分发网络的热点统计及推送方法,其特征在于,所述热点缓存代理方式的配置方法包:
设置关注的热点域名;
设置关注的热点信息类型;
设置热点缓存的更新周期。
6.一种基于内容分发网络的热点统计及推送系统,其特征在于,所述基于内容分发网络的热点统计及推送系统包括CDN边缘缓存节点,所述CDN边缘缓存节点包括:
热点采集模块,实时读取自身下辖的客户端的Web访问请求,然后根据热点统计方式中配置的热点域名、热点类型,记录客户端Web访问请求行为,生成日志信息;
热点更新模块,与所述热点采集模块相连,根据配置的热点统计方式,周期性地统计分析所述日志信息,提取出热点信息,并从源站服务器下载与所述热点信息对应且本地未缓存的热点内容;
请求响应模块,提取出客户端的Web访问请求,若所述Web访问请求的内容未缓存在本地,则从源站服务器下载所述Web访问请求的内容响应客户端,并在本地缓存所述Web访问请求的内容;否则直接从本地获取所述Web访问请求的内容响应客户端;
内容缓存模块,与所述热点更新模块和请求响应模块分别相连,在本地缓存由所述热点更新模块下载的热点内容,和由所述请求响应模块下载的Web访问请求的内容;
热点推送模块,与所述请求响应模块和内容缓存模块分别相连,提取出客户端的Web访问请求附带的热点摘要信息,根据所述热点摘要信息和配置的热点分发方式,向对应客户端推送本地已缓存而客户端未缓存的与所述热点摘要信息对应的热点内容;所述热点摘要信息是客户端根据自身配置的热点缓存代理方式、访问网络类型和本地热点缓存生成并附加到Web访问请求中的。
7.根据权利要求6所述的基于内容分发网络的热点统计及推送系统,其特征在于,所述CDN边缘缓存节点还包括与所述热点采集模块和热点更新模块分别相连的热点统计配置模块,所述热点统计配置模块包括:
统计设置单元,以域名为单位进行热点统计;
统计修改单元,添加、删除、修改参与热点统计的域名列表;
统计分类单元,在域名内划分按照指定类型进行热点统计;
统计周期单元,设置热点统计更新周期;或/和
统计窗口单元,设置热点统计时间窗口。
8.根据权利要求6所述的基于内容分发网络的热点统计及推送系统,其特征在于,所述CDN边缘缓存节点还包括与所述热点推送模块相连的热点分发配置模块,所述热点分发配置模块包括:
第一设置单元,设置各热点域名内各热点信息类型的热点内容的推送个数上限;或/和
第二设置单元,设置各热点域名内各热点信息类型的热点内容的推送字节数上限。
9.根据权利要求6所述的基于内容分发网络的热点统计及推送系统,其特征在于,所述基于内容分发网络的热点统计及推送系统还包括所述CDN边缘缓存节点下辖的至少1个客户端,所述客户端包括:
热点代理配置模块,在所述客户端配置热点缓存代理方式;
热点请求生成模块,与所述热点代理配置模块相连,根据所述客户端配置的热点缓存代理方式、访问网络类型、本地热点缓存,生成热点摘要信息;
热点请求发送模块,与所述热点请求生成模块相连,将所述热点摘要信息附加到Web访问请求中发送;
热点缓存更新模块,接收所述客户端归属的CDN边缘缓存节点根据所述热点摘要信息推送的热点内容,更新本地缓存。
10.根据权利要求9所述的基于内容分发网络的热点统计及推送系统,其特征在于,所述热点代理配置模块包括:
关注对象设置单元,设置关注的热点域名;
关注类型设置单元,设置关注的热点信息类型;
热点更新设置单元,设置热点缓存的更新周期。
11.一种基于内容分发网络的热点统计及推送系统,其特征在于,所述基于内容分发网络的热点统计及推送系统包括客户端,所述客户端包括:
热点代理配置模块,在所述客户端配置热点缓存代理方式;
热点请求生成模块,与所述热点代理配置模块相连,根据所述客户端配置的热点缓存代理方式、访问网络类型、本地热点缓存,生成热点摘要信息;
热点请求发送模块,与所述热点请求生成模块,将所述热点摘要信息附加到Web访问请求中发送;
热点缓存更新模块,接收所述客户端归属的CDN边缘缓存节点根据所述热点摘要信息推送的热点内容,更新本地缓存。
CN201510464547.1A 2015-07-31 2015-07-31 一种基于内容分发网络的热点统计及推送方法及系统 Active CN105072172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510464547.1A CN105072172B (zh) 2015-07-31 2015-07-31 一种基于内容分发网络的热点统计及推送方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510464547.1A CN105072172B (zh) 2015-07-31 2015-07-31 一种基于内容分发网络的热点统计及推送方法及系统

Publications (2)

Publication Number Publication Date
CN105072172A CN105072172A (zh) 2015-11-18
CN105072172B true CN105072172B (zh) 2019-03-19

Family

ID=54501451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510464547.1A Active CN105072172B (zh) 2015-07-31 2015-07-31 一种基于内容分发网络的热点统计及推送方法及系统

Country Status (1)

Country Link
CN (1) CN105072172B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407005B (zh) * 2015-12-09 2018-09-14 中国联合网络通信集团有限公司 内容分发方法及装置
CN105656997B (zh) * 2015-12-25 2019-08-09 中国科学院信息工程研究所 基于移动用户关系的热度缓存内容主动推送方法
CN107528866A (zh) * 2016-06-21 2017-12-29 中兴通讯股份有限公司 缓存处理方法及装置
CN106170023B (zh) * 2016-08-31 2019-04-26 网宿科技股份有限公司 一种网络资源的处理方法、装置、系统以及服务器
CN107707597A (zh) * 2017-04-26 2018-02-16 贵州白山云科技有限公司 一种突发热点访问均衡处理方法及装置
CN108984553B (zh) * 2017-06-01 2022-02-01 北京京东尚科信息技术有限公司 缓存方法和装置
CN108984433B (zh) * 2017-06-05 2023-11-03 华为技术有限公司 缓存数据控制方法及设备
CN107277125A (zh) * 2017-06-13 2017-10-20 网宿科技股份有限公司 文件预取指令推送方法、装置及文件预取系统
CN109257193A (zh) * 2017-07-11 2019-01-22 中国移动通信有限公司研究院 边缘缓存管理方法、个人云系统和计算机可读存储介质
CN107707621B (zh) * 2017-08-30 2018-07-20 贵州白山云科技有限公司 一种实现智能缓存的方法及装置
CN110035094B (zh) * 2018-01-11 2021-02-02 上海交通大学 一种基于人数统计的列车车载无线业务推送装置及分发方法
CN108551494A (zh) * 2018-01-30 2018-09-18 北京邮电大学 域名缓存方法及设备
CN108833468B (zh) * 2018-04-27 2021-05-11 广州西麦科技股份有限公司 基于移动边缘计算的视频处理方法、装置、设备及介质
CN110809167B (zh) * 2018-08-06 2022-06-03 中国移动通信有限公司研究院 一种视频播放方法、装置、电子设备及存储介质
CN109167828A (zh) * 2018-08-22 2019-01-08 杭州领智云画科技有限公司 Cdn缓存方法和系统
CN109684381A (zh) * 2018-12-20 2019-04-26 恒生电子股份有限公司 数据热度统计方法及装置
CN111371585A (zh) * 2018-12-26 2020-07-03 北京奇虎科技有限公司 用于cdn节点的配置方法及装置
CN109819039B (zh) * 2019-01-31 2022-04-19 网宿科技股份有限公司 一种文件获取方法、文件存储方法、服务器及存储介质
CN110086868B (zh) * 2019-04-25 2022-03-04 北京奇艺世纪科技有限公司 内容推送方法、装置及设备
CN112311826B (zh) * 2019-07-30 2022-05-03 贵州白山云科技股份有限公司 内容分发系统中访问请求的处理方法、装置及系统
CN110673957B (zh) * 2019-09-25 2020-08-14 上海岐素信息科技有限公司 一种健康大数据分析系统
WO2021159304A1 (en) * 2020-02-12 2021-08-19 Lenovo (Beijing) Limited Method and apparatus for controlling content caching in edge computing system
CN111464629B (zh) * 2020-03-31 2022-08-02 中国建设银行股份有限公司 热点数据确定方法及装置
CN112076464B (zh) * 2020-09-04 2022-06-21 腾讯科技(深圳)有限公司 一种数据请求处理方法、装置、计算机设备及存储介质
CN112269837A (zh) * 2020-11-17 2021-01-26 珠海大横琴科技发展有限公司 一种数据处理的方法和装置
CN116527756B (zh) * 2023-05-04 2023-10-20 杭州元媒科技有限公司 一种基于无线移动通信网络的新闻内容分发系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883012A (zh) * 2010-07-09 2010-11-10 四川长虹电器股份有限公司 一种对网络边缘节点中存储资源的处理方法
CN102195957A (zh) * 2010-03-19 2011-09-21 华为技术有限公司 一种资源共享方法、装置及系统
CN102595207A (zh) * 2012-01-10 2012-07-18 深圳市同洲视讯传媒有限公司 一种内容分发系统、内容分发方法及内容分发装置
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN103905527A (zh) * 2014-03-05 2014-07-02 深圳市同洲电子股份有限公司 一种内容分发方法及相关设备、系统
CN103974138A (zh) * 2014-04-15 2014-08-06 上海聚力传媒技术有限公司 用于在内容分发网络中预加载视频的方法与设备
CN104683318A (zh) * 2013-12-03 2015-06-03 中国科学院声学研究所 一种边缘流媒体服务器缓存选择方法与系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102195957A (zh) * 2010-03-19 2011-09-21 华为技术有限公司 一种资源共享方法、装置及系统
CN101883012A (zh) * 2010-07-09 2010-11-10 四川长虹电器股份有限公司 一种对网络边缘节点中存储资源的处理方法
CN102595207A (zh) * 2012-01-10 2012-07-18 深圳市同洲视讯传媒有限公司 一种内容分发系统、内容分发方法及内容分发装置
CN103312776A (zh) * 2013-05-08 2013-09-18 青岛海信传媒网络技术有限公司 边缘节点服务器缓存视频的内容的方法和装置
CN104683318A (zh) * 2013-12-03 2015-06-03 中国科学院声学研究所 一种边缘流媒体服务器缓存选择方法与系统
CN103905527A (zh) * 2014-03-05 2014-07-02 深圳市同洲电子股份有限公司 一种内容分发方法及相关设备、系统
CN103974138A (zh) * 2014-04-15 2014-08-06 上海聚力传媒技术有限公司 用于在内容分发网络中预加载视频的方法与设备

Also Published As

Publication number Publication date
CN105072172A (zh) 2015-11-18

Similar Documents

Publication Publication Date Title
CN105072172B (zh) 一种基于内容分发网络的热点统计及推送方法及系统
CN104618506B (zh) 一种众包的内容分发网络系统、方法与装置
CN104834722B (zh) 基于cdn的内容管理系统
CN104683485B (zh) 一种基于c‑ran的互联网内容缓存预加载方法和系统
CN102546608B (zh) 用于同步播放媒体信息的方法、装置、设备和系统
CN100388788C (zh) 一种性能优化的移动视频点播业务系统及实现方法
CN104539681B (zh) 分布式gis加速系统和gis服务的处理方法
CN107251525A (zh) 用于支持移动设备用户的预测内容预取服务的分布式服务器架构
CN108549719A (zh) 一种移动边缘计算网络中基于聚类的自适应缓存方法
CN107251524A (zh) 管理预测预取内容的移动设备用户订购和服务偏好
CN109756757A (zh) 直播数据处理方法及装置、直播方法及装置和直播服务器
CN104320410A (zh) 基于http的全业务cdn系统及其工作方法
CN106850589A (zh) 一种管控云计算终端和云服务器运作的方法和装置
CN102984203B (zh) 基于云计算的提高缓存设备利用率的方法、装置及系统
CN102055771B (zh) 面向云服务的多并发业务流控制装置及控制方法
CN103546771B (zh) 一种基于智能终端的电视节目评论处理方法及系统
CN106791889A (zh) 一种视频处理方法及系统、分布式对象存储系统
CN101009568A (zh) 一种p2p网络中实现数据下载的方法及系统
US20150244791A1 (en) System and method of delivering data that provides service differentiation and monetization in mobile data networks
CN109218362A (zh) 一种互联网内容分发方法、装置和系统
CN106789956B (zh) 一种基于hls的p2p点播方法及系统
CN105872856A (zh) 一种流媒体文件分发方法及系统
CN106066877A (zh) 一种异步更新数据的方法及系统
CN103825916B (zh) 一种资源下载方法及系统
CN104301171A (zh) 一种基于dns权威服务器的网络性能测量方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant