CN107277125A - 文件预取指令推送方法、装置及文件预取系统 - Google Patents
文件预取指令推送方法、装置及文件预取系统 Download PDFInfo
- Publication number
- CN107277125A CN107277125A CN201710443155.6A CN201710443155A CN107277125A CN 107277125 A CN107277125 A CN 107277125A CN 201710443155 A CN201710443155 A CN 201710443155A CN 107277125 A CN107277125 A CN 107277125A
- Authority
- CN
- China
- Prior art keywords
- file
- prefetched
- instruction
- prefetched instruction
- fringe node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5681—Pre-fetching or pre-delivering data based on network characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种文件预取指令推送方法、装置以及文件预取系统。该文件预取指令推送方法,包括:收集边缘节点的用户访问日志;根据预定的统计分析规则对所述用户访问日志进行基于需求预测的统计分析,确定需要被预取的文件列表;以及根据所述文件列表生成预取指令,并将所述预取指令推送给所述边缘节点。其能够使边缘节点提前预取用户可能会访问的文件,以使边缘节点能够对用户的访问请求进行快速地响应,提升了服务质量。
Description
技术领域
本发明主要涉及网络加速领域,尤其涉及一种文件预取指令推送方法、装置及文件预取系统。
背景技术
在现有的网络加速技术中,例如内容分发网络(Content Delivery Network,CDN)技术,将资源预加载到边缘节点是一种重要的加速方法。CDN业务经常会提前对文件进行预取,但是否触发预取一般需要人工参与判断,即由人工或者半自动地将推送指令提前发送到指定的边缘节点,边缘节点再根据推送指令拉取需要预取的数据。由于网络上的时事热点变化迅速,又由于现有的文件预取技术需要人工参与,无法做到实时地对用户的行为做出预测,也就无法将新出现的时事热点相关的文件提前缓存到边缘节点。这就导致了对于没有被预取、但又比较热门的文件,边缘节点在用户访问的时候需要从源服务器拉取文件,增加了边缘节点的响应时间,降低了用户体验。
发明内容
本发明要解决的技术问题是提供一种文件预取指令推送方法、装置以及文件预取系统,其能够使边缘节点提前预取用户可能会访问的文件,以使边缘节点能够对用户的访问请求进行快速地响应,提升了服务质量。
为解决上述技术问题,本发明的一方面提供了一种文件预取指令推送方法,包括:收集边缘节点的用户访问日志;根据预定的统计分析规则对所述用户访问日志进行基于需求预测的统计分析,确定需要被预取的文件列表;以及根据所述文件列表生成预取指令,并将所述预取指令推送给所述边缘节点。
在本发明的一实施例中,所述统计分析规则包括:文件未被所述边缘节点缓存;以及文件的访问频率排名在预定名次内,或文件的访问频率上升速度在预定名次内。
在本发明的一实施例中,所述统计分析规则还包括如下的一个或多个:文件回源节点指向自有源或父节点;文件未被标记为已推送或准备推送;以及文件符合预定义的预取规则。
在本发明的一实施例中,所述预取规则包括如下的一个或多个:只预取图片文件;只预取视频文件;以及只预取文件的前一部分的数据。
在本发明的一实施例中,所述根据所述文件列表生成预取指令的步骤包括:判断所述文件列表中的文件是否已经被预取;根据未被预取的文件生成所述预取指令。
在本发明的一实施例中,所述根据所述文件列表生成预取指令的步骤还包括:对所述未被预取的文件标记过期时间。
本发明的另一方面提供了一种文件预取指令推送装置,包括:数据收集组件,用于收集边缘节点的用户访问日志;统计分析组件,用于根据预定的统计分析规则对所述用户访问日志进行基于需求预测的统计分析,确定需要被预取的文件列表;以及预取指令推送组件,用于根据所述文件列表生成预取指令,并将所述预取指令推送给所述边缘节点。
在本发明的一实施例中,所述统计分析规则包括:文件未被所述边缘节点缓存;以及文件的访问频率排名在预定名次内,或文件的访问频率上升速度在预定名次内。
在本发明的一实施例中,所述统计分析规则还包括如下的一个或多个:文件回源节点指向自有源或父节点;文件未被标记为已推送或准备推送;以及文件符合预定义的预取规则。
在本发明的一实施例中,所述预取规则包括如下的一个或多个:只预取图片文件;只预取视频文件;以及只预取文件的前一部分的数据。
在本发明的一实施例中,所述预取指令推送组件用于判断所述文件列表中的文件是否已经被预取,并根据未被预取的文件生成所述预取指令。
在本发明的一实施例中,所述预取指令推送组件还用于对所述未被预取的文件标记过期时间。
本发明的另一方面提供了一种文件预取指令推送装置,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机指令,其特征在于,所述处理器执行所述计算机指令时实现如上所述的方法。
本发明的另一方面提供了一种计算机可读存储介质,其上存储有计算机指令,其中当计算机指令被处理器执行时,执行如上所述的方法。
本发明的另一方面提供了一种文件预取系统,包括:资源中心,存储有资源文件;如上所述的文件预取指令推送装置;边缘节点,用于接收所述预取指令,并根据所述预取指令从所述资源中心预取文件。
与现有技术相比,本发明具有以下优点:
本发明的文件预取指令推送方法、装置对边缘节点的用户访问日志进行了统计分析,以确定出用户将来可能会访问的文件列表,基于该文件列表生成预取指令,并将该预取指令推送给边缘节点,以使边缘节点提前将用户将来可能会访问的文件预取到其内的存储器中,以在用户访问时能够进行快速地响应,提升服务质量。
附图说明
图1是现有的网络加速系统的基本架构图。
图2是本发明一实施例的网络加速系统的基本架构图。
图3是本发明一实施例的文件预取指令推送方法的基本流程图。
图4是本发明一实施例的文件预取指令推送装置的基本结构图。
图5是本发明一实施例的计算机可读存储介质的示意图。
图6是本发明另一实施例的文件预取系统的功能模块示意图。
图7是本发明一实施例的统计分析组件的模块示意图。
具体实施方式
为让本发明的上述目的、特征和优点能更明显易懂,以下结合附图对本发明的具体实施方式作详细说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其它不同于在此描述的其它方式来实施,因此本发明不受下面公开的具体实施例的限制。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
图1是现有的网络加速系统的基本架构图。请参考图1,网络加速系统10主要由文件预取系统100和网域名称系统(Domain Name System,DNS)服务器200构成。文件预取系统100包括资源中心110和多个边缘节点120。资源中心110是一个数据存储中心,用于存储供用户设备(User Equipment,UE)300访问的资源文件。边缘节点120用于将资源中心110的资源文件预取到其内的存储器中进行缓存,以在接收到用户设备300的访问请求时,将请求的资源文件发送给用户设备300。多个边缘节点120可以布置于多个不同区域,为简单起见,在图1中仅示出了区域A和区域B两个区域。在区域A中可以包括多个边缘节点120-1a,120-2a,…,120-na,在区域B中可以包括多个边缘节点120-1b,120-2b,…,120-mb,其中n、m为自然数。上述的区域A、B可以是国、省、市或者以其它方式划分的区块。DNS服务器200用于将用户设备300的域名解析请求中的域名转换为对应的网际协议地址(Internet ProtocolAddress,IP地址),并将IP地址返回给用户设备300。
当用户设备300发起访问时,首先会发送域名解析请求给DNS服务器200,DNS服务器200会返回用户设备300访问延迟最小的边缘节点120的IP地址;而后,用户设备300会根据返回的IP地址,向相应的边缘节点120发送访问请求,以获取所需的文件。如果边缘节点120缓存有该文件,边缘节点120则将该文件发送给用户设备300;如果边缘节点120没有缓存该文件,边缘节点120则会向资源中心110拉取该文件,并在拉取回该文件后,再将该文件发送给用户设备300。由此可见,在边缘节点120缓存有用户设备300所需的文件时,能够快速地将该文件发送给用户设备300;在边缘节点120没有缓存用户设备300所需的文件时,边缘节点120需要返回到资源中心110拉取该文件后,再返回给用户设备300。由于如背景技术中所介绍的,现有的网络加速系统10无法将新出现的时事热点相关的文件提前缓存到边缘节点120,这就增加了边缘节点120的响应时间,降低了用户体验。
为了克服上述现有技术的缺陷,本发明提出了一种能够快速响应用户访问的网络加速系统20,其基本架构请参考图2。相对于现有的网络加速系统10,网络加速系统20的文件预取系统101还包括文件预取指令推送装置130。文件预取指令推送装置130用于根据边缘节点120(如边缘节点120-1a,120-1b)的用户访问日志进行基于需求预测的统计分析,确定对一个或多个资源文件的预取指令,并将预取指令发送给边缘节点120,以使边缘节点120根据该预取指令从资源中心110预取资源文件。如此,使文件预取系统101可以事先应对用户将来的访问行为,加快边缘节点120的响应时间,提升用户体验。可以理解,文件预取指令推送装置130可以如图2所示的是一个单独的装置,也可以是资源中心110或其它装置内的一个单元,本发明对其的具体形态、布置方式并不加以限制。
图3是本发明一实施例的文件预取指令推送方法的基本流程图。请结合参考图3和图2,文件预取指令推送方法30包括:
步骤31:收集边缘节点的用户访问日志;
步骤32:根据预定的统计分析规则对用户访问日志进行基于需求预测的统计分析,确定需要被预取的文件列表;以及
步骤33:根据文件列表生成预取指令,并将预取指令推送给边缘节点。
上述文件预取指令推送方法30可以由文件预取指令推送装置130实施。文件预取指令推送装置130可以在无需人工干预的情况下,自动地执行文件预取指令推送方法30以产生边缘节点120所需的预取指令。
在步骤31中,可以收集全部边缘节点120的用户访问日志,也可以仅收集部分边缘节点120的用户访问日志,例如仅收集区域A内的边缘节点120-1a,120-2a,…,120-na中全部或部分边缘节点的用户访问日志,仅收集区域B内的边缘节点120-1b,120-2b,…,120-mb中全部或部分边缘节点的用户访问日志,或者收集区域A中部分边缘节点120和区域B中部分边缘节点120的用户访问日志。优选的,在收集完用户访问日志后,还对用户访问日志进行汇总压缩,并将汇总压缩后的用户访问日志发送到指定位置。优选的,指定位置是一个共享的存储点。
在步骤32中,需要被预取的文件列表是指未被边缘节点120缓存,且用户设备300将来可能会访问的一个或多个文件构成的列表,例如url列表。相应的,统计分析规则可以包括:文件未被边缘节点120缓存;以及文件的访问频率排名在预定名次内,或文件的访问频率上升速度在预定名次内。优选的,文件的访问频率排名在预定名次内可以是在指定时间范围内,同地区内多个边缘节点120被请求访问最多的文件的前几名,例如前10万名;文件的访问频率上升速度在预定名次内可以是在指定时间范围内,同地区内多个边缘节点120被请求访问次数上升最快的文件的前几名,例如前10万名。需要说明的是,在判断文件是否被边缘节点120缓存时,需要对多个边缘节点120中的每个都进行判断,并针对每个边缘节点120确定其是否缓存该文件,即针对每个边缘节点120都确定一个是否缓存的标志。
此外,统计分析规则还可以包括如下的一个或多个:文件回源节点指向自有源或父节点;文件未被标记为已推送或准备推送;以及文件符合预定义的预取规则。其中,预取规则可以包括如下的一个或多个:只预取图片文件;只预取视频文件;以及只预取文件的前一部分的数据,例如大文件只预取前100M的数据。对于大文件而言,仅预取其前一部分的数据,即实行部分缓存策略,可以节省边缘节点120的存储空间。同样需要说明的是,上述统计分析规则可以针对多个边缘节点120分别设置,即不同的边缘节点120可以使用不同的统计分析规则。类似地,不同的边缘节点120可以使用不同的预取规则。
在步骤33中,根据文件列表生成预取指令步骤可以包括:判断文件列表中的文件是否已经被预取;根据未被预取的文件生成预取指令。如此,可以在推送预取指令前再次确认文件是否已经被预取,可以避免在确定需要被预取的文件列表之后,生成预取指令之前的这段时间内,某些文件已经被预取,而生成的预取指令还包含已经被预取的文件的情形发生。优选的,在生成预取指令的步骤还包括对未被预取的文件标记过期时间的子步骤。可以理解,可以对每个未被预取的文件单独标记过期时间,也可以针对所有未被预取的文件统一标志一个过期时间。
需要说明的是,在步骤33中将预取指令推送给边缘节点120,可以是将预取指令推送给所有的边缘节点120,即全网推送;也可以仅将预取指令推送给部分的边缘节点120,例如推送给某一区域内的边缘节点120(区域推送)。优选的,在仅收集一个区域内的边缘节点120的用户访问日志时,可以仅将预取指令推送给该区域内的所有边缘节点120。这是由于根据一个区域的边缘节点120的用户访问日志所确定出的访问热点,通常与该区域的热点事件相关,会关注该热点事件的用户通常也在该区域内,在将预取指令推送给该区域内的边缘节点120,边缘节点120预取文件后,即可对该区域用户的访问请求进行快速地响应。
在一实施例中,文件预取指令推送装置130可以是计算机设备,例如一服务器或服务器群,其基本结构如图4所示。文件预取指令推送装置130包括存储器132、处理器131以及存储在存储器上并可在处理器上运行的计算机指令,当处理器131执行计算机指令时实现如上所述的方法。
图5是本发明一实施例的计算机可读存储介质的示意图。计算机可读存储介质40其上存储有计算机指令,其中当计算机指令被处理器执行时,实现如上所述的方法。
图6是本发明另一实施例的文件预取系统的功能模块示意图。请参考图6,文件预取系统500包括资源中心510、多个边缘节点520和文件预取指令推送装置530。与图2所示出的实施例相同,资源中心510是一个数据存储中心,用于存储供用户设备300(300-1,300-2,…,300-p,其中p为自然数)访问的资源文件。边缘节点520用于将资源中心510的资源文件预取到其内的存储器中进行缓存,以在接收到用户设备300的访问请求时,将请求的资源文件发送给用户设备300。此外,边缘节点520还具有预取指令接收和执行组件,用于接收文件预取指令推送装置530所推送的文件预取指令,并根据该文件预取指令从资源中心510预取资源文件。多个边缘节点520(520-1,…,520-q,其中q为自然数)可以布置于多个不同区域。文件预取指令推送装置530用于根据边缘节点520的用户访问日志确定预取指令,并将预取指令发送给边缘节点520,以使边缘节点520根据该预取指令从资源中心510预取资源文件。
文件预取指令推送装置530包括数据收集组件531、统计分析组件532和预取指令推送组件533。
数据收集组件531用于收集边缘节点520的用户访问日志,其可以收集全部边缘节点520的用户访问日志,也可以仅收集部分边缘节点520的用户访问日志。优选的,在收集完用户访问日志后,数据收集组件531还对用户访问日志进行汇总压缩,并将汇总压缩后的用户访问日志发送到指定位置。优选的,指定位置是一个共享的存储点。
统计分析组件532用于根据预定的统计分析规则对用户访问日志进行统计分析,确定需要被预取的文件列表。需要被预取的文件列表是指未被边缘节点520缓存,且用户设备300将来可能会访问的一个或多个文件构成的列表,例如url列表。相应的,统计分析规则可以包括:文件未被边缘节点520缓存;以及文件的访问频率排名在预定名次内,或文件的访问频率上升速度在预定名次内。优选的,文件的访问频率排名在预定名次内可以是在指定时间范围内,同地区内多个边缘节点520被请求访问最多的文件的前几名,例如前10万名;文件的访问频率上升速度在预定名次内可以是在指定时间范围内,同地区内多个边缘节点120被请求访问次数上升最快的文件的前几名,例如前10万名。需要说明的是,在判断文件是否被边缘节点520缓存时,需要对多个边缘节点520中的每个都进行判断,并针对每个边缘节点520确定其是否缓存该文件,即针对每个边缘节点520都确定一个是否缓存的标志;或者,若有一个边缘节点520未缓存,即视为文件未被边缘节点520缓存,即针对多个边缘节点520仅确定一个是否缓存的标志。
此外,统计分析规则还可以包括如下的一个或多个:文件回源节点指向自有源或父节点;文件未被标记为已推送或准备推送;以及文件符合预定义的预取规则。其中,预取规则可以包括如下的一个或多个:只预取图片文件;只预取视频文件;以及只预取文件的前一部分的数据,例如大文件只预取前100M的数据。对于大文件而言,仅预取其前一部分的数据,即实行部分缓存策略,可以节点边缘节点520的存储空间。同样需要说明的是,上述统计分析规则可以针对多个边缘节点520分别设置,即不同的边缘节点520可以使用不同的统计分析规则。类似地,不同的边缘节点520可以使用不同的预取规则。
图7是本发明一实施例的统计分析组件的模块示意图。请参考图7,统计分析组件532包括数据读入模块532a、统计计算模块532b、结果输出模块532c和规则配置模块532d。数据读入模块532a用于读取数据收集组件531收集的用户访问日志。统计计算模块532b用于统计分析数据读入模块532a读取的用户访问日志,以统计在指定时段内每一个文件的访问次数,根据预定的统计分析规则确定需要被预取的文件列表,并将该文件列表以及预取规则发送给结果输出模块532c。结果输出模块532c根据接收的文件列表以及预取规则确定出最终需要被预取的文件列表,并将该最终的文件列表发送给预取指令推送组件533。规则配置模块532d用于配置统计分析规则。
预取指令推送组件533用于根据文件列表生成预取指令,并将预取指令推送给边缘节点。举例而言,预取指令推送组件533首先判断文件列表中的文件是否已经被预取;再根据未被预取的文件生成预取指令。如此,可以在推送预取指令前再次确认文件是否已经被预取,可以避免在确定需要被预取的文件列表之后,生成预取指令之前的这段时间内,某些文件已经被预取,而生成的预取指令还包含已经被预取的文件的情形发生。优选的,预取指令推送组件533还用于对未被预取的文件标记过期时间。可以理解,可以对每个未被预取的文件单独标记过期时间,也可以针对所有未被预取的文件统一标志一个过期时间。
需要说明的是,预取指令推送组件533将预取指令推送给边缘节点,可以是将预取指令推送给所有的边缘节点520,即全网推送;也可以仅将预取指令推送给部分的边缘节点520,例如推送给某一区域内的边缘节点520(区域推送)。优选的,在仅收集一个区域内的边缘节点520的用户访问日志时,可以仅将预取指令推送给该区域内的所有边缘节点520。这是由于根据一个区域的边缘节点520的用户访问日志所确定出的访问热点,通常与该区域的热点事件相关,会关注该热点事件的用户通常也在该区域内,在将预取指令推送给该区域内的边缘节点520,边缘节点520预取文件后,即可对该区域用户的访问请求进行快速地响应。
本领域技术人员将进一步领会,结合本文中所公开的实施例来描述的各种解说性逻辑板块、模块、电路、和算法步骤可实现为电子硬件、计算机软件、或这两者的组合。为清楚地解说硬件与软件的这一可互换性,各种解说性组件、框、模块、电路、和步骤在上面是以其功能性的形式作一般化描述的。此类功能性是被实现为硬件还是软件取决于具体应用和施加于整体系统的设计约束。技术人员对于每种特定应用可用不同的方式来实现所描述的功能性,但这样的实现决策不应被解读成导致脱离了本发明的范围。
结合本文所公开的实施例描述的各种解说性逻辑模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器,但在替换方案中,该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合,例如DSP与微处理器的组合、多个微处理器、与DSP核心协作的一个或多个微处理器、或任何其他此类配置。
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其他形式的存储介质中。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读取和写入信息。在替换方案中,存储介质可以被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在用户终端中。在替换方案中,处理器和存储介质可作为分立组件驻留在用户终端中。
在一个或多个示例性实施例中,所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现为计算机程序产品,则各功能可以作为一条或更多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者,其包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定,这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或能被用来携带或存储指令或数据结构形式的合意程序代码且能被计算机访问的任何其它介质。任何连接也被正当地称为计算机可读介质。例如,如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波之类的无线技术从web网站、服务器、或其它远程源传送而来,则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波之类的无线技术就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘和蓝光碟,其中盘(disk)往往以磁的方式再现数据,而碟(disc)用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。
虽然本发明已参照当前的具体实施例来描述,但是本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本发明,在没有脱离本发明精神的情况下还可作出各种等效的变化或替换,因此,只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。
Claims (15)
1.一种文件预取指令推送方法,包括:
收集边缘节点的用户访问日志;
根据预定的统计分析规则对所述用户访问日志进行基于需求预测的统计分析,确定需要被预取的文件列表;以及
根据所述文件列表生成预取指令,并将所述预取指令推送给所述边缘节点。
2.根据权利要求1所述的方法,其特征在于,所述统计分析规则包括:
文件未被所述边缘节点缓存;以及
文件的访问频率排名在预定名次内,或文件的访问频率上升速度在预定名次内。
3.根据权利要求2所述的方法,其特征在于,所述统计分析规则还包括如下的一个或多个:
文件回源节点指向自有源或父节点;
文件未被标记为已推送或准备推送;以及
文件符合预定义的预取规则。
4.根据权利要求3所述的方法,其特征在于,所述预取规则包括如下的一个或多个:
只预取图片文件;
只预取视频文件;以及
只预取文件的前一部分的数据。
5.根据权利要求1所述的方法,其特征在于,所述根据所述文件列表生成预取指令的步骤包括:判断所述文件列表中的文件是否已经被预取;根据未被预取的文件生成所述预取指令。
6.根据权利要求5所述的方法,其特征在于,所述根据所述文件列表生成预取指令的步骤还包括:对所述未被预取的文件标记过期时间。
7.一种文件预取指令推送装置,包括:
数据收集组件,用于收集边缘节点的用户访问日志;
统计分析组件,用于根据预定的统计分析规则对所述用户访问日志进行基于需求预测的统计分析,确定需要被预取的文件列表;以及
预取指令推送组件,用于根据所述文件列表生成预取指令,并将所述预取指令推送给所述边缘节点。
8.根据权利要求7所述的装置,其特征在于,所述统计分析规则包括:
文件未被所述边缘节点缓存;以及
文件的访问频率排名在预定名次内,或文件的访问频率上升速度在预定名次内。
9.根据权利要求8所述的装置,其特征在于,所述统计分析规则还包括如下的一个或多个:
文件回源节点指向自有源或父节点;
文件未被标记为已推送或准备推送;以及
文件符合预定义的预取规则。
10.根据权利要求9所述的装置,其特征在于,所述预取规则包括如下的一个或多个:
只预取图片文件;
只预取视频文件;以及
只预取文件的前一部分的数据。
11.根据权利要求7所述的装置,其特征在于,所述预取指令推送组件用于判断所述文件列表中的文件是否已经被预取,并根据未被预取的文件生成所述预取指令。
12.根据权利要求11所述的装置,其特征在于,所述预取指令推送组件还用于对所述未被预取的文件标记过期时间。
13.一种文件预取指令推送装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机指令,其特征在于,所述处理器执行所述计算机指令时实现如权利要求1至6中任一项所述的方法。
14.一种计算机可读存储介质,其上存储有计算机指令,其中当计算机指令被处理器执行时,执行如权利要求1至6中任一项所述的方法。
15.一种文件预取系统,包括:
资源中心,存储有资源文件;
如权利要求7至13中任一项所述的文件预取指令推送装置;
边缘节点,用于接收所述预取指令,并根据所述预取指令从所述资源中心预取文件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710443155.6A CN107277125A (zh) | 2017-06-13 | 2017-06-13 | 文件预取指令推送方法、装置及文件预取系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710443155.6A CN107277125A (zh) | 2017-06-13 | 2017-06-13 | 文件预取指令推送方法、装置及文件预取系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107277125A true CN107277125A (zh) | 2017-10-20 |
Family
ID=60067500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710443155.6A Pending CN107277125A (zh) | 2017-06-13 | 2017-06-13 | 文件预取指令推送方法、装置及文件预取系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107277125A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110324366A (zh) * | 2018-03-28 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
CN110582007A (zh) * | 2018-06-08 | 2019-12-17 | 阿里巴巴集团控股有限公司 | 多媒体数据预热的方法、装置和系统 |
CN111708622A (zh) * | 2020-05-28 | 2020-09-25 | 山东云海国创云计算装备产业创新中心有限公司 | 一种指令组调度方法、架构、设备及存储介质 |
CN112241413A (zh) * | 2019-07-18 | 2021-01-19 | 腾讯科技(深圳)有限公司 | 一种预推内容管理方法、装置及计算机设备 |
CN113037872A (zh) * | 2021-05-20 | 2021-06-25 | 杭州雅观科技有限公司 | 一种基于物联网多级边缘节点的缓存和预取方法 |
CN114827256A (zh) * | 2022-05-09 | 2022-07-29 | 北京奇艺世纪科技有限公司 | 数据预推送方法、数据下载方法及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7340510B1 (en) * | 2003-11-18 | 2008-03-04 | Cisco Technology, Inc. | Content delivery network (CDN) replication status reporter |
CN102404378A (zh) * | 2010-09-07 | 2012-04-04 | 成都索贝数码科技股份有限公司 | 一种流媒体分发传输网络系统 |
CN102546786A (zh) * | 2011-12-29 | 2012-07-04 | 中兴通讯股份有限公司 | 内容分发网络中多媒体文件变长存取的方法和系统 |
CN102662690A (zh) * | 2012-03-14 | 2012-09-12 | 腾讯科技(深圳)有限公司 | 应用程序启动方法和装置 |
CN103096126A (zh) * | 2012-12-28 | 2013-05-08 | 中国科学院计算技术研究所 | 协作式缓存集群中面向视频点播服务的协作式缓存方法及系统 |
CN103338249A (zh) * | 2013-06-26 | 2013-10-02 | 优视科技有限公司 | 缓存方法及装置 |
CN103747049A (zh) * | 2013-12-24 | 2014-04-23 | 乐视网信息技术(北京)股份有限公司 | 一种cdn文件分发方法、控制中心及系统 |
CN105072172A (zh) * | 2015-07-31 | 2015-11-18 | 网宿科技股份有限公司 | 一种基于内容分发网络的热点统计及推送方法及系统 |
CN105574008A (zh) * | 2014-10-11 | 2016-05-11 | 华为技术有限公司 | 应用于分布式文件系统的任务调度方法和设备 |
CN106657421A (zh) * | 2017-03-15 | 2017-05-10 | 网宿科技股份有限公司 | 一种文件预取方法和系统 |
-
2017
- 2017-06-13 CN CN201710443155.6A patent/CN107277125A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7340510B1 (en) * | 2003-11-18 | 2008-03-04 | Cisco Technology, Inc. | Content delivery network (CDN) replication status reporter |
CN102404378A (zh) * | 2010-09-07 | 2012-04-04 | 成都索贝数码科技股份有限公司 | 一种流媒体分发传输网络系统 |
CN102546786A (zh) * | 2011-12-29 | 2012-07-04 | 中兴通讯股份有限公司 | 内容分发网络中多媒体文件变长存取的方法和系统 |
CN102662690A (zh) * | 2012-03-14 | 2012-09-12 | 腾讯科技(深圳)有限公司 | 应用程序启动方法和装置 |
CN103096126A (zh) * | 2012-12-28 | 2013-05-08 | 中国科学院计算技术研究所 | 协作式缓存集群中面向视频点播服务的协作式缓存方法及系统 |
CN103338249A (zh) * | 2013-06-26 | 2013-10-02 | 优视科技有限公司 | 缓存方法及装置 |
CN103747049A (zh) * | 2013-12-24 | 2014-04-23 | 乐视网信息技术(北京)股份有限公司 | 一种cdn文件分发方法、控制中心及系统 |
CN105574008A (zh) * | 2014-10-11 | 2016-05-11 | 华为技术有限公司 | 应用于分布式文件系统的任务调度方法和设备 |
CN105072172A (zh) * | 2015-07-31 | 2015-11-18 | 网宿科技股份有限公司 | 一种基于内容分发网络的热点统计及推送方法及系统 |
CN106657421A (zh) * | 2017-03-15 | 2017-05-10 | 网宿科技股份有限公司 | 一种文件预取方法和系统 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110324366A (zh) * | 2018-03-28 | 2019-10-11 | 阿里巴巴集团控股有限公司 | 数据处理方法、装置及系统 |
CN110582007A (zh) * | 2018-06-08 | 2019-12-17 | 阿里巴巴集团控股有限公司 | 多媒体数据预热的方法、装置和系统 |
CN110582007B (zh) * | 2018-06-08 | 2022-04-15 | 阿里巴巴集团控股有限公司 | 多媒体数据预热的方法、装置、系统和存储介质 |
CN112241413A (zh) * | 2019-07-18 | 2021-01-19 | 腾讯科技(深圳)有限公司 | 一种预推内容管理方法、装置及计算机设备 |
CN111708622A (zh) * | 2020-05-28 | 2020-09-25 | 山东云海国创云计算装备产业创新中心有限公司 | 一种指令组调度方法、架构、设备及存储介质 |
CN111708622B (zh) * | 2020-05-28 | 2022-06-10 | 山东云海国创云计算装备产业创新中心有限公司 | 一种指令组调度方法、架构、设备及存储介质 |
CN113037872A (zh) * | 2021-05-20 | 2021-06-25 | 杭州雅观科技有限公司 | 一种基于物联网多级边缘节点的缓存和预取方法 |
CN114827256A (zh) * | 2022-05-09 | 2022-07-29 | 北京奇艺世纪科技有限公司 | 数据预推送方法、数据下载方法及系统 |
CN114827256B (zh) * | 2022-05-09 | 2023-12-15 | 北京奇艺世纪科技有限公司 | 数据预推送方法、数据下载方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107277125A (zh) | 文件预取指令推送方法、装置及文件预取系统 | |
US10313463B2 (en) | Systems and methods for avoiding server push of objects already cached at a client | |
CN103329113B (zh) | 配置用于分级高速缓存的代理服务器以及动态站点加速和自定义对象和相关的方法 | |
CN108574685B (zh) | 一种流媒体推送方法、装置及系统 | |
US8639748B2 (en) | Optimized content distribution based on metrics derived from the end user | |
JP6073366B2 (ja) | アプリケーション駆動のcdnのプリキャッシング | |
US10291738B1 (en) | Speculative prefetch of resources across page loads | |
CN105049466B (zh) | 处理内容对象的方法 | |
US8639780B2 (en) | Optimizing multi-hit caching for long tail content | |
CN102301682B (zh) | 网络缓存方法和系统及dns重定向子系统 | |
CN104468807B (zh) | 进行网页缓存的处理方法、云端装置、本地装置及系统 | |
US10812580B2 (en) | Using resource timing data for server push | |
CN111614736A (zh) | 网络内容资源调度方法、域名调度服务器及电子设备 | |
JP2013514565A (ja) | 権利者向けデータのキャッシュ管理法 | |
US8838725B2 (en) | Internet cache subscription for wireless mobile users | |
CN111459986B (zh) | 数据计算系统及方法 | |
US10133673B2 (en) | Cache optimization based on predictive routing | |
CN105897850A (zh) | 用于cdn平台的响应处理方法、调度代理服务器及系统 | |
CN111782692B (zh) | 一种频率控制方法及装置 | |
CN103139278A (zh) | 一种网络资源预取并缓存加速的方法及其装置 | |
US10171571B2 (en) | Determining and assigning a default value to a current server response if the current server response is not received from the server within a time-limit | |
CN109246240A (zh) | 一种融合ccn的移动网络内容预缓存方法 | |
EP2901658B1 (en) | Request-agnostic caching for a data resource collection | |
US20190340135A1 (en) | Cache eviction scheme for acceptable substitutes in online media | |
Reiffers-Masson et al. | Timelines are publisher-driven caches: Analyzing and shaping timeline networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171020 |