CN113542420B - 热点文件的处理方法、装置、电子设备和介质 - Google Patents

热点文件的处理方法、装置、电子设备和介质 Download PDF

Info

Publication number
CN113542420B
CN113542420B CN202110813753.4A CN202110813753A CN113542420B CN 113542420 B CN113542420 B CN 113542420B CN 202110813753 A CN202110813753 A CN 202110813753A CN 113542420 B CN113542420 B CN 113542420B
Authority
CN
China
Prior art keywords
file
node
hotspot
hot spot
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110813753.4A
Other languages
English (en)
Other versions
CN113542420A (zh
Inventor
管明哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202110813753.4A priority Critical patent/CN113542420B/zh
Publication of CN113542420A publication Critical patent/CN113542420A/zh
Application granted granted Critical
Publication of CN113542420B publication Critical patent/CN113542420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/60Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/56Provisioning of proxy services
    • H04L67/568Storing data temporarily at an intermediate stage, e.g. caching

Abstract

本实施例涉及一种热点文件的处理方法、装置、电子设备和介质;其中,该方法包括:检测到第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定第一资源文件为第一热点文件;向目标节点发送文件获取消息,文件获取消息用于指示目标节点获取第一热点文件。本实施例能够基于资源文件的访问请求的数量确定出热点文件,并向节点集群中的其他边缘节点分享文件获取消息,使得其他边缘节点能够从第一节点中获取到热点文件,来保证用户在访问该热点文件时可直接通过节点集群中的边缘节点获取得到,从而节约回上游节点获取资源文件的外网带宽成本,缩短用户获取资源文件的等候时长。

Description

热点文件的处理方法、装置、电子设备和介质
技术领域
本实施例涉及数据通信技术领域,尤其涉及一种热点文件的处理方法、装置、电子设备和介质。
背景技术
内容分发网络(Content Delivery Network,CDN)通过将网络内容发布到最靠近用户的边缘节点,使不同地区的用户在访问相同页面、图片或视频时就可以就近获取。所谓“边缘节点”指的是CDN服务商经过精心选择的距离用户距离最近的服务器节点,即在各地均有机房集群分布,用户在访问时不需要经过多个路由器,可以从距离最近的服务器获取资源,从而有效提高访问时间。
相关技术中,当用户通过网络访问到边缘节点A,但边缘节点A没有用户访问的文件,此时会去资源池查询节点集群中哪个边缘节点有此文件。如没查询到,则边缘节点A向上层节点或客户源站获取并缓存此文件,同时资源池记录边缘节点A已缓存此文件。当有其他用户通过网络访问到集群内其他边缘节点B获取相同的文件时,边缘节点B去资源池查询到边缘节点A有此文件,则返回302和边缘节点A的地址,边缘节点B直接去边缘节点A获取资源并存储。
但是,上述技术中,当不同的边缘节点需要获取相同的文件时,比如有100个边缘节点,那么每个边缘节点都需要去资源池获取文件位置信息,导致用户获取文件会出现一些延时。同时因资源池需要维护,增加了人力和软硬件上的成本。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本实施例提供了一种热点文件的处理方法、装置、电子设备和介质。
第一方面,本实施例提供了一种热点文件的处理方法,包括:
检测到第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;
向目标节点发送文件获取消息,所述文件获取消息用于指示所述目标节点获取所述第一热点文件。
可选的,所述检测到第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件,包括:
检测到第一节点接收到的第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;其中,所述第一节点为所述节点集群中的一个节点;
或者,检测到节点集群中的指定节点接收到的第一资源文件的访问请求的总数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;其中,所述指定节点为所述节点集群中的预先指定的部分节点;
或者,检测到节点集群中的所有节点接收到的第一资源文件的访问请求的总数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件。
可选的,所述文件获取消息包括所述第一热点文件。
可选的,所述文件获取消息包括所述第一热点文件的标识;所述方法还包括:
接收所述目标节点发送的文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
向所述目标节点发送文件获取响应;其中,所述文件获取响应中包括所述第一热点文件。
可选的,所述文件获取消息包括所述第一热点文件的标识和所述第一热点文件的存储节点的设备信息;所述第一热点文件的存储节点的设备信息用于所述目标节点与所述第一热点文件的存储节点进行通信。
第二方面,本实施例提供了一种热点文件的处理方法,包括:
接收第一节点发送的文件获取消息;
根据所述文件获取消息,确定第一热点文件;
其中,所述第一热点文件由所述第一节点执行如下操作获得:检测到第一节点上第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件。
可选的,所述文件获取消息包括第一热点文件,所述根据所述文件获取消息,确定第一热点文件,包括:
解析所述文件获取消息,得到第一热点文件。
可选的,所述文件获取消息包括:第一热点文件的标识和和所述第一热点文件的存储节点的设备信息,且所述存储节点为第一节点;所述根据所述文件获取消息,确定第一热点文件,包括:
根据第一节点的设备信息,从节点集群中查找出第一节点;
向所述第一节点发送文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
接收所述第一节点发送的第一热点文件。
可选的,所述文件获取消息包括:第一热点文件的标识和和所述第一热点文件的存储节点的设备信息,且所述存储节点为节点集群中非第一节点的其他节点;所述根据所述文件获取消息,确定第一热点文件,包括:
根据所述其他节点的设备信息,从节点集群中查找出其他节点;
向所述其他节点发送文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
接收所述其他节点发送的第一热点文件。
第三方面,本实施例提供了一种热点文件的处理装置,包括:
第一确定模块,用于检测到第一节点上第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;
消息发送模块,用于向目标节点发送文件获取消息,所述文件获取消息用于指示所述目标节点获取所述第一热点文件。
可选的,第一确定模块,具体用于:
检测到第一节点接收到的第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;其中,所述第一节点为所述节点集群中的一个节点;
或者,检测到节点集群中的指定节点接收到的第一资源文件的访问请求的总数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;其中,所述指定节点为所述节点集群中的预先指定的部分节点;
或者,检测到节点集群中的所有节点接收到的第一资源文件的访问请求的总数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件。
可选的,所述文件获取消息包括所述第一热点文件。
可选的,还包括:请求接收模块和响应发送模块;
请求接收模块,用于接收所述目标节点发送的文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
响应发送模块,用于向所述目标节点发送文件获取响应;其中,所述文件获取响应中包括所述第一热点文件。
可选的,所述文件获取消息包括所述第一热点文件的标识和所述第一热点文件的存储节点的设备信息;所述第一热点文件的存储节点的设备信息用于所述目标节点与所述第一热点文件的存储节点进行通信。
第四方面,本实施例提供了一种热点文件的处理装置,包括:
消息接收模块,用于接收第一节点发送的文件获取消息;
第二确定模块,用于根据所述文件获取消息,确定第一热点文件;其中,所述第一热点文件由所述第一节点执行如下操作获得:检测到第一节点上第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件。
可选的,第二确定模块,具体用于:
解析所述文件获取消息,得到第一热点文件。
可选的,第二确定模块,具体用于:
根据第一节点的设备信息,从节点集群中查找出第一节点;
向所述第一节点发送文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
接收所述第一节点发送的第一热点文件。
可选的,第二确定模块,具体用于:
根据所述其他节点的设备信息,从节点集群中查找出其他节点;
向所述其他节点发送文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
接收所述其他节点发送的第一热点文件。
第五方面,本实施例还提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例中的任一种所述的热点文件的处理方法。
第六方面,本实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明实施例中的任一种热点文件的处理方法。
本实施例提供的技术方案与现有技术相比具有如下优点:能够基于资源文件的访问请求的数量确定出热点文件,并向节点集群中的其他边缘节点分享文件获取消息,使得其他边缘节点能够从第一节点中获取到热点文件,来保证用户在访问该热点文件时可直接通过节点集群中的边缘节点获取得到,从而节约回上游节点获取资源文件的外网带宽成本,缩短用户获取资源文件的等候时长。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本实施例的实施例,并与说明书一起用于解释本实施例的原理。
为了更清楚地说明本实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本实施例提供的一种热点文件的处理方法的流程示意图;
图2是本实施例提供的另一种热点文件的处理方法的流程示意图;
图3是本实施例提供的又一种热点文件的处理方法的流程示意图;
图4是本实施例提供的又一种热点文件的处理方法的流程示意图;
图5是本实施例提供的一种热点文件的处理装置的结构示意图;
图6是本实施例提供的另一种热点文件的处理装置的结构示意图;
图7是本实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本实施例的上述目的、特征和优点,下面将对本实施例的方案进行进一步描述。需要说明的是,在不冲突的情况下,本实施例的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本实施例,但本实施例还可以采用其他不同于在此描述的方式来实施;显然,说明书中的实施例只是本实施例的一部分实施例,而不是全部的实施例。
节点集群为一个网络集群中多个节点组成的集合,节点集群中的各节点可通过节点的设备信息进行相互通信,从而实现节点间信息的有效传输。
其中,节点集群中的每个节点上可存储资源文件,且节点集群中会记录每一个节点中存储的资源文件的标识。
示例性的,节点集群中可包括第一节点和目标节点,本实施例对第一节点和目标节点的数量不做限定。
其中,第一节点可为节点集群中的一个节点或多个节点;目标节点可为节点集群中的一个或多个节点,且第一节点、目标节点为节点集群中的不同节点。第一节点可通过目标节点的设备信息与目标节点进行信息交互,目标节点也可通过第一节点的设备信息与第一节点进行信息交互。
其中,设备信息可包括网络协议(Internet Protocol,IP)地址和端口号,本实施例对此不做限定。
图1是本实施例提供的一种热点文件的处理方法的流程示意图。本实施例可适用于确定热点文件并将其分享给节点集群中其他边缘节点的情况。本实施例方法可由热点文件的处理装置来执行,该装置可采用硬件/或软件的方式来实现,并可配置于电子设备中;其中,电子设备可包括服务器。可实现本申请任意实施例所述的热点文件的处理方法。如图1所示,该方法具体包括如下:
S110、检测到第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定第一资源文件为第一热点文件。
在本实施例中,在第一节点检测到第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定第一资源文件为第一热点文件。
其中,第一节点为节点集群中一个边缘节点或多个边缘节点;其中,节点集群为一个网络集群中多个节点组成的集合,该节点集群中还可包括与第一节点互通的一个边缘或多个其他边缘节点,或者,包括与第一节点互通的一个上游节点或多个上游节点,上游节点可包括中层节点和上层节点。且节点集群中的各节点可通过内网网络进行信息的传输。
其中,第一资源文件为用户在第一节点上访问过的一个资源文件,第一节点中存储有第一资源文件,另外,第一节点中也可不存储第一资源文件。
第一热点文件为多个目标资源文件中的一个或多个资源文件,用于表示用户对该资源文件的访问喜爱度。
预设数量阈值可根据第一节点上访问过的全部的目标资源文件的访问请求的数量确定出,例如,可将预设数量阈值设置为第一节点上访问过的全部的目标资源文件的访问请求的数量中数量最大的数值,本实施例对此不做限定。
需要说明的是,用户首次在第一节点上访问第一资源文件,且第一节点上未存储第一资源文件时,此时,需要从节点集群中查找存储第一资源文件的节点获取第一资源文件,或者从客户源站中获取第一资源文件。其中,客户源站为第一资源文件的生产地。
S120、向目标节点发送文件获取消息,文件获取消息用于指示目标节点获取第一热点文件。
在本实施例中,目标节点为节点集群中一个边缘节点或多个边缘节点,本实施例对目标节点的数量不做限定。
其中,文件获取消息为第一热点文件的获取指示消息。在第一节点确定出第一热点文件时,为了使得集群节点中的各边缘节点均存储该第一热点文件,则可向集群节点中的其他边缘节点发送一个消息,用于将第一热点文件分享给节点集群中的其他边缘节点。从而,实现节点集群中全部边缘节点对第一资源文件的共享,使得用户在节点集群中的任一边缘节点均能有效访问到第一资源文件。
第一节点在向目标节点发送文件获取消息时,可从节点集群中的设备信息库中获取到节点集群中包括的目标节点的设备信息,从而根据目标节点的设备信息从节点集群中查找到目标节点,实现与目标节点的通信。
其中,目标节点的设备信息可包括但不限于目标节点的IP地址、目标节点的端口号等信息,本实施例对此不限限定。
本实施例能够基于资源文件的访问请求的数量确定出热点文件,并向节点集群中的其他边缘节点分享文件获取消息,使得其他边缘节点能够从第一节点中获取到热点文件,来保证用户在访问该热点文件时可直接通过节点集群中的边缘节点获取得到,从而节约回上游节点获取资源文件的外网带宽成本,缩短用户获取资源文件的等候时长。
基于上述实施例的描述,本实施例对第一节点向目标节点发送文件获取消息的发生时间可包括多种实现方式,本实施例对此不做限定。
在一些实施例中,第一节点在确定出第一热点文件时,便可向目标节点发送文件获取消息。从而,使得目标节点能够及时同步得到第一热点文件。
在另一些实施例中,第一节点中可设置一个固定的消息发送时间,如每月的哪一日。在达到预先设置的消息发送时间时,第一节点可向目标节点发送第一热点文件的文件获取消息。从而,保证第一节点中热点文件的文件获取消息的规律化管理。
基于上述实施例的描述,文件获取消息是用于指示目标节点获取第一热点文件的,则文件获取消息中可包括第一热点文件。
在本实施例中,可选的,文件获取消息包括第一热点文件。
从而,使得目标节点在接收到第一节点发送的第一热点文件的文件获取消息时,能够直接从文件获取消息中获取得到第一热点文件。
基于上述实施例的描述,文件获取消息可包括第一热点文件之外,还可以包括,第一热点文件的获取信息,用于指示目标节点根据获取信息主动获取第一热点文件。
在本实施例中,可选的,文件获取消息包括:第一热点文件的标识和第一热点文件的存储节点的设备信息;第一热点文件的存储节点的设备信息用于目标节点与第一热点文件的存储节点进行通信。
其中,第一热点文件的标识为第一热点文件在第一节点上的存储标识,用于区分第一节点中多个文件。
第一热点文件的存储节点的设备信息可包括但不限于:该存储节点的IP地址和该存储节点的端口号,本实施例对此不做限定。
本实施例中,第一节点向目标节点发送的第一热点文件的获取信息,能够使得目标节点根据其文件的存储情况主动选择是否需要获取第一热点文件,从而,便于目标节点根据其意愿进行合理选择。
示例性的,在目标节点中已存储第一热点文件,且接收到第一节点发送的文件获取消息时,目标节点可不执行第一热点文件的获取指示,从而,避免目标节点中冗余信息的产生。
本实施例中,第一节点能够根据预设规则,根据目标资源文件的访问请求的数量,从多个目标资源文件中确定出第一热点文件;将第一热点文件共享给目标节点,使得节点集群中的边缘节点都能有效同步到第一热点文件,从而保证后续用户能够直接从某个边缘节点中获取到第一热点文件,有效提高资源文件的访问效率。
基于上述实施例的描述,第一节点能够获取到节点集群中的所有节点中的资源文件的访问记录,即第一资源文件的访问请求的数量可以为第一节点上的第一资源文件的访问请求的数量,也可为节点集群中的所有节点上的第一资源文件的访问请求的总数量。
基于上述实施例的描述,第一热点文件的确定具有多种实现方式。如根据第一节点上资源文件的访问请求的数量确定得出,或者,根据节点集群中的所有节点上同一资源文件的访问请求的总数量确定得出,或者,根据节点集群中的指定节点上同一资源文件的访问请求的总数量确定得出。
在本实施例中,可选的,检测到第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定第一资源文件为第一热点文件,包括:
检测到第一节点接收到的第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定第一资源文件为第一热点文件;其中,第一节点为节点集群中的一个节点。
其中,第一节点可根据检测到的自身节点上的第一资源文件的访问请求的数量去确定出第一热点文件,从而,根据用户在第一节点上的访问请求,预测出用户的喜爱内容。
或者,检测到第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定第一资源文件为第一热点文件,包括:
检测到节点集群中的指定节点接收到的第一资源文件的访问请求的总数量大于或等于预设数量阈值,则确定第一资源文件为第一热点文件;其中,指定节点为节点集群中的预先指定的部分节点。
其中,指定节点为节点集群中的一个或多个边缘节点。指定节点可根据节点集群中各节点上的所有资源文件的访问请求的总数量确定出,能够使得确定出的指定节点具有较强的代表性,同时,还能够缓解第一节点获取其他边缘节点上的第一资源文件的访问请求的总数量的资源消耗。
或者,检测到第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定第一资源文件为第一热点文件,包括:
检测到节点集群中的所有节点接收到的第一资源文件的访问请求的总数量大于或等于预设数量阈值,则确定第一资源文件为第一热点文件。
其中,第一节点在确定第一热点文件时,还可参考第一资源文件在节点集群中的其他边缘节点中的访问情况;一个资源文件在节点集群中的总访问量能够有效反映出用户对该资源文件的访问频率,从而,利用节点集群的所有节点中的资源文件的访问信息准确确定出第一热点文件。
图2是本实施例提供的另一种热点文件的处理方法的流程示意图。本实施例是在上述实施例的基础上,进一步地,在步骤S120之后,在目标节点中未存储第一热点文件,且接收到第一节点发送的文件获取消息,则可向第一节点发送第一热点文件的文件获取请求,此时,第一节点可接收到目标节点发送的文件获取请求。
本实施例方法还可以包括:
S130、接收目标节点发送的文件获取请求;其中,文件获取请求包括第一热点文件的标识。
在本实施例中,第一节点可通过节点集群中的内网网络实现与目标节点的通信。其中,内网网络包括但不限于局域网、无线网、专线网等网络类型的网络。
其中,第一节点在接收到目标节点发送的第一热点文件的标识后,可通过第一热点文件的标识查找到第一热点文件。
S140、向目标节点发送文件获取响应;其中,文件获取响应中包括第一热点文件。
本实施例中,第一节点通过响应于目标节点发送的第一热点文件的文件获取请求,将第一热点文件发送给目标节点,从而,使得目标节点在需要第一热点文件时能够及时获取得到。
基于上述实施例的描述,第一节点在标定第一热点文件后,可根据用户在第一节点上触发的第一热点文件的文件访问请求,直接向用户返回第一热点文件。
在本实施例中,用户在于第一节点上进行文件访问请求时,可通过如下操作实现:接收用户在第一节点上触发的第一热点文件的文件访问请求;其中,第一热点文件的文件访问请求包括第一热点文件的标识;向用户发送第一热点文件。
图3是本实施例提供的又一种热点文件的处理方法的流程示意图。本实施例可适用于从节点集群中获取热点文件的情况。本实施例方法可热点文件的处理装置来执行,该装置可采用硬件/或软件的方式来实现,并可配置于电子设备中;其中,电子设备可包括服务器。可实现本申请任意实施例所述的热点文件的处理方法。如图3所示,该方法具体包括如下:
S310、接收第一节点发送的文件获取消息。
在本实施例中,第一节点可通过节点集群中的内网网络向目标节点发送文件获取消息,目标节点也可通过该内网网络接收第一节点发送的文件获取消息。
S320、根据文件获取消息,确定第一热点文件。
其中,第一热点文件由第一节点执行如下操作获得:检测到第一节点上第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定第一资源文件为第一热点文件。
在本实施例中,在目标节点根据文件获取消息,确定第一热点文件之前,本实施例方法还可以包括:检测目标节点中是否存在第一热点文件,若存在,则执行根据文件获取消息,确定第一热点文件的步骤。
其中,在目标节点中未检测到第一热点文件时,此时,目标节点则需要根据第一节点发送的文件获取消息,确定第一热点文件,便于用户在目标节点上访问第一热点文件时,目标节点能够直接向用户展示第一热点文件。
另外,目标节点还可设置定时收取文件的时间阈值,其中,该时间阈值用于提醒目标节点在资源文件库中添加资源文件。
目标节点可在预先设置的该时间阈值时,根据文件获取消息,确定第一热点文件,以避免资源文件库中资源文件过多降低目标节点中资源文件库的存储性能。
本实施例中,目标节点能够根据第一节点发送的文件获取消息,及时从第一节点中共享得到第一热点文件,从而,使得节点集群中的各节点能够在一个节点确定出热点文件时,及时同步该热点文件,提高节点集群中各节点中资源文件的访问效率。
在本实施例中,可选的,文件获取消息包括第一热点文件。
在目标节点中未检测到第一热点文件时,目标节点根据文件获取消息,可从第一节点中获取第一热点文件,包括:
解析文件获取消息,得到第一热点文件。
其中,文件获取消息的解析为文件获取消息中提取出能够直观看到的信息。例如,文件获取消息的解析可包括但不限于是:文件获取消息的解压缩、文件获取消息的解密。
需要说明的是,若文件获取消息的解析包括文件获取消息的解密,则文件获取消息中还会包括解密秘钥,该解密秘钥用于目标节点对该文件获取消息中包括的加密内容进行解密,从而得到第一热点文件;同时,还能够有效避免文件获取消息在传输时被误改的问题。
本实施例中,第一节点直接向目标节点发送携带有第一热点文件的文件获取消息,使得目标节点无需向第一节点发送文件获取请求,便可直接从文件获取消息中解析出第一热点文件,从而提高目标节点获取第一热点文件的效率。
另外,文件获取消息中还可以包括第一节点的IP地址、第一节点的端口号和第一热点文件的统一资源定位符(Uniform Resource Locator,URL),目标节点可通过该统一资源定位符定位到第一热点文件的存储位置,通过第一节点的IP地址和第一节点的端口号从第一热点文件的存储位置中获取得到第一热点文件。
图4是本实施例提供的另一种热点文件方法的流程示意图。本实施例是在上述实施例的基础上,其中,文件获取消息包括:第一热点文件的标识和第一热点文件的存储节点的设备信息,且存储节点为第一节点。
S320的一种可能的实现方式如下所示,包括:
S3201、根据第一节点的设备信息,从节点集群中查找出第一节点。
在本实施例中,节点集群的设备信息库中存储着各节点的标识与设备信息的关联关系。目标节点可在节点集群的设备信息库中根据第一节点的设备信息查找出对应的第一节点的标识,从而能够查找出第一节点。
S3202、向第一节点发送文件获取请求;其中,文件获取请求包括第一热点文件的标识。
在本实施例中,目标节点可通过节点集群中的内网网络向第一节点发送文件获取请求。其中,内网网络包括但不限于局域网、无线网、专线网等网络类型的网络,本实施例对此不做限定。
其中,第一热点文件的标识能够辅助第一节点查找到第一热点文件。
S3203、接收第一节点发送的第一热点文件。
本实施例中,目标节点能够对第一热点文件有需求时,通过向节点集群中的第一节点发送文件获取请求,从而及时获得所需的第一热点文件。
基于上述实施例的描述,在文件获取消息包括第一热点文件的标识和第一热点文件的存储节点的设备信息,且该存储节点为节点集群中的非第一节点的其他节点时,目标节点还可从该其他节点中获取第一热点文件。
在本实施例中,可选的,根据文件获取消息,确定第一热点文件,包括:
根据其他节点的设备信息,从节点集群中查找出其他节点;
向其他节点发送文件获取请求;其中,文件获取请求包括第一热点文件的标识;
接收其他节点发送的第一热点文件。
其中,其他节点为节点集群中的非第一节点的其他边缘节点。目标节点可在节点集群的设备信息库中根据该其他节点的设备信息查找出对应节点的标识,从而能够查找出该其他节点,便于目标节点直接通过内网网络向该其他节点发送文件获取请求,从而及时从节点集群中的其他节点中获取得到第一热点文件。
基于上述实施例的描述,在目标节点从第一节点中获取到第一热点文件时,可根据用户在目标节点上触发的第一热点文件的文件访问请求,直接向用户返回第一热点文件。
在本实施例中,在目标节点得到第一热点文件时,若接收到用户在目标节点上的第一热点文件的访问请求时,可向用户发送第一热点文件。从而,有效提高用户在目标节点上的文件访问效率。
另外,目标节点在向第一节点获取第一热点文件的同时,还可执行如下操作:检测到目标节点上第三目标资源文件的访问请求的数量大于或等于预设数量阈值,则确定第三目标资源文件为第二热点文件;向第一节点发送文件获取消息,用于指示第一节点获取第二热点文件。
需要说明的是,目标节点在向第一节点获取第一热点文件的同时,还可以确定出第二热点文件,并共享给第一节点。其中,本实施例中提及的目标节点为节点集群中非第一节点的边缘节点,即表明,本实施例中任一节点均可通过内网网络与节点集群中的其他边缘节点进行热点文件的共享,从而保证热点文件能够同时共享于节点集群中的各个边缘节点中;同时,避免了多个边缘节点通过外网回上游节点获得热点文件,造成较大外网带宽成本;以及回客户源站查找资源文件给客户源站带来压力,有效节省了回源带宽成本,且缩短了回上游节点获取资源的网络链路时间。
另外,由于节点集群需要人力和软硬件上的成本定期维护其中包含的节点的资源信息,本实施例能够使得节点集群中的各边缘节点同步上热点文件,从而不再需要从节点集群中查找相关节点获取热点文件,有效减少了节点集群的定期维护成本。
图5是本实施例提供的一种热点文件的处理装置的结构示意图;该装置配置于电子设备中,可实现本申请任意实施例所述的热点文件的处理方法。该装置具体包括如下:
第一确定模块510,用于检测到第一节点上第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;
消息发送模块520,用于向目标节点发送文件获取消息,所述文件获取消息用于指示所述目标节点获取所述第一热点文件。
在本实施例中,可选的,第一确定模块510,具体用于:
检测到第一节点接收到的第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;其中,所述第一节点为所述节点集群中的一个节点。
或者,检测到节点集群中的指定节点接收到的第一资源文件的访问请求的总数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;其中,所述指定节点为所述节点集群中的预先指定的部分节点;
或者,检测到节点集群中的所有节点接收到的第一资源文件的访问请求的总数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件。
在本实施例中,可选的,所述文件获取消息包括所述第一热点文件。
在本实施例中,可选的,本实施例装置还包括:请求接收模块和响应发送模块;
请求接收模块,用于接收所述目标节点发送的文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
响应发送模块,用于向所述目标节点发送文件获取响应;其中,所述文件获取响应中包括所述第一热点文件。
在本实施例中,可选的,所述文件获取消息包括所述第一热点文件的标识和所述第一热点文件的存储节点的设备信息;所述第一热点文件的存储节点的设备信息用于所述目标节点与所述第一热点文件的存储节点进行通信。
通过本发明实施例的热点文件的处理装置,第一节点能够基于资源文件的访问请求的数量确定出热点文件,并向节点集群中的其他边缘节点分享文件获取消息,使得其他边缘节点能够从第一节点中获取到热点文件,来保证用户在访问该热点文件时可直接通过节点集群中的边缘节点获取得到,从而节约回上游节点获取资源文件的外网带宽成本,缩短用户获取资源文件的等候时长。
本发明实施例所提供的热点文件的处理装置可执行本发明任意实施例所提供的热点文件的处理方法,具备执行方法相应的功能模块和有益效果。
图6是本实施例提供的一种热点文件的处理装置的结构示意图;该装置配置于电子设备中,可实现本申请任意实施例所述的热点文件的处理方法。该装置具体包括如下:
消息接收模块610,用于接收第一节点发送的文件获取消息;
第二确定模块620,用于根据所述文件获取消息,确定第一热点文件;其中,所述第一热点文件由所述第一节点执行如下操作获得:检测到第一节点上第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件。
在本实施例中,可选的,第二确定模块620,具体用于:
解析所述文件获取消息,得到第一热点文件。
在本实施例中,可选的,第二确定模块620,具体用于:
根据第一节点的设备信息,从节点集群中查找出第一节点;
向所述第一节点发送文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
接收所述第一节点发送的第一热点文件。
在本实施例中,可选的,第二确定模块620,具体用于:
根据所述其他节点的设备信息,从节点集群中查找出其他节点;
向所述其他节点发送文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
接收所述其他节点发送的第一热点文件。
通过本发明实施例的热点文件的处理装置,目标节点无需向第一节点发送文件获取请求,便可直接从文件获取消息中解析出第一热点文件,从而提高目标节点获取第一热点文件的效率。
本发明实施例所提供的热点文件的处理装置可执行本发明任意实施例所提供的热点文件的处理方法,具备执行方法相应的功能模块和有益效果。
图7是本实施例提供的一种电子设备的结构示意图。如图7所示,该电子设备包括处理器710、存储器720、输入装置730和输出装置740;电子设备中处理器710的数量可以是一个或多个,图7中以一个处理器710为例;电子设备中的处理器710、存储器720、输入装置730和输出装置740可以通过总线或其他方式连接,图7中以通过总线连接为例。
存储器720作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的热点文件的处理方法对应的程序指令/模块。处理器710通过运行存储在存储器720中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现本发明实施例所提供的热点文件的处理方法。
存储器720可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器720可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器720可进一步包括相对于处理器710远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置730可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,可以包括键盘、鼠标等。输出装置740可包括显示屏等显示设备。
本实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于实现本发明实施例所提供的热点文件的处理方法。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的热点文件的处理方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述搜索装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本实施例的具体实施方式,使本领域技术人员能够理解或实现本实施例。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本实施例的精神或范围的情况下,在其它实施例中实现。因此,本实施例将不会被限制于本文所述的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种热点文件的处理方法,其特征在于,应用于第一节点,所述方法包括:
检测到第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;
向目标节点发送文件获取消息,所述文件获取消息用于指示所述目标节点获取所述第一热点文件,其中,所述目标节点为节点集群中的一个或多个边缘节点。
2.根据权利要求1所述的方法,其特征在于,所述检测到第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件,包括:检测到第一节点接收到的第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;其中,所述第一节点为所述节点集群中的一个边缘节点;
或者,检测到节点集群中的指定节点接收到的第一资源文件的访问请求的总数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;其中,所述指定节点为所述节点集群中的预先指定的部分节点;
或者,检测到节点集群中的所有节点接收到的第一资源文件的访问请求的总数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件。
3.根据权利要求1或2中任一项所述的方法,其特征在于,所述文件获取消息包括所述第一热点文件。
4.根据权利要求1或2中任一项所述的方法,其特征在于,所述文件获取消息包括所述第一热点文件的标识;
所述方法还包括:
接收所述目标节点发送的文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
向所述目标节点发送文件获取响应;其中,所述文件获取响应中包括所述第一热点文件。
5.根据权利要求1所述的方法,其特征在于,所述文件获取消息包括所述第一热点文件的标识和所述第一热点文件的存储节点的设备信息;所述第一热点文件的存储节点的设备信息用于所述目标节点与所述第一热点文件的存储节点进行通信。
6.一种热点文件的处理方法,其特征在于,应用于目标节点,所述方法包括:
接收第一节点发送的文件获取消息,所述文件获取消息用于指示所述目标节点获取第一热点文件,其中,所述目标节点为节点集群中的一个或多个边缘节点;
根据所述文件获取消息,确定第一热点文件;
其中,所述第一热点文件由所述第一节点执行如下操作获得:检测到第一节点上第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件。
7.根据权利要求6所述的方法,其特征在于,所述文件获取消息包括第一热点文件;
所述根据所述文件获取消息,确定第一热点文件,包括:
解析所述文件获取消息,得到第一热点文件。
8.根据权利要求6所述的方法,其特征在于,所述文件获取消息包括:第一热点文件的标识和所述第一热点文件的存储节点的设备信息,且所述存储节点为第一节点;
所述根据所述文件获取消息,确定第一热点文件,包括:
根据第一节点的设备信息,从节点集群中查找出第一节点;
向所述第一节点发送文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
接收所述第一节点发送的第一热点文件。
9.根据权利要求6所述的方法,其特征在于,所述文件获取消息包括:第一热点文件的标识和所述第一热点文件的存储节点的设备信息,且所述存储节点为节点集群中非第一节点的其他边缘节点;
所述根据所述文件获取消息,确定第一热点文件,包括:
根据所述其他边缘节点的设备信息,从节点集群中查找出其他边缘节点;
向所述其他边缘节点发送文件获取请求;其中,所述文件获取请求包括所述第一热点文件的标识;
接收所述其他边缘节点发送的第一热点文件。
10.一种热点文件的处理装置,其特征在于,所述装置部署于第一节点,所述装置包括:
第一确定模块,用于检测到第一节点上第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件;
消息发送模块,用于向目标节点发送文件获取消息,用于指示所述目标节点获取所述第一热点文件,其中,所述目标节点为节点集群中的一个或多个边缘节点。
11.一种热点文件的处理装置,其特征在于,所述装置部署于目标节点,所述装置包括:
消息接收模块,用于接收第一节点发送的文件获取消息,所述文件获取消息用于指示所述目标节点获取第一热点文件,其中,所述目标节点为节点集群中的一个或多个边缘节点;
第二确定模块,用于根据所述文件获取消息,确定第一热点文件;其中,所述第一热点文件由所述第一节点执行如下操作获得:检测到第一节点上第一资源文件的访问请求的数量大于或等于预设数量阈值,则确定所述第一资源文件为第一热点文件。
12.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1~5中任一所述的热点文件的处理方法;或者实现如权利要求6~9中任一所述的热点文件的处理方法。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1~5中任一所述的热点文件的处理方法;或者实现如权利要求6~9中任一所述的热点文件的处理方法。
CN202110813753.4A 2021-07-19 2021-07-19 热点文件的处理方法、装置、电子设备和介质 Active CN113542420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110813753.4A CN113542420B (zh) 2021-07-19 2021-07-19 热点文件的处理方法、装置、电子设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110813753.4A CN113542420B (zh) 2021-07-19 2021-07-19 热点文件的处理方法、装置、电子设备和介质

Publications (2)

Publication Number Publication Date
CN113542420A CN113542420A (zh) 2021-10-22
CN113542420B true CN113542420B (zh) 2023-07-04

Family

ID=78100216

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110813753.4A Active CN113542420B (zh) 2021-07-19 2021-07-19 热点文件的处理方法、装置、电子设备和介质

Country Status (1)

Country Link
CN (1) CN113542420B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116208556A (zh) * 2021-11-30 2023-06-02 中兴通讯股份有限公司 流量均衡方法、电子设备、计算机可读存储介质
CN114501073B (zh) * 2022-02-16 2023-10-20 上海哔哩哔哩科技有限公司 直播回源方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747047A (zh) * 2013-12-24 2014-04-23 乐视网信息技术(北京)股份有限公司 一种cdn文件存储方法、文件分发控制中心及系统
CN107370811A (zh) * 2017-07-14 2017-11-21 北京知道创宇信息技术有限公司 一种cdn网络的资源分发方法、计算设备及可读存储介质
CN110661862A (zh) * 2019-09-20 2020-01-07 网宿科技股份有限公司 一种预热资源文件的方法和中心管理系统
CN111327651A (zh) * 2018-12-14 2020-06-23 华为技术有限公司 资源下载方法、装置、边缘节点及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696895B (zh) * 2017-04-07 2020-10-09 华为技术有限公司 资源获取方法、装置及系统
CN112448984A (zh) * 2019-09-02 2021-03-05 北京新唐思创教育科技有限公司 资源传输方法、电子设备及计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103747047A (zh) * 2013-12-24 2014-04-23 乐视网信息技术(北京)股份有限公司 一种cdn文件存储方法、文件分发控制中心及系统
CN107370811A (zh) * 2017-07-14 2017-11-21 北京知道创宇信息技术有限公司 一种cdn网络的资源分发方法、计算设备及可读存储介质
CN111327651A (zh) * 2018-12-14 2020-06-23 华为技术有限公司 资源下载方法、装置、边缘节点及存储介质
CN110661862A (zh) * 2019-09-20 2020-01-07 网宿科技股份有限公司 一种预热资源文件的方法和中心管理系统

Also Published As

Publication number Publication date
CN113542420A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
EP2985705A2 (en) Webpage access method and apparatus, and router
CN113542420B (zh) 热点文件的处理方法、装置、电子设备和介质
US9906595B2 (en) Content source discovery
WO2017167050A1 (zh) 配置信息生成、发送方法及资源加载方法和装置及系统
CN109167840B (zh) 一种任务推送方法、节点自治服务器及边缘缓存服务器
US11025584B2 (en) Client subnet efficiency by equivalence class aggregation
CN112513830A (zh) 内容分发网络中的回源方法及相关装置
WO2020206660A1 (zh) 网络资源请求方法、装置、电子设备以及存储介质
CN110764688B (zh) 对数据进行处理的方法和装置
CN110413846B (zh) 用于网页镜像的数据处理方法、装置及计算机可读存储介质
US11206302B2 (en) Method and device for feeding back a resource file
EP3879787A1 (en) Communication method and system under micro-service architecture
CN112866339B (zh) 数据传输方法、装置、计算机设备和存储介质
CN112437148B (zh) 业务请求的处理方法、装置、业务服务器及系统
CN113315852A (zh) 一种域名解析的方法、装置及系统
CN106959975B (zh) 一种转码资源缓存处理方法、装置及设备
CN113301173A (zh) 域名更新系统及方法、消息转发方法、服务器
CN112131263B (zh) 软件包获取方法、系统、装置、电子设备和存储介质
CN109688204B (zh) 基于ndn网络的文件下载方法、节点、终端
US20150227534A1 (en) Method for processing data query using information-centric network
KR100347985B1 (ko) 인터넷 주소 부가정보 제공 시스템 및 방법
CN112073275B (zh) 一种面向超密集网络udn的内容分发方法及装置
CN114979025B (zh) 资源刷新方法、装置、设备及可读存储介质
CN110741361B (zh) 资源查询处理方法、装置、计算机设备和存储介质
CN108810043B (zh) 一种存储评论信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant