CN104506637B - 解决网络拥挤的缓存方法、系统及url转发服务器 - Google Patents

解决网络拥挤的缓存方法、系统及url转发服务器 Download PDF

Info

Publication number
CN104506637B
CN104506637B CN201410838045.6A CN201410838045A CN104506637B CN 104506637 B CN104506637 B CN 104506637B CN 201410838045 A CN201410838045 A CN 201410838045A CN 104506637 B CN104506637 B CN 104506637B
Authority
CN
China
Prior art keywords
content
temperature
url
content temperature
request data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410838045.6A
Other languages
English (en)
Other versions
CN104506637A (zh
Inventor
王蓉
王一蓉
黄韬
邓伟
邹颖
于波涛
蒋鸿城
王红凯
谢人超
刘江
周隽夫
魏亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING FUTURE NETWORKS INDUSTRY INNOVATION Co Ltd
State Grid Corp of China SGCC
Beijing Guodiantong Network Technology Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
NANJING FUTURE NETWORKS INDUSTRY INNOVATION Co Ltd
State Grid Corp of China SGCC
Beijing Guodiantong Network Technology Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING FUTURE NETWORKS INDUSTRY INNOVATION Co Ltd, State Grid Corp of China SGCC, Beijing Guodiantong Network Technology Co Ltd, Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd filed Critical NANJING FUTURE NETWORKS INDUSTRY INNOVATION Co Ltd
Priority to CN201410838045.6A priority Critical patent/CN104506637B/zh
Publication of CN104506637A publication Critical patent/CN104506637A/zh
Application granted granted Critical
Publication of CN104506637B publication Critical patent/CN104506637B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/70Admission control; Resource allocation
    • H04L47/78Architectures of resource allocation
    • H04L47/783Distributed allocation of resources, e.g. bandwidth brokers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请公开了一种解决网络拥挤的缓存方法、系统及URL转发服务器,URL转发服务器接收到用户主机发送的请求数据包后,利用请求数据包中包含的URL的哈希值,确定请求数据包中包含的内容是否属于签约内容,并将属于签约内容的请求数据包转发给CDN缓存节点;对于不属于签约内容的请求数据包,再利用哈希值确定是否在当前内容热度描述表中,即确定请求数据包的内容是否为高热度内容,并将为高热度内容的请求数据包转发至缓存代理服务器。本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据高热度内容信息,选择高热度内容进行缓存代理。

Description

解决网络拥挤的缓存方法、系统及URL转发服务器
技术领域
本发明涉及数据缓存技术领域,更具体的说,涉及一种解决网络拥挤的缓存方法、系统及URL转发服务器。
背景技术
随着互联网技术与应用的飞速发展,以及互联网用户的快速增长,宽带化、个性化以及内容海量化已成为互联网发展的主旋律。与此同时,随着存储技术的变革与发展,存储容量也在不断提升,因此,大规模部署缓存节点以消除网络中的内容冗余变得可行和有效。通过部署缓存节点可有效节省骨干网带宽并减轻网络中瓶颈链路的压力,从而提高用户体验。
目前,常用的缓存方法为:内容分发网络(Content Delivery Network,CDN)和缓存代理技术。CDN是一种新型网络内容服务体系,通过在现有的互联网中增加一层新的网络架构,然后将网站的内容发布到最接近用户的CDN缓存节点,使用户就近取得所需的内容,从而解决网络拥挤的状态,提高用户访问网站的响应速度。由于CDN只缓存与CDN厂商签约的CP(Content Provide,内容提供商)内容,即购买了CDN服务的客户,对于非签约CP的内容不做缓存,因此,在网络自治域内会引起出口网关瓶颈链路拥堵,在骨干网中会因为内容冗余浪费大量的带宽。同时,由于CDN不在园区级别部署CDN缓存节点,因此,无法解决园区网络出口瓶颈的问题。
缓存代理技术是将多个用户主机与一个缓存代理服务器连接,所有用户主机的所有请求均先经过缓存代理服务器,当缓存代理服务器中没有缓存与请求对应的内容时,缓存代理服务器再将请求通过出口网关转发至源站查找。由于缓存代理服务器可以缓存所有的内容,并不受签约CP的影响,并且,缓存代理服务器一般都部署在园区网络出口处,因此,缓存代理技术可以解决CDN的不足。但是,由于缓存代理服务器缓存的内容比较杂且没有针对性,因此使得对用户主机请求内容的命中率较低,缓存代理效率不高。
综上可以看出,如何提供一种解决网络拥挤的缓存方法及系统以提高对用户主机请求内容的命中率和缓存代理效率是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本发明提供一种解决网络拥挤的缓存方法、系统及URL转发服务器,以实现将内容从签约CP、非签约CP、高热度和低热度两个维度进行区分,提高用户主机请求内容的命中率和缓存代理效率。
一种解决网络拥挤的缓存方法,包括:
接收用户主机发送的请求数据包;
解析所述请求数据包,得到所述请求数据包中包含的统一资源定位符URL;
利用哈希函数计算所述URL的哈希值;
从预存储的签约内容描述表中查找是否记录有所述哈希值;
若所述签约内容描述表中记录有所述哈希值,则将所述请求数据包转发至内容分发网络CDN缓存节点;
若所述签约内容描述表中没有记录所述哈希值,则从预存储的当前内容热度描述表中查找是否记录有所述哈希值;
若所述当前内容热度描述表中记录有所述哈希值,则将所述请求数据包转发至缓存代理服务器;
若所述当前内容热度描述表中没有记录有所述哈希值,则将所述请求数据包转发至出口网关。
优选的,还包括:
判断在预设时间段内是否接收到内容热度分析服务器发送的携带有最新内容热度描述表的第一报文;
若接收到所述第一报文,则将所述当前内容热度描述表更换为所述最新内容热度描述表;
若没有接收到所述第一报文,则向所述内容热度分析服务器发送更新请求,以使所述内容热度分析服务器发送所述第一报文。
优选的,还包括:
接收内容热度分析服务器发送的携带有待添加若干条URL条目的第二报文;
将所述待添加若干条URL条目添加到所述当前内容热度描述表中。
优选的,还包括:
接收内容热度分析服务器发送的携带有待删除若干条URL条目的第三报文;
从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
优选的,还包括:
接收内容热度分析服务器发送的携带有获取时间戳指令的第四报文;
将所述当前内容热度描述表的时间戳发送给所述内容热度分析服务器;
接收所述内容热度分析服务器发送的最新内容热度描述表,所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送;
将所述当前内容热度描述表更换为所述最新内容热度描述表。
一种解决网络拥挤的缓存系统,包括:
第一接收单元,用于接收用户主机发送的请求数据包;
解析单元,用于解析所述请求数据包,得到所述请求数据包中包含的统一资源定位符URL;
计算单元,用于利用哈希函数计算所述URL的哈希值;
第一查找单元,用于从预存储的签约内容描述表中查找是否记录有所述哈希值;
第一转发单元,用于若所述签约内容描述表中记录有所述哈希值,则将所述请求数据包转发至内容分发网络CDN缓存节点;
第二查找单元,用于若所述签约内容描述表中没有记录所述哈希值,则从预存储的当前内容热度描述表中查找是否记录有所述哈希值;
第二转发单元,用于若所述当前内容热度描述表中记录有所述哈希值,则将所述请求数据包转发至缓存代理服务器;
第三转发单元,用于若所述当前内容热度描述表中没有记录有所述哈希值,则将所述请求数据包转发至出口网关。
优选的,还包括:
判断单元,用于判断在预设时间段内是否接收到内容热度分析服务器发送的携带有最新内容热度描述表的第一报文;
第一更换单元,用于若接收到所述第一报文,则将所述当前内容热度描述表更换为所述最新内容热度描述表;
更新请求单元,用于若没有接收到所述第一报文,则向所述内容热度分析服务器发送更新请求,以使所述内容热度分析服务器发送所述第一报文。
优选的,还包括:
第二接收单元,用于接收内容热度分析服务器发送的携带有待添加若干条URL条目的第二报文;
添加单元,用于将所述待添加若干条URL条目添加到所述当前内容热度描述表中。
优选的,还包括:
第三接收单元,用于接收内容热度分析服务器发送的携带有待删除若干条URL条目的第三报文;
删除单元,用于从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
优选的,还包括:
第四接收单元,用于接收内容热度分析服务器发送的携带有获取时间戳指令的第四报文;
发送单元,用于将所述当前内容热度描述表的时间戳发送给所述内容热度分析服务器;
第五接收单元,用于接收所述内容热度分析服务器发送的最新内容热度描述表,所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送;
第二更换单元,用于将所述当前内容热度描述表更换为所述最新内容热度描述表。
一种URL转发服务器,所述URL转发服务器包括上述所述的缓存系统。
从上述的技术方案可以看出,本发明提供了一种解决网络拥挤的缓存方法、系统及URL转发服务器,URL转发服务器接收到用户主机发送的请求数据包后,利用请求数据包中包含的URL的哈希值,确定请求数据包中包含的内容是否属于签约内容,并将属于签约内容的请求数据包转发给CDN缓存节点;对于不属于签约内容的请求数据包,再利用哈希值确定是否在当前内容热度描述表中,即确定请求数据包的内容是否为高热度内容,并将为高热度内容的请求数据包转发至缓存代理服务器。可以看出,本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据当前内容热度描述表即高热度内容信息,选择高热度内容进行缓存代理,从而实现了将内容从签约CP、非签约CP、高热度和低热度两个维度进行了区分,提高了用户主机请求内容的命中率和缓存代理效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的一种流量缓存的系统图;
图2为本发明实施例公开的一种解决网络拥挤的缓存方法流程图;
图3为本发明实施例公开的一种解决网络拥挤的缓存系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种解决网络拥挤的缓存方法、系统及URL转发服务器,以实现将内容从签约CP、非签约CP、高热度和低热度两个维度进行区分,提高用户主机请求内容的命中率和缓存代理效率。
参见图1,本发明实施例公开的一种流量缓存的系统图,包括:位于网络自治域内的用户主机01、汇聚交换机02、URL(Uniform Resoure Locator,统一资源定位器)转发服务器03、缓存设备04和出口网关05,以及位于网络自治域外的内容热度服务器06;
其中:
网络自治域内部分:
用户主机01经由汇聚交换机02连接到URL转发服务器03,URL转发服务器03与出口网关05相连;
缓存设备04分别与URL转发服务器03和出口网关05相连。
缓存设备04由CDN(Content Delivery Network,内容分发网络)缓存节点和缓存代理服务器共同组成,两个部件可融合部署在同一硬件服务器上,当网络自治域内的用户主机01较多时也可以分开部署。
网络自治域外部分:
考虑到内容热度服务器06需要综合分析大量数据得到内容热度信息,单一网络自治域内的用户主机01数据量不足以提供给内容热度服务器06充分的数据源,所以将内容热度服务器06部署在网络自治域外,以分析多个网络自治域内的用户主机01内容请求数据,并与多个URL转发服务器03进行数据交换,指导多个网络自治域内进行缓存代理。内容热度服务器06通过互联网经过每个网络自治域内的出口网关05与URL转发服务器03进行交互。
针对图1公开的流量缓存的系统图,参见图2,本发明实施例公开了一种解决网络拥挤的缓存方法流程图,包括步骤:
步骤S11、接收用户主机01发送的请求数据包;
步骤S12、解析所述请求数据包,得到所述请求数据包中包含的URL;
需要说明的是,互联网上每个文件都有一个与该文件对应的唯一的URL。
步骤S13、利用哈希函数计算所述URL的哈希值;
其中,哈希值的定义为:哈希算法将任意长度的二进制值映射为固定长度的较小二进制值,该较小二进制值即为哈希值。哈希值是一段数据唯一且极其紧凑的数值表示形式,也就是说,每个URL都有唯一的哈希值。
步骤S14、从预存储的签约内容描述表中查找是否记录有所述哈希值,如果是,则执行步骤S15,否则,执行步骤S16;
签约内容描述表中记录有与签约CP的内容对应的哈希值以及与非签约CP的内容对应的哈希值。
步骤S15、将所述请求数据包转发至CDN缓存节点;
步骤S16、从预存储的当前内容热度描述表中查找是否记录有所述哈希值,如果是,则执行步骤S17,否则,执行步骤S18;
当前内容热度描述表中记录有当前的高热度内容,也就是说,通过当前内容热度描述表可以获知哪些URL对应的内容为高热度内容。其中,当前内容热度描述表同时还记录有各URL对应的热度权重值,通过更换热度权重值实现对当前内容热度描述表的更新。
步骤S17、将所述请求数据包转发至缓存代理服务器;
步骤S18、将所述请求数据包转发至出口网关05。
需要说明的是,当缓存代理服务器内缓存有请求数据包中包含的内容时,缓存代理服务器将相对应的内容发送给对应的用户主机01;若没有缓存请求数据包中包含的内容时,缓存代理服务器将请求数据包通过出口网关05转发至源站查找。
综上可以看出,本发明提供的解决网络拥挤的缓存方法,URL转发服务器03接收到用户主机01发送的请求数据包后,利用请求数据包中包含的URL的哈希值,确定请求数据包中包含的内容是否属于签约内容,并将属于签约内容的请求数据包转发给CDN缓存节点;对于不属于签约内容的请求数据包,再利用哈希值确定是否在当前内容热度描述表中,即确定请求数据包的内容是否为高热度内容,并将为高热度内容的请求数据包转发至缓存代理服务器。可以看出,本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据当前内容热度描述表即高热度内容信息,选择高热度内容进行缓存代理,从而实现了将内容从签约CP、非签约CP、高热度和低热度两个维度进行了区分,提高了用户主机01请求内容的命中率和缓存代理效率。
其中,为保证URL转发服务器03中存储的当前内容热度描述表为最新的内容热度描述表,URL转发服务器03和内容热度服务器06间需不断的进行数据交互。
URL转发服务器03在与内容热度服务器06建立连接时,URL转发服务器03向内容热度服务器06发出握手消息,在接收到接收内容热度服务器06反馈的相同的握手消息后,与内容热度服务器06建立连接。
内容热度服务器06通过不断的向URL转发服务器03发送心跳消息来维持与URL转发服务器03的连接关系。
需要说明的是,内容热度服务器06通过向URL转发服务器03主动下发最新的内容热度描述表、添加URL热度表条目和删除URL热度表条目来实现对URL转发服务器03内的内容热度描述表的更新,具体如下:
为进一步优化图2公开的实施例,在图2所示实施例的基础上,还可以包括步骤:
判断在预设时间段内是否接收到内容热度分析服务器06发送的携带有最新内容热度描述表的第一报文,如果是,则将当前内容热度描述表更换为最新内容热度描述表,否则,向内容热度分析服务器06发送更新请求,以使内容热度分析服务器06发送所述第一报文。
其中,预设时间段依据实际需要而定。
需要说明的是,本实施例中,URL转发服务器03接收内容热度分析服务器06发送的第一报文完成对当前内容热度描述表更新的过程,或是主动向内容热度分析服务器06请求第一报文,以完成对当前内容热度描述表更新的过程,可以在图2公开的实施例中的任何步骤前或是步骤后执行。其中,若是在步骤S16之前完成对当前内容热度描述表的更新,则步骤S16中所用的当前内容热度描述表为更新后的最新内容热度描述表。
为进一步优化上述实施例,在图2所示实施例的基础上,还可以包括步骤:
接收内容热度分析服务器06发送的携带有待添加若干条URL条目的第二报文;
将所述待添加若干条URL条目添加到当前内容热度描述表中。
为进一步优化上述实施例,在图2所示实施例的基础上,还可以包括步骤:
接收内容热度分析服务器06发送的携带有待删除若干条URL条目的第三报文;
从当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
需要说明的是,内容热度服务器06通过向URL转发服务器03主动下发最新的内容热度描述表、添加URL热度表条目和删除URL热度表条目的三种更新过程不可同时存在,也就是说,内容热度服务器06每次只能采取一种更新方式完成对URL转发服务器内当前内容热度描述表的更新。
其中,内容热度服务器06还可以根据URL转发服务器03内当前内容热度描述表的时间戳确定当前内容热度描述表是否更新。
因此,为进一步优化图2公开的实施例,还可以包括步骤:
接收内容热度分析服务器06发送的携带有获取时间戳指令的第四报文;
将当前内容热度描述表的时间戳发送给内容热度分析服务器06;
接收内容热度分析服务器06发送的最新内容热度描述表;
其中,所述最新内容热度描述表由内容热度分析服务器06通过所述时间戳判断出所述当前内容热度描述表过期后发送。
将所述当前内容热度描述表更换为所述最新内容热度描述表。
需要说明的是,本实施例中,URL转发服务器03接收内容热度分析服务器06发送的第四报文完成对当前内容热度描述表更新的过程,可以在图2公开的实施例中的任何步骤前或是步骤后执行。其中,若是在步骤S16之前完成对当前内容热度描述表的更新,则步骤S16中所用的当前内容热度描述表为更新后的最新内容热度描述表。
其中,当URL转发服务器03接收到的报文中不包含上述涉及到的内容时,当URL转发服务器03不对接收到的报文做任何处理。
综上可以看出,本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据当前内容热度描述表即高热度内容信息,选择高热度内容进行缓存代理,从而实现了将内容从签约CP、非签约CP、高热度和低热度两个维度进行了区分,而且,URL转发服务器03还可以通过和内容热度分析服务器06进行信息交互,实时对当前内容热度描述表进行更新,从而进一步提高了用户主机01请求内容的命中率和缓存代理效率。
与上述方法实施例相对应,本发明还提供了一种解决网络拥挤的缓存系统。
参见图3,本发明实施例公开的一种解决网络拥挤的缓存系统的结构示意图,包括:
第一接收单元21,用于接收用户主机发送的请求数据包;
解析单元22,用于解析所述请求数据包,得到所述请求数据包中包含的URL;
计算单元23,用于利用哈希函数计算所述URL的哈希值;
需要说明的是,互联网上每个文件都有一个与该文件对应的唯一的URL。
第一查找单元24,用于从预存储的签约内容描述表中查找是否记录有所述哈希值,如果是,则执行第一转发单元25,否则,执行第二查找单26元;
第一转发单元25,用于若所述签约内容描述表中记录有所述哈希值,则将所述请求数据包转发至内容分发网络CDN缓存节点;
第二查找单元26,用于若所述签约内容描述表中没有记录所述哈希值,则从预存储的当前内容热度描述表中查找是否记录有所述哈希值,如果是,则执行第二转发单元27,否则,执行第三转发单元28;
当前内容热度描述表中记录有当前的高热度内容,也就是说,通过当前内容热度描述表可以获知哪些URL对应的内容为高热度内容。其中,当前内容热度描述表同时还记录有各URL对应的热度权重值,通过更换热度权重值实现对当前内容热度描述表的更新。
第二转发单元27,用于若所述当前内容热度描述表中记录有所述哈希值,则将所述请求数据包转发至缓存代理服务器;
第三转发单元28,用于若所述当前内容热度描述表中没有记录有所述哈希值,则将所述请求数据包转发至出口网关。
需要说明的是,当缓存代理服务器内缓存有请求数据包中包含的内容时,缓存代理服务器将相对应的内容发送给对应的用户主机01;若没有缓存请求数据包中包含的内容时,缓存代理服务器将请求数据包通过出口网关05转发至源站查找。
综上可以看出,本发明提供的解决网络拥挤的缓存系统,URL转发服务器03接收到用户主机01发送的请求数据包后,利用请求数据包中包含的URL的哈希值,确定请求数据包中包含的内容是否属于签约内容,并将属于签约内容的请求数据包转发给CDN缓存节点;对于不属于签约内容的请求数据包,再利用哈希值确定是否在当前内容热度描述表中,即确定请求数据包的内容是否为高热度内容,并将为高热度内容的请求数据包转发至缓存代理服务器。可以看出,本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据当前内容热度描述表即高热度内容信息,选择高热度内容进行缓存代理,从而实现了将内容从签约CP、非签约CP、高热度和低热度两个维度进行了区分,提高了用户主机01请求内容的命中率和缓存代理效率。
其中,为保证URL转发服务器03中存储的当前内容热度描述表为最新的内容热度描述表,URL转发服务器03和内容热度服务器06间需不断的进行数据交互。
URL转发服务器03在与内容热度服务器06建立连接时,URL转发服务器03向内容热度服务器06发出握手消息,在接收到接收内容热度服务器06反馈的相同的握手消息后,与内容热度服务器06建立连接。
内容热度服务器06通过不断的向URL转发服务器03发送心跳消息来维持与URL转发服务器03的连接关系。
需要说明的是,内容热度服务器06通过向URL转发服务器03主动下发最新的内容热度描述表、添加URL热度表条目和删除URL热度表条目来实现对URL转发服务器03内的内容热度描述表的更新,具体如下:
为进一步优化图3公开的实施例,在图3所示实施例的基础上,还可以包括:
判断单元,用于判断在预设时间段内是否接收到内容热度分析服务器06发送的携带有最新内容热度描述表的第一报文,如果是,则执行第一更换单元,否则,执行更新请求单元;
其中,预设时间段依据实际需要而定。
第一更换单元,用于若接收到所述第一报文,则将所述当前内容热度描述表更换为所述最新内容热度描述表;
更新请求单元,用于若没有接收到所述第一报文,则向所述内容热度分析服务器发送更新请求,以使所述内容热度分析服务器发送所述第一报文。
需要说明的是,本实施例中,URL转发服务器03接收内容热度分析服务器06发送的第一报文完成对当前内容热度描述表更新的过程,或是主动向内容热度分析服务器06请求第一报文,以完成对当前内容热度描述表更新的过程,可以在图3公开的实施例中的任何单元执行前或是执行后执行。其中,若是在执行第二查找单元26之前完成对当前内容热度描述表的更新,则第二查找单元26中所用的当前内容热度描述表为更新后的最新内容热度描述表。
为进一步优化图3公开的实施例,在图3所示实施例的基础上,还可以包括:
第二接收单元,用于接收内容热度分析服务器06发送的携带有待添加若干条URL条目的第二报文;
添加单元,用于将所述待添加若干条URL条目添加到所述当前内容热度描述表中。
为进一步优化图3公开的实施例,在图3所示实施例的基础上,还可以包括:
第三接收单元,用于接收内容热度分析服务器06发送的携带有待删除若干条URL条目的第三报文;
删除单元,用于从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
需要说明的是,内容热度服务器06通过向URL转发服务器03主动下发最新的内容热度描述表、添加URL热度表条目和删除URL热度表条目的三种更新过程不可同时存在,也就是说,内容热度服务器06每次只能采取一种更新方式完成对URL转发服务器内当前内容热度描述表的更新。
其中,内容热度服务器06还可以根据URL转发服务器03内当前内容热度描述表的时间戳确定当前内容热度描述表是否更新。
因此,为进一步优化图3公开的实施例,还可以包括:
第四接收单元,用于接收内容热度分析服务器06发送的携带有获取时间戳指令的第四报文;
发送单元,用于将所述当前内容热度描述表的时间戳发送给内容热度分析服务器06;
第五接收单元,用于接收内容热度分析服务器06发送的最新内容热度描述表,所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送;
第二更换单元,用于将所述当前内容热度描述表更换为所述最新内容热度描述表。
需要说明的是,将本实施例中的各执行单元看成是一个单元组,该单元组可以在图3公开的实施例中的任何单元执行前或是执行后执行。其中,若是在执行第二查找单元26之前完成对当前内容热度描述表的更新,则第二查找单元26中所用的当前内容热度描述表为更新后的最新内容热度描述表。
综上可以看出,本申请将CDN缓存节点和缓存代理服务器进行了融合,使融合后的缓存节点既是CDN缓存节点又可以承担园区网域内缓存代理功能,并可以根据当前内容热度描述表即高热度内容信息,选择高热度内容进行缓存代理,从而实现了将内容从签约CP、非签约CP、高热度和低热度两个维度进行了区分,而且,URL转发服务器03还可以通过和内容热度分析服务器06进行信息交互,实时对当前内容热度描述表进行更新,从而进一步提高了用户主机01请求内容的命中率和缓存代理效率。
需要说明的是,系统实施例中各组成部分的工作原理具体参见相对应的方法实施例,此处不再赘述。
其中,本发明还提供了一种URL转发服务器,该URL转发服务器包括上述的缓存系统。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种解决网络拥挤的缓存方法,其特征在于,包括:
接收用户主机发送的请求数据包;
解析所述请求数据包,得到所述请求数据包中包含的统一资源定位符URL;
利用哈希函数计算所述URL的哈希值;
从预存储的签约内容描述表中查找是否记录有所述哈希值;
若所述签约内容描述表中记录有所述哈希值,则将所述请求数据包转发至内容分发网络CDN缓存节点;
若所述签约内容描述表中没有记录所述哈希值,则从预存储的当前内容热度描述表中查找是否记录有所述哈希值,其中,所述当前内容热度描述表中记录有当前的高热度内容、当前的低热度内容以及各URL对应的热度权重值,通过所述当前内容热度描述表得到包含所述高热度内容的URL;
若所述当前内容热度描述表中记录有所述哈希值,则将所述请求数据包转发至缓存代理服务器;
若所述当前内容热度描述表中没有记录有所述哈希值,则将所述请求数据包转发至出口网关。
2.根据权利要求1所述的缓存方法,其特征在于,还包括:
判断在预设时间段内是否接收到内容热度分析服务器发送的携带有最新内容热度描述表的第一报文;
若接收到所述第一报文,则将所述当前内容热度描述表更换为所述最新内容热度描述表;
若没有接收到所述第一报文,则向所述内容热度分析服务器发送更新请求,以使所述内容热度分析服务器发送所述第一报文。
3.根据权利要求1所述的缓存方法,其特征在于,还包括:
接收内容热度分析服务器发送的携带有待添加若干条URL条目的第二报文;
将所述待添加若干条URL条目添加到所述当前内容热度描述表中。
4.根据权利要求1所述的缓存方法,其特征在于,还包括:
接收内容热度分析服务器发送的携带有待删除若干条URL条目的第三报文;
从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
5.根据权利要求1所述的缓存方法,其特征在于,还包括:
接收内容热度分析服务器发送的携带有获取时间戳指令的第四报文;
将所述当前内容热度描述表的时间戳发送给所述内容热度分析服务器;
接收所述内容热度分析服务器发送的最新内容热度描述表,所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送;
将所述当前内容热度描述表更换为所述最新内容热度描述表。
6.一种解决网络拥挤的缓存系统,其特征在于,包括:
第一接收单元,用于接收用户主机发送的请求数据包;
解析单元,用于解析所述请求数据包,得到所述请求数据包中包含的统一资源定位符URL;
计算单元,用于利用哈希函数计算所述URL的哈希值;
第一查找单元,用于从预存储的签约内容描述表中查找是否记录有所述哈希值;
第一转发单元,用于若所述签约内容描述表中记录有所述哈希值,则将所述请求数据包转发至内容分发网络CDN缓存节点;
第二查找单元,用于若所述签约内容描述表中没有记录所述哈希值,则从预存储的当前内容热度描述表中查找是否记录有所述哈希值,其中,所述当前内容热度描述表中记录有当前的高热度内容、当前的低热度内容以及各URL对应的热度权重值,通过所述当前内容热度描述表得到包含所述高热度内容的URL;
第二转发单元,用于若所述当前内容热度描述表中记录有所述哈希值,则将所述请求数据包转发至缓存代理服务器;
第三转发单元,用于若所述当前内容热度描述表中没有记录有所述哈希值,则将所述请求数据包转发至出口网关。
7.根据权利要求6所述的缓存系统,其特征在于,还包括:
判断单元,用于判断在预设时间段内是否接收到内容热度分析服务器发送的携带有最新内容热度描述表的第一报文;
第一更换单元,用于若接收到所述第一报文,则将所述当前内容热度描述表更换为所述最新内容热度描述表;
更新请求单元,用于若没有接收到所述第一报文,则向所述内容热度分析服务器发送更新请求,以使所述内容热度分析服务器发送所述第一报文。
8.根据权利要求6所述的缓存系统,其特征在于,还包括:
第二接收单元,用于接收内容热度分析服务器发送的携带有待添加若干条URL条目的第二报文;
添加单元,用于将所述待添加若干条URL条目添加到所述当前内容热度描述表中。
9.根据权利要求6所述的缓存系统,其特征在于,还包括:
第三接收单元,用于接收内容热度分析服务器发送的携带有待删除若干条URL条目的第三报文;
删除单元,用于从所述当前内容热度描述表中删除与所述待删除若干条URL条目相同的URL条目。
10.根据权利要求6所述的缓存系统,其特征在于,还包括:
第四接收单元,用于接收内容热度分析服务器发送的携带有获取时间戳指令的第四报文;
发送单元,用于将所述当前内容热度描述表的时间戳发送给所述内容热度分析服务器;
第五接收单元,用于接收所述内容热度分析服务器发送的最新内容热度描述表,所述最新内容热度描述表由所述内容热度分析服务器通过所述时间戳判断出所述当前内容热度描述表过期后发送;
第二更换单元,用于将所述当前内容热度描述表更换为所述最新内容热度描述表。
11.一种URL转发服务器,其特征在于,所述URL转发服务器包括权利要求6至10任意一项所述的缓存系统。
CN201410838045.6A 2014-12-29 2014-12-29 解决网络拥挤的缓存方法、系统及url转发服务器 Active CN104506637B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410838045.6A CN104506637B (zh) 2014-12-29 2014-12-29 解决网络拥挤的缓存方法、系统及url转发服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410838045.6A CN104506637B (zh) 2014-12-29 2014-12-29 解决网络拥挤的缓存方法、系统及url转发服务器

Publications (2)

Publication Number Publication Date
CN104506637A CN104506637A (zh) 2015-04-08
CN104506637B true CN104506637B (zh) 2018-03-23

Family

ID=52948352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410838045.6A Active CN104506637B (zh) 2014-12-29 2014-12-29 解决网络拥挤的缓存方法、系统及url转发服务器

Country Status (1)

Country Link
CN (1) CN104506637B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462861B1 (ko) * 2015-08-05 2022-11-02 퀄컴 인코포레이티드 모바일 cdn 을 위한 심층 패킷 검사 표시
US11082515B2 (en) 2015-09-26 2021-08-03 Intel Corporation Technologies for offloading data object replication and service function chain management
CN106790324B (zh) * 2015-11-20 2020-06-16 华为技术有限公司 内容分发方法、虚拟服务器管理方法、云平台和系统
CN105512280B (zh) * 2015-12-07 2019-05-21 福建天晴数码有限公司 缓存站点文件的方法及其系统
CN108737470B (zh) * 2017-04-19 2020-03-13 贵州白山云科技股份有限公司 一种访问请求回源方法和装置
CN107426302B (zh) * 2017-06-26 2020-06-05 腾讯科技(深圳)有限公司 访问调度方法、装置、系统、终端、服务器及存储介质
US10621059B2 (en) 2017-12-19 2020-04-14 International Business Machines Corporation Site recovery solution in a multi-tier storage environment
CN108769166A (zh) * 2018-05-17 2018-11-06 北京云端智度科技有限公司 一种基于元数据的cdn缓存内容管理装置
CN110493330A (zh) * 2019-08-13 2019-11-22 浙江省方大标准信息有限公司 一种数据交换系统及其方法
CN110535981A (zh) * 2019-09-04 2019-12-03 达疆网络科技(上海)有限公司 一种url转发系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222424A (zh) * 2007-12-24 2008-07-16 中国电信股份有限公司 内容分发网络和该网络中基于内容的调度方法
CN101741731A (zh) * 2009-12-03 2010-06-16 中兴通讯股份有限公司 内容分发网络中内容元数据的存储、查询方法及管理系统
CN102282825A (zh) * 2010-12-14 2011-12-14 华为技术有限公司 内容传送网络中流媒体请求地址映射的方法及装置、缓存节点
CN102638483A (zh) * 2011-02-15 2012-08-15 中国移动通信集团公司 一种内容分发节点的确定方法、设备及系统
CN103347068A (zh) * 2013-06-26 2013-10-09 中国(南京)未来网络产业创新中心 一种基于代理集群网络缓存加速方法
CN103347103A (zh) * 2013-07-23 2013-10-09 网宿科技股份有限公司 实现IPv4和IPv6双网内容分发的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130254343A1 (en) * 2012-03-22 2013-09-26 Akamai Technologies Inc. Server with message exchange accounting

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222424A (zh) * 2007-12-24 2008-07-16 中国电信股份有限公司 内容分发网络和该网络中基于内容的调度方法
CN101741731A (zh) * 2009-12-03 2010-06-16 中兴通讯股份有限公司 内容分发网络中内容元数据的存储、查询方法及管理系统
CN102282825A (zh) * 2010-12-14 2011-12-14 华为技术有限公司 内容传送网络中流媒体请求地址映射的方法及装置、缓存节点
CN102638483A (zh) * 2011-02-15 2012-08-15 中国移动通信集团公司 一种内容分发节点的确定方法、设备及系统
CN103347068A (zh) * 2013-06-26 2013-10-09 中国(南京)未来网络产业创新中心 一种基于代理集群网络缓存加速方法
CN103347103A (zh) * 2013-07-23 2013-10-09 网宿科技股份有限公司 实现IPv4和IPv6双网内容分发的系统和方法

Also Published As

Publication number Publication date
CN104506637A (zh) 2015-04-08

Similar Documents

Publication Publication Date Title
CN104506637B (zh) 解决网络拥挤的缓存方法、系统及url转发服务器
Li et al. ECCN: Orchestration of edge-centric computing and content-centric networking in the 5G radio access network
JP5855817B2 (ja) ネットワークにおける階層構造可変長識別子を備えたパケットを転送するためのコンピュータ実施方法
CN103457993B (zh) 本地缓存装置和提供内容缓存服务的方法
CN102118376B (zh) 内容分发网络服务器及内容下载方法
Al-Turjman RETRACTED: Cognitive caching for the future sensors in fog networking
CN102647357B (zh) 一种处理内容路由方法及装置
Han et al. Publisher mobility support in content centric networks
CN103841045B (zh) 一种互联网缓存处理方法、内容探测子系统和Cache系统
CN107250999A (zh) 具有网络内缓存的分布式内容发现
CN100563214C (zh) 一种提高访问网络资源速度的方法及系统
CN102984223B (zh) 一种消息发送方法、网络设备及系统
Tortelli et al. Cobra: Lean intra-domain routing in ndn
WO2014000558A1 (zh) 一种cdn路由实现方法和系统
CN103905332B (zh) 一种确定缓存策略的方法及设备
US8019859B2 (en) Reporting processing method, origin server and user client for user agent profile information
CN106686033A (zh) 一种缓存和服务内容的方法、装置和系统
WO2005006671A1 (ja) ネットワークにおける特定サービスの最適ルーティング方法並びに同ネットワークに用いられるサーバ及びルーティングノード
KR20130037368A (ko) 센서 네트워크를 구성하는 중간 노드 장치 및 중간 노드 장치가 수행하는 센서 데이터 처리 방법
Cha et al. A mobility link service for ndn consumer mobility
CN108965479B (zh) 一种基于内容中心网络的域协同缓存方法及装置
Doan Van et al. An efficient in‐network caching decision algorithm for I nternet of things
Zhu et al. EPCache: In-network video caching for LTE core networks
CN108769252A (zh) 一种基于请求内容关联性的icn网络预缓存方法
EP3963843A1 (en) Quality of service (qos) in information centric networking (icn)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant