CN102523256B - 内容的管理方法的方法、装置和系统 - Google Patents
内容的管理方法的方法、装置和系统 Download PDFInfo
- Publication number
- CN102523256B CN102523256B CN201110390368.XA CN201110390368A CN102523256B CN 102523256 B CN102523256 B CN 102523256B CN 201110390368 A CN201110390368 A CN 201110390368A CN 102523256 B CN102523256 B CN 102523256B
- Authority
- CN
- China
- Prior art keywords
- content
- network node
- popularity
- popularity rank
- contents list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
- H04L67/306—User profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
Abstract
本发明实施例提供了一种内容的管理方法的方法、装置和系统。该方法主要包括:协作控制器获取至少一个网络节点发送过来的所述存储内容列表,所述存储内容列表中包括每个内容的标识和流行度级别根据所述存储内容列表获取每个内容的流行度级别,建立并管理多个内容列表,所述内容列表中包括每个内容的标识,每个所述内容列表对应一个流行度级别。本发明实施例可以实现对于流行度级别高的内容,在多个网络节点上存储;对应流行度级别低的内容,只在少数网络节点上存储,从而实现在充分利用存储空间、节省网络带宽的同时,保证各个网络节点之间的负载均衡。
Description
技术领域
本发明涉及信息技术领域,尤其涉及一种内容的管理方法的方法、装置和系统。
背景技术
网络缓存技术的最初实现方法为:浏览器缓存的方法。在该方法中,每个用户的客户端的浏览器上都有一个独立的缓存区,这样可以在一定程度上满足用户的需求,但可能在不同用户的缓存区内,重复性地保存了相同的缓存内容,造成不必要的浪费,限制了该方法的大规模使用。
代理缓存方法针对上述浏览器缓存的方法作了改进,一组在物理上接近的用户可以共用一个代理缓存服务器。代理缓存服务器一次性地保存这些内容,可以为更多的用户服务,更有效地使用了缓存区。
但是,单个的代理缓存服务器所能保存的缓存内容是有限的,它所能服务的用户也是有限的。现有技术中的一种扩展的代理缓存方法主要包括:ICP(Internet Cache Protocol,网络缓存协议)是一种对象位置协议,各个代理缓存服务器通过ICP彼此通信,代理缓存服务器可以使用ICP就是否存在内容的URL(Uniform Resoure Locator,统一资源定位器)及这些URL的最佳检索位置发送查询和回复。在典型的ICP交换中,一个代理缓存服务器将有关特定内容的URL的ICP查询发送给邻近的所有代理缓存服务器。然后,这些邻近的所有代理缓存服务器将发回ICP回复,指出其是否包含特定内容的URL。如果这些邻近的所有代理缓存服务器不包含上述特定内容的URL,则会发回未命中消息。如果这些邻近的所有代理缓存服务器包含上述特定内容的URL,则会发回命中消息。
上述现有技术中的扩展的代理缓存方法的缺点为:该方法仅能判断内容的有无,各个代理缓存服务器之间存在负载不均衡的问题。
发明内容
本发明的实施例提供了一种内容的管理方法的方法、装置和系统,以实现在充分利用存储空间、节省网络带宽的同时,保证各个网络节点之间的负载均衡。
一种协作控制器,包括:
协作消息处理单元,用于获取至少一个网络节点发送来的存储内容列表,所述存储内容列表中包括每个内容的标识和流行度级别,将所述存储内容列表发送给全局缓存管理单元;
所述全局缓存管理单元,用于根据从所述协作消息处理单元接收到的存储内容列表获取每个内容的流行度级别,建立并管理多个内容列表,所述内容列表中包括每个内容的标识,每个所述内容列表对应一个流行度级别。
一种网络节点,包括:
本地缓存管理单元,用于存储内容数据,并根据内容的访问情况获取内容的流行度值,根据内容的流行度值将存储的内容归属为不同的流行度级别;
协作消息处理单元,用于向协作控制器发送存储内容列表,所述存储内容列表中包括每个内容的标识和流行度级别。
一种缓存协作系统,包括所述的协作控制器和所述的网络节点。
一种内容的管理方法,包括:
根据内容的访问情况获取内容的流行度值,根据内容的流行度值将存储的内容归属为不同的流行度级别;
向协作控制器发送存储内容列表,所述存储内容列表中包括每个内容的标识和流行度级别。
一种内容的管理方法,包括:
获取至少一个网络节点发送过来的所述存储内容列表,根据所述存储内容列表获取每个内容的流行度级别,建立并管理多个内容列表,所述内容列表中包括每个内容的标识,每个所述内容列表对应一个流行度级别。
一种内容的管理方法,包括:
网络节点根据内容的访问情况获取内容的流行度值,根据内容的流行度值将存储的内容归属为不同的流行度级别;向协作控制器发送存储内容列表,所述存储内容列表中包括每个内容的标识和流行度级别;
协作控制器获取至少一个网络节点发送过来的所述存储内容列表,根据所述存储内容列表获取每个内容的流行度级别,建立并管理多个内容列表,所述内容列表中包括每个内容的标识,每个所述内容列表对应一个流行度级别。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例通过协作控制器根据从网络节点接收到的存储内容列表建立并管理多个内容列表,每个所述内容列表对应一个流行度级别。可以实现网络节点根据内容的访问情况将存储的内容归属为不同的流行度级别,可以实现了协作控制器按照内容的不同的流行度级别来管理各个内容。进而可以实现对于流行度级别高的内容,在多个网络节点上存储;对应流行度级别低的内容,只在少数网络节点上存储。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种缓存协作系统的结构示意图;
图2为本发明实施例一提供的一种网络节点具体结构示意图;
图3为本发明实施例一提供的一种协作控制器的具体结构图;
图4为本发明实施例一提供的一种内容的管理方法的具体处理流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为便于对本发明实施例的理解,下面将结合附图以几个具体实施例为例做进一步的解释说明,且各个实施例并不构成对本发明实施例的限定。
实施例一
该实施例提供的一种缓存协作系统的结构示意图如图1所示,包括协作控制器和至少一个网络节点。
网络节点具有存储内容数据的功能,并根据内容的访问情况获取内容的流行度值,根据内容的流行度值将存储的内容归属为不同的流行度级别。向协作控制器上报存储内容列表,并向协作控制器查询信息。不同网络节点之间可以直接通信,进行内容资源共享,互相查询和传输所存储的内容。当一个网络节点没有用户所请求的内容时,可以从系统中的其它网络节点获取上述内容。
协作控制器接收网络节点上报的存储内容列表,建立并管理多个内容列表,所述内容列表中包括每个内容的标识和流行度值,每个所述内容列表对应一个流行度级别。并向网络节点提供查询接口。
上述协作控制器可以是集中式的或分布式的。集中式的可以是单独的服务器,也可以由某一个网络节点充当。分布式的协作控制器通常采取DHT(Distributed Hash Table,分布式哈希表)来实现,其中的单个协作控制器可以与网络节点位于同一物理设备,也可以是不同的物理设备。
该实施例提供的一种上述网络节点具体结构如图2所示,包括如下的单元:
本地缓存管理单元21,用于存储内容数据,并根据内容的访问情况获取内容的流行度值,根据内容的流行度值将存储的内容归属为不同的流行度级别。比如按设定周期内的访问量大小对存储的内容进行流行度从大到小排序,根据排序位置将内容分为热门内容和冷门内容两个流行度级别,TopN的内容标识为热门内容,TopN后的内容为冷门内容。N为正整数,其值可以根据负载调整,本网络节点负载过载时,增大N值,本网络节点负载过轻时,减小N值。
所述的本地缓存管理单元21根据内容的流行度级别确定所述内容的存储副本数量,流行度级别高的内容的存储副本数量大于流行度级别低的内容的存储副本数量。
协作消息交互接口单元22,用于提供和协作控制器之间的交互接口,通过该交互接口将从所述协作消息处理单元接收到的存储内容列表发送给协作控制器。
协作消息处理单元23,用于通过协作消息交互接口单元22定期向协作控制器发送存储内容列表,所述存储内容列表中包括每个内容的标识、流行度值(可选)和流行度级别。
具体的,当所述的流行度级别包括冷门和热门两个级别时:
所述的协作消息处理单元23,还用于当所述本地缓存管理单元21需要存储新内容时,向所述协作消息交互接口单元22发送所述新内容的内容查询请求。
所述的协作消息交互接口单元22,还用于通过所述交互接口将从所述协作消息处理单元23接收到的内容查询请求发送给协作控制器,将通过所述交互接口从所述协作控制器接收到的查询结果发送给协作消息处理单元23。
所述的协作消息处理单元23,还用于当从所述的协作消息交互接口单元22接收到的查询结果为所述新内容不存在或者所述新内容存在流行度级别为热门时,通知所述本地缓存管理单元21存储所述新内容。当从所述的协作消息交互接口单元22接收到的查询结果为所述新内容存在流行度级别为冷门时,通知所述本地缓存管理单元21不存储所述新内容。之后,当用户向该网络节点请求所述新内容时,该网络节点可以从其它网络节点获取所述新内容。
具体的,所述的协作消息处理单元23,还用于当所述本地缓存管理单元21由于存储空间的限制需要删除存储的内容时,向所述协作消息交互接口单元22发送流行度级别由热变冷的变更内容查询请求。
所述的协作消息交互接口单元22,还用于通过所述交互接口将从所述协作消息处理单元23接收到的变更内容查询请求发送给协作控制器,将通过所述交互接口从所述协作控制器接收到的变更内容列表发送给协作消息处理单元23,所述变更内容列表中包括流行度级别由热变冷的内容的标识和流行度值。
所述的协作消息处理单元23,还用于根据从所述的协作消息交互接口单元22接收到的变更内容列表,通知所述本地缓存管理单元21优先删除本地存储的流行度级别为冷门的并且包括在所述变更内容列表中的内容,该内容由于以前是热门,可能在系统中还存储有该内容的副本。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例可以实现网络节点根据内容的访问情况将存储的内容归属为不同的流行度级别。可以实现网络节点通过向协作控制器进行查询,除了可以判断内容的有与无之外,还能识别内容的流行度级别(冷或热)以及流行度级别的变化。网络节点根据内容流行度级别不同可以作不同的处理。对于热门的内容可以有多个副本实现负荷分担,对于冷门的内容只保存单个副本,以增加存储的总内容数。
该实施例提供的一种上述的协作控制器的具体结构如图3所示,包括如下的单元:
全局缓存管理单元31,用于根据从所述协作消息处理单元33接收到的存储内容列表获取每个内容的流行度级别,建立并管理多个内容列表,所述内容列表包括每个内容的标识和在所有网络节点上的平均流行度值(可选),每个所述内容列表对应一个流行度级别。全局缓存管理单元31需要定期对上述内容列表进行更新。
具体的,当所述的流行度级别包括冷门和热门两个级别时,所述的全局缓存管理单元31建立并管理冷门内容列表、热门内容列表和变更内容列表,所述热门内容列表中包括至少一个网络节点发送过来的流行度级别为热门的内容的标识和流行度值,即只要内容在一个网络节点上是热门,就将该内容归属于冷门内容列表。所述冷门内容列表中包括网络节点发送过来的流行度级别为冷门并且在所述热门内容列表中没有的内容的标识和在所有网络节点上的平均流行度值(可选),所述的变更内容列表中包括流行度级别由热变冷的内容的标识和在所有网络节点上的平均流行度值(可选)。
上述全局缓存管理单元31还可以同时根据接收到的各个网络节点的缓存内容列表,维护各个内容的副本数以及平均流行度之排名。上述变更内容列表中的内容可以按平均流行度值与副本数的比值进行排序。
协作消息交互接口单元32,用于提供和网络节点之间的交互接口,通过该交互接口接收至少一个网络节点发送过来的所述存储内容列表,将所述存储内容列表发送给协作消息处理单元33。
协作消息处理单元33,用于获取至少一个网络节点发送过来的存储内容列表,所述存储内容列表中包括每个内容的标识、流行度值(可选)和流行度级别,将所述存储内容列表发送给全局缓存管理单元31。
具体的,所述的协作消息交互接口单元32,还用于通过所述交互接口接收网络节点发送过来的内容查询请求,将所述内容查询请求发送给协作消息处理单元33。
所述的协作消息处理单元33,还用于根据所述内容查询请求在所述的全局缓存管理单元31所管理的内容列表中进行查询,将查询结果发送给所述的协作消息交互接口单元32,所述的查询结果包括:内容存在以及该内容的流行度级别或者内容不存在。
所述的协作消息交互接口单元32,还用于将从所述协作消息处理单元33接收到的查询结果返回给网络节点。
具体的,当所述的流行度级别包括冷门和热门两个级别时:
所述的协作消息交互接口单元32,还用于通过所述交互接口接收网络节点发送过来的流行度级别由热变冷的变更内容查询请求,将所述变更内容查询请求发送给协作消息处理单元33。
所述的协作消息处理单元33,还用于根据所述变更内容查询请求查询获取所述的全局缓存管理单元31所管理的变更内容列表,将所述变更内容列表发送给所述的协作消息交互接口单元32。
所述的协作消息交互接口单元32,还用于将从所述协作消息处理单元33接收到的变更内容列表返回给网络节点。
本发明实施例的装置可以是处理器,比如CPU(Central Processing Unit,中央处理器)或ASIC(Application Specific Integrated Circuit,专用集成电路)等。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例通过协作控制器根据从网络节点接收到的存储内容列表建立并管理多个内容列表,从而实现了协作控制器按照内容的不同的流行度级别来管理各个内容。通过协作控制器根据接收到的网络节点发送的查询请求向网络节点返回携带内容的有与无、内容的流行度级别(冷或热)以及流行度级别的变化情况的查询结果,可以实现对于流行度级别高的内容,在多个网络节点上存储;对应流行度级别低的内容,只在少数网络节点上存储,从而实现在充分利用存储空间、节省网络带宽的同时,保证各个网络节点之间的负载均衡。
实施例二
该实施例提供了一种内容的管理方法,其具体处理流程如图4所示,包括如下的处理步骤:
步骤41、网络节点向协作控制器发送存储内容列表,所述存储内容列表中包括每个内容的标识和流行度级别。
网络节点实现内容的存储,并根据内容的访问情况获取内容的流行度值,根据内容的流行度值将存储的内容归属为不同的流行度级别。向协作控制器发送存储内容列表,所述存储内容列表中包括每个内容的标识和流行度级别。
比如按设定周期内的访问量大小对存储的内容进行流行度从大到小排序,根据排序位置将内容分为热门内容和冷门内容两个流行度级别,TopN的内容标识为热门内容,TopN后的内容为冷门内容。N为正整数,其值可以根据负载调整,本网络节点负载过载时,增大N值,本网络节点负载过轻时,减小N值。
步骤42、协作控制器获取至少一个网络节点发送过来的所述存储内容列表,根据所述存储内容列表获取每个内容的流行度级别,建立并管理多个内容列表,所述内容列表中包括每个内容的标识,每个所述内容列表对应一个流行度级别。
所述的方法还包括:
当所述的流行度级别包括冷门和热门两个级别时,所述的协作控制器建立并管理冷门内容列表、热门内容列表和变更内容列表,所述热门内容列表中包括至少一个网络节点发送过来的流行度级别为热门的内容的标识,所述冷门内容列表中包括网络节点发送过来的流行度级别为冷门并且在所述热门内容列表中没有的内容的标识,所述的变更内容列表中包括流行度级别由热变冷的内容的标识。
所述的方法还包括:
当所述网络节点需要存储新内容时,向所述协作控制器发送所述新内容的内容查询请求。
所述协作控制器根据所述内容查询请求在其所管理的内容列表中进行查询,将查询结果发送给所述网络节点,所述的查询结果包括:内容存在和该内容的流行度级别或者内容不存在。
当所述的查询结果为所述新内容不存在或者所述新内容存在流行度级别为热门时,所述网络节点存储所述新内容。当所述的查询结果为所述新内容存在流行度级别为冷门时,所述网络节点不存储所述新内容。
所述的方法还包括:
当所述网络节点需要删除存储的内容时,向所述协作控制器发送流行度级别由热变冷的变更内容查询请求。
所述协作控制器接收到所述变更内容查询请求后,将其管理的所述变更内容列表发送给所述网络节点。
所述的网络节点根据从所述协作控制器接收到的变更内容列表,删除本地存储的流行度级别为冷门的并且包括在所述变更内容列表中的内容。
本发明实施例的装置可以是处理器,比如CPU(Central Processing Unit,中央处理器)或ASIC(Application Specific Integrated Circuit,专用集成电路)等。
由上述本发明的实施例提供的技术方案可以看出,本发明实施例可以实现网络节点根据内容的访问情况将存储的内容归属为不同的流行度级别。可以实现网络节点通过向协作控制器进行查询,除了可以判断内容的有与无之外,还能识别内容的流行度级别(冷或热)以及流行度级别的变化。网络节点根据内容流行度级别不同可以作不同的处理。对于热门的内容可以有多个副本实现负荷分担,对于冷门的内容只保存单个副本,以增加存储的总内容数。
通过协作控制器根据从网络节点接收到的存储内容列表建立并管理多个内容列表,从而实现了协作控制器按照内容的不同的流行度级别来管理各个内容。通过协作控制器根据接收到的网络节点发送的查询请求向网络节点返回携带内容的有与无、内容的流行度级别(冷或热)以及流行度级别的变化情况的查询结果,可以实现对于流行度级别高的内容,在多个网络节点上存储;对应流行度级别低的内容,只在少数网络节点上存储,从而实现在充分利用存储空间、节省网络带宽的同时,保证各个网络节点之间的负载均衡。
应用本发明实施例的方法进行内容管理的具体过程与前述装置、系统的实施例类似,此处不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
综上所述,本发明实施例通过协作控制器根据从网络节点接收到的存储内容列表建立并管理多个内容列表,所述内容列表中包括每个内容的标识,每个所述内容列表对应一个流行度级别。可以实现协作控制器按照内容的不同的流行度级别来管理各个内容。
通过协作控制器根据接收到的网络节点发送的查询请求向网络节点返回携带内容的有与无、内容的流行度级别(冷或热)以及流行度级别的变化情况的查询结果,可以实现对于流行度级别高的内容,在多个网络节点上存储;对应流行度级别低的内容,只在少数网络节点上存储,从而实现在充分利用存储空间、节省网络带宽的同时,保证各个网络节点之间的负载均衡。
可以实现网络节点根据内容的访问情况将存储的内容归属为不同的流行度级别。可以实现网络节点通过向协作控制器进行查询,除了可以判断内容的有与无之外,还能识别内容的流行度级别(冷或热)以及流行度级别的变化。本地网络节点根据内容流行度级别不同可以作不同的处理。对于热门的内容可以有多个副本实现负荷分担,对于冷门的内容只保存单个副本,以增加存储的总内容数。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (16)
1.一种协作控制器,其特征在于,包括:
协作消息处理单元,用于获取至少一个网络节点发送来的存储内容列表,所述存储内容列表中包括每个内容的标识和流行度级别,将所述存储内容列表发送给全局缓存管理单元;
所述全局缓存管理单元,用于根据从所述协作消息处理单元接收到的存储内容列表获取每个内容的流行度级别,建立并管理多个内容列表,所述内容列表中包括每个内容的标识,每个所述内容列表对应一个流行度级别;
当所述的流行度级别包括冷门和热门两个级别时,
所述的全局缓存管理单元还用于建立并管理冷门内容列表、热门内容列表和变更内容列表,所述热门内容列表中包括至少一个网络节点发送过来的流行度级别为热门的内容的标识,所述冷门内容列表中包括网络节点发送过来的流行度级别为冷门并且在所述热门内容列表中没有的内容的标识,所述的变更内容列表中包括流行度级别由热变冷的内容的标识。
2.根据权利要求1所述的协作控制器,其特征在于,所述的协作控制器,还包括:
协作消息交互接口单元,用于提供和网络节点之间的交互接口,通过该交互接口接收至少一个网络节点发送过来的所述存储内容列表,将所述存储内容列表发送给协作消息处理单元。
3.根据权利要求2所述的协作控制器,其特征在于,
所述的协作消息交互接口单元还用于通过所述交互接口接收网络节点发送过来的内容查询请求,将所述内容查询请求发送给协作消息处理单元;
所述的协作消息处理单元还用于根据所述内容查询请求在所述的全局缓存管理单元所管理的内容列表中进行查询,将查询结果发送给所述的协作消息交互接口单元,所述的查询结果包括:内容存在和该内容的流行度级别或者内容不存在;
所述的协作消息交互接口单元还用于将从所述协作消息处理单元接收到的查询结果返回给网络节点。
4.根据权利要求2所述的协作控制器,其特征在于,
所述的协作消息交互接口单元还用于通过所述交互接口接收网络节点发送过来的流行度级别由热变冷的变更内容查询请求,将所述变更内容查询请求发送给协作消息处理单元;
所述的协作消息处理单元还用于根据所述变更内容查询请求查询获取所述的全局缓存管理单元所管理的变更内容列表,将所述变更内容列表发送给所述的协作消息交互接口单元;
所述的协作消息交互接口单元还用于将从所述协作消息处理单元接收到的变更内容列表返回给网络节点。
5.一种网络节点,其特征在于,包括:
本地缓存管理单元,用于存储内容数据,并根据内容的访问情况获取内容的流行度值,根据内容的流行度值将存储的内容归属为不同的流行度级别;
协作消息处理单元,用于向协作控制器发送存储内容列表,所述存储内容列表中包括每个内容的标识和流行度级别;
其中,所述的网络节点还包括:
协作消息交互接口单元,用于提供和协作控制器之间的交互接口,通过该交互接口将从所述协作消息处理单元接收到的存储内容列表发送给协作控制器;
当所述的流行度级别包括冷门和热门两个级别时:
所述的协作消息处理单元,还用于当所述本地缓存管理单元需要删除存储的内容时,向所述协作消息交互接口单元发送流行度级别由热变冷的变更内容查询请求;
所述的协作消息交互接口单元,还用于通过所述交互接口将从所述协作消息处理单元接收到的变更内容查询请求发送给协作控制器,将通过所述交互接口从所述协作控制器接收到的变更内容列表发送给协作消息处理单元,所述变更内容列表中包括流行度级别由热变冷的内容的标识;
所述的协作消息处理单元,还用于根据从所述的协作消息交互接口单元接收到的变更内容列表,通知所述本地缓存管理单元删除本地存储的流行度级别为冷门的并且包括在所述变更内容列表中的内容。
6.根据权利要求5所述的网络节点,其特征在于,当所述的流行度级别包括冷门和热门两个级别时,
所述的协作消息处理单元还用于当所述本地缓存管理单元需要存储新内容时,向所述协作消息交互接口单元发送所述新内容的内容查询请求;
所述的协作消息交互接口单元还用于通过所述交互接口将从所述协作消息处理单元接收到的内容查询请求发送给协作控制器,将通过所述交互接口从所述协作控制器接收到的查询结果发送给协作消息处理单元;
所述的协作消息处理单元还用于当从所述的协作消息交互接口单元接收到的查询结果为所述新内容不存在或者所述新内容存在流行度级别为热门时,通知所述本地缓存管理单元存储所述新内容;当从所述的协作消息交互接口单元接收到的查询结果为所述新内容存在流行度级别为冷门时,通知所述本地缓存管理单元不存储所述新内容。
7.根据权利要求5所述的网络节点,其特征在于:
所述的本地缓存管理单元,还用于根据内容的流行度级别确定所述内容的存储副本数量,流行度级别高的内容的存储副本数量大于流行度级别低的内容的存储副本数量。
8.一种缓存协作系统,其特征在于,包括如权利要求1至4任一项所述的协作控制器和权利要求5至7任一项所述的网络节点。
9.一种内容的管理方法,其特征在于,包括:
根据内容的访问情况获取内容的流行度值,根据内容的流行度值将存储的内容归属为不同的流行度级别;
向协作控制器发送存储内容列表,所述存储内容列表中包括每个内容的标识和流行度级别;
所述的方法还包括:
当网络节点需要删除存储的内容时,向所述协作控制器发送流行度级别由热变冷的变更内容查询请求;
所述的网络节点根据从所述协作控制器接收到的变更内容列表,删除本地存储的流行度级别为冷门的并且包括在所述变更内容列表中的内容。
10.根据权利要求9所述的一种内容的管理方法,其特征在于,所述的方法还包括:
当所述网络节点需要存储新内容时,向所述协作控制器发送所述新内容的内容查询请求;
当从所述协作控制器接收到的查询结果为所述新内容不存在或者所述新内容存在流行度级别为热门时,所述网络节点存储所述新内容;当所述的查询结果为所述新内容存在流行度级别为冷门时,所述网络节点不存储所述新内容。
11.一种内容的管理方法,其特征在于,包括:
获取至少一个网络节点发送过来的存储内容列表,根据所述存储内容列表获取每个内容的流行度级别,建立并管理多个内容列表,所述内容列表中包括每个内容的标识,每个所述内容列表对应一个流行度级别;
所述的方法还包括:
当所述的流行度级别包括冷门和热门两个级别时,协作控制器建立并管理冷门内容列表、热门内容列表和变更内容列表,所述热门内容列表中包括至少一个网络节点发送过来的流行度级别为热门的内容的标识,所述冷门内容列表中包括网络节点发送过来的流行度级别为冷门并且在所述热门内容列表中没有的内容的标识,所述的变更内容列表中包括流行度级别由热变冷的内容的标识。
12.根据权利要求11所述的一种内容的管理方法,其特征在于,所述的方法还包括:
当网络节点需要存储新内容时,所述协作控制器接收到所述网络节点发送的所述新内容的内容查询请求;
所述协作控制器根据所述内容查询请求在其所管理的内容列表中进行查询,将查询结果发送给所述网络节点,所述的查询结果包括:内容存在和该内容的流行度级别或者内容不存在。
13.根据权利要求11所述的一种内容的管理方法,其特征在于,所述的方法还包括:
当所述网络节点需要删除存储的内容时,所述协作控制器接收到所述网络节点发送的流行度级别由热变冷的变更内容查询请求;
所述协作控制器将其管理的所述变更内容列表发送给所述网络节点。
14.一种内容的管理方法,其特征在于,包括:
网络节点根据内容的访问情况获取内容的流行度值,根据内容的流行度值将存储的内容归属为不同的流行度级别;向协作控制器发送存储内容列表,所述存储内容列表中包括每个内容的标识和流行度级别;
协作控制器获取至少一个网络节点发送过来的所述存储内容列表,根据所述存储内容列表获取每个内容的流行度级别,建立并管理多个内容列表,所述内容列表中包括每个内容的标识,每个所述内容列表对应一个流行度级别;
所述的方法还包括:
当所述的流行度级别包括冷门和热门两个级别时,所述的协作控制器建立并管理冷门内容列表、热门内容列表和变更内容列表,所述热门内容列表中包括至少一个网络节点发送过来的流行度级别为热门的内容的标识,所述冷门内容列表中包括网络节点发送过来的流行度级别为冷门并且在所述热门内容列表中没有的内容的标识,所述的变更内容列表中包括流行度级别由热变冷的内容的标识。
15.根据权利要求14所述的内容的管理方法,其特征在于,所述的方法还包括:
当所述网络节点需要存储新内容时,向所述协作控制器发送所述新内容的内容查询请求;
所述协作控制器根据所述内容查询请求在其所管理的内容列表中进行查询,将查询结果发送给所述网络节点,所述的查询结果包括:内容存在和该内容的流行度级别或者内容不存在;
当所述的查询结果为所述新内容不存在或者所述新内容存在流行度级别为热门时,所述网络节点存储所述新内容;当所述的查询结果为所述新内容存在流行度级别为冷门时,所述网络节点不存储所述新内容。
16.根据权利要求14所述的内容的管理方法,其特征在于,所述的方法还包括:
当所述网络节点需要删除存储的内容时,向所述协作控制器发送流行度级别由热变冷的变更内容查询请求;
所述协作控制器接收到所述变更内容查询请求后,将其管理的所述变更内容列表发送给所述网络节点;
所述的网络节点根据从所述协作控制器接收到的变更内容列表,删除本地存储的流行度级别为冷门的并且包括在所述变更内容列表中的内容。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110390368.XA CN102523256B (zh) | 2011-11-30 | 2011-11-30 | 内容的管理方法的方法、装置和系统 |
PCT/CN2012/079280 WO2013078875A1 (zh) | 2011-11-30 | 2012-07-27 | 内容的管理方法的方法、装置和系统 |
US14/291,524 US20140280606A1 (en) | 2011-11-30 | 2014-05-30 | Method and Apparatus for Content Management |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110390368.XA CN102523256B (zh) | 2011-11-30 | 2011-11-30 | 内容的管理方法的方法、装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102523256A CN102523256A (zh) | 2012-06-27 |
CN102523256B true CN102523256B (zh) | 2014-07-30 |
Family
ID=46294045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110390368.XA Expired - Fee Related CN102523256B (zh) | 2011-11-30 | 2011-11-30 | 内容的管理方法的方法、装置和系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140280606A1 (zh) |
CN (1) | CN102523256B (zh) |
WO (1) | WO2013078875A1 (zh) |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7991910B2 (en) | 2008-11-17 | 2011-08-02 | Amazon Technologies, Inc. | Updating routing information based on client location |
US8028090B2 (en) | 2008-11-17 | 2011-09-27 | Amazon Technologies, Inc. | Request routing utilizing client location information |
US8601090B1 (en) | 2008-03-31 | 2013-12-03 | Amazon Technologies, Inc. | Network resource identification |
US8321568B2 (en) | 2008-03-31 | 2012-11-27 | Amazon Technologies, Inc. | Content management |
US7962597B2 (en) | 2008-03-31 | 2011-06-14 | Amazon Technologies, Inc. | Request routing based on class |
US8447831B1 (en) | 2008-03-31 | 2013-05-21 | Amazon Technologies, Inc. | Incentive driven content delivery |
US8606996B2 (en) | 2008-03-31 | 2013-12-10 | Amazon Technologies, Inc. | Cache optimization |
US7970820B1 (en) | 2008-03-31 | 2011-06-28 | Amazon Technologies, Inc. | Locality based content distribution |
US9407681B1 (en) | 2010-09-28 | 2016-08-02 | Amazon Technologies, Inc. | Latency measurement in resource requests |
US8688837B1 (en) | 2009-03-27 | 2014-04-01 | Amazon Technologies, Inc. | Dynamically translating resource identifiers for request routing using popularity information |
US8412823B1 (en) | 2009-03-27 | 2013-04-02 | Amazon Technologies, Inc. | Managing tracking information entries in resource cache components |
US8756341B1 (en) | 2009-03-27 | 2014-06-17 | Amazon Technologies, Inc. | Request routing utilizing popularity information |
US8782236B1 (en) | 2009-06-16 | 2014-07-15 | Amazon Technologies, Inc. | Managing resources using resource expiration data |
US8397073B1 (en) | 2009-09-04 | 2013-03-12 | Amazon Technologies, Inc. | Managing secure content in a content delivery network |
US8433771B1 (en) | 2009-10-02 | 2013-04-30 | Amazon Technologies, Inc. | Distribution network with forward resource propagation |
US9495338B1 (en) | 2010-01-28 | 2016-11-15 | Amazon Technologies, Inc. | Content distribution network |
US10958501B1 (en) | 2010-09-28 | 2021-03-23 | Amazon Technologies, Inc. | Request routing information based on client IP groupings |
US8468247B1 (en) | 2010-09-28 | 2013-06-18 | Amazon Technologies, Inc. | Point of presence management in request routing |
US9712484B1 (en) | 2010-09-28 | 2017-07-18 | Amazon Technologies, Inc. | Managing request routing information utilizing client identifiers |
US9003035B1 (en) | 2010-09-28 | 2015-04-07 | Amazon Technologies, Inc. | Point of presence management in request routing |
US8452874B2 (en) | 2010-11-22 | 2013-05-28 | Amazon Technologies, Inc. | Request routing processing |
US10467042B1 (en) | 2011-04-27 | 2019-11-05 | Amazon Technologies, Inc. | Optimized deployment based upon customer locality |
CN102523256B (zh) * | 2011-11-30 | 2014-07-30 | 华为技术有限公司 | 内容的管理方法的方法、装置和系统 |
US10623408B1 (en) | 2012-04-02 | 2020-04-14 | Amazon Technologies, Inc. | Context sensitive object management |
US9154551B1 (en) | 2012-06-11 | 2015-10-06 | Amazon Technologies, Inc. | Processing DNS queries to identify pre-processing information |
US9323577B2 (en) | 2012-09-20 | 2016-04-26 | Amazon Technologies, Inc. | Automated profiling of resource usage |
US9128892B2 (en) * | 2012-12-10 | 2015-09-08 | Netflix, Inc. | Managing content on an ISP cache |
US10205698B1 (en) | 2012-12-19 | 2019-02-12 | Amazon Technologies, Inc. | Source-dependent address resolution |
CN103905332B (zh) * | 2012-12-31 | 2017-06-09 | 华为技术有限公司 | 一种确定缓存策略的方法及设备 |
US9277005B2 (en) * | 2013-01-09 | 2016-03-01 | Edgecast Networks, Inc. | Optimized consistent request distribution for balanced load distribution in a content delivery network |
US9294391B1 (en) | 2013-06-04 | 2016-03-22 | Amazon Technologies, Inc. | Managing network computing components utilizing request routing |
US9749431B1 (en) * | 2013-11-21 | 2017-08-29 | Mashable, Inc. | Finding a potentially viral first media content and transmitting a second media content that is selected based on the first media content and based on the determination that the first media content exceeds a velocity threshold |
US10097448B1 (en) | 2014-12-18 | 2018-10-09 | Amazon Technologies, Inc. | Routing mode and point-of-presence selection service |
US10225326B1 (en) | 2015-03-23 | 2019-03-05 | Amazon Technologies, Inc. | Point of presence based data uploading |
US9819567B1 (en) | 2015-03-30 | 2017-11-14 | Amazon Technologies, Inc. | Traffic surge management for points of presence |
US9832141B1 (en) | 2015-05-13 | 2017-11-28 | Amazon Technologies, Inc. | Routing based request correlation |
US9774619B1 (en) | 2015-09-24 | 2017-09-26 | Amazon Technologies, Inc. | Mitigating network attacks |
US10270878B1 (en) | 2015-11-10 | 2019-04-23 | Amazon Technologies, Inc. | Routing for origin-facing points of presence |
US10348639B2 (en) | 2015-12-18 | 2019-07-09 | Amazon Technologies, Inc. | Use of virtual endpoints to improve data transmission rates |
CN105959273A (zh) * | 2016-04-25 | 2016-09-21 | 乐视控股(北京)有限公司 | 一种流媒体文件的分发方法及装置 |
US10075551B1 (en) | 2016-06-06 | 2018-09-11 | Amazon Technologies, Inc. | Request management for hierarchical cache |
CN106101223B (zh) * | 2016-06-12 | 2019-08-06 | 北京邮电大学 | 一种基于内容流行度与节点级别匹配的缓存方法 |
US10110694B1 (en) | 2016-06-29 | 2018-10-23 | Amazon Technologies, Inc. | Adaptive transfer rate for retrieving content from a server |
CN106131182B (zh) * | 2016-07-12 | 2019-04-09 | 重庆邮电大学 | 命名数据网络中一种基于流行度预测的协作缓存方法 |
US9992086B1 (en) | 2016-08-23 | 2018-06-05 | Amazon Technologies, Inc. | External health checking of virtual private cloud network environments |
US10033691B1 (en) | 2016-08-24 | 2018-07-24 | Amazon Technologies, Inc. | Adaptive resolution of domain name requests in virtual private cloud network environments |
US10469513B2 (en) | 2016-10-05 | 2019-11-05 | Amazon Technologies, Inc. | Encrypted network addresses |
US10831549B1 (en) | 2016-12-27 | 2020-11-10 | Amazon Technologies, Inc. | Multi-region request-driven code execution system |
US10372499B1 (en) | 2016-12-27 | 2019-08-06 | Amazon Technologies, Inc. | Efficient region selection system for executing request-driven code |
US10938884B1 (en) | 2017-01-30 | 2021-03-02 | Amazon Technologies, Inc. | Origin server cloaking using virtual private cloud network environments |
US10503613B1 (en) | 2017-04-21 | 2019-12-10 | Amazon Technologies, Inc. | Efficient serving of resources during server unavailability |
US11075987B1 (en) | 2017-06-12 | 2021-07-27 | Amazon Technologies, Inc. | Load estimating content delivery network |
US10447648B2 (en) | 2017-06-19 | 2019-10-15 | Amazon Technologies, Inc. | Assignment of a POP to a DNS resolver based on volume of communications over a link between client devices and the POP |
US10742593B1 (en) | 2017-09-25 | 2020-08-11 | Amazon Technologies, Inc. | Hybrid content request routing system |
US10592578B1 (en) | 2018-03-07 | 2020-03-17 | Amazon Technologies, Inc. | Predictive content push-enabled content delivery network |
CN110830535B (zh) * | 2018-08-10 | 2021-03-02 | 网宿科技股份有限公司 | 一种超热文件的处理方法、负载均衡设备及下载服务器 |
US10862852B1 (en) | 2018-11-16 | 2020-12-08 | Amazon Technologies, Inc. | Resolution of domain name requests in heterogeneous network environments |
CN109672900B (zh) * | 2018-12-05 | 2021-04-16 | 北京奇艺世纪科技有限公司 | 一种热点内容列表的生成方法及装置 |
US11025747B1 (en) | 2018-12-12 | 2021-06-01 | Amazon Technologies, Inc. | Content request pattern-based routing system |
CN111225023B (zh) * | 2019-11-19 | 2022-02-25 | 中国联合网络通信集团有限公司 | 一种缓存方法及装置 |
CN113114762B (zh) * | 2021-04-12 | 2022-06-03 | 北京邮电大学 | 一种数据缓存方法及系统 |
CN115757438B (zh) * | 2023-01-06 | 2023-05-12 | 本原数据(北京)信息技术有限公司 | 数据库的索引节点处理方法和装置、计算机设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101207799A (zh) * | 2007-11-22 | 2008-06-25 | 深圳市同洲电子股份有限公司 | 一种节目存储方法、系统及节目点播系统 |
CN101729357A (zh) * | 2008-10-14 | 2010-06-09 | 华为技术有限公司 | 媒体文件存储处理与业务处理方法及装置、服务器集群 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6651141B2 (en) * | 2000-12-29 | 2003-11-18 | Intel Corporation | System and method for populating cache servers with popular media contents |
US20020194585A1 (en) * | 2001-06-15 | 2002-12-19 | Connelly Jay H. | Methods and apparatus for providing ranking feedback for content in a broadcast system |
WO2008011388A2 (en) * | 2006-07-15 | 2008-01-24 | Solid State Networks, Inc. | Methods and apparatus for transferring data |
US7801888B2 (en) * | 2007-03-09 | 2010-09-21 | Microsoft Corporation | Media content search results ranked by popularity |
US7697557B2 (en) * | 2007-12-26 | 2010-04-13 | Alcatel Lucent | Predictive caching content distribution network |
US20130144750A1 (en) * | 2009-07-28 | 2013-06-06 | Comcast Cable Communications, Llc | Content on demand edge cache recommendations |
KR20110100414A (ko) * | 2010-03-04 | 2011-09-14 | 삼성전자주식회사 | 컨텐츠 전송을 위한 유저 인터페이스를 디스플레이하는 디지털 기기 및 그의 유저 인터페이스 디스플레이 방법 |
US8862814B2 (en) * | 2011-08-10 | 2014-10-14 | International Business Machines Corporation | Video object placement for cooperative caching |
CN102523256B (zh) * | 2011-11-30 | 2014-07-30 | 华为技术有限公司 | 内容的管理方法的方法、装置和系统 |
-
2011
- 2011-11-30 CN CN201110390368.XA patent/CN102523256B/zh not_active Expired - Fee Related
-
2012
- 2012-07-27 WO PCT/CN2012/079280 patent/WO2013078875A1/zh active Application Filing
-
2014
- 2014-05-30 US US14/291,524 patent/US20140280606A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101207799A (zh) * | 2007-11-22 | 2008-06-25 | 深圳市同洲电子股份有限公司 | 一种节目存储方法、系统及节目点播系统 |
CN101729357A (zh) * | 2008-10-14 | 2010-06-09 | 华为技术有限公司 | 媒体文件存储处理与业务处理方法及装置、服务器集群 |
Also Published As
Publication number | Publication date |
---|---|
WO2013078875A1 (zh) | 2013-06-06 |
CN102523256A (zh) | 2012-06-27 |
US20140280606A1 (en) | 2014-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102523256B (zh) | 内容的管理方法的方法、装置和系统 | |
US6542964B1 (en) | Cost-based optimization for content distribution using dynamic protocol selection and query resolution for cache server | |
KR101585146B1 (ko) | 오브젝트를 복수 개의 데이터 노드들의 위치에 기반하여 분산 저장하는 분산 저장 시스템 및 그 위치 기반 분산 저장 방법 및 컴퓨터에 의하여 독출 가능한 저장 매체 | |
CN102882939B (zh) | 负载均衡方法、设备及泛域名加速访问系统 | |
CN101136911B (zh) | 一种采用p2p技术下载文件的方法和p2p下载系统 | |
CN100588172C (zh) | 一种实现网络预订存储的系统和方法 | |
JP4938074B2 (ja) | リソースの位置情報の要求方法、当該方法のためのユーザノードおよびサーバ | |
CN107835437B (zh) | 基于多缓存服务器的调度方法和装置 | |
CN101510899B (zh) | 一种实现内容源选择的方法、系统和设备 | |
US20080275885A1 (en) | Index server support to file sharing applications | |
US8086629B2 (en) | Content delivery apparatus, content delivery method, and content delivery program | |
CN105068755A (zh) | 一种面向云计算内容分发网络的数据副本存储方法 | |
CN101330431B (zh) | 一种即时信息存储方法和系统 | |
CN102438020A (zh) | 内容分发网络中内容分发的方法、设备和网络系统 | |
CN102238202B (zh) | 索引信息的存储、查找方法及装置 | |
CN103107944B (zh) | 一种内容定位方法和路由设备 | |
CN109873855A (zh) | 一种基于区块链网络的资源获取方法和系统 | |
US11463376B2 (en) | Resource distribution method and apparatus in Internet of Things, device, and storage medium | |
CN107508758A (zh) | 一种热点文件自动扩散的方法 | |
CN106534390B (zh) | 权威域名系统服务器数据的存储和管理方法及系统 | |
CN105354312A (zh) | 一种文件存储方法、下载方法及系统 | |
EP2695362A1 (en) | Multi-user cache system | |
CN105025042B (zh) | 一种确定数据信息的方法及系统、代理服务器 | |
Makris et al. | A novel object placement protocol for minimizing the average response time of get operations in distributed key-value stores | |
KR20030014513A (ko) | 서버 부하의 분산을 위한 클라이언트 데이터 공유 시스템및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140730 Termination date: 20191130 |