CN104426979A - 一种基于社交关系的分布式缓存调度系统与方法 - Google Patents
一种基于社交关系的分布式缓存调度系统与方法 Download PDFInfo
- Publication number
- CN104426979A CN104426979A CN201310397513.6A CN201310397513A CN104426979A CN 104426979 A CN104426979 A CN 104426979A CN 201310397513 A CN201310397513 A CN 201310397513A CN 104426979 A CN104426979 A CN 104426979A
- Authority
- CN
- China
- Prior art keywords
- social
- users
- request
- server
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000004891 communication Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000007726 management method Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 24
- 239000003795 chemical substances by application Substances 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 239000003999 initiator Substances 0.000 claims description 3
- 230000008520 organization Effects 0.000 abstract 1
- 238000004088 simulation Methods 0.000 description 22
- 230000004044 response Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 235000021538 Chard Nutrition 0.000 description 1
- 241000269435 Rana <genus> Species 0.000 description 1
- 241000993925 Salvator Species 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008566 social perception Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/10—Architectures or entities
- H04L65/1045—Proxies, e.g. for session initiation protocol [SIP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及一种基于社交关系的分布式缓存调度系统,包括一安装在网络通信系统中的代理服务器,包括:社交关系计算模块、聚类模块、缓存服务器管理模块、请求管理模块和通信模块;社交关系计算模块根据用户的社会信息计算出用户间远近不同的社交关系;聚类模块对用户的社交关系进行聚类,将社交关系相近的用户聚类为相同的社会团体;请求管理模块用于创建请求、发送请求和处理请求;缓存服务器管理模块用于管理本地缓存服务器中所存储的资源,并根据需求对内容进行查找或进行标签的添加;通信模块用于实现代理服务器与用户之间的通信,代理服务器之间的通信以及代理服务器与缓存服务器之间的通信。
Description
技术领域
本发明涉及网络通信领域中的内容分发技术,特别涉及一种基于社交关系的分布式缓存调度系统与方法。
背景技术
近年来,随着电脑数量的增加,智能手机和移动平板等设备的普及,网络流量产生了爆炸式的增长。根据Cisco的官方资料统计显示:全球的IP流量在过去的5年中增加了8倍;预计2016年,全球的IP流量将会达到1.3泽它字节(ZB)。巨大的流量使当前网络面临带宽紧张、网络传输效率低下等诸多问题。因此,缓存技术被引入以缓解现有网络面临的流量压力问题。
缓存技术主要分为两种:集中式缓存和分布式缓存。集中式缓存系统在处理成千上万的用户请求时,会对缓存服务器产生较大的负载。因此,国内外运营商倾向于采用分布式缓存系统来缓解当前网络压力,即将缓存服务器部署在靠近用户的网络边缘,并通过分布式的调度方式实现缓存共享。当用户请求内容时,可以直接从距离用户最近的缓存服务器中进行获取,而不需要去请求位于远端的源服务器。在分布式缓存系统中,全网用户的请求由多个缓存服务器分散处理。因此,与集中式缓存服务器相比,分布式缓存系统中单个缓存服务器中存储的资源相对有限。当用户请求网络资源时,如果本地缓存服务器中没有可满足该请求的资源,而网络中其它缓存服务器存有相应的资源时,就需要使用缓存调度的方法将其它缓存服务器中存储的内容调度到本地缓存服务器中,以满足本地用户的需求。通过缓存调度,不仅提高了缓存服务器中内容的使用率,而且多个缓存服务器的协作也提升了系统整体的缓存命中率。
另一方面,我们可以看到,当今网络中由用户产生的内容(User Generated Content,UGC)已经成为网络流量的重要组成部分。逐渐兴起的微博,人人等社交网络,已经成为了UGC传播的主要媒介,并逐渐改变了人们使用网络的方式。虽然网络规模庞大,且用户的关系复杂,但是用户之间往往具有一些共同的社会特征,比如相同的兴趣,相似的教育背景,相同的工作经验,直接或间接的好友关系等等。
虽然缓存调度技术可以调度分布式缓存系统中的缓存内容,从而帮助解决网络流量问题。但是,传统的缓存调度技术仍然属于粗放型的技术,仅仅依靠本地用户的局部特征来预测未来的内容需求,很难满足用户重复性、复杂性和个性化的需求。国内外学者提出很多的优化方案,但是这些方案尚且存在以下不足:1)依靠局部特征来优化网络,很难完全解决以上提出的问题;2)一些方法仅仅考虑到用户社会属性的相似性来计算用户社交关系,却没有考虑到社交关系的传递性;3)大部分方法仅仅考虑到对用户服务质量的提升,却没有考虑到服务器的负载能力。
使用社交关系求解最优化问题的方法已经被广泛用于解决了社会问题、经济问题和科学问题中,并取得了理想的效果。在分布式缓存系统中社交关系同样可以用来精准的预测用户的行为和需求,并以此来优化缓存的调度。
基于社交关系的缓存调度方法包括内容的调度和社交关系的建模两个关键问题。
缓存调度方法将用户所需内容调度到靠近用户的网络边缘的缓存服务器中,当用户请求相应的内容时,可以直接从附近的缓存服务器中取得相应内容,从而大大缩短了用户获取内容的时间。在参考文献1“Z.Xu,Y.Hu and L Bhuyan,“EfficientServer Cooperation Mechanism in Content Delivery Network,”in Proc.IEEEInternational.Performance,Computing,and Communications Conference,2006(IPCCC2006)2006,pp.433-440”和参考文献2“J.M.Chen and L.D.Chou,“Active DispatchingSchemes for Web Caches in Mobile Networks,”in Proc.17th International Conference onAdvanced Information Networking and Applications(AINA’03),2003”中,研究者采用对系统中缓存服务器进行聚类的方法。如图1所示,该方法将拓扑中距离相近的缓存服务器聚类成簇,同一簇内的缓存服务器通过资源的共享与合作实现簇内缓存的调度。这一方法中所涉及的缓存结构被称为双层的分布式缓存结构,其中的上层包含了所有的分布式缓存服务器,下层则为缓存服务器聚类形成的簇。根据该方法,用户发起请求时,若本地的缓存服务器没有可满足该请求的资源,则对簇内其它缓存服务器进行查找,匹配完成后,用户可立刻接收到相应的内容;如果簇内所有缓存服务器中都没有满足该请求的内容,则请求会转发给网络远端的源服务器。该方法既可以通过缓存的协作提高缓存的命中率,又可以有效降低服务器的负载。此类方法的缺陷包括:对簇与簇之间的调度和全网的内容分发没有任何的优化;用户所请求的资源很可能需要从本地以外的缓存服务器中进行调度,使得该方法对于用户服务质量的提升并不明显。
国外学者Salvatore Scellato在参考文献3“S.Scellato and C.Mascolo,“TrackGlobally,Deliver Locally:Improving Content Delivery Networks by Tracking GeographicSocial Cascades,”in Proc.20th International World Wide Web Conference Committee(IW3C2),2011,pp.457-466”中提出:利用从多媒体流中提取的地理位置信息,来优化多媒体文件在网络缓存间的分发方式。该文献的研究者利用多媒体流量在有限地理区域内的传播特征,来预测该多媒体文件在未来的传播时间、传播区域和传播的广度。最后,根据预测结果,提前定制缓存部署策略以进行高效的内容分发。该方法着重于对网络中热点内容所传播区域和将要传播区域的地理位置分布进行分析,而缺少对用户参与网络活动及用户与用户间互动关系的分析。
参考文献4“K.Chard,S.Caton,O.Rana and D.S.Katz,“A Social Content DeliveryNetwork for Scientific Cooperation:Vision,Design,and Architecture,”in Proc.3rdInternational Workshop on Data Intensive Computing in the Clouds,2012,pp.1058-1067”研究了社交网络平台所构建的社交关系网络,并将其覆盖在传统的内容分发网络之上,构建重叠网。该架构被命名为社交内容分发网络(Social ContentDelivery Network,SCDN),该结构通过引入社交关系来提高内容分发网络的可拓展性、可用性和高效性,使得服务器可以满足网络高峰期的海量用户需求。图2为所述SCDN的架构图。存储服务器除了对内容进行存储以外,还负责对网络信息进行采集。配置服务器则根据社交关系对下层的内容分发网络进行综合的管理,包括:分发内容的选择、内容分发目的地的选择、数据的发现和数据的传输等等。该方案有以下不足:(1)该方案所优化的目标为用户之间信息的传输和内容在用户之间的共享,而并网络运营商所提供的内容;(2)该方案更加偏向于处理和存储大型数据,用户需要网络内容时,采用从“好友”的缓存存储中进行提取的方式,而并非将数据分发到本地的缓存服务器中。
由于在大部分的社交网络中,网友间的社交关系和用户的地理位置信息是对用户开放的。鉴于此,在参考文献5“X.Liu,S.Li,J.Zhang,H.Huang and X.K.Fan,“SCORE:A Social-Aware Content Distribution Method for Social Networks,”in Proc.4thInternational Conference on Multimedia Information Networking and Security,2012,pp.458-462”中,Xiaodong Liu等作者提出了一种基于社会感知的内容分发方法。在社交网络中大部分的电影、音乐等资源是由数量小但影响力大的用户所上传,所以该方法中分发内容的选择是由影响力大的用户上传及下载的内容来决定,以用户地理位置聚类所形成簇的中心作为部署缓存服务器的位置,在避开网络使用的高峰期的前提下,将系统将内容提前分发到缓存服务器中。该方法旨在满足网络用户普遍的兴趣偏好,并提高具有普遍偏好用户的内容获取速度。但是该方案缺少对用户喜好的个性化分析,无法满足不同地区、不同时间和不同用户对网络资源的个性化喜好需求。
在参考文献6“M.Kataoka,K.Toumura,H.Okita,J.Yamamoto and T.Suzuki,“Distributed Cache System for Large-Scale Networks,”in Proc.InternationalMulti-Conference on Computing in the Global Information Technology(ICCGI’06),2006,pp.40-45”中提出了一种中央控制的缓存系统来管理网络中的分布式缓存服务器。对于用户所请求的内容,只要网络中有任何一个缓存服务器中存有用户所需内容,中心管理系统即将内容调度到距离用户近的缓存服务器中。该方法通过中心管理系统在缓存服务器间进行资源的调度,可以有效地降低骨干网的流量压力和服务器负载。此类系统的缺陷包括:中心管理系统承担着大量的计算和通信工作,随着网络内容的增长和缓存服务器数目的不断增加,中心管理系统的负荷也越来越大,导致中央控制系统负载过重;而中心管理系统的负载过重甚至崩溃将会导致整个网络无法运行。所以此类架构给网络稳定性带来很大的隐患。
发明内容
本发明的目的在于克服现有技术中的基于社交关系的分布式调度方法所存在的缺陷,从而提供一种无需改变原有网络中分布式缓存系统的架构、适应性强、部署方便的分布式缓存调度系统与方法。
为了实现上述目的,本发明提供了一种基于社交关系的分布式缓存调度系统,包括一能够安装在网络通信系统中的代理服务器,所述代理服务器包括:社交关系计算模块、聚类模块、缓存服务器管理模块、请求管理模块和通信模块;其中,
所述的社交关系计算模块根据用户包括兴趣爱好、教育背景、工作经验、用户偏好、共同好友在内的社会信息计算出用户间远近不同的社交关系;
所述的聚类模块对用户的社交关系进行聚类,将社交关系相近的用户聚类为相同的社会团体;
所述的请求管理模块用于创建请求、发送请求和处理请求;
所述的缓存服务器管理模块用于管理本地缓存服务器中所存储的资源,并根据需求对内容进行查找或进行标签的添加;所述缓存服务器属于所述的网络通信系统;
所述的通信模块用于实现代理服务器与用户之间的通信,代理服务器之间的通信以及代理服务器与缓存服务器之间的通信。
上述技术方案中,所述的社交关系计算模块对用户的社会信息进行相关性分析,将网络用户的社会关系进行量化包括:假设用户vi和vj为网络中两个用户,用户具有包括兴趣爱好、教育背景、工作经验、用户偏好、共同好友在内的n个不同的社会属性, 则vi和vj的相似度t(vi,vj)表示为
上述技术方案中,所述聚类模块对用户的社交关系进行聚类的方法包括:划分聚类算法,层次聚类算法,基于密度的聚类算法,基于网格的聚类算法,基于模型的聚类算法中的任意一种。
上述技术方案中,所述的请求管理模块对于不同的请求有着不同的响应:(1)本地的缓存服务器中存有用户所需内容时:如果请求来自于本地用户,则直接响应给用户;如果请求来自于其它代理服务器,则将内容响应给其它代理服务器;(2)本地的缓存服务器中没有请求对应的内容时:当收到请求后,向其它代理服务器发送请求。
本发明还提供了基于所述的基于社交关系的分布式缓存调度系统所实现的方法,包括:
步骤1)、代理服务器通过对全网终端用户之间的包括兴趣爱好、教育背景、工作经验、用户偏好和共同好友在内的信息计算用户的社交关系,并使用聚类算法将社交关系相近的用户聚类成为社会团体;在聚类的过程中需要为用户添加其所属社会团体的标签;
步骤2)、代理服务器接收到来自于本地用户或代理服务器的内容请求后,根据该内容请求查找本地缓存服务器中是否保存有对应的内容,如果本地缓存服务器中有相应内容,响应请求者的请求,并转到步骤4);否则,代理服务器将该内容请求转发给其他代理服务器,然后执行步骤3);
步骤3)、其他代理服务器若第一次收到所述内容请求,则执行步骤2)中所述操作,若网络中的其他代理服务器均已收到过所述内容请求,则由请求的发起者向源服务器发起内容请求;
步骤4)、内容请求结束后,内容请求者所需求的内容会被存储在缓存服务器中,代理服务器为该内容添加请求用户所在的社会团体的标签;
步骤5)、全网的代理服务器将本地用户的社会团体标签与步骤4)中添加标签的内容的社会团体标签进行比较,如果某一个代理服务器本地所有的用户都不属于该内容的社会团体,则结束查找;否则,代理服务器会对自己发送一个请求,并转到步骤2),直到所有代理服务器都结束查找,内容分发完成。
本发明的优点在于:
1、本发明的分布式缓存调度方法对终端用户社会信息的提取和分析,不仅可以得到当前网络中用户对网络内容的需求,而且可以得到用户之间的关系和网络内容在不同社会团体之间的传播状况,从而更准确的预测用户行为。
2、本发明的分布式缓存调度方法通过在网络中部署代理服务器对用户的社交关系进行计算并进行聚类,并通过代理服务器对缓存服务器进行分布式的管理,可以很好地适应网络发展,提高网络内容的分发性能。
3、本发明的分布式缓存调度方法通过代理服务器之间的通信,并利用全网用户的社交关系,实现全网缓存的调度。
4、本发明的分布式缓存调度系统无需改变原有网络中分布式缓存系统的架构,部署成本低,收益明显。
附图说明
图1是现有技术中的缓存服务器聚类组成的双层缓存结构的示意图;
图2是现有技术中的社交内容分发网络的结构示意图;
图3是代理服务器的部署示意图;
图4是代理服务器的功能框架图;
图5是本发明的分布式缓存调度方法的流程图;
图6是仿真实验中的仿真拓扑结构图;
图7是场景cache和cache-scheduling的统计结果对比图。
具体实施方式
现结合附图对本发明作进一步的描述。
本发明中采用代理服务器实现基于社交关系的分布式缓存调度。该代理服务器或作为一独立服务器,或作为一模块安装到网络通信系统中。
如图3所示,在网络通信系统的某一区域内,包括多个终端、路由器以及至少一个缓存服务器,所述多个终端通过路由器与远端的内容供应商进行通信,所述缓存服务器与路由器通信连接。在图3所示的实例中,本发明所采用的代理服务器作为一独立的服务器连接到路由器上,或在其他实施例中,该代理服务器作为一独立模块也可与缓存服务器共享一服务器类的硬件设备。
在图4中给出了本发明所涉及的代理服务器的功能框架图,所述代理服务器包括:社交关系计算模块、聚类模块、缓存服务器管理模块、请求管理模块和通信模块。
所述的社交关系计算模块根据用户的兴趣爱好、教育背景、工作经验、用户偏好、共同好友等社会信息计算出用户间远近不同的社交关系。社交关系计算模块对用户这些社会信息进行相关性分析,将网络用户的社会关系进行量化。假设用户vj和vi为网络中两个用户,用户具有兴趣爱好、教育背景、工作经验、用户偏好、共同好友等n个不同的社会属性, 则vj和vi的相似度t(vi,vj)表示为这一相似度的值就反映了用户之间社会关系的远近。
所述的聚类模块使用聚类算法对用户的社交关系进行聚类,将社交关系相近的用户聚类为相同的社会团体。能够用于社交关系聚类的聚类算法包括划分聚类算法,层次聚类算法,基于密度的聚类算法,基于网格的聚类算法,基于模型的聚类算法;在本实施例中,所采用的聚类算法为k-means聚类算法,它是划分聚类算法中的一种。
所述的请求管理模块用于创建请求、发送请求和处理请求。请求处理模块收到的请求可能来自于代理服务器自身、本地用户以及网络中的其它代理服务器。对于不同的请求,该模块有着不同的响应:(1)本地的缓存服务器中存有用户所需内容时:如果请求来自于本地用户,则直接响应给用户;如果请求来自于其它代理服务器,则将内容响应给其它代理服务器;(2)本地的缓存服务器中没有请求对应的内容时:当收到请求后,向其它代理服务器发送请求。
所述的缓存服务器管理模块用于管理本地缓存服务器中所存储的资源,并根据需求对内容进行查找或进行标签的添加。
所述的通信模块用于实现代理服务器与用户之间的通信,代理服务器之间的通信以及代理服务器与缓存服务器之间的通信。
在前述代理服务器的基础上,下面对基于社交关系的分布式缓存调度方法的相关步骤进行描述。
参考图5,本发明的分布式缓存调度方法包括以下步骤:
步骤1)、代理服务器通过对全网终端用户之间的兴趣爱好、教育背景、工作经验、用户偏好和共同好友等信息来计算用户的社交关系,并使用聚类算法将社交关系相近的用户聚类成为社会团体;在聚类的过程中需要为用户添加其所属社会团体的标签。
步骤2)、代理服务器接收到来自于本地用户或代理服务器的内容请求后,根据该内容请求查找本地缓存服务器中是否保存有对应的内容,如果本地缓存服务器中有相应内容,响应请求者的请求,并转到步骤4);否则,代理服务器将该内容请求转发给其他代理服务器,然后执行步骤3)。
步骤3)、其他代理服务器若第一次收到所述内容请求,则执行步骤2)中所述操作,若网络中的其他代理服务器均已收到过所述内容请求,即所有的缓存服务器都没存储相应的内容,则由请求的发起者向源服务器发起内容请求。
步骤4)、内容请求结束后,内容请求者所需求的内容会被存储在缓存服务器中,代理服务器为该内容添加请求用户所在的社会团体的标签(一个内容,可以添加多个标签)。
步骤5)、全网的代理服务器将本地用户的社会团体标签与步骤4)中添加标签的内容的社会团体标签进行比较,如果某一个代理服务器本地所有的用户都不属于该内容的社会团体,说明与该代理服务器对应的本地用户对该内容没有兴趣,则结束查找;否则,代理服务器会对自己发送一个请求,并转到步骤2),直到所有代理服务器都结束查找,内容分发完成。
下面将结合本发明实验验证中的附图,对本发明的技术方案进行清楚完整地描述。
仿真实验采用OPNET Modeler14.5进行仿真,且该实验定义了两个试验场景:cache和cache-scheduling。
分布式缓存系统中,缓存服务器所存储的内容可以直接回应客户的请求。然而,如果该内容没有缓存在本地,缓存服务器会向源服务器发送请求,以回应用户的请求内容。
cache场景仅仅在网络中部署了分布式的缓存服务器,而没有考虑社交关系因素。该场景中,用户请求过的内容都会被复制到本地的缓存服务器中。
cache-scheduling场景采用了本发明所提出的基于社交关系的分布式缓存调度方法。该方案利用同一社会团体内部成员兴趣爱好相似的特性,通过缓存的调度,对用户未来的需求进行提前调度。
图6为该仿真实验中的仿真拓扑结构图。该仿真实验的仿真时间为3600秒。在网络中一共部署了600个用户,这些用户分布在局域网A-F中。
源服务器为网络中的用户提供所需的内容。在仿真中对源服务器的服务器负载进行统计,以评估本方案对运营商服务器负载的优化程度。
局域网A中分布着100个用户,在仿真时间400秒的时候,局域网A开始对网络内容进行请求。与局域网A出口路由器相连的为缓存服务器和代理服务器:缓存服务器对用户可能要使用的资源进行存储,而代理服务器在场景cache-scheduling中对缓存服务器进行分布式的管理。仿真中对局域网A请求的响应时间进行统计,以评估本方案对用户服务质量的优化程度。
局域网B中分布着100个用户,在仿真时间700秒的时候,局域网B开始对网络内容进行请求。与局域网B出口路由器相连的为缓存服务器和代理服务器:缓存服务器对用户可能要使用的资源进行存储,而代理服务器在场景cache-scheduling中对缓存服务器进行分布式的管理。仿真中对局域网B请求的响应时间进行统计,以评估本方案对用户服务质量的优化程度。
局域网C中分布着100个用户,在仿真时间900秒的时候,局域网C开始对网络内容进行请求。与局域网C出口路由器相连的为缓存服务器和代理服务器:缓存服务器对用户可能要使用的资源进行存储,而代理服务器在场景cache-scheduling中对缓存服务器进行分布式的管理。仿真中对局域网C请求的响应时间进行统计,以评估本方案对用户服务质量的优化程度。
局域网D中分布着100个用户,从仿真一开始,局域网D就开始了对网络内容进行请求。与局域网D出口路由器相连的为缓存服务器和代理服务器:缓存服务器对用户可能要使用的资源进行存储,而代理服务器在场景cache-scheduling中对缓存服务器进行分布式的管理。
局域网E中分布着100个用户,从仿真一开始,局域网E就开始了对网络内容进行请求。与局域网E出口路由器相连的为缓存服务器和代理服务器:缓存服务器对用户可能要使用的资源进行存储,而代理服务器在场景cache-scheduling中对缓存服务器进行分布式的管理。
局域网F中分布着100个用户,从仿真一开始,局域网F就开始了对网络内容进行请求。与局域网F出口路由器相连的为缓存服务器和代理服务器:缓存服务器对用户可能要使用的资源进行存储,而代理服务器在场景cache-scheduling中对缓存服务器进行分布式的管理。
场景cache和cache-scheduling的统计结果如图7所示。
图7(a)描述了源服务器负载的变化情况。由于局域网A、局域网B和局域网C是在仿真的进行过程中依次开始对内容的请求,因此随着仿真时间(x轴)的增加,服务器的负载(y轴)也在增加。在cache场景中,内容的分发没有考虑源服务器的负载和骨干网的网络状况;而在cache-scheduling场景中,用户所请求的内容会优先考虑从社交好友所在缓存服务器中进行调度,缓存调度不需要源服务器的参与。因此基于社交关系的分布式缓存调度方法可以有效降低源服务器的负载。
图7(b)、图7(c)、图7(d)分别表示了局域网A、局域网B和局域网C针对请求的响应时间。由于缓存服务器的存在,随着仿真时间(x轴)的增加,用户请求响应时间(y轴)逐渐减小。在cache场景中,局域网A,局域网B和局域网C开始服务请求时,本地缓存服务器中没有满足请求的内容,此时需要向远方的源服务器进行内容的请求。而cache-scheduling场景中,由于局域网A,局域网B和局域网C中的用户和局域网D,局域网E和局域网F中的用户属于同一社会团体,而在本发明中认为同一社会团体对内容的需求相似。因此代理服务器通过执行基于社交关系的缓存调度方法,在局域网A,局域网B和局域网C开始请求内容之前,已经将局域网D,局域网E和局域网F缓存服务器中的内容调度到当地缓存服务器中。因此当局域网A,局域网B和局域网C开始内容请求时,当地缓存服务器中已经存有一些很满足请求的内容。因此基于社交关系的分布式缓存调度方法可以有效降低用户请求的响应时间。
仿真结果可以看出,通过基于社交关系的缓存调度算法,有效的计算出用户的社交关系,并进行社会团体的聚类。并通过团体内部资源的共享实现缓存之间内容的调度。本发明的方法既可以降低运营商服务器的负载又可以降低用户请求的响应时间。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种基于社交关系的分布式缓存调度系统,其特征在于,包括一能够安装在网络通信系统中的代理服务器,所述代理服务器包括:社交关系计算模块、聚类模块、缓存服务器管理模块、请求管理模块和通信模块;其中,
所述的社交关系计算模块根据用户包括兴趣爱好、教育背景、工作经验、用户偏好、共同好友在内的社会信息计算出用户间远近不同的社交关系;
所述的聚类模块对用户的社交关系进行聚类,将社交关系相近的用户聚类为相同的社会团体;
所述的请求管理模块用于创建请求、发送请求和处理请求;
所述的缓存服务器管理模块用于管理本地缓存服务器中所存储的资源,并根据需求对内容进行查找或进行标签的添加;所述缓存服务器属于所述的网络通信系统;
所述的通信模块用于实现代理服务器与用户之间的通信,代理服务器之间的通信以及代理服务器与缓存服务器之间的通信。
2.根据权利要求1所述的基于社交关系的分布式缓存调度系统,其特征在于,所述的社交关系计算模块对用户的社会信息进行相关性分析,将网络用户的社会关系进行量化包括:假设用户vj和vi为网络中两个用户,用户具有包括兴趣爱好、教育背景、工作经验、用户偏好、共同好友在内的n个不同的社会属性, 则vj和vi的相似度t(vi,vj)表示为
3.根据权利要求1所述的基于社交关系的分布式缓存调度系统,其特征在于,所述聚类模块对用户的社交关系进行聚类的方法包括:划分聚类算法,层次聚类算法,基于密度的聚类算法,基于网格的聚类算法,基于模型的聚类算法中的任意一种。
4.根据权利要求1所述的基于社交关系的分布式缓存调度系统,其特征在于,所述的请求管理模块对于不同的请求有着不同的响应:(1)本地的缓存服务器中存有用户所需内容时:如果请求来自于本地用户,则直接响应给用户;如果请求来自于其它代理服务器,则将内容响应给其它代理服务器;(2)本地的缓存服务器中没有请求对应的内容时:当收到请求后,向其它代理服务器发送请求。
5.基于权利要求1-4之一所述的基于社交关系的分布式缓存调度系统所实现的方法,包括:
步骤1)、代理服务器通过对全网终端用户之间的包括兴趣爱好、教育背景、工作经验、用户偏好和共同好友在内的信息计算用户的社交关系,并使用聚类算法将社交关系相近的用户聚类成为社会团体;在聚类的过程中需要为用户添加其所属社会团体的标签;
步骤2)、代理服务器接收到来自于本地用户或代理服务器的内容请求后,根据该内容请求查找本地缓存服务器中是否保存有对应的内容,如果本地缓存服务器中有相应内容,响应请求者的请求,并转到步骤4);否则,代理服务器将该内容请求转发给其他代理服务器,然后执行步骤3);
步骤3)、其他代理服务器若第一次收到所述内容请求,则执行步骤2)中所述操作,若网络中的其他代理服务器均已收到过所述内容请求,则由请求的发起者向源服务器发起内容请求;
步骤4)、内容请求结束后,内容请求者所需求的内容会被存储在缓存服务器中,代理服务器为该内容添加请求用户所在的社会团体的标签;
步骤5)、全网的代理服务器将本地用户的社会团体标签与步骤4)中添加标签的内容的社会团体标签进行比较,如果某一个代理服务器本地所有的用户都不属于该内容的社会团体,则结束查找;否则,代理服务器会对自己发送一个请求,并转到步骤2),直到所有代理服务器都结束查找,内容分发完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310397513.6A CN104426979B (zh) | 2013-09-04 | 2013-09-04 | 一种基于社交关系的分布式缓存调度系统与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310397513.6A CN104426979B (zh) | 2013-09-04 | 2013-09-04 | 一种基于社交关系的分布式缓存调度系统与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104426979A true CN104426979A (zh) | 2015-03-18 |
CN104426979B CN104426979B (zh) | 2018-02-16 |
Family
ID=52974892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310397513.6A Expired - Fee Related CN104426979B (zh) | 2013-09-04 | 2013-09-04 | 一种基于社交关系的分布式缓存调度系统与方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104426979B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105227396A (zh) * | 2015-09-01 | 2016-01-06 | 厦门大学 | 一种面向移动通信网络的次等内容推荐分发系统及其方法 |
CN105407005A (zh) * | 2015-12-09 | 2016-03-16 | 中国联合网络通信集团有限公司 | 内容分发方法及装置 |
CN106126586A (zh) * | 2016-06-21 | 2016-11-16 | 安徽师范大学 | 一种基于综合评价信任的社交网络推荐模型构建方法 |
CN106535274A (zh) * | 2015-09-14 | 2017-03-22 | 中国移动通信集团公司 | 一种实现动态网络连接的方法及系统 |
CN106649349A (zh) * | 2015-10-30 | 2017-05-10 | 腾讯科技(深圳)有限公司 | 用于游戏应用的数据缓存方法、装置和系统 |
CN108521640A (zh) * | 2018-02-27 | 2018-09-11 | 北京邮电大学 | 一种蜂窝网络中的内容分发方法 |
CN108595475A (zh) * | 2018-03-12 | 2018-09-28 | 电子科技大学 | 一种移动社会网络中的缓存节点选择方法 |
CN108616845A (zh) * | 2018-03-30 | 2018-10-02 | 佛山市顺德区中山大学研究院 | 基于社交内容的d2d分组多目标缓存方法及其系统、装置 |
CN109634749A (zh) * | 2018-12-20 | 2019-04-16 | 厦门商集网络科技有限责任公司 | 一种分布式统一调度方法及设备 |
CN111294372A (zh) * | 2018-12-07 | 2020-06-16 | 北京京东尚科信息技术有限公司 | 一种在代理服务器实现缓存的方法、装置及系统 |
CN118312332A (zh) * | 2024-06-11 | 2024-07-09 | 中国电信股份有限公司四川分公司 | 一种基于骨干网负载率的异构算力资源调度系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090138457A1 (en) * | 2007-11-26 | 2009-05-28 | Concert Technology Corporation | Grouping and weighting media categories with time periods |
CN101841556A (zh) * | 2010-02-23 | 2010-09-22 | 中国科学院计算技术研究所 | Cdn-p2p网络中放置资源副本的方法及系统 |
CN102571839A (zh) * | 2010-12-15 | 2012-07-11 | 北京邮电大学 | 基于用户社会属性的p2p内容分发方法及系统 |
-
2013
- 2013-09-04 CN CN201310397513.6A patent/CN104426979B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090138457A1 (en) * | 2007-11-26 | 2009-05-28 | Concert Technology Corporation | Grouping and weighting media categories with time periods |
CN101841556A (zh) * | 2010-02-23 | 2010-09-22 | 中国科学院计算技术研究所 | Cdn-p2p网络中放置资源副本的方法及系统 |
CN102571839A (zh) * | 2010-12-15 | 2012-07-11 | 北京邮电大学 | 基于用户社会属性的p2p内容分发方法及系统 |
Non-Patent Citations (1)
Title |
---|
黄永生: "基于用户社会属性的点对点内容分发网络模型研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105227396A (zh) * | 2015-09-01 | 2016-01-06 | 厦门大学 | 一种面向移动通信网络的次等内容推荐分发系统及其方法 |
CN105227396B (zh) * | 2015-09-01 | 2018-09-18 | 厦门大学 | 一种面向移动通信网络的次等内容推荐分发系统及其方法 |
CN106535274B (zh) * | 2015-09-14 | 2019-12-06 | 中国移动通信集团公司 | 一种实现动态网络连接的方法及系统 |
CN106535274A (zh) * | 2015-09-14 | 2017-03-22 | 中国移动通信集团公司 | 一种实现动态网络连接的方法及系统 |
CN106649349A (zh) * | 2015-10-30 | 2017-05-10 | 腾讯科技(深圳)有限公司 | 用于游戏应用的数据缓存方法、装置和系统 |
CN105407005A (zh) * | 2015-12-09 | 2016-03-16 | 中国联合网络通信集团有限公司 | 内容分发方法及装置 |
CN105407005B (zh) * | 2015-12-09 | 2018-09-14 | 中国联合网络通信集团有限公司 | 内容分发方法及装置 |
CN106126586A (zh) * | 2016-06-21 | 2016-11-16 | 安徽师范大学 | 一种基于综合评价信任的社交网络推荐模型构建方法 |
CN108521640B (zh) * | 2018-02-27 | 2020-05-01 | 北京邮电大学 | 一种蜂窝网络中的内容分发方法 |
CN108521640A (zh) * | 2018-02-27 | 2018-09-11 | 北京邮电大学 | 一种蜂窝网络中的内容分发方法 |
CN108595475A (zh) * | 2018-03-12 | 2018-09-28 | 电子科技大学 | 一种移动社会网络中的缓存节点选择方法 |
CN108595475B (zh) * | 2018-03-12 | 2022-03-04 | 电子科技大学 | 一种移动社会网络中的缓存节点选择方法 |
CN108616845A (zh) * | 2018-03-30 | 2018-10-02 | 佛山市顺德区中山大学研究院 | 基于社交内容的d2d分组多目标缓存方法及其系统、装置 |
CN111294372A (zh) * | 2018-12-07 | 2020-06-16 | 北京京东尚科信息技术有限公司 | 一种在代理服务器实现缓存的方法、装置及系统 |
CN109634749A (zh) * | 2018-12-20 | 2019-04-16 | 厦门商集网络科技有限责任公司 | 一种分布式统一调度方法及设备 |
CN118312332A (zh) * | 2024-06-11 | 2024-07-09 | 中国电信股份有限公司四川分公司 | 一种基于骨干网负载率的异构算力资源调度系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104426979B (zh) | 2018-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104426979B (zh) | 一种基于社交关系的分布式缓存调度系统与方法 | |
Zhang et al. | Digital twin empowered content caching in social-aware vehicular edge networks | |
Lyu et al. | LEAD: Large-scale edge cache deployment based on spatio-temporal WiFi traffic statistics | |
Goian et al. | Popularity-based video caching techniques for cache-enabled networks: A survey | |
Song et al. | QoE-driven edge caching in vehicle networks based on deep reinforcement learning | |
Ma et al. | Understanding performance of edge content caching for mobile video streaming | |
Zhou et al. | BEGIN: Big data enabled energy-efficient vehicular edge computing | |
Tang et al. | An offloading method using decentralized P2P-enabled mobile edge servers in edge computing | |
Paschos et al. | Cache optimization models and algorithms | |
CN109151824B (zh) | 一种基于5g架构的图书馆数据服务扩展系统及方法 | |
Zeng et al. | Temporal-spatial mobile application usage understanding and popularity prediction for edge caching | |
Chen et al. | A computing and content delivery network in the smart city: Scenario, framework, and analysis | |
Li et al. | Adaptive resource allocation based on the billing granularity in edge-cloud architecture | |
CN107682416B (zh) | 基于播存网络的雾计算架构内容协同分发方法及应用系统 | |
Yan et al. | Big data driven wireless communications: A human-in-the-loop pushing technique for 5G systems | |
CN103092626A (zh) | 基于Flex和web3D技术的富互联网应用方法 | |
CN110418367A (zh) | 一种5g前传网络混合边缘缓存低时延方法 | |
CN111491331A (zh) | 一种雾计算网络中基于迁移学习的网络感知自适应缓存方法 | |
Tang et al. | EICache: A learning-based intelligent caching strategy in mobile edge computing | |
Wang et al. | Social-aware video delivery: Challenges, approaches, and directions | |
Xia et al. | The interplay between artificial intelligence and fog radio access networks | |
Li et al. | Efficient cooperative cache management for latency-aware data intelligent processing in edge environment | |
Shi et al. | CoLEAP: Cooperative learning-based edge scheme with caching and prefetching for DASH video delivery | |
CN116483585B (zh) | 一种基于边缘计算的多服务预部署方法 | |
CN103442034B (zh) | 一种基于云计算技术的流媒体服务方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180216 Termination date: 20190904 |
|
CF01 | Termination of patent right due to non-payment of annual fee |