CN102984188B - 一种cdn网络中内容副本放置方法及系统 - Google Patents

一种cdn网络中内容副本放置方法及系统 Download PDF

Info

Publication number
CN102984188B
CN102984188B CN201110262119.2A CN201110262119A CN102984188B CN 102984188 B CN102984188 B CN 102984188B CN 201110262119 A CN201110262119 A CN 201110262119A CN 102984188 B CN102984188 B CN 102984188B
Authority
CN
China
Prior art keywords
node
replica placement
content
cdn
response time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110262119.2A
Other languages
English (en)
Other versions
CN102984188A (zh
Inventor
王劲林
王必尧
刘学
程钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Acoustics CAS
Shanghai 3Ntv Network Technology Co Ltd
Original Assignee
Institute of Acoustics CAS
Shanghai 3Ntv Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Acoustics CAS, Shanghai 3Ntv Network Technology Co Ltd filed Critical Institute of Acoustics CAS
Priority to CN201110262119.2A priority Critical patent/CN102984188B/zh
Publication of CN102984188A publication Critical patent/CN102984188A/zh
Application granted granted Critical
Publication of CN102984188B publication Critical patent/CN102984188B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种CDN网络中内容副本放置方法及系统,该方法选择的副本放置节点首先满足服务响应时间要求,所述方法对于内容分发网络中任意节点Mi,找出其作为接入节点时,使其满足服务响应时间要求及本地存储要求的预备副本放置节点集从上述所有的预备副本放置节点集中找出在各个预备副本放置节点集中出现次数最多的预备节点Ns,对所有满足Ns∈Ci的Ci计算其对应的接入节点Mi的请求数总和,若该总和小于Ns最大负载请求数,则将该节点选中为实际副本放置节点,否则考虑出现次数次多的节点。本发明的方法可使CDN各节点在满足服务响应时间要求的基础上,限制节点负载上限,同时降低内容副本放置数量并优化更新开销。

Description

一种CDN网络中内容副本放置方法及系统
技术领域
本发明涉及内容分发网络技术领域,特别涉及一种CDN网络中内容副本放置方法及系统。
背景技术
内容分发网络(Content Delivery Network,CDN)被广泛应用于解决Internet网络拥挤的状况,提高用户访问网站的响应速度。选择CDN中的哪些节点放置内容副本是CDN中的一个关键问题,目前研究的热点是满足服务响应时间要求的副本放置问题,即CDN的节点在提供服务的同时要满足请求的服务响应时间要求,这种情况下副本如何放置的问题。
现有的方法是选择CDN中的部分节点作为内容副本放置节点,选取的原则为考虑系统的整体开销最小,而这种选择方法存在以下三个方面的问题:第一,该类型的方法在选择副本节点的时候考虑的是系统存储副本的开销以及更新副本的开销,因此当CDN中需要建立副本的内容增多,单个节点不能存储副本或者存储文件大小、类型有限制时,这些算法没有给出解决方案。第二,该类型的方法假设各个节点的服务能力不受限制,如果一个节点距离其他所有节点都较近,有可能出现只需要这一个节点作为副本节点就能满足所有节点的服务响应时间要求,由于所有请求全部集中在这个节点,有可能造成节点的响应延迟或者不响应。第三,该类型的方法并没有考虑不同业务类型的内容对服务响应时间要求不同。因此,现有CDN网络在选择副本存放节点时并不能满足实际业务需求,因此需要一种能克服上述缺点的副本放置方法。
发明内容
本发明的目的在于,为克服上述三个方面的问题,从而提供一种CDN网络中内容副本放置方法及系统。
为了实现上述目标,本发明提出了一种CDN网络中内容副本放置方法,该方法选择的副本放置节点首先满足服务响应时间要求,所述方法包含如下步骤:
步骤1,找出CDN网络中任意节点Mi作为接入节点时,满足服务响应时间要求及本地存储要求的预备副本放置节点集
步骤2,从所述预备副本放置节点集中找出在各个预备副本放置节点集中出现次数最多的预备节点Ns,对所有满足Ns∈Ci的节点集Ci计算其对应的接入节点Mi的请求数总和,若该总和小于Ns最大负载请求数,则将预备节点Ns选为实际副本放置节点,否则选择在各个预备副本放置节点集中出现次数次多的节点重复本步骤。
优化的,所述预备节点Ns有若干个时,优先选择距离副本放置节点集最近的节点,该距离为节点与已选实际副本放置节点集中各个节点距离的最小值。
可选的,上述技术方案所述服务响应时间要求为:与接入节点的距离小于服务响应时间。
可选的,上述技术方案所述本地存储要求为:节点剩余存储容量大于内容文件的大小。
基于上述方法本发明还提供一种CDN网络中内容副本放置系统,该系统首先满足服务响应时间要求,包含若干CDN网络节点,所述网络节点分为内容源节点和若干接入节点,所述接入节点能用于存放副本,其特征在于,
所述系统还包含:
设置于接入节点上的预备副本放置节点选择模块,用于依据服务响应时间及本地存储选择接入节点的预备副本放置节点集
设置于内容源节点的副本放置节点生成模块,用于从所述预备副本放置节点集中找出在各个预备副本放置节点集中出现次数最多的预备节点Ns,对所有满足Ns∈Ci的节点集Ci计算其对应的接入节点Mi的请求数总和,若该总和小于Ns最大负载请求数,则将预备节点Ns选为实际副本放置节点,否则选择在各个预备副本放置节点集中出现次数次多的节点作为副本放置节点。
优化的,所述预备节点Ns有若干个时,优先选择距离副本放置节点集最近的节点,该距离为节点与已选实际副本放置节点集中各个节点距离的最小值。
可选的,所述服务响应时间要求为:与接入节点的距离小于服务响应时间;所述本地存储要求为:节点剩余存储容量大于内容文件的大小。
本发明取得的有益效果在于,使得CDN在满足客户端请求的服务响应时间要求的基础上,内容副本分布在CDN系统中的不同节点上,并能保证单个节点的请求数小于节点所能服务的最大请求数,同时支持多个不同的业务,这些业务对服务响应时间可以不同。
附图说明
图1是现有技术的CDN节点接收到客户端请求时的请求转发模型图;
图2是本发明的满足服务响应时间要求的副本放置方法的实现流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步详细的说明。
图1是现有技术的CDN节点接收到客户端请求时的请求转发模型图,包括内容源节点,放置了内容副本的节点,未放置内容副本的节点。
当放置了内容副本的节点v2收到客户端的请求时,由于其本身存储了该内容副本,故能直接提供服务,当未放置内容副本的节点v3收到客户端的请求时,由于其距离源节点更近,因此v3向其到源节点最短路径上的节点v4请求,v4再向源节点请求该内容,内容源节点通过v4和v3将内容发送给客户端。当未放置内容副本的节点v1收到客户端的请求时,由于其距离放置了内容副本的节点v5更近,因此,v1向v5请求该内容,v5通过节点v1将内容副本发送给客户端。
上述现有技术的方法也适用于本发明的CDN节点接收到客户端请求时的请求转发,所不同是本发明的内容副本的放置节点与现有技术的副本放置节点的选择原则不同,从而导致了本发明的副本存放更合理。
本发明提供的一种内容分发网络中满足服务响应时间的内容副本放置方法,包括以下步骤:
1)计算CDN系统中各节点间的距离,设置副本放置节点集为空,设置未满足服务响应时间要求的节点集为所有与内容源节点的距离大于服务响应时间值的节点的集合;
2)对于任意一个未满足服务响应时间要求的节点Mi作为接入节点时,找出该节点对应的预备副本放置节点集
3)从上述所有的预备副本放置节点集中选择一个最终副本放置节点,加入副本放置节点集中;
4)更新未满足服务响应时间要求的节点集,转到步骤2),直至未满足服务响应时间要求的节点集为空。
其中,步骤1)中的内容源节点是指CDN系统中存放原始内容的节点。
其中,步骤2)中预备副本放置节点选择标准是:在满足接入节点Mi的服务响应时间要求的前提下,还必须满足预备副本放置节点的本地存储要求;
其中,步骤3)中,选择最终副本放置节点的过程为:
找出在各个预备副本放置节点集中出现次数最多的预备节点Ns,对所有满足Ns∈Ci的Ci,计算其对应的接入节点Mi的请求数总和,若该总和小于Ns最大负载请求数,则将该节点选中为实际副本放置节点,否则考虑出现次数次多的节点。
其中,在步骤3)中,当各个预备副本放置节点集中出现总次数最多的节点有多个时,可选的选择节点的方法是优先选择距离已选实际副本放置节点集最近的节点。
其中,在步骤3)中,节点与副本放置节点集的距离是指节点与副本放置节点集中各个节点距离的最小值。
实施例
对于本发明提出的满足服务响应时间要求的内容副本放置方法,其具体实现如图2所示。
步骤201)将CDN各节点间的网络延迟作为CDN节点间的距离,设置副本放置节点集为空,设置未满足服务响应时间要求的节点集为所有与内容源节点的距离大于服务响应时间值的节点的集合;
步骤202)对任意一个未满足服务响应时间要求的节点Mi,找出所有与Mi的距离小于服务响应时间值并且剩余存储容量大于内容的文件大小(或者内容文件大小满足节点单个文件存储大小限制,或者节点存储文件类型限制)的节点,将这些节点加入Mi的预备副本放置节点集;
步骤203)计算各预备节点在各个预备副本放置节点集中出现总次数,并按照次数从多到少排序;
步骤204)如果出现次数相同的节点个数有多个,则转到步骤205),否则转到步骤206);
步骤205)计算次数相同的节点与已选节点集中各节点的距离,选择最小的距离作为该节点与已选节点集的距离,将这几个节点按照与已选节点集的距离从小到大在原有排序基础上进行排序(或者将这几个节点与源节点的距离按照从大到小排序,或者将这几个节点进行随机排序);
步骤206)在上述排序序列中,移出第一个预备节点Ns,对所有满足Ns∈Ci的Ci,将其对应的接入节点Mi的请求数相加;
步骤207)如果步骤206)中的请求数总和小于Ns最大负载请求数,则转到步骤208),否则转到步骤206);
步骤208)将Ns加入副本放置节点集,对所有满足Ns∈Ci的Mi,将其移出未满足服务响应时间要求节点集;
步骤209)如果未满足服务响应时间要求节点集为空,则过程结束,否则转到步骤202)。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非对其限制,并且在应用上可以延伸到其他的修改、变化、应用和实施例,同时认为所有这样的修改、变化、应用、实施例都在本发明的精神和范围内。

Claims (5)

1.一种CDN网络中内容副本放置方法,该方法选择的副本放置节点首先满足服务响应时间要求,所述方法包含如下步骤:
步骤1,找出CDN网络中任意节点Mi作为接入节点时,满足服务响应时间要求及本地存储要求的预备副本放置节点集
步骤2,从所述预备副本放置节点集中找出在各个预备副本放置节点集中出现次数最多的预备节点Ns
步骤3,对所有满足Ns∈Ci的节点集Ci计算其对应的接入节点Mi的请求数总和,若该总和小于Ns最大负载请求数,则将预备节点Ns选为实际副本放置节点,否则选择在各个预备副本放置节点集中出现次数次多的节点重复步骤3。
2.根据权利要求1所述的CDN网络中内容副本放置方法,其特征在于,所述CDN网络中内容副本放置方法具体为:
步骤201)将CDN各节点间的网络延迟作为CDN节点间的距离,设置预备副本放置节点集为空,设置未满足服务响应时间要求的节点集为所有与内容源节点的距离大于服务响应时间值的节点的集合;
步骤202)对任意一个未满足服务响应时间要求的节点Mi,找出所有与Mi的距离小于服务响应时间值并且剩余存储容量大于内容文件大小的节点,
将这些节点加入Mi的预备副本放置节点集;
步骤203)计算各预备节点在各个预备副本放置节点集中出现总次数,并按照次数从多到少排序;
步骤204)如果出现次数相同的节点个数有多个,则转到步骤205),否则转到步骤206);
步骤205)计算次数相同的节点与已选节点集中各节点的距离,选择最小的距离作为该节点与已选节点集的距离,将这几个节点按照与已选节点集的距离从小到大在原有排序基础上进行排序,或者将这几个节点与源节点的距离按照从大到小排序,或者将这几个节点进行随机排序;
步骤206)在上述排序序列中,移出第一个预备节点Ns,对所有满足Ns∈Ci的Ci,将其对应的接入节点Mi的请求数相加;
步骤207)如果步骤206)中的请求数总和小于Ns最大负载请求数,则转到步骤208),否则转到步骤206);
步骤208)将Ns加入预备副本放置节点集,对所有满足Ns∈Ci的Ci,将其对应的接入节点Mi移出未满足服务响应时间要求节点集;
步骤209)如果未满足服务响应时间要求节点集为空,则过程结束,否则转到步骤202)。
3.根据权利要求2所述的CDN网络中内容副本放置方法,其特征在于,本地存储要求为:节点剩余存储容量大于内容文件的大小。
4.一种CDN网络中内容副本放置系统,该系统首先满足服务响应时间要求,且CDN网络中内容副本放置系统包含若干CDN网络节点,所述网络节点分为内容源节点和若干接入节点,所述接入节点能用于存放副本,其特征在于,
所述系统还包含:
设置于接入节点上的预备副本放置节点选择模块,用于依据服务响应时间及本地存储选择接入节点的预备副本放置节点集
设置于内容源节点的副本放置节点生成模块,用于从所述预备副本放置节点集中找出在各个预备副本放置节点集中出现次数最多的预备节点Ns,对所有满足Ns∈Ci的节点集Ci计算其对应的接入节点Mi的请求数总和,若该总和小于Ns最大负载请求数,则将预备节点Ns选为实际副本放置节点,否则选择在各个预备副本放置节点集中出现次数次多的节点作为副本放置节点。
5.根据权利要求4所述的CDN网络中内容副本放置系统,其特征在于,本地存储要求为:节点剩余存储容量大于内容文件的大小。
CN201110262119.2A 2011-09-06 2011-09-06 一种cdn网络中内容副本放置方法及系统 Expired - Fee Related CN102984188B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110262119.2A CN102984188B (zh) 2011-09-06 2011-09-06 一种cdn网络中内容副本放置方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110262119.2A CN102984188B (zh) 2011-09-06 2011-09-06 一种cdn网络中内容副本放置方法及系统

Publications (2)

Publication Number Publication Date
CN102984188A CN102984188A (zh) 2013-03-20
CN102984188B true CN102984188B (zh) 2015-06-17

Family

ID=47857929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110262119.2A Expired - Fee Related CN102984188B (zh) 2011-09-06 2011-09-06 一种cdn网络中内容副本放置方法及系统

Country Status (1)

Country Link
CN (1) CN102984188B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113590B (zh) * 2014-06-30 2017-04-19 南京邮电大学 一种基于副本响应时间预测的副本选择方法
CN105068755B (zh) * 2015-07-08 2017-10-03 南京邮电大学 一种面向云计算内容分发网络的数据副本存储方法
CN110677306B (zh) * 2019-10-25 2021-09-03 上海交通大学 网络拓扑副本服务器配置方法及装置、存储介质和终端
CN114650296B (zh) * 2020-12-18 2023-03-24 中国科学院声学研究所 一种信息中心网络副本选择方法
CN114095573B (zh) * 2021-10-19 2023-11-28 陕西悟空云信息技术有限公司 基于边缘缓存的cdn-p2p网络的内容副本放置方法
CN114006914B (zh) * 2021-12-28 2022-03-22 深圳市华盛智联科技有限公司 文件副本的云安全存储方法、系统、介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645919A (zh) * 2009-04-01 2010-02-10 中国科学院声学研究所 一种基于流行度的副本等级计算方法及其副本放置方法
CN101841556A (zh) * 2010-02-23 2010-09-22 中国科学院计算技术研究所 Cdn-p2p网络中放置资源副本的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10264029B2 (en) * 2009-10-30 2019-04-16 Time Warner Cable Enterprises Llc Methods and apparatus for packetized content delivery over a content delivery network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101645919A (zh) * 2009-04-01 2010-02-10 中国科学院声学研究所 一种基于流行度的副本等级计算方法及其副本放置方法
CN101841556A (zh) * 2010-02-23 2010-09-22 中国科学院计算技术研究所 Cdn-p2p网络中放置资源副本的方法及系统

Also Published As

Publication number Publication date
CN102984188A (zh) 2013-03-20

Similar Documents

Publication Publication Date Title
CN102984188B (zh) 一种cdn网络中内容副本放置方法及系统
CN104820717B (zh) 一种海量小文件存储及管理方法和系统
CN105933376A (zh) 一种数据操作方法,服务器及存储系统
US8756253B2 (en) Two-level structured overlay design for cluster management in a peer-to-peer network
CN103929454B (zh) 一种云计算平台中负载均衡存储的方法和系统
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其系统
CN103455631A (zh) 一种数据处理方法、装置及系统
CN103095758B (zh) 一种分布式文件系统及该系统中处理文件数据的方法
CN102611735A (zh) 一种应用服务的负载均衡方法及系统
CN104284201A (zh) 一种视频内容的处理方法和装置
CN103067461A (zh) 一种文件的元数据管理系统以及元数据管理方法
CN103281367A (zh) 一种负载均衡方法及装置
CN103227826A (zh) 一种文件传输方法及装置
CN102970242A (zh) 一种实现负载均衡的方法
CN105068755A (zh) 一种面向云计算内容分发网络的数据副本存储方法
CN103823846A (zh) 一种基于图论的大数据存储及查询方法
CN104426813A (zh) 一种流表更新的控制方法、装置及控制器
CN102833331A (zh) 云存储系统及其元数据写入方法、元数据读取方法
CN107562803B (zh) 数据供应系统及方法、终端
CN104750757A (zh) 一种基于HBase的数据存储方法和设备
CN104283963A (zh) 一种分布合作式的cdn负载均衡方法
CN102262668A (zh) 分布式文件系统文件读写方法、分布式文件系统及其装置
CN101963978B (zh) 一种分布式数据库的管理方法、装置及系统
US10474644B2 (en) Systems and methods for optimizing selection of a replication data node in a distributed file system
CN103905923A (zh) 一种内容缓存方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150617

CF01 Termination of patent right due to non-payment of annual fee