CN104717304A - 一种cdn-p2p内容优化选择系统 - Google Patents

Abstract

本发明提供了一种CDN-P2P内容优化选择系统，包括：源服务器层、分布在网络边缘的边缘CDN服务器层、P2P用户层；其中所述P2P用户层内包括多个服务节点，且所述服务节点根据连接的ISP划分为多个ISP域，且每一ISP内至少包括一个Tracker节点和多个服务节点；其中所述Tracker节点包括：用于接收服务节点上传的数据的接收模块、用于根据所述数据为每一服务节点生成优先级别列表的生成模块；其中所述服务节点上传的数据包括以下的至少一种：服务节点连接的ISP，服务节点的位置参数。

Description

一种CDN-P2P内容优化选择系统

技术领域

本发明涉及数据处理技术领域，特别是指一种CDN-P2P内容优化选择系统。

背景技术

CDN-P2P融合了分发网络技术，已经逐渐成为当前互联网内容传递和共享的主流技术。随着CDN-P2P融合分发网络技术的广泛应用，极大的提高了内容对象服务能力。由于P2P的分散特性，P2P节点的每次内容请求都会通过广播的形式来寻找服务节点并与之连接，这样就导致节点间互通可能跨越多层网络和ISP(Internet Service Provider，互联网服务提供商)域，而不同的ISP之间的链路数和路由跳数都增加会导致网络拥塞。由此可以看出，在当前ISP骨干网上，如果不考虑网络底层拓扑信息来选择服务节点就会造成大量不必要的跨ISP域流量、大大限制传输速率。

由此可以看出，合理的内容分发方法可以降低网络开销，提高内容分发效率。如果能够使得P2P节点之间的链接进行优化以引导流量更多地在本地发生，就能够极大的降低内容的响应延迟。

发明内容

针对现有技术中的P2P节点之间的连接大量是跨越多层网络和ISP域导致网络拥塞的问题，本发明实施例提出了一种CDN-P2P内容优化选择系统。

为了达到上述目的，本发明实施例提出了一种CDN-P2P内容优化选择系统，包括：

源服务器层、分布在网络边缘的边缘CDN服务器层、P2P用户层；其中所述P2P用户层内包括多个服务节点，且所述服务节点根据连接的ISP划分为多个ISP域，且每一ISP内至少包括一个Tracker节点和多个服务节点；

其中所述Tracker节点包括：用于接收服务节点上传的数据的接收模块、用于根据所述数据为每一服务节点生成优先级别列表的生成模块；其中所述服务节点上传的数据包括以下的至少一种：服务节点连接的ISP，服务节点的位置参数。

其中，所述生成模块被配置为：

获取当前用户节点对应的每一服务节点的优先级m，根据服务节点上传的数据类型对所述服务节点的优先级m进行调整：

如果服务节点上传了位置参数和其连接的ISP，则将该服务节点的优先级m增加m₁；

如果服务节点上传了其连接的ISP，则将该服务节点的优先级m增加m₂；

如果服务节点未上传位置参数和其连接的ISP，则将该服务节点的优先级m减少m₃；

其中m₁>m₂。

其中，所述生成模块被配置为：

通过以下公式通过用户节点与每一服务节点之间的RTT调整第i个服务节点m_i的优先级：

其中为用户节点与服务节点i的下载带宽和连接时间的比值；其中i∈[1，N₀]，

q为预设的调整系数，且0<q<1；N₀为服务节点总数，为所有用户节点与服务节点的下载带宽与连接时间的比值中的最大值。

其中，所述生成模块被配置为：

获取当前用户节点对应的每一服务节点的优先级m，根据服务节点与用户节点之间的位置关系和服务节点连接的ISP的信息，对其他服务节点的优先级m进行调整：

如果其他服务节点的ISP相同，且节点所在额自治域相同，则将所述服务节点的优先级m增加m₄；

如果其他服务节点的ISP相同，且服务节点的省和市都相同，则将所述服务节点的优先级m增加m₅；

如果其他服务节点的ISP相同，且服务节点的省相同，则将所述服务节点的优先级m增加m₆；

如果其他服务节点的ISP相同，且服务节点的省不相同，则将所述服务节点的优先级m增加m₇；

如果其他服务节点的ISP不同，m减少m₈；

其中m₄、m₅、m₆、m₇均为正整数，m₄>m₅>m₆>m₇。

其中，Tracker节点与Tracker节点之间、服务节点与服务节点之间，均以对等的方式连接。

其中，所述每一ISP域包括Tracker节点群，且所述每一Tracker节点包括多个互为备份的Tracker节点。

其中，所述Tracker节点还包括：用于将服务节点之间的兴趣内容优化的兴趣匹配模块，其中所述兴趣匹配节点被配置为：

根据向量空间模型VSM将用户节点请求内容和服务节点内容进行N维向量表示，每一维均由特征词k_i及其权重w_i组成；

通过VSM向量空间的运算计算用户节点请求内容与服务节点中内容的兴趣相似程度。

其中，所述通过VSM向量空间的运算计算用户节点请求内容与服务节点中内容的兴趣相似程度，包括：

节点p_o与p_l之间的相似度sim(p_o,p_l)通过以下公式计算：

$\mathrm{sim}(p_o,p_l)=\frac{\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{o,k}\&CenterDot;w_{l,k}}{\sqrt{\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w_{o,k}}^2\&CenterDot;\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w_{l,k}}^2}}\&CenterDot;\frac{N_{p_o,p_l}}{N_{p_o}}$

其中，为节点p_o与p_l之间相同特征词的个数，为p_o的特征词总数。

w_o,k为节点p_o第k个特征词的权重，w_l,k为节点p_l第k个特征词的权重，n为节点的特征词总数。

其中，所述方法还包括：根据生成模块中服务节点的优先级，和兴趣匹配模块生成的节点之间的内容的相似度sim(p_o,p_l)，通过以下公式生成服务节点的优化选择列表C；

C＝{C_i：C_i＝αA_i+(1-α)B_i}

其中：，i∈[1,N₀]，A为生成模块生成的该服务节点的排序序号；B为兴趣匹配模块生成的该服务节点的排序序号，α为预设的A的权重α∈(0,1)，(1-α)为B的权重。

本发明的上述技术方案的有益效果如下：

上述方法中的节点能够对其位置进行感知，以引导流量更多地在本地发生，降低内容的响应延迟。同时，网络中服务节点对内容的需求多样化，要有效地找到感兴趣内容也越来越复杂。而本发明实施例的方法能够充分考虑节点中蕴含的内容兴趣信息，实现服务节点与其兴趣相近的服务节点之间进行内容的交互，提升内容的响应质量。因此，将服务节点的内容请求有效而快速导向离用户距离最接近、兴趣最相近的服务节点上，降低服务节点内容的响应延迟，提高服务节点内容的响应质量，成为研究的重点。

附图说明

图1为本发明实施例的系统的拓扑结构图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实例进行详细描述。

本发明实施例的参考文件包括：

[1]张国强,唐明董,程苏琦,等.P2P流量优化.中国科学:信息科学,2012,42:1–19

[2]Karagiannis T,Rodriguez P,Papagiannaki K..Should internetservice providers fear peer-assisted content distribution？In:Proceedings ofthe 5th ACM SIGCOMM Conference Internet Measurement(IMC’05),Berkeley,2005.63–76

[3]Rasti A,Stutzbach D,Rejaie R.On the long-term evolution of thetwo-tier Guntella overlay.In:Global Internet,Barcelona,2006

[4]阳小龙，王欣欣，张敏.用户兴趣感知的内容副本优化放置算法.通信学报,2014,1000-436X(2014)12-

[5]LI L,ZHU A H,SU T.Research and implementation of an improvedVSM-based text similarity algorithm[J].Computer Application and Software,2012,29(2):282-284.

本发明实施例将上述五篇对比文件全文引用在此。

本发明的原理如图1所示的，如下：

如图1所示的，现有的CDN-P2P融合内容分发网络的网络结构分为三层：

最上层是源服务器层，存储了所有资源，负责整个融合网络的管理及内容分发；

中间层是分布在网络边缘的边缘CDN服务器层，主要负责响应服务节点的请求和负载均衡；

最底层是P2P用户群层，采用半分布式的拓扑结构，为减少跨域流量。将P2P用户群层划分为若干个“ISP域”，为遵循层次式的集中管理域内节点的原则，再将ISP域内节点划分为两层：虚拟管理层和普通节点层。其中虚拟管理层的Tracker节点(Tracker节点)被配置为根据节点带宽、处理能力等差异选出的性能较好的节点，用它来保存域内的普通节点的信息、系统性能的维护信息等。同时，不同域的Tracker节点之间以结构化的方式进行连接，同域普通节点之间以非结构化的方式进行连接。考虑到P2P节点的不稳定性和单点失效问题，使用“节点备份机制”，即对Tracker节点进行备份(备份节点拥有与该节点同步的信息)，Tracker节点与其备份节点之间组成“Tracker群”，当Tracker节点失效离开时，备份节点代替原Tracker节点行使管理工作，并立即告知本域内的所有普通节点，实现节点的失效恢复，动态实现负载均衡。

从“获取服务节点的位置信息”、“对服务节点位置信息进行精确匹配”两个方面，实现节点位置感知，提出一种基于位置感知的内容优化选择算法。当有服务节点请求内容时，Tracker节点返回一个服务节点列表L可供服务节点筛选。实现位置感知方面的总体思路：首先，考虑服务节点是否主动提供位置信息(IP、ISP、Port等)、服务节点和服务节点间的连接性能(包括RTT(Round-Trip Time,往返时延)、下载带宽等)，然后通过精确的位置匹配算法进行位置信息匹配，实现服务节点的位置感知。

设定各位置信息所占权重是通过增加标杆值m(为整数，初始值为0)来进行量化。至此，标杆值m即代表了节点的位置信息，因此只需对各个服务节点的m值的大小进行排序就可得到基于位置感知的内容优化选择候选列表。

为实现服务节点与服务节点位置信息的最大化匹配，节点列表L需依次经过以下三个阶段：

用户协作激励阶段：为促进服务节点的协作，提高协作服务节点(主动协作提供其位置信息)的高服务优先级，降低服务节点的内容响应延迟。相应的映射规则：其中，m₁>m₂。

一级优先级：服务节点主动提供地址信息(AD)、ISP中0个或0个以上，m增加m₁；

二级优先级：服务节点仅主动提供ISP，m增加m₂；

三级优先级：服务节点不提供任何个人信息，则将该服务节点m减少m₃的惩罚。

RTT获取阶段：RTT不能实现感知网络的底层拓扑结构或减少跨ISP流量，但可以从时间上作为节点之间距离的衡量标准，因此可以一定程度上减少网络延迟。根据服务节点和列表L中服务节点i的下载带宽与连接时间的比值然后按照式(1)进行服务节点排序，m相应增加m_i。其中，i∈[1,N₀],0<q<1，q为预设的为防止此阶段的m值占主导作用，其值可由实验确定，取整的目的是为计算方便。

N₀为服务节点总数，为所有用户节点与服务节点的下载带宽与连接时间的比值中的最大值。

位置匹配阶段：将服务节点和列表L中服务节点的位置信息进行匹配，依据位置信息匹配映射规则，计算服务节点与节点列表L中服务节点间的位置信息匹配度。其中，AD编码规则，取省的拼音字母的首字母，后面是市的拼音首字母；ISP编码规则：中国移动CM，中国电信CT，中国联通CU。

位置信息匹配映射规则：

一级优先级：ISP相同AS号相同，m增加m₄；AS为节点所在自治域；

二级优先级，ISP相同且AD号相同，m增加m₅；

三级优先级，ISP相同且AD号仅第一位相同，m增加m₆；

四级优先级，ISP相同且AD号不同，m增加m₇；

五级优先级，ISP不同，m减少m₈。

其中：m₄、m₅、m₆、m₇均为正整数，m₄>m₅>m₆>m₇。

为进一步提高服务节点的响应质量，将由上述公式2得到的基于位置感知的内容优化选择候选列表，再进行节点间兴趣匹配，即可得到基于兴趣匹配的内容优化选择候选列表，以实现服务节点与服务节点内容需求的最大化匹配。该方法可满足服务节点对内容的需求，实现服务节点与ISP的互利共赢。

节点间兴趣匹配思路：首先采用向量空间模型(VSM)将服务节点请求内容和服务节点内容进行N维向量表示，每一维均由特征词k_i及其权重w_i组成，特征词k_i的权重w_i可由TF*IDF计算；可将服务节点请求内容与服务节点中内容的兴趣相似程度转化为VSM向量空间的运算。比如，节点p_o与p_l之间的相似度计算如下式(3)，通过sim(p_o,p_l)值进行大小排序，可得基于兴趣匹配的内容优化选择候选列表。

$\mathrm{sim}(p_o,p_l)=\frac{\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{o,k}\&CenterDot;w_{l,k}}{\sqrt{\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w_{o,k}}^2\&CenterDot;\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w_{l,k}}^2}}\&CenterDot;\frac{N_{p_o,p_l}}{N_{p_o}}---\left(2\right)$

其中，为节点p_o与p_l之间相同特征词的个数，为p_o(或p_l)的特征词总数(二者相同)。w_o,k为节点p_o第k个特征词的权重，w_l,k为节点p_l第k个特征词的权重，n为节点的特征词总数。

据上述2.3.，综合考虑服务节点分别在基于位置感知的内容优化选择候选列表中的排序号、基于兴趣匹配的内容优化选择候选列表中的排序号，由式(3)得到联合节点位置和兴趣的内容优化选择列表C，按列表C进行服务节点与服务节点间的内容交互，使得服务节点在相同位置区域内快速的与兴趣相同的节点进行连接，提高用户的服务质量。

C＝{C_i：C_i＝αA_i+(1-α)B_i}  (3)

其中：α∈(0,1)，i∈[1,N₀]，A为节点的基于位置感知内容优化选择候选列表排序序号，B为节点的基于兴趣匹配内容优化选择候选列表排序序号，α为A的权重，(1-α)为B的权重，权重根据用户需求，是偏向兴趣多一些还是偏向位置多一些，C为联合考虑节点位置和兴趣的内容优化选择列表排序序号。

本发明提出的一种CDN-P2P内容优化选择方法可以带来的好处有：首先，对于节点的位置感知部分，综合考虑网络时延(RTT)、节点位置信息(AD、AS、ISP等)和用户协作激励三个方面，降低服务节点的响应延迟。RTT虽不能感知网络的底层拓扑结构、无法减少跨运营商的网络流量，但可以从时间上作为节点之间距离的衡量标准，一定程度上减少网络延迟；节点位置信息的匹配，避免直接通过IP地址判断用户的物理拓扑的困难，实现节点的位置感知具有更高的精确性和准确性；用户协作激励方面，鼓励服务节点主动提供位置信息，可以从一定程度上降低协作服务节点的响应延迟。其次，对于节点的兴趣匹配部分，运用一种基于VSM的兴趣度匹配算法选择服务节点感兴趣的服务节点，提高服务节点的响应质量。

对于节点的位置感知部分，综合考虑网络时延(RTT)、节点位置信息(AD、AS、ISP等)和用户协作激励三个方面，降低服务节点的响应延迟。RTT虽不能感知网络的底层拓扑结构、无法减少跨运营商的网络流量，但可以从时间上作为节点之间距离的衡量标准，一定程度上减少网络延迟；节点位置信息的匹配，避免直接通过IP地址判断用户的物理拓扑的困难，实现节点的位置感知具有更高的精确性和准确性；用户协作激励方面，鼓励服务节点主动提供位置信息，可以从一定程度上降低协作服务节点的响应延迟。

对于节点的兴趣匹配部分，运用一种基于VSM的兴趣度匹配算法选择服务节点感兴趣的服务节点，提高服务节点的响应质量。

综合考虑服务节点分别在基于位置感知和基于兴趣匹配候选列表中的排序号，从一定程度上降低服务节点的响应延迟、提高服务节点的响应质量。

现有的位置感知技术有很多，如时延(RTT)、基于IP前缀匹配、基于IP-TO-AS映射等。其中RTT为衡量节点之间距离的重要参数，它可由ping或traceroute等测量实时得到的结果转化为网络中的路由跳数和AS跳数得到，也可通过测试节点到达地标服务器得到，还可通过自定义的虚拟空间中节点间坐标的欧氏距离得到。时延的得到相对简单，也是感知节点间距离的主要采用方法，但仅基于时延的位置感知策略根本无法感知网络的拓扑结构，也就无法感知网络运营商信息，无法减少跨运营商的网络流量。基于IP前缀匹配的方法，通过最长前缀匹配法确定两个IP地址是否位于同一网络，感知节点的代表网络拓扑信息的运营商信息和物理位置，但IP地址大部分区域不连续，直接通过IP地址判断用户的物理拓扑比较困难，且IP地址库存在粗粒度和过期的同步问题。

另一方面，内容优化选择的另一个关键问题是内容兴趣度匹配。在对服务节点进行位置匹配的基础上，再考虑服务节点兴趣，更能提高内容的响应质量。现有的内容兴趣匹配技术主要是基于向量空间模型(VSM)，将服务节点请求内容和服务节点内容进行向量化表示，通过一种向量相似度算法，实现内容的兴趣度匹配，从而实现服务节点与其兴趣类似的服务节点之间内容的交互，提高服务节点的体验质量。以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种CDN-P2P内容优化选择系统，其特征在于，包括：

源服务器层、分布在网络边缘的边缘CDN服务器层、P2P用户层；其中所述P2P用户层内包括多个服务节点，且所述服务节点根据连接的ISP划分为多个ISP域，且每一ISP内至少包括一个Tracker节点和多个服务节点；

其中所述Tracker节点包括：用于接收服务节点上传的数据的接收模块、用于根据所述数据为每一服务节点生成优先级别列表的生成模块；其中所述服务节点上传的数据包括以下的至少一种：服务节点连接的ISP，服务节点的位置参数。

2.根据权利要求1所述的CDN-P2P内容优化选择系统，其特征在于，所述生成模块被配置为：

获取当前用户节点对应的每一服务节点的优先级m，根据服务节点上传的数据类型对所述服务节点的优先级m进行调整：

如果服务节点上传了位置参数和其连接的ISP，则将该服务节点的优先级m增加m₁；

如果服务节点上传了其连接的ISP，则将该服务节点的优先级m增加m₂；

如果服务节点未上传位置参数和其连接的ISP，则将该服务节点的优先级m减少m₃；

其中m₁>m₂。

3.根据权利要求1所述的CDN-P2P内容优化选择系统，其特征在于，所述生成模块被配置为：

通过以下公式通过用户节点与每一服务节点之间的RTT调整第i个服务节点m_i的优先级：

其中为用户节点与服务节点i的下载带宽和连接时间的比值；其中i∈[1,N₀],

q为预设的调整系数，且0<q<1；N₀为服务节点总数，为所有用户节点与服务节点的下载带宽与连接时间的比值中的最大值。

4.根据权利要求1所述的CDN-P2P内容优化选择系统，其特征在于，所述生成模块被配置为：

获取当前用户节点对应的每一服务节点的优先级m，根据服务节点与用户节点之间的位置关系和服务节点连接的ISP的信息，对其他服务节点的优先级m进行调整：

如果其他服务节点的ISP相同，且节点所在额自治域相同，则将所述服务节点的优先级m增加m₄；

如果其他服务节点的ISP相同，且服务节点的省和市都相同，则将所述服务节点的优先级m增加m₅；

如果其他服务节点的ISP相同，且服务节点的省相同，则将所述服务节点的优先级m增加m₆；

如果其他服务节点的ISP相同，且服务节点的省不相同，则将所述服务节点的优先级m增加m₇；

如果其他服务节点的ISP不同，m减少m₈；

其中m₄、m₅、m₆、m₇均为正整数，m₄>m₅>m₆>m₇。

5.根据权利要求1所述的CDN-P2P内容优化选择系统，其特征在于，Tracker节点与Tracker节点之间、服务节点与服务节点之间，均以对等的方式连接。

6.根据权利要求1所述的CDN-P2P内容优化选择系统，其特征在于，所述每一ISP域包括Tracker节点群，且所述每一Tracker节点包括多个互为备份的Tracker节点。

7.根据权利要求1-6任一项所述的CDN-P2P内容优化选择系统，其特征在于，其中所述Tracker节点还包括：用于将服务节点之间的兴趣内容优化的兴趣匹配模块，其中所述兴趣匹配节点被配置为：

根据向量空间模型VSM将用户节点请求内容和服务节点内容进行N维向量表示，每一维均由特征词k_i及其权重w_i组成；

通过VSM向量空间的运算计算用户节点请求内容与服务节点中内容的兴趣相似程度。

8.根据权利要求7所述的CDN-P2P内容优化选择系统，其特征在于，所述通过VSM向量空间的运算计算用户节点请求内容与服务节点中内容的兴趣相似程度，包括：

节点p_o与p_l之间的相似度sim(p_o,p_l)通过以下公式计算：

$\mathrm{sim}(p_o,p_l)=\frac{\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w}_{o,k}\&CenterDot;w_{l,k}}{\sqrt{\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w_{o,k}}^2\&CenterDot;\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}{w_{l,k}}^2}}\&CenterDot;\frac{N_{p_o,p_l}}{N_{p_o}}$

其中，为节点p_o与p_l之间相同特征词的个数，为p_o的特征词总数。

w_o,k为节点p_o第k个特征词的权重，w_l,k为节点p_l第k个特征词的权重，n为节点的特征词总数。

9.根据权利要求8所述的CDN-P2P内容优化选择系统，其特征在于，根据生成模块中服务节点的优先级，和兴趣匹配模块生成的节点之间的内容的相似度sim(p_o,p_l)，通过以下公式生成服务节点的优化选择列表C；

C＝{C_i：C_i＝αA_i+(1-α)B_i}

其中：，i∈[1,N₀]，A为生成模块生成的该服务节点的排序序号；B为兴趣匹配模块生成的该服务节点的排序序号，α为预设的A的权重α∈(0,1)，(1-α)为B的权重。