CN105959368B - 一种社交云热点资源预测与部署的方法 - Google Patents

Abstract

本发明提供一种社交云热点资源预测与部署的方法，包括以下步骤：S1、定义社交网络中的稳定节点，并获取稳定节点构成稳定节点集合；S2、确定稳定节点的指标类型，并计算得出不同类型指标的指标权重；S3、根据稳定节点的指标值和对应的指标权重，从稳定节点集合中取出预设数量的稳定节点构成重要节点集合；S4、分析重要节点集合所发布的资源，构建热点资源集合；S5、将热点资源分散部署到离用户最近的边缘服务器。本发明结合复杂网络节点重要性排序，从重要节点发布的资源中预测热点资源，从而在热点资源真正爆发访问前，提前将热点资源分散部署到离用户最近的边缘服务器上，缓解区域核心服务器的压力，消除访问瓶颈。

Description

一种社交云热点资源预测与部署的方法

技术领域

本发明涉及网络技术领域，具体涉及一种社交云热点资源预测与部署的方法。

背景技术

随着网络技术的发展，社交网络得到极大推广，已经成为人们生活不可或缺的应用，这些社交应用的用户构成了庞大的社交网络。

当前大部分社交网络的基础设施都采用了云系统的架构，即租用云服务提供商的平台或者是虚拟机部署自己的应用。特别地，社交性质网络覆盖范围广，例如facebook服务横跨几大州，我国的新浪，腾讯至少也是全国覆盖，这类公司为了提供比较好的用户体验，一般会在各地租用云平台部署服务和资源数据，就近为用户提供所需信息。这样带有社交性和云特征的系统被称为“社交云系统”。

由此而来的一个问题就是，如何部署资源以满足这种社交网络服务的需要。社交网络服务表现出要实时响应大范围、集中、且增长迅速的请求，这是因为在社交网络中，服务通过用户的社交关系扩散，某话题、某视频会因为用户之间的推荐而被更多用户关注，随着关注用户的增多，推荐和转发都将以指数形式上升，给社交服务的用户体验带来巨大挑战。现有云存储系统中的资源部署策略均没有考虑社交特性，造成社交网络中的热点事件的相关视频资源部署落后，完全不能应对社交话题爆发带来的资源爆发式访问。

发明内容

本发明的目的在于针对现有云存储中资源部署技术应对社交特性的不足，提供一种社交云热点资源预测与部署的方法，其可以很好地解决社交话题爆发带来的资源爆发式访问的问题。

为达到上述要求，本发明采取的技术方案是：提供一种社交云热点资源预测与部署的方法，该社交云热点资源预测与部署的方法包括以下步骤：

S1、定义社交网络中的稳定节点，并获取稳定节点构成稳定节点集合；

S2、确定稳定节点的指标类型，并计算得出不同类型指标的指标权重；

S3、根据稳定节点的指标值和对应的指标权重，从稳定节点集合中取出预设数量的稳定节点构成重要节点集合；

S4、分析重要节点集合所发布的资源，构建热点资源集合；

S5、将热点资源集合中的热点资源分散部署到离用户最近的边缘服务器。

该社交云热点资源预测与部署的方法具有的优点如下：结合复杂网络节点重要性排序，在发现社交网络中重要节点集合的基础上，从重要节点发布的资源中预测热点资源，从而在热点资源真正爆发访问前，提前将热点资源分散部署到离用户最近的边缘服务器上，缓解区域核心服务器的压力，消除访问瓶颈。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明社交云热点资源预测与部署的方法的流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，以下结合附图及具体实施例，对本申请作进一步地详细说明。

在以下描述中，对“一个实施例”、“实施例”、“一个示例”、“示例”等等的引用表明如此描述的实施例或示例可以包括特定特征、结构、特性、性质、元素或限度，但并非每个实施例或示例都必然包括特定特征、结构、特性、性质、元素或限度。另外，重复使用短语“根据本申请的一个实施例”虽然有可能是指代相同实施例，但并非必然指代相同的实施例。

为简单起见，以下描述中省略了本领域技术人员公知的某些技术特征。

根据本申请的一个实施例，提供一种社交云热点资源预测与部署的方法，如图1所示，包括以下步骤：

S1、定义社交网络中的稳定节点，并获取稳定节点构成稳定节点集合；

稳定节点，为至少每周登陆、每周自己发布一条以上消息、稳定存在一年以上、累积发布微博不少于平均数的一半或粉丝数不少于平均数的节点。那些很少登陆、只转发他人、没有粉丝的僵尸节点不进入研究对象集合，这些被删除节点产生的社交关系对应删除。稳定节点代表的是独立的个体，设共有n个，构成稳定节点集合，记为：S＝{S1,S2,…,Sn}。

S2、确定所述稳定节点的指标类型，并计算得出不同类型指标的指标权重，具体包括：

S21、确定所述稳定节点的指标类型；

S22、提取每个稳定节点不同类型指标的值；

本实施例采用以下四个具有代表性的指标：

度数(degree，记为：d)：局部属性，计算简单，代表一个节点有几个直接相连的节点，这些直接相连的边的数目就是度。度数是邻居节点对本节点影响的直观考量，度数越高则本节点在社交网络中越处于越重要的位置，节点i的度定义为该节点的邻居数目。计算公式为：

即度是节点S_i所有边之和。

介数(betweeness，记为：b)：在一个比较大规模的网络中，两个节点之间的消息很可能是经过中间很多节点转交的，这些转交的节点够成了两个节点之间通信的路径。通过不同的节点转交消息，则构成的路径不同。经过的节点数目就是路径的长度即距离。最短路径，即经过转发节点最少的路径，而这种路径可能不止一条。

节点i的介数含义为：网络中所有的最短路径之中，经过节点i的最短路径数量，计算公式为：

其中g_st表示节点s到节点t之间的最短路径数，表示其中经过节点i的最短路径数目。最短路径一般是信息扩散的通道，全部的最短路径中多少条经过了节点i，他们的比值就是i的介数，说明有多少信息是通过i节点扩散的。节点的介数值越高，这个节点就越有影响力，即这个节点也就越重要。

紧密度(又称接近度，Closeness，记为：c)：全局属性，用一个节点与其他节点的最短距离的均值来衡量其重要程度。一个节点与网络中其他节点的平均最短路径越小，该节点的接近中心性就越大。可以理解为利用信息在网络中的平均传播时长。如果一个节点与网络其他节点的路径都很近，那么它的信息很容易转发到其他节点，它在整个网络也处于中心地位。可以计算任意一个节点i到网络中其他节点的平均最短距离：

d_ij是指图中节点i到其他节点j的最短路径，上半部分整体是对这些最短路径求和，下半部分n是整个联通的网络中的节点的数目。d_i越小意味着节点i更接近网络中的其他节点，越重要。

特征向量值(记为：e)：是一个全局指标，它认为一个节点的重要性既取决于其邻居节点的数量，也取决于每个邻居节点的重要性。给你的直接相连的节点赋予权重，再把这些权重分给它们链接的节点，这样推广下去，从而得到一个线性方程组。该方程组的最大特征值所对应的特征向量就是各个节点的重要性即所有节点被分配的权重的总和。记e_i为节点s_i的特征向量值，计算公式为：

其中c是一个比例常数。

S23、利用归一化效用函数，将不同类型指标的值映射到对应的实数值；

由于各指标的物理意义不完全相同，计量单位也不一定相同，从而使得指标的量纲和数量级可能不同，不能直接进行加权综合。需要利用归一化效用函数，将每个指标映射到一个实数值，通过该值进行加权计算。这里采用的归一化效用函数是归一化函数，其构造方法是，将某指标与其对应的最大值或最小值进行比较，从而将多个指标值归一化到范围0～1，使其转化到一个独立于每个具体指标的单位或范围的实数，计算公式如下，以q代表以上四个指标：

当q_i是效益型属性，效益型的属性值越大，表明属性质量越优；

当q_i是成本型属性，成本型的属性值越小，表明属性质量越优：

其中minq_i和maxq_i分别表示指标q的最小值和最大值，本发明的指标除开紧密度均为效益型属性。

S24、根据所述实数值，采用熵权法计算得出不同类型指标的指标权重。

在综合评价领域，一般来说，如果某个指标的信息熵(Entropy，记为E_i)越小，就表明其指标值的变异程度越大，提供的信息量越大，在综台评价中所起的作用越大，则其权重也应越大。反之，某指标的信息熵越大，就表明其指标值的变异程度越小，提供的信息量越小，在综合评价中所起的作用越小，则其权重也应越小。“熵”的计算分析过程完全依靠客观数据，没有人的主观影响，因此是一种完全的客观分析方法，可以避免一些主观判断造成的失误。

先计算指标i的某个值j出现的概率p_ij，再计算指标i的熵值E_i，然后根据熵值确定指标权重w_i，公式如下所示：

其中，y_ij是指标i的某个值j，m为指标个数。

S3、根据稳定节点的指标值和对应的指标权重，从所述稳定节点集合中取出预设数量的稳定节点构成重要节点集合。

在对各指标赋权的基础上，综合节点的不同指标值，进行对节点的综合评价。本实施例使用逼近理想排序法TOPSIS进行综合评判，具体包括以下步骤：

S31、按照稳定节点数量和指标数量，将指标值构成评价矩阵；

TOPSIS将社交网络中的稳定节点看作一个方案，将评价节点重要性的多个评价指标分别看作各方案的指标，则节点的重要性评价就转化为一个多指标决策问题。n为我们的节点数目，每层k＝4个指标，构成评价矩阵Y：

S32、将评价矩阵中的指标值根据指标权重进行加权计算，得出多指加权标评价矩阵；

然后，对每一行的4个指标值进行加权，构成的多指加权标评价矩阵Z。

S33、根据所述多指加权标评价矩阵计算每个稳定节点代表的决策方案的贴近度，并按贴近度值的大小进行排序；

根据多指标评价矩阵Z确定正理想决策方案A⁺，也就是取得每个稳定节点的加权指标的最大值，

和负理想决策方案A^-也就是取得每个节点的加权指标的最小值，

根据下式计算每个决策方案A_i到A⁺与A^-的距离：

最后，根据下式计算每个节点代表的决策方案的贴近度X_i，按照值X_i的大小进行排序：

S34、根据社交网络规模和分析能力，按贴近度的值从大到小的顺序取出预设数量的稳定节点构成重要节点集合。

重要节点集合的获取主要考虑两方面因素，社交网络规模Number(S)，分析能力即在有效时间内能分析多少个节点Number(A)，因此预设数量p％的计算公式为：

例如新浪微博注册用户5.4亿，其中活跃用户2亿左右，我们的分析能力只有100万，则p％＝100万/2000万＝5％。

所提取的重要节点集合记为：I＝{I₁,I₂,...I_n,}。n_,为重要节点个数。

S4、分析重要节点集合所发布的资源，构建热点资源集合，具体步骤为：

S41、记录在预设时间T内重要节点发布的资源集合，记为为该重要节点i发布的资源个数；

S42、计算每个重要节点中每个资源的转发权重和回复权重；

设T内资源r_i ^j的转发数为f(r_i ^j)，简记为f_ij；回复数为v(r_i ^j)，简记为v_ij。

所有资源中最大转发数记为max(f)，最小转发数记为min(f)；所有资源中最大回复数记为max(v)，最小回复数记为min(v)；由此计算节点j的第i个资源的转发权重w_ij(f)和回复权重w_ij(v)为：

S43、根据所述转发权重、回复权重及贴近度计算得到节点资源评价值，并按评价值的大小进行排序，计算的公式为：

E_ij＝X_iw_ij(f)w_ij(v)

S44、根据系统分发能力和日均热点规模，按评价值从大到小的顺序取出预设数量的资源构成热点资源集合。

预设数量q％由系统分发能力和日均热点规模共同决定，计算公式如下所示，其中资源r_i的存储容量为Storage(r_i)，稳定资源总数为n’，系统分发能力为Storage(A)即系统空闲存储容量，历史日均热点资源规模为Storage(M)：

该公式的含义为，如果分发能力小于日均热点规模，则以分发能力为准，超过分发能力的不予分发；如果分发能力大于日均热点规模，则以日均热点规模为准，因为这是一个历史平均值，代表了热点规模的最大可能性。总的目的是要减少提前分发的资源数，节省预测部署开销。

以上方法发现的热点资源集合记为H＝{H₁,H₂,...H_k}，k为热点资源个数。

S5、将所述热点资源集合中的热点资源分散部署到离用户最近的边缘服务器。

热点效应导致服务器和骨干网络过载和瘫痪，远距离服务导致QoS无法保证。为了应对对以上热点资源的大规模，爆发式访问造成的问题，需要将热点资源拷贝多个副本按区域分散部署。社交网络资源提供方为云存储供应商。该问题被转化为一个云存储中的资源部署问题。部署策略采用有存在矩阵限制的粒子群优化算法(PSO)，部署策略目标是总体部署时间最短。

首先获得存在矩阵，因为云存储与云计算任务的最大区别是：计算可以并行化后调度到任意节点进行。但是云存储中是数据传输任务，源节点本身必须有这个资源，否则无法分发。存在矩阵就是告诉调度算法哪些节点有哪些资源，这个矩阵可以从系统的文件列表中生成。

其次，获取各影响因素的矩阵，例如：节点i和j之间的带宽b_ij，注意：带宽取两个节点之间带宽的最小值，规范化用公式(1)；节点i和j之间的时延d_ij；丢包率等l_ij，经过公式(2)规范化。这些值可以从云存储系统上个时间段的统计获得。设资源大小为s，定义将资源从节点i传输到节点j的适应度函数f_ij如下：

最后，在适应度函数调节下，进行粒子群优化算法(PSO)调度。PSO的初始化为一群随机粒子，然后通过迭代找到最优解。在每一次的迭代中，粒子通过跟踪两个“极值”(pbest，gbest)来更新自己。在找到这两个最优值后，粒子通过下面的公式来更新自己的速度和位置。

V_i＝V_i+c₁×rand()×(pbest_i-X_i)+c₂×rand()×(gbest_i-X_i) (3)

X_i＝X_i+V_i (4)

在式(3)、(4)中，i＝1，2，…，m，m是该群体中粒子的总数，V_i是粒子的速度；rand()是介于(0、1)之间的随机数；X_i是粒子的当前位置；c₁和c₂是学习因子，通常取c₁＝c₂＝2。在每一维，粒子都有一个最大限制速度V_max，如果某一维的速度超过设定的V_max，那么这一维的速度就被限定为V_max(V_max>0)。

参与生成部署策略的是拥有资源的核心服务器与各区域边缘服务器，以下节点均代表服务器。部署策略如下：

输入：粒子数目m，惯性权重w，加速度常数c₁和c₂，任务向量T，最大迭代次数MaxIt，带宽矩阵B，时延矩阵D，丢包率矩阵L，适应度阈值f_e，存在矩阵EM；

输出：任务调度向量V；

过程：

a、设置迭代次数It＝0，从EM中生成一个初始解V₀；

b、While It<＝MaxIt

c、从任务向量T中获得资源大小s，带宽矩阵B中获取带宽b_ij，时延矩阵D中获得时延d_ij，丢包率矩阵L中获得丢包率l_ij；

d、计算并保存适应度；

e、if f<＝f_e then break，输出V_i；

f、It＝It+1；

g、依据式(3)、(4)更新得到一个新的解V_new；

h、检查V_new是否符合EM的限制，如果不符合则抛弃V_new重新依照EM产生一个V_new；

i、End While

选择f_ij最小的V_i输出。

以上所述实施例仅表示本发明的几种实施方式，其描述较为具体和详细，但并不能理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明保护范围。因此本发明的保护范围应该以所述权利要求为准。

Claims (4)

1.一种社交云热点资源预测与部署的方法，其特征在于，包括以下步骤：

S1、定义社交网络中的稳定节点，并获取所述稳定节点构成稳定节点集合；

S2、确定所述稳定节点的指标类型，并计算得出不同类型指标的指标权重；

S3、根据稳定节点的指标值和对应的指标权重，从所述稳定节点集合中取出预设数量的稳定节点构成重要节点集合；

S4、分析重要节点集合所发布的资源，构建热点资源集合；

S5、将所述热点资源集合中的热点资源分散部署到离用户最近的边缘服务器；

所述步骤S3具体包括：

S31、按照稳定节点数量和指标数量，将指标值构成评价矩阵；

S32、将评价矩阵中的指标值根据指标权重进行加权计算，得出多指加权标评价矩阵；

S33、根据所述多指加权标评价矩阵计算每个稳定节点代表的决策方案的贴近度，并按贴近度值的大小进行排序；

S34、根据社交网络规模和分析能力，按贴近度的值从大到小的顺序取出预设数量的稳定节点构成重要节点集合；

所述步骤S4具体包括：

S41、记录在预设时间内重要节点发布的资源集合；

S42、计算每个重要节点中每个资源的转发权重和回复权重；

S43、根据所述转发权重、回复权重及贴近度计算得到节点资源评价值，并按评价值的大小进行排序；

S44、根据系统分发能力和日均热点规模，按评价值从大到小的顺序取出预设数量的资源构成热点资源集合。

2.根据权利要求1所述的方法，其特征在于，所述稳定节点的指标类型包括度数、介数、紧密度及特征向量值。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：

S21、确定所述稳定节点的指标类型；

S22、提取每个稳定节点不同类型的指标值；

S23、利用归一化效用函数，将不同类型的指标值映射到对应的实数值；

S24、通过所述实数值计算得出不同类型指标的指标权重。

4.根据权利要求3所述的方法，其特征在于，所述步骤S24采用熵权法计算不同类型指标的指标权重。