CN105138536B - 基于有向超图的移动社交网络数据分片方法 - Google Patents

Abstract

本发明公开一种基于有向超图的移动社交网络数据分片方法，属于数据处理技术领域。本发明根据移动社交网络用户交互的多路性和有向性等特点，引入有向超图理论来表示移动社交网络交互，建立了基于有向超图的移动社交网络用户交互模型，在此基础上通过对用户交互有向超图的划分实现对移动社交网络数据的划分，并给出移动社交网络数据分片动态调整方法。本发明综合考虑到移动社交网络的各项特征，通过设置各类超边的权值，可将其应用于不同类型的移动社交网络数据分片场景下，使得各分片负载均衡且各分片间通讯量减少。

Description

基于有向超图的移动社交网络数据分片方法

技术领域

本发明属于数据存储技术领域，具体涉及一种基于有向超图的移动社交网络数据分片方法。

背景技术

据统计，至2014年12月，我国手机网民数相比2013年增加5672万人，已达到5.57亿。与此同时，社交网络应用已成为移动终端中第四大用户覆盖率应用，覆盖占比达到60.2％，社交网络已成为移动端巨大的流量入口，日益增加的用户数、越来越多的交互信息等给后台支撑系统带来了巨大的压力。后台支撑系统扩展的方法主要分为两大类：垂直扩展和水平扩展。垂直扩展是通过升级硬件配置来实现的，而由于移动社交网络应用规模的不可确定性，采用垂直扩展不仅代价大，而且随着应用规模的进一步扩大需不断地进行垂直扩展。水平扩展具有灵活、代价小的特点，只需添加新的机器，并将一部分数据及业务请求分配给新的机器，即可实现扩展。而采用水平扩展的方法，在存储方面需对数据进行分布式存储，数据分片算法将直接影响着支撑系统的性能表现。

国内外对数据分片问题进行了广泛深入的研究，主要分为两类：通用数据分片算法、特殊类型数据分片算法。通用数据分片算法中最为常见的是简单的Hash方法，在确定分片数后，采用哈希函数对数据进行划分。虽然这种方法可以避免数据量的倾斜，但这种简单的机制不能捕获内在的用户间的社交关系并且有可能导致通信代价过高。

特殊类型数据分片算法中的特殊类型指数据的结构具有一定特征，如以树结构、图结构为主结构的数据，移动社交网络数据可以描述成以图为基础结构的数据，图数据具有强耦合的特点，研究者提出了许多基于图的数据分片算法，如递归二分的算法框架：在每轮二分中，首先将图随机划分成两等分，然后对于交换任意两个顶点能造成的收益值进行估价，再从中选出收益最高的点对进行交换。但这种方法通常只能处理104个顶点规模以内的图，而移动社交网络中顶点规模是远远大于这个值的。对图数据进行边的划分，即将边的集合等分到k个划分上，这种方法可以使得同步顶点副本状态时，通讯数量最小化。由于移动社交网络应用中大多数操作都与社交关系有关。若在数据分片时只考虑各分片数据量的均衡，易造成机器之间负载的不均衡，同时使得机器之间频繁地进行网络通信。

基于图的数据分片算法中有一些算法已经开始将社交网络中的社交关系和交互情况作为 数据划分的依据。如SPAR方法，首次利用社交网络特性来解决社会网络中数据的划分问题，使得后端支撑系统具有良好的水平扩展能力，其设计原则是：划分方面，确保尽可能多地保留基本社会结构；复制方面，确保所有的单跳邻居数据存放在同一台服务器上，以保证数据的本地语义。而通过分析在线社交网络的数据集，发现社交网络中一般用户只与他们好友中的22.03％进行交互，这一点是符合帕累托分布属性的。因此SPAR方法会造成大量的数据冗余，在进行写操作时，副本写操作代价会偏大。在SPAR方法的基础上，有人利用了在线社交网络中用户的社交连通性信息以及Gossip技术，有效地降低了副本拷贝代价。然而在社交网络环境中，基本社会结构即我们通常理解的好友关系并不能直接地反映出交互关系。为此，又有人提出在线动态划分与复制算法WEPAR，综合考虑了社交网络中的读操作、写操作以及副本拷贝代价，但并没有考虑到存储容量的限制；COSI方法根据查询记录来划分社交网络，可以有效地优化静态查询工作负载，但很难应用于动态查询工作负载中。近两年，将超图理论应用到数据分片成为一种趋势，通过将历史查询负载记录构建成一个加权超图，并以此为依据进行数据划分，或者将先前工作负载中的时态信息构建成一个超图，来预测未来的查询模式，同步进行这个超图的分区和复制。以上两种方法都采用的是无向超图对用户交互行为进行建模，其忽略了社交网络中交互的有向性。

发明内容

针对现有技术所存在的上述不足之处，本发明提供了一种基于有向超图的移动社交网络数据分片方法，充分考虑移动社交网络用户交互特点，建立基于有向超图的移动社交网络用户交互模型，并在此基础上通过对用户交互有向超图的划分实现对移动社交网络数据的划分，保证将经常进行交互的用户尽量分布在相同的片上。

基于有向超图的移动社交网络数据分片方法，包括以下步骤：

步骤1)构建基于有向超图的移动社交网络用户交互模型；

步骤2)对移动社交网络用户交互有向超图进行分片；

步骤3)根据移动社交网络用户交互有向超图的分片结果对移动社交网络数据进行分片；

步骤4)移动社交网络数据分片动态调整。

所述步骤1)中构建基于有向超图的移动社交网络用户交互模型的过程为：

定义移动社交网络用户交互有向超图为SHG＝〈V,E〉，V＝{v₁,v₂,…,v_n}为有向超图的结点集，代表移动社交网络中的用户，n＝|V|为有向超图的阶，即用户数，v_i(i∈[1,n])表示第i个用户，v_i＝{uID_i,uData_i,uActiveness_i,uPosition_i,uCopy_i}，uID_i为用户标识；uData_i 为第i个用户的数据大小；uActiveness_i为第i个用户在时间段T＝[t_begin,t_end]内的活跃度， 其中d(uID_i,t,t+Δt)为时刻t起Δt时间段内第i个用户进行的所有交互的总次数，f(t)是t时刻的衰退因子，其中t∈T；uPosition_i为第i个用户的位置信息，采用(longitude，latitude)形式表示，其中longitude为经度，latitude为纬度；uCopy_i为第i个用户的副本数目，初始设置为0。有向超边集E＝{e₁,e₂,…,e_m},m＝|E|，m为有向超图SHG的边数，有向超边e_q＝{eI_q，hI_q，EW_q，eType_q，Q_q}，q∈[1,m]，e_q表示在移动社交网络中的第eI_q个用户对用户序号在hI_q中的所有用户进行了eType_q类型的交互行为，其中eI_q为超边尾结点序号,hI_q为超边头结点的序号集，超边头、尾结点序号的取值范围是[1,n]；EW_q为超边的权值，表示e_q所表示的交互行为在社交关系中的影响力，Q_q为时间段T内e_q所表示的交互行为执行的总次数，为eType_q类型的交互行为的权重系数，其取值范围是[0,1]；eType_q为超边的类型，初始设置2种超边类型：SM-社交关系管理类、SI-社交互动类，可根据实际使用情况自定义。

对移动社交网络用户交互有向超图进行划分，即将点集V划分为P＝{P₁,P₂,…,P_k}，k个子集，是通过优化求解以下数学模型得到：

s.t.

∪_1≤s≤kP_s＝V

其中采用基尼系数Γ^interaction来表示移动社交网络中交互行为负载均衡的程度，值越小表示越平衡，范围是[0,1]，其中Λ^interaction表示所有分片上交互行为的负载之和，其中表示第s个分片上交互行 为的负载， 表示各分片之间的通信量之和，其中当δ_q＝1时，表示e_q中超边头结点和尾结点被划分在不同分片中，否则δ_q＝0；保证各划分的数据量不超过最大限制；∪_1≤s≤kP_s＝V保证划分结果包含了所有用户。

所述的步骤2)对移动社交网络用户交互有向超图进行划分包括以下步骤：

步骤201)设定分片数k、最大副本数c，初始化分片结果集P＝{P₁,P₂,…,P_k}，其中P_num(num∈[1,k])为空集，表示各分片中不包含任何用户，根据实际需求设定各分片剩余空间大小SPACE＝{space₁,space₂,…,space_k}，其中space_num2＞0(num2∈[1,k])；

步骤202)选出活跃度uActiveness_i排名前k的用户作为中心用户，依据uActiveness_i从大至小将中心用户顺序划分到各分片P_num中，被划分的用户的uCopy_i++，各分片剩余空间大小space_j减去其中心用户的数据大小uData_i；

步骤203)为每个类型的超边设定权重系数重新计算各超边的EW_q值，并根据EW_q由大到小对有向超边集E进行排序；

步骤204)按照步骤203)排序后的顺序依次读取每条超边信息e_q，判断第eI_q个用户是否已被划分，若未被划分则将第eI_q个用户划分到剩余空间最大的分片P_d(d∈[1,k])，若已被划分则查询出包含第eI_q个用户的剩余空间最大的分片P_d；

步骤205)遍历用户序号在hI_q中的用户，记为v_h，若用户v_h不存在于P_d中且用户副本数uCopy_h小于c且P_d剩余空间space_d大于uData_h，则将用户v_h划分至P_d，uCopy_h++，space_d＝space_d-uData_h；否则继续遍历用户序号在hI_q中剩余的用户；

步骤206)重复执行步骤204)～步骤205)遍历P中的用户，直到所有用户都已被划分或超边信息都已用于划分；

步骤207)对于未被分片的用户，采用欧氏距离计算孤立点与各片中心点的距离，选择剩余空间大于用户数据所需大小且距离最小的分片进行划分。

所述的步骤4)移动社交网络数据分片动态调整具体是以下过程：

步骤401)设置分片调整阈值cha₀，在每一次数据分片结束时初始化cha＝0，

cha用于判断是否需要进行移动社交网络数据分片调整，cha取值更新规则如下：

i)新用户v_n+1加入时，作为孤点，令其uData_n+1＝0，uActiveness_n+1＝0，uCopy_n+1＝0,uPosition_n+1为该新用户注册时的位置信息，当该新用户与其他用户发生交互时，cha＝cha+λ_new，其中λ_new＞0；

ii)用户注销账号时，将对应的顶点以及相关的超边删除，cha值不变；

iii)用户进行交互时，cha＝cha+λ_interaction，其中λ_interaction＞0，搜索SHG中是否存在与此次交互对应的eType_q、eI_q和hI_q完全相同的超边e_q'，若存在则Q_q'＝Q_q'+1，同时重新计算EW_q'的值；若不存在则为超图增加新的超边；

步骤402)当cha＞cha₀时，重新执行步骤2)、步骤3)，对移动社交网络数据进行新的划分。

相比现有技术，本发明有如下优点：

(1)考虑到移动社交网络中交互行为都是由单用户施动且存在大量多路关系，因此，本发明采用向前超图对移动社交网络用户交互行为进行建模，以此为依据进行数据划分更为精准；

(2)由于移动社交网络的多样性，如在强关系社交和弱关系社交环境下，不同的交互行为的发生频率是不一样的，通过对有向超图模型的超边权重系数进行设置，使其可以灵活地适用于各类实际应用情况下，且各分片负载均衡，各分片间通讯量减少；

(3)采用基于有向超图的移动社交网络数据分片方法，分片后查询效率大大提升，尤其在移动社交网络多路操作较多的情况下最为明显。

附图说明

图1为本发明基于有向超图的移动社交网络数据分片方法的具体实现流程图；

图2为本发明一实施例移动社交网络用户交互有向超图；

图3为对图2采用本发明的方法进行数据分片的结果。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1给出基于有向超图的移动社交网络数据分片方法的具体过程，首先构建移动社交 网络用户交互有向超图，然后通过对其进行划分。在一个包含6个用户的简单移动社交网络中，设每个用户的uData_i＝1，用户2关注了用户1、3、4、5，用户6关注了用户1、3、4、5，用户2对用户1和用户3存在互动，用户6对用户3和用户4存在互动。依据以上信息构建移动社交网络用户交互有向超图如图2，其中圆圈表示用户，线条表示各类不同的交互，虚线超边e2和e4表示移动社交网络中建立的社交关系,对应的超边类型eType_q＝EM，实线超边e1和e3表示移动社交网络中的社交互动，对应的超边类型eType_q＝EI。由于这里的超图是向前超图，因此每个超边的尾点集只包含一个顶点，头点集包含多个顶点，例如超边e1，是由v₂指向v₁和v₃的有向超边，表示用户2关注了用户1和用户3。

然后对移动社交网络用户交互有向超图进行划分：

(1)设定分片数k＝2，最大副本数c＝2，P＝{P₁,P₂}，P₁、P₂为空集，SPACE＝{space₁,space₂}，space₁＝10，space₂＝8。

(2)选出活跃度uActiveness_i排名前二的用户作为中心用户将其划分到P₁、P₂中，即将v₂、v₆分别划分到分片P₁、P₂中，space₁--，space₂--，uCopy₂++，uCopy₆++；

(3)由于此移动社交网络属于弱关系型，因此为每个类型的超边设定权重系数μ_SI＝0.8、μ_SM＝0.3，重新计算EW_q值后，根据移动社交网络用户交互有向超图中超边的权值EW_q对超边进行排序，EW₁＞EW₃＞EW₂＞EW₄；

(4)遍历已被划分的顶点，仅v₂、v₆被划分，根据超边信息继续进行划分；

(5)根据超边e₁进行划分：尾结点为v₂已被划分至P₁，依次遍历超边e₁头点集{v₁,v₃}，由于v₁、v₃未被划分过，由于满足space₁＞2且uCopy₁＜2且uCopy₃＜2，将v₁、v₃依次划入P₁，space₁＝space₁-2，uCopy₁++，uCopy₃++，遍历已被划分的顶点，仅v₁、v₂、v₃、v₆被划分，根据超边信息继续进行划分；

(6)根据超边e₃进行划分：尾结点为v₆已被划分至P₂，依次遍历超边e₃头点集{v₃,v₄}，v₃虽然已被划分至P₁，但其用户副本数uCopy₃小于最大限制2且满足space₂＞1，因此在P₂中建立v₃的副本，space₂--，uCopy₃++，由于v₄未被划分过，由于满足space₂＞1，将v₄划入P₂，space2--，uCopy₄++，遍历已被划分的顶点，仅v₁、v₂、v₃、v₄、v₆被划分，根据超 边信息继续进行划分；

(7)根据超边e₂进行划分：尾结点为v₆已被划分至P₂，依次遍历超边e₂头点集{v₁,v₃,v₄,v₅}，v₁虽然已被划分至P₁，但其用户副本数uCopy₁小于最大限制2且满足space₂＞1，因此在P₂中建立v₁的副本，space₂--，uCopy₁++，v₃、v₄已存在于P₂，跳过，由于v₅未被划分过，由于满足space₂＞1，将v₅划入P₂，space₂--，uCopy₅++，遍历已被划分的顶点，发现所有顶点都被划分，结束划分，如图3所示。

由于这个例子较为简单，实际情况中会出现分片剩余空间无法容纳结点数据量，则采取跳过不进行划分的策略。若所有超边信息都已遍历完依然存在未被划分的用户，则采用欧氏距离计算其与各片中心点的距离，选择剩余空间可容纳的且距离最小的分片进行划分。

然后根据移动社交网络用户交互有向超图进行划分的划分结果对数据进行对应的划分。

随着用户不断地使用，移动社交应用的需求的变动，为了使得用户体验更好，需要对移动社交网络数据分片进行动态的调整：

(1)根据移动社交应用需求的变动，修改不同类型超边的权重系数，如从强关系社交类型发展为弱关系社交类型，则需要将用户交互类的超边权重系数增大，而用户关系类的超边权重系数减小。

(2)设置分片调整阈值cha₀，在每一次数据分片结束时初始化系统变量cha＝0，cha用于判断是否需要进行分片调整。

i)新用户加入时，作为孤点，令其uData_i＝0，uActiveness_i＝0，uCopy_i＝0,uPosition_i为该新用户注册时的位置信息，当该新用户与其他用户发生交互时，cha＝cha+λ_new，设定λ_new＝1，这里λ_new值可根据实际情况进行调节；

ii)用户注销账号时，将对应的顶点以及相关的超边删除，cha值不变；

iii)用户进行交互时，cha＝cha+λ_interaction，设定λ_interaction＝0.1，搜索SHG中是否存在与此次交互对应的eType_q、eI_q和hI_q完全相同的超边e_q'，若存在则Q_q'＝Q_q'+1，同时重新计算EW_q'的值；若不存在则为超图增加新的超边。这里λ_interaction值可根据实际情况进行调节，λ_interaction值通常小于λ_new值，为了保证系统的稳定性，λ_interaction、λ_new不应设置过大，应保证cha＞cha₀条件不频繁满足。

(3)当cha＞cha₀时，重新对移动社交网络用户交互有向超图进行划分，并根据划分结果对移动社交网络数据进行新的划分。

Claims (3)

1.基于有向超图的移动社交网络数据分片方法，其特征在于，包括以下步骤：

步骤1)构建基于有向超图的移动社交网络用户交互模型；

步骤2)对移动社交网络用户交互有向超图进行分片；

步骤3)根据移动社交网络用户交互有向超图的分片结果对移动社交网络数据进行分片；

步骤4)移动社交网络数据分片动态调整；

所述步骤1)中构建基于有向超图的移动社交网络用户交互模型的过程为：

定义移动社交网络用户交互有向超图为SHG＝<V,E>，V＝{v₁,v₂,…,v_n}为有向超图的结点集，代表移动社交网络中的用户，n＝|V|为有向超图的阶，即用户数，v_i(i∈[1,n])表示第i个用户，v_i＝{uID_i,uData_i,uActiveness_i,uPosition_i,uCopy_i}，uID_i为用户标识；uData_i为第i个用户的数据大小；uActiveness_i为第i个用户在时间段T＝[t_begin,t_end]内的活跃度，其中d(uID_i,t,t+Δt)为时刻t起Δt时间段内第i个用户进行的所有交互的总次数，f(t)是t时刻的衰退因子，其中t∈T；uPosition_i为第i个用户的位置信息，采用(longitude，latitude)形式表示，其中longitude为经度，latitude为纬度；uCopy_i为第i个用户的副本数目，初始设置为0；有向超边集E＝{e₁,e₂,…,e_m},m＝|E|，m为有向超图SHG的边数，有向超边e_q＝{eI_q：hI_q：EW_q：eType_q：Q_q}，q∈[1,m]，e_q表示在移动社交网络中的第eI_q个用户对用户序号在hI_q中的所有用户进行了eType_q类型的交互行为，其中eI_q为超边尾结点序号,hI_q为超边头结点的序号集，超边头、尾结点序号的取值范围是[1,n]；EW_q为超边的权值，表示e_q所表示的交互行为在社交关系中的影响力，Q_q为时间段T内e_q所表示的交互行为执行的总次数，为eType_q类型的交互行为的权重系数，其取值范围是[0,1]。

2.根据权利要求1所述基于有向超图的移动社交网络数据分片方法，其特征在于，所述的步骤2)对移动社交网络用户交互有向超图进行划分包括以下步骤：

步骤201)设定分片数k、最大副本数c，初始化分片结果集P＝{P₁,P₂,…,P_k}，其中P_num(num∈[1,k])为空集，表示各分片中不包含任何用户，根据实际需求设定各分片剩余空间大小SPACE＝{space₁,space₂,…,space_k}，其中space_num2＞0(num2∈[1,k])；

步骤202)选出活跃度uActiveness_i排名前k的用户作为中心用户，依据uActiveness_i从大至小将中心用户顺序划分到各分片P_num中，被划分的用户的uCopy_i++，各分片剩余空间大小space_j减去其中心用户的数据大小uData_i；

步骤203)为每个类型的超边设定权重系数重新计算各超边的EW_q值，并根据EW_q由大到小对有向超边集E进行排序；

步骤204)按照步骤203)排序后的顺序依次读取每条超边信息e_q，判断第eI_q个用户是否已被划分，若未被划分则将第eI_q个用户划分到剩余空间最大的分片P_d(d∈[1,k])，若已被划分则查询出包含第eI_q个用户的剩余空间最大的分片P_d；

步骤205)遍历用户序号在hI_q中的用户，记为v_h，若用户v_h不存在于P_d中且用户副本数uCopy_h小于c且P_d剩余空间space_d大于uData_h，则将用户v_h划分至P_d，uCopy_h++，space_d＝space_d-uData_h；否则继续遍历用户序号在hI_q中剩余的用户；

步骤206)重复执行步骤204)～步骤205)遍历P中的用户，直到所有用户都已被划分或超边信息都已用于划分；

步骤207)对于未被分片的用户，采用欧氏距离计算孤立点与各片中心点的距离，选择剩余空间大于用户数据所需大小且距离最小的分片进行划分。

3.根据权利要求2所述基于有向超图的移动社交网络数据分片方法，其特征在于，所述的步骤4)移动社交网络数据分片动态调整具体是以下过程：

步骤401)设置分片调整阈值cha₀，在每一次数据分片结束时初始化cha＝0，cha用于判断是否需要进行移动社交网络数据分片调整，cha取值更新规则如下：

i)新用户v_n+1加入时，作为孤点，令其uData_n+1＝0，uActiveness_n+1＝0，uCopy_n+1＝0,uPosition_n+1为该新用户注册时的位置信息，当该新用户与其他用户发生交互时，cha＝cha+λ_new，其中λ_new＞0；

ii)用户注销账号时，将对应的顶点以及相关的超边删除，cha值不变；

iii)用户进行交互时，cha＝cha+λ_interaction，其中λ_interaction＞0，搜索SHG中是否存在与此次交互对应的eType_q、eI_q和hI_q完全相同的超边e_q'，若存在则Q_q'＝Q_q'+1，同时重新计算EW_q'的值；若不存在则为超图增加新的超边；

步骤402)当cha＞cha₀时，重新执行步骤2)、步骤3)，对移动社交网络数据进行新的划分。