CN106326345A - 一种基于用户行为的社交网络中朋友关系挖掘方法 - Google Patents

Abstract

一种基于用户行为的社交网络中朋友关系挖掘方法，包括以下步骤：1)通过用户已有社交行为的记录数据，分别建立二分图与有向转移网络，即用户—餐馆和用户—口味；2)根据网络拓扑关系，分别提取关于节点或连边的具有表征两两用户之间社交行为的特征变量；3)采用机器学习分类器模型xgboost，将所有样本数据通过10折交叉验证，训练并构建用户关系预测器模型；4)取10次验证结果的平均值作为模型的最终评价成绩。本发明将人们的社交行为映射到网络中，用网络拓扑特征反映社交行为的共性变量，使得预测用户之间朋友关系的结果具有较高精确度，既有利于引导用户寻找合适的新朋友，也有助于商家推荐更有价值的信息。

Description

一种基于用户行为的社交网络中朋友关系挖掘方法

技术领域

本发明涉及数据挖掘与推荐系统领域，特别是涉及一种基于用户行为的社交网络中朋友关系挖掘方法。

背景技术

国内社交网络兴起于2005年前后，模仿Friendster、Facebook等美国社交平台应用，校内网(后来的人人网)、51.com、豆瓣网、若邻网、天际网等一批社交网站在这一时期先后上线服务。尤其是在2008年开心网推出的“朋友买卖”、“抢车位”、“偷菜”等社交网络游戏，让开心网在白领群体中迅速蹿红，直追当时的社交平台“老大”人人网。社交平台经过十多年的发展，如今国内主流平台——微信与微博，他们集社交、购物、理财于一身，功能愈加全面化。

六度空间理论指出：我们和任何一个陌生人之间所间隔的人不会超过六个，即我们最多通过五个中间人去认识一个陌生人。近年来社交工具越来越多地渗入到人们的日常生活中来，滴滴打车、美团外卖均可通过社交平台找到小伙伴进行拼单，六度空间理论无时无刻地发生在我们身边。而推荐系统的作用就在于尽快帮助用户们在社交平台上找到他们最热衷的信息或朋友。

专利201410025336.3将社交网络映射到一个无向网络，存在弊端：因为往往大多数人转发名人的消息，但名人根本不认识这些人，所以他们两两之间只有单向连边，从而导致推荐结果无法保持较高的准确率与召回率水平。专利201310689161.1需要用到关联好友数据，以及用户的所属公司、所属行业或学校等个人隐私数据，所以该专利技术只适用于在具有大数据处理能力的公司进行朋友关系的挖掘，对于那些需要了解用户的朋友关系的普通公司而言，他们很难获取用户之间的朋友关系网络。鉴于以上缺陷，本发明提取二分图的静态指标、与时序有向转移网络的动态指标共同作为用户间行为的特征，利用机器学习算法挖掘用户之间的朋友关系，弥补了缺失用户关系网络的不利影响，具有较好的推荐结果。

发明内容

为了克服传统朋友关系预测模型在准确率与召回率上无法保持两者均处在较高的水平的不足，本发明提出一种兼顾准确率与召回率、预测效果良好的基于用户行为的社交网络中朋友关系挖掘方法。

本发明解决其技术问题所采用的技术方案如下：

一种基于用户行为的社交网络中朋友关系挖掘方法，包括以下步骤：

S1：通过用户已有行为的记录数据，分别建立出两类二分图与有向转移网络，即用户—餐馆地区，用户—口味标签；

S2：根据用户—餐馆地区与用户—口味标签的二分图，从网络的节点角度，提取出每对用户的节点相似度特征，节点相似度特征用于表征两个用户之间的行为偏好差异；根据用户—餐馆地区与用户—口味标签的有向转移网络，从网络的连边角度，提取出每对用户的有向连边属性特征，有向连边属性特征用于表征两个用户之间的相互影响；

S3：由原始数据已知用户之间的朋友关系，采用机器学习分类器模型xgboost，将所有样本数据通过10折交叉验证，训练并构建用户关系预测器模型；

S4：取交叉验证的10次验证结果的平均值作为用户关系预测器模型的最终评价成绩。

进一步，所述步骤S1中，用到的餐馆地区不是原数据集里的餐馆所在城市或州信息，因为这两个地理特征过于宽泛，无法量化反映用户选择餐馆时的地区移动模式。所以本发明利用自适应DBSCAN密度聚类算法，各城市的所有餐馆根据地理经纬度信息，分别聚类到各自密度可达的地区聚类簇，从而归纳出各个餐馆所属的地区特征。

再进一步，所述步骤S1中，建立二分图方法，构建用户—餐馆地区二分图、以及用户—口味标签二分图，建立用户—餐馆二分图的过程如下：定义二分图G(X,E₁,Y)，其中X＝[x₁,x₂,…x_m]表示各个用户，Y＝[y₁,y₂,…y_n]表示各个餐馆聚类簇，若用户x_i去过餐馆聚类簇y_j，则用有权连边e_ij表示该用户去了几次该餐馆聚类簇；同理，用户—口味标签二分图G(X,E₂,T)。

所述步骤S1中，建立有向转移网络方法，构建用户之间关于餐馆地区、以及口味标签的有向转移网络，建立用户—餐馆地区有向转移网络的过程如下：定义两个用户之间的有向转移网络其中x_i,x_j分别表示用户x_i,x_j，{Y_i},{Y_j}分别表示用户x_i,x_j去过的餐馆聚类簇集合，根据原数据集已知各用户的用餐餐馆与相应用餐的时间，若用户x_i,x_j去过相同的餐馆聚类簇y_i*＝y_j*，且用户x_i去的时间先于用户x_j，则用有向连边表示用户x_i指向用户x_j。有向连边的权重，根据用户x_i,x_j去该餐馆y_i*＝y_j*的最小次数而定。若将各两两用户的有向网络合并可得整个社交社区的用户行为图谱；同理，构建用户之间的口味标签时序有向转移网络

所述步骤S2中，根据已建立的两类网络拓扑关系，分别提取关于节点或连边的用户之间社交行为的特征，包括以下步骤：

S2-1：根据二分图，求得两两用户之间的行为偏好相似度，例如在图2所示的用户—餐馆地区二分图G(X,E₁,Y)中，可构建链接矩阵D∈R^4×n，d_ij表示用户x_i去餐馆聚类簇y_j的次数，则用户x_i去餐馆聚类簇y_j的概率为

$p_{ij}=\frac{d_{ij}}{\underset{k}{\Σ}{d}_{kj}},$

根据不相关熵的定义，餐馆聚类簇y_j的熵为

E_j值越大，表示餐馆聚类簇y_j越受用户青睐。

用户x_i,x_j选择餐馆在地理上的相似度特征cluster_similar_ij定义为

$\underset{k\∈Y_i\∩Y_j}{\Σ}\exp (-E_k/d_{ik}+d_{jk})$

同理，可得用户—口味标签二分图G(X,E₂,T)的两两用户之间选择餐馆，在共同口味上的相似度特征taste_similar_ij；

S2-2：根据有向转移网络，求得两两用户之间的行为影响，例如在用户—餐馆地区有向转移网络中，用户x_j对用户x_i关于选择餐馆的影响定义为

$q_{ij}=\frac{(1-{\mathrm{\β}}_j)a_{ij}+{\mathrm{\β}}_j/N_i}{\underset{k=1}{\overset{m}{\Σ}}\[(1-{\mathrm{\β}}_k)a_{kj}+{\mathrm{\β}}_k/N_k\]},$

其中a_ij表示在历史记录中，用户x_j选择餐馆行为对用户x_i行为的影响，

β_j表示用户x_j去历史记录之外的同一座城市餐馆的概率，N_i表示用户x_i行为记录最多城市C_i的餐馆总数，I_i,O_i分别是网络中用户x_i的入度邻居与出度邻居，即选择就餐地理位置时，用户x_i的影响用户集与被影响用户集；同理，可得用户—口味标签有向转移网络中的关于选择口味的影响。

所述步骤S3中，采用机器学习分类器模型xgboost，由于在实际用户关系网络中两两朋友之间的1值连边数量非常少，占所有连边数量(1值连边与0值连边的总数)的小于3％，故对训练数据中的非朋友数据数量降采样至大致与朋友数据数量相当。训练分类器模型时，所有样本数据通过10折交叉验证增强分类模型的泛化能力。

本发明提取了静态二分图的节点相似度特征，与动态有向转移网络的有向连边属性特征，静态指标用于反映用户行为的偏好，动态指标用于映射用户之间的影响，两者相辅相成地表征了社交网络中用户的社交模式，根据这些模式采用机器学习分类器模型算法，挖掘社交网络中的用户关系(即用户关系网络中未知的连边状态)。最终的预测结果较高，能有效满足实际使用的要求。

本发明的适用对象是类似美团外卖、滴滴打车或饿了么这类具有完整用户行为数据，但没有用户身份等隐私数据的O2O商家。本发明以研究yelp餐饮社交平台的用户朋友关系为例，原始数据记录了各用户的历史行为。行为数据包括用户的用餐餐馆、用餐时间、用餐地区以及餐馆口味等信息。同时原始数据已知用户之间的朋友关系，若两个用户是朋友关系，则标签数据设为1，反之则为0，由此形成一张社交平台用户关系网络，这可以用于进行算法验证。

本发明的有益效果为：兼顾准确率与召回率、预测效果良好。

附图说明

图1为本发明实施例的基于用户行为的社交网络中朋友关系挖掘的流程图；

图2为本发明实施例的用户—餐馆地区二分图；

图3为本发明实施例的用户—餐馆地区有向转移网络。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1～图3，一种基于用户行为的社交网络中朋友关系挖掘方法，本发明使用yelp官方公开的数据进行用户朋友推荐系统的建模分析，原始数据记录了各个用户的历史行为信息，以本专利研究yelp用户为例，其行为数据包括用户的用餐餐馆、用餐时间、用餐地点(城市、州、经纬度)以及餐馆口味等信息。在用户数据中已知用户之间的朋友关系，若两个用户是朋友关系，则标签数据设为1，反之则为0，此用户之间的朋友关系数据只作为训练与测试推荐系统模型的标签数据，不用于提取特征。

本发明分为以下四个步骤：

S1：通过用户已有行为的记录数据，分别建立出两类二分图与时序有向转移网络，即用户—餐馆地区，用户—口味标签；

S2：根据用户—餐馆地区与用户—口味标签的二分图，从网络的节点角度，提取出每对用户的节点相似度特征，节点相似度特征用于表征两个用户之间的行为偏好差异；根据用户—餐馆地区与用户—口味标签的时序有向转移网络，从网络的连边角度，提取出每对用户的有向连边属性特征，有向连边属性特征用于表征两个用户之间的相互影响；

S3：由原始数据已知用户之间的朋友关系，采用机器学习分类器模型xgboost，将所有样本数据通过10折交叉验证，训练并构建用户关系预测器模型；

S4：取交叉验证的10次验证结果的平均值作为用户关系预测器模型的最终评价成绩。

所述步骤S1中用到的餐馆地区不是原数据集里的餐馆所在城市或州信息，因为这两个地理特征过于宽泛，无法量化反映用户选择餐馆时的地区移动模式。所以本发明利用自适应DBSCAN密度聚类算法，各城市的所有餐馆根据地理经纬度信息，分别聚类到各自密度可达的地区聚类簇，从而归纳出各个餐馆所属的地区特征。

所述步骤S1中，建立二分图方法，例如建立用户—餐馆地区二分图，过程如下：定义二分图G(X,E₁,Y)，其中X＝[x₁,x₂,…x_m]表示各个用户，Y＝[y₁,y₂,…y_n]表示各个餐馆聚类簇，若用户x_i去过餐馆聚类簇y_j，则用有权连边e_ij表示该用户去了几次该餐馆聚类簇。图2所示为4个yelp用户关于n个餐馆聚类簇的选择情况；同理，可构建用户—口味标签二分图G(X,E₂,T)，其中X＝[x₁,x₂,…x_m]表示各个用户，T＝[t₁,t₂,…t_p]表示各个口味标签，若用户x_i吃过口味t_j，则用有权连边e′_ij表示该用户吃过几次该口味。

所述步骤S1中，建立有向转移网络方法，例如建立用户—餐馆地区有向转移网络如图3所示，过程如下：定义两个用户之间的有向转移网络其中x_i,x_j分别表示用户x_i,x_j，{Y_i},{Y_j}分别表示用户x_i,x_j去过的餐馆聚类簇集合，根据原数据集已知各用户的用餐餐馆与相应用餐的时间，若用户x_i,x_j去过相同的餐馆聚类簇y_i*＝y_j*，且用户x_i去的时间先于用户x_j，则用有向连边表示用户x_i指向用户x_j。有向连边的权重，根据用户x_i,x_j去该餐馆y_i*＝y_j*的最小次数而定。若将各两两用户的有向网络合并可得整个社交社区的用户行为图谱；同理，可构建用户之间的口味标签时序有向转移网络其中x_i,x_j分别表示用户x_i,x_j，{T_i},{T_j}分别表示用户x_i,x_j吃过的口味标签集合，根据原数据集已知各用户的用餐餐馆口味标签与相应用餐的时间，若用户x_i,x_j吃过相同的口味t_i*＝t_j*，且用户x_i去吃该口味的时间先于用户x_j，则用有向连边表示用户x_i指向用户x_j。有向连边的权重，根据用户x_i,x_j吃过该口味t_i*＝t_j*的最小次数而定。

所述步骤S2，根据已建立的两类网络拓扑关系，分别提取关于节点或连边的用户之间社交行为的特征，包括以下步骤：

S2-1：根据二分图，求得两两用户之间的行为偏好相似度，例如在图2所示的用户—餐馆地区二分图G(X,E₁,Y)中，可构建链接矩阵D∈R^4×n，d_ij表示用户x_i去餐馆聚类簇y_j的次数，则用户x_i去餐馆聚类簇y_j的概率为

$p_{ij}=\frac{d_{ij}}{\underset{k}{\Σ}{d}_{kj}},$

根据不相关熵的定义，餐馆聚类簇y_j的熵为

E_j值越大，表示餐馆聚类簇y_j越受用户青睐。

用户x_i,x_j选择餐馆在地理上的相似度特征cluster_similar_ij定义为

$\underset{k\∈Y_i\∩Y_j}{\Σ}\exp (-E_k/d_{ik}+d_{jk}).$

同理，在用户—口味标签二分图G(X,E₂,T)中，可构建链接矩阵D′∈R^4×p，d′_ij表示用户x_i吃过口味t_j的次数，则用户x_i去吃口味t_j的概率为

$p_{ij}^{\′}=\frac{d_{ij}^{\′}}{\underset{k}{\Σ}{d}_{kj}^{\′}},$

根据不相关熵的定义，口味t_j的熵为

E_j′值越大，表示口味t_j越受用户欢迎。

则用户x_i,x_j选择餐馆在口味上的相似度特征taste_similar_ij定义为

$\underset{k\∈T_i\∩T_j}{\Σ}\exp (-E_k^{\′}/d_{ik}^{\′}+d_{jk}^{\′}).$

S2-2：根据有向转移网络，求得两两用户之间的行为影响，例如在用户—餐馆地区有向转移网络中，借鉴PageRank网页排名算法的思想，用户x_j对用户x_i关于选择餐馆的影响定义为

$q_{ij}=\frac{(1-{\mathrm{\β}}_j)a_{ij}+{\mathrm{\β}}_j/N_i}{\underset{k=1}{\overset{m}{\Σ}}\[(1-{\mathrm{\β}}_k)a_{kj}+{\mathrm{\β}}_k/N_k\]},$

其中a_ij表示在历史记录中，用户x_j选择餐馆行为对用户x_i的影响，

β_j表示用户x_j打算去历史记录之外的同一座城市餐馆的概率，N_i表示用户x_i行为记录最多城市C_i的餐馆总数，I_i,O_i分别是网络中用户x_i的入度邻居与出度邻居，即选择就餐地理位置时，用户x_i的影响用户集与被影响用户集。

同理，在用户—口味标签有向转移网络中，用户x_j对用户x_i关于选择就餐口味的影响定义为

$q_{ij}^{\′}=\frac{(1-{\mathrm{\β}}_j^{\′})a_{ij}^{\′}+{\mathrm{\β}}_j^{\′}/N_t}{\underset{k=1}{\overset{m}{\Σ}}\[(1-{\mathrm{\β}}_k^{\′})a_{kj}^{\′}+{\mathrm{\β}}_k^{\′}/N_t\]},$

其中a′_ij表示在历史记录中，用户x_j选择就餐口味对用户x_i的影响，

β_j′表示用户x_j打算去吃历史记录之外的其他就餐口味的概率，N_t表示数据集中所有口味标签的总数，I_i′,O_i′分别是网络中用户x_i的入度邻居与出度邻居，即选择就餐口味时，用户x_i的影响用户集与被影响用户集。

在所述步骤S3与S4过程中，由于在用户关系网络中两两朋友之间的1值连边数量非常少，占所有连边数量(1值连边与0值连边)的小于3％，故对训练数据中的非朋友数据数量欠采样至大致与朋友数据数量相当。随后训练分类器模型时，采用机器学习分类模型——xgboost分类器，通过10折交叉验证增强分类模型的泛化能力。10折交叉验证，就是将全体样本分割成10个子样本，一个单独的子样本被保留作为验证模型的数据，其他9个样本用来训练分类器模型。交叉验证重复10次，每个子样本验证一次，平均10次的验证结果作为该分类器模型的最终评价成绩。

如上所述为本发明在yelp餐饮平台的用户朋友关系挖掘方法的实施例介绍，本发明提取静态二分图的节点相似度特征与动态有向转移网络的有向连边属性特征，采用机器学习分类器模型，最终的预测结果较高，达到了实际使用的要求。对发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (5)

1.一种基于用户行为的社交网络中朋友关系挖掘方法，其特征在于：所述挖掘方法包括以下步骤：

S1：通过用户已有行为的记录数据，分别建立出两类二分图与有向转移网络，即用户—餐馆地区，用户—口味标签；

S2：根据用户—餐馆地区与用户—口味标签的二分图，从网络的节点角度，提取出每对用户的节点相似度特征，节点相似度特征用于表征两个用户之间的行为偏好差异；根据用户—餐馆地区与用户—口味标签的有向转移网络，从网络的连边角度，提取出每对用户的有向连边属性特征，有向连边属性特征用于表征两个用户之间的相互影响；

S3：由原始数据已知用户之间的朋友关系，采用机器学习分类器模型xgboost，将所有样本数据通过10折交叉验证，训练并构建用户关系预测器模型；

S4：取交叉验证的10次验证结果的平均值作为用户关系预测器模型的最终评价成绩。

2.如权利要求1所述的一种基于用户行为的社交网络中朋友关系挖掘方法，其特征在于：所述步骤S1中，利用自适应DBSCAN密度聚类算法，各城市的所有餐馆根据地理经纬度信息，分别聚类到各自密度可达的地区聚类簇，从而归纳出各个餐馆所属的地区特征。

3.如权利要求1或2所述的一种基于用户行为的社交网络中朋友关系挖掘方法，其特征在于：所述步骤S1中，建立二分图方法，构建用户—餐馆地区二分图、以及用户—口味标签二分图，建立用户—餐馆二分图的过程如下：定义二分图G(X,E₁,Y)，其中X＝[x₁,x₂,…x_m]表示各个用户，Y＝[y₁,y₂,…y_n]表示各个餐馆聚类簇，若用户x_i去过餐馆聚类簇y_j，则用有权连边e_ij表示该用户去了几次该餐馆聚类簇；同理，用户—口味标签二分图G(X,E₂,T)。

4.如权利要求3所述的一种基于用户行为的社交网络中朋友关系挖掘方法，其特征在于：所所述步骤S1中，建立有向转移网络方法，构建用户之间关于餐馆地区、以及口味标签的有向转移网络，建立用户—餐馆地区有向转移网络的过程如下：定义两个用户之间的有向转移网络其中x_i,x_j分别表示用户x_i,x_j，{Y_i},{Y_j}分别表示用户x_i,x_j去过的餐馆聚类簇集合，根据原数据集已知各用户的用餐餐馆与相应用餐的时间，若用户x_i,x_j去过相同的餐馆聚类簇y_i*＝y_j*，且用户x_i去的时间先于用户x_j，则用有向连边表示用户x_i指向用户x_j，有向连边的权重，根据用户x_i,x_j去该餐馆y_i*＝y_j*的最小次数而定，若将各两两用户的有向网络合并可得整个社交社区的用户行为图谱；同理，构建用户之间的口味标签时序有向转移网络

5.如权利要求1或2所述的一种基于用户行为的社交网络中朋友关系挖掘方法，其特征在于：所所述步骤S2中，根据已建立的两类网络拓扑关系，分别提取关于节点或连边的用户之间社交行为的特征，包括以下步骤：

S2-1：根据二分图，求得两两用户之间的行为偏好相似度，在用户—餐馆地区二分图G(X,E₁,Y)中，可构建链接矩阵D∈R^4×n，d_ij表示用户x_i去餐馆聚类簇y_j的次数，则用户x_i去餐馆聚类簇y_j的概率为

$p_{ij}=\frac{d_{ij}}{\underset{k}{\mathrm{\Σ}}{d}_{kj}},$

根据不相关熵的定义，餐馆聚类簇y_j的熵为

E_j值越大，表示餐馆聚类簇y_j越受用户青睐，

用户x_i,x_j选择餐馆在地理上的相似度特征cluster_similar_ij定义为

$\underset{k\∈Y_i\∩Y_j}{\Σ}\exp (-E_k/d_{ik}+d_{jk})$

同理，可得用户—口味标签二分图G(X,E₂,T)的两两用户之间选择餐馆，在共同口味上的相似度特征taste_similar_ij；

S2-2：根据有向转移网络，求得两两用户之间的行为影响，在用户—餐馆地区有向转移网络中，用户x_j对用户x_i关于选择餐馆的影响定义为

$q_{ij}=\frac{(1-{\mathrm{\β}}_j)a_{ij}+{\mathrm{\β}}_j/N_i}{\underset{k=1}{\overset{m}{\Σ}}\[(1-{\mathrm{\β}}_k)a_{kj}+{\mathrm{\β}}_k/N_k\]},$

其中a_ij表示在历史记录中，用户x_j选择餐馆行为对用户x_i行为的影响，

$a_{ij}=\left\{\begin{array}{c}\frac{\left|\stackrel{\→}{l_{ji}}\right|}{{\mathrm{\Σ}}_{v_k\∈O_j}\left|\stackrel{\→}{l_{jk}}\right|},v_j\∈I_i\\ 0,v_j\∉I_i\end{array}\right.,$

β_j表示用户x_j去历史记录之外的同一座城市餐馆的概率，N_i表示用户x_i行为记录最多城市C_i的餐馆总数，I_i,O_i分别是网络中用户x_i的入度邻居与出度邻居，即选择就餐地理位置时，用户x_i的影响用户集与被影响用户集；同理，可得用户—口味标签有向转移网络中的关于选择口味的影响。