CN108170712A - 一种利用包含社会地理信息的多媒体网络学习最大边界多媒体网络表达的方法 - Google Patents

Abstract

本发明公开了一种利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法。主要包括如下步骤：1)针对于一组社交网络用户及感兴趣地点和感兴趣地点的类别信息，构建包含用户、感兴趣地点和感兴趣地点类别信息之间相互关系的网络。2)卷积神经网络及单词映射网络获取感兴趣地点的综合表达，之后利用最大边界网络训练的方法结合用户及感兴趣地点的映射表达进行训练，得到令损失函数最小的用户及感兴趣地点的表达。相比于一般的用户可能感兴趣地点推荐解决方案，本发明利用了多媒体网络的特性及用户之间的相互关系与感兴趣地点的种类信息。本发明在用户可能感兴趣的地点的预测问题中所取得的效果相比于传统的方法更好。

Description

一种利用包含社会地理信息的多媒体网络学习最大边界多媒 体网络表达的方法

技术领域

本发明涉及最大边界多媒体网络学习，尤其涉及一种利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法。

背景技术

随着移动设备的快速普及和社交网络的蓬勃发展，包含地理信息的社交多媒体网络已经成为一项重要的网络服务，该服务可以让用户来分享其在某地的签到信息并上传此地的照片到互联网上。在提供包含地理信息的社交多媒体网络服务的网站上，对于用户可能感兴趣的地点的推荐已经成为一项重要的服务，但是目前该项服务的效果并不是很好。

现有的技术主要是将用户可能感兴趣的地点推荐作为一种以内容为基础的地点推荐的任务来做，该方法主要是通过用户的签到信息来学习用户与感兴趣地点在的潜在表达，从而推荐用户可能感兴趣的地点，该方法受困于对于感兴趣地点内容的表达不是十分有效，并且用户签到信息的稀疏。为了克服这些困难，本方法将使用感兴趣地点的类别信息来获取更好的感兴趣地点的表达。

本发明将采用一种利用包含社会地理信息的多媒体网络来学习可能感兴趣地点及用户的有效表达，利用可能感兴趣地点及用户的表达从而为向用户推荐其可能感兴趣的地点作准备。

本发明将首先利用随机游走的方法将构建的异质包含地理信息的多媒体网络中的路径进行取样，之后通过卷积神经网络及文本语义映射网络来获取感兴趣地点的联合表达，结合随机初始化的用户表达及地点分类表达，进行训练，得到最终的用户及感兴趣地点的表达。则得到的用户及感兴趣地点的表达中便蕴含了对于用户感兴趣地点的可能感兴趣程度的信息。

发明内容

本发明的目的在于解决现有技术中的问题，为了克服现有技术中具有缺乏对于感兴趣地点的有效表达及用户签到信息稀疏的问题，本发明提供一种包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法。本发明所采用的具体技术方案是：

利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习，包含如下步骤：

1、针对于一组社交网络用户及感兴趣地点和感兴趣地点的类别信息，构建包含用户、感兴趣地点和感兴趣地点类别信息之间相互关系的网络。

2、利用卷积神经网络及单词映射网络获取感兴趣地点的综合表达，利用最大边界损失函数结合用户及感兴趣地点的映射表达得到目标函数，利用该目标函数进行训练，得到令目标函数最小的用户及感兴趣地点的映射表达。

上述步骤可具体采用如下实现方式：

1、对于所给出的用户、感兴趣地点、感兴趣地点的类别及用户与感兴趣地点相互之间的关系集合，形成异质的包含社会地理信息的多媒体网络——GMN网络。

2、对于构建完成的GMN网络，首先利用随机游走的方法，构建样本路径，对于路径中的感兴趣地点的表达，利用如下方法进行获取。

对于感兴趣地点L＝{l₁,...,l_n}附加的照片I＝{i₁,...,i_n}，使用卷积神经网络获取其视觉表达X＝{x₁,...,x_n}，对于感兴趣地点L＝{l₁,...,l_n}附加的标签集合T＝{t₁,...,t_n}，使用单词映射的方法获取每个感兴趣地点所有标签的单词映射并使用向量取均值的方法获取每个感兴趣地点所有标签映射的均值作为该地点的标签集对应语义表达Y＝{y₁,...,y_n}。

之后，对于得到的感兴趣地点的照片视觉表达X＝{x₁,...,x_n}与标签对应语义表达Y＝{y₁,...,y_n}使用如下激活函数获取该感兴趣地点的综合表达Z＝{z₁,...,z_n}，

z_i＝g(Q^vx_i+Q^sy_i)

其中，g(.)代表双曲正切激活函数，矩阵Q^v与Q^s分别代表视觉表达与语义表达的权重矩阵，用来令视觉表达与语义表达的维度变为同一空间。

3、本发明针对于所有感兴趣地点L＝{l₁,...,l_n}，设其种类信息为C＝{c₁,...,c_n}，其中，c_k为感兴趣地点i_k的种类向量。针对于用户，设其映射表达为U＝{u₁,...,u_n}，对于用户，按照用户之间的朋友关系，构建用户间关系矩阵S∈R^m*m，其中，若i号用户与j号用户为朋友关系，则s_ij＝1，否则，s_ij＝0。按照用户与感兴趣地点之间的关系，构建用户签到信息矩阵W∈R^m*n，其中，若i号用户在j号感兴趣地点进行过签到，则w_ij＝1，否则，w_ij＝0。

4、结合步骤3获取的用户映射表达U＝{u₁,...,u_n}，感兴趣地点的种类映射C＝{c₁,...,c_n}，步骤2获取的感兴趣地点的综合表达Z＝{z₁,...,z_n}，本发明针对于步骤2获取的采样路径中的节点，按照如下公式作为其损失值函数：

其中，h_i为所取的感兴趣地点的综合表达Z或者用户映射表达U中的第i个感兴趣地点的综合表达或者第i个用户的映射表达，P为该采样路径，α代表最大边界损失函数l₁(.)与最大边界损失函数l₂(.)之间的权衡参数，最大边界损失函数l₁(.)代表用户在特定感兴趣地点签到的损失函数，最大边界损失函数l₂(.)代表学习感兴趣地点结合其种类信息的表达的损失函数，l₁(.)与l₂(.)的具体公式如下所示：

其中，m₁与m₂均为控制最大距离值的超参数，L即为感兴趣地点的综合表达Z。

5、对于步骤2获取的采样路径，按照步骤4中的损失值计算方法计算其中所有节点的损失值并累加起来，将模型中所有的参数集合设为θ，按照如下目标函数公式计算整个模型的总体损失值并更新整合模型的参数值：

其中，λ代表模型损失函数与模型参数的权衡参数。对于模型的更新，采用随机梯度下降的方式进行优化。

6、经过模型优化之后，便可得到能够反映用户对于感兴趣地点可能感兴趣程度的模型即用户与感兴趣地点的有效表达，通过该模型便可预测某用户对于某地点可能感兴趣的程度。

附图说明

图1是本发明所使用的利用用户、用户间的朋友关系、用户在感兴趣地点的签到信息及感兴趣地点的种类信息集合构建的包含地理信息的多媒体网络的整体示意图。图2是本发明所使用的进行用户及感兴趣地点表达学习的网络的示意图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。

如图1所示，本发明一种利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法包括如下步骤：

1)针对于一组社交网络用户、感兴趣地点、感兴趣地点的类别及用户与感兴趣地点相互之间的关系集合，形成异质的包含社会地理信息的多媒体网络——GMN网络；

2)对于步骤1)所得到的GMN网络，构建样本路径，对于路径中的点，利用卷积神经网络及单词映射网络获取感兴趣地点的综合表达，利用最大边界损失函数结合用户及感兴趣地点的映射表达得到目标函数，利用该目标函数进行训练，得到令目标函数最小的用户及感兴趣地点的映射表达；

3)利用步骤2)学习得到的用户及感兴趣地点的映射表达对于用户对某地点的感兴趣程度进行预测。

所述的步骤2)采用卷积与单词映射结合的方法及最大距离多媒体网络参数更新的方法来获取用户及感兴趣地点的最终表达,其具体步骤为:

2.1)对于步骤1)形成的GMN网络，利用随机游走的方法获取样本路径，利用卷积神经网络与单词映射结合的方法获取感兴趣地点的综合表达；

2.2)获取用户映射表达，对于步骤1)形成的GMN网络，结合其中感兴趣地点及用户之间的相互关系获取用户间关系矩阵与用户签到信息的矩阵；

2.3)利用步骤2.1)得到的感兴趣地点的综合表达与步骤2.2)得到的用户间关系矩阵与用户签到信息矩阵，结合最大边界损失函数与用户的映射表达得到目标函数，按照该目标函数进行训练，得到最终的能够反映用户对于感兴趣地点可能感兴趣程度的模型即用户与感兴趣地点的有效映射表达。

所述的步骤2.1)具体为：

针对于步骤1)获得的GMN网络，首先利用随机游走的方法，构建样本路径，对于路径中的感兴趣地点的表达，利用如下方法进行获取：

对于感兴趣地点L＝{l₁,...,l_n}附加的照片I＝{i₁,...,i_n}，使用卷积神经网络获取其视觉表达X＝{x₁,...,x_n}，对于感兴趣地点L＝{l₁,...,l_n}附加的标签集合T＝{t₁,...,t_n}，使用单词映射的方法获取每个感兴趣地点所有标签的单词映射并使用向量取均值的方法获取每个感兴趣地点所有标签映射的均值作为该地点的标签集对应语义表达Y＝{y₁,...,y_n}。

之后，对于得到的感兴趣地点的照片视觉表达X＝{x₁,...,x_n}与标签对应语义表达Y＝{y₁,...,y_n}使用如下激活函数获取该感兴趣地点的综合表达Z＝{z₁,...,z_n}，

z_i＝g(Q^vx_i+Q^sy_i)

其中，g(.)代表双曲正切激活函数，矩阵Q^v与Q^s分别代表视觉表达与语义表达的权重矩阵，用来令视觉表达与语义表达的维度变为同一空间。

所述的步骤2.2)具体为：

针对于所有感兴趣地点L＝{l₁,...,l_n}，设其种类信息为C＝{c₁,...,c_n}，其中，c_k为感兴趣地点i_k的种类向量，针对于用户，设其映射表达为U＝{u₁,...,u_n}，对于用户，按照用户之间的朋友关系，构建用户间关系矩阵S∈R^m*m，其中，若i号用户与j号用户为朋友关系，则s_ij＝1，否则，s_ij＝0；按照用户与感兴趣地点之间的关系，构建用户签到信息矩阵W∈R^m*n，其中，若i号用户在j号感兴趣地点进行过签到，则w_ij＝1，否则，w_ij＝0。

步骤2.3)具体为：

结合步骤2.2)获取的用户映射表达U＝{u₁,...,u_n}，感兴趣地点的种类映射C＝{c₁,...,c_n}，步骤2.1)获取的感兴趣地点的综合表达Z＝{z₁,...,z_n}，本发明针对于步骤2.1)获取的采样路径中的节点，按照如下公式作为其损失值函数：

其中，h_i为所取的感兴趣地点的综合表达Z或者用户映射表达U中的第i个感兴趣地点的综合表达或者第i个用户的映射表达，P为该采样路径，α代表最大边界损失函数l₁(.)与最大边界损失函数l₂(.)之间的权衡参数，最大边界损失函数l₁(.)代表用户在特定感兴趣地点签到的损失函数，最大边界损失函数l₂(.)代表学习感兴趣地点结合其种类信息的表达的损失函数，l₁(.)与l₂(.)的具体公式如下所示：

其中，m₁与m₂均为控制最大距离值的超参数，L即为感兴趣地点的综合表达Z。

对于步骤2.1)获取的采样路径，按照该损失值计算方法计算其中所有节点的损失值并累加起来，且将模型中所有的参数集合设为θ，按照如下目标函数公式计算整个模型的总体损失值并更新整合模型的参数值：

其中，λ代表模型损失函数与模型参数的权衡参数。对于模型的更新，采用随机梯度下降的方式进行优化。

经过模型优化之后，便可得到能够反映用户对于感兴趣地点可能感兴趣程度的模型即用户与感兴趣地点的有效表达。

下面将上述方法应用于下列实施例中，以体现本发明的技术效果，实施例中具体步骤不再赘述。

实施例

本发明在Gowalla网络上构建的含地理信息的社交网络上进行实验并且通过Flickr获取感兴趣地点的多媒体信息。为了客观地评价本发明的算法的性能，本发明在所选出的测试集中，使用了Precision@5，Precision@10，Recall@5,Recall@10这四种评价标准来对于本发明的效果进行评价，且分别针对20％、40％、60％、80％比例的训练数据进行训练并进行实验求解。按照具体实施方式中描述的步骤，针对于Precision@5标准所得的实验结果如表1所示，针对于Precision@10标准所得的实验结果如表2所示，针对于Recall@5标准所得的实验结果如表3所示，针对于Recall@10标准所得的实验结果如表4所示，本方法表示为M²NL。实验表明，本发明所用的方法在用户可能感兴趣的地点的预测问题中所取得的效果相比于传统的方法更好：

表1本发明针对于Precision@5标准的测试结果

表2本发明针对于Precision@10标准的测试结果

表3本发明针对于Recall@5标准的测试结果

表4本发明针对于Recall@10标准的测试结果。

Claims (5)

1.利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法，其特征在于包括如下步骤：

1)针对于一组社交网络用户、感兴趣地点、感兴趣地点的类别及用户与感兴趣地点相互之间的关系集合，形成异质的包含社会地理信息的多媒体网络——GMN网络；

2)对于步骤1)所得到的GMN网络，构建样本路径，对于路径中的点，利用卷积神经网络与单词映射结合的方法获取感兴趣地点的综合表达，利用最大边界损失函数结合用户及感兴趣地点的映射表达得到目标函数，利用该目标函数进行训练，得到令目标函数最小的用户及感兴趣地点的映射表达；

3)利用步骤2)学习得到的用户及感兴趣地点的映射表达对于用户对某地点的感兴趣程度进行预测。

2.根据权利要求1所述利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法，其特征在于所述步骤2)其具体步骤为:

2.1)对于步骤1)形成的GMN网络，利用随机游走的方法获取样本路径，利用卷积神经网络与单词映射结合的方法获取感兴趣地点的综合表达；

2.2)获取用户映射表达，对于步骤1)形成的GMN网络，结合其中感兴趣地点及用户之间的相互关系获取用户间关系矩阵与用户签到信息矩阵；

2.3)利用步骤2.1)得到的感兴趣地点的综合表达与步骤2.2)得到的用户间关系矩阵与用户签到信息矩阵，结合最大边界损失函数与用户的映射表达得到目标函数，按照该目标函数进行训练，得到最终的能够反映用户对于感兴趣地点可能感兴趣程度的模型即用户与感兴趣地点的有效映射表达。

3.根据权利要求2所述利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法，其特征在于所述的步骤2.1)具体为：

针对于步骤1)获得的GMN网络，首先利用随机游走的方法，构建样本路径，对于路径中的感兴趣地点的表达，利用如下方法进行获取：

对于感兴趣地点L＝{l₁,...,l_n}附加的照片I＝{i₁,...,i_n}，使用卷积神经网络获取其视觉表达X＝{x₁,...,x_n}，对于感兴趣地点L＝{l₁,...,l_n}附加的标签集合T＝{t₁,...,t_n}，使用单词映射的方法获取每个感兴趣地点所有标签的单词映射并使用向量取均值的方法获取每个感兴趣地点所有标签映射的均值作为该地点的标签集对应语义表达Y＝{y₁,...,y_n}；

之后，对于得到的感兴趣地点的照片视觉表达X＝{x₁,...,x_n}与标签对应语义表达Y＝{y₁,...,y_n}使用如下激活函数获取该感兴趣地点的综合表达Z＝{z₁,...,z_n}，

z_i＝g(Q^vx_i+Q^sy_i)

其中，g(.)代表双曲正切激活函数，矩阵Q^v与Q^s分别代表视觉表达与语义表达的权重矩阵，用来令视觉表达与语义表达的维度变为同一空间。

4.根据权利要求2所述利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法，其特征在于所述的步骤2.2)具体为：

针对于所有感兴趣地点L＝{l₁,...,l_n}，设其种类信息为C＝{c₁,...,c_n}，其中，c_k为感兴趣地点i_k的种类向量，针对于用户，设其映射表达为U＝{u₁,...,u_n}，对于用户，按照用户之间的朋友关系，构建用户间关系矩阵S∈R^m*m，其中，若i号用户与j号用户为朋友关系，则s_ij＝1，否则，s_ij＝0；按照用户与感兴趣地点之间的关系，构建用户签到信息矩阵W∈R^m*n，其中，若i号用户在j号感兴趣地点进行过签到，则w_ij＝1，否则，w_ij＝0。

5.根据权利要求2所述利用包含社会地理信息的多媒体网络进行最大边界多媒体网络表达学习的方法，其特征在于所述的步骤2.3)具体为：

结合步骤2.2)获取的用户映射表达U＝{u₁,...,u_n}，感兴趣地点的种类映射C＝{c₁,...,c_n}，步骤2.1)获取的感兴趣地点的综合表达Z＝{z₁,...,z_n}，针对于步骤2.1)获取的采样路径中的节点，按照如下公式作为其损失值函数：

其中，h_i为所取的感兴趣地点的综合表达Z或者用户映射表达U中的第i个感兴趣地点的综合表达或者第i个用户的映射表达，P为该采样路径，α代表最大边界损失函数l₁(.)与最大边界损失函数l₂(.)之间的权衡参数，最大边界损失函数l₁(.)代表用户在特定感兴趣地点签到的损失函数，最大边界损失函数l₂(.)代表学习感兴趣地点结合其种类信息的表达的损失函数，l₁(.)与l₂(.)的具体公式如下所示：

其中，m₁与m₂均为控制最大距离值的超参数，L即为感兴趣地点的综合表达Z；

对于步骤2.1)获取的采样路径，按照该损失值计算方法计算其中所有节点的损失值并累加起来，且将模型中所有的参数集合设为θ，按照如下目标函数公式计算整个模型的总体损失值并更新整合模型的参数值：

其中，λ代表模型损失函数与模型参数的权衡参数；对于模型的更新，采用随机梯度下降的方式进行优化；

经过模型优化之后，便可得到能够反映用户对于感兴趣地点可能感兴趣程度的模型即用户与感兴趣地点的有效表达。