CN108537624A - 一种基于深度学习的旅游服务推荐方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的旅游服务推荐方法，该方法利用神经网络技术，建立一个神经网络模型，用来学习用户和旅游服务项目之间的隐藏的潜在特征，深度挖掘用户和旅游服务项目的相关性，以对旅游服务项目进行预测评分；通过用户对不同旅游服务项目的评分结果，对用户进行较为准确的旅游服务项目推荐。此方法可以弥补因为数据稀疏而无法预测的问题，使得评分预测的准确性达到最大。

Description

一种基于深度学习的旅游服务推荐方法

技术领域

本发明属于信息技术领域，涉及深度学习和推荐系统，具体涉及一种基于神经网络深度学习的旅游服务推荐方法。

背景技术

个性化推荐系统，作为解决“信息过载”的主要手段之一，在电子商务等领域已经有了广泛的应用，并且也取得了很大的成功。推荐系统技术，主要是根据用户的喜好、习惯、个性化需求以及商品的特性来预测用户对商品的喜好，为用户推荐合适的商品，帮助用户迅速的做出决定，提高用户的满意度。不同于搜索系统，推荐系统的价值主要体现在系统可以自发得为用户提供尽量合适的选择和推荐，而不需要用户明确指出他们想要的结果。旅游服务推荐则是指主要以食、住、游等为主要内容的推荐。

在推荐系统中，采用最多的方法就是著名的协同过滤技术。该方法利用其它用户对商品的历史行为来协助目标用户的推荐，向用户推荐与其兴趣相似的商品，其主要思想就是，过去有着相似喜好的人往往有着相似的选择。协同过滤技术又分为基于用户的协同过滤推荐，即得到与目标用户相似的用户群，然后以这个用户群的喜欢的物品对目标用户进行推荐；基于商品的协同过滤推荐，即寻找与目标用户喜欢的物品相似的物品，将这些物品或信息推荐给目标用户；基于模型的协同过滤推荐，即通过一些贝叶斯模型、聚类模型、依赖网络模型等进行训练来获取用户兴趣爱好，然后进行相似物品推荐。

尽管协同过滤技术有许多优点，能够很很好的处理非结构化数据，推荐的个性化，自动化程度高，并且在许多现实的应用中也表现出了良好的性能，但是协同过滤技术存在一个很严重的问题就是数据稀疏性问题。当已知评分的数据对于整体数据而言显得有些微不足道的时候，这时候使用协同过滤技术往往达不到很好的效果。也就是说协同过滤技术不太容易推荐评分较少的物品，或者对评分较少的用户进行推荐。由于人们的出游次数毕竟是少数，因此在旅游服务推荐中数据稀疏性问题比较严重，使用传统的协同过滤技术不能达到很好的效果。

发明内容

本发明的目的在于提供一种基于深度学习的旅游服务推荐方法，利用神经网络技术，建立一个神经网络模型，用来学习用户和旅游服务项目之间的隐藏的潜在特征，深度挖掘用户和旅游服务项目的相关性，此方法可以弥补因为数据稀疏而无法预测的问题，使得评分预测的准确性达到最大。

为了实现上述任务，本发明采用以下技术方案：

一种基于深度学习的旅游服务推荐方法，包括以下步骤：

步骤1，将用户信息以及旅游服务项目信息转化为词向量，并将用户年龄转化为实数值；

步骤2，将用户对旅游服务项目发表过的所有评论合并后转化为词向量矩阵；

步骤3，将不同用户对旅游服务项目的所有评论按照步骤2相同的方法转化为词向量矩阵；

步骤4，构建两个卷积神经网络，其中一个网络以步骤2得到的词向量矩阵作为输入，提取用户的行为特征；另外一个网络以步骤3得到的词向量矩阵作为输入，提取旅游服务项目的属性特征；将步骤1中用户信息转化成的词向量、年龄转化成的实数值以及旅游服务项目信息转化成的词向量拼接起来，一起输入到一个深度为2的神经网络中，得到关联特征；

步骤5，将步骤4中提取到的用户行为特征、旅游服务项目的属性特征以及关联特征构成一个新的向量，通过因子分解机进行预测评分；

步骤6，按照步骤3至步骤5相同的方法得到不同旅游服务项目的预测评分，然后将所有的预测评分进行排序，取评分较高的旅游服务项目推荐给用户。

进一步地，步骤2中所述的词向量矩阵的转化方法包括：

将用户对于旅游服务项目发表过的所有评论合并为一个文档d，假设文档d中共有n个单词，依次将文档中每个单词按顺序转化为c维的词向量并链接在一起形成词向量矩阵

其中，表示文档d中的第k个单词，函数表示单词的词嵌入向量，是链接操作。

进一步地，步骤4中所述的提取用户的行为特征的方法包括：

步骤4.1，立两个并行的卷积神经网络，所述的卷积神经网络包括卷积层、池化层和全连接层，卷积层由m个神经元组成，每一个神经元j在卷积层中包含一个窗口大小为c×t的卷积核K_j；

步骤4.2，将步骤2中得到的词向量矩阵输入到其中一个卷积神经网络中，则矩阵关于每一个卷积核进行卷积运算得到的结果Z_j为：

上式中，*是卷积操作，b_j表示偏移量，其中f(·)表示激活函数，定义为：

f(x)＝max{0,x}

步骤4.3，将步骤4.2中得到的结果Z_j输入到池化层中进行最大池化操作：

o_j＝max{z₁,z₂,…,z_(n-t+1)}

上式中，z₁,z₂,…,z_(n-t+1)表示步骤4.2中输出值向量Z_j的各个值，o_j表示矩阵与神经元j的卷积核进行最大池化操作后得到的结果；

步骤4.4，将步骤4.3得到的向量O输入到全连接层，在全连接层中按照以下公式进行计算，得到用户的行为特征x_u：

x_u＝f(W×O+g)

上式中，W为权重矩阵，g为偏移量，其中的W的值是取值范围为-1～1且满足正态分布的随机数，g的取值范围是[0～1]；f(·)表示激活函数。

进一步地，步骤4中所述的关联特征的获取方法包括：

步骤4.6，将步骤1.1中用户的信息转化成的词向量、用户年龄归一化后的实数值以及步骤1.2中旅游服务项目信息转化成的词向量拼接起来构成向量X，将向量X输入一个深度为2的神经网络中；所述的深度为2的神经网络的第一层为隐藏层，该隐藏层是具有s个神经元的ReLU层，第二层为输出层，是宽度为s/2的ReLU层；隐藏层、输出层均采用以下公式进行计算：

x₁,_o＝f(X*U+h)

上式中，U为权值矩阵，h为偏移量，中的U的值是取值范围为-1～1且满足正态分布的随机数，h的取值范围是[0～1]；x_1,o表示x₁和x_o，其中x₁为隐藏层的计算结果，x_o为输出层的计算结果；通过两层神经网络计算得到关联特征x_o。

进一步地，步骤5中所述的因子分解机的表达式为：

上式中，表示全局偏移量，取值范围是[0～1]；表示中的第i、j个特征值，表示模型参数，取值范围为[-1～1]且满足均匀分布的随机数，表示两个大小为k的辅助向量和的点积其中v_if、v_jf的值的范围为[-1～1]且服从均匀分布的随机数；y表示预测的评分结果。

本发明具有以下技术特点：

1.本发明提出一种可以联合学习的神经网络结构，该网络对用户行为属性和旅游服务项目属性联合建模，使得用户和旅游服务项目可以相互影响提高预测准确度。

2.本发明将评论文本按顺序准换成词嵌入向量，与传统的词袋模型相比，其优点是保留了词语在句子中的顺序信息。

3.本发明解决数据稀疏性问题，不仅使用了评论数据，还使用了用户和项目的基本属性信息，提高了推荐系统的预测准确度。

附图说明

图1为本发明方法的流程图；

图2为步骤4.1构建的卷积神经网络的结构图；

图3为步骤4.6构建的神经网络的结构图。

具体实施方式

如图1至图3所示，本发明公开了一种基于深度学习的旅游服务推荐方法，包括以下步骤：

步骤1，将用户信息以及旅游服务项目信息转化为词向量；

步骤1.1，将用户u的信息，包括性别、职业和所在城市这些词语分别采用word2vec技术转化为c维的词向量，然后将用户年龄x归一化成(0,1)之间的实数值；例如使用公式x^*＝x/120进行归一化，x^*为归一化后的实数值。

步骤1.2，将旅游服务项目的信息，包括旅游服务项目的标签、所在地这些词语分别采用word2vec技术转化为c维的词向量，其中所述的标签的词语首先采用中文分词工具进行分词，然后将分好的词采用word2vec技术转化为c维的词向量；所述的中分分词工具可采用例如jieba中文分词工具；这里的旅游服务项目是指所有的旅游服务项目。

步骤2，将用户对于旅游服务项目发表过的所有评论合并为一个单独的文档d，假设文档d中共有n个单词，依次将文档中每个单词按顺序转化为c维的词向量并链接在一起形成词向量矩阵

其中，表示文档d中的第k个单词，函数表示单词的词嵌入向量，是链接操作；所述的链接操作是将每个单次的词向量按照列拼接起来。

所述的所有评论是指用户对其评论过的所有旅游服务项目的评论。例如用户u评论过所有旅游服务项目中的三个项目A，B和C，则将用户对A，B和C的评论合并为所述的文档d。

步骤3，将不同用户对旅游服务项目的所有评论按照步骤2相同的方法转化为词向量矩阵；这里的所有评论是指对于例如旅游服务项目E，其共收到不同用户对该项目的100条评论，则将这100条评论合并为文档d，然后转化为词向量矩阵。

步骤4，构建两个的卷积神经网络，其中一个网络以步骤2得到的词向量矩阵作为输入，提取用户的行为特征；另外一个网络以步骤3得到的词向量矩阵作为输入，提取旅游服务项目的属性特征；将步骤1中用户信息转化成的词向量、年龄归一化后的实数值以及旅游服务项目信息转化成的词向量拼接起来，一起输入到一个深度为2的神经网络中，得到关联特征。

步骤4.1，建立两个并行的卷积神经网络，两个卷积神经网络的结构相同；所述的卷积神经网络包括卷积层、池化层和全连接层。卷积层由m个神经元组成，每一个神经元j在卷积层中包含一个窗口大小为c×t的卷积核K_j，其中c即为步骤2中转化的词向量的维数，t>1；

步骤4.2，将步骤2中得到的词向量矩阵输入到所述两个卷积神经网络的其中一个卷积神经网络中，则矩阵关于每一个卷积核进行卷积运算得到的结果Z_j为：

上式中，*是卷积操作，b_j表示偏移量，Z_j表示通过卷积操作的输出值向量，即通过卷积层的featuremap。其中函f(·)为一个激活函数，这里使用RelU激活函数。ReLU激活函数按照以下公式定义：

f(x)＝max{0,x}

步骤4.3，将步骤4.2中得到的结果Z_j输入到池化层中进行最大池化操作：

o_j＝max{z_1,z₂,…,z_(n-t+1)}

上式中，Z₁,Z₂,…,z_(n-t+1)表示的是步骤4.2中输出值向量Z_j的各个值，o_j表示矩阵与神经元j的卷积核进行最大池化操作后得到的结果。通过池化层操作，可以将中的最大值提取出来，一般来说值越大越重要，因此通过这一步可以将重要的特征值提取出来。

将矩阵和每一个卷积核进行卷积运算的结果均按照步骤4.3的方法进行最大池化操作后，构成以下向量O：

O＝{o₁,o₂,o₃,…,o_k}

其中，k为卷积核的数量，与前面的参数m在数值上相同；步骤4.2中的j∈(1,k)。

步骤4.4，将步骤4.3得到的向量O输入到全连接层，在全连接层中按照以下公式进行计算，得到用户的行为特征：

x_u＝f(W×O+g)

上式中，W为权重矩阵，g为偏移量，其中的W的值是取值范围为-1～1且满足正态分布的随机数，g的取值范围是[0～1]；函数f(·)同步骤4.1中的激活函数，输出结果x_u则表示用户u的行为特征。

步骤4.5，对步骤3中得到的词向量矩阵按照步骤4.2至4.4相同的方法进行特征提取，得到旅游服务项目的属性特征x_i。

步骤4.6，将步骤1.1中用户的信息转化成的词向量、用户年龄归一化后的实数值以及步骤1.2中旅游服务项目信息转化成的词向量拼接起来构成向量X，将向量X输入一个深度为2的神经网络中；所述的深度为2的神经网络的第一层为隐藏层，该隐藏层是具有s个神经元的ReLU层，第二层为输出层，是宽度为s/2的ReLU层；隐藏层、输出层均采用以下公式进行计算：

x_1,o＝f(X*U+h)

上式中，U为权值矩阵，h为偏移量，中的U的值是取值范围为-1～1且满足正态分布的随机数，h的取值范围是[0～1]；x_1,o表示x₁和x_o，其中x₁为隐藏层的计算结果，x_o为输出层的计算结果；通过两层神经网络计算得到关联特征x_o。

步骤5，将步骤4中提取到的用户行为特征、旅游服务项目的属性特征以及关联特征构成一个新的向量按照以下因子分解机(即下面的公式)进行计算，得到预测评分结果y：

上式中，表示全局偏移量，取值范围是[0～1]；表示中的第i、j个特征值，表示模型参数，取值范围为[-1～1]且满足均匀分布的随机数，表示两个大小为k的辅助向量和的点积其中v_if、v_jf的值的范围为[-1～1]且服从均匀分布的随机数；y表示预测的评分结果。

步骤6，通过步骤1至5的计算，得到用户u对某旅游服务项目的预测评分结果；按照相同的方法得到用户u对其他旅游服务项目的预测评分。即，在本实施例的步骤3中得到旅游服务项目E的所有评论的词向量矩阵，按照步骤4、5的计算得到用户u对项目E的预测的评分；而将步骤3中的旅游服务项目E替换成旅游服务项目F、G、H等，通过步骤4、5的计算可得到用户对旅游服务项目F、G、H等预测的评分。

对所有预测评分结果从大大小进行排序，将评分结果靠前的N个旅游服务项目推荐给用户u。

以下是发明人给出的一个具体实施例：

实验数据为“蚂蜂窝”网站数据。

在本实施例中，方法设置的具体参数为：

转化成的向量维度c设为300。步骤4.1中神经元m的个数设置为100，卷积核t＝3，大小为300×3，数值为满足均值为0，标准差为0.1的正态分布的随机数，偏移量b设置为0.1。步骤4.4中权重矩阵W设置为100×50的权值矩阵，采用xavier初始化方法初始化，偏移量g设置为0.1。步骤4.6中第一层s设置为100，第二层为50，权值矩阵U的值为满足正态分布的随机数，偏移量设置为0.1。步骤五中，设为0.1，为满足-0.1到0.1之间均匀分布的随机数。

按照上述的参数设置，通过本发明方法得到的mse与常用推荐方法的结果比较如表1所示：

表1不同方法的mse值

Claims (5)

1.一种基于深度学习的旅游服务推荐方法，其特征在于，包括以下步骤：

步骤1，将用户信息以及旅游服务项目信息转化为词向量，并将用户年龄转化为实数值；

步骤2，将用户对旅游服务项目发表过的所有评论合并后转化为词向量矩阵；

步骤3，将不同用户对旅游服务项目的所有评论按照步骤2相同的方法转化为词向量矩阵；

步骤4，构建两个卷积神经网络，其中一个网络以步骤2得到的词向量矩阵作为输入，提取用户的行为特征；另外一个网络以步骤3得到的词向量矩阵作为输入，提取旅游服务项目的属性特征；将步骤1中用户信息转化成的词向量、年龄转化成的实数值以及旅游服务项目信息转化成的词向量拼接起来，一起输入到一个深度为2的神经网络中，得到关联特征；

步骤5，将步骤4中提取到的用户行为特征、旅游服务项目的属性特征以及关联特征构成一个新的向量，通过因子分解机进行预测评分；

步骤6，按照步骤3至步骤5相同的方法得到不同旅游服务项目的预测评分，然后将所有的预测评分进行排序，取评分较高的旅游服务项目推荐给用户。

2.如权利要求1所述的基于深度学习的旅游服务推荐方法，其特征在于，步骤2中所述的词向量矩阵的转化方法包括：

将用户对于旅游服务项目发表过的所有评论合并为一个文档d，假设文档d中共有n个单词，依次将文档中每个单词按顺序转化为c维的词向量并链接在一起形成词向量矩阵

其中，表示文档d中的第k个单词，函数表示单词的词嵌入向量，是链接操作。

3.如权利要求1所述的基于深度学习的旅游服务推荐方法，其特征在于，步骤4中所述的提取用户的行为特征的方法包括：

步骤4.1，立两个并行的卷积神经网络，所述的卷积神经网络包括卷积层、池化层和全连接层，卷积层由m个神经元组成，每一个神经元j在卷积层中包含一个窗口大小为c×t的卷积核K_j；

步骤4.2，将步骤2中得到的词向量矩阵输入到其中一个卷积神经网络中，则矩阵关于每一个卷积核进行卷积运算得到的结果Z_j为：

上式中，*是卷积操作，b_j表示偏移量，其中f(·)表示激活函数，定义为：

f(x)＝max{0,x}

步骤4.3，将步骤4.2中得到的结果Z_j输入到池化层中进行最大池化操作：

o_j＝max{z₁,z₂,…,z_(n-t+1)}

上式中，z₁,z₂,…,z_(n-t+1)表示步骤4.2中输出值向量Z_j的各个值，o_j表示矩阵与神经元j的卷积核进行最大池化操作后得到的结果；

步骤4.4，将步骤4.3得到的向量O输入到全连接层，在全连接层中按照以下公式进行计算，得到用户的行为特征x_u：

x_u＝f(W×O+g)

上式中，W为权重矩阵，g为偏移量，其中的W的值是取值范围为-1～1且满足正态分布的随机数，g的取值范围是[0～1]；f(·)表示激活函数。

4.如权利要求3所述的基于深度学习的旅游服务推荐方法，其特征在于，步骤4中所述的关联特征的获取方法包括：

步骤4.6，将步骤1.1中用户的信息转化成的词向量、用户年龄归一化后的实数值以及步骤1.2中旅游服务项目信息转化成的词向量拼接起来构成向量X，将向量X输入一个深度为2的神经网络中；所述的深度为2的神经网络的第一层为隐藏层，该隐藏层是具有s个神经元的ReLU层，第二层为输出层，是宽度为s/2的ReLU层；隐藏层、输出层均采用以下公式进行计算：

x_1,o＝f(X*U+h)

上式中，U为权值矩阵，h为偏移量，中的U的值是取值范围为-1～1且满足正态分布的随机数，h的取值范围是[0～1]；x_1,o表示x₁和x_o，其中x₁为隐藏层的计算结果，x_o为输出层的计算结果；通过两层神经网络计算得到关联特征x_o。

5.如权利要求1所述的基于深度学习的旅游服务推荐方法，其特征在于，步骤5中所述的因子分解机的表达式为：

上式中，表示全局偏移量，取值范围是[0～1]；表示中的第i、j个特征值，表示模型参数，取值范围为[-1～1]且满足均匀分布的随机数，表示两个大小为k的辅助向量和的点积其中v_if、v_jf的值的范围为[-1～1]且服从均匀分布的随机数；y表示预测的评分结果。