CN110851718B - 一种基于长短时记忆网络以及用户评论的电影推荐方法 - Google Patents

Abstract

本发明属于数据推荐领域，具体涉及一种基于长短时记忆神经网络以及用户评论的电影推荐方法；所述方法包括对历史电影数据预处理，对用户创建类别标签并对具有同一类别标签的用户分级；将预处理后的数据和该电影对应的宣发手段进行整合；利用长短时记忆网络计算出电影的评分值，对其进行训练后，将当前上映电影数据进行预处理后，与其宣发手段并整合形成词向量，输入到完成训练的网络中，即计算出当前电影的评分值，根据该评分值确定对应的用户类别标签，根据用户对应的等级采用对应的推荐方式进行电影推荐；本发明采用长短时记忆网络考虑到电影的时序性特征，且基于群体考虑对同一类用户进行推荐，使得推荐能够更为精准的提供给所需的用户群体。

Description

一种基于长短时记忆网络以及用户评论的电影推荐方法

技术领域

本发明属于数据推荐领域，具体涉及一种基于长短时记忆神经网络以及用户评论的电影推荐方法。

背景技术

随着大数据时代的来临以及相关技术的高速发展，从海量数据中获得有效信息，在电影推荐系统中完成实际作用，提升电影推荐平台总体用户粘性，从而提升平台价值，是一个平台发展的趋势。而推荐系统是推荐平台的核心，其根据用户的兴趣，将用户所需要的产品、信息推荐给用户的个性化信息系统，也同样面临着从海量数据中挖掘用户信息需求的重要任务。

现阶段的推荐系统主要分为基于内容的推荐系统与基于协同过滤的推荐系统。基于内容的推荐系统是将电影内容、情节等作为特征值进行提取，然后预测用户对于电影的评分，最后根据评分对用户进行推荐。基于协同过滤的推荐系统主要是计算用户之间以及电影之间的相似度，挖掘电影与用户之间的潜在特征，然后根据学习的潜在关联对评分预测并对用户进行推荐。中国专利CN201810608419提出了一种基于循环神经网络的seq2seq模型的电影推荐方法，该方法利用神经网络对用户观影历史记录序列进行去重整合，并输出推荐清单。但是该方法没有考虑到用户的群体特性，只是关注了单用户的历史行为。此外，中国专利CN201910238934提出了一种利用用户属性进行电影推荐的方法，该方法通过协同过滤的准则，利用深度学习中的注意力机制对每个属性的关注度参数进行调整，形成推荐结果。但是该方法没有对原始电影记录进行处理，只是简单的将电影特征输入到评分预测模型中，会造成较大的预测偏差。

发明内容

基于现有技术存在的问题，本发明通过对用户群体进行整体考虑并进行群里划分；对电影影评信息进行特定的预处理，进行特征鉴别和提取；并且在时间坐标层面综合考虑电影影评数据；基于此，本发明提出了一种基于长短时记忆网络以及用户评论的电影推荐方法。

一种基于长短时记忆网络以及用户评论的电影推荐方法，所述推荐方法包括：

S1、获取用户群体的历史观影数据和历史影评数据，并对其进行预处理；

S2、按照用户观看的电影类型，对所述用户创建类别标签；对具有同一类别标签的用户，按照用户的观影次数，对所述用户进行分级；

S3、将预处理后的数据和该电影对应的宣发手段进行整合并形成一系列的历史词向量；输入到长短时记忆网络中，利用历史影片的实际评分对长短时记忆网络进行训练，输出预测出的历史影片的评分；直至损失函数值趋于平稳，则完成训练；

S4、对当前上映电影的观影数据、影评数据进行预处理后，与其宣发手段并整合形成当前词向量，在完成训练后的长短时记忆网络中输入该当前词向量，计算出当前电影的评分值；

S5、根据电影的评分值确定对应的用户类别标签，根据用户对应的等级采用与所述等级对应的推荐方式进行电影推荐。

本发明的有益效果：

1、本发明对用户进行分类以及分级，不仅能够基于群体考虑对同一类用户进行推荐，还能够按照分级的级别对用户进行不同强度的个性化电影推荐。

2、本发明将处于同一类别而不同级别的用户采用不同的推荐方法，能够有效调整运算复杂度，最终提高了推荐的效率。

3、本发明将长短时记忆网络引入电影推荐方法中，在时间尺度上对影评-用户群体进行映射。不仅考虑到用户群体的不同类型，还同时考虑到电影本身质量、电影宣发手段以及电影影评的时序性特征，使得推荐能够更为精准的提供给所需的用户群体。

附图说明

图1为本发明的一种基于长短时记忆网络以及用户评论的电影推荐方法流程图；

图2为本发明采用的长短时记忆网络的一种架构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

如图1所示，本发明的一种基于长短时记忆网络以及用户评论的电影推荐方法，所述推荐方法包括：

S1、获取用户群体的历史观影数据和历史影评数据，并对其进行预处理；

S2、按照用户观看的电影类型，对所述用户创建类别标签；对具有同一类别标签的用户，按照用户的观影次数，对所述用户进行分级；

S3、将预处理后的数据和该电影对应的宣发手段进行整合并形成一系列的历史词向量；输入到长短时记忆网络中，利用历史影片的实际评分对长短时记忆网络进行训练，输出预测出的历史影片的评分；直至损失函数值趋于平稳，则完成训练；

S4、对当前上映电影的观影数据、影评数据进行预处理后，与其宣发手段并整合形成当前词向量，在完成训练后的长短时记忆网络中输入该当前词向量，计算出当前电影的评分值；

S5、根据电影的评分值确定对应的用户类别标签，根据用户对应的等级采用与所述等级对应的推荐方式进行电影推荐。

在一个实施例中，数据获取可以利用网络爬虫或通过各社交网站开放API平台获取影评的在线数据，可以获取的数据包括但不限于豆瓣电影数据集，包括电影名称、评分、各星级占比、影评、类型、导演、编剧、主演、上映日期的历史观影数据和历史影评数据。

在一个实施例中，所述预处理包括对影评进行去重；稀疏数据清洗；信息拼接并形成词向量；对词向量进行分词；分词包括：非关键词性过滤，停用高频词，人为介入高质量保留词性以及提取影评中对电影定性影响关键的词。

作为一个可实现方式，预处理可以对豆瓣影评进行初步清洗，并将电影上映日期后每天评分详情以及每天评论数量等信息进行拼接分词；例如将电影名称、导演、编剧、主演、制片人、上映后每天的评分、每天的评论人数、每天的评分占比情况进行拼接，然后对其进行分词处理，有利于数据分析。

在一个实施例中，按照用户观看的电影类型，对所述用户创建类别标签包括计算出用户在过去一段时间对所参与各个类型的电影的最终评分，选择最终评分最高的三种电影类型作为用户的类别标签。

作为一个优选实施例中，根据用户过去一个月，过去三个月，以及过去半年及其以上的时间段对观影记录进行分片，比如一年等。然后按照公式：G＝0.5×G₁+0.3×G₃+0.2×G₆得出用户对每个类型的电影的最终评分。其中，G代表最终评分，G₁代表用户过去一个月的影评分数，G₃代表用户过去三个月的影评分数，G₆代表用户过去半年的影评分数。由于用户的喜好会发生变化，因此，需要赋予不同的权重以展示用户的近期不同类型电影的喜好程度。对过去一个月的观影评分赋予权重0.5，过去三个月的观影评分赋予权重0.3，过去半年的观影评分赋予权重0.2。最后，根据电影类型的不同，将用户同一类型的电影评分进行加权后平均，找出所有类型电影评分的前三位，从而得出用户历史行为中最感兴趣的三类电影，最终将用户按照这三类电影进行分类。

当然，用户的类别标签可以不限于三类电影。

在一个实施例中，所述对具有同一类别标签的用户，按照用户的观影次数，对所述用户进行分级包括统计用户在过去一段时间内观影次数，根据统计出的观影次数对所述用户进行分级，从而确定该用户的等级。

作为一个可实现方式中，可以统计用户过去三个月的观影次数，按照该次数设置阈值对用户分级，从而确定该用户的等级。

在一个优选实施例中，可以根据用户过去一个月，过去三个月，以及过去半年观影次数，对用户进行分级T＝0.5×T₁+0.3×T₃+0.2×T₆；T₁代表用户过去一个月的观影次数，T₃代表用户过去三个月的观影次数，T₆代表用户过去半年的观影次数。

在一个优选实施例中，可以分别统计已经分类的用户在过去三个月总观影数以及用户在其类别内的观影次数。利用用户的该类别观影次数除以总观影次数得到用户对该类别的观影频率。

作为一个可实现方式，本发明可以设置一个阈值，设置阈值的意义在于区分用户属于该类电影的初级用户还是高级用户。我们将该类观影频数阈值设置为8次，频率设置为0.25。若用户的观影频数大于8且频率大于0.25，则设置该用户为此类型的高级用户，否则，则为初级用户。

作为一种优选实现方式，所述根据用户对应的等级采用与所述等级对应的推荐方式进行电影推荐包括：

当用户为高级用户时，使用电影评分系统对用户进行推荐时，电影在该类评分应高于75分；

当用户为初级用户时，使用电影评分系统对用户进行推荐时，电影在该类评分应高于85分。

作为一个更为优选的实施例，本实施例可以通过对用户过去数年的观影次数进行统计，统计出用户观影的规律，比如确定出用户在某个季节、某个时期的观看次数尤为突出，根据该时间特点，按照时间划分对用户进行针对性推荐。

作为一种可实现方式，也可以只设置一个阈值，阈值的意义在于用户在一段时间内的观影次数，将该阈值用来区分高级用户和初级用户，比如阈值设置为8，当T≥8时，该用户为高级用户，当T＜8时，该用户为初级用户。

作为一种优选实现方式，根据历史观影次数对用户进行分级的，观影次数高于第一阈值的为高级用户，观影次数高于第二阈值小于第一阈值的为中级用户，观影次数低于第二阈值的为初级用户。

作为一种优选实现方式，所述根据用户对应的等级采用与所述等级对应的推荐方式进行电影推荐包括：

当用户为高级用户时，使用基于电影相似度过滤的方法对用户进行个性化电影推荐；

当用户为中级用户时，使用基于关联规则的方法对用户进行个性化电影推荐；

当用户为初级用户时，使用协同过滤方法进行个性化电影推荐。

具体的，首先提取高级用户的电影观看记录，用所有出现的电影构建电影总集合。然后对将要对用户进行推荐的具体某部电影，对其使用构建的该用户电影总集合进行相似度对比，达到推送过滤的目的，将最终对比结果相似度大于60％的电影确认进行推荐。

当然，也可以采用现有技术中其他的电影推荐方式作为推荐，尽可能的让不同级别的用户获得以其最匹配的推荐服务；比如高级用户采用的推荐方式的精度最高，因此其运算复杂度最大，初级用户采用的推荐方式的精度最低，因此其运算复杂度最小，因而将处于同一类别而不同级别的用户采用不同的推荐方法，能够有效调整运算复杂度，最终提高了推荐的效率。

作为一种补充实现方式，将在线的现有电影的信息输入到长短时记忆网络中，会得到该电影在其属于哪几种类型上的具体评分预测趋势。将评分指标设置一个初始阈值，若在该类型上此电影的评分超过75分，则向具有该类别标签的高级用户推荐该电影，若超过80分，则向具有该类别标签的中级用户推荐该电影，若超过85分，则向具有该类别标签的初级用户推荐该电影。

在一个实施例中，所述步骤S3包括将预处理后的分词信息综合历史电影的宣发手段作为预测模块的输入，将历史电影最终得分作为标签输出，利用长短时记忆网络建立从输入到输出的映射关系。通过大量历史数据反复迭代训练，完善评分预测模块的准确性。最后，将新电影已有的评论详情以及宣发手段作为词向量输入，预测电影的最终评分；当然，长短时记忆神经网络可以自行学习这些向量对最终结果的影响。

其中，宣发手段包括宣发类型和宣发强度，宣发类型包括广告宣传、媒体宣传以及软文宣传等等；宣发强度主要是针对该宣发类型所投入的资金，所投资金越多，宣发强度越大。

在一个优选实施例中，由于电影本身宣发手段的影响，会体现出时序上的特性，在一段时间后呈现出观影人数以及评分大幅上涨或衰退的现象。因此，使用LSTM的输入门、遗忘门和输出门选择性保存历史电影在时序上的信息；如图2所示，分别在长短时记忆网络的输入门、遗忘门和输出门输入t时刻的词向量特征，遗忘门读取上个隐藏层输出的历史影片的实际评分，判断是否需要保留t时刻之前的隐藏层输出的信息；输入门对当前细胞状态进行更新；输出门基于本隐藏层的细胞状态确定输出值，即为当前时刻电影的得分情况。

遗忘门根据上个隐藏层的输出以及电影序列的输入确定从细胞状态中需要保留的信息：f_t＝σ(W_f×[h_t-1,x_t]+b_f)；输入门确定当前需要输入到细胞状态的信息：i_t＝σ(W_i×[h_t-1,x_t]+b_i)，备选更新的细胞状态为：

而细胞状态最终更新过程由备选更新状态信息与上个细胞状态所保留的信息共同决定：

输出门确定从细胞状态的输出信息：o_t＝σ(W_o×[h_t-1,x_t]+b_o)；其中，σ表示sigmoid激活函数，h_t-1表示上一时刻隐藏层的输出，x_t表示当前时刻的输入向量，b_f表示遗忘门的偏置，W_f表示遗忘门的求导计算过程，W_i表示输入门的求导计算过程，b_i表示遗忘门的偏置，

表示备选细胞状态，tanh表示tanh激活函数，b_C表示细胞状态的偏置，W_o表示输出门的求导计算过程，b_o表示输出门的偏置。

另外，长短时记忆网络可以选择性记忆历史电影序列的相关上下文信息，从而解决长时间序列中存在的梯度消失问题。

作为一个可实现方式，所述长短时记忆网络还包括全连接层，经过全连接层，对输出结果进行分类，即得到对历史电影的最终评分趋势。

作为一个优选实施例，考虑到当前因素的变化可能会对电影评分预测产生影响，因此本实施例将现有实时的电影信息输入由历史信息训练的长短时记忆网络后，将现有实时电影信息加入到历史电影信息数据集中对数据集进行更新。经过一段时间后，根据当前所有的历史数据集，重新训练长短时记忆网络，能够使得预测更为准确。

具体的，在一种实现方式中，每经过一个时间周期，删除距离当前时间周期最久的历史观影数据和历史影评数据，并将当前时间周期的历史观影数据和历史影评数据补入；根据补入更新后的历史数据集，重新训练长短时记忆网络。

在另一种实现方式中，每经过一个时间周期，对距离当前时间周期最久的历史观影数据和历史影评数据进行采样，只保留其中优质评论的三分之一。接下来，将当前时间周期的历史观影数据和历史影评数据补入；根据补入更新后的历史数据集，重新训练长短时记忆网络。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。

以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于长短时记忆网络以及用户评论的电影推荐方法，其特征在于，所述推荐方法包括：

S1、获取用户群体的历史观影数据和历史影评数据，并对其进行预处理；

S2、按照用户观看的电影类型，对所述用户创建类别标签；对具有同一类别标签的用户，按照用户的观影次数，对所述用户进行分级；

S3、将预处理后的数据和该电影对应的宣发手段进行整合并形成一系列的历史词向量；输入到长短时记忆网络中，利用历史影片的实际评分对长短时记忆网络进行训练，输出预测出的历史影片的评分；直至损失函数值趋于平稳，则完成训练；

S4、对当前上映电影的观影数据、影评数据进行预处理后，与其宣发手段整合并形成当前词向量，在完成训练后的长短时记忆网络中输入该当前词向量，计算出当前电影的评分值；

S5、根据电影的评分值确定对应的用户类别标签，根据用户对应的等级采用与所述等级对应的推荐方式进行电影推荐。

2.根据权利要求1所述的一种基于长短时记忆网络以及用户评论的电影推荐方法，其特征在于，所述预处理包括对影评进行去重；稀疏数据清洗；信息拼接并形成词向量；对词向量进行分词；分词包括：非关键词性过滤，停用高频词，人为介入高质量保留词性以及提取影评中对电影定性影响关键的词。

3.根据权利要求1所述的一种基于长短时记忆网络以及用户评论的电影推荐方法，其特征在于，按照用户观看的电影类型，对所述用户创建类别标签包括计算出用户在过去一段时间对所参与各个类型的电影的最终评分，选择最终评分最高的三种电影类型作为用户的类别标签。

4.根据权利要求1或3所述的一种基于长短时记忆网络以及用户评论的电影推荐方法，其特征在于，所述对具有同一类别标签的用户，按照用户的观影次数，对所述用户进行分级包括统计用户在过去一段时间内观影次数，根据统计出的观影次数对所述用户进行分级，从而确定该用户的等级。

5.根据权利要求4所述的一种基于长短时记忆网络以及用户评论的电影推荐方法，其特征在于，根据历史观影次数对用户进行分级的，观影次数高于第一阈值的为高级用户，观影次数高于第二阈值小于第一阈值的为中级用户，观影次数低于第二阈值的为初级用户。

6.根据权利要求1所述的一种基于长短时记忆网络以及用户评论的电影推荐方法，其特征在于，所述步骤S3包括分别在长短时记忆网络的输入门、遗忘门和输出门输入t时刻的词向量特征，遗忘门读取上个隐藏层输出的特征向量，同时判断对t时刻之前的隐藏层的特征向量是否需要进行保留；输入门对当前细胞状态进行更新；输出门基于本隐藏层的细胞状态确定输出值，最后将输出门的输出值经过一层softmax函数，结果即为当前时刻电影的得分情况。

7.根据权利要求6所述的一种基于长短时记忆网络以及用户评论的电影推荐方法，其特征在于，遗忘门根据上个隐藏层的输出以及电影序列的输入确定从细胞状态中需要保留的信息：f_t＝σ(W_f×[h_t-1,x_t]+b_f)；输入门确定当前需要输入到细胞状态的信息：i_t＝σ(W_i×[h_t-1,x_t]+b_i)，备选更新的细胞状态为：

而细胞状态最终更新过程由备选更新状态信息与上个细胞状态所保留的信息共同决定：

输出门确定从细胞状态的输出信息：o_t＝σ(W_o×[h_t-1,x_t]+b_o)；其中，σ表示sigmoid激活函数，h_t-1表示上一时刻隐藏层的输出，x_t表示当前时刻的输入向量，b_f表示遗忘门的偏置，W_f表示遗忘门的求导计算过程，W_i表示输入门的求导计算过程，b_i表示遗忘门的偏置，

表示备选细胞状态，tanh表示tanh激活函数，b_C表示细胞状态的偏置，W_o表示输出门的求导计算过程，b_o表示输出门的偏置。

8.根据权利要求6所述的一种基于长短时记忆网络以及用户评论的电影推荐方法，其特征在于，所述长短时记忆网络还包括全连接层，经过全连接层，对输出结果进行分类，即得到对历史电影的最终评分趋势。

9.根据权利要求6所述的一种基于长短时记忆网络以及用户评论的电影推荐方法，其特征在于，每经过一个时间周期，删除距离当前时间周期最久的历史观影数据和历史影评数据，并将当前时间周期的历史观影数据和历史影评数据补入；根据补入更新后的历史数据集，重新训练长短时记忆循环神经网络。

10.根据权利要求1所述的一种基于长短时记忆网络以及用户评论的电影推荐方法，其特征在于，所述根据用户对应的等级采用与所述等级对应的推荐方式进行电影推荐包括：

当用户为高级用户时，使用基于电影相似度过滤的方法对用户进行个性化电影推荐；

当用户为初级用户时，使用协同过滤方法进行个性化电影推荐。

Images