CN113139088A - Idf模型协同过滤模型的电影推荐方法、介质、设备及系统 - Google Patents

Abstract

IDF模型协同过滤模型的电影推荐方法、介质、设备及系统，包括以下步骤：采集电影推荐中影响因子的用户数据集；对用户数据集中相关影响因素数据通过作为深度置信网络DBN的输入，来进行数据预处理；将预处理之后的数据输入到复合多粒度扫描IDF模型中并进行训练；将得到的特征向量进行拼接，得到用户‑电影评分矩阵，将得到的矩阵输入协同过滤模型，得到最终的电影推荐结果。通过将采集的数据集进行多粒度扫描，针对电影推荐系统所处理数据结构的复杂性与电影与用户间的信息交互传递的特性，借鉴随机取样原则，保证在一定时间内，总体范围内的每个样本对象都能以确定、非零的概率被选择并作为所要研究的对象，保证了所需要选取样本的代表性。

Description

IDF模型协同过滤模型的电影推荐方法、介质、设备及系统

技术领域

本发明属于电影推荐技术领域，具体涉及IDF模型协同过滤模型的电影推荐方法、介质、设备及系统。

背景技术

在对现有的电影推荐方法模型研究中，最初的研究者主要使用基于物品和用户的协同过滤(Collaborative Filtering recommendation)推荐方法模型，然而随着用户数量的增加以及所要处理的信息复杂程度的提升，导致了推荐结果准确度逐渐降低。之后研究人员采用了基于内容的推荐方法模型，混合推荐方法模型，以及加入了关联规则、效用和知识的推荐方法模型，但是研究人员所提出的模型在进行推荐时所面临电影数据结构的复杂性以及用户与电影间信息交互的特性，以及存在的处理过程缓慢以及无法得到很好的推荐效果的问题。并且现在的电影观看用户在面对网络中海量影视资源，无法很好的选择自己喜欢感兴趣的内容，导致了用户的观影体验非常差，降低了用户对现有电影推荐方法的满意度。

发明内容

本发明的目的在于提供IDF模型协同过滤模型的电影推荐方法、介质、设备及系统，以解决上述问题。

为实现上述目的，本发明采用以下技术方案：

IDF模型协同过滤模型的电影推荐方法，包括以下步骤：

采集电影推荐中影响因子的用户数据集，包括电影数据、评分数据和用户数据；

对用户数据集中相关影响因素数据通过作为深度置信网络DBN的输入，来进行数据预处理；

将预处理之后的数据输入到复合多粒度扫描IDF模型中并进行训练，训练完毕得到用户和电影的特征向量；

将得到的特征向量进行拼接，得到用户-电影评分矩阵，将得到的矩阵输入协同过滤模型，得到最终的电影推荐结果。

进一步的，电影数据包括电影ID、电影类型和电影名称；评分数据包括用户ID、电影ID、评分时间以及评分分值；用户数据包括性别、年龄、职业和数量。

进一步的，M表示男性，F表示女性，将标示性别的“F”和“M”转换为1和0；将年龄化为七个年龄分段，七个分段转换为0、1、2、3、4、5、6七个整数；电影类别字段使用一位有效编码，将类别字段转化为整数值，用二进制向量来表示整数值；电影名称与电影类别一样创建将文本转化为字符串之后再转化为数字的字典；将转化后的数据作为深度置信网络DBN的输入，来进行数据预处理。

进一步的，DBN的训练过程包含两个阶段:无监督的预训练和有监督的微调阶段；预训练阶段：采用RBM逐层进行预训练，直接将数据输入到最底层RBM的可见层进行训练，从该层输出的数据直接输入到DBN的输入层，作为下一层的输入；直至完成DBN的预训练；微调阶段：有监督的微调训练要前向传播算法得到输出数据和后向传播算法得到偏置值和权重值。

进一步的，使用复合多粒度扫描IDF数据进行特征提取，假设长度为n的一维特征向量，通过长度为m的滑动窗口进行扫描，并规定滑动窗口的滑动步距为1个单位长度，则结果包含(n-m+1)个具有m维特征向量的数据子集Fi；每次窗口滑动同时随机捕获相同维度的特征向量数据子集Fm，进而将两者合并构成(n-m+1)个具有2m维特征向量的数据子集Gi，如下公式所示：

G_i＝F_i∪F_m,i∈(1,…,n-m+1)

对于一个n×n的二维数据采取相同的方式获取样本的特征向量数据子集，将两者复合得到了用户和电影特征向量数据子集。

进一步的，用得到的用户和电影特征向量来拟合用户—电影评分矩阵，计算用户、电影特征之间的相关度sim_user-item：

首先，构建以喜好、浏览记录、评分、收藏为主的用户—电影评分矩阵，用户集合为包含N个用户的集合U＝{u₁,u₂，…，u_N},电影集合为包含M个电影的集合I＝{i₁，i₂，…，i₃}。每一位用户u_i∈U都对至少一个电影进行了评价，评价结果以分值形式记录为R_NM；所构成的用户-电影评分矩阵为：

上式中，行r_i表示用户所评价电影集合，列r_j表示评价这部电影的用户集合，r_ij为用户评分；

其次，根据用户-电影评分矩阵利用余弦相似度计算用户之间的相似度，余弦相似度就是将矩阵R_NM中的第u、v行认定为向量a和b；用户u、v之间的相似度由向量a和b夹角的余弦值来定义；

然后，将用户与其他用户的最近邻居KNN通过用户之间的近似度得到，通过KNN设定的选择阈值选择前N个相似度最高的邻居。

进一步的，协同过滤模型接下来对预测进行输出，首先将前N个相似度最高的邻居喜欢的电影进行筛选，并将剩余的电影集合起来，构成电影候选集，接下来通过加权求和的计算方法对用户和电影进行预测评分；加权求和方法就是通过加权的方法对用户和所有与电影集中电影i的电影的评分进行求和来得到目标用户对电影i预测评分，将排序靠前的前几部电影作为推荐项推荐给用户。

进一步的，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，指令当由计算设备执行时，使得所述计算设备执行所述的方法。

进一步的，一种计算设备，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法。

进一步的，IDF模型协同过滤模型的电影推荐系统，包括：

采集模块，采集电影推荐中影响因子的用户数据集，包括电影数据、评分数据和用户数据；

预处理模块，对用户数据集中相关影响因素数据通过作为深度置信网络DBN的输入，来进行数据预处理；

训练模块，将预处理之后的数据输入到复合多粒度扫描IDF模型中并进行训练，训练完毕得到用户和电影的特征向量；

输出模块，将得到的特征向量进行拼接，得到用户-电影评分矩阵，将得到的矩阵输入协同过滤模型，得到最终的电影推荐结果。

与现有技术相比，本发明有以下技术效果：

本发明提供了一种基于复合多粒度扫描的协同过滤模型的电影推荐方法，通过将采集的数据集进行多粒度扫描，针对电影推荐系统所处理数据结构的复杂性与电影与用户间的信息交互传递的特性，借鉴随机取样原则，保证在一定时间内，总体范围内的每个样本对象都能以确定、非零的概率被选择并作为所要研究的对象，保证了所需要选取样本的代表性。

进一步的，在获取所有相关影响因子的数据集后，由于在获取中可能会存在各种原因，获取到的数据也可能会存在着数据缺失以及传输过程中可能出现偏差，包括实际设备的故障等原因都会导致历史数据中出现数据缺失和数据异常现象。数据的准确率直接影响电影推荐方法模型的准确率，因此需要对相关影响因素数据进行数据预处理，能够提高模型的准确率，本发明采用DBN对数据进行预处理。

进一步的，由于随机窗口采样的随机选择性，在移动扫描的同时对样本的局部或整体给予关注。对于作为协同过滤模块的输入数据，相较单一滑动窗口的数据采样，并非所有的特征特征属性都对其分类研究有真同等重要的地位，复合采样构成的特征数据子集体现了样本的拟合优度。

进一步的，将复合多粒度扫描得到用户和电影特征向量数据子集，作为协同过滤算法的输入，经过计算相关度，排序，筛选，为用户推荐用户可能感兴趣的电影内容。本发明通过集成复合多粒度扫描和协同过滤推荐模型，从而可以极大的提高电影推荐准确度，并且具有很好的稳定性，有助于用户在海量电影中选择真正感兴趣的电影，有利于提高用户对视频播放软件的满意度。

进一步的，本发明中的基于复合多粒度扫描的协同过滤模型在特征提取中将数据中的影响较大的特征值给予了最大程度的提取，从而提高了推荐的准确度。

附图说明

图1为本发明的整体流程逻辑图；

图2为DBN模型结构示意图

图3为复合多粒度扫描结构示意图；

图4为协同过滤模型推荐过程；

图5为在MSE评价指标中不同数据量时本发明推荐结果精度和DLCF模型推荐结果精度的对比图；

图6为在MSE评价指标中不同数据量时本发明推荐结果精度和GraRep模型推荐结果精度的对比图；

图7为在MSE评价指标中不同数据量时本发明推荐结果精度和MERP模型推荐结果精度的对比图；

图8为在RMSE评价指标中不同数据量时本发明推荐结果精度和DLCF模型推荐结果精度的对比图；

图9为在RMSE评价指标中不同数据量时本发明推荐结果精度和GraRep模型推荐结果精度的对比图；

图10为在RMSE评价指标中不同数据量时本发明推荐结果精度和MERP模型推荐结果精度的对比图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步说明：

如图1所示，图中DLCF、GraRep和MERP为本模型的对比模型，本发明提供一种基于复合多粒度扫描的协同过滤推荐系统的电影推荐方法，包括以下步骤：

S1：电影推荐中影响因子的选取；在实际研究中，电影推荐方法的数据在很大程度上决定了推荐结果的精度，用户的个人信息以及留下的历史行为信息例如：观影记录、收藏、评分等。

具体的，本发明的电影推荐方法所采集的数据集中主要包含了用户、电影、用户评分等数据。其中M表示男性,F表示女性；根据年龄分布将年龄分为1、18、25、35、45、50、56+等七个阶段；数据集中的6000余位用户共包括20种职业。电影数据包含电影ID、电影类型、电影名称等信息，其中电影类型包含动作、冒险、动画、儿童等18种类型。评分数据主要包括了用户ID、电影ID、评分时间以及评分分值。其中用户ID范围为1-6040；电影ID范围是1-3952；评分采用五分制，不包括半星；评分时间精确到秒；每一位用户至少进行20次评分。

S2：在获取所有相关多维复杂指标的数据集后，由于获取的过程中大部分数据为手动输入，所以存在数据错误、缺少、不一致的问题，包括实际设备的故障等原因都会导致历史数据中出现数据缺失和数据异常现象。数据的准确率直接影响电影推荐模型的准确率，因此需要对用户信息及相关影响因素数据进行数据预处理。

如图2所示深度置信网络(DBN)模型，将采集到的数据作为DBN的输入，DBN的训练过程包含两个阶段:无监督的预训练和有监督的微调阶段。预训练阶段：采用RBM逐层进行预训练，直接将数据输入到最底层RBM的可见层进行训练，从该层输出的数据直接输入到DBN的输入层，作为下一层的输入。以此类推，完成DBN的预训练。微调阶段：有监督的微调训练需要前向传播算法得到输出数据和后向传播算法得到偏置值和权重值。DBN模型的分类器是有监督学习的BP神经网络，该神经网络的输入数据是由多层RBM网络学习到的特征信息，可以减少调优是收敛所耗费的时间。

S3：选取复合多粒度扫描结构如图3所示，将预处理之后的数据输入到复合多粒度扫描算法中并进行训练，训练完毕得到用户和电影的特征向量数据子集。其中S3是在整个推荐方法的第一部分中，使用复合多粒度扫描对初步处理好的数据网络结构进行训练，得到用户和电影特征向量数据子集，从而为第二部分模型训练做准备。

本实例中，步骤S3所选取的复合多粒度扫描假设长度为n的一维特征向量，通过长度为m的滑动窗口进行扫描，并规定滑动窗口的滑动步距为1个单位长度，则结果包含(n-m+1)个具有m维特征向量的数据子集Fi。每次窗口滑动同时随机捕获相同维度的特征向量数据子集Fm，进而将两者合并构成(n-m+1)个具有2m维特征向量的数据子集Gi，如下公式所示。

G_i＝F_i∪F_m，i∈(1，…，n-m+1)

进一步的，对于一个n×n的二维数据采取相同的方式获取样本的特征向量数据子集，将两者复合得到了用户和电影特征向量数据子集，复合多粒度扫描算法如下所示。

S4：选取现有的基于物品的协同过滤模型，如图4所示其推荐过程，将处理后的多维数据集作为模型输入进行训练，计算用户和电影之间的相关度，得到排名前K的电影，进行推荐，其中步骤S4是整个电影推荐方法的第二部分，选用协同过滤模型，将处理后的多维数据集对模型进行训练，得到训练结果。

本实例中，协同过滤模型，需要寻找具有相同的偏好，或者有相同的评论的用户，在用户的集体评价反映中，找出反馈较为突出的用户，以此来对用户感兴趣的内容进行筛选，这样就能够更好的满足用户们的需求。在推荐过程中除推荐用户本身感兴趣的产品还会推荐与用户感兴趣的产品相关的产品，例如当推荐的产品A是用户感兴趣的，同时也会推荐与A产品相似的产品B，用户很大概率喜欢B；对于受到广泛喜爱的大众产品，用户也可能会对受到大众普遍喜爱的产品感兴趣。本发明利用基于物品的协同过滤算法来进行电影个性化推荐，具体步骤：

首先，构建以喜好、浏览记录、评分、收藏等为主的用户—电影评分矩阵，这些信息来源于用户的历史行为。用户集合为包含N个用户的集合U＝{u₁，u₂，…,u_N},电影集合为包含M个电影的集合I＝{i₁,i₂,…,i₃}。每一位用户u_i∈U都对至少一个电影进行了评价，评价结果以分值形式记录为R_NM。所构成的用户-电影评分矩阵为：

上式中，行r_i表示用户所评价电影集合，列r_j表示评价这部电影的用户集合，r_ij为用户评分。其次，根据用户-电影评分矩阵利用余弦相似度计算用户之间的相似度，余弦相似度就是将矩阵R_NM中的第u、v行认定为向量a和b。用户u、v之间的相似度由向量a和b夹角的余弦值来定义。

然后，将用户与其他用户的最近邻居KNN通过用户之间的近似度得到，通过KNN设定的选择阈值选择前N个相似度最高的邻居。

S5：协同过滤模型接下来对预测进行输出，首先将步骤S4中得到的前N个相似度最高的邻居喜欢的电影进行筛选，并将剩余的电影集合起来，构成电影候选集，接下来通过加权求和的计算方法对用户和电影进行预测评分。加权求和方法就是通过加权的方法对用户和所有与电影集中电影i的电影的评分进行求和来得到目标用户对电影i预测评分，将排序靠前的前几部电影作为推荐项推荐给用户。

测试过程和如上步骤相同，在对比例中，DLCF、GraRep和MERP为本模型的对比模型，评估指标是评估一个推荐方法是否良好的主要标准，为了更好体现本发明模型的预测精度，选取了均方误差(MSE)、均方根误差(RMSE)两种评估来对模型预测精度进行评估。在S2完成后将处理过的数据开始在DLCF、GraRep和MERP中进行训练，待训练完毕分别得到推荐精度。图5、6、7为在MSE评价指标下本发明推荐结果精度与DLCF、GraRep和MERP模型推荐结果精度的对比图及其结果；图8、9、10为在RMSE评价指标下本发明推荐结果精度与DLCF、GraRep和MERP模型推荐结果精度的对比图及其结果。从中可以看出本发明所采用的方法的推荐精度相对其他模型有了一定提高，预测准确率和稳定性更好，便于对用户进行电影推荐，有助于提高用户对视频软件的满意度，提高用户黏性。

本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于电影推荐的操作，包括：

采集测试所需要的用户电影数据集；

将数据集输入深度信念网络进行预处理，将得到的处理数据使用复合多粒度扫描进行特征提取，得到用户、电影特征向量数据子集；

将得到的特征向量数据子集进行拼接，得到用户-电影评分矩阵，将得到的矩阵输入协同过滤模型，得到最终的电影推荐结果。

本发明在一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关电影推荐的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：

采集测试所需要的用户电影数据集；

将数据集输入深度信念网络进行预处理，将得到的处理数据使用复合多粒度扫描进行特征提取，得到用户、电影特征向量数据子集；

将得到的特征向量数据子集进行拼接，得到用户-电影评分矩阵，将得到的矩阵输入协同过滤模型，得到最终的电影推荐结果。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求所述的保护范围为准。

Claims (10)

1.IDF模型协同过滤模型的电影推荐方法，其特征在于，包括以下步骤：

采集电影推荐中影响因子的用户数据集，包括电影数据、评分数据和用户数据；

对用户数据集中相关影响因素数据通过作为深度置信网络DBN的输入，来进行数据预处理；

将预处理之后的数据输入到复合多粒度扫描IDF模型中并进行训练，训练完毕得到用户和电影的特征向量；

将得到的特征向量进行拼接，得到用户-电影评分矩阵，将得到的矩阵输入协同过滤模型，得到最终的电影推荐结果。

2.根据权利要求1所述的IDF模型协同过滤模型的电影推荐方法，其特征在于，电影数据包括电影ID、电影类型和电影名称；评分数据包括用户ID、电影ID、评分时间以及评分分值；用户数据包括性别、年龄、职业和数量。

3.根据权利要求1所述的IDF模型协同过滤模型的电影推荐方法，其特征在于，M表示男性，F表示女性，将标示性别的“F”和“M”转换为1和0；将年龄化为七个年龄分段，七个分段转换为0、1、2、3、4、5、6七个整数；电影类别字段使用一位有效编码，将类别字段转化为整数值，用二进制向量来表示整数值；电影名称与电影类别一样创建将文本转化为字符串之后再转化为数字的字典；将转化后的数据作为深度置信网络DBN的输入，来进行数据预处理。

4.根据权利要求3所述的IDF模型协同过滤模型的电影推荐方法，其特征在于，DBN的训练过程包含两个阶段:无监督的预训练和有监督的微调阶段；预训练阶段：采用RBM逐层进行预训练，直接将数据输入到最底层RBM的可见层进行训练，从该层输出的数据直接输入到DBN的输入层，作为下一层的输入；直至完成DBN的预训练；微调阶段：有监督的微调训练要前向传播算法得到输出数据和后向传播算法得到偏置值和权重值。

5.根据权利要求1所述的IDF模型协同过滤模型的电影推荐方法，其特征在于，使用复合多粒度扫描IDF数据进行特征提取，假设长度为n的一维特征向量，通过长度为m的滑动窗口进行扫描，并规定滑动窗口的滑动步距为1个单位长度，则结果包含(n-m+1)个具有m维特征向量的数据子集Fi；每次窗口滑动同时随机捕获相同维度的特征向量数据子集Fm，进而将两者合并构成(n-m+1)个具有2m维特征向量的数据子集Gi，如下公式所示：

G_i＝F_i∪F_m，i∈(1,…,n-m+1)

对于一个n×n的二维数据采取相同的方式获取样本的特征向量数据子集，将两者复合得到了用户和电影特征向量数据子集。

6.根据权利要求1所述的IDF模型协同过滤模型的电影推荐方法，其特征在于，用得到的用户和电影特征向量来拟合用户—电影评分矩阵，计算用户、电影特征之间的相关度sim_user-item：

首先，构建以喜好、浏览记录、评分、收藏为主的用户—电影评分矩阵，用户集合为包含N个用户的集合U＝{u₁,u₂,…,u_N},电影集合为包含M个电影的集合I＝{i₁,i₂,…,i₃}。每一位用户u_i∈U都对至少一个电影进行了评价，评价结果以分值形式记录为R_NM；所构成的用户-电影评分矩阵为：

上式中，行r_i表示用户所评价电影集合，列r_j表示评价这部电影的用户集合，r_ij为用户评分；

其次，根据用户-电影评分矩阵利用余弦相似度计算用户之间的相似度，余弦相似度就是将矩阵R_NM中的第u、v行认定为向量a和b；用户u、v之间的相似度由向量a和b夹角的余弦值来定义；

然后，将用户与其他用户的最近邻居KNN通过用户之间的近似度得到，通过KNN设定的选择阈值选择前N个相似度最高的邻居。

7.根据权利要求1所述的IDF模型协同过滤模型的电影推荐方法，其特征在于，协同过滤模型接下来对预测进行输出，首先将前N个相似度最高的邻居喜欢的电影进行筛选，并将剩余的电影集合起来，构成电影候选集，接下来通过加权求和的计算方法对用户和电影进行预测评分；加权求和方法就是通过加权的方法对用户和所有与电影集中电影i的电影的评分进行求和来得到目标用户对电影i预测评分，将排序靠前的前几部电影作为推荐项推荐给用户。

8.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至7任意一项所述的方法。

9.一种计算设备，其特征在于包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至7任意一项所述的方法。

10.IDF模型协同过滤模型的电影推荐系统，其特征在于，包括：

采集模块，采集电影推荐中影响因子的用户数据集，包括电影数据、评分数据和用户数据；

预处理模块，对用户数据集中相关影响因素数据通过作为深度置信网络DBN的输入，来进行数据预处理；

训练模块，将预处理之后的数据输入到复合多粒度扫描IDF模型中并进行训练，训练完毕得到用户和电影的特征向量；

输出模块，将得到的特征向量进行拼接，得到用户-电影评分矩阵，将得到的矩阵输入协同过滤模型，得到最终的电影推荐结果。

Images