CN112287166B

CN112287166B - 一种基于改进深度信念网络的电影推荐方法及系统

Info

Publication number: CN112287166B
Application number: CN202011006569.0A
Authority: CN
Inventors: 刘方爱; 张悦
Original assignee: Shandong Normal University
Current assignee: Shandong Normal University
Priority date: 2020-09-23
Filing date: 2020-09-23
Publication date: 2023-03-07
Anticipated expiration: 2040-09-23
Also published as: CN112287166A

Abstract

本发明公开了一种基于改进深度信念网络的电影推荐方法及系统，包括：根据目标用户的电影评论记录、每部电影评论总数以及与目标用户具有相同评论记录的用户数得到每部电影的权重，以此构建目标用户的评论特征向量；根据目标用户的评论特征向量计算评论相似度，将评论相似度高于阈值的用户构建相似用户集；采用知识迁移法构建深度信念网络，并基于偏最小二乘法对深度信念网络模型进行优化后，得到训练后的深度信念网络；将目标用户与相似用户集的电影评论记录输入至训练后的深度信念网络中，输出电影推荐结果。将推荐系统与深度学习结合，通过高效地提取用户对电影的历史评论数据，为目标用户制定个性化电影推荐，提高推荐系统的推荐质量。

Description

一种基于改进深度信念网络的电影推荐方法及系统

技术领域

本发明涉及深度学习技术领域，特别是涉及一种基于改进深度信念网络的电影推荐方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目前，推荐系统在电子商务平台上已经得到广泛应用，推荐系统可以为平台用户提供个性化推荐，提升用户对平台的体验效果，同时帮助企业更好的推荐商品，进而获得更大利益，因此越来越多的电商网站应用推荐系统，如亚马逊的商品推荐、豆瓣的音乐推荐、新闻推荐等。通过推荐系统，不仅能为企业带来利润，还能满足用户的兴趣。

但是，推荐系统仍然面临数据稀疏性问题，推荐系统进行推荐的前提是获取用户的行为数据，只有充分了解该用户的兴趣爱好，才能对目标用户做精准的推荐，但是，若存在用户对项目的评论记录是缺失的，则会导致推荐质量的下降，如MovieLens数据集，用户很少对电影进行评分，电影评级数据的稀疏性导致无法对用户做个性化电影推荐，也是导致电影推荐系统质量下降的主要原因。

目前，解决数据稀疏性的有效方法是矩阵填充技术，将其他用户对此项目的平均值填充到评分矩阵中，但是这种方法没能考虑到用户的偏好习惯，不能从根本上解决稀疏性问题；深度学习中深度模型将用户的评分作为训练样本，通过神经网络的层层学习，对输入层的用户数据进行特征提取，从而预测缺失评分值。但是，当评分数据在稀疏的情况下，只考虑目标用户的评分记录很难学习到用户特征。

深度信念网络(Deep Belief Network，DBN)通过建立多层次表示模型表征样本数据的内部结构，即通过从低到高逐层地提取样本特征，从而获得样本数据更抽象的表示；然而针对如何确定模型结构和大小的描述在文献中很少见到。DBN的网络结构一般由经验得出，设定好网络结构，包括每层神经元个数和隐含层层数后便不再改变，承担更高的计算代价。

目前，DBN的研究在人工智能领域产生深远的影响，并且广泛应用于机器学习、模式识别、特征提取与数据挖掘领域中，然而网络结构的复杂程度，决定复杂问题的求解能力；因此，DBN的网络结构越复杂，对复杂问题的求解能力就越强。

在训练DBN的过程中，神经元个数越多、隐含层层数越深，训练就越困难，相应的训练时间就越长；同时，训练误差也在不断积累，导致模型的正确率不高；在实际应用中，DBN要针对不同的任务场景建立不同的网络结构，但是，由于缺乏相应的理论支持和高效的训练方法，需要根据经验设置网络参数，致使在建模过程中出现模型运行效率低、模型性能差的问题。因此，为了防止DBN训练精度不高或数据过拟合，DBN自主构建最佳网络结构是非常必要的。

随着对神经网络的深入研究，目前已经提出多种方法改进神经网络模型，如通过自组织结构确定人工神经网络结构，但是，当自组织结构应用到DBN上时，自组织结构会变得非常复杂，大大加重计算负担；同时，自组织结构的网络参数需要反复进行初始化，没有充分利用前面学习到的先验知识，这是自组织结构确定神经网络结构的劣势。因此，如何自主构建DBN最佳网络结构并获得良好性能也成为目前需解决的问题。

发明内容

为了解决上述问题，本发明提出了一种基于改进深度信念网络的电影推荐方法及系统，将推荐系统与深度学习结合，通过高效地提取用户对电影的历史评论数据，为目标用户制定个性化电影推荐，提高推荐系统的推荐质量。

为了实现上述目的，本发明采用如下技术方案：

第一方面，本发明提供一种基于改进深度信念网络的电影推荐方法，包括：

根据目标用户的电影评论记录、每部电影评论总数以及与目标用户具有相同评论记录的用户数得到每部电影的权重，以此构建目标用户的评论特征向量；

根据目标用户的评论特征向量计算评论相似度，将评论相似度高于阈值的用户构建相似用户集；

采用知识迁移法构建深度信念网络，并基于偏最小二乘法对深度信念网络模型进行优化后，得到训练后的深度信念网络；

将目标用户与相似用户集的电影评论记录输入至训练后的深度信念网络中，输出电影推荐结果。

第二方面，本发明提供一种基于改进深度信念网络的电影推荐系统，包括：

数据预处理模块，用于根据目标用户的电影评论记录、每部电影评论总数以及与目标用户具有相同评论记录的用户数得到每部电影的权重，以此构建目标用户的评论特征向量；

相似度构建模块，用于根据目标用户的评论特征向量计算评论相似度，将评论相似度高于阈值的用户构建相似用户集；

网络构建模块，用于采用知识迁移法构建深度信念网络，并基于偏最小二乘法对深度信念网络模型进行优化后，得到训练后的深度信念网络；

输出模块，用于将目标用户与相似用户集的电影评论记录输入至训练后的深度信念网络中，输出电影推荐结果。

第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。

第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。

与现有技术相比，本发明的有益效果为：

由于DBN具有很强的特征检测和提取能力，能够高效的提取输入样本中不同维度的属性数据，因此本发明将DBN与推荐系统相结合，通过高效地提取用户对电影的历史评论数据，为目标用户制定个性化电影推荐，提高推荐系统的推荐质量。

为解决推荐系统中存在的稀疏性问题，本发明提供基于TF-IDF权重的用户特征向量相似度计算方法为目标用户找到兴趣偏好相似的相似用户集，将目标用户评论数据与相似用户的评论数据作为训练样本输入到待构建的DBN中，通过自主构建DBN最佳网络结构，使DBN中的隐含层提取目标用户更多的有效特征，从而提高模型自主分析能力，保证模型达到最优状态，为推荐系统提供精准的推荐效率。

本发明自主构建深度信念网络，且使用偏最小二乘回归建模微调参数避免传统反向传播算法存在的问题，如局部最优和梯度弥散问题，加速复杂网络的训练，实现自主构建DBN最佳网络结构，提高模型自主分析能力，保证模型达到最优状态，本发明提出的DBN模型具有更高的预测精度和收敛速度，能够高效的提取输入样本中不同维度的属性数据。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明实施例1提供的基于改进深度信念网络的电影推荐方法流程图；

图2为本发明实施例1提供的DBN基本结构及学习过程示意图；

图3为本发明实施例1提供的sRBM的基本结构示意图；

图4为本发明实施例1提供的K-CD算法采样过程示意图；

图5为本发明实施例1提供的扩展网络宽度示意图；

图6为本发明实施例1提供的扩展网络深度示意图。

具体实施方式：

下面结合附图与实施例对本发明做进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例1

如图1所示，本实施例提供一种基于改进深度信念网络的电影推荐方法，包括：

S1：根据目标用户的电影评论记录、每部电影评论总数以及与目标用户具有相同评论记录的用户数得到每部电影的权重，以此构建目标用户的评论特征向量；

S2：根据目标用户的评论特征向量计算评论相似度，将评论相似度高于阈值的用户构建相似用户集；

S3：采用知识迁移法构建深度信念网络，并基于偏最小二乘法对深度信念网络模型进行优化后，得到训练后的深度信念网络；

S4：将目标用户与相似用户集的电影评论记录输入至训练后的深度信念网络中，输出电影推荐结果。

所述步骤S1中，对获取的电影评论记录数据进行标准化处理，所述标准化处理包括分析、分类、去除噪声、假数据和特征规范化等；将数据范围规范到[0，1]区间：

其中，x_ij表示样本点，

表示第j个变量的均值，s_j表示x_j的标准差；

经过预处理后，将N个训练样本X分为三类：训练集X_tr、验证集X_va和测试集X_te。

所述步骤S1中，将电影评分中少量的、异于大众的评分作为代表数据，本实施例通过基于TF-IDF权重的用户特征向量相似度计算相似用户集；

TF-IDF(Term Frequency–Inverse Document Frequency)是一种用于信息检索的常用加权技术，TF是词频，IDF是逆文档频率指数；TF-IDF用于计算文章的关键词或结合余弦相似算法寻找相似文章。

本实施例将TF-IDF与协调过滤结合，提出逆用户频率f_p,i，表示电影i的权重，f_p,i的定义如下：

其中，n_i是评论电影i的用户总数，

是具有与目标用户p对于电影i具有相同评论记录的用户数，分母加1是为了避免分母为0。

TF-IDF权重作用于某个电影项目评分上表示用户的偏好程度，根据目标用户p与平均评分的比较结果，结合TF-IDF权重得到基于TF-IDF权重的用户特征向量；目标用户p的特征向量T_p定义如下，

其中，

是用户p相对于平均评分关于电影项目i的偏好程度值，高于平均评分为1，否则为0。

所述步骤S2中，基于TF-IDF权重的用户特征向量采用Cosine Similarity(CS)计算用户相似度，即：

将相似度值按照从高到低排列，定义临界阈值a＝0.5，将超过临界阈值的用户构建目标用户u_p的相似用户集u_q。

所述步骤S3中，将目标用户与相似用户的评分数据输入到待构建的DBN中，利用知识迁移法对DBN进行自主构建，具体包括：

S3-1：初始化网络深度为2的基本DBN结构，包括可见层(输入层)、隐含层和输出层；由于添加相似用户集评分数据，本实施例将输入层分为两部分：一部分是可见层的目标用户的评分数据输入，另一部分是相似用户层的相似用户评分数据输入；

此外，本实施例对实验数据的批量分类、初始隐含层单元个数的设置、初始权重和偏置的设置、学习率和迭代次数进行设置，具体参数设置如下：

(1)实验数据的批量分类：面对大量数据样本，通过样本分类进行模型训练，小批量样本数据缓解计算负担，本实施例设置每次训练记录为30条。

(2)初始隐含层单元个数：本实施例设置单个隐含层单元个数为40。

(3)初始权重和偏置的设置：将连接权重、可见层、相似用户层和隐含层单元偏置初始化为符合正态分布的N(0,0.1)的随机数。

(4)学习率：不仅影响着预训练的训练效率，还影响微调阶段的参数更新；若动量学习率设置过大，梯度可能在最小值附近来回震荡，甚至可能无法收敛；若设置过小，会导致收敛速度慢、训练时间长等问题，本实施例设置预训练阶段的学习率为0.01，微调阶段的学习率为0.1。

(5)迭代次数：合理的迭代次数可以有效提高模型性能，为了让每个受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)得到充分训练，本实施例将迭代次数设置为300次。

S3-2：预训练特征学习。在预训练中，每个RBM自下而上利用对比散度(Contrastive Divergence，CD)算法完成训练并保存网络参数，模型训练的目的是DBN通过特征学习后，能够最大程度地反映真实数据，通过对高维数据进行特征提取和降维，从而可以对数据进行预测和分类。

在本实施例中，构建的DBN模型是由多层RBM有序堆叠组成的概率生成模型，DBN的学习过程分为两个阶段：无监督学习和有监督学习；首先，DBN的预训练过程是使用无监督逐层贪婪的方法依次训练每个RBM，通过对比散度算法获得网络权值参数；其次，采用有监督偏最小二乘回归(Partial Least Square Regression，PLSR)方法对权值参数进行微调。无监督学习过程由输入层到顶层的联想记忆层，反之为有监督学习过程，具体的DBN基本结构及学习过程如图2所示。

基于RBM的无监督学习是通过逐层训练堆叠的RBM获得初始权值的过程，由于相似用户层的加入，本实施例对传统的RBM进行改进，并称之为sRBM，sRBM的基本结构如图3所示；

给定一组状态v＝(v₁,v₂,...,v_n)、相似用户层s＝(s₁,s₂,...,s_n)、h＝(h₁,h₂,...,h_m)和一组参数

其能量函数和联合概率分布的定义如下：

其中，Z(θ)是配分函数，v是可见层单元向量，s是相似用户层单元向量，h是隐含层单元向量，

是连接可见层和隐含层的权重矩阵，

是连接相似用户层和隐含层的权重矩阵，b_i和c_j分别为可见层单元和隐含层单元的偏置向量。

通过联合概率分布计算关于v的边缘概率分布：

对RBM的权值参数进行更新，需要对P(v|θ)求偏导数，参数更新规则如下：

θ_i+1＝θ_i+μΔθ (10)

其中，μ为模型的学习率。

由于式(9)中第二部分含有配分函数计算复杂度高，因此通常采用CD算法近似计算E_model；CD算法的训练过程需K步(通常K＝1)吉布斯采样，K-CD算法采样过程如图4所示；

在采样过程中，当给定可见层单元状态和相似用户层单元状态时，第j个隐含层单元的激活概率为：

同理，当给定隐含层单元状态时，第i个可见层单元的激活概率为：

由于RBM单元状态取值是二元的，以隐含层单元为例，隐含层单元h_j∈{0,1}的状态值由随机数r_j∈[0,1]决定，h_j的取值状态如下：

在无监督学习过程中，利用贪婪逐层训练算法自下而上依次训练各层RBM，每个RBM的隐含层映射到不同的特征空间，层级越高的隐含层获得更加抽象的特征，最后的隐含层与顶层的输出层构成联想记忆层，该层能关联其余各层的最优参数，通过无监督学习方式，使得DBN获得先验知识。本实施例将预训练获得的初始权重作为知识迁移过程中的重要知识，以此确定DBN最佳网络结构。

S3-3：DBN网络预训练算法为：

S3-4：计算重构误差：在每层RBM中，通过CD算法得到可见层输入样本的重构值，以重构值和初始的输入样本之差计算重构误差；

若重构误差达到最小预设值，则停止构建完成预训练阶段，否则，根据重构误差值进入下一步；

重构误差的定义如下：

其中，n和m分别为训练样本的个数和特征数，v_ij和

分别为原始输入和重构输入；

为防止训练数据过拟合或重构数据偏差较大，同时平衡网络训练代价，当两次重构误差的差值小于预设值ε时，网络停止扩展：

其中，h^(k)表示第k层隐含单元个数，L表示隐含层层数，Re^(k)表示当前第k层的重构误差，i表示迭代数，ε表示预设值，预设值的选择是决定网络模型结构是否最优化的关键，预设值过大，无法构建最优网络结构；预设值过小，导致隐含层单元过多、层数更深，增加计算负担，针对DBN分类预测实验，本实施例选择ε₁＝0.05和ε₂＝0.03时，达到最佳网络模型结构。

S3-4：扩展网络宽度即增加新的隐含层神经元，本实施例每次增加的隐含单元数量为初始结构隐含单元数量的一倍，完成这一步骤后进行预训练；

本实施例将迁移学习的思想应用到DBN中，以获得期望的DBN，知识迁移的基本思想是将初始网络中学习到的知识迁移到新的结构更复杂的网络中以加速复杂网络的训练；

为了扩展网络宽度，本实施例每次增加的隐含单元数量为初始结构的一倍，并用两倍高维权重矩阵

和

替代初始权重W⁽ⁱ⁾∈R^m×n和W⁽ⁱ⁺¹⁾∈R^n×p，并引入随机映射函数f:{1,2,...,2n}→{1,2,...,n}：

引入新的权重矩阵

和

表示为新的复杂网络的的权值，并给出新的权重：

需要说明的是，初始矩阵W⁽ⁱ⁾的前n列被直接复制到

中，剩余n列通过选择f中的一个随机变量创建；对于

的权值需要除以复制因子

调整网络中的权值。

本实施例为每个RBM层都引入随机映射函数f，需要说明的是，由于第一个隐含层的特殊性，w^vh和w^sh的权重更新方式按照式(17)和(18)，根据迁移知识规则式(17)和(18)，将初始结构中第i层学习到的权重参数重复地迁移到新的网络结构对应层中，将学习到的知识复用是知识迁移的本质思想，如图5所示为扩展网络宽度的过程。

S3-5：扩展网络深度即增加新的隐含层，新层隐含层单元数量初始设置为与下面层单元数量相同。完成这一步骤后进行预训练；

扩展网络宽度是为了让每一层隐含层学习到更加丰富的特征，而扩展网络深度意味着增强非线性表达能力，从而可以拟合更加复杂的特征输入；

具体而言，是将当前网络的最后一个隐含层替换为一个identity模块，该模块有两层，其初始化为使用恒等映射(Identity Mapping)以保留原始功能，即用两层

替换为原隐含层h⁽ⁱ⁾＝φ(h^(i-1)W⁽ⁱ⁾)，具体扩展网络深度过程如图6所示。因此，新层隐含层单元数量初始设置为与下面层单元数量相同，当对该层执行扩宽操作时，可以进一步变宽，新矩阵

初始化单位矩阵，并在训练过程中更新。

扩展网络深度过程对激活函数有约束，即对于所有向量v，激活函数必须满足：φ(Iφ(v))＝φ(v)；这种特性适用于线性整流激活函数(ReLU)，但对于sigmoid和tanh激活函数无效，然而对于DBN来说，仍然可以使用sigmoid激活的网络权重，固定当前结构参数，进入有监督微调阶段。

所述步骤S3中，基于偏最小二乘法PLSR对深度信念网络模型进行网络参数微调优化，PLSR是一种多对多的建模方法，当多个因变量和自变量存在多重相关性，而观测数据的样本又较少时，用PLSR建立的回归模型具有传统的经典回归分析所没有的优势，PLSR可以避免传统BP算法存在的问题，如梯度弥散和局部最优等问题，虽然PLSR是一种建模方法，但也属于有监督学习算法。具体步骤如下：

S3-6：预训练结束后，通过使用样本的输入数据X和学习到的权重提取所有隐含层的特征向量矩阵：

需要说明的是，由于第一层隐含层的权重参数包括可见层权重矩阵和相似用户层的权重矩阵，所以，第一层的隐含层的特征向量H₁是可见层权重矩阵

和相似用户层的权重矩阵

相加。

S3-7：采用偏最小二乘法进行网络参数微调，偏最小二乘回归建模过程是自顶向下，且每两层建立偏最小二乘回归方程，从而得到由偏最小二乘回归模型优化后的输出权重矩阵；

目标输出Y和H_l的建模过程包括如下步骤：

S3-7.1：提取第一成分：已知H_l和Y都经过标准化处理，从H_l中提取第一个成分u₁，u₁＝H_lp₁(20)，p₁为H_l的第一个轴，且||p₁||＝1，u₁是标准化变量h_l1,h_l2,...,h_lm的线性组合；

从中Y提取第一个成分v₁，v₁＝Yq₁(21)，q₁为Y的第一个轴，且||q₁||＝1。

本实施例要求u₁和v₁能分别保留H_l和Y最大信息量，且u₁对v₁具有最大的解释能力，根据主成分分析原理，实际上是要求u₁和v₁的方差最大，因为方差是反映数据波动情况，方差越大，越能最大程度地反映出原来的信息，要使得u₁和v₁的方差Var(u₁)Var(v₁)最大，u₁和v₁的相关系数r(u₁,v₁)最大，即最大化u₁和v₁的协方差cov(u₁,v₁)，形式化描述为：

引入拉格朗日乘子求解该优化问题：

分别对p₁和q₁求偏导，得到：

推导出：

λ＝θ (26)

可见，p₁是

是特征向量，λ²是对应的特征值，而目标函数是求<u₁,v₁>最大化，即有如下推导：

即p₁是

的最大特征值对应的单位特征向量；同理，q₁是

的最大特征值对应的单位特征向量；

求得第一个轴p₁和q₁后，即可得到成分u₁＝H_lp₁，v₁＝Yq₁；

然后分别求H_l和Y对u₁的回归方程：

Y＝u₁r₁+F (30)

式(29)和(30)中的回归系数向量c₁和r₁使用最小二乘法计算为：

而(31)和(32)中E和F分别是两个回归方程的残差矩阵。

S3-7.2：提取第二成分：将残差矩阵E和F取代H_l和Y，并用同样的方法计算出p₂和q₂，得到：

u₂＝Ep₂ (33)

v₂＝Fq₂ (34)

同理，p₂和q₂分别是E^TFF^TE和F^TEE^TF的最大特征值对应的单位特征向量；

E和F对u₂的回归方程为：

F＝u₂r₂+F₁ (36)

计算第二组回归系数：

以此类推，通过最小化绝对误差(Absolute Error，AE)确定最佳主成分个数，并停止迭代；

其中，Y是期望输出，

是提取m个主成分的预测输出。

S3-7.3：建立偏最小二乘回归方程，并得到优化后的输出权重向量；

m值确定后，最终得到Y对u₁,u₂,...,u_m的偏最小二乘回归方程：

式(40)写成矩阵形式，如下：

因此，y和h_l的偏最小二乘模型描述为：

式(42)中，

是h_l的预测向量，m(l)是第l层的最佳成分个数，R_m(l)是h_l的回归系数矩阵，P_m(l)是变换矩阵；

因此，用PLSR模型优化后的输出权重矩阵为：

PLSR建模过程是从h_l-1和h_l-2到h₁和v_in每两层之间重复进行，当执行完输入层和第一个隐含层后，参数微调阶段终止，得到所有优化后的权重矩阵：

至此，DBN的自主构建过程完成。

所述步骤S4中，对未评分的电影进行预测，从而推荐预测值高的电影；

训练好的DBN进行推荐时，每个可见层单元代表用户对于电影的评分，相似用户层单元代表相似用户对于电影的评分，给定目标用户的评分矩阵，作为可见层输入，与此用户兴趣偏好相似的用户评分数据作为相似用户层的输入，通过DBN计算，得到缺失值的预测值P_ui如(45)所示，并根据P_ui值从大到小进行排序，取前N部电影推荐给目标用户。

本实施例实现在评分数据稀疏的情况下进行电影推荐，将深度学习与推荐系统相结合，利用深度信念网络强大的特征提取能力，提出基于改进深度信念网络的电影推荐方法。为了缓解数据稀疏性，利用基于TF-IDF权重的用户特征向量相似度计算方法为目标用户找到兴趣偏好相似的相似用户集；将目标用户与相似用户的评分数据输入到待构建的DBN中，利用知识迁移的方法对DBN进行自主构建；最后对构建好的DBN利用偏最小二乘法对网络参数进行微调，最终得到训练好的DBN模型；利用训练好的DBN对项目缺失值进行预测，从而推荐预测值高的电影，实现了个性化电影推荐。为了验证模型的预测性能，本实施例在ML-20M公开数据集上进行基准测试实验，通过与其他传统算法相比，本实施例提出的DBN模型在预测性能和训练时间等方面均优于其他固定模型，具有更高的预测精度和收敛速度。

实施例2

本实施例提供一种基于改进深度信念网络的电影推荐系统，包括：

此处需要说明的是，上述模块对应于实施例1中的步骤S1至S4，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在更多实施例中，还提供：

一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。

应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。

一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。

实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种基于改进深度信念网络的电影推荐方法，其特征在于，包括：

采用TF-IDF权重计算每部电影的权重，包括：

根据每部电影评论总数以及与目标用户具有相同评论记录的用户数得到逆用户频率；

根据目标用户的电影评论记录与平均阈值的比较结果得到目标用户关于电影的偏好程度值；

根据逆用户频率与偏好程度值得到该电影的权重；

2.如权利要求1所述的一种基于改进深度信念网络的电影推荐方法，其特征在于，初始化基本深度信念网络，包括输入层、隐含层和输出层，输入层包括可见层和相似用户层，所述可见层输入目标用户的电影评论记录，所述相似用户层输入相似用户的电影评论记录；

由多层RBM有序堆叠组成的概率生成深度信念网络，使用无监督逐层贪婪方法依次训练每个RBM，每个RBM的隐含层映射到不同的特征空间，层级越高的隐含层获得更加抽象的特征，最后的隐含层与顶层的输出层构成联想记忆层，联想记忆层关联其余各层的最优网络权值参数；

通过对比散度算法获得网络权值参数，采用有监督偏最小二乘回归方法对网络权值参数进行微调，完成深度信念网络预训练。

3.如权利要求1所述的一种基于改进深度信念网络的电影推荐方法，其特征在于，扩展深度信念网络宽度即增加新的隐含层，每次增加的隐含层数量为初始深度信念网络隐含层数量的一倍，并用两倍高维权重矩阵替代初始权重，引入随机映射函数，更新网络权值参数，进行深度信念网络预训练。

4.如权利要求1所述的一种基于改进深度信念网络的电影推荐方法，其特征在于，扩展深度信念网络深度即增加新的隐含层，新的隐含层数量初始设置为与下一层单元数量相同，增加新的隐含层后，进行深度信念网络预训练。

5.如权利要求1所述的一种基于改进深度信念网络的电影推荐方法，其特征在于，根据目标用户与相似用户集的电影评论记录以及网络权值参数提取所有隐含层的特征向量矩阵；

提取特征向量矩阵的第一成分，以最大化第一成分的协方差为目标函数，得到第一成分的回归方程及残差矩阵；

以第一成分的残差矩阵作为第二成分代替第一成分，得到第二成分的回归方程，依次迭代，直到得到最佳主成分个数的期望输出；

建立期望输出的偏最小二乘回归方程，输出优化后的网络参数权重矩阵。

6.如权利要求1所述的一种基于改进深度信念网络的电影推荐方法，其特征在于，将目标用户的电影评论记录作为深度信念网络可见层的输入，将相似用户集的电影评论记录作为深度信念网络相似用户层的输入，得到未被评论的电影评分预测值，将预测值排序后，选取前N部电影推荐给目标用户。

7.一种基于改进深度信念网络的电影推荐系统，其特征在于，包括：

数据预处理模块，用于根据目标用户的电影评论记录、每部电影评论总数以及与目标用户具有相同评论记录的用户数得到每部电影的权重，以此构建目标用户的评论特征向量；采用TF-IDF权重计算每部电影的权重，包括：

根据每部电影评论总数以及与目标用户具有相同评论记录的用户数得到逆用户频率；根据目标用户的电影评论记录与平均阈值的比较结果得到目标用户关于电影的偏好程度值；根据逆用户频率与偏好程度值得到该电影的权重；

8.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。