CN110807154A - 一种基于混合深度学习模型的推荐方法与系统 - Google Patents

Abstract

本发明实施例涉及一种基于混合深度学习模型的推荐方法与系统。所述推荐方法包括：获取原始评分矩阵和项目评论文档作为推荐系统的输入；基于所述原始评分矩阵构建初始用户隐特征向量；基于项目评论文档构建初始项目隐特征向量；通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征与项目隐特征的更加准确的预测评分矩阵；基于所述预测评分矩阵进行个性化推荐作为所述推荐系统的输出。本发明实施能够解决了推荐系统数据极度稀疏性和推荐精度不准确的问题，利用混合深度学习模型提取多源异构数据的非线性特征，融入到基于概率矩阵分解的协同过滤推荐算法中，从而使得推荐系统的关键性能得到改善。

Description

一种基于混合深度学习模型的推荐方法与系统

技术领域

本申请实施例涉及深度学习领域，特别涉及一种基于混合深度学习模型的推荐方法和系统。

背景技术

随着移动互联网、物联网、社交网络、云计算和人工智能等新一代信息技术与行业、产业紧密结合，将人们带进了大数据时代。随着信息资源迅猛增长，用户要在海量信息空间中获取符合自己需求信息变得非常困难。为了解决这些问题，个性化推荐系统应运而生，主要的推荐方法有以下三种：基于内容的推荐，协同过滤推荐和混合推荐，由于各种推荐方法都有优缺点，所以混合推荐经常被采用，研究和应用最多的是内容推荐和协同过滤推荐的混合，但基于内容的推荐获取的是浅层特征，不能很好的描述用户与项目的行为特征，导致推荐精度不高。深度学习模型的出现，恰好能够提取到深层次的特征，使得混合推荐系统不仅具有传统推荐方法的简单、可解释性强等优点，而且使得推荐精度更高，已经成为越来越多的研究者关注的研究热点。但是现有技术中的推荐算法的推荐精度还存在改进的空间。

申请内容

本申请提供了一种基于混合深度学习模型的推荐方法和系统，能够提供推荐精度。为了解决上述技术问题，本申请实施例一方面提供了一种基于混合深度学习模型的推荐方法，包括：

获取原始评分矩阵和项目评论文档作为推荐系统的输入；基于所述原始评分矩阵构建初始用户隐特征向量；基于所述项目评论文档构建初始项目隐特征向量；通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征与项目隐特征的更加准确的预测评分矩阵；基于所述预测评分矩阵进行个性化推荐作为所述推荐系统的输出。

作为优选，所述基于所述原始评分矩阵构建初始用户隐特征向量，包括：采用栈式降噪自编码器对所述原始评分矩阵建模并进行训练，从训练得到的模型中提取隐层作为所述初始用户隐特征向量。

作为优选，所述通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征与项目隐特征的更加准确的预测评分矩阵，包括：采用梯度下降算法进行更新所述初始用户隐特征向量，并且采用误差反向传播算法进行更新所述栈式降噪自编码器的参数。

作为优选，所述基于所述项目评论文档构建初始项目隐特征向量，包括：利用所述项目评论文档构建主题词向量和主题概率，将所述主题词向量和所述主题概率应用于主题模型，得到文档主题向量；采用卷积神经网络对所述项目评论文档建模并进行训练，从训练得到的模型中提取输出层作为文档特征向量从训练得到的模型中提取输出层作为文档特征向量；基于所述文档主题向量和所述文档特征向量获得所述初始项目隐特征向量。

作为优选，所述通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征与项目隐特征的更加准确的预测评分矩阵，包括：采用梯度下降算法进行更新所述初始项目隐特征向量，并且采用误差反向传播算法进行更新所述卷积神经网络的参数。

作为优选，所构建新的推荐系统目标函数至少基于所述初始用户隐特征向量和初始项目隐特征向量并且基于贝叶斯公式而得到。

作为优选，还包括：获取更新评分矩阵，所述更新评分矩阵与所述原始评分矩阵的变化与所述推荐系统的输入相关；利用所述更新评分矩阵替换所述原始矩阵进行更新所述推荐系统。

另外一方面，本发明提供一种基于混合深度学习模型的推荐系统，包括：输入模块，获取原始评分矩阵和项目评论文档作为推荐系统的输入；第一构建模块，基于所述原始评分矩阵构建初始用户隐特征向量；第二构建模块，基于所述项目评论文档构建初始项目隐特征向量；生成模块，通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征与项目隐特征的更加准确的预测评分矩阵；输出模块，基于所述预测评分矩阵进行个性化推荐作为所述推荐系统的输出。

作为优选，所述第一构建模块具体用于：采用栈式降噪自编码器对所述原始评分矩阵建模并进行训练，从训练得到的模型中提取隐层作为所述初始用户隐特征向量。

作为优选，所述第二构建模块具体用于：利用所述项目评论文档构建主题词向量和主题概率，将所述主题词向量和所述主题概率应用于主题模型，得到文档主题向量；采用卷积神经网络对所述项目评论文档建模并进行训练，从训练得到的模型中提取输出层作为文档特征向量；基于所述文档主题向量和所述文档特征向量获得所述初始项目隐特征向量。

基于上述实施例的公开可以获知，本发明实施能够解决了推荐系统数据极度稀疏性和推荐精度不准确的问题，利用混合深度学习模型提取多源异构数据的非线性特征，融入到基于概率矩阵分解的协同过滤推荐算法中，从而使得推荐系统的关键性能得到改善。

附图说明

图1为根据本发明实施例的推荐方法的示意性流程图。

图2为根据本发明另一实施例的SCLPMF模型概率图。

图3为根据本发明另一实施例的推荐方法的示意性流程图。

图4为根据本发明另一实施例的推荐系统的示意性框图。

具体实施方式

下面，结合附图对本申请的具体实施例进行详细的描述，但不作为本申请的限定。

应理解的是，可以对此处公开的实施例做出各种修改。因此，下述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本公开的具体实施例；然而，应当理解，所公开的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。下面，结合附图详细的说明本申请实施例。

本发明实施例

2007年Salakhutdinov等人首次将深度学习应用于解决推荐问题，提出一种基于受限玻尔兹曼机RBM(Restricted Boltzmann Machines)的协同过滤推荐模型，他们将受限制的玻尔兹曼机器修改为由二元隐藏单元和softmax可见单元组成的双层无向图形模型，用于协作过滤任务，实验证明该模型相比传统推荐算法的性能更好，但是最大的问题是权重参数规模过大，训练时间过长，导致在实际应用中受到很大的限制。之后，Strub等人采用栈式降噪自编码器SDAE(Stacked Denoising Autoencoder)，将用户和项目的评分向量分别输入，进行预测。但这类方法仍然无法改变传统协同过滤存在的数据稀疏问题，因此，通过融入辅助信息，缓解数据稀疏问题，Wang等人提出了协同主题回归模型，用主题模型LDA(Latent Dirichlet Allocation)处理项目辅助信息，结合概率矩阵分解进行拟合评分，实验证明该方法可以有效的提高推荐的精度，但是只是提取的用户和项目的主题特征表示，忽略了上下文特征表示，并不能够获取有效的辅助数据表示。Wang等人提出了一种关系栈式降噪自编码器RSDAE(Relational Stacked Denoising Autoencoder)，采用SDAE学习项目中的隐特征，并融入标签系统中存在的各种关系数据，通过概率矩阵分解拟合评分进行推荐，但是项目的文本辅助信息是由词袋(Bag of words)表示，这种方法忽略了文本上下文所包含的信息，导致项目的特征表示准确性不高。针对这个问题，Kim等人提出了基于卷积矩阵因子分解模ConvMF(Convolutional Matrix Factorization)，利用卷积神经网络CNN(Convolutional Neural Network)处理项目的文本信息，学习到项目的隐特征，融入到通过概率矩阵分解PMF(Probability Matrix Factorization)分解的评分矩阵中，提高了评分预测的准确性，但是该方法只是单独的运用了项目评论文档，没有对用户的隐特征表示进行研究。

图1为根据本发明实施例的推荐方法的示意性流程图。图1的基于混合深度学习模型的推荐方法100包括：

110：获取原始评分矩阵和项目评论文档作为推荐系统的输入；

120：基于原始评分矩阵构建初始用户隐特征向量；

130：基于项目评论文档构建初始项目隐特征向量；

140：通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征与项目隐特征的更加准确的预测评分矩阵；

150：基于所述预测评分矩阵进行个性化推荐作为所述推荐系统的输出。

具体而言，利用PMF模型，评分矩阵可以分解为两个低维矩阵的乘积：

R＝U^TV (1)

将用户隐特征向量和项目隐特征向量应用于概率矩阵分解模型，生成预测评分矩阵，例如，根据公式(1)生成预测评分矩阵。

应理解，原始评分矩阵指示多个用户对多个项目的评分情况，项目评论文档由对多个项目的评论文本构成。评论文档可以为项目评价平台上的关于项目的介绍或评价等任何文字说明，本发明实施例对此不作限定。原始评分矩阵通常为稀疏矩阵，而由优化后的用户隐特征向量和优化后的项目隐特征向量相乘而获得的矩阵为预测评分矩阵。具体地，可以将预测评分矩阵中指示待推荐的一个或多个元素进行提取来生成预测评分矩阵。此外，作为一个优选的实施例，在所述多个元素中选择K个值作为K个推荐向用户呈现。

作为另一个优选的实施例，本发明实施例的推荐方法还可以包括：基于目标更新时间段获取更新评分矩阵，更新评分矩阵与原始评分矩阵的变化与推荐系统的输出相关；利用更新评分矩阵替换原始矩阵进行更新推荐系统，其中目标更新时间段与上述获得的待推荐的元素的个数成反相关，例如，目标更新时间段T(小时)x待推荐项目个数＝100。应理解，所述的相关是指当用户基于本发明实施例的推荐系统的方法而产生行为时，原始评分矩阵会发生改变，此处采用与待推荐元素个数成反相关的目标更新时间段，兼顾了系统的计算效率和推荐效果，当需要推荐的项目较多数，进行较快速的更新，提供推荐的效率；而当待推荐的项目较少时，采用较长的更新时间，节省了推荐系统的计算资源。具体地，例如，当从预测评分矩阵中得出待推荐项目超过100个时，可以采用每1小时更新一次；如果推荐项目少于10个时，可以采用每10小时更新一次，应理解，只要成反相关的目标更新时间与推荐项目个数，都在本发明的保护范围内。因此，采用本实施例的方法，可以实现实时更新推荐系统的模型，从而实现更及时和准确的推荐。

还应理解，基于项目评论文档构建初始项目隐特征向量可以采用各种模型来实现。作为一个优选的实施例，采用卷积神经网络CNN得到的文档的特征和主题模型LDA提取的文档的主题特征进行融合，其融合方式可以为任意地，作为一个优选的实施例，采用非线性迭代融合方式，即，卷积神经网络的特征的系数为A_n，主题模型LDA的特征的系数为B_n，A_n和B_n满足如下的关系，A_n＝1-B_n-1 ^N，B_n＝1-A_n其中0<A_n，B_n<1；N为大于2的整数，n为正整数。由于CNN模型含有更多的上下文隐含信息，采用这种迭代的方式具有微调节融合的权重的效果，使得推荐系统更多的兼顾上下文隐含信息。

作为另一优选的实施例，可以采用线性加权融合方式，其优点为简单，计算量小。

本发明实施能够解决了推荐系统数据极度稀疏性和推荐精度不准确的问题，利用混合深度学习模型提取多源异构数据的非线性特征，融入到基于概率矩阵分解的协同过滤推荐算法中，从而使得推荐系统的关键性能得到改善。

换句话说，融合辅助信息与评分数据的推荐方法是推荐系统领域的研究热点，但由于大部分相关性研究中都是对优化用户和项目隐特征进行单独研究，辅助信息表示还存在着单一性和准确性不高问题，推荐的精度还有一定的上升空间，而且从项目评论信息提取的项目隐特征面临着艰巨的问题就是辅助数据的准确表示，本发明解决了这些问题。最后通过实验将本文提出的新推荐模型LSCPMF(fusion LDA based on SDAE,CNN and PMF)与经典的PMF、CDL(Collaborative Deep Learning)与ConvMF等模型进行实验结果对比，验证了本文提出的模型的可行性和有效性。

具体而言，就技术效果而言，本发明实施例的推荐方法是一种融合主题和深度学习模型的概率矩阵分解推荐算法。针对用户隐特征表示欠缺的问题，使用栈式降噪自编码器SDAE模型对用户评分矩阵建模，提取用户的隐特征表示；针对从项目评论信息提取的项目隐特征准确问题，采用CNN模型和LDA模型提取项目评论文档的特征表示，CNN模型与LDA模型提取项目评论文档的特征表示具有差异性和互补性，其中卷积神经网络CNN可以获取全局信息以及上下文的之间的联系，但是不能挖掘文档中关键性和代表性信息；而LDA模型可以获取多个显著特征单独表示，忽略了特征之间的联系。将它们获取的特征表示融合之后，可以获取项目文档多层次的表示，解决项目评论文档特征提取不全面问题。然后将新的项目文档多层次表示和用户隐特征表示融入到PMF模型中，解决了推荐系统中数据稀疏和准确性问题。

根据图1的推荐方法，基于原始评分矩阵构建初始用户隐特征向量，包括：采用栈式降噪自编码器对原始评分矩阵建模并进行训练，从训练得到的模型中提取隐层作为初始用户隐特征向量。例如，从训练得到的模型中提取输出层作为用户隐特征向量，例如可以为提取最后一个DAE的隐层作为用户的特征向量。

具体而言，在已有的研究中大多数是仅单一考虑项目优化特征，用户隐特征的表示欠缺，为了提高推荐的准确度，我们采用SDAE模型处理用户评分向量，它能在没有辅助信息的情况下有效提取用户隐特征表示。SDAE网络训练采用非监督逐层贪婪训练算法，由n个DAE网络(c₁～c_n)组成，本文生成用户隐特征的算法流程如下所示：

步骤1：初始输入数据s_i为用户对项目的评分向量，并随机加入一些噪声。

步骤2：在逐层训练时，当第1层DAE训练完成后，固定第1层的网络权重，并将其编码输出y₁作为第2层的输入，依次进行，当n层DAE训练完成后，得到单独训练各层DAE的权重，作为SDAE网络的初始权重。

步骤3：第四层DAE的输出作为重构用户评分向量

然后根据公式2，利用误差反向传播的方法进行参数微调。

步骤4：当SDAE网络训练完成之后，使用最后一个DAE的隐层作为用户评分向量的有效特征，也就是用户隐特征向量。

根据图1的推荐方法，基于项目评论文档构建初始项目隐特征向量，包括：利用项目评论文档构建主题词向量和主题概率，将主题词向量和主题概率应用于主题模型，得到文档主题向量；采用卷积神经网络对项目评论文档建模并进行训练，从训练得到的模型中提取输出层作为文档特征向量；基于文档主题向量和文档特征向量获得初始项目隐特征向量。

应理解，对于项目评论文本建模而言，已有的相关性研究中从项目评论文档提取的项目隐特征表示还存在着单一性和准确性不高问题。综合考虑评论主题特征与深层语义信息，本文首先使用Word2vec构建词向量模型，它可以快速的构建单词的词向量模型，把原先的词嵌入到一个新的空间，能有效的表征词的语义信息。建立词向量模型之后，分别使用LDA主题模型和文本卷积神经网络对项目评论文档建模，但是，构建项目隐特征向量包括但不限于LDA建模和CNN建模。

具体而言，LDA作为一种基于概率模型的主题模型算法，用来识别文档中隐含的主题信息。LDA主题模型虽然忽略了特征之间的联系，但是可以获取项目评论文档的多个显著特征单独表示。使用LDA模型构建项目评论文档潜在主题表示，在项目评论文档数据集中，每一行为一个项目的所有评论，每一个项目的评论代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布，从而将文本信息转化为了易于建模的向量信息。针对于每个项目的评论文档，从项目评论的全部主题分布中提取其中一个项目评论主题分布，从被抽到的项目主题下的单词分布中提取一个单词，直至遍历整个评论文档中的每个单词，LDA认为每篇文档是多个主题混合而成，而每个主题可以由多个词的概率表征,主题模型LDA的计算公式为：

p(W_j，n|j)＝p(W_j，n|k_n)*p(W_j，n|j) (2)

其中：w_j，n表示项目评论j中的第n单词，k_n表示单词对应的主题。本文生成项目评论文档-主题向量过程如下：

步骤1：输入为项目评论文档Y_j，对每一篇项目评论文档Y_j，从项目主题分布中抽取一个主题；

步骤2：从已经被抽到的项目主题所对应的单词分布中抽取一个单词；

步骤3：重复1、2过程直至遍历文档中的每一个单词；最后输出主题模型“LDAmodel”，每个项目的评论的各个词被指定的主题编码，每个项目评论的主题概率分布，每个主题下的词概率分布，每个主题下概率为降序排序的特征词。

步骤4：之后，对每个主题下对应的单词分别进行词向量表示，并与对应的概率进行相乘，然后进行加权得到主题词向量表示。

步骤5：对每个文档下的主题概率与主题词向量进行乘积表示，加权得到文档主题向量表示。

步骤6：输出项目评论文档潜在主题表示向量。

对于CNN建模，卷积神经网络CNN虽然不能挖掘项目评论文档中关键性和代表性信息，但是它可以获取全局信息以及上下文的之间的联系。CNN模型中的卷积操作可以获取项目评论文档中词语之间的相互关联，并学习到项目的全局信息以及上下文的之间的联系，继而得到项目的隐特征向量，具体过程如下所示：

1)嵌入层

输入经过Word2Vec处理好的词向量矩阵，则形成的词向量矩阵如公式(3)所示。

2)卷积层

在卷积层中，对词向量矩阵G提取特征，得到不同文本卷积神经网络的卷积操作可以用公式(4)表示。

其中公式中A表示某个卷积核上的激活值，w_ij是权重，relu为本文采用的激活函数，G表示卷积层的输入词向量矩阵。

经过以上的卷积操作，卷积层的输出公式(5)表示

A＝[A₁，A₂，...A_i] (5)

其中A为经过不同卷积核形成的项目评论文档新特征，作为卷积池化层的输入。

3)池化层

池化层采用最大池化，每一个卷积核对应一个值，把这些值拼接起来，就得到一个表征该句子的新特征量。

4)输出层

映射成最后的项目隐特征表示。利用卷积神经网络将原始的项目评论文档转换成项目隐特征向量，输出项目评论文档的深层语义表示矩阵，用公式(6)向L维空间进行映射：

cnn(w′，Y_j)＝relu(W₀₁{relu(W_h1d₂+b₀₁)}+b₀₂) (6)

其中，w₀₁，w₀₂为映射矩阵，b_m2，b_m1为偏置，d_z为池化层的输出结果。

对于融合LDA模型和CNN模型获取项目的多层次表示而言，使用LDA模型和CNN模型获取项目潜在低维主题信息及深层语义信息之后，考虑了项目评论文档局部的潜在的主题特征，同时也注意到推荐也会受到项目评论的全局的深层语义影响。

根据本发明实施例，为了同时综合考虑两者的关系，可以采用各种方式将两者关联起来，例如构建各种线性和非线性的函数将两者关联起来。例如，将采用倒数关系将两者关联。此外，还可以采用线性函数将两者关联，下文以线性加权函数为例进行描述。

在加权整合主题信息及语义信息得到新的项目评论文档特征的情况下，如公式所示：

v_j＝(1-ω)θ_j+ωcnn(w′，Y_j) (7)

其中：cnn(w′，Y_j)为经过卷积神经网络CNN处理得到的文档的特征，θ_j为通过主题模型LDA提取的文档的主题特征，ω为权重。

本实施例的优异效果：LDA主题模型可以获取项目评论文档多个显著特征单独表示，忽略了特征之间的联系，而CNN模型中不能挖掘文档中关键性和代表性信息，但是可以获取全局信息以及上下文的之间的联系。通过线性函数将两者结合起来，得到新的项目评论文档向量，对于项目评论文档，既考虑了项目评论文档的局部信息，又考虑了项目评论文档的全局信息，得到项目评论文档的多层次表示，解决项目评论文档特征提取不全面问题。

然后，本发明的优选实施例为融合SDAE模型与LC模型以构建LSCPMF模型，极好地解决了传统的概率矩阵分解模型中数据稀疏和准确性问题。

首先使用SDAE模型处理用户评分向量得到用户向量，然后基于线性关系的LDA主题模型与CNN卷积神经网络(LC模型)提取项目评论文档多层次特征表示Y_j；然后将多层次特征应用于项目的隐因子V中，其中LDA主题模型输出与CNN卷积神经网络输出都与PMF模型的隐因子个数相同；最后，使用用户的隐因子和物品的隐因子V重构评分矩阵R，如图2的SCLPMF模型概率图所示。

图中R为评分，U、V分别为用户与项目隐特征，θ为主题分布，Y_j为卷积神经网络的输入。w′为权重，L为卷积神经网络的输出。

对于传统的概率矩阵分解模型PMF，用户对项目的评分R_ij的条件概率分布为：

其中R_ij服从均值为μ，方差为σ²的高斯正态分布的概率密度函数，I_ij是指示函数，如果有评分为1，否则为0。

一方面，本发明实施例与传统PMF算法中不同的是用户隐特征向量不再由高斯分布生成,作为一个优选的实施例，由三个变量构成：分别是用户评分向量s_i，权重w^#，高斯噪声q_j。例如，被优化之后的用户隐特征的条件概率表达：

其中U^*的构成如下所示：

U^*＝SDAE(w^#，s_i)+q_j (9)

其中U^*代表由SDAE模型处理之后得到的用户隐特征向量，服从均值为0，方差为的分布。

令栈式降噪自编码器w^#与高斯噪声q_j也服从高斯分布：

另一方面，本发明实施例与传统PMF算法中不同的是项目的隐特征向量不再由高斯分布生成,作为一个优选地实施例，由四个变量构成：分别是项目评论文档Y_j，卷积神经网络权重w′，主题分布θ_j，高斯噪声ρ_j。例如，被优化之后的项目隐特征的条件概率表达式为：

其中V^*的构成如下所示：

V^*＝ωcnn(W′，Y_j)+(1-ω)θ_j+ρ_j (11)

V^*表示融合LDA模型与CNN模型的项目隐特征向量，对于所有项目评论文档运用LDA生成的主题分布服从θ_j～Dirichlet(α)其它公式变量的含义详细解释见上文。

令卷积神经网络w’与高斯噪声ρ_j也服从高斯分布：

从SDAE模型提取的用户隐特征向量作为PMF的用户的隐因子，其中用户的隐特征向量满足均值为SDAE(w^#，S_i)，方差为q_j的高斯分布。从LC模型提取的项目评论文档的多层次表示特征向量作为项目的隐因子，其中项目的隐因子满足均值为ωcnn(w′，Y_j)+(1-ω)θ_j，方差为ρ_j的高斯分布。

此外，根据图1的推荐方法，通过构建新的推荐系统目标函数至少基于初始用户隐特征向量和初始项目隐特征向量并且基于贝叶斯公式而得到。例如，为了优化用户隐特征向量的提取、用户与项目偏差向量和项目的隐特征向量,使用最大后验估计,根据贝叶斯公式可得：

对上式取对数，可得最终的目标函数如下：

其中，R_ij为处理之后的原始矩阵，U，V各代表用户与项目的隐特征向量，ω为卷积神经网络的权重，Y_j为卷积神经网络的输入，w’为卷积的权重，k为主题，θ_jk为第j个项目的主题分布，w_jn’代表项目评论文本中的单词。

根据图1的推荐方法，基于原始评分矩阵构建初始用户隐特征向量，包括：采用栈式降噪自编码器对原始评分矩阵建模并进行训练，从训练得到的模型中提取隐层作为初始用户隐特征向量。

根据图1的推荐方法，通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征与项目隐特征的更加准确的预测评分矩阵，包括：

采用梯度下降算法进行更新初始项目隐特征向量，并且采用误差反向传播算法进行更新卷积神经网络的参数。

具体而言，在更新向量时，根据新的推荐系统目标函数进行求解时，采用梯度下降法对用户隐特征向量和项目隐特征向量进行更新。在更新参数时，神经网络的参数采用误差反向传播算法进行更新。作为一个优选的实施例，更新表达式如下：

其中I_i为对角矩阵，λ_v与λ_u为正则化参数，得到优化之后的用户隐向量u_i和项目隐向量V_j ^*,最终计算预测评分

图3为根据本发明另一实施例的推荐方法的示意性流程图。在图3的流程图中，基于LSCPMF模型的推荐算法流程如下所示。

输入：用户评分矩阵R_i，j，项目评论文档Y_j。

输出：预测评分

301：对用户评分矩阵，利用SDAE模型进行用户评分向量建模，生成用户隐特征向量表示。302：对于每个项目中的评论文档，利用LDA主题模型对项目评论文档进行建模，生成项目显著的隐特征低维主题信息表示。303：对于每个项目中的评论文档，利用卷积神经网络CNN模型对项目评论文档进行建模，生成项目的全局深层语义信息表示。304：按照公式(7)结合步骤302和步骤303得到的项目隐特征向量，生成项目的多层次表示向量。305：结合步骤301构建出用户的隐向量及步骤304得到的项目隐特征向量，最后得出上述的优化之后目标函数公式(15)。306：按照上述的公式(17)、(18)更新U_i与V_i。307：计算最终的预测评分

图4为根据本发明另一实施例的推荐系统的示意性框图。图4的基于混合深度学习模型的推荐系统400包括：

输入模块410，获取原始评分矩阵和项目评论文档作为推荐系统的输入；

第一构建模块420，基于原始评分矩阵构建初始用户隐特征向量；

第二构建模块430，基于项目评论文档构建初始项目隐特征向量；

生成模块440，通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征向量与项目隐特征向量的更加准确的预测评分矩阵；

输出模块450，基于所述预测评分矩阵进行个性化推荐作为所述推荐系统的输出。

本发明实施能够解决了推荐系统数据极度稀疏性和推荐精度不准确的问题，利用混合深度学习模型提取多源异构数据的非线性特征，融入到基于概率矩阵分解的协同过滤推荐算法中，从而使得推荐系统的关键性能得到改善。

换句话说，传统的协同过滤算法中数据稀疏和准确性问题，现已有方法使用评分矩阵和辅助信息提取有效的特征来缓解数据稀疏性，但是大多数研究者都是对优化用户和项目隐特征向量单独进行研究，提取的特征精确度还存在一定的发展空间。针对以上问题，本文提出了融合栈式降噪自编码器SDAE、主题模型LDA与文本卷积神经网络CNN的概率矩阵分解推荐模型LSCPMF。针对用户评分矩阵，采用SDAE模型对用户评分矩阵建模，提取用户的隐特征表示；针对项目评论文档，综合考虑项目评论文档的主题信息与深层语义信息，分别使用LDA模型和CNN模型对项目评论文档建模，采用线性关系结合项目评论文档的显著潜在低维主题信息及全局深层语义信息获取物品的隐特征向量表示；最后将用户和项目的隐特征向量表示融合到概率矩阵分解PMF模型中，产生预测评分进行推荐。使用本文提出的模型对三个数据集进行实验，结果表明该模型优于其他传统方法和深度学习模型。

根据图4的推荐系统，第一构建模块具体用于：采用栈式降噪自编码器对原始评分矩阵建模并进行训练，从训练得到的模型中提取隐层作为初始用户隐特征向量。

根据图4的推荐系统，第二构建模块具体用于：利用项目评论文档构建主题词向量和主题概率，将主题词向量和主题概率应用于主题模型，得到文档主题向量；采用卷积神经网络对项目评论文档建模并进行训练，从训练得到的模型中提取输出层作为文档特征向量；基于文档主题向量和文档特征向量获得初始项目隐特征向量。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的数据处理方法所应用于的电子设备，可以参考前述产品实施例中的对应描述，在此不再赘述。

本发明的效果验证

本文提出的推荐方法和系统为基于主题和深度学习的概率矩阵分解推荐模型LSCPMF，针对用户评分矩阵，采用SDAE模型对用户评分矩阵建模，提取用户的隐特征表示；然后综合考虑项目评论文档主题与上下文信息，通过结合卷积输出的上下文特征和LDA模型提取的主题特征，并使用权重决定两个特征定义新文档的影响程度，最后将用户和项目的隐特征向量表示融合到概率矩阵分解PMF模型中，产生预测评分进行推荐。在一定程度上解决了数据稀疏和文本提取特征欠缺的问题，提高了推荐的准确性。最后在三种真实的数据集“Movilens1m”、“Movilens10m”和“Amazon”上进行训练，使用MAE和RMSE指标确定参数的最优值；同时与多个经典的推荐模型进行对比，实验结果表明SLCPMF模型在推荐质量上都有明显的提高。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (10)

1.一种基于混合深度学习模型的推荐方法，其特征在于，包括：

获取原始评分矩阵和项目评论文档作为推荐系统的输入；

基于所述原始评分矩阵构建初始用户隐特征向量；

基于所述项目评论文档构建初始项目隐特征向量；

通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征与项目隐特征的更加准确的预测评分矩阵；

基于所述预测评分矩阵进行个性化推荐作为所述推荐系统的输出。

2.根据权利要求1所述的推荐方法，其特征在于，所述基于所述原始评分矩阵构建初始用户隐特征向量，包括：采用栈式降噪自编码器对所述原始评分矩阵建模并进行训练，从训练得到的模型中提取隐层作为所述初始用户隐特征向量。

3.根据权利要求2所述的推荐方法，其特征在于，所述通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征与项目隐特征的更加准确的预测评分矩阵，包括：

采用梯度下降算法进行更新所述初始用户隐特征向量，并且采用误差反向传播算法进行更新所述栈式降噪自编码器的参数。

4.根据权利要求1所述的推荐方法，其特征在于，所述基于所述项目评论文档构建初始项目隐特征向量，包括：

利用所述项目评论文档构建主题词向量和主题概率，将所述主题词向量和所述主题概率应用于主题模型，得到文档主题向量；

采用卷积神经网络对所述项目评论文档建模并进行训练，从训练得到的模型中提取输出层作为文档特征向量；

基于所述文档主题向量和所述文档特征向量获得所述初始项目隐特征向量。

5.根据权利要求4所述的推荐方法，其特征在于，所述通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征与项目隐特征的更加准确的预测评分矩阵，包括：

采用梯度下降算法进行更新所述初始项目隐特征向量，并且采用误差反向传播算法进行更新所述卷积神经网络的参数。

6.根据权利要求1所述的推荐方法，其特征在于，所构建的损失函数至少基于所述初始用户隐特征向量和初始项目隐特征向量并且基于贝叶斯公式而得到。

7.根据权利要求1所述的推荐方法，其特征在于，还包括：

获取更新评分矩阵，所述更新评分矩阵与所述原始评分矩阵的变化与所述推荐系统的输入相关；

利用所述更新评分矩阵替换所述原始矩阵进行更新所述推荐系统。

8.一种基于混合深度学习模型的推荐系统，其特征在于，包括：

输入模块，获取原始评分矩阵和项目评论文档作为推荐系统的输入；

第一构建模块，基于所述原始评分矩阵构建初始用户隐特征向量；

第二构建模块，基于所述项目评论文档构建初始项目隐特征向量；

生成模块，通过构建新的推荐系统目标函数，生成优化后的用户与项目隐特征向量，从而产生融合用户隐特征与项目隐特征的更加准确的预测评分矩阵；

输出模块，基于所述预测评分矩阵进行个性化推荐作为所述推荐系统的输出。

9.根据权利要求8所述的推荐系统，其特征在于，所述第一构建模块具体用于：采用栈式降噪自编码器对所述原始评分矩阵建模并进行训练，从训练得到的模型中提取隐层作为所述初始用户隐特征向量。

10.根据权利要求8所述的推荐系统，其特征在于，所述第二构建模块具体用于：

利用所述项目评论文档构建主题词向量和主题概率，将所述主题词向量和所述主题概率应用于主题模型，得到文档主题向量；

采用卷积神经网络对所述项目评论文档建模并进行训练，从训练得到的模型中提取输出层作为文档特征向量；

基于所述文档主题向量和所述文档特征向量获得所述初始项目隐特征向量。

Images