CN111127146B - 基于卷积神经网络与降噪自编码器的信息推荐方法及系统 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络与降噪自编码器的信息推荐方法及系统。利用卷积神经网络和降噪自编码器两个深度学习模型，从评分、信任、评论等数据中学习用户偏好。同时，提出了一种新的相关正则化方法来建立用户偏好在不同方面的关系，以提高性能。首先，相比于以往模型，融入了丰富的评论信息；然后，通过卷积神经网络模型对评论文本进行初步的处理，将提取出来的有效特征再放入降噪自编码器模型中提取其隐藏特征，得到评论文本更加有效的紧凑表示；最后，再增加两个降噪自编码器，分别用来处理评分和信任信息，通过三个降噪自编码器分别得到相应的预测向量并进行加权融合，从而更为准确地建模用户偏好。

Description

基于卷积神经网络与降噪自编码器的信息推荐方法及系统

技术领域

本发明涉及信息推荐技术领域，具体涉及一种基于卷积神经网络与降噪自编码器的信息推荐方法及系统。

背景技术

近年来，推荐系统在各行各业得到了广泛的应用。推荐系统根据用户需求、兴趣等，通过推荐算法从海量数据中挖掘出用户感兴趣的项目，并将结果以个性化列表的形式推荐给用户。个性化推荐是机器学习在电子商务等领域的关键应用之一。许多推荐系统使用协同过滤方法来进行推荐。虽然推荐领域已经提出了许多推荐算法，但仍然存在一些众所周知的问题，如数据稀疏性和冷启动等。针对这些问题，很多研究者提出利用深度学习或者信息融合来帮助建模用户和项目，如降噪自编码器、卷积神经网络、评分信息、信任信息、评论信息或者地理上下文等。

尽管现有的研究提出了信息融合或者深度学习用于推荐的不同方法，但这些推荐算法仍然存在几个关键问题。首先，它们大多采用浅层模型对信任、评分等信息进行建模，忽略了数据间的高阶交互。如何利用深度学习模型从多种信息中学习表示来进行推荐是一个难点问题。其次，一些模型只融合了一两种信息，面临着数据稀疏问题，这可能会限制算法的改进，使利用深度模型从信任、评分等数据中学习高阶信息变得困难。最后，还有一个挑战就是数据稀疏的问题。一些学者使用基于内容的推荐或者混合推荐来缓解数据稀疏问题，但其存在特征提取困难等问题。通过对真实世界数据的分析，可以发现评论信息不仅能够体现项目的属性，而且还能够表达用户的兴趣。基于以上所述，我们决定引入评论信息来解决这个问题。相对于不使用评论信息的模型来说，通过深度神经网络从用户对物品的评论信息中挖掘用户偏好信息，再结合信任和评分信息，可以提取到更多的有效特征表示。

发明内容

有鉴于此，有必要提供一种充分利用文本评论信息，结合稀疏的评分矩阵和信任矩阵，对输入进行更有效地初始化操作，从而有效改善了数据稀疏和冷启动问题的基于卷积神经网络与降噪自编码器的信息推荐方法及系统。

一种基于卷积神经网络与降噪自编码器的信息推荐方法，包括以下步骤：

步骤一，深度分析数据信息，对评分信息、信任信息和评论信息进行分类和过滤；

步骤二，深度学习卷积神经网络模型和降噪自编码器模型，所述卷积神经网络模型通过过滤函数，以并行的方式沿着固定大小的滑动窗口处理输入序列，最终输出序列的隐藏特征矩阵，再经过池化层输出具有代表性部分的隐藏特征向量；所述降噪自编码器模型通过加入噪声影响原始的输入数据来增加自身编码和重构数据时的难度，通过一个狭窄的神经网络，使用噪声版本重构输入数据，获得特征表示，避免所述卷积神经网络模型过度拟合；

步骤三，利用降噪自编码器模型原理建立基于卷积神经网络与降噪自编码器的信息融合推荐模型；首先将所述评论信息输入所述卷积神经网络模型，生成隐藏特征向量，进而生成用户对所有项目的喜好程度值所构成的向量；然后用三个并列的所述降噪自编码器模型分别处理输入的评分信息、信任信息和评论信息，生成相应的预测向量，并对生成的所述预测向量进行加权融合；最终生成目标用户的相应的推荐列表。

进一步地，步骤一中的所述数据信息包括所述评分信息、所述信任信息和所述评论信息；所述评分信息按照喜好程度分为五级并分别对应赋值为1至5；所述信任信息分为信任关系和非信任关系并对应赋值为1和0；所述评论信息采用用户对物品的评价信息，所述评论信息用于分析用户的购买和评分行为。

进一步地，步骤二中的所述卷积神经网络模型用于对用户的所述评论信息做出初步地处理，提取文本的隐藏特征向量，进而得出用户对所有项目的喜好程度值所构成的向量。

进一步地，步骤一中的所述卷积神经网络模型包括嵌入层、卷积层、池化层和输出层；

所述嵌入层用于把一个用户u对一个项目i的评论文本D转化成一个数字矩阵，通过连接评论中的词向量来把文本表示为一个矩阵，其中词向量是随机初始化或者用预训练的词嵌入模型进行初始化，生成的初始化词向量矩阵为X＝{x₁,x₂,...,x_s}，其中X∈R^d×s，x_i∈R^d表示词向量，d为词向量的维度，s为评论的长度；当遇到未包含的词，则赋予d维正态分布的随机向量，其中x_i表示输入的文本中第i个词的词向量；

所述卷积层用于提取输入文本的上下文特征，输入文本中第i个词的上下文特征表示为f_i ^j∈R，所述上下文特征的特征值通过卷积层中滑动窗口内的第j个共享权重参数

计算获得，其中ws表示滑动窗口的大小，ws值决定了所述卷积神经网络模型在提取第i个词的特征时，其上下文中所包含词的数量；卷积层的工作方式如式(1)所示：

其中，*表示在卷积层计算中的卷积操作，即滑动窗口内的第j个过滤函数对其在窗口内的ws个词向量进行非线性并行处理；

为偏置向量；h函数表示一个非线性激活函数；

所述池化层用于提取隐藏特征，从隐藏特征中提取分布式表示，并且通过池化操作来将文本特征向量长度固定到一个定长的特征向量中；所述池化层使用max-pooling作为池化操作，通过从每个上下文特征向量f^j中提取最大值，将所述评论信息的最终表示转化为一个长度为n_f的表示向量，具体操作如式(2)所示：

n_f＝[max(f¹),max(f²),...,max(f^nf)] (2)

其中，f^j是通过卷积层中滑动窗口内的第j个共享权值

计算获得的输入文本的上下文特征向量；

所述输出层使用非线性映射函数生成评论文本潜在特征，具体过程如式(3)所示：

其中，

和/>

表示映射矩阵，/>

和/>

表示偏置向量；最终生成的隐藏特征向量为a∈R^k，向量的每一项表示一个用户对一个项目的喜好程度值的概率，每个向量选取概率最大的值对应的数作为该用户对该项目的喜好程度值。

进一步地，所述卷积神经网络模型对评论文本的处理过程表示为cnn函数，用户u对项目i的评论文本信息的隐藏特征的计算表示成式(4)。

其中，X_ui表示用户u对项目i的评论文本，

表示用户u对所有项目的喜好程度值所构成的向量。

进一步地，步骤二中的所述降噪自编码器模型用于将用户u的含有噪声版本的所述评分信息和所述信任信息的数据结合所述卷积神经网络模型的输出结果分别输入三个降噪自编码器模型中，对其进行并行处理，分别学习其潜在用户偏好，通过编码和解码过程，输出最终的评分、信任和评论数据的预测向量；所述噪声采用高斯噪声或者drop-out噪声，所述噪声用于防止数据的过度拟合；

所述降噪自编码器模型进一步用于使隐藏层发现更多鲁棒性的特征，并且防止简单学习恒等函数；含有噪声的输入来自于条件分布

在使用drop-out噪声的情况下，以概率q去擦除原始矩阵，将每个值都随机置0；对于每一个项目x的输入R、T和X，相应的有噪声版本/>

定义可以表示成式(5)和(6)，

其中，q是随机drop out一个单位的概率；δ表示噪声的偏置；为了使得噪声无偏，设置有噪声的输入是原始值的

倍。

进一步地，所述降噪自编码器模型包括编码层、权重层和解码层；

所述编码层用于将评分、信任和评论数据输入映射到低维空间，编码层可以表示成式(7)、(8)和(9)，

其中，

分别表示用户u评分、信任和评论数据的有噪声版本；/>

分别表示从评分数据、信任数据和评论数据中学习的u的潜在用户偏好；维数为k的参数W∈R^n×k，V∈R^m×k，H∈R^n×k，b∈R^n×1，c∈R^m×1，d∈R^n×1被用来训练去学习用户偏好；f(·)是一个element-wise映射函数，该映射函数包括恒等函数f(x)＝x或sigmoid函数/>

所述权重层用于将评分、信任和评论数据进行加权整合，以得到建模用户的偏好，具体过程表示成式(10)，

其中，P_u表示用户u的综合用户偏好；α,β是平衡

之间的影响的超参数；

所述解码层用于从噪声数据中重构原始输入数据，评分、信任和评论数据的定义表示成式(11)、(12)和(13)，

其中，

为每个用户u的评分、信任和评论数据的预测值；参数W′∈R^n×k，V′∈R^m×k，H′∈R^n×k，b′∈R^n×1，c′∈R^m×1，d′∈R^n×1被训练用来重构输入；g(·)是一个element-wise映射函数。

进一步地，步骤三中的所述推荐列表通过加权合并方式对用户u进行相应地推荐，在所述上下文特征向量和平衡用户偏好的超参数的基础上，生成最终推荐结果的过程可以表示成式(14)，

其中，Q_u表示用户u的推荐用户偏好；α,β是平衡

之间的影响的超参数。

以及，一种基于卷积神经网络与降噪自编码器的信息推荐的实现系统，其用于实现如上所述的基于卷积神经网络与降噪自编码器的信息推荐方法，该实现系统包括：

用户数据信息分析模块，用于对与用户相关的评分信息、信任信息和评论信息进行分类和过滤；

卷积神经网络模型模块，用于对用户的评论信息做出初步的处理，提取文本的隐藏特征矩阵，并最终得到用户对所有项目的隐藏特征向量；

降噪自编码器模型模块，通过在原始的输入数据中加入噪声，以增加自身编码和重构数据时的难度，通过一个狭窄的神经网络，从其噪声版本重构干净的输入数据，获得更加准确的特征表示；

信息融合推荐模型模块，将三个并列的降噪自编码器模型模块输出的与评分信息、信任信息和评论信息相应的预测向量进行加权融合，生成目标用户的推荐列表。

进一步地，所述卷积神经网络模型模块包括嵌入层模块、卷积层模块、池化层模块和输出层模块；所述降噪自编码器模型模块包括编码层模块、权重层模块和解码层模块；

所述嵌入层模块用于将用户对项目的评论文本转换为数字矩阵；

所述卷积层模块用于提取所述评论文本的上下文特征，并生成上下文特征向量；

所述池化层模块用于将所述上下文特征向量固定到一个定长的特征向量中；

所述输出层模块用于使用非线性映射函数生成所述评论文本的潜在特征；

所述编码层模块用于将评分信息、信任信息和评论信息输入并映射到低维空间；

所述权重层模块用于根据评分信息、信任信息和评论信息的非线性相关性，对所述评分信息、所述信任信息和所述评论信息进行加权融合；

所述解码层模块用于从噪声数据中重构原始输入数据，并输出所述评分信息、所述信任信息和所述评论信息的数据预测值。

上述基于卷积神经网络与降噪自编码器的信息推荐方法及系统中，利用卷积神经网络和降噪自编码器两个深度学习模型，从评分、信任、评论等数据中学习用户偏好。同时，提出了一种新的相关正则化方法来建立用户偏好在不同方面的关系，以提高性能。主要在三个方面对其进行了改进。首先，增加了对评论信息的融合，评论文本相对于评分和信任数据来说，包含有更为充分全面的信息，能够更加有效地缓解评分和信任矩阵稀疏的问题，从而更好地反映用户的兴趣偏好。然后，在降噪自编码器模型对评论信息进行处理之前，先通过卷积神经网络模型对其进行初步的处理，将提取出来的有效特征再放入降噪自编码器模型中，这样可以通过多次提取，从而得到评论文本更加有效地紧凑表示。最后，使用三个降噪自编码器模型分别用来处理评分、信任和评论信息，得到相应的预测向量并进行加权融合，从而更为准确地建模用户偏好。

附图说明

图1是本发明实施例的基于卷积神经网络与降噪自编码器的信息推荐方法及系统的基于卷积神经网络与降噪自编码器的信息融合推荐模型的结构图。

图2是本发明实施例的基于卷积神经网络与降噪自编码器的信息推荐方法及系统的卷积神经网络模型的结构图。

图3是本发明实施例的基于卷积神经网络与降噪自编码器的信息推荐方法及系统的降噪自编码器模型的结构图。

具体实施方式

本实施例以基于卷积神经网络与降噪自编码器的信息推荐方法为例，以下将结合具体实施例和附图对本发明进行详细说明。

请参阅图1、图2和图3，示出本发明实施例提供的一种基于卷积神经网络与降噪自编码器的信息推荐方法及系统。

在本发明实施例的推荐系统中，假设有M个用户组成的集合U＝{u₁,u₂,...,u_M}和N个项目组成的集合I＝{i₁,i₂,...,i_N}。评分、信任以及评论数据通常隐含了用户的潜在偏好信息，是推荐算法采用的主要数据。用户-项目评分矩阵R_M×N＝{r_u,i}表示所有用户对所有项目的评分，其中r_u,i表示用户u对项目i的评分。用户-用户信任矩阵T_M×M＝{t_u,v}表示用户两两之间的信任值，其中t_u,v表示用户u对用户v的信任值，值为1表示信任，值为0表示不信任。用户-项目评论矩阵X_M×N＝{x_u,i}表示所有用户对所有项目的喜好程度值，其中x_u,i表示用户u对项目i的喜好程度值。其中“0”表示用户u没有对该项目进行评价；“1”表示非常不满意；“2”表示不满意；“3”表示一般；“4”表示满意；“5”表示非常满意。本实施例的任务是为每个用户u生成一个包含N个项目的推荐列表，以满足用户u的需求。

1.多种数据信息分析

本实施例利用的信息包括：评分信息、信任信息、评论信息。

对于评分信息，评分的分数为1到5之间的整数，其中1表示“不喜欢”，5表示“喜欢”。在预处理过程中，为了简化模型，过滤掉评分数量小于5的用户和项目，并且在信任数据中也只保留相对应的用户。

对于信任信息，直接利用社交网络的二值信任关系，即取值只能为1或0，分别对应“信任”或“非信任”关系。

对于评论信息，文本信息包括两种，一种是用户对物品的评论信息，从这种信息中可以分析用户的购买和评分行为；另一种是物品的简介信息，从这种信息中可以分析物品的特征和属性。为了简单起见，这里采用第一种文本信息，即用户对物品的评论信息。

2.深度学习模型

下面介绍本实施例模型中用到的卷积神经网络(CNN)、降噪自编码器(DAE)。

2.1.卷积神经网络

CNN模型普遍用于计算机视觉的开发。但目前很多研究学者已经开始将CNN应用于信息检索、自然语言处理以及推荐系统领域。CNN模型强大的卷积操作，可有效地提取输入文本的隐藏特征，很大程度上提高了推荐系统的性能。CNN模型由两部分组成：一部分是生成局部特征的卷积层；另一部分是将卷积层产生的特征进行pooling(max/min/average)的池化层，即选择最大、最小或平均的局部特征作为输入数据的最终表示。因此CNN模型通过过滤函数，以并行的方式沿着固定大小的滑动窗口处理输入序列，最终输出序列的隐藏特征矩阵，再经过池化层输出具有代表性部分的隐藏特征向量。由于CNN模型是并行处理输入序列的，因此该模型可以隐藏一部分处理时延，具有良好的处理效率。

图2是一个处理输入文本序列的一层CNN模型，也是本实施例模型CNN部分的整体流程图。在将输入进行一次卷积和池化操作后，生成最终的向量表示。其中，输入评论文本D，经过嵌入层转化为由词向量构成的矩阵X，通过卷积层的过滤函数并行地进行加权卷积，生成特征映射矩阵。然后对特征映射矩阵中的元素进行池化操作，从而得到卷积层生成的特征映射矩阵的局部特征映射向量

卷积层可以有效地提取连续ws个相邻词的特征(ws表示滑动窗口的大小)，这一操作在处理输入序列时是并行的，因此卷积神经网络具有良好的处理效率。

2.2.降噪自编码器

为了解决稀疏性问题，可以基于降噪自编码器(DAE)模型的思想来构建CDAEIF模型。DAE模型是在传统自动编码器的基础上获得的一种新型生成式模型。DAE通过加入噪声影响原始的输入数据来增加自身编码和重构数据时的难度，通过一个狭窄的神经网络，从其噪声版本重构干净的输入数据，获得更加准确的特征表示，从而防止深度神经网络的过度拟合。通常，中间层的输出表示输入数据的紧凑表示，可以用于任何其他任务。

DAE引入噪声的方法有两种：一种是在输入数据中随机加入高斯噪声；另一种是随机覆盖某些输入数据，将其替换为0。图3展示了简单版DAE模型，也是本实施例的模型DAE部分的整体流程图，使用的是第二种方法引入噪声。其中编码过程把带有噪声的数据x^*作为输入，然后进行编码获得数据x的隐含特征h；解码过程对编码特征进行解码重构，从而获得重构后的数据

具体过程可由式(I)和式(II)表示。

h＝f(x^*)＝σ(w_ex^*+b_e) (I)

其中，x^*∈R^N为引入噪声后的输入向量，h∈R^k表示编码向量(其中k表示隐因子)，w_e∈R^k×N和w_d∈R^N×k为权重矩阵，b_e∈R^k和b_d∈R^N表示偏置向量。f和g是非线性转换函数，常用的有sigmoid函数，tanh函数以及relu函数。

与传统自动编码器一样，DAE训练的主要目的有两个：一是减小数据的真实分布与隐层分布间的差距；二是减小重构损失，以求恢复原始数据更多的细节。

输入为x，输出为

DAE可由下述目标函数表示：

其中，l(·)是计算重构误差的损失函数，比如平方损失或者交叉熵损失，λ是一个控制模型的复杂性的超参数，Ω(·)是一种利用L2范数(即欧几里得范数)的正则化项。

3.本实施例的CDAEIF模型

为了更好地融合评分、信任以及评论信息，提高推荐精度，本实施例提出了基于卷积神经网络与降噪自编码器的信息融合推荐模型(information fusion recommendationmodel based on convolution neural network and denoising auto-encoder,简称CDAEIF)。主要分为以下几步：首先，对CDAEIF模型的整体结构进行了简单的描述，并对涉及到的主要概念及其含义进行了相应的说明。然后，介绍了CDAEIF的CNN模型，详细描述了如何通过CNN模型来处理输入的评论信息，从而生成隐藏特征向量，进而生成用户u对所有项目的喜好程度值所构成的向量。最后，详细地介绍了CDAEIF的DAE模型，描述了如何通过三个并列的DAE模型来处理输入的评分、信任和评论信息，生成相应的预测向量，并对其进行加权融合，从而为目标用户生成相应的推荐列表。

3.1.CDAEIF模型结构

本实施例的CDAEIF模型的结构如图1所示。在该图中，以一个用户u的推荐为例来进行说明。这个模型主要包括两部分：左侧为卷积神经网络CNN，用于处理评论信息；右侧为由共享层联合起来的三个并列的降噪自编码器DAE，分别用来处理评分、信任和评论信息。其中D表示用户u对项目i的评论文本，X表示用户u对项目i的评论文本转化成的词向量矩阵，f是卷积之后的上下文特征向量，n_f是池化之后的评论文本表示向量，a表示用户u对项目i的喜好程度概率向量，

表示用户u对所有项目的喜好程度值所构成的向量，/>

和/>

分别表示用户u评分和信任数据的有噪声版本，Z^R，Z^T和Z^X分别表示从评分数据、信任数据和评论数据中学习u的潜在用户偏好，P表示用户u的综合用户偏好，/>

和/>

分别表示用户u的评分和信任数据的预测向量，/>

表示用户u对所有项目的喜好程度值的预测向量，Q表示用户u的推荐用户偏好。这些符号中，除了X为矩阵外，其余均为向量。涉及到的主要符号及其含义如表1所示。

表1模型参数的符号及含义

3.2.CDAEIF的CNN模型

CDAEIF的CNN模型的目标是，对用户对项目的评论信息做初步的处理，提取文本的隐藏特征向量，进而得出用户对所有项目的喜好程度值所构成的向量。图2为CDAEIF的CNN模型的整体框架图。从图中可以清楚地看到，本实施例的CNN结构一共包含四层，分别为：嵌入层，卷积层，池化层以及输出层。

首先，嵌入层把一个用户u对一个项目i的评论文本D转化成一个数字矩阵，方便下一步卷积层的操作。由于评论文本是由一串单词组成的，因此通过连接评论中的词向量来把文本表示为一个矩阵。其中词向量是随机初始化或者用预训练的词嵌入模型来进行初始化。生成的初始化词向量矩阵为X＝{x₁,x₂,...,x_s}，其中X∈R^d×s，x_i∈R^d表示词向量，d为词向量的维度，s为评论的长度。若遇到未包含的词，则赋予d维正态分布的随机向量。其中x_i表示输入的文本中第i个词的词向量。

接下来，卷积层用于提取文本特征。文本信息本质上不同于信号处理或者计算机视觉。因此，使用卷积结构来对评论文本进行分析。

将评论信息的词嵌入矩阵X传入到卷积层，用来提取输入文本的上下文特征。假设输入文本中第i个词的上下文特征表示为

则该特征值是通过卷积层中滑动窗口内的第j个共享权重参数/>

计算获得的，其中ws表示滑动窗口的大小，该值决定了CNN模型在提取第i个词的特征时，其上下文中所包含词的数量。卷积层的工作方式如式(1)所示：

其中，*表示在卷积层计算中的卷积操作，即滑动窗口内的第j个过滤函数对其在窗口内的ws个词向量进行非线性并行处理；

为偏置向量；h函数表示一个非线性激活函数。非线性激活函数有sigmoid函数，tanh函数以及relu函数，使用relu来避免梯度消失的问题，但是却造成了优化收敛慢，并且可能产生一个效果不好的局部最小值。

通过卷积层操作，生成了输入文本的上下文特征向量f^j∈R^s-ws+1，

经过卷积层的W_f的加权计算，最终生成一个特征矩阵/>

其中，n_f表示卷积层中共享权重参数的数量，也就是滑动窗口内过滤函数的数量(即，/>

)

尽管经过卷积层生成了输入文本的特征矩阵F，但其不能作为文本的最终表示。主要有两点原因。一方面是由于在卷积层中的每一个

权重都将对文本进行处理，从而生成了上下文特征向量f^j，即对文本特征的提取是重复的，而其中大多数上下文特征对模型性能的提高不能起到很大的作用。另一方面是由于文本长度不固定，使得CNN模型生成的上下文特征向量的长度也不固定，这将对输入文本的隐藏特征的后续应用造成困难。因此需要利用池化操作对卷积层的输出做进一步的处理，从而生成具有代表性的文本特征向量。

然后，将卷积层生成的特征矩阵传入到池化层，对其做进一步的隐藏特征提取，从中提取分布式表示，并且通过池化操作来将文本特征向量长度固定到一个定长的特征向量中。经过卷积操作，一个评论被表示成n_f个文本特征向量，每个文本特征向量都是变长。在本实施例的池化层将使用max-pooling作为池化操作，即通过从每个上下文特征向量f^j中提取最大值，将评论的最终表示转化为一个长度为n_f的表示向量。具体操作如式(2)所示：

n_f＝[max(f¹),max(f²),...,max(f^nf)] (2)

其中，f^j是通过卷积层中滑动窗口内的第j个共享权值

计算获得的输入文本的上下文特征向量。

最后，在输出层，从前面几层获得的高阶特征应该被转化来完成一个特定的任务。因此，本实施例将评论文本的表示向量n_f映射到一个k维的空间中用于top-N推荐任务，其中，k表示评论文本情感分析最终生成的类别数，本实施例中假设k为5，这是与以往模型不同的地方。最终通过使用传统的非线性映射函数来生成评论文本潜在特征，具体过程如式(3)所示：

其中，

和/>

表示映射矩阵，/>

和/>

表示偏置向量。最终生成的隐藏特征向量为a∈R^k，向量的每一项表示一个用户对一个项目的喜好程度值的概率，从上往下分别为“非常不满意”到“非常满意”。每个向量选取概率最大的值对应的数作为该用户对该项目的喜好程度值，进一步组成该用户对所有项目的喜好程度值形成的向量。

最终，将CNN对评论文本的处理过程可以表示为cnn函数，因此用户u对项目i的评论文本信息的隐藏特征的计算可以表示成式(4)。

其中，X_ui表示用户u对项目i的评论文本，

表示用户u对所有项目的喜好程度值所构成的向量。

实现CNN模型的完整过程如算法1所示。

3.3.CDAEIF的DAE模型

在上一小节的基础上，通过DAE模型对CNN处理后输出的评论结果信息进行进一步的处理。将用户u的有噪声版本的评分和信任数据结合CNN的输出结果分别输入三个DAE模型中，对其进行并行处理，分别学习其潜在用户偏好，通过编码和解码过程，输出最终的评分、信任和评论数据的预测向量。

类似于标准的DAE模型，CDAEIF模型同样是含有一个隐藏层的神经网络。不同的是，一共输入三种不同的信息，从而实现更好的推荐效果。本实施例的DAE模型如图1右半部分所示。DAE主要包含三层，分别为：编码层、权重层和解码层，即从一个编码层开始，然后是一个权重层，最后是一个解码层。从本质上解决了如何通过权重层从三类信息中学习表示来平衡贡献和相关正则化来交换信息的问题。

在本实施例的方法中，利用DAE模型的思想来构建CDAEIF模型。DAE的基本思想是通过一个狭窄的网络，从有噪声的版本中重构数据。最常见的选择是高斯噪声和drop-out噪声。本实施例在模型中使用了drop-out噪声，主要是用来防止过度拟合。DAE的目标是使隐藏层发现更多鲁棒性的特征，并且防止简单学习恒等函数。含有噪声的输入来自于条件分布

在使用drop-out噪声的情况下，以概率q去擦除原始矩阵，即每个值都随机置0。对于每一个项目x的输入R、T和X，相应的有噪声版本/>

定义可以表示成式(5)和(6)。

其中，q是随机drop out一个单位的概率；δ表示噪声的偏置；为了使得噪声无偏，设置有噪声的输入是原始值的

倍。

根据图1，首先，使用编码层将评分、信任和评论数据输入映射到低维空间，编码层可以表示成式(7)、(8)和(9)。

其中，

分别表示用户u评分、信任和评论数据的有噪声版本；/>

分别表示从评分数据、信任数据和评论数据中学习的u的潜在用户偏好；维数为k的参数W∈R^n×k，V∈R^m×k，H∈R^n×k，b∈R^n×1，c∈R^m×1，d∈R^n×1被用来训练去学习用户偏好；f(·)是一个element-wise映射函数(如恒等函数f(x)＝x或sigmoid函数/>

本实施例采用的是sigmoid函数。

然后，提出一个权重层来整合这三种表示。一种直接的方法是直接连接每个用户的评分、信任和评论数据。然而，有不同分布的评分和信任数据之间的相关性是高度非线性的。这意味着方差越大的信息对输出的影响越大，即使另一个可能包含重要的信息。

为了平衡这三种数据在CDAEIF中的影响，本实施例设计了加权隐层来融合这三种表示。通过这种方式，可以轻松地调优这些信息的贡献来建模用户偏好，具体过程可以表示成式(10)。

其中，P_u表示用户u的综合用户偏好；α,β是平衡

之间的影响的超参数。

最后，DAE模型通过三个解码器层从噪声数据中重构原始输入数据。这三层定义可以表示成式(11)、(12)和(13)。

其中，

为每个用户u的评分、信任和评论数据的预测值；参数W′∈R^n×k，V′∈R^m×k，H′∈R^n×k，b′∈R^n×1，c′∈R^m×1，d′∈R^n×1被训练用来重构输入；g(·)也是一个element-wise映射函数，本实施例利用了sigmoid函数。

为了学习紧凑表示，本实施例同时考虑了评分、信任和评论的重构误差，现有的研究大多忽略了信任关系和评论信息。然后得到CDAEIF的目标函数，使其最小化可以表示成式(IV)。

其中，l(·)为计算重构误差的损失函数，λ是一个控制模型的复杂性的超参数，Ω(·)是一种利用L2范数的正则化项，定义可以表示成式(V)。

特别地，在本实施例中对l(·)利用了element-wise交叉熵损失，它被证明了最适合top-N推荐的情况。由于g(·)是一个sigmoid函数，交叉熵损失等于logistic损失，定义可以表示成式(VI)。

实现DAE模型的完整过程如算法2所示。

本实施例通过合并方式对用户u进行相应地推荐。常见的合并方式有串联、平均以及加权。为了与上文提到的用户u的综合用户偏好P_u保持一致，本实施例采用加权的方式。在上文所述预测向量以及平衡用户偏好的超参数的基础上，生成最终推荐结果的过程可以表示成式(14)。

其中，Q_u表示用户u的推荐用户偏好；α,β是平衡

之间的影响的超参数。

以及，一种基于卷积神经网络与降噪自编码器的信息推荐的实现系统，其用于实现如上所述的基于卷积神经网络与降噪自编码器的信息推荐方法，该实现系统包括：

用户数据信息分析模块，用于对与用户相关的评分信息、信任信息和评论信息进行分类和过滤；

卷积神经网络模型模块，用于对用户的评论信息做出初步的处理，提取文本的隐藏特征矩阵，并最终得到用户对所有项目的隐藏特征向量；

降噪自编码器模型模块，通过在原始的输入数据中加入噪声，以增加自身编码和重构数据时的难度，通过一个狭窄的神经网络，从其噪声版本重构干净的输入数据，获得更加准确的特征表示；

信息融合推荐模型模块，将三个并列的降噪自编码器模型模块输出的与评分信息、信任信息和评论信息相应的预测向量进行加权融合，生成目标用户的推荐列表。

进一步地，所述卷积神经网络模型模块包括嵌入层模块、卷积层模块、池化层模块和输出层模块；所述降噪自编码器模型模块包括编码层模块、权重层模块和解码层模块；

所述嵌入层模块用于将用户对项目的评论文本转换为数字矩阵；

所述卷积层模块用于提取所述评论文本的上下文特征，并生成上下文特征向量；

所述池化层模块用于将所述上下文特征向量固定到一个定长的特征向量中；

所述输出层模块用于使用非线性映射函数生成所述评论文本的潜在特征；

所述编码层模块用于将评分信息、信任信息和评论信息输入并映射到低维空间；

所述权重层模块用于根据评分信息、信任信息和评论信息的非线性相关性，对所述评分信息、所述信任信息和所述评论信息进行加权融合；

所述解码层模块用于从噪声数据中重构原始输入数据，并输出所述评分信息、所述信任信息和所述评论信息的数据预测值。

上述基于卷积神经网络与降噪自编码器的信息推荐方法及系统中，利用卷积神经网络和降噪自编码器两个深度学习模型，从评分、信任、评论等数据中学习用户偏好。同时，提出了一种新的相关正则化方法来建立用户偏好在不同方面的关系，以提高性能。主要在三个方面对其进行了改进。首先，增加了对评论信息的融合，评论文本相对于评分和信任数据来说，包含有更为充分全面的信息，能够更加有效地缓解评分和信任矩阵稀疏的问题，从而更好地反映用户的兴趣偏好。然后，在降噪自编码器模型对评论信息进行处理之前，先通过卷积神经网络模型对其进行初步的处理，将提取出来的有效特征再放入降噪自编码器模型中，这样可以通过多次提取，从而得到评论文本更加有效地紧凑表示。最后，使用三个降噪自编码器模型分别用来处理评分、信任和评论信息，得到相应的预测向量并进行加权融合，从而更为准确地建模用户偏好。

需要说明的是，以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，包括以下步骤：

步骤一，深度分析数据信息，对评分信息、信任信息和评论信息进行分类和过滤；

步骤二，深度学习卷积神经网络模型和降噪自编码器模型，所述卷积神经网络模型通过过滤函数，以并行的方式沿着固定大小的滑动窗口处理输入序列，最终输出序列的隐藏特征矩阵，再经过池化层输出具有代表性部分的隐藏特征向量；所述降噪自编码器模型通过加入噪声影响原始的输入数据来增加自身编码和重构数据时的难度，通过一个狭窄的神经网络，使用噪声版本重构输入数据，获得特征表示，避免所述卷积神经网络模型过度拟合；

步骤三，利用降噪自编码器模型原理建立基于卷积神经网络与降噪自编码器的信息融合推荐模型；首先将所述评论信息输入所述卷积神经网络模型，生成隐藏特征向量，进而生成用户对所有项目的喜好程度值所构成的向量；然后用三个并列的所述降噪自编码器模型分别处理输入的评分信息、信任信息和评论信息，生成相应的预测向量，并对生成的所述预测向量进行加权融合；最终生成目标用户的相应的推荐列表；

其中，步骤二中的所述卷积神经网络模型包括嵌入层、卷积层、池化层和输出层；

所述嵌入层用于把一个用户

对一个项目/>

的评论文本D转化成一个数字矩阵，通过连接评论中的词向量来把文本表示为一个矩阵，其中词向量是随机初始化或者用预训练的词嵌入模型进行初始化，生成的初始化词向量矩阵为/>

，其中/>

，/>

表示词向量，d为词向量的维度，s为评论的长度；当遇到未包含的词，则赋予d维正态分布的随机向量，其中/>

表示输入的文本中第/>

个词的词向量；

所述卷积层用于提取输入文本的上下文特征，输入文本中第i个词的上下文特征表示为

，所述上下文特征的特征值通过卷积层中滑动窗口内的第/>

个共享权重参数/>

计算获得，其中ws表示滑动窗口的大小，ws值决定了所述卷积神经网络模型在提取第/>

个词的特征时，其上下文中所包含词的数量；卷积层的工作方式如式（1）所示：

（1）

其中，*表示在卷积层计算中的卷积操作，即滑动窗口内的第

个过滤函数对其在窗口内的ws个词向量进行非线性并行处理；/>

为偏置向量；/>

函数表示一个非线性激活函数；

所述池化层用于提取隐藏特征，从隐藏特征中提取分布式表示，并且通过池化操作来将文本特征向量长度固定到一个定长的特征向量中；所述池化层使用max-pooling作为池化操作，通过从每个上下文特征向量

中提取最大值，将所述评论信息的最终表示转化为一个长度为/>

的表示向量，具体操作如式（2）所示：

（2）

其中，

是通过卷积层中滑动窗口内的第/>

个共享权值/>

计算获得的输入文本的上下文特征向量；/>

所述输出层使用非线性映射函数生成评论文本潜在特征，具体过程如式（3）所示：

（3）

其中，

和/>

表示映射矩阵，/>

和/>

表示偏置向量；最终生成的隐藏特征向量为/>

，向量的每一项表示一个用户对一个项目的喜好程度值的概率，每个向量选取概率最大的值对应的数作为该用户对该项目的喜好程度值；

所述降噪自编码器模型包括编码层、权重层和解码层；

所述编码层用于将评分、信任和评论数据输入映射到低维空间，编码层可以表示成式（7）、（8）和（9），

（7）

（8）

（9）

其中，

分别表示用户/>

评分、信任和评论数据的有噪声版本；/>

分别表示从评分数据、信任数据和评论数据中学习的/>

的潜在用户偏好；维数为k的参数/>

，

，/>

，/>

，/>

，/>

被用来训练去学习用户偏好；/>

是一个element-wise映射函数，该映射函数包括恒等函数/>

或sigmoid函数/>

；

所述权重层用于将评分、信任和评论数据进行加权整合，以得到建模用户的偏好，具体过程表示成式（10），

（10）

其中，

表示用户/>

的综合用户偏好；/>

是平衡/>

之间的影响的超参数；

所述解码层用于从噪声数据中重构原始输入数据，评分、信任和评论数据的定义表示成式（11）、（12）和（13），

（11）

（12）

（13）

其中，

为每个用户/>

的评分、信任和评论数据的预测值；参数/>

，/>

，/>

，/>

，/>

，/>

被训练用来重构输入；/>

是一个element-wise映射函数。

2.如权利要求1所述的基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，步骤一中的所述数据信息包括所述评分信息、所述信任信息和所述评论信息；所述评分信息按照喜好程度分为五级并分别对应赋值为1至5；所述信任信息分为信任关系和非信任关系并对应赋值为1和0；所述评论信息采用用户对物品的评价信息，所述评论信息用于分析用户的购买和评分行为。

3.如权利要求1所述的基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，步骤二中的所述卷积神经网络模型用于对用户的所述评论信息做出初步的处理，提取文本的隐藏特征向量，进而得出用户对所有项目的喜好程度值所构成的向量。

4.如权利要求3所述的基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，所述卷积神经网络模型对评论文本的处理过程表示为

函数，用户/>

对项目/>

的评论文本信息的隐藏特征的计算表示成式（4）：

（4）

其中，

表示用户/>

对项目/>

的评论文本，/>

表示用户/>

对所有项目的喜好程度值所构成的向量。

5.如权利要求4所述的基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，步骤二中的所述降噪自编码器模型用于将用户

的含有噪声版本的所述评分信息和所述信任信息的数据结合所述卷积神经网络模型的输出结果分别输入三个降噪自编码器模型中，对其进行并行处理，分别学习其潜在用户偏好，通过编码和解码过程，输出最终的评分、信任和评论数据的预测向量；所述噪声采用高斯噪声或者drop-out噪声，所述噪声用于防止数据的过度拟合；

所述降噪自编码器模型进一步用于使隐藏层发现更多鲁棒性的特征，并且防止简单学习恒等函数；含有噪声的输入来自于条件分布

，在使用drop-out噪声的情况下，以概率q去擦除原始矩阵，将每个值都随机置0；对于每一个项目/>

的输入/>

、/>

和/>

，相应的有噪声版本/>

定义可以表示成式（5）和（6），

（5）

（6）

其中，q是随机drop out一个单位的概率；δ表示噪声的偏置；为了使得噪声无偏，设置有噪声的输入是原始值的

倍。

6.如权利要求5所述的基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，步骤三中的所述推荐列表通过加权合并方式对用户

进行相应地推荐，在所述上下文特征向量和平衡用户偏好的超参数的基础上，生成最终推荐结果的过程可以表示成式（14），

（14）

其中，

表示用户/>

的推荐用户偏好；/>

是平衡/>

之间的影响的超参数。

7.一种基于卷积神经网络与降噪自编码器的信息推荐的实现系统，其用于实现如权利要求1-6任一项所述的基于卷积神经网络与降噪自编码器的信息推荐方法，其特征在于，该实现系统包括：

用户数据信息分析模块，用于对与用户相关的评分信息、信任信息和评论信息进行分类和过滤；

卷积神经网络模型模块，用于对用户的评论信息做出初步的处理，提取文本的隐藏特征矩阵，并最终得到用户对所有项目的隐藏特征向量；

降噪自编码器模型模块，通过在原始的输入数据中加入噪声，以增加自身编码和重构数据时的难度，通过一个狭窄的神经网络，从其噪声版本重构干净的输入数据，获得更加准确的特征表示；

信息融合推荐模型模块，将三个并列的降噪自编码器模型模块输出的与评分信息、信任信息和评论信息相应的预测向量进行加权融合，生成目标用户的推荐列表。

8.如权利要求7所述的基于卷积神经网络与降噪自编码器的信息推荐的实现系统，其特征在于，所述卷积神经网络模型模块包括嵌入层模块、卷积层模块、池化层模块和输出层模块；所述降噪自编码器模型模块包括编码层模块、权重层模块和解码层模块；

所述嵌入层模块用于将用户对项目的评论文本转换为数字矩阵；

所述卷积层模块用于提取所述评论文本的上下文特征，并生成上下文特征向量；

所述池化层模块用于将所述上下文特征向量固定到一个定长的特征向量中；

所述输出层模块用于使用非线性映射函数生成所述评论文本的潜在特征；

所述编码层模块用于将评分信息、信任信息和评论信息输入并映射到低维空间；

所述权重层模块用于根据评分信息、信任信息和评论信息的非线性相关性，对所述评分信息、所述信任信息和所述评论信息进行加权融合；

所述解码层模块用于从噪声数据中重构原始输入数据，并输出所述评分信息、所述信任信息和所述评论信息的数据预测值。

Images