CN107943897B - 一种用户推荐方法 - Google Patents

Abstract

本申请公开了一种用户推荐方法，具体包括以下步骤：确定自编码器的输入数据；通过一个激活函数将输入数据映射到自编码器的隐含层；将隐含层映射到一个维的重构的向量中；在数据集中训练模型参数，获得用户的预测评分；训练模型参数通过最小化重构误差来进行；其中训练模型参数包括以下步骤：稀疏化自编码器的输入数据；结合数据集的评分数据和显式信任信息进行训练；其中，稀疏化自编码器的输入数据包括以下子步骤：从数据集中的用户‑项目评分矩阵中提取输入向量；将输入向量中的缺失值置0；在自编码器中加入masking噪声；在反向传播之前，将输入向量中的缺失值的误差置0。本申请能够达到提高推荐准确度的效果。

Description

一种用户推荐方法

技术领域

本申请涉及信息过滤和数据挖掘领域，尤其涉及一种用户推荐方法。

背景技术

推荐系统被广泛地应用于各种各样的电子服务系统，比如电子商务和社会网络。推荐系统可以根据用户的历史评分来为用户推荐新的物品。推荐系统中的两种常用的方法是基于内容的过滤和协同过滤。基于内容过滤是通过分析用户过去喜欢的物品来向用户推荐新的物品。而协同过滤是通过一组已知的用户的喜好来向喜好未知的用户做物品推荐或者评分预测。传统的协同过滤仅仅通过用户的评分数据来对用户进行建模，然而，评分的稀疏性将会严重地降低推荐系统的效果。

目前能够将基于内容的过滤和协同过滤这两种方法融合到一起，并且在训练过程中加入附加信息来建立混合的模型。这种混合模型的目的在于在一定程度上通过附加信息来补充缺失的评分数据。但通过单一的附加信息来补充缺失的评分数据这种方法得到的评分并不是很准确，不能达到提高推荐准确度的效果。

发明内容

本发明的目的在于提供一种用户推荐方法，能够解决传统的推荐系统中的数据稀疏问题，能够更加准确地预测用户喜好并向用户推荐物品。

一种用户推荐方法，具体包括以下步骤：确定自编码器的输入数据x∈R^N；通过一个激活函数将输入数据映射到自编码器的隐含层；其中，隐含层表示为：y＝ρ(W^Tx+b)；其中y表示隐含层的结果，ρ表示激活函数，W表示N×H维的权重矩阵，W^T表示权重矩阵W的转置矩阵，b∈R^H表示偏置向量，x表示自编码器的输入向量；将隐含层映射到一个N维的重构的向量

中，

具体表示为：

其中W′＝W，是tied权重，b′∈R^N是偏置向量；在数据集中训练模型参数，获得用户的预测评分；训练模型参数通过最小化重构误差来进行，重构误差表示为：

其中，m表示用户数量，x_i表示自编码器的输入数据，

表示对应于输入数据的输出向量，l表示损失函数；其中在数据集上训练模型参数包括以下步骤：稀疏化自编码器的输入数据；结合数据集的评分数据和显式信任信息进行训练；其中，稀疏化自编码器的输入数据包括以下子步骤：从数据集中的用户-项目评分矩阵中提取输入向量；将输入向量中的缺失值置0；在自编码器中加入masking噪声，其中损失函数表示为：

其中，α表示降噪平方误差的调整参数，(1-α)表示重构平方误差的调整参数，x′表示x∈R^N中的破损部分，C(x′)表示x′中破损的元素的集合，N(x)表示x中非破损元素的集合，

表示神经网络第i次输出的结果，

表示对x′的预测结果；在反向传播之前，将输入向量中的缺失值的误差置0。

如上的，其中，结合数据集的评分数据和显式信任信息进行训练包括以下步骤：将数据集中的显式信任信息和评分数据分别放入模型的输入层和隐含层中训练获得预测评分；其中预测评分用降噪自编码器的输出层的结果，具体表示如下：

其中，t_i∈R^T表示用户i的信任信息，x_i表示用户i的评分数据，V^T∈R^H×(N+T)和V′∈R^H×N表示tied权重矩阵。

如上的，其中，在数据集上训练模型参数还包括通过相似度度量方法从数据集提取隐式信息；并且结合数据集的评分数据、显式信任信息和隐式信息进行训练；其中，损失函数表示为：

其中，Q(x)表示向量x中被加入噪声的那部分的维度元素的集合，Fro是弗罗贝尼乌斯范数，λ表示这一项的系数，

是规则项，目的是为了规则化参数W。

如上的，其中，其特征在于，从数据集提取隐式信息包括以下步骤：度量用户之间的隐式的信任关系，表示为

其中，i，j表示用户i和用户j，n表示两个用户的共同评分的数量,pcc(i，j)表示用户之间的皮尔森相关系数，其表示为：

其中，r_i，r_j表示用户i和用户j的评分向量，k表示一个物品，r_i，k，r_j，k表示用户i和用户j的对物品k的评分，

分别表示评分向量r_i和r_j的均值向量；设置阈值θ，利用公式

判定隐式信任关系，其中，t_i，j表示用户i和用户j的隐式的信任关系；以及若t_i，j＝1，则提取隐式信任信息。

如上的，其中，其特征在于，激活函数为双曲正切函数。

如上的，其中，其特征在于，稀疏化输入数据的影响可以通过损失函数中的调整参数α来度量。

如上的，其中，其特征在于，稀疏化自编码器的输入数据的维度大于隐含层的维度，并且隐含层的维度大于附加信息的维度。

如上的，其中，其特征在于，隐式信任关系是从数据集的用户评分信息中提取的。

如上的，其中，其特征在于，若t_i，j＝0，则认为用户之间不存在隐式信任关系。

本申请的实施例的技术效果如下：

(1)本申请建立的基于神经网络的TDAE模型通过把噪声masking加入到自编码器中，提高了模型的鲁棒性。通过把评分信息和显式信任信息结合到一起，使得用户的信息更加丰富，很好地缓解了数据稀疏的问题，并且该模型解决了传统模型中由于简单线性变换不能发现用户之间深层的语意联系的问题。

(2)本申请提出的TDAE++模型是在TDAE模型的基础上，加入了用户之间的隐式信任关系来对稀疏的显式信任信息进行补充，解决了传统的推荐系统中的数据稀疏问题，达到了准确的对用户喜好进行预测的效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本申请提供的用户推荐方法的流程图；

图2为本申请提供的稀疏化输入数据的流程图；

图3为本申请提供的提取隐式信息的流程图；

图4是本申请提供的调整参数α对RMSE的影响图；

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提出两种基于自编码器的信任感知的神经网络模型，分别为TDAE模型(Trust-aware Denoising Autoencoder)和基于TDAE模型的TDAE++模型。其中，自编码器作为两层神经网络来使用。

实施例一

TDAE模型是将用户的评分信息和用户在社交网络中的显式信任关系整合到一起来对用户的偏好进行预测评分的模型。图1为本申请提供的用户推荐方法流程图。如图1所示，包括如下步骤：

步骤S11：确定自编码器的输入数据。

具体地，本申请将自编码器中的x∈R^N的向量作为输入数据。其中x表示自编码器的输入向量，R^N表示向量x的维度是N。

步骤S12：通过一个激活函数将输入数据映射到自编码器的隐含层。其中，隐含层的具体表示如下：

y＝ρ(W^Tx+b)

其中，y表示隐含层的结果，ρ表示激活函数，W表示N×H维的权重矩阵，W^T表示权重矩阵W的转置矩阵，b∈R^H表示偏置向量。

示例性地，激活函数为双曲正切函数。

步骤S13：将隐含层映射到一个N维的重构的向量

中，

具体表示如下：

其中，W′＝W，是tied权重，b′是偏置向量。

具体地，W′和W用来防止模型的过拟合并且增强模型的鲁棒性。鲁棒性是指控制系统在一定(结构，大小)的参数摄动下，维持其它某些性能的特性。

步骤S14：在数据集中训练模型参数，获得用户的预测评分。

示例性地，预测评分用降噪自编码器的输出层表示。

具体地，本申请通过最小化重构误差来训练模型参数，具体表示如下：

其中，m表示用户数量，x_i表示自编码器的输入数据，

表示相对于输入数据的输出结果，l表示损失函数。

其中，本实施例中，步骤S14具体包括如下步骤：

步骤S141：稀疏化自编码器的输入数据。

如图2所示，步骤S141具体包括以下子步骤：

步骤S211：从数据集中的用户-项目评分矩阵中提取输入向量。

具体地，评分矩阵是根据对用户以及项目的分析所建立出来的。

步骤S212：将输入向量中的缺失值置0，以抑制自编码器的输入层和隐含层之间的权重边。

步骤S213：在自编码器中加入masking噪声。masking噪声能够对输入向量进行破损处理，从而得到鲁棒性更好的降噪自编码器(DAE)。

其中，破损函数具体表示为：

其中，α表示降噪平方误差的调整参数，(1-α)表示重构平方误差的调整参数，x′表示x∈R^N中的破损部分，C(x′)表示x′中破损的元素的集合，N(x)表示x中非破损元素的集合，

表示神经网络第i次输出的结果，

表示对x′的预测结果。

步骤S214：在反向传播之前，将输入向量中的缺失值的误差置0，以抑制自编码器的输入层和隐含层的权重边。

步骤S142：结合数据集的评分数据和显式信任信息进行训练。

作为一个实施例，评分数据为上述评分矩阵的表现形式。

具体地，步骤S142包括：将数据集中的显式信任信息和评分数据分别放入模型的输入层和隐含层中训练，以解决用户评分信息较为稀疏的问题。

预测评分用降噪自编码器的输出层表示，具体表示如下：

t_i∈R^T表示用户i的信任信息，b∈R^H和b′∈R^N表示偏置向量，ρ表示双曲正切函数，x_i表示用户i的评分信息，V^T∈R^H×(N+T)和V′∈R^H×N表示tied权重矩阵。

优选地，稀疏化输入数据的维度N大于隐含层的维度H，并且隐含层的维度H大于附加信息的维度T，即N＞＞H＞＞T。

通过上述步骤建立的TDAE模型能够把评分信息和显式信任信息结合到一起，从而对每位用户进行刻画，达到了能准确的推测用户喜好的技术效果。

实施例二

TDAE++模型是基于TDAE模型建立出来的，其通过相似度度量方法来提取用户之间的隐式信任关系，再将显式信任信息和隐式信任信息和评分数据结合到一起来提高预测评分的质量。综合上述的实施例一，其中在数据集上训练模型参数还包括步骤S143：通过相似度度量方法从数据集提取隐式信息。在此基础上，在预测评分时需要结合评分数据、显式信任信息和隐式信息。

如图3所示，具体包括以下子步骤：

步骤S311：度量用户之间的隐式的信任关系。

作为一个实施例，本申请利用相似度来度量用户之间的隐式信任关系，具体表示如下：

其中，i，j表示用户i和用户j，n表示两个用户的共同评分的数量,pcc(i，j)表示用户之间的皮尔森相关系数，具体表示如下：

其中，r_i，r_j表示用户i和用户j的评分向量，k表示一个物品，r_i，k，r_j，k表示用户i和用户j的对物品k的评分，

分别表示评分向量r_i和r_j的均值向量。

步骤S312：设置阈值，判定信任关系。

作为一个实施例，当两个用户的相似度超过阈值θ时，判定二者之间存在隐式信任关系。具体表示如下：

其中，t_i，j表示用户i和用户j的隐式的信任关系。

示例性地，其中t_i，j＝1时判断二者之间存在隐式信任关系，提取隐式信任信息。

在此基础上，预测评分时，损失函数具体表示如下：

其中，Q(x)表示向量x中被加入噪声的那部分的维度元素的集合，Fro是弗罗贝尼乌斯范数(Frobenius norm)，λ表示这一项的系数，

是规则项，目的是为了规则化参数W。

TDAE模型中的显式信任信息是非常稀疏的，通过上述步骤建立出的TDAE++模型相比与TDAE模型，其中整合的隐式信息能对稀疏的显式信任信息起到了补充的作用，达到了获得更加准确的预测评分的效果。

实施例三

本申请选取了PMF和DAE模型为对比模型，选取了平均绝对误差和均方根误差为评估标准来衡量模型的效果。

示例性地，PMF算法是指在RegularizedMF的基础上引入了概率模型来做进一步的优化。可以通过用户和物品的特征矩阵来预测评分矩阵中的缺失值。

具体地，平均绝对误差(MAE)表示为：

均方根误差(RMSE)表示为：

其中，u_i，k代表用户i对物品k的真实评价，

代表的是用户i对u_i，k的预测评分，T代表测试集中评分的总数。

具体地，平均绝对误差和均方根误差两个指标的数值越小说明模型的效果越好。

本申请选择了Filmtrust，Epinions，Douban这三个数据集来对模型中的参数进行训练，在这些数据集上训练了2层的自编码器，并且通过反向传播算法进行优化。

其中，在Filmtrust数据集上，激活函数为双曲正切函数。当α＝0.55，迭代次数为30以及隐含层的尺寸为170时，TDAE和TDAE++这两个模型的效果最好。当θ＝0.76时，TDAE++在Filmtrust数据集上的效果明显好于TDAE。另外，可利用调节参数α来控制加入噪声的影响。首先，我们将α的初始值设置为0.05，并且以步长为0.05使其增加到0.95。如图4所示，随着α的增长RMSE会随之减小。此外，当α为0.55时，神经网络的效果最好。

表1

表1是相同的训练率下各个模型在数据集上的RMSE和MAE值，通过比较，从表1中的数据可以看出，相比于传统的协同过滤方法，DAE的效果要更好，也就是说，基于神经网络的模型要优于传统的算法。另外，可以看出，本文中提出的模型TDAE和TDAE++在三个数据集上的RMSE和MAE的效果非常好，这也说明了加入信任信息可以有效地提高评分预测的准确性。

表2是整合显示信任信息的影响，从表2中我们可以看出，加入信任信息的TDAE的效果要好于DAE，这说明了加入了信任信息之后神经网络可以更好的学习用户的特征，做出更准确的预测。

表3

表3是整合隐式信任信息的影响，从表3中我们可以看出，TDAE++的效果要优于TDAE，也就是说，整合隐式的信任信息可以提高预测的准确性。同时，这种方法也可以有效地缓解数据稀疏的问题。

本申请的实施例的技术效果如下：

(1)本申请建立的基于神经网络的TDAE模型通过把噪声masking加入到自编码器中，提高了模型的鲁棒性。通过把评分信息和显式信任信息结合到一起，使得用户的信息更加丰富，并且解决了传统模型中由于简单线性变换不能发现用户之间深层的语意联系的问题。

(2)本申请提出的TDAE++模型是在TDAE模型的基础上，加入了用户之间的隐式信任关系来对系数的显式信任信息进行补充，解决了传统的推荐系统中的数据稀疏问题，达到了准确的对用户喜好进行预测的效果。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种用户推荐方法，其特征在于，具体包括以下步骤：

确定自编码器的输入数据x∈RN；

通过一个激活函数将输入数据映射到自编码器的隐含层；其中，隐含层表示为：

y＝ρ(WTx+b)；

其中y表示隐含层的结果，ρ表示激活函数，W表示N×H维的权重矩阵，WT表示权重矩阵W的转置矩阵，b∈RH表示偏置向量，x表示自编码器的输入向量；

将隐含层y映射到一个N维的重构的向量

中，

具体表示为：

其中W′＝W，是tied权重，b′∈RN是偏置向量；

在数据集中训练模型参数，获得用户的预测评分；

所述训练模型参数通过最小化重构误差来进行，所述重构误差表示为：

其中，m表示用户数量，xi表示自编码器的输入数据，

表示对应于输入数据的输出向量，l表示损失函数；

其中所述在数据集中训练模型参数包括以下步骤：

稀疏化自编码器的输入数据；

结合数据集的评分数据和显式信任信息进行训练；

其中，所述稀疏化自编码器的输入数据包括以下子步骤：

从数据集中的用户-项目评分矩阵中提取输入向量；

将输入向量中的缺失值置0；

在自编码器中加入masking噪声，其中损失函数表示为：

其中，a表示降噪平方误差的调整参数，(1-a)表示重构平方误差的调整参数，x'表示x∈RN中的破损部分，C(x')表示x'中破损的元素的集合，N(x)表示x中非破损元素的集合，

表示神经网络第i次输出的结果，

表示对x'的预测结果；

在反向传播之前，将输入向量中的缺失值的误差置0。

2.如权利要求1所述的用户推荐方法，其特征在于，所述结合数据集的评分数据和显式信任信息进行训练包括以下步骤：

将数据集中的显式信任信息和评分数据分别放入模型的输入层和隐含层中训练获得预测评分；

其中所述预测评分用降噪自编码器的输出层表示，具体表示如下：

其中，ti∈RT表示用户i的信任信息，xi表示自编码器的输入数据，V^T∈R^H×(N+T)和V′∈R^{H ×N}表示tied权重矩阵。

3.如权利要求1所述的用户推荐算法，其特征在于，所述在数据集中训练模型参数还包括通过相似度度量方法从数据集提取隐式信息；

并且结合数据集的评分数据、显式信任信息和所述隐式信息进行训练；

其中，损失函数表示为：

其中，Q(x)表示向量x中被加入噪声的那部分的维度元素的集合，Fro是弗罗贝尼乌斯范数，λ表示这一项的系数，

是规则项，目的是为了规则化参数W。

4.如权利要求3所述的用户推荐方法，其特征在于，所述从数据集提取隐式信息包括以下步骤：

度量用户之间的隐式信任关系，表示为

其中，i，j表示用户i和用户j,n表示两个用户的共同评分的数量,pcc(i，j)表示用户之间的皮尔森相关系数，其表示为：

其中，ri，rj表示用户i和用户j的评分向量，k表示一个物品，r_i,k，r_j,k表示用户i和用户j的对物品k的评分，

分别表示评分向量ri和rj的均值向量；

设置阈值θ，利用公式

判定隐式信任关系，

其中，t_i,j表示用户i和用户j的隐式的信任关系；

以及若t_i,j＝1，则提取隐式信任信息。

5.如权利要求1所述的用户推荐方法，其特征在于，所述激活函数为双曲正切函数。

6.如权利要求1所述的用户推荐方法，其特征在于，稀疏化输入数据的影响通过损失函数中的调整参数α来度量。

7.如权利要求1所述的用户推荐方法，其特征在于，所述稀疏化自编码器的输入数据的维度大于隐含层的维度，并且隐含层的维度大于附加信息的维度。

8.如权利要求4所述的用户推荐方法，其特征在于，所述隐式信任关系是从所述数据集的用户评分信息中提取的。

9.如权利要求4所述的用户推荐方法，其特征在于，若所述t_i,j＝0，则认为用户之间不存在隐式信任关系。

Images