CN109241366A - 一种基于多任务深度学习的混合推荐系统及其方法 - Google Patents

Abstract

本发明提出了一种基于多任务深度学习的混合推荐系统，依次包括三个阶段，分别为第一阶段、第二阶段和第三阶段，所述第一阶段为混合推荐模型构造，所述第二阶段为训练样本集生成，所述第三阶段为混合推荐模型训练，依次经过三个阶段的演算最后得出结果，所述混合推荐模型构造包括卷积神经网络和度量学习的混合推荐模型，由于本发明主要由三个阶段组成，每个阶段的实施过程简单、容易实现，同时不受具体开发工具和编程软件的限制，并且能够快速扩展到分布式和并行化的开发环境中。

Description

一种基于多任务深度学习的混合推荐系统及其方法

技术领域

本发明涉及计算机领域，具体涉及一种基于多任务深度学习的混合推荐系统及其方法。

背景技术

随着大数据时代的到来，人们需要面对越来越多的数据信息，如何从海量数据中提取出有价值的信息成为了极大的挑战。

而推荐系统能够从用户的历史信息中提取出用户的兴趣和喜好，并向用户推荐其可能感兴趣的项目，已逐渐成为了人们的关注热点。

传统推荐方法主要包括基于内容的推荐方法，协同过滤推荐方法和混合推荐方法，其中基于内容的推荐方法根据用户历史喜爱的物品向其推荐与之相似的物品，协同过滤推荐向用户推荐与之品味相似的用户所喜爱的物品，而混合推荐将多种推荐方法进行融合，取长补短，使整体推荐效果得到提高。

然而传统推荐方法的高质量推荐建立在繁重的特征处理工作基础上，大量的特征提取，特征组合，特征选取等工作需要技术人员进行处理，且这种处理只能捕捉到用户和物品的浅层次关系，不能深入挖掘用户和物品的深层特征。

同时，目前还发现使用度量学习来进行用户的偏好预测虽然能够帮助提高推荐效果，然而这种推荐方法只关注了用户和物品间的关系，没有有效地挖掘物品和物品间的内在联系，使得在用户对物品的历史反馈数据稀疏时，不能取得很好的推荐效果。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷(不足)，提供一种能深入挖掘用户和物品间的内在关系，并且能简化程序提高效率的推荐系统及其方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于多任务深度学习的混合推荐系统，依次包括三个阶段，分别为第一阶段、第二阶段和第三阶段，所述第一阶段为混合推荐模型构造，所述第二阶段为训练样本集生成，所述第三阶段为混合推荐模型训练，依次经过三个阶段的演算最后得出结果，所述混合推荐模型构造包括卷积神经网络和度量学习的混合推荐模型。

进一步，所述训练样本集生成将生成三种不同类别的用户-物品三元组作为训练样本，三个训练样本包括<正样本，用户，负样本>，<正样本，用户，正样本>，<负样本，用户，负样本>，所述混合推荐模型训练将三个训练样本作模型训练，将得到的三组模型参数值，并将这三组参数值按权重进行加权作为的最终参数。

一项所述基于多任务深度学习的混合推荐方法，该方法具体包括以下步骤：

S1.信息嵌入层：将原始用户和物品信息进行初步处理，并得到用户和物品的词嵌入向量e，以便更好地进行接下来的特征提取操作，词嵌入向量e如下式所示：

e＝f(W_e×s+b)，

其中，s表示输入的原始用户或物品的信息；W_e为本层的运算权重矩阵；b为本层的运算偏置值；f表示本层使用的激活函数；

S2.卷积层：采用卷积操作进行用户和物品的深层特征提取，在第t个卷积核所对应的特征h_t计算如下：

h_t＝f(e⊕k_t+b_t)，

其中，k_t表示卷积操作过程中的第t个卷积核，“⊕”表示卷积操作，b_t表示第t个卷积核运算的偏置值，f表示本层使用的激活函数；S3.赤化层：采用最大池化操作来进一步选取用户和物品的深层特征，只保留特征值最高的一项，最高项为m_t，m_t＝MAX{h₁,h₂,…,h_(n-c+1)}，

其中，n表示词嵌入向量e的长度，c表示池化操作的步长；

S4.全连接层：将每个卷积核抽取的特征进行连接，得到的中间特征向量m，所述中间特征向量m为：

m＝{m₁,m₂,…,m_l}，

其中，l表示卷积核的个数，然后，将中间特征向量m输入到全连接层中得到最终的用户或物品的深度特征向量，可表示为：

其中，W_fc为本层的运算权重矩阵，w为本层的运算偏置值，f表示本层使用的激活函数，同时得到的用户和一对物品的深层特征向量和

S5.使用度量学习的欧式距离来分别计算用户u_i和一对物品v_j ⁽¹⁾,v_j ⁽²⁾间的距离，以及物品和物品v_j ⁽¹⁾,v_j ⁽²⁾间的距离，计算公式如下：

其中，和分别表示u_i,v_j ⁽¹⁾和v_j ⁽²⁾经过步骤S4中全连接层后的深层特征向量；

S6.分别从用户购买行为事务数据库用户-物品评分数据库以及用户点击日志数据库这三个大型数据库中抽取并生成三种不同类型的训练样本，即<正样本，用户，负样本>，<正样本，用户，正样本>以及<负样本，用户，负样本>，分别记为<I⁺,U,I^->，<I⁺,U,I⁺>，<I^-,U,I^->，得出A1、A2和A3三种不同类型的训练样本；

A1.若对于用户购买行为事务数据库如果用户u_i∈U购买了物品v_j，那么标记v_j为正样本，即v_j∈I⁺，反之，如果用户u_i∈U没有购买物品v_j，那么标记v_j为负样本，即v_j∈I^-；

A2.若对于用户-物品评分数据库如果用户u_i∈U对物品v_j的评分超过了用户偏好阈值ζ，那么标记v_j为正样本，即v_j∈I⁺，反之，如果用户u_i∈U对物品v_j的评分低于用户偏好阈值ζ，那么标记v_j为负样本，即v_j∈I^-；

A3.若对于用户点击日志数据库如果用户u_i∈U点击浏览了物品v_j，那么标记v_j为正样本，即v_j∈I⁺，反之，如果用户u_i∈U没有点击浏览物品v_j，那么标记v_j为负样本，即v_j∈I^-；

S7.对步骤S6中的A1、A2、A3三种不同类型的训练样本分别构造出三种符合自身特点的损失函数

S8.同时训练步骤S7的三种训练样本，构造出三任务联合目标函数，如下式所示：

S9.等到参数收敛，训练过程停止，得到三组不同的模型参数值W₁,W₂,W₃，将这三组模型参数值进行加权后作为混合推荐模型最终的参数值W_f，如下式所示：

W_f＝η₁W₁+η₂W₂+η₃W₃；

S10.得出结果，结束。

其中所述步骤S1中的用户信息包括用户的类别信息、数值信息以及用户的评论文本信息，所述物品信息主要包括物品的类别信息、数值信息、物品的评论文本信息以及物品的视觉图片信息，所述用户和物品的类别和数值信息采用one-hot独热编码表示，用户和物品的评论文本信息使用word2vec工具抽取，物品的视觉图片信息使用AlexNet网络抽取。

进一步，所述步骤S1、S2和S4中f表示本层使用的激活函数为线性整流函数，如下式所示：

f(x)＝MAX(0,x)，

其中MAX为取最大值函数。

进一步，所述步骤S4用户和一对物品的深层特征向量 和需满足如下条件：

进一步，所述步骤S7的损失函数分别如下式所示：

为对于<正样本，用户，负样本>类型的训练样本<I⁺,U,I^->，其对应的损失函数，如下式所示：

为对于<正样本，用户，正样本>类型的训练样本<I⁺,U,I⁺>，其对应的损失函数，如下式所示：

为对于<负样本，用户，负样本>类型的训练样本<I^-,U,I^->，其对应的损失函数，如下式所示：

其中d(,)为步骤S5中度量学习所使用的欧式距离公式。

进一步，所述步骤S8需满足如下条件：

其中分别表示用户u_*和一对物品v_* ⁽¹⁾,v_* ⁽²⁾的深层特征向量；η₁,η₂,η₃为三个训练任务各自的权重，且η₁+η₂+η₃＝1。

进一步，所述步骤S8在训练过程中采用小批量梯度下降法(Mini-BatchStochastic Gradient Descent)来实施优化混合推荐模型中的参数，以80-150个样本为一批进行参数调整，同时使用自适应学习率(AdaGrad：Adaptive Gradient)算法来调整训练过程中学习率的变化幅度。

进一步，所述步骤S10进行在线推荐时，保留两个特征提取卷积神经网络，其中一个用于用户，另外一个用于物品，将用户和物品的特征信息分别输入到对应的特征提取卷积神经网络中，可得到混合推荐模型所预测的用户对物品的评分值，该评分值的大小决定了用户对该物品的喜好程度。

与现有技术相比，本发明技术方案的有益效果是：

(1)本发明利用卷积神经网络来实现用户和物品的特征提取，有效地利用了卷积神经网络的非线性结构，从而降低了特征工程的难度。

(2)由于本发明引入度量学习进行模型训练，将推荐问题转化为距离学习问题，不仅考虑了用户和物品间的关系，还考虑了物品和物品间的内在联系，从而能够显著提高稀疏数据上的推荐准确度。

(3)本发明主要由三个阶段组成，每个阶段的实施过程简单、容易实现，同时不受具体开发工具和编程软件的限制，并且能够快速扩展到分布式和并行化的开发环境中。

(4)本发明不仅考虑用户和物品间的关系，并且深入挖掘物品和物品间的内在联系，能有效解决数据稀疏问题，同时具有推荐准确率高、泛化能力强，易于实现等优点，能够有效应用于电子商务、智能交通、商业智能以及医疗健康等领域。

附图说明

图1为基于多任务深度学习的混合推荐费方法框架图。

图2为混合推荐模型框架图。

图3为混合推荐模型训练流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

下面结合附图和实施例对本发明的技术方案做进一步的说明。实施例

一种基于多任务深度学习的混合推荐系统，依次包括三个阶段，分别为第一阶段、第二阶段和第三阶段，如图1所示，所述第一阶段为混合推荐模型构造，所述第二阶段为训练样本集生成，所述第三阶段为混合推荐模型训练，依次经过三个阶段的演算最后得出结果，所述混合推荐模型构造包括卷积神经网络和度量学习的混合推荐模型，混合推荐模型构造阶段首先构造三个平行的卷积神经网络来抽取用户和一对物品的深层特征，进而计算用户和物品间的距离度量以及物品和物品间的距离度量。训练样本集生成阶段首先将物品分为正样本和负样本，接着构造三种类别不同的用户和物品间的三元组组合作为混合推荐模型的训练样本，将三种不同类别的训练样本同时输入混合推荐模型中进行训练，将学习得到的三种不同的模型参数进行加权组合作为最终混合推荐模型的参数。

在第一阶段的混合推荐模型构造中，本发明构造了基于卷积神经网络(CNN:Convolutional Neural Network)和度量学习(ML:Metric Learning)的混合推荐模型，其技术架构如图2所示，混合推荐模型的架构由三个平行的特征提取卷积神经网络组成，分别用于用户u_i和一对物品的深层次特征提取，分别记为Network_u， 将相关的用户和物品原始特征信息分别输入到对应的卷积神经网络中，经过卷积神经网络的计算后得到用户和物品的深层特征向量，三个网络的网络结构相同并且共享参数，由信息嵌入层、卷积层、池化层和全连接层组成；在此基础上，再利用度量学习进行评分预测，同时对三个网络的参数进行训练，训练目标为：使得用户与正样本间的距离小于用户与负样本间的距离，同时同类样本间的距离小于不同类别样本间的距离。

而在第二阶段的训练样本集生成中，本发明生成三种不同类别的用户-物品三元组作为训练样本，根据用户对物品的历史反馈数据，将用户喜欢的物品记为正样本，用户不喜欢的物品记为负样本,则三种训练样本的基本格式分别为<正样本，用户，负样本>，<正样本，用户，正样本>，<负样本，用户，负样本>，三种样本将被用于第三阶段的混合推荐模型训练中。

在第三阶段(混合推荐模型训练)中，本发明用第一阶段中构造的混合推荐模型同时对三种不同类别的训练样本进行训练，得到三组不同的模型参数值，然后将这三组参数值进行线性加权作为最后的模型参数值，如图3所示；图3给出了第三阶段的训练流程，其中W₁,W₂,W₃分别表示训练完成后所得到三组不同模型的参数值，η₁,η₂,η₃分别为三组参数值所占的权重，且满足η₁+η₂+η₃＝1。在训练过程中，每组样本的训练任务不同：

1)<正样本，用户，负样本>：用户到正样本的距离小于用户到负样本的距离，同时正样本和负样本间的距离尽可能大；

2)<正样本，用户，正样本>：用户到两个正样本的距离都尽可能小，同时正样本和正样本间的距离尽可能小；

3)<负样本，用户，负样本>：用户到两个负样本的距离都尽可能大，同时负样本和负样本间的距离尽可能小。

基于以上三个任务，本发明构造联合损失函数进行整体的参数优化学习。当模型训练完成后，本发明得到三组模型参数值W₁,W₂,W₃，并将这三组参数值按权重η₁,η₂,η₃进行加权后作为混合推荐模型的最终参数。

本发明还提出了一种基于多任务深度学习的混合推荐方法，该方法包括以下步骤：

S1.信息嵌入层：将输入的原始用户和物品信息进行初步处理得到用户和物品的词嵌入向量e，以便更好地进行接下来的特征提取操作，词嵌入向量e进行的运算如下：

e＝f(W_e×s+b)，

其中，s表示输入的原始用户或物品的信息：用户信息主要包括用户的类别信息、数值信息以及用户的评论文本信息，而物品信息主要包括物品的类别信息、数值信息、物品的评论文本信息以及物品的视觉图片信息，在实施过程中，用户和物品的类别和数值信息采用one-hot(独热)编码表示，用户和物品的评论文本信息使用word2vec工具抽取，而物品的视觉图片信息使用AlexNet网络抽取；W_e为本层的运算权重矩阵；b为本层的运算偏置值；f表示本层使用的激活函数，此处为线性整流函数(ReLU:Rectified Linear Unit)，所做的计算如下：

f(x)＝MAX(0,x)，

其中MAX为取最大值函数；

S2.卷积层：采用卷积操作进行用户和物品的深层特征提取的操作，此时，第t个卷积核所对应的特征h_t计算如下：

h_t＝f(e⊕k_t+b_t)，

其中，k_t表示卷积操作过程中的第t个卷积核，“⊕”表示卷积操作，b_t表示第t个卷积核运算的偏置值，f表示本层使用的激活函数，也为线性整流函数：

f(x)＝MAX(0,x)，

其中MAX为取最大值函数；

S3.池化层：采用最大池化(Max-Pooling)操作来进一步选取用户和物品的深层特征，只保留特征值最高的一项，运算如下式所示：

m_t＝MAX{h₁,h₂,…,h_(n-c+1)}，

其中，n表示词嵌入向量e的长度，c表示池化操作的步长；

S4.全连接层：将每个卷积核抽取的特征进行连接，得到的中间特征向量为：

m＝{m₁,m₂,…,m_l}，

其中，l表示卷积核的个数，然后，将中间特征向量m输入到全连接层中得到最终的用户或物品的深度特征向量，可表示为：

其中，W_fc为本层的运算权重矩阵，w为本层的运算偏置值，f表示本层使用的激活函数，此处为线性整流函数，同时得到的用户和一对物品的深层特征向量和深层特征向量 和需满足如下条件：

S5.经过步骤S1-S4后，使用度量学习的欧式距离来分别计算用户u_i和一对物品v_j ⁽¹⁾,v_j ⁽²⁾间的距离，以及物品和物品v_j ⁽¹⁾,v_j ⁽²⁾间的距离，具体计算公式如下：

其中，和分别表示u_i,v_j ⁽¹⁾和v_j ⁽²⁾经过步骤S4的全连接层后的深层特征向量；

S6.分别从用户购买行为事务数据库用户-物品评分数据库以及用户点击日志数据库这三个大型数据库中抽取并生成三种不同类型的训练样本，即<正样本，用户，负样本>，<正样本，用户，正样本>以及<负样本，用户，负样本>，分别记为<I⁺,U,I^->，<I⁺,U,I⁺>，<I^-,U,I^->，得出A1、A2和A3三种不同类型的训练样本；

A1.若对于用户购买行为事务数据库如果用户u_i∈U购买了物品v_j，那么标记v_j为正样本，即v_j∈I⁺，反之，如果用户u_i∈U没有购买物品v_j，那么标记v_j为负样本，即v_j∈I^-；

A2.若对于用户-物品评分数据库如果用户u_i∈U对物品v_j的评分超过了用户偏好阈值ζ，那么标记v_j为正样本，即v_j∈I⁺，反之，如果用户u_i∈U对物品v_j的评分低于用户偏好阈值ζ，那么标记v_j为负样本，即v_j∈I^-；

A3.若对于用户点击日志数据库如果用户u_i∈U点击浏览了物品v_j，那么标记v_j为正样本，即v_j∈I⁺，反之，如果用户u_i∈U没有点击浏览物品v_j，那么标记v_j为负样本，即v_j∈I^-

S7.对步骤S6中的A1、A2、A3三种不同类型的训练样本分别构造出三种符合自身特点的损失函数损失函数分别如下式所示：

为对于<正样本，用户，负样本>类型的训练样本<I⁺,U,I^->，其对应的损失函数，如下式所示：

为对于<正样本，用户，正样本>类型的训练样本<I⁺,U,I⁺>，其对应的损失函数，如下式所示：

为对于<负样本，用户，负样本>类型的训练样本<I^-,U,I^->，其对应的损失函数，如下式所示：

其中d(,)为步骤S5中度量学习所使用的欧式距离公式；

S8.同时训练步骤S7的三种训练样本，构造出三任务联合目标函数，如下式所示：

并满足如下条件：

其中分别表示用户u_*和一对物品v_* ⁽¹⁾,v_* ⁽²⁾的深层特征向量；η₁,η₂,η₃为三个训练任务各自的权重，且η₁+η₂+η₃＝1；在训练过程中，采用小批量梯度下降法(Mini-Batch Stochastic Gradient Descent)来实施优化混合推荐模型中的参数，其中100个样本为一批进行参数调整，同时使用自适应学习率(AdaGrad：Adaptive Gradient)算法来调整训练过程中学习率的变化幅度。

S9.当所有参数收敛时训练过程停止，从而得到三组不同的模型参数值W₁,W₂,W₃。本发明将这三组模型参数值进行加权后作为混合推荐模型最终的参数值Wf，即

W_f＝η₁W₁+η₂W₂+η₃W₃

S10.混合推荐模型训练完成后进行在线推荐，在进行在线推荐时，仅保留用户所对应的特征提取卷积神经网络和任意一个物品所对应的特征提取卷积神经网络，这两个特征提取卷积神经网络均包括信息嵌入层、卷积层、池化层以及全连接层；当将用户u和物品v的原始特征信息输入到对应的特征提取卷积神经网络中后，基于第一阶段步骤S1-S4，这两个特征提取卷积神经网络各自计算并获得用户和物品的深层特征向量x_u和y_v，进而，通过第一阶段步骤S5的度量学习，计算并获得用户对物品的评分值。

该评分值的大小决定了用户对该物品的喜好程度，评分值越大说明用户也偏好该物品。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于多任务深度学习的混合推荐系统，其特征在于，依次包括三个阶段，分别为第一阶段、第二阶段和第三阶段，所述第一阶段为混合推荐模型构造，所述第二阶段为训练样本集生成，所述第三阶段为混合推荐模型训练，依次经过三个阶段的演算最后得出结果，所述混合推荐模型构造包括卷积神经网络和度量学习的混合推荐模型。

2.根据权利要去1所述基于多任务深度学习的混合推荐系统，其特征在于，所述训练样本集生成将生成三种不同类别的用户-物品三元组作为训练样本，三个训练样本包括<正样本，用户，负样本>，<正样本，用户，正样本>，<负样本，用户，负样本>，所述混合推荐模型训练将三个训练样本作模型训练，将得到的三组模型参数值，并将这三组参数值按权重进行加权作为的最终参数。

3.一种基于多任务深度学习的混合推荐方法，其特征在于，具体包括以下步骤：

S1.信息嵌入层：将原始用户和物品信息进行初步处理，并得到用户和物品的词嵌入向量e，以便更好地进行接下来的特征提取操作，词嵌入向量e如下式所示：

e＝f(W_e×s+b)，

其中，s表示输入的原始用户或物品的信息；W_e为本层的运算权重矩阵；b为本层的运算偏置值；f表示本层使用的激活函数；

S2.卷积层：采用卷积操作进行用户和物品的深层特征提取，在第t个卷积核所对应的特征h_t计算如下：

其中，k_t表示卷积操作过程中的第t个卷积核，表示卷积操作，b_t表示第t个卷积核运算的偏置值，f表示本层使用的激活函数；

S3.赤化层：采用最大池化操作来进一步选取用户和物品的深层特征，只保留特征值最高的一项，最高项为m_t，m_t＝MAX{h₁,h₂,…,h_(n-c+1)}，

其中，n表示词嵌入向量e的长度，c表示池化操作的步长；

S4.全连接层：将每个卷积核抽取的特征进行连接，得到的中间特征向量m，所述中间特征向量m为：

m＝{m₁,m₂,…,m_l}，

其中，l表示卷积核的个数，然后，将中间特征向量m输入到全连接层中得到最终的用户或物品的深度特征向量，可表示为：

其中，W_fc为本层的运算权重矩阵，w为本层的运算偏置值，f表示本层使用的激活函数，同时得到的用户和一对物品的深层特征向量和

S5.使用度量学习的欧式距离来分别计算用户u_i和一对物品v_j ⁽¹⁾,v_j ⁽²⁾间的距离，以及物品和物品v_j ⁽¹⁾,v_j ⁽²⁾间的距离，计算公式如下：

其中，和分别表示u_i,v_j ⁽¹⁾和v_j ⁽²⁾经过步骤S4中全连接层后的深层特征向量；

S6.分别从用户购买行为事务数据库用户-物品评分数据库以及用户点击日志数据库这三个大型数据库中抽取并生成三种不同类型的训练样本，即<正样本，用户，负样本>，<正样本，用户，正样本>以及<负样本，用户，负样本>，分别记为<I⁺,U,I^->，<I⁺,U,I⁺>，<I^-,U,I^->，得出A1、A2和A3三种不同类型的训练样本；

A1.若对于用户购买行为事务数据库如果用户u_i∈U购买了物品v_j，那么标记v_j为正样本，即v_j∈I⁺，反之，如果用户u_i∈U没有购买物品v_j，那么标记v_j为负样本，即v_j∈I^-；

A2.若对于用户-物品评分数据库如果用户u_i∈U对物品v_j的评分超过了用户偏好阈值ζ，那么标记v_j为正样本，即v_j∈I⁺，反之，如果用户u_i∈U对物品v_j的评分低于用户偏好阈值ζ，那么标记v_j为负样本，即v_j∈I^-；

A3.若对于用户点击日志数据库如果用户u_i∈U点击浏览了物品v_j，那么标记v_j为正样本，即v_j∈I⁺，反之，如果用户u_i∈U没有点击浏览物品v_j，那么标记v_j为负样本，即v_j∈I^-；

S7.对步骤S6中的A1、A2、A3三种不同类型的训练样本分别构造出三种符合自身特点的损失函数

S8.同时训练步骤S7的三种训练样本，构造出三任务联合目标函数，如下式所示：

S9.等到参数收敛，训练过程停止，得到三组不同的模型参数值W₁,W₂,W₃，将这三组模型参数值进行加权后作为混合推荐模型最终的参数值W_f，如下式所示：

W_f＝η₁W₁+η₂W₂+η₃W₃；

S10.得出结果，进行在线推荐，结束算法。

4.根据权利要求3所述基于多任务深度学习的混合推荐方法，其特征在于，所述步骤S1中的用户信息包括用户的类别信息、数值信息以及用户的评论文本信息，所述物品信息主要包括物品的类别信息、数值信息、物品的评论文本信息以及物品的视觉图片信息，所述用户和物品的类别和数值信息采用one-hot独热编码表示，用户和物品的评论文本信息使用word2vec工具抽取，物品的视觉图片信息使用AlexNet网络抽取。

5.根据权利要求3所述基于多任务深度学习的混合推荐方法，其特征在于，所述步骤S1、S2和S4中f表示本层使用的激活函数为线性整流函数，如下式所示：

f(x)＝MAX(0,x)，

其中MAX为取最大值函数。

6.根据权利要求3所述基于多任务深度学习的混合推荐方法，其特征在于，所述步骤S4用户和一对物品的深层特征向量 和需满足如下条件：

7.根据权利要求3所述基于多任务深度学习的混合推荐方法，其特征在于，所述步骤S7的损失函数分别如下式所示：

为对于<正样本，用户，负样本>类型的训练样本<I⁺,U,I^->，其对应的损失函数，如下式所示：

为对于<正样本，用户，正样本>类型的训练样本<I⁺,U,I⁺>，其对应的损失函数，如下式所示：

为对于<负样本，用户，负样本>类型的训练样本<I^-,U,I^->，其对应的损失函数，如下式所示：

其中d(,)为步骤S5中度量学习所使用的欧式距离公式。

8.根据权利要求3所述基于多任务深度学习的混合推荐方法，其特征在于，所述步骤S8需满足如下条件：

其中分别表示用户u_*和一对物品v_* ⁽¹⁾,v_* ⁽²⁾的深层特征向量；η₁,η₂,η₃为三个训练任务各自的权重，且η₁+η₂+η₃＝1。

9.根据权利要求3所述基于多任务深度学习的混合推荐方法，其特征在于，所述S8在训练过程中采用小批量梯度下降法来实施优化混合推荐模型中的参数，以80-150个样本为一批进行参数调整，同时使用自适应学习率算法来调整训练过程中学习率的变化幅度。

10.根据权利要求3所述基于多任务深度学习的混合推荐方法，其特征在于，所述步骤S10进行在线推荐时，保留两个特征提取卷积神经网络，其中一个用于用户，另外一个用于物品，将用户和物品的特征信息分别输入到对应的特征提取卷积神经网络中，可得到混合推荐模型所预测的用户对物品的评分值，该评分值的大小决定了用户对该物品的喜好程度。