CN112860998B - 一种基于多任务学习机制的点击率预估方法 - Google Patents

Abstract

本发明公开了一种基于多任务学习机制的点击率预估(Click‑Through‑Rate,CTR)方法，旨在改善文本内容推荐系统中针对用户进行个性化推荐的效果。本发明立足于将领域知识融入深度模型来改进用户兴趣挖掘的思想，提出了新颖的混合专家网络来对领域知识进行高解释性表示，并通过任务导向的门控网络建模多任务之间的联系，进一步提高CTR以及其他任务预测的准确性。本发明提出的方法可以直接输入独热编码(One‑Hot)形式的用户特征和候选物品特征，不需要繁琐的人工特征工程，经过深度模型的特征交叉就可以学习到用户深层次的兴趣表示，最后输出0～1范围内的概率值来表示用户对候选物品的感兴趣程度。本发明具备较高的解释性和扩展性，很容易就能应用于具体的推荐场景中。

Description

一种基于多任务学习机制的点击率预估方法

技术领域

本发明涉及推荐系统领域中的CTR预估、CVR预估，以及多任务学习机制、知识表示等领域，具体涉及一种基于多任务学习机制的点击率预估方法。

背景技术

推荐系统是为了解决“信息过载”的情况下，如何帮助用户快速过滤冗余数据，找到自身感兴趣信息的问题。当前推荐系统在问答社区中发挥着重要作用。根据用户的偏好需求为其推荐可能感兴趣的问题，以此提升用户体验。然而目前推荐算法研究面临着用户隐式兴趣挖掘困难，以及如何有效融入领域知识等技术难点。

以知乎等开放领域问答社区为例，用户进入社区后，首页会推送许多系统认为用户可能感兴趣的问题，期望用户点击并产生一系列的交互行为，如赞同、关注、回答等。开放领域的问答社区积累了各种类型的问题，与之对应的是受限域问答社区，例如计算机技术相关的Stack Overflow。受限域的推荐可以借助当前领域的特点来提高推荐算法的有效性，并且在融入领域知识的情况下可以得到更满足用户兴趣的推荐结果。但受限域的推荐研究除了面对扩展性和冷启动等问题外，由于其自身数据特点目前仅在少数领域取得了进展，比如金融行业的理财产品推荐等。究其原因，首先是很多行业领域缺少充足且质量完善的训练数据。要从海量数据中清洗出当前领域内可供研究的数据信息需要长期投入人力和物力；其次，受限制领域的用户兴趣挖掘更困难。比如中医药问答社区的用户更多的是中医的爱好者，学者以及相关从业人员。这些用户已经明确表现出对中医的兴趣，而在此基础上进一步挖掘兴趣需要更有效的算法模型；最后，因为各个领域都有自己的特殊性，涉及的数据专业性强，因此需要领域内的知识来指导算法改进，直接利用开放领域的推荐技术往往效果较差。

协同过滤算法基于用户和物品的交互信息能够很好地度量用户与用户、物品与物品之间的相似性，并且适用于大规模数据集上。但在稀疏场景下的效果大打折扣。同时对于冷启动和长尾效应等束手无策。基于内容特征的逻辑回归和因子分解机算法简单且高效，但需要繁重的特征工程。研究人员需要花费大量时间衡量特征的重要性。树模型的组合开创了自动特征交叉的趋势，但模型的组合能力依旧十分有限。

近年来，深度学习网络凭借高效的特征提取能力，其发展引领了技术的革新。在推荐领域深度学习也成为了主流的研究方向。本发明在深度学习的背景下，基于多任务学习机制来融入领域知识，改进模型对用户兴趣的挖掘能力，进一步提高模型预测的效果。

发明内容

本发明的目的是高效融入领域知识，并对用户兴趣进行准确地挖掘，最后改善模型对点击率预估以及其他任务的预测能力。

为实现上述目的，本发明采用如下技术方案：

本发明公开了一种基于多任务学习机制的点击率预估方法，包括以下步骤：

1)构建具有用户属性和物品属性的数据集。并且定义模型学习的任务目标：点击率CTR和转换率CVR。点击率表示用户对展示物品的点击概率，转换率表示用户在点击展示物品后进一步的行为转换概率，行为转换例如电商平台的购买行为、问答社区推荐的问题收藏和赞同行为等；

2)对用户属性和物品属性进行特征提取预处理。用户属性可以提取用户ID、性别、年龄、职业等特征域，物品属性可以提取物品ID、类别、上传时间等特征域。对所有特征进行离散化后通过独热编码进行特征向量化表示。另外对于用户浏览过的物品，使用Multi-Hot编码进行向量化；

3)经过步骤2)的特征处理后得到高维稀疏的特征向量表示。对于不同特征域首先使用嵌入池化(Embedding&Pooling)层进行低维嵌入，得到稠密的向量表示，有利于减少模型的空间复杂度和训练的时间复杂度；

4)经过步骤3)的嵌入表示后，再构造特殊的领域知识训练数据集。在该数据集中，训练样本为物品特征，对应输出为知识的多标签分布。基于该数据集对模型的专家网络进行预训练，使得其中的Meta-Expert模块具备知识输出的能力；

5)Meta-Expert模块通过预训练的参数进行初始化设置，在步骤1)构造的数据集上进行微调。而模型的MoE网络包括了多个Expert模块，在训练中通过门控网络来建模CTR任务和CVR任务的联系，门控信号由Meta-Expert模块进行计算控制；

6)门控网络输出的门控信号和MoE网络的知识输出结果进行加权池化，得到用户的最终兴趣表示；

7)神经网络模型最后通过逻辑回归将用户的兴趣向量映射为0-1范围内的数值，用于表示用户对候选物品的感兴趣程度；

8)提出的算法在线服务时，使用已经训练收敛的模型，只需要输入用户和物品特征即可输出对应的感兴趣概率值；

更具体地，模型设计为同时学习CTR和CVR两个任务目标，有利于更好地建模“展示物品—用户点击—行为转换”这一过程。

为了得到丰富信息的特征向量表示，算法在特征预处理阶段对不同特征域采用不同的池化方式：对于用户特征域和物品特征域的特征向量进行拼接，而对于用户浏览的物品ID特征进行求和池化。

知识融入的关键步骤为对Meta-Expert模块的预训练过程。Meta-Expert为特殊的Expert模块，其结构和MoE网络中的Expert一致，都是采用三层全连接层的深度模型。模型参数设置为200 ReLU x 200 ReLU x 1024，其中ReLU为非线性激活函数。Meta-Expert的特殊之处在于知识的预训练，使得在步骤1)构建的数据集上整体训练过程中能够指导MoE网络的知识挖掘。

MoE为多个Expert模块的集合网络。每个Expert在训练时从物品特征中挖掘出相关的知识，然后结合Meta-Expert的指导输出，通过门控网络得到最后的用户兴趣表示。具体步骤为：

通过Sigmoid函数得到门控信号，计算公式如下所示：

g_i＝Sigmoid(W·[h_meta，h_i]+b)

其中g_i表示MoE网络中第i个Expert模块的门控信号，W为权重，h_meta为Meta-Expert模块的输出，h_i为第i个Expert模块的输出，b为偏差。

得到门控信号后，对MoE网络的输出进行加权池化，计算公式如下所示：

其中z表示最后的兴趣向量输出。m为Expert模块的个数。

模型最后的训练输出为CTR和CVR的联合损失，损失函数为负对数损失，公式如下所示：

其中N表示样本个数，x为特征向量，y为二元标签向量，y₁和y₂分别表示CTR和CVR的标签，值域为{0,1}。α为损失调和系数，范围为(0,+∞)。

所述的特征预处理采用了Python的Scikit-learn和Numpy工具；神经网络模型构建使用PyTorch工具。

本发明相对于现有技术的有益效果为：

1)用户兴趣挖掘一直是推荐系统的研究重点，只有深入分析用户行为，同时对用户特征和物品特征进行高效的组合表达，才能准确预测用户对展示物品的感兴趣程度。本发明通过设计多个专家网络来从不同侧面对用户行为进行深入刻画，再结合门控网络对不同角度的用户行为特征有选择地利用，最后得到信息丰富的用户向量表示。

2)对领域知识的高效利用。借助当前领域的特点来提高推荐算法的有效性，并且在融入领域知识的情况下可以得到更满足用户兴趣的推荐结果。本发明设计了Meta-Expert模块和知识预训练步骤，使得模型可以从物品信息中挖掘出领域知识，并通过领域知识来建模用户兴趣表示，对于受限领域的用户兴趣挖掘具有重大意义。

3)本发明提出的方法具备良好的扩展性，适用于多种领域的推荐系统设计。

附图说明

图1为一种基于多任务学习机制的点击率预估方法的整体模型结构；

图2为以中医药问题推荐为例的Meta-Expert知识预训练逻辑结构。

图3为实施例中系统效果图。

具体实施方式

以下结合具体实例以及附图对本发明作进一步详细说明。本发明以中医药问答社区的问题推荐为落地场景，介绍具体训练以及在线服务过程。

1)构建具有用户属性和物品属性的数据集。问答社区的问题推荐中，物品为中医药问题。定义模型学习的任务目标：点击率CTR和转换率CVR。点击率表示用户对展示问题的点击概率，转换率表示用户在点击展示问题后进一步的行为转换概率，主要包括收藏、赞同/反对、回答等行为。

2)模型的整体结构如图1所示。首先对用户属性和问题属性进行特征提取预处理。用户属性可以提取用户ID、性别、年龄、职业等特征域，物品属性可以提取物品ID、类别、上传时间等特征域。对所有特征进行离散化后通过独热编码进行特征向量化表示。另外对于用户浏览过的问题ID特征，使用Multi-Hot编码进行向量化。使用的特征信息如下所示：

3)经过步骤2)的特征处理后得到高维稀疏的特征向量表示。对于不同特征域首先使用嵌入池化(Embedding&Pooling)层进行低维嵌入，得到稠密的向量表示，有利于减少模型的空间复杂度和训练的时间复杂度，每个特征域的向量维度为32。

4)经过步骤3)的嵌入表示后，再构造领域知识训练数据集用于预训练，对应的逻辑为图2。在该数据集中，训练样本为物品特征，对应输出为知识的多标签分布。例如对于问题“麻黄的功效是什么？”，对应的标签为[0,0,…,1,0,…,1,…,0]，其中1所在的位置表示“麻黄”和“功效”，向量维度1024，表示具备1024个知识点分布。基于该数据集对模型的专家网络进行预训练，使得其中的Meta-Expert模块具备知识输出的能力；

5)神经网络模型在步骤1)构造的数据集上进行整体训练。其中Meta-Expert模块通过预训练的参数进行初始化设置，并且在训练中进一步更新；而模型的MoE网络包括了三个Expert模块。每个Expert模块和Meta-Expert模块结构一致，都为200 ReLU x 200 ReLUx 1024。在训练中MoE通过门控网络来建模CTR任务和CVR任务的联系，门控信号由Meta-Expert模块进行计算控制，输出的维度与Expert的输出维度一致；

6)门控网络输出的门控信号和MoE网络的知识输出结果进行加权池化，得到用户的最终兴趣表示；

7)最后通过逻辑回归模型输出0-1范围内的数值，用于表示用户对候选物品的感兴趣程度；

8)在线服务时，使用已经训练收敛的模型，只需要输入用户和物品特征即可输出对应的感兴趣概率值。

实施例

当预测用户U对问题Q的感兴趣程度，系统的处理流程描述如下：

1)使用Scikit-learn和Numpy工具对用户U和问题Q进行特征表示，表示成如下形式的独热编码特征：

2)所有的特征通过嵌入池化后得到稠密的向量表示。Meta-Expert对问题Q进行知识提取，MoE对用户I以及I的浏览问题集合进行多角度的画像刻画。

3)MoE中的每个Expert模块和Meta-Expert模块的输出计算门控信号，通过门控信号加权池化，最后得到对应任务的用户兴趣表示。

4)CTR和CVR任务针对用户兴趣表示向量，使用逻辑回归输出对应的预估结果。值域为[0,1]。数值越大表示感兴趣程度越大。最后的示例如图3所示。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种基于多任务学习机制的点击率预估方法，其特征在于包括以下步骤：

1)构建具有用户属性和物品属性的数据集，并且定义神经网络模型学习的任务目标：点击率CTR和转换率CVR，其中点击率表示用户对展示物品的点击概率，转换率表示用户在点击展示物品后进一步的行为转换概率；

2)对用户属性和物品属性进行特征提取预处理，对所有特征进行离散化后通过独热编码进行特征向量化表示；另外对于用户浏览过的物品，使用Multi-Hot编码进行向量化；

3)经过步骤2)的特征处理后得到高维稀疏的特征向量表示，对于不同特征域首先使用嵌入池化层进行低维嵌入，得到稠密的向量表示，减少神经网络模型的空间复杂度和训练的时间复杂度；

4)经过步骤3)的嵌入表示后，再构造领域知识训练数据集，在该数据集中，训练样本为物品特征，对应输出为知识的多标签分布；基于该数据集对神经网络模型的专家网络进行预训练，使得其中的Meta-Expert模块具备知识输出的能力；

5)神经网络模型在步骤1)构造的数据集上进行整体训练；其中Meta-Expert模块通过预训练的参数进行初始化设置，并且在训练中进一步更新；而神经网络模型的MoE网络包括了多个Expert模块，在训练中通过门控网络来建模CTR任务和CVR任务的联系，门控信号由Meta-Expert模块进行计算控制；

6)门控网络输出的门控信号和MoE网络的知识输出结果进行加权池化，得到用户的最终兴趣向量表示；

7)神经网络模型最后通过逻辑回归将用户的兴趣向量映射为0-1范围内的数值，用于表示用户对候选物品的感兴趣程度；

8)在线服务时，使用已经训练收敛的神经网络模型，根据输入的用户和物品特征即可输出对应的感兴趣概率值。

2.根据权利要求1所述的一种多任务学习机制的点击率预估方法，其特征在于所述步骤2)中的特征提取预处理采用了Python的Scikit-learn和Numpy工具；所述用户属性包括用户ID、性别、年龄、职业特征域，物品属性包括物品ID、类别、上传时间特征域。

3.根据权利要求1所述的一种基于多任务学习机制的点击率预估方法，其特征在于所述的步骤1)中同时采用学习CTR和CVR两个任务目标。

4.根据权利要求1所述的一种基于多任务学习机制的点击率预估方法，其特征在于所述的步骤3)中，对不同特征域采用不同池化方式，其中对于用户特征域和物品特征域的特征向量进行拼接，而对于用户浏览的物品ID特征进行求和池化。

5.根据权利要求1所述的一种基于多任务学习机制的点击率预估方法，其特征在于，所述的步骤4)中，Meta-Expert模块的结构和MoE网络中的Expert一致，都是采用三层全连接层的深度模型；Meta-Expert的特殊之处在于知识的预训练，使得在步骤1)构建的数据集上整体训练能够指导MoE的知识挖掘过程。

6.根据权利要求1所述的一种基于多任务学习机制的点击率预估方法，其特征在于所述的步骤5)和6)中利用门控网络来学习任务导向的用户兴趣表示，所述步骤6)具体为：

步骤6-1：通过Sigmoid函数得到门控信号，计算公式如下所示：

g_i＝Sigmoid(W·[h_meta，h_i]+b)

其中g_i表示步骤5)中所提到的MoE网络中第i个Expert模块的门控信号，W为权重，h_meta为Meta-Expert模块的输出，h_i为第i个Expert模块的输出，b为偏差；

步骤6-2：得到门控信号后对MoE网络的输出进行加权池化，计算公式如下所示：

其中z表示最后的兴趣向量输出，m为Expert模块的个数。

Images