CN109871485B - 一种个性化推荐方法及装置 - Google Patents

Abstract

本申请公开了一种个性化推荐方法及装置，包括：预处理阶段，对样本特征进行重编码处理，得到稀疏编码；将所述稀疏编码输入到相应的嵌入层，经所述嵌入层基于域敏感分解机对所述稀疏编码进行运算，得到稠密表示；神经网络训练阶段，基于标注的推荐标签信息，使用梯度下降法对所述神经网络进行训练；模型预测阶段，将所述稠密表示输入到神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐预测结果。

Description

一种个性化推荐方法及装置

技术领域

本申请涉及信息推荐技术，尤其涉及一种个性化推荐方法及装置。

背景技术

随着推荐技术的研究和发展，其应用领域也越来越多。例如，新闻推荐、商务推荐、娱乐推荐、学习推荐、生活推荐、决策支持等。推荐方法的创新性、实用性、实时性、简单性也越来越强。例如，上下文感知推荐、移动应用推荐、从服务推荐到应用推荐。然而目前的推荐方法在高效方面和精准方面都有待提高。

申请内容

为解决上述技术问题，本申请实施例提供了一种个性化推荐方法及装置。

本申请实施例提供的个性化推荐方法，包括：

对样本特征进行重编码处理，得到稀疏编码；

将所述稀疏编码输入到相应的嵌入层，经所述嵌入层基于域敏感分解机(Field-aware FactorizationMachines，FFM)对所述稀疏编码进行运算，得到稠密表示；

基于标注的推荐标签信息，使用梯度下降法对所述神经网络进行训练；

将所述稠密表示输入到神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐预测结果。

本申请实施例提供的个性化推荐装置，包括：

预处理模块，用于对样本特征进行重编码处理，得到稀疏编码；

处理模块，用于将所述稀疏编码输入到相应的嵌入层，经所述嵌入层基于FFM对所述稀疏编码进行运算，得到稠密表示；基于标注的推荐标签信息，使用梯度下降法对所述神经网络进行训练；将所述稠密表示输入到神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐预测结果。

采用本申请实施例的上述技术方案，在神经网络的嵌入层中引入FFM，得到的稠密表示再经过神经网络的隐藏层进行处理，如何，可以快速高效地得到推荐结果，并且得到的推荐结果的精确度较高，为信息的个性化推荐提供了有力的技术支持。

附图说明

图1为本申请实施例提供的个性化推荐方法的流程示意图；

图2为本申请实施例提供的神经网络的架构图；

图3为本申请实施例提供的个性化推荐装置的结构组成示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本申请实施例可以应用于计算机系统/服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器等电子设备一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。

随着人们的数据可被记录并且计算，随之产生了计算广告学这门新兴学科。从广撒网的广告形式到精准地捕捉到用户的需求，并且呈现给用户更加恰当的广告，这中间推荐系统功不可没。

推荐系统采用协同过滤算法，协同过滤算法包括两种类型：

(1)基于物品的协同过滤(Item-CF)算法：

其算法核心思想是给用户推荐那些和他们之前喜欢的物品相似的物品。算法认为，物品A和物品B具有很大的相似度是因为喜欢物品A的用户大都也喜欢物品B。

基于物品的协同过滤算法主要分为两步：

1、计算物品之间的相似度；

2、根据物品的相似度和用户的历史行为给用户生成推荐列表。

(2)基于用户的协同过滤(User-CF)算法：

基于用户的协同过滤就是以用户为主体的推荐算法，比较强调的是社会性的属性。该算法更加强调把和用户有相似爱好的其他的用户的物品推荐给该用户。

基于用户的协同过滤算法主要分为两步：

1、计算用户之间的相似度；

2、根据用户的相似度和用户的历史行为给用户生成推荐列表。

相似度的计算可以通过以下方法来实现：对集合A和B，Jaccard相似度计算如下：

Jaccard(A,B)＝|Aintersect B|/|AunionB|

相似度数值在[0,1]之间，当A＝＝B的时候，相似度数值为1。该相似度计算方法，元素的取值只能是0或者1，无法利用更丰富的信息。

相似度计算可以转换成Jaccard距离的计算，如下公式：

Jaccard distance(A,B)＝1-Jaccard(A,B)

另一方面，对于搭建精准的推荐系统而言，特征(features)是至关重要的。特征是刻画用户或者物品属性集合的基本单位。

随着深度学习技术在语音识别、计算机视觉和自然语言理解等领域取得巨大成功，越来越多的学者们也在着手研究基于深度学习技术的推荐系统。具体地：

(1)从原始数据中自动学习出蕴含语义的隐特征，例如从本文、图像或者知识网络中提取出有效的隐特征；

(2)自动学习多个相关特征之间的交互关系。

这里，特征之间的交互关系指的是学习两个或多个原始特征之间的交叉组合。例如，经典的基于模型的协同过滤其实是在学习二阶的交叉特征，即学习二元组[user_id,item_id]的联系。而当输入数据的内容变得丰富时，就需要高阶的交叉特征，例如，在商品推荐场景，用户年龄段为青年，性别为女，职业为学生这就是一个三阶的交叉特征。

传统的推荐系统中，高阶交叉特征通常是由工程师手工提取的，这种做法主要有三种缺点：

(1)重要的特征都是与应用场景息息相关的，针对每一种应用场景，工程师们都需要首先花费大量时间和精力深入了解数据的规律之后才能设计、提取出高效的高阶交叉特征，因此人力成本高昂；

(2)原始数据中往往包含大量稀疏的特征，例如用户和物品的ID，交叉特征的维度空间是原始特征维度的乘积，因此很容易带来维度灾难的问题；

(3)人工提取的交叉特征无法泛化到未曾在训练样本中出现过的模式中。

因此，自动学习特征间的交互关系是十分有意义的。

因子分解机(Factorization Machines，FM)通过对于每一维特征的隐变量内积来提取特征组合。然而，虽然理论上来讲FM可以对高阶特征组合进行建模，但实际上因为计算复杂度的原因一般都只用到了二阶特征组合。

针对上述问题，对于高阶的特征组合来说，本申请实施例的技术方案通过多层的神经网络即深层神经网络(Deep NeuralNetwork，DNN)去解决。对于一般的离散特征的处理，将特征转换成为独热编码(one-hot)的形式，但是将one-hot类型的特征输入到DNN中，会导致网络参数太多。所以本申请实施例提出一种基于深度域敏感分解机的个性化推荐方案，使用嵌入层解决ID特征稀疏的问题，又能自动学习出特征的高阶交叉，自动学习出隐含的语义向量，达到一定的泛化性能。

图1为本申请实施例提供的个性化推荐方法的流程示意图，如图1所示，所述个性化推荐方法包括以下步骤：

步骤101：对样本特征进行重编码处理，得到稀疏编码。

本申请实施例中，获取到样本特征后，需要对该样本特征进行预处理，具体地：

1)对于类别类型的样本特征，所述样本特征本身为稀疏编码；

2)对于数值类型的样本特征，采用哈希算法对所述样本特征进行编码，得到稀疏编码；

3)对于连续值类型的样本特征，采用等频归一化算法对所述样本特征进行编码，得到稀疏编码。

上述方案中，类别类型的样本特征例如是：用户标识(userid)，物品标识(itemid)等。具体实现时，可以对类别类型的样本特征过滤低频类别后直接使用。

上述方案中，数值类型的样本特征例如是：价格(price)等。具体实现时，可以对数值类型的样本特征使用哈希(hash)分箱操作，转化为数量一定的稀疏类别变量(也即稀疏编码)。

上述方案中，连续值类型的样本特征例如是：年龄(age)等。具体实现时，直接使用等频归一化算法将连续值类型的样本特征转化为数量一定的稀疏类别变量(也即稀疏编码)。

经过上述步骤，将神经网络的输入全部转化为稀疏类别变量(也即稀疏编码)。

步骤102：将所述稀疏编码输入到相应的嵌入层，经所述嵌入层基于FFM对所述稀疏编码进行运算，得到稠密表示。

本申请实施例中，将所述稀疏编码输入到相应的嵌入层(Embedding)，所述嵌入层基于FFM对每个样本特征的稀疏编码处理后，得到的稠密表示包括f个k维度的向量，其中，所述f是域的个数，所述k是每个向量的维度。

步骤103：基于标注的推荐标签信息，使用梯度下降法对所述神经网络进行训练。

具体地，经过神经网络得到推荐估计结果后，基于所述推荐估计结果和标注的推荐标签信息，计算交叉熵函数值；识别所述交叉熵函数值是否满足预设条件，如果所述交叉熵函数值不满足的预设条件，则基于所述交叉熵函数值，使用梯度下降法对所述神经网络的参数值进行调整，然后迭代执行获得所述推荐预测结果的操作，直至所述交叉熵函数值满足预设条件。

这里，利用交叉熵函数来计算预测结果

和标签值y之间的差异，具体地：

以下对神经网络的训练方法进行举例说明。

1)根据样本特征的数量(N)、field的个数(f)和训练参数(pa)，生成初始化模型，即随机生成模型的参数；

2)对每一轮迭代，如果随机更新参数(shuffle)为真，随机打乱训练样本的顺序；

3)对每一个训练样本，执行如下操作：

4)计算每一个样本的输入项，即获取神经网络的输入；

5)采用交叉熵函数作为损失函数计算每一个样本的训练误差；

6)利用单个样本的损失函数计算梯度，再根据梯度更新模型参数；

7)对每一个验证样本，计算样本的神经网络输出，计算验证误差；

8)重复步骤4)～7)，直到迭代结束或验证误差达到最小。

执行完上述步骤后，所述神经网络被训练完(即所述神经网络中的各参数已经被优化)，而后，可以利用该训练完的神经网络来学习推荐预测结果。

步骤104：将所述稠密表示输入到神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐预测结果。

具体地，对特征进行编码处理，得到稀疏编码；将所述稀疏编码输入到相应的嵌入层，经所述嵌入层基于FFM对所述稀疏编码进行运算，得到稠密表示；将所述稠密表示输入到训练完的神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐预测结果。

本申请实施例中，所述神经网络的隐藏层对每两个不同的样本特征对应的稠密表示采用对应域的两两点积，然后将点积结果并联。

具体地，参照图2，图2为本申请实施例提供的神经网络的架构图，神经网络的最底层输入是特征的稀疏编码(Sparse Encoding)。神经网络的输入是高度稀疏、超高维度、混合类别类型和连续值类型。特征可以被分组到一系列域(field)，如性别、位置、年龄。各种类型的特征经过步骤101统一处理成稀疏编码。嵌入层压缩高维度稀疏编码到一个低维稠密实值的向量(也即稠密表示)，再输入到第一个隐藏层。其中，神经网络使用域敏感分解机的隐向量作为神经网络的输入，嵌入层对每个特征都有f个k维度的向量，其中f是域的个数，k是每个向量的维度。

经过嵌入层后，对每两个不同的特征对应的稠密表示采用对应域(field)的两两点积，然后将结果并联，用公式形式化表示为：

其中，P代表枚举操作。concat代表隐藏层的并联操作。

在神经网络中，线性部分(LinearUnit)采用如下逻辑回归算法：

y＝logstic(wx+b)

其中，输入x是神经网络的稀疏编码(sparse encoding)。

神经网络的最后是多层隐藏层，其中最后一层隐藏层的输出经过softmax函数归一化，得到对应类别的预测推荐结果。其中，softmax函数转换输出结果得到预测值

其中，h表示隐藏层数，x_h是输出最后一个隐藏层，W_out和b_out分别代表输出层的权重和偏置。

图3为本申请实施例提供的个性化推荐装置的结构组成示意图，如图3所示，所述装置包括：

预处理模块301，用于对样本特征进行重编码处理，得到稀疏编码；

处理模块302，用于将所述稀疏编码输入到相应的嵌入层，经所述嵌入层基于FFM对所述稀疏编码进行运算，得到稠密表示；基于标注的推荐标签信息，使用梯度下降法对所述神经网络进行训练；将所述稠密表示输入到神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐预测结果。

在一实施方式中，所述预处理模块301，用于：

对于类别类型的样本特征，所述样本特征本身为稀疏编码；

对于数值类型的样本特征，采用哈希算法对所述样本特征进行编码，得到稀疏编码；

对于连续值类型的样本特征，采用等频归一化算法对所述样本特征进行编码，得到稀疏编码。

在一实施方式中，所述处理模块302，用于通过所述嵌入层基于FFM对每个样本特征的稀疏编码处理后，得到的稠密表示包括f个k维度的向量，其中，所述f是域的个数，所述k是每个向量的维度。

在一实施方式中，所述处理模块302，用于通过所述神经网络的隐藏层对每两个不同的样本特征对应的稠密表示采用对应域的两两点积，然后将点积结果并联。

在一实施方式中，所述处理模块302，用于基于所述推荐预测结果和推荐标签信息，计算交叉熵函数值；识别所述交叉熵函数值是否满足预设条件，如果所述交叉熵函数值不满足的预设条件，则基于所述交叉熵函数值，使用梯度下降法对所述神经网络的参数值进行调整，然后迭代执行获得所述推荐预测结果的操作，直至所述交叉熵函数值满足预设条件。

在一实施方式中，所述处理模块302，还用于对特征进行编码处理，得到稀疏编码；将所述稀疏编码输入到相应的嵌入层，经所述嵌入层基于FFM对所述稀疏编码进行运算，得到稠密表示；将所述稠密表示输入到神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐结果。

本领域技术人员应当理解，图3所示的个性化推荐装置中的各模块的实现功能可参照前述个性化推荐方法的相关描述而理解。图3所示的个性化推荐装置中的各模块的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (2)

1.一种个性化推荐方法，其特征在于，所述方法包括：

输入样本，并对样本特征进行重编码处理，得到稀疏编码；其中，所述样本特征包括以下至少一种数据：用户标识、用户性别、用户年龄，以及以下至少一种数据：物品标识、物品价格；将所述稀疏编码输入到相应的嵌入层，经所述嵌入层基于域敏感分解机FFM对所述稀疏编码进行运算，得到稠密表示；基于标注的推荐标签信息，使用梯度下降法对神经网络进行训练；将所述稠密表示输入到神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐预测结果；

将所述稀疏编码输入到相应的嵌入层，经所述嵌入层基于域敏感分解机FFM对所述稀疏编码进行运算，得到稠密表；嵌入层基于FFM对每个样本特征的稀疏编码处理后，得到的稠密表示包括f个k维度的向量，其中，所述f是域的个数，所述k是每个向量的维度；

基于所述推荐预测结果和推荐标签信息，计算交叉熵函数值；识别所述交叉熵函数值是否满足预设条件，如果所述交叉熵函数值不满足的预设条件，则基于所述交叉熵函数值，使用梯度下降法对所述神经网络的参数值进行调整，然后迭代执行获得所述推荐预测结果的操作，直至所述交叉熵函数值满足预设条件将所述稠密表示输入到神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐预测结果；

所述对样本特征进行重编码处理，得到稀疏编码，包括：

对于类别类型的样本特征，所述样本特征本身为稀疏编码；

对于数值类型的样本特征，采用哈希算法对所述样本特征进行编码，得到稀疏编码；

对于连续值类型的样本特征，采用等频归一化算法对所述样本特征进行编码，得到稀疏编码；

述隐藏层对所述稠密表示进行处理，包括：

所述神经网络的隐藏层对每两个不同的样本特征对应的稠密表示采用对应域的两两点积，然后将点积结果并联；

所述将所述稠密表示输入到神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐预测结果，包括：

识别所述交叉熵函数值是否满足预设条件，如果所述交叉熵函数值不满足的预设条件，则基于所述交叉熵函数值，使用梯度下降法对所述神经网络的参数值进行调整，然后迭代执行获得所述推荐预测结果的操作，直至所述交叉熵函数值满足预设条件；

所述梯度下降法对神经网络进行训练的具体方法为：

1）根据样本特征的数量N、field的个数f和训练参数pa，生成初始化模型，即随机生成模型的参数；

2）对每一轮迭代，如果随机更新参数为真，随机打乱训练样本的顺序；

3）对每一个训练样本，执行如下操作：

4）计算每一个样本的输入项，即获取神经网络的输入；

5）采用交叉熵函数作为损失函数计算每一个样本的训练误差；

6）利用单个样本的损失函数计算梯度，再根据梯度更新模型参数；

7）对每一个验证样本，计算样本的神经网络输出，计算验证误差；

8）重复步骤4）~7），直到迭代结束或验证误差达到最小。

2.一种个性化推荐装置，其特征在于，所述装置包括：

预处理模块，用于对样本特征进行重编码处理，得到稀疏编码；其中，所述样本特征包括以下至少一种数据：用户标识、用户性别、用户年龄，以及以下至少一种数据：物品标识、物品价格；将所述稀疏编码输入到相应的嵌入层，经所述嵌入层基于域敏感分解机FFM对所述稀疏编码进行运算，得到稠密表示；基于标注的推荐标签信息，使用梯度下降法对神经网络进行训练；将所述稠密表示输入到神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐预测结果；

处理模块，用于嵌入层基于FFM对每个样本特征的稀疏编码处理后，得到的稠密表示包括f个k维度的向量，其中，所述f是域的个数，所述k是每个向量的维度；基于所述推荐预测结果和推荐标签信息，计算交叉熵函数值；识别所述交叉熵函数值是否满足预设条件，如果所述交叉熵函数值不满足的预设条件，则基于所述交叉熵函数值，使用梯度下降法对所述神经网络的参数值进行调整，然后迭代执行获得所述推荐预测结果的操作，直至所述交叉熵函数值满足预设条件；

所述预处理模块，用于：

对于类别类型的样本特征，所述样本特征本身为稀疏编码；

对于数值类型的样本特征，采用哈希算法对所述样本特征进行编码，得到稀疏编码；

对于连续值类型的样本特征，采用等频归一化算法对所述样本特征进行编码，得到稀疏编码；

所述处理模块，用于通过所述神经网络的隐藏层对每两个不同的样本特征对应的稠密表示采用对应域的两两点积，然后将点积结果并联；所述处理模块，还用于对特征进行编码处理，得到稀疏编码；将所述稀疏编码输入到相应的嵌入层，经所述嵌入层基于FFM对所述稀疏编码进行运算，得到稠密表示；将所述稠密表示输入到神经网络的隐藏层，经所述隐藏层对所述稠密表示进行处理，得到推荐结果；

所述梯度下降法对神经网络进行训练的具体方法为：

1）根据样本特征的数量N、field的个数f和训练参数pa，生成初始化模型，即随机生成模型的参数；

2）对每一轮迭代，如果随机更新参数为真，随机打乱训练样本的顺序；

3）对每一个训练样本，执行如下操作：

4）计算每一个样本的输入项，即获取神经网络的输入；

5）采用交叉熵函数作为损失函数计算每一个样本的训练误差；

6）利用单个样本的损失函数计算梯度，再根据梯度更新模型参数；

7）对每一个验证样本，计算样本的神经网络输出，计算验证误差；

8）重复步骤4）~7），直到迭代结束或验证误差达到最小。

Images