CN112069396A - 一种推荐系统推荐方法、设备、推荐系统及存储介质 - Google Patents

Abstract

本发明公开了一种推荐系统推荐方法、设备、推荐系统及存储介质，所述方法包括：构建DeepFM推荐系统网络；根据上一次训练更新的DeepFM推荐系统网络特征域数据和当前的特征域数据，计算DeepFM推荐系统网络的每个特征域的惊喜特征因子，所述惊喜特征因子反映用户行为变动；当惊喜特征因子小于预设的替换阈值时，对惊喜特征因子对应特征域的embedding向量进行随机替换；DeepFM推荐系统网络采用替换后的embedding向量计算预测概率，推理得出用户推荐结果。所述推荐系统包括推荐系统网络构建模块、惊喜特征因子生成模块、embedding向量替换模块和推荐结果生成模块。本发明使推荐系统在保留“记忆能力”和“泛化能力”的基础上，提高了发现“惊喜”的概率。

Description

一种推荐系统推荐方法、设备、推荐系统及存储介质

技术领域

本发明涉及推荐系统设计领域，具体涉及一种推荐系统推荐方法、设备、推荐系统及存储介质。

背景技术

推荐系统是互联网时代的一种信息检索工具，自上世纪90年代起，人们便认识到了推荐系统的价值，经过了二十多年的积累和沉淀，推荐系统逐渐成为一门独立的学科在学术研究和业界应用中都取得了很多成果。

推荐系统可以看作是机器学习的多分类问题，如何在种类繁多的产品中找出客户喜欢的那类产品成为推荐系统算法设计的主要目标，早期的推荐系统主要应用协同过滤算法(Collaborative Filtering Recommendation)，该算法不需要预先获得用户或物品的特征数据，仅依赖于用户的历史行为数据对用户进行建模，从而为用户进行推荐。协同过滤算法主要包括基于用户的协同过滤(User-Based Collaborative Filtering，User-BasedCF)、基于物品的协同过滤(Item-Based Collaborative Filtering，Item-Based CF)、隐语义模型(Latent Factor Model)等。

推荐系统面临的一个重要挑战是对“记忆能力”(记住客户喜欢的那类商品)和“泛化能力”(推测客户可能喜欢的商品)的权衡，记忆能力很容易挖掘，主要考察特征的共现，而泛化能力则很难处理，主要原因是推荐的内容相当隐蔽，特征很少共现就很难泛化，而丢掉泛化能力只推荐客户喜欢的那类产品则会丢失推荐的多样性。现代神经网络基于深度神经网络(Deep Neural Networks，DNN)和因子分解机(Factorization Machines，FM)的推荐模型开始兴起，这为同时提高推荐系统的“记忆能力”和“泛化能力”提供了可能性，应用DNN的泛化特性可以提高推荐系统的性能，同时通过对低维度的dense embedding进行组合可以学习到更深层次的隐藏特征，涌现出了很多联合传统机器学习的“记忆能力”(记忆单元来实现)和神经网络“泛化能力”(泛化单元来实现)进行设计的推荐系统算法，包括Wide&Deep、DeepFM等一系列优秀的推荐系统算法，这些算法在提供记忆能力的同时也提高了推荐系统算法的泛化能力。这些推荐系统算法主要依据客户对商品的评分矩阵(或者点击矩阵)来进行设计，更好地学习了低阶和高阶的特征。但是，这些推荐系统也存在其本身的局限性，即过分依赖于特征，而无法给客户提供一些新颖的商品。用户或者商品的特征存在两种属性，一种是依赖属性，即一个特征可能依赖另一个或多个特征，改变一个特征会引起一连串的连锁反应，另外一种是主要属性，即用户的特征可能只有一个起到主要作用。如果对这种属性处理不好可能会发生一些严重错误，例如，一个经常看“王晶”的“搞笑电影”的人可能其真实意图只是喜欢看“王晶”的电影，并不因为看了属于“搞笑电影”的“九品芝麻官”和“鹿鼎记2”而不去看“追龙”，但如果在这个新用户仅仅看了“九品芝麻官”和“鹿鼎记2”后，推荐系统没有推荐“追龙”，用户就会认为推荐系统不“懂”他，他也没意识到原来“王晶”还可以拍其它题材的电影，丢失了“惊喜”，这就是推荐系统没有识别主要属性而误读了用户的意图。

现有的上述推荐系统算法大多基于推荐系统的准确率而设计，减少了用户发现“惊喜”的概率。

发明内容

为了解决上述技术问题，本发明提出了一种推荐系统推荐方法、设备、推荐系统及存储介质，能够在进行推荐时提高用户发现惊喜的概率。

为实现上述目的，本发明采用以下技术方案：

一种推荐系统推荐方法，包括：

构建DeepFM推荐系统网络；

根据上一次训练更新的DeepFM推荐系统网络特征域数据和当前的特征域数据，计算DeepFM推荐系统网络的每个特征域的惊喜特征因子，所述惊喜特征因子反映用户行为变动；

当惊喜特征因子小于预设的替换阈值时，对惊喜特征因子对应特征域的embedding向量进行随机替换；

DeepFM推荐系统网络采用替换后的embedding向量计算预测概率，推理得出用户推荐结果。

进一步地，所述预测概率的计算公式为：

其中，

y_FM为FM结构层输出，<w,x>为稀疏特征x的权重，w为权重信息，V_i为特征i的隐向量；y_DNN＝σ(W^|H|+1ga^H+b^|H|+1)，y_DNN为DNN结构层输出，H为隐藏层的网络层数，DNN结构层中每一层与上一层的网络关系为a^(l+1)＝σ(W^(l)a^(l)+b^(l))，其中σ为激活函数，W^(l)、a^(l)、b^(l)为第l层网络的权重、输入和偏置，a⁽⁰⁾＝[e₁,e₂,L,e_m]，e_m为特征域m的embedding向量。

进一步地，所述FM结构层和DNN结构层共用一套embedding向量。

进一步地，所述embedding向量包括用户embedding、商品embedding和环境因素embedding。

进一步地，所述根据上一次训练更新的DeepFM推荐系统网络特征域数据和当前的特征域数据，计算DeepFM推荐系统网络的每个特征域的惊喜特征因子具体为：

惊喜特征因子θ_e(m，t)取值为：

其中，e_(m,t′)为上一次训练更新的DeepFM推荐系统网络特征域m数据，e_(m,t)为当前的特征域m数据。

进一步地，所述当惊喜特征因子小于预设的替换阈值时，对惊喜特征因子对应特征域的embedding向量进行随机替换具体为：

当θ_e(m，t)小于预设的替换阈值时，随机选择N个相对应特征域m的其它embedding向量作为替换embedding向量，分别与当前相应特征域待替换embedding向量进行相似度计算：

其中，e_mo为其它的替换embedding向量，e_mc为待替换embedding向量；

将N个相对应的替换embedding向量的相似度完成计算后，根据相似度由小到大排序；

对经过排序后的特征域embedding向量从小到大取出M个进行embedding向量替换，M≤N。

本发明还提出了一种推荐系统，包括：

推荐系统网络构建模块，用于构建DeepFM推荐系统网络；

惊喜特征因子生成模块，用于根据上一次训练更新的DeepFM推荐系统网络特征域数据和当前的特征域数据，计算DeepFM推荐系统网络的每个特征域的惊喜特征因子，所述惊喜特征因子反映用户行为变动；

embedding向量替换模块，用于当惊喜特征因子小于预设的替换阈值时，对惊喜特征因子对应特征域的embedding向量进行随机替换；

推荐结果生成模块，用于采用替换后的embedding向量计算预测概率，推理得出用户推荐结果。

本发明还提出了一种推荐系统推荐设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述推荐系统推荐方法的步骤。

本发明还提出了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述推荐系统推荐方法的步骤。

本发明的有益效果是：

本发明通过提出一种推荐系统推荐方法、设备、推荐系统及存储介质，使推荐系统在进行推荐时通过训练时相应特征域embedding向量变化的识别，在保留主要特征的同时，最大限度地改变次要特征，在保留推荐系统“记忆能力”和“泛化能力”的基础上，引导推荐系统发现“惊喜”，以此来提高用户发现“惊喜”的概率。

附图说明

图1是本发明实施例推荐系统推荐方法流程示意图；

图2是本发明实施例推荐系统结构示意图。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

如图1所示，本发明实施例公开了一种推荐系统推荐方法，包括：

构建DeepFM推荐系统网络；

根据上一次训练更新的DeepFM推荐系统网络特征域数据和当前的特征域数据，计算DeepFM推荐系统网络的每个特征域的惊喜特征因子，所述惊喜特征因子反映用户行为变动；

当惊喜特征因子小于预设的替换阈值时，对惊喜特征因子对应特征域的embedding向量进行随机替换；

DeepFM推荐系统网络采用替换后的embedding向量计算预测概率，推理得出用户推荐结果。

本发明实施例中推荐系统网络采用DeepFM网络，DeepFM能够考虑到物品的高阶特征组合，能更好地进行推荐。

在DeepFM网络中，稀疏特征在经过one-hot编码之后进行Embedding成为密集矩阵，与连续特征一起作为输入，经过FM结构层和DNN结构层，最后通过Sigmoid函数给出预测概率，即推荐结果。

具体地，embedding分为用户embedding(如性格、年龄、地域、学历等人口学统计信息)和商品embedding(如物品类别、颜色等信息)，有时为了提高性能，还可以添加对环境因素的embedding。特征数据由特征域构成，x＝[x_field1,x_field2L,x_fieldjL x_fieldm]。

embedding层的内积主要靠隐向量V来实现，V可以使用训练完的数据进行初始化，也可以在推荐系统运行时进行训练，反映了FM的二阶特征交叉能力，在embedding之后通过FM结构层和DNN结构层实现记忆和泛化能力的融合。

推荐系统输出单元的预测概率的计算公式为：

其中，

y_FM为FM结构层输出，<w,x>为稀疏特征x的权重，w为权重信息，V_i为特征i的隐向量；y_DNN＝σ(W^|H|+1ga^H+b^|H|+1)，y_DNN为DNN结构层输出，DNN层可以看作是一个全链接的前馈神经网络，H为隐藏层的网络层数，DNN结构层中每一层与上一层的网络关系为a^(l+1)＝σ(W^(l)a^(l)+b^(l))，其中σ为激活函数，W^(l)、a^(l)、b^(l)为第l层网络的权重、输入和偏置，a⁽⁰⁾＝[e₁,e₂,L,e_m]，e_m为特征域m的embedding向量。在训练中，所述FM结构层和DNN结构层共用一套embedding向量，大大提高了推荐系统的性能。

所述根据上一次训练更新的DeepFM推荐系统网络特征域数据和当前的特征域数据，计算DeepFM推荐系统网络的每个特征域的惊喜特征因子具体为：

对DeepFM网络的每个特征域定义惊喜特征因子θ_e(m，t)，惊喜特征因子为标量，θ_e(m，t)取值为：

其中，e_(m,t′)为上一次训练更新的DeepFM推荐系统网络特征域m数据，e_(m,t)为当前的特征域m数据。θ_e(m，t)的取值随着用户行为的改变而不同。当用户主动搜索新的商品时，e_(m,t′)和e_(m,t)在训练中会发生很大变动，导致相对应θ_e(m，t)会发生很大变动；当θ_e(m，t)变动较小时，说明e_(m,t′)和e_(m,t)在训练中没有发生很大变化，表示用户当前特征域数据固定，用户偏好和习惯确定。

因此，设置惊喜特征因子的替换阈值，当惊喜特征因子小于预设的替换阈值时，对惊喜特征因子对应特征域的embedding向量进行随机替换。embeding向量替换主要考虑到两方面的因素，一方面是特征之间的依赖关系(特征共现表示依赖)，用户搜索新的物品就意味着原有特征依赖关系的破裂，这个时候需要新的依赖关系的重组。当新的依赖关系建立之后相应特征域不会出现大的变化，用户新习惯或者新爱好形成，但如果用户再次搜索新的商品则替换embedding向量仍然会出现依赖关系的破裂(在进行推荐系统训练过程中随着DNN泛化能力的引进也会建立新的特征依赖关系，但是这种特征依赖关系是靠着大数据训练并且渐进变化的。不会出现大的embedding向量变化，因此很难造成“惊喜”)。另一方面就是主要特征。用户在浏览新的内容时，主要特征是不会引起太大变动的(例如，因为喜欢“王晶”的电影而搜“王晶”拍的其他类型电影时，导演这个特征域embedding向量没有大变化，因此，不会出现替换导演特征域的值而导致重大错误现象发生)。

随机替换的操作具体为：

当θ_e(m，t)小于预设的替换阈值时，随机选择N个相对应特征域m的其它embedding向量作为替换embedding向量，分别与当前相应特征域待替换embedding向量进行相似度计算：

其中，e_mo为其它的替换embedding向量，e_mc为待替换embedding向量，IPS值越大表示特征相似度越大；

将N个相对应的替换embedding向量的相似度完成计算后，根据相似度由小到大排序(从小到大排序表示将待替换特征域embedding向量替换为最不相似特征域embedding向量)；

对经过排序后的特征域embedding向量从小到大取出M个进行embedding向量替换，M≤N。

进行embedding向量替换后，即可进行推理，得出用户推荐结果。

如图2所示，本发明实施例还公开了一种推荐系统，包括：

推荐系统网络构建模块，用于构建DeepFM推荐系统网络；

惊喜特征因子生成模块，用于根据上一次训练更新的DeepFM推荐系统网络特征域数据和当前的特征域数据，计算DeepFM推荐系统网络的每个特征域的惊喜特征因子，所述惊喜特征因子反映用户行为变动；

embedding向量替换模块，用于当惊喜特征因子小于预设的替换阈值时，对惊喜特征因子对应特征域的embedding向量进行随机替换；

推荐结果生成模块，用于采用替换后的embedding向量计算预测概率，推理得出用户推荐结果。

本发明实施例还公开了一种推荐系统推荐设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上所述推荐系统推荐方法的步骤。

本发明实施例还公开了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述推荐系统推荐方法的步骤。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制。对于所属领域的技术人员来说，在上述说明的基础上还可以做出其它不同形式的修改或变形。这里无需也无法对所有的实施方式予以穷举。在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种推荐系统推荐方法，其特征在于，包括：

构建DeepFM推荐系统网络；

根据上一次训练更新的DeepFM推荐系统网络特征域数据和当前的特征域数据，计算DeepFM推荐系统网络的每个特征域的惊喜特征因子，所述惊喜特征因子反映用户行为变动；

当惊喜特征因子小于预设的替换阈值时，对惊喜特征因子对应特征域的embedding向量进行随机替换；

DeepFM推荐系统网络采用替换后的embedding向量计算预测概率，推理得出用户推荐结果。

2.根据权利要求1所述的推荐系统推荐方法，其特征在于，所述预测概率的计算公式为：

其中，

y_FM为FM结构层输出，<w,x>为稀疏特征x的权重，w为权重信息，V_i为特征i的隐向量；y_DNN＝σ(W^|H|+1ga^H+b^|H|+1)，y_DNN为DNN结构层输出，H为隐藏层的网络层数，DNN结构层中每一层与上一层的网络关系为a^(l+1)＝σ(W^(l)a^(l)+b^(l))，其中σ为激活函数，W^(l)、a^(l)、b^(l)为第l层网络的权重、输入和偏置，a⁽⁰⁾＝[e₁,e₂,L,e_m]，e_m为特征域m的embedding向量。

3.根据权利要求2所述的推荐系统推荐方法，其特征在于，所述FM结构层和DNN结构层共用一套embedding向量。

4.根据权利要求1所述的推荐系统推荐方法，其特征在于，所述embedding向量包括用户embedding、商品embedding和环境因素embedding。

5.根据权利要求1所述的推荐系统推荐方法，其特征在于，所述根据上一次训练更新的DeepFM推荐系统网络特征域数据和当前的特征域数据，计算DeepFM推荐系统网络的每个特征域的惊喜特征因子具体为：

惊喜特征因子θ_e(m，t)取值为：

其中，e_(m,t′)为上一次训练更新的DeepFM推荐系统网络特征域m数据，e_(m,t)为当前的特征域m数据。

6.根据权利要求5所述的推荐系统推荐方法，其特征在于，所述当惊喜特征因子小于预设的替换阈值时，对惊喜特征因子对应特征域的embedding向量进行随机替换具体为：

当θ_e(m，t)小于预设的替换阈值时，随机选择N个相对应特征域m的其它embedding向量作为替换embedding向量，分别与当前相应特征域待替换embedding向量进行相似度计算：

其中，e_mo为其它的替换embedding向量，e_mc为待替换embedding向量；

将N个相对应的替换embedding向量的相似度完成计算后，根据相似度由小到大排序；

对经过排序后的特征域embedding向量从小到大取出M个进行embedding向量替换，M≤N。

7.一种推荐系统，其特征在于，包括：

推荐系统网络构建模块，用于构建DeepFM推荐系统网络；

惊喜特征因子生成模块，用于根据上一次训练更新的DeepFM推荐系统网络特征域数据和当前的特征域数据，计算DeepFM推荐系统网络的每个特征域的惊喜特征因子，所述惊喜特征因子反映用户行为变动；

embedding向量替换模块，用于当惊喜特征因子小于预设的替换阈值时，对惊喜特征因子对应特征域的embedding向量进行随机替换；

推荐结果生成模块，用于采用替换后的embedding向量计算预测概率，推理得出用户推荐结果。

8.一种推荐系统推荐设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述推荐系统推荐方法的步骤。

9.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述推荐系统推荐方法的步骤。

Images