CN106897914A - 一种基于主题模型的商品推荐方法及系统 - Google Patents

Abstract

本发明公开了一种基于主题模型的商品推荐方法及系统。该系统包括采集模块、预处理模块、模型训练模块、主题相关性计算模块、文本相似性计算模块和推荐模块；利用多次降维的商品主题向量描述商品，在不同维度的商品向量临近区域随机选取相关商品来构建商品的关联关系，明显提高了商品关系的计算效率，提高了实用性；以商品文本内容的语义特征降低热门商品对用户兴趣的影响，有效解决了用户兴趣集中、且推荐结果多样性不足的问题，解决了协同过滤对于商品内容无法识别的商品冷启动问题。

Description

一种基于主题模型的商品推荐方法及系统

技术领域

本发明涉及电商网站的商品推荐，尤其涉及一种基于主题模型的商品推荐方法及系统。

背景技术

随着电商行业的发展，商品数量急剧增长。对于广大消费者，除去带有强烈目的的购物行为(搜索)外，在海量商品信息中发现感兴趣的商品；找到和欲购商品有关联的商品是很困难的事。对于电商网站，提升商品的点击率，转化率也是很难的。很多电商网站通过诸如“猜你喜欢”，“看了又看”，“相关推荐”之类的商品推荐方式向用户推荐与用户终端上显示的商品的相关商品。目前主要有三种商品的推荐方法：

第一种是基于用户的协同过滤推荐方法，简称UserCF：在数据集完善、且内容丰富的情况下，准确率较高，而且不需要对商品内容进行挖掘的基础上，就能进行准确推荐。但是，随着系统使用者数量的增多，过于庞大的用户相似度矩阵，使得计算时间变长。

第二种方法是基于物品的协同过滤，简称ItemCF。该方法给用户推荐那些与他们以前喜欢的物品相类似的物品。因为ItemCF通过用户行为挖掘商品间的相似性，并未考虑用户间的兴趣差别，也没有考虑商品的内容相关性，导致其在商品推荐的准确度上效果一般；它也没有考虑在不离线更新商品相似度表的情况下，将新的商品推荐给用户。同时，在电商推荐领域，由于商品的更新非常快，远远超过了新用户的加入速度，因此，ItemCF需要维护和更新一个庞大的商品相似度表，使得其计算及更新的代价非常巨大，且效率变得很低。

第三种方法是一种最直观最易理解的推荐方法—基于内容的推荐。建立商品信息之间内在内容的联系，将关联商品推荐给用户。

商品内容的关联主要建立在图像，文本，人工设置的基础上。传统的文本相关推荐方法，大多数基于字面文本内容相似度的计算。例如基于TF-IDF的相似度计算方法是非常常用的方法，但这类算法的拥有一些缺陷，比如仅仅能感知文本的表面含义，无法在文本的隐含语义层面来进步挖掘相似性。所以，引入主题特征来建立文本内容的关联。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于主题模型的商品推荐方法及系统。

本发明的目的是通过以下技术方案来实现的：一种基于主题模型的商品推荐方法，该方法包括以下步骤：

(1)收集原始数据：定时更新电商词库；整理各大电商商品类目并映射到自有类目体系；采集电商商品入库。

(2)文本预处理：遍历商品库，对商品的文本信息分词过滤，做成词袋。

(3)训练主题模型：获取类目及关联类目中的全部商品词袋，通过LDA机器学习库训练得到“主题-词”矩阵。

(4)处理商品主题分布：根据“主题-词”矩阵，遍历类目及关联类目下的全部商品词袋，得到商品的多维主题分布：(T₁,T₂,T₃,...T_V,)，其中主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)，且v是商品序号，V是类目及关联类目下的商品总数，w_i是该商品文本信息在第i个主题下的权值，i是主题序号，K是主题个数。对商品的多维主题分布做降维处理：商品的主题向量T_v仅保留权值从大到小前n的主题，n大于等于1且小于主题个数K，实现主题向量的降维，商品投影在n维空间。设定降维次数N，得到N个商品主题分布。

(5)根据文本相关性，获取商品的文本近似商品。

(6)根据主题相关性，获取商品的相关商品，具体包括以下子步骤：

(6.1)找到输入商品在N个商品主题分布中的位置，在第i个商品主题分布中，选择x_i个商品主题向量，x₁,x₂,...,x_N依次增大、依次减少或根据线上点击情况确定，取出x₁,x₂,...,x_N个商品。

(6.2)计算原始商品主题向量的余弦相似度：根据商品的主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)和商品的多维主题分布内所有向量T′_u、进行余弦相似度计算：取得相似度从大到小前Q个商品作为相关商品。

(7)基于逻辑回归的点击率预估策略，确定多种来源的推荐商品比例，实现商品的最优推荐效果。

进一步地，所述步骤5根据文本相关性，获取商品的文本近似商品具体为：使用VSM空间计算任意商品间的余弦相似度，词向量是商品文本词袋，权值是对应的TF-IDF值。

一种基于主题模型的商品推荐系统，该系统包括采集模块、预处理模块、模型训练模块、主题相关性计算模块、文本相似性计算模块和推荐模块；

采集模块：定时更新电商词库；整理各大电商商品类目并映射到自有类目体系；采集电商商品入库。

预处理模块：遍历商品库，对商品的文本信息分词过滤，做成词袋。

模型训练模块：获取类目及关联类目中的全部商品词袋，通过LDA机器学习库训练得到“主题-词”矩阵。根据“主题-词”矩阵，遍历类目及关联类目下的全部商品词袋，得到商品的多维主题分布：(T₁,T₂,T₃,...T_V,)，其中主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)，且v是商品序号，V是类目及关联类目下的商品总数，w_i是该商品文本信息在第i个主题下的权值，i是主题序号，K是主题个数。对商品的多维主题分布做降维处理：商品的主题向量T_v仅保留权值从大到小前n的主题，n大于等于1且小于主题个数K，实现主题向量的降维，商品投影在n维空间。设定降维次数N，得到N个商品主题分布。

文本相似性计算模块：根据文本相关性，获取商品的文本近似商品。

主题相关性计算模块：根据主题相关性，获取商品的相关商品，具体为：找到输入商品在N个商品主题分布中的位置，在第i个商品主题分布中，选择x_i个商品主题向量，x₁,x₂,...,x_N依次增大、依次减少或根据线上点击情况确定，取出x₁,x₂,...,x_N个商品。计算原始商品主题向量的余弦相似度：根据商品的主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)和商品的多维主题分布内所有向量T′_u、进行余弦相似度计算：取得相似度从大到小前Q个商品作为相关商品。

推荐模块：基于逻辑回归的点击率预估策略，确定多种来源的推荐商品比例，实现商品的最优推荐。

本发明的有益效果：本发明提出了一种基于商品文本内容和主题特征的商品推荐方法和推荐系统，特点包括两个方面：利用多次降维的商品主题向量描述商品，在不同维度的商品向量临近区域随机选取相关商品来构建商品的关联关系，明显提高了商品关系的计算效率，提高了实用性；以商品文本内容的语义特征降低热门商品对用户兴趣的影响，有效解决了用户兴趣集中、且推荐结果多样性不足的问题，解决了协同过滤对于商品内容无法识别的商品冷启动问题。另外，通过本发明方法及系统进行验证，最终的推荐商品列表可以反映商品的关联关系，提升用户点击率和下单率。因此，本发明具有很好的推广应用前景。

附图说明

图1是本发明商品推荐方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明提供的一种基于主题模型的商品推荐方法，该方法包括以下步骤：

(1)收集原始数据：定时更新电商词库；整理各大电商商品类目并映射到自有类目体系；采集电商商品入库。

(2)文本预处理：遍历商品库，对商品的文本信息分词过滤，做成词袋。

(3)训练主题模型：获取类目及关联类目中的全部商品词袋，通过LDA机器学习库训练得到“主题-词”矩阵。

计算LDA模型的公式：其中，α_k,β_t是LDA模型的预定义参数，θ_m,k表示文档m属于主题k的概率，表示主题k中单词t出现的概率，表示第m篇文档中属于第k主题的单词个数，表示第k个主题中单词t的个数。

(4)处理商品主题分布：根据“主题-词”矩阵，遍历类目及关联类目下的全部商品词袋，得到商品的多维主题分布：(T₁,T₂,T₃,...T_V,)，其中主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)，且v是商品序号，V是类目及关联类目下的商品总数，w_i是该商品文本信息在第i个主题下的权值，i是主题序号，K是主题个数。对商品的多维主题分布做降维处理：商品的主题向量T_v仅保留权值从大到小前n的主题，n大于等于1且小于主题个数K，实现主题向量的降维，商品投影在n维空间。设定降维次数N，得到N个商品主题分布。

n一般取2，3，4。n取2时，单个商品的主题向量T_v由原先的(w₁,w₂,w₃,...,w_K)变成(w_i,w_j)，其中,i是权值最大的主题编号，j是次大的主题编号；同理，n取3、4时，主题向量分别变成(w_i,w_j,w_k)，(w_i,w_j,w_k,w_p,)。

进一步地，根据主题个数K，商品每个主题权值乘以K，截断权值小于1/K的主题，达到拉伸向量的效果。

(5)根据文本相关性，获取商品的文本近似商品。

(6)根据主题相关性，获取商品的相关商品，具体包括以下子步骤：

(6.1)找到输入商品在N个商品主题分布中的位置，在第i个商品主题分布中，选择x_i个商品主题向量，x₁,x₂,...,x_N依次增大、依次减少或根据线上点击情况确定，取出x₁,x₂,...,x_N个商品。

(6.2)计算原始商品主题向量的余弦相似度：根据商品的主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)和商品的多维主题分布内所有向量T′_u、进行余弦相似度计算：取得相似度从大到小前Q个商品作为相关商品。

(7)基于逻辑回归的点击率预估策略，确定多种来源的推荐商品比例，实现商品的最优推荐。

进一步地，所述步骤5根据文本相关性，获取商品的文本近似商品具体为：使用VSM空间计算任意商品间的余弦相似度，词向量是商品文本词袋，权值是对应的TF-IDF值。

一种基于主题模型的商品推荐系统，该系统包括采集模块、预处理模块、模型训练模块、主题相关性计算模块、文本相似性计算模块和推荐模块；

采集模块：定时更新电商词库；整理各大电商商品类目并映射到自有类目体系；采集电商商品入库。

预处理模块：遍历商品库，对商品的文本信息分词过滤，做成词袋。

模型训练模块：获取类目及关联类目中的全部商品词袋，通过LDA机器学习库训练得到“主题-词”矩阵。根据“主题-词”矩阵，遍历类目及关联类目下的全部商品词袋，得到商品的多维主题分布：(T₁,T₂,T₃,...T_V,)，其中主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)，且v是商品序号，V是类目及关联类目下的商品总数，w_i是该商品文本信息在第i个主题下的权值，i是主题序号，K是主题个数。对商品的多维主题分布做降维处理：商品的主题向量T_v仅保留权值从大到小前n的主题，n大于等于1且小于主题个数K，实现主题向量的降维，商品投影在n维空间。设定降维次数N，得到N个商品主题分布。

文本相似性计算模块：根据文本相关性，获取商品的文本近似商品。

主题相关性计算模块：根据主题相关性，获取商品的相关商品，具体为：找到输入商品在N个商品主题分布中的位置，在第i个商品主题分布中，选择x_i个商品主题向量，x₁,x₂,...,x_N依次增大、依次减少或根据线上点击情况确定，取出x₁,x₂,...,x_N个商品。计算原始商品主题向量的余弦相似度：根据商品的主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)和商品的多维主题分布内所有向量T′_u、进行余弦相似度计算：取得相似度从大到小前Q个商品作为相关商品。

推荐模块：基于逻辑回归的点击率预估策略，确定多种来源的推荐商品比例，实现商品的最优推荐效果。

Claims (3)

1.一种基于主题模型的商品推荐方法，其特征在于，该方法包括以下步骤：

(1)收集原始数据：定时更新电商词库；整理各大电商商品类目并映射到自有类目体系；采集电商商品入库。

(2)文本预处理：遍历商品库，对商品的文本信息分词过滤，做成词袋。

(3)训练主题模型：获取类目及关联类目中的全部商品词袋，通过LDA机器学习库训练得到“主题-词”矩阵。

(4)处理商品主题分布：根据“主题-词”矩阵，遍历类目及关联类目下的全部商品词袋，得到商品的多维主题分布：(T₁,T₂,T₃,...T_V,)，主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)，且v是商品序号，V是类目及关联类目下的商品总数，w_i是该商品文本信息在第i个主题下的权值，i是主题序号，K是主题个数。对商品的多维主题分布做降维处理：商品的主题向量T_v仅保留权值从大到小前n的主题，n大于等于1且小于主题个数K，实现主题向量的降维，商品投影在n维空间。设定降维次数N，得到N个商品主题分布。

(5)根据文本相关性，获取商品的文本近似商品。

(6)根据主题相关性，获取商品的相关商品，具体包括以下子步骤：

(6.1)找到输入商品在N个商品主题分布中的位置，在第i个商品主题分布中，选择x_i个商品主题向量，x₁,x₂,...,x_N依次增大、依次减少或根据线上点击情况确定，取出x₁,x₂,...,x_N个商品。

(6.2)计算原始商品主题向量的余弦相似度：根据商品的主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)和商品的多维主题分布内所有向量T_u'、进行余弦相似度计算：取得相似度从大到小前Q个商品作为相关商品。

(7)基于逻辑回归的点击率预估策略，确定多种来源的推荐商品比例，实现商品的最优推荐效果。

2.根据权利要求1所述的一种基于主题模型的商品推荐方法，其特征在于，所述步骤5根据文本相关性，获取商品的文本近似商品具体为：使用VSM空间计算任意商品间的余弦相似度，词向量是商品文本词袋，权值是对应的TF-IDF值。

3.一种基于主题模型的商品推荐系统，其特征在于，包括采集模块、预处理模块、模型训练模块、主题相关性计算模块、文本相似性计算模块和推荐模块：

采集模块：定时更新电商词库；整理各大电商商品类目并映射到自有类目体系；采集电商商品入库。

预处理模块：遍历商品库，对商品的文本信息分词过滤，做成词袋。

模型训练模块：获取类目及关联类目中的全部商品词袋，通过LDA机器学习库训练得到“主题-词”矩阵。根据“主题-词”矩阵，遍历类目及关联类目下的全部商品词袋，得到商品的多维主题分布：(T₁,T₂,T₃,...T_V,)，其中主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)，且v是商品序号，V是类目及关联类目下的商品总数，w_i是该商品文本信息在第i个主题下的权值，i是主题序号，K是主题个数。对商品的多维主题分布做降维处理：商品的主题向量T_v仅保留权值从大到小前n的主题，n大于等于1且小于主题个数K，实现主题向量的降维，商品投影在n维空间。设定降维次数N，得到N个商品主题分布。

文本相似性计算模块：根据文本相关性，获取商品的文本近似商品。

主题相关性计算模块：根据主题相关性，获取商品的相关商品，具体为：找到输入商品在N个商品主题分布中的位置，在第i个商品主题分布中，选择x_i个商品主题向量，x₁,x₂,...,x_N依次增大、依次减少或根据线上点击情况确定，取出x₁,x₂,...,x_N个商品。计算原始商品主题向量的余弦相似度：根据商品的主题特征向量T_v＝(w₁,w₂,w₃,...,w_K)和商品的多维主题分布内所有向量T′_u、进行余弦相似度计算：取得相似度从大到小前Q个商品作为相关商品。

推荐模块：基于逻辑回归的点击率预估策略，确定多种来源的推荐商品比例，实现商品的最优推荐。