CN109300014A - 基于日志挖掘的商品推荐方法、装置、服务器及存储介质 - Google Patents

Abstract

本发明公开了一种基于日志挖掘的商品推荐方法、装置、服务器及存储介质。本发明引入事务数据库，对事务数据库进行频繁项集挖掘，并设计一种新的商品相似度计算方式，然后将相似度计算结果与Pearson相关系数进行加权综合，缓解了数据稀疏性导致共同评分项过少而出现的相似度度量不准确的问题，从而更准确寻找最近邻集合并进行推荐，克服了协同过滤算法在计算项目的相似度时过度依赖用户对项目的评分数据的问题。

Description

基于日志挖掘的商品推荐方法、装置、服务器及存储介质

技术领域

本发明涉及数据挖掘技术领域，尤其涉及一种基于日志挖掘的商品推荐方法、装置、服务器及存储介质。

背景技术

伴随着互联网和信息技术的迅猛发展，网络上的信息数据量呈指数增长，人们逐渐陷入“信息过载”时代，在这个时代，消费者很难从众多商品中找到自己感兴趣的商品，同时生产者也很难让自己的商品在众多用户的关注中脱颖而出。推荐系统则成为解决该问题的重要手段。它可以根据用户的喜好筛选不相关的项目，并推荐用户可能喜欢的项目。

虽然协同过滤算法取得了巨大的成功，但始终存在数据稀疏性问题。电子商务网站中用户和项目的数目非常庞大，而多数用户只会对少量的项目进行评分，导致用户之间评分的重叠部分很小，难以计算两个用户之间的相似程度。而协同过滤算法在计算相似度时完全依赖用户对项目的评分数据，未考虑项目间相互关联的特性。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种基于日志挖掘的商品推荐方法、装置、服务器及存储介质，旨在解决现有技术中协同过滤算法在计算相似度时完全依赖用户对项目的评分数据，未考虑项目间相互关联的特性的技术问题。

为实现上述目的，本发明提供一种基于日志挖掘的商品推荐方法，所述方法包括以下步骤：

从各用户的购买日志中提取各用户的购买记录，并根据各用户的购买记录建立事务数据库；

根据预设最小支持度通过Apriori算法对所述事务数据库进行逐条扫描，获得各频繁项集，并根据各频繁项集构成频繁项集矩阵；

根据所述频繁项集矩阵确定综合相似度矩阵；

获取目标用户的未评分商品，并将所述未评分商品作为待测商品；

基于所述综合相似度矩阵对所述待测商品进行预测评分；

根据预测评分结果确定待推送商品，并将待推送商品推送至所述目标用户的用户设备。

优选地，所述根据所述频繁项集矩阵确定综合相似度矩阵，具体包括：

根据所述频繁项集矩阵计算所述频繁项集中各商品之间的相似度；

根据所述频繁项集矩阵以及各用户对商品的评分计算Pearson相关系数的绝对值；

根据所述频繁项集中各商品之间的相似度以及Pearson相关系数的绝对值确定综合相似度矩阵。

优选地，根据各频繁项集之间的相似度以及Pearson相关系数的绝对值通过下式确定综合相似度矩阵，

其中，S_i,j为综合相似度矩阵中商品i和商品j之间的综合相似度，为权重，S1_i,j为所述频繁项集中商品i和商品j之间的相似度，S2_i,j为商品i和商品j之间的Pearson相关系数的绝对值。

优选地，根据所述频繁项集矩阵通过下式计算所述频繁项集中各商品之间的相似度，

其中，k为频繁项集的数量，F_h,i为商品i在所述频繁项集矩阵中的取值，F_h,j为商品j在所述频繁项集矩阵中的取值。

优选地，根据所述频繁项集矩阵以及各用户对商品的评分通过下式计算Pearson相关系数的绝对值，

其中，U_i,j为商品i和商品j共同评分过的用户集合，X_u,i为用户u对商品i的评分，X_u,j为用户u对商品j的评分,为用户对商品i的平均评分，为用户对商品j的平均评分。

优选地，所述基于所述综合相似度矩阵对所述待测商品进行预测评分，具体包括：

从所述综合相似度矩阵中的所有商品与待测商品的相似性值；

选择相似性值最高的K个商品作为所述待测商品的最近邻居集合；

根据所述最近邻居集合对所述待测商品进行预测评分。

优选地，根据所述最近邻居集合通过下式对所述待测商品进行预测评分，

其中，为用户u对商品I_a的预测评分结果，为待测商品I_a和商品q之间的综合相似度，X_u,q为用户u对项目q的评分，为用户对商品I_a的平均评分，为用户对商品q的平均评分，N_a为所述最近邻居集合。

此外，为实现上述目的，本发明还提供一种服务器，所述服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于日志挖掘的商品推荐程序，所述基于日志挖掘的商品推荐程序配置为实现如上所述的基于日志挖掘的商品推荐方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于日志挖掘的商品推荐程序，所述基于日志挖掘的商品推荐程序被处理器执行时实现如上所述的基于日志挖掘的商品推荐方法的步骤。

此外，为实现上述目的，本发明还提供一种基于日志挖掘的商品推荐装置，所述装置包括：

数据库建立模块，用于从各用户的购买日志中提取各用户的购买记录，并根据各用户的购买记录建立事务数据库；

数据库扫描模块，用于根据预设最小支持度通过Apriori算法对所述事务数据库进行逐条扫描，获得各频繁项集，并根据各频繁项集构成频繁项集矩阵；

矩阵确定模块，用于根据所述频繁项集矩阵确定综合相似度矩阵；

商品获取模块，用于获取目标用户的未评分商品，并将所述未评分商品作为待测商品；

预测评分模块，用于基于所述综合相似度矩阵对所述待测商品进行预测评分；

商品推送模块，用于根据预测评分结果确定待推送商品，并将待推送商品推送至所述目标用户的用户设备。

本发明引入事务数据库，对事务数据库进行频繁项集挖掘，并设计一种新的商品相似度计算方式，然后将相似度计算结果与Pearson相关系数进行加权综合，缓解了数据稀疏性导致共同评分项过少而出现的相似度度量不准确的问题，从而更准确寻找最近邻集合并进行推荐，克服了协同过滤算法在计算项目的相似度时过度依赖用户对项目的评分数据的问题。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的服务器结构示意图；

图2为本发明基于日志挖掘的商品推荐方法第一实施例的流程示意图；

图3为本发明基于日志挖掘的商品推荐装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的服务器的结构示意图。

如图1所示，该服务器可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于日志挖掘的商品推荐程序。

在图1所示的服务器中，网络接口1004主要用于与外部网络进行数据通信；用户接口1003主要用于接收用户的输入指令；所述服务器通过处理器1001调用存储器1005中存储的基于日志挖掘的商品推荐程序，并执行以下操作：

从各用户的购买日志中提取各用户的购买记录，并根据各用户的购买记录建立事务数据库；

根据预设最小支持度通过Apriori算法对所述事务数据库进行逐条扫描，获得各频繁项集，并根据各频繁项集构成频繁项集矩阵；

根据所述频繁项集矩阵确定综合相似度矩阵；

获取目标用户的未评分商品，并将所述未评分商品作为待测商品；

基于所述综合相似度矩阵对所述待测商品进行预测评分；

根据预测评分结果确定待推送商品，并将待推送商品推送至所述目标用户的用户设备。

进一步地，处理器1001可以调用存储器1005中存储的基于日志挖掘的商品推荐程序，还执行以下操作：

根据所述频繁项集矩阵计算所述频繁项集中各商品之间的相似度；

根据所述频繁项集矩阵以及各用户对商品的评分计算Pearson相关系数的绝对值；

根据所述频繁项集中各商品之间的相似度以及Pearson相关系数的绝对值确定综合相似度矩阵。

进一步地，处理器1001可以调用存储器1005中存储的基于日志挖掘的商品推荐程序，还执行以下操作：

根据各频繁项集之间的相似度以及Pearson相关系数的绝对值通过下式确定综合相似度矩阵，

其中，S_i,j为综合相似度矩阵中商品i和商品j之间的综合相似度，为权重，S1_i,j为所述频繁项集中商品i和商品j之间的相似度，S2_i,j为商品i和商品j之间的Pearson相关系数的绝对值。

进一步地，处理器1001可以调用存储器1005中存储的基于日志挖掘的商品推荐程序，还执行以下操作：

根据所述频繁项集矩阵通过下式计算所述频繁项集中各商品之间的相似度，

其中，k为频繁项集的数量，F_h,i为商品i在所述频繁项集矩阵中的取值，F_h,j为商品j在所述频繁项集矩阵中的取值。

进一步地，处理器1001可以调用存储器1005中存储的基于日志挖掘的商品推荐程序，还执行以下操作：

根据所述频繁项集矩阵以及各用户对商品的评分通过下式计算Pearson相关系数的绝对值，

其中，U_i,j为商品i和商品j共同评分过的用户集合，X_u,i为用户u对商品i的评分，X_u,j为用户u对商品j的评分,为用户对商品i的平均评分，为用户对商品j的平均评分。

进一步地，处理器1001可以调用存储器1005中存储的基于日志挖掘的商品推荐程序，还执行以下操作：

从所述综合相似度矩阵中的所有商品与待测商品的相似性值；

选择相似性值最高的K个商品作为所述待测商品的最近邻居集合；

根据所述最近邻居集合对所述待测商品进行预测评分。

进一步地，处理器1001可以调用存储器1005中存储的基于日志挖掘的商品推荐程序，还执行以下操作：

根据所述最近邻居集合通过下式对所述待测商品进行预测评分，

其中，为用户u对商品I_a的预测评分结果，为待测商品I_a和商品q之间的综合相似度，X_u,q为用户u对项目q的评分，为用户对商品I_a的平均评分，为用户对商品q的平均评分，N_a为所述最近邻居集合。

本实施例通过上述方案，引入事务数据库，对事务数据库进行频繁项集挖掘，并设计一种新的商品相似度计算方式，然后将相似度计算结果与Pearson相关系数进行加权综合，缓解了数据稀疏性导致共同评分项过少而出现的相似度度量不准确的问题，从而更准确寻找最近邻集合并进行推荐，克服了协同过滤算法在计算项目的相似度时过度依赖用户对项目的评分数据的问题。

基于上述硬件结构，提出本发明基于日志挖掘的商品推荐方法实施例。

参照图2，图2为本发明基于日志挖掘的商品推荐方法第一实施例的流程示意图。

在第一实施例中，所述基于日志挖掘的商品推荐方法包括以下步骤：

S10：从各用户的购买日志中提取各用户的购买记录，并根据各用户的购买记录建立事务数据库；

需要说明的是，所述购买日志即为用户购买商品的日志，其包括用于区分用户的用户标识、商品信息、商品评分及购买时间等信息，通常，可从各用户的购买日志中提取各用户的购买记录，所述购买记录即为反映用户购买商品的记录，其包括用于区分用户的用户标识、商品信息及商品评分。

在具体实现中，可对各用户的购买记录进行汇总和加工处理，以获得事务数据库。

S20：根据预设最小支持度通过Apriori算法对所述事务数据库进行逐条扫描，获得各频繁项集，并根据各频繁项集构成频繁项集矩阵；

需要说明的是，频繁项集可理解为出现次数超过一定数量的项集，也就是说，可设置一个次数阈值，出现次数超过所述次数阈值的项集即为频繁项集。

可理解的是，Apriori算法是一种挖掘关联规则的频繁项集算法，该算法的思想是：首先找到所有的频集，这些项集出现的频繁性至少和预定义的最小支持度一样。然后由频集产生强关联规则，这些规则必须满足最小支持度和最小可信度。然后使找到的频集产生期望的规则，产生只包含集合的项的所有规则，其中每一条规则的右部只有一项，这里采用的是中规则的定义。一旦这些规则被生成，那么只有那些大于用户给定的最小可信度的规则才被留下来。为了生成所有频集，使用了递归的方式。

在具体实现中，根据各频繁项集可通过下式计算频繁项集矩阵，

S30：根据所述频繁项集矩阵确定综合相似度矩阵；

需要说明的是，频繁项集之间存在一定的相似性，为便于获得反映频繁项集之间相似性的相似度矩阵，本实施例中，可先根据所述频繁项集矩阵计算所述频繁项集中各商品之间的相似度；再根据所述频繁项集矩阵以及各用户对商品的评分计算Pearson相关系数的绝对值；然后根据所述频繁项集中各商品之间的相似度以及Pearson相关系数的绝对值确定综合相似度矩阵。

为便于计算所述频繁项集中各商品之间的相似度，本实施例中，可根据所述频繁项集矩阵通过下式计算所述频繁项集中各商品之间的相似度，

其中，k为频繁项集的数量，F_h,i为商品i在所述频繁项集矩阵中的取值，F_h,j为商品j在所述频繁项集矩阵中的取值。

可理解的是，上述公式中分子表示商品i与商品j在频繁项集中共同出现的次数，分母表示商品i和商品j在频繁项集中出现的次数。

Pearson相关系数是用来衡量两个数据集合是否在一条线上面，它用来衡量定距变量间的线性关系。由于Pearson相关系数的取值范围为[-1,1]，相关系数绝对值越大，相关性越强，本实施例中，计算Pearson相关系数的绝对值，从而将其修订成取值范围为[0,1]，为便于计算Pearson相关系数的绝对值，本实施例中，可根据所述频繁项集矩阵以及各用户对商品的评分通过下式计算Pearson相关系数的绝对值，

其中，U_i,j为商品i和商品j共同评分过的用户集合，X_u,i为用户u对商品i的评分，X_u,j为用户u对商品j的评分,为用户对商品i的平均评分，为用户对商品j的平均评分。

为便于确定综合相似度矩阵，本实施例中，可根据各频繁项集之间的相似度以及Pearson相关系数的绝对值通过下式确定综合相似度矩阵，

其中，S_i,j为综合相似度矩阵中商品i和商品j之间的综合相似度，为权重，S1_i,j为所述频繁项集中商品i和商品j之间的相似度，S2_i,j为商品i和商品j之间的Pearson相关系数的绝对值。

S40：获取目标用户的未评分商品，并将所述未评分商品作为待测商品；

需要说明的是，目标用户即为需要进行商品推送的用户，其通常会存在一些未评分商品，此时，可将所述未评分商品作为待测商品。

S50：基于所述综合相似度矩阵对所述待测商品进行预测评分；

可理解的是，为便于对所述待测商品进行预测评分，可先从所述综合相似度矩阵中的所有商品与待测商品的相似性值；再选择相似性值最高的K个商品作为所述待测商品的最近邻居集合；然后根据所述最近邻居集合对所述待测商品进行预测评分，所述K为大于等于2的整数。

为便于根据所述最近邻居集合对所述待测商品进行预测评分，在具体实现中，可根据所述最近邻居集合通过下式对所述待测商品进行预测评分，

其中，为用户u对商品I_a的预测评分结果，为待测商品I_a和商品q之间的综合相似度，X_u,q为用户u对项目q的评分，为用户对商品I_a的平均评分，为用户对商品q的平均评分，N_a为所述最近邻居集合。

S60：根据预测评分结果确定待推送商品，并将待推送商品推送至所述目标用户的用户设备。

应理解的是，可在确定待推送商品的预测评分结果后，将预测评分结果进行排序，可选出对应预测评分结果最高的N个待推送商品推荐给目标用户，所述N为大于等于2的整数。

本实施例引入事务数据库，对事务数据库进行频繁项集挖掘，并设计一种新的商品相似度计算方式，然后将相似度计算结果与Pearson相关系数进行加权综合，缓解了数据稀疏性导致共同评分项过少而出现的相似度度量不准确的问题，从而更准确寻找最近邻集合并进行推荐，克服了协同过滤算法在计算项目的相似度时过度依赖用户对项目的评分数据的问题。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有基于日志挖掘的商品推荐程序，所述基于日志挖掘的商品推荐程序被处理器执行时实现如下操作：

从各用户的购买日志中提取各用户的购买记录，并根据各用户的购买记录建立事务数据库；

根据预设最小支持度通过Apriori算法对所述事务数据库进行逐条扫描，获得各频繁项集，并根据各频繁项集构成频繁项集矩阵；

根据所述频繁项集矩阵确定综合相似度矩阵；

获取目标用户的未评分商品，并将所述未评分商品作为待测商品；

基于所述综合相似度矩阵对所述待测商品进行预测评分；

根据预测评分结果确定待推送商品，并将待推送商品推送至所述目标用户的用户设备。

本实施例的基于日志挖掘的商品推荐程序还可用于实现上述基于日志挖掘的商品推荐方法的各步骤，在此不再赘述。

此外，本发明实施例还提出一种基于日志挖掘的商品推荐装置，参照图3，所述装置包括：

数据库建立模块301，用于从各用户的购买日志中提取各用户的购买记录，并根据各用户的购买记录建立事务数据库；

数据库扫描模块302，用于根据预设最小支持度通过Apriori算法对所述事务数据库进行逐条扫描，获得各频繁项集，并根据各频繁项集构成频繁项集矩阵；

矩阵确定模块303，用于根据所述频繁项集矩阵确定综合相似度矩阵；

商品获取模块304，用于获取目标用户的未评分商品，并将所述未评分商品作为待测商品；

预测评分模块305，用于基于所述综合相似度矩阵对所述待测商品进行预测评分；

商品推送模块306，用于根据预测评分结果确定待推送商品，并将待推送商品推送至所述目标用户的用户设备。

本实施例的各模块还可用于实现上述基于日志挖掘的商品推荐方法的各步骤，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于日志挖掘的商品推荐方法，其特征在于，所述方法包括以下步骤：

从各用户的购买日志中提取各用户的购买记录，并根据各用户的购买记录建立事务数据库；

根据预设最小支持度通过Apriori算法对所述事务数据库进行逐条扫描，获得各频繁项集，并根据各频繁项集构成频繁项集矩阵；

根据所述频繁项集矩阵确定综合相似度矩阵；

获取目标用户的未评分商品，并将所述未评分商品作为待测商品；

基于所述综合相似度矩阵对所述待测商品进行预测评分；

根据预测评分结果确定待推送商品，并将待推送商品推送至所述目标用户的用户设备。

2.如权利要求1所述的方法，其特征在于，所述根据所述频繁项集矩阵确定综合相似度矩阵，具体包括：

根据所述频繁项集矩阵计算所述频繁项集中各商品之间的相似度；

根据所述频繁项集矩阵以及各用户对商品的评分计算Pearson相关系数的绝对值；

根据所述频繁项集中各商品之间的相似度以及Pearson相关系数的绝对值确定综合相似度矩阵。

3.如权利要求2所述的方法，其特征在于，根据各频繁项集之间的相似度以及Pearson相关系数的绝对值通过下式确定综合相似度矩阵，

其中，S_i,j为综合相似度矩阵中商品i和商品j之间的综合相似度，为权重，S1_i,j为所述频繁项集中商品i和商品j之间的相似度，S2_i,j为商品i和商品j之间的Pearson相关系数的绝对值。

4.如权利要求3所述的方法，其特征在于，根据所述频繁项集矩阵通过下式计算所述频繁项集中各商品之间的相似度，

其中，k为频繁项集的数量，F_h,i为商品i在所述频繁项集矩阵中的取值，F_h,j为商品j在所述频繁项集矩阵中的取值。

5.如权利要求3所述的方法，其特征在于，根据所述频繁项集矩阵以及各用户对商品的评分通过下式计算Pearson相关系数的绝对值，

其中，U_i,j为商品i和商品j共同评分过的用户集合，X_u,i为用户u对商品i的评分，X_u,j为用户u对商品j的评分,为用户对商品i的平均评分，为用户对商品j的平均评分。

6.如权利要求1～5中任一项所述的方法，其特征在于，所述基于所述综合相似度矩阵对所述待测商品进行预测评分，具体包括：

从所述综合相似度矩阵中的所有商品与待测商品的相似性值；

选择相似性值最高的K个商品作为所述待测商品的最近邻居集合；

根据所述最近邻居集合对所述待测商品进行预测评分。

7.如权利要求6所述的方法，其特征在于，根据所述最近邻居集合通过下式对所述待测商品进行预测评分，

其中，为用户u对商品I_a的预测评分结果，为待测商品I_a和商品q之间的综合相似度，X_u,q为用户u对项目q的评分，为用户对商品I_a的平均评分，为用户对商品q的平均评分，N_a为所述最近邻居集合。

8.一种服务器，其特征在于，所述服务器包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于日志挖掘的商品推荐程序，所述基于日志挖掘的商品推荐程序配置为实现如权利要求1至7中任一项所述的基于日志挖掘的商品推荐方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于日志挖掘的商品推荐程序，所述基于日志挖掘的商品推荐程序被处理器执行时实现如权利要求1至7中任一项所述的基于日志挖掘的商品推荐方法的步骤。

10.一种基于日志挖掘的商品推荐装置，其特征在于，所述装置包括：

数据库建立模块，用于从各用户的购买日志中提取各用户的购买记录，并根据各用户的购买记录建立事务数据库；

数据库扫描模块，用于根据预设最小支持度通过Apriori算法对所述事务数据库进行逐条扫描，获得各频繁项集，并根据各频繁项集构成频繁项集矩阵；

矩阵确定模块，用于根据所述频繁项集矩阵确定综合相似度矩阵；

商品获取模块，用于获取目标用户的未评分商品，并将所述未评分商品作为待测商品；

预测评分模块，用于基于所述综合相似度矩阵对所述待测商品进行预测评分；

商品推送模块，用于根据预测评分结果确定待推送商品，并将待推送商品推送至所述目标用户的用户设备。