CN111523055B - 一种基于农产品特征属性评论倾向的协同推荐方法及系统 - Google Patents

Abstract

本发明设计了一种基于农产品特征属性评论倾向的协同推荐算法及系统，解决目前电商平台中农产品推荐不够精准的问题；本发明改进传统协同过滤推荐算法只考虑用户评分的单一性，提出将用户评分结合评论情感倾向程度加权，用户评论中对农产品特征属性倾向进行量化，作为计算用户相似度的重要参数的改进方法，结合用户评分构建出用户点评模型矩阵；在计算用户相似度时使用矩阵代替传统推荐算法中用户评分进行计算，综合考虑用户评分和评论信息进行邻居集查找，最终确定推荐农产品集；本方法与传统协同过滤推荐算法相比，除了考虑评分之外，将不同用户评论信息中的潜在联系作为参数进行邻居集查找，有效地提高了电商平台中农产品推荐的精准度。

Description

一种基于农产品特征属性评论倾向的协同推荐方法及系统

技术领域

本发明涉及计算机推荐算法的领域，尤其涉及到一种基于农产品特征属性评论倾向的协同推荐算法及系统。

背景技术

目前在计算机推荐算法领域中基于用户的协同过滤推荐算法较为常用，可以在大量的用户基础上发掘与目标用户兴趣行为相似的其他用户，从而达到个性化推荐农产品的目的。协同过滤推荐算法的核心在于依赖不同用户对于同一农产品的兴趣，从而找到与目标用户兴趣行为相似的邻居集，最后将邻居集中目标用户没有进行过兴趣行为的农产品同时也是目标用户最有可能感兴趣的农产品进行推荐。

传统的基于用户的协同过滤算法通过用户评分的高低利用相似度算法找到用户与用户之间的相似度，组成用户的邻居集。但传统的基于用户的协同过滤算法在计算不同用户相似度的过程中存在只考虑到用户对于商品的评分的问题，没有充分利用到用户对与商品的评论中可能出现的偏好信息。

农产品在电商平台中属于用户日常消费的热门品类，庞大的数据量让农产品的个性化推荐效果并不是很好。但各类农产品的特征属性鲜明，因此可以从用户评论中发掘更多有价值信息。

为了改善传统的基于用户的协同过滤算法对于用户评论没有充分利用的问题，本方法在分析用户之间的相似度时引入用户对商品特征属性的偏好，发掘不同用户之间潜在的相似度，同时利用评论中体现的情感倾向信息计算权重因子，确定最终加权后用户评分。即使用户即使对同一个商品的情感倾向即评分相差较大，但评论对商品的某特征属性的偏好一致，二者的相似度可以进一步提高。因此推荐算法中引入用户评论信息可以提高算法推荐质量，使设计的农产品推荐系统推荐结果更为精确和合理。

发明内容

本发明设计了一种农产品特征属性评论倾向的协同推荐的算法。

本发明的算法思路是，从获取到的用户评论数据集结合用户评分，从用户评论中使用改进后的TF-IWF算法提取用户最关心的农产品特征属性词作为指标，利用word2vec模型找到特征属性词的同义词向量构成特征属性词集，组合用户评分构建用户评分-偏好矩阵代替用户评分使用改进后的欧氏距离计算用户相似度，构成目标用户邻居集进行推荐。

根据上述思路，本发明的技术方案如下：

S1.将用户点评数据集进行分词，将用户评论去除停用词、符号等无具体意义的分词，构成用户评分-评论分词数据集，同时整理出用户和农产品列表；

S2.将分词后的用户评论作为输入使用TF-IWF算法，提取词频和加权逆词频最高的词汇，从高至低筛选出符合农产品特征属性的3个属性词作为用户最偏好的农产品特征属性词集；

S3.将用户评论数据集训练word2vec模型，在用户评论数据集中挖掘出S2中筛选的3个农产品特征属性的同义词向量，构成农产品特征属性指标集；

S4.将分词后的用户评论，使用S3构建农产品特征属性指标集进行属性词筛选，得到每个用户对3种农产品特征属性偏好与否；

S5.将每个用户的点评情况，通过评分情感倾向加权计算和用户评论信息挖掘，以S4中的结果构建用户点评模型；

S6.如果用户对某农产品点评过且评论内容提到对应农产品特征属性指标集中属性词，则结合用户评分情感倾向加权计算结果将用户点评模型进行量化，以用户评分-商品特征属性偏好矩阵形式代替用户评分。如果用户对某农产品未进行点评，则对应点评置为0矩阵；

S7.将每个用户与其他所有用户进行相似度计算，以用户评分-商品特征属性偏好矩阵代替用户评分使用改进后欧氏距离相似度算法计算不同用户之间的用户-用户相似度；

S8.对于同有点评的两个用户的用户评分-商品特征属性偏好矩阵计算，以计算矩阵的向量距离代表二者对同一农产品的点评相似度；

S9.将通过计算得到的用户-用户相似度按照降序排列，取TOP-K个用户作为目标用户的邻居集；

S10.根据S7找到的TOP-K个邻居集，使用加权平均的算法预测目标用户对邻居集中未点评过农产品的评分，并进行从高至低排序，选出TOP-N的商品作为结果推荐给目标用户；

S11.以Precision、Recall和F1值作为指标评估本发明的预测精度；

本发明还提出基于农产品特征属性评论倾向的协同推荐的推荐系统，包括：

数据收集模块，结构化存储获取到的用户在电商平台下不同农产品的点评数据；

数据分析模块，从各农产品的用户评论提取用户偏好的农产品特征属性，同时构建农产品特征属性词集；

用户点评模型构建模块，将用户评论进行情感倾向加权计算，结合评分构建用户评分-商品特征属性偏好矩阵；

相似用户计算模块，使用改进后的欧氏距离相似性算法对数据集内用户评分-商品特征属性偏好矩阵计算相似度构建目标用户邻居集；

评分预测模块，对所有目标用户可能感兴趣农产品使用加权平均公式进行评分预测，构建农产品推荐结果集；

推荐模块，利用推荐结果集将前N款农产品对目标用户进行推荐。

本发明具有的优点为：本发明在传统的协同过滤算法基础上，针对仅使用评分进行计算的单一性进行改进，基于用户的评分加权计算以及评论中对农产品特征属性的偏好引入构建用户点评模型，再进行相似度计算，可以发现用户与用户之间潜在的相似性关联，因此可以改善仅用评分计算相似性可能导致相似性不强的弊端。计算得到的用户邻居集更为精准，因此保证在推荐系统中对目标用户的推荐效果也更为有效和准确。

附图说明

图1为本发明的推荐算法流程框图。

图2为本发明推荐系统的流程框图。

具体实施方式

下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

实施例1

依据图1所示的推荐算法流程图，本发明的协同推荐方法具体操作步骤如下所示：

步骤1：将用户点评数据集，进行数据预处理；

将用户评论进行分词处理，使用停用词词典将评论中无实际意义的介词、符号等去除，得到预处理后的用户评分-评论分词数据集；

步骤2：使用TF-IWF提取用户评论数据集中词频和逆词频最高的词汇，其中TF表示在用户评论数据集Dj中某词Wj的重要性；其中n(i,j)表示此词语在Dj中的次数，而除数为数据集Dj中所有词语出现的次数之和；而IWF表示加权后的逆词频，

表示评论中所有词语的词频总和值，nt_i表示对应词t_i在评论中的词频总量；以下是TF和IWF的公式：

TF-IDF＝TF×IDF

将用户评论数据集中TF-IWF值从高至低进行降序排列，筛选出符合代表商品特征属性的3个属性词作为用户最偏好的商品特征属性a1,a2,a3；

以用户评论数据集为训练数据集，训练得到word2vec词向量模型；以3个商品特征属性词作为种子词，使用word2vec模型从用户数据集中计算出与3个商品特征属性词相似度较高的词向量集{w1,w2,w3,w4,w5…wn}；

从相似度从高至低的词向量集中，筛选出TF-IWF算法计算出的3个商品特征属性同义的其他词向量，构成商品特征属性词集A{a1,a2,a3…an},B{b1,b2,b3…bn},C{c1,c2,c3…cn}；

步骤3：构建用户点评模型与用户评分-商品特征偏好矩阵；

将步骤1中分词后的用户评论，通过构建的商品特征属性词集以词典方式进行筛选；如果用户评论中包含A、B、C词集中的属性词，则表示用户对农产品该特征属性有偏好；

用户{user1,user2,user3…usern}对该农产品的评分{S1,S2,S3…Sn}，引入情感词典Pos{pword1,pword2…pwordn}、Neg{nword1,nword2…nwordn}和程度副词词典D_0.5{d_0.5word1,d_0.5word2…d_0.5wordn}、D_1.5{d_1.5word1,d_1.5word2…d_1.5wordn}…其中Pos、Neg分别表示正负情感倾向词典，D表示程度副词集，D_0.5表示程度等级在0.5的副词集；将用户评论中情感倾向程度结合用户评分进行加权计算，其权重计算公式如下：

其中λ表示权重系数，Sn表示对应用户评分，

表示用户评论中程度副词由程度副词词典累加的总体程度等级值，

由用户评论中情感词通过情感累加词典得到的总体情感倾向值，将权重系数λ与用户评分相乘得到最终加权后评分集{λS1,λS2,λS3…λSn}；

基于加权后用户评分和用户商品特征属性偏好构建用户点评模型[评分-特征属性偏好]；

将用户点评模型进行量化，如果用户n对农产品某个或某些特征属性具有偏好，则对应的特征属性矩阵值置为1，否则置为0；将用户n的加权评分引入构建用户n的评分-商品特征属性矩阵[λSn,An,Bn,Cn]，如用户对该农产品未点评，则置为0矩阵，即[0,0,0,0]；

步骤4：计算用户-用户相似度；

通过步骤3中构建的用户点评模型，将用户-商品类型矩阵以如下方式替换，其中U1，U2,U3……代表数据集中农产品列表各农产品，user1,user2……表示用户列表中所有用户：

将每个用户都与其他n-1个用户进行相似度计算，相似度计算公式为欧氏距离相似性算法，计算出不同用户与目标用户间的相似度sim(i，j)，传统欧氏距离公式如下：

其中x、y分别表示表示用户i和用户j的用户评分矩阵中对应的评分，n表示在农产品列表中不同农产品的数量；

因为本发明将用户-商品类型矩阵代替评分，于是公式中x与y将替换成用户i的矩阵[Sn,An,Bn,Cn]与用户j的矩阵[Sn,An,Bn,Cn]；因此将x-y转变成对应矩阵代表的向量的距离，公式如下：

其中Distance(i,j)表示用户i矩阵与用户j在用户-农产品矩阵中评分-商品特征属性矩阵的向量距离，e_x与e_y表示对应评分-商品特征属性矩阵的元素值。因此本发明改进之后欧氏距离公式如下所示：

步骤5：构建邻居集，预测推荐农产品评分：

使用步骤4通过计算用户i和其他所有用户之间的相似度；最后将所得的结果Sim(i,j)集合进行降序排列，取排列后的集合中前K个用户，即与用户i最相似的K个用户作为用户i的邻居集；

根据用户i和邻居集中对于各个农产品的感兴趣与否将部分未点评过的农产品推荐给用户i；同时推荐的农产品需要满足2个条件：1.所有邻居集中评分相对较高的农产品；2.用户i没有进行过点评行为的农产品；因此需要将邻居集的其他用户农产品对于用户i进行评分预测，预测公式如下：

其中S(u,K)表示与目标用户i最为相似的K个用户的集合，N(u)所有对农产品u感兴趣的其他用户的集合，v表示与用户i有相同爱好和偏向农产品的其他用户；公式中w_iv表示目标用户i对用户v的相似度，r_vu表示用户v对u的评分；

步骤6：产生推荐结果并评估；

利用步骤5中得到的评分P(i，j)依次进行降序排列作为推荐集，将前N个(Top-N)农产品作为结果推荐给目标用户；

我们定义以下符号的意义：N_all和N_like分别表示总的推荐给用户的作为推荐集和用户感兴趣的作为推荐集；为验证本发明的推荐效果的优越性，定义准确率(Precision)和召回率(Recall)：

如果准确率(Precision)和召回率(Recall)同时比较高的情况，则推荐算法的效果则比较好；但因为准确率(Precision)和召回率(Recall)在数据量不大时会产生一定冲突，因此将准确率(Precision)和召回率(Recall)进行调和平均，得到F1值：

其中P表示准确率(Precision)，R表示召回率(Recall)。

依据图2，本发明的推荐系统具体实施如下所示：

步骤1：建立数据收集模块，通过爬虫等网络web数据爬取技术，获取各电商平台中农产品分类的用户点评数据，将数据以用户ID、电商平台、农产品url、评分、评论、点评时间的结构化进行存储，即用户点评数据集；

步骤2：建立数据分析模块，使用上述方法中提到的TF-IWF算法公式TF-IWF＝TF×IWF计算各词的词频和逆词频提取各农产品的用户评论进行商品特征属性，同时使用步骤一收集的用户点评数据集训练word2vec模型，分析用户点评数据构建作为推荐集特征属性词集，用以构建对应农产品的对应受用户关注的特征属性标签；

步骤3：构建用户点评模型模块，使用步骤2中建立特征属性汇标签的将每个用户评论进行筛选获取对应特征属性偏好值，结合加权用户评分构建用户评分-商品特征属性矩阵；

步骤4：构建相似用户计算模块，对用户点评数据集内所有用户使用改进后的欧氏距离相似性计算公式

计算不同用户的相似度，构建目标用户的邻居集；

步骤5：构建评分预测模块，对目标用户的邻居集中目标用户没有点评过的农产品使用实例

中公式进行评分预测，产生农产

品推荐结果集；

步骤6：构建推荐模块，利用农产品推荐结果集根据用户以及平台需要将前N款农产品对目标用户进行推荐并完成推荐。

综上所述，本发明改进了传统协同过滤算法仅使用评分这一单一参数存在的不足，在原有的基础上提出从用户点评中发掘用户对农产品特征属性的偏好情况结合用户评分情感倾向加权值代替仅使用评分进行用户-用户相似度的计算，使邻居集在一定程度上更为准确，推荐结果优于传统使用评分的推荐算法。因此本发明中设计的农产品个性推荐系统在对不同用户的农产品推荐效果上也更为精准。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于农产品特征属性评论倾向的协同推荐方法，其特征在于，所述方法具体包括有以下步骤：

步骤1：通过将用户点评数据集进行预处理，提取电商农产品特征属性词的同时发掘出评论集中与特征属性词同义的其他词向量，构建农产品特征属性词集；

步骤2：通过农产品特征属性词集筛选用户评论数据，结合加权后用户评分构建用户点评模型，量化成用户评分-商品特征属性偏好矩阵；

步骤3：使用用户评分-商品特征属性偏好矩阵代替用户评分，使用协同过滤矩阵对不同用户的用户评分-商品特征属性偏好矩阵进行计算，找到目标用户TOP-K邻居集，根据预测评分推荐TOP-N电商农产品；

所述预测评分推荐TOP-N电商农产品的方法具体有包括以下步骤：

步骤3.1：通过评分-商品特征属性矩阵，将用户-商品类型矩阵以如下方式替换：

以用户评分-商品特征属性矩阵代替评分，利用改进之后欧氏距离公式计算出不同用户与目标用户间的相似度sim(i，j)，公式如下：

其中e_x、e_y分别表示表示用户i和用户j的用户评论情感模型矩阵中对应的矩阵值，n表示在农产品列表中各农产品的个数；

步骤3.2：所得的结果Sim(i,j)集合进行降序排列，取前K个用户作为用户i的邻居集；将目标用户i可能会感兴趣的邻居集中用户点评过的农产品进行评分预测，预测评分公式如下：

其中S(i,K)表示与目标用户i最为相似的K个用户的集合，N(u)所有对农产品u感兴趣的其他用户的集合，v表示与用户i有相同爱好和偏向商品的其他用户；公式中w_iv表示目标用户i对用户v的相似度，r_vu表示用户v对u的评分；

步骤3.3：得到的评分P进行降序排列作为推荐集，将前N个(Top-N)农产品推荐给目标用户。

2.根据权利要求1所述的基于农产品特征属性评论倾向的协同推荐方法，其特征在于，所述构建农产品特征属性词集的方法具体有包括以下步骤：

步骤1.1：使用改进TF-IDF使用加权逆词频后的TF-IWF算法，公式如下：

TF-IWF＝TF×IWF

表示在爬取的评论数据集N中某词i重要性，其中TF表示词频，IWF表示加权之后逆词频，

表示评论中所有词语的词频总和值，nt_i表示对应词t_i在评论中的词频总量；

计算并提取电商农产品下用户评论文本中词频和加权逆词频较高的词集，从而筛选出符合农产品特征属性的3个属性词a,b,c；

步骤1.2：将用户评论训练过word2vec模型计算评论集中各词向量相似度，在所有用户评论集中找到与农产品特征属性词同义的其他词向量，构建农产品特征属性词集A{a1,a2,a3…an},B{b1,b2,b3…bn},C{c1,c2,c3…cn}。

3.根据权利要求1所述的基于农产品特征属性评论倾向的协同推荐方法，其特征在于，构建所述用户评分-商品特征属性偏好矩阵的方法具体有包括以下步骤：

步骤2.1：从用户在评论逐条以分词结果筛选A、B、C 3个农产品特征属性集中属性词，如评论中出现该属性词，对应的农产品特征属性An orBn or Cn偏好值为1，否则置为0；

步骤2.2：用户user{user1,user2,user3……usern}对农产品U{u1,u2,u3…un}的评分集{S1,S2,S3…Sn}，引入情感词典和程度副词词典，将用户评论中情感倾向程度结合用户评分进行加权计算，其权重计算公式如下：

其中λ表示权重系数，Sn表示对应用户评分，

表示用户评论中程度副词由程度副词词典累加的总体程度等级值，

由用户评论中情感词通过情感累加词典得到的总体情感倾向值，将权重系数λ与用户评分相乘得到最终加权后评分集{λS1,λS2,λS3…λSn}；

步骤2.3：基于加权后用户评分和评论中农产品特征属性偏好构建用户点评模型[评分,特征属性偏好]，量化成用户n的评分-商品特征属性矩阵usern-Un:[λSn,An,Bn,Cn]。

4.根据权利要求2所述的基于农产品特征属性评论倾向的协同推荐方法得到的一种基于农产品特征属性评论倾向的协同推荐系统，其特征在于，所述系统包括有：

数据收集模块，获取用户在电商平台下不同农产品的评论、评分数据，进行结构化存储；

数据分析模块，对各农产品的用户评论使用TF-IWF算法进行商品特征属性词的提取，同时使用利用评论数据集训练后的word2vec模型提取农产品特征属性同义词向量构建农产品特征属性词集；

构建用户点评模型模块，将所有用户的各条评论进行农产品特征属性词挖掘，构建用户点评模型，基于加权评分和评论信息将用户点评模型量化构建用户评分-商品特征属性矩阵；

相似用户计算模块，对不同用户的用户评分-商品特征属性矩阵使用改进之后欧氏距离公式进行相似度计算，基于计算得到的目标用户与其他用户的相似度结果，构建目标用户邻居集；

评分预测模块，对所有目标用户进行邻居集中可能感兴趣农产品进行评分预测，构建农产品推荐结果集；

推荐模块，将推荐结果进行预测评分高至低排序，将前N款农产品对目标用户进行推荐，完成推荐。

Images