CN104867018A - 基于评价内容和id相似性识别的电商评价判断系统 - Google Patents

Abstract

本发明涉及互联网领域，特别涉及基于评价内容和ID相似性识别的电商评价判断系统。包括客户机、网络连接装置、内容相似性判断模块、ID相似性判断模块、作弊因子判断模块以及虚假评价标记模块；其中所述客户机通过网络连接装置来获取目标商品的相关评价数据信息，并将信息分别输出到内容相似性判断模块与ID相似性判断模块中；所述ID相似性判断模块、作弊因子判断模块以及虚假评价标记模块依次相连；所述内容相似性判断模块的输出端与虚假评价标记模块相连。本发明分别判断出虚假评价内容和评价ID，并通过虚假评价标记模块将判断结果标记出来，为买家规避商品虚假评价而引起的交易风险。

Description

基于评价内容和ID相似性识别的电商评价判断系统

技术领域

本发明涉及互联网领域，特别涉及基于评价内容和ID相似性识别的电商评价判断系统。

背景技术

在当代，随着互联网的普及，电子商务已经成为一种被广泛利用的商业贸易方式。买卖双方主要是通过电商的网页或者是软件进行交易活动。由于电子商务没有传统的实体店面，对销售人员的数量要求也不高，所以相比传统交易模式更能够控制运营成本，因而有着更大的价格优势。但是，有很多不法商家为了提高自己的销量从而雇佣专业刷评价团队也制造大量的虚假评价来对自己的商品进行虚假的宣传，从而欺骗消费者来提高自己的真实销量。

目前电子商务的发展迅猛，体量巨大，电商环境中的卖家数量众多，用户在进行购买决定时难以判断商品描述的真实性，对商品评价的依赖度很高，由于卖家评价作弊而造成的商品的性能好评度虚高的情况引起的买家利益损失的情况严重。在这样的情况下，如何对电子商务中商家的评价作弊行为进行识别和判断成电子商务发展过程中亟待解决的问题；在判断虚假评价过程中如何全面的科学的将虚假评价识别出来，对于商品购买者和电商环境管理者来说具有重要的意义；目前现有技术中还缺乏准确有效的相关设备来实现相关的判断。

发明内容

为了解决现有技术中存在的问题，本发明提供了基于评价内容和ID相似性识别的电商评价判断系统，分别通过内容相似性判断模块和ID相似性判断模块来识别目标商品评价数据中的相同和相似评价内容，以及相同或者相似的评价ID，在判断出相同和相似ID的基础上通过作弊因子判断模块，来鉴别出这些相同或者相似评价ID所发出商品评价的频率是否明显高于正常的阈值，如果高于正常的阈值则将这些ID判断为虚假评价ID，通过虚假评价判断模块将判断出的相同和相似评价内容和虚假评价ID标记出来；这样实现了目标商品评价中虚假评价的自动识别，为电商环境管理者和商品消费者提供了简单可靠的评价辨识工具。

为了实现上述发明目的，本发明提供了以下技术方案：

基于评价内容和ID相似性识别的电商评价判断系统；包括客户机、网络连接装置、内容相似性判断模块、ID相似性判断模块、作弊因子判断模块以及虚假评价标记模块；其中所述客户机一端通过网络连接装置来获取目标商品的相关评价数据信息(目前通过爬虫技术可以很方便的获取到目标网页中的相关信息，提取的速度快，可分析数据的总量巨大，所提取数据的分析方法成熟，成本低廉)；所述客户机的另一端分别与所述内容相似性判断模块的输入端以及所述ID相似性判断模块的输入端相连，所述内容相似性判断模块的输出端与所述虚假评价标记模块相连；所述ID相似性判断模块的输出端与所述作弊因子判断模块的输入端相连，所述ID相似性判断模块经过所述作弊因子判断模块与所述虚假评价标记模块相连。

本系统工作时，所述客户机将获取到的目标商品评价信息分别输出到所述内容相似性判断模块和所述ID相似性判断模块中；所述内容相似性判断模块判断出目标商品评价信息中的相同和相似评价内容，并将判断结果输出到所述虚假评价标记模块中；目前如果商家想要通过虚假交易和评价来提高系统显示商品的销量和好评情况，所需要的虚假评价的数量较大，在这样的情况下人为捏造的评价往往在评价内容上具有较高的相似性，或者就直接以相同的内容出现，本发明中的内容相似性判断模块通过比较目标商品评价数据中的内容文本的相似性(目前文本相似性比较的判断方法已经比较成熟，比如说可以采取余弦相似比较算法来判断文本内容之间的相似程度，当相似程度超过预设的阈值，则可认为被比较的文本内容相似，具体的比较过程不再赘述)，统计内容相同评价的数量，判断出内容相似的评价；并将判断的结果输入到所述虚假评价标记模块中。

同时，所述ID相似性判断模块通过文本相似比较判断出目标商品评价信息中的相同和相似评价ID，并将判断结果输入到所述作弊因子判断模块中，所述作弊因子判断模块通过对目标ID作弊可能性进行分析，判断出作弊的虚假评价ID；并将判断结果输出到所述虚假评价标记模块中。目前职业刷评价团队会人工或者利用自动注册机来注册很多小号(所谓的小号是指，同一个人注册和使用的不同的ID号)，这些职业评价团队所注册和使用的小号ID具有一定规律性；一般情况下职业评价师所注册的一系列ID号也是根据系统推荐或者自动生成的，这样的方式所产生的ID号会具有较大的关联性和相似性，比如说ABC1、ABC2、ABC3、ABC4、ABC5.....ABCn。通过对评价ID的文本相似性比较就可以判断出相同或者相似评价内容所对应的评价ID是否相同或者相似；如果相同或者相似，那么这些ID为虚假ID的可能性很高。本发明目标商品的评价内容和评价ID的相似性进行分别判断，判断出的虚假评价的范围更大，判断结果更加全面。

进一步的，为了进一步提高虚假评价判断的准确性，使判断的结果更加严格，所述ID相似性判断模块将判断结果输入到所述作弊因子判断模块中；所述作弊因子判断模块在判断出的相同或者相似ID的基础上，分析对应ID发出评价的频率和时间，将对应ID发出评价的频率与目标商品评价的平均评价频率进行比较，如果其比值高于设定的阈值，则将这些评价ID判断为虚假评价ID，通过作弊因子判断模块对评价ID进行进一步的判断，判断结果准确性较高。

进一步的，所述虚假评价标记模块将所述内容相似性判断模块所判断出的相同和相似评价内容标记出来；所述虚假评价标记模块将所述作弊因子判断模块所判断出的虚假评价ID标记出来。

进一步的，所述虚假评价标记模块将目标商品信息中即满足虚假评价内容又满足虚假评价ID的对应评价进行着重标记。通过着重标记，商品买家和电商环境的管理者可以对虚假评价进行层次化和更科学合理的处理。通过本系统对目标商品虚假评价的判断效率高，虚假评价判断结果更加全面。

作为一种优选，所述内容相似性判断模块为内容相似性判断服务器；所述ID相似性判断模块为ID相似性判断服务器；所述作弊因子判断模块为作弊因子判断服务器；所述虚假评价标记模块为虚假评价标记服务器。所述相似评价内容判断服务器和所述虚假评价标记服务器通过数据连线相连；所述ID相似性判断服务器、作弊因子判断服务器以及虚假评价标记服务器通过数据连接线依次相连。服务器在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面表现优秀，通过服务器来完成相关的ID相似性，内容相似性的相关判断，可快速处理大量电商目标商品的相关数据，处理速度快，效率高。

与现有技术相比，本发明的有益效果：本发明提供基于评价内容和ID相似性识别的电商评价判断系统。通过客户机访问目标商品的网址，爬取对应商品网页的评价数据；并通过相关服务器对爬取到的评价数据进行判断，分别分析评价数据中评价内容、评价ID为虚假评价内容或者虚假评价ID的可能性。

本发明通过虚假评价标记模块将判断出的相同、相似评价内容、虚假评价ID分别标记出来。本发明通过对目标商品评价数据中的评价内容和评价ID进行分别的判断识别，判断出的虚假评价覆盖范围更加全面，针对职业刷评价团队注册的系列虚假评价ID进行了针对性的判断和识别，在判断出相同和相似ID的基础上，再通过作弊因子判断模块来判断这些相同或者相似ID的发出评价的频率是否高于正常的阈值，如果高于阈值，被判断为虚假评价ID，这样的判断方式对于虚假ID的判断过程更加严格，判断的准确性更高。

附图说明：

图1为本基于评价内容和ID相似性识别的电商评价判断系统连接关系图。

图2为本基于评价内容和ID相似性识别的电商评价判断系统的优选连接关系图。

具体实施方式

下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

本发明提供了基于评价内容和ID相似性识别的电商评价判断系统，分别通过内容相似性判断模块和ID相似性判断模块来识别目标商品评价数据中的相同和相似评价内容，以及相同或者相似的评价ID，在判断出相同和相似ID的基础上通过作弊因子判断模块，来鉴别出这些相同或者相似评价ID所发出商品评价的频率是否明显高于正常的阈值，如果高于正常的阈值则将这些ID判断为虚假评价ID，通过虚假评价判断模块将判断出的相同和相似评价内容和虚假评价ID标记出来；这样实现了目标商品评价中虚假评价的自动识别，为电商环境管理者和商品消费者提供了简单可靠的评价辨识工具。

为了实现上述发明目的，本发明提供了以下技术方案：

基于评价内容和ID相似性识别的电商评价判断系统如图1所示：包括客户机、网络连接装置、内容相似性判断模块、(评价)ID相似性判断模块、作弊因子判断模块以及虚假评价标记模块；其中所述客户机一端通过网络连接装置来获取目标商品的相关评价数据信息(目前通过爬虫技术可以很方便的获取到目标网页中的相关信息，提取的速度快，可分析数据的总量巨大，所提取数据的分析方法成熟，成本低廉)；所述客户机的另一端分别与所述内容相似性判断模块的输入端和所述ID相似性判断模块的输入端相连，所述内容相似性判断模块的输出端与所述虚假评价标记模块相连；所述ID相似性判断模块的输出端与所述作弊因子判断模块的输入端相连，所述ID相似性判断模块经过所述作弊因子判断模块与所述虚假评价标记模块相连。

本系统工作时，所述客户机将获取到的目标商品评价信息分别输出到所述内容相似性判断模块和所述ID相似性判断模块中；所述内容相似性判断模块判断出目标商品评价信息中的相同和相似评价内容，并将判断结果输出到所述虚假评价标记模块中；目前如果商家想要通过虚假交易和评价来提高系统显示商品的销量和好评情况，所需要的虚假评价的数量较大，在这样的情况下人为捏造的评价往往在评价内容上具有较高的相似性，或者就直接以相同的内容出现，本发明中的内容相似性判断模块通过比较目标商品评价数据中的内容文本的相似性(目前文本相似性比较的判断方法已经比较成熟，比如说可以采取余弦相似比较算法来判断文本内容之间的相似程度，当相似程度超过预设的阈值，则可认为被比较的文本内容相似，具体的比较过程如下：为了实现所有评价的余弦相似性计算，可以提前对某电商网站的总评价数据进行了爬取，并根据词频，我们删除了一些虚词(例如标点)和一些低频词之后，建立了一个有效的实词词表如表1所示。

表1

在某一条特定评价中，计算所有的实词的TF-IDF值(TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降，计算方法可以参考维基百科http：//zh.wikipedia.org/wiki/TF-IDF，此处不再赘述)，按照它们在词表中的位置排列得出一个向量，对于没有出现的词，它对应的值为零，如表2所示。

表2

用计算得到的n个数组成一个n维的向量，并用这个向量来代表这个评价。

要计算评价A和评价B的余弦相似性，需要分别求出这两条评价对应的向量如下：

a₁，a₂，…，a_n和b₁，b₂，…，b_n

利用余弦公式得出两条评价的相似概率P为

$p=\cos \mathrm{\θ}=\frac{a_1{b}_1+a_2{b}_2+...+a_n{b}_n}{\sqrt{a_1^2+a_2^2+...+a_n^2}\·\sqrt{b_1^2+b_2^2+...+b_n^2}}$

其中θ表示两矢量之间的夹角，概率越大，表示两条评论的相似性越大，反之表示两条评论的相似性越小。将计算出的相似概率与阈值进行比较，如果大于阈值，则判定为相似评论；阈值的选取过程为：在范围(0.000～0.999)选取一个浮点数作为阈值，将人工提取了一个已经确定相似的数据集，计算数据集中两两评价的相似值，当选取某阈值时能够获得最高的相似判断的准确率，我们就认为该阈值是最好的阈值)，统计内容相同评价的数量，判断出内容相似的评价；并将判断的结果输入到所述虚假评价标记模块中。

同时，所述ID相似性判断模块通过文本相似比较判断出目标商品评价信息中的相同和相似评价ID，并将判断结果输入到所述作弊因子判断模块中，所述作弊因子判断模块通过对目标ID作弊可能性进行分析，判断出作弊的虚假评价ID；并将判断结果输出到所述虚假评价标记模块中。目前职业刷评价团队会人工或者利用自动注册机来注册很多小号(所谓的小号是指，同一个人注册和使用的不同的ID号)，这些职业评价团队所注册和使用的小号ID具有一定规律性；一般情况下职业评价师所注册的一系列ID号也是根据系统推荐或者自动生成的，这样的方式所产生的ID号会具有较大的关联性和相似性，比如说ABC1、ABC2、ABC3、ABC4、ABC5.....ABCn。通过对评价ID的文本相似性比较就可以判断出相同或者相似评价内容所对应的评价ID是否相同或者相似(可采用与评价内容判断相同的方法)；如果相同或者相似，那么这些ID为虚假ID的可能性很高。本发明目标商品的评价内容和评价ID的相似性进行分别判断，判断出的虚假评价的范围更大，判断结果更加全面。

进一步的，为了进一步提高虚假评价判断的准确性，使判断的结果更加严格，所述ID相似性判断模块将判断结果输入到所述作弊因子判断模块中；所述作弊因子判断模块在判断出的相同或者相似ID的基础上，分析对应ID发出评价的频率和时间，将对应ID发出评价的频率与目标商品评价的平均评价频率进行比较，如果其比值高于设定的阈值，则将这些评价ID判断为虚假评价ID，通过作弊因子判断模块对评价ID进行进一步的判断，判断结果准确性较高。

关于作弊因子，做出如下的定义，作弊因子是[0～∞]之间的一个值，值越大，表示作弊的可能性越高，反之越低。详细的计算方法如下：计算第i个ID的平均评价时间间隔，计算公式如下：

$\stackrel{\‾}{t_i}=\frac{t_n-t_1}{n-1}$

其中t_n是第n次发评价的时间点，t₁是第1次发评价的时间点；计算该商品所有的ID的总平均评价间隔，计算公式如下：

$\stackrel{\‾}{t}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\stackrel{\‾}{t_i}}{N}=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\frac{t_{\mathrm{ni}}-t_1}{n_i-1}}{N}$

计算作弊因子，计算公式如下：

$\mathrm{\η}=\frac{\stackrel{\‾}{t}}{\stackrel{\‾}{t_i}}$

其中η为作弊因子；作弊ID的判定关系为：(即η≥2时)，(虚假ID的评价时间频率为目标商品所有评价的评价频率的2倍，其中2倍的因子经实验验证，为一个较优选择；即当该ID发评论的间隔小于平均间隔时，即认为该ID为给出虚假评价的ID。

进一步的，所述虚假评价标记模块将所述内容相似性判断模块所判断出的相同和相似评价内容标记出来；所述虚假评价标记模块将所述作弊因子判断模块所判断出的虚假评价ID标记出来。

进一步的，所述虚假评价标记模块将目标商品信息中即满足虚假评价内容又满足虚假评价ID的对应评价进行着重标记。通过着重标记，商品买家和电商环境的管理者可以对虚假评价进行层次化和更科学合理的处理。通过本系统对目标商品虚假评价的判断效率高，虚假评价判断结果更加全面。

作为一种优选，如图2所示：所述内容相似性判断模块为内容相似性判断服务器；所述ID相似性判断模块为(评价)ID相似性判断服务器；所述作弊因子判断模块为作弊因子判断服务器；所述虚假评价标记模块为虚假评价标记服务器。所述相似评价内容判断服务器和所述虚假评价标记服务器通过数据连线相连；所述ID相似性判断服务器、作弊因子判断服务器以及虚假评价标记服务器通过数据连接线依次相连。服务器在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面表现优秀，通过服务器来完成相关的ID相似性，内容相似性的相关判断，可快速处理大量电商目标商品的相关数据，处理速度快，效率高。

Claims (8)

1.基于评价内容和ID相似性识别的电商评价判断系统，其特征在于，包括客户机、网络连接装置、内容相似性判断模块、ID相似性判断模块、作弊因子判断模块以及虚假评价标记模块；其中所述客户机通过网络连接装置来获取目标商品的相关评价数据信息，并将信息分别输出到内容相似性判断模块与ID相似性判断模块中；所述ID相似性判断模块、所述作弊因子判断模块以及所述虚假评价标记模块依次相连；所述内容相似性判断模块的输出端与所述虚假评价标记模块相连。

2.如权利要求1所述的基于评价内容和ID相似性识别的电商评价判断系统，其特征在于，所述客户机将获取到的目标商品评价信息输出到所述内容相似性判断模块中；所述内容相似性判断模块判断出目标商品评价信息中的相同和相似评价内容，并将判断结果输出到所述虚假评价标记模块中。

3.如权利要求1或者2所述的基于评价内容和ID相似性识别的电商评价判断系统，其特征在于，所述客户机将获取到的目标商品评价信息输出到所述ID相似性判断模块中；所述ID相似性判断模块判断出目标商品评价信息中的相同和相似评价ID，并将判断结果输入到所述作弊因子判断模块中，所述作弊因子判断模块通过对目标ID作弊可能性进行分析，判断出作弊的虚假评价ID；并将判断结果输出到所述虚假评价标记模块中。

4.如权利要求3所述的基于评价内容和ID相似性识别的电商评价判断系统，其特征在于，所述内容相似性判断模块为内容相似性判断服务器；所述ID相似性判断模块为ID相似性判断服务器；所述作弊因子判断模块为作弊因子判断服务器；所述虚假评价标记模块为虚假评价标记服务器。

5.如权利要求4所述的基于评价内容和ID相似性识别的电商评价判断系统，其特征在于，所述虚假评价标记模块将所述内容相似性判断模块所判断出的相同和相似评价内容标记出来；所述虚假评价标记模块将所述作弊因子判断模块所判断出的虚假评价ID标记出来。

6.如权利要求5所述的基于评价内容和ID相似性识别的电商评价判断系统，其特征在于，所述ID相似性判断模块，通过对评价数据中的评价ID进行文本识别，分别统计出相同和相似评价ID。

7.如权利要求5所述的基于评价内容和ID相似性识别的电商评价判断系统，其特征在于，所述内容相似性判断模块对目标商品评价信息中的评价内容，进行文本相似性比较算法，分别统计出相同和相似的评价内容。

8.如权利要求5所述的基于评价内容和ID相似性识别的电商评价判断系统，其特征在于，所述虚假评价标记模块将目标商品信息中即满足虚假评价内容又满足虚假评价ID的对应评价进行着重标记。