CN108733748A - 一种基于商品评论舆情的跨境产品质量风险模糊预测方法 - Google Patents

Abstract

一种基于商品评论舆情的跨境产品质量风险模糊预测方法，包括采集数据；数据预处理，数据预处理包括文本分析和数据转换；构建商品分词库和产品质量评论词库；构建商品分类库；根据检验检疫的抽检报告数据和风险评价标准对产品进行参考风险等级标注；商品评论舆情分析，提取评论信息中的差评评论；差评评论质量相关度分析，计算同一类目下的商品的质量差评评论数量；构建风险预测模型，风险预测模型包括隶属函数和BP神经网络；风险预测模型输出预测风险等级，根据预测风险等级预测产品质量风险。本发明的预测方法可以通过用户对某一类商品的质量评价内容的判断，从侧面了解该商品和该大类商品目录下的质量情况。

Description

一种基于商品评论舆情的跨境产品质量风险模糊预测方法

技术领域

本发明属于数据挖掘领域，具体涉及一种基于商品评论舆情的跨境产品质量 风险模糊预测方法。

背景技术

因商品流通的全球化，再加之中国电商的高速发展，导致中国对外贸的迅速 发展，对于出入境检验检疫的需求日益增长。2016年我国进出口贸易总值25万亿， 从2005年的破万亿的进出口贸易总值到十年后的25万亿，在这种高速发展的势 头很大的原因是因为电商的高速发展，跨境电子商务在全球范围的异军突起不仅 改变了外贸企业的传统经营方式，更深刻地影响了中国对外贸易产业链布局。由 于居民收入水平的不断提高互联网的极大普及，使得民众的消费习惯有了极大的 改变。加之国家对电子商务的支持，为电商和网上平台的发展提供了良好宽松的 发展平台。其中就增长结构而言，除了传统国内贸易采用电子商务交易之外，跨 境外贸电子商务也为其发展增添了新的活力。在各个电商都销售着来自世界各地 的商品。在这样极速增长的电商，频繁的国内外商品贸易之下，全国检验检疫人 员却远远不足，所以在这种情况下要对进出口贸易的检查带来了极大的压力。

发明内容

本发明的目的是提供一种基于商品评论舆情的跨境产品质量风险模糊预测方法，为产品质量风险提供预测。因此，本发明采用以下技术方案。

一种基于商品评论舆情的跨境产品质量风险模糊预测方法，所述方法包括以 下步骤：

步骤1、采集数据；采集的数据为跨境电商平台中的商品信息和评论信息；

步骤2、数据预处理；所述数据预处理包括文本分析和数据转换；所述文本分 析将采集的数据中需要分析部分提取出来，进行语义分析，对同义词、近义词进 行替换；所述数据转换将文本分析出来的结果进行标签，转码为机器能识别的符 号，并生成索引数据；

步骤3、构建商品分词库和产品质量评论词库；通过对跨境电商平台中网页信 息提取、检验检疫报关系统中相关字段的提取，获得商品分词库；通过中文情感 字典和人工采集整理生成产品质量评论词库；

步骤4、构建商品分类库；根据检验检疫相关的HS编码，把不同的商品分成 不同的大类、子类和商品；

步骤5、根据检验检疫的抽检报告数据和风险评价标准对产品进行参考风险等 级标注；

步骤6、商品评论舆情分析；对数据预处理后的评论信息进行自然语言分析， 利用产品质量评论词库对所述评论信息进行分词，提取评论信息中的差评评论；

步骤7、差评评论质量相关度分析；计算每条差评评论与质量相关的概率，提 取差评评论中与质量相关的质量差评评论，计算同一子类下的商品的质量差评评 论数量；

步骤8、构建风险预测模型；所述风险预测模型包括隶属函数和BP神经网络； 所述风险预测模型输出预测风险等级，根据所述预测风险等级预测产品质量风险。

优选的，所述隶属函数的输入为同一子类下的商品的质量差评评论数量，输 出为清晰集合S，其中，S＝<无、较低、中、较高、高>，表示产品质量风险。

优选的，所述BP神经网络分为输入层、隐含层和输出层。

优选的，将所述隶属函数的输出清晰集合S转换为评论隶属函数判别值，将 所述参考风险等级转换为参考风险等级判别值。

优选的，所述BP神经网络的输入层的输入为评论隶属函数判别值和参考风险 等级判别值。

本发明的有益效果是：本发明的预测方法可以通过用户对某一类商品的质量 评价内容的判断，从侧面了解该商品和该大类商品目录下的质量情况。因此，针 对检验检疫部门对跨境电商产品进行抽检时，可以提供一种风险判断的依据。并 且，通过商品子类、商品大类和商品关键词等不同维度上的统计分析，可以找出 商品风险的分布情况。

附图说明

图1是本发明中采集系统框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的 实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前 提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于商品评论舆情的跨境产品质量风险模糊预测方法，包括以下步骤：

1、数据采集和数据预处理。多线程的采集：采集数据为京东、天猫、考拉等 跨境电商平台中的商品信息和评论信息，存储在关系数据库和文本数据库中，使 用redis,以及mongodb的NoSql非结构化数据库以及mysql的存储多线程的完成数 据采集、数据清洗任务来完成高维度的数据存储。监控系统：在web端可以控制 爬取的源，手动的控制爬取的网站和平台。数据的预处理：将第一步采集到的数 据利用文本数据来分析，爬虫机器获取的数据是未经处理的非结构化数据，需对 其进行预处理才能变成符合模型的数据格式并导入我们的系统中。主要包括如下 内容：文本提取、分析、替换：使用知识库，将数据中需要分析的数据部分提取 出来，然后进行语义分析，对同义词、近义词等进行替换。标签\转码\索引：使用 知识库，对文本分析出来的结果进行标签，转码为系统能理解的符号，最后生成索引数据，索引数据被存在索引数据库中，方便后面的查询和导出操作。知识库 的内容一开始可以存储一些最常见的词组规则信息，随着系统的运行和学习，不 段的完善知识库的内容，使我们的分析更精确。前端数据展示和分析：将这些经 过处理的评论利用柱状图和折线图进行展示，并且将各个评论和新闻进行标签化 的查询。采集模块的整体框架如图1所示。

2、构建商品分词库和质量评论词库，商品的品牌名称通过如下几个渠道获得： 爬取电商平台，如京东、考拉等平台中对于某个大类下的品牌的栏目，获得相关 品牌；通过搜狗细胞词库获得服装、日用品等热门分类的品牌列表；通过检验检 疫报关信息中的相关字段获得。最终，通过人工的整理，如果商品包含英文名称， 需要进行对应。最终保存形式为<商品中文名，商品英文名，简称(可以为空)>。 相关分词库也放在Mysql中。商品信息包括名称、商标、简称等字段，通过对电 商平台中网页信息提取、检验检疫报关系统中相关字段的提取，获得商品分词库。 通过中文情感字典和人工采集整理完成产品质量词库。

3、对商品进行归类，用于对商品评论的汇总，风险预测的对象为商品大类、 商品小类和商品关键词等。商品归类主要根据HS编码进行，HS(Harmonized System)为海关编码，制定的一部供海关、统计、进出口管理及与国际贸易有关 各方共同使用的商品分类编码体系。本发明采用中国的HS编码规则，共10位， 前8位为主码，后2位为附加码。把全部国际贸易商品分为22类，98章。章以下 再分为目和子目。商品编码第一、二位数码代表“章”，第三、四位数码代表“目”， 第五、六位数码代表“子目”。构建商品分类库，根据检验检疫相关的HS编码， 把不同的商品分成不同的大类、子类和商品，本发明暂定层级为三级。这三级中， 大类涉及了物品类型(例如：生活类，食品类)，子类是类型(牙刷，牛奶)， 商品涉及了品牌(狮王牙刷，德亚牛奶)，我们会对商品进行统计和分类，首先 我们会对一个子类的龙头商品进行分类，其次商品涉及到的品牌越多，数量越庞 大，那么对上一层类别的判断也就越准确。

通过对HS编码的层次关系，可以构建出不同的进口商品之间的关联关系，把 这种关联关系保存在关系数据库Mysql中。

4、对商品评论舆情进行分析，涉及到对评论文本的自然语言分析和评论的分 类。句子可以用主语、谓语、宾语来表示。在自然语言的处理过程中，有许多应 用场景都需要考虑句子的语法，主要考虑两个问题，其一是句子语法在计算机中 的表达与存储方法，以及语料数据集；其二是语法解析的算法。

我们把S表示句子；NP、VP、PP是名词、动词、介词短语(短语级别)；N、 V、P分别是名词、动词、介词。并且生成句子的语法树，定义如下的一套上下文 无关语法。

1)N表示一组非叶子节点的标注，例如{S、NP、VP、N...}

2)Σ表示一组叶子结点的标注。

3)R表示一组规则，每条规则可以表示为X->Y1Y2...Yn，X∈N，Yi∈(N∪ Σ)

4)S表示语法树开始的标注

当给定一个评论时，可以按照从左到右的顺序来解析语法。例如，句子“这 个物流速度太慢”就可以表示为(S(NP(DT这个)(NN物流))(NP速度)(VP太 慢))。

5)当一个评论有多种解析方法的时候，可以能会产生多个语法树，可以分别 计算每颗语法树的概率p(t)，出现概率最大的那颗语法树就是我们希望得到的结果， 即argmax p(t)。

6)就是根据词组的统计，就会发现两个相邻的字出现的频率最多，那么这个 词就很重要，可以作为用户提供关键词。这样来分词。比如，“物流，速度，慢， 太慢”等等。通过关键词来进行句子的分割。

5、对产生的数据进行质量相关度分析，通过自定义的产品质量相关词典，对 于每个给定的质量相关的单词，使用贝叶斯网络算法对每个帖子的内容进行判断， 其公式1为

其中P为概率，B为质量相关的分类，1表示和质量相关，0表示不相关，A_i表 示不同的关键词，例如屏幕、电池、口味、颜色等。公式(1)中，P(B₁)表示质 量相关的评论占所有评论的占比，P(A_i|B₁)表示质量相关评论中含有关键词A_i的评 论的占比，P(B₀)表示质量相关的评论占所有评论的占比，P(A_i|B₀)表示质量无关 评论中含有关键词A_i的评论的占比。

首先对不同产品评论进行分词，然后人工划分成B₀和B₁两个分类，然后根据 公式(1)进行计算出每个单词的概率，帖子是否属于质量相关，有其包含的单词 的概率相加来决定。

6、对某一类商品的差评统计，就是将该类别下的所有商品的差评数量的汇总， 此处并不进行去重处理。

7、根据检验检疫的抽检报告数据和风险评价标准对产品进行风险标注，利用 检验检疫的历年检测报告，重点产品风险判别标准等，按照产品类目、进口国别 进行分类统计，计算各类别的风险等级。对商品风险等级分类，可以区分成一般 风险和重点风险信息两类：

重点风险包括

·监测区域内的国家或地区实施的召回、下架等通报信息中涉及在中国大陆 地区销售、使用的商品；

·消费者投诉、企业报告等其他方式获取的涉及进口产品质量安全的风险信 息中涉及的商品；

·其他经研究判断后认为重要的其他风险信息中涉及的商品。

一般风险主要就是只不合格较高的商品。

把风险信息分为高、中、低三类，其中一般风险为中低，而重要风险设置为 高。然后设立1为风险中，2为风险中和风险高，3为风险低，风险中，风险高。

8、构建风险预测模型。对标注的风险等级和用户评价之间进行建模匹配，其 输入为该大类商品的用户差评数量，输出为该大类商品的风险等级。包括两个步 骤：

第一步确定商品评论的隶属函数：

隶属函数是对模糊概念的定量描述。现实中遇到的模糊概念不胜枚举，然而 准确地反映模糊概念的模糊集合的隶属函数，却无法找到统一的模式。隶属函数 的确定过程，本质上说应该是客观的，但每个人对于同一个模糊概念的认识理解 又有差异，因此，隶属函数的确定又带有主观性。

本发明中，我们对给定的某一个产品的质量相关差评数量，利用模糊统计法 对论域U上的一个确定该产品是否属于论域上的一个可变动的清晰集合S＝<无、 较低、中、较高、高>作出清晰的判断。对于不同的试验者，清晰集合S可以有不 同的边界,但它们都对应于同一个模糊集。模糊统计法的计算步骤是:在每次统计 中,输入差评数量m是固定的，属于S集合中的某个分类的值是可变的S_i，找n 个评审员对评论进行直觉上的判断，给定某个商品(包括名称、描述等)、商品 所包含的所有差评数量的列表。其形式为

<商品1，差评数量1>、<商品2，差评数量2>、<商品3，差评数量3>…

评审员对每个商品进行其模糊统计，可按公式2进行计算，对于给定的商品i 所在的S_i，每个人给出一个v值

隶属频率＝v∈S_i的次数m/试验总次数n (2)

随着试验次数n的增大，隶属频率也会趋向稳定,最后得到这个稳定值就是v 对S中某一个元素S_i的隶属度值，我们称为阀值。

对于不同的类型的商品，给出的阀值是不同的，最终会形成一个多元组：<商 品，阀值1，阀值2，阀值3，阀值4>。每个不同的商品中阀值都是不同的。其中 阀值1-4依次由小到大，把S集合分为5个子段，对于给定的差评数量m，如果 m<阀值1,则属于类别“无”；阀值1<m<阀值2,则属于类别“较低”；阀值2<m< 阀值3,则属于类别“中”；阀值3<m<阀值4,则属于类别“较高”；m>阀值4,则 属于类别“高”。后续用1-5表示这5个类别。

第二步，通过BP神经网络输出结果的判定

构建神经网络结构，最左边的是输入层输入评论隶属函数判别值(1，2，3， 4，5)和风险类别(1或2，3)，最右边的是输出层，中间是多个隐含层，隐含 层和输出层的每个神经节点，都是由上一层节点乘以其权重累加得到。

通过神经网络训练不同类型商品的评论隶属函数和神经网络的参数权重设置。最终达到产品用户评论舆情和商品质量风险之间的拟合关系，得到风险预测模型。

使用上述风险预测模型，对于给定的某个产品，把模糊化后的评论风险S集 合通过神经网络的方法对应到了高中低风险结果。需要注意的是如果给定的产品 在检验检疫的评判标准中没有体现，我们可以采用同大类中的其他商品的检测结 果作为参考的依据。

通过实验证明，通过采集近半年的用户评价信息，该方法在常见的100类相 关进口商品中的风险预测有效性可以达到82％，能取得较好的效果。

9.对于除单个商品进行风险预测以外，对于商品大类、商品子类的风险，按 如下方法进行：

列出商品子类下的所有的商品，对单个商品进行风险测评，对商品的进口量 进行计算。所在商品的进口量一般按照其重量进行转化，如商品的进口单位是包， 而每包的重量为10kg，则总重量为10kg乘以进口包数。如果不按重量计算的商品， 则按件、个等进行。

把商品子类下的商品按进口量进行由高往低排序，取前10个商品，分别按前 述步骤计算其风险。对这10个商品所在的风险进行统计，取众数(Mode)即为该 子类所涉风险。众数为这10个风险中，出现次数最多的类别。

同理，对于商品大类的风险，可以由所包含的商品子类风险进行众数投票获 得。

本发明用自然语言处理技术将商品评论分词，并通过商品名称划分商品所涉 及类目，利用文本信息计算产品质量的疑似风险等级。依赖检验检疫相关部门的 抽样检测结果和风险评判标准，得出商品风险等级。通过神经网络训练不同类型 商品的评论隶属函数和神经网络的参数权重设置。最终达到通过产品用户评论舆 情和商品质量风险之间的拟合关系。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任 何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修 饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的 精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵 盖。

Claims (5)

1.一种基于商品评论舆情的跨境产品质量风险模糊预测方法，其特征在于，所述方法包括以下步骤：

步骤1、采集数据；采集的数据为跨境电商平台中的商品信息和评论信息；

步骤2、数据预处理；所述数据预处理包括文本分析和数据转换；所述文本分析将采集的数据中需要分析部分提取出来，进行语义分析，对同义词、近义词进行替换；所述数据转换将文本分析出来的结果进行标签，转码为机器能识别的符号，并生成索引数据；

步骤3、构建商品分词库和产品质量评论词库；通过对跨境电商平台中网页信息提取、检验检疫报关系统中相关字段提取，获得商品分词库；通过中文情感字典、搜狗细胞词库和人工采集整理生成产品质量评论词库；

步骤4、构建商品分类库；根据检验检疫相关的HS编码，把不同的商品归类到不同三个层次中，包括商品所属大类、商品所属子类和商品本身；

步骤5、根据检验检疫的抽检报告数据和风险评价标准对产品进行参考风险等级标注；

步骤6、商品评论舆情分析；对数据预处理后的评论信息进行自然语言分析，利用产品质量评论词库对所述评论信息进行分词，提取评论信息中的差评评论；

步骤7、差评评论质量相关度分析；计算每条差评评论与质量相关的概率，提取差评评论中与质量相关的质量差评评论，计算同一类目下的商品的质量差评评论数量；

步骤8、构建风险预测模型；所述风险预测模型包括隶属函数和BP神经网络；所述风险预测模型输出预测风险等级，根据所述预测风险等级预测产品质量风险。

2.根据权利要求1所述的一种基于商品评论舆情的跨境产品质量风险模糊预测方法，其特征在于，所述隶属函数的输入为同一子类下的商品的质量差评评论数量，输出为清晰集合S，其中，S=<无、较低、中、较高、高>，表示产品质量风险。

3.根据权利要求2所述的一种基于商品评论舆情的跨境产品质量风险模糊预测方法，其特征在于，所述BP神经网络分为输入层、隐含层和输出层。

4.根据权利要求3所述的一种基于商品评论舆情的跨境产品质量风险模糊预测方法，其特征在于，将所述隶属函数的输出清晰集合S转换为评论隶属函数判别值，将所述参考风险等级转换为参考风险等级判别值。

5.根据权利要求4所述的一种基于商品评论舆情的跨境产品质量风险模糊预测方法，其特征在于，所述BP神经网络的输入层的输入为评论隶属函数判别值和参考风险等级判别值。