CN111292167A

CN111292167A - 基于大数据的竞品分析方法、系统、存储介质及电子设备

Info

Publication number: CN111292167A
Application number: CN202010078435.3A
Authority: CN
Inventors: 徐展彧
Original assignee: Shandong ICity Information Technology Co., Ltd.
Current assignee: Shandong ICity Information Technology Co., Ltd.
Priority date: 2020-02-03
Filing date: 2020-02-03
Publication date: 2020-06-16

Abstract

本发明公开了一种基于大数据的竞品分析方法、系统、存储介质及电子设备，属于大数据及竞品分析技术领域，本发明要解决的技术问题为如何利用大数据分析并挖掘网民对指定产品及其竞品的情感走向实现竞品分析，采用的技术方案为：该方法依靠完全公开的社交网络平台评论数据，通过分析海量评论，从网络评论中挖掘网民对指定产品及其相关竞品的情感走向，通过对评论进行包括情感分析在内的多种分析方式得到网民对产品的态度看法，实现竞品分析的目的。该系统包括产品及其相关竞品确定单元、话题生成及评论采集存储单元、评论去噪清洗单元、评论分词及去停用词单元、评论的情感得分获得及标签化单元及评论分析及产品优化升级单元。

Description

基于大数据的竞品分析方法、系统、存储介质及电子设备

技术领域

本发明涉及大数据及竞品分析技术领域，具体地说是一种基于大数据的竞品分析方法、系统、存储介质及电子设备。

背景技术

在各行业中，针对竞品的研究一般都会极受重视，竞品分析或者品牌分析是很多企业在市场做品牌市场战略研究的重要手段之一，而且也是企业对晶振对手市场经营情况最好的研究分析。每个企业都需要分析改进自身产品来占领更多市场，因此竞品分析是市场上最普遍，也是最重要的分析途径。产品研发上线后，所有企业或者品牌都需要竞品分析，对现有或潜在的竞争产品优势劣势进行评价。根据这个分析来对吱声产品进行更全面、更专业的战略定位和产品优化。竞品分析主要从几个维度对比分析：战略定位、盈利模式、用户群体、产品功能、产品操作性能体验等。

对任何企业来说，忠诚的客户是利润的来源之一。为了提升客户满意度和对产品的忠诚度，了解和满足客户需求，对客户提出的产品缺点进行及时反馈改进是增加客户忠诚度的重要手段；此外，为了增强产品的竞争力和扩大产品市场份额，需要对市场中同类型的产品做到定期了解分析，比较竞品和自身产品各自的优势和劣势，取长补短，推动产品进行优化升级。

综上所述，如何利用大数据分析并挖掘网民对指定产品及其竞品的情感走向实现竞品分析是目前亟待解决的技术问题。

专利号为CN107481066A的专利文献公开了一种基于大数据的竞品分析方法及系统，该方法包括：获取采样用户群中各用户的互联网历史行为数据，通过漏斗分析法对互联网历史行为数据进行分析，得到目标产品的同类产品，同类产品为与目标产品的市场定位相同的产品；分别获取同类产品中各个产品与目标产品的关联度；选取对应的关联度大于第一预设阈值的产品作为目标产品的竞品；对与所述目标产品和所述竞品相关的互联网历史行为数据进行分析，生成目标产品相对于竞品的攻防策略。该技术方案能够有效、准确地实现竞品的定位和分析，为目标产品提供更为有效的竞争策略制定依据，同时也通过用户的关注倾向从而制定更有效的投放策略，但是不能利用大数据分析并挖掘网民对指定产品及其竞品的情感走向实现竞品分析。

专利号为CN110675205A的专利文献公开了一种基于应用的竞品分析方法、装置及计算机可读存储介质。其中基于应用的竞品分析方法包括：确定指定应用的候选竞品；获取用户的应用安装信息；根据获取的所述应用安装信息，计算所述候选竞品对所述指定应用的侵占度；和/或，根据获取的所述应用安装信息，计算所述指定应用与所述候选竞品之间的用户流向信息。该技术方案依靠用户安装数据，客观地挖掘出对应的竞品情况，全面了解应用市场上所有的竞争对手，同时该技术方案依据可靠且数据全面，有利于帮助公司扩大其服务品种，增长其服务目标，但是不能利用大数据分析并挖掘网民对指定产品及其竞品的情感走向实现竞品分析。

发明内容

本发明的技术任务是提供一种基于大数据的竞品分析方法、系统、存储介质及电子设备，来解决如何利用大数据分析并挖掘网民对指定产品及其竞品的情感走向实现竞品分析的问题。

本发明的技术任务是按以下方式实现的，一种基于大数据的竞品分析方法，该方法依靠完全公开的社交网络平台评论数据，通过分析海量评论，从网络评论中挖掘网民对指定产品及其相关竞品的情感走向，通过对评论进行包括情感分析在内的多种分析方式得到网民对产品的态度看法，实现竞品分析的目的；具体如下：

确定产品及其相关竞品；

生成话题，采集评论并存储评论；

对评论去噪清洗作为数据准确；

评论分词，去停用词；

使用情感分析工具包获得评论的情感得分，根据阈值将得分标签化；

对两极标签用户评论重点分析，优化升级产品。

作为优选，所述确定产品及其相关竞品是根据与产品及其相关竞品相关的多个主题确定，主题具体包括产品简称和产品昵称。

更优地，所述生成话题，采集评论并存储评论具体如下：

根据与产品及其相关竞品相关的多个主题生成话题，在微博中进行相关话题搜索操作；

对于搜索出来的相关页面，使用网络爬虫技术爬取话题下方相应评论，并对爬取的数据进行存储，作为竞品分析的数据源。

更优地，所述对评论去噪清洗作为数据准确具体如下：

对存储的评论数据进行初步的清洗，初步的清洗包括去除评论中的图片、表情、超链接、各种语言以及重复评论，保留有实际语义价值的文字；

对清洗后的评论数据进行整理，生成评论字段，评论字段包括用于id、评论内容及评论时间。

更优地，所述评论分词，去停用词具体如下：

对评论进行分词，参考中文停用词词典去除评论中的停用词，减少无用词语对竞品分析的影响；

生成词云，直观展示：对于分词处理后的评论分别生产自身产品及其相关竞品的词云，将微博产品评论进行直观可视化展示；

统计词频，得到高频关键词：设置一个阀值，统计产品及其相关竞品词语出现频率高于阀值的N个词语作为该产品及其相关竞品的评论关键词。

更优地，所述使用情感分析工具包获得评论的情感得分，根据阈值将得分标签化具体如下：

对清洗后的评论，使用情感分析工具包获得评论的情感得分，对产品及其相关竞品生成情感得分分布直方图，查看其情感分布情况；

设定多个阈值，将情感得分分为负面情感、低好感度、中好感度和高好感度四个标签，给评论用户增加情感标签。

更优地，所述对两极标签用户评论重点分析，优化升级产品具体如下：

对于情感标签是负面情感和高好感度的用户评论进行重点关注，针对评论反映的问题进行及时处理，推动产品优化升级。

一种基于大数据的竞品分析系统，该系统包括，

产品及其相关竞品确定单元，用于确定产品及其相关竞品是根据与产品及其相关竞品相关的多个主题确定，主题具体包括产品简称和产品昵称；

话题生成及评论采集存储单元，用于根据与产品及其相关竞品相关的多个主题生成话题，在微博中进行相关话题搜索操作；再对于搜索出来的相关页面，使用网络爬虫技术爬取话题下方相应评论，并对爬取的数据进行存储，作为竞品分析的数据源；

评论去噪清洗单元，用于对存储的评论数据进行初步的清洗，初步的清洗包括去除评论中的图片、表情、超链接、各种语言以及重复评论，保留有实际语义价值的文字；再对清洗后的评论数据进行整理，生成评论字段，评论字段包括用于id、评论内容及评论时间；

评论分词及去停用词单元，用于对评论进行分词，参考中文停用词词典去除评论中的停用词，减少无用词语对竞品分析的影响；并生成词云，直观展示：对于分词处理后的评论分别生产自身产品及其相关竞品的词云，将微博产品评论进行直观可视化展示；同时统计词频，得到高频关键词：设置一个阀值，统计产品及其相关竞品词语出现频率高于阀值的N个词语作为该产品及其相关竞品的评论关键词；

评论的情感得分获得及标签化单元，用于对清洗后的评论，使用情感分析工具包获得评论的情感得分，对产品及其相关竞品生成情感得分分布直方图，查看其情感分布情况；并设定多个阈值，将情感得分分为负面情感、低好感度、中好感度和高好感度四个标签，给评论用户增加情感标签；

评论分析及产品优化升级单元，用于对情感标签是负面情感和高好感度的用户评论进行重点关注，针对评论反映的问题进行及时处理，推动产品优化升级。

一种存储介质，其中存储有多条指令，所述指令由处理器加载，执行上述的基于大数据的竞品分析方法的步骤。

一种电子设备，所述电子设备包括：

上述的存储介质；以及

处理器，用于执行所述存储介质中的指令。

本发明的基于大数据的竞品分析方法、系统、存储介质及电子设备具有以下优点：

(一)互联网社交平台使用用户规模大、活跃度高、推广成本低，是进行市场营销推广的理想地点；此外，留言互动评论的形式使得公司和消费者能进行零距离高效的沟通互动，扩大了公司获得反馈的渠道，这些评论信息是网民对于产品功能真实直观的评价，为竞品分析提供了真实丰富的数据，而目前对于互联网评价数据没有进行很好的使用；并且当市场上出现相关竞品时，可以通过高活跃度的互联网数据做到即刻响应，不必依赖第三方公司，对于自身产品和其相关竞品，尝试使用社交网络公开评论数据进行竞品分析，本发明依靠完全公开的社交网络平台评论数据，通过分析海量评论，力求从网络评论中挖掘网民对指定产品及其竞品的情感走向，通过对评论进行包括情感分析在内的多种分析方式得到网民对产品的态度看法，从另一个角度实现竞品分析的目的；

(二)对于竞品分析，充分利用海量且活跃度高的互联网数据，从用户范围广、规模大的社交评论平台，通过搜索产品及其竞品相关话题，获得网民对于产品有效真实的评论数据；通过对数据进行清洗去噪分词操作，得到产品评论直观可视化词云；统计评论中出现的高频词语，得到各个产品评论关键词；对评论进行情感分析，得到用户评论情感得分，将情感的分依据预先设定的阈值，分为负面情感、低好感度、中好感度、高好感度四个标签，给评论用户增加情感标签；对于标签化后的用户，可以具体分析其评论内容，针对评论反映的问题进行及时处理，推动产品优化升级；

(三)本发明通过主观确定竞品，采集互联网与目标产品和竞品相关的评论收据作为竞品分析的数据来源，通过对评论数据进行情感分析，生成目标产品与竞品的情感标签，对标签为负面情感和高好感度的用户的评论进行重点分析，推动产品优化升级；

(四)本发明对于海量社区平台话题评论数据进行充分利用，在确定竞品的情况下，使用竞品名称及其衍生生成话题的方式，在公开平台对该话题进行自动搜索，使用爬虫技术爬取相应话题下的网民评论数据并进行相应存储。对于爬取的评论数据进行数据清洗，去除其中一些图片、表情对评论分析的影响，再对处理后的数据进行分词、去除停用词，然后对处理好的产品及其竞品分别生成对应词云，将评论进行可视化展示；对于分好词的评论，设置一个阈值，统计评论中出现频率高于这个阈值的词语，作为产品及其竞品的评论关键词；对于清洗后的评论，使用情感分析工具包获得评论的情感得分，对产品及其竞品生成情感得分分布直方图，查看其情感分布情况；设定多个阈值，将情感得分分为：负面情感、低好感度、中好感度、高好感度四个标签，对于情感标签是负面情感和高好感度的用户评论进行重点关注，针对评论提出的产品痛点进行相应改进；

(五)本发明对评论进行分词，参考中文停用词词典去除其中停用词，减少无用词语对竞品分析的影响。

附图说明

下面结合附图对本发明进一步说明。

附图1为基于大数据的竞品分析方法流程框图。

具体实施方式

参照说明书附图和具体实施例对本发明的基于大数据的竞品分析方法、系统、存储介质及电子设备作以下详细地说明。

实施例1：

如附图1所示，本发明的基于大数据的竞品分析方法,该方法依靠完全公开的社交网络平台评论数据，通过分析海量评论，从网络评论中挖掘网民对指定产品及其相关竞品的情感走向，通过对评论进行包括情感分析在内的多种分析方式得到网民对产品的态度看法，实现竞品分析的目的；具体如下：

S1、确定产品及其相关竞品：根据与产品及其相关竞品相关的多个主题确定，主题具体包括产品简称和产品昵称；

S2、生成话题，采集评论并存储评论；具体如下：

S201、根据与产品及其相关竞品相关的多个主题生成话题，在微博中进行相关话题搜索操作；

S202、对于搜索出来的相关页面，使用网络爬虫技术爬取话题下方相应评论，并对爬取的数据进行存储，作为竞品分析的数据源；

S3、对评论去噪清洗作为数据准确；具体如下：

S301、对存储的评论数据进行初步的清洗，初步的清洗包括去除评论中的图片、表情、超链接、各种语言以及重复评论，保留有实际语义价值的文字；

S302、对清洗后的评论数据进行整理，生成评论字段，评论字段包括用于id、评论内容及评论时间；

S4、评论分词，去停用词；具体如下：

S401、对评论进行分词，参考中文停用词词典去除评论中的停用词，减少无用词语对竞品分析的影响；

S402、生成词云，直观展示：对于分词处理后的评论分别生产自身产品及其相关竞品的词云，将微博产品评论进行直观可视化展示；

S403、统计词频，得到高频关键词：设置一个阀值，统计产品及其相关竞品词语出现频率高于阀值的N个词语作为该产品及其相关竞品的评论关键词。

S5、使用情感分析工具包获得评论的情感得分，根据阈值将得分标签化；具体如下：

S501、对清洗后的评论，使用情感分析工具包获得评论的情感得分，对产品及其相关竞品生成情感得分分布直方图，查看其情感分布情况；

S502、设定多个阈值，将情感得分分为负面情感、低好感度、中好感度和高好感度四个标签，给评论用户增加情感标签。

S6、对两极标签用户评论重点分析，优化升级产品：对于情感标签是负面情感和高好感度的用户评论进行重点关注，针对评论反映的问题进行及时处理，推动产品优化升级。

实施例2：

本发明的基于大数据的竞品分析系统，该系统包括，

该系统的工作过程如下：

(1)、确定产品及其相关竞品，并且考虑与产品及其竞品相关的多个主题，如产品简称、昵称，由此生成话题，在微博中进行相关话题搜索操作；

(2)、对于搜索出来的相关页面，使用网络爬虫技术爬取话题下方相应评论，并且对爬取的数据进行存储，作为竞品分析的数据源；

(3)、对于存储的评论数据进行初步的清洗，由于微博评论内容复杂，包含大量的图片、表情、超链接以及各种语言，并且由于微博的显示设置以及网络卡顿延迟等问题，评论中可能包含少量重复评论，需要对这些内容进行剔除，只保留有实际语义价值的文字；对清洗后的评论数据进行整理，生成包含用户id,评论内容，评论时间等字段；

(4)、对评论进行分词，参考中文停用词词典去除其中停用词，减少无用词语对竞品分析的影响；

(5)、对于处理后的评论分别生成自身产品及其竞品的词云，将微博产品评论进行直观可视化展示；设置一个阈值，统计产品及其竞品词语出现频率高于该阈值的N个词语，作为该产品及其竞品的评论关键词；

(6)、对于清洗后的评论，使用情感分析工具包获得评论的情感得分，对产品及其竞品生成情感得分分布直方图，查看其情感分布情况；设定多个阈值，将情感得分分为：负面情感、低好感度、中好感度、高好感度四个标签，给评论用户增加情感标签；

(7)、对于情感标签是负面情感和高好感度的用户评论进行重点关注，针对评论反映的问题进行及时处理，推动产品优化升级。

实施例3：

基于实施例1的存储介质，其中存储有多条指令，所述指令由处理器加载，执行实施例1的基于大数据的竞品分析方法的步骤。

实施例4：

基于实施例3的电子设备，所述电子设备包括：

上述的存储介质；以及

处理器，用于执行实施例3存储介质中的指令。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种基于大数据的竞品分析方法，其特征在于，该方法依靠完全公开的社交网络平台评论数据，通过分析海量评论，从网络评论中挖掘网民对指定产品及其相关竞品的情感走向，通过对评论进行包括情感分析在内的多种分析方式得到网民对产品的态度看法，实现竞品分析的目的；具体如下：

确定产品及其相关竞品；

生成话题，采集评论并存储评论；

对评论去噪清洗作为数据准确；

评论分词，去停用词；

对两极标签用户评论重点分析，优化升级产品。

2.根据权利要求1所述的基于大数据的竞品分析方法，其特征在于，所述确定产品及其相关竞品是根据与产品及其相关竞品相关的多个主题确定，主题具体包括产品简称和产品昵称。

3.根据权利要求2所述的基于大数据的竞品分析方法，其特征在于，所述生成话题，采集评论并存储评论具体如下：

4.根据权利要求3所述的基于大数据的竞品分析方法，其特征在于，所述对评论去噪清洗作为数据准确具体如下：

5.根据权利要求4所述的基于大数据的竞品分析方法，其特征在于，所述评论分词，去停用词具体如下：

6.根据权利要求5所述的基于大数据的竞品分析方法，其特征在于，所述使用情感分析工具包获得评论的情感得分，根据阈值将得分标签化具体如下：

7.根据权利要求6所述的基于大数据的竞品分析方法，其特征在于，所述对两极标签用户评论重点分析，优化升级产品具体如下：

8.一种基于大数据的竞品分析系统，其特征在于，该系统包括，

9.一种存储介质，其中存储有多条指令，其特征在于，所述指令由处理器加载，执行权利要求1-7中所述的基于大数据的竞品分析方法的步骤。

10.一种电子设备，其特征在于，所述电子设备包括：

权利要求9所述的存储介质；以及

处理器，用于执行所述存储介质中的指令。