CN103077207A - 一种微博开心指数分析方法及系统 - Google Patents

Abstract

本发明涉及互联网数据分析领域，公开一种微博开心指数实时分析方法，包括：调用第三方应用接口，获取微博数据并提取时间要素，根据所述时间要素实时进行时间线跟踪；对微博数据进行文本语义分析；通过构建短文本映射库对微博数据中的短文本进行还原；引入关联元素参数并根据所述关联元素参数进行微博情感倾向判断；根据预设微博开心指数公式对所述微博情感倾向判断结果进行统计计算；以及对计算结果进行可视化呈现。本发明还公开了一种微博开心指数分析系统。所述方法和系统通过计算获得开心指数，并进行实时可视化呈现，可对信息传播、社区发现、舆情的监控、商业分析、市场的营销与反馈提供有效的协助。

Description

一种微博开心指数分析方法及系统

技术领域

本发明属于互联网数据分析领域，尤其涉及一种微博开心指数分析方法和系统。

背景技术

社会化媒体应用平台已经成为了人们发表、评论、转播信息的主要平台。因此，积累了大量用户的行为数据和情感数据。其中包括了用户的时间、空间等个人属性，也包括了用户发表的文本内容属性。社会化媒体数据的分析和研究越来越受到人们的关注。对信息传播、社区发现、舆情的监控、商业分析、市场的营销与反馈等具有重要的理论研究意义和应用价值。

社会化媒体应用的特点是开放和合作，如微博、社交性网站等，纷纷给出了自己的开放平台，让第三方应用进入到自己的开放平台中。因此，诞生了一种新的数据获取方式，即基于开放平台API接口的数据获取。现有的微博获取方式步骤主要包括：（1）获取权限的验证；（2）基于API函数确定参数；（3）数据的获取及存储。

然而，在微博数据获取及分析方面，发明人发现目前的技术仍然存在着一些缺陷和不足之处，主要包括：（1）由于微博数据的短文本特点，缺少准确的情感倾向计算方法；（2）目前，对开心指数还没有一个统一的定义，缺少一个比较系统科学的计算方法；（3）缺少从单个用户的行为，反应群体用户的行为再到整个地区用户的行为的分析过程；（4）目前，没有人对各个地区的开心指数进行实时分析，更没有对结果进行实时的可视化呈现。

发明内容

有鉴于此，本发明实施例提供一种微博开心指数分析方法和系统，旨在解决当前无法分析微博开心指数，也无法直观、简便地表现出微博开心指数的问题。

为此，本发明实施例提供了如下技术方案：

一种微博开心指数分析方法，包括以下步骤：调用第三方应用接口，获取微博数据并提取时间要素，根据所述时间要素实时进行时间线跟踪；对微博数据进行文本语义分析，所述文本语义分析至少包括话题关联分析，表情关联分析和特殊字符关联分析；通过构建短文本映射库对微博数据中的短文本进行还原；引入关联元素参数并根据所述关联元素参数进行微博情感倾向判断，所述关联元素参数至少包括话题关联参数，表情关联参数和特殊字符关联参数；根据预设微博开心指数公式对所述微博情感倾向判断结果进行统计计算，以及对计算结果进行可视化呈现。

一种微博开心指数分析系统，包括：微博数据获取单元、文本语义分析单元、短文本还原单元、情感倾向判断单元以及开心指数计算单元，其中：微博数据获取单元用于调用第三方应用接口，获取微博数据并提取时间要素，根据所述时间要素实时进行时间线跟踪；文本语义分析单元用于对微博数据进行文本语义分析，所述文本语义分析至少包括话题关联分析，表情关联分析和特殊字符关联分析；短文本还原单元用于通过构建短文本映射库对微博数据中的短文本进行还原；情感倾向判断单元用于引入关联元素参数并根据所述关联元素参数进行微博情感倾向判断，所述关联元素参数至少包括话题关联参数，表情关联参数和特殊字符关联参数；开心指数计算单元用于根据预设微博开心指数公式对所述微博情感倾向判断结果进行统计计算，以及结果呈现单元，用于对计算结果进行可视化呈现。

相对于现有技术，本发明实施例提供的微博开心指数分析方法及系统基于时间线追踪的方式获取微博数据，并对文本进行语义分析及情感倾向判定，通过计算获得开心指数，并进行可视化呈现，可对信息传播、社区发现、舆情的监控、商业分析、市场的营销与反馈提供有效的协助。

附图说明

图1是本发明第一实施例提供的一种微博开心指数分析方法的方法流程图；

图2是本发明第二实施例提供的一种微博开心指数分析方法的方法流程图；

图3是图2中步骤201的流程示意图；

图4是图2中步骤202-207的流程示意图；

图5是图2中步骤208的结果呈现图；

图6是图2中步骤208另一实施方式中的结果呈现图；

图7是本发明第三实施例提供的一种微博开心指数分析系统的结构示意图；

图8是本发明第四实施例提供的一种微博开心指数分析系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1是本发明第一实施例提供的一种微博开心指数分析方法的方法流程图，其包括步骤101至步骤106。

步骤101：调用第三方应用接口，获取微博数据并提取时间要素，根据所述时间要素实时进行时间线跟踪。

步骤102：对微博数据进行文本语义分析，所述文本语义分析至少包括话题关联分析，表情关联分析和特殊字符关联分析。

步骤103：通过构建短文本映射库对微博数据中的短文本进行还原。

步骤104：引入关联元素参数并根据所述关联元素参数进行微博情感倾向判断，所述关联元素参数至少包括话题关联参数，表情关联参数和特殊字符关联参数。

步骤105：根据预设微博开心指数公式对所述微博情感倾向判断结果进行统计计算。

步骤106：对计算结果进行可视化呈现。

本发明实施例提供的微博开心指数分析方法基于时间线追踪的方式获取微博数据，并对文本进行语义分析及情感倾向判定，通过计算获得开心指数，并进行可视化呈现，可对信息传播、社区发现、舆情的监控、商业分析、市场的营销与反馈提供有效的协助。

实施例二

请一起参阅图2图6，本发明第二实施例提供的一种微博开心指数分析方法，其包括步骤201至步骤208，如图2所示。

步骤201：调用第三方应用接口，获取微博数据并提取时间要素，根据所述时间要素实时进行时间线跟踪。

如图3所示，步骤201主要包括四个子步骤，即：

(1)、参数设定，包括参数设定一和参数设定二。参数设定一主要是初始状态下的参数设定，包括要获取的数据对象名称以及获取数据的格式等参数的设定。参数设定二包括循环获取过程中的参数设定，主要是抓取时间戳的确定。

(2)、根据第三方应用提供的权限设定权限参数，进行权限验证。在本实施例中，主要是依据第三方（或开放平台）提供的权限和权限验证方法进行设定，设定成功时获取数据，否则需要更换权限密钥。同时，本实施例采用循环权限方式进行抓取，避免出现单个权限使用过度的情况。

(3)、获取并存储微博数据。在本实施例中，主要通过模拟应用，在设定好参数信息和权限参数信息的基础上，通过验证，获取到微博数据。并存储到数据库中，同时提取微博数据中的时间戳进行时间跟踪计算。

(3)、对当前获取的时间戳进行判定，并将最新的抓取时间戳更新到参数设定上。在本实施例中，主要依据设定的参考时间线来对当前获取的时间戳进行时间判定，在此步骤中，需要进行对比时间计算，如果在参考时间线上的时间戳大于微博数据获取的时间戳，则设定抓取时间戳为最新。反之，则设定抓取时间戳为当前获取的时间戳，并进行翻页抓取。最后将最新的抓取时间戳更新到参数设定二和参考时间线上。

请继续参阅4，在步骤202：根据微博数据特点进行文本语义分析，所述文本语义分析至少包括话题关联分析，表情关联分析和特殊字符关联分析。

目前，微博数据的特点是经常包含明确的话题（文本中#和#之间的内容。例如：#奥运#）；引用丰富的表情符号和具有一定意义的特殊字符等。本实施例中，进行文本语义分析主要是针对微博数据的特点，进行不同内容的关联分析，具体包括：

上下文关联分析，即针对微博中的Source节点内容判断是否具有上下文关联；

话题关联分析，即针对文本中是否含有#之间的内容进行话题关联，例如，当微博中出现#奥运#，即表明该条微博与奥运话题相关联；

表情关联，即针对文本中是否含有表情字符，从而确定表情关联关系；

特殊字符关联，即针对微博文本中的特殊字符进行提取和分析。

另外，在进行文本语义分析前，还可以先进行数据结构化处理，主要包括微博数据进行处理分析前的数据输入结构化，进而对微博文本的相关属性进行提取。

步骤203：进行数据预处理。

请继续参阅图4，在本实施例中，该步骤主要完成本文信息的预处理工作，筛选出文本信息里的噪音数据和无意义的特殊字符并过滤掉等。

步骤204：通过构建短文本映射库对微博数据中的短文本进行还原。

如图4所示，微博数据具有短文本特点，很多缩写、简称以及简单表达方式成为了微博文本的特点。在本实施例中，针对短文本特点，本发明构建短文本映射库（人工构建映射库）进行短文本还原映射技术，将具有短文本特点的语句进行还原。可以通过收集常用短文本并将其与表示该短文本意思的文本建立映射关系，进而将其存入映射库中，例如将短文本“BF”与“男朋友”建立映射后存入映射库。这样，当微博数据中出现短文本语句为“BF”，其可还原为“男朋友”等。

步骤205：对所述微博数据进行分词处理。

分词技术是将连续的字序列按照一定的规范重新组合成词序列的过程，例如，将“知识就是力量”切分成：知识/就是/力量。常用的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。目前对中文技术很多，本发明采用斯坦福的中文分析包进行中文分词(ChineseWord Segmentation)。

步骤206：引入关联元素参数并进行微博情感倾向判断，所述关联元素参数至少包括话题关联参数，表情关联参数和特殊字符关联参数。

在本实施例中，主要完成微博的情感计算，首先是基于词库的情感词判断。例如，将“悲伤”这个词判断为负向，将“开心”判断为正向，将“吃饭”判断为中性。接着，相对应的，对步骤201中的文本语义分析结果也进行相应的情感判断，具体包括基于情感词的情感倾向判断、基于表情参数、话题参数的情感倾向判断等，例如，将表示悲伤的表情判断为负向，将话题#圣诞快乐#判断为正向。判断微博的情感倾向。本实施例中，将情感倾向分为正向（pos）、负向（neg）和中性（neu）三类。

步骤207：根据预设微博开心指数公式对所述微博情感倾向判断结果进行统计计算。

在本实施例中，开心指数是某一地区网民情感倾向的宏观描述和反应。本实施例基于地区微博数据的情感判断，计算该地区网络的开心指数，主要包括对该地区微博正向情感的统计、负向情感的统计、中性情感的统计和微博数量指数等指数的计算指标，然后应用开心指数计算公式进行该地区开心指数计算。

步骤208：对计算结果进行可视化呈现。如图5所示，该图用不同的色彩示出经由上述方式计算得到的全国各地区的开心指数。

进一步地，如图6所示，在步骤208的另一实施方式中示出刘翔退赛前后，全国网民的开心指数变化情况，由开心转向不开心的趋势。由此，网民对某一话题的反应能够通过开心指数得到直观的体现。

综上所述，本发明第二实施例提供的微博开心指数分析方法基于时间线追踪的方式获取微博数据，并对文本进行语义分析及情感倾向判定，通过计算获得开心指数，并进行可视化呈现，可对信息传播、社区发现、舆情的监控、商业分析、市场的营销与反馈提供有效的协助。

第三实施例

图7是本发明第三实施例提供的一种微博开心指数分析系统100的结构示意图，包括：

微博数据获取单元11：用于调用第三方应用接口，获取微博数据并提取时间要素，根据所述时间要素实时进行时间线跟踪；

文本语义分析单元13：用于对微博数据进行文本语义分析，所述文本语义分析至少包括话题关联分析，表情关联分析和特殊字符关联分析；

短文本还原单元15：用于通过构建短文本映射库对微博数据中的短文本进行还原；

情感倾向判断单元16：引入关联元素参数并根据所述关联元素参数进行微博情感倾向判断，所述关联元素参数至少包括话题关联参数，表情关联参数和特殊字符关联参数；以及

开心指数计算单元17：根据预设微博开心指数公式对所述微博情感倾向判断结果进行统计计算；

结果呈现单元19：用于对计算结果进行可视化呈现。

本发明实施例提供的微博开心指数分析系统100基于时间线追踪的方式获取微博数据，并对文本进行语义分析及情感倾向判定，通过计算获得开心指数，并进行可视化呈现，可对信息传播、社区发现、舆情的监控、商业分析、市场的营销与反馈提供有效的协助。

实施例4

本发明第四实施例提出了一种微博开心指数分析系统200，是在第三实施例基础上改进而来，其结构如图8所示，包括：

微博数据获取单元21、文本语义分析单元23、短文本还原单元25、情感倾向判断单元26、开心指数计算单元27、结果呈现单元19。

本实施例中，所述微博数据获取单元21具体包括：

参数设定模块211，用于设定表示待获取数据对象名称、待获取数据格式、以及抓取时间戳的数据参数；

权限验证模块213，用于根据第三方应用提供的权限设定权限参数，进行权限验证；

数据获取模块215，用于获取并存储微博数据；以及

时间更新单元217，用于对当前获取的时间戳进行判定，并将最新的抓取时间戳更新到参数设定上。

另外，所述文本语义分析23进一步用于对上下文关联进行分析。

所述微博开心指数分析系统200，进一步包括：

数据预处理单元22，用于在通过构建短文本映射库对微博数据中的短文本进行还原前筛选并过滤掉微博文本信息中的噪音数据。

分词处理单元24，用于在引入关联元素参数并进行微博情感倾向判断前，对所述微博数据进行分词处理。

所述情感倾向判断单元26具体用于构建情感词库，根据文本语义分析结果及分词结果进行情感词匹配，所述情感词库包括正向、负向及中性三类。

本发明实施例提供的微博开心指数分析系统200基于时间线追踪的方式获取微博数据，并对文本进行语义分析及情感倾向判定，通过计算获得开心指数，并进行可视化呈现，可对信息传播、社区发现、舆情的监控、商业分析、市场的营销与反馈提供有效的协助。

本发明实施例第三和第四实施例的系统，与前述的第一和第二实施例的方法构思和原理相同，因此在第三和第四实施例中对与第一和第二实施例中相同的部分不再赘述。

本领域技术人员可以理解实施例中的系统中的模块可以按照实施例描述进行分布于实施例的系统中，也可以进行相应变化位于不同于本实施例的一个或多个系统中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台终端设备（可以是手机，个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (12)

1.一种微博开心指数分析方法，包括：

调用第三方应用接口，获取微博数据并提取时间要素，根据所述时间要素实时进行时间线跟踪；

对微博数据进行文本语义分析，所述文本语义分析至少包括话题关联分析，表情关联分析和特殊字符关联分析；

通过构建短文本映射库对微博数据中的短文本进行还原；

引入关联元素参数并根据所述关联元素参数进行微博情感倾向判断，所述关联元素参数至少包括与话题关联参数，表情关联参数和特殊字符关联参数；

根据预设微博开心指数公式对所述微博情感倾向判断结果进行统计计算，以及

对计算结果进行实时可视化呈现。

2.如权利要求1所述的微博开心指数分析方法，其特征在于，所述步骤“调用第三方应用接口，获取微博数据并提取时间要素，根据所述时间要素实时进行时间线跟踪”包括：

设定表示待获取数据对象名称、待获取数据格式、以及抓取时间戳的数据参数；

根据第三方应用提供的权限设定权限参数，进行权限验证；

获取并存储微博数据；

对当前获取的时间戳进行判定，并将最新的抓取时间戳更新到参数设定上。

3.如权利要求1所述的微博开心指数分析方法，其特征在于，所述文本语义分析进一步包括上下文关联分析。

4.如权利要求1所述的微博开心指数分析方法，其特征在于，所述步骤“通过构建短文本映射库对微博数据中的短文本进行还原”前，进一步包括：

筛选并过滤掉微博文本信息中的噪音数据。

5.如权利要求1所述的微博开心指数分析方法，其特征在于，所述步骤“引入关联元素参数并进行微博情感倾向判断”前，进一步包括：对所述微博数据进行分词处理。

6.如权利要求5所述的微博开心指数分析方法，其特征在于，所述引入关联元素参数并进行微博情感倾向判断包括：

构建情感词库，根据文本语义分析结果及分词结果进行情感词匹配，所述情感词库包括正向、负向及中性三类。

7.一种微博开心指数分析系统，包括：

微博数据获取单元，用于调用第三方应用接口，获取微博数据并提取时间要素，根据所述时间要素实时进行时间线跟踪；

文本语义分析单元，用于对微博数据进行文本语义分析，所述文本语义分析至少包括话题关联分析，表情关联分析和特殊字符关联分析；

短文本还原单元，用于通过构建短文本映射库对微博数据中的短文本进行还原；

情感倾向判断单元，用于引入关联元素参数并根据所述关联元素参数进行微博情感倾向判断，所述关联元素参数至少包括话题关联参数，表情关联参数和特殊字符关联参数；

开心指数计算单元，用于根据预设微博开心指数公式对所述微博情感倾向判断结果进行统计计算，以及

结果呈现单元，用于对计算结果进行实时可视化呈现。

8.如权利要求7所述的微博开心指数分析系统，其特征在于，所述微博数据获取单元包括：

参数设定模块，用于设定表示待获取数据对象名称、待获取数据格式、以及抓取时间戳的数据参数；

权限验证模块，用于根据第三方应用提供的权限设定权限参数，进行权限验证；

数据获取模块，用于获取并存储微博数据；以及

时间更新单元，用于对当前获取的时间戳进行判定，并将最新的抓取时间戳更新到参数设定上。

9.如权利要求7所述的微博开心指数分析系统，其特征在于，所述文本语义分析单元进一步用于对上下文关联进行分析。

10.、如权利要求7所述的微博开心指数分析系统，其特征在于，进一步包括数据预处理单元，用于筛选并过滤掉微博文本信息中的噪音数据。

11.如权利要求7所述的微博开心指数分析系统，其特征在于，进一步包括分词处理单元，用于对所述微博数据进行分词处理。

12.如权利要求11所述的微博开心指数分析系统，其特征在于，所述情感倾向判断单元用于构建情感词库，根据文本语义分析结果及分词结果进行情感词匹配，所述情感词库包括正向、负向及中性三类。

Images