CN110390097A - 一种基于应用内实时数据的情感分析方法和系统 - Google Patents

Abstract

本发明涉及计算机技术领域，特别涉及一种基于应用内实时数据的情感分析方法和系统。具体包括以下步骤：步骤一、实时采集在应用内的数据；步骤二、进行预处理；步骤三、进行情感分析；步骤四、获取情感指数。本发明解决不同应用内数据模型不一致的难点。之后融合多个API组合的实时数据完成数据预处理工作，实现在接口基础上，直接进行情感分析工作。

Description

一种基于应用内实时数据的情感分析方法和系统

技术领域

本发明涉及计算机技术领域，特别涉及一种基于应用内实时数据的情感分析方法和系统。

背景技术

在移动应用APP经济向API经济转型的背景下，移动应用服务化趋势逐渐明显，移动应用拥有大量实时、丰富、多维的数据和功能，网页端获取数据愈发困难。在我国股票领域，股民的股票投资很大程度上受社交媒体影响，情绪化程度较重。北京大学软件研究所提出的Yancloud Hub应用可在不依赖源代码的情况下将移动应用服务化，实现应用内实时数据开放。因此，基于Yancloud Hub应用，获取多款安卓股票应用内实时数据，通过实时股评数据快速分析出股民情绪波动趋势，为股民和投资者提供决策支持，非常的重要。

发明内容

本发明实施例提供了一种基于应用内实时数据的情感分析方法和系统，首先完成应用内实时数据获取与分析处理工作，解决了不同应用内数据模型不一致的难点。

根据本发明实施例的第一方面，一种基于应用内实时数据的情感分析方法，具体包括以下步骤：

步骤一、实时采集在应用内的数据；

步骤二、对采集的数据进行预处理；

步骤三、对预处理后的数据进行情感分析；

步骤四、根据步骤三中情感分析获取情感指数。

所述步骤二中，数据预处理包括以下子步骤：

2.1词性标注，使用混合标记算法对数据进行词性标注成，使用结巴工具分词；

2.2噪声过滤，对分词后的数据中无关噪声进行过滤。

所述步骤三中，情感分析具体包括以下子步骤：

3.1词向量生成，将预处理后的数据中每个词映射成低维向量；

3.2构建句子表示，输入词向量，构建句子表示，保留文本的词序和上下文语义信息，生成句子向量；

3.3情感极性输出，经过语义处理后，将句子向量进行回归计算，输出两个正面和负面情感。

所述步骤四中，情感指数的计算为：

其中，pos是该时间范围内，正面情感评论数量，neg是该时间范围内，负面情感评论数量。

所述步骤一中，具体包括以下子步骤：

1.1搭建手机云后台环境，安装相应APP，将手机中的APP注册到API网关；使用APP搜索目标对象，点击目标对象对应的讨论区，抓取Trace控制文件，分析运行时模型并进行服务代码开发；

1.2前端通过接口文档调用特定接口服务，该调用请求首先经过API网关，API网关将请求分配到相应的手机；

1.3通过数据映射，从多个API组合中提取数据。

一种基于应用内实时数据的情感分析系统，包括实时数据采集模块、预处理模块、情感分析模块、指数计算模块；

实时数据采集模块将APP注册到API网关，可以从APP中提取评论的时间维度和文本数据；

预处理模块包括词性标注模块、噪声过滤模块，词性标注模块将文本数据使用混合标记算法进行词性标注，使用结巴工具分词；噪声过滤模块对数据中无关噪声进行过滤；

情感分析模块包括词向量生成模块、句子表示模块、情感极性输出模块，其中词向量生成模块将分词后的文本数据映射成低维向量；句子表示模块将低维词向量矩阵构建句子表示，生成句子向量；情感极性输出模块将文本向量进行回归计算，输出两个正面和负面情感；

情感指数模块可以计算一段时间范围内，某只股票的股评情感指数。

实时数据采集模块为Yancloud Hub应用。

情感指数模块对情感指数的计算为：

其中，pos是该时间范围内，正面情感评论数量，neg是该时间范围内，负面情感评论数量。

本发明实施例提供的技术方案可以包括以下有益效果：

实现了6个股票应用的股票评论获取服务接口，通过对象映射抽取重要维度数据，解决不同应用内数据模型不一致的难点。之后融合多个API组合的实时数据完成数据预处理工作，实现在接口基础上，直接进行情感分析工作。最后搭建了一套基于应用内实时数据的情感分析系统，以直观的方式实时展示当前股票市场股民情感波动趋势。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1为本发明的一种基于应用内实时数据的情感分析方法流程图；

图2为不同API返回数据模型图；

图3为预处理后的股评文本数据；

图4为部分情感分类输出结果；

图5为整体股评情感趋势与上证指数趋势对比折线图；

图6为本发明的一种基于应用内实时数据的情感分析系统框架图。

具体实施方式

如图1所示，本发明提供了一种基于应用内实时数据的情感分析方法，具体包括以下步骤：

步骤一、应用内实时数据采集，优选的，首先需要搭建手机云后台环境，选择若干台手机，每个手机端安装北京大学软件研究所开发的Yancloud Hub应用，Yancloud Hub应用利用北京大学的黄罡等人发明的《基于重构技术实现开放终端应用数据与功能的方法》(公开号：CN107479866A)，开放出APP内部的搜索接口。将全部股票名称依次发送给手机云，收集云返回含有对应股票的评论文本及相应发帖人、时间等信息。

每个手机端安装6个股票APP：同花顺股票、东方财富网、大智慧手机版、新浪财经、腾讯自选股以及雪球股票。通过数据映射，从多个APP中提取股评数据。本文目标是在提取的股票数据基础上，直接进行情感分类工作，保证实时数据流情感分析工作流畅完成。如图2所示，不同股评获取接口返回的数据格式不同，需通过对象映射抽取重要维度数据，提取APP中的股评的时间维度和文本数据。

具体包括以下子步骤：

1.1需要搭建手机云后台环境；选择若干台手机安装北京大学软件研究所开发的Yancloud Hub应用，该工具将手机中的APP注册到API网关，更新dex文件；安装6个股票APP：同花顺股票、东方财富网、大智慧手机版、新浪财经、腾讯自选股以及雪球。借助安卓应用接口重建开发环境一站式完成服务开发，推送DEX文件到安卓端，开发人员使用不同股票应用搜索股票，点击对应讨论区，抓取Trace控制文件，分析运行时模型并进行服务代码开发工作；

1.2前端通过接口文档调用特定接口服务时，该调用请求首先经过API网关，API网关将请求分配到合适的手机设备，并转发手机端的远程管理请求；该API网关控制请求的响应时间，吞吐量以及反映超时、应用崩溃、返回结果出错异常情况。预计一次请求响应时间如公式1所示，为API请求时间和网络通信时间之和。

T_delay＝T_{API Request}+T_network

其中T_delay请求响应时间为，T_{API Request}为API请求时间，T_network为网络通信时间；

1.3通过数据映射，从多个API组合中提取股评数据。具体为在API基础上，直接进行情感分类工作，保证实时数据流情感分析工作流畅完成。如图2所示，不同股评获取接口返回的数据格式不同，需通过对象映射抽取重要维度数据，提取API中的股评的时间维度和文本数据；

步骤二、数据预处理，以上工作从多个API组合中获取股评数据，在服务接口数据返回前，需完成数据预处理工作；

2.1词性标注。初步生成的股评文本数据预处理，使用混合标记算法进行词性标注。分词使用结巴工具完成。

2.2噪声过滤。对数据中无关噪声进行过滤，由于应用内股评内容来自各个年龄段，不同教育背景和经济背景，应用使用时长不同，股评内容重要性各有不同；有许多与当前股票无关的内容需要被过滤，如乱码、广告、恶意刷屏等。主要通过停用词表进行过滤，再通过正则表达式、长度匹配等过滤规则，对链接、乱码、广告、纯符号等进行过滤。返回的股评文本数据如图3所示。下图主要展示股评数据的时间和处理后的文本。

步骤三、情感分析，该系统情感分析模块主要采用LSTM网络的股评情感分类模型。主要分为以下步骤：

3.1Word2Vec词向量生成，Word2Vec将分词后的股评文本中每个词映射成低维向量，以矩阵形式输入LSTM网络，作为LSTM网络的输入数据。

3.2LSTM网络构建句子表示，输入为Word2Vec词向量矩阵，经过LSTM网络构建句子表示，保留文本的词序和上下文语义信息，生成句子向量。

3.3情感极性输出。经过语义处理后，将文本向量输入到Softmax激活函数中进行回归计算，输出两个正面和负面情感，“1”表示正面情感，“0”表示负面情感。下图4为部分情感分类输出结果。

步骤四、情感指数，一段时间范围内，某只股票的股评情感指数计算公式如下所示：

其中，pos是该时间范围内，正面情感评论数量，neg是该时间范围内，负面情感评论数量。该时间范围可以为一个月，一周，1天，1个小时，15分钟等。

如图6所示，本发明提供了一种基于应用内实时数据的情感分析系统，具体包括实时数据采集模块、预处理模块、情感分析模块、指数计算模块；

实时数据采集模块可以为Yancloud Hub应用，实时数据采集模块将手机中的APP注册到API网关，更新dex文件，抓取Trace控制文件，分析运行时模型并进行服务代码开发工作，可以从APP中提取股评的时间维度和文本数据；

预处理模块包括词性标注模块、噪声过滤模块，词性标注模块将股评使用混合标记算法进行词性标注，使用结巴工具分词；噪声过滤模块对数据中无关噪声进行过滤；

情感分析模块包括词向量生成模块、句子表示模块、情感极性输出模块，其中词向量生成模块将将分词后的股评文本中每个词映射成低维向量；句子表示模块可以为LSTM网络，将低维词向量矩阵构建句子表示，保留文本的词序和上下文语义信息，生成句子向量；情感极性输出模块将文本向量输入到Softmax激活函数中进行回归计算，输出两个正面和负面情感，“1”表示正面情感，“0”表示负面情感；

情感指数模块可以计算一段时间范围内，某只股票的股评情感指数。公式如下所示：

其中，pos是该时间范围内，正面情感评论数量，neg是该时间范围内，负面情感评论数量。该时间范围可以为一个月，一周，1天，1个小时，15分钟等。

该模块主要以搜索框和时间维度选择与用户交互。用户可输入股票名称或股票代码进行查询，并在日期控件中选择日期维度和范围。本系统以小时为单位轮询请求服务接口刷新数据。

本系统可分析一段时间内整体股票评论情感趋势。下图5展示2017.04-2018.04时间区间内整体股评情感趋势与上证指数趋势对比折线图。

图5中，实线为计算所得整体股评情绪指数，虚线为对应日期上证指数。计算整体股评情绪指数与股市上证指数的关系，验证股票评论情感倾向一定程度上与股市真实走势相关。系统以最直观的方式向投资者展示股票评论趋势信息，协助证券投资者做出个股决策。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种基于应用内实时数据的情感分析方法，其特征在于，具体包括以下步骤：

步骤一、实时采集在应用内的数据；

步骤二、对采集的数据进行预处理；

步骤三、对预处理后的数据进行情感分析；

步骤四、根据步骤三中情感分析获取情感指数。

2.如权利要求1所述的一种基于应用内实时数据的情感分析方法，其特征在于，所述步骤二包括以下子步骤：

2.1词性标注，使用混合标记算法对数据进行词性标注成，使用结巴工具分词；

2.2噪声过滤，对分词后的数据中无关噪声进行过滤。

3.如权利要求1所述的一种基于应用内实时数据的情感分析方法，其特征在于，所述步骤三中，情感分析具体包括以下子步骤：

3.1词向量生成，将预处理后的数据中每个词映射成低维向量；

3.2构建句子表示，输入词向量，构建句子表示，保留文本的词序和上下文语义信息，生成句子向量；

3.3情感极性输出，经过语义处理后，将句子向量进行回归计算，输出两个正面和负面情感。

4.如权利要求1所述的一种基于应用内实时数据的情感分析方法，其特征在于，所述步骤四中，情感指数的计算为：

其中，pos是该时间范围内，正面情感评论数量，neg是该时间范围内，负面情感评论数量。

5.如权利要求1、2、3或4所述的一种基于应用内实时数据的情感分析方法，其特征在于，所述步骤一包括以下子步骤：

1.1搭建手机云后台环境，安装相应APP，将手机中的APP注册到API网关；使用APP搜索目标对象，点击目标对象对应的讨论区，抓取Trace控制文件，分析运行时模型并进行服务代码开发；

1.2前端通过接口文档调用特定接口服务，该调用请求首先经过API网关，API网关将请求分配到相应的手机；

1.3通过数据映射，从多个API组合中提取数据。

6.一种基于应用内实时数据的情感分析系统，其特征在于，包括实时数据采集模块、预处理模块、情感分析模块、指数计算模块；

实时数据采集模块将APP注册到API网关，可以从APP中提取评论的时间维度和文本数据；

预处理模块包括词性标注模块、噪声过滤模块，词性标注模块将文本数据使用混合标记算法进行词性标注，使用结巴工具分词；噪声过滤模块对数据中无关噪声进行过滤；

情感分析模块包括词向量生成模块、句子表示模块、情感极性输出模块，其中词向量生成模块将分词后的文本数据映射成低维向量；句子表示模块将低维词向量矩阵构建句子表示，生成句子向量；情感极性输出模块将文本向量进行回归计算，输出两个正面和负面情感；

情感指数模块可以计算一段时间范围内，某只股票的股评情感指数。

7.如权利要求6所述的一种基于应用内实时数据的情感分析系统，其特征在于，实时数据采集模块为Yancloud Hub应用。

8.如权利要求6所述的一种基于应用内实时数据的情感分析系统，其特征在于，情感指数模块对情感指数的计算为：

其中，pos是该时间范围内，正面情感评论数量，neg是该时间范围内，负面情感评论数量。