CN113158684A - 一种情绪分析方法、情绪提醒方法及情绪提醒控制装置 - Google Patents

Abstract

本发明提供一种情绪分析方法、情绪提醒方法及情绪提醒控制装置，方法包括：采集语音信息并转化成文本，基于双层长短期记忆人工神经网络进行文本表征与辅助信息引入；利用辅助信息得到文本中的含有情感的词作为分析对象；分析对象中多个词之间建立情感依赖；筛选出最终目标分析对象；捕获最终目标分析对和文本中上下文之间的关系；获取外部语料库，从外部语料库筛选出与最终目标分析对象相关性高于预设相似度的句；得到最终目标分析对象的情感对；基于情感对进行情绪分析。可以有效了解到文本中涉及到的详细方面的情感倾向性，为后续分析与决策提供一定的辅助信息。

Description

一种情绪分析方法、情绪提醒方法及情绪提醒控制装置

技术领域

本发明涉及情绪调控智能设备技术领域，尤其涉及一种情绪分析方法、情绪提醒方法及情绪提醒控制装置。

背景技术

随着现在生活压力变大，人们的情绪容易出现波动，尤其是随着现代家长对孩子升学教育越来越重视，家长辅导孩子作业时，面对孩子的学习问题，常常心情焦虑乃至生气发火，情绪难以控制。不仅影响亲子关系，也不利于孩子身心健康发展。

现有技术中对用户的情感分析主要是粗粒度的情感分析，以整篇文档或整个句子为一个单一情感倾向的基本信息单元，无法有效的处理信息单元中涉及到的多个不同情感倾向的目标，从而不能精准地挖掘出文本中针对具体目标的情感倾向。

进一步地，现有技术通常仅研究方面级情感分析任务中检测意见目标和预测目标情感这两个子任务之一，将两个子任务结合研究的典型方法是将它们pipeline在一起。但由于它们之间具有很强的耦合性，所以集成度更高的模型通常比pipeline更有效。现有技术如CNN可以有效提取空间特征。但是CNN处理的图像等数据呈现欧式结构。面对非欧式结构的数据，如在社交和信息网络中有很多类似的结构，传统离散卷积在非欧式结构的数据上无法用尺寸大小固定的卷积核对邻接点数不同的顶点进行卷积运算。

再进一步地，往往视信息网络为同构网络，忽略节点和链接的异质性，仅考虑同类型的对象间同类型的关系。然而大多数真实网络都包含多种类型的交互关系，随着信息网络研究的逐步加深，仅研究同构网络已很难满足需求，需要研究基于不同类型的对象和链接的异构信息网络HIN。

现有技术中缺乏一种有效的情绪分析方法及情绪提醒方法。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明为了解决现有的问题，提供一种情绪分析方法、情绪提醒方法及情绪提醒控制装置。

为了解决上述问题，本发明采用的技术方案如下所述：

一种情绪分析方法，包括如下步骤：S1：采集语音信息并转化成文本，基于双层长短期记忆人工神经网络进行文本表征与辅助信息引入；S2：利用所述辅助信息得到所述文本中的含有情感的词作为分析对象；S3：所述分析对象中多个词之间建立情感依赖；S4：判断提取的分析对象是否具有高于预设阈值的情感值，筛选出最终目标分析对象；S5：捕获所述最终目标分析对和所述文本中上下文之间的关系；S6：获取外部语料库，所述外部语料库提供包含所述最终目标分析对象的文本，从所述外部语料库筛选出与所述最终目标分析对象相关性高于预设相似度的句；异质图卷积去获取所述句的上下文与所述最终目标分析对象的语义关系，构建链接，把所述外部语料库的语义信息增强到所述最终目标分析对象，得到最终目标分析对象的情感对；S7：基于情感对进行情绪分析。

优选地，所述双层长短期记忆人工神经网络的上层用于预测统一的标签，得到目标情感，下层用于执行辅助目标的边界预测，得到目标边界；对于所述文本X＝{x₁，...，x_T}采用情感对进行统一标记，目标是预测标签序列

其中

Y^S＝{B-POS，I-POS，E-POS，S-POS，B-NEG，I-NEG，E-NEG，S-NEG，B-NEU，I-NEU，E-NEU，S-NEU，O}；其中，B表示目标分析对象的起始词语，I表示目标分析对象的中间词语，E表示目标分析对象的末尾词语，S表示单个词语表示的目标分析对象，POS表示目标分析对象含有积极情感，NEG表示目标分析对象含有消极情感；除O之外，每个标签都包含标签信息的两个部分：目标边界标签和目标情感标签。

优选地，利用所述辅助信息得到所述文本中的含有情感的词作为分析对象包括：低层长短期记忆人工神经网络生成的隐含表示

作为高层长短期记忆人工神经网络表示

的指导信息，其中t为输入文本序列中的每个单词：

所述目标边界标签和所述目标情感标签的概率分数如下，基于LSTM的表示分别进行对应标签y的概率计算：

其中，W为权重矩阵，

为低层长短期记忆人工神经网络生成的隐含表示，

为高层长短期记忆人工神经网络表示，softmax为求取概率的函数，

为目标边界标签，

为目标情感标签，

为由初始输入x_t预测目标边界标签的概率，

为由低层长短期记忆人工神经网络生成的隐含表示

预测目标情感标签的概率；映射矩阵B为目标边界标签映射到目标情感标签形成的矩阵，若目标边界标签可以映射到目标情感标签，则矩阵B的对应元素为1，否则为0；经映射矩阵B得到概率转移矩阵W^tr，若存在映射关系，则概率转移矩阵的值为映射矩阵B中对应元素，否则取0；最终通过概率转移矩阵W^tr将所述目标边界标签的概率分数映射到所述目标情感标签的空间：

经概率转移的所述目标情感标签分数的比例由目标边界的分布

确定：

a_t＝∈c_t

其中，c_t为根据目标边界分布

计算得到的目标情感标签在最终预测结果中的比例，∈为目标情感标签的权重参数，a_t为计算得到的目标情感标签比例；

最终借由权重a_t将其与上层长短期记忆人工神经网络的概率分数

合并生成所述文本中的含有情感的词作为分析对象：

其中，

为上层长短期记忆人工神经网络的概率分数，

为目标情感标签概率分数，at为目标情感标签比例，

为最终目标情感标签的概率分数。

优选地，所述分析对象中多个词之间建立情感依赖包括如下步骤：使用门机制g_t结合当前

和长短期记忆人工神经网络中前一个时间单元的结果

的特征预测当前统一标签

避免同一目标中多个词出现不同的情感，所述分析对象中多个词之间建立情感依赖：

其中，Wg是权重项，b^g是偏置项，

和

是长短期记忆人工神经网络中每一步的特征项，g_t是

计算得到的门机制，控制历史信息

和当前信息

的权重占比，是一个权重参数，

是对历史信息和当前信息的综合计算结果。

优选地，判断提取的分析对象是否具有高于预设阈值的情感值，筛选出最终目标分析对象包括如下步骤：训练辅助token级别分类器来获取LSTM表示

中目标词与非目标词，判断所提取的分析对象是否具有高于所述预设阈值的情感值，筛选出最终目标分析对象：

其中，W^O是权重项，

为低层长短期记忆人工神经网络生成的隐含表示，softmax是计算

是否为目标词的概率计算，

是计算出的概率值，

是通过argmax求最大概率值最终筛选出的目标分析对象。

优选地，步骤S5中还包括：采用图卷积神经网络引入所述文本中除所述最终目标分析对象以外的的上下文本信息，将所述上下文信息中所含的语义信息增强到所述最终目标分析对象中。

优选地，所述图卷积神经网络具有多层架构，每层所述架构使用邻居节点的特性来编码和更新图中节点的表示；所述图卷积神经网络层的输入图的结构与每个节点的特征，输出节点或图层面的结果，邻接矩阵A∈R^N×N表示图的结构，特征X∈R^N×F表示各个节点的特征值，Z∈R^N×P表示模型的输出。每一个神经网络层写为：

H^l+1＝f(H^l，A)

其中，H⁰＝X，H^L＝Z；

根据输入与输出格式，构造如下形式：

f(H^l+1，A)＝σ⁽AH^lW^l)

进一步优化如下：

其中，

D是

的度矩阵。

在L层的所述图卷积神经网络中，对节点表示的图卷积操作如下：

其中，σ为非线性函数；

在双向长短期记忆人工神经网络的输出上，每个节点的表示都通过图卷积运算与归一化因子进行更新：

框架中的所有组件都是可区分的，因此使用基于梯度的方法训练整个框架；单词级交叉熵误差用作损失函数：

其中，I是任务指示符的符号，其符号值包括T，S和O。

然后将主要方面级情感分析任务和辅助任务的损失汇总起来，形成框架的训练目标：

J(θ)＝L^S+L^T+L^O

其中，L^S是利用所述辅助信息得到所述文本中的含有情感的词作为分析对象任务的损失，L^T是所述分析对象中多个词之间建立情感依赖任务的损失，L^O是筛选出最终目标分析对象任务的损失，J(θ)是最终的损失。

优选地，通过爬虫获取外部语料库，所述外部语料库提供包含所述最终目标分析对象的文本；建立异构信息网络HIN框架，捕捉所述句和文档信息之间的关系，设置图包括语句集和文档集，通过隐性语义模型LSA模型来整合文档信息，计算句子和文档语句的相似度，利用异质图卷积来考虑不同类型信息的异质性，将不同类型信息与各自的转换矩阵投影到一个隐式的公共空间中，得到最终目标分析对象的情感对：

其中，A分别设置为句子中各个词节点的句法依存相邻节点，以及与句子相似度最高的文档语句作为其相邻节点，W分别为两种类型的转移矩阵，

为长短期记忆人工神经网络生成的隐含表示，W^y为权重项，b^y为偏置项，y_t为最终目标分析对象的情感对。

本发明还提供一种情绪提醒方法，包括如下步骤：采用如上任一所述的情绪分析方法得到用户的情绪分析结果；基于所述用户的情绪分析结果形成情绪提醒。

优选地，所述情绪提醒分轻度提醒和重度提醒；对于所述情感分析结果序列y，分别统计对应了消极情感的单词数n_neg和积极情感的单词数n_pos，设定两个整数阈值t₁，t₂(t₁＜t₂)，若t₁≤n_neg-n_pos＜t₂，则决定执行轻度提醒，若n_neg-n_pos≤t₂，则决定执行重度提醒。

本发明再提供一种情绪提醒控制装置，采用如上任一所述的情绪提醒方法。

本发明的有益效果为：提供一种情绪分析方法、情绪提醒方法及情绪提醒控制装置，通过基于深度学习的文本方面级情感分析算法，基于一个应用统一标记方案的方面级情感分析模型，通过分析文本，挖掘出文本中带有情感倾向的目标词，在此基础上通过图卷积网络结合其与上下文之间的关系，并引入外部文档语料库，完善并丰富语句的语义信息，分析得到目标词对应的情感倾向，生成目标-情感对，最后将分析所得的结果通过图表进行统计与展示，可以有效了解到文本中涉及到的详细方面的情感倾向性，为后续分析与决策提供一定的辅助信息。

附图说明

图1是本发明实施例中一种情绪分析方法的示意图。

图2是本发明实施例中实体设备中各单元的连接关系图。

图3是本发明实施例中一种情绪的监测及提醒的系统的示意图。

图4是本发明实施例中又一种情绪的监测及提醒的系统的示意图。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

如图1所示，本发明提供一种情绪分析方法，包括如下步骤：

S1：采集语音信息并转化成文本，基于双层长短期记忆人工神经网络进行文本表征与辅助信息引入；

S2：利用所述辅助信息得到所述文本中的含有情感的词作为分析对象；

S3：所述分析对象中多个词之间建立情感依赖；

S4：判断提取的分析对象是否具有高于预设阈值的情感值，筛选出最终目标分析对象；

S5：捕获所述最终目标分析对和所述文本中上下文之间的关系；

S6：获取外部语料库，所述外部语料库提供包含所述最终目标分析对象的文本，从所述外部语料库筛选出与所述最终目标分析对象相关性高于预设相似度的句；异质图卷积去获取所述句的上下文与所述最终目标分析对象的语义关系，构建链接，把所述外部语料库的语义信息增强到所述最终目标分析对象，得到最终目标分析对象的情感对；

S7：基于情感对进行情绪分析。

本发明提出了一种基于深度学习的文本方面级情感分析算法，基于一个应用统一标记方案的方面级情感分析模型，通过分析文本，挖掘出文本中带有情感倾向的目标词，在此基础上通过图卷积网络结合其与上下文之间的关系，并引入外部文档语料库，完善并丰富语句的语义信息，分析得到目标词对应的情感倾向，生成目标-情感对，最后将分析所得的结果通过图表进行统计与展示，可以有效了解到文本中涉及到的详细方面的情感倾向性，为后续分析与决策提供一定的辅助信息。

本发明基于方面抽取和方面情感分析两个子任务，针对文本中涉及到的实体或属性的情感倾向进行分析；进一步地，以端到端方式解决方面级情感分析任务，提出一种采用统一标记方案的模型；在情绪分析方法上，通过细粒度的情感分析，可以充分利用采集到的家长话语文本，在此基础上充分发掘家长话语中涉及到的各个方面对应的情感极性，多角度、细粒度地切实了解家长实时的情绪状态，为后续及时进行情绪提醒提供坚实的数据分析基础。

在步骤S1中：

输入：采集文本

输出：文本表征序列

框架涉及双层长短期记忆人工神经网络，上层用于预测统一的标签，得到目标情感，下层用于执行辅助目标的边界预测，得到目标边界，旨在指导上层网络提高主要任务的性能。

模型参数：将完整的方面级情感分析任务表述为序列标记问题，并采用统一标记方案：对于所述文本X＝{x₁，...，x_T}采用情感对进行统一标记，目标是预测标签序列

其中

Y^s＝{B-POS，I-POS，E-POS，S-POS，B-NEG，I-NEG，E-NEG，S-NEG，B-NEU，I-NEU，E-NEU，S-NEU，O}；其中，B表示目标分析对象的起始词语，I表示目标分析对象的中间词语，E表示目标分析对象的末尾词语，S表示单个词语表示的目标分析对象，POS表示目标分析对象含有积极情感，NEG表示目标分析对象含有消极情感；

除O之外，每个标签都包含标签信息的两个部分：目标边界标签和目标情感标签。对于给定的输入序列X＝{x₁，...，x_T}，目标是预测标签序列

其中

在步骤S2中：

输入：低层LSTM文本表征

输出：目标边界隐含表示序列

低层LSTM生成的目标边界隐含表示可作为高层LSTM预测标签序列的指导信息。将相关性编码为过渡矩阵来将边界预测的概率分布映射到方面级情感分析的统一标签空间，将边界概率分数与上层LSTM的概率分数合并生成最终预测。

利用所述辅助信息得到所述文本中的含有情感的词作为分析对象包括：

低层长短期记忆人工神经网络生成的隐含表示

作为高层长短期记忆人工神经网络表示

的指导信息，其中t为输入文本序列中的每个单词：

所述目标边界标签和所述目标情感标签的概率分数如下，基于LSTM的表示分别进行对应标签y的概率计算：

其中，W为权重矩阵，

为低层长短期记忆人工神经网络生成的隐含表示，

为高层长短期记忆人工神经网络表示，softmax为求取概率的函数，

为目标边界标签，

为目标情感标签，

为由初始输入x_t预测目标边界标签的概率，

为由低层长短期记忆人工神经网络生成的隐含表示

预测目标情感标签的概率；

映射矩阵B为目标边界标签映射到目标情感标签形成的矩阵，若目标边界标签可以映射到目标情感标签，则矩阵B的对应元素为1，否则为0；经映射矩阵B得到概率转移矩阵W^tr，若存在映射关系，则概率转移矩阵的值为映射矩阵B中对应元素，否则取0；最终通过概率转移矩阵W^tr将所述目标边界标签的概率分数映射到所述目标情感标签的空间：

经概率转移的所述目标情感标签分数的比例由目标边界的分布

确定：

a_t＝∈c_t

其中，c_t为根据目标边界分布

计算得到的目标情感标签在最终预测结果中的比例，∈为目标情感标签的权重参数，a_t为计算得到的目标情感标签比例；

最终借由权重a_t将其与上层长短期记忆人工神经网络的概率分数

合并生成所述文本中的含有情感的词作为分析对象：

其中，

为上层长短期记忆人工神经网络的概率分数，

为目标情感标签概率分数，a_t为目标情感标签比例，

为最终目标情感标签的概率分数。

在步骤S3中：

输入：低层LSTM文本表征

输出：多词情感隐含表示序列

分析对象中多个词之间建立情感依赖包括如下步骤：

使用门机制g_t结合当前

和长短期记忆人工神经网络中前一个时间单元的结果

的特征预测当前统一标签

避免同一目标中多个词出现不同的情感，所述分析对象中多个词之间建立情感依赖：

其中，W^g是权重项，b^g是偏置项，

和

是长短期记忆人工神经网络中每一步的特征项，g_t是

计算得到的门机制，控制历史信息

和当前信息

的权重占比，是一个权重参数，

是对历史信息和当前信息的综合计算结果。

在步骤S4中：

输入：低层LSTM文本表征

输出：目标词辅助隐含表示序列

由于与观点词相近的一般是目标词，训练辅助token级别分类器来获取LSTM表示

中目标词与非目标词，判断提取的分析对象是否具有高于预设阈值的情感值，筛选出最终目标分析对象包括如下步骤：

训练辅助token级别分类器来获取LSTM表示

中目标词与非目标词，判断所提取的分析对象是否具有高于所述预设阈值的情感值，筛选出最终目标分析对象：

其中，W^O是权重项，

为低层长短期记忆人工神经网络生成的隐含表示，softmax是计算

是否为目标词的概率计算，

是计算出的概率值，

是通过argmax求最大概率值最终筛选出的目标分析对象。

步骤S5中：

输入：文本表征序列

输出：初步文本情感分析序列

图卷积网络GCN图中的每个结点因为邻居节点和更远的点的影响而改变着自己的状态直到最终的平衡，关系越亲近的邻居影响权重越大。采用图卷积神经网络引入所述文本中除所述最终目标分析对象以外的的上下文本信息，将所述上下文信息中所含的语义信息增强到所述最终目标分析对象中。

本发明引入图卷积网络GCN，通过句法信息和单词依赖解决模型缺乏句法约束和远程单词依赖的问题。处理非欧式结构数据，同时有效提取空间特征。

由于图卷积可以汇总其他节点的句法信息，在句法依赖树中对句子的方面进行句法约束，并聚集非连续词的特征来对非连续词描述的方面极性进行处理，可以改善LSTM对边界信息预测时未完全利用其它节点信息的问题。

图卷积神经网络具有多层架构，每层所述架构使用邻居节点的特性来编码和更新图中节点的表示；

所述图卷积神经网络层的输入图的结构与每个节点的特征，输出节点或图层面的结果，邻接矩阵A∈R^N×N表示图的结构，特征X∈R^N×F表示各个节点的特征值，Z∈R^N×P表示模型的输出。每一个神经网络层写为：

H^l+1＝f(H^l，A)

其中，H⁰＝X，H^L＝Z；

根据输入与输出格式，构造如下形式：

f(H^l+1，A)＝σ(AH^lW^l)

这个形式简单有效，但每个节点只考虑邻居节点，未考虑自身信息；邻接矩阵未标准化，连乘会改变特征的尺度。所以进行优化：

其中，

D是

的度矩阵。这样就得到了GCN模型的形式。其中

D是

的度矩阵。

在L层的所述图卷积神经网络中，对节点表示的图卷积操作如下：

其中，σ为非线性函数；

在双向长短期记忆人工神经网络的输出上，每个节点的表示都通过图卷积运算与归一化因子进行更新：

图卷积过程通过对节点的邻居节点信息进行编码，在句法依赖树中对句子的方面进行了句法约束，以句法距离来识别描述词。并可通过图卷积聚集非连续词的特征来对非连续词描述的方面极性进行处理。进行图卷积时，需要生成每个节点的邻接矩阵，这里通过依存句法分析生成每个节点有句法关系的邻接矩阵。

框架中的所有组件都是可区分的，因此使用基于梯度的方法训练整个框架；单词级交叉熵误差用作损失函数：

其中，I是任务指示符的符号，其符号值包括T，S和O。

然后将主要方面级情感分析任务和辅助任务的损失汇总起来，形成框架的训练目标：

J(θ)＝L^S+L^T+L^O

其中，L^S是利用所述辅助信息得到所述文本中的含有情感的词作为分析对象任务的损失，L^T是所述分析对象中多个词之间建立情感依赖任务的损失，L^O是筛选出最终目标分析对象任务的损失，J(θ)是最终的损失。

在步骤S6中：

输入：初步文本情感分析序列

输出：最终文本情感分析序列，即每个词所对应的情感

通过爬虫获取外部语料库，所述外部语料库提供包含所述最终目标分析对象的文本；

建立异构信息网络HIN框架，捕捉所述句和文档信息之间的关系，设置图包括语句集和文档集，通过隐性语义模型LSA模型来整合文档信息，计算句子和文档语句的相似度，在一种实施例中，从外部语料库筛选出与所述最终目标分析对象相关性高于预设相似度0.8的句子，异质图卷积去获取所述句子的上下文与所述最终目标分析对象的语义关系，构建链接，把所述外部语料库的语义信息增强到所述最终目标分析对象，将每个句子与和其相似度最高的文档语句之间建立边。

利用异质图卷积来考虑不同类型信息的异质性，将不同类型信息与各自的转换矩阵投影到一个隐式的公共空间中，得到最终目标分析对象的情感对：

其中，A分别设置为句子中各个词节点的句法依存相邻节点，以及与句子相似度最高的文档语句作为其相邻节点，W分别为两种类型的转移矩阵，

为长短期记忆人工神经网络生成的隐含表示，W^y为权重项，b^y为偏置项，y_t为最终目标分析对象的情感对。

这里两种类型为句子和文档，A分别设置为句子中各个词节点的句法依存相邻节点，以及与句子相似度最高的文档语句作为其相邻节点，W分别为两种类型的转移矩阵。和GCN更新公式的最大区别是这里考虑了T种异质关系并进行了多关系的融合。

本发明通过引入外部文档库建立HIN，丰富了数据集的语料信息，可以获取到不常见的目标词、丰富额外信息，引入额外情感倾向，改善了观点词可能会造成的情感误导，从而使挖掘出的评论中带有情感倾向的目标词更加精确，并结合其与上下文之间的关系，分析得到目标词对应的情感倾向，生成目标-情感对。

最终模型提升结果如下，可以看到，所提出的模型实现了SOTA。

表1提升结果

在一种具体的实施例中，输入：“Did I mention that the homework isOUTSTANDING？”

输出：“did:O i:O mention:O that:O the:O homework:S-POS is:Ooutstanding:O PUNCT:O”

输入：“You are too addicted to computer games,why is the efficiency ofcompleting your homework so low？”

输出：“you:O are:O too:O addicted:O to:O computer:B-NEG games:E-NEGPUNCT:O why:O is:O the:O efficiency:B-NEG of:I-NEG completing:I-NEG your:I-NEG homework:E-NEG so:O low:O PUNCT:O”

在第一个示例中，检测到家长对孩子完成情况良好的作业是积极态度；在第二个示例中，检测到家长对孩子过分沉迷的电子游戏和做事效率持消极态度，此外所有词和标点符号都不带有情感倾向。

进一步地，本发明还提供一种情绪提醒方法，包括如下步骤：

采用如上任一所述的情绪分析方法得到用户的情绪分析结果；

基于所述用户的情绪分析结果形成情绪提醒。

进一步地，情绪提醒分轻度提醒和重度提醒；

对于所述情感分析结果序列y，分别统计对应了消极情感的单词数n_neg和积极情感的单词数n_pos，设定两个整数阈值t₁，t₂(t₁＜t₂)，若t₁≤n_neg-n_pos＜t₂，则决定执行轻度提醒，若n_neg-n_pos≤t₂，则决定执行重度提醒。

再进一步地，本发明还提供一种情绪提醒设备，采用如上任一所述的情绪提醒方法。具体的，采用智能设备比如手机、平板电脑、智能手环等。

在本发明的一种具体的实施例中，可以将如上所述的方法和设备应用到家长辅导学生作业的情境中去，解决辅导孩子作业情境下家长情绪的监测和干预问题。具体地，可以采用情绪监测干预实体设备和智能设备组合的智能系统，为家长辅导孩子写作业这一场景提供一套立体的情绪干预环境，从家长的心理和需求出发，提供及时的情绪监测和干预，帮助家长进行情绪调节，并实现该问题的长效改善。

可以理解的是，本发明的方法和设备同样应用于其他需要情绪分析和提醒的场景中，如下的描述不应视为对本申请的限制。

本发明基于上述方法和设备提供一种情绪的监测及提醒的系统，并且还提供情绪调节和长效改善服务，智能系统功能的实现由一个实时接收语音实体设备和智能设备应用配合实现。其中，实体设备主要用于实现情绪监测(采集情绪信号)和情绪提醒功能；智能设备端由于算力更大，因此承担了情绪分析计算，除此之外，智能设备端还具有情绪调节的互动功能，并通过家长交流模块、专家教育板块、总结回顾模块实现长效改进。

在一种具体的实施例中，考虑在实际使用场景中的需求，即日常生活，桌面使用，现将实体设备的外壳设计为拟番茄状塑料制品，附加一块液晶显示屏用于实时反应情绪状态。该设备无需底座即可平稳放置于桌面之上，屏幕竖直放置便于用户观察。实体设备的内部设有情绪监测单元，用于收集家长辅导孩子作业时的情绪信号，如说话的声音等；通信单元用于与手机连接，进行语音数据和情感分析结果等信息的传输；显示屏幕用于将监测到的情绪状态可视化出来；多个情绪提醒单元用于对家长进行情绪上的提醒，如，震动马达用于在家长出现生气趋势时进行震动提醒、音响用于在家长有明显生气表现时，播放孩子的语音约定等自定义音频、；设备内部还设置有控制存储单元，用于设备的存储、功能控制实现和扩展；供电单元为整个设备提供必要的电源。

如图2所示，是实体设备中各单元的连接关系图，通信单元、供电单元、情绪监测单元、情绪提醒单元都与控制存储单元连接。供电单元向控制存储单元直接供电，并通过存储控制单元向通信单元、情绪监测单元、情绪提醒单元间接供电。控制存储单元通过通信单元与其他设备进行通信，接收、传输、存储数据和指令。控制存储单元对数据和指令进行解析后，对情绪检测单元、各情绪提醒单元进行相应的控制。实体设备的实现方案具体如下所述：

通信单元：可采用的通信技术有蓝牙通信和局域网通信，具体硬件选择上可采用CC2541低功率的蓝牙4.0模块。此产品功耗较低对电池模块要求小，同时支持多种接口，并且数据收发类型上没有限制，适合本产品多种形式的数据传输需求。上下行速度较快，可用于传输麦克风收集的信号与接收手机端运算结果。

情绪监测单元：情绪监测单元主要通过麦克风来完成语音情绪信号测采集，具体实施上选取高灵敏度小型麦克风，在保证体积较小适用于本产品的情况下，有着相对较高的灵敏度，能够更加清晰的接收外界音频，与蓝牙模块合作更加有利于后续的情绪分析功能的实现，能够有效提升产品精确性。情绪监测单元也可以增设摄像头，来采集用户的面部表情信息，提升情绪分析的准确性。

音频式情绪提醒单元：音频式情绪提醒单元主要使用音响来对用户进行提箱。音响可采用无需外加下载器/软件的BY8301-16P串口模块，模块工作电压最低3.6V，电池负荷小，同时自带32Mbit存储，支持6路低电平控制，更适合本产品这样对体积要求较高的桌面级小型设备。

震动式情绪提醒单元：震动式情绪提醒单元可选用四枚手机采用的震动马达，用于轻度的情绪提醒。此马达体积较小且适合本产品这样与手机类似的家庭日常使用场景。四个马达同频震动可让震动幅度更加明显，相较于直接采用一个大型震动马达的方案，四枚小马达在保证充足的震动需要的情况下能更加充分的利用番茄内部空间，更适合本产品的需求。

供电单元：供电单元可使用YS-U2SH供电模块，供电模块为本产品对安全要求最为严苛的模块，因此选择CE认证的电源模块，此模块输出电压多样，最高支持12V500mA的输出。同时产品尺寸较小的同时有较为合理的散热布局，在本产品内部设计中无需过多考虑电源模块的散热需求，降低设计难度的同时也提高本产品的安全性。

视觉提醒单元：视觉提醒单元通过显示屏显示家长情绪状态的可视化结果，达到情绪视觉提醒的目的。显示屏类型常用的有AML015410V1-ctp、UG-2832TSWEG02液晶显示屏和MD12864墨水屏。我们倾向于选择AML015410V1-ctp。

控制存储单元：控制存储单元为产品控制核心，并且本产品外加模块数量较多、工作电压等要求不一，因此在大规模批量生产之前，考虑成本以及产品稳定性等要求，可采用STM32F103C8T6型号的STM32开发板。

情绪提醒方式：实体可根据智能终端的指令，通过震动、播放音频、显示等方式实现情绪的提醒。当具体的情绪提醒方案见下文情绪提醒方案的形成。

方法终端以小程序或APP集成在智能设备端，主要实现情绪提醒、调节与长效引导这三个功能。首先，智能设备端承载了大部分模型计算的工作，对情绪番茄收集到的语音进行情感分析。其次，设计了放松小动作、亲子共情坊和音乐调节三种情绪调节的模式，帮助家长调节情绪。最后，还设置家长交流社区，学习总结回顾和专家讲解板块辅助家长进行长效改善。

家长打开智能终端通过蓝牙连接情绪番茄实体设备后，即打开启了实体设备的情绪监测和干预服务，并自动完成设备的自定义设置和情绪可视化图片、情绪提醒音频资源同步的初始化工作。

在运行过程中，实体设备收集实时语音信号并传输给手机，手机端通过语音识别以及语音情绪分析技术，对家长在辅导作业过程下的情绪状况进行分析，手机将情绪的分析结果以及对应的输出控制指令传给实体设备。

实体设备基于情绪分析结果，在显示屏上展示对应的情绪表情。若情绪分析结果表明家长将要生气或者已经有轻微的生气表现，实体设备则会开始震动，来提醒家长意识到情绪的变化。若情绪分析结果表明家长已经有较明显的生气表现，实体设备则会播放孩子的语音约定等自定义音频来进行情绪干预，以孩子的表达唤起家长对孩子的温情，从而有效避免家长负面情绪的进一步爆发，给亲子创造更加正向积极的空间。

在实时的情绪监测和干预之外，智能中端还提供放松动作、亲子共情和音乐舒缓等功能来帮助家长进行情绪调节。同时通过提供总结记录、家长交流、专题讲座版块来缓解家长焦虑，提供教育理念和方法上的参考，通过推荐算法来为家长提供个性化智能建议。

如图3和图4所示，分别是本发明的一种情绪的监测及提醒的系统的示意图。上述系统的工作流程如下，其中智能设备以手机为例进行说明，在智能设备上可以安装小程序或下载APP实现如上所述的方法，如下以下载APP为例进行说明；

1.初始化阶段：手机APP打开后，APP通过通信模块连接番茄状实体设备，执行初始化进程。若用户为初次使用，则首先引导用户选择或录入情绪提醒所使用的图片和音频。之后，手机APP检查实体设备中是否存有情绪提醒所需要的媒体资源，包括图片、音频等形式。

2.即时提醒阶段：置于桌面的实体设备开始进行情绪监测，收集用户语音信号，也可增设摄像头来收集用户的面部表情。

3.即时提醒阶段：实体设备将收集到的情绪信号通过通信模块传送给手机。

4.即时提醒阶段：手机收到情绪信号后进行情绪分析，得到并记录下当前的用户情绪类型。

5.即时提醒阶段：手机根据当前用户的情绪类型和用户设置的情绪提醒方式，确定情绪干预的方式，并将情绪提醒的指令通过通信模块发送给实体设备。

6.即时提醒阶段：实体设备收到情绪提醒的指令后通过存储控制模块对指令进行分解和执行，控制各个情绪提醒模块作出相应的反应。

7.情绪调节阶段：手机APP提供有情绪调节模块来帮助家长进行情绪调整。

8.长效改善阶段：除了实时的情绪提醒之外，手机APP端还提供家长情绪的长效改善机制。长效改善包括总结记录模块、交流分享模块、学习提升模块。手机APP对在第4步中记录下来的情绪分析结果，进行分析总结，总结的内容可包括，情绪的类型、语气语调的变化情况。

在运行过程中，实体设备收集实时语音信号并传输给手机，手机端通过语音识别以及情绪分析技术，对家长在辅导作业过程下的情绪状况进行分析，手机将情绪的分析结果以及对应的输出控制指令传给实体设备。

在提醒方式上，由于家长情绪爆发前经历情绪的酝酿加剧过程，因此针对家长的心理特点设计两阶段情绪提醒。情绪前期，通过番茄实体设备震动+情绪状态可视化显示，来实现对家长情绪的适当、轻度的提醒。情绪中期通过播放家长跟孩子的语音约定等自定义音频，帮助孩子提出诉求，来唤醒家长对孩子的爱与亲情，这种情绪提醒方式更加明显、温情、有效。

在情绪调节上。手机端的情绪调节功能可通过以下的一些方法实现，包括但不限于：播放适合舒缓情绪的音乐；屏幕上显示手指滑动轨迹，引导家长按照指定的动作和速度滑动手指平息心情；提供亲子共情交流的话题。

本发明提供的系统对家长的历史情绪记录进行进一步统计分析，形成统计图表展示；提供交流分享功能，用户可以在线上传自己的教育感想、浏览其他家长上传的动态；提供并推荐适合家长的教育理念和教育方法相关的资料，帮助家长改善教育方法。资料的形式包括文本、语音、视频等多种形式。推荐的方法可采用现有的一些推荐算法，例如基于协同过滤的推荐算法。通过情绪记录总结、家长交流、专家专栏等模块，激励家长树立良好的情绪管控意识、了解更多教育理念和方法、减缓焦虑的情绪，从而实现进行更长效的改善。因此既具有短期的效用，又能从长期的角度解决家长辅导作业的情绪问题。

本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。

本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。

本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。

所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAMEnhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，Sync Link Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (11)

1.一种情绪分析方法，其特征在于，包括如下步骤：

S1：采集语音信息并转化成文本，基于双层长短期记忆人工神经网络进行文本表征与辅助信息引入；

S2：利用所述辅助信息得到所述文本中的含有情感的词作为分析对象；

S3：所述分析对象中多个词之间建立情感依赖；

S4：判断提取的分析对象是否具有高于预设阈值的情感值，筛选出最终目标分析对象；

S5：捕获所述最终目标分析对和所述文本中上下文之间的关系；

S6：获取外部语料库，所述外部语料库提供包含所述最终目标分析对象的文本，从所述外部语料库筛选出与所述最终目标分析对象相关性高于预设相似度的句；异质图卷积去获取所述句的上下文与所述最终目标分析对象的语义关系，构建链接，把所述外部语料库的语义信息增强到所述最终目标分析对象，得到最终目标分析对象的情感对；

S7：基于情感对进行情绪分析。

2.如权利要求1所述的情绪分析方法，其特征在于，所述双层长短期记忆人工神经网络的上层用于预测统一的标签，得到目标情感，下层用于执行辅助目标的边界预测，得到目标边界；

对于所述文本X＝{x₁，...，x_T}采用情感对进行统一标记，目标是预测标签序列

其中

Y^S＝{B-POS，I-POS，E-POS，S-POS，B-NEG，I-NEG，E-NEG，S-NEG，B-NEU，I-NEU，E-NEU，S-NEU，O}；其中，B表示目标分析对象的起始词语，I表示目标分析对象的中间词语，E表示目标分析对象的末尾词语，S表示单个词语表示的目标分析对象，POS表示目标分析对象含有积极情感，NEG表示目标分析对象含有消极情感；

除O之外，每个标签都包含标签信息的两个部分：目标边界标签和目标情感标签。

3.如权利要求2所述的情绪分析方法，其特征在于，利用所述辅助信息得到所述文本中的含有情感的词作为分析对象包括：

低层长短期记忆人工神经网络生成的隐含表示

作为高层长短期记忆人工神经网络表示

的指导信息，其中t为输入文本序列中的每个单词：

所述目标边界标签和所述目标情感标签的概率分数如下，基于LSTM的表示分别进行对应标签y的概率计算：

其中，W为权重矩阵，

为低层长短期记忆人工神经网络生成的隐含表示，

为高层长短期记忆人工神经网络表示，softmax为求取概率的函数，

为目标边界标签，

为目标情感标签，

为由初始输入x_t预测目标边界标签的概率，

为由低层长短期记忆人工神经网络生成的隐含表示

预测目标情感标签的概率；

映射矩阵B为目标边界标签映射到目标情感标签形成的矩阵，若目标边界标签可以映射到目标情感标签，则矩阵B的对应元素为1，否则为0；经映射矩阵B得到概率转移矩阵W^tr，若存在映射关系，则概率转移矩阵的值为映射矩阵B中对应元素，否则取0；最终通过概率转移矩阵W^tr将所述目标边界标签的概率分数映射到所述目标情感标签的空间：

经概率转移的所述目标情感标签分数的比例由目标边界的分布

确定：

a_t＝∈c_t

其中，c_t为根据目标边界分布

计算得到的目标情感标签在最终预测结果中的比例，∈为目标情感标签的权重参数，a_t为计算得到的目标情感标签比例；

最终借由权重a_t将其与上层长短期记忆人工神经网络的概率分数

合并生成所述文本中的含有情感的词作为分析对象：

其中，

为上层长短期记忆人工神经网络的概率分数，

为目标情感标签概率分数，a_t为目标情感标签比例，

为最终目标情感标签的概率分数。

4.如权利要求3所述的情绪分析方法，其特征在于，所述分析对象中多个词之间建立情感依赖包括如下步骤：

使用门机制g_t结合当前

和长短期记忆人工神经网络中前一个时间单元的结果

的特征预测当前统一标签

避免同一目标中多个词出现不同的情感，所述分析对象中多个词之间建立情感依赖：

其中，W^g是权重项，b^g是偏置项，

和

是长短期记忆人工神经网络中每一步的特征项，g_t是

计算得到的门机制，控制历史信息

和当前信息

的权重占比，是一个权重参数，

是对历史信息和当前信息的综合计算结果。

5.如权利要求4所述的情绪分析方法，其特征在于，判断提取的分析对象是否具有高于预设阈值的情感值，筛选出最终目标分析对象包括如下步骤：

训练辅助token级别分类器来获取LSTM表示

中目标词与非目标词，判断所提取的分析对象是否具有高于所述预设阈值的情感值，筛选出最终目标分析对象：

其中，W^O是权重项，

为低层长短期记忆人工神经网络生成的隐含表示，softmax是计算

是否为目标词的概率计算，

是计算出的概率值，

是通过argmax求最大概率值最终筛选出的目标分析对象。

6.如权利要求5所述的情绪分析方法，其特征在于，步骤S5中还包括：

采用图卷积神经网络引入所述文本中除所述最终目标分析对象以外的的上下文本信息，将所述上下文信息中所含的语义信息增强到所述最终目标分析对象中。

7.如权利要求6所述的情绪分析方法，其特征在于，所述图卷积神经网络具有多层架构，每层所述架构使用邻居节点的特性来编码和更新图中节点的表示；

所述图卷积神经网络层的输入图的结构与每个节点的特征，输出节点或图层面的结果，邻接矩阵A∈R^N×N表示图的结构，特征X∈R^N×F表示各个节点的特征值，Z∈R^N×P表示模型的输出。每一个神经网络层写为：

H^l+1＝f(H^l，A)

其中，H⁰＝X，H^L＝Z；

根据输入与输出格式，构造如下形式：

f(H^l+1，A)＝σ(AH^lW^l)

进一步优化如下：

其中，

D是

的度矩阵。

在L层的所述图卷积神经网络中，对节点表示的图卷积操作如下：

其中，σ为非线性函数；

在双向长短期记忆人工神经网络的输出上，每个节点的表示都通过图卷积运算与归一化因子进行更新：

框架中的所有组件都是可区分的，因此使用基于梯度的方法训练整个框架；单词级交叉熵误差用作损失函数：

其中，I是任务指示符的符号，其符号值包括T，S和O。

然后将主要方面级情感分析任务和辅助任务的损失汇总起来，形成框架的训练目标：

J(θ)＝L^S+L^T+L^O

其中，L^S是利用所述辅助信息得到所述文本中的含有情感的词作为分析对象任务的损失，L^T是所述分析对象中多个词之间建立情感依赖任务的损失，L^O是筛选出最终目标分析对象任务的损失，J(θ)是最终的损失。

8.如权利要求6所述的情绪分析方法，其特征在于，通过爬虫获取外部语料库，所述外部语料库提供包含所述最终目标分析对象的文本；

建立异构信息网络HIN框架，捕捉所述句和文档信息之间的关系，设置图包括语句集和文档集，通过隐性语义模型LSA模型来整合文档信息，计算句子和文档语句的相似度，利用异质图卷积来考虑不同类型信息的异质性，将不同类型信息与各自的转换矩阵投影到一个隐式的公共空间中，得到最终目标分析对象的情感对：

其中，A分别设置为句子中各个词节点的句法依存相邻节点，以及与句子相似度最高的文档语句作为其相邻节点，W分别为两种类型的转移矩阵，

为长短期记忆人工神经网络生成的隐含表示，W^y为权重项，b^y为偏置项，y_t为最终目标分析对象的情感对。

9.一种情绪提醒方法，其特征在于，包括如下步骤：采用如权利要求1-8任一所述的情绪分析方法得到用户的情绪分析结果；

基于所述用户的情绪分析结果形成情绪提醒。

10.如权利要求9所述的情绪提醒方法，其特征在于，所述情绪提醒分轻度提醒和重度提醒；

对于所述情感分析结果序列y，分别统计对应了消极情感的单词数n_neg和积极情感的单词数n_pos，设定两个整数阈值t₁，t₂(t₁＜t₂)，若t₁≤n_neg-n_pos＜t₂，则决定执行轻度提醒，若n_neg-n_pos≤t₂，则决定执行重度提醒。

11.一种情绪提醒控制装置，其特征在于，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如权利要求9-10任一所述的情绪提醒方法。

Images