CN112784011B - 一种基于cnn和lstm的情感问题处理方法、装置和介质 - Google Patents

一种基于cnn和lstm的情感问题处理方法、装置和介质 Download PDF

Info

Publication number
CN112784011B
CN112784011B CN202110003332.5A CN202110003332A CN112784011B CN 112784011 B CN112784011 B CN 112784011B CN 202110003332 A CN202110003332 A CN 202110003332A CN 112784011 B CN112784011 B CN 112784011B
Authority
CN
China
Prior art keywords
emotion
expression
label
word
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110003332.5A
Other languages
English (en)
Other versions
CN112784011A (zh
Inventor
吴志雄
吴浩泽
高稳仁
杨美娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Weidun Science And Technology Group Co ltd
Linewell Software Co Ltd
Original Assignee
Fujian Weidun Science And Technology Group Co ltd
Linewell Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Weidun Science And Technology Group Co ltd, Linewell Software Co Ltd filed Critical Fujian Weidun Science And Technology Group Co ltd
Priority to CN202110003332.5A priority Critical patent/CN112784011B/zh
Publication of CN112784011A publication Critical patent/CN112784011A/zh
Application granted granted Critical
Publication of CN112784011B publication Critical patent/CN112784011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种基于CNN和LSTM的情感问题处理方法，包括：通过训练并优化CNN模型，得到表情识别模型，实现输入人脸图片得到表情标签；通过聊天记录以及表情识别模型的识别结果构建训练集，训练LSTM模型，得到文本情感分析模型，实现通过聊天记录获得情感标签；当一用户的情感标签转变为负面时，查询设定时间段内所述用户发出和接收到的聊天记录，利用所述文本情感分析模型分析所述聊天记录的情感标签，并提取所述聊天记录中的关键信息，然后将所述聊天记录的情感标签和关键信息展示给所述聊天记录的接收或发送对象。本发明提供的一种基于CNN和LSTM的情感问题处理方法、装置和介质，使用户能及时地从与联系人的文字交流中获取情感信息及关键信息。

Description

一种基于CNN和LSTM的情感问题处理方法、装置和介质
技术领域
本发明涉及计算机技术领域，特别涉及一种基于CNN和LSTM的情感问题处理方法、装置和介质。
背景技术
情感，是人类的一个特性。当面对面交流时，人们能够根据情感来判断沟通是否有效，从而及时地变换交流策略。随着信息化时代的来临，视频聊天在一定程度上能让人面对面沟通，但是这需要一段连续的时间。而有些人没有连续的时间，倾向于用碎片化的时间来进行文字交流。而文字交流相比于视频/面对面交流，能获取的信息特别少。这其中的一个最大问题就是交流双方无法及时获取对方的情感变化来调整自己的策略，从而没有把事情处理好，最后一步错步步错。
事情没有处理好是因为没有找到事情的真正原因。为什么会找不到真正原因呢？一方面可能是一些人是第一次处理这些事情，没有考虑到太多的因素，只会线性地考虑问题。并且时间紧迫，人在焦急地状态很大概率找不到最优解；另一方面是当没有处理经验的时候，人一般会去求助身边的人，但是身边的人因为不了解当前的情况或者当事人没有描述清楚目前发生的状况，身边的人可能会给出错误的决定。
因此，如何提供一种可以让用户及时地从与联系人的文字交流中获取情感信息及关键信息的方法，成为一个亟待解决的问题。
发明内容
本发明要解决的技术问题，在于提供一种基于CNN和LSTM的情感问题处理方法、装置和介质，使用户能及时地从与联系人的文字交流中获取情感信息及关键信息。
第一方面，本发明提供了一种基于CNN和LSTM的情感问题处理方法，包括：
通过带有表情标签的人脸表情图片集训练CNN模型，得到表情识别模型；获取用户的人脸图片，输入所述表情识别模型，得到与所述人脸图片对应的表情标签，当所述表情识别模型无法识别出表情标签时，获取用户提供的表情标签，再将所述人脸图片与一一对应的表情标签作为训练集，对所述表情识别模型进行优化；
获取用户的文字聊天记录，并使用优化的表情识别模型对用户发送所述文字聊天记录的表情进行识别，得到与所述文字聊天记录对应的表情标签，然后将所述表情标签转化为情感标签，所述情感标签包括正面、负面或中性；将所述文字聊天记录与一一对应的情感标签作为训练集，对LSTM模型进行训练，得到文本情感分析模型；
当一用户的情感标签从正面转为负面或由中性转为负面时，查询设定时间段内所述用户发出和接收到的聊天记录，利用所述文本情感分析模型分析所述聊天记录的情感标签，并提取所述聊天记录中的关键信息，然后将所述聊天记录的情感标签和关键信息展示给所述聊天记录的接收或发送对象。
进一步地，提取所述聊天记录中的关键信息，包括：
步骤S1、对所述聊天记录进行分词，得到至少一个关键词；
步骤S2、按词性顺序获取关键词，当获取到关键词时，判断所述关键词所在的句子中是否包括情感表达词，若是，进入步骤S3，若否，将所述关键词的权重设置为1，然后进入步骤5；当获取不到关键词时，结束步骤；
步骤S3、判断所述情感表达词为正面还是负面，然后计算所述情感表达词的权重；
步骤S4、判断所述情感表达词与临近的词能否组成从句，若能，跳过包括所述情感表达词的从句，然后进入步骤S5，若不能，跳过所述情感表达词，然后进入步骤S5；
步骤S5、判断所述关键词与临近的词能否组成从句，若能，保存包括所述关键词的从句和权重作为关键信息，然后返回步骤S2，若不能，构建所述关键词的词向量，根据所述关键词的词向量搜索聊天记录，将搜索结果和权重作为关键信息，然后返回步骤S2。
进一步地，所述步骤S3中，计算所述情感表达词的权重，采用如下公式：
Figure BDA0002882617060000031
其中，当情感表达词为正面时，公式取正，当情感表达词为负面时，公式取负，Tc为代表两用户交流时长，Tr代表相同情绪的回复记录，Td代表相同情绪的持续时间。
进一步地，所述表情标签包括：生气、厌恶、恐惧、开心、伤心、惊讶以及中性；
将所述表情标签转化为情感标签，进一步具体为：将开心转化为正面，将中性保持不变，将生气、厌恶、恐惧、伤心、惊讶转化为负面。
第二方面，本发明提供了一种基于CNN和LSTM的情感问题处理装置，包括：表情识别优化模块、文本情感分析模块以及关键信息提取模块；
所述表情识别优化模块，用于通过带有表情标签的人脸表情图片集训练CNN模型，得到表情识别模型；获取用户的人脸图片，输入所述表情识别模型，得到与所述人脸图片对应的表情标签，当所述表情识别模型无法识别出表情标签时，获取用户提供的表情标签，再将所述人脸图片与一一对应的表情标签作为训练集，对所述表情识别模型进行优化；
所述文本情感分析模块，用于获取用户的文字聊天记录，并使用优化的表情识别模型对用户发送所述文字聊天记录的表情进行识别，得到与所述文字聊天记录对应的表情标签，然后将所述表情标签转化为情感标签，所述情感标签包括正面、负面或中性；将所述文字聊天记录与一一对应的情感标签作为训练集，对LSTM模型进行训练，得到文本情感分析模型；
所述关键信息提取模块，用于当一用户的情感标签从正面转为负面或由中性转为负面时，查询设定时间段内所述用户发出和接收到的聊天记录，利用所述文本情感分析模型分析所述聊天记录的情感标签，并提取所述聊天记录中的关键信息，然后将所述聊天记录的情感标签和关键信息展示给所述聊天记录的接收或发送对象。
进一步地，所述关键信息提取模块中，提取所述聊天记录中的关键信息，具体包括：
步骤S1、对所述聊天记录进行分词，得到至少一个关键词；
步骤S2、按词性顺序获取关键词，当获取到关键词时，判断所述关键词所在的句子中是否包括情感表达词，若是，进入步骤S3，若否，将所述关键词的权重设置为1，然后进入步骤5；当获取不到关键词时，结束步骤；
步骤S3、判断所述情感表达词为正面还是负面，然后计算所述情感表达词的权重；
步骤S4、判断所述情感表达词与临近的词能否组成从句，若能，跳过包括所述情感表达词的从句，然后进入步骤S5，若不能，跳过所述情感表达词，然后进入步骤S5；
步骤S5、判断所述关键词与临近的词能否组成从句，若能，保存包括所述关键词的从句和权重作为关键信息，然后返回步骤S2，若不能，构建所述关键词的词向量，根据所述关键词的词向量搜索聊天记录，将搜索结果和权重作为关键信息，然后返回步骤S2。
进一步地，所述步骤S3中，计算所述情感表达词的权重，采用如下公式：
Figure BDA0002882617060000041
其中，当情感表达词为正面时，公式取正，当情感表达词为负面时，公式取负，Tc为代表两用户交流时长，Tr代表相同情绪的回复记录，Td代表相同情绪的持续时间。
进一步地，所述表情标签包括：生气、厌恶、恐惧、开心、伤心、惊讶以及中性；
将所述表情标签转化为情感标签，进一步具体为：将开心转化为正面，将中性保持不变，将生气、厌恶、恐惧、伤心、惊讶转化为负面。
第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
通过练并优化CNN模型，得到表情识别模型，实现输入人脸图片得到表情标签；通过聊天记录以及表情识别模型的识别结果构建训练集，训练LSTM模型，得到文本情感分析模型，实现通过聊天记录获得情感标签；使用户在文字聊天时，能及时地获取对方的情感变化和关键信息，从而能够及时改变交流策略，从而处理好矛盾，达到面对面或者视频交流的效果。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明实施例一中方法的流程图；
图2为本发明实施例一中采用的LSTM模型细胞的门结构示意图；
图3为本发明实施例一中关键信息的提取流程示意图；
图4为本发明实施例二中装置的结构示意图；
图5为本发明实施例三中介质的结构示意图。
具体实施方式
实施例一
本实施例提供一种基于CNN和LSTM的情感问题处理方法，如图1所示，可以包括如下步骤：
步骤一、表情识别模型的训练和优化
通过带有表情标签的人脸表情图片集(比如使用kaggle FER2013数据集，由35886张人脸表情图片组成，并且分为了7个标签，按照0-6分别是生气、厌恶、恐惧、开心、伤心、惊讶和中性)训练CNN模型，得到表情识别模型；
本实施例采用的卷积神经网络(CNN)模型主要包括三层卷积层，两层全连接层，最后通过一个softmax输出每个类别的可能性。CNN具体结构如表1-1所示。
表1-1CNN结构
类型 卷积核 步长 填充 输出 dropout
输入 42x42x1
卷积层 5x5 1 2 42x42x32
池化层 3x3 2 21x21x32
卷积层 4x4 1 1 20x20x32
池化层 3x3 2 10x10x32
卷积层 5x5 1 2 10x10x64
池化层 3x3 2 5x5x64
全连接层 1x1x2048 0.4
全连接层 1x1x1024 0.4
输出 1x1x7
其中，输入层为42×42×1的图片，第一层卷积层中含有32个5×5的卷积核，它的步长为1，卷积层填充为2。经过卷积核扫描之后将会由一个42×42×32的输出。把这个输出放到一个含有32个尺寸为3×3步长为2的卷积核的池化层中，将会得到一个21×21×32的输出。之后经过32个尺寸为4×4步长为1的卷积核并且填充为1的卷积层得到20×20×32的输出。将这个输出放入与第一个池化层相同的池化层将会得到一个10×10×32的输出。之后将这个输出放入与第一个卷积层相同规模的卷积层得到10×10×64的输出，将这个输放入与第一个池化层相同规模的池化层进行最后一次池化，将会得到一个5×5×64的池化层。为了防止过拟合，将会在之后的两个全连接层中设置40％的dropout，最后由softmax显示出结果。
其中卷积层的激活函数使用ReLU函数，它的公式如公式1.1所示
Figure BDA0002882617060000061
通过人脸表情图片集训练出初步模型之后，为了得到更为准确的表情识别效果，可以对用户的人脸图片进行识别得到进一步的训练数据，对CNN模型进行优化，实现方法如下：
获取用户的人脸图片(比如，可以在用户发送消息的同时调用设备的摄像头权限获取用户的人脸图片，并且通过OpenCV将图片处理为42×42的灰度化图片)，输入所述表情识别模型来识别用户的表情，得到与所述人脸图片对应的表情标签，当所述表情识别模型无法识别出表情标签时，获取用户提供的表情标签，再将所述人脸图片与一一对应的表情标签作为训练集，对所述表情识别模型进行优化；
训练集的数据存储格式可以如表1-2所示，其中content_id字段是当前用户的聊天内容表中的id。模型无法识别出结果时，将会弹出对话框询问用户当时的表情。
表1-2人脸表情识别表结构
Figure BDA0002882617060000071
步骤二、文本情感分析模型的训练
获取用户的文字聊天记录，并使用优化的表情识别模型对用户发送所述文字聊天记录的表情进行识别，得到与所述文字聊天记录对应的表情标签，然后将所述表情标签转化为情感标签，所述情感标签包括正面、负面或中性；将所述文字聊天记录与一一对应的情感标签作为训练集，对LSTM模型进行训练，得到文本情感分析模型；
LSTM模型主要用于文本情感分析，其细胞状态的门结构如图2所示。它的输入为前一层隐藏状态的信息和当前的输入，其中，pointwise multiplication是将两个向量相乘的操作，pointwise addition是将两个向量相加的操作，vector concatenation则是将两个向量结合为一个向量的操作。
最左侧是遗忘门，它接受到参数时候将使用Sigmoid函数作为激活函数，Sigmoid函数如公式1.2所示
Figure BDA0002882617060000081
可以看到输入将会被sigmoid函数转化为0～1之间的值。如果是0，那么这个输入将会被遗忘。中间含有sigmoid函数和tanh函数的是输入门，它用于决定更新哪些信息。其中tanh函数如公式1.3所示。
Figure BDA0002882617060000082
可以计算出tanh函数的值域是[-1,1]。其中sigmoid的输出决定tanh的输出中哪些重要信息需要被保留。之后将刚刚计算出来的遗忘向量与前一个细胞状态相乘，再与输入门的输出相加，就得出了最新的细胞状态。最后将前一个隐藏状态经过sigmoid函数，当前细胞状态经过tanh函数的输出相乘，将会得到新的隐藏状态。
构建好LSTM模型之后，需要用训练集来训练模型，得到可以通过聊天记录获得情感标签的文本情感分析模型。训练集是用户所发的消息及对应的情感标签，可以在用户发送消息时将聊天记录存入聊天内容训练表中，该表结构如表1-3所示，其中训练集的情感标签为CNN的识别结果转化而成，比如，将开心转化为正面，将中性保持不变，将生气、厌恶、恐惧、伤心、惊讶转化为负面。
表1-3聊天内容训练表
Figure BDA0002882617060000091
步骤三、关键信息捕捉
当一用户的情感标签从正面转为负面或由中性转为负面时，查询设定时间段内所述用户发出和接收到的聊天记录，利用所述文本情感分析模型分析所述聊天记录的情感标签，并提取所述聊天记录中的关键信息，然后将所述聊天记录的情感标签和关键信息展示给所述聊天记录的接收或发送对象。
执行完步骤一和步骤二之后，将会有两个模型，CNN——用于用户表情识别，LSTM——用于文本情感分析。在本实施例中，可以调用摄像头权限捕捉用户的表情并存入表1-4所示的用户表情表中。
表1-4用户表情表
Figure BDA0002882617060000092
Figure BDA0002882617060000101
每次保存都会比较该用户的上一条记录，当发现用户的表情从正面或者中性转变到负面表情时，系统将会在如表1-5所示的聊天记录表中查询时间范围内发出者或者接收者为该用户的记录。提取这些聊天记录后，系统将提取聊天记录中的关键信息，关键信息的提取流程如图3所示，可以包括如下步骤：
步骤S1、对所述聊天记录进行分词(比如，采用THULAC进行分词)，得到至少一个关键词；
步骤S2、按词性顺序获取关键词，当获取到关键词时，判断所述关键词所在的句子中是否包括情感表达词，若是，进入步骤S3，若否，将所述关键词的权重设置为1，然后进入步骤5；当获取不到关键词时，结束步骤；
步骤S3、判断所述情感表达词为正面还是负面，然后计算所述情感表达词的权重，公式如下：
Figure BDA0002882617060000102
其中，当情感表达词为正面时，公式取正，当情感表达词为负面时，公式取负，Tc为代表两用户交流时长，Tr代表相同情绪的回复记录，Td代表相同情绪的持续时间；
步骤S4、判断所述情感表达词与临近的词能否组成从句，若能，跳过包括所述情感表达词的从句，然后进入步骤S5，若不能，跳过所述情感表达词，然后进入步骤S5；
步骤S5、判断所述关键词与临近的词能否组成从句，若能，保存包括所述关键词的从句和权重作为关键信息，然后返回步骤S2，若不能，构建所述关键词的词向量，根据所述关键词的词向量搜索聊天记录，将搜索结果和权重作为关键信息，然后返回步骤S2。
在一种可能的实现方式中，先把一个句子中按照动词和非动词进行分类，之后在非动词的部分中分出人称代词、人名、地名、机构名和其余词。分词完成后，将会按照设定的优先级(比如，动词>人名>地名>机构名>其余词)对第一个词进行提取，然后先判断聊天记录中是否存在情感表达词，如果不存在，则设置权重为1，如果存在情感表达词，则通过公式1.4计算出权重；得到权重值之后，即判断该词与临近的词是否能够组成从句，如果能组成从句，则保存该从句和权重，否则保存该词和权重，然后返回提取下一个词，按同样的流程得到带有权重的词或从句作为关键信息，循环往复直到没有词，结束步骤。
提取关键信息后，如果关键信息包括从句，那么将在数据库中进行like查询之后展现给用户；如果关键信包括词，则根据该词的词向量在数据库中进行多维搜索，其中，词向量的构建如公式1.5所示：
Figure BDA0002882617060000111
在句子中的每一个词都会被表示为两个向量。当它为中心词时向量表示为vi，当它为背景词时向量标识为ui，其中，wc为中心词在句子中的索引，w0则是背景词在字典中的索引。给定中心词生成背景词的条件概率可以通过对向量内积做softmax运算而得到。之后在两边加上log进行损失函数的计算，如果损失函数最小，则这个词可以存入词向量中。
生成词向量之后，使用词向量搜索聊天记录，并且聊天记录中的关键字标红以强调情绪波动的可能原因，根据权重排序。系统将记录中的发出者或者接收者提取出来，当这两个字段非情绪变化用户本人时，系统将会向他们发送消息提示目前用户情绪变化，并且发送处理后的聊天记录。
表1-5聊天记录表
Figure BDA0002882617060000112
Figure BDA0002882617060000121
当用户接受到处理后的聊天记录后，即可从关键数据中通过关键字与相关的历史聊天记录获取表情变化的关键，以想出更好地解决方法。
基于同一发明构思，本申请还提供了与实施例一中的方法对应的装置，详见实施例二。
实施例二
在本实施例中提供了一种基于CNN和LSTM的情感问题处理装置，如图4所示，包括：表情识别优化模块、文本情感分析模块以及关键信息提取模块；
所述表情识别优化模块，用于通过带有表情标签的人脸表情图片集训练CNN模型，得到表情识别模型；获取用户的人脸图片，输入所述表情识别模型，得到与所述人脸图片对应的表情标签，当所述表情识别模型无法识别出表情标签时，获取用户提供的表情标签，再将所述人脸图片与一一对应的表情标签作为训练集，对所述表情识别模型进行优化；
所述文本情感分析模块，用于获取用户的文字聊天记录，并使用优化的表情识别模型对用户发送所述文字聊天记录的表情进行识别，得到与所述文字聊天记录对应的表情标签，然后将所述表情标签转化为情感标签，所述情感标签包括正面、负面或中性；将所述文字聊天记录与一一对应的情感标签作为训练集，对LSTM模型进行训练，得到文本情感分析模型；
所述关键信息提取模块，用于当一用户的情感标签从正面转为负面或由中性转为负面时，查询设定时间段内所述用户发出和接收到的聊天记录，利用所述文本情感分析模型分析所述聊天记录的情感标签，并提取所述聊天记录中的关键信息，然后将所述聊天记录的情感标签和关键信息展示给所述聊天记录的接收或发送对象。
在一种可能的实现方式中，所述关键信息提取模块中，提取所述聊天记录中的关键信息，具体包括：
步骤S1、对所述聊天记录进行分词，得到至少一个关键词；
步骤S2、按词性顺序获取关键词，当获取到关键词时，判断所述关键词所在的句子中是否包括情感表达词，若是，进入步骤S3，若否，将所述关键词的权重设置为1，然后进入步骤5；当获取不到关键词时，结束步骤；
步骤S3、判断所述情感表达词为正面还是负面，然后计算所述情感表达词的权重；
步骤S4、判断所述情感表达词与临近的词能否组成从句，若能，跳过包括所述情感表达词的从句，然后进入步骤S5，若不能，跳过所述情感表达词，然后进入步骤S5；
步骤S5、判断所述关键词与临近的词能否组成从句，若能，保存包括所述关键词的从句和权重作为关键信息，然后返回步骤S2，若不能，构建所述关键词的词向量，根据所述关键词的词向量搜索聊天记录，将搜索结果和权重作为关键信息，然后返回步骤S2。
在一种可能的实现方式中，所述步骤S3中，计算所述情感表达词的权重，采用如下公式：
Figure BDA0002882617060000131
其中，当情感表达词为正面时，公式取正，当情感表达词为负面时，公式取负，Tc为代表两用户交流时长，Tr代表相同情绪的回复记录，Td代表相同情绪的持续时间。
在一种可能的实现方式中，所述表情标签包括：生气、厌恶、恐惧、开心、伤心、惊讶以及中性；
将所述表情标签转化为情感标签，进一步具体为：将开心转化为正面，将中性保持不变，将生气、厌恶、恐惧、伤心、惊讶转化为负面。
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
基于同一发明构思，本申请提供了实施例一对应的存储介质，详见实施例三。
实施例三
本实施例提供一种计算机可读存储介质，如图5所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
本发明实施例通过练并优化CNN模型，得到表情识别模型，实现输入人脸图片得到表情标签；通过聊天记录以及表情识别模型的识别结果构建训练集，训练LSTM模型，得到文本情感分析模型，实现通过聊天记录获得情感标签；使用户在文字聊天时，能及时地获取对方的情感变化和关键信息，从而能够及时改变交流策略，从而处理好矛盾，达到面对面或者视频交流的效果。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (7)

1.一种基于CNN和LSTM的情感问题处理方法，其特征在于，包括：
通过带有表情标签的人脸表情图片集训练CNN模型，得到表情识别模型；获取用户的人脸图片，输入所述表情识别模型，得到与所述人脸图片对应的表情标签，当所述表情识别模型无法识别出表情标签时，获取用户提供的表情标签，再将所述人脸图片与一一对应的表情标签作为训练集，对所述表情识别模型进行优化；
获取用户的文字聊天记录，并使用优化的表情识别模型对用户发送所述文字聊天记录的表情进行识别，得到与所述文字聊天记录对应的表情标签，然后将所述表情标签转化为情感标签，所述情感标签包括正面、负面或中性；将所述文字聊天记录与一一对应的情感标签作为训练集，对LSTM模型进行训练，得到文本情感分析模型；
当一用户的情感标签从正面转为负面或由中性转为负面时，查询设定时间段内所述用户发出和接收到的聊天记录，利用所述文本情感分析模型分析所述聊天记录的情感标签，并提取所述聊天记录中的关键信息，然后将所述聊天记录的情感标签和关键信息展示给所述聊天记录的接收或发送对象；
提取所述聊天记录中的关键信息，包括：
步骤S1、对所述聊天记录进行分词，得到至少一个关键词；
步骤S2、按词性顺序获取关键词，当获取到关键词时，判断所述关键词所在的句子中是否包括情感表达词，若是，进入步骤S3，若否，将所述关键词的权重设置为1，然后进入步骤5；当获取不到关键词时，结束步骤；
步骤S3、判断所述情感表达词为正面还是负面，然后计算所述情感表达词的权重；
步骤S4、判断所述情感表达词与临近的词能否组成从句，若能，跳过包括所述情感表达词的从句，然后进入步骤S5，若不能，跳过所述情感表达词，然后进入步骤S5；
步骤S5、判断所述关键词与临近的词能否组成从句，若能，保存包括所述关键词的从句和权重作为关键信息，然后返回步骤S2，若不能，构建所述关键词的词向量，根据所述关键词的词向量搜索聊天记录，将搜索结果和权重作为关键信息，然后返回步骤S2。
2.根据权利要求1所述的方法，其特征在于：所述步骤S3中，计算所述情感表达词的权重，采用如下公式：
Figure FDA0004158777100000021
其中，当情感表达词为正面时，公式取正，当情感表达词为负面时，公式取负，Tc为代表两用户交流时长，Tr代表相同情绪的回复记录，Td代表相同情绪的持续时间。
3.根据权利要求1所述的方法，其特征在于：
所述表情标签包括：生气、厌恶、恐惧、开心、伤心、惊讶以及中性；
将所述表情标签转化为情感标签，进一步具体为：将开心转化为正面，将中性保持不变，将生气、厌恶、恐惧、伤心、惊讶转化为负面。
4.一种基于CNN和LSTM的情感问题处理装置，其特征在于，包括：表情识别优化模块、文本情感分析模块以及关键信息提取模块；
所述表情识别优化模块，用于通过带有表情标签的人脸表情图片集训练CNN模型，得到表情识别模型；获取用户的人脸图片，输入所述表情识别模型，得到与所述人脸图片对应的表情标签，当所述表情识别模型无法识别出表情标签时，获取用户提供的表情标签，再将所述人脸图片与一一对应的表情标签作为训练集，对所述表情识别模型进行优化；
所述文本情感分析模块，用于获取用户的文字聊天记录，并使用优化的表情识别模型对用户发送所述文字聊天记录的表情进行识别，得到与所述文字聊天记录对应的表情标签，然后将所述表情标签转化为情感标签，所述情感标签包括正面、负面或中性；将所述文字聊天记录与一一对应的情感标签作为训练集，对LSTM模型进行训练，得到文本情感分析模型；
所述关键信息提取模块，用于当一用户的情感标签从正面转为负面或由中性转为负面时，查询设定时间段内所述用户发出和接收到的聊天记录，利用所述文本情感分析模型分析所述聊天记录的情感标签，并提取所述聊天记录中的关键信息，然后将所述聊天记录的情感标签和关键信息展示给所述聊天记录的接收或发送对象；
所述关键信息提取模块中，提取所述聊天记录中的关键信息，具体包括：
步骤S1、对所述聊天记录进行分词，得到至少一个关键词；
步骤S2、按词性顺序获取关键词，当获取到关键词时，判断所述关键词所在的句子中是否包括情感表达词，若是，进入步骤S3，若否，将所述关键词的权重设置为1，然后进入步骤5；当获取不到关键词时，结束步骤；
步骤S3、判断所述情感表达词为正面还是负面，然后计算所述情感表达词的权重；
步骤S4、判断所述情感表达词与临近的词能否组成从句，若能，跳过包括所述情感表达词的从句，然后进入步骤S5，若不能，跳过所述情感表达词，然后进入步骤S5；
步骤S5、判断所述关键词与临近的词能否组成从句，若能，保存包括所述关键词的从句和权重作为关键信息，然后返回步骤S2，若不能，构建所述关键词的词向量，根据所述关键词的词向量搜索聊天记录，将搜索结果和权重作为关键信息，然后返回步骤S2。
5.根据权利要求4所述的装置，其特征在于：所述步骤S3中，计算所述情感表达词的权重，采用如下公式：
Figure FDA0004158777100000031
其中，当情感表达词为正面时，公式取正，当情感表达词为负面时，公式取负，Tc为代表两用户交流时长，Tr代表相同情绪的回复记录，Td代表相同情绪的持续时间。
6.根据权利要求4所述的装置，其特征在于：
所述表情标签包括：生气、厌恶、恐惧、开心、伤心、惊讶以及中性；
将所述表情标签转化为情感标签，进一步具体为：将开心转化为正面，将中性保持不变，将生气、厌恶、恐惧、伤心、惊讶转化为负面。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至3任一项所述的方法。
CN202110003332.5A 2021-01-04 2021-01-04 一种基于cnn和lstm的情感问题处理方法、装置和介质 Active CN112784011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110003332.5A CN112784011B (zh) 2021-01-04 2021-01-04 一种基于cnn和lstm的情感问题处理方法、装置和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110003332.5A CN112784011B (zh) 2021-01-04 2021-01-04 一种基于cnn和lstm的情感问题处理方法、装置和介质

Publications (2)

Publication Number Publication Date
CN112784011A CN112784011A (zh) 2021-05-11
CN112784011B true CN112784011B (zh) 2023-06-30

Family

ID=75753869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110003332.5A Active CN112784011B (zh) 2021-01-04 2021-01-04 一种基于cnn和lstm的情感问题处理方法、装置和介质

Country Status (1)

Country Link
CN (1) CN112784011B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113645126A (zh) * 2021-08-13 2021-11-12 黎明职业大学 一种集成情感分析的即时通讯方法
CN116228252A (zh) * 2023-02-10 2023-06-06 广东盛迪嘉电子商务股份有限公司 一种后台客服服务终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995803A (zh) * 2014-04-25 2014-08-20 西北工业大学 一种细粒度文本情感分析方法
WO2016197767A2 (zh) * 2016-02-16 2016-12-15 中兴通讯股份有限公司 一种表情输入方法、装置、终端和计算机可读存储介质
CN109376775A (zh) * 2018-10-11 2019-02-22 南开大学 在线新闻多模态情感分析方法
CN110209897A (zh) * 2018-02-12 2019-09-06 腾讯科技（深圳）有限公司 智能对话方法、装置、存储介质及设备
CN110889282A (zh) * 2019-11-28 2020-03-17 哈尔滨工程大学 一种基于深度学习的文本情感分析方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103995803A (zh) * 2014-04-25 2014-08-20 西北工业大学 一种细粒度文本情感分析方法
WO2016197767A2 (zh) * 2016-02-16 2016-12-15 中兴通讯股份有限公司 一种表情输入方法、装置、终端和计算机可读存储介质
CN110209897A (zh) * 2018-02-12 2019-09-06 腾讯科技（深圳）有限公司 智能对话方法、装置、存储介质及设备
CN109376775A (zh) * 2018-10-11 2019-02-22 南开大学 在线新闻多模态情感分析方法
CN110889282A (zh) * 2019-11-28 2020-03-17 哈尔滨工程大学 一种基于深度学习的文本情感分析方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
微博话题评论的情感分析研究;曾佳妮;刘功申;苏波;;信息安全与通信保密(第03期);全文 *

Also Published As

Publication number Publication date
CN112784011A (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN111046133A (zh) 基于图谱化知识库的问答方法、设备、存储介质及装置
CN110928997A (zh) 意图识别方法、装置、电子设备及可读存储介质
CN108763535B (zh) 信息获取方法及装置
CN111222305A (zh) 一种信息结构化方法和装置
CN110175221B (zh) 利用词向量结合机器学习的垃圾短信识别方法
CN111026840B (zh) 文本处理方法、装置、服务器和存储介质
CN112784011B (zh) 一种基于cnn和lstm的情感问题处理方法、装置和介质
CN112989038B (zh) 句子级用户画像生成方法、装置及存储介质
CN110580516B (zh) 一种基于智能机器人的交互方法及装置
CN109344242B (zh) 一种对话问答方法、装置、设备及存储介质
CN112417855A (zh) 文本意图识别方法、装置以及相关设备
CN113204618A (zh) 基于语义增强的信息识别方法、装置、设备及存储介质
CN111159409A (zh) 基于人工智能的文本分类方法、装置、设备、介质
CN111125457A (zh) 一种深度跨模态哈希检索方法及装置
CN110597968A (zh) 一种回复选择方法及装置
CN117520523B (zh) 数据处理方法、装置、设备及存储介质
CN111597341A (zh) 一种文档级关系抽取方法、装置、设备及存储介质
CN110276064B (zh) 一种词性标注方法及装置
CN113723108A (zh) 一种事件提取方法、装置、电子设备及存储介质
CN117290478A (zh) 一种知识图谱问答方法、装置、设备和存储介质
CN113010664B (zh) 一种数据处理方法、装置及计算机设备
CN111339786B (zh) 语音处理方法、装置、电子设备及存储介质
CN110263134B (zh) 智能化情感问答方法、装置及计算机可读存储介质
CN111401070B (zh) 词义相似度确定方法及装置、电子设备及存储介质
CN111858881A (zh) 一种海量数据问答系统设计方法、系统、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wu Zhixiong

Inventor after: Wu Haoze

Inventor after: Gao Wenren

Inventor after: Yang Meijuan

Inventor before: Wu Zhixiong

Inventor before: Wu Guanying

Inventor before: Gao Wenren

Inventor before: Yang Meijuan

GR01 Patent grant
GR01 Patent grant