CN111144097B - 一种对话文本的情感倾向分类模型的建模方法和装置 - Google Patents

一种对话文本的情感倾向分类模型的建模方法和装置 Download PDF

Info

Publication number
CN111144097B
CN111144097B CN201911354501.9A CN201911354501A CN111144097B CN 111144097 B CN111144097 B CN 111144097B CN 201911354501 A CN201911354501 A CN 201911354501A CN 111144097 B CN111144097 B CN 111144097B
Authority
CN
China
Prior art keywords
matrix
dialogue
text
emotion
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911354501.9A
Other languages
English (en)
Other versions
CN111144097A (zh
Inventor
薛志东
吕洪亚
曾喻江
侯天居
许柯培
卢璟祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Ezhou Institute of Industrial Technology Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911354501.9A priority Critical patent/CN111144097B/zh
Publication of CN111144097A publication Critical patent/CN111144097A/zh
Application granted granted Critical
Publication of CN111144097B publication Critical patent/CN111144097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及对话情感识别技术领域，具体涉及一种对话文本的情感倾向分类模型的建模方法和装置。本发明中的对话文本的情感倾向分类模型包括五个层级，通过词向量化处理将输入的对话文本打散为一个一个的词汇，然后计算每句对话中词汇之间的联系权重，生成联系权重矩阵，再根据该联系权重矩阵，选择合适的词汇用于指代输入的对话文本中每句对话的表达特征，之后结合历史对话的情感状态信息对当前对话的影响，获取每句对话对应的情感状态信息，最终通过MLP网络获取输入的对话文本中每句对话对应的情感倾向分类。本发明充分考虑了在先的历史对话对当前对话的情感状态的影响，从而准确地实现了对输入的对话文本的情绪倾向分类。

Description

一种对话文本的情感倾向分类模型的建模方法和装置
技术领域
本发明涉及对话情感识别技术领域，具体涉及一种对话文本的情感倾向分类模型的建模方法和装置。
背景技术
互联网技术的迅速发展和普及，迅速将人类带入进了信息时代，为人们的工作生活带来了极大的便利。如何使机器能够理解人类的语言表达，也成了下一阶段互联网技术发展的重要方向。
现有的智能设备已经能够识别用户对其发出的指令，这个过程中智能设备首先将语音信息拆分成音素集合(例如中文中的声母、韵母和音调)，然后通过诸如深度学习模型等机器学习算法，将这些音素集合转化为文本信息，最后通过对获得的文本信息进行语义分析，从而获取用户对其下发的目标指令。但是，现有技术只是侧重于文本浅层特征的自动学习，忽略了文本中蕴含的诸如喜怒哀乐等情绪信息的特征，从而不能使机器实现与人之间更深入的交流和沟通。
因此，如何准确地针对对话文本进行情绪倾向分类，是目前亟待解决的技术问题。
发明内容
本发明的目的是提供一种对话文本的情感倾向分类模型的建模方法和装置，以准确地针对对话文本进行情绪倾向分类。
本发明实施例提供了以下方案：
第一方面，本发明实施例提供一种对话文本的情感倾向分类模型的建模方法，所述方法包括：
构建对话文本训练集；
构建对话文本的情感倾向分类模型；
利用所述对话文本训练集训练所述对话文本的情感倾向分类模型，获得训练好的对话文本的情感倾向分类模型；
其中，所述训练好的对话文本的情感倾向分类模型，包括：
词向量化处理层，用于对输入的对话文本进行词向量化处理，获得词向量embedding矩阵；
联系权重矩阵计算层，用于将所述词向量embedding矩阵等同于Key矩阵、Value矩阵和Query矩阵，并通过Transformer-Encoder模型，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵；
对话表达特征获取层，用于将所述联系权重矩阵通过线性层和残差神经网络进行处理计算，获取所述输入的对话文本中每句对话的表达特征；
情感状态信息获取层，用于根据所述每句对话的表达特征，获得所述每句对话对应的情感状态信息；
情感倾向分类层，用于利用MLP网络对所述每句对话对应的情感状态信息进行处理，获得所述输入的对话文本中每句对话对应的情感倾向分类。
在一种可能的实施例中，所述构建对话文本训练集，包括：
获取对话文本原始集；
统一所述对话文本原始集的对话格式，去除所述对话文本原始集中的停用词和无用字符；
为所述对话文本原始集中的每句对话设置对应的情感状态信息和情感倾向分类，构建所述对话文本训练集。
在一种可能的实施例中，所述对输入的对话文本进行词向量化处理，获得词向量embedding矩阵，包括：
利用分词工具对所述输入的对话文本进行分词处理，获得若干词汇；
利用所述若干词汇构建字典；
为所述字典中各词汇分别映射词汇ID；
将所述词汇ID映射到初始化的embedding矩阵，获得所述词向量embedding矩阵。
在一种可能的实施例中，所述将所述词向量embedding矩阵等同于Key矩阵、Value矩阵和Query矩阵，并通过Transformer-Encoder模型，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵，包括：
将所述词向量embedding矩阵等同于所述Transformer-Encoder模型中的Key矩阵、Value矩阵和Query矩阵；
将所述Key矩阵、所述Value矩阵和所述Query矩阵分别进行线性映射，获得Key线性矩阵、Value线性矩阵和Query线性矩阵；
将所述Key线性矩阵、所述Value线性矩阵和所述Query线性矩阵分别进行num_heads次均等切分，获得Key线性矩阵集合K、Value线性矩阵集合V和Query线性矩阵集合Q；
计算headi，具体计算公式为：
其中，Ki为所述Key线性矩阵集合K的第i个元素元素；Vi为所述Value线性矩阵集合V的第i个元素元素；Qi为所述Query线性矩阵集合Q的第i个元素元素；dn为所述词向量embedding矩阵的维度；
对headi进行拼接，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵。
在一种可能的实施例中，所述根据所述每句对话的表达特征，获得所述每句对话对应的情感状态信息，包括：
利用GRU网络从所述输入的对话文本中的当前对话前的历史对话的表达特征中提取所述历史对话的情感状态信息；
使用注意力机制分别计算所述历史对话的情感状态信息对所述当前对话的情感状态信息的影响权重；
利用GRU网络对所述当前对话前的历史对话的情感状态信息和所述影响权重进行计算处理，获得所述当前对话对应的情感状态信息。
第二方面，本发明实施例提供一种对话文本的情感倾向分类模型的建模装置，所述装置包括：
对话文本训练集构建模块，用于构建对话文本训练集；
模型构建模块，用于构建对话文本的情感倾向分类模型；
模型训练模块，用于利用所述对话文本训练集训练所述对话文本的情感倾向分类模型，获得训练好的对话文本的情感倾向分类模型；
其中，所述训练好的对话文本的情感倾向分类模型，包括：
词向量化处理层，用于对输入的对话文本进行词向量化处理，获得词向量embedding矩阵；
联系权重矩阵计算层，用于将所述词向量embedding矩阵等同于Key矩阵、Value矩阵和Query矩阵，并通过Transformer-Encoder模型，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵；
对话表达特征获取层，用于将所述联系权重矩阵通过线性层和残差神经网络进行处理计算，获取所述输入的对话文本中每句对话的表达特征；
情感状态信息获取层，用于根据所述每句对话的表达特征，获得所述每句对话对应的情感状态信息；
情感倾向分类层，用于利用MLP网络对所述每句对话对应的情感状态信息进行处理，获得所述输入的对话文本中每句对话对应的情感倾向分类。
在一种可能的实施例中，所述词向量化处理层，包括：
分词处理模块，用于利用分词工具对所述输入的对话文本进行分词处理，获得若干词汇；
字典构建模块，用于利用所述若干词汇构建字典；
词汇ID映射模块，用于为所述字典中各词汇分别映射词汇ID；
词向量embedding矩阵获取模块，用于将所述词汇ID映射到初始化的embedding矩阵，获得所述词向量embedding矩阵。
在一种可能的实施例中，所述联系权重矩阵计算层，包括：
矩阵获取模块，用于将所述词向量embedding矩阵等同于所述Transformer-Encoder模型中的Key矩阵、Value矩阵和Query矩阵；
线性矩阵获取模块，用于将所述Key矩阵、所述Value矩阵和所述Query矩阵分别进行线性映射，获得Key线性矩阵、Value线性矩阵和Query线性矩阵；
线性矩阵集合获取模块，用于将所述Key线性矩阵、所述Value线性矩阵和所述Query线性矩阵分别进行num_heads次均等切分，获得Key线性矩阵集合K、Value线性矩阵集合V和Query线性矩阵集合Q；
headi计算模块，用于计算headi，具体计算公式为：
其中，Ki为所述Key线性矩阵集合K的第i个元素元素；Vi为所述Value线性矩阵集合V的第i个元素元素；Qi为所述Query线性矩阵集合Q的第i个元素元素；dn为所述词向量embedding矩阵的维度；
headi拼接模块，用于对headi进行拼接，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵。
在一种可能的实施例中，所述对话文本训练集构建模块包括：
对话文本原始集获取模块，用于获取对话文本原始集；
格式内容处理模块，用于统一所述对话文本原始集的对话格式，去除所述对话文本原始集中的停用词和无用字符；
训练集构建模块，用于为所述对话文本原始集中的每句对话设置对应的情感状态信息和情感倾向分类，构建所述对话文本训练集。
在一种可能的实施例中，所述情感状态信息获取层，包括：
历史对话的情感状态信息获取模块，用于利用GRU网络从所述输入的对话文本中的当前对话前的历史对话的表达特征中提取所述历史对话的情感状态信息；
影响权重计算模块，用于使用注意力机制分别计算所述历史对话的情感状态信息对所述当前对话的情感状态信息的影响权重；
当前对话对应的情感状态信息获取模块，用于利用GRU网络对所述当前对话前的历史对话的情感状态信息和所述影响权重进行计算处理，获得所述当前对话对应的情感状态信息。
第三方面，本发明实施例提供一种对话文本的情感倾向分类模型的建模设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现第一方面中任一所述的催收暴力倾向评价方法的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时以实现第一方面中任一所述的催收暴力倾向评价方法的步骤。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明中的对话文本的情感倾向分类模型包括五个层级，通过词向量化处理将输入的对话文本打散为一个一个的词汇，然后计算每句对话中词汇之间的联系权重，生成联系权重矩阵，再根据该联系权重矩阵，选择合适的词汇用于指代输入的对话文本中每句对话的表达特征，之后结合历史对话的情感状态信息对当前对话的影响，获取每句对话对应的情感状态信息，最终通过MLP网络获取输入的对话文本中每句对话对应的情感倾向分类。本发明充分考虑了在先的历史对话对当前对话的情感状态的影响，从而准确地实现了对输入的对话文本的情绪倾向分类。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种可能的对话文本的情感倾向分类模型的建模方法实施例的流程图；
图2是本发明实施例提供的一种可能的对话文本的情感倾向分类模型的建模装置实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明实施例保护的范围。
请参阅图1，图1为本发明实施例提供的一种对话文本的情感倾向分类模型的建模方法的流程图，包括步骤11至步骤13。
步骤11，构建对话文本训练集。
具体来说，对话文本通常是两个或两个以上讲话者之间的文字对话，比如微信等聊天工具的聊天记录等，当然还可以是一个讲话者的独白。通过收集对话文本，再对对话进行情感倾向分类的标注，即可构建对话文本训练集。
本发明为了提高对话文本训练集的训练效率，给出了一种高效的对话文本训练集构建方法，具体包括步骤1.1至步骤1.3。
步骤1.1，获取对话文本原始集。
具体的，该对话文本原始集，可以通过个人收集整理相关聊天记录获得，也可以使用爬虫技术从互联网中爬取相关对话文本获得。
步骤1.2，统一所述对话文本原始集的对话格式，去除所述对话文本原始集中的停用词和无用字符。
具体的，对话文本原始集中的会包含有html标签、错别字和无用的字符等，其中的文本格式(例如金额、电话号码、URL、日期、英文格式等)可能存在多种式样，这都不利于训练集对模型的训练，因此本发明之后针对对话文本原始集进行清洗，包括去除html标签、替换错别字、过滤无用的字符等，然后为清洗后的对话文本统一格式规范，例如统一金额，电话号码，URL，日期时间，微信名，利率，英文符号等的格式。
步骤1.3，为所述对话文本原始集中的每句对话设置对应的情感状态信息和情感倾向分类，构建所述对话文本训练集。
具体的，具体的情感状态信息可以是喜怒哀乐等，每句对话设置对应的情感状态信息可以有多个；情感倾向分类一般只有一个，用每句对话中最合适的情感状态信息来作为该句对话的情感倾向分类。
步骤12，构建对话文本的情感倾向分类模型。
具体的，对话文本的情感倾向分类模型和训练好的对话文本的情感倾向分类模型一样，也是分为五层，但是区别是，该对话文本的情感倾向分类模型中的网络算法以及分类模型并未经过训练，还无法完成对话文本的情感倾向分类。
步骤13，利用所述对话文本训练集训练所述对话文本的情感倾向分类模型，获得训练好的对话文本的情感倾向分类模型。
其中，所述训练好的对话文本的情感倾向分类模型，包括：词向量化处理层、联系权重矩阵计算层、对话表达特征获取层、情感状态信息获取层和情感倾向分类层。
词向量化处理层，用于对输入的对话文本进行词向量化处理，获得词向量embedding矩阵。
具体的，词向量化处理是指对分词得到的词语及其词性和位置信息映射成向量。本步骤可以使用Glove模型利用全局统计信息，进行矩阵分解(如LSA)来获取词向量，或者利用局部上下文窗口单独训练，利用统计信息作为有用的先验知识，从而获取词向量embedding矩阵。
联系权重矩阵计算层，用于将所述词向量embedding矩阵等同于Key矩阵、Value矩阵和Query矩阵，并通过Transformer-Encoder模型，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵。
具体的，本步骤用以将独立的词向量之间建立联系，用联系权重的形式表现出各词向量之间的亲疏关系，这样一句对话中将不再是一个个单独无关联的词向量，而是互相之间包含有亲疏关系的词向量，以更好地表征一句对话。例如对话文本中的动词以及其后的动词宾语被分为两个词汇，在经词向量处理后，就被认为是两个独立的词汇了，但其实两个词汇之间是有前后关联关系的，因此可以用一个加大的权值来表征他们之间的关联关系。
对话表达特征获取层，用于将所述联系权重矩阵通过线性层和残差神经网络进行处理计算，获取所述输入的对话文本中每句对话的表达特征。
具体的，本步骤的处理思想为：根据联系权重矩阵，从一句对话中的多个词向量中寻找权重较大的一个或多个词向量，来指代整句对话的表达特征。
情感状态信息获取层，用于根据所述每句对话的表达特征，获得所述每句对话对应的情感状态信息。
具体的，这里的情感状态信息可以是常规的喜怒哀乐等，还可以是设定的情感情绪等级，例如1至10级悲伤。本步骤能够联系历史对话对当前对话情感状态信息的影响，从而准确获得当前对话的情感状态信息。
情感倾向分类层，用于利用MLP网络对所述每句对话对应的情感状态信息进行处理，获得所述输入的对话文本中每句对话对应的情感倾向分类。
具体的，本步骤通过MLP网络进一步简化每一句对话中情感状态信息的表达，从而为该句对话表达出更有代表性的信息，即对应的情感倾向分类。
在一种可能的实施例中，本发明实施例给出了一种词向量化处理的方案。
具体为：所述对输入的对话文本进行词向量化处理，获得词向量embedding矩阵，包括步骤2.1至步骤2.4。
步骤2.1，利用分词工具对所述输入的对话文本进行分词处理，获得若干词汇。
步骤2.2，利用所述若干词汇构建字典。
步骤2.3，为所述字典中各词汇分别映射词汇ID。
步骤2.4，将所述词汇ID映射到初始化的embedding矩阵，获得所述词向量embedding矩阵。
具体的，本步骤能够高效地实现对话文本的词向量化处理。
在一种可能的实施例中，本发明实施例提供了一种词向量之间的联系权重矩阵的获取方案。
具体为：所述将所述词向量embedding矩阵等同于Key矩阵、Value矩阵和Query矩阵，并通过Transformer-Encoder模型，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵，包括步骤3.1至步骤3.5。
步骤3.1，将所述词向量embedding矩阵等同于所述Transformer-Encoder模型中的Key矩阵、Value矩阵和Query矩阵。
步骤3.2，将所述Key矩阵、所述Value矩阵和所述Query矩阵分别进行线性映射，获得Key线性矩阵、Value线性矩阵和Query线性矩阵。
步骤3.3，将所述Key线性矩阵、所述Value线性矩阵和所述Query线性矩阵分别进行num_heads次均等切分，获得Key线性矩阵集合K、Value线性矩阵集合V和Query线性矩阵集合Q。
步骤3.4，计算headi，具体计算公式为：
其中，Ki为所述Key线性矩阵集合K的第i个元素元素；Vi为所述Value线性矩阵集合V的第i个元素元素；Qi为所述Query线性矩阵集合Q的第i个元素元素；dn为所述词向量embedding矩阵的维度。
步骤3.5，对headi进行拼接，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵。
具体的，本发明实施例能够使用获得的联系权重矩阵来用有关系的词向量来表征一句对话。
在一种可能的实施例中，本发明实施例假设基于自身的情绪受自身之前情绪影响较大，通过GRU学习当前讲话者内在情感的惯性，捕捉讲话者与其先前状态之间的情感依赖关系，以更加准确地获取每句对话对应的情感状态信息。
具体为：所述根据所述每句对话的表达特征，获得所述每句对话对应的情感状态信息，包括步骤4.1至步骤4.3。
步骤4.1，利用GRU网络从所述输入的对话文本中的当前对话前的历史对话的表达特征中提取所述历史对话的情感状态信息。
具体的，这里以角色a和角色b两个讲话者的对话为例，说明本步骤的实现方式。
本步骤在GRU网络中采用下述公式来获取第一讲话者的当前对话前的历史对话对应的情感状态信息：
其中，gt为当前对话前的历史对话对应的情感状态信息，qa,t-1为当前讲话者为a的第一对话的情感状态信息，qb,t-1为当前讲话者为b的当前对话的情感状态信息，λ为当前对话的讲话者。
步骤4.2，使用注意力机制分别计算所述历史对话的情感状态信息对所述当前对话的情感状态信息的影响权重。
具体的，间隔越大的对话对当前对话的情感影响较小，影响权重越小，间隔越小的对话对当前对话的情感影响较大，影响权重越大。
步骤4.3，利用GRU网络对所述当前对话前的历史对话的情感状态信息和所述影响权重进行计算处理，获得所述当前对话对应的情感状态信息。
具体的，这里以角色a和角色b两个讲话者的对话为例，说明本步骤的实现方式。
本步骤在GRU网络中采用下述公式来获取当前对话对应的情感状态信息：
其中，qa,t-1为当前讲话者为a的当前对话的情感状态信息，qb,t-1为当前讲话者为b的当前对话的情感状态信息，λ为当前对话的讲话者；ut为当前对话的表达特征，ct为历史对话的情感状态信息对当前对话的情感状态信息的影响权重。
基于与方法同样的发明构思，本发明实施例还提供了一种对话文本的情感倾向分类模型的建模装置，所述装置包括：
对话文本训练集构建模块21，用于构建对话文本训练集；
模型构建模块22，用于构建对话文本的情感倾向分类模型；
模型训练模块23，用于利用所述对话文本训练集训练所述对话文本的情感倾向分类模型，获得训练好的对话文本的情感倾向分类模型；
其中，所述训练好的对话文本的情感倾向分类模型，包括：
词向量化处理层，用于对输入的对话文本进行词向量化处理，获得词向量embedding矩阵；
联系权重矩阵计算层，用于将所述词向量embedding矩阵等同于Key矩阵、Value矩阵和Query矩阵，并通过Transformer-Encoder模型，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵；
对话表达特征获取层，用于将所述联系权重矩阵通过线性层和残差神经网络进行处理计算，获取所述输入的对话文本中每句对话的表达特征；
情感状态信息获取层，用于根据所述每句对话的表达特征，获得所述每句对话对应的情感状态信息；
情感倾向分类层，用于利用MLP网络对所述每句对话对应的情感状态信息进行处理，获得所述输入的对话文本中每句对话对应的情感倾向分类。
在一种可能的实施例中，所述词向量化处理层，包括：
分词处理模块，用于利用分词工具对所述输入的对话文本进行分词处理，获得若干词汇；
字典构建模块，用于利用所述若干词汇构建字典；
词汇ID映射模块，用于为所述字典中各词汇分别映射词汇ID；
词向量embedding矩阵获取模块，用于将所述词汇ID映射到初始化的embedding矩阵，获得所述词向量embedding矩阵。
在一种可能的实施例中，所述联系权重矩阵计算层，包括：
矩阵获取模块，用于将所述词向量embedding矩阵等同于所述Transformer-Encoder模型中的Key矩阵、Value矩阵和Query矩阵；
线性矩阵获取模块，用于将所述Key矩阵、所述Value矩阵和所述Query矩阵分别进行线性映射，获得Key线性矩阵、Value线性矩阵和Query线性矩阵；
线性矩阵集合获取模块，用于将所述Key线性矩阵、所述Value线性矩阵和所述Query线性矩阵分别进行num_heads次均等切分，获得Key线性矩阵集合K、Value线性矩阵集合V和Query线性矩阵集合Q；
headi计算模块，用于计算headi，具体计算公式为：
其中，Ki为所述Key线性矩阵集合K的第i个元素元素；Vi为所述Value线性矩阵集合V的第i个元素元素；Qi为所述Query线性矩阵集合Q的第i个元素元素；dn为所述词向量embedding矩阵的维度；
headi拼接模块，用于对headi进行拼接，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵。
在一种可能的实施例中，所述对话文本训练集构建模块包括：
对话文本原始集获取模块，用于获取对话文本原始集；
格式内容处理模块，用于统一所述对话文本原始集的对话格式，去除所述对话文本原始集中的停用词和无用字符；
训练集构建模块，用于为所述对话文本原始集中的每句对话设置对应的情感状态信息和情感倾向分类，构建所述对话文本训练集。
在一种可能的实施例中，所述情感状态信息获取层，包括：
历史对话的情感状态信息获取模块，用于利用GRU网络从所述输入的对话文本中的当前对话前的历史对话的表达特征中提取所述历史对话的情感状态信息；
影响权重计算模块，用于使用注意力机制分别计算所述历史对话的情感状态信息对所述当前对话的情感状态信息的影响权重；
当前对话对应的情感状态信息获取模块，用于利用GRU网络对所述当前对话前的历史对话的情感状态信息和所述影响权重进行计算处理，获得所述当前对话对应的情感状态信息。
基于与前述实施例中同样的发明构思，本发明实施例还提供一种对话文本的情感倾向分类模型的建模设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前文任一所述方法的步骤。
基于与前述实施例中同样的发明构思，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文任一所述方法的步骤。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
本发明中的对话文本的情感倾向分类模型包括五个层级，通过词向量化处理将输入的对话文本打散为一个一个的词汇，然后计算每句对话中词汇之间的联系权重，生成联系权重矩阵，再根据该联系权重矩阵，选择合适的词汇用于指代输入的对话文本中每句对话的表达特征，之后结合历史对话的情感状态信息对当前对话的影响，获取每句对话对应的情感状态信息，最终通过MLP网络获取输入的对话文本中每句对话对应的情感倾向分类。本发明充分考虑了在先的历史对话对当前对话的情感状态的影响，从而准确地实现了对输入的对话文本的情绪倾向分类。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(模块、系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (8)

1.一种对话文本的情感倾向分类模型的建模方法，其特征在于，所述方法包括：
构建对话文本训练集；
构建对话文本的情感倾向分类模型；
利用所述对话文本训练集训练所述对话文本的情感倾向分类模型，获得训练好的对话文本的情感倾向分类模型；
其中，所述训练好的对话文本的情感倾向分类模型，包括：
词向量化处理层，用于对输入的对话文本进行词向量化处理，获得词向量embedding矩阵；
联系权重矩阵计算层，用于将所述词向量embedding矩阵等同于Key矩阵、Value矩阵和Query矩阵，并通过Transformer-Encoder模型，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵，包括：
将所述词向量embedding矩阵等同于所述Transformer-Encoder模型中的Key矩阵、Value矩阵和Query矩阵；将所述Key矩阵、所述Value矩阵和所述Query矩阵分别进行线性映射，获得Key线性矩阵、Value线性矩阵和Query线性矩阵；将所述Key线性矩阵、所述Value线性矩阵和所述Query线性矩阵分别进行num_heads次均等切分，获得Key线性矩阵集合K、Value线性矩阵集合V和Query线性矩阵集合Q；
计算headi，具体计算公式为：
其中，Ki为所述Key线性矩阵集合K的第i个元素元素；Vi为所述Value线性矩阵集合V的第i个元素元素；Qi为所述Query线性矩阵集合Q的第i个元素元素；dn为所述词向量embedding矩阵的维度；
对headi进行拼接，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵；
对话表达特征获取层，用于将所述联系权重矩阵通过线性层和残差神经网络进行处理计算，获取所述输入的对话文本中每句对话的表达特征；
情感状态信息获取层，用于根据所述每句对话的表达特征，获得所述每句对话对应的情感状态信息；
情感倾向分类层，用于利用MLP网络对所述每句对话对应的情感状态信息进行处理，获得所述输入的对话文本中每句对话对应的情感倾向分类。
2.根据权利要求1所述的建模方法，其特征在于，所述构建对话文本训练集，包括：
获取对话文本原始集；
统一所述对话文本原始集的对话格式，去除所述对话文本原始集中的停用词和无用字符；
为所述对话文本原始集中的每句对话设置对应的情感状态信息和情感倾向分类，构建所述对话文本训练集。
3.根据权利要求1所述的建模方法，其特征在于，所述对输入的对话文本进行词向量化处理，获得词向量embedding矩阵，包括：
利用分词工具对所述输入的对话文本进行分词处理，获得若干词汇；
利用所述若干词汇构建字典；
为所述字典中各词汇分别映射词汇ID；
将所述词汇ID映射到初始化的embedding矩阵，获得所述词向量embedding矩阵。
4.根据权利要求1所述的建模方法，其特征在于，所述根据所述每句对话的表达特征，获得所述每句对话对应的情感状态信息，包括：
利用GRU网络从所述输入的对话文本中的当前对话前的历史对话的表达特征中提取所述历史对话的情感状态信息；
使用注意力机制分别计算所述历史对话的情感状态信息对所述当前对话的情感状态信息的影响权重；
利用GRU网络对所述当前对话前的历史对话的情感状态信息和所述影响权重进行计算处理，获得所述当前对话对应的情感状态信息。
5.一种对话文本的情感倾向分类模型的建模装置，其特征在于，所述装置包括：
对话文本训练集构建模块，用于构建对话文本训练集；
模型构建模块，用于构建对话文本的情感倾向分类模型；
模型训练模块，用于利用所述对话文本训练集训练所述对话文本的情感倾向分类模型，获得训练好的对话文本的情感倾向分类模型；
其中，所述训练好的对话文本的情感倾向分类模型，包括：
词向量化处理层，用于对输入的对话文本进行词向量化处理，获得词向量embedding矩阵；
联系权重矩阵计算层，用于将所述词向量embedding矩阵等同于Key矩阵、Value矩阵和Query矩阵，并通过Transformer-Encoder模型，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵，包括：
矩阵获取模块，用于将所述词向量embedding矩阵等同于所述Transformer-Encoder模型中的Key矩阵、Value矩阵和Query矩阵；线性矩阵获取模块，用于将所述Key矩阵、所述Value矩阵和所述Query矩阵分别进行线性映射，获得Key线性矩阵、Value线性矩阵和Query线性矩阵；线性矩阵集合获取模块，用于将所述Key线性矩阵、所述Value线性矩阵和所述Query线性矩阵分别进行num_heads次均等切分，获得Key线性矩阵集合K、Value线性矩阵集合V和Query线性矩阵集合Q；
headi计算模块，用于计算headi，具体计算公式为：
其中，Ki为所述Key线性矩阵集合K的第i个元素元素；Vi为所述Value线性矩阵集合V的第i个元素元素；Qi为所述Query线性矩阵集合Q的第i个元素元素；dn为所述词向量embedding矩阵的维度；
headi拼接模块，用于对headi进行拼接，获得带有所述词向量embedding矩阵中各词汇之间联系的联系权重矩阵；
对话表达特征获取层，用于将所述联系权重矩阵通过线性层和残差神经网络进行处理计算，获取所述输入的对话文本中每句对话的表达特征；
情感状态信息获取层，用于根据所述每句对话的表达特征，获得所述每句对话对应的情感状态信息；
情感倾向分类层，用于利用MLP网络对所述每句对话对应的情感状态信息进行处理，获得所述输入的对话文本中每句对话对应的情感倾向分类。
6.根据权利要求5所述的建模装置，其特征在于，所述词向量化处理层，包括：
分词处理模块，用于利用分词工具对所述输入的对话文本进行分词处理，获得若干词汇；
字典构建模块，用于利用所述若干词汇构建字典；
词汇ID映射模块，用于为所述字典中各词汇分别映射词汇ID；
词向量embedding矩阵获取模块，用于将所述词汇ID映射到初始化的embedding矩阵，获得所述词向量embedding矩阵。
7.一种对话文本的情感倾向分类模型的建模设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现权利要求1至4任一所述的方法的步骤。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时以实现权利要求1至4任一所述的方法的步骤。
CN201911354501.9A 2019-12-25 2019-12-25 一种对话文本的情感倾向分类模型的建模方法和装置 Active CN111144097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911354501.9A CN111144097B (zh) 2019-12-25 2019-12-25 一种对话文本的情感倾向分类模型的建模方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911354501.9A CN111144097B (zh) 2019-12-25 2019-12-25 一种对话文本的情感倾向分类模型的建模方法和装置

Publications (2)

Publication Number Publication Date
CN111144097A CN111144097A (zh) 2020-05-12
CN111144097B true CN111144097B (zh) 2023-08-18

Family

ID=70519860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911354501.9A Active CN111144097B (zh) 2019-12-25 2019-12-25 一种对话文本的情感倾向分类模型的建模方法和装置

Country Status (1)

Country Link
CN (1) CN111144097B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112100325A (zh) * 2020-08-28 2020-12-18 广州探迹科技有限公司 一种基于分层门控循环单元的人机对话情感分析方法
CN112069813B (zh) * 2020-09-10 2023-10-13 腾讯科技（深圳）有限公司 文本处理方法、装置、设备及计算机可读存储介质
CN112463967A (zh) * 2020-12-07 2021-03-09 携程计算机技术（上海）有限公司 情绪预警方法、系统、设备及存储介质
CN113704430A (zh) * 2021-08-31 2021-11-26 平安普惠企业管理有限公司 智能辅助催收方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106104521A (zh) * 2014-01-10 2016-11-09 克鲁伊普公司 用于自动检测文本中的情感的系统、设备和方法
CN106776581A (zh) * 2017-02-21 2017-05-31 浙江工商大学 基于深度学习的主观性文本情感分析方法
CN108170681A (zh) * 2018-01-15 2018-06-15 中南大学 文本情感分析方法、系统及计算机可读存储介质
CN108563731A (zh) * 2018-04-08 2018-09-21 北京奇艺世纪科技有限公司 一种情感分类方法及装置
CN108804512A (zh) * 2018-04-20 2018-11-13 平安科技（深圳）有限公司 文本分类模型的生成装置、方法及计算机可读存储介质
CN109255025A (zh) * 2018-08-01 2019-01-22 华中科技大学鄂州工业技术研究院 一种短文本分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10437936B2 (en) * 2018-02-01 2019-10-08 Jungle Disk, L.L.C. Generative text using a personality model

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106104521A (zh) * 2014-01-10 2016-11-09 克鲁伊普公司 用于自动检测文本中的情感的系统、设备和方法
CN106776581A (zh) * 2017-02-21 2017-05-31 浙江工商大学 基于深度学习的主观性文本情感分析方法
CN108170681A (zh) * 2018-01-15 2018-06-15 中南大学 文本情感分析方法、系统及计算机可读存储介质
CN108563731A (zh) * 2018-04-08 2018-09-21 北京奇艺世纪科技有限公司 一种情感分类方法及装置
CN108804512A (zh) * 2018-04-20 2018-11-13 平安科技（深圳）有限公司 文本分类模型的生成装置、方法及计算机可读存储介质
CN109255025A (zh) * 2018-08-01 2019-01-22 华中科技大学鄂州工业技术研究院 一种短文本分类方法

Also Published As

Publication number Publication date
CN111144097A (zh) 2020-05-12

Similar Documents

Publication Publication Date Title
CN111144097B (zh) 一种对话文本的情感倾向分类模型的建模方法和装置
CN110110062B (zh) 机器智能问答方法、装置与电子设备
CN109710744B (zh) 一种数据匹配方法、装置、设备及存储介质
CN109460459B (zh) 一种基于日志学习的对话系统自动优化方法
CN110347787B (zh) 一种基于ai辅助面试场景的面试方法、装置及终端设备
CN110910283A (zh) 生成法律文书的方法、装置、设备和存储介质
CN107977353A (zh) 一种基于lstm-cnn的混合语料命名实体识别方法
CN112016320A (zh) 基于数据增强的英文标点符号添加方法和系统及设备
CN115019776A (zh) 语音识别模型及其训练方法、语音识别方法及装置
CN109033073B (zh) 基于词汇依存三元组的文本蕴含识别方法及装置
CN112185361B (zh) 一种语音识别模型训练方法、装置、电子设备及存储介质
JP5612720B1 (ja) 対話制御学習装置と対話制御装置とそれらの方法とプログラム
CN111339772B (zh) 俄语文本情感分析方法、电子设备和存储介质
CN110415725A (zh) 使用第一语言数据评估第二语言发音质量的方法及系统
CN107992468A (zh) 一种基于lstm的混合语料命名实体识别方法
CN114360584A (zh) 一种基于音素级的语音情感分层式识别方法及系统
CN113901838A (zh) 对话检测方法和装置、电子设备、存储介质
CN112632272B (zh) 基于句法分析的微博情感分类方法和系统
CN111091809B (zh) 一种深度特征融合的地域性口音识别方法及装置
CN111401069A (zh) 会话文本的意图识别方法、意图识别装置及终端
CN111178068B (zh) 一种基于对话情绪检测的催收暴力倾向评价方法和装置
Baranwal et al. Improved Mispronunciation detection system using a hybrid CTC-ATT based approach for L2 English speakers
CN114461779A (zh) 一种案件笔录要素抽取方法
CN116484004B (zh) 一种对话情绪识别分类方法
CN113361615B (zh) 基于语义相关性的文本分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant