CN111949761A - 考虑情感和主题的对话问题生成方法和系统、存储介质 - Google Patents

考虑情感和主题的对话问题生成方法和系统、存储介质 Download PDF

Info

Publication number
CN111949761A
CN111949761A CN202010642828.2A CN202010642828A CN111949761A CN 111949761 A CN111949761 A CN 111949761A CN 202010642828 A CN202010642828 A CN 202010642828A CN 111949761 A CN111949761 A CN 111949761A
Authority
CN
China
Prior art keywords
emotion
keywords
topic
block
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010642828.2A
Other languages
English (en)
Other versions
CN111949761B (zh
Inventor
孙晓
雷盼盼
汪萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010642828.2A priority Critical patent/CN111949761B/zh
Publication of CN111949761A publication Critical patent/CN111949761A/zh
Application granted granted Critical
Publication of CN111949761B publication Critical patent/CN111949761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种考虑情感和主题的对话问题生成方法和系统、存储介质，涉及对话问题生成领域。本发明实施例首先将文章P分割成N个段落块Pc，并将段落块Pc和对话历史记录Hi输入预先训练的问题焦点预测模型，确定问题焦点段落块Fi；然后在所述问题焦点段落块Fi中预测情感关键词
Figure DDA0002572056520000011
和主题关键词
Figure DDA0002572056520000012
最后根据所述情感关键词
Figure DDA0002572056520000013
和主题关键词
Figure DDA0002572056520000014
最终生成对话问题q。本发明实施例将文章P的情感和主题纳入对话问题生成的环节中，与现有的对话问题生成模型只考虑根据对话历史记录相比，进一步提高了对话问题生成的连贯性，且生成的问题的认知水平不再局限于浅层级，而是达到了生成了更具逻辑性和深层意义的问题的有益效果。

Description

考虑情感和主题的对话问题生成方法和系统、存储介质
技术领域
本发明涉及对话问题生成领域，具体涉及一种考虑情感和主题的对话问题生成方法和系统、存储介质。
背景技术
对话问题生成是近几年新兴的一个任务。在该任务中给定一篇文章和一段基于文章的历史问答对来生成下一个问题，而生成的问题应与历史对话连贯且与文章的主题关联。对话式问题生成可用于人机对话，辅导系统，儿童故事机童话提问，问诊系统等。
目前，对话问题生成，旨在通过多轮对话逐渐地接收和传递文章信息。例如，申请号为CN201910267076.3的发明专利：一种基于强化动态推理的对话式问题生成方法。该发明专利提供的对话问题生成模型根据段落和对话历史记录生成问题，提出了一种称为强化动态推理网络的新方法，该方法基于通用的编码器-解码器框架，但以动态方式并入了推理过程，以更好地理解所询问的内容和接下来要询问的内容。
但是，上述模型只考虑了根据对话历史记录来提高对话问题生成的连贯性，而没有考虑到文章的情感和主题。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种考虑情感和主题的对话问题生成方法和系统、存储介质，解决了现有的对话问题生成模型只考虑根据对话历史记录来提高对话问题生成的连贯性，而没有考虑到文章的情感和主题的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种考虑情感和主题的对话问题生成方法，包括
获取文章P和与文章P相关的对话历史记录Hi；
将文章P分割成N个段落块Pc，将段落块Pc和对话历史记录Hi输入预先训练的问题焦点预测模型，确定问题焦点段落块Fi；
在问题焦点段落块Fi中预测情感关键词
Figure RE-GDA0002684557180000021
和主题关键词
Figure RE-GDA0002684557180000022
根据情感关键词
Figure RE-GDA0002684557180000023
和主题关键词
Figure RE-GDA0002684557180000024
最终生成对话问题q。
优选的，预先训练的问题焦点预测模型包括嵌入层，上下文层，注意力层，建模层和输出层；
嵌入层将段落块Pc映射成第一词向量序列
Figure RE-GDA0002684557180000025
将对话历史记录Hi映射成第二词向量序列
Figure RE-GDA0002684557180000026
上下文层对第一词向量序列
Figure RE-GDA0002684557180000027
进行编码得到段落块上下文表示
Figure RE-GDA0002684557180000028
对第二词向量序列
Figure RE-GDA0002684557180000029
进行编码得到对话历史记录上下文表示
Figure RE-GDA00026845571800000210
注意力层根据段落块上下文表示
Figure RE-GDA00026845571800000211
和对话历史记录上下文表示
Figure RE-GDA00026845571800000212
得到历史信息增强的上下文表示
Figure RE-GDA00026845571800000213
建模层根据历史信息增强的上下文表示
Figure RE-GDA00026845571800000214
得到结合了对话历史记录Hi中的相关信息的段落块
Figure RE-GDA00026845571800000215
输出层根据段落块
Figure RE-GDA00026845571800000216
将预测的最符合的块索引指定为问题焦点段落块Fi。
优选的，在问题焦点段落块Fi中预测情感关键词
Figure RE-GDA00026845571800000217
和主题关键词
Figure RE-GDA00026845571800000218
之前，方法还包括：
对问题焦点段落块Fi进行编码，得到问题焦点段落块隐藏状态序列 h。
优选的，在问题焦点段落块Fi中预测情感关键词
Figure RE-GDA00026845571800000219
和主题关键词
Figure RE-GDA00026845571800000220
之前，方法还包括：
用预训练的LDA模型预测焦点段落块Fi的情感类别，用情感迁移网络模型预测焦点段落块Fi的主题类别。
优选的，在问题焦点段落块Fi中预测情感关键词
Figure RE-GDA00026845571800000221
和主题关键词
Figure RE-GDA0002684557180000031
具体包括：
采用GloVe模型处理情感类别和主题类别中的所有关键词，得到关键词嵌入k＝{ket,ktp}，其中ket表示情感关键词嵌入，ktp表示主题关键词嵌入；
采用注意力机制求出关键词嵌入k与问题焦点段落块Fi的相关性 c＝{cet,ctp}，其中cet表示情感关键词相关性，ctp表示主题关键词相关性；
求得情感类别的所有关键词条件概率p1：
Figure RE-GDA0002684557180000032
和主题类别中的所有关键词条件概率p2：
Figure RE-GDA0002684557180000033
其中，w1表示情感类别中的关键词，w2表示主题类别中的关键词，
Figure RE-GDA0002684557180000034
是可训练参数，softmax函数用于多分类过程；
情感类别的所有关键词条件概率的最大值，即为预测的情感关键词
Figure RE-GDA0002684557180000035
主题类别中的所有关键词条件概率的最大值，即为预测的主题关键词
Figure RE-GDA0002684557180000036
优选的，对话问题q内容上包括情感关键词
Figure RE-GDA0002684557180000037
主题关键词
Figure RE-GDA0002684557180000038
关键词之间的中间序列qmd，情感关键词和主题关键词两侧的部分qce，qct。
优选的，根据情感关键词
Figure RE-GDA0002684557180000039
和主题关键词
Figure RE-GDA00026845571800000310
最终生成对话问题包括：
由双向异步解码器根据情感关键词
Figure RE-GDA00026845571800000311
和主题关键词
Figure RE-GDA00026845571800000312
最终生成对话问题，双向异步解码器采用通用的句法约束从情感关键词
Figure RE-GDA00026845571800000313
和主题关键词
Figure RE-GDA00026845571800000314
所在的位置异步生成问题。
优选的，情感类别包括七个类别：快乐，喜欢，悲伤，愤怒，恐惧，厌恶和惊奇。
一种考虑情感和主题的对话问题生成系统，包括：
获取模块，用于获取文章P和与文章P相关的对话历史记录Hi；
确定模块，用于将文章P分割成N个段落块Pc，将段落块Pc和对话历史记录Hi输入预先训练的问题焦点预测模型，确定问题焦点段落块 Fi；
预测模块，用于在问题焦点段落块Fi中预测情感关键词
Figure RE-GDA0002684557180000041
和主题关键词
Figure RE-GDA0002684557180000042
生成模块，用于根据情感关键词
Figure RE-GDA0002684557180000043
和主题关键词
Figure RE-GDA0002684557180000044
最终生成对话问题q。
一种计算机可读存储介质，其上存储有计算机程序，在处理器执行计算机程序时可实现上述任一项的方法。
(三)有益效果
本发明提供了一种考虑情感和主题的对话问题生成方法和系统、存储介质。与现有技术相比，具备以下有益效果：
本发明首先将文章P分割成N个段落块Pc，并将段落块Pc和对话历史记录Hi输入预先训练的问题焦点预测模型，确定问题焦点段落块 Fi；然后在所述问题焦点段落块Fi中预测情感关键词
Figure RE-GDA0002684557180000045
和主题关键词
Figure RE-GDA0002684557180000046
最后根据所述情感关键词
Figure RE-GDA0002684557180000047
和主题关键词
Figure RE-GDA0002684557180000048
最终生成对话问题q。本发明将文章P的情感和主题纳入对话问题生成的环节中，与现有的对话问题生成模型只考虑根据对话历史记录相比，进一步提高了对话问题生成的连贯性，且生成的问题的认知水平不再局限于浅层级，而是达到了生成了更具逻辑性和深层意义的问题的有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种考虑情感和主题的对话问题生成方法流程示意图；
图2为本发明实施例中对话问题生成的流程图；
图3为本发明实施例中一种考虑情感和主题的对话问题生成系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种考虑情感和主题的对话问题生成方法和系统、存储介质，解决了现有的对话问题生成模型只考虑根据对话历史记录来提高对话问题生成的连贯性，而没有考虑到文章的情感和主题的技术问题，实现生成更具连贯性、逻辑性和深层意义的问题的有益效果。
本申请实施例中的技术方案为解决所述技术问题，总体思路如下：
本发明实施例首先将文章P分割成N个段落块Pc，并将段落块Pc和对话历史记录Hi输入预先训练的问题焦点预测模型，确定问题焦点段落块Fi；然后在所述问题焦点段落块Fi中预测情感关键词
Figure RE-GDA0002684557180000051
和主题关键词
Figure RE-GDA0002684557180000052
最后根据所述情感关键词
Figure RE-GDA0002684557180000053
和主题关键词
Figure RE-GDA0002684557180000054
最终生成对话问题q。由此，将文章P的情感和主题纳入对话问题生成的环节中，与现有的对话问题生成模型只考虑根据对话历史记录相比，进一步提高了对话问题生成的连贯性，且生成的问题的认知水平不再局限于浅层级，而是达到了生成了更具逻辑性和深层意义的问题的有益效果。
为了更好的理解所述技术方案，下面将结合说明书附图以及具体的实施方式对所述技术方案进行详细的说明。
实施例：
如图1所示，本发明实施例提供了一种考虑情感和主题的对话问题生成方法，包括:
获取文章P和与所述文章P相关的对话历史记录Hi；
将所述文章P分割成N个段落块Pc，将所述段落块Pc和对话历史记录Hi输入预先训练的问题焦点预测模型，确定问题焦点段落块Fi；
在所述问题焦点段落块Fi中预测情感关键词
Figure RE-GDA0002684557180000061
和主题关键词
Figure RE-GDA0002684557180000062
根据所述情感关键词
Figure RE-GDA0002684557180000063
和主题关键词
Figure RE-GDA0002684557180000064
最终生成对话问题q。
由此，将文章P的情感和主题纳入对话问题生成的环节中，与现有的对话问题生成模型只考虑根据对话历史记录相比，进一步提高了对话问题生成的连贯性，且生成的问题的认知水平不再局限于浅层级，而是达到了生成了更具逻辑性和深层意义的问题的有益效果。
具体包括：
步骤一：获取文章P和对话历史记录Hi。
获取文章P和与文章P相关的对话历史记录Hi，所述文章P和对话历史记录Hi可以从网络，书籍或者其他任意可以获取的地方获取。
步骤二：将所述文章P分割成N个段落块Pc，将所述段落块Pc和对话历史记录Hi输入预先训练的问题焦点预测模型，确定问题焦点段落块Fi。
上述问题焦点预测模型包括：嵌入层，上下文层，注意力层，建模层和输出层。
2.1嵌入层
计算机处理文本为了得到单词之间的语义信息，需要将文本表示成由实数组成的向量，这样可以通过统计学和数学公式来计算单词间的语义信息。
嵌入层对每个单词进行处理，采用的词向量工具是Glove，基于全局词频统计的词表征工具。它可以把一个单词表示成一个由实数组成的向量，向量可以捕捉单词之间的一些语义特性，如相似性、类比性。
将文章P分割成N个段落块Pc，则文章P可表示为P＝ (P1,…,PN)，其中Pc表示文章P中的第C个段落块，C∈(1,…,N)。采用GloVe(d＝300)向量作为词嵌入，将段落块Pc映射成第一词向量序列
Figure RE-GDA0002684557180000071
其中
Figure RE-GDA0002684557180000072
表示第一词向量序列
Figure RE-GDA0002684557180000073
中第i个词的d维词嵌入向量，m表示段落块Pc包含m个词。
同理，将对话历史记录Hi映射成第二词向量序列
Figure RE-GDA0002684557180000074
Figure RE-GDA0002684557180000075
其中
Figure RE-GDA0002684557180000076
表示第二词向量序列
Figure RE-GDA0002684557180000077
中第i 个词的d维词嵌入向量，n表示对话历史记录Hi包含n个词。
2.2上下文层
上下文层采用Bi-GRU模型，Bi-GRU是GRU模型从两个相反的方向对序列进行编码，然后链接两个GRU的状态，形成自身的状态。
使用Bi-GRU对上述第一词向量序列
Figure RE-GDA0002684557180000078
进行编码得到文章段落块上下文层，对上述第二词向量序列
Figure RE-GDA0002684557180000079
进行编码得到对话历史记录上下文层。
对于文章段落块上下文层的输入包含
Figure RE-GDA00026845571800000710
和
Figure RE-GDA00026845571800000711
这里
Figure RE-GDA00026845571800000712
用来传递上一轮问题焦点段落块信息，其中，QF表示上一轮历史对话的问题焦点段落块。若上一轮问题焦点段落块与段落块Pc重复则
Figure RE-GDA00026845571800000713
全为1，否则全为0。
对于对话历史记录上下文层的输入为
Figure RE-GDA00026845571800000714
通过编码后得到段落块上下文表示
Figure RE-GDA00026845571800000715
和对话历史记录上下文表示
Figure RE-GDA00026845571800000716
其中v表示Bi-GRU模型隐藏层的维度。
2.3注意力层
将上述段落块上下文表示
Figure RE-GDA00026845571800000717
和对话历史记录上下文表示
Figure RE-GDA00026845571800000718
输入到注意力层。
注意力层可以捕捉每个段落块与对话历史记录的相关性，其相关性用注意力机制求出，即通过使用注意力机制对于段落块Pc的每个词t 生成历史信息增强的上下文表示
Figure RE-GDA0002684557180000081
计算过程如公式(1)-(4)所示。
Figure RE-GDA0002684557180000082
其中，
Figure RE-GDA0002684557180000083
表示第i轮对话时，对第c个段落块编码后隐藏状态序列中的第t个词，t＝1,…,m；
Figure RE-GDA0002684557180000084
表示第i轮对话时，对对话历史记录Hi编码后隐藏序列中的第j个词，j＝1,…,n；
Figure RE-GDA0002684557180000085
是可训练参数。将
Figure RE-GDA0002684557180000086
与
Figure RE-GDA0002684557180000087
合并输入公式(1)中能够度量
Figure RE-GDA0002684557180000088
与
Figure RE-GDA0002684557180000089
的相关性，即得到注意力权值
Figure RE-GDA00026845571800000810
tanh函数可以将一个实数，映射到(0,1)的区间。
Figure RE-GDA00026845571800000811
求得注意力权值
Figure RE-GDA00026845571800000812
占
Figure RE-GDA00026845571800000813
与对话历史记录Hi中每个词注意力权值之和的比重，即对注意力权值进行归一化得到注意力权重
Figure RE-GDA00026845571800000814
Figure RE-GDA00026845571800000815
将注意力权重
Figure RE-GDA00026845571800000816
与对话历史记录隐藏状态序列
Figure RE-GDA00026845571800000817
来加权求和，得到的结果为
Figure RE-GDA00026845571800000818
与每一轮历史对话记录的相关性之和
Figure RE-GDA00026845571800000819
Figure RE-GDA00026845571800000820
由
Figure RE-GDA00026845571800000821
和
Figure RE-GDA00026845571800000822
得到历史信息增强的上下文表示
Figure RE-GDA00026845571800000823
其中
Figure RE-GDA00026845571800000824
是可训练参数。
2.4建模层
建模层采用Bi-GRU模型实现，Bi-GRU可以捕获历史增强的上下文表示
Figure RE-GDA00026845571800000825
之间的交互。将历史信息增强的上下文表示
Figure RE-GDA00026845571800000826
输入建模层中，得到结合了对话历史记录Hi中的相关信息的段落块
Figure RE-GDA00026845571800000827
Figure RE-GDA00026845571800000828
其中i＝(1,…,N)。
2.5输出层
两个线性层组成，预测最符合的块索引，将指定的块估计为当前问题焦点段落块Fi。这层的输入是建模层产生的联合了对话历史信息的段落块
Figure RE-GDA0002684557180000091
步骤三：在所述问题焦点段落块Fi中预测情感关键词
Figure RE-GDA0002684557180000092
和主题关键词
Figure RE-GDA0002684557180000093
本步骤确定最终生成的问题中需要的关键词，所述关键词包括情感关键词和主题关键词，从相应的词典中匹配获得。
上述相应的词典分为情感词典和主题词典。其中，本发明实施例使用的情感词典是《大连理工大学情感本体库》，其中包含27,466个情感关键词，包括七个类别：快乐，喜欢，悲伤，愤怒，恐惧，厌恶和惊奇；主题词典使用预训练潜在狄利克雷分配(LDA)获得，包括十个类别，其中每个类别包括100个关键词。
较一般的关键词预测方法直接使用编码器预测关键词的隐藏序列不同，本发明实施例采用基于先验知识的序列注意机制来补充编码器中的信息不足。由于类别(情感或主题)是知识表示的高级抽象，因此将上述词典中的类别信息用作此处提到的先验知识。具体包括：
3.1段落编码
将上述问题焦点段落块Fi进行编码，编码器中使用的RNN是Bi- LSTM，Bi-LSTM是LSTM模型从两个相反的方向对序列进行编码，然后链接两个LSTM的状态，形成自身的状态。
将问题焦点段落块序列Fi＝(f1，f2，...，fT)输入到Bi-LSTM编码器中，其中f表示序列中的一个词，T表示序列总长度。序列中第k个词fk的隐藏状态将更新为:
Figure RE-GDA0002684557180000094
Figure RE-GDA0002684557180000095
Figure RE-GDA0002684557180000096
是fk通过LSTM前向传播在第k个时间步得到的隐藏状态，
Figure RE-GDA0002684557180000097
是 fk通过LSTM后向传播在第T-k+1个时间步得到的隐藏状态，这里
Figure RE-GDA0002684557180000101
都初始化为零向量。得到第k个词的隐藏状态
Figure RE-GDA0002684557180000102
此时hk包含了上下文信息。将编码后得到的问题焦点段落块隐藏状态序列表示为h＝(h1，h2，...，hT)。循环神经网络每个循环单元当前时间步的隐藏状态hk由该时间步的输入fk和上一个时间步的隐藏状态决定。
3.2问题结构预测：
本步骤旨在检测字典中的情感关键词和主题关键词是否应出现在对话问题q中。本发明实施例定义了以下四种特定情况：
qs＝0：没有关键词，采用常规的编码器-解码器模型。
qs＝1：只有主题关键词，用异步编码器从主题关键词开始生成问题。
qs＝2：只有情感关键词，用异步编码器从情感关键词开始生成问题。
qs＝3：有主题关键词和情感关键词。用本发明实施例提出的双向异步解码器生成问题。
其中，qs表示问题结构的状态信号变量。
用预训练的LDA模型预测主题类别。模型是根据主题词典训练得到,将问题焦点段落块Fi输入上述LDA模型预测主题类别。
用情感迁移网络模型预测情感类别，该模型基于情感词典构建和训练词典匹配卷积神经网络，将问题焦点段落块Fi和情感词典输入训练好的词典匹配卷积神经网络，得到情感类别。
根据两个模型判断问题焦点段落块是否有主题类别和情感类别从而预测问题的结构，获得主题类别和情感类别中的所有关键词。
3.3关键词预测
3.3.1计算相关性
为了将先验知识整合到关键词预测的过程中，将上一步得到的主题类别和情感类别中的所有关键词用GloVe(d＝300)向量作为关键词嵌入k＝{ket,ktp}，其中ket表示情感关键词嵌入，ktp表示主题关键词嵌入。并采用注意力机制求出关键词嵌入k与问题焦点段落块Fi的相关性，具体的相关性计算过程如公式(7)-(9)所示。
Figure RE-GDA0002684557180000111
其中，*∈{et，tp}代表情感关键词或主题关键词，公式中的参数其右上角加星号表示其代表情感关键词或主题关键词的参数。k表示关键词嵌入，当求上式求情感关键词与问题焦点段落块的相关性时，k*就表示情感关键词或者主题关键词嵌入。Vα,Wα,Uα是可训练参数。hi表示编码后的问题焦点段落块隐藏状态序列中的单词。由k*和hi预测两者的相关性，得到注意力权值ei。
对注意力权值ei进行归一化得到关键词注意力权重αi。
Figure RE-GDA0002684557180000112
将关键词注意力权重αi与编码后的问题焦点段落块隐藏状态序列中的单词hi加权求和，此时得到的结果就是关键词嵌入k＝{ket,ktp}) 与问题焦点段落块Fi的相关性c。
Figure RE-GDA0002684557180000113
3.3.2预测关键词
求出关键词嵌入k＝{ket,ktp})与问题焦点段落块Fi的相关性c后，预测问题焦点段落块Fi中的关键词，其关键词的条件概率分别通过公式 (10)和(11)来计算。
Figure RE-GDA0002684557180000114
Figure RE-GDA0002684557180000115
公式(10)和(11)都可以看作一个多类分类器，其中，h是编码后的问题焦点段落块隐藏状态序列，w1表示所述情感类别中的关键词，，w2表示所述主题类别中的关键词，cet和ctp是由公式(9)计算出的关键词嵌入k＝{ket,ktp})与问题焦点段落块Fi的相关性。
Figure RE-GDA0002684557180000121
是可训练参数，softmax用于多分类过程中，它将多个神经元的输出映射到(0,1)区间内，可以看成概率来理解从而进行多分类。
将所述情感类别的所有关键词条件概率的最大值，预测为所述情感关键词
Figure RE-GDA0002684557180000122
将所述主题类别中的所有关键词条件概率的最大值，预测为主题关键词
Figure RE-GDA0002684557180000123
步骤四：根据所述情感关键词
Figure RE-GDA0002684557180000124
和主题关键词
Figure RE-GDA0002684557180000125
最终生成对话问题q。
最终的问题同时具有情感关键词和主题关键词，因此一个至关重要的问题是如何基于两个关键词实现问题生成。
对于有两个关键词的情况时，需要考虑情感关键词和主题关键词是位于中间序列的哪一侧，有两种情况：一种是主题关键词位于中间序列左侧，情感关键词位于中间序列右侧；一种是情感关键词位于中间序列左侧，主题关键词位于中间序列右侧。这里使用双向异步解码器，该解码器利用情感和主题都通用的句法约束从两侧的关键词异步生成问题。假设问题是
Figure RE-GDA0002684557180000126
其中qmd是两个关键词的中间序列，qce,qct表示通过情感关键词和主题关键词两侧的部分。
4.1中间序列的生成
中间序列
Figure RE-GDA0002684557180000127
的生成分为两步异步策略。首先处理情感关键词以形成包含情感信息的序列。然后使用了情感注意力机制，使用隐序列来控制下一步的生成。
Figure RE-GDA0002684557180000128
表示情感关键词和主题关键词。
Figure RE-GDA0002684557180000129
表示引入情感关键词后在第i个时间步的解码状态。
Figure RE-GDA0002684557180000131
表示引入主题关键词后在第j个时间步的解码状态。
中间序列的生成如公式(12)所示，依次从j＝1到j＝K生成中间序列qmd。中间序列的第j个时间步生成的词
Figure RE-GDA0002684557180000132
由上一个时间步生成的词
Figure RE-GDA0002684557180000133
第j个时间步的主题关键词解码状态
Figure RE-GDA0002684557180000134
和第j个时间步的情感注意力单元
Figure RE-GDA0002684557180000135
输入解码器中求得。
Figure RE-GDA0002684557180000136
Figure RE-GDA0002684557180000137
其中，
Figure RE-GDA0002684557180000138
是第j个时间步的情感注意力单元，由注意力控制函数
Figure RE-GDA0002684557180000139
计算，其中输入上个时间步的主题关键词解码状态
Figure RE-GDA00026845571800001310
和包含情感信息的序列
Figure RE-GDA00026845571800001311
具体的计算过程如公式(14)～(16)所示。
Figure RE-GDA00026845571800001312
其中，
Figure RE-GDA00026845571800001313
表示第i个时间步的情感关键词解码状态
Figure RE-GDA00026845571800001314
对第j-1 个时间步的主题关键词解码状态
Figure RE-GDA00026845571800001315
的影响，求得
Figure RE-GDA00026845571800001316
对
Figure RE-GDA00026845571800001317
的注意力权值
Figure RE-GDA00026845571800001318
是函数中可训练参数。
Figure RE-GDA00026845571800001319
把每个时间步求得的注意力权重与对应时间步的情感关键词解码状态加权求和得到了情感注意力单元。
Figure RE-GDA00026845571800001320
4.2关键词两侧序列的生成
生成中间序列后，将中间序列和情感关键词连接起来形成一个新的序列ymd,f,
Figure RE-GDA0002684557180000141
将中间序列和主题关键词连接起来形成新的序列，且去对这个新序列进行反向排序生成一个反向序列ymd,b,
Figure RE-GDA0002684557180000142
然后分别解码正向序列和反向序列得到qce,qct。
Figure RE-GDA0002684557180000143
Figure RE-GDA0002684557180000144
其中，qmd,f,qmd,b分别是中间部分的前向形式和反向形式。h是编码后的问题焦点段落块隐藏状态序列。
pf，pb代表用LSTM网络来解码从编码器输出的序列来生成前向序列和反向序列,具体公式如下：
Figure RE-GDA0002684557180000145
Figure RE-GDA0002684557180000146
其中，Ws，Wk是可训练参数，ck是在第k个时间步的基于注意力解码状态。
bk是循环神经网络在第k个时间步的状态变量，由如下公式得到：
bk＝LSTM2(qk-1,bk-1) (21)
为了得到在解码时候的注意力系数，需要有上下文依赖的词表示
Figure RE-GDA0002684557180000147
其中hk是在2.1段落编码处通过Bi-LSTM编码得到的。然后求hk在(k＝1,…,T)的加权平均值ck。
ck＝∑i＝1,…,T ai,khi (22)
加权系数ai,k由如下公式求得,其中Wh是可训练参数。
Figure RE-GDA0002684557180000148
4.3方向的选择
因为得到的qct是反向序列，所以再重新对qct进行反向排序得到正向序列qct,f。将qce和qct,f连接起来形成一个序列。当主题关键词在中间序列左侧，情感关键词在中间序列右侧时形成序列qf。当情感关键词在中间序列左侧，主题关键词在中间序列右侧时形成序列qb生成的序列qf，qf和序列qb长度均为T′。
将序列qf和序列qb通过两个GRU网络编码，生成隐藏状态
Figure RE-GDA0002684557180000151
Figure RE-GDA0002684557180000152
Figure RE-GDA0002684557180000153
将编码后生成的隐藏状态
Figure RE-GDA0002684557180000154
连接起来形成决策网络的输入。
这里的决策网络使用的是具有sigmoid功能的全层来选择问题的方向，Sigmoid函数单增以及反函数单增等性质，其常被用作神经网络的激活函数，将变量映射到0,1之间。由此最终生成同时考虑主题和情感关键词的问题，其中Wd为可训练参数。具体公式如下所示：
Figure RE-GDA0002684557180000155
基于上述对步骤四的介绍，本发明实施例最终生成同时考虑主题和情感关键词的问题，生成的问题更具有深层语义。以下给出步骤四的一个具体示例，具体内容如下所述：
问题焦点段落块：他用两手攀着上面，两脚再向上缩；他肥胖的身子向左微倾，显出努力的样子。这时我看见他的背影，我的泪很快地流下来了。
主题关键词：背影
情感关键词：泪水
对话问题生成的流程图如图2所示。
最终生成的问题：为什么此时我看见他的背影会使我的泪水很快地流下来？
如图3所示，本发明实施例还提供一种考虑情感和主题的对话问题生成系统，具体包括：
获取模块，用于获取文章P和与所述文章P相关的对话历史记录 Hi；
确定模块，用于将所述文章P分割成N个段落块Pc，将所述段落块 Pc和对话历史记录Hi输入预先训练的问题焦点预测模型，确定问题焦点段落块Fi；
预测模块，用于在所述问题焦点段落块Fi中预测情感关键词
Figure RE-GDA0002684557180000161
和主题关键词
Figure RE-GDA0002684557180000162
生成模块，用于根据所述情感关键词
Figure RE-GDA0002684557180000163
和主题关键词
Figure RE-GDA0002684557180000164
最终生成对话问题q。
可理解的是，本发明实施例提供的考虑情感和主题的对话问题生成系统与本发明实施例提供的考虑情感和主题的对话问题生成方法相对应，其有关内容的解释、举例和有益效果等部分可以参考考虑情感和主题的对话问题生成方法中的相应部分，此处不再赘述。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，在处理器执行所述计算机程序时可实现上述对话问题生成方法。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明实施例首先将文章P分割成N个段落块Pc，并将段落块 Pc和对话历史记录Hi输入预先训练的问题焦点预测模型，确定问题焦点段落块Fi；然后在所述问题焦点段落块Fi中预测情感关键词
Figure RE-GDA0002684557180000165
和主题关键词
Figure RE-GDA0002684557180000166
最后根据所述情感关键词
Figure RE-GDA0002684557180000167
和主题关键词
Figure RE-GDA0002684557180000168
最终生成对话问题q。如此一来，将文章P的情感和主题纳入对话问题生成的环节中，与现有的对话问题生成模型只考虑根据对话历史记录相比，进一步提高了对话问题生成的连贯性，且生成的问题的认知水平不再局限于浅层级，而是达到了生成了更具逻辑性和深层意义的问题的有益效果。
2、本发明实施例考虑对话问题生成中的主题，有利于生成更有意义的问题；考虑对话问题生成中的情感，一方面能够调动回答者的积极性，另一方面也能提出反映文章段落中想突出表达重点的问题。
3、本发明实施例由于引用了先验知识，能够产生不同表达形式的对话问题，同时由于采用主题词典和情感词典预测文章段落块的主题和情感，基于先验知识能够生成具有推理性的问题。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种考虑情感和主题的对话问题生成方法，其特征在于，包括：
获取文章P和与所述文章P相关的对话历史记录Hi；
将所述文章P分割成N个段落块Pc，将所述段落块Pc和对话历史记录Hi输入预先训练的问题焦点预测模型，确定问题焦点段落块Fi；
在所述问题焦点段落块Fi中预测情感关键词
Figure FDA0002572056490000011
和主题关键词
Figure FDA0002572056490000012
根据所述情感关键词
Figure FDA0002572056490000013
和主题关键词
Figure FDA0002572056490000014
最终生成对话问题q。
2.如权利要求1所述的考虑情感和主题的对话问题生成方法，其特征在于，所述预先训练的问题焦点预测模型包括嵌入层，上下文层，注意力层，建模层和输出层；
所述嵌入层将所述段落块Pc映射成第一词向量序列
Figure FDA0002572056490000015
将所述对话历史记录Hi映射成第二词向量序列
Figure FDA0002572056490000016
所述上下文层对所述第一词向量序列
Figure FDA0002572056490000017
进行编码得到段落块上下文表示
Figure FDA0002572056490000018
对所述第二词向量序列
Figure FDA0002572056490000019
进行编码得到对话历史记录上下文表示
Figure FDA00025720564900000110
所述注意力层根据所述段落块上下文表示
Figure FDA00025720564900000111
和对话历史记录上下文表示
Figure FDA00025720564900000112
得到历史信息增强的上下文表示
Figure FDA00025720564900000113
所述建模层根据所述历史信息增强的上下文表示
Figure FDA00025720564900000114
得到结合了对话历史记录Hi中的相关信息的段落块
Figure FDA00025720564900000115
所述输出层根据所述段落块
Figure FDA00025720564900000116
将预测的最符合的块索引指定为所述问题焦点段落块Fi。
3.如权利要求1所述的考虑情感和主题的对话问题生成方法，其特征在于，所述在所述问题焦点段落块Fi中预测情感关键词
Figure FDA00025720564900000117
和主题关键词
Figure FDA00025720564900000118
之前，所述方法还包括：
对所述问题焦点段落块Fi进行编码，得到问题焦点段落块隐藏状态序列h。
4.如权利要求3所述的考虑情感和主题的对话问题生成方法，其特征在于，所述在所述问题焦点段落块Fi中预测情感关键词
Figure FDA0002572056490000021
和主题关键词
Figure FDA0002572056490000022
之前，所述方法还包括：
用预训练的LDA模型预测所述焦点段落块Fi的情感类别，用情感迁移网络模型预测所述焦点段落块Fi的主题类别。
5.如权利要求4所述的考虑情感和主题的对话问题生成方法，其特征在于，所述在所述问题焦点段落块Fi中预测情感关键词
Figure FDA0002572056490000023
和主题关键词
Figure FDA0002572056490000024
具体包括：
采用GloVe模型处理所述情感类别和主题类别中的所有关键词，得到关键词嵌入k＝{ket,ktp}，其中ket表示情感关键词嵌入，ktp表示主题关键词嵌入；
采用注意力机制求出所述关键词嵌入k与所述问题焦点段落块Fi的相关性c＝{cet,ctp}，其中cet表示情感关键词相关性，ctp表示主题关键词相关性；
求得所述情感类别的所有关键词条件概率p1：
Figure FDA0002572056490000025
和主题类别中的所有关键词条件概率p2：
Figure FDA0002572056490000026
其中，w1表示所述情感类别中的关键词，w2表示所述主题类别中的关键词，
Figure FDA0002572056490000027
是可训练参数，softmax函数用于多分类过程；
所述情感类别的所有关键词条件概率的最大值，即为预测的所述情感关键词
Figure FDA0002572056490000028
所述主题类别中的所有关键词条件概率的最大值，即为预测的所述主题关键词
Figure FDA0002572056490000029
6.如权利要求1所述的考虑情感和主题的对话问题生成方法，其特征在于，
所述对话问题q内容上包括所述情感关键词
Figure FDA00025720564900000210
所述主题关键词
Figure FDA00025720564900000211
关键词之间的中间序列qmd，情感关键词和主题关键词两侧的部分qce，qct。
7.如权利要求1～6所述的考虑情感和主题的对话问题生成方法，其特征在于，根据所述情感关键词
Figure FDA0002572056490000031
和主题关键词
Figure FDA0002572056490000032
最终生成对话问题包括：
由双向异步解码器根据所述情感关键词
Figure FDA0002572056490000033
和主题关键词
Figure FDA0002572056490000034
最终生成对话问题，所述双向异步解码器采用通用的句法约束从所述情感关键词
Figure FDA0002572056490000035
和主题关键词
Figure FDA0002572056490000036
所在的位置异步生成问题。
8.如权利要求4所述的考虑情感和主题的对话问题生成方法，其特征在于，所述情感类别包括七个类别：快乐，喜欢，悲伤，愤怒，恐惧，厌恶和惊奇。
9.一种考虑情感和主题的对话问题生成系统，其特征在于，包括：
获取模块，用于获取文章P和与所述文章P相关的对话历史记录Hi；
确定模块，用于将所述文章P分割成N个段落块Pc，将所述段落块Pc和对话历史记录Hi输入预先训练的问题焦点预测模型，确定问题焦点段落块Fi；
预测模块，用于在所述问题焦点段落块Fi中预测情感关键词
Figure FDA0002572056490000037
和主题关键词
Figure FDA0002572056490000038
生成模块，用于根据所述情感关键词
Figure FDA0002572056490000039
和主题关键词
Figure FDA00025720564900000310
最终生成对话问题q。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，在处理器执行所述计算机程序时可实现权利要求1～8任一项所述的方法。
CN202010642828.2A 2020-07-06 2020-07-06 考虑情感和主题的对话问题生成方法和系统、存储介质 Active CN111949761B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010642828.2A CN111949761B (zh) 2020-07-06 2020-07-06 考虑情感和主题的对话问题生成方法和系统、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010642828.2A CN111949761B (zh) 2020-07-06 2020-07-06 考虑情感和主题的对话问题生成方法和系统、存储介质

Publications (2)

Publication Number Publication Date
CN111949761A true CN111949761A (zh) 2020-11-17
CN111949761B CN111949761B (zh) 2023-12-26

Family

ID=73340258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010642828.2A Active CN111949761B (zh) 2020-07-06 2020-07-06 考虑情感和主题的对话问题生成方法和系统、存储介质

Country Status (1)

Country Link
CN (1) CN111949761B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765333A (zh) * 2021-01-08 2021-05-07 山东师范大学 基于情感与提示词结合的自动对话生成方法及系统
CN112925896A (zh) * 2021-04-04 2021-06-08 河南工业大学 一种基于联合解码的话题扩展情感对话生成方法
CN113128206A (zh) * 2021-04-26 2021-07-16 中国科学技术大学 基于单词重要性加权的问题生成方法
CN114385802A (zh) * 2022-01-10 2022-04-22 重庆邮电大学 一种融合主题预测和情感推理的共情对话生成方法
CN114692605A (zh) * 2022-04-20 2022-07-01 东南大学 一种融合句法结构信息的关键词生成方法及装置
CN116186420A (zh) * 2023-05-04 2023-05-30 南开大学 一种基于用户偏好的个性化新闻标题生成方法
CN116863935A (zh) * 2023-09-04 2023-10-10 深圳有咖互动科技有限公司 语音识别方法、装置、电子设备与计算机可读介质
CN117556832A (zh) * 2023-11-23 2024-02-13 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于语义约束的情感支持对话双向生方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681610A (zh) * 2018-05-28 2018-10-19 山东大学 生成式多轮闲聊对话方法、系统及计算机可读存储介质
US20180329884A1 (en) * 2017-05-12 2018-11-15 Rsvp Technologies Inc. Neural contextual conversation learning
US20190243917A1 (en) * 2018-02-05 2019-08-08 International Business Machines Corporation Cognitive Ranking of Terms Used During a Conversation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180329884A1 (en) * 2017-05-12 2018-11-15 Rsvp Technologies Inc. Neural contextual conversation learning
US20190243917A1 (en) * 2018-02-05 2019-08-08 International Business Machines Corporation Cognitive Ranking of Terms Used During a Conversation
CN108681610A (zh) * 2018-05-28 2018-10-19 山东大学 生成式多轮闲聊对话方法、系统及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邓立明;魏晶晶;吴运兵;余小燕;廖祥文;: "基于知识图谱与循环注意力网络的视角级情感分析", 模式识别与人工智能, no. 06 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112765333A (zh) * 2021-01-08 2021-05-07 山东师范大学 基于情感与提示词结合的自动对话生成方法及系统
CN112925896A (zh) * 2021-04-04 2021-06-08 河南工业大学 一种基于联合解码的话题扩展情感对话生成方法
CN113128206A (zh) * 2021-04-26 2021-07-16 中国科学技术大学 基于单词重要性加权的问题生成方法
CN114385802A (zh) * 2022-01-10 2022-04-22 重庆邮电大学 一种融合主题预测和情感推理的共情对话生成方法
CN114692605A (zh) * 2022-04-20 2022-07-01 东南大学 一种融合句法结构信息的关键词生成方法及装置
CN116186420A (zh) * 2023-05-04 2023-05-30 南开大学 一种基于用户偏好的个性化新闻标题生成方法
CN116186420B (zh) * 2023-05-04 2023-06-27 南开大学 一种基于用户偏好的个性化新闻标题生成方法
CN116863935A (zh) * 2023-09-04 2023-10-10 深圳有咖互动科技有限公司 语音识别方法、装置、电子设备与计算机可读介质
CN116863935B (zh) * 2023-09-04 2023-11-24 深圳有咖互动科技有限公司 语音识别方法、装置、电子设备与计算机可读介质
CN117556832A (zh) * 2023-11-23 2024-02-13 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于语义约束的情感支持对话双向生方法
CN117556832B (zh) * 2023-11-23 2024-04-09 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于语义约束的情感支持对话双向生成方法

Also Published As

Publication number Publication date
CN111949761B (zh) 2023-12-26

Similar Documents

Publication Publication Date Title
CN111949761B (zh) 考虑情感和主题的对话问题生成方法和系统、存储介质
CN110427490B (zh) 一种基于自注意力机制的情感对话生成方法与装置
CN108763284B (zh) 一种基于深度学习和主题模型的问答系统实现方法
CN111368996B (zh) 可传递自然语言表示的重新训练投影网络
CN111160467B (zh) 一种基于条件随机场和内部语义注意力的图像描述方法
CN106448670A (zh) 基于深度学习和强化学习的自动回复对话系统
CN111858931A (zh) 一种基于深度学习的文本生成方法
CN113569932A (zh) 一种基于文本层级结构的图像描述生成方法
CN112115687A (zh) 一种结合知识库中的三元组和实体类型的生成问题方法
CN113297364A (zh) 一种面向对话系统中的自然语言理解方法及装置
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN112527966A (zh) 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法
CN110633473B (zh) 基于条件随机场的隐式篇章关系识别方法与系统
CN113435211A (zh) 一种结合外部知识的文本隐式情感分析方法
CN110597968A (zh) 一种回复选择方法及装置
CN115617972B (zh) 一种机器人对话方法、装置、电子设备及存储介质
CN114358201A (zh) 基于文本的情感分类方法和装置、计算机设备、存储介质
WO2023231513A1 (zh) 对话内容的生成方法及装置、存储介质、终端
CN113887836B (zh) 一种融合事件环境信息的叙述性事件预测方法
CN114429122A (zh) 一种基于循环注意力的方面级情感分析系统和方法
CN114817494A (zh) 基于预训练和注意力交互网络的知识型检索式对话方法
US11715291B2 (en) Establishment of general-purpose artificial intelligence system
CN111274359B (zh) 基于改进vhred与强化学习的查询推荐方法及系统
CN115171870A (zh) 一种基于m-BERT预训练模型的就诊引导提示方法及系统
CN112579739A (zh) 基于ELMo嵌入与门控自注意力机制的阅读理解方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant