CN117556832B - 一种基于语义约束的情感支持对话双向生成方法 - Google Patents
一种基于语义约束的情感支持对话双向生成方法 Download PDFInfo
- Publication number
- CN117556832B CN117556832B CN202311569231.XA CN202311569231A CN117556832B CN 117556832 B CN117556832 B CN 117556832B CN 202311569231 A CN202311569231 A CN 202311569231A CN 117556832 B CN117556832 B CN 117556832B
- Authority
- CN
- China
- Prior art keywords
- encoder
- representing
- emotion
- strategy
- support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 230000008451 emotion Effects 0.000 title claims abstract description 83
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims description 41
- 230000008569 process Effects 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 25
- 238000009826 distribution Methods 0.000 claims description 23
- 239000000945 filler Substances 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 3
- 238000011156 evaluation Methods 0.000 description 9
- 238000002474 experimental method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 208000027534 Emotional disease Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于语义约束的情感支持对话双向生成方法，包括如下步骤：将用户情感问题原因及历史对话输送到已训练完成后的语义情感支持模型中，输出情感支持回复；所述语义情感支持模型包括内容编码器模块、关键词预测模块和回复生成器模块；该对话双向生成方法中语义情感支持模型根据用户情感问题原因和历史对话，提取符合对话主题的关键词；根据关键词对回复施加语义约束，生成主题相关的回复，减少安全回复的生成，增强用户体验感。
Description
技术领域
本发明涉及情感对话技术领域，尤其涉及一种基于语义约束的情感支持对话双向生成方法。
背景技术
情感支持对话最初是由Towards Emotional Support Dialog Systems.(走向情感支持对话系统)提出，MISC: A Mixed Strategy-Aware Model integrating COMET forEmotional Support Conversation.(MISC：集成 COMET 进行情感支持对话的混合策略感知模型)在其基础上对其方法进行了改进，使用常识推理模型COMET提取用户当前情感状态和全局情绪原因的细粒度信息，并通过混合策略来生成情感支持回复。但由于该模型未能深入考虑当前对话的主题，同时缺少对解码过程的干预，导致模型容易生成普适安全的回复，降低用户体验。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于语义约束的情感支持对话双向生成方法，根据关键词对回复施加语义约束，生成主题相关的回复，减少安全回复的生成，增强用户体验感。
本发明提出的一种基于语义约束的情感支持对话双向生成方法，包括如下步骤：
将用户情感问题原因及历史对话输送到已训练完成后的语义情感支持模型中，输出情感支持回复；
所述语义情感支持模型包括内容编码器模块、关键词预测模块和回复生成器模块；所述语义情感支持模型的训练过程如下：
S1：获取训练集，所述训练集包括用户情感问题原因、用户最后一句话和历史对话；
S2：将训练集输入到内容编码器模块进行编码处理，输出支持策略的概率分布和混合信息向量/>；
S3：将历史对话输送到关键词预测模块中，以输出关键词；
S4：选择支持策略的概率分布中的概率最大的策略作为回复生成器模块的输入策略，将输入策略与预设策略集合比较，当输入策略与预设策略集合中的某一策略对应时，则以混合信息向量/>和关键词作为回复生成器模块的输入，以输出情感支持回复，当输入策略与预设策略集合中的任一策略均不对应时，则以混合信息向量/>作为回复生成器模块的输入，以输出情感支持回复。
进一步地，在S2中，具体包括：
将用户情感问题原因输送到常识推理模型COMET中，输出多条常识知识，将所有常识知识串联起来后作为内容编码器的输入，内容编码器输出常识隐藏向量；
将用户最后一句话输送到常识推理模型COMET中，将常识推理模型COMET的输出的状态信息作为内容编码器的输入，内容编码器输出状态隐藏向量；
将历史对话输送到内容编码器中，输出对话隐藏向量；
将常识隐藏向量、状态隐藏向量/>和对话隐藏向量/>的每个序列中的所有向量做平均后按元素相加得到混合信息向量/>，将混合信息向量/>作为预测情感支持策略概率分布的输入，以输出支持策略的概率分布/>；
支持策略的概率分布计算公式如下：
其中，表示激活函数，/>表示多层感知器。
进一步地，在步骤S3中，具体包括：
将历史对话输入到判别器中，以输出候选单词列表；
将历史对话和候选单词列表输入到选择器中，以输出关键词。
进一步地，当通过基于提示的大模型推理方法得到关键词时，判别器包括词性标注器和提取器，选择器包括编码器填充器、编码器、解码器填充器和解码器；
将历史对话输入到词性标注器中，使用CoreNLP 工具包对历史对话执行词性标注操作，得到标注后的历史对话；
将标注后的历史对话输入到提取器中，使用正则表达式<NN.*|JJ>*<NN.*>来提取名词短语作为候选单词列表；
将历史对话输入到编码器填充器中，编码器填充器将编码器模板和历史对话连接起来作为编码器的输入；
将候选单词列表输入到解码器填充器，解码器填充器将解码器模板与候选单词列表中的每个候选单词连接起来，生成多个完整句子；
将编码器输出的隐藏向量和解码器填充器输出的完整句子输入到解码器中，基于解码器计算多个完整句子的生成概率，将生成概率按照降序排列，将排列在首位的生成概率对应的候选单词作为关键词；
完整句子的生成概率的计算公式如下：
其中，表示完整句子的生成概率，/>表示当前单词的索引值，/>表示候选单词的开始索引值，/>表示句子长度，/>表示第/>个单词，/>表示索引值小于/>的所有单词。
进一步地，当通过基于统计的方法得到关键词时，关键词的得到过程：
将历史对话输送到判别器中的LDA模型中，基于预训练的LDA模型对历史对话进行主题分类，生成历史对话主题的概率分布，将概率分布最高的主题对应的主题词作为候选单词，其中每个主题与多个主题词相关联；
计算每个候选单词和用户最后一句话之间的PMI值，以PMI值最高的候选单词作为关键词；
PMI值计算公式如下：
其中，表示用户最后一句话，/>表示需要计算PMI值的候选单词，/>表示用户最后一句话中第/>个单词，/>表示当前单词在用户最后一句话中的索引值，/>表示用户最后一句话的长度。
进一步地，在步骤S4中，回复生成器模块包括标准编码器和改进编码器，当输入策略与预设策略集合中的某一策略对应时，以混合信息向量和关键词作为改进编码器的输入，以输出情感支持回复，当输入策略与预设策略集合中的任一策略均不对应时，则以混合信息向量/>作为标准编码器的输入，以输出情感支持回复；
改进编码器包括反向生成和前向生成两个过程，具体为：在反向生成过程中，改进编码器中的一个解码器从右向左生成输出单词，从关键词开始一直持续到遇到“序列开始”标志，随后，在前向生成过程中，改进编码器中的另一个解码器基于反向生成过程中得到的句子，继续从左到右生成输出单词，直到到达“序列结束”标志。
进一步地，语义情感支持模型训练分为前向生成过程训练和反向生成过程训练；
前向生成过程训练的目标损失函数公式如下：
反向生成过程训练的目标损失函数公式如下：
其中，表示损失函数，/>表示当前预测单词的索引，/>表示句子长度，/>表示第t个位置的单词，/>表示第t个位置之前的单词，/>表示历史对话，/>表示用户最后一句话，/>表示用户情感问题原因，/>表示标准策略，/>表示反转句子中第t个位置的单词，/>表示输出单词的概率，/>表示支持策略的概率。
本发明提供的一种基于语义约束的情感支持对话双向生成方法的优点在于：本发明结构中提供的一种基于语义约束的情感支持对话双向生成方法，语义情感支持模型根据用户情感问题原因和系统的历史对话，提取符合对话主题的关键词。根据关键词对回复施加语义约束，生成主题相关的回复，减少安全回复的生成，增强用户体验感。
附图说明
图1为本发明的结构示意图；
图2为基于提示的大模型推理方法得到关键词对应的结构图；
图3为基于统计的方法得到关键词对应的结构图。
具体实施方式
下面，通过具体实施例对本发明的技术方案进行详细说明，在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
如图1至3所示，本发明提出的一种基于语义约束的情感支持对话双向生成方法，包括如下步骤：
将用户情感问题原因及历史对话输送到已训练完成后的语义情感支持模型中，输出情感支持回复；所述语义情感支持模型包括内容编码器模块、关键词预测模块和回复生成器模块。
关键词预测模块首先根据历史对话生成候选单词列表，然后使用特定标准从该列表中选择关键词。回复生成器模块基于内容编码器模块和关键词预测模块中识别的策略和关键词，采用不同的方法来生成情感支持回复。
（A）内容编码器模块
内容编码器模块对语义情感支持模型的输入进行编码，即对用户情感问题的原因、用户的最后一句话和历史对话进行编码，从而得到回复生成器模块输入的隐藏向量和支持策略的概率分布，具体包括步骤（a1）至（a4）。
（a1）将用户情感问题原因输送到常识推理模型COMET中，输出多条常识知识，将所有常识知识串联起来后作为内容编码器的输入，内容编码器输出常识隐藏向量；
为了从用户情感问题的原因中推断出有关用户的细粒度信息，利用一种在ATOMIC上训练的常识推理模型COMET来获取相关常识知识。 COMET 以 （事件，关系） 作为输入，生成对应的常识知识结论（例如，事件=“PersonX去商店”，关系=“xIntent”，结论=“去买食物”）。 在这里，将用户情感问题的原因视为事件s，根据不同的关系r来获取相关常识知识，记为b：
其中，表示第/>个关系对应的第/>个常识知识，/>表示第/>个关系，需要注意的是，给定某个（事件，关系）元组，COMET 能够生成多条常识知识。
随后，将所有常识知识串联起来记作，/>将被作为内容编码器的输入得到常识隐藏向量/>。
（a2）将用户最后一句话输送到常识推理模型COMET中，将常识推理模型COMET的输出的状态信息作为内容编码器的输入，内容编码器输出状态隐藏向量，其中用户最后一句话可以通过历史对话得到。
（a3）将历史对话输送到内容编码器中，输出对话隐藏向量。
（a4）将常识隐藏向量、状态隐藏向量/>和对话隐藏向量/>的每个序列中的所有向量做平均后按元素相加得到混合信息向量/>，将混合信息向量/>作为预测情感支持策略概率分布的输入，以输出支持策略的概率分布/>和和混合信息向量/>。
支持策略的概率分布计算公式如下：
其中，表示激活函数，/>表示多层感知器。
（B）关键词预测模块
在关键词预测模块中，提出了两种关键词预测方法：基于提示的大模型推理方法和基于统计的方法。
（B1）基于提示的大模型推理方法
基于提示的大模型推理方法包括两个关键的子模块：判别器和选择器，判别器包括词性标注器和提取器，选择器包括编码器填充器、编码器、解码器填充器和解码器。
（b1-1）将历史对话输入到词性标注器中，使用CoreNLP 工具包对历史对话执行词性标注操作，得到标注后的历史对话。
在判别器中，使用斯坦福大学的CoreNLP 工具包对历史对话执行词性标注操作后，使用正则表达式<NN.*|JJ>*<NN.*>来提取名词短语作为候选单词。
（b1-2）将标注后的历史对话输入到提取器中，使用正则表达式<NN.*|JJ>*<NN.*>来提取名词短语作为候选单词列表。
（b1-3）在选择器中，将历史对话输入到编码器填充器中，编码器填充器将编码器模板和历史对话连接起来作为编码器的输入；
（b1-4）将候选单词列表输入到解码器填充器，解码器填充器将解码器模板与候选单词列表中的每个候选单词连接起来，生成多个完整句子。
（b1-5）将编码器输出的隐藏向量和解码器填充器输出的完整句子输入到解码器中，基于解码器计算多个完整句子的生成概率，将生成概率按照降序排列，将排列在首位的生成概率对应的候选单词作为关键词；
完整句子的生成概率的计算公式如下：
由于句子的大部分由相同的内容（即解码器模板）组成，并且位于句子的开头，因此可以简化为下面公式：
其中，表示完整句子的生成概率，/>表示当前单词的索引值，/>表示候选单词的开始索引值，/>表示句子长度，/>表示第/>个单词，/>表示索引值小于/>的所有单词。
（B2）基于统计的方法
基于统计的方法包括两个关键的子模块：判别器和选择器。
（b2-1）将历史对话输送到判别器中的LDA模型中，基于预训练的LDA模型对历史对话进行主题分类，生成历史对话主题的概率分布，将概率分布最高的主题对应的主题词作为候选单词，其中每个主题与多个主题词相关联；
利用在训练集上预训练的LDA模型对历史对话进行主题分类，LDA模型生成历史对话主题的概率分布。
（b2-2）计算每个候选单词和用户最后一句话之间的PMI值，以PMI值最高的候选单词作为关键词；
PMI值计算公式如下：
其中，表示用户最后一句话，/>表示需要计算PMI值的候选单词，/>表示用户最后一句话中第/>个单词，/>表示当前单词在用户最后一句话中的索引值，/>表示用户最后一句话的长度。
此处公式表示某一个候选单词和用户最后一句话的PMI的值；因为有多个候选单词，所以会得到多个PMI的值，因而以PMI值最高的候选单词作为关键词。
在（B1）和（B2）中，两者利用不同的判别器来生成候选单词，并使用不同的选择器根据各自的标准选择最合适的关键词。在基于提示的大模型推理方法得到关键词中，编码器模板中的内容作为提示，辅助语义情感支持模型的推理过程，编码器模板也叫作提示学习，可以采用现有方式构建学习。
当使用基于统计的方法提取关键词时，LDA模型的性能决定了候选单词的质量。作为LDA模型的一个重要超参数，主题的数量直接影响模型的性能。为了确定这个超参数的最佳值，进行了多次实验，并最终选择了一个最优的结果，如表1所示；
表1不同主题数的效果实验
如表1所示，当主题数量设置为5时，在BLEU-n和ROUGE-L度量指标方面实现了几乎最优的结果，而Distinct-n指标上没有显著减少。因此，在LDA模型实现时，为LDA模型选择的超参数为5。
对于选择（B1）还是（B2）策略，假设在生成回复时是否使用语义约束取决于所选择的策略。如果策略专注于延续当前主题，那么结合关键词并使用语义约束可以产生更多样、更相关的回复。否则，使用语义约束会对生成回复的质量和流畅性产生负面影响。为了确定应用语义约束的最佳策略组合，进行了多次实验，如表2所示。
表2不同策略选择的效果实验
在表2中，方法（提示）表示基于提示的大模型推理方法得到关键词，而方法（统计）表示基于统计的方法得到关键词，首先使用除“其他”策略外的所有策略进行实验，然后选择模型效果最好的三种策略。然后，对这三种策略的所有组合进行实验，并从所有实验结果中选择最佳策略或策略组合。实验表明，当使用“提供信息”策略时，基于提示的大模型推理方法得到关键词时和基于统计的方法得到关键词都产生了最好的性能，这表明“提供信息”策略对对话主题的连续性做出了积极贡献。
（C）回复生成器模块
只有当对话需要延续当前主题时，使用关键字对回复施加语义约束才是有效的。相反，不恰当地施加语义限制可能会对回复的质量产生有害的影响。支持策略在一定程度上决定了对话是否会继续围绕当前主题。例如，当使用“提供信息”策略时，生成的回复应该为寻求帮助者提供有用的信息，这需要继续当前的主题。
如图1所示，回复生成器模块包括标准编码器和改进编码器，选择支持策略的概率分布中的概率最大的策略作为回复生成器模块的输入策略，将输入策略与预设策略集合比较，当输入策略与预设策略集合中的某一策略对应，则以混合信息向量/>和关键词作为回复生成器模块的输入，以输出情感支持回复，当输入策略与预设策略集合中的任一策略均不对应，则以混合信息向量/>作为回复生成器模块的输入，以输出情感支持回复。
当输入策略与预设策略集合中的某一策略对应时，表明对话需要延续当前主题，需要对回复施加语义约束时，此时改进编码器以混合信息向量和关键词作为输入，输出情感支持回复；当输入策略与预设策略集合中的任一策略均不对应时，表明对话不需要延续当前主题，不需要对回复施加语义约束时，此时标准编码器以混合信息向量/>作为输入，输出情感支持回复；
针对事先定义好的策略集合，此处为预先设置的，例如表2中不同策略选择的效果实验，事先设置的单个策略和组合策略，该单个策略和组合策略组成的策略集合对应了上述所记载的事先定义好的策略集合，在具体应用中，事先定义好的策略集合具体设置，不是绝对不变的。
标准编码器对应于现有的编码器，以直接生成回复即可。改进编码器包括反向生成和前向生成两个过程，具体来说，在反向生成过程中，改进编码器中的其中一个解码器从右向左生成输出单词，从关键词开始一直持续到遇到“序列开始”标志，此时得到了半个输出句子。随后，在前向生成过程中，改进编码器中的另一个解码器基于反向生成过程中生成的句子，继续从左到右生成输出单词，直到到达“序列结束”标志，此时生成一个完整的输出句子，该完整的输出句子作为情感支持回复输出。
（D）语义情感支持模型训练：语义情感支持模型训练分为前向生成过程训练和反向生成过程训练。前向生成过程训练类似于标准编码器-解码器模型。为了在预测策略的同时生成回复，采用联合损失来训练前向生成模型，损失函数如下：
在反向生成模型的训练过程中，随机选择回复中的一个单词作为分割点将句子分成两部分。然后将前半部分反转，形成一个“反转回复”，记作。反向生成过程训练的目标损失函数公式如下：
其中，表示损失函数，/>表示当前预测单词的索引，/>表示句子长度，/>表示第t个位置的单词，/>表示第t个位置之前的单词，/>表示历史对话，/>表示用户最后一句话，/>表示用户情感问题原因，/>表示标准策略，/>表示反转句子中第t个位置的单词，/>表示输出单词的概率，/>表示支持策略的概率。
对于的生成，例如回复句子为“今天天气很好”，随机选择一个“很”字作为分割点将句子分成两部分，前半部分为“今天天气很”，后半部分为“好”，将前半部分翻转，形成的反转回复为“很气天天今”，将该反转回复作为/>，用以训练语义情感支持模型的反向生成过程。
根据（A）至（D），语义情感支持模型根据用户情感问题原因和系统的历史对话，提取符合对话主题的关键词。根据关键词对回复施加语义约束，生成主题相关的回复，减少安全回复的生成，增强用户体验感。
（E）对于语义情感支持模型的性能评价，综合使用自动评估指标和人工评估指标来评估语义情感支持模型和其他模型的性能。
（e1）自动评估：我们采用多种指标来评估生成回复的质量和多样性。如表3所示，对于多样性评估，使用D-1 (Distinct-1) 和 D-2 (Distinct-2) 指标衡量生成的回复的多样性。为了评估生成的回复与参考回复之间的相似性，使用B-1(BLEU-1)、B-2 (BLEU-2)、B-3 (BLEU-3)、B-4 (BLEU-4)和R-L(ROUGE-L)指标。与传统的 BLEU 和 ROUGE 指标不同，我们的方法将四条生成回复与参考回复进行比较，在显示评估回复质量的同时，隐式评估回复的多样性。
表3自动评估指标
在表3中，方法（提示）表示基于提示的大模型推理方法得到关键词，而方法（统计）表示基于统计的方法得到关键词。二者在 Distinct-n指标上有着明显提升，这表明本实施例提出的情感支持对话双向生成方法与其他模型相比可以生成更加多样化的回复。此外，方法（统计）在 Bleu-n和Rouge-L指标方面的表现优于大多数基线模型。这表明该方法生成的回复具有很高的质量。总之，本实施例提出的情感支持对话双向生成方法不仅显着增加了生成回复的多样性，而且保证了它们的质量。
（e2）人工评估：聘请了三位具有语言和心理学背景的专家来评估 100条随机选择的回复。如表4所示，评估的方面包括相关性、多样性、舒适性、流畅性和整体性。专家按照{0, 1, 2}的等级对回复的各个方面进行评分。
表4人工评估指标
在表4中，方法（提示）表示基于提示的大模型推理方法得到关键词，而方法（统计）表示基于统计的方法得到关键词。表4中的人工评估结果与自动评估结果基本一致。本实施例的情感支持对话双向生成方法在几乎所有方面都表现出了令人满意的结果。具体来说，方法（提示）和方法（统计）在多样性和相关性方面都超过了其他方法，表明它们不仅有能力生成更相关的回复而且有能力生成更多样化的回复。这种提升可归因于通过关键词预测得到符合当前对话主题的关键词，同时利用这些关键词对回复的语义进行约束，从而使得生成的回复更具有相关性。同时语义约束能够避免安全回复的生成，使得回复更具有多样性。此外，本实施例的情感支持对话双向生成方法在舒适度和整体性方面实现了更好的性能，说明它能够生成对用户来说更舒适和更具有情感支持能力的回复。
作为一实施例：
首先使用常识推理模型COMET从用户情感问题的原因以及寻求帮助者的最后一句话中提取常识知识，例如从“我担心我的工作不够完美”这句话中可以推断出寻求帮助者看起来很担心，焦虑。从“也许我可以向我的朋友和同事请教一些技巧。我这样做有点不好意思，但不知道该向哪里求助。我不想被解雇”这句话可以推断出寻求帮助者想要得到一些支持和帮助。根据这些常识知识以及历史对话，编码出隐藏向量。之后，从历史对话中可以提取出关键词“工作”。在生成回复时，先在反向生成过程中生成回复的前半部分“我知道你担心失去工作”，再在前向过程中生成完整的一句话“我知道你担心失去工作，但如果你真的对自己的工作有把握，你可以和主管谈谈，他们可以帮助你。”这句话能够体现出对话的主题，能让用户具有更好的体验感。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (7)
1.一种基于语义约束的情感支持对话双向生成方法，其特征在于，包括如下步骤：
将用户情感问题原因及历史对话输送到已训练完成后的语义情感支持模型中，输出情感支持回复；
所述语义情感支持模型包括内容编码器模块、关键词预测模块和回复生成器模块；所述语义情感支持模型的训练过程如下：
S1：获取训练集，所述训练集包括用户情感问题原因、用户最后一句话和历史对话；
S2：将训练集输入到内容编码器模块进行编码处理，输出支持策略的概率分布和混合信息向量/>；
S3：将历史对话输送到关键词预测模块中，以输出关键词；
S4：选择支持策略的概率分布中的概率最大的策略作为回复生成器模块的输入策略，将输入策略与预设策略集合比较，当输入策略与预设策略集合中的某一策略对应时，则以混合信息向量/>和关键词作为回复生成器模块的输入，以输出情感支持回复，当输入策略与预设策略集合中的任一策略均不对应时，则以混合信息向量/>作为回复生成器模块的输入，以输出情感支持回复。
2.根据权利要求1所述的基于语义约束的情感支持对话双向生成方法，其特征在于，在S2中，具体包括：
将用户情感问题原因输送到常识推理模型COMET中，输出多条常识知识，将所有常识知识串联起来后作为内容编码器的输入，内容编码器输出常识隐藏向量；
将用户最后一句话输送到常识推理模型COMET中，将常识推理模型COMET的输出的状态信息作为内容编码器的输入，内容编码器输出状态隐藏向量；
将历史对话输送到内容编码器中，输出对话隐藏向量；
将常识隐藏向量、状态隐藏向量/>和对话隐藏向量/>的每个序列中的所有向量做平均后按元素相加得到混合信息向量/>，将混合信息向量/>作为预测情感支持策略概率分布的输入，以输出支持策略的概率分布/>；
支持策略的概率分布计算公式如下：
其中，表示激活函数，/>表示多层感知器。
3.根据权利要求1所述的基于语义约束的情感支持对话双向生成方法，其特征在于，在步骤S3中，具体包括：
将历史对话输入到判别器中，以输出候选单词列表；
将历史对话和候选单词列表输入到选择器中，以输出关键词。
4.根据权利要求3所述的基于语义约束的情感支持对话双向生成方法，其特征在于，当通过基于提示的大模型推理方法得到关键词时，判别器包括词性标注器和提取器，选择器包括编码器填充器、编码器、解码器填充器和解码器；
将历史对话输入到词性标注器中，使用CoreNLP 工具包对历史对话执行词性标注操作，得到标注后的历史对话；
将标注后的历史对话输入到提取器中，使用正则表达式 <NN.*|JJ>*<NN.*> 来提取名词短语作为候选单词列表；
将历史对话输入到编码器填充器中，编码器填充器将编码器模板和历史对话连接起来作为编码器的输入；
将候选单词列表输入到解码器填充器，解码器填充器将解码器模板与候选单词列表中的每个候选单词连接起来，生成多个完整句子；
将编码器输出的隐藏向量和解码器填充器输出的完整句子输入到解码器中，基于解码器计算多个完整句子的生成概率，将生成概率按照降序排列，将排列在首位的生成概率对应的候选单词作为关键词；
完整句子的生成概率的计算公式如下：
其中，表示完整句子的生成概率，/>表示当前单词的索引值，/>表示候选单词的开始索引值，/>表示句子长度，/>表示第/>个单词，/>表示索引值小于/>的所有单词。
5.根据权利要求3所述的基于语义约束的情感支持对话双向生成方法，其特征在于，当通过基于统计的方法得到关键词时，关键词的得到过程：
将历史对话输送到判别器中的LDA模型中，基于预训练的LDA模型对历史对话进行主题分类，生成历史对话主题的概率分布，将概率分布最高的主题对应的主题词作为候选单词，其中每个主题与多个主题词相关联；
计算每个候选单词和用户最后一句话之间的PMI值，以PMI值最高的候选单词作为关键词；
PMI值计算公式如下：
其中，表示用户最后一句话，/>表示需要计算PMI值的候选单词，/>表示用户最后一句话中第/>个单词，/>表示当前单词在用户最后一句话中的索引值，/>表示用户最后一句话的长度。
6.根据权利要求1所述的基于语义约束的情感支持对话双向生成方法，其特征在于，在步骤S4中，回复生成器模块包括标准编码器和改进编码器，当输入策略与预设策略集合中的某一策略对应时，以混合信息向量和关键词作为改进编码器的输入，以输出情感支持回复，当输入策略与预设策略集合中的任一策略均不对应时，则以混合信息向量/>作为标准编码器的输入，以输出情感支持回复；
改进编码器包括反向生成和前向生成两个过程，具体为：在反向生成过程中，改进编码器中的一个解码器从右向左生成输出单词，从关键词开始一直持续到遇到“序列开始”标志，随后，在前向生成过程中，改进编码器中的另一个解码器基于反向生成过程中得到的句子，继续从左到右生成输出单词，直到到达“序列结束”标志。
7.根据权利要求2所述的基于语义约束的情感支持对话双向生成方法，其特征在于，语义情感支持模型训练分为前向生成过程训练和反向生成过程训练；
前向生成过程训练的目标损失函数公式如下：
反向生成过程训练的目标损失函数公式如下：
其中，表示损失函数，/>表示当前输出单词的索引，/>表示句子长度，/>表示第/>个位置的单词，/>表示第/>个位置之前的单词，/>表示历史对话，/>表示用户最后一句话，/>表示用户情感问题原因，/>表示标准策略，/>表示反转句子中第/>个位置的单词，/>表示反转句子中第/>个位置之前的单词，/>表示输出单词的概率，/>表示支持策略的概率分布。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311569231.XA CN117556832B (zh) | 2023-11-23 | 2023-11-23 | 一种基于语义约束的情感支持对话双向生成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311569231.XA CN117556832B (zh) | 2023-11-23 | 2023-11-23 | 一种基于语义约束的情感支持对话双向生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117556832A CN117556832A (zh) | 2024-02-13 |
| CN117556832B true CN117556832B (zh) | 2024-04-09 |
Family
ID=89814439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311569231.XA Active CN117556832B (zh) | 2023-11-23 | 2023-11-23 | 一种基于语义约束的情感支持对话双向生成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117556832B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118410131B (zh) * | 2024-07-02 | 2024-09-03 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 一种基于多线索提示学习的情感支持对话生成方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10131157C1 (de) * | 2001-06-29 | 2002-07-04 | Project49 Ag | Dynamisches Grammatikgewichtungsverfahren für Spracherkennungssysteme |
| CN111897933A (zh) * | 2020-07-27 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 情感对话生成方法、装置及情感对话模型训练方法、装置 |
| CN111949761A (zh) * | 2020-07-06 | 2020-11-17 | 合肥工业大学 | 考虑情感和主题的对话问题生成方法和系统、存储介质 |
| US11039138B1 (en) * | 2012-03-08 | 2021-06-15 | Google Llc | Adaptive coding of prediction modes using probability distributions |
| CN113723079A (zh) * | 2021-09-08 | 2021-11-30 | 天津大学 | 针对长距离对话状态追踪的分层建模贡献感知的上下文的方法 |
| US11238075B1 (en) * | 2017-11-21 | 2022-02-01 | InSkill, Inc. | Systems and methods for providing inquiry responses using linguistics and machine learning |
| CN114416949A (zh) * | 2022-01-19 | 2022-04-29 | 北京京东尚科信息技术有限公司 | 对话生成模型训练、对话回复生成方法和装置以及介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8473449B2 (en) * | 2005-01-06 | 2013-06-25 | Neuric Technologies, Llc | Process of dialogue and discussion |
| CN110121706B (zh) * | 2017-10-13 | 2022-05-03 | 微软技术许可有限责任公司 | 提供会话中的响应 |
| CN110737764B (zh) * | 2019-10-24 | 2023-07-07 | 西北工业大学 | 一种个性化对话内容生成方法 |
-
2023
- 2023-11-23 CN CN202311569231.XA patent/CN117556832B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10131157C1 (de) * | 2001-06-29 | 2002-07-04 | Project49 Ag | Dynamisches Grammatikgewichtungsverfahren für Spracherkennungssysteme |
| US11039138B1 (en) * | 2012-03-08 | 2021-06-15 | Google Llc | Adaptive coding of prediction modes using probability distributions |
| US11238075B1 (en) * | 2017-11-21 | 2022-02-01 | InSkill, Inc. | Systems and methods for providing inquiry responses using linguistics and machine learning |
| CN111949761A (zh) * | 2020-07-06 | 2020-11-17 | 合肥工业大学 | 考虑情感和主题的对话问题生成方法和系统、存储介质 |
| CN111897933A (zh) * | 2020-07-27 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 情感对话生成方法、装置及情感对话模型训练方法、装置 |
| CN113723079A (zh) * | 2021-09-08 | 2021-11-30 | 天津大学 | 针对长距离对话状态追踪的分层建模贡献感知的上下文的方法 |
| CN114416949A (zh) * | 2022-01-19 | 2022-04-29 | 北京京东尚科信息技术有限公司 | 对话生成模型训练、对话回复生成方法和装置以及介质 |
Non-Patent Citations (2)
| Title |
|---|
| 一种用于鲁棒性说话人确认的分段概率分布参数规整方法;解焱陆;刘青松;戴蓓;李辉;;电路与系统学报;20081215(第06期);全文 * |
| 基于对话约束的回复生成研究;管梦雨，王中卿，李寿山，周国栋;《中文信息学报》;20220831;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117556832A (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117556832B (zh) | 一种基于语义约束的情感支持对话双向生成方法 | |
| CN110413729B (zh) | 基于尾句-上下文双重注意力模型的多轮对话生成方法 | |
| CN111414464A (zh) | 一种问题生成方法、装置、设备及存储介质 | |
| Yi et al. | Towards coherent and engaging spoken dialog response generation using automatic conversation evaluators | |
| Gunel et al. | Mind the facts: Knowledge-boosted coherent abstractive text summarization | |
| CN106469212A (zh) | 基于人工智能的人机交互方法和装置 | |
| Zou et al. | Thinking clearly, talking fast: Concept-guided non-autoregressive generation for open-domain dialogue systems | |
| Fei et al. | CQG: A simple and effective controlled generation framework for multi-hop question generation | |
| CN111339278A (zh) | 训练话术生成模型、生成应答话术的方法和装置 | |
| Cheng et al. | A dynamic speaker model for conversational interactions | |
| CN116415650A (zh) | 生成对话语言模型及生成对话的方法、装置和存储介质 | |
| Zhao et al. | A short text conversation generation model combining BERT and context attention mechanism | |
| KR102205430B1 (ko) | 인공 신경망을 이용한 학습 방법 | |
| Peng et al. | Customising General Large Language Models for Specialised Emotion Recognition Tasks | |
| Wu et al. | Multimodal conversational fashion recommendation with positive and negative natural-language feedback | |
| Zhang et al. | Coarse-to-fine knowledge selection for document grounded dialogs | |
| Kang et al. | Semi-supervised emotion recognition in textual conversation via a context-augmented auxiliary training task | |
| Xiao et al. | Instructed language models with retrievers are powerful entity linkers | |
| Wang et al. | Group linguistic bias aware neural response generation | |
| Tang et al. | EAGLE: Enhance Target-Oriented Dialogs by Global Planning and Topic Flow Integration | |
| Jiang et al. | UGent-T2K at the 2nd DialDoc shared task: a retrieval-focused dialog system grounded in multiple documents | |
| Dzakwan et al. | Comparative study of topology and feature variants for non-task-oriented chatbot using sequence to sequence learning | |
| Wang et al. | History, present and future: Enhancing dialogue generation with few-shot history-future prompt | |
| CN118410131B (zh) | 一种基于多线索提示学习的情感支持对话生成方法 | |
| Relan et al. | A review on abstractive text summarization Methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |