CN116701580A - 一种对话情感强度一致性控制方法 - Google Patents

一种对话情感强度一致性控制方法 Download PDF

Info

Publication number
CN116701580A
CN116701580A CN202310387665.1A CN202310387665A CN116701580A CN 116701580 A CN116701580 A CN 116701580A CN 202310387665 A CN202310387665 A CN 202310387665A CN 116701580 A CN116701580 A CN 116701580A
Authority
CN
China
Prior art keywords
emotion
word
attention
intensity
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310387665.1A
Other languages
English (en)
Inventor
周钰童
马志强
许璧麒
贾文超
王春喻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia University of Technology
Original Assignee
Inner Mongolia University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inner Mongolia University of Technology filed Critical Inner Mongolia University of Technology
Priority to CN202310387665.1A priority Critical patent/CN116701580A/zh
Publication of CN116701580A publication Critical patent/CN116701580A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种对话情感强度一致性控制方法，涉及人工智能技术领域，以HRAN为基础模型，获取历史对话、历史对话响应和程度词；将历史对话与历史对话响应输入编码器中，引入上下文注意力机制和强度注意力机制，并且所述强度注意力机制嵌入程度词，根据注意力机制将历史对话与历史对话响应转换为隐藏表示后作为输出，将上下文注意力机制与强度注意力机制进行融合，获取融合注意力；基于融合注意力读取情感状态，根据所述情感状态预测生成词的类型，并选择需要添加程度词的位置，选择相应携带词性的词语，组合生成相应回复对话。本发明提供的一种对话情感强度一致性控制方法解决了在多轮对话中情感强度不一致的技术问题。

Description

一种对话情感强度一致性控制方法
技术领域
本发明涉及人工智能技术领域，更具体的说是涉及一种对话情感强度一致性控制方法。
背景技术
目前，对话生成作为自然语言处理的一项重要任务，以解决语义一致性与内容丰富性等问题为主要目标，并且随着以编码器-解码器框架为主的神经网络模型的发展，其功能与应用场景得到了提高。此外，对话场景也是情感交互的重要途径，情感除了类别之外还有强度概念，回复语句中包含特有的情感强度可以使得情感表达更为清晰，使得人机对话趋于拟人化，因此需要针对性地进行模型结构的改进，进而提升情感中表达强度。
但是，现有的研究只表达单一情感或者特定强度的情感，并未考虑情感强度的不同对于交互双方在对话过程中的影响，且由于情感对话生成模型中缺乏情感强度控制方法导致的生成回复的情感强度与指定情感强度不一致，这导致对话难以持续。
因此，如何在多轮对话中使情感强度保持一致是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种对话情感强度一致性控制方法，基于层级循环注意力网络控制生成对话中回复的情感强度，进而得到对于当前回复最恰当的情感强度，最终实现提高情感回复拟人化的目的。
为了实现上述目的，本发明采用如下技术方案：
一种对话情感强度一致性控制方法，以HRAN为基础模型，包括：
步骤1：获取历史对话、历史对话响应和程度词；
步骤2：将历史对话与历史对话响应输入编码器中，引入上下文注意力机制和强度注意力机制，并且所述强度注意力机制嵌入程度词，根据注意力机制将历史对话与历史对话响应转换为隐藏表示后作为输出，将上下文注意力机制与强度注意力机制进行融合，获取融合注意力；
步骤3：基于融合注意力读取情感状态，根据所述情感状态预测生成词的类型，并选择需要添加程度词的位置，选择相应携带词性的词语，组合生成相应回复对话。
优选的，所述编码器包括：上下文编码器和词级编码器，所述词级编码器的输出作为所述上下文编码器的输入。
优选的，所述根据注意力机制将历史对话与响应转换为隐藏表示具体包括：
给定一个语句UT,GRU用来编码每个词其中T∈(1,...,m)通过d维嵌入表示，将双向GRU的最后一个隐藏向量表示作为最后的话语的最终隐藏表示；
其中，为T时刻给定话语的词向量，hT,j-1是T时刻第j-1个话语的隐藏向量。
在每一个时间步t，对于每一个话语是隐藏状态hT,j的线性组合/>
其中，是在hT,j的单词注意力分数，hT,k(1≤k≤n)为T时刻h1到hn话语的隐藏向量。
优选的，所述单词注意力分数通过下式求得：
其中，St-1是解码器前一时刻的隐藏状态，是上下文编码器前一时刻的隐藏状态，/>Ua，Va和Wa是词级注意力的参数；
上下文向量Ct由上下文编码器输出的线性组合得到；
其中，是在/>上的上下文级注意力分数,St-1是解码器前一时刻的隐藏状态，/>Ub和Vb是词级注意力的参数。
优选的，所述将上下文注意力机制与强度注意力机制进行融合，获取融合注意力具体包括：
通过下式计算包含上下文信息以及强度信息的融合注意力：
其中，ICt为融合注意力，是在/>上的上下文级注意力分数，/>为回复话语中指定的情感强度，St-1是解码器前一时刻的隐藏状态，/>UI、VI和WI是词级注意力的参数。
优选的，所述读取情感状态具体包括通过门控机制gr读取情感强度状态Mt-1，获取隐藏情感状态并且通过写入门gw更新情感状态Mt，最后写入门的计算方式如下：
Mt＝gw·Mt-1
gw＝sigmoid(wwSt)
其中，sigmoid为激活函数，ww为写入门训练参数，St为当前解码器t时刻的隐藏状态。
优选的，使用单向的门控机制，根据前一时刻的上下文向量Ct、隐藏情感强度状态和上一个解码单词/>生成当前的词，具体见下式：
优选的，为了能够使模型学习到情感词、程度副词以及普通词在句子中的位置以及先后关系，所述选择需要添加程度词的位置具体包括：
通过下式训练一个词性预测器WP，预测下一时刻生成词XT的类型；
Type(XT)＝WP(X1,X2,...,XT-1)
其中，X1,X2,...,XT-1为定文本语句的词序列。
优选的，所述程度词包括情感词、程度副词与普通词。
优选的，所述选择相应携带词性的词语具体包括：
通过下式控制生成情感词、程度副词与普通词的权重；
ρe,I,g＝softmax(We,I,g*tanh(WSZSt+bSZ))
其中，ρe,I,g中ρe为情感词权重，ρI为程度副词权重，ρg为普通词权重；St为情感强度回复生成的隐藏状态包含情感标签和强度标签，We,I,g中We为情感词的词级注意力参数，WI为程度副词的词级注意力参数，Wg为普通词的词级注意力参数；WSZ与bSZ为词级参数，最终的生成概率如下：
其中，Pet、PIt和Pgt分别代表选择情感词、程度副词和普通词的概率,we、wI和wg分别代表情感词向量、程度副词向量和普通词向量的注意力参数，选择不同类型词的概率定义为：
其中，为情感词的概率，/>为程度副词的概率，/>为普通词的概率；St为隐藏状态，/>为隐藏情感状态、We为情感词注意力参数，WI为程度副词注意力参数，Wg为普通词注意力参数。
优选的，使用词性预测器生成情感词Typee、程度副词TypeI和普通词Typeg；
其中为第T轮对话中回复语句的第t个词。
通过最小化交叉熵损失函数使得预测分布不断拟合真实分布，同时增加正则化表示使模型全局最优，训练目标如公式所示
其中，表示门控机制在最后一个时刻的隐藏情感强度状态。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种对话情感强度一致性控制方法，本发明的有益效果是：
1)多轮对话场景下情感强度回复不一致，回复拟人化程度得到提高，基于层级循环注意力网络控制生成对话中回复情感强度，进而得到对于当前回复最恰当的情感强度，最终实现提高情感回复拟人化的目的。本发明改进的门控情感强度机制强度一致性解码器；增加程度副词利用词性类型选择模块，在原本情感程度弱的地方替换强度合适的情感词、普通词和程度副词，能够极大程度上实现情感强度回复的一致性。
2)多轮对话场景下情感强度一致性控制的研究工作得到丰富与发展，情感强度一致性控制回复生成单元是面向多轮对话场景下的回复情感强度一致性控制单元，这方面的研究工作尚未得到大规模展开，本发明丰富了该方向的研究内容，同时也为回复情感强度一致性的进一步的研究提供思路。
3)本发明将能够根据多轮对话情感序列和指定的情感强度控制回复生成中具有恰当的回复情感类别以及情感强度。比起现有模型本发明不仅考虑情感词和普通词，而且能够考虑程度副词，获得更自然恰当的回复情感强度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的步骤流程图；
图2附图为本发明提供的情感强度嵌入编码器单元结构图；
图3附图为本发明提供的情感强度一致性解码器单元结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例公开了一种对话情感强度一致性控制方法，以HRAN为基础模型，包括：
步骤1：获取历史对话、历史对话响应和程度词；
步骤2：将历史对话与历史对话响应输入编码器中，引入上下文注意力机制和强度注意力机制，并且强度注意力机制嵌入程度词，根据注意力机制将历史对话与历史对话响应转换为隐藏表示后作为输出，将上下文注意力机制与强度注意力机制进行融合，获取融合注意力；
步骤3：基于融合注意力读取情感状态，根据情感状态预测生成词的类型，并选择需要添加程度词的位置，选择相应携带词性的词语，组合生成相应回复对话。
在一个具体实施例中，如图2所示，编码器包括：上下文编码器和词级编码器，词级编码器的输出作为上下文编码器的输入。
在一个具体实施例中，根据注意力机制将历史对话与响应转换为隐藏表示具体包括：
给定一个语句UT,GRU用来编码每个词其中T∈(1,...,m)通过d维嵌入表示，将双向GRU的最后一个隐藏向量表示作为最后的话语的最终隐藏表示；
其中，为T时刻给定话语的词向量，hT,j-1是T时刻第j-1个话语的隐藏向量。
在每一个时间步t，对于每一个话语是隐藏状态hT,j的线性组合/>
其中，是在hT,j的单词注意力分数，hT,k(1≤k≤n)为T时刻h1到hn话语的隐藏向量。
在一个具体实施例中，单词注意力分数通过下式求得：
其中，St-1是解码器前一时刻的隐藏状态，是上下文编码器前一时刻的隐藏状态，/>Ua，Va和Wa是词级注意力的参数；
上下文向量Ct由上下文编码器输出的线性组合得到；
其中，是在/>上的上下文级注意力分数,St-1是解码器前一时刻的隐藏状态，/>Ub和Vb是词级注意力的参数。
在一个具体实施例中，将上下文注意力机制与强度注意力机制进行融合，获取融合注意力具体包括：
通过下式计算包含上下文信息以及强度信息的融合注意力：
其中，ICt为融合注意力，是在/>上的上下文级注意力分数，/>为回复话语中指定的情感强度，St-1是解码器前一时刻的隐藏状态，/>UI、VI和WI是词级注意力的参数。
在一个具体实施例中，读取情感状态具体包括通过门控机制gr读取情感强度状态Mt-1，获取隐藏情感状态并且通过写入门gw更新情感状态Mt，最后写入门的计算方式如下：
Mt＝gw·Mt-1
gw＝sigmoid(wwSt)
其中，sigmoid为激活函数，ww为写入门训练参数，St为当前解码器t时刻的隐藏状态。
在一个具体实施例中，使用单向的门控机制，根据前一时刻的上下文向量Ct、隐藏情感强度状态和上一个解码单词/>生成当前的词，具体见下式：
在一个具体实施例中，为了能够使模型学习到情感词、程度副词以及普通词在句子中的位置以及先后关系，选择需要添加程度词的位置具体包括：
通过下式训练一个词性预测器WP，预测下一时刻生成词XT的类型；
Type(XT)＝WP(X1,X2,...,XT-1)
其中，X1,X2,...,XT-1为定文本语句的词序列。
在一个具体实施例中，程度词包括情感词、程度副词与普通词。
在一个具体实施例中，选择相应携带词性的词语具体包括：
通过下式控制生成情感词、程度副词与普通词的权重；
ρe,I,g＝softmax(We,I,g*tanh(WSZSt+bSZ))
其中，ρe,I,g中ρe为情感词权重，ρI为程度副词权重，ρg为普通词权重；St为情感强度回复生成的隐藏状态包含情感标签和强度标签，We,I,g中We为情感词的词级注意力参数，WI为程度副词的词级注意力参数，Wg为普通词的词级注意力参数；WSZ与bSZ为词级参数，最终的生成概率如下：
其中，Pet、PIt和Pgt分别代表选择情感词、程度副词和普通词的概率,we、wI和wg分别代表情感词向量、程度副词向量和普通词向量的注意力参数，选择不同类型词的概率定义为：
其中，为情感词的概率，/>为程度副词的概率，/>为普通词的概率；St为隐藏状态，/>为隐藏情感状态、We为情感词注意力参数，WI为程度副词注意力参数，Wg为普通词注意力参数。
在一个具体实施例中，使用词性预测器生成情感词Typee、程度副词TypeI和普通词Typeg；
其中为第T轮对话中回复语句的第t个词。
通过最小化交叉熵损失函数使得预测分布不断拟合真实分布，同时增加正则化表示使模型全局最优，训练目标如公式所示
其中，表示门控机制在最后一个时刻的隐藏情感强度状态。
面向多轮对话中回复情感强度的一致性控制，参考真实的人与人的对话场景，当前要以怎样的情感以及情感强度进行回复须由三个方面决定：(1)回复中指定的情感类别；(2)指定的情感强度；(3)自身的情感状态。
因此，在设计中需要综合考虑以上三个方面的信息，以恰当地进行情感强度一致性控制。本发明以改进门控机制的HRAN模型为基础构建情感强度一致性控制单元，为实现情感类别以及情感强度的一致性，将多轮对话情感强度一致性任务视为一种限制条件下的序列预测任务。通过使用门控情感强度机制改进解码模块然后利用词性类型选择模块，通过分配不同生成概率，在恰当的位置生成情感词、普通词和程度副词其中由编码器得到上下文向量。
在一个具体实施例中，指定情感强度生成回复语句中生成相一致的情感类别以及强度，如表1所示：
表1
角色 指定强度 语句 情感 强度
用户： 哈哈，这部电影真的很搞笑呀。 高兴 3
EISRGU： 3 我觉得他们的声音好搞笑啊。 高兴 3
用户： 我还想再看一遍。 无 0
EISRGU： 2 真的值得！ 高兴 2
用户： 那里面的角色都很有趣。 高兴 4
EISRGU： 4 是的。 无 4
用户： 我去看电影了，拜拜。 无 0
EISRGU： 1 再见。 无 0
可见，本发明的回复情感强度一致性控制EISRGU模型，在多轮对话交互过程中生成情感强度一致性的回复。
在一个具体实施例中，图2为本发明情感强度嵌入编码器，图3为一个情感强度一致性解码器单元结构图，其中，情感强度嵌入编码器包含词级编码器以及上下文编码器，将历史对话输入GRU，然后进行词向量编码表示，每个对话的词级编码器的输出作为上下文编码器的输入。强度一致性解码器，使用记忆门控改进强度编码模块通过读取情感强度状态Mt-1，可以获取隐藏情感状态并且通过写入门更新情感状态，最后写入门控。并构建了一个词性选择模块，通过分配不同生成概率，在恰当的位置生成情感词、普通词和程度副词，且为了更够使模型学习到情感词、程度副词以及普通词在句子中的位置以及先后关系，训练了一个词性预测器预测下一时刻生成词的类型。
综上，本发明改进的情感强度一致性门控单元的和情感强度词性选择模块及EISRGU训练算法配合取得了最符合真实情况下的情感强度一致性控制。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种对话情感强度一致性控制方法，以HRAN为基础模型，其特征在于，包括：
步骤1：获取历史对话、历史对话响应和程度词；
步骤2：将历史对话与历史对话响应输入编码器中，引入上下文注意力机制和强度注意力机制，并且所述强度注意力机制嵌入程度词，根据注意力机制将历史对话与历史对话响应转换为隐藏表示后作为输出，将上下文注意力机制与强度注意力机制进行融合，获取融合注意力；
步骤3：基于融合注意力读取情感状态，根据所述情感状态预测生成词的类型，并选择需要添加程度词的位置，选择相应携带词性的词语，组合生成相应回复对话。
2.根据权利要求1的一种对话情感强度一致性控制方法，其特征在于，所述编码器包括：上下文编码器和词级编码器，所述词级编码器的输出作为所述上下文编码器的输入。
3.根据权利要求2的一种对话情感强度一致性控制方法，其特征在于，所述根据注意力机制将历史对话与响应转换为隐藏表示具体包括：
给定一个语句UT,GRU用来编码每个词其中T∈(1,...,m)通过d维嵌入表示，将双向GRU的最后一个隐藏向量表示作为最后的话语的最终隐藏表示；
其中，为T时刻给定话语的词向量，hT,j-1是T时刻第j-1个话语的隐藏向量。
在每一个时间步t，对于每一个话语是隐藏状态hT,j的线性组合/>
其中，是在hT,j的单词注意力分数，hT,k(1≤k≤n)为T时刻h1到hn话语的隐藏向量。
所述单词注意力分数通过下式求得：
其中，St-1是解码器前一时刻的隐藏状态，是上下文编码器前一时刻的隐藏状态，Ua，Va和Wa是词级注意力的参数；
上下文向量Ct由上下文编码器输出的线性组合得到；
其中，是在/>上的上下文级注意力分数,St-1是解码器前一时刻的隐藏状态，/>Ub和Vb是词级注意力的参数。
4.根据权利要求3的一种对话情感强度一致性控制方法，其特征在于，所述将上下文注意力机制与强度注意力机制进行融合，获取融合注意力具体包括：
通过下式计算包含上下文信息以及强度信息的融合注意力：
其中，ICt为融合注意力，是在/>上的上下文级注意力分数，/>为回复话语中指定的情感强度，St-1是解码器前一时刻的隐藏状态，/>UI、VI和WI是词级注意力的参数。
5.根据权利要求1的一种对话情感强度一致性控制方法，其特征在于，所述读取情感状态具体包括通过门控机制gr读取情感强度状态Mt-1，获取隐藏情感状态并且通过写入门gw更新情感状态Mt，最后写入门的计算方式如下：
Mt＝gw·Mt-1
gw＝sigmoid(wwSt)
其中，sigmoid为激活函数，ww为写入门训练参数，St为当前解码器t时刻的隐藏状态。
6.根据权利要求5的一种对话情感强度一致性控制方法，其特征在于，包括，使用单向的门控机制，根据前一时刻的上下文向量Ct、隐藏情感强度状态和上一个解码单词生成当前的词，具体见下式：
7.根据权利要求1的一种对话情感强度一致性控制方法，其特征在于为了能够使模型学习到情感词、程度副词以及普通词在句子中的位置以及先后关系，所述选择需要添加程度词的位置具体包括：
通过下式训练一个词性预测器WP，预测下一时刻生成词XT的类型；
Type(XT)＝WP(X1,X2,...,XT-1)
其中，X1,X2,...,XT-1为定文本语句的词序列。
8.根据权利要求7的一种对话情感强度一致性控制方法，其特征在于，所述程度词包括情感词、程度副词与普通词。
9.根据权利要求8的一种对话情感强度一致性控制方法，其特征在于，所述选择相应携带词性的词语具体包括：
通过下式控制生成情感词、程度副词与普通词的权重；
ρe,I,g＝softmax(We,I,g*tanh(WSZSt+bSZ))
其中，ρe,I,g中ρe为情感词权重，ρI为程度副词权重，ρg为普通词权重；St为情感强度回复生成的隐藏状态包含情感标签和强度标签，We,I,g中We为情感词的词级注意力参数，WI为程度副词的词级注意力参数，Wg为普通词的词级注意力参数；WSZ与bSZ为词级参数，最终的生成概率如下：
其中，Pet、PIt和Pgt分别代表选择情感词、程度副词和普通词的概率,we、wI和wg分别代表情感词向量、程度副词向量和普通词向量的注意力参数，选择不同类型词的概率定义为：
其中，为情感词的概率，/>为程度副词的概率，/>为普通词的概率；St为隐藏状态，/>为隐藏情感状态、We为情感词注意力参数，WI为程度副词注意力参数，Wg为普通词注意力参数。
10.根据权利要求9的一种对话情感强度一致性控制方法，其特征在于，包括：
使用词性预测器生成情感词Typee、程度副词TypeI和普通词Typeg；
其中为第T轮对话中回复语句的第t个词。
通过最小化交叉熵损失函数使得预测分布不断拟合真实分布，同时增加正则化表示使模型全局最优，训练目标如公式所示
其中，表示门控机制在最后一个时刻的隐藏情感强度状态。
CN202310387665.1A 2023-04-12 2023-04-12 一种对话情感强度一致性控制方法 Pending CN116701580A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310387665.1A CN116701580A (zh) 2023-04-12 2023-04-12 一种对话情感强度一致性控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310387665.1A CN116701580A (zh) 2023-04-12 2023-04-12 一种对话情感强度一致性控制方法

Publications (1)

Publication Number Publication Date
CN116701580A true CN116701580A (zh) 2023-09-05

Family

ID=87834647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310387665.1A Pending CN116701580A (zh) 2023-04-12 2023-04-12 一种对话情感强度一致性控制方法

Country Status (1)

Country Link
CN (1) CN116701580A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117131182A (zh) * 2023-10-26 2023-11-28 江西拓世智能科技股份有限公司 一种基于ai的对话回复生成方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117131182A (zh) * 2023-10-26 2023-11-28 江西拓世智能科技股份有限公司 一种基于ai的对话回复生成方法及系统

Similar Documents

Publication Publication Date Title
CN110297887B (zh) 基于云平台的服务机器人个性化对话系统及方法
CN108595436A (zh) 情感对话内容的生成方法和系统、存储介质
CN112182161B (zh) 一种基于用户对话历史的个性化对话生成方法和系统
CN111382257A (zh) 一种生成对话下文的方法和系统
CN112256857B (zh) 一种基于图注意力机制的对话历史建模方法
CN114911932A (zh) 基于主题语义增强的异构图结构多会话者情感分析方法
CN112765333B (zh) 基于情感与提示词结合的自动对话生成方法及系统
CN116701580A (zh) 一种对话情感强度一致性控制方法
JP2022503812A (ja) 文処理方法、文復号方法、装置、プログラム及び機器
CN110069611A (zh) 一种主题增强的聊天机器人回复生成方法及装置
CN114168707A (zh) 一种面向推荐的情绪型对话方法
CN116561265A (zh) 个性化对话生成方法和模型训练方法以及设备
CN110297894B (zh) 一种基于辅助网络的智能对话生成方法
CN114281954A (zh) 一种基于关系图注意力网络的多轮对话回复生成系统及方法
CN110851580B (zh) 一种基于结构化用户属性描述的个性化任务型对话系统
Xu et al. Generating emotional controllable response based on multi-task and dual attention framework
Balayn et al. Data-driven development of virtual sign language communication agents
CN112434143B (zh) 基于gru单元隐藏状态约束的对话方法、存储介质及系统
CN115858736A (zh) 一种基于情感提示微调的情感文本生成方法
KR20230072656A (ko) 사전 학습 언어 모델 기반 대화 생성 장치 및 방법
Gupta A review of generative AI from historical perspectives
CN112182162A (zh) 一种基于记忆神经网络的个性化对话方法和系统
Dasgupta et al. A Review of Generative AI from Historical Perspectives
Zhou et al. A neural generation-based conversation model using fine-grained emotion-guide attention
CN117710533B (zh) 一种基于扩散模型的音乐条件化舞蹈动画生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination