CN114168707A - 一种面向推荐的情绪型对话方法 - Google Patents

一种面向推荐的情绪型对话方法 Download PDF

Info

Publication number
CN114168707A
CN114168707A CN202111262140.2A CN202111262140A CN114168707A CN 114168707 A CN114168707 A CN 114168707A CN 202111262140 A CN202111262140 A CN 202111262140A CN 114168707 A CN114168707 A CN 114168707A
Authority
CN
China
Prior art keywords
emotion
current
conversation
dialogue
recommendation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111262140.2A
Other languages
English (en)
Inventor
黄家栋
谢志峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202111262140.2A priority Critical patent/CN114168707A/zh
Publication of CN114168707A publication Critical patent/CN114168707A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向推荐的情绪型对话方法。该方法主要有以下几个步骤：(1)对话数据集的预处理；(2)预测推荐内容模型训练；(3)基于Sequence‑to‑Sequence模型，将历史对话、推荐目标序列、知识图谱、当前回复等作为Encoder的输入，并通过双向GRU模型进行编码，Decoder处加入情绪嵌入模块，由历史对话得到用户当前情绪，在不干扰知识输出的前提下，生成符合用户当前情绪的对话回复；(4)面向推荐的情绪型对话模型调用，通过Sequence‑to‑Sequence编解码，得到最终的对话回复输出。该方法证明了对话机器人不仅仅只拥有单一的知识输出或情绪输出的能力，而且可以将知识输出与情绪输出结合，使对话生成更加类人，进而提升用户体验。

Description

一种面向推荐的情绪型对话方法
技术领域
本发明涉及一种面向推荐的情绪型对话方法，属于计算机自然语言处理领域。
背景技术
随着数字化信息时代的到来，大量社交软件应运而生的对话数据量正以惊人的速度增加。这种数字化趋势为深度学习与智能对话技术在订票助手、智能推荐、智能客服等领域的应用创造了新的机遇。作为人工智能的一条重要分支，智能对话技术已经不仅仅被期望拥有智商，即知识的获取与表达，更应该拥有情商，即用户情绪的捕捉，并根据用户当前的情绪生成对应的回复。对于目前已有的智能对话推荐系统，可以不错地提取相关知识，完成推荐任务，但无法根据用户的回复，感知用户的情绪，并调整回复策略。如何利用当前计算机技术实现拥有“双商”的面向推荐的情绪型对话机器人，是一个值得研究的问题。
实现一个文本对话机器人的两大基本模块主要是自然语言理解模块(NLU)和自然语言生成模块(NLG)。其中，自然语言生成是对话系统的核心内容，通常包含三种解决方案：基于人工模板(rule-based)、基于知识库检索(query-based)和基于深度学习的序列到序列(Sequence-to-Sequence)生成模型。每种方案各有优劣和适用场景，(1)rule-based：在特定领域内可以给出精准回答，但移植性和拓展性较差，适用于订票助手等封闭域(closed-domain)聊天应用。(2)query-based：知识库拥有较好的扩充性且输出答案不存在语法错误，但对话的连贯性较差，会出现所答非所问的情况，适用于问答系统等应用。(3)Sequence-to-Sequence：可以通过数据驱动直接实现自然语言生成，省去了自然语言理解的过程，但其需要大量的语料支持，适用于大部分的开放域(open-domain)智能聊天机器人。
运用深度学习实现智能对话的基础框架是Encoder-Decoder，对其Encoder或Decoder的改写，可以实现不同的对话应用：智能客服、智能推荐、闲聊机器人、多轮对话机器人、问答机器人、情绪感知型聊天机器人等。
1950年，Alan Mathison Turing提出了著名的图灵测试，如果计算机能够像人类一样用自然语言进行交流，那么就可以被认为具有人工智能。即要求计算机拥有像人一般的智商、情商以及学习能力。
Zhou等人首次在大规模的中文对话生成中加入了情绪因素，提出了情感聊天机(ECM)，通过在Decoder端加入情绪嵌入(Emotion Embedding)模块、内部记忆(InternalMemory)模块和外部记忆(External Memory)模块，实现了由输入语句生成对应五种情绪的回复。
Song等人基于情感表达的两种方式：采用较强的情感词以及隐式地结合不同中立词来增加情感体验的强度，提出了一种情感对话系统，在Sequence-to-Sequence框架中扩展了基于词典的注意力机制，实现了显示或隐式地表达期望情感，同时成功地生成连贯且有意义的回复。
Rashkin等人针对用来训练和评测的公开情绪对话数据集非常缺乏的问题，提出了一个英文情感对话的基线方法和数据集，该模型采用了Transformer作为编解码，并在编码的过程中增加了情感标签的辅助信息。
Shen等人提出了一种课程式对偶学习(CDL)方法，将带有情感的回复和查询生成学习作为一个对偶任务，并用对偶性来建模它们之间的相互关系，通过强化学习(RL)交替训练前向和后向模型，实现了情感可控的回复生成。此处奖励的设计旨在鼓励情感表达和内容一致性。
Wu等人提出了一种基于知识图谱主导的主动式对话系统，该对话系统的目标为将对话主题从A引导到B，该模型将上下文和目标主题一起编码以及对知识和当前轮回复一起编码，实现对话输出。
Liu等人提出了一个新的对话任务：融合多个对话类型的对话式推荐，该对话系统可以主动且自然地从任意类型对话引导到推荐目标上，该模型主要分为两大部分：对话目标规划与回复生成。目标规划部分首先预测当前goal是否完成，其次预测下一个对话类型以及目标实体；回复生成部分借鉴了Sequence-to-Sequence模型，分别使用双向GRU对对话历史、相关知识、对话目标进行编码，通过Attention选择回复需要使用的知识信息，将其引入Decoder中实现回复生成。
发明内容
本发明的目的是针对现今智能对话推荐领域中，缺乏对用户情绪的感知、无法根据捕获的用户情绪调整回复策略等问题，提供一种面向推荐的情绪型对话方法。
为达到上述目的，本发明采用如下技术方案：
一种面向推荐的情绪型对话方法，实现在不干扰推荐内容的前提下，生成符合用户当前情绪的对话回复；具体操作步骤如下：
(1)对话数据集的预处理
通过训练五类情绪的文本分类模型，将对话数据集中的句子，通过文本分类网络的预测，将预测结果保留在数据集中，同时，数据集中保留历史对话和当前回复、三元组形式的知识图谱信息、推荐目标序列、用户画像等。
(2)预测推荐内容模型训练
根据数据集中的推荐目标序列以及历史对话信息，通过用户画像中用户喜好对最终推荐目标序列的干预，训练并预测当前目标是否完成以及下一个推荐的目标实体，得到最终的推荐目标序列。
(3)情绪型对话模型训练
基于Sequence-to-Sequence模型，将知识模块、推荐目标序列模块、历史对话模块、当前回复模块等作为Encoder，在Decoder处加入情绪嵌入模块，进行训练。在不干扰知识输出的前提下，完成了对用户情绪的捕获并以此改善对话回复，进而提升用户体验。
(4)面向推荐的情绪型对话模型调用
通过调用上述训练模型，首先根据用户画像预测最终的推荐目标序列，再预测当前输入语句的情感标签值，加上历史对话作为上下文输入，通过Sequence-to-Sequence编解码，得到最终的对话回复输出。
优选地，所述步骤(1)通过级联ERNIE与TextCNN模块，构建情绪文本分类网络，文本分类训练数据集中包含喜欢like、悲伤sad、愤怒anger、厌恶disgust、高兴happiness、其他null六类情绪文本语料；该文本分类网络模型的损失函数为在预测值与真实值之间做交叉熵：
Figure BDA0003326150410000031
其中n为样本数，q为输出类别数，
Figure BDA0003326150410000032
是真实值向量y(i)中非0即1的元素，
Figure BDA0003326150410000033
是预测值向量
Figure BDA0003326150410000034
中非0即1的元素；i表示第i个样本；j表示第j个分类类别；
训练后得到分类模型，应用于百度开源的DuRecDial数据集，并将该数据集中的历史对话及对应回复，通过该文本分类网络模型进行情绪预测，得到每句对应的情绪预测标签值，将预测结果保留在数据集中，同时，数据集中保留历史对话、当前回复、三元组形式的知识图谱信息、推荐目标序列、用户画像等字段。
优选地，所述步骤(2)基于DuRecDial数据集中的推荐目标序列以及用户画像字段，构建推荐目标预测网络，该网络包含两个模块：判断当前目标完成情况模块以及预测下一个推荐实体模块；其中，判断当前目标完成情况模块采用的网络模型为TextCNN，将历史对话和当前对话进展情况作为输入，输出为预测当前目标完成的概率：
PGC(l＝1|X,gt-1) (2)
其中，X表示历史对话，t表示当前对话轮次，gt-1表示上一句话的对话目标，PGC表示目标完成概率；若概率值小于0.5，表示未完成，则将上一句对话目标返回作为下一轮对话目标；若概率值大于0.5，表示当前对话目标已完成，则进入下一阶段，即下一个推荐目标预测；
预测下一个推荐实体模块采用了基于CNN的多分类网络，同时根据用户画像中用户的喜好，在该网络中加入对应的Attention机制，对应用户喜好的推荐目标将会被分配更高的权重值；通过该Attention对最终推荐目标序列的干预，训练并预测当前目标是否完成，并预测下一个对话的目标实体，得到最终的推荐目标序列；其概率模型写为：
Figure BDA0003326150410000041
其中，P为用户画像，代表用户的喜好与厌恶，X为历史对话，G原始推荐目标，gtp为下一个候选对话推荐目标，PGP表示对话目标预测概率，t表示当前对话轮次。
优选地，所述步骤(3)基于Sequence-to-Sequence模型和数据集中的历史对话、当前回复、对话情绪标签、知识图谱、推荐目标序列等字段，构建面向推荐的情绪型对话生成网络；该网络包含：历史对话编码模块、知识编码模块、推荐目标编码模块、知识选择模块和情绪嵌入模块；其中，历史对话和推荐目标分别采用双向GRU模型进行编码，知识图谱信息与当前回复作为输入，采用双向GRU的编码方式并加入Attention机制，构建了知识选择模块，将以上模块作为Encoder，并进行concatenate操作生成语义编码向量；在Decoder处，首先根据历史对话预测用户当前的情绪值，再根据当前情绪值生成对应的回复情绪分类，即若用户当前情绪为积极，如like或happy等，则回复情绪为积极，以达到继续推荐的目的；若用户当前情绪为消极，如sad或anger等，则回复情绪为安慰；同样采用时序型模型GRU进行解码，具体如下：
st＝GRU(st-1,[xt；et]) (4)
其中，t表示当前轮对话，st-1表示解码器上一个状态编码，xt表示历史对话编码，et表示当前情绪编码；在不干扰知识输出的前提下，生成符合用户当前情绪的对话回复，进而提升用户体验。
优选地，所述步骤(4)首先根据用户画像，调用预测推荐内容模型，预测最终的推荐目标序列，再调用文本情绪分类模型，预测当前输入语句的情感标签值，将预测目标序列、历史对话信息、知识图谱，情绪标签作为输入，通过面向推荐的情绪型对话模型进行编解码，得到最终的对话回复输出。
与现有技术相比较，本发明具有如下显而易见的突出实质性特点和显著优点：
1.本发明根据用户画像中用户的喜好，更有效地规避潜在的无效推荐内容；在Decoder处引入情绪因素，既有效解决了在对话推荐系统中，对用户情绪的感知，还能根据用户当前的情绪值，调整对话的回复策略；
2.对于整个对话系统而言，本发明不仅完成了推荐内容的知识输出，同时兼顾了用户的情绪，对于实现对话系统更加类人的目标具有重要意义。
附图说明
图1是面向推荐的情绪型对话方法整体流程图。
图2是情绪文本分类模型。
图3是卷积神经网络。
图4是历史对话情绪分类预测结果。
图5是DuRecDial预处理后的字段数据。
图6是情绪文本分类模型参数。
具体实施方式
本发明的优先实施例结合附图说明如下：
实施例一
一种面向推荐的情绪型对话方法，实现在不干扰推荐内容的前提下，生成符合用户当前情绪的对话回复；具体操作步骤如下：
(1)对话数据集的预处理：通过训练情绪文本分类模型，预测对话数据集中历史对话与回复句的情绪标签值，将情绪预测标签结果保留在数据集中；
(2)预测推荐内容模型训练：根据数据集中的推荐目标序列以及历史对话信息，通过用户画像中用户喜好对最终推荐目标序列的干预，训练并预测当前目标是否完成以及下一个推荐的目标实体，得到最终的推荐目标序列；
(3)情绪型对话模型训练：基于Sequence-to-Sequence模型，将知识模块、推荐目标序列模块、历史对话模块、当前回复模块等作为Encoder，在Decoder处加入情绪嵌入模块，进行训练；在不干扰知识输出的前提下，完成对用户情绪的捕获并以此改善对话回复；
(4)面向推荐的情绪型对话模型调用：通过调用上述训练模型，首先根据用户画像预测最终的推荐目标序列，再预测当前输入语句的情感标签值，加上历史对话作为上下文输入，通过Sequence-to-Sequence编解码，得到最终的对话回复输出。
本实施例方法根据用户画像中用户的喜好，更有效地规避潜在的无效推荐内容；在Decoder处引入情绪因素，既有效解决了在对话推荐系统中，对用户情绪的感知，还可以根据用户当前的情绪值，调整对话的回复策略。
实施例二
本实施例与实施例一基本相同，特别之处在于：
一种面向推荐的情绪型对话方法，实现在不干扰推荐内容的前提下，生成符合用户当前情绪的对话回复；具体操作步骤如下：
(1)对话数据集的预处理：
)通过级联ERNIE与TextCNN模块，构建情绪文本分类网络，文本分类训练数据集中包含喜欢like、悲伤sad、愤怒anger、厌恶disgust、高兴happiness、其他null六类情绪文本语料；该文本分类网络模型的损失函数为在预测值与真实值之间做交叉熵：
Figure BDA0003326150410000061
其中n为样本数，q为输出类别数，
Figure BDA0003326150410000062
是真实值向量y(i)中非0即1的元素，
Figure BDA0003326150410000063
是预测值向量
Figure BDA0003326150410000064
中非0即1的元素；i表示第i个样本；j表示第j个分类类别；
训练后得到分类模型，应用于百度开源的DuRecDial数据集，并将该数据集中的历史对话及对应回复，通过该文本分类网络模型进行情绪预测，得到每句对应的情绪预测标签值，将预测结果保留在数据集中，同时，数据集中保留历史对话、当前回复、三元组形式的知识图谱信息、推荐目标序列、用户画像字段；
(2)预测推荐内容模型训练：
所述步骤(2)基于DuRecDial数据集中的推荐目标序列以及用户画像字段，构建推荐目标预测网络，该网络包含两个模块：判断当前目标完成情况模块以及预测下一个推荐实体模块；其中，判断当前目标完成情况模块采用的网络模型为TextCNN，将历史对话和当前对话进展情况作为输入，输出为预测当前目标完成的概率：
PGC(l＝1|X,gt-1) (2)
其中，X表示历史对话，t表示当前对话轮次，gt-1表示上一句话的对话目标，PGC表示目标完成概率；若概率值小于0.5，表示未完成，则将上一句对话目标返回作为下一轮对话目标；若概率值大于0.5，表示当前对话目标已完成，则进入下一阶段，即下一个推荐目标预测；
预测下一个推荐实体模块采用了基于CNN的多分类网络，同时根据用户画像中用户的喜好，在该网络中加入对应的Attention机制，对应用户喜好的推荐目标将会被分配更高的权重值；通过该Attention对最终推荐目标序列的干预，训练并预测当前目标是否完成，并预测下一个对话的目标实体，得到最终的推荐目标序列；其概率模型写为：
Figure BDA0003326150410000071
其中，P为用户画像，代表用户的喜好与厌恶，X为历史对话，G原始推荐目标，gtp为下一个候选对话推荐目标，PGP表示对话目标预测概率，t表示当前对话轮次。
(3)情绪型对话模型训练：
基于Sequence-to-Sequence模型和数据集中的历史对话、当前回复、对话情绪标签、知识图谱、推荐目标序列等字段，构建面向推荐的情绪型对话生成网络；该网络包含：历史对话编码模块、知识编码模块、推荐目标编码模块、知识选择模块和情绪嵌入模块；其中，历史对话和推荐目标分别采用双向GRU模型进行编码，知识图谱信息与当前回复作为输入，采用双向GRU的编码方式并加入Attention机制，构建了知识选择模块，将以上模块作为Encoder，并进行concatenate操作生成语义编码向量；在Decoder处，首先根据历史对话预测用户当前的情绪值，再根据当前情绪值生成对应的回复情绪分类，即若用户当前情绪为积极，如like或happy等，则回复情绪为积极，以达到继续推荐的目的；若用户当前情绪为消极，如sad或anger等，则回复情绪为安慰；同样采用时序型模型GRU进行解码，具体如下：
st＝GRU(st-1,[xt；et]) (4)
其中，t表示当前轮对话，st-1表示解码器上一个状态编码，xt表示历史对话编码，et表示当前情绪编码；在不干扰知识输出的前提下，生成符合用户当前情绪的对话回复，进而提升用户体验；
(4)面向推荐的情绪型对话模型调用：
首先根据用户画像，调用预测推荐内容模型，预测最终的推荐目标序列，再调用文本情绪分类模型，预测当前输入语句的情感标签值，将预测目标序列、历史对话信息、知识图谱，情绪标签作为输入，通过面向推荐的情绪型对话模型进行编解码，得到最终的对话回复输出。
本实施例面向推荐的情绪型对话方法，对话数据集的预处理；预测推荐内容模型训练；基于Sequence-to-Sequence模型，将历史对话、推荐目标序列、知识图谱、当前回复等作为Encoder的输入，并通过双向GRU模型进行编码，Decoder处加入情绪嵌入模块，由历史对话得到用户当前情绪，在不干扰知识输出的前提下，生成符合用户当前情绪的对话回复；面向推荐的情绪型对话模型调用，通过Sequence-to-Sequence编解码，得到最终的对话回复输出。本实施例方法证明了对话机器人不仅仅只拥有单一的知识输出或情绪输出的能力，而且可以将知识输出与情绪输出结合，使对话生成更加类人，进而提升用户体验。本实施例方法不仅完成了推荐内容的知识输出，同时兼顾了用户的情绪，对于实现对话系统更加类人的目标具有重要意义。
实施例三
本实施例与上述实施例基本相同，特别之处在于：
在本实施例中，整体流程参见图1，面向推荐的情绪型对话方法，实例使用基于百度提出的DuRecDial数据集，并进行了情绪字段的扩充，首先由数据集中的推荐目标序列以及用户画像，预测出最终推荐目标序列，再将推荐目标序列、历史对话、情绪标签、知识图谱等作为输入，通过训练面向推荐的情绪型对话网络，得到最终符合用户当前情绪的推荐对话。
本实施例使用的数据是：基于2020百度提出的DuRecDial数据集，对其中每一句历史对话及当前回复进行情绪预测，并保存。基础数据主要包括：对话发生的时间地点、推荐目标序列、用户画像、三元组形式的知识图谱、历史对话等。
1)对话数据集的预处理：
通过融合ERNIE与TextCNN模块，构建情绪文本分类网络，文本分类训练语料中包含喜欢(like)、悲伤(sad)、愤怒(anger)、厌恶(disgust)、高兴(happiness)、其他(null)六类情绪文本语料。训练后得到分类模型，将DuRecDial数据集中的历史对话及对应回复，通过文本分类网络模型的预测，得到每句对应的情绪预测标签，将预测结果保留在数据集中，同时，数据集中保留历史对话、当前回复、三元组形式的知识图谱信息、推荐目标序列、用户画像等字段。
2)预测推荐内容模型训练
基于数据集中的推荐目标序列以及用户画像字段，构建推荐目标预测网络，该网络包含两个模块：判断当前目标完成情况模块以及预测下一个推荐实体模块。其中，判断当前目标完成情况模块采用的网络模型为TextCNN，将历史对话和当前对话进展情况作为输入，输出为预测当前目标完成的概率，若小于0.5，则表示未完成，若大于0.5，则表示已完成；预测下一个推荐实体模块采用了基于CNN的多分类网络，同时根据用户画像中用户的喜好，在该网络中加入对应的Attention机制，对应用户喜好的推荐目标将会被分配更高的权重值。通过该Attention对最终推荐目标序列的干预，训练并预测当前目标是否完成，并预测下一个对话的目标实体，得到最终的推荐目标序列。
3)情绪型对话模型训练
基于Sequence-to-Sequence模型和数据集中的历史对话、当前回复、对话情绪标签、知识图谱、推荐目标序列等字段，构建面向推荐的情绪型对话生成网络。该网络包含：历史对话编码模块、知识编码模块、推荐目标编码模块、知识选择模块和情绪嵌入模块。其中，历史对话和推荐目标分别采用双向GRU模型进行编码，知识图谱信息与当前回复作为输入，采用双向GRU的编码方式并加入Attention机制，构建了知识选择模块，将以上模块作为Encoder，并进行concatenate操作生成语义编码向量。在Decoder处，首先根据历史对话预测用户当前的情绪值，再根据当前情绪值生成对应的回复情绪分类，即若用户当前情绪为积极，如like或happy等，则回复情绪为积极，以达到继续推荐的目的；若用户当前情绪为消极，如sad或anger等，则回复情绪为安慰。同样采用时序型模型GRU进行解码，输入为语义编码向量、上一个生成词的词向量，以及情绪分类编码向量。在不干扰知识输出的前提下，生成符合用户当前情绪的对话回复，进而提升用户体验。
4)面向推荐的情绪型对话模型调用
首先根据用户画像，调用预测推荐内容模型，预测最终的推荐目标序列，再调用文本情绪分类模型，预测当前输入语句的情感标签值，将预测目标序列、历史对话信息、知识图谱，情绪标签作为输入，通过面向推荐的情绪型对话模型进行编解码，得到最终的对话回复输出。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种面向推荐的情绪型对话方法，实现在不干扰推荐内容的前提下，生成符合用户当前情绪的对话回复；其特征在于，具体操作步骤如下：
(1)对话数据集的预处理：通过训练情绪文本分类模型，预测对话数据集中历史对话与回复句的情绪标签值，将情绪预测标签结果保留在数据集中；
(2)预测推荐内容模型训练：根据数据集中的推荐目标序列以及历史对话信息，通过用户画像中用户喜好对最终推荐目标序列的干预，训练并预测当前目标是否完成以及下一个推荐的目标实体，得到最终的推荐目标序列；
(3)情绪型对话模型训练：基于Sequence-to-Sequence模型，将知识模块、推荐目标序列模块、历史对话模块、当前回复模块等作为Encoder，在Decoder处加入情绪嵌入模块，进行训练；在不干扰知识输出的前提下，完成对用户情绪的捕获并以此改善对话回复；
(4)面向推荐的情绪型对话模型调用：通过调用上述训练模型，首先根据用户画像预测最终的推荐目标序列，再预测当前输入语句的情感标签值，加上历史对话作为上下文输入，通过Sequence-to-Sequence编解码，得到最终的对话回复输出。
2.根据权利要求1所述的面向推荐的情绪型对话方法，其特征在于，所述步骤(1)通过级联ERNIE与TextCNN模块，构建情绪文本分类网络，文本分类训练数据集中包含喜欢like、悲伤sad、愤怒anger、厌恶disgust、高兴happiness、其他null六类情绪文本语料；该文本分类网络模型的损失函数为在预测值与真实值之间做交叉熵：
Figure FDA0003326150400000011
其中n为样本数，q为输出类别数，
Figure FDA0003326150400000012
是真实值向量y(i)中非0即1的元素，
Figure FDA0003326150400000013
是预测值向量
Figure FDA0003326150400000014
中非0即1的元素；i表示第i个样本；j表示第j个分类类别；
训练后得到分类模型，应用于百度开源的DuRecDial数据集，并将该数据集中的历史对话及对应回复，通过该文本分类网络模型进行情绪预测，得到每句对应的情绪预测标签值，将预测结果保留在数据集中，同时，数据集中保留历史对话、当前回复、三元组形式的知识图谱信息、推荐目标序列、用户画像字段。
3.根据权利要求1所述的面向推荐的情绪型对话方法，其特征在于，所述步骤(2)基于DuRecDial数据集中的推荐目标序列以及用户画像字段，构建推荐目标预测网络，该网络包含两个模块：判断当前目标完成情况模块以及预测下一个推荐实体模块；其中，判断当前目标完成情况模块采用的网络模型为TextCNN，将历史对话和当前对话进展情况作为输入，输出为预测当前目标完成的概率：
PGC(l＝1|X,gt-1) (2)
其中，X表示历史对话，t表示当前对话轮次，gt-1表示上一句话的对话目标，PGC表示目标完成概率；若概率值小于0.5，表示未完成，则将上一句对话目标返回作为下一轮对话目标；若概率值大于0.5，表示当前对话目标已完成，则进入下一阶段，即下一个推荐目标预测；
预测下一个推荐实体模块采用了基于CNN的多分类网络，同时根据用户画像中用户的喜好，在该网络中加入对应的Attention机制，对应用户喜好的推荐目标将会被分配更高的权重值；通过该Attention对最终推荐目标序列的干预，训练并预测当前目标是否完成，并预测下一个对话的目标实体，得到最终的推荐目标序列；其概率模型写为：
Figure FDA0003326150400000021
其中，P为用户画像，代表用户的喜好与厌恶，X为历史对话，G原始推荐目标，gtp为下一个候选对话推荐目标，PGP表示对话目标预测概率，t表示当前对话轮次。
4.根据权利要求1所述的面向推荐的情绪型对话方法，其特征在于，所述步骤(3)基于Sequence-to-Sequence模型和数据集中的历史对话、当前回复、对话情绪标签、知识图谱、推荐目标序列等字段，构建面向推荐的情绪型对话生成网络；该网络包含：历史对话编码模块、知识编码模块、推荐目标编码模块、知识选择模块和情绪嵌入模块；其中，历史对话和推荐目标分别采用双向GRU模型进行编码，知识图谱信息与当前回复作为输入，采用双向GRU的编码方式并加入Attention机制，构建了知识选择模块，将以上模块作为Encoder，并进行concatenate操作生成语义编码向量；在Decoder处，首先根据历史对话预测用户当前的情绪值，再根据当前情绪值生成对应的回复情绪分类，即若用户当前情绪为积极，如like或happy等，则回复情绪为积极，以达到继续推荐的目的；若用户当前情绪为消极，如sad或anger等，则回复情绪为安慰；同样采用时序型模型GRU进行解码，具体如下：
st＝GRU(st-1,[xt；et]) (4)
其中，t表示当前对话轮次，st-1表示解码器上一个状态编码，xt表示历史对话编码，et表示当前情绪编码；在不干扰知识输出的前提下，生成符合用户当前情绪的对话回复，进而提升用户体验。
5.根据权利要求1所述的面向推荐的情绪型对话方法，其特征在于，所述步骤(4)首先根据用户画像，调用预测推荐内容模型，预测最终的推荐目标序列，再调用文本情绪分类模型，预测当前输入语句的情感标签值，将预测目标序列、历史对话信息、知识图谱，情绪标签作为输入，通过面向推荐的情绪型对话模型进行编解码，得到最终的对话回复输出。
CN202111262140.2A 2021-10-28 2021-10-28 一种面向推荐的情绪型对话方法 Pending CN114168707A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111262140.2A CN114168707A (zh) 2021-10-28 2021-10-28 一种面向推荐的情绪型对话方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111262140.2A CN114168707A (zh) 2021-10-28 2021-10-28 一种面向推荐的情绪型对话方法

Publications (1)

Publication Number Publication Date
CN114168707A true CN114168707A (zh) 2022-03-11

Family

ID=80477550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111262140.2A Pending CN114168707A (zh) 2021-10-28 2021-10-28 一种面向推荐的情绪型对话方法

Country Status (1)

Country Link
CN (1) CN114168707A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610861A (zh) * 2022-05-11 2022-06-10 之江实验室 基于变分自编码器的融入知识和感情的端到端对话方法
CN115017292A (zh) * 2022-08-09 2022-09-06 北京聆心智能科技有限公司 一种基于对话的信息推荐方法、装置、设备及存储介质
CN115730070A (zh) * 2022-11-25 2023-03-03 重庆邮电大学 一种人机共情对话方法、系统、电子设备和介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114610861A (zh) * 2022-05-11 2022-06-10 之江实验室 基于变分自编码器的融入知识和感情的端到端对话方法
CN114610861B (zh) * 2022-05-11 2022-08-26 之江实验室 基于变分自编码器的融入知识和感情的端到端对话方法
CN115017292A (zh) * 2022-08-09 2022-09-06 北京聆心智能科技有限公司 一种基于对话的信息推荐方法、装置、设备及存储介质
CN115730070A (zh) * 2022-11-25 2023-03-03 重庆邮电大学 一种人机共情对话方法、系统、电子设备和介质
CN115730070B (zh) * 2022-11-25 2023-08-08 重庆邮电大学 一种人机共情对话方法、系统、电子设备和介质

Similar Documents

Publication Publication Date Title
CN110287481B (zh) 命名实体语料标注训练系统
CN106448670B (zh) 基于深度学习和强化学习的自动回复对话系统
CN110175227B (zh) 一种基于组队学习和层级推理的对话辅助系统
CN112069302B (zh) 会话意图识别模型的训练方法、会话意图识别方法及装置
CN114168707A (zh) 一种面向推荐的情绪型对话方法
CN111897941A (zh) 对话生成方法、网络训练方法、装置、存储介质及设备
CN112214591B (zh) 一种对话预测的方法及装置
CN112307168B (zh) 基于人工智能的问诊会话处理方法、装置和计算机设备
CN110990555B (zh) 端到端检索式对话方法与系统及计算机设备
CN115048447B (zh) 一种基于智能语义补全的数据库自然语言接口系统
CN113901191A (zh) 问答模型的训练方法及装置
CN112100375A (zh) 文本信息生成方法、装置、存储介质及设备
CN113065344A (zh) 一种基于迁移学习和注意力机制的跨语料库情感识别方法
CN111858898A (zh) 基于人工智能的文本处理方法、装置及电子设备
Saha et al. Towards sentiment aided dialogue policy learning for multi-intent conversations using hierarchical reinforcement learning
Tiwari et al. A dynamic goal adapted task oriented dialogue agent
CN115186147A (zh) 对话内容的生成方法及装置、存储介质、终端
Gan et al. DHF-Net: A hierarchical feature interactive fusion network for dialogue emotion recognition
Lu et al. Chinese sentence semantic matching based on multi-level relevance extraction and aggregation for intelligent human–robot interaction
CN113420136A (zh) 一种对话方法、系统、电子设备、存储介质和程序产品
CN114239575B (zh) 语句分析模型的构建方法、语句分析方法、装置、介质和计算设备
CN110851580A (zh) 一种基于结构化用户属性描述的个性化任务型对话系统
CN116701566A (zh) 一种基于情感的多轮对话模型及对话方法
CN111046157A (zh) 一种基于平衡分布的通用英文人机对话生成方法和系统
CN116150334A (zh) 基于UniLM模型和Copy机制的中文共情语句训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination