CN117422118A - 一种面向任务型对话中一致性识别的模型化预训练方法、系统及介质 - Google Patents

一种面向任务型对话中一致性识别的模型化预训练方法、系统及介质 Download PDF

Info

Publication number
CN117422118A
CN117422118A CN202311542337.0A CN202311542337A CN117422118A CN 117422118 A CN117422118 A CN 117422118A CN 202311542337 A CN202311542337 A CN 202311542337A CN 117422118 A CN117422118 A CN 117422118A
Authority
CN
China
Prior art keywords
consistency
task
data set
training
dialogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311542337.0A
Other languages
English (en)
Inventor
覃立波
李勤政
黄仕爵
陈麒光
刘乾
车万翔
徐睿峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202311542337.0A priority Critical patent/CN117422118A/zh
Publication of CN117422118A publication Critical patent/CN117422118A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种面向任务型对话中一致性识别的模块化预训练方法、系统及介质，其中方法包括：选取预训练的骨干网络；获取预训练数据构建查询响应匹配任务数据集、对话历史一致性识别任务数据集、基于知识库的掩码建模任务数据集；基于查询响应匹配任务数据集，对骨干网络进行查询响应一致性识别预训练；进而基于对话历史一致性识别任务数据集，对骨干网络进行对话历史一致性识别预训练；进而通过基于知识库的掩码建模任务数据集，对骨干网络进行基于知识库的一致性识别预训练。三种预训练后，模型可进行面向任务型对话中的一致性识别。解决了预训练因训练目标及训练数据的一般性而导致的难以针对上下文理解和知识库推理能力进行训练的问题。

Description

一种面向任务型对话中一致性识别的模型化预训练方法、系 统及介质
技术领域
本发明涉及互联网技术领域，尤其涉及一种面向任务型对话中一致性识别的模型化预训练方法、系统及介质。
背景技术
面向任务型对话的主要目标是完成特定的任务或交易，例如预订酒店或者订购食物。其中的一致性识别是指识别和维护用户与面向任务型对话系统之间交流的信息和行为的一致性的过程，它可以确保对话系统正确理解和解释用户输入，保持连贯和一致的对话流程，并提供准确、一致的回应。
目前关于面向任务型对话的一致性识别(Consistency Identification inTask-oriented Dialogue，简称CI-ToD)的工作虽然已经在预训练方向有所发展，但由于其训练目标和训练数据的一般性，导致对于CI-ToD格外重视的上下文理解和知识库推理能力难以进行针对性进行训练，从而限制了工作性能；同时CI-ToD的预训练十分依赖大量多轮基于知识库的对话，这些对话既昂贵又难以收集，严重阻碍了CI-ToD预训练的发展。针对以上问题，亟需一种能够对CI-ToD的预训练框架和训练数据进行改进的方法。
发明内容
本发明提供了一种面向任务型对话中一致性识别的模块化预训练方法、系统及介质，其中方法(MPFToD，Modularized Pre-training Framework)解决了CI-ToD预训练因训练目标及训练数据的一般性而导致的难以针对CI-ToD格外重视的上下文理解和知识库推理能力进行训练的问题；同时模块化的训练方式摆脱了对大量多轮基于知识库的对话数据的依赖，可以利用海量的无知识基础对话的数据进行训练。
第一方面，本发明提供了一种面向任务型对话中一致性识别的模块化预训练方法，包括：
S1：选取预训练的骨干网络；
S2：获取预训练数据构建查询响应匹配任务(QRMT)数据集、对话历史一致性识别任务(DHCIT)数据集、基于知识库的掩码建模任务(KBMLM)数据集；
S3：基于查询响应匹配任务数据集，对骨干网络进行查询响应一致性识别预训练，使模型可进行用户请求一致性的识别；
S4：基于对话历史一致性识别任务数据集，对S3预训练后骨干网络进行对话历史一致性识别预训练，使模型可进行历史对话一致性的识别；
S5：通过基于知识库的掩码建模任务数据集，对S4预训练后骨干网络进行基于知识库的一致性识别预训练，使模型可进行基于知识库的一致性识别，最终得到面向任务型对话中一致性识别的模型。
所述方法解决了CI-ToD预训练因训练目标及训练数据的一般性而导致的难以针对CI-ToD格外重视的上下文理解和知识库推理能力进行训练的问题；同时模块化的训练方式摆脱了对大量多轮基于知识库的对话数据的依赖，可以利用海量的无知识基础对话的数据进行训练。
进一步地，所述骨干网络选取BERT网络，用于判断当前系统响应与当前的用户查询、历史对话、知识库是否一致，判断的计算过程为：
其中，y为BERT网络的判断结果；yQI为系统响应和用户查询的分类结果；yHI为系统响应和历史对话的分类结果；yKBI为系统响应和知识库分类结果；为历史对话；/>为知识库；un为当前的用户查询；sn为当前系统响应。
进一步地，查询响应匹配任务数据集由单轮无知识基础对话组成；对话历史一致性识别任务数据集由多轮无知识基础对话组成；基于知识库的掩码建模任务数据集由table-to-text数据集组成。Table-to-text数据集是一种用于自然语言生成任务的数据集，通常包括表格数据和与之相对应的文本描述。
进一步地，所述S3中对骨干网络进行查询响应一致性识别预训练的具体过程为：
给定查询响应匹配任务数据集对于任一系统响应si，将其与对应的用户查询ui设为正样本，表示为QRMT(ui,si)＝1；将其他对话中的用户查询uj，其中j≠i，设为负样本，表示为QRMT(uj,si)＝0。采用这种构造方式可以获得查询响应匹配任务数据集其中，M为样本对的个数；yi∈{0,1}，表示相对于系统响应si，用户查询ui是正样本还是负样本。
将(u,s)输入进骨干模型BERT进行分类，得到查询响应一致性识别预训练结果真实标签yQRMT和/>进行比较对BERT进行训练。
进一步地，所述S4中对S3预训练后骨干网络进行对话历史一致性识别预训练的具体过程为：
给定对话历史一致性识别任务数据集对于任一多轮对话TSi，将其最后一轮的系统响应sin作为待检测目标，前n-1轮对话作为历史对话/>则多轮对话TSi变为和sin；
基于对话历史一致性识别任务数据集对于任一系统响应sin，将其与对应的历史对话/>作为一个正样本对，表示为/>将历史对话/>中预设数量的对话内容替换为不同历史对话/>中的对话内容，变为/>将/>作为一个负样本对，表示为/>采用这种构造方式可以获得对话历史一致性识别任务数据集/>其中n表示一个多轮对话的轮数；yi∈{0,1}，表示相对于系统响应sin历史对话Hi是正样本还是负样本。
将输入进骨干模型BERT进行分类，得到对话历史一致性识别预训练结果真实标签yDHCIT和/>进行比较对BERT进行训练。
进一步地，所述S5中对S4预训练后骨干网络进行基于知识库的一致性识别预训练的具体过程为：
给定基于知识库的掩码建模任务数据集C＝{T,X}，将其中的表格T作为知识库文本X作为当前系统响应s，则内容划分后数据集C变为/>其中M文本个数；
对于任一系统响应si，屏蔽知识库和系统响应si上都存在的相关实体x，得到s’i，将/>输入进骨干模型BERT对被屏蔽实体进行预测，得到基于知识库的一致性识别预训练结果/>p和x进行比较对BERT进行训练。
更进一步地，预训练采用的损失函数为标准的交叉熵损失函数。
第二方面，本发明提供了一种面向任务型对话中一致性识别的模块化预训练系统，包括：
模型选取模块：用于选取预训练的骨干网络；
数据获取模块：获取预训练数据构建查询响应匹配任务数据集、对话历史一致性识别任务数据集、基于知识库的掩码建模任务数据集；
预训练模块：基于查询响应匹配任务数据集，对骨干网络进行查询响应一致性识别预训练；进而基于对话历史一致性识别任务数据集，对骨干网络进行对话历史一致性识别预训练；进而通过基于知识库的掩码建模任务数据集，对骨干网络进行基于知识库的一致性识别预训练，最终得到面向任务型对话中一致性识别的模型。
第三方面，本发明提供了一种计算机可读存储介质，存储了计算机程序，所述计算机程序被处理器调用时以执行如上所述方法的步骤。
有益效果
本发明提出了一种面向任务型对话中一致性识别的模块化预训练方法、系统及介质，其中方法解决了CI-ToD预训练因训练目标及训练数据的一般性而导致的难以针对CI-ToD格外重视的上下文理解和知识库推理能力进行训练的问题；同时模块化的训练方式摆脱了对大量多轮基于知识库的对话数据的依赖，可以利用海量的无知识基础对话的数据进行训练。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的面向任务型对话中一致性识别的模块化预训练方法的流程图；
图2是本发明实施例提供的查询响应匹配任务QRMT的预训练示意图；
图3是本发明实施例提供的对话历史一致性识别任务DHCIT的预训练示意图；
图4是本发明实施例提供的基于知识库的掩码建模任务KBMLM的预训练示意图；
图5是本发明实施例提供的MPFToD的具体应用图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
实施例1
如图1所示，本发明提供了一种面向任务型对话中一致性识别的模块化预训练方法，包括：
S1：选取预训练的骨干网络；本实施例中，骨干网络选取BERT网络。
具体地，根据已有的面向任务型对话的一致性识别(CI-ToD)研究，面向任务型对话内容包括历史对话当前用户查询un、当前系统响应sn和相关知识库/>其中，n表示对话内容轮数，/>可表示为{(u1,s1),(u2,s2),...,(un-1,sn-1)}。
形式上CI-ToD被定义为一个分类任务，目的是判断当前系统响应sn是否与当前的用户查询un、历史对话知识库/>相一致，分别记为yQI,yHI,yKBI∈{0,1}。
骨干网络BERT用于计算上述判断过程，即用于判断当前系统响应与当前的用户查询、历史对话、知识库是否一致，判断的计算过程为：
其中，y为BERT网络的判断结果；yQI为系统响应和用户查询的分类结果；yHI为系统响应和历史对话的分类结果；yKBI为系统响应和知识库分类结果；为历史对话；/>为知识库；un为当前的用户查询；sn为当前系统响应。
S2：获取预训练数据构建查询响应匹配任务(QRMT)数据集、对话历史一致性识别任务(DHCIT)数据集、基于知识库的掩码建模任务(KBMLM)数据集。其中，查询响应匹配任务数据集由单轮无知识基础对话组成；对话历史一致性识别任务数据集由多轮无知识基础对话组成；基于知识库的掩码建模任务数据集由table-to-text数据集组成。Table-to-text数据集是一种用于自然语言生成任务的数据集，通常包括表格数据和与之相对应的文本描述。
具体地，查询响应匹配任务QRMT只需要考虑当前用户查询un和当前系统响应sn之间的关系，不受历史内容和知识库的制约，因此只需要收集单轮无知识基础对话作为查询响应匹配任务数据集A，本实施例中采用MetaLWOZ、Frames、CameRest676等已有数据集。优选地，为了提升收集到的数据的质量，删除了“thanks”等一类无实际用途的对话；删除了系统响应长度超过200个单词的对话。如图2所示，查询响应匹配任务数据集A由n对用户查询-系统响应数据组成，表示为如图5所示，“What is coupa’s address？”是一个用户查询，“peets_coffee is at 110_arastradero_rd”是一个系统响应。
对话历史一致性识别任务DHCIT需要考虑历史对话和当前系统响应sn之间的关系，不受知识库的制约，因此只需要收集多轮无知识基础对话作为对话历史一致性识别任务数据集B，本实施例中采用KVRET、MultiWOZ、Schema等已有数据集。对话历史一致性识别任务数据集B如图3所示，数据有M个多轮对话/>n为第i轮多轮对话的轮数)组成，表示为/>如图5所示，“‘Where can I get tea？’‘Coupa is 5_milesaway palo_alto_cafe is 4.’...”是一个多轮对话。
与QRMT和DHCIT预训练不同，基于知识库的掩码建模任务数据集KBMLM只考虑知识库和当前系统响应sn之间的关系，可以通过更容易收集的表格(T)到文本(X)数据集进行预训练。本实施例中采用具有128,461个训练样例的ToTTo，ToTTo是一个英语表格到文本数据集。基于知识库的掩码建模任务数据集C如图4所示，数据由M对表格-文本数据组成，表示为/>如图5所示表格包含“poi、...、address”等数据，“peets_coffee、...、113_anton_ct”为其中一个实例。
S3：基于查询响应匹配任务数据集，对骨干网络进行查询响应一致性识别预训练，具体过程为：给定查询响应匹配任务数据集对于任一系统响应si，将其与对应的用户查询ui设为正样本，表示为QRMT(ui,si)＝1；将其他对话中的用户查询uj，其中j≠i，设为负样本，表示为QRMT(uj,si)＝0。采用这种构造方式可以获得查询响应匹配任务数据集/>其中，M为样本对的个数；yi∈{0,1}，表示相对于系统响应si，用户查询ui是正样本还是负样本。将(u,s)输入进骨干模型BERT进行分类，得到查询响应一致性识别预训练结果/>真实标签yQRMT和/>进行比较对BERT进行训练。
具体地，如图2所示，查询响应一致性识别任务QRMT预训练过程：
对于某一系统响应si，将其对应的用户查询ui设为正样本；将其余用户查询uj(j≠i)设为负样本。正样本对QRMT(ui,si)经过骨干模型BERT分类应得到结果y＝BERT(ui,si)＝匹配，负样本对QRMT(u′i,sj)经过骨干模型BERT分类应得到结果y＝BERT(u′i,sj)＝不匹配。
将经过正负样本设定之后的数据集A输入进骨干模型BERT进行分类，得到查询响应一致性识别预训练结果yQRMT和/>进行比较对BERT进行训练。
更具体地，损失函数使用标准的交叉熵损失函数：
QRMT预训练完成之后骨干模型BERT具体应用如图5所示：
用户查询“What is coupa’s address？”询问的是coupa的地址，而系统响应“peets_coffee is at 110_arastradero_rd”回答的是peets_coffee的地址。经过训练的骨干模型BERT在实际应用场景中可以及时发现预输出内容不符合用户查询一致性(QI)，并对预输出内容做出调整。
S4：基于对话历史一致性识别任务数据集，对S3预训练后骨干网络进行对话历史一致性识别预训练，其中，预训练的具体过程为：给定对话历史一致性识别任务数据集对于任一多轮对话TSi，将其最后一轮的系统响应sin作为待检测目标，前n-1轮对话作为历史对话/>则多轮对话TSi变为/>和sin；基于对话历史一致性识别任务数据集/>对于任一系统响应sin，将其与对应的历史对话/>作为一个正样本对，表示为/>将历史对话/>中预设数量的对话内容替换为不同历史对话/>中的对话内容，变为/>将/>作为一个负样本对，表示为采用这种构造方式可以获得对话历史一致性识别任务数据集其中n表示一个多轮对话的轮数；yi∈{0,1}，表示相对于系统响应sin历史对话/>是正样本还是负样本。
将输入进骨干模型BERT进行分类，得到对话历史一致性识别预训练结果真实标签yDHCIT和/>进行比较对BERT进行训练。
具体地，如图3所示，对话历史一致性识别任务DHCIT的预训练的过程如下：
对于某一多轮对话TSi，将其最后一轮的系统响应sn作为待检测目标，记为si；前n-1轮对话作为历史对话则经过对话内容种类划分后多轮对话TSi变为
对于某一经过内容划分得到的历史对话将其中一半对话内容替换为不同历史对话/>(j≠i)中的对话内容，得到/>将原本的历史对话/>设为正样本；替换之后的历史对话/>设为负样本。正样本对/>经过骨干模型BERT分类应得到结果/>负样本/>经过骨干模型BERT分类应得到结果
将经过正负样本设定之后的对话历史一致性识别任务数据集B输入进骨干模型BERT进行分类，得到对话历史一致性识别任务预训练结果真实标签yDHCIT和/>进行比较对BERT进行训练。
更具体地，我们使用标准的交叉熵损失函数作为我们的损失函数：
DHCIT预训练完成之后骨干模型BERT具体应用如图5中所示：
根据历史对话“‘Where can I get tea？’‘Coupa is 5_miles away palo_alto_cafe is 4.’”可以得知该次多轮对话是有关于Coupa的，而系统响应“peets_coffee is at110_arastradero_rd”回答的是peets_coffee的相关信息。经过训练的骨干模型BERT在实际应用场景中可以及时发现预输出内容不符合历史对话一致性(HI)，并对预输出内容做出调整。
S5：通过基于知识库的掩码建模任务数据集，对S4预训练后骨干网络进行基于知识库的一致性识别预训练，其中，预训练的具体过程为：给定基于知识库的掩码建模任务数据集C＝{T,X}，将其中的表格T作为知识库文本X作为当前系统响应s，则内容划分后数据集C变为/>其中M文本个数；对于任一系统响应si，屏蔽知识库/>和系统响应si上都存在的相关实体x，得到s'i，将/>输入进骨干模型BERT对被屏蔽实体进行预测，得到进行基于知识库的一致性识别预训练的结果/>p和x进行比较对BERT进行训练。
具体地，如图4所示，基于知识库的一致性识别KBMLM预训练过程如下：
数据集C＝{T,X}，将其中的表格T作为知识库文本X作为当前系统响应s，则内容划分后数据集C变为/>
对于任一系统响应si，屏蔽知识库和系统响应si上都存在的相关实体x，得到s'i，将/>输入进骨干模型BERT对被屏蔽实体进行预测，得到进行基于知识库的一致性识别预训练的结果/>p和x进行比较对BERT进行训练。
更进一步地，我们使用标准的交叉熵损失函数作为我们的损失函数：
KBMLM预训练完成之后骨干模型BERT具体应用如图5中所示：
根据知识库“poi：peets_coffee；address：113_anton_ct”可以得知peets_coffee的地址为113_anton_ct，而系统响应“peets_coffee is at 110_arastradero_rd”认为peets_coffee的地址是110_arastradero_rd。经过训练的骨干模型BERT在实际应用场景中可以及时发现预输出内容不符合知识库一致性(KBI)，并对预输出内容做出调整。
所述方法解决了CI-ToD预训练因训练目标及训练数据的一般性而导致的难以针对CI-ToD格外重视的上下文理解和知识库推理能力进行训练的问题；同时模块化的训练方式摆脱了对大量多轮基于知识库的对话数据的依赖，可以利用海量的无知识基础对话的数据进行训练。
实施例2
本实施例提供了一种面向任务型对话中一致性识别的模块化预训练系统，包括：
模型选取模块：用于选取预训练的骨干网络；
数据获取模块：获取预训练数据构建查询响应匹配任务数据集、对话历史一致性识别任务数据集、基于知识库的掩码建模任务数据集；
预训练模块：基于查询响应匹配任务数据集，对骨干网络进行查询响应一致性识别预训练；进而基于对话历史一致性识别任务数据集，对骨干网络进行对话历史一致性识别预训练；进而通过基于知识库的掩码建模任务数据集，对骨干网络进行基于知识库的一致性识别预训练，最终得到面向任务型对话中一致性识别的模型。
实施例3
本实施例提供了一种计算机可读存储介质，存储了计算机程序，所述计算机程序被处理器调用时以执行如上所述方法的步骤。
应当理解，在本发明实施例中，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。
所述可读存储介质为计算机可读存储介质，其可以是前述任一实施例所述的控制器的内部存储单元，例如控制器的硬盘或内存。所述可读存储介质也可以是所述控制器的外部存储设备，例如所述控制器上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述可读存储介质还可以既包括所述控制器的内部存储单元也包括外部存储设备。所述可读存储介质用于存储所述计算机程序以及所述控制器所需的其他程序和数据。所述可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种面向任务型对话中一致性识别的模块化预训练方法，其特征在于，包括：
S1：选取预训练的骨干网络；
S2：获取预训练数据构建查询响应匹配任务数据集、对话历史一致性识别任务数据集、基于知识库的掩码建模任务数据集；
S3：基于查询响应匹配任务数据集，对骨干网络进行查询响应一致性识别预训练；
S4：基于对话历史一致性识别任务数据集，对S3预训练后的骨干网络进行对话历史一致性识别预训练；
S5：通过基于知识库的掩码建模任务数据集，对S4预训练后的骨干网络进行基于知识库的一致性识别预训练，最终得到面向任务型对话中一致性识别的模型。
2.根据权利要求1所述的面向任务型对话中一致性识别的模块化预训练方法，其特征在于，所述骨干网络选取BERT网络，用于判断当前系统响应与当前的用户查询、历史对话、知识库是否一致，判断的计算过程为：
其中，y为BERT网络的判断结果；yQI为系统响应和用户查询的分类结果；yHI为系统响应和历史对话的分类结果；yKBI为系统响应和知识库分类结果；为历史对话；/>为知识库；un为当前的用户查询；sn为当前系统响应。
3.根据权利要求1所述的面向任务型对话中一致性识别的模块化预训练方法，查询响应匹配任务数据集由单轮无知识基础对话组成；对话历史一致性识别任务数据集由多轮无知识基础对话组成；基于知识库的掩码建模任务数据集由table-to-text数据集组成。
4.根据权利要求2所述的面向任务型对话中一致性识别的模块化预训练方法，所述S3中对骨干网络进行查询响应一致性识别预训练的具体过程为：
给定查询响应匹配任务数据集对于任一系统响应si，将其与对应的用户查询ui设为正样本，表示为QRMT(ui,si)＝1；将其他对话中的用户查询uj，其中j≠i，设为负样本，表示为QRMT(uj,si)＝0；进而获得查询响应匹配任务数据集/>其中，M为样本对的个数；yi∈{0,1}，表示相对于系统响应si，用户查询ui是正样本还是负样本；
将(u,s)输入进骨干模型BERT进行分类，得到进行查询响应一致性识别预训练的结果真实标签yQRMT和/>进行比较对BERT进行训练。
5.根据权利要求2所述的面向任务型对话中一致性识别的模块化预训练方法，所述S4中对S3预训练后骨干网络进行对话历史一致性识别预训练的具体过程为：
给定对话历史一致性识别任务数据集对于任一多轮对话TSi，将其最后一轮的系统响应sin作为待检测目标，前n-1轮对话作为历史对话/>则多轮对话TSi变为和sin；
基于对话历史一致性识别任务数据集对于任一系统响应sin，将其与对应的历史对话/>作为一个正样本对，表示为/>将历史对话/>中预设数量的对话内容替换为不同历史对话/>中的对话内容，变为/>将/>作为一个负样本对，表示为/>进而获得对话历史一致性识别任务数据集其中n表示一个多轮对话的轮数；yi∈{0,1}，表示相对于系统响应sin历史对话/>是正样本还是负样本；
将输入进骨干模型BERT进行分类，得到对话历史一致性识别预训练的结果真实标签yDHCIT和/>进行比较对BERT进行训练。
6.根据权利要求2所述的面向任务型对话中一致性识别的模块化预训练方法，所述S5中对S4预训练后骨干网络进行基于知识库的一致性识别预训练的具体过程为：
给定知识库的掩码建模任务数据集C＝{T,x}，将其中的表格T作为知识库文本X作为当前系统响应s，则内容划分后数据集C变为/>其中M文本个数；
对于任一系统响应si，屏蔽知识库和系统响应si上都存在的相关实体x，得到s’i，将输入进骨干模型BERT对被屏蔽实体进行预测，得到/>p和x进行比较对BERT进行训练。
7.根据权利要求4-6任一项所述的面向任务型对话中一致性识别的模块化预训练方法，其特征在于，预训练采用的损失函数为标准的交叉熵损失函数。
8.一种面向任务型对话中一致性识别的模块化预训练系统，其特征在于，包括：
模型选取模块：用于选取预训练的骨干网络；
数据获取模块：用于获取预训练数据构建查询响应匹配任务数据集、对话历史一致性识别任务数据集、基于知识库的掩码建模任务数据集；
预训练模块：基于查询响应匹配任务数据集，对骨干网络进行查询响应一致性识别预训练；进而基于对话历史一致性识别任务数据集，对骨干网络进行对话历史一致性识别预训练；进而通过基于知识库的掩码建模任务数据集，对骨干网络进行基于知识库的一致性识别预训练，最终得到面向任务型对话中一致性识别的模型。
9.一种计算机可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用时以执行：权利要求1-7任一项所述方法的步骤。
CN202311542337.0A 2023-11-17 2023-11-17 一种面向任务型对话中一致性识别的模型化预训练方法、系统及介质 Pending CN117422118A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311542337.0A CN117422118A (zh) 2023-11-17 2023-11-17 一种面向任务型对话中一致性识别的模型化预训练方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311542337.0A CN117422118A (zh) 2023-11-17 2023-11-17 一种面向任务型对话中一致性识别的模型化预训练方法、系统及介质

Publications (1)

Publication Number Publication Date
CN117422118A true CN117422118A (zh) 2024-01-19

Family

ID=89528348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311542337.0A Pending CN117422118A (zh) 2023-11-17 2023-11-17 一种面向任务型对话中一致性识别的模型化预训练方法、系统及介质

Country Status (1)

Country Link
CN (1) CN117422118A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417112A (zh) * 2020-11-10 2021-02-26 中山大学 一种基于图表征增强的开放域对话系统评估方法
CN113177113A (zh) * 2021-05-27 2021-07-27 中国平安人寿保险股份有限公司 任务型对话模型预训练方法、装置、设备及存储介质
CN113254582A (zh) * 2021-05-26 2021-08-13 四川大学 一种基于预训练模型的知识驱动对话方法
CN114691852A (zh) * 2022-06-01 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 人机对话系统及方法
CN116029283A (zh) * 2023-02-13 2023-04-28 重庆邮电大学 一种基于常识扩展的角色一致性对话生成方法
CN116108155A (zh) * 2023-01-18 2023-05-12 阿里巴巴（中国）有限公司 人机对话系统及其数据处理方法、电子设备及存储介质
CN116361431A (zh) * 2023-01-19 2023-06-30 阿里巴巴（中国）有限公司 模型训练方法、对话生成方法、电子设备和相关装置
CN116628160A (zh) * 2023-05-24 2023-08-22 中南大学 一种基于多知识库的任务型对话方法、系统及介质
CN116757224A (zh) * 2023-06-15 2023-09-15 中国工商银行股份有限公司 意图理解方法、装置、设备和介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112417112A (zh) * 2020-11-10 2021-02-26 中山大学 一种基于图表征增强的开放域对话系统评估方法
CN113254582A (zh) * 2021-05-26 2021-08-13 四川大学 一种基于预训练模型的知识驱动对话方法
CN113177113A (zh) * 2021-05-27 2021-07-27 中国平安人寿保险股份有限公司 任务型对话模型预训练方法、装置、设备及存储介质
CN114691852A (zh) * 2022-06-01 2022-07-01 阿里巴巴达摩院(杭州)科技有限公司 人机对话系统及方法
CN116108155A (zh) * 2023-01-18 2023-05-12 阿里巴巴（中国）有限公司 人机对话系统及其数据处理方法、电子设备及存储介质
CN116361431A (zh) * 2023-01-19 2023-06-30 阿里巴巴（中国）有限公司 模型训练方法、对话生成方法、电子设备和相关装置
CN116029283A (zh) * 2023-02-13 2023-04-28 重庆邮电大学 一种基于常识扩展的角色一致性对话生成方法
CN116628160A (zh) * 2023-05-24 2023-08-22 中南大学 一种基于多知识库的任务型对话方法、系统及介质
CN116757224A (zh) * 2023-06-15 2023-09-15 中国工商银行股份有限公司 意图理解方法、装置、设备和介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LIBO QIN ET AL: "CGIM: A Cycle Guided Interactive Learning Model for Consistency Identification in Task-oriented Dialogue", 《PROCEEDINGS OF THE 29TH INTERNATIONAL CONFERENCE ON COMPUTATIONAL LINGUISTICS》, 31 December 2022 (2022-12-31), pages 461 - 470 *
LIBO QIN ET AL: "Don’t be Contradicted with Anything! CI-ToD: Towards Benchmarking Consistency for Task-oriented Dialogue System", 《ARXIV》, 24 September 2021 (2021-09-24), pages 3 - 6 *
李霏 等: "基于篇章级语义图的对话一致性检测", 《数据分析与知识发现》, 24 August 2023 (2023-08-24), pages 1 - 18 *
覃立波 等: "任务型对话系统中的自然语言生成研究进展综述", 《中文信息学报》, vol. 36, no. 1, 31 January 2022 (2022-01-31), pages 1 - 11 *

Similar Documents

Publication Publication Date Title
WO2020037937A1 (zh) 人脸识别的方法、装置、终端及计算机可读存储介质
Sun et al. Modeling mention, context and entity with neural networks for entity disambiguation
CN110020009B (zh) 在线问答方法、装置及系统
CN112015917A (zh) 基于知识图谱的数据处理方法、装置及计算机设备
CN112329460B (zh) 文本的主题聚类方法、装置、设备及存储介质
CN111241232B (zh) 业务服务的处理方法、装置、服务平台及存储介质
CN108108426A (zh) 自然语言提问的理解方法、装置及电子设备
CN111460264A (zh) 语义相似度匹配模型的训练方法及装置
CN110377733B (zh) 一种基于文本的情绪识别方法、终端设备及介质
CN112163099A (zh) 基于知识图谱的文本识别方法、装置、存储介质和服务器
EP3407209A1 (en) Apparatus and method for extracting and storing events from a plurality of heterogeneous sources
CN113094478B (zh) 表情回复方法、装置、设备及存储介质
WO2022068160A1 (zh) 基于人工智能的重症问诊数据识别方法、装置、设备及介质
CN111506595B (zh) 一种数据查询方法、系统及相关设备
CN114588633B (zh) 一种内容推荐方法
CN111782946A (zh) 书友推荐方法、计算设备及计算机存储介质
CN115794898B (zh) 一种金融资讯推荐方法、装置、电子设备及存储介质
CN112163415A (zh) 针对反馈内容的用户意图识别方法、装置及电子设备
CN115862638A (zh) 基于区块链的金融交易操作及大数据安全存储方法和系统
CN111104481A (zh) 一种识别匹配字段的方法、装置及设备
CN117422118A (zh) 一种面向任务型对话中一致性识别的模型化预训练方法、系统及介质
CN116541520A (zh) 一种情感分析方法、装置、电子设备及存储介质
CN115203206A (zh) 数据内容搜索方法、装置、计算机设备及可读存储介质
CN114820212A (zh) 非连续疾病实体抽取方法、装置及电子设备
US20210241147A1 (en) Method and device for predicting pair of similar questions and electronic equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination