CN117149987B - 多语言对话状态追踪模型的训练方法及装置 - Google Patents

多语言对话状态追踪模型的训练方法及装置 Download PDF

Info

Publication number
CN117149987B
CN117149987B CN202311426764.2A CN202311426764A CN117149987B CN 117149987 B CN117149987 B CN 117149987B CN 202311426764 A CN202311426764 A CN 202311426764A CN 117149987 B CN117149987 B CN 117149987B
Authority
CN
China
Prior art keywords
language
training
task
dialogue
context information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311426764.2A
Other languages
English (en)
Other versions
CN117149987A (zh
Inventor
向露
亢晓勉
张亚萍
周玉
宗成庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202311426764.2A priority Critical patent/CN117149987B/zh
Publication of CN117149987A publication Critical patent/CN117149987A/zh
Application granted granted Critical
Publication of CN117149987B publication Critical patent/CN117149987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation

Abstract

本发明属于自然语言处理技术领域，提供了一种多语言对话状态追踪模型的训练方法及装置，该多语言对话状态追踪模型的训练方法包括：获取源语言数据；基于多语词典对多个对话上下文信息进行语码转换，得到语码转换对话上下文信息；以语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型。本发明所述方法通过设计多种微调任务，能够构建有效的多语言生成式对话状态追踪模型，使得模型具备对不同语言对话上下文的理解能力，提高了多语言对话状态追踪性能。

Description

多语言对话状态追踪模型的训练方法及装置
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种多语言对话状态追踪模型的训练方法及装置。
背景技术
对话状态追踪是对话系统的重要组成部分，通过对话历史了解和追踪用户的目标，对话状态追踪模型的性能对于对话系统的性能有着显著的影响。
相关技术中，当前对话状态追踪模型为了满足多语言需求，一是通过收集和标注每种语言的对话数据，并分别为每种语言训练对话状态追踪模型，但对于低资源语言，收集高质量的对话数据是非常昂贵且耗时的，二是通过迁移学习将高资源语言的对话状态追踪模型迁移到低资源语言的对话状态追踪模型，由于每类语言必须维护各自的对话状态模型，导致该类处理方式的部署难度大，且维护成本高。
发明内容
本发明提供一种多语言对话状态追踪模型的训练方法及装置，用以解决现有技术对每种语言通过收集和标注对话数据时收集高质量的对话数据的成本高且耗时，而通过迁移学习将高资源语言的对话状态追踪模型迁移到低资源语言的对话状态追踪模型的部署难度大、维护成本高的缺陷，提高了多语言对话状态追踪模型的性能，降低了使用成本。
本发明提供一种多语言对话状态追踪模型的训练方法，包括：
获取源语言数据，所述源语言数据包括多个对话上下文信息；
基于多语词典对所述多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，所述多语词典包括不同语言词汇对应的翻译项；
以所述语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型；其中，第一函数基于单语言对话状态追踪任务的训练目标函数、跨语言对话状态追踪任务的训练目标函数、向前词汇翻译任务的训练目标函数、向后句子还原任务的训练目标函数和句子级相似度量任务的损失函数确定。
根据本发明提供的一种多语言对话状态追踪模型的训练方法，每个对话上下文信息包括多个词汇；
所述基于多语词典对所述多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，包括：
从每个对话上下文信息对应的词汇中随机选取第一词汇，并基于所述多语词典确定所述第一词汇的翻译项；
基于所有上下文信息对应第一词汇的翻译项和第二词汇，得到所述语码转换对话上下文信息；其中，所述第二词汇为每个对话上下文信息对应的词汇中除所述第一词汇的其他词汇。
根据本发明提供的一种多语言对话状态追踪模型的训练方法，所述对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型，包括：
基于所述源语言数据在第t周期的对话上下文信息和第t-1周期的对话状态，对所述源语言数据在第t周期的对话状态进行更新，得到所述单语言对话状态追踪任务的训练数据；
基于所述源语言数据在第t周期对应的语码转换对话上下文信息和第t-1周期的对话状态，对所述源语言数据在第t周期的对话状态进行更新，得到所述跨语言对话状态追踪任务的训练数据，t为大于1的自然数；
基于所述源语言数据在第t周期的对话上下文信息对第t周期对应的语码转换对话上下文信息进行更新，得到所述向前词汇翻译任务的训练数据；
基于所述源语言数据在第t周期对应的语码转换对话上下文信息对第t周期的对话上下文信息进行更新，得到所述向后句子还原任务的训练数据；
对所述源语言数据在第t周期的对话上下文信息和语码转换对话上下文信息之间的相似性进行计算，得到句子级语义相似性表示；
基于所述单语言对话状态追踪任务的训练数据、所述跨语言对话状态追踪任务的训练数据、所述向前词汇翻译任务的训练数据、所述向后句子还原任务的训练数据和所述句子级语义相似性表示对所述多语言训练模型分别进行训练，得到所述多语言对话状态追踪模型。
根据本发明提供的一种多语言对话状态追踪模型的训练方法，所述第一函数应用下式得到：
；
其中，为所述第一函数，X为所述源语言数据，/>分别为n个不同的语言，/>为所述单语言对话状态追踪任务的训练目标函数，/>为所述跨语言对话状态追踪任务的训练目标函数，/>为所述向前词汇翻译任务的训练目标函数，为所述向后句子还原任务的训练目标函数，/>为所述句子级相似度量任务的损失函数，/>、/>为权重系数。
根据本发明提供的一种多语言对话状态追踪模型的训练方法，在所述得到语码转换对话上下文信息之后，所述方法还包括：
按照任务类型对所述语码转换对话上下文信息进行划分，得到多个输入序列，不同类型的任务对应不同的输入序列；
在所述单语言对话状态追踪任务对应的输入序列中添加第一标识，得到第一输入序列；在所述跨语言对话状态追踪任务对应的输入序列中添加的第二标识，得到第二输入序列；在所述向前词汇翻译任务对应的输入序列中添加第三标识，得到第三输入序列；在所述向后句子还原任务对应的输入序列中添加第四标识，得到第四输入序列；在所述句子级相似度量任务的输入序列中添加第五标识，得到第五输入序列；
其中，第一标识、第二标识、第三标识、第四标识和第五标识之间的添加信息不同，所述添加信息包括添加位置和添加内容中的至少一项。
根据本发明提供的一种多语言对话状态追踪模型的训练方法，所述单语言对话状态追踪任务的训练目标函数应用如下公式表示：
；
其中，为单语言对话状态追踪任务的训练目标函数，/>表示所述源语言数据在第t-1周期至t周期的对话状态更新信息，/>为所述源语言数据在第t周期的对话上下文信息，/>为所述源语言数据在第t-1周期的对话状态，/>为概率；
；
其中，为跨语言对话状态追踪任务的训练目标函数，/>为所述源语言数据在第t周期对应的语码转换对话上下文信息；
所述向前词汇翻译任务的训练目标函数应用如下公式表示：
；
其中，为向前词汇翻译任务的训练目标函数；
所述向后句子还原任务的训练目标函数应用如下公示表示：
其中，为向后句子还原任务的训练目标函数；
所述句子级相似度量任务的损失函数应用如下公示表示：
；
其中，为句子级相似度量任务的损失函数，/>为/>的句子嵌入表示，/>为/>的句子嵌入表示。
本发明还提供一种多语言对话状态追踪模型的训练装置，包括：
数据获取模块，用于获取源语言数据，所述源语言数据包括多个对话上下文信息；
语码转换模块，用于基于多语词典对所述多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，所述多语词典包括不同语言词汇对应的翻译项；
训练模块，用于以所述语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型；其中，第一函数基于单语言对话状态追踪任务的训练目标函数、跨语言对话状态追踪任务的训练目标函数、向前词汇翻译任务的训练目标函数、向后句子还原任务的训练目标函数和句子级相似度量任务的损失函数确定。
根据本发明提供的一种多语言对话状态追踪模型的训练装置，所述装置还包括：
标记模块，用于在所述得到语码转换对话上下文信息之后，按照任务类型对所述语码转换对话上下文信息进行划分，得到多个输入序列，不同类型的任务对应不同的输入序列；
在所述单语言对话状态追踪任务对应的输入序列中添加第一标识，得到第一输入序列；在所述跨语言对话状态追踪任务对应的输入序列中添加的第二标识，得到第二输入序列；在所述向前词汇翻译任务对应的输入序列中添加第三标识，得到第三输入序列；在所述向后句子还原任务对应的输入序列中添加第四标识，得到第四输入序列；在所述句子级相似度量任务的输入序列中添加第五标识，得到第五输入序列；
其中，第一标识、第二标识、第三标识、第四标识和第五标识之间的添加信息不同，所述添加信息包括添加位置和添加内容中的至少一项。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多语言对话状态追踪模型的训练方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多语言对话状态追踪模型的训练方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多语言对话状态追踪模型的训练方法。
本发明提供的多语言对话状态追踪模型的训练方法及装置，通过多语词典对源语言数据的多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，并以语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型，通过设计多种微调任务，能够构建有效的多语言生成式对话状态追踪模型，使得模型具备对不同语言对话上下文的理解能力，提高了多语言对话状态追踪性能。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的多语言对话状态追踪模型的训练方法的流程示意图；
图2是本发明提供的通过多语词典生成语码转换数据的界面示意图；
图3是本发明提供的通过五种不同任务对多语言预训练模型进行联合训练的流程示意图；
图4是本发明提供的多语言对话状态追踪模型的训练装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的多语言对话状态追踪模型的训练方法及装置。
图1是本发明提供的多语言对话状态追踪模型的训练方法的流程示意图，如图所示，该多语言对话状态追踪模型的训练方法，包括如下步骤：
步骤110、获取源语言数据，源语言数据包括多个对话上下文信息。
在该步骤中，源语言数据可以是从多媒体设备、数据库或即时通讯设备中提取的语言数据，源语言数据包括多个词汇，不同的词汇存在对应的上下文信息。
比如，源语言数据为“i want to take a taxi to airport”，其中，词汇“taxi”对应的上下文信息可以是“take a taxi”、“i want to take a taxi”或者“to airport”。
步骤120、基于多语词典对多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，多语词典包括不同语言词汇对应的翻译项。
在该步骤中，多语词典具备至少两种不同语言的转码功能，例如，多语词典是英-汉对照词典，或者是汉-英-俄对照词典等。
图2是本发明提供的通过多语词典生成语码转换数据的界面示意图，在图2所示的实施例中，多语词典包括多种不同的语言的词汇进行转码和翻译，例如，对于源语言数据“iwant to take a taxi to airport”，英-汉对照词典对其部分词汇进行转码后得到的语码转换对话上下文信息（对应语码转换数据）为“i want to take a 出租车 to 机场”；其中，出租车、机场分别为taxi和airport的翻译项，对应的，take的上下文信息可以是“take a出租车”或者“take a 出租车 to 机场”等。
在该实施例中，多语词典是提前设置好的多语语码转换工具，通过多语词典将源语言数据的多个对话上下文信息自动进行语码转换，能够提高收集和标注不同语言的对话数据的效率。
在该实施例中，收集源语言数据和每个目标语言/>的双语词典；其中/>表示源语言单词/>及其在目标语言/>中对应的翻译项。
比如，针对英中收集双语词典，(taxi，出租车)和(airport，机场) 均是英中双语词典中的词条。
步骤130、以语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型；其中，第一函数基于单语言对话状态追踪任务的训练目标函数、跨语言对话状态追踪任务的训练目标函数、向前词汇翻译任务的训练目标函数、向后句子还原任务的训练目标函数和句子级相似度量任务的损失函数确定。
在该步骤中，通过从跨语言对齐和对话状态追踪任务两个角度设计多种微调任务，例如单语言对话状态追踪任务、跨语言对话状态追踪任务、向前词汇翻译任务、向后句子还原任务和句子级相似度量任务；再利用多任务学习框架整合多种微调任务，利用多种微调任务对多语言训练模型进行联合训练，从而将单语言对话状态追踪模型扩展为多语言对话状态追踪模型。
在该步骤中，多语言训练模型可以是针对单语言对话状态追踪模型，例如，多语言训练模型可以是mBART模型或者mT5模型。
在该实施例中，第一函数可以通过下式表示：
；
其中，为第一函数，X为源语言数据，/>分别为n个不同的语言，为单语言对话状态追踪任务的训练目标函数，/>为跨语言对话状态追踪任务的训练目标函数，/>为向前词汇翻译任务的训练目标函数，/>为向后句子还原任务的训练目标函数，/>为句子级相似度量任务的损失函数，/>、/>为权重系数。
在该实施例中，利用多任务学习框架整合单语言对话状态追踪任务、跨语言对话状态追踪任务、向前词汇翻译任务、向后句子还原任务和句子级相似度量任务的5项任务，并利用这5项任务对多语言预训练语言模型mBART/mT5进行调优。
本发明实施例提供的多语言对话状态追踪模型的训练方法，通过多语词典对源语言数据的多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，并以语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型，通过设计多种微调任务，能够构建有效的多语言生成式对话状态追踪模型，使得模型具备对不同语言对话上下文的理解能力，提高了多语言对话状态追踪性能。
在一些实施例中，每个对话上下文信息包括多个词汇；基于多语词典对多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，包括：从每个对话上下文信息对应的词汇中随机选取第一词汇，并基于多语词典确定第一词汇的翻译项；基于所有上下文信息对应第一词汇的翻译项和第二词汇，得到语码转换对话上下文信息；其中，第二词汇为每个对话上下文信息对应的词汇中除第一词汇的其他词汇。
在该实施例中，根据源语言数据和对应语言的双语词典生成语码转换对话上下文，对于源语言数据中的每个对话上下文，随机选取对话上下文中的若干第一词汇，将其替换为对应的目标语言词汇，通过这种方式可以生成包含多种语言词汇的语码转换数据。
比如，针对英语对话上下文“i want to take a taxi to airport.”，利用双语词典可以生成如下语码转换对话上下文“i want to take a 出租车 to 机场”，其中“出租车”、“机场”均属于第一词汇，“i want to take a”、“to”均属于第二词汇。
本发明实施例提供的多语言对话状态追踪模型的训练方法，通过从每个对话上下文信息对应的词汇中随机选取第一词汇，并基于多语词典确定第一词汇的翻译项；基于所有上下文信息对应第一词汇的翻译项和第二词汇，得到语码转换对话上下文信息，能够减少收集和标注对话数据时收集高质量的对话数据的成本和耗时，提高模型训练效率。
在一些实施例中，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型，包括：基于源语言数据在第t周期的对话上下文信息和第t-1周期的对话状态，对源语言数据在第t周期的对话状态进行更新，得到单语言对话状态追踪任务的训练数据；基于源语言数据在第t周期对应的语码转换对话上下文信息和第t-1周期的对话状态，对源语言数据在第t周期的对话状态进行更新，得到跨语言对话状态追踪任务的训练数据，t为大于1的自然数；基于源语言数据在第t周期的对话上下文信息对第t周期对应的语码转换对话上下文信息进行更新，得到向前词汇翻译任务的训练数据；基于源语言数据在第t周期对应的语码转换对话上下文信息对第t周期的对话上下文信息进行更新，得到向后句子还原任务的训练数据；对源语言数据在第t周期的对话上下文信息和语码转换对话上下文信息之间的相似性进行计算，得到句子级语义相似性表示；基于单语言对话状态追踪任务的训练数据、跨语言对话状态追踪任务的训练数据、向前词汇翻译任务的训练数据、向后句子还原任务的训练数据和句子级语义相似性表示对多语言训练模型分别进行训练，得到多语言对话状态追踪模型。
图3是本发明提供的通过五种不同任务对多语言预训练模型进行联合训练的流程示意图，在图3所示的实施例中，多语言预训练模型包括解码器和编码器，下面通过五个不同的训练任务训练预训练模型为例进行说明：
（1）单语言对话状态追踪任务的训练目标函数应用如下公式表示：
；
其中，为单语言对话状态追踪任务的训练目标函数，/>表示源语言数据在第t-1周期至t周期的对话状态更新信息，/>为源语言数据在第t周期的对话上下文信息，/>为源语言数据在第t-1周期的对话状态，/>为概率；单语言对话状态追踪任务以和/>作为输入（Prefix1），以/>作为输出，得到对应的训练数据。
（2）跨语言对话状态追踪任务的训练目标函数应用如下公式表示：
；
其中，为跨语言对话状态追踪任务的训练目标函数，/>为源语言数据在第t周期对应的语码转换对话上下文信息；跨语言对话状态追踪任务以/>和/>作为输入（Prefix2），以/>作为输出，得到对应的训练数据。
（3）向前词汇翻译任务的训练目标函数应用如下公式表示：
；
其中，为向前词汇翻译任务的训练目标函数；向前词汇翻译任务以目标语言的语码转换对话上下文/>作为输入（Prefix3），以/>作为输出，得到对应的训练数据。
（4）向后句子还原任务的训练目标函数应用如下公示表示：
；
其中，为向后句子还原任务的训练目标函数；向后句子还原任务以/>作为输入（Prefix4），以目标语言/>的语码转换对话上下文/>作为输出，得到对应的训练数据。
（5）句子级相似度量任务的损失函数应用如下公示表示：
；
其中，为句子级相似度量任务的损失函数，/>为/>的句子嵌入表示，/>为的句子嵌入表示。
在该实施例中，句子级相似度量任务是对句子级语义相似度进行度量，鼓励编码器学习与语言无关的隐层表示。由于语码转换对话上下文是源语言数据的对话上下文通过多语词典转换而来的，则/>和/>包含相似的语义信息，采用/>和/>的相似性损失来学习语言不变的编码器。
在该实施例中，通过多个任务得到的训练数据和学习到的句子级语义相似性表示（隐层表示）对对多语言预训练语言模型mBART/mT5进行训练，得到多语言对话状态追踪模型。
本发明实施例提供的多语言对话状态追踪模型的训练方法，通过源语言数据在第t周期的对话上下文信息和第t-1周期的对话状态、第t周期对应的语码转换对话上下文信息和第t-1周期的对话状态、第t周期的对话上下文信息对第t周期对应的语码转换对话上下文信息进行更新、第t周期对应的语码转换对话上下文信息对第t周期的对话上下文信息进行更新，分别得到对应训练任务的训练数据，再对源语言数据在第t周期的对话上下文信息和语码转换对话上下文信息之间的相似性进行计算，得到句子级语义相似性表示，最后通过训练数据和相似性表示对多语言训练模型分别进行训练，得到多语言对话状态追踪模型，通过设计多种微调任务，实现对多语言训练模型进行多任务联合训练，提升了多语言生成式对话状态追踪模型的性能。
在一些实施例中，在得到语码转换对话上下文信息之后，该方法还包括：按照任务类型对语码转换对话上下文信息进行划分，得到多个输入序列，不同类型的任务对应不同的输入序列；在单语言对话状态追踪任务对应的输入序列中添加第一标识，得到第一输入序列；在跨语言对话状态追踪任务对应的输入序列中添加的第二标识，得到第二输入序列；在向前词汇翻译任务对应的输入序列中添加第三标识，得到第三输入序列；在向后句子还原任务对应的输入序列中添加第四标识，得到第四输入序列；在句子级相似度量任务的输入序列中添加第五标识，得到第五输入序列；其中，第一标识、第二标识、第三标识、第四标识和第五标识之间的添加信息不同，添加信息包括添加位置和添加内容中的至少一项。
在该实施例中，为了区分不同任务，在输入序列中添加了与特定任务相关的前缀（第一标识至第五标识）；例如，针对单语言对话状态追踪任务，可以在输入序列中添加“Monolingual dst”作为前缀；针对跨语言对话状态追踪任务，可以在输入序列中添加“Cross-lingual dst”作为前缀；针对前向词汇翻译任务和步骤2.4中的后向句子还原任务，可以分别在输入序列中添加“EN to CS MT”和“CS to EN MT”等。
在该实施例中，对第一标识、第二标识、第三标识、第四标识和第五标识各自的标记位置和信息不作具体限制，可以根据用户需求调整。
本发明实施例提供的多语言对话状态追踪模型的训练方法，通过对五种不同任务对应的输入序列中分别添加标识进行区分，能够提高输入序列匹配对应训练任务的效率，进而提升了模型训练效率。
下面对本发明提供的多语言对话状态追踪模型的训练装置进行描述，下文描述的多语言对话状态追踪模型的训练装置与上文描述的多语言对话状态追踪模型的训练方法可相互对应参照。
图4是本发明提供的多语言对话状态追踪模型的训练装置的结构示意图，如图4所示，该多语言对话状态追踪模型的训练装置包括：数据获取模块410、语码转换模块420和训练模块430。
数据获取模块410，用于获取源语言数据，源语言数据包括多个对话上下文信息；
语码转换模块420，用于基于多语词典对多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，多语词典包括不同语言词汇对应的翻译项；
训练模块430，用于以语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型；其中，第一函数基于单语言对话状态追踪任务的训练目标函数、跨语言对话状态追踪任务的训练目标函数、向前词汇翻译任务的训练目标函数、向后句子还原任务的训练目标函数和句子级相似度量任务的损失函数确定。
本发明实施例提供的多语言对话状态追踪模型的训练装置，通过多语词典对源语言数据的多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，并以语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型，通过设计多种微调任务，能够构建有效的多语言生成式对话状态追踪模型，使得模型具备对不同语言对话上下文的理解能力，提高了多语言对话状态追踪性能。
在一些实施例中，该装置还包括：标记模块，用于在得到语码转换对话上下文信息之后，按照任务类型对语码转换对话上下文信息进行划分，得到多个输入序列，不同类型的任务对应不同的输入序列；在单语言对话状态追踪任务对应的输入序列中添加第一标识，得到第一输入序列；在跨语言对话状态追踪任务对应的输入序列中添加的第二标识，得到第二输入序列；在向前词汇翻译任务对应的输入序列中添加第三标识，得到第三输入序列；在向后句子还原任务对应的输入序列中添加第四标识，得到第四输入序列；在句子级相似度量任务的输入序列中添加第五标识，得到第五输入序列；其中，第一标识、第二标识、第三标识、第四标识和第五标识之间的添加信息不同，添加信息包括添加位置和添加内容中的至少一项。
本发明实施例提供的多语言对话状态追踪模型的训练装置，通过对五种不同任务对应的输入序列中分别添加标识进行区分，能够提高输入序列匹配对应训练任务的效率，进而提升了模型训练效率。
图5是本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行多语言对话状态追踪模型的训练方法，该方法包括：获取源语言数据，源语言数据包括多个对话上下文信息；基于多语词典对多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，多语词典包括不同语言词汇对应的翻译项；以语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型；其中，第一函数基于单语言对话状态追踪任务的训练目标函数、跨语言对话状态追踪任务的训练目标函数、向前词汇翻译任务的训练目标函数、向后句子还原任务的训练目标函数和句子级相似度量任务的损失函数确定。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的多语言对话状态追踪模型的训练方法，该方法包括：获取源语言数据，源语言数据包括多个对话上下文信息；基于多语词典对多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，多语词典包括不同语言词汇对应的翻译项；以语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型；其中，第一函数基于单语言对话状态追踪任务的训练目标函数、跨语言对话状态追踪任务的训练目标函数、向前词汇翻译任务的训练目标函数、向后句子还原任务的训练目标函数和句子级相似度量任务的损失函数确定。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多语言对话状态追踪模型的训练方法，该方法包括：获取源语言数据，源语言数据包括多个对话上下文信息；基于多语词典对多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，多语词典包括不同语言词汇对应的翻译项；以语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型；其中，第一函数基于单语言对话状态追踪任务的训练目标函数、跨语言对话状态追踪任务的训练目标函数、向前词汇翻译任务的训练目标函数、向后句子还原任务的训练目标函数和句子级相似度量任务的损失函数确定。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种多语言对话状态追踪模型的训练方法，其特征在于，包括：
获取源语言数据，所述源语言数据包括多个对话上下文信息；
基于多语词典对所述多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，所述多语词典包括不同语言词汇对应的翻译项；
以所述语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型；其中，第一函数基于单语言对话状态追踪任务的训练目标函数、跨语言对话状态追踪任务的训练目标函数、向前词汇翻译任务的训练目标函数、向后句子还原任务的训练目标函数和句子级相似度量任务的损失函数确定；
所述第一函数应用下式得到：
；
其中，为所述第一函数，X为所述源语言数据，/>分别为n个不同的语言，/>为所述单语言对话状态追踪任务的训练目标函数，/>为所述跨语言对话状态追踪任务的训练目标函数，/>为所述向前词汇翻译任务的训练目标函数，/>为所述向后句子还原任务的训练目标函数，/>为所述句子级相似度量任务的损失函数，、/>为权重系数；
所述单语言对话状态追踪任务的训练目标函数应用如下公式表示：
；
其中，为单语言对话状态追踪任务的训练目标函数，/>表示所述源语言数据在第t-1周期至t周期的对话状态更新信息，/>为所述源语言数据在第t周期的对话上下文信息，/>为所述源语言数据在第t-1周期的对话状态，/>为概率；
所述跨语言对话状态追踪任务的训练目标函数应用如下公式表示：
；
其中，为跨语言对话状态追踪任务的训练目标函数，/>为所述源语言数据在第t周期对应的语码转换对话上下文信息；
所述向前词汇翻译任务的训练目标函数应用如下公式表示：
；
其中，为向前词汇翻译任务的训练目标函数；
所述向后句子还原任务的训练目标函数应用如下公示表示：
；
其中，为向后句子还原任务的训练目标函数；
所述句子级相似度量任务的损失函数应用如下公示表示：
；
其中，为句子级相似度量任务的损失函数，/>为/>的句子嵌入表示，/>为/>的句子嵌入表示。
2.根据权利要求1所述的多语言对话状态追踪模型的训练方法，其特征在于，每个对话上下文信息包括多个词汇；
所述基于多语词典对所述多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，包括：
从每个对话上下文信息对应的词汇中随机选取第一词汇，并基于所述多语词典确定所述第一词汇的翻译项；
基于所有上下文信息对应第一词汇的翻译项和第二词汇，得到所述语码转换对话上下文信息；其中，所述第二词汇为每个对话上下文信息对应的词汇中除所述第一词汇的其他词汇。
3.根据权利要求1所述的多语言对话状态追踪模型的训练方法，其特征在于，所述对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型，包括：
基于所述源语言数据在第t周期的对话上下文信息和第t-1周期的对话状态，对所述源语言数据在第t周期的对话状态进行更新，得到所述单语言对话状态追踪任务的训练数据；
基于所述源语言数据在第t周期对应的语码转换对话上下文信息和第t-1周期的对话状态，对所述源语言数据在第t周期的对话状态进行更新，得到所述跨语言对话状态追踪任务的训练数据，t为大于1的自然数；
基于所述源语言数据在第t周期的对话上下文信息对第t周期对应的语码转换对话上下文信息进行更新，得到所述向前词汇翻译任务的训练数据；
基于所述源语言数据在第t周期对应的语码转换对话上下文信息对第t周期的对话上下文信息进行更新，得到所述向后句子还原任务的训练数据；
对所述源语言数据在第t周期的对话上下文信息和语码转换对话上下文信息之间的相似性进行计算，得到句子级语义相似性表示；
基于所述单语言对话状态追踪任务的训练数据、所述跨语言对话状态追踪任务的训练数据、所述向前词汇翻译任务的训练数据、所述向后句子还原任务的训练数据和所述句子级语义相似性表示对所述多语言训练模型分别进行训练，得到所述多语言对话状态追踪模型。
4.根据权利要求1所述的多语言对话状态追踪模型的训练方法，其特征在于，在所述得到语码转换对话上下文信息之后，所述方法还包括：
按照任务类型对所述语码转换对话上下文信息进行划分，得到多个输入序列，不同类型的任务对应不同的输入序列；
在所述单语言对话状态追踪任务对应的输入序列中添加第一标识，得到第一输入序列；在所述跨语言对话状态追踪任务对应的输入序列中添加的第二标识，得到第二输入序列；在所述向前词汇翻译任务对应的输入序列中添加第三标识，得到第三输入序列；在所述向后句子还原任务对应的输入序列中添加第四标识，得到第四输入序列；在所述句子级相似度量任务的输入序列中添加第五标识，得到第五输入序列；
其中，第一标识、第二标识、第三标识、第四标识和第五标识之间的添加信息不同，所述添加信息包括添加位置和添加内容中的至少一项。
5.一种多语言对话状态追踪模型的训练装置，其特征在于，包括：
数据获取模块，用于获取源语言数据，所述源语言数据包括多个对话上下文信息；
语码转换模块，用于基于多语词典对所述多个对话上下文信息进行语码转换，得到语码转换对话上下文信息，所述多语词典包括不同语言词汇对应的翻译项；
训练模块，用于以所述语码转换对话上下文信息为训练样本，以第一函数为训练损失函数，对多语言训练模型进行多任务联合训练，得到多语言对话状态追踪模型；其中，第一函数基于单语言对话状态追踪任务的训练目标函数、跨语言对话状态追踪任务的训练目标函数、向前词汇翻译任务的训练目标函数、向后句子还原任务的训练目标函数和句子级相似度量任务的损失函数确定；
所述第一函数应用下式得到：
；
其中，为所述第一函数，X为所述源语言数据，/>分别为n个不同的语言，/>为所述单语言对话状态追踪任务的训练目标函数，/>为所述跨语言对话状态追踪任务的训练目标函数，/>为所述向前词汇翻译任务的训练目标函数，/>为所述向后句子还原任务的训练目标函数，/>为所述句子级相似度量任务的损失函数，/>、/>为权重系数；
所述单语言对话状态追踪任务的训练目标函数应用如下公式表示：
；
其中，为单语言对话状态追踪任务的训练目标函数，/>表示所述源语言数据在第t-1周期至t周期的对话状态更新信息，/>为所述源语言数据在第t周期的对话上下文信息，/>为所述源语言数据在第t-1周期的对话状态，/>为概率；
所述跨语言对话状态追踪任务的训练目标函数应用如下公式表示：
；
其中，为跨语言对话状态追踪任务的训练目标函数，/>为所述源语言数据在第t周期对应的语码转换对话上下文信息；
所述向前词汇翻译任务的训练目标函数应用如下公式表示：
；
其中，为向前词汇翻译任务的训练目标函数；
所述向后句子还原任务的训练目标函数应用如下公示表示：
；
其中，为向后句子还原任务的训练目标函数；
所述句子级相似度量任务的损失函数应用如下公示表示：
；
其中，为句子级相似度量任务的损失函数，/>为/>的句子嵌入表示，/>为/>的句子嵌入表示。
6.根据权利要求5所述的多语言对话状态追踪模型的训练装置，其特征在于，所述装置还包括：
标记模块，用于在所述得到语码转换对话上下文信息之后，按照任务类型对所述语码转换对话上下文信息进行划分，得到多个输入序列，不同类型的任务对应不同的输入序列；
在所述单语言对话状态追踪任务对应的输入序列中添加第一标识，得到第一输入序列；在所述跨语言对话状态追踪任务对应的输入序列中添加的第二标识，得到第二输入序列；在所述向前词汇翻译任务对应的输入序列中添加第三标识，得到第三输入序列；在所述向后句子还原任务对应的输入序列中添加第四标识，得到第四输入序列；在所述句子级相似度量任务的输入序列中添加第五标识，得到第五输入序列；
其中，第一标识、第二标识、第三标识、第四标识和第五标识之间的添加信息不同，所述添加信息包括添加位置和添加内容中的至少一项。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述多语言对话状态追踪模型的训练方法。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述多语言对话状态追踪模型的训练方法。
CN202311426764.2A 2023-10-31 2023-10-31 多语言对话状态追踪模型的训练方法及装置 Active CN117149987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311426764.2A CN117149987B (zh) 2023-10-31 2023-10-31 多语言对话状态追踪模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311426764.2A CN117149987B (zh) 2023-10-31 2023-10-31 多语言对话状态追踪模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN117149987A CN117149987A (zh) 2023-12-01
CN117149987B true CN117149987B (zh) 2024-02-13

Family

ID=88903112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311426764.2A Active CN117149987B (zh) 2023-10-31 2023-10-31 多语言对话状态追踪模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN117149987B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312453A (zh) * 2021-06-16 2021-08-27 哈尔滨工业大学 一种面向跨语言对话理解的模型预训练系统
CN113919368A (zh) * 2021-10-11 2022-01-11 北京大学 一种基于多语言建模的低资源对话生成方法及系统
CN115795008A (zh) * 2022-11-22 2023-03-14 北京邮电大学 口语对话状态追踪模型训练方法及口语对话状态追踪方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151334B2 (en) * 2018-09-26 2021-10-19 Huawei Technologies Co., Ltd. Systems and methods for multilingual text generation field

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113312453A (zh) * 2021-06-16 2021-08-27 哈尔滨工业大学 一种面向跨语言对话理解的模型预训练系统
CN113919368A (zh) * 2021-10-11 2022-01-11 北京大学 一种基于多语言建模的低资源对话生成方法及系统
CN115795008A (zh) * 2022-11-22 2023-03-14 北京邮电大学 口语对话状态追踪模型训练方法及口语对话状态追踪方法

Also Published As

Publication number Publication date
CN117149987A (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN108628823B (zh) 结合注意力机制和多任务协同训练的命名实体识别方法
CN109684648B (zh) 一种多特征融合的古今汉语自动翻译方法
CN109190131B (zh) 一种基于神经机器翻译的英语单词及其大小写联合预测方法
CN109271631B (zh) 分词方法、装置、设备及存储介质
CN110597997B (zh) 一种军事想定文本事件抽取语料库迭代式构建方法及装置
CN109960728B (zh) 一种开放域会议信息命名实体识别方法及系统
CN110555213B (zh) 文本翻译模型的训练方法、文本翻译方法及装置
WO2000062193A1 (en) System for chinese tokenization and named entity recognition
JP2007087397A (ja) 形態素解析プログラム、補正プログラム、形態素解析装置、補正装置、形態素解析方法および補正方法
CN112633017A (zh) 翻译模型训练、翻译处理方法、装置、设备和存储介质
CN112364623A (zh) 基于Bi-LSTM-CRF的三位一体字标注汉语词法分析方法
CN106156013B (zh) 一种固定搭配型短语优先的两段式机器翻译方法
CN103885924A (zh) 一种领域自适应的公开课字幕自动生成系统及方法
CN110347802A (zh) 一种文本分析方法及装置
CN114692568A (zh) 一种基于深度学习的序列标注方法及应用
CN108664464B (zh) 一种语义相关度的确定方法及确定装置
CN111539228A (zh) 向量模型训练方法及装置、相似度确定方法及装置
CN114981885A (zh) 用于自动语音识别的字母数字序列偏置
CN111178009B (zh) 一种基于特征词加权的文本多语种识别方法
CN117149987B (zh) 多语言对话状态追踪模型的训练方法及装置
CN109960782A (zh) 一种基于深度神经网络的藏文分词方法及装置
CN109446537B (zh) 一种针对机器翻译的译文评估方法及装置
CN114492396A (zh) 用于汽车专有名词的文本错误纠正方法及可读存储介质
CN113962215A (zh) 基于人工智能的文本纠错方法、装置、设备及存储介质
Almansor et al. Transferring informal text in arabic as low resource languages: State-of-the-art and future research directions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant