CN116821290A - 面向多任务对话的大语言模型训练方法和交互方法 - Google Patents

Abstract

本发明提供一种面向多任务对话的大语言模型训练方法和交互方法，其中面向多任务对话的大语言模型训练方法包括：获取通用对话数据和任务对话数据，并确定所述任务对话数据对应的任务类别和任务目标；基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据；基于所述目标对话数据，对所述第一大语言模型进行模型微调，得到大语言模型，不仅在极大程度上保留了模型的闲聊交互能力，还最大限度的提升了模型的任务识别能力和任务执行能力，使其能够具备快速准确地识别任务类别和任务目标的能力，优化了模型性能。

Description

面向多任务对话的大语言模型训练方法和交互方法

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种面向多任务对话的大语言模型训练方法和交互方法。

背景技术

对话系统，作为自然语言处理技术的重要应用之一，其可以学习模仿人与人之间的交流，并据此实现人机交互。目前，对话系统的对话可以分为开放域对话和任务型对话。开放域对话旨在同用户闲聊来达成交互，任务型对话则旨在通过与用户交互完成特定任务。并且，任务型对话较为复杂，为能准确完成任务，通常需要语言理解、对话状态追踪、对话策略学习、回复生成等多个模块进行协同工作。

然而，大多数传统的任务型对话系统采取流水线式的架构，各个模块之间结构复杂，且过程中错误易累计传播放大，并且在通用领域文本上训练的模型在任务型对话上的效果往往不佳。此外，传统的任务型对话系统往往专注于任务的完成，丧失了闲聊能力，其与用户之间的交互性较弱。进一步地，若任务数量不止一种，则传统的任务型对话系统处理起来会更加复杂。因此，面向多任务对话，并具备一定的闲聊交互能力的交互模型的研究是当下具有重要意义的课题。

发明内容

本发明提供一种面向多任务对话的大语言模型训练方法和交互方法，用以解决现有技术中任务型对话系统各模块间结构复杂、易放大错误传播，以及与用户间的交互性较弱的缺陷，实现了交互能力的提升，同时，利用大语言模型的先验知识和推理能力，极大地缩减了训练成本，增加了易用性与可解释性，优化了训练所得模型的性能。

本发明提供一种面向多任务对话的大语言模型训练方法，包括：

获取通用对话数据和任务对话数据，并确定所述任务对话数据对应的任务类别和任务目标；

基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；

基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据；

基于所述目标对话数据，对所述第一大语言模型进行模型微调，得到大语言模型。

根据本发明提供的一种面向多任务对话的大语言模型训练方法，所述基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据，包括：

在所述任务对话数据为多模态的对话数据的情况下，确定所述任务对话数据中的音频对话数据和/或图像对话数据；

对所述音频对话数据和/或所述图像对话数据进行转换，得到所述音频对话数据和/或所述图像对话数据对应的语言描述或字符标识；

以所述语言描述或所述字符标识替换所述任务对话数据中对应的音频对话数据和/或图像对话数据，并基于所述任务类别和所述任务目标，对替换后的任务对话数据进行任务标注，得到目标对话数据；

所述多模态包括音频模态、图像模态、文本模态中的至少两种。

根据本发明提供的一种面向多任务对话的大语言模型训练方法，所述基于所述任务类别和所述任务目标，对替换后的任务对话数据进行任务标注，得到目标对话数据，包括：

确定替换后的任务对话数据中的用户输入语句和模型输出语句；

基于所述任务类别和所述任务目标，对所述模型输出语句进行任务标注，得到目标输出语句；

基于所述用户输入语句和所述目标输出语句，确定目标对话数据。

根据本发明提供的一种面向多任务对话的大语言模型训练方法，所述基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型，包括：

确定所述通用对话数据中的用户输入语句和模型输出语句；

对所述用户输入语句和所述模型输出语句进行分词，得到所述用户输入语句和所述模型输出语句中的各分词；

对所述用户输入语句和所述模型输出语句分别进行角色标注，得到所述用户输入语句和所述模型输出语句各自对应的角色标识；

基于所述角色标识，对所述用户输入语句和所述模型输出语句中的各分词进行拼接，得到第一对话数据；

基于所述第一对话数据，对初始大语言模型进行模型微调，得到第一大语言模型。

根据本发明提供的一种面向多任务对话的大语言模型训练方法，所述确定所述任务对话数据对应的任务类别和任务目标，包括：

基于所述任务对话数据，进行用户意图识别，得到用户意图；

基于所述用户意图，以及意图类别映射关系，确定所述任务类别；

基于所述任务对话数据，进行任务内容提取，得到关键内容；

基于所述关键内容，以及所述任务类别，确定所述任务目标。

本发明还提供一种交互方法，应用于大语言模型，包括：

获取用户输入信息，并确定所述用户输入信息中各任务的任务类别和任务目标；基于所述各任务的任务类别和任务目标，从所述各任务中筛选与大语言模型相匹配的第一任务和不相匹配的第二任务；

基于所述第一任务的任务类别和任务目标，确定第一交互信息；

基于所述第二任务的任务类别和任务目标，生成调用指令，并将所述调用指令发送至所述第二任务对应的任务模型，以请求所述任务模型基于所述调用指令，确定第二交互信息；

接收所述任务模型返回的所述第二交互信息，展示所述第一交互信息和所述第二交互信息；所述大语言模型是基于如上述任一项所述的面向多任务对话的大语言模型训练方法训练得到的。

本发明还提供一种面向多任务对话的大语言模型训练装置，包括：

数据获取单元，用于获取通用对话数据和任务对话数据，并确定所述任务对话数据对应的任务类别和任务目标；

通用训练单元，用于基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；

任务标注单元，用于基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据；

任务训练单元，用于基于所述目标对话数据，对所述第一大语言模型进行模型微调，得到大语言模型。

本发明还提供一种交互装置，应用于大语言模型，包括：

任务筛选单元，用于获取用户输入信息，并确定所述用户输入信息中各任务的任务类别和任务目标；基于所述各任务的任务类别和任务目标，从所述各任务中筛选与大语言模型相匹配的第一任务和不相匹配的第二任务；

第一确定单元，用于基于所述第一任务的任务类别和任务目标，确定第一交互信息；

第二确定单元，用于基于所述第二任务的任务类别和任务目标，生成调用指令，并将所述调用指令发送至所述第二任务对应的任务模型，以请求所述任务模型基于所述调用指令，确定第二交互信息；

信息展示单元，用于接收所述任务模型返回的所述第二交互信息，展示所述第一交互信息和所述第二交互信息；所述大语言模型是基于如上述任一项所述的面向多任务对话的大语言模型训练方法训练得到的。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的面向多任务对话的大语言模型训练方法或如上述所述的交互方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的面向多任务对话的大语言模型训练方法或如上述所述的交互方法。

本发明提供的面向多任务对话的大语言模型训练方法和交互方法，通过通用对话数据对初始大语言模型进行模型微调，得到通用的开放域对话模型，极大程度地保留了模型的闲聊交互能力，克服了传统方案中因专注于任务完成而忽略了闲聊交互能力，交互性较差的缺陷，实现了闲聊交互能力的提升；在此基础上通过多任务的任务对话数据再次进行模型微调，利用大语言模型的先验知识和推理能力，使其经过较少量的学习，快速具备准确识别任务类别和任务目标的能力，极大地缩减了训练成本，增加了易用性与可解释性，优化了模型性能。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的面向多任务对话的大语言模型训练方法的流程示意图；

图2是本发明提供的传统的任务型对话中意图识别和槽填充过程的示意图；

图3是本发明提供的任务标注过程的流程图；

图4是本发明提供的任务标注过程的示例图；

图5是本发明提供的交互方法的流程示意图；

图6是本发明提供的面向多任务对话的大语言模型训练装置的流程示意图；

图7是本发明提供的交互装置的流程示意图；

图8是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，对话系统一般可以划分为开放域对话和任务型对话。开放域对话旨在同用户闲聊来达成交互，任务型对话则旨在通过与用户交互完成特定任务。其中，开放域对话通常采取序列到序列的学习方法，通过单个模型端到端的实现聊天功能。而任务型对话往往较为复杂，为了能准确地完成任务，往往需要语言理解、对话状态追踪、对话策略学习、回复生成等多个模块进行协同工作。

并且，任务型对话中常常包含多种任务和用户意图，为了能够准确地识别任务类别和任务目标，需要充分理解用户语句。意图识别和槽填充是任务型对话系统中用于理解对话内容的子任务。意图识别为判断出用户意图，常被建模为用一组预定义的意图对用户话语进行分类，即识别任务类别。槽填充是一种序列标注问题，其需要识别出用户语句中的重要部分，该部分与意图相关联，即识别任务目标。

进一步地，由于大语言模型是近年来自然语言处理领域中热门的研究课题，该模型参数规模庞大，具有小模型所不具备的强大的语言理解、生成和推理的能力，原因在于其训练过程通过了大量的数据和计算资源来学习语言中的各种规律和模式，从而能够对自然语言进行更加深入和全面的理解。此外，大语言模型还可以用于各种自然语言处理任务，例如，文本分类、机器翻译等，其具有很强的通用性和适用性。因而，大语言模型已逐渐取代传统的对话系统中的交互模型。

然而，在通用领域文本的基础上训练的大语言模型在任务型对话上的效果往往不佳，并且大多数传统的任务型对话系统采取流水线式的架构，各个模块之间结构复杂且错误易累计传播方放大；此外，传统的任务型对话系统往往专注于任务的完成，而丧失了闲聊能力，因而其与用户之间的交互性较弱。进一步地，在任务数量不止一种的情况下，传统的任务型对话系统的处理过程会更加复杂。因此，如何基于端到端架构实现面向多任务对话的大语言模型训练，以使训练所得的大语言模型具备良好的闲聊交互能力是当下亟待解决的技术问题。

对此，本发明提供一种面向多任务对话的大语言模型训练方法，旨在基于预训练好的初始大语言模型的基础上进行微调训练，得到通用的开放域对话模型，极大程度地保留了模型的闲聊交互能力；然后通过多任务的任务对话数据再次进行微调，利用大语言模型的先验知识和推理能力，使其经过较少量的学习，快速具备准确识别任务类别和任务目标的能力，极大地缩减了训练成本，增加了易用性与可解释性，优化了模型性能。图1是本发明提供的面向多任务对话的大语言模型训练方法的流程示意图，如图1所示，该方法包括：

步骤110，获取通用对话数据和任务对话数据，并确定任务对话数据对应的任务类别和任务目标；

考虑到传统方案中任务型对话系统因专注于特定任务的完成，而忽略了其闲聊功能，并且在通用领域文本的基础上训练的大语言模型在任务型对话上的效果往往不佳的情况，因此，本发明实施例中，可以先应用通用领域的对话数据训练得到开放域对话模型，之后可以在此基础上通过多任务的任务对话数据训练得到最终的大语言模型，如此不仅可以保障训练所得的大语言模型的闲聊交互能力，还能够使其快速获取到准确识别任务类别和任务目标的能力，优化了模型性能。

鉴于此，在进行模型训练之前，首先需要获取训练所需的数据，即通用训练阶段的通用对话数据和任务训练阶段的任务对话数据，此处通用对话数据即通用领域下的对话数据，例如，可以是文本翻译、图像生成、图像检索、常识问答、日常闲聊等场景下的对话数据，其可以通过网络爬虫从互联网上爬取得到，也可以从特定对话数据网站中直接下载得到，还可以针对性的进行开源的对话数据集的收集，并从对话数据集中获取得到，本发明实施例中对此不做具体限定。

进一步地，考虑到开源的对话数据在通用训练阶段中的良好应用，即其能够使得模型更好的学习人与人之间的交流模式，最大限度的保留模型的闲聊交互能力，提升训练所得的开放域对话模型的交互性能，因而作为优选，本发明实施例中可以从开源的对话数据集中获取通用对话数据，此处开源的对话数据集可以是Pchatbot数据集。

任务对话数据则是包含特定任务的对话数据，其中的任务可以是一个也可以是多个，而由于实际的人机交互过程中，特别是任务型对话中，用户输入语句中的任务通常不止一个，若通用训练阶段仅应用包含单个任务的任务对话数据进行模型训练，则会使得训练所得的大语言模型在面对多任务场景时处理过程复杂，响应时间长，甚至是无法应对多任务场景，例如忽略某一个或多个任务，仅执行单个任务，或者是无法对于多任务场景做出响应。鉴于此，本发明实施例中选择面向多任务的任务对话数据，例如可以是包含语音转写、文字识别、图像问答、图像生成、图像检索、情绪分析、意图识别、语音合成等任务中至少两种任务的对话数据。

而在获取到任务对话数据之后，还需确定任务对话数据对应的任务类别和任务目标，以使后续任务训练阶段能够据此任务类别和任务目标进行针对性训练，从而使得模型在训练过程中不仅具备执行各类任务的能力，还能快速具备准确识别任务类别和任务目标的能力，在缩减训练成本的基础上，增加了易用性与可解释性，优化了模型性能。

具体而言，此处任务对话数据对应的任务类别和任务目标可以是预先标注好的，能够在获取任务对话数据时直接确定的；也可以是通过意图识别和内容提取确定的，即在获取得到任务对话数据之后，还可以对任务对话数据中用户的意图进行识别，以据此确定任务类别，同时可以提取任务对话数据中的任务内容，并结合任务类别，以确定任务目标。例如，任务对话数据“‘哇图中有好多人呀，他们在干嘛？[img]’，‘他们在打乒乓球。’”，其对应的任务类别为“图像问答”，任务目标为“图里的人在干嘛”。

步骤120，基于通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；

具体地，经过步骤110得到通用对话数据之后，即可执行步骤120，据此通用对话数据，对初始大语言模型进行微调训练，以得到第一大语言模型，具体过程包括以下步骤：

首先，需要确定训练过程的基础模型，而考虑到相比较传统的小模型，大语言模型的参数规模庞大，具有小模型所不具备的强大的语言理解、生成和推理的能力，原因在于，大语言模型在训练过程中可以通过大量的数据和计算资源来学习语言中的各种规律和模式，从而能够对自然语言进行更加深入和全面的理解。并且，其还可以用于各种自然语言处理任务，例如，文本分类、机器翻译、问答系统等，具备极强的通用性和适用性。因而，本发明实施例中，选择预先训练好的大语言模型作为基础模型，即初始大语言模型；

此处，初始大语言模型可以是LLM(Large Language Model)，GPT(GenerativePre-trained Transformer)、BERT(Bidirectional Encoder Representations fromTransformers)、RoBERTa(Robustly Optimized BERT approach)、XLNet(extreme Multi-label Learning Network)、T5(Text-to-Text Transfer Transformer)等预训练模型。作为优选，本发明实施例中，将初始大语言模型确定为适用于文本生成任务的GPT模型。

随即，可以应用通用对话数据，对初始大语言模型进行模型训练，以得到通用的开放域对话模型，即第一大语言模型，此处具体可以通过通用对话数据，对初始大语言模型进行参数迭代，即微调初始大语言模型的模型参数，以使参数更新调整后的初始大语言模型的闲聊交互能力更优，交互性更好，从而得到通用训练阶段下训练完成的第一大语言模型。值得注意的是，基于通用对话数据的训练过程，能够使得模型在训练过程中更好的学习模仿各种场景下人与人之间的交互，并理解交互形式，从而可以最大限度的保障模型的交互性能，提升其闲聊交互能力，避免因专注于任务完成而忽略本身交互能力的情况。

步骤130，基于任务类别和任务目标，对任务对话数据进行任务标注，得到目标对话数据；

具体地，经过步骤110得到任务对话数据及其任务类别和任务目标之后，即可执行步骤130，据此任务类别和任务目标，对任务对话数据进行任务标注，以得到目标对话数据，具体过程可以包括：

图2是本发明提供的传统的任务型对话中意图识别和槽填充过程的示意图，如图2所示，传统的任务型对话中是通过用于辅助理解对话内容的子任务(意图识别和槽填充)确定任务类别和任务目标，而据此确定的任务类别和任务目标无法与第一大语言模型相契合，即其无法被第一大语言模型所接收、理解和转化，因而，在确定任务对话数据对应的任务类别和任务目标之后，还需将其转换为第一大语言模型可理解的形式，以便后续任务训练阶段的模型训练能够稳步进行。

鉴于此，本发明实施例中，可以对任务对话数据对应的任务类别和任务目标进行转换，即可以依据任务类别和任务目标，对任务对话数据进行任务标注，以将任务类别和任务目标在任务对话数据中转换为第一大语言模型可理解的数据形式，从而得到目标对话数据。此处，具体可以通过任务前缀或任务后缀的形式实现转换，即可以在任务对话数据中添加任务类别和任务目标的前缀或后缀，从而形成任务前缀或任务后缀，最终可以得到包含任务前缀或任务后缀的任务对话数据，该种形式的任务对话数据即目标对话数据。

步骤140，基于目标对话数据，对第一大语言模型进行模型微调，得到大语言模型。

具体地，经过上述过程得到目标对话数据之后，即可执行步骤140，据此目标对话数据，对第一大语言模型进行微调训练，以得到最终的大语言模型，这一过程具体包括：

首先，可以应用目标对话数据，对第一大语言模型进行模型训练，以得到最终的大语言模型，此处具体可以是依据任务标注所得的目标对话数据再次进行模型微调，即可以通过目标对话数据，对经过通用训练后的第一大语言模型进行参数迭代，即微调第一大语言模型的模型参数，以使参数更新调整后的第一大语言模型的任务识别和任务执行能力更强，从而得到任务训练阶段下训练完成的大语言模型。

具体而言，本发明实施例中，任务对话数据共收集有7170组，其中具体涉及语音转写、文字识别、图像问答、图像生成、图像检索、情绪分析、意图识别、语音合成等任务；此处可以对7170组任务对话数据进行划分，例如可以将前7000组任务对话数据作为训练集，其余170组任务对话数据作为测试集，用以对第一大语言模型进行微调训练，最终可以得到训练完成的大语言模型。

经过实验验证，微调10个轮次后即可得到最终的大语言模型，并且通过测试集进行测试，训练所得的大语言模型能够以极高的准确率识别出任务类别和任务目标，同时依然具备良好的闲聊交互能力，以及快速准确地获取任务类别和任务目标的能力，能够满足任务型对话的要求。此外，值得注意的是，任务训练阶段针对于第一大语言模型进行模型微调的微调方式，与前述通用训练阶段针对于初始大语言模型进行模型微调的微调方式一致。

另外，为对比验证任务对话数据的数据量对于识别准确率的影响，本发明实施例中分别选取了1000、3000、5000和7000组任务对话数据，并据此独立进行微调训练，其微调后的验证结果如下表所示：

数据量	任务类别的识别准确率	任务目标的识别准确率
			1000	88/100	73/100
3000	97/100	90/100
			5000	96/100	91/100
7000	98/100	97/100

通过上表可知，通过3000组任务对话数据进行微调训练，模型即可达到极高的任务类别识别准确率和较高的任务目标识别准确率；而当数据量达到7000后，任务类别和任务目标的识别准确率以达到极为精准的程度。

本发明实施例中，通过在开放域对话模型的基础上的任务型对话能力的学习，不仅可以极大程度地保留了模型的闲聊交互能力，还最大限度的提升了模型的任务识别能力和任务执行能力，使其能够具备快速准确地识别任务类别和任务目标的能力，优化了模型性能。此外，将任务类别和任务目标转换为第一大语言模型可理解的形式，有效利用了大语言模型的先验知识和推理能力，减少了训练成本，增加了易用性与可解释性，并能够使模型获取更好的识别性能。

本发明提供的面向多任务对话的大语言模型训练方法，通过通用对话数据对初始大语言模型进行模型微调，得到通用的开放域对话模型，极大程度地保留了模型的闲聊交互能力，克服了传统方案中因专注于任务完成而忽略了闲聊交互能力，交互性较差的缺陷，实现了闲聊交互能力的提升；在此基础上通过多任务的任务对话数据再次进行模型微调，利用大语言模型的先验知识和推理能力，使其经过较少量的学习，快速具备准确识别任务类别和任务目标的能力，极大地缩减了训练成本，增加了易用性与可解释性，优化了模型性能。

考虑到任务对话数据可能不单单是文本模态的，还有可能为音频模态、图像模态等，而较之单模态数据，传统的任务型对话系统针对于多模态数据的处理往往十分复杂，甚至需要添加额外的跨模态处理模型进行数据处理，如此则会导致任务交互过程繁琐、不便、实时性差、响应时间长。为此，本发明实施例中，为能够针对多模态数据进行处理，简化多模态任务，基于上述实施例，步骤130包括：

在任务对话数据为多模态的对话数据的情况下，确定任务对话数据中的音频对话数据和/或图像对话数据；

对音频对话数据和/或图像对话数据进行转换，得到音频对话数据和/或图像对话数据对应的语言描述或字符标识；

以语言描述或字符标识替换任务对话数据中对应的音频对话数据和/或图像对话数据，并基于任务类别和任务目标，对替换后的任务对话数据进行任务标注，得到目标对话数据；

多模态包括音频模态、图像模态、文本模态中的至少两种。

具体地，步骤130中，通过任务类别和任务目标，对任务对话数据进行任务标注，以得到目标对话数据的过程，可以包括以下步骤：

在任务对话数据并非单一模态的对话数据的情况下，即任务对话数据中包含多模态的数据的情况下，此处多模态可以包括音频模态、图像模态、文本模态中的至少两种，可以对任务对话数据中非文本模态的对话数据进行简化处理，以将其转换为自然语言描述或特殊字符标识，从而达到简化多模态数据并能够对其进行处理的目的。之后即可在此基础上进行任务标注，从而得到目标对话数据。

具体而言，在任务对话数据为多模态的对话数据的情况下，即任务对话数据中包含音频模态、图像模态、文本模态中至少两种模态的对话数据的情况下，首先可以从该任务对话数据中确定出非文本模态的对话数据，即从任务对话数据中抽出音频对话数据和/或图像对话数据，随即，可以对音频对话数据和/或图像对话数据进行转换，以将其转换为自然语言描述或特殊字符标识，从而得到音频对话数据和/或图像对话数据对应的语言描述或字符标识；此处可以是将图像对话数据转换为“[img]”，将语音对话数据转换成“[voice]”。

之后，即可以转换后的语言描述或字符标识替换任务对话数据中对应的音频对话数据和/或图像对话数据，从而得到替换后的任务对话数据，此处可以理解为将任务对话数据中的音频对话数据和/或图像对话数据替换为对应的语言描述或字符标识，以得到替换后的任务对话数据，而后，即可通过任务类别和任务目标，对此替换后的任务对话数据进行任务标注，最终可以得到目标对话数据，即可以通过在替换后的任务对话数据中添加前缀或后缀的形式实现任务标注，以得到目标对话数据。

本发明实施例中，通过抽取多模态的任务对话数据中的音频对话数据和/或图像对话数据，并将其替换为对应的自然语言描述或特殊字符标识，通过模态压缩方式实现了多模态数据简化处理，降低了模型对于多模态数据的处理时间和成本，提升了实时性和有效性。

基于上述实施例，基于任务类别和任务目标，对替换后的任务对话数据进行任务标注，得到目标对话数据，包括：

确定替换后的任务对话数据中的用户输入语句和模型输出语句；

基于任务类别和任务目标，对模型输出语句进行任务标注，得到目标输出语句；

基于用户输入语句和目标输出语句，确定目标对话数据。

具体地，上述通过任务类别和任务目标，对替换后的任务对话数据进行任务标注，以得到目标对话数据的过程，具体可以包括：

可以理解的是，实际的任务型对话中任务类别和任务目标的识别均依赖于模型，因而为使模型能够接收、理解任务类别和任务目标，通过训练能够获取快速准确识别任务类别和任务目标的能力，本发明实施例中，可以针对于替换后的任务对话数据中的模型输出语句进行任务标注，而结合未曾标注的用户输入语句和标注后的模型输出语句即可得到目标对话数据。

具体而言，由于对话过程是一来一往有用户输入和模型输出的，因而对话数据的总轮次通常为偶数轮次，其中奇数轮次为用户输入，偶数轮次为模型输出，因而，此处可以依据轮次从替换后的任务对话数据中分别确定出用户输入语句和模型输出语句，即从替换后的任务对话数据中抽取出奇数轮次的用户输入语句和偶数轮次的模型输出语句，之后即可依据任务类别和任务目标，对模型输出语句进行任务标注，以得到目标输出语句。

图3是本发明提供的任务标注过程的流程图，如图3所示，此处可以为模型输出语句添加任务类别和任务目标的前缀或后缀，即添加“<任务类别：任务目标>”形式的前缀或后缀，从而得到“<任务类别：任务目标>模型输出语句”形式的模型输出语句，即目标输出语句；图4是本发明提供的任务标注过程的示例图，如图4所示，当替换后的任务对话数据为“‘灯泡的英文是什么？’，‘flame’”，经过任务标注可以得到目标输出语句“‘<翻译：灯泡>flame’”；当替换后的任务对话数据为“‘灯泡是谁发明的’，‘爱迪生’”，经过任务标注可以得到目标输出语句“‘<问答：灯泡是谁发明的>爱迪生’”。

之后，即可结合替换后的任务对话数据中的用户输入语句，以及任务标注所得的目标输出语句，确定目标对话数据，即组合用户输入语句和目标输出语句以得到目标对话数据。例如，替换后的任务对话数据为“‘哇图中有好多人呀，他们在干嘛？[img]’，‘他们在打乒乓球。’”，经过处理后可以得到目标对话数据“‘哇图中有好多人呀，他们在干嘛？[img]’，‘<图像问答：图里的人在干嘛>他们在打乒乓球。’”。

基于上述实施例，步骤120包括：

确定通用对话数据中的用户输入语句和模型输出语句；

对用户输入语句和模型输出语句进行分词，得到用户输入语句和模型输出语句中的各分词；

对用户输入语句和模型输出语句分别进行角色标注，得到用户输入语句和模型输出语句各自对应的角色标识；

基于角色标识，对用户输入语句和模型输出语句中的各分词进行拼接，得到第一对话数据；

基于第一对话数据，对初始大语言模型进行模型微调，得到第一大语言模型。

具体地，步骤120中，依据通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型的过程，具体包括以下步骤：

首先，可以从通用对话数据中确定出用户输入部分和模型输出部分，即确定出其中的用户输入语句和模型输出语句，简而言之，可以从通用对话数据中分别抽取出用户输入语句和模型输出语句。

随即，可以对用户输入语句和模型输出语句进行分词，以通过分词处理得到用户输入语句和模型输出语句中的各分词；例如，对于通用对话数据“‘你好！’，‘很高兴认识你。’”，经过分词可以得到“‘你好’，‘！’，‘很’，‘高兴’，‘认识’，‘你’，‘。’”。

同时，可以对用户输入语句和模型输出语句分别进行角色标注，以得到用户输入语句和模型输出语句各自对应的角色标识，即可以采用角色标识标注通用对话数据中用户输入语句和模型输出语句各自对应的角色，以通过不同的角色标识区分不同角色的输入或输出语句。例如，对于通用对话数据“‘你好！’，‘很高兴认识你。’”，经过角色标注后可以得到“[‘[Speaker1]’,‘你好！’，‘[Speaker2]’，‘很高兴认识你。’]”。

之后，即可根据角色标识，对用户输入语句和模型输出语句中的各分词进行拼接，以得到第一对话数据，即依据用户输入语句的角色标识和模型输出语句的角色标识，分别对用户输入语句中的各分词和模型输出语句中的各分词进行拼接，从而得到第一对话数据，此过程实际上是将用户输入语句和模型输出语句的角色标识置于各自语句的最前端，从而使得模型可以明确各语句对应的角色。

例如，对于通用对话数据“‘你好！’，‘很高兴认识你。’”，经过分词、角色标注、拼接等处理后可以得到第一对话数据“[‘[Start]’，‘[Speaker1]’，‘你好’，‘！’，‘[Speaker2]’，‘很’，‘高兴’，‘认识’，‘你’，‘。’，‘[End]’]”。

最后，即可应用第一对话数据，对初始大语言模型进行模型微调，以得到第一大语言模型，即可以使用拼接好的第一对话数据对初始大语言模型进行微调训练，训练过程中以最小化输入数据与模型输出之间的交叉熵损失为目的，每隔一定步数在验证集上计算困惑度，保存困惑度最低的模型，训练至收敛，最终可以得到第一大语言模型，此训练过程能够使得初始大语言模型理解交互形式并提升其闲聊能力。

值得注意的是，在得到第一对话数据之后，据此对初始大语言模型进行模型微调前，为便于模型理解，还需对第一对话数据进行转换，以将其转换为模型可接收理解的字符编号形式。

基于上述实施例，确定任务对话数据对应的任务类别和任务目标：

基于任务对话数据，进行用户意图识别，得到用户意图；

基于用户意图，以及意图类别映射关系，确定任务类别；

基于任务对话数据，进行任务内容提取，得到关键内容；

基于关键内容，以及任务类别，确定任务目标。

具体地，步骤110中，任务对话数据对应的任务类别和任务目标的确定，可以基于如下步骤实现：

首先，可以以任务对话数据为基准，进行用户意图识别，以确定出任务对话数据对应的用户意图，即可以对任务对话数据进行意图识别，以挖掘出任务对话数据中蕴含的用户的意图信息，从而分析得出用户意图，具体而言，可以对任务对话数据筛选，以从中确定出用户输入语句，然后即可据此用户输入语句进行意图识别，得到用户意图，即可以基于任务对话数据中的用户输入语句，识别用户的意图。

接着，可以根据用户意图和预设的意图类别映射关系，确定任务类别，即可以依据用户意图，以及预先设定的各类意图与任务类别之间的映射关系列表、图文等，确定任务对话数据对应的任务类别，具体可以是从意图类别映射关系中查找与用户意图想匹配的意图，并确定该意图对应的任务类别，该任务类别即为任务对话数据对应的任务类别。

同时，可以以任务对话数据为基准，进行任务内容提取，以任务对话数据对应任务的关键内容，即可以依据任务对话数据进行任务内容提取，以从中提取出与任务相关的关键信息，从而得到任务的关键内容，具体而言，同意图识别一样，由于用户意图和任务目标均潜藏于用户输入语句中，因而此处同样需要从任务对话数据中确定出用户输入语句，然后即可据此用户输入语句进行内容提取，得到关键内容，即可以基于任务对话数据中的用户输入语句，提取任务的关键内容。

之后，即可据此关键内容确定任务目标，而考虑到任务的关键内容与任务类别之间的关联性，两者必定密切相关，目的趋于一致，因而为更准确的定位任务目标，此处可以在任务的关键内容的基础上，结合任务类别，确定任务目标。例如，任务对话数据“‘哇图中有好多人呀，他们在干嘛？[img]’，‘他们在打乒乓球。’”，其对应的任务类别为“图像问答”，任务目标为“图里的人在干嘛”。

本发明还提供一种交互方法，该方法应用于大语言模型，旨在自动感知和识别自身可以完成任务以及需要借助其他模型完成的任务，对于自身可以实现的任务可以直接执行完成，而针对无法由自身(大语言模型)实现的功能，大语言模型将生成调用指令，以请求调用的任务模型基于调用指令完成特定任务，并返回相应结果。图5是本发明提供的交互方法的流程示意图，如图5所示，该方法包括：

步骤510，获取用户输入信息，并确定用户输入信息中各任务的任务类别和任务目标；基于各任务的任务类别和任务目标，从各任务中筛选与大语言模型相匹配的第一任务和不相匹配的第二任务；

步骤520，基于第一任务的任务类别和任务目标，确定第一交互信息；

步骤530，基于第二任务的任务类别和任务目标，生成调用指令，并将调用指令发送至第二任务对应的任务模型，以请求任务模型基于调用指令，确定第二交互信息；

步骤540，接收任务模型返回的第二交互信息，展示第一交互信息和第二交互信息；大语言模型是基于如上述任一项所述的面向多任务对话的大语言模型训练方法训练得到的。

具体地，在实际交互过程中，大语言模型首先需要获取输入的信息，即用户输入信息，而由于大语言模型在训练阶段中已具备快速准确识别任务类别和任务目标的能力，因而在得到用户输入信息之后，大语言模型即可直接依据此确定出用户输入信息中包含任务的任务类别和任务目标。简而言之，由于训练阶段针对性的任务训练，大语言模型具备识别用户输入信息中潜藏的各任务的任务目标和任务类别的能力，因而大语言模型在获取到用户输入信息之后，可以直接对应输出各任务的任务类别和任务目标。

而在明确各任务的任务类别和任务目标之后，大语言模型即可自动感知能够由自身完成的任务，以及需要借助其他模型完成的任务，这一过程实质上是对各任务的匹配筛选，即依据各任务的任务类别和任务目标，以及大语言模型自身的功能，对各任务进行匹配，以得到与大语言模型相匹配的第一任务，以及与之不相匹配的第二任务；此处第一任务即任务类别与任务目标与大语言模型的自身功能相匹配/相吻合/相契合，能够由大语言模型完成的任务，第二任务则是未能与大语言模型相契合，无法由大语言模型完成的任务。

对于能够由大语言模型实现的第一任务，大语言模型可以直接进行任务完成，即执行该任务并返回对应的信息，从而通过用户输入和模型输出完成交互，得到交互信息，为便于与无法由自身完成的任务而获得的交互信息进行区分，此处可以将该交互信息称之为第一交互信息，即大语言模型可以依据第一任务的任务类别和任务目标，进行交互，以执行第一任务，从而得到第一交互信息。

相应地，对于无法由大语言模型完成的第二任务，本发明实施例中，可以据此生成调用指令，以调用能够执行该任务的模型进行任务执行，并返回大语言模型响应的结果，即可根据第二任务的任务类别和任务目标，生成第二任务对应的调用指令，该调用指令中包含需要调用的任务模型、该任务模型的相关参数，以及第二任务的任务信息。

之后，即可将该调用指令发送至该任务模型，该任务模型为能够执行第二任务的任务模型，即其功能与第二任务的任务类别和任务目标相匹配。该任务模型在接收到调用指令之后，即可基于此调用指令，完成第二任务并向大语言模型返回相应结果，即可以依据调用指令中的相关参数，以及第二任务的任务信息(任务类别、任务目标等)，执行第二任务，从而得到第二交互信息，并将其反馈至大语言模型。

此后，大语言模型即可接收到任务模型返回的第二交互信息，并可以对第一交互信息和第二交互信息进行展示，从而使得用户可以直接获知交互过程的详细信息，明确交互流程，更为直接便捷的知晓交互的结果。此处，针对于第一交互信息和第二交互信息的展示可以是自适应的，也可以是多模态的，本发明实施例对此不做具体限定。例如，语音转写(文本转语音)场景下，交互信息的展示可以是音频模态，也可以是文本模态和音频模态。又例如，文字识别场景下，交互信息的展示可以是文本模态，也可以是图像模态叠加文本模态。

而值得注意的是，在执行本发明所提供的交互方法之前，还需预先训练得到大语言模型，大语言模型的训练过程包括：获取通用对话数据和任务对话数据，并确定任务对话数据对应的任务类别和任务目标；基于通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；基于任务类别和任务目标，对任务对话数据进行任务标注，得到目标对话数据；基于目标对话数据，对第一大语言模型进行模型微调，最终得到训练完成的大语言模型。

本发明实施例中，大语言模型通过任务识别，能够准确区分出文本生成、图像生成、文本翻译、图像检索、常识问答、日常闲聊等一系列可高度自定义的广泛任务，并能结合自身功能进行任务筛选，以精准地将无法由自身完成的任务发送至指定的任务模型，实现了任务分流，在交互过程的稳步进行的前提下，提升了交互过程的实时性，同时减轻了大语言模型自身的任务压力。

本发明提供的交互方法，通过用户输入信息自动感知识别自身可以完成的任务以及需要调用其他模型实现的任务，对于自身无法实现的任务，大语言模型将生成调用指令，并将其发送至对应的任务模型，以请求调用的任务模型基于调用指令完成特定任务，并返回相应结果，大语言模型通过精准的任务识别和任务筛选，实现了交互过程任务分流，在减轻模型自身压力的同时，提高了各类任务模型之间的相关性和紧密度，使得各任务模型能够辅助大语言模型进行针对性的任务型交互，在简化系统架构的同时，很好的保证了交互的实时性和有效性。

下面对本发明提供的面向多任务对话的大语言模型训练装置进行描述，下文描述的面向多任务对话的大语言模型训练装置与上文描述的面向多任务对话的大语言模型训练方法可相互对应参照。

图6是本发明提供的面向多任务对话的大语言模型训练装置的结构示意图，如图6所示，该装置包括：

数据获取单元610，用于获取通用对话数据和任务对话数据，并确定所述任务对话数据对应的任务类别和任务目标；

通用训练单元620，用于基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；

任务标注单元630，用于基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据；

任务训练单元640，用于基于所述目标对话数据，对所述第一大语言模型进行模型微调，得到大语言模型。

本发明提供的面向多任务对话的大语言模型训练装置，通过通用对话数据对初始大语言模型进行模型微调，得到通用的开放域对话模型，极大程度地保留了模型的闲聊交互能力，克服了传统方案中因专注于任务完成而忽略了闲聊交互能力，交互性较差的缺陷，实现了闲聊交互能力的提升；在此基础上通过多任务的任务对话数据再次进行模型微调，利用大语言模型的先验知识和推理能力，使其经过较少量的学习，快速具备准确识别任务类别和任务目标的能力，极大地缩减了训练成本，增加了易用性与可解释性，优化了模型性能。

基于上述实施例，任务标注单元630用于：

在所述任务对话数据为多模态的对话数据的情况下，确定所述任务对话数据中的音频对话数据和/或图像对话数据；

对所述音频对话数据和/或所述图像对话数据进行转换，得到所述音频对话数据和/或所述图像对话数据对应的语言描述或字符标识；

以所述语言描述或所述字符标识替换所述任务对话数据中对应的音频对话数据和/或图像对话数据，并基于所述任务类别和所述任务目标，对替换后的任务对话数据进行任务标注，得到目标对话数据；

所述多模态包括音频模态、图像模态、文本模态中的至少两种。

基于上述实施例，任务标注单元630用于：

确定替换后的任务对话数据中的用户输入语句和模型输出语句；

基于所述任务类别和所述任务目标，对所述模型输出语句进行任务标注，得到目标输出语句；

基于所述用户输入语句和所述目标输出语句，确定目标对话数据。

基于上述实施例，通用训练单元620用于：

确定所述通用对话数据中的用户输入语句和模型输出语句；

对所述用户输入语句和所述模型输出语句进行分词，得到所述用户输入语句和所述模型输出语句中的各分词；

对所述用户输入语句和所述模型输出语句分别进行角色标注，得到所述用户输入语句和所述模型输出语句各自对应的角色标识；

基于所述角色标识，对所述用户输入语句和所述模型输出语句中的各分词进行拼接，得到第一对话数据；

基于所述第一对话数据，对初始大语言模型进行模型微调，得到第一大语言模型。

基于上述实施例，数据获取单元610用于：

基于所述任务对话数据，进行用户意图识别，得到用户意图；

基于所述用户意图，以及意图类别映射关系，确定所述任务类别；

基于所述任务对话数据，进行任务内容提取，得到关键内容；

基于所述关键内容，以及所述任务类别，确定所述任务目标。

下面对本发明提供的交互装置进行描述，下文描述的交互装置与上文描述的交互方法可相互对应参照。

图7是本发明提供的交互装置的结构示意图，如图7所示，该装置包括：

任务筛选单元710，用于获取用户输入信息，并确定所述用户输入信息中各任务的任务类别和任务目标；基于所述各任务的任务类别和任务目标，从所述各任务中筛选与大语言模型相匹配的第一任务和不相匹配的第二任务；

第一确定单元720，用于基于所述第一任务的任务类别和任务目标，确定第一交互信息；

第二确定单元730，用于基于所述第二任务的任务类别和任务目标，生成调用指令，并将所述调用指令发送至所述第二任务对应的任务模型，以请求所述任务模型基于所述调用指令，确定第二交互信息；

信息展示单元740，用于接收所述任务模型返回的所述第二交互信息，展示所述第一交互信息和所述第二交互信息；所述大语言模型是基于如上述任一项所述的面向多任务对话的大语言模型训练方法训练得到的。

本发明提供的交互装置，通过用户输入信息自动感知识别自身可以完成的任务以及需要调用其他模型实现的任务，对于自身无法实现的任务，大语言模型将生成调用指令，并将其发送至对应的任务模型，以请求调用的任务模型基于调用指令完成特定任务，并返回相应结果，大语言模型通过精准的任务识别和任务筛选，实现了交互过程任务分流，在减轻模型自身压力的同时，提高了各类任务模型之间的相关性和紧密度，使得各任务模型能够辅助大语言模型进行针对性的任务型交互，在简化系统架构的同时，很好的保证了交互的实时性和有效性。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行面向多任务对话的大语言模型训练方法或交互方法，其中面向多任务对话的大语言模型训练方法包括：获取通用对话数据和任务对话数据，并确定所述任务对话数据对应的任务类别和任务目标；基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据；基于所述目标对话数据，对所述第一大语言模型进行模型微调，得到大语言模型。交互方法包括：获取用户输入信息，并确定所述用户输入信息中各任务的任务类别和任务目标；基于所述各任务的任务类别和任务目标，从所述各任务中筛选与大语言模型相匹配的第一任务和不相匹配的第二任务；基于所述第一任务的任务类别和任务目标，确定第一交互信息；基于所述第二任务的任务类别和任务目标，生成调用指令，并将所述调用指令发送至所述第二任务对应的任务模型，以请求所述任务模型基于所述调用指令，确定第二交互信息；接收所述任务模型返回的所述第二交互信息，展示所述第一交互信息和所述第二交互信息；所述大语言模型是基于如上述任一项所述的面向多任务对话的大语言模型训练方法训练得到的。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的面向多任务对话的大语言模型训练方法或交互方法，其中面向多任务对话的大语言模型训练方法包括：获取通用对话数据和任务对话数据，并确定所述任务对话数据对应的任务类别和任务目标；基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据；基于所述目标对话数据，对所述第一大语言模型进行模型微调，得到大语言模型。交互方法包括：获取用户输入信息，并确定所述用户输入信息中各任务的任务类别和任务目标；基于所述各任务的任务类别和任务目标，从所述各任务中筛选与大语言模型相匹配的第一任务和不相匹配的第二任务；基于所述第一任务的任务类别和任务目标，确定第一交互信息；基于所述第二任务的任务类别和任务目标，生成调用指令，并将所述调用指令发送至所述第二任务对应的任务模型，以请求所述任务模型基于所述调用指令，确定第二交互信息；接收所述任务模型返回的所述第二交互信息，展示所述第一交互信息和所述第二交互信息；所述大语言模型是基于如上述任一项所述的面向多任务对话的大语言模型训练方法训练得到的。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的面向多任务对话的大语言模型训练方法或交互方法，其中面向多任务对话的大语言模型训练方法包括：获取通用对话数据和任务对话数据，并确定所述任务对话数据对应的任务类别和任务目标；基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据；基于所述目标对话数据，对所述第一大语言模型进行模型微调，得到大语言模型。交互方法包括：获取用户输入信息，并确定所述用户输入信息中各任务的任务类别和任务目标；基于所述各任务的任务类别和任务目标，从所述各任务中筛选与大语言模型相匹配的第一任务和不相匹配的第二任务；基于所述第一任务的任务类别和任务目标，确定第一交互信息；基于所述第二任务的任务类别和任务目标，生成调用指令，并将所述调用指令发送至所述第二任务对应的任务模型，以请求所述任务模型基于所述调用指令，确定第二交互信息；接收所述任务模型返回的所述第二交互信息，展示所述第一交互信息和所述第二交互信息；所述大语言模型是基于如上述任一项所述的面向多任务对话的大语言模型训练方法训练得到的。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种面向多任务对话的大语言模型训练方法，其特征在于，包括：

获取通用对话数据和任务对话数据，并确定所述任务对话数据对应的任务类别和任务目标；

基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；

基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据；

基于所述目标对话数据，对所述第一大语言模型进行模型微调，得到大语言模型。

2.根据权利要求1所述的面向多任务对话的大语言模型训练方法，其特征在于，所述基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据，包括：

在所述任务对话数据为多模态的对话数据的情况下，确定所述任务对话数据中的音频对话数据和/或图像对话数据；

对所述音频对话数据和/或所述图像对话数据进行转换，得到所述音频对话数据和/或所述图像对话数据对应的语言描述或字符标识；

以所述语言描述或所述字符标识替换所述任务对话数据中对应的音频对话数据和/或图像对话数据，并基于所述任务类别和所述任务目标，对替换后的任务对话数据进行任务标注，得到目标对话数据；

所述多模态包括音频模态、图像模态、文本模态中的至少两种。

3.根据权利要求2所述的面向多任务对话的大语言模型训练方法，其特征在于，所述基于所述任务类别和所述任务目标，对替换后的任务对话数据进行任务标注，得到目标对话数据，包括：

确定替换后的任务对话数据中的用户输入语句和模型输出语句；

基于所述任务类别和所述任务目标，对所述模型输出语句进行任务标注，得到目标输出语句；

基于所述用户输入语句和所述目标输出语句，确定目标对话数据。

4.根据权利要求1至3中任一项所述的面向多任务对话的大语言模型训练方法，其特征在于，所述基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型，包括：

确定所述通用对话数据中的用户输入语句和模型输出语句；

对所述用户输入语句和所述模型输出语句进行分词，得到所述用户输入语句和所述模型输出语句中的各分词；

对所述用户输入语句和所述模型输出语句分别进行角色标注，得到所述用户输入语句和所述模型输出语句各自对应的角色标识；

基于所述角色标识，对所述用户输入语句和所述模型输出语句中的各分词进行拼接，得到第一对话数据；

基于所述第一对话数据，对初始大语言模型进行模型微调，得到第一大语言模型。

5.根据权利要求1至3中任一项所述的面向多任务对话的大语言模型训练方法，其特征在于，所述确定所述任务对话数据对应的任务类别和任务目标，包括：

基于所述任务对话数据，进行用户意图识别，得到用户意图；

基于所述用户意图，以及意图类别映射关系，确定所述任务类别；

基于所述任务对话数据，进行任务内容提取，得到关键内容；

基于所述关键内容，以及所述任务类别，确定所述任务目标。

6.一种交互方法，其特征在于，应用于大语言模型，包括：

获取用户输入信息，并确定所述用户输入信息中各任务的任务类别和任务目标；基于所述各任务的任务类别和任务目标，从所述各任务中筛选与大语言模型相匹配的第一任务和不相匹配的第二任务；

基于所述第一任务的任务类别和任务目标，确定第一交互信息；

基于所述第二任务的任务类别和任务目标，生成调用指令，并将所述调用指令发送至所述第二任务对应的任务模型，以请求所述任务模型基于所述调用指令，确定第二交互信息；

接收所述任务模型返回的所述第二交互信息，展示所述第一交互信息和所述第二交互信息；所述大语言模型是基于如权利要求1至5中任一项所述的面向多任务对话的大语言模型训练方法训练得到的。

7.一种面向多任务对话的大语言模型训练装置，其特征在于，包括：

数据获取单元，用于获取通用对话数据和任务对话数据，并确定所述任务对话数据对应的任务类别和任务目标；

通用训练单元，用于基于所述通用对话数据，对初始大语言模型进行模型微调，得到第一大语言模型；

任务标注单元，用于基于所述任务类别和所述任务目标，对所述任务对话数据进行任务标注，得到目标对话数据；

任务训练单元，用于基于所述目标对话数据，对所述第一大语言模型进行模型微调，得到大语言模型。

8.一种交互装置，其特征在于，应用于大语言模型，包括：

任务筛选单元，用于获取用户输入信息，并确定所述用户输入信息中各任务的任务类别和任务目标；基于所述各任务的任务类别和任务目标，从所述各任务中筛选与大语言模型相匹配的第一任务和不相匹配的第二任务；

第一确定单元，用于基于所述第一任务的任务类别和任务目标，确定第一交互信息；

第二确定单元，用于基于所述第二任务的任务类别和任务目标，生成调用指令，并将所述调用指令发送至所述第二任务对应的任务模型，以请求所述任务模型基于所述调用指令，确定第二交互信息；

信息展示单元，用于接收所述任务模型返回的所述第二交互信息，展示所述第一交互信息和所述第二交互信息；所述大语言模型是基于如权利要求1至5中任一项所述的面向多任务对话的大语言模型训练方法训练得到的。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的面向多任务对话的大语言模型训练方法或如权利要求6所述的交互方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的面向多任务对话的大语言模型训练方法或如权利要求6所述的交互方法。