CN118095269B - 对话的信息抽取方法、装置、设备、介质和程序产品 - Google Patents

Abstract

本申请公开了一种对话的信息抽取方法、装置、设备、介质和程序产品，涉及人工智能领域。该方法包括：获取目标对话文本，以及目标对话文本对应的历史对话文本，目标对话文本和历史对话文本是目标业务领域的对话文本，且历史对话文本与目标对话文本具有上下文关系；将目标对话文本和历史对话文本输入大语言模型，通过大语言模型的第一任务分支生成目标对话文本对应的改写文本，大语言模型的第一任务分支用于通过改写补全目标对话文本中缺失的信息；将改写文本输入大语言模型，通过大语言模型的第二任务分支生成改写文本的业务信息抽取结果，业务信息抽取结果包含的业务信息属于目标业务领域。

Description

对话的信息抽取方法、装置、设备、介质和程序产品

技术领域

本申请涉及人工智能领域，特别涉及一种对话的信息抽取方法、装置、设备、介质和程序产品。

背景技术

在线上交易过程中，买卖双方会通过线上聊天的方式进行商品咨询、购买等等，在此过程中，会产生大量的对话文本。若计算机设备能够快速准确的从对话文本中抽取有效信息，将极大提高线上交易效率。

相关技术中，计算机设备从对话文本中提取有效信息时，首先对对话文本进行文本清洗，然后对清洗后的多段对话文本进行拼接，从而利用BERT（Bidirectional EncoderRepresentations from Transformers）模型对拼接得到的对话文本进行诸如意图抽取以及NER（Named Entity Recognition，命名实体识别）抽取。

然而，当需要对当前对话文本进行信息抽取时，将当前对话文本和历史对话文本简单拼接后输入BERT模型进行信息抽取，拼接的历史对话文本可能会导致当前对话文本中的核心信息被忽略，进而影响信息抽取的准确性。

发明内容

本申请提供了一种对话的信息抽取方法、装置、设备、介质和程序产品。所述技术方案如下：

一方面，本申请实施例提供了一种对话的信息抽取方法，所述方法包括：

获取目标对话文本，以及所述目标对话文本对应的历史对话文本，所述目标对话文本和所述历史对话文本是目标业务领域的对话文本，且所述历史对话文本与所述目标对话文本具有上下文关系；

将所述目标对话文本和所述历史对话文本输入大语言模型，通过大语言模型的第一任务分支生成所述目标对话文本对应的改写文本，所述大语言模型的所述第一任务分支用于通过改写补全所述目标对话文本中缺失的信息；

将所述改写文本输入所述大语言模型，通过所述大语言模型的第二任务分支生成所述改写文本的业务信息抽取结果，所述业务信息抽取结果包含的业务信息属于所述目标业务领域。

另一方面，本申请实施例提供了一种对话的信息抽取装置，所述装置包括：

获取模块，用于获取目标对话文本，以及所述目标对话文本对应的历史对话文本，所述目标对话文本和所述历史对话文本是目标业务领域的对话文本，且所述历史对话文本与所述目标对话文本具有上下文关系；

改写模块，用于将所述目标对话文本和所述历史对话文本输入大语言模型，通过大语言模型的第一任务分支生成所述目标对话文本对应的改写文本，所述大语言模型的所述第一任务分支用于通过改写补全所述目标对话文本中缺失的信息；

抽取模块，用于将所述改写文本输入所述大语言模型，通过所述大语言模型的第二任务分支生成所述改写文本的业务信息抽取结果，所述业务信息抽取结果包含的业务信息属于所述目标业务领域。

另一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括：处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如上述方面所述的对话的信息抽取方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序由处理器加载并执行以实现如上述方面所述的对话的信息抽取方法。

另一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品存储有计算机指令，所述计算机指令存储在计算机可读存储介质中，所述计算机指令由处理器加载并执行以实现如上述方面所述的对话的信息抽取方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

大语言模型具有语言理解以及多任务处理能力。借助大语言模型的第一任务分支所提供的文本改写能力，基于历史对话文本对目标对话文本进行补全，在不丢失目标对话文本中核心信息的前提下，补全目标对话文本中的缺失信息。由于改写文本相较于目标对话文本更加完整，且并未丢失原本的核心信息，因此后续借助大语言模型的第二任务分支所提供的信息提取能力对改写文本进行业务信息抽取时，能够提高抽取到的业务信息的完整性以及准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一个示例性实施例提供的计算机系统的结构框图；

图2是本申请一个示例性实施例示出的对话的信息抽取方法的实施示意图；

图3是本申请一个示例性实施例提供的对话的信息抽取方法的流程图；

图4是本申请一个示例性实施例示出的大语言模型的训练以及应用过程的实施示意图；

图5是本申请一个示例性实施例示出的对话改写过程的流程图；

图6是本申请一个示例性实施例示出的第一微调模型训练过程的流程图；

图7是本申请一个示例性实施例示出的改写任务训练样本的生成过程的示意图；

图8是本申请一个示例性实施例示出的信息抽取过程的流程图；

图9是本申请一个示例性实施例示出的第二微调模型训练过程的流程图；

图10是本申请一个示例性实施例示出的多业务领域信息抽取过程的实施示意图；

图11是本申请一个示例性实施例示出的应用场景的示意图；

图12是本申请一个示例性实施例提供的对话的信息抽取装置的框图；

图13是本申请一个示例性实施例提供的计算机设备的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一参数也可以被称为第二参数，类似地，第二参数也可以被称为第一参数。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本申请实施例中涉及的名词进行简单介绍：

人工智能（Artificial Intelligence，AI）：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等。其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

语言模型（Language Model，LM）：是一种基于机器学习或深度学习技术的模型。通过分析文本序列来训练，并预测接下来的词或字符可能出现的概率分布，能够掌握自然语言中的语法结构和表达模式，并生成连贯的自然语言文本。

预训练语言模型（Pretrained Language Model，PLM）：是一种在大量文本数据集上进行无监督学习，以掌握语言的上下文表示的模型。预训练语言模型能够捕捉到自然语言的深层次特征，在应用于特定的自然语言处理任务时，通过微调该预训练语言模型的模型参数，可以显著提升任务性能。经典的预训练语言模型包括基于Transformer架构的预训练模型（Bidirectional Encoder Representations from Transformers，BERT）、生成式预训练Transformer模型（Generative Pre-Trained Transformer，GPT）。

微调模型：是一种在预训练的基础模型的基础上，基于下游任务训练得到小参数量的模型。其中，在训练微调模型的过程中，基础模型的模型参数冻结，仅通过更新微调模型的参数以适配下游任务。并且，在使用微调模型时，需要将基础模型与微调模型合并。由于微调模型的参数量远低于基础模型的参数量，因此相较于基于下游任务对基础模型进行微调，训练微调模型能够显著降低训练难度，提高训练效率。其中，微调模型可以包括低秩适应（Low-Rank Adaptation，LoRA）模型、自适应低秩适应（Adaptive LoRA，AdaLoRA）模型等等。

大语言模型（Large Language Model，LLM）：是一种参数庞大的语言模型，通常拥有数十亿至数千亿的参数量级。大语言模型的训练需要投入巨大的数据集和计算资源。大语言模型通常具备卓越的泛化能力，并能通过少量样本学习（Few-Shot Learning）或零样本学习（Zero-Shot Learning）在多种自然语言处理任务上取得优异成绩，如文本分类、语言翻译、问答系统等。

提示（Prompt）：或称为提示信息，是指一段文本（离散提示）或数值向量（连续提示），旨在激发大语言模型产生预期的输出。提示可以采用文本形式，通常由人工精心构造，明确告知大语言模型所需执行的任务或所期望产出的内容类型。在大语言模型的应用过程中，提示不仅能够加速大语言模型对新任务的学习，还能够精确引导大语言模型输出的内容和风格，以满足特定的应用需求。

信息抽取：指从文本中抽取关键或有效信息的过程。本申请实施例中的信息抽取，指从特定业务领域内的对话文本中，抽取属于特定业务领域的业务信息的过程。其中，该业务信息可以包括业务意图以及业务实体。对于不同业务领域，该业务意图可能存在差异，比如，对于汽配领域，业务意图可以包括采购、询价、报价等等，对于货代领域，业务意图可以包括出舱、入舱、询价等等。并且，对于不同业务领域，该业务实体也同样存在差异，比如，对于汽配领域，业务实体可以包括原始设备制造商（Original Equipment Manufacture，OEM）、数量、价格等等，对于货代领域，业务实体可以包括出发港口、目的港口、数量、体积、日期等等。

图1是本申请一个示例性实施例提供的计算机系统100的结构框图。该计算机系统100可以实现成为对话的信息抽取方法的系统架构。该计算机系统100包括：终端120和服务器140。

终端120可以是诸如手机、平板电脑、车载终端（车机）、可穿戴设备、个人计算机（Personal Computer，PC）等电子设备。终端120中可以安装运行目标应用程序的客户端，该目标应用程序可以是用于从对话中抽取信息的应用程序，也可以是提供从对话中抽取信息功能的应用程序，还可以是具有调用大语言模型的应用程序，本申请对此不作限定。另外，本申请对该目标应用程序的形式不作限定，包括但不限于安装在终端120中的App（Application，应用程序）、小程序等，还可以是网页形式。

本领域技术人员可以知晓，上述终端120的数量可以更多或更少。比如，上述终端120可以仅为一个，或为几十个或几百个，或更多数量。本申请实施例对终端120的数量和设备类型不加以限定。

服务器140可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络（Content DeliveryNetwork，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器140可以是上述目标应用程序的后台服务器，用于为目标应用程序的客户端提供后台服务。

其中，云技术（Cloud Technology）是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。

终端120和服务器140之间可以通过网络进行通信，如有线或无线网络。

本申请实施例提供的对话的信息抽取方法，各步骤的执行主体可以是计算机设备，计算机设备是指具备数据计算、处理和存储能力的电子设备。以图1所示的方案实施环境为例，可以由终端120执行对话的信息抽取方法（例如，终端120中安装运行的目标应用程序对对话进行信息抽取），也可以由服务器140执行对话的信息抽取方法，或者由终端120和服务器140交互配合执行，本申请对此不作限定。

在一种场景下，终端120是服务提供商（用于提供特定业务领域内的服务）所使用的终端，服务器140则是该服务提供商的后台服务器。服务器提供商使用终端120与客户进行业务在线沟通时，终端120通过本地的大语言模型，对对话文本进行业务信息抽取，并对抽取到的业务信息进行结构化展示。服务提供方可以基于结构化的业务信息与客户进行进一步沟通，或者，基于结构化的业务信息触发后续的业务流程。

在另一种场景下，终端120也可以将对话文本发送至服务器140，由服务器140调用大语言模型，对对话文本进行业务信息抽取，并将抽取到的业务信息反馈给终端120，供终端120进行展示或者使用。

当然，在其他可能的场景下，服务器140中可以设置有自动问答机器人，自动问答机器人可以基于大语言模型抽取到的业务信息，与客户进行自动对话，从而完成自助服务。

需要进行说明的是，本申请在收集用户的相关数据（例如，对话文本）之前以及在收集用户的相关数据的过程中，都可以显示提示界面、弹窗或输出语音提示信息，该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据，使得本申请仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后，才开始执行获取用户相关数据的相关步骤，否则（即未获取到用户对该提示界面或者弹窗发出的确认操作时），结束获取用户相关数据的相关步骤，即不获取用户的相关数据。换句话说，本申请所采集的所有用户数据都是在用户同意并授权的情况下进行采集的，且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

相关技术中，当需要对当前对话文本进行信息抽取时，通常是将当前对话文本与之前的历史对话文本进行拼接，然后利用BERT模型对拼接后的对话文本进行信息抽取。这个过程中，历史对话文本的引入一方面可能会导致当前对话文本中核心信息被忽略，导致信息抽取不全或者准确性较差；另一方面可能会因拼接过多历史对话文本，导致抽取到与当前对话文本无关的信息，且直接对过长的对话文本进行信息抽取，对模型性能的要求较高。

基于此，本申请实施例提供了一种对话的信息抽取方法，以提高对话中信息抽取的准确性以及全面性。如图2所示，借助大语言模型的语言理解以及多任务处理，计算机设备训练包含第一任务分支231以及第二任务分支232的大语言模型23。在信息抽取过程中，对于需要进行信息抽取的目标对话文本21，计算机设备将目标对话文本21及其对应的历史对话文本22输入大语言模型23，通过第一任务分支231对目标对话文本21进行文本改写，得到改写文本24。进一步的，将改写文本24再次输入大语言模型23，通过第二任务分支232对改写文本24进行信息抽取，得到业务信息抽取结果25。由于文本改写过程中，能够在保证目标对话文本21中核心信息不丢失的前提下，补全目标对话文本21中缺失或省略的信息，因此后续基于改写文本进行信息抽取时，能够保证信息抽取的全面性以及准确性。

图3是本申请一个示例性实施例提供的对话的信息抽取方法的流程图。该方法由计算机设备执行，计算机设备可以是图1所示的终端120和/或服务器140。该方法包括如下步骤：

步骤301，获取目标对话文本，以及目标对话文本对应的历史对话文本，目标对话文本和历史对话文本是目标业务领域的对话文本，且历史对话文本与目标对话文本具有上下文关系。

其中，该目标对话文本以及历史对话文本可以是手动输入的文本信息，也可以是对语音进行转换得到的文本信息。本申请实施例并不对此进行限定。

在一些实施例中，当需要对目标对话文本进行业务信息抽取时，由于自然语言对话过程中，可能会因个人说话习惯或者省略导致目标对话文本的语义不连贯或者不完整，因此为了提高后续信息抽取质量，计算机设备需要获取与目标对话文本具有上下文关系的历史对话文本。

在一种可能的实施方式中，计算机设备可以将与目标对话文本对应对话时刻之间间隔小于时长阈值的对话文本确定为历史对话文本，或者，可以将目标对话文本之前的m条对话文本确定为历史对话文本，本申请实施例并不对历史对话文本的选取方式进行限定。

本申请实施例中，目标对话文本以及历史对话文本均为目标业务领域的对话文本，相应的，计算机设备需要对目标对话文本中抽取属于目标业务领域的业务信息。

步骤302，将目标对话文本和历史对话文本输入大语言模型，通过大语言模型的第一任务分支生成目标对话文本对应的改写文本，大语言模型的第一任务分支用于通过改写补全目标对话文本中缺失的信息。

在一些实施例中，计算机设备预先训练包含第一任务分支大语言模型，其中，第一任务分支用于基于历史对话文本对目标对话文本进行文本改写，得到改写文本。其中，改写文本与目标对话文本的文本语义保持不变，且相较于目标对话文本补全了缺失信息，即改写文本相较于目标对话文本更加连贯且完整。

在一种可能的实施方式中，大语言模型的第一任务分支在预训练语言模型的基础上，基于改写任务对应的训练数据集的训练得到。可选的，该预训练语言模型可以为LLM模型。关于大语言模型的第一任务分支的具体形式以及训练过程，下述实施例进行详细介绍。

在一些实施例中，将目标对话文本和历史对话文本输入大语言模型之前，计算机设备需要对目标对话文本和历史对话文本进行文本预处理，比如去除语气词、表情符号、修正错别字等等，以提高后续文本改写质量。

并且，为了区分不同对话对象，目标对话文本以及历史对话文本需要设置有对话方标识，且不同轮次的对话文本之间需要通过符号进行分隔。

在一个示意性的例子中，输入大语言模型的历史对话文本和目标对话文本为“A：47050-60200雨刮有货吗 B：有，9000 A：是原厂吗？”，大语言模型的第一任务分支输出的改写文本为“47050-60200雨刮是原厂吗”。

步骤303，将改写文本输入大语言模型，通过大语言模型的第二任务分支生成改写文本的业务信息抽取结果，业务信息抽取结果包含的业务信息属于目标业务领域。

借助大语言模型的多任务处理能力，预先训练得到大语言模型还包含第二任务分支，其中，第二任务分支用于从输入文本中抽取信息。

在一些实施例中，大语言模型用于同时实现文本改写以及信息抽取功能，通过第一任务分支改写得到改写文本后，计算机设备将改写文本再次输入大语言模型，通过大语言模型的第二任务分支进行业务信息抽取，得到业务信息抽取结果。

在一种可能的实施方式中，大语言模型的第二任务分支在预训练语言模型的基础上，基于信息抽取任务对应的训练数据集的训练得到，且第一任务分支和第二任务分支可以在同一预训练语言模型的基础上训练得到。可选的，该预训练语言模型可以为LLM模型，比如LLM-7B（70亿参数的LLM模型），本申请实施例并不对预训练语言模型的具体类型进行限定。关于大语言模型的第二任务分支的具体形式以及训练过程，下述实施例进行详细介绍。

在一些实施例中，不同于传统模型从文本中抽取统一类型的信息，本申请实施例中第二任务分支用于从改写文本中，抽取目标对话文本所属目标业务领域内的业务信息，即实现特定业务领域内业务信息的抽取。

在一些实施例中，大语言模型的第二任务分支适用于不同业务领域，即大语言模型可以用于从不同业务领域的对话文本中抽取该业务领域内的业务信息。

在一些实施例中，第二任务分支生成的业务信息抽取结果可以包括业务意图以及业务实体。该业务意图属于目标业务领域内的候选业务意图，且业务实体属于目标业务领域内的候选业务实体。其中，不同业务领域的候选业务意图不同，且不同业务领域的候选业务实体不同。

比如，对于汽配领域，该业务领域的候选业务意图可以包括采购、询价、报价等等；对于货代领域，该业务领域的候选业务意图可以包括出舱、入舱、询价等等。对于汽配领域，该业务领域的候选业务实体可以包括OEM、数量、价格等等；对于货代领域，该业务领域的候选业务实体可以包括出发港口、目的港口、数量、体积、日期等等。

在一种可能的实施方式中，第二任务分支生成的业务信息抽取结果符合特定数据格式，即业务信息抽取结果中包含的业务信息可以采用结构化表示，便于后续基于业务信息抽取结果进行后续处理，比如业务信息入库、自动化消息回复等等。

在一些示意性的例子中，该业务信息抽取结果采用json格式。

结合上述步骤302中的示例，大语言模型的第二任务分支输出的业务信息提取结果为：{"label":"问询","ners":[{"OEM":"47050-60200","quantity":"","price":""}]}。

综上所述，本申请实施例中，借助大语言模型的第一任务分支所提供的文本改写能力，基于历史对话文本对目标对话文本进行补全，在不丢失目标对话文本中核心信息的前提下，补全目标对话文本中的缺失信息。由于改写文本相较于目标对话文本更加完整，且并未丢失原本的核心信息，因此后续借助大语言模型的第二任务分支所提供的信息提取能力对改写文本进行业务信息抽取时，能够提高抽取到的业务信息的完整性以及准确性。

关于大语言模型的结构，在一种可能的实施方式中，大语言模型由预训练语言模型、第一微调模型以及第二微调模型构成。其中，第一微调模型在预训练语言模型的基础上基于改写任务训练得到，第二微调模型在预训练语言模型的基础上基于信息抽取任务训练得到，且在训练第一微调模型和第二微调模型的过程中预训练语言模型的参数冻结，即预训练语言模型在训练微调模型的过程中不参与参数更新。

在一些实施例中，第一微调模型和第二微调模型采用LoRA模型。在使用过程中，第一微调模型和第二微调模型需要均需要与预训练语言模型进行参数合并。

并且，由于第一微调模型和第二微调模型对应任务，因此为了使预训练语言模型能够更好地理解所需执行的任务，在训练第一微调模型和第二微调模型的过程中，计算机设备需要同步进行提示微调，以训练出适用于不同任务的提示。

示意性的，如图4所示，训练阶段，计算机设备利用改写任务训练样本401，在预训练语言模型402的基础上，采用LoRa训练方式，训练改写任务对应的第一微调模型403；利用抽取任务训练样本404，在预训练语言模型402的基础上，采用LoRa训练方式，训练抽取任务对应的第二微调模型405。且在训练过程中，通过提示微调调整不同任务各自对应的提示。

应用阶段，在对目标对话文本406进行文本改写时，计算机设备将预训练语言模型402和第一微调模型403进行参数合并，并将改写任务对应的第一提示407、目标对话文本406以及历史对话文本408输入参数合并后的模型，得到目标对话文本406对应的改写文本409。在对改写文本409进行业务信息抽取时，计算机设备将预训练语言模型402和第二微调模型405进行参数合并，并将抽取任务对应的第二提示410以及改写文本409输入参数合并后的模型，得到改写文本409对应的业务信息抽取结果411。

如图5所示，上述步骤302可以包括步骤302A和302B：

步骤302A，对大语言模型中的预训练语言模型以及第一微调模型参数合并，得到改写任务模型，改写任务模型对应大语言模型的第一任务分支。

在一些实施例中，在接收信息抽取指示时，计算机设备首先对预训练语言模型和第一微调模型进行参数合并，得到改写任务模型，该改写任务模型用于实现基于历史对话文本的对话文本改写任务。

在另一些实施例中，在接收到信息抽取指示时，计算机设备可以对目标对话文本进行改写需求识别，在该目标对话文本存在改写需求时，对预训练语言模型和第一微调模型进行参数合并，得到改写任务模型；在不存在改写需求的情况下，可以跳过文本改写流程。

可选的，计算机设备可以对目标对话文本进行文本要素检测，并在检测到目标对话文本缺少文本要素时，确定该目标对话文本具有改写需求。其中，该文本要素可以为主语、谓语、宾语等等。

在一种可能的实施方式中，预训练语言模型为LLM模型，第一微调模型为LoRA模型，LLM模型的参数表示为A×B的参数矩阵，第一微调模型的参数则可以表示为A×r的参数矩阵以及r×B的参数矩阵，其中，r为第一微调模型的秩。在进行参数合并时，计算机设备采用重参方式，将预训练语言模型和第一微调模型中相同网络层的网络参数的合并。

相较于直接对预训练语言模型进行参数微调时，需要调整的参数量为A×B，采用本申请实施例提供的方案，只需要对第一微调模型的参数进行更新，即需要调整的参数量为A×r+B×r<<A×B，因此能够显著降低训练成本，提高训练效率。

步骤302B，将目标对话文本、历史对话文本和第一提示输入改写任务模型，通过改写任务模型生成目标对话文本对应的改写文本，第一提示用于引导改写任务模型改写目标对话文本。

其中，第一提示是与改写任务相关的提示。

在一些实施例中，第一提示可以是文本提示。该文本提示可以根据经验人工设置得到，且在训练第一微调模型过程中，该文本提示可以根据文本改写效果进行手动调整，或者，保持不变。

在另一些实施例中，第一提示可以由token构成，且在训练第一微调模型过程中，构成第一提示的token可以同步进行微调，以提高第一提示的提示效果。

在一些实施例中，计算机设备基于改写任务模型的输入格式，将第一提示、历史对话文本以及目标对话文本进行拼接为模型输入。

在一个示意性的例子中，当目标对话文本为“A：是原厂吗？”，历史对话文本为“A：47050-60200雨刮有货吗 B：有，9000”，且第一提示为“根据以下对话内容，理解用户最后问题的意图，并把该问题以完整的问句形式输出”时，输入改写任务模型的文本为“根据以下对话内容，理解用户最后问题的意图，并把该问题以完整的问句形式输出：A：47050-60200雨刮有货吗 B：有，9000 A：是原厂吗？”。

在一些实施例中，改写任务模型包括输入层、词嵌入（embedding）层、转换（transformer）层以及输出层，输入层获取到输入文本后，词嵌入层对输入文本对应的token进行embedding处理，并将输入文本的embedding表示输入转换层进行编解码处理，最终通过输出层输出改写文本。可选的，改写任务模型可以采用随机采样解码的方式进行文本解码（即根据文本特征解码得到改写文本）。

虽然通过“提示+few-shot”能够对部分对话实现准确补全，但是由于本申请实施例提供的模型需要适配不同业务领域，而不同业务领域的对话具有各自的特点，因此在部分对话中采用“提示+few-shot”方式进行文本改写的效果不佳。为了提高文本改写质量，需要构建不同业务领域的高质量的改写任务训练样本，以提高第一微调模型的训练质量。

如图6所示，第一微调模型的训练过程可以包括如下步骤。

步骤601，获取不同业务领域的改写任务训练样本，改写任务训练样本包括样本对话文本、样本历史对话文本以及样本对话文本对应的改写文本真值。

为了使第一微调模型能够适用于各种业务领域的对话文本改写，计算机设备需要获取不同业务领域的改写任务训练样本。可选的，计算机设备可以根据大语言模型适配的业务领域范围，获取该业务领域范围内各种业务领域的改写任务训练样本。比如，当大语言模型需要用于对电子行业、汽配行业以及货代行业的对话文本进行信息抽取时，计算机设备获取电子行业、汽配行业以及货代行业的改写任务训练样本。

其中，每条改写任务训练样本由样本对话文本、样本历史对话文本以及改写文本真值构成，其中，样本历史对话文本与样本对话文本具有上下文关系，而改写文本真值则用于作为训练过程中模型输出的改写文本的监督。

关于改写任务训练样本的获取方式，在一种可能的实施方式中，可以采用人工编写的方式构建改写任务训练样本。比如，由人工阅读业务领域内对话文本，并将人工对对话文本的改写结果作为改写文本真值。

在另一种可能的实施方式中，为了提高改写任务训练样本的获取效率以及样本数量，计算机设备可以借助已有模型辅助构建训练样本。该过程可以包括如下步骤：

步骤601A，将样本对话文本以及样本历史对话文本输入第一模型，通过第一模型生成样本对话文本的第一业务信息抽取结果。

在一种可能的实施方式中，计算机设备拼接样本对话文本以及样本历史对话文本，并将拼接对话文本输入第一模型，由第一模型对拼接对话文本信息抽取，得到第一业务信息抽取结果。

可选的，该第一模型的主干结构为BERT结构，且该第一模型具有至少一个输出头，不同输出头用于输出不同类型业务信息的抽取结果。比如，该第一模型具有两个输出头，分别用于输出抽取到的业务意图以及业务实体。本申请实施例并不对第一模型的具体类型进行限定。

需要说明的是，由于直接利用拼接对话文本进行业务信息抽取时，可能会丢失样本对话文本的核心信息，且可能受样本历史对话文本影响抽取到过多无关信息，因此得到的第一业务信息抽取结果可能并不完全准确。

步骤601B，将改写示例、样本对话文本以及样本历史对话文本输入第二模型，通过第二模型生成样本对话文本对应的候选改写文本。

在一种可能的实施方式中，第二模型是具有few-shot能力的模型。利用第二模型的few-shot能力，计算机设备使用少量改写示例，即可引导第二模型基于样本历史对话样本对样本对话文本进行改写，得到样本对话文本对应的候选改写文本。

在一些实施例中，该第二模型可以是GPT模型、混元大语言模型等具有few-shot能力的模型，本申请实施例并不对第二模型的具体类型进行限定。

其中，改写示例由示例对话文本、示例对话文本对应的示例历史对话文本以及示例对话文本对应的示例改写文本构成。一个示意性的改写示例如下：

输入：A：47050-60200雨刮有货吗 B：有，9000 A：是原厂吗？

输出：47050-60200雨刮是原厂吗？

需要说明的是，由于仅提供了少量改写示例作为引导，且对话文本涉及不同业务领域，因此得到的候选改写文本可能并不完全准确。

步骤601C，基于第一业务信息抽取结果与候选改写文本的匹配情况，生成不同业务领域的改写任务训练样本。

虽然通过第一模型生成的第一业务信息抽取结果可能并不完全准确，且第二模型生成的候选改写文本可能并不完全准确，但是计算机设备可以将同一“样本对话文本+样本历史对话文本”第一业务信息抽取结果和候选改写文本作为相互的监督，筛选出能够作为训练样本的候选改写文本。

当第一模型对“样本对话文本+样本历史对话文本”的业务信息抽取结果准确，且第二模型对该“样本对话文本+样本历史对话文本”的改写结果准确时，业务信息抽取结果与改写结果匹配的概率较高；而当第一模型对“样本对话文本+样本历史对话文本”的业务信息抽取结果不准确，和/或，第二模型对该“样本对话文本+样本历史对话文本”的改写结果不准确时，业务信息抽取结果与改写结果匹配的概率较低。基于此，在一种可能的实施方式中，在第一业务信息抽取结果与候选改写文本匹配的情况下，计算机设备将候选改写文本确定改写文本真值，基于样本对话文本、样本历史对话文本以及改写文本真值构建改写任务训练样本。

关于确定第一业务信息抽取结果与候选改写文本是否匹配的方式，在一种可能的实施方式中，计算机设备可以基于第一业务信息抽取结果与候选改写文本所表达业务意图的匹配情况，以及第一业务信息抽取结果中业务实体在所述候选改写文本中的包含情况，确定第一业务信息抽取结果与候选改写文本是否匹配。

在一些实施例中，在第一业务信息抽取结果包括第一业务意图以及第一业务实体的情况下，生成改写任务训练样本的过程可以包括如下子步骤：

子步骤1、将候选改写文本输入第一模型，通过第一模型生成候选改写文本的第二业务信息抽取结果，第二业务信息抽取结果包括第二业务意图。

由于利用第一模型对候选改写文本进行业务信息抽取时，第一模型能够更加聚焦于候选改写文本本身，因此有助于提高业务信息抽取的准确性。

由于第一模型从候选改写文本中抽取到的第二业务意图，与第一业务信息抽取结果中的第一业务意图对应同一“样本对话文本+样本历史对话文本”，因此计算机设备可以通过比较第一业务意图和第二业务意图是否匹配，确定候选改写文本改写过程中是否保留了准确的业务意图。

子步骤2、在第一业务意图与第二业务意图的匹配，且第一业务实体属于候选改写文本的情况下，将候选改写文本确定为样本对话文本对应的改写文本真值。

在一种可能的实施方式中，在第一业务意图与第二业务意图匹配的情况下，计算机设备进一步检测第一业务信息抽取结果中的第一业务实体是否属于候选改写文本。若属于，则确定该候选改写文本为优质的改写文本，进而将该候选改写文本确定“样本对话文本+样本历史对话文本”对应的改写文本真值；若不属于，则确定该候选改写文本并非优质的改写文本，相应的，将该候选改写文本及其对应的“样本对话文本+样本历史对话文本”将不会作为改写任务训练样本。

可选的，计算机设备将第一业务实体中的各个实体词与候选改写文本进行文本匹配，确定候选改写文本中是否存在与实体词匹配的词汇。若各个实体词均存在匹配的词汇，则确定第一业务实体属于候选改写文本。

子步骤3、基于改写文本真值、样本对话文本以及样本历史对话文本生成改写任务训练样本。

在一个示意性的例子中，如图7所示，计算机设备将样本对话文本71以及样本历史对话文本72拼接后输入第一模型73，得到第一模型73提取到的第一业务意图74以及第一业务实体75。

计算机设备采用few-shot方式，将样本对话文本71、样本历史对话文本72以及改写示例76输入第二模型77，得到第二模型77对样本对话文本71改写得到候选改写文本78。进一步的，计算机设备通过第一模型73对候选改写文本78进行信息抽取，得到候选改写文本78所表达的第二业务意图79。

在第一业务意图74与第二业务意图79匹配，且候选改写文本78包含第一业务实体75的情况下，计算机设备基于样本对话文本71、样本历史对话文本72以及候选改写文本78（即改写文本真实）生成改写任务训练样本。

采用上述方案，在仅需要使用少量改写示例的情况下，基于已有模型对“样本对话文本+样本历史对话文本”的业务信息抽取结果以及改写结果，即可筛选生成高质量的改写任务训练样本，在增加改写任务训练样本数量的同时，提高了训练样本的生成效率，降低了人工编写成本。

步骤602，将样本对话文本、样本历史对话文本和第一提示输入改写任务模型，通过改写任务模型生成样本对话文本对应的样本改写文本。

与应用阶段类似的，计算机设备基于改写任务模型的输入格式，将样本对话文本、样本历史对话文本以及第一提示拼接为模型输入，通过改写任务模型对样本对话文本进行改写，得到样本改写文本。

步骤603，基于样本改写文本和改写文本真值，确定文本改写损失。

在一些实施例中，计算机设备以改写文本真值为样本改写文本的监督，基于两者之间的文本差异确定文本改写损失。

可选的，该文本改写损失可以为样本改写文本和改写文本真值之间的文本相似度损失、均方误差损失（Mean Squared Error Loss，MSE）等等。比如，计算机设备计算样本改写文本与改写文本真值之间的余弦距离，从而基于该余弦距离确定文本改写损失。本申请实施例并不对文本改写损失的具体损失函数进行限定。

步骤604，基于文本改写损失更新第一微调模型的参数。

在改写任务训练过程中，计算机设备冻结预训练语言模型的参数，基于文本改写损失对第一微调模型的参数进行更新。可选的，计算机设备基于文本改写损失，通过反向梯度传播方式对第一微调模型的参数进行更新。

在一些实施例中，当改写任务所使用的第一提示支持提示微调时，计算机设备可以基于文本改写损失对第一微调模型的参数以及第一提示进行更新。

上述实施例中，计算机设备借助已有模型自动生成高质量的改写任务训练样本，并利用样本对第一微调模型进行训练，在保证训练得到的模型的文本改写质量的前提下，降低了模型训练难度，提高了模型训练效率。

如图8所示，上述步骤303可以包括步骤303A和303B：

步骤303A，对大语言模型中的预训练语言模型以及第二微调模型参数合并，得到信息抽取模型，信息抽取模型对应大语言模型的第二任务分支。

在一些实施例中，在得到改写任务模型输出的改写文本后，计算机设备对预训练语言模型和第二微调模型进行参数合并，得到信息抽取模型，该信息抽取模型用于实现从文本中抽取所属业务领域的业务信息。

在一种可能的实施方式中，预训练语言模型为LLM模型，第二微调模型为LoRA模型，LLM模型的参数表示为A×B的参数矩阵，第二微调模型的参数则可以表示为A×r的参数矩阵以及r×B的参数矩阵，其中，r为第二微调模型的秩。在进行参数合并时，计算机设备采用重参方式，将预训练语言模型和第二微调模型中相同网络层的网络参数的合并。

相较于直接对预训练语言模型进行参数微调时，需要调整的参数量为A×B，采用本申请实施例提供的方案，只需要对第二微调模型的参数进行更新，即需要调整的参数量为A×r+B×r<<A×B，因此能够显著降低训练成本，提高训练效率。

步骤303B，将改写文本以及第二提示输入信息抽取模型，通过信息抽取模型生成改写文本的业务信息抽取结果，第二提示用于引导信息抽取模型从改写文本中抽取业务信息。

其中，第二提示是与信息抽取任务相关的提示。

在一些实施例中，第二提示可以是文本提示。该文本提示可以根据经验人工设置得到，且在训练第二微调模型过程中，该文本提示可以根据文本改写效果进行手动调整，或者，保持不变。

在另一些实施例中，第二提示可以由token构成，且在训练第二微调模型过程中，构成第二提示的token可以同步进行微调，以提高第二提示的提示效果。

在一些实施例中，计算机设备基于信息抽取模型的输入格式，将第二提示和改写文本拼接为模型输入。

在一个示意性的例子中，当改写文本为“47050-60200雨刮是原厂吗？”，第二提示为“请判断如下输入中用户的意图，意图类别包括询价（咨询价格）、报价（报产品价格）、采购（下订单）和其他，并抽取配件OEM编号、数量和价格的NER信息，结果以json形式返回”时，输入信息抽取模型的文本为“请判断如下输入中用户的意图，意图类别包括询价（咨询价格）、报价（报产品价格）、采购（下订单）和其他，并抽取配件OEM编号、数量和价格的NER信息，结果以json形式返回；输入：47050-60200雨刮是原厂吗？”。

在一些实施例中，信息抽取模型包括输入层、词嵌入（embedding）层、转换（transformer）层以及输出层，输入层获取到输入文本后，词嵌入层对输入文本对应的token进行embedding处理，并将输入文本的embedding表示输入转换层进行编解码处理，最终通过输出层输出业务信息抽取结果。可选的，信息抽取模型可以采用随机采样解码的方式进行文本解码（即根据文本特征解码得到业务信息）。

相较于改写任务，由于不同业务领域下所需提取的业务信息的类型存在较大差异，若提示设置不当，可能会影响信息抽取准确性。在一种可能的实施方式中，在信息抽取任务训练阶段，计算机设备为不同业务领域训练各自的提示。在应用阶段，计算机设备将改写文本以及目标业务领域对应的第二提示输入信息抽取模型，通过信息抽取模型生成改写文本的业务信息抽取结果。

在一些实施例中，计算机设备基于改写文本，或者，基于目标对话文本以及历史对话文本，确定所属的目标业务领域，并获取该目标业务领域对应的第二提示。

关于识别所属目标业务领域的方式，在一些实施例中，计算机设备预先训练有领域识别模型。将改写文本，或者，目标对话文本以及历史对话文本输入该模型后，即可得到该模型输出的业务领域识别结果。其中，该领域识别模型基于样本文本以及该样本文本对应的业务领域标签训练得到。

示意性的，当改写文本为“开一个12件75741-02210的雨刮器订单，以及一个12件75731-02260的雨刮器订单”时，计算机设备将该改写文本与汽配行业的提示拼接后输入信息抽取模型；当改写文本为“A港到B港，1*40HQ 7.24出发的CMA的船（SOC），在7.19截单”时，计算机设备将该改写文本与货代行业的提示拼接后输入信息抽取模型。

在另一种可能的实施方式中，为了提高模型的适用场景，在信息抽取任务训练阶段，计算机设备可以为至少两个业务领域训练通用的提示。在应用阶段，当目标业务领域属于该至少两个业务领域时，计算机设备将改写文本以及至少两个业务领域对应的第二提示输入信息抽取模型，通过信息抽取模型生成改写文本的业务信息抽取结果。

在一些实施例中，计算机设备可以针对相近领域训练通用提示。并且，应用阶段，计算机设备可以根据业务领域之间的关联度，选择使用关联度最高的业务领域对应的通用提示。

为了提高第二提示的提示质量，在信息提取任务训练过程中，计算机设备需要同时对第二微调模型以及第二提示进行训练。

如图9所示，第二微调模型以及第二提示的训练过程可以包括如下步骤。

步骤901，获取不同业务领域的抽取任务训练样本，抽取任务训练样本包括样本改写文本以及样本改写文本对应的业务信息真值。

为了使第二微调模型能够适用于各种业务领域的业务信息抽取，计算机设备需要获取不同业务领域的抽取任务训练样本。可选的，计算机设备可以根据大语言模型适配的业务领域范围，获取该业务领域范围内各种业务领域的抽取任务训练样本。比如，当大语言模型需要用于对电子行业、汽配行业以及货代行业的对话文本进行信息抽取时，计算机设备获取电子行业、汽配行业以及货代行业的抽取任务训练样本。

其中，每条抽取任务训练样本由样本改写文本以及业务信息真值构成，其中，业务信息真值用于作为训练过程中模型输出的业务信息抽取结果的监督。

关于抽取任务训练样本的来源，在一种可能的实施方式中，在完成第一微调模型训练后，计算机设备将改写任务训练样本中的样本对话文本以及样本历史对话文本输入训练完成的改写任务模型，得到并将改写任务模型的输出作为抽取任务训练样本中的样本改写文本。进一步的，计算机设备将样本改写文本输入第一模型，并基于第一模型对样本改写文本的业务信息抽取结果，构建抽取任务训练样本中的业务信息真值（需要符合信息抽取模型的输出数据格式要求）。

当然，在其他可能的实施方式中，也可以采用诸如人工编写等方式构建抽取任务训练样本，本申请实施例对此并不进行限定。

步骤902，将样本改写文本以及第二提示输入信息抽取模型，通过信息抽取模型生成样本改写文本的样本业务信息抽取结果。

与应用过程类似的，在一种可能的实施方式中，在不同业务领域对应不同提示的情况下，计算机设备将样本改写文本以及样本改写文本所属业务领域对应的第二提示输入信息抽取模型，通过信息抽取模型生成样本改写文本的样本业务信息抽取结果。

在另一种可能的实施方式中，在至少两个业务领域对应有通用提示的情况下，计算机设备将样本改写文本以及至少两个业务领域对应的第二提示输入信息抽取模型，通过信息抽取模型生成样本改写文本的样本业务信息抽取结果。

关于确定样本改写文本所属业务领域的方式，在一种可能的实施方式中，计算机设备预先训练有领域识别模型。将样本改写文本，或者，样本对话文本以及样本历史对话文本输入该模型后，即可得到该模型输出的业务领域识别结果。其中，该领域识别模型基于样本文本以及该样本文本对应的业务领域标签训练得到。

步骤903，基于样本业务信息抽取结果和业务信息真值，确定信息抽取损失。

在一些实施例中，计算机设备以业务信息真值为样本业务信息抽取结果的监督，基于两者之间的差异确定信息抽取损失。

在一些实施例中，当业务信息真值包括业务意图真值以及业务实体真值，且样本业务信息抽取结果包括样本业务意图以及样本业务实体的情况下，计算机设备根据业务意图真值与样本业务意图之间的差异确定意图抽取损失，根据业务实体真值与样本业务实体之间的差异确定实体抽取损失，从而将意图抽取损失和实体抽取损失的总损失确定为信息抽取损失。

可选的，该信息抽取损失可以采用交叉熵损失（比如用于评估业务意图的差异）、多标签分类损失（比如用于评估业务实体类型的差异）等等，本申请实施例并不对信息抽取损失采用的具体损失函数进行限定。

步骤904，基于信息抽取损失更新第二微调模型的参数以及第二提示。

在一种可能的实施方式中，在不同业务领域设置有不同提示的情况下，计算机设备基于信息抽取损失更新第二微调模型的参数以及不同业务领域对应的第二提示。采用该方案，在完成模型训练时，计算机设备得到不同业务领域统一的第二微调模型，以及不同业务领域各自对应的优质提示。

在另一种可能的实施方式中，在至少两个业务领域设置有通用提示的情况下，计算机设备基于信息抽取损失更新第二微调模型的参数以及至少两个业务领域对应的第二提示。采用该方案，在完成模型训练时，计算机设备得到不同业务领域统一的第二微调模型，以及至少两个业务领域对应的优质通用提示。

本实施例中，计算机设备针对不同业务领域训练不同提示，以适配不同业务领域下不同的业务信息抽取需求，有助于提高信息抽取模型对不同业务领域内对话文本进行业务信息抽取的准确性。

本实施例中，计算机设备针对至少两个业务领域设置通用提示，一方面有助于降低提示训练成本，另一方面通用提示的泛化能力较好，有助于提高信息抽取模型的泛化能力，进而提高对未知业务领域内对话文本的业务信息抽取能力。

在一种可能的实施方式中，为了提高提示的引导效果，计算机设备设置指定token长度的可训练提示作为第二提示，并在训练过程中对该可训练提示进行微调。比如，该第二提示可以为30个token，其中，token的数量可以根据经验调整。

在一些实施例中，在训练过程中，计算机设备可以随机初始化第二提示中的token。

在另一些实施例中，为了提高训练效率，计算机设备可以根据业务领域对部分token进行针对性初始化，对其余部分token进行随机初始化。

在一种可能的实施方式中，在针对不同业务领域设置各自的提示的情况下，在初始化业务领域对应的提示时，计算机设备基于业务领域与词汇表中token的相关度，从词汇表中确定n个候选token，候选token与业务领域的相关度高于其它token与业务领域的相关度，词汇表是在预训练语言模型的训练过程中学习得到。

其中，词汇表中包含词汇与token之间的对应关系，且词汇对应token之间的相似度越高，表明词汇之间的语义相似度或者相关度越高。

可选的，计算机设备确定业务领域与词汇表中各个token之间的语义相似度，并将语义相似度最高的n个token确定为候选token。其中，该语义相似度可以为业务领域与token之间的余弦距离。

进一步的，计算机设备基于n个候选token以及随机token初始化业务领域对应的第二提示。比如，当第二提示的token总数为m个时，计算机设备可以基于n个候选token以及词汇表中m-n个随机token初始化第二提示。

在另一种可能的实施方式中，在针对至少两个业务领域设置有通用提示的情况下，在初始化至少两个业务领域对应的通用提示时，计算机设备基于业务领域与词汇表中token的相关度，从词汇表中确定n个候选token，候选token与业务领域的相关度高于其它token与业务领域的相关度，词汇表是在预训练语言模型的训练过程中学习得到。

进一步的，计算机设备融合不同业务领域各自对应的n个候选token，得到至少两个业务领域对应的融合toke，并基于融合token以及随机token初始化至少两个业务领域对应的第二提示。

可选的，针对至少两个业务领域中的各个业务领域，计算机设备基于业务领域与词汇表中token的相关度，确定各个业务领域各自对应的n个候选token。比如，当需要针对3个业务领域设置通用提示时，计算机设备共获取到3n个候选token。

关于融合token的方式，在一种可能的实施方式中，计算机设备对不同业务领域对应的n个候选token进行拼接，从而得到长度为3n的融合token。

在另一种可能的实施方式中，计算机设备对不同业务领域对应的n个候选token加权平均，得到长度为n的融合token。比如，当n为3时，计算机设备对不同业务领域对应的第一候选token（与业务领域的相似度最高的词汇的token）进行加权平均，得到第一加权token；对不同业务领域对应的第二候选token（与业务领域的相似度第二高的词汇的token）进行加权平均，得到第二加权token；对不同业务领域对应的第三候选token（与业务领域的相似度第三高的词汇的token）进行加权平均，得到第三加权token。第一、第二、第三加权token即为至少两个业务领域对应的融合token。

进一步的，计算机设备基于融合token以及随机token初始化业务领域对应的第二提示。比如，当第二提示的token总数为m，且融合token的长度为n时，计算机设备可以基于n个融合token以及词汇表中m-n个随机token初始化第二提示。

本实施例中，计算机设备基于业务领域与词汇表中词汇之间的相似度，选取若干个高相似度词汇对应的token对业务领域对应的提示进行初始化，相较于完全随机初始化提示中的token，有助于提高训练效率。

在一个示意性的例子中，如图10所示，当需要使用大语言模型对汽配行业、货代行业以及电子行业的对话进行业务信息抽取时，通过提示适配分别训练用于引导文本改写的文本改写提示，以及不同业务领域各自对应的信息抽取提示。应用过程中，基于文本改写提示，通过经过多任务微调（改写任务以及信息抽取任务）的大语言模型对对话文本进行改写，得到改写文本。然后根据改写文本所属的业务领域，基于该业务领域对应的信息抽取提示，通过经过多任务微调的大语言模型从改写文本中抽取业务意图以及业务实体。

在一些实施例中，为了便于后续使用抽取到的业务信息，模型输出的业务信息抽取结果采用指定数据格式。其中，在训练过程中，训练样本中的业务信息真值同样采用该指定数据格式，以便模型能够从样本中学习得到该指定数据格式。

在一个示意性的例子中，该指定数据格式可以为：{"label":"xx","ners":[{"实体1":"xx","实体2":"xx","实体3":"xx"}]}。

在一种可能的实施方式中，对于采用指定数据格式的业务信息抽取结果，计算机设备基于指定数据格式，提取业务信息抽取结果中的业务意图以及业务实体，从而将业务实体录入业务意图对应的业务处理平台，以便业务处理平台基于业务实体进行业务处理。

其中，不同业务处理平台用于处理不同业务意图的任务。比如，查询平台用于处于咨询相关的任务，订单平台用于处理购买相关的任务。

将业务实体录入相应的业务处理平台后，业务处理平台可以通过自动或者手动方式，对业务实体进行进一步处理。

比如，当业务意图为咨询时，查询平台可以基于业务实体获取相应的查询结果，并自动基于查询结果进行消息回复，免去了人工查询以及消息回复；当业务意图为购买时，订单平台可以基于业务实体自动生成订单，并在接收到订单确认操作的情况下，完成下单操作，免去了人工填写订单信息的操作。

示意性的，如图11所示，在一种可能的应用场景下，采用本申请实施例提供的方案对在线聊天产生的对话1101进行业务信息抽取，得到业务信息抽取结果1102。基于业务信息抽取结果1102采用的数据格式，解析得到其中包含的业务意图以及业务实体，从而将业务实体分发至报价平台1103，由报价平台1103对业务实体进行入库。

本申请实施例提供的方案可以用于如下应用场景中的至少一种：

1、自动消息回复场景

计算机设备获取对端最新发送的目标对话文本，以及该目标对话文本对应的历史对话文本，将目标对话文本和历史对话文本输入大语言模型，指示大语言模型进行业务信息抽取。计算机设备对大语言模型中的预训练语言模型以及第一微调模型参数合并，得到改写任务模型，将目标对话文本、历史对话文本和改写提示输入改写任务模型，通过改写任务模型生成目标对话文本对应的改写文本。

计算机设备继续对大语言模型中的预训练语言模型以及第二微调模型参数合并，得到信息抽取模型，将改写文本和信息抽取提示输入信息抽取模型，通过信息抽取模型生成业务信息抽取结果。其中，该信息抽取提示可以是指定业务领域的指定提示，也可以是多个业务领域的通用提示。

计算机设备进一步基于业务信息抽取结果中的业务意图以及业务实体进行数据查询，并基于查询到的数据生成自动回复消息，并发送至对端。

2、自动会议摘要场景

计算机设备对会议录音中的语音进行文本转换，得到会议记录文本。计算机设备将会议记录文本中的目标对话文本以及该目标对话文本对应的历史对话文本，输入大语言模型，指示大语言模型针对目标会议文本生成会议内容摘要。计算机设备对大语言模型中的预训练语言模型以及第一微调模型参数合并，得到改写任务模型，将目标会议文本、目标会议文本之前产生的历史会议文本和改写提示输入改写任务模型，通过改写任务模型生成目标会议文本对应的改写文本。

计算机设备继续对大语言模型中的预训练语言模型以及第二微调模型参数合并，得到信息抽取模型，将改写文本和信息抽取提示输入信息抽取模型，通过信息抽取模型生成业务信息抽取结果。其中，该信息抽取提示可以是该会议对应业务领域的指定提示，也可以是多个业务领域的通用提示。

计算机设备进一步将业务信息抽取结果中的业务意图以及业务实体作为摘要信息，并基于摘要信息自动生成会议摘要。

图12是本申请一个示例性实施例提供的对话的信息抽取装置的框图。该装置可以包括：

获取模块1201，用于获取目标对话文本，以及所述目标对话文本对应的历史对话文本，所述目标对话文本和所述历史对话文本是目标业务领域的对话文本，且所述历史对话文本与所述目标对话文本具有上下文关系；

改写模块1202，用于将所述目标对话文本和所述历史对话文本输入大语言模型，通过大语言模型的第一任务分支生成所述目标对话文本对应的改写文本，所述大语言模型的所述第一任务分支用于通过改写补全所述目标对话文本中缺失的信息；

抽取模块1203，用于将所述改写文本输入所述大语言模型，通过所述大语言模型的第二任务分支生成所述改写文本的业务信息抽取结果，所述业务信息抽取结果包含的业务信息属于所述目标业务领域。

可选的，所述改写模块1202，用于：对所述大语言模型中的预训练语言模型以及第一微调模型参数合并，得到改写任务模型，所述改写任务模型对应所述大语言模型的所述第一任务分支；

将所述目标对话文本、所述历史对话文本和第一提示输入所述改写任务模型，通过所述改写任务模型生成所述目标对话文本对应的所述改写文本，所述第一提示用于引导所述改写任务模型改写所述目标对话文本；

所述抽取模块1203，用于：

对所述大语言模型中的预训练语言模型以及第二微调模型参数合并，得到信息抽取模型，所述信息抽取模型对应所述大语言模型的所述第二任务分支；

将所述改写文本以及第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述改写文本的所述业务信息抽取结果，所述第二提示用于引导所述信息抽取模型从所述改写文本中抽取业务信息。

可选的，所述抽取模块1203，用于：

将所述改写文本以及所述目标业务领域对应的所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述改写文本的所述业务信息抽取结果，其中，不同业务领域对应不同提示；

或，

将所述改写文本以及至少两个业务领域对应的所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述改写文本的所述业务信息抽取结果，其中，所述第二提示为所述至少两个业务领域的通用提示，且所述目标业务领域属于所述至少两个业务领域。

可选的，所述装置还包括抽取任务训练模块，用于：

获取不同业务领域的抽取任务训练样本，所述抽取任务训练样本包括样本改写文本以及所述样本改写文本对应的业务信息真值；

将所述样本改写文本以及所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述样本改写文本的样本业务信息抽取结果；

基于所述样本业务信息抽取结果和所述业务信息真值，确定信息抽取损失；

基于所述信息抽取损失更新所述第二微调模型的参数以及所述第二提示。

可选的，所述抽取任务训练模块，用于：

将所述样本改写文本以及所述样本改写文本所属业务领域对应的所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述样本改写文本的所述样本业务信息抽取结果；

所述基于所述信息抽取损失更新所述第二微调模型的参数以及所述第二提示，包括：

基于所述信息抽取损失更新所述第二微调模型的参数以及不同业务领域对应的所述第二提示。

可选的，所述抽取任务训练模块，用于：

基于业务领域与词汇表中token的相关度，从所述词汇表中确定n个候选token，所述候选token与所述业务领域的相关度高于其它token与所述业务领域的相关度，所述词汇表是在所述预训练语言模型的训练过程中学习得到；

基于n个所述候选token以及随机token初始化所述业务领域对应的所述第二提示。

可选的，所述抽取任务训练模块，用于：

将所述样本改写文本以及至少两个业务领域对应的所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述样本改写文本的所述样本业务信息抽取结果；

基于所述信息抽取损失更新所述第二微调模型的参数以及所述至少两个业务领域对应的所述第二提示。

可选的，所述抽取任务训练模块，用于：

基于业务领域与词汇表中token的相关度，从所述词汇表中确定n个候选token，所述候选token与所述业务领域的相关度高于其它token与所述业务领域的相关度，所述词汇表是在所述预训练语言模型的训练过程中学习得到；

融合不同业务领域各自对应的n个所述候选token，得到所述至少两个业务领域对应的融合token；

基于所述融合token以及随机token初始化所述至少两个业务领域对应的所述第二提示。

可选的，所述装置还包括改写任务训练模块，用于：

获取不同业务领域的改写任务训练样本，所述改写任务训练样本包括样本对话文本、样本历史对话文本以及所述样本对话文本对应的改写文本真值；

将所述样本对话文本、所述样本历史对话文本和所述第一提示输入所述改写任务模型，通过所述改写任务模型生成所述样本对话文本对应的样本改写文本；

基于所述样本改写文本和所述改写文本真值，确定文本改写损失；

基于所述文本改写损失更新所述第一微调模型的参数。

可选的，所述改写任务训练模块，用于：

将所述样本对话文本以及所述样本历史对话文本输入第一模型，通过所述第一模型生成所述样本对话文本的第一业务信息抽取结果；

将改写示例、所述样本对话文本以及所述样本历史对话文本输入第二模型，通过所述第二模型生成所述样本对话文本对应的候选改写文本；

基于所述第一业务信息抽取结果与所述候选改写文本的匹配情况，生成不同业务领域的所述改写任务训练样本。

可选的，所述第一业务信息抽取结果包括第一业务意图以及第一业务实体；

所述改写任务训练模块，用于：

将所述候选改写文本输入所述第一模型，通过所述第一模型生成所述候选改写文本的第二业务信息抽取结果，所述第二业务信息抽取结果包括第二业务意图；

在所述第一业务意图与所述第二业务意图的匹配，且所述第一业务实体属于所述候选改写文本的情况下，将所述候选改写文本确定为所述样本对话文本对应的改写文本真值；

基于所述改写文本真值、所述样本对话文本以及所述样本历史对话文本生成所述改写任务训练样本。

可选的，所述业务信息抽取结果采用指定数据格式；

所述装置还包括业务处理模块，用于：

基于所述指定数据格式，提取所述业务信息抽取结果中的业务意图以及业务实体；

将所述业务实体录入所述业务意图对应的业务处理平台，以便所述业务处理平台基于所述业务实体进行业务处理。

需要说明的是，上述提供的一个或多个对话的信息抽取装置的实施例中的具体限定可以参见上文中对于信息抽取方法的限定，在此不再赘述。上述装置的各模块可全部或部分通过软件、硬件及其组合来实现，各模块可以以硬件形式内嵌或独立于计算机设备的处理器中，也可以以软件形式存储在计算机设备的存储器中，以便于处理器调用执行各模块对应的操作。

本申请实施例还提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有计算机程序；处理器，用于执行存储器中的计算机程序以实现上述各个方法实施例提供的对话的信息抽取方法。

示例地，图13是本申请一个示例性实施例提供的计算机设备1300的结构框图。

计算机设备1300包括有：处理器1301和存储器1302。

处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器（CentralProcessing Unit，CPU）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以在集成有图像处理器（Graphics Processing Unit，GPU），GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括人工智能（Artificial Intelligence，AI）处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1301所执行以实现本申请中各个方法实施例提供的对话中的信息抽取方法。

在一些实施例中，计算机设备1300还可选包括有：输入接口1303和输出接口1304。处理器1301、存储器1302和输入接口1303、输出接口1304之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与输入接口1303、输出接口1304相连。输入接口1303、输出接口1304可被用于将输入/输出（Input/Output，I/O）相关的至少一个外围设备连接到处理器1301和存储器1302。在一些实施例中，处理器1301、存储器1302和输入接口1303、输出接口1304被集成在同一芯片或电路板上；在一些其他实施例中，处理器1301、存储器1302和输入接口1303、输出接口1304中的任意一个或两个可以在单独的芯片或电路板上实现，本申请实施例对此不加以限定。

本领域技术人员可以理解，图13中示出的结构并不构成对计算机设备1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述各个方法实施例提供的对话的信息抽取方法。

在示例性实施例中，本申请提供了一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机设备的处理器加载并执行以实现上述方法实施例提供的对话的信息抽取方法。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的计算机可读存储介质可以是只读存储器，磁盘或光盘等。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种对话的信息抽取方法，其特征在于，所述方法包括：

获取目标对话文本，以及所述目标对话文本对应的历史对话文本，所述目标对话文本和所述历史对话文本是目标业务领域的对话文本，且所述历史对话文本与所述目标对话文本具有上下文关系；

对大语言模型中的预训练语言模型以及第一微调模型参数合并，得到改写任务模型；将所述目标对话文本、所述历史对话文本和第一提示输入所述改写任务模型，通过所述改写任务模型生成所述目标对话文本对应的改写文本，所述第一提示用于引导所述改写任务模型改写所述目标对话文本；

对大语言模型中的预训练语言模型以及第二微调模型参数合并，得到信息抽取模型；将所述改写文本以及第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述改写文本的业务信息抽取结果，所述第二提示用于引导所述信息抽取模型从所述改写文本中抽取业务信息，所述业务信息抽取结果包含的业务信息属于所述目标业务领域；

其中，所述第一微调模型的训练过程包括：

将样本对话文本以及样本历史对话文本输入第一模型，通过所述第一模型生成所述样本对话文本的第一业务信息抽取结果，所述第一业务信息抽取结果包括第一业务意图以及第一业务实体；

将改写示例、所述样本对话文本以及所述样本历史对话文本输入第二模型，通过所述第二模型生成所述样本对话文本对应的候选改写文本；

将所述候选改写文本输入所述第一模型，通过所述第一模型生成所述候选改写文本的第二业务信息抽取结果，所述第二业务信息抽取结果包括第二业务意图；

在所述第一业务意图与所述第二业务意图的匹配，且所述第一业务实体属于所述候选改写文本的情况下，将所述候选改写文本确定为所述样本对话文本对应的改写文本真值；

基于所述改写文本真值、所述样本对话文本以及所述样本历史对话文本生成改写任务训练样本；

将所述样本对话文本、所述样本历史对话文本和所述第一提示输入所述改写任务模型，通过所述改写任务模型生成所述样本对话文本对应的样本改写文本；

基于所述样本改写文本和所述改写文本真值，确定文本改写损失；

基于所述文本改写损失更新所述第一微调模型的参数。

2.根据权利要求1所述的方法，其特征在于，所述将所述改写文本以及第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述改写文本的所述业务信息抽取结果，包括：

将所述改写文本以及所述目标业务领域对应的所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述改写文本的所述业务信息抽取结果，其中，不同业务领域对应不同提示；

或，

将所述改写文本以及至少两个业务领域对应的所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述改写文本的所述业务信息抽取结果，其中，所述第二提示为所述至少两个业务领域的通用提示，且所述目标业务领域属于所述至少两个业务领域。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取不同业务领域的抽取任务训练样本，所述抽取任务训练样本包括样本改写文本以及所述样本改写文本对应的业务信息真值；

将所述样本改写文本以及所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述样本改写文本的样本业务信息抽取结果；

基于所述样本业务信息抽取结果和所述业务信息真值，确定信息抽取损失；

基于所述信息抽取损失更新所述第二微调模型的参数以及所述第二提示。

4.根据权利要求3所述的方法，其特征在于，所述将所述样本改写文本以及所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述样本改写文本的样本业务信息抽取结果，包括：

将所述样本改写文本以及所述样本改写文本所属业务领域对应的所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述样本改写文本的所述样本业务信息抽取结果；

所述基于所述信息抽取损失更新所述第二微调模型的参数以及所述第二提示，包括：

基于所述信息抽取损失更新所述第二微调模型的参数以及不同业务领域对应的所述第二提示。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

基于业务领域与词汇表中token的相关度，从所述词汇表中确定n个候选token，所述候选token与所述业务领域的相关度高于其它token与所述业务领域的相关度，所述词汇表是在所述预训练语言模型的训练过程中学习得到；

基于n个所述候选token以及随机token初始化所述业务领域对应的所述第二提示。

6.根据权利要求3所述的方法，其特征在于，所述将所述样本改写文本以及所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述样本改写文本的样本业务信息抽取结果，包括：

将所述样本改写文本以及至少两个业务领域对应的所述第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述样本改写文本的所述样本业务信息抽取结果；

所述基于所述信息抽取损失更新所述第二微调模型的参数以及所述第二提示，包括：

基于所述信息抽取损失更新所述第二微调模型的参数以及所述至少两个业务领域对应的所述第二提示。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

基于业务领域与词汇表中token的相关度，从所述词汇表中确定n个候选token，所述候选token与所述业务领域的相关度高于其它token与所述业务领域的相关度，所述词汇表是在所述预训练语言模型的训练过程中学习得到；

融合不同业务领域各自对应的n个所述候选token，得到所述至少两个业务领域对应的融合token；

基于所述融合token以及随机token初始化所述至少两个业务领域对应的所述第二提示。

8.根据权利要求1至7任一所述的方法，其特征在于，所述业务信息抽取结果采用指定数据格式；

所述方法还包括：

基于所述指定数据格式，提取所述业务信息抽取结果中的业务意图以及业务实体；

将所述业务实体录入所述业务意图对应的业务处理平台，以便所述业务处理平台基于所述业务实体进行业务处理。

9.一种对话的信息抽取装置，其特征在于，所述装置包括：

获取模块，用于获取目标对话文本，以及所述目标对话文本对应的历史对话文本，所述目标对话文本和所述历史对话文本是目标业务领域的对话文本，且所述历史对话文本与所述目标对话文本具有上下文关系；

改写模块，用于对大语言模型中的预训练语言模型以及第一微调模型参数合并，得到改写任务模型；将所述目标对话文本、所述历史对话文本和第一提示输入所述改写任务模型，通过所述改写任务模型生成所述目标对话文本对应的改写文本，所述第一提示用于引导所述改写任务模型改写所述目标对话文本；

抽取模块，用于对大语言模型中的预训练语言模型以及第二微调模型参数合并，得到信息抽取模型；将所述改写文本以及第二提示输入所述信息抽取模型，通过所述信息抽取模型生成所述改写文本的业务信息抽取结果，所述第二提示用于引导所述信息抽取模型从所述改写文本中抽取业务信息，所述业务信息抽取结果包含的业务信息属于所述目标业务领域；

改写任务训练模块，用于将样本对话文本以及样本历史对话文本输入第一模型，通过所述第一模型生成所述样本对话文本的第一业务信息抽取结果，所述第一业务信息抽取结果包括第一业务意图以及第一业务实体；

将改写示例、所述样本对话文本以及所述样本历史对话文本输入第二模型，通过所述第二模型生成所述样本对话文本对应的候选改写文本；

将所述候选改写文本输入所述第一模型，通过所述第一模型生成所述候选改写文本的第二业务信息抽取结果，所述第二业务信息抽取结果包括第二业务意图；

在所述第一业务意图与所述第二业务意图的匹配，且所述第一业务实体属于所述候选改写文本的情况下，将所述候选改写文本确定为所述样本对话文本对应的改写文本真值；

基于所述改写文本真值、所述样本对话文本以及所述样本历史对话文本生成改写任务训练样本；

将所述样本对话文本、所述样本历史对话文本和所述第一提示输入所述改写任务模型，通过所述改写任务模型生成所述样本对话文本对应的样本改写文本；

基于所述样本改写文本和所述改写文本真值，确定文本改写损失；

基于所述文本改写损失更新所述第一微调模型的参数。

10.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至8任一所述的对话的信息抽取方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至8任一所述的对话的信息抽取方法。

12.一种计算机程序产品，其特征在于，所述计算机程序产品存储有计算机指令，所述计算机指令存储在计算机可读存储介质中，所述计算机指令由处理器加载并执行以实现如权利要求1至8任一所述的对话的信息抽取方法。