CN115114439A - 多任务模型推理、多任务信息处理的方法和装置 - Google Patents

多任务模型推理、多任务信息处理的方法和装置 Download PDF

Info

Publication number
CN115114439A
CN115114439A CN202211044225.8A CN202211044225A CN115114439A CN 115114439 A CN115114439 A CN 115114439A CN 202211044225 A CN202211044225 A CN 202211044225A CN 115114439 A CN115114439 A CN 115114439A
Authority
CN
China
Prior art keywords
task
vector
model
output
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211044225.8A
Other languages
English (en)
Other versions
CN115114439B (zh
Inventor
韩磊
龚建
娄杰
尹何举
贾巍
戴岱
刘凯
孙珂
刘捷
沈抖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202211044225.8A priority Critical patent/CN115114439B/zh
Publication of CN115114439A publication Critical patent/CN115114439A/zh
Application granted granted Critical
Publication of CN115114439B publication Critical patent/CN115114439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Abstract

本公开提供了多任务模型推理、多任务信息处理的方法和装置，涉及人工智能领域，具体涉及自然语言处理、深度学习、预训练模型技术，可应用在智慧城市、智慧政务场景下。具体实现方案为：获取至少两个任务的样本集。将固定长度字符输入前缀模型，得该任务的适配向量；将该任务的适配向量和所选取的样本中的文本信息输入预训练模型，得到输出向量；将输出向量输入该任务对应的输出层，得到预测结果；根据预测结果和所选取的样本中的标注信息的比较结果确定损失值；基于损失值调整前缀模型和输出层的相关参数。基于预训练模型、每个任务的输出层、每个任务的适配向量获得多任务模型。该实施方式降低了预训练模型在多个任务上部署推理服务的成本。

Description

多任务模型推理、多任务信息处理的方法和装置
技术领域
本公开涉及人工智能领域，具体涉及自然语言处理、深度学习、预训练模型技术，可应用在智慧城市、智慧政务场景下，具体为一种多任务模型推理、多任务信息处理的方法和装置。
背景技术
随着机器学习技术的发展，特别是近年来预训练模型技术的迅猛发展，大大提升了NLP（Natural Language Processing，自然语言处理）各任务的效果，使得预训练模型受到越来越多的青睐，并被应用到各类任务和多种场景中。以智慧城市为例，为了解决智慧城市应用中横跨部门多、纵贯层级多、协同效能低的痛点，研发者需要提供事件智能感知、自动流程处置、舆情前瞻洞察、未诉先办等一系列场景化NLP预训练模型。预训练模型虽然效果显著，但在使用过程中也带来了使用成本问题，预训练模型参数量都很大，这就要求必须使用高性能GPU（graphics processing unit，图形处理器）部署推理服务才能获得可用的处理耗时。同时，1个任务就需要1个预训练模型，在多任务集成系统中，就需要更多的GPU硬件，造成了使用成本的显著增加。特别是在智慧城市场景中，服务都是以私有云方式进行部署的，资源成本并不能像在公有云那样通过接入更多流量进行摊薄。因此提升GPU硬件使用效率显得尤为重要。
发明内容
本公开提供了一种训练多任务模型和多任务信息处理的方法、装置、设备、存储介质以及计算机程序产品。
根据本公开的第一方面，提供了一种多任务模型推理方法，包括：获取至少两个任务的样本集，其中，每个任务的样本集中的每个样本包括文本信息和标注信息；对于每个任务，从该任务的样本集中选取样本，执行如下训练步骤：将固定长度字符输入前缀模型，得该任务的适配向量；将该任务的适配向量和所选取的样本中的文本信息输入预训练模型，得到输出向量；将所述输出向量输入该任务对应的输出层，得到预测结果；将所选取的样本中的标注信息作为期望结果与所述预测结果进行比较，确定出损失值；当该任务对应的损失值大于预定阈值时，重新选择样本继续执行上述训练步骤；对于每个任务，若当该任务对应的损失值小于等于所述预定阈值时，存储该任务的适配向量和该任务的输出层的相关参数；基于所述预训练模型、每个任务的输出层、每个任务的适配向量获得多任务模型。
根据本公开的第二方面，提供了一种多任务信息处理方法，包括：响应于接收到待处理的数据，获取根据第一方面所述的方法得到的多任务模型，其中，所述多任务模型包括至少一个任务的适配向量、输出层的参数和预训练模型；对于每个任务，将该任务的适配向量和所述数据输入所述预训练模型，得到输出向量；根据该任务对应的输出层的参数配置输出层；将所述输出向量输入配置完成的输出层，得到该任务的处理结果。
根据本公开的第三方面，提供了一种多任务模型推理装置，包括：获取单元，被配置成获取至少两个任务的样本集，其中，每个任务的样本集中的每个样本包括文本信息和标注信息；训练单元，被配置成对于每个任务，从该任务的样本集中选取样本，执行如下训练步骤：将固定长度字符输入前缀模型，得该任务的适配向量；将该任务的适配向量和所选取的样本中的文本信息输入预训练模型，得到输出向量；将所述输出向量输入该任务对应的输出层，得到预测结果；将所选取的样本中的标注信息作为期望结果与所述预测结果进行比较，确定出损失值；当该任务对应的损失值大于预定阈值时，重新选择样本继续执行上述训练步骤；存储单元，被配置成对于每个任务，当该任务对应的损失值小于等于所述预定阈值时，存储该任务的适配向量和该任务的输出层的相关参数；输出单元，被配置成基于所述预训练模型、每个任务的输出层、每个任务的适配向量获得多任务模型。
根据本公开的第四方面，提供了一种多任务信息处理装置，包括：获取单元，被配置成响应于接收到待处理的数据，获取根据第三方面中任一项所述的装置得到的多任务模型，其中，所述多任务模型包括至少一个任务的适配向量、输出层的参数和预训练模型；处理单元，被配置成对于每个任务，将该任务的适配向量和所述数据输入所述预训练模型，得到输出向量；根据该任务对应的输出层的参数配置输出层；将所述输出向量输入配置完成的输出层，得到该任务的处理结果。
根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面中任一项所述的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面或第二方面中任一项所述的方法。
根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面或第二方面中任一项所述的方法。
本公开的实施例提供的训练多任务模型、多任务信息处理的方法和装置，在训练和推理两个部署都做了改进，在训练阶段，冻结预训练模型的参数，不进行更新。同时，构造少量可以更新的参数，使得预训练模型可以适配下游任务。使得在推理服务部署时，使用1个GPU部署1个预训练模型可以支持多任务推理预测。该方法在智慧城市的应用中，极大地降低了部署成本与处理耗时。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
图2是根据本公开的多任务模型推理方法的一个实施例的流程图；
图3a-3c是根据本公开的多任务模型推理方法的应用场景的示意图；
图4是根据本公开的多任务信息处理方法的一个实施例的流程图；
图5a-5e是根据本公开的多任务信息处理的方法的应用场景的示意图；
图6是根据本公开的多任务模型推理装置的一个实施例的结构示意图；
图7是根据本公开的多任务信息处理装置的一个实施例的结构示意图；
图8是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本公开实施例的多任务模型推理方法、多任务模型推理装置、多任务信息处理方法或多任务信息处理装置的示例性系统架构100。
如图1所示，系统架构100可以包括终端101、102，网络103、数据库服务器104和服务器105。网络103用以在终端101、102，数据库服务器104与服务器105之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户110可以使用终端101、102通过网络103与服务器105进行交互，以接收或发送消息等。终端101、102上可以安装有各种客户端应用，例如模型训练类应用、文本处理类应用（例如，文本分类、文本抽取等）、购物类应用、支付类应用、网页浏览器和即时通讯工具等。
这里的终端101、102可以是硬件，也可以是软件。当终端101、102为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）、膝上型便携计算机和台式计算机等等。当终端101、102为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块（例如用来提供分布式服务），也可以实现成单个软件或软件模块。在此不做具体限定。终端101、102上可安装有爬虫工具，可以抓取网页信息，进行数据挖掘。
当终端101、102为硬件时，其上还可以安装有文本图像采集设备。文本图像采集设备可以是各种能实现采集文本图像功能的设备，如摄像头、传感器等等。用户110可以利用终端101、102上的文本图像采集设备，来采集文本图像，再从图像中识别出文本。
数据库服务器104可以是提供各种服务的数据库服务器。例如数据库服务器中可以存储有样本集。样本集中包含有大量的样本。其中，样本可以包括文本信息和标注信息。对于分类任务，标注信息可以是文本的类别，例如，体育、娱乐等。对于抽取任务，文本信息可包括问题，标注信息可以包括答案的位置，例如，问题“集合时间”，答案为“3月16日上午8点”在文本信息中的起始位置和结束位置。这样，用户110也可以通过终端101、102，从数据库服务器104所存储的样本集中选取样本。
服务器105也可以是提供各种服务的服务器，例如对终端101、102上显示的各种应用提供支持的后台服务器。后台服务器可以利用终端101、102发送的样本集中的样本，对初始模型进行训练，并可以将训练结果（如生成的多任务模型）发送给终端101、102。这样，用户可以应用生成的多任务模型进行多任务信息处理。
这里的数据库服务器104和服务器105同样可以是硬件，也可以是软件。当它们为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当它们为软件时，可以实现成多个软件或软件模块（例如用来提供分布式服务），也可以实现成单个软件或软件模块。在此不做具体限定。数据库服务器104和服务器105也可以为分布式系统的服务器，或者是结合了区块链的服务器。数据库服务器104和服务器105也可以是云服务器，或者是带人工智能技术的智能云计算服务器或智能云主机。
需要说明的是，本公开实施例所提供的多任务模型推理方法或多任务信息处理方法一般由服务器105执行。相应地，多任务模型推理装置或多任务信息处理装置一般也设置于服务器105中。
需要指出的是，在服务器105可以实现数据库服务器104的相关功能的情况下，系统架构100中可以不设置数据库服务器104。
应该理解，图1中的终端、网络、数据库服务器和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端、网络、数据库服务器和服务器。
继续参见图2，其示出了根据本公开的多任务模型推理方法的一个实施例的流程200。该多任务模型推理方法可以包括以下步骤。
步骤201，获取至少两个任务的样本集。
在本实施例中，多任务模型推理方法的执行主体（例如图1所示的服务器105）可以通过多种方式来获取至少两个任务的样本集。其中，每个任务的样本集中的每个样本包括文本信息和标注信息。任务分为两种类型：分类任务和抽取任务。多任务模型不仅可处理不同各种的任务，相同种类的任务也可以处理。例如，分类任务也可为2分类、3分类、4分类等等，针对不同的应用场景使用不同的全连接层和softmax函数。抽取任务也可包括人物属性信息抽取（例如，姓名、年龄、性别等）、事件要素信息抽取（例如，时间、地点、参与人物等）、主题抽取等各种关键信息的抽取。至少两个任务可包括至少一个分类任务和至少一个抽取任务，还可以包括至少两个分类任务或至少两个抽取任务。
针对不同的应用场景选择相应的任务的样本集，例如，多任务模型的功能为将工单分类，再分配处理部门，最后再抽取工单的主要内容。则需要使用工单分类的样本集、部门分类的样本集和工单要素的样本集。工单分类的样本集中每个样本可包括工单和该工单的类别信息（例如，投诉、建议、感谢等）。部门分类的样本集中每个样本可包括工单和部分的标注信息（例如，建委、教委等）。工单要素的样本集中每个样本可包括工单和要素的标注信息，标注信息包括问题（例如，时间、地点等）和答案在文本中的位置。
步骤202，对于每个任务，从该任务的样本集中选取样本。
在本实施例中，可针对不同的任务选择相应的样本。可以依次训练不同任务对应的模型的参数。其中，样本的选取方式和选取数量在本公开中并不限制。例如可以是随机选取至少一个样本，也可以是从中选取文本信息的字数较多的样本。
步骤203，将固定长度字符输入前缀模型，得该任务的适配向量。
在本实施例中，利用固定长度的前缀模型，输入是一个固定长度的字符（prefixtoken），长度一般可取4、8、12、16。该部分输出是一个固定的向量α，该向量可以作为下游任务的适配向量，由前缀模型产出，训练过程中拼接到预训练模型中。前缀模型的结构可以如图3a所示，可包括嵌入层（embedding）和记忆网络。前缀模型也可以是其它可以实现提取上下文特征的神经网络。其中记忆网络可以采用传统的RNN（循环神经网络）或者BiLSTM（双向长短记忆网络），图3a所示为BiLSTM。RNN网络结构如图3b所示，具体来说，就是当前隐层h(t)不仅具备当前输入x(t)的信息，而且有上一个时间步的隐层h(t-1)的信息，通过一起计算进而整合。其中t 时刻的输入为x(t)，t 时刻的输出为o(t)，输入层的参数为矩阵U，相邻隐层之间参数为矩阵W，输出层的参数为矩阵V。 x(t)表示，O(t)表示 t 时刻 RNN单元的输出。
Figure 498852DEST_PATH_IMAGE001
Figure 353675DEST_PATH_IMAGE002
Figure 133413DEST_PATH_IMAGE003
步骤204，将该任务的适配向量和所选取的样本中的文本信息输入预训练模型，得到输出向量。
在本实施例中，预训练模型（Pretrained Model）可以是BERT、GPT和ERNIE等自然语言处理模型。图3a中以ERNIE为例。可将该任务的适配向量和所选取的样本中的文本信息拼接后输入预训练模型，得到输出向量。也可将该任务的适配向量和所选取的样本中的文本信息相乘后输入预训练模型，得到输出向量。可选地，还可将该任务的适配向量和预训练模型的每一层输出相乘，得到输出向量。输出向量可包括分类向量（classification，简写为CLS，）和字符向量（token vector）。
步骤205，将输出向量输入该任务对应的输出层，得到预测结果。
在本实施例中，如果是分类任务，则输出层包括全连接层和softmax函数。如果是抽取任务，则输出层包括softmax函数。
分类任务的softmax函数公式如下式所示。其中vc为输入softmax之前的隐含层向量，既classify的输出，
Figure 528622DEST_PATH_IMAGE004
表示第i个标签的概率,vj为分类标签中第j个标签的表示向量，V是类别的数量，vc隐含了全连接层中可学习的模型参数w，b。vc=CLS*w+b，其中，CLS为分类向量。softmax函数中类别的数量是根据任务类型设置的，例如2分类中V为2，3分类中V为3。
Figure 342994DEST_PATH_IMAGE005
分类任务的预测结果是样本的文本信息的类别，例如，情感、体育等。
抽取任务的预测结果是样本的问题对应的答案在文本信息中的起始位置和结束位置，例如，时间、地点等。
步骤206，将所选取的样本中的标注信息作为期望结果与所述预测结果进行比较，确定出损失值。
在本实施例中，标注信息可作为模型输出的期望结果与实际的预测结果进行对比，对模型进行有监督地训练。可计算预测结果和所选取的样本中的标注信息的损失值，可采用L1损失或L2损失。
步骤207，当该任务对应的损失值大于预定阈值时，重新选择样本继续执行上述训练步骤203-207。
在本实施例中，如果损失值没有收敛到预定阈值，则需要调整相关训练所涉及的模型、适配向量的相关参数，例如，调整前缀模型的相关参数、该任务对应的输出层的相关参数、预训练模型的相关参数。如果是分类任务，则调整前缀模型的相关参数和全连接层的相关参数（w和b）。如果是抽取任务，则只需要调整前缀模型的相关参数。然后重新选择样本，重复执行步骤203-207。可以选取曾经使用过的样本，也可以选取未使用过的样本。
步骤208，对于每个任务，当该任务对应的损失值小于等于所述预定阈值时，存储该任务的适配向量和该任务的输出层的相关参数。
在本实施例中，如果一个任务对应的损失值小于等于预定阈值，则说明针对该任务的模型参数训练完成，存储该任务的适配向量和该任务的输出层的相关参数。训练完成一个任务对应的适配向量和输出层之后，可以训练其它任务对应的适配向量和输出层。在进行新的训练任务之前，可以初始化前缀模型和输出层的相关参数。
步骤209，基于预训练模型、每个任务的输出层、每个任务的适配向量获得多任务模型。
在本实施例中，多个任务共用一个预训练模型，但分别有自己的适配向量和输出层的参数。可将它们组合起来形成多任务模型。
本实施例中多任务模型推理方法，针对不同的任务，仅微调少量参数，使得在推理过程中，各任务可以共享预训练模型推理服务，不需要每个任务单独部署一套模型，显著降低GPU使用成本。通过微调少量外部参数，充分利用了预训练模型的语言知识，在少量样本、海量样本等任务上，都有不错的模型效果，甚至可以超越微调方式训练的模型效果。
在本实施例的一些可选地实现方式中，分类任务的输出层包括全连接层和softmax函数，输出向量包括分类向量，分类任务的样本包括文本信息和类别的标注信息；以及所述将所述输出向量输入该任务对应的输出层，得到预测结果，包括：将所述分类向量输入全连接层，得到全连接向量；将所述全连接向量输入softmax函数，得到预测类别的概率。从图3a中可以看到，利用固定长度的前缀模型（小模型），输入是一个固定长度的字符（prefix token），长度一般可取4、8、12、16。该部分输出是一个固定的向量α，该向量可以作为下游任务的适配向量，由前缀模型网络产出，训练过程中拼接到预训练模型中。此外，不同的分类任务，其标签数量不同，还需要一个可以更新参数的全连接层（FC），实现向量到分类类别的转换，即图3a中的classify部分。
这样，在训练过程中，只有前缀模型网络和FC两个部分的参数根据梯度更新，而预训练模型（大模型）的参数被冻结。训练产出只有α和classify两部分的参数，前缀模型网络部分的输入针对下游任务是固定的，该部分的参数在推理预测阶段并不需要。
针对分类任务，仅微调前缀模型网络和FC参数，使得在推理过程中，分类任务可以共享预训练模型推理服务，不需要每个分类任务单独部署一套模型，显著降低GPU使用成本。并且一个多任务模型可支持更多的分类类别而不会显著增加GPU使用成本。
在本实施例的一些可选地实现方式中，抽取任务的输出层包括softmax函数，输出向量包括至少一个字符向量，抽取任务的样本包括文本信息、问题、答案的标注信息；以及所述将所述输出向量输入该任务对应的输出层，得到预测结果，包括：将所述至少一个字符向量分别输入softmax函数，得到每个字符向量是答案的起始位置或结束位置的概率。从图3c中可以看到，同样利用固定长度的前缀模型，生成一个固定的向量α，该向量作为下游任务的适配向量，拼接到预训练模型中。此外，与prompt（提示信息，即问题）结合，实现不同的抽取任务。
这样，在训练过程中，只有前缀模型网络部分的参数根据梯度更新，预训练模型的参数被冻结，模型经过softmax来预测每个token是开始标记，还是结束标记，来判断抽取内容的起止位置。通过前缀模型网络结合prompt适配下游任务，训练产出只有α向量。
针对抽取任务，仅微调前缀模型网络参数，使得在推理过程中，抽取任务可以共享预训练模型推理服务，不需要每个抽取任务单独部署一套模型，显著降低GPU使用成本。并且一个多任务模型可支持多种类别的文本的信息抽取。对同一文本从不同的类别角度提取关键信息。从而使用该多任务模型能够提高文本分析的全面性和准确性。
在本实施例的一些可选地实现方式中，前缀模型包括嵌入层和记忆网络。通过记忆网络提取上下文信息，从而充分利用了预训练模型的语言知识，在海量样本和少量样本等任务上，都有不错的模型效果，甚至可以超越微调方式训练的模型效果。
在本实施例的一些可选地实现方式中，将该任务的适配向量和所选取的样本中的文本信息输入预训练模型，得到输出向量，包括：将该任务的适配向量分别与所述文本信息在所述预训练模型中每一层的输出结果相乘，在最后一层得到输出向量。使得预训练模型中每一层的结果都能适配相应的任务，提高模型的准确率。
本实施例的一些可选地实现方式中，该方法还包括：当该任务对应的损失值大于预定阈值时，调整前缀模型的相关参数和该任务对应的输出层的相关参数，固定预训练模型的相关参数。
从而针对不同的任务，仅微调少量参数，固定预训练模型参数，使得在推理过程中，各任务可以共享预训练模型推理服务，不需要每个任务单独部署一套模型，显著降低GPU使用成本。固定预训练模型参数，通过微调少量外部参数，充分利用了预训练模型的语言知识，在少量样本、海量样本等任务上，都有不错的模型效果，甚至可以超越微调方式训练的模型效果。
本实施例的一些可选地实现方式中，该方法还包括：根据任务的数量设置适配向量的长度，其中，所述长度与任务的数量正相关。适配向量的长度一般是4、8、12、16。任务的数量越多，则需要越长的适配向量来提高模型的精度和准确性。而任务的数量较少时，使用较短的适配向量可以降低运算量，提高模型收敛速度。通过自适应地方式选择合适长度的适配向量，可以兼顾模型的准确性和训练效率。
本实施例的一些可选地实现方式中，记忆网络采用双向长短期记忆神经网络。双向长短期记忆神经网络的双向结构提供给输出层输入序列中每个结点完整的过去和未来的上下文信息，能够很好的解决跨时间记忆以及梯度消失的问题。从而可以提高样本的使用效率，用少量样本就能提取到丰富的特征，保证模型的准确性。请参见图4，其示出了本公开提供的多任务信息处理方法的一个实施例的流程400。该多任务信息处理方法可以包括以下步骤。
步骤401，响应于接收到待处理的数据，获取多任务模型。
在本实施例中，多任务信息处理方法的执行主体（例如图1所示的服务器105）可以通过多种方式来接收到待处理的数据。例如，执行主体可以通过有线连接方式或无线连接方式，从数据库服务器（例如图1所示的数据库服务器104）中获取存储于其中的待处理的数据。再例如，执行主体也可以接收终端（例如图1所示的终端101、102）或其他设备采集待处理的数据。待处理的数据可以是文本信息，也可以是包含文本的图像。再通过OCR（OpticalCharacter Recognition，光学字符识别）识别方法从图像中识别出文本信息。待处理的数据还可以是视频，将视频拆解成图像帧后，通过OCR识别方法从图像帧中识别出文本信息。待处理的数据还可以是语音数据，通过语音识别转换成文本信息。
其中，多任务模型包括至少一个任务的适配向量、输出层的参数和预训练模型。多任务模型可以是采用如上述图2实施例所描述的方法而生成的。具体生成过程可以参见图2实施例的相关描述，在此不再赘述。
在预测阶段，需要启动一个基础的预训练模型推理服务，该服务部署在GPU上，作为基础服务，下游任务模块在得到训练产出参数（适配向量和输出层的参数）的基础上，针对输入数据进行处理，将训练得到的参数和输入数据一起发送给预训练模型推理服务，获得任务处理结果，调用架构如图5a所示。
步骤402，对于每个任务，将该任务的适配向量和数据输入预训练模型，得到输出向量，根据该任务对应的输出层的参数配置输出层，将输出向量输入配置完成的输出层，得到该任务的处理结果。
在本实施例中，下游任务模块使用训练阶段产出的参数和待处理的数据作为基础预训练模型的输入，得到模型处理结果。
本实施例的一些可选地实现方式中，该方法还包括：对于每个任务，若该任务的处理结果为类别，则获取所述类别对应的抽取任务的适配向量；对于每个类别的抽取任务，将该抽取任务的适配向量和所述数据输入所述预训练模型，得到至少一个字符向量；将所述至少一个字符向量分别输入softmax函数，得到该抽取任务的关键信息的起始位置和结束位置。
对于分类任务，得到类别后，还可进一步地使用多任务模型进行抽取任务。例如，一段文本信息通过多任务模型执行分类任务确定出为投诉工单，则获取投诉类别对应的适配向量，使用该适配向量通过多任务模型从该文本信息中提取出关键信息（预先设置的问题对应的答案，例如被投诉的对象、事件的起因、经过、结果等）。从而有针对性的选取适配向量进行关键信息抽取，提高了文本分析的效率。
针对分类任务的预测阶段模型输入和处理过程如图5b所示。输入适配向量α、全连接层参数（w、b）以及待处理数据，与模型结合产出分类标签，其中全连接层作为参数，与模型产出cls向量进行点乘，获得每个类别向量，经过softmax获得每个类别的概率值。
针对抽取任务的预测阶段模型输入和处理过程如图5c所示。输入向量适配α +prompt + 待处理数据，通过prompt实现不同要素抽取，与模型结合产出抽取内容的起止位置偏移。prompt一般可取待抽取要素名称，例如时间、地点等。
本公开能够抽象得到统一的少参数量微调多任务模型，如图5d所示，能够同时处理分类和抽取任务，在模型推理阶段，抽象出预训练模型服务，共享大参数量的预训练模型，节约推理预测部署成本。
在多任务场景，由于预训练模型推理服务可以仅部署一个，同时支持不同的分类和抽取任务，能够极大的减少GPU卡使用数量，降低部署成本。在智慧城市中的工单处理任务中，以投诉工单分析场景为例，针对一条工单，需要分类任务识别工单类型及委办单位，同时也需要抽取任务来分析工单中的时间、地点、被投诉人和投诉内容等信息。就应用了本公开的方案，节省部署成本。任务调用关系如图5a所示。每种任务需要使用流程200所示的方法训练出来的适配向量和输出层参数。实现该应用场景的前提条件是，预先使用标注和工单的类型、委办单位、关键要素信息的样本。通过标注的工单的类型的样本可以训练出工单类型分类任务的适配向量和全连接层的参数。通过标注的委办单位的样本可以训练出委办单位分类任务的适配向量和全连接层的参数。通过标注的关键要素信息的样本可以训练出抽取关键要素任务的适配向量。
在图5e中，工单类型和委办单位识别是分类任务，与工单关键要素分析的抽取任务，共享一个预训练模型服务，实现了智慧城的多模型、多任务处理。
继续参见图6，作为对上述各图所示方法的实现，本公开提供了一种多任务模型推理装置的一个实施例。该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的多任务模型推理装置600可以包括：获取单元601、训练单元602、存储单元603和输出单元604。其中，获取单元601，被配置成获取至少两个任务的样本集，其中，每个任务的样本集中的每个样本包括文本信息和标注信息；训练单元602，被配置成对于每个任务，从该任务的样本集中选取样本，执行如下训练步骤：将固定长度字符输入前缀模型，得该任务的适配向量；将该任务的适配向量和所选取的样本中的文本信息输入预训练模型，得到输出向量；将所述输出向量输入该任务对应的输出层，得到预测结果；将所选取的样本中的标注信息作为期望结果与所述预测结果进行比较，确定出损失值；当该任务对应的损失值大于预定阈值时，重新选择样本继续执行上述训练步骤；存储单元603，被配置成对于每个任务，当该任务对应的损失值小于等于所述预定阈值时，存储该任务的适配向量和该任务的输出层的相关参数；输出单元604，被配置成基于所述预训练模型、每个任务的输出层、每个任务的适配向量获得多任务模型。
在本实施例的一些可选的实现方式中，分类任务的输出层包括全连接层和softmax函数，输出向量包括分类向量，分类任务的样本包括文本信息和类别的标注信息；以及训练单元602进一步被配置成：将所述分类向量输入全连接层，得到全连接向量；将所述全连接向量输入softmax函数，得到预测类别的概率。
在本实施例的一些可选的实现方式中，抽取任务的输出层包括softmax函数，输出向量包括至少一个字符向量，抽取任务的样本包括文本信息、问题、答案的标注信息；以及训练单元602进一步被配置成：将所述至少一个字符向量分别输入softmax函数，得到每个字符向量是答案的起始位置或结束位置的概率。
在本实施例的一些可选的实现方式中，前缀模型包括嵌入层和记忆网络。
在本实施例的一些可选的实现方式中，训练单元602进一步被配置成：将该任务的适配向量分别与所述文本信息在所述预训练模型中每一层的输出结果相乘，在最后一层得到输出向量。
在本实施例的一些可选的实现方式中，训练单元602进一步被配置成：当该任务对应的损失值大于预定阈值时，调整所述前缀模型的相关参数和该任务对应的输出层的相关参数，固定所述预训练模型的相关参数。
在本实施例的一些可选的实现方式中，训练单元602进一步被配置成：根据任务的数量设置适配向量的长度，其中，所述长度与任务的数量正相关。
在本实施例的一些可选的实现方式中，记忆网络采用双向长短期记忆神经网络。
继续参见图7，作为对上述图4所示方法的实现，本公开提供了一种多任务信息处理装置的一个实施例。该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例的多任务信息处理装置700可以包括：获取单元701和处理单元702。其中，获取单元701，被配置成响应于接收到待处理的数据，获取根据装置600得到的多任务模型，其中，所述多任务模型包括至少一个任务的适配向量、输出层的参数和预训练模型；处理单元702，被配置成对于每个任务，将该任务的适配向量和所述数据输入所述预训练模型，得到输出向量；根据该任务对应的输出层的参数配置输出层；将所述输出向量输入配置完成的输出层，得到该任务的处理结果。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行流程200或400所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行流程200或400所述的方法。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器（ROM）802中的计算机程序或者从存储单元808加载到随机访问存储器（RAM）803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出（I/O）接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如多任务模型推理方法。例如，在一些实施例中，多任务模型推理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的多任务模型推理方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行多任务模型推理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (22)

1.一种多任务模型推理方法，包括：
获取至少两个任务的样本集，其中，每个任务的样本集中的每个样本包括文本信息和标注信息；
对于每个任务，从该任务的样本集中选取样本，执行如下训练步骤：将固定长度字符输入前缀模型，得该任务的适配向量；将该任务的适配向量和所选取的样本中的文本信息输入预训练模型，得到输出向量；将所述输出向量输入该任务对应的输出层，得到预测结果；将所选取的样本中的标注信息作为期望结果与所述预测结果进行比较，确定出损失值；当该任务对应的损失值大于预定阈值时，重新选择样本继续执行上述训练步骤；
对于每个任务，当该任务对应的损失值小于等于所述预定阈值时，存储该任务的适配向量和该任务的输出层的相关参数；
基于所述预训练模型、每个任务的输出层、每个任务的适配向量获得多任务模型。
2.根据权利要求1所述的方法，其中，分类任务的输出层包括全连接层和softmax函数，输出向量包括分类向量，分类任务的样本包括文本信息和类别的标注信息；以及
所述将所述输出向量输入该任务对应的输出层，得到预测结果，包括：
将所述分类向量输入全连接层，得到全连接向量；
将所述全连接向量输入softmax函数，得到预测类别的概率。
3.根据权利要求1所述的方法，其中，抽取任务的输出层包括softmax函数，输出向量包括至少一个字符向量，抽取任务的样本包括文本信息、问题、答案的标注信息；以及
所述将所述输出向量输入该任务对应的输出层，得到预测结果，包括：
将所述至少一个字符向量分别输入softmax函数，得到每个字符向量是答案的起始位置或结束位置的概率。
4.根据权利要求1所述的方法，其中，所述前缀模型包括嵌入层和记忆网络。
5.根据权利要求1所述的方法，其中，所述将该任务的适配向量和所选取的样本中的文本信息输入预训练模型，得到输出向量，包括：
将该任务的适配向量分别与所述文本信息在所述预训练模型中每一层的输出结果相乘，在最后一层得到输出向量。
6.根据权利要求1所述的方法，其中，所述方法还包括：
当该任务对应的损失值大于预定阈值时，调整所述前缀模型的相关参数和该任务对应的输出层的相关参数，固定所述预训练模型的相关参数。
7.根据权利要求1所述的方法，其中，所述方法还包括：
根据任务的数量设置适配向量的长度，其中，所述长度与所述任务的数量正相关。
8.根据权利要求4所述的方法，其中，所述记忆网络采用双向长短期记忆神经网络。
9.一种多任务信息处理方法，包括：
响应于接收到待处理的数据，获取根据权利要求1-8中任一项所述的方法得到的多任务模型，其中，所述多任务模型包括至少一个任务的适配向量、输出层的参数和预训练模型；
对于每个任务，将该任务的适配向量和所述数据输入所述预训练模型，得到输出向量；根据该任务对应的输出层的参数配置输出层；将所述输出向量输入配置完成的输出层，得到该任务的处理结果。
10.根据权利要求9所述的方法，所述方法还包括：
对于每个任务，若该任务的处理结果为类别，则获取所述类别对应的抽取任务的适配向量；
对于每个类别的抽取任务，将该抽取任务的适配向量和所述数据输入所述预训练模型，得到至少一个字符向量；将所述至少一个字符向量分别输入softmax函数，得到该抽取任务的关键信息的起始位置和结束位置。
11.一种多任务模型推理装置，包括：
获取单元，被配置成获取至少两个任务的样本集，其中，每个任务的样本集中的每个样本包括文本信息和标注信息；
训练单元，被配置成对于每个任务，从该任务的样本集中选取样本，执行如下训练步骤：将固定长度字符输入前缀模型，得该任务的适配向量；将该任务的适配向量和所选取的样本中的文本信息输入预训练模型，得到输出向量；将所述输出向量输入该任务对应的输出层，得到预测结果；将所选取的样本中的标注信息作为期望结果与所述预测结果进行比较，确定出损失值；当该任务对应的损失值大于预定阈值时，重新选择样本继续执行上述训练步骤；
存储单元，被配置成对于每个任务，当该任务对应的损失值小于等于所述预定阈值时，存储该任务的适配向量和该任务的输出层的相关参数；
输出单元，被配置成基于所述预训练模型、每个任务的输出层、每个任务的适配向量获得多任务模型。
12.根据权利要求11所述的装置，其中，分类任务的输出层包括全连接层和softmax函数，输出向量包括分类向量，分类任务的样本包括文本信息和类别的标注信息；以及
所述训练单元进一步被配置成：
将所述分类向量输入全连接层，得到全连接向量；
将所述全连接向量输入softmax函数，得到预测类别的概率。
13.根据权利要求11所述的装置，其中，抽取任务的输出层包括softmax函数，输出向量包括至少一个字符向量，抽取任务的样本包括文本信息、问题、答案的标注信息；以及
所述训练单元进一步被配置成：
将所述至少一个字符向量分别输入softmax函数，得到每个字符向量是答案的起始位置或结束位置的概率。
14.根据权利要求11所述的装置，其中，所述前缀模型包括嵌入层和记忆网络。
15.根据权利要求11所述的装置，其中，所述训练单元进一步被配置成：
将该任务的适配向量分别与所述文本信息在所述预训练模型中每一层的输出结果相乘，在最后一层得到输出向量。
16.根据权利要求11所述的装置，其中，所述训练单元进一步被配置成：
当该任务对应的损失值大于预定阈值时，调整所述前缀模型的相关参数和该任务对应的输出层的相关参数，固定所述预训练模型的相关参数。
17.根据权利要求11所述的装置，其中，所述训练单元进一步被配置成：
根据任务的数量设置适配向量的长度，其中，所述长度与所述任务的数量正相关。
18.根据权利要求14所述的装置，其中，所述记忆网络采用双向长短期记忆神经网络。
19.一种多任务信息处理装置，包括：
获取单元，被配置成响应于接收到待处理的数据，获取根据权利要求11-18中任一项所述的装置得到的多任务模型，其中，所述多任务模型包括至少一个任务的适配向量、输出层的参数和预训练模型；
处理单元，被配置成对于每个任务，将该任务的适配向量和所述数据输入所述预训练模型，得到输出向量；根据该任务对应的输出层的参数配置输出层；将所述输出向量输入配置完成的输出层，得到该任务的处理结果。
20.根据权利要求19所述的装置，其中，所述处理单元进一步被配置成：
对于每个任务，若该任务的处理结果为类别，则获取所述类别对应的抽取任务的适配向量；
对于每个类别的抽取任务，将该抽取任务的适配向量和所述数据输入所述预训练模型，得到至少一个字符向量；将所述至少一个字符向量分别输入softmax函数，得到该抽取任务的关键信息的起始位置和结束位置。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。
CN202211044225.8A 2022-08-30 2022-08-30 多任务模型推理、多任务信息处理的方法和装置 Active CN115114439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211044225.8A CN115114439B (zh) 2022-08-30 2022-08-30 多任务模型推理、多任务信息处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211044225.8A CN115114439B (zh) 2022-08-30 2022-08-30 多任务模型推理、多任务信息处理的方法和装置

Publications (2)

Publication Number Publication Date
CN115114439A true CN115114439A (zh) 2022-09-27
CN115114439B CN115114439B (zh) 2022-11-18

Family

ID=83335437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211044225.8A Active CN115114439B (zh) 2022-08-30 2022-08-30 多任务模型推理、多任务信息处理的方法和装置

Country Status (1)

Country Link
CN (1) CN115114439B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115438176A (zh) * 2022-11-08 2022-12-06 阿里巴巴达摩院(杭州)科技有限公司 下游任务模型生成及任务执行的方法和设备
CN117711381A (zh) * 2024-02-06 2024-03-15 北京边锋信息技术有限公司 音频识别方法、装置、系统和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866117A (zh) * 2019-10-25 2020-03-06 西安交通大学 一种基于语义增强与多层次标签嵌入的短文本分类方法
CN111368996A (zh) * 2019-02-14 2020-07-03 谷歌有限责任公司 可传递自然语言表示的重新训练投影网络
US20200334520A1 (en) * 2019-04-19 2020-10-22 Microsoft Technology Licensing, Llc Multi-task machine learning architectures and training procedures
CN112507101A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 一种建立预训练语言模型的方法和装置
CN112527383A (zh) * 2020-12-15 2021-03-19 北京百度网讯科技有限公司 用于生成多任务模型的方法、装置、设备、介质和程序
CN114202026A (zh) * 2021-12-10 2022-03-18 北京百度网讯科技有限公司 多任务模型训练方法和装置、多任务处理方法和装置
CN114398855A (zh) * 2022-01-13 2022-04-26 北京快确信息科技有限公司 基于融合预训练的文本抽取方法、系统及介质
CN114647715A (zh) * 2022-04-07 2022-06-21 杭州电子科技大学 一种基于预训练语言模型的实体识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368996A (zh) * 2019-02-14 2020-07-03 谷歌有限责任公司 可传递自然语言表示的重新训练投影网络
US20200265196A1 (en) * 2019-02-14 2020-08-20 Google Llc Pre-Trained Projection Networks for Transferable Natural Language Representations
US20200334520A1 (en) * 2019-04-19 2020-10-22 Microsoft Technology Licensing, Llc Multi-task machine learning architectures and training procedures
CN110866117A (zh) * 2019-10-25 2020-03-06 西安交通大学 一种基于语义增强与多层次标签嵌入的短文本分类方法
CN112527383A (zh) * 2020-12-15 2021-03-19 北京百度网讯科技有限公司 用于生成多任务模型的方法、装置、设备、介质和程序
CN112507101A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 一种建立预训练语言模型的方法和装置
CN114202026A (zh) * 2021-12-10 2022-03-18 北京百度网讯科技有限公司 多任务模型训练方法和装置、多任务处理方法和装置
CN114398855A (zh) * 2022-01-13 2022-04-26 北京快确信息科技有限公司 基于融合预训练的文本抽取方法、系统及介质
CN114647715A (zh) * 2022-04-07 2022-06-21 杭州电子科技大学 一种基于预训练语言模型的实体识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115438176A (zh) * 2022-11-08 2022-12-06 阿里巴巴达摩院(杭州)科技有限公司 下游任务模型生成及任务执行的方法和设备
CN117711381A (zh) * 2024-02-06 2024-03-15 北京边锋信息技术有限公司 音频识别方法、装置、系统和电子设备

Also Published As

Publication number Publication date
CN115114439B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN112685565B (zh) 基于多模态信息融合的文本分类方法、及其相关设备
CN113326764B (zh) 训练图像识别模型和图像识别的方法和装置
CN115114439B (zh) 多任务模型推理、多任务信息处理的方法和装置
CN110837579A (zh) 视频分类方法、装置、计算机以及可读存储介质
CN113435529B (zh) 模型预训练方法、模型训练方法及图像处理方法
CN112541124B (zh) 生成多任务模型的方法、装置、设备、介质及程序产品
US20210390370A1 (en) Data processing method and apparatus, storage medium and electronic device
CN115688920B (zh) 知识抽取方法、模型的训练方法、装置、设备和介质
CN113657483A (zh) 模型训练方法、目标检测方法、装置、设备以及存储介质
CN112862005A (zh) 视频的分类方法、装置、电子设备和存储介质
CN114663155A (zh) 广告投放选品方法及其装置、设备、介质、产品
CN112926308A (zh) 匹配正文的方法、装置、设备、存储介质以及程序产品
CN114418093B (zh) 训练路径表征模型、输出信息的方法和装置
CN114969332A (zh) 训练文本审核模型的方法和装置
CN115062617A (zh) 基于提示学习的任务处理方法、装置、设备及介质
CN114186681A (zh) 用于生成模型簇的方法、装置及计算机程序产品
CN113963186A (zh) 目标检测模型的训练方法、目标检测方法及相关装置
CN114037059A (zh) 预训练模型、模型的生成方法、数据处理方法及装置
CN113392920A (zh) 生成作弊预测模型的方法、装置、设备、介质及程序产品
CN117114063A (zh) 用于训练生成式大语言模型和用于处理图像任务的方法
CN111931503A (zh) 信息抽取方法及装置、设备、计算机可读存储介质
CN113051911B (zh) 提取敏感词的方法、装置、设备、介质及程序产品
CN113792876B (zh) 骨干网络的生成方法、装置、设备以及存储介质
CN115909357A (zh) 基于人工智能的目标识别方法、模型训练方法和装置
CN114842541A (zh) 模型的训练及人脸识别方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant