CN116861258A - 模型处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开一种模型处理方法、装置、设备及存储介质，方法包括：获取目标训练样本，目标训练样本包括：样本文本、样本文本的标注类别标签及类别判别依据；获取任务描述指令，任务描述指令指示：根据多个类别标签对输入文本进行类别审核，并生成输入文本的类别标签和类别判别依据；基于任务描述指令和目标训练样本，构建训练指令文本；基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型，以通过该文本审核模型自动化地对任一文本进行类别审核，并输出相应的类别标签及类别判别依据，这样可使得文本审核具有可解释性，从而提升文本审核结果的可信度。

Description

模型处理方法、装置、设备及存储介质

技术领域

本申请涉及互联网技术领域，具体涉及人工智能领域，尤其涉及一种模型处理方法、装置、设备及存储介质。

背景技术

随着人工智能技术的不断发展，文本审核技术被提出，该文本审核技术是一种对文本进行类别审核的技术。目前，通常是采用分类模型来实现文本审核的，其原理大致是：针对待审核的任一文本而言，调用分类模型预测该文本属于预设的各个类别标签所指示类别的概率，从而将预测出的最大概率所对应的类别标签作为该文本的类别标签。由此可见，基于分类模型所实现的文本审核，只能预测得到待审核的文本的类别标签，这样容易使得文本审核结果的可信度较低。

发明内容

本申请实施例提供一种模型处理方法、装置、设备及存储介质，可以得到一个文本审核模型，并基于文本审核模型实现自动化的文本审核，使得文本审核具有可解释性，从而提升文本审核结果的可信度。

一方面，本申请实施例提供了一种模型处理方法，包括：

获取目标语言模型的目标训练样本，所述目标训练样本包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据；其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的；

获取所述目标语言模型的任务描述指令；所述任务描述指令用于指示：根据所述多个类别标签对输入文本进行类别审核，并生成所述输入文本的类别标签和相应的类别判别依据；

基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本；其中，所述目标训练样本中的样本文本作为输入文本，位于所述训练指令文本中；

基于所述训练指令文本对所述目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型；所述文本审核模型用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据。

一方面，本申请实施例提供了一种模型处理装置，包括：

获取单元，用于获取目标语言模型的目标训练样本，所述目标训练样本包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据；其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的；

所述获取单元，还用于获取所述目标语言模型的任务描述指令；所述任务描述指令用于指示：根据所述多个类别标签对输入文本进行类别审核，并生成所述输入文本的类别标签和相应的类别判别依据；

处理单元，用于基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本；其中，所述目标训练样本中的样本文本作为输入文本，位于所述训练指令文本中；

所述处理单元，还用于基于所述训练指令文本对所述目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型；所述文本审核模型用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据。

一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括输入接口和输出接口，所述计算机设备还包括：

处理器以及计算机存储介质；

其中，所述处理器适于实现一条或多条指令，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行上述所提及的模型处理方法。

一方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行上述所提及的模型处理方法。

一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品包括一条或多条指令；所述计算机程序产品中的一条或多条指令被处理器执行时，实现上述所提及的模型处理方法。

本申请实施例中，可以获取包括了样本文本、相应样本文本的标注类别标签以及相应的类别判别依据的目标训练样本，以及获取任务描述指令，其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的，任务描述指令用于指示：根据多个类别标签对输入文本进行类别审核，并生成输入文本的类别标签和相应的类别判别依据。然后，可以基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本，基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型，使得在调用文本审核模型自动化地对输入的任一文本进行类别审核时，可以基于文本生成的方式，生成并输出该文本的类别标签以及相应的类别判别依据，以通过输出的类别判别依据解释出将该文本判别为相应类别标签所指示类别的原因，使得文本审核具有可解释性，从而提升文本审核结果的可信度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种transformer结构层的示意图；

图2a是本申请实施例提供的一种终端和服务器之间的交互示意图；

图2b是本申请实施例提供的另一种终端和服务器之间的交互示意图；

图3是本申请实施例提供的一种模型处理方法的流程示意图；

图4是本申请实施例提供的一种构建训练指令文本的示意图；

图5a是本申请实施例提供的一种训练目标语言模型的示意图；

图5b是本申请实施例提供的另一种训练目标语言模型的示意图；

图6是本申请实施例提供的又一种训练目标语言模型的示意图；

图7是本申请另一实施例提供的再一种训练目标语言模型的示意图；

图8是本申请实施例提供的另一种模型处理方法的流程示意图；

图9是本申请实施例提供的一种构建样本集的示意图；

图10是本申请实施例提供的一种基于审核结果页面调整审核结果的示意图；

图11是本申请实施例提供的一种训练得到文本审核模型的示意图；

图12是本申请实施例提供的一种模型处理装置的结构示意图；

图13是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例基于AI（Artificial Intelligence，人工智能）技术提出一种模型处理方案，通过该模型处理方案可以实现对语言模型进行训练，进而可以采用训练后的语言模型来预测待审核的文本的类别标签，并输出将文本判别为相应类别标签所指示类别的类别判别依据，使得文本审核具有较高的可解释性，从而提升文本审核结果的可信度。

AI技术是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，其企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，使得智能机器具有感知、推理与决策等多种功能。AI技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、预训练模型技术、操作/交互系统、机电一体化等；其中，预训练模型又称大模型、基础模型，经过微调后可以广泛应用于人工智能各大方向下游任务，此处的微调又称指令微调，针对预训练模型来说，在目标任务数据上微调模型的指令，可以帮助模型获取下游任务的知识，从而在下游任务上获得更好的性能。人工智能软件技术主要包括计算机视觉技术（Computer Vision，CV）、语音处理技术（Speech Technology）、自然语言处理技术（NatureLanguage processing，NLP）以及机器学习（Machine Learning，ML）/深度学习等几大方向。

其中，自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域；而深度学习则是一种利用深层神经网络系统，进行机器学习的技术。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习（Reinforcement Learning，RL）、迁移学习、归纳学习、式教学习等技术；而预训练模型是深度学习的最新发展成果，融合了以上技术。

在具体实现中，本申请实施例提出的模型处理方案主要基于上述提及的AI技术中的自然语言处理技术以及机器学习技术。具体的，本申请实施例所提出的模型处理方案大致包括以下几部分：

（一）模型构建。本申请实施例可以基于自然语言处理技术来构建一个目标语言模型，该目标语言模型是指待训练的语言模型，此处的语言模型可以是一种大语言模型（Large Language Model），其模型结构可以根据具体需求进行设计。例如，该大语言模型的模型结构可以是采用一个或多个基于自注意力机制的transformer结构（一种基于注意力机制的深度学习模型结构）层构成的。其中，参见图1所示，一个transformer结构层可以包括多头注意力块（Multi-Head Attention）、前馈神经网络块（Feed-Forward），以及残差链接和层归一化模块（Add&Norm，其中Add表示残差链接，Norm表示层归一化，即layernormalization）；本申请实施例可以通过对多个图1所示的transformer结构层进行堆叠或组合，来构建得到大语言模型。

基于transformer结构的大语言模型的模型结构可以分为以下两类：一类是encoder-decoder（编码器-解码器）结构，包含编码器和解码器，另一类是decoder结构，只包含解码器，采用decoder结构的大语言模型又可称为自回归语言模型，其可以根据已知的上文去预测下一个词。其中，采用encoder-decoder结构的大语言模型在输入上采用双向注意力机制，在输出上采用从左到右的单向注意力机制；decoder结构又可以细分为两种，一种是language model（LM）结构，为一种只包含解码器的transformer结构，另一种是prefixlanguage model（prefix LM）结构，为另一种只包含解码器的transformer结构，采用LM结构的大语言模型在输入和输出上均采用从左到右的单向注意力机制，采用prefix LM结构的大语言模型在输入上采用双向注意力机制，在输出上采用从左到右的单向注意力机制。

（二）模型训练。首先，可以获取目标语言模型的目标训练样本以及该目标语言模型的任务描述指令。其中：①目标训练样本可以是从样本集中获取到的一个训练样本，该目标训练样本可包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据；样本文本的标注类别标签是从预设的多个类别标签中选取出的，样本文本对应的类别判别依据用于指示将相应样本文本判别为相应标注类别标签所指示类别的原因。②任务描述指令可以用于指示：根据预设的多个类别标签对输入文本进行类别审核，并生成输入文本的类别标签和相应的类别判别依据。其次，可以基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本；其中，目标训练样本中的样本文本作为输入文本，位于训练指令文本中。然后，通过机器学习技术，基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型。

（三）模型应用。当需对某文本进行类别审核时，可调用文本审核模型对该文本进行类别审核，以文本生成的方式，生成相应的类别标签和类别判别依据，并输出相应的类别标签以及类别判别依据。

在具体实现中，上述提及的模型处理方案可以由计算机设备执行，该计算机设备可以是终端或服务器，即上述提及的模型处理方案可由终端或服务器执行。或者，上述提及的模型处理方案也可由终端和服务器共同执行。例如：可由服务器执行模型构建的相关过程，得到目标语言模型。在模型训练过程中，可由终端获取目标语言模型的目标训练样本以及该目标语言模型的任务描述指令，并将目标训练样本以及任务描述指令发送至服务器；服务器可以基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本，进而可以通过机器学习技术，基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型。在模型应用过程中，可由终端获取待审核的文本，并将待审核的文本发送至服务器；服务器可调用文本审核模型对待审核的文本进行类别审核，以文本生成的方式，生成相应的类别标签和类别判别依据，并输出相应的类别标签以及类别判别依据；图2a示出了在模型训练过程中，终端和服务器之间的交互过程。又如，在模型训练过程中，可由终端获取目标语言模型的目标训练样本以及该目标语言模型的任务描述指令，并基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本，将训练指令文本发送至服务器；服务器可以通过机器学习技术，基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型；相关过程可以如图2b所示。为了便于阐述，本申请实施例后续以由计算机设备来执行本申请提出的模型处理方案为例进行描述。

其中，上述提及的终端可以是智能手机、电脑（如平板电脑、笔记本电脑、台式计算机等）、智能穿戴设备（如智能手表、智能眼镜）、智能语音交互设备、智能家电（如智能电视）、车载终端或飞行器等。另外，上述提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（ContentDelivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器，等等。进一步的，终端和服务器可位于区块链网络内或区块链网络外，对此不作限定；更进一步的，终端和服务器还可将内部所存储的任一数据上传至区块链网络进行存储，以防止内部所存储的数据被篡改，提升数据安全性。

本申请书中相关数据（例如目标训练样本、任务描述指令等）收集处理在实例应用时应该严格根据法律法规的要求，获取个人信息主体的知情同意或单独同意，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理行为。

基于上述模型处理方案的相关描述，本申请实施例提出了一种模型处理方法；下面以计算机设备为执行主体为例，结合图3所示的方法流程图，对本申请实施例提出的模型处理方法进行阐述。请参见图3所示，该模型处理方法可包括步骤S301-S304：

S301，获取目标语言模型的目标训练样本，目标训练样本包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据。

其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的。在实际应用中，本申请实施例提出的模型处理方法可以适用多种文本审核场景，如违规文本的审核场景（即审核文本是否违规的场景）、有效文本的审核场景（即审核文本是否有效的场景）、文本等级的审核场景（即审核文本属于哪个文本等级的场景，该文本等级可以是受欢迎度等级）等等。在不同的文本审核场景中，此处提及的多个类别标签可根据实际需求进行预设。例如，在违规文本的审核场景中，预设的多个类别标签可包括：指示文本违规的多个违规类别标签以及指示文本未违规的正常类别标签，其中，一个违规类别标签指示一个违规类别，正常类别标签指示正常类别。又如，在有效文本的审核场景中，预设的多个类别标签可包括：指示文本有效的类别标签以及指示文本无效的类别标签。再如，在文本等级的审核场景中，预设的多个类别标签可包括：不同文本等级所对应的类别标签，一个类别标签对应一个文本等级。

为便于阐述，本申请实施例后续以预设的多个类别标签包括：指示文本违规的多个违规类别标签以及指示文本未违规的正常类别标签为例进行阐述。应理解的是，此处提及的多个违规类别标签也是可以根据具体的业务场景和审核要求进行定义。举例来说，这多个违规类别标签可以示例性包括：广告引流、辱骂歧视、垃圾信息等；根据不同的审核标准和审核要求，该多个违规类别标签可进行调整和细化。其中，广告引流这一违规类别标签下的文本是指：包含虚假广告、虚假宣传、欺诈信息、诱导链接等恶意营销内容的文本；辱骂歧视这一违规类别标签下的文本是指：包含对个体的辱骂、诋毁、挑衅等恶心内容的文本；垃圾信息这一违规类别标签下的文本是指：包含无意义、重复、乱码等垃圾性质内容的文本。基于此，本申请实施例中的目标训练样本可以是采用下述表1中的任一行所构成的数据，其中，下述表1中的任一行所构成的数据构成了一个训练样本：

表1

S302，获取目标语言模型的任务描述指令。

其中，任务描述指令可包括预设的多个类别标签，且该任务描述指令用于指示：根据多个类别标签对输入文本进行类别审核，并生成输入文本的类别标签和相应的类别判别依据。需强调的是，任务描述指令的具体形式可以根据实际需求进行设定，本申请实施例对其不作限定。例如，设多个类别标签包括：类别标签1、类别标签2以及类别标签3，则该任务描述指令的具体形式（称为第一种形式）可以为：

“下面的输入文本可以划分到下面哪一类，并解释原因

类别范围：类别标签1，类别标签2，类别标签3”。

或者，该任务描述指令的具体形式（称为第二种形式）可以为：

“请问输入文本可以被判别为：类别标签1，类别标签2以及类别标签3，这几个类别标签中的哪一类别标签，并给出类别判别依据”。

又或者，该任务描述指令的具体形式（称为第三种形式）可以为：

“给出三个类别标签，分别为：类别标签1，类别标签2以及类别标签3，请判断一下输入文本的类别标签为哪一个，并解释原因（即给出类别判别依据）”。

为了便于阐述，后续实施例以第一种形式的任务描述指令（也称为第一种任务描述指令）为例进行阐述。且示例性的，以违规文本的审核场景为例，若预设的多个类别标签包括：广告引流、辱骂歧视、垃圾信息、以及其他，则该任务描述指令可以如下所示：

“下面的输入文本可以划分到下面哪一类，并解释原因

类别范围：广告引流，辱骂歧视，垃圾信息，其他”。

S303，基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本。其中，目标训练样本中的样本文本作为输入文本，位于训练指令文本中。

在一个实施例中，当目标语言模型采用transformer结构中的LM结构和prefix LM结构时，计算机设备在基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本时，可以将任务描述指令、目标训练样本中的样本文本、目标训练样本中的标注类别标签，以及目标训练样本中的类别判别依据，整合成一个文本，得到目标语言模型的训练指令文本。可见，此实施例中，训练指令文本是对任务描述指令和目标训练样本进行整合所得到的一个文本。

具体的，在一种可行的实施方式中，可以将任务描述指令、目标训练样本中的样本文本、目标训练样本中的标注类别标签，以及目标训练样本中的类别判别依据，依次拼接在一起，以整合成一个文本；进一步可选的，任意两个内容之间可以基于预设的间隔符号进行拼接，以使得整合得到的文本中能够对不同的内容进行区分，例如，将任务描述指令和目标训练样本中的样本文本之间基于预设的间隔符号进行拼接，以此类推，间隔符号可以根据具体需求进行设定。在另一种可行的实施方式中，可以基于用于构建训练指令文本的目标模板来实现整合，基于此，计算机设备可以：获取用于构建训练指令文本的目标模板，其中，目标模板可以包括以下字段：用于填充任务描述指令的指令字段、用于填充输入文本的文本字段、用于填充标注类别标签的标签字段、以及用于填充类别判别依据的依据字段；将任务描述指令、目标训练样本中的样本文本、目标训练样本中的标注类别标签以及目标训练样本中的类别判别依据，分别填充至目标模板的相应字段中，得到训练指令文本；其中，目标训练样本中的样本文本被作为输入文本填充至文本字段中。

目标模板的具体格式和内容均可以根据具体需求进行设定，参见图4，为本申请实施例提供的一种构建训练指令文本的示意图。其中，目标模板可以如401标记所示，用于填充任务描述指令的指令字段可以如402标记所示，用于填充输入文本的文本字段可以如403标记所示，用于填充标注类别标签的标签字段可以如404标记所示，用于填充类别判别依据的依据字段可以如405标记所示；基于此目标模板所构建的训练指令文本可以如406标记所示。基于图4，若目标训练样本为上述表1中标注类别标签为广告引流的训练样本（表1中的任一行所构成的数据构成了一个训练样本），则基于目标模板构建得到的训练指令文本可以如下所示：

“下面的输入文本可以划分到下面哪一类，并解释原因

类别范围：广告引流，辱骂歧视，垃圾信息，其他

输入：加我平台外的联系方式，支持货到付款

类别：广告引流

原因：这句话含有宣传、促销性质的词语，通过加平台外的联系方式来引导用户进行交易，属于广告引流类别”。

另一个实施例中，当目标语言模型采用transformer结构中的encoder-decoder结构时，计算机设备在基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本时，可以将任务描述指令和目标训练样本中的样本文本整合成一个文本，得到第一文本；将目标训练样本中的标注类别标签和目标训练样本中的类别判别依据整合成一个文本，得到第二文本；采用第一文本和第二文本，构建用于训练目标语言模型的训练指令文本。可见，此实施例中，训练指令文本中包括了如下两个文本：对任务描述指令和目标训练样本中的样本文本进行整合所得到的第一文本，以及对目标训练文本中的标注类别标签和类别判别依据进行整合所得到的第二文本。可选的，第一文本的整合方式以及第二文本的整合方式，与上述将任务描述指令、目标训练样本中的样本文本、目标训练样本中的标注类别标签，以及目标训练样本中的类别判别依据，整合成一个文本时的整合方式类似，只是整合的数据不同，本申请实施例不做赘述；举例来说，若任务描述指令为上述第一种形式的任务描述指令，目标训练样本为上述表1中标注类别标签为广告引流的训练样本（表1中的任一行所构成的数据构成了一个训练样本），则示例性的一种第一文本可以为：

“下面的输入文本可以划分到下面哪一类，并解释原因

类别范围：广告引流，辱骂歧视，垃圾信息，其他

输入：加我平台外的联系方式，支持货到付款”。

示例性的一种第二文本可以为：

“类别：广告引流

原因：这句话含有宣传、促销性质的词语，通过加平台外的联系方式来引导用户进行交易，属于广告引流类别”。

由此可知，采用LM结构和prefix LM结构的目标语言模型的训练指令文本在进行整合时，也可以先将任务描述指令和目标训练样本中的样本文本整合成一个文本，得到第一文本；将目标训练样本中的标注类别标签和目标训练样本中的类别判别依据整合成一个文本，得到第二文本；进而可以将第一文本和第二文本整合成一个文本，得到训练指令文本。

S304，基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型，该文本审核模型用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据。

在一个实施例中，训练指令文本是对任务描述指令和目标训练样本进行整合所得到的一个文本；计算机设备基于训练指令文本对目标语言模型进行模型训练时，可以对训练指令文本进行分词处理，得到N个词，N为正整数；按照N个词的排列顺序，采用N个词中的前N-1个词，构建模型输入数据；并采用N个词中除首个词以外的N-1个词，构建模型输入数据对应的标签数据；调用目标语言模型对模型输入数据进行逐词预测处理，得到预测数据；预测数据包括预测出的N-1个词，且预测数据中的第n个词是根据模型输入数据中的前n个词预测出的，n∈[1，N-1]；根据标签数据和预测数据之间的差异，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练。

举例来说，若训练指令文本为上述基于图4所得到的文本，则对该训练指令文本进行分词处理得到的N个词可以为：['bos'，'下面'，'的'，'输入'，'文本'，'可以'，'划分'，'到'，'下面'，'哪'，'一类'，'，'，'并'，'解释'，'原因'，'n'，'类别'，'范围'，'：'，'广告'，'引'，'流'，'，'，'辱'，'骂'，'歧视'，'，'，'垃圾'，'信息'，'，'，'其他'，'/>n'，'输入'，'：'，'加'，'我'，'平台'，'外'，'的'，'联系'，'方式'，'，'，'支持'，'货'，'到'，'付款'，'/>n'，'类别'，'：'，'广告'，'引'，'流'，'/>n'，'原因'，'：'，'这句话'，'含有'，'宣传'，'、'，'促销'，'性质'，'的'，'词语'，'，'，'通过'，'加'，'平台'，'外'，'的'，'联系'，'方式'，'来'，'引导'，'用户'，'进行'，'交易'，'，'，'属于'，'广告'，'引'，'流'，'类别'，'eos']；其中，“bos”为表示文本开始的开始标志符，“eos”为表示文本结束的结束标志符，“/>n”为表示换行的换行标志符，可选的，开始标志符和结束标志符可以根据具体需求进行添加，在进行文本分词时可以在文本中语句换行处添加换行标志符，也可以不添加，本申请实施例不做限制。进一步的，模型输入数据可以为该N个词中，除最后一个词“eos”外的前N-1个词；模型输入数据对应的标签数据可以为该N个词中除首个词“bos”以外的N-1个词。

进一步的，计算机设备可以调用目标语言模型对模型输入数据进行逐词预测处理，得到预测数据；当目标语言模型采用LM结构时，预测数据包括预测出的N-1个词，且预测数据中的第n个词是根据模型输入数据中的前n个词预测出的；也就是说，目标模型在输入和输出上都采用单向注意力机制，例如，目标语言模型可以根据模型输入数据中的前1个词“bos”，预测得到预测数据中的第1个词，并且，训练目标期望这个词能被预测为“下面”；可以根据模型输入数据中的前2个词“bos”和“下面”，预测得到预测数据中的第2个词，并且，训练目标期望这个词能被预测为“的”；可以根据模型输入数据中的前3个词“bos”、“下面”以及“的”，预测得到预测数据中的第3个词，并且，训练目标期望这个词能被预测为“输入”；以此类推。更进一步的，计算机设备在调用目标语言模型对模型输入数据进行逐词预测处理时，具体可以是对模型输入数据索引化之后的内容进行的逐词预测处理，也就是说，可以将模型输入数据进行索引化之后输入至目标语言模型中，也就是说，输入至目标语言模型的文本，可以是对文本进行分词处理，并对分词处理得到的各个词进行索引化之后，输入至目标语言模型的，其中，索引化是指将词转化为该词在词表中的位置索引，例如若“bos”在词表中的位置索引为2，则将“bos”索引化得到2，若“eos”在词表中的位置索引为3，则将“eos”索引化得到3。

进一步的，计算机设备根据标签数据和预测数据之间的差异，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练时，可以根据标签数据和预测数据，计算预测数据中的各个词对应的损失值；其中，预测数据中的第n个词对应的损失值用于指示：预测数据中的第n个词和标签数据中的第n个词之间的差异；对预测数据中的各个词对应的损失值进行整合，得到目标语言模型的模型损失值；按照减小模型损失值的方向，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练。此处提及的“按照减小模型损失值的方向”是指：以最小化模型损失值为目标的模型优化方向；通过此方向进行模型优化，使得目标语言模型在每次优化后所再次产生的模型损失值，需小于目标语言模型在优化前所产生的模型损失值。例如，本次计算得到的目标语言模型的模型损失值为0.85，那么通过按照减小模型损失值的方向优化目标语言模型后，通过优化目标语言模型所产生的模型损失值应小于0.85。其中，模型损失值可以通过选定的损失函数确定，损失函数可以根据具体需求进行选定，例如可以选定交叉熵损失函数；基于此，预测数据中的第n个词对应的损失值，可以通过预测数据中的第n个词被预测为标签数据中的第n个词的预测概率来确定，举例来说，预测数据中的第1个词对应的损失值，可以通过预测数据中的第1个词被预测为标签数据中的第1个词（下面）的预测概率来确定，预测数据中的第2个词对应的损失值，可以通过预测数据中的第2个词被预测为标签数据中的第2个词（的）的预测概率来确定；对预测数据中的各个词对应的损失值进行整合时，示例性的可以采用求和或加权求和等方式进行整合。

参见图5a，为本申请实施例提供的一种训练目标语言模型的示意图，其中，该目标语言模型采用一种示例性的LM结构，训练指令文本表示为：x1x2x3x4y1y2，若对该训练指令文本进行分词处理得到的N个词分别为：['x1'，'x2'，'x3'，'x4'，'y1'，'y2']；则模型输入数据为：['x1'，'x2'，'x3'，'x4'，'y1']，模型输入数据对应的标签数据为：['x2'，'x3'，'x4'，'y1'，'y2']，调用目标语言模型对模型输入数据进行逐词预测处理得到的预测数据为：，其中，目标语言模型在输入和输出上都采用单向注意力机制，也就是说，预测数据中的“/>”是根据模型输入数据中的['x1']预测得到的，预测数据中的“/>”是根据模型输入数据中的['x1'，'x2']预测得到的，以此类推；此时，计算机设备可以根据标签数据和预测数据之间的差异，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练。参见图5b，为本申请实施例提供的另一种训练目标语言模型的示意图，其中，该目标语言模型采用另一种示例性的LM结构，由M个transformer结构层堆叠而成，训练指令文本表示为：x1x2x3x4y1y2，若对该训练指令文本进行分词处理得到的N个词分别为：['x1'，'x2'，'x3'，'x4'，'eos'，'bos'，'y1'，'y2'，'eos']；则模型输入数据为：['x1'，'x2'，'x3'，'x4'，'eos'，'bos'，'y1'，'y2']，模型输入数据对应的标签数据为：['x2'，'x3'，'x4'，'eos'，'bos'，'y1'，'y2'，'eos']，调用目标语言模型对模型输入数据进行逐词预测处理得到的预测数据为：/>，此时，计算机设备可以根据标签数据和预测数据之间的差异，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练。

在一个实施例中，当目标语言模型采用prefix LM结构时的训练过程，与上述当目标语言模型采用LM结构时的训练过程类似；但采用prefix LM结构的目标语言模型在输入上采用双向注意力机制，在输出上采用从左到右的单向注意力机制；在根据标签数据和预测数据之间的差异，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练的过程中，根据标签数据和预测数据，计算预测数据中对应于第二文本的各个词对应的损失值；对预测数据中对应于第二文本的各个词对应的损失值进行整合，得到目标语言模型的模型损失值；按照减小模型损失值的方向，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练。

参见图6，为本申请实施例提供的又一种训练目标语言模型的示意图，其中，该目标语言模型采用一种示例性的prefixLM结构，训练指令文本表示为：x1x2x3x4y1y2，该训练指令文本由第一文本和第二文本整合而成，第一文本为：x1x2x3x4，第二文本为：y1y2，若对该训练指令文本进行分词处理得到的N个词分别为：['x1'，'x2'，'x3'，'x4'，'y1'，'y2']；则模型输入数据为：['x1'，'x2'，'x3'，'x4'，'y1']，模型输入数据对应的标签数据为：['x2'，'x3'，'x4'，'y1'，'y2']，调用目标语言模型对模型输入数据进行逐词预测处理得到的预测数据为：，其中，预测数据中对应于第二文本的各个词包括/>；其中，目标语言模型在输入上采用双向注意力机制，即在预测得到预测数据中对应于第一文本的各个词（/>）时，采用双向注意力机制，也就是说，预测数据中的“/>”是根据模型输入数据中的['x1'，'x2'，'x3'，'x4']预测得到的，预测数据中的“/>”也是根据模型输入数据中的['x1'，'x2'，'x3'，'x4']预测得到的，以此类推；目标语言模型，在输出上采用从左到右的单向注意力机制，即在预测得到预测数据中对应于第二文本的各个词（/>）时，采用单向注意力机制，也就是说，预测数据中的“/>”是根据模型输入数据中的['x1'，'x2'，'x3'，'x4']预测得到的，预测数据中的“/>”是根据模型输入数据中的['x1'，'x2'，'x3'，'x4'，'y1']预测得到的。此时，计算机设备可以根据标签数据和预测数据之间的差异，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练，即可以计算预测数据中对应于第二文本的各个词对应的损失值（即/>中各个词对应的损失值），并进行整合得到目标语言模型的模型损失值；按照减小模型损失值的方向，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练。

在一个实施例中，当目标语言模型采用encoder-decoder结构时，计算机设备基于训练指令文本对目标语言模型进行模型训练时，可以调用目标语言模型根据训练指令文本中的第一文本，对目标训练样本中的样本文本进行类别审核，得到类别审核结果；类别审核结果包括：生成的相应样本文本的类别标签，以及相应的类别判别依据；根据类别审核结果与训练指令文本中的第二文本之间的差异，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练。其中，第一文本被作为目标语言模型中encoder的输入，第二文本被作为目标语言模型中decoder的输入，目标语言模型中的encoder可以对第一文本进行编码，得到编码特征，目标语言模型中的decoder可以根据编码特征和输入的第二文本进行解码，得到类别审核结果，并且，采用encoder-decoder结构的目标语言模型在输入上采用双向注意力机制，在输出上采用从左到右的单向注意力机制，也就是说，目标语言模型中的encoder在对第一文本进行编码时采用双向注意力机制，目标语言模型中的decoder在根据编码特征和输入的第二文本进行解码时采用单向注意力机制；进一步的，此处输入至目标语言模型中的文本都应该是对文本分词处理之后的内容，进一步可以是对分词处理得到的各个词进行索引化之后的内容。进一步的，计算机设备根据类别审核结果与训练指令文本中的第二文本之间的差异，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练的相关过程，与根据标签数据和预测数据之间的差异，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练的相关过程类似，在此不做赘述。

参见图7，为本申请实施例提供的再一种训练目标语言模型的示意图，其中，该目标语言模型采用一种示例性的encoder-decoder结构，训练指令文本表示为：x1x2x3x4y1y2，第一文本为：x1x2x3x4，第二文本为：y1y2，若对第一文本进行分词处理得到：['x1'，'x2'，'x3'，'x4']，被作为目标语言模型中encoder的输入，对第二文本进行分词处理得到：['y1'，'y2']，被作为目标语言模型中decoder的输入，若类别审核结果为；则可以根据类别审核结果/>与训练指令文本中的第二文本['y1'，'y2']之间的差异，优化目标语言模型的模型参数，以实现对目标语言模型的模型训练，其中，结束标志符“eos”可以不参与模型损失值的计算。

上述描述了基于目标训练样本对目标语言模型进行模型训练的相关过程，在实际应用中，进一步可以基于样本集中的训练样本对目标语言模型进行持续模型训练，直至达到模型收敛；其中，模型收敛可以通过多种方式进行衡量，例如，训练后的目标语言模型的模型参数不再发生变化，训练后的目标语言模型的模型参数的变化幅度小于阈值，训练后的目标语言模型的模型损失值不再减小，训练后的目标语言模型的模型损失值的减小幅度小于阈值，等等；基于此，计算机设备在基于训练指令文本对目标语言模型进行模型训练之后，可以检测训练后的目标语言模型是否达到模型收敛，并在训练后的目标语言模型达到模型收敛后，将训练后的目标语言模型作为文本审核模型。

在一个实施例中，上述目标语言模型还可以是预训练的大语言模型，该预训练的大语言模型为自然语言处理领域中的预训练模型（Pre-trainingmodel，PTM），所谓的预训练模型也称基石模型或者大模型，其是从自然语言处理领域的大语言模型发展而言的，具体是指具有大参量的深度神经网络（Deepneuralnetwork，DNN）。在海量未标记的数据上对其进行训练，可以实现利用大参量DNN的函数近似能力使预训练模型在数据上提取共性特征；并且，预训练模型经微调（finetune）、参数高效微调（PEFT）、prompt-tuning等技术后，可以适用于下游任务。因此，预训练模型可以在小样本（Few-shot）或零样本（Zero-shot）场景下达到理想效果。PTM（即预训练模型）按照处理的数据模态可以分为语言模型（如ELMO，BERT，GPT)、视觉模型（如swin-transformer，ViT，V-MOE）、语音模型（如VALL-E）、多模态模型（如ViBERT，CLIP，Flamingo，Gato)等，其中多模态模型指建立两种或以上数据模态特征表示的模型；应理解的是，预训练模型是输出人工智能生成内容（AIGC）的重要工具，其也可以作为连接多个具体任务模型的通用接口。

当目标语言模型选用预训练的大语言模型时，可以在开源的大规模数据集（例如大规模数据集中的Common Crawl、Pile等）上对大语言模型进行预训练，得到预训练的大语言模型，作为目标语言模型，并基于本申请提出的样本集对目标语言模型进行模型训练（即微调）；在大规模数据集上对大语言模型进行预训练的相关过程，与上述基于目标训练样本对目标语言模型进行模型训练的相关过程类似，可以采用选定的损失函数（例如交叉熵损失函数）来衡量大语言模型的期望输出与真实输出之间的模型损失值，并朝着减小模型损失值的方向对大语言模型进行预训练，本申请实施例不做赘述。当目标语言模型选用预训练的大语言模型时，得益于预训练过程中所使用的大规模数据集和大语言模型所具有的大规模模型参数，使得预训练的大语言模型具有很好的语义理解能力和文本生成能力，并且在海量数据中学到了丰富的知识信息，可以很好地理解输入文本的语义信息，并生成流畅的、包含丰富信息量的输出文本；基于此基于样本集对目标语言模型进行微调，并将训练后的目标语言模型作为文本审核模型，使得文本审核模型可以在文本审核任务上获得更好的效果和性能，包括在文本审核过程中为文本输出的类别标签和类别判别依据更加准确，即可以提高文本审核模型的审核准确率。

本申请实施例中，可以获取包括了样本文本、相应样本文本的标注类别标签以及相应的类别判别依据的目标训练样本，以及获取任务描述指令，其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的，任务描述指令用于指示：根据多个类别标签对输入文本进行类别审核，并生成输入文本的类别标签和相应的类别判别依据。然后，可以基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本，基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型，使得在调用文本审核模型自动化地对输入的任一文本进行类别审核时，可以基于文本生成的方式，生成并输出该文本的类别标签以及相应的类别判别依据，以通过输出的类别判别依据解释出将该文本判别为相应类别标签所指示类别的原因，使得文本审核具有可解释性，从而提升文本审核结果的可信度。并且，目标语言模型可以选用大语言模型，得益于大语言模型所具有的大规模模型参数，使得训练得到的文本审核模型具有很好的语义理解能力和文本生成能力，进而使得文本审核模型的审核准确率高（包括在文本审核过程中为文本输出的类别标签的准确率高）；并且进一步的，目标语言模型还可以选用预训练的大语言模型，通过在样本集上对预训练的大语言模型进行微调，使得微调得到的文本审核模型具有更好的语义理解能力和文本生成能力，可以进一步提高文本审核模型的审核准确率。

基于上述图3所示的方法实施例，本申请实施例提出了另一种更为具体的模型处理方法；在本申请实施例中，仍以计算机设备为执行主体为例进行说明。请参见图8所示，该模型处理方法可包括以下步骤S801-S808：

S801，获取目标语言模型的多个训练样本。

其中，一个训练样本包括：一个样本文本和相应样本文本的标注信息；任一样本文本的标准信息包括相应样本文本的标注类别标签以及相应的类别判别依据，任一训练样本中的标注类别标签是从多个类别标签中选取出的；此处训练样本的格式和上述目标训练样本的格式相同。计算机设备获取目标语言模型的多个训练样本时，可以先确定数据集的目标和范围，例如收集对象在目标平台内发表的评论文本（或者昵称、签名、帖子、评论、视频直播弹幕、商品信息等），此时数据集的目标为收集评论文本，范围为目标平台，数据集的目标和范围可以根据具体需求进行设定；然后可以根据确定的目标和范围收集目标数量的文本数据（此处为收集评论文本），该目标数量可以根据具体需求进行设定；然后可以对收集到的文本数据进行数据清洗和文本预处理，得到多个样本文本；其中，对文本数据进行数据清洗和文本预处理示例性的可以包括但不限于以下过程：去除文本数据（此处为评论文本）中的表情和空格，去除文本数据中的无效数据（例如只包含表情的评论文本为无效数据）、重复数据等，对文本数据进行数据清洗和文本预处理的相关规则可以根据具体需求进行设定。进一步的，计算机设备可以通过获取为该多个样本文本标注的标注类别标签和类别判别依据来构建相应的训练样本，其中，标注类别标签和类别判别依据可以是人工标注并输入至计算机设备中的。

S802，从多个训练样本包括的样本文本中，选取至少一个样本文本；分别对选取出的各个样本文本进行数据增强处理，得到P个新文本。

其中，P为正整数；一个新文本对应一个样本文本，任一新文本与对应的样本文本之间具有相同的语义。

在一个实施例中，计算机设备从多个训练样本包括的样本文本中，选取至少一个样本文本时，可以基于多个训练样本，统计多个类别标签中的每个类别标签的样本数；任一类别标签的样本数是指：多个训练样本中包含该任一类别标签的训练样本的数量；根据每个类别标签的样本数，从多个类别标签中确定出尾部类别标签；尾部类别标签是指：小于数量阈值的样本数所对应的类别标签；从包含尾部类别标签的训练样本包括的样本文本中，选取至少一个样本文本。可选的，该数量阈值可以根据具体需求进行设定，例如该数量阈值可以为设定的经验值，又如该数量阈值可以为动态确定的数值；示例性的，计算机设备可以将各个类别标签的样本数的均值确定为数量阈值，或者，计算机设备可以将各个类别标签按照样本数降序排列时，排列在指定位置的类别标签的样本数确定为数量阈值，该指定位置可以根据具体需求进行设定，例如可以设定为倒数第3个排列位置，倒数第2个排列位置等等。

当然，从多个训练样本包括的样本文本中选取样本文本来进行数据增强处理时，也可以采用其他的选取规则来对样本文本进行选取，例如随机选取。从包含尾部类别标签的训练样本包括的样本文本中，选取样本文本来进行数据增强处理，是为了对样本数少的类别标签下的训练样本进行扩充，以生成多样性丰富的训练样本，缓解样本数少以及样本分布不均的问题；例如，违规文本的审核场景下，所收集到的大部分样本文本属于正常类别的文本，属于违规类别的样本文本的数量很少，占比很小，并且不同违规类别的样本文本的数量差距也很大，进而导致不同类别标签下的训练样本分布非常不均衡；因此，对尾部类别标签下的训练样本进行扩充，可以在保持语义和类别标签不变的前提下，根据训练样本中的样本文本生成新的文本，并构建得到新的训练样本，可以生成多样性丰富的训练样本，缓解样本数少以及样本分布不均的问题。

在一个实施例中，分别对选取出的各个样本文本进行数据增强处理，得到P个新文本时，可以获取数据增强模型的数据增强指令，数据增强指令用于指示：根据输入的样本文本以及标注类别标签，为输入的样本文本生成语义相同的新文本；获取至少一个输入输出对示例，任一输入输出对示例中的输入包括：一个示例文本和相应示例文本的标注类别标签，任一输入输出对示例中的输出包括：与相应输入中的示例文本具有相同语义的文本；调用数据增强模型根据数据增强指令和至少一个输入输出对示例，分别为选取出的各个样本文本生成语义相同的新文本，得到P个新文本。

其中，数据增强指令的具体内容可以根据具体需求进行设计，本申请实施例不做限制；示例性的一种数据增强指令（称为第一种形式的数据增强指令，或称为第一种数据增强指令）可以为：“任务：请根据输入的文本和该文本对应的类别标签，对输入文本进行改写，保持相同的语义和类别标签，但措辞和描述方式不同”。示例性的另一种数据增强指令（称为第二种形式的数据增强指令，或称为第二种数据增强指令）可以为：“任务：输入一个文本段和该文本对应的类别标签，要求对输入文本进行改写，保持相同的语义，保持相同的类别标签，但措辞和表达方式不同”。本申请后续实施例以第二种数据增强指令为例进行阐述。其中，任一输入输出对示例中的输入包括：一个示例文本和相应示例文本的标注类别标签，任一输入输出对示例中的输出包括：与相应输入中的示例文本具有相同语义的文本；输入输出对示例可以根据具体需求进行设计，示例性的一个输入输出对示例可以为：

“示例1

输入：玩的是什么游戏，给我滚开（辱骂歧视）

输出：玩的是啥游戏，滚一边去”。

其中，“玩的是什么游戏，给我滚开”为示例文本，“辱骂歧视”为相应示例文本的标注类别标签，“玩的是啥游戏，滚一边去”为与该示例文本具有相同语义的文本。

示例性的另一个输入输出对示例可以为：

“示例2

输入：来A游戏吧，拿免费礼包（广告引流）

输出：加入A游戏，领免费礼包”。

其中，“来A游戏吧，拿免费礼包”为示例文本，“广告引流”为相应示例文本的标注类别标签，“加入A游戏，领免费礼包”为与该示例文本具有相同语义的文本。

在一种实施方式中，计算机设备调用数据增强模型根据数据增强指令和至少一个输入输出对示例，分别为选取出的各个样本文本生成语义相同的新文本，得到P个新文本时，可以遍历选取出的各个样本文本，将当前遍历的样本文本作为当前样本文本；采用当前样本文本和相应的标注类别标签，构建一个输入文本段；并对数据增强指令、至少一个输入输出对示例，以及构建的输入文本段进行拼接，得到当前样本文本对应的文本提示模板；调用数据增强模型，通过学习当前样本文本对应的文本提示模板，生成与当前样本文本具有相同语义的新文本；继续遍历，直至选取出的各个样本文本均被遍历，得到P个新文本。其中，数据增强模型可以为与目标语言模型相同的大语言模型，也可以为与目标语言模型不同的大语言模型（例如ChatGPT、GPT4等），利用大语言模型强大的语义理解能力和上下文学习能力，能够实现根据输入的文本进行文本生成，生成的新文本保持了与原样本文本相同的语义，在采用新文本构建新的训练样本时，可以直接使用原样本文本的类别标签和类别判别依据，扩大了样本集的规模和丰富性，也可以减少人工收集和标注样本文本的工作量。

其中，计算机设备采用当前样本文本和相应的标注类别标签构建输入文本段时，当前样本文本和相应的标注类别标签之间的格式，应当和输入输出对示例中示例文本和相应示例文本的标注类别标签之间的格式相同；进一步可选的，输入文本段中还可以包括用于提示为当前样本文本生成语义相同的新文本的提示信息，该提示信息的具体内容可以根据具体需求进行设定。举例来说，若当前样本文本为：“加我平台外的联系方式，支持货到付款”，当前样本文本的标注类别标签为：广告引流，则构建的一种示例性的输入文本段可以为：

“根据以下输入文本，生成一条新文本

输入：加我平台外的联系方式，支持货到付款

输出：”。

其中，“根据以下输入文本，生成一条新文本”为提示信息。

进一步的，计算机设备可以对数据增强指令、至少一个输入输出对示例，以及构建的输入文本段进行拼接，得到当前样本文本对应的文本提示模板；该文本提示模板属于few-shots prompt（用于输入至大语言模型的包含输入输出对示例的提示文本），其中，采用输入输出对示例构建文本提示模板，是为了使数据增强模型能够学习输入输出对示例中的输入和输出之间的关系或规律，以期望根据学习到的关系或规律为需要进行数据增强的样本文本生成语义相同的新文本。一种示例性的文本提示模板可以如下所示：

“任务：输入一个文本段和该文本对应的类别标签，要求对输入文本进行改写，保持相同的语义，保持相同的类别标签，但措辞和表达方式不同

示例1

输入：玩的是什么游戏，给我滚开（辱骂歧视）

输出：玩的是啥游戏，滚一边去

示例2

输入：来A游戏吧，拿免费礼包（广告引流）

输出：加入A游戏，领免费礼包

根据以下输入文本，生成一条新文本

输入：加我平台外的联系方式，支持货到付款

输出：”。

在另一种实施方式中，计算机设备调用数据增强模型根据数据增强指令和至少一个输入输出对示例，分别为选取出的各个样本文本生成语义相同的新文本，得到P个新文本时，可以对数据增强指令以及至少一个输入输出对示例进行整合，得到数据增强模型的学习数据；分别采用选取出的各个样本文本以及相应的标注类别标签，构建各个样本文本对应的输入文本段；调用数据增强模型对学习数据进行学习，得到学习后的数据增强模型；分别调用学习后的数据增强模型根据各个样本文本对应的输入文本段，为相应样本文本生成语义相同的新文本，得到P个新文本。其中，可以对数据增强指令和至少一个输入输出对示例进行拼接，以实现对相应数据的整合，得到数据增强模型的学习数据，数据增强模型的学习数据可以为上述文本提示模板中除构建的输入文本段之外的内容；采用选取出的任一样本文本以及相应的标注类别标签，构建该任一样本文本对应的输入文本段的相关过程，与上述采用当前样本文本和相应的标注类别标签，构建一个输入文本段的相关过程类似，在此不做赘述。得益于大语言模型强大的上下文学习能力，可以先调用数据增强模型对学习数据进行学习，得到学习后的数据增强模型，即可以先将学习数据输入至数据增强模型，数据增强模型通过对该学习数据的学习和理解，可以输出其理解的文本，该过程并不更新数据增强模型的模型参数；然后，可以分别调用学习后的数据增强模型根据各个样本文本对应的输入文本段，为相应样本文本生成语义相同的新文本，得到P个新文本。

S803，将每个新文本对应的样本文本的标注信息，作为相应新文本的标注信息；并将每个新文本均作为新的样本文本，采用P个新文本和相应的标注信息，构建P个新的训练样本。

S804，采用多个训练样本以及P个新的训练样本，构建得到样本集。

参见图9，为本申请实施例提供的一种构建样本集的示意图，计算机设备可以获取多个样本文本，并获取为每个样本文本人工标注的标注类别标签以及类别判别依据，得到相应的训练样本；进一步的，计算机设备可以选取至少一个样本文本，并分别对选取出的各个样本文本进行数据增强处理，得到P个新文本，其中，可以从多个训练样本包括的样本文本中对样本文本进行选取，当然也可以直接从获取的多个样本文本中进行选取；基于P个新文本构建新的训练样本，并采用（标注得到的）多个训练样本以及P个新的训练样本，构建得到样本集，其中，基于P个新文本构建新的训练样本时，可以将每个新文本对应的样本文本的标注信息，作为相应新文本的标注信息，并将每个新文本均作为新的样本文本，采用P个新文本和相应的标注信息，构建P个新的训练样本。

S805，获取目标语言模型的目标训练样本，目标训练样本包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据。

其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的，目标训练样本是从样本集中获取到的一个训练样本。

S806，获取目标语言模型的任务描述指令。

其中，任务描述指令用于指示：根据多个类别标签对输入文本进行类别审核，并生成输入文本的类别标签和相应的类别判别依据。

S807，基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本。其中，目标训练样本中的样本文本作为输入文本，位于训练指令文本中。

S808，基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型，该文本审核模型用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据。

其中，步骤S805至步骤S808的相关过程，和上述步骤S301至步骤S304的相关过程类似，在此不做赘述。

其中，文本审核模型可以用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据；基于此，计算机设备可以响应于针对目标文本的审核操作，基于任务描述指令和目标文本，构建目标指令文本；其中，目标文本作为输入文本，位于目标指令文本中；调用文本审核模型根据目标指令文本对目标文本进行类别审核，得到目标文本的类别标签和相应的类别判别依据。其中，计算机设备在基于任务描述指令和目标文本构建目标指令文本时，应当采用在构建用于训练目标语言模型的训练指令文本时，任务描述指令和目标训练样本中样本文本之间相同的构建方式来构建，也就是说，目标指令文本中的任务描述指令和目标文本之间，与训练指令文本中的任务描述指令和样本文本之间，具有相同的格式；举例来说，若训练指令文本为上述基于图4所得到的文本，则基于任务描述指令和目标文本，构建得到的目标指令文本可以如下所示：

“下面的输入文本可以划分到下面哪一类，并解释原因

类别范围：广告引流，辱骂歧视，垃圾信息，其他

输入：目标文本”。

进一步的，计算机设备调用文本审核模型根据目标指令文本对目标文本进行类别审核，得到目标文本的类别标签和相应的类别判别依据时，可以生成包含目标文本的类别标签和相应的类别判别依据的文本（此处为了便于阐述，将该文本称为审核结果文本）；其中，审核结果文本是逐词生成的，审核结果文本中的第1个词是根据目标指令文本生成的，也就是说，文本审核模型可以根据目标指令文本生成第1个词；文本审核模型在生成第1个词之后，可以将生成的第1个词和目标指令文本进行拼接，得到拼接文本，并根据拼接文本生成第2个词；文本审核模型在生成第2个词之后，可以将生成的第2个词和前一次拼接得到的拼接文本进行拼接，并根据此次拼接得到的拼接文本生成第3个词；以此类推，直至生成结束标志符时结束，其中，除最后一个结束标志符外生成的词构成了审核结果文本；目标文本的类别标签和相应的类别判别依据可以从审核结果文本中提取得到，为了便于阐述，也可以将通过文本审核模型预测得到的文本的类别标签和类别判别依据统称为审核结果。

在一个实施例中，计算机设备在对输入的文本进行类别审核并输出相应文本的类别标签以及类别判别依据之后，还可以将其进行输出，以使文本审核对象可以对计算机设备预测得到的类别标签以及类别判别依据进行人工复核；在一种可行的实施方式中，计算机设备可以输出目标文本的审核结果页面，审核结果页面包括审核结果显示区域以及审核结果调整区域；其中，审核结果显示区域中包括目标文本的类别标签和相应的类别判别依据，审核结果调整区域是指用于输入新的类别标签以及新的类别判别依据的区域；若从审核结果调整区域中获取到新的类别标签，则将审核结果显示区域中的类别标签，更新为获取到的新的类别标签；若从审核结果调整区域中获取到新的类别判别依据，则将审核结果显示区域中的类别判别依据，更新为获取到的新的类别判别依据。进一步的，审核结果显示区域中还可以包括目标文本，审核结果页面的具体格式可以根据具体需求进行设计，只要能实现对文本以及相应的类别标签以及类别判别依据等信息的显示和调整即可，本申请实施例不对审核结果页面的格式进行限制。

参见图10，为本申请实施例提供的一种基于审核结果页面调整审核结果的示意图，计算机设备可以输出如1001标记所示的审核结果页面，该审核结果页面包括的审核结果显示区域可以如1002标记所示，包括如1003标记所示的目标文本以及审核结果（类别标签和类别判别依据），该审核结果页面包括的审核结果调整区域可以如1004标记所示，文本审核对象可以在如1005标记所示的目标文本对应的类别标签更新区域中录入新的类别标签，以及在如1006标记所示的目标文本对应的判别依据更新区域中录入新的类别判别依据，计算机设备若从审核结果调整区域中获取到新的类别标签，则可以将审核结果显示区域中目标文本的类别标签，更新为获取到的新的类别标签；若从审核结果调整区域中获取到新的类别判别依据，则可以将审核结果显示区域中目标文本的类别判别依据，更新为获取到的新的类别判别依据，并对目标文本更新后的审核结果（包括更新得到的新的类别标签或更新得到的新的类别判别依据中的一种或多种）进行存储；若目标文本的类别标签和类别判别依据均被更新，则此时的审核结果页面可以如1007标记所示。

在一个实施例中，若计算机设备调用文本审核模型预测得到的审核结果被更新，则说明文本审核模型在对相应文本进行类别审核时不够准确，基于更新后的审核结果来优化文本审核模型，可以提高文本审核模型的审核准确性；基于此，计算机设备还可以执行如下步骤：若目标文本的类别标签和类别判别依据中，存在至少一个数据被更新，则确定文本审核模型存在优化需求；响应于优化需求，将目标文本作为新的样本文本，并采用目标文本、目标文本在当前时刻所具有的类别标签，以及目标文本在当前时刻所具有的类别判别依据，构建一个训练样本；其中，当前时刻是指确定文本审核模型存在优化需求的时刻；基于构建的训练样本对文本审核模型进行模型优化处理，得到优化后的文本审核模型；其中，基于构建的训练样本对文本审核模型进行模型优化处理的相关过程，和上述基于目标训练样本对目标语言模型进行模型训练的相关过程类似，在此不做赘述；进一步的，计算机设备也可以先对存在更新后的审核结果的文本进行收集，在收集到一定数量的文本并采用更新后的审核结果构建得到一定数量的训练样本之后，才对文本审核模型进行模型优化处理。

参见图11，为本申请实施例提供的一种训练得到文本审核模型的示意图；计算机设备可以构建样本集，并基于样本集对目标语言模型进行微调，以得到文本审核模型，进而可以调用文本审核模型进行类别审核；具体的，计算机设备可以进行数据收集，以获取多个样本文本，并获取为每个样本文本人工标注的标注类别标签以及类别判别依据，得到相应的训练样本；进一步的，计算机设备可以选取至少一个样本文本，并分别对选取出的各个样本文本进行数据增强处理，得到P个新文本，基于P个新文本构建新的训练样本，并采用（标注得到的）多个训练样本以及P个新的训练样本，构建得到样本集。进一步的，计算机设备可以在大规模数据集上对大语言模型进行预训练，得到预训练的大语言模型，并作为目标语言模型；进而可以基于样本集对目标语言模型进行模型训练（微调），并将训练后的目标语言模型作为文本审核模型；在得到文本审核模型之后，可以调用文本审核模型进行类别审核，即可以调用文本审核模型来为文本生成相应的类别标签以及类别判别依据。

本申请实施例中，可以获取包括了样本文本、相应样本文本的标注类别标签以及相应的类别判别依据的目标训练样本，以及获取任务描述指令，其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的，任务描述指令用于指示：根据多个类别标签对输入文本进行类别审核，并生成输入文本的类别标签和相应的类别判别依据。然后，可以基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本，基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型，使得在调用文本审核模型自动化地对输入的任一文本进行类别审核时，可以基于文本生成的方式，生成并输出该文本的类别标签以及相应的类别判别依据，以通过输出的类别判别依据解释出将该文本判别为相应类别标签所指示类别的原因，使得文本审核具有可解释性，从而提升文本审核结果的可信度；由于可以自动化地进行文本审核，使得可以减少人工审核的工作量和工作成本，当和人工审核（或人工复核）的方式进行结合时，由于会在生成文本的类别标签的同时，还生成将文本判别为相应类别标签（所指示类别）的类别判别依据，可以在人工审核（或人工复核）时提供参考，有助于文本审核对象更好地理解将文本判别为相应类别标签（所指示类别）的类别判别依据，有效地辅助人工审核。

并且，本申请实施例提出，在构建样本集时，可以从包含尾部类别标签的训练样本包括的样本文本中，选取样本文本来进行数据增强处理，可以利用数据增强模型（大语言模型）强大的语义理解能力和文本生成能力，在保持语义和类别标签不变的前提下，根据选取的训练样本中的样本文本生成新文本，并基于新文本构建得到新的训练样本，可以实现对样本数少的类别标签下的训练样本的扩充，生成多样性丰富的训练样本，缓解样本数少以及样本分布不均的问题。

基于上述方法实施例的描述，本申请实施例还公开了一种模型处理装置；请参见图12，所述模型处理装置可以运行如下单元：

获取单元1201，用于获取目标语言模型的目标训练样本，所述目标训练样本包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据；其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的；

所述获取单元1201，还用于获取所述目标语言模型的任务描述指令；所述任务描述指令用于指示：根据所述多个类别标签对输入文本进行类别审核，并生成所述输入文本的类别标签和相应的类别判别依据；

处理单元1202，用于基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本；其中，所述目标训练样本中的样本文本作为输入文本，位于所述训练指令文本中；

所述处理单元1202，还用于基于所述训练指令文本对所述目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型；所述文本审核模型用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据。

在一种实施方式中，所述训练指令文本是对所述任务描述指令和所述目标训练样本进行整合所得到的一个文本；处理单元1202在用于基于所述训练指令文本对所述目标语言模型进行模型训练时，可具体用于：

对所述训练指令文本进行分词处理，得到N个词，N为正整数；

按照所述N个词的排列顺序，采用所述N个词中的前N-1个词，构建模型输入数据；并采用所述N个词中除首个词以外的N-1个词，构建所述模型输入数据对应的标签数据；

调用所述目标语言模型对所述模型输入数据进行逐词预测处理，得到预测数据；所述预测数据包括预测出的N-1个词，且所述预测数据中的第n个词是根据所述模型输入数据中的前n个词预测出的，n∈[1，N-1]；

根据所述标签数据和所述预测数据之间的差异，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练。

另一种实施方式中，处理单元1202在用于根据所述标签数据和所述预测数据之间的差异，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练时，可具体用于：

根据所述标签数据和所述预测数据，计算所述预测数据中的各个词对应的损失值；其中，所述预测数据中的第n个词对应的损失值用于指示：所述预测数据中的第n个词和所述标签数据中的第n个词之间的差异；

对所述预测数据中的各个词对应的损失值进行整合，得到所述目标语言模型的模型损失值；

按照减小所述模型损失值的方向，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练。

另一种实施方式中，处理单元1202在用于基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本时，可具体用于：

将所述任务描述指令和所述目标训练样本中的样本文本整合成一个文本，得到第一文本；

将所述目标训练样本中的标注类别标签和所述目标训练样本中的类别判别依据整合成一个文本，得到第二文本；

采用所述第一文本和所述第二文本，构建用于训练所述目标语言模型的训练指令文本。

另一种实施方式中，处理单元1202在用于基于所述训练指令文本对所述目标语言模型进行模型训练时，可具体用于：

调用所述目标语言模型根据所述训练指令文本中的第一文本，对所述目标训练样本中的样本文本进行类别审核，得到类别审核结果；所述类别审核结果包括：生成的相应样本文本的类别标签，以及相应的类别判别依据；

根据所述类别审核结果与所述训练指令文本中的第二文本之间的差异，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练。

另一种实施方式中，所述目标训练样本是从样本集中获取到的一个训练样本，在构建所述样本集时：

获取单元1201，用于获取所述目标语言模型的多个训练样本，一个训练样本包括：一个样本文本和相应样本文本的标注信息；任一样本文本的标准信息包括相应样本文本的标注类别标签以及相应的类别判别依据；其中，任一训练样本中的标注类别标签是从所述多个类别标签中选取出的；

处理单元1202，用于从所述多个训练样本包括的样本文本中，选取至少一个样本文本；分别对选取出的各个样本文本进行数据增强处理，得到P个新文本，P为正整数；一个新文本对应一个样本文本，任一新文本与对应的样本文本之间具有相同的语义；

处理单元1202，还用于将每个新文本对应的样本文本的标注信息，作为相应新文本的标注信息；并将所述每个新文本均作为新的样本文本，采用所述P个新文本和相应的标注信息，构建P个新的训练样本；

处理单元1202还用于采用所述多个训练样本以及所述P个新的训练样本，构建得到所述样本集。

另一种实施方式中，处理单元1202在用于从所述多个训练样本包括的样本文本中，选取至少一个样本文本时，可具体用于：

基于所述多个训练样本，统计所述多个类别标签中的每个类别标签的样本数；任一类别标签的样本数是指：所述多个训练样本中包含所述任一类别标签的训练样本的数量；

根据所述每个类别标签的样本数，从所述多个类别标签中确定出尾部类别标签；所述尾部类别标签是指：小于数量阈值的样本数所对应的类别标签；

从包含所述尾部类别标签的训练样本包括的样本文本中，选取至少一个样本文本。

另一种实施方式中，处理单元1202在用于分别对选取出的各个样本文本进行数据增强处理，得到P个新文本时，可具体用于：

获取数据增强模型的数据增强指令，所述数据增强指令用于指示：根据输入的样本文本以及标注类别标签，为输入的样本文本生成语义相同的新文本；

获取至少一个输入输出对示例，任一输入输出对示例中的输入包括：一个示例文本和相应示例文本的标注类别标签，任一输入输出对示例中的输出包括：与相应输入中的示例文本具有相同语义的文本；

调用所述数据增强模型根据所述数据增强指令和所述至少一个输入输出对示例，分别为选取出的各个样本文本生成语义相同的新文本，得到P个新文本。

另一种实施方式中，处理单元1202在用于调用所述数据增强模型根据所述数据增强指令和所述至少一个输入输出对示例，分别为选取出的各个样本文本生成语义相同的新文本，得到P个新文本时，可具体用于：

遍历选取出的各个样本文本，将当前遍历的样本文本作为当前样本文本；

采用所述当前样本文本和相应的标注类别标签，构建一个输入文本段；并对所述数据增强指令、所述至少一个输入输出对示例，以及构建的输入文本段进行拼接，得到所述当前样本文本对应的文本提示模板；

调用所述数据增强模型，通过学习所述当前样本文本对应的文本提示模板，生成与所述当前样本文本具有相同语义的新文本；

继续遍历，直至选取出的各个样本文本均被遍历，得到P个新文本。

另一种实施方式中，处理单元1202在用于调用所述数据增强模型根据所述数据增强指令和所述至少一个输入输出对示例，分别为选取出的各个样本文本生成语义相同的新文本，得到P个新文本时，可具体用于：

对所述数据增强指令以及所述至少一个输入输出对示例进行整合，得到所述数据增强模型的学习数据；

分别采用选取出的各个样本文本以及相应的标注类别标签，构建所述各个样本文本对应的输入文本段；

调用所述数据增强模型对所述学习数据进行学习，得到学习后的数据增强模型；

分别调用所述学习后的数据增强模型根据所述各个样本文本对应的输入文本段，为相应样本文本生成语义相同的新文本，得到P个新文本。

另一种实施方式中，处理单元1202还用于：

响应于针对目标文本的审核操作，基于所述任务描述指令和所述目标文本，构建目标指令文本；其中，所述目标文本作为输入文本，位于所述目标指令文本中；

调用所述文本审核模型根据所述目标指令文本对所述目标文本进行类别审核，得到所述目标文本的类别标签和相应的类别判别依据。

另一种实施方式中，处理单元1202还用于：

输出所述目标文本的审核结果页面，所述审核结果页面包括审核结果显示区域以及审核结果调整区域；其中，所述审核结果显示区域中包括所述目标文本的类别标签和相应的类别判别依据，所述审核结果调整区域是指用于输入新的类别标签以及新的类别判别依据的区域；

若从所述审核结果调整区域中获取到新的类别标签，则将所述审核结果显示区域中的类别标签，更新为获取到的新的类别标签；

若从所述审核结果调整区域中获取到新的类别判别依据，则将所述审核结果显示区域中的类别判别依据，更新为获取到的新的类别判别依据。

另一种实施方式中，处理单元1202还用于：

若所述目标文本的类别标签和类别判别依据中，存在至少一个数据被更新，则确定所述文本审核模型存在优化需求；

响应于所述优化需求，将所述目标文本作为新的样本文本，并采用所述目标文本、所述目标文本在当前时刻所具有的类别标签，以及所述目标文本在当前时刻所具有的类别判别依据，构建一个训练样本；其中，所述当前时刻是指确定所述文本审核模型存在优化需求的时刻；

基于构建的训练样本对所述文本审核模型进行模型优化处理，得到优化后的文本审核模型。

根据本申请的另一个实施例，图12所示的模型处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个（些）单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于模型处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

根据本申请的另一个实施例，可以通过在包括中央处理单元（CPU）、随机存取存储介质（RAM）、只读存储介质（ROM）等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3或图8中所示的相应方法所涉及的各步骤的计算机程序（包括一条或多条指令），来构造如图12中所示的模型处理装置，以及来实现本申请实施例的模型处理方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。

本申请实施例中，可以获取包括了样本文本、相应样本文本的标注类别标签以及相应的类别判别依据的目标训练样本，以及获取任务描述指令，其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的，任务描述指令用于指示：根据多个类别标签对输入文本进行类别审核，并生成输入文本的类别标签和相应的类别判别依据。然后，可以基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本，基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型，使得在调用文本审核模型自动化地对输入的任一文本进行类别审核时，可以基于文本生成的方式，生成并输出该文本的类别标签以及相应的类别判别依据，以通过输出的类别判别依据解释出将该文本判别为相应类别标签所指示类别的原因，使得文本审核具有可解释性，从而提升文本审核结果的可信度。

基于上述方法实施例以及装置实施例的描述，本申请实施例还提供一种计算机设备。请参见图13，该计算机设备至少包括处理器1301、输入接口1302、输出接口1303以及计算机存储介质1304。其中，计算机设备内的处理器1301、输入接口1302、输出接口1303以及计算机存储介质1304可通过总线或其他方式连接。计算机存储介质1304可以存储在计算机设备的存储器中，所述计算机存储介质1304用于存储计算机程序，所述计算机程序包括一条或多条指令，所述处理器1301用于执行所述计算机存储介质1304存储的计算机程序中的一条或多条指令。处理器1301（或称CPU（Central Processing Unit，中央处理器））是计算机设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。

在一个实施例中，本申请实施例所述的处理器1301可以用于进行一系列的模型处理，具体包括：获取目标语言模型的目标训练样本，所述目标训练样本包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据；其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的；获取所述目标语言模型的任务描述指令；所述任务描述指令用于指示：根据所述多个类别标签对输入文本进行类别审核，并生成所述输入文本的类别标签和相应的类别判别依据；基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本；其中，所述目标训练样本中的样本文本作为输入文本，位于所述训练指令文本中；基于所述训练指令文本对所述目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型；所述文本审核模型用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据。

本申请实施例还提供了一种计算机存储介质（Memory），所述计算机存储介质是计算机设备中的记忆设备，用于存放计算机程序和数据。可以理解的是，此处的计算机存储介质既可以包括计算机设备中的内置存储介质，当然也可以包括计算机设备所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了计算机设备的操作系统。并且，在该存储空间中还存放了计算机程序，该计算机程序包括适于被处理器1301加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的程序代码。需要说明的是，此处的计算机存储介质可以是高速RAM存储器，也可以是非不稳定的存储器（non-volatilememory），例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器的计算机存储介质。在一个实施例中，可由处理器加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图3或图8所示的方法实施例中的相应步骤。

本申请实施例中，可以获取包括了样本文本、相应样本文本的标注类别标签以及相应的类别判别依据的目标训练样本，以及获取任务描述指令，其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的，任务描述指令用于指示：根据多个类别标签对输入文本进行类别审核，并生成输入文本的类别标签和相应的类别判别依据。然后，可以基于任务描述指令和目标训练样本，构建用于训练目标语言模型的训练指令文本，基于训练指令文本对目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型，使得在调用文本审核模型自动化地对输入的任一文本进行类别审核时，可以基于文本生成的方式，生成并输出该文本的类别标签以及相应的类别判别依据，以通过输出的类别判别依据解释出将该文本判别为相应类别标签所指示类别的原因，使得文本审核具有可解释性，从而提升文本审核结果的可信度。

需要说明的是，根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括一条或多条指令，该一条或多条指令存储在计算机存储介质中。计算机设备的处理器从计算机存储介质读取一条或多条指令，处理器执行该一条或多条指令，使得该计算机设备执行上述图3或图8所示的方法实施例方面的各种可选方式中提供的方法。应理解的是，以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (16)

1.一种模型处理方法，其特征在于，包括：

获取目标语言模型的目标训练样本，所述目标训练样本包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据；其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的；

获取所述目标语言模型的任务描述指令；所述任务描述指令用于指示：根据所述多个类别标签对输入文本进行类别审核，并生成所述输入文本的类别标签和相应的类别判别依据；

基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本；其中，所述目标训练样本中的样本文本作为输入文本，位于所述训练指令文本中；

基于所述训练指令文本对所述目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型；所述文本审核模型用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据。

2.如权利要求1所述的方法，其特征在于，所述训练指令文本是对所述任务描述指令和所述目标训练样本进行整合所得到的一个文本；所述基于所述训练指令文本对所述目标语言模型进行模型训练，包括：

对所述训练指令文本进行分词处理，得到N个词，N为正整数；

按照所述N个词的排列顺序，采用所述N个词中的前N-1个词，构建模型输入数据；并采用所述N个词中除首个词以外的N-1个词，构建所述模型输入数据对应的标签数据；

调用所述目标语言模型对所述模型输入数据进行逐词预测处理，得到预测数据；所述预测数据包括预测出的N-1个词，且所述预测数据中的第n个词是根据所述模型输入数据中的前n个词预测出的，n∈[1，N-1]；

根据所述标签数据和所述预测数据之间的差异，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练。

3.如权利要求2所述的方法，其特征在于，所述根据所述标签数据和所述预测数据之间的差异，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练，包括：

根据所述标签数据和所述预测数据，计算所述预测数据中的各个词对应的损失值；其中，所述预测数据中的第n个词对应的损失值用于指示：所述预测数据中的第n个词和所述标签数据中的第n个词之间的差异；

对所述预测数据中的各个词对应的损失值进行整合，得到所述目标语言模型的模型损失值；

按照减小所述模型损失值的方向，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练。

4.如权利要求1所述的方法，其特征在于，所述基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本，包括：

将所述任务描述指令和所述目标训练样本中的样本文本整合成一个文本，得到第一文本；

将所述目标训练样本中的标注类别标签和所述目标训练样本中的类别判别依据整合成一个文本，得到第二文本；

采用所述第一文本和所述第二文本，构建用于训练所述目标语言模型的训练指令文本。

5.如权利要求4所述的方法，其特征在于，所述基于所述训练指令文本对所述目标语言模型进行模型训练，包括：

调用所述目标语言模型根据所述训练指令文本中的第一文本，对所述目标训练样本中的样本文本进行类别审核，得到类别审核结果；所述类别审核结果包括：生成的相应样本文本的类别标签，以及相应的类别判别依据；

根据所述类别审核结果与所述训练指令文本中的第二文本之间的差异，优化所述目标语言模型的模型参数，以实现对所述目标语言模型的模型训练。

6.如权利要求1所述的方法，其特征在于，所述目标训练样本是从样本集中获取到的一个训练样本，所述样本集的构建方式包括：

获取所述目标语言模型的多个训练样本，一个训练样本包括：一个样本文本和相应样本文本的标注信息；任一样本文本的标准信息包括相应样本文本的标注类别标签以及相应的类别判别依据；其中，任一训练样本中的标注类别标签是从所述多个类别标签中选取出的；

从所述多个训练样本包括的样本文本中，选取至少一个样本文本；分别对选取出的各个样本文本进行数据增强处理，得到P个新文本，P为正整数；一个新文本对应一个样本文本，任一新文本与对应的样本文本之间具有相同的语义；

将每个新文本对应的样本文本的标注信息，作为相应新文本的标注信息；并将所述每个新文本均作为新的样本文本，采用所述P个新文本和相应的标注信息，构建P个新的训练样本；

采用所述多个训练样本以及所述P个新的训练样本，构建得到所述样本集。

7.如权利要求6所述的方法，其特征在于，所述从所述多个训练样本包括的样本文本中，选取至少一个样本文本，包括：

基于所述多个训练样本，统计所述多个类别标签中的每个类别标签的样本数；任一类别标签的样本数是指：所述多个训练样本中包含所述任一类别标签的训练样本的数量；

根据所述每个类别标签的样本数，从所述多个类别标签中确定出尾部类别标签；所述尾部类别标签是指：小于数量阈值的样本数所对应的类别标签；

从包含所述尾部类别标签的训练样本包括的样本文本中，选取至少一个样本文本。

8.如权利要求6所述的方法，其特征在于，所述分别对选取出的各个样本文本进行数据增强处理，得到P个新文本，包括：

获取数据增强模型的数据增强指令，所述数据增强指令用于指示：根据输入的样本文本以及标注类别标签，为输入的样本文本生成语义相同的新文本；

获取至少一个输入输出对示例，任一输入输出对示例中的输入包括：一个示例文本和相应示例文本的标注类别标签，任一输入输出对示例中的输出包括：与相应输入中的示例文本具有相同语义的文本；

调用所述数据增强模型根据所述数据增强指令和所述至少一个输入输出对示例，分别为选取出的各个样本文本生成语义相同的新文本，得到P个新文本。

9.如权利要求8所述的方法，其特征在于，所述调用所述数据增强模型根据所述数据增强指令和所述至少一个输入输出对示例，分别为选取出的各个样本文本生成语义相同的新文本，得到P个新文本，包括：

遍历选取出的各个样本文本，将当前遍历的样本文本作为当前样本文本；

采用所述当前样本文本和相应的标注类别标签，构建一个输入文本段；并对所述数据增强指令、所述至少一个输入输出对示例，以及构建的输入文本段进行拼接，得到所述当前样本文本对应的文本提示模板；

调用所述数据增强模型，通过学习所述当前样本文本对应的文本提示模板，生成与所述当前样本文本具有相同语义的新文本；

继续遍历，直至选取出的各个样本文本均被遍历，得到P个新文本。

10.如权利要求8所述的方法，其特征在于，所述调用所述数据增强模型根据所述数据增强指令和所述至少一个输入输出对示例，分别为选取出的各个样本文本生成语义相同的新文本，得到P个新文本，包括：

对所述数据增强指令以及所述至少一个输入输出对示例进行整合，得到所述数据增强模型的学习数据；

分别采用选取出的各个样本文本以及相应的标注类别标签，构建所述各个样本文本对应的输入文本段；

调用所述数据增强模型对所述学习数据进行学习，得到学习后的数据增强模型；

分别调用所述学习后的数据增强模型根据所述各个样本文本对应的输入文本段，为相应样本文本生成语义相同的新文本，得到P个新文本。

11.如权利要求1所述的方法，其特征在于，所述方法还包括：

响应于针对目标文本的审核操作，基于所述任务描述指令和所述目标文本，构建目标指令文本；其中，所述目标文本作为输入文本，位于所述目标指令文本中；

调用所述文本审核模型根据所述目标指令文本对所述目标文本进行类别审核，得到所述目标文本的类别标签和相应的类别判别依据。

12.如权利要求11所述的方法，其特征在于，所述方法还包括：

输出所述目标文本的审核结果页面，所述审核结果页面包括审核结果显示区域以及审核结果调整区域；其中，所述审核结果显示区域中包括所述目标文本的类别标签和相应的类别判别依据，所述审核结果调整区域是指用于输入新的类别标签以及新的类别判别依据的区域；

若从所述审核结果调整区域中获取到新的类别标签，则将所述审核结果显示区域中的类别标签，更新为获取到的新的类别标签；

若从所述审核结果调整区域中获取到新的类别判别依据，则将所述审核结果显示区域中的类别判别依据，更新为获取到的新的类别判别依据。

13.如权利要求12所述的方法，其特征在于，所述方法还包括：

若所述目标文本的类别标签和类别判别依据中，存在至少一个数据被更新，则确定所述文本审核模型存在优化需求；

响应于所述优化需求，将所述目标文本作为新的样本文本，并采用所述目标文本、所述目标文本在当前时刻所具有的类别标签，以及所述目标文本在当前时刻所具有的类别判别依据，构建一个训练样本；其中，所述当前时刻是指确定所述文本审核模型存在优化需求的时刻；

基于构建的训练样本对所述文本审核模型进行模型优化处理，得到优化后的文本审核模型。

14.一种模型处理装置，其特征在于，包括：

获取单元，用于获取目标语言模型的目标训练样本，所述目标训练样本包括：样本文本、相应样本文本的标注类别标签以及相应的类别判别依据；其中，样本文本的标注类别标签是从预设的多个类别标签中选取出的；

所述获取单元，还用于获取所述目标语言模型的任务描述指令；所述任务描述指令用于指示：根据所述多个类别标签对输入文本进行类别审核，并生成所述输入文本的类别标签和相应的类别判别依据；

处理单元，用于基于所述任务描述指令和所述目标训练样本，构建用于训练所述目标语言模型的训练指令文本；其中，所述目标训练样本中的样本文本作为输入文本，位于所述训练指令文本中；

所述处理单元，还用于基于所述训练指令文本对所述目标语言模型进行模型训练，并将训练后的目标语言模型作为文本审核模型；所述文本审核模型用于对输入的任一文本进行类别审核，并输出相应的类别标签以及类别判别依据。

15.一种计算机设备，包括输入接口和输出接口，其特征在于，还包括：处理器以及计算机存储介质；

其中，所述处理器适于实现一条或多条指令，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行如权利要求1-13任一项所述的模型处理方法。

16.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如权利要求1-13任一项所述的模型处理方法。