CN117972436A - 大语言模型的训练方法、训练装置、存储介质及电子设备 - Google Patents

Abstract

本说明书实施例公开了一种大语言模型的训练方法、训练装置、存储介质及电子设备，该训练方法包括：获取包含隐私信息的训练数据集，根据训练数据集对待训练大语言模型进行训练，以获取与训练数据集对应的第一平均梯度，并根据第一平均梯度构建噪声信息；根据预设数据量从训练数据集中确定目标训练数据集，采用目标训练数据集对待训练大语言模型进行训练，以获取与目标训练数据集对应的第二平均梯度；在目标训练数据集包含隐私信息时，将噪声信息与第二平均梯度进行叠加形成叠加梯度，并根据叠加梯度对待训练大语言模型进行参数优化；在目标训练数据集不包含隐私信息时，根据第二平均梯度对待训练大语言模型进行参数优化。

Description

大语言模型的训练方法、训练装置、存储介质及电子设备

技术领域

本说明书涉及人工智能技术领域，尤其涉及一种大语言模型的训练方法、大语言模型的训练装置、计算机可读存储介质及电子设备。

背景技术

大语言模型基于海量文本数据进行训练，对训练数据具有较强的记忆能力。一旦训练样本中包含隐私信息，比如邮箱、手机号等个人识别信息，攻击者就有一定概率通过与大模型进行问答交互，从大模型的回答中还原出部分隐私数据。

目前，在训练大语言模型时，常见的防护方式有两种：一种是直接针对训练样本中的隐私信息进行删除或者脱敏处理，一种是在训练环节，在使用随机梯度下降算法更新模型参数时叠加噪音，比如差分隐私随机梯度下降算法（DP-SGD），该算法的核心思想是通过干预模型用来更新参数的梯度来保护训练集的隐私，而不是直接获取数据。其中，第一种方法虽然可以解决隐私泄露问题，但是却导致大语言模型不识别隐私信息，或者只识别脱敏后的隐私信息，一旦需要使用大语言模型处理包含隐私信息的文本时，大语言模型无法正确理解隐私信息，降低了大语言模型的理解能力；第二种方法也可以解决隐私泄露问题，但是由于在训练时，所有训练样本对应的梯度都叠加了噪音，导致训练得到的大语言模型的稳定性和准确度较差。

发明内容

本说明书实施例提供一种大语言模型的训练方法，该训练方法通过根据包含隐私信息的训练数据集中所有训练数据进行训练，获取对应的第一平均梯度，并基于第一平均梯度构建噪声信息；从训练数据集中确定目标训练数据集，根据目标训练数据集对待训练大语言模型进行训练，获取对应的第二平均梯度；在输入的目标训练数据集包含隐私信息时，将第二平均梯度和噪声信息叠加形成叠加梯度，根据叠加梯度对待训练大语言模型进行参数优化；在目标训练数据集不包含隐私信息时，根据第二平均梯度对待训练大语言模型进行参数优化。该训练方法包括：

获取包含隐私信息的训练数据集，根据所述训练数据集对待训练大语言模型进行训练，以获取与所述训练数据集对应的第一平均梯度，并根据所述第一平均梯度构建噪声信息；

根据预设数据量从所述训练数据集中确定目标训练数据集，采用所述目标训练数据集对待训练大语言模型进行训练，以获取与所述目标训练数据集对应的第二平均梯度；

在所述目标训练数据集包含隐私信息时，将所述噪声信息与所述第二平均梯度进行叠加形成叠加梯度，并根据所述叠加梯度对所述待训练大语言模型进行参数优化；在所述目标训练数据集不包含隐私信息时，根据所述第二平均梯度对所述待训练大语言模型进行参数优化。

进一步地，在一些实施方式中，所述根据所述训练数据集对待训练大语言模型进行训练，以获取与所述训练数据集对应的第一平均梯度，包括：

将所述训练数据集中各训练数据分别输入至所述待训练大语言模型进行特征提取，以获取与各所述训练数据对应的预测文本信息；

根据所述预测文本信息和与各所述训练数据对应的标记文本信息确定与各所述训练数据对应的损失函数；

基于所述损失函数确定与各所述训练数据对应的梯度，根据所有训练数据对应的梯度和所述训练数据集中的数据总量确定所述第一平均梯度。

进一步的，在一些实施方式中，所述根据所述第一平均梯度构建噪声信息，包括：

根据预设比例对所述第一平均梯度的大小进行缩小，并根据缩小后的梯度大小构建所述噪声信息，其中，所述噪声信息包括连续型噪声和非连续型噪声。

进一步的，当所述噪声信息为连续型噪声，且所述连续型噪声为高斯噪声时；在一些实施方式中，所述根据缩小后的梯度大小构建所述噪声信息，包括：

以零为均值、所述缩小后的梯度大小为标准差，构建高斯噪声。

进一步的，当所述噪声信息为非连续型噪声，且所述非连续型噪声为椒盐噪声时；在一些实施方式中，所述根据缩小后的梯度大小构建所述噪声信息，包括：

将所述缩小后的梯度大小作为噪声大小，根据所述噪声大小构建椒盐噪声。

进一步地，在一些实施方式中，所述根据预设数据量从所述训练数据集中确定目标训练数据集，包括：

根据所述预设数据量从所述训练数据集中随机选择一批训练数据，并根据所述训练数据构建所述目标训练数据集，其中，所述预设数据量小于所述训练数据集中的训练数据总量。

进一步地，在一些实施方式中，所述采用所述目标训练数据集对待训练大语言模型进行训练，以获取与所述目标训练数据集对应的第二平均梯度，包括：

将所述目标训练数据集中各目标训练数据分别输入至所述待训练大语言模型进行特征提取，以获取与各所述目标训练数据对应的预测文本信息；

根据所述预测文本信息和与各所述目标训练数据对应的标记文本信息确定与各所述目标训练数据对应的损失函数；

基于所述损失函数确定与各所述目标训练数据对应的梯度，根据所有目标训练数据对应的梯度和所述目标训练数据集中的目标训练数据总量确定所述第二平均梯度。

进一步地，在一些实施方式中，所述方法还包括：

在确定目标训练数据集后，调用预设的隐私信息检测器对所述目标训练数据集进行检测，以判断所述目标训练数据集中是否包含隐私信息；或者，

在获取与所述目标训练数据集对应的第二平均梯度后，调用预设的隐私信息检测器对所述目标训练数据集进行检测，以判断所述目标训练数据集中是否包含隐私信息。

进一步地，在一些实施方式中，所述调用隐私信息检测器对所述目标训练数据集进行检测，以判断所述目标训练数据集中是否包含隐私信息，包括：

通过所述隐私信息检测器根据检测规则和检测算法对所述目标训练数据集进行检测，以判断所述目标训练数据集中是否包含隐私信息。

进一步地，所述隐私信息检测器包含第一检测单元和第二检测单元；在一些实施方式中，所述通过所述隐私信息检测器根据检测规则和检测算法对所述目标训练数据集进行检测，包括：

通过所述第一检测单元根据预设的正则表达式对所述目标训练数据集中具有规则表达格式的隐私信息进行检测；

通过所述第二检测单元对所述目标训练数据集中的目标训练数据进行特征提取，以对所述目标训练数据集中不具有规则表达格式的隐私信息进行检测。

进一步的，在一些实施方式中，所述方法还包括：

在根据所述目标训练数据集完成对所述待训练大语言模型的训练后，继续根据所述预设数据量从所述训练数据集中确定目标训练数据集，并根据新确定的所述目标训练数据集对所述待训练大语言模型进行训练，直至与所述待训练大语言模型对应的损失函数收敛或者对所述待训练大语言模型完成预设次数的训练。

本说明书实施例还提供一种大语言模型的训练装置，包括：

第一梯度计算模块，用于获取包含隐私信息的训练数据集，根据所述训练数据集对待训练大语言模型进行训练，以获取与所述训练数据集对应的第一平均梯度，并根据所述第一平均梯度构建噪声信息；

第二梯度计算模块，用于根据预设数据量从所述训练数据集中确定目标训练数据集，采用所述目标训练数据集对待训练大语言模型进行训练，以获取与所述目标训练数据集对应的第二平均梯度；

训练模块，用于在所述目标子训练数据集包含隐私信息时，根据所述第一平均梯度构建噪声信息，将所述噪声信息与所述第二平均梯度进行叠加形成叠加梯度，并根据所述叠加梯度对所述待训练大语言模型进行参数优化；在所述目标训练数据集不包含隐私信息时，根据所述第二平均梯度对所述待训练大语言模型进行参数优化。

本说明书实施例还提供一种计算机程序产品，所述计算机程序产品存储有至少一条指令，所述至少一条指令适于由处理器加载并执行上述的训练方法的步骤。

本说明书实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行上述的训练方法的步骤。

本说明书实施例还提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的训练方法的步骤。

在本说明书实施例中，获取包含隐私信息的训练数据集，根据训练数据集对待训练大语言模型进行训练，以获取与训练数据集对应的第一平均梯度根据预设数据量从训练数据集中确定目标训练数据集，采用目标训练数据集对待训练大语言模型进行训练，以获取与目标训练数据集对应的第二平均梯度；在目标训练数据集包含隐私信息时，将噪声信息与第二平均梯度进行叠加形成叠加梯度，并根据叠加梯度对待训练大语言模型进行参数优化；在目标训练数据集不包含隐私信息时，根据第二平均梯度对待训练大语言模型进行参数优化。采用本说明书实施例提出的大语言模型的训练方法可以既防止隐私泄露，又提高大语言模型的准确性。

附图说明

图1为本说明书实施例提供的应用大语言模型的训练方法的示例性系统架构图；

图2为本说明书实施例提供的一种大语言模型的训练方法的流程示意图；

图3为本说明书实施例提供的一种采用目标训练数据集对待训练大语言模型进行训练的流程示意图；

图4为本说明书实施例提供的一种隐私信息检测器的结构示意图；

图5为本说明书实施例提供的一种大语言模型的训练装置的结构示意图；

图6为本说明书实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

在对本说明书实施例提供的大语言模型的训练方法进行具体说明之前，首先对相关的技术背景进行说明。

在本领域的相关技术中，训练大语言模型时，常见的防护方式有两种，一种是直接针对训练数据中的个人识别信息等隐私信息进行删除或者脱敏处理，一种是在训练环节，在使用随机梯度下降算法更新模型参数时叠加噪音，比如差分隐私随机梯度下降（DP-SGD），该方法的核心思想是通过干预模型用来更新参数的梯度来保护训练集中的隐私信息，而不是直接获取数据。

这两种方法虽然能够避免隐私泄露，但是存在相应的弊端。第一种方法会导致大模型不识别个人识别信息等隐私信息，或者只识别脱敏后的隐私信息。一旦需要使用大语言模型处理包含隐私信息的文本时，大语言模型无法正确理解隐私数据，比如让大语言模型提取出一段文本中的个人识别信息，就会出现识别错误的问题，大大降低了大模型的理解能力；第二种方法由于在训练过程中，会针对所有训练数据对应的梯度叠加噪声，无论训练数据是否包含隐私信息，然后根据叠加噪声后的梯度对模型的参数进行优化，因为噪声的存在，会影响大语言模型的精准性和稳定性。

请参见图1，为本说明书实施例提供的应用本说明书技术方案的示例性系统架构图。

如图1所示，系统架构100可以包括终端设备110、服务器120和网络130。终端设备110具体为用于进行文本处理的终端，例如可以是智能手机、笔记本电脑、台式机、车载电视等具有显示屏幕的电子设备。服务器120与终端设备110连接，服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，也可以是云服务器，等等。网络130可以是能够在终端设备110和服务器120之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无线通信链路。

根据实现需要，本说明书实施例中的系统架构可以具有任意数目的终端设备、网络和服务器。

本说明书实施例提供的大语言模型的训练方法可以应用于服务器120，也可以应用于终端设备110，或者可以由终端设备110和服务器120共同实施，本申请对此不做特殊限定。

在对本说明书实施例进行详细说明之前，对本说明书实施例可能涉及的技术术语进行解释。

1）个人识别信息：指当单独使用或与其他相关数据一起使用时，可以识别个人的信息。包含可以唯一识别个人的直接标识符（如护照信息），或组合以成功识别个人的多个准标识符（如出生日期）。常见的个人识别信息包括：手机号、证件号码、驾驶执照、通讯地址等。

2）大语言模型：Large Language Model，简称LLM，是一种基于海量文本数据训练的深度学习模型，它们能够生成自然语言文本或理解语言文本的含义。

3）随机梯度下降：一种简单但非常有效的方法，多用于支持向量机，逻辑回归（LR）等凸损失函数下的线性分类器的学习。

请参见图2，为本说明书实施例提供的一种大语言模型的训练方法的流程示意图。下面将针对图2所示的流程进行详细的阐述，所述大语言模型的训练方法具体可以包括以下步骤：

步骤S202，获取包含隐私信息的训练数据集，根据所述训练数据集对待训练大语言模型进行训练，以获取与所述训练数据集对应的第一平均梯度，并根据所述第一平均梯度构建噪声信息。

在本说明书一个或多个实施例中，在训练大语言模型时，可以采集大量包含隐私信息的训练数据，形成训练数据集，并根据训练数据集中的训练数据对待训练大语言模型进行训练。在采集包含隐私信息的训练数据集时，可以从网络、报纸、书本等多种渠道获取训练数据，也可以通过预训练的语言模型生成包含隐私信息的训练数据，本说明书实施例对此不作具体限定。

在本说明书一个或多个实施例中，在获取训练数据集后，可以将训练数据集中各训练数据分别输入至待训练大语言模型进行特征提取，以获取与各训练数据对应的预测文本信息；接着根据预测文本信息和与各训练数据对应的标记文本信息确定与各训练数据对应的损失函数；最后基于损失函数确定与各训练数据对应的梯度，并根据所有训练数据对应的梯度和训练数据集中的训练数据总量确定第一平均梯度，即对所有训练数据对应的梯度求平均即可获得第一平均梯度。

由于第一平均梯度是根据训练数据集中所有训练数据对应的梯度求平均得到的，因此第一平均梯度最能体现训练数据集中数据的平均状况，并且第一平均梯度能够表现训练数据集中的数据特点，因此可以基于第一平均梯度构建噪声信息，在从训练数据集中提取的目标训练数据集存在隐私信息时，将该噪声信息叠加至目标训练数据集对应的平均梯度上，进而根据叠加后的梯度对待训练大语言模型的参数进行优化。可以理解的是，当采用包含隐私信息的目标训练数据集进行模型训练时，在目标训练数据集对应的平均梯度上叠加基于第一平均梯度构建的噪声信息，既能保护隐私信息、提高模型的安全性能，防止攻击者通过与大语言模型进行问答交互，还原出隐私信息，又能保证大语言模型的精准性。

其中，在根据第一平均梯度构建噪声信息时，需要保证噪声的强度不影响模型的训练效果，因此可以根据预设比例对第一平均梯度的大小进行缩小，然后再根据缩小后的梯度大小构建噪声信息。例如，第一平均梯度的大小为G，该预设比例可以设置为5%，那么可以根据0.05G构建噪声信息。值得说明的是，预设比例还可以设置为其它值，只要保证噪声的强度不影响模型训练效果即可。

在本说明书一个或多个实施例中，该噪声信息可以是连续型噪声，也可以是非连续型噪声。例如，噪声信息可以是连续型的高斯噪声或者离散型的椒盐噪声，等等。

高斯噪声是指概率密度函数服从高斯分布（即正态分布）的一类噪声。当连续型噪声为高斯噪声时，可以以零为均值、缩小后的梯度大小为标准差，构建高斯噪声。

椒盐噪声也称为脉冲噪声，是图像中经常见到的一种噪声，它是一种随机出现的白点或者黑点，可能是亮的区域有黑色像素或是在暗的区域有白色像素（或是两者皆有）。当非连续型噪声为椒盐噪声时，可以将缩小后的梯度大小作为叠加的噪声大小，由于椒盐噪声包括椒噪声和盐噪声，因此可以将噪声大小取负值后的值作为椒噪声，将噪声大小作为盐噪声。

值得说明的是，通常叠加噪声时只能叠加连续型的噪声，而本说明书实施例中由于隐私信息在训练数据集中的占比较小，即使在梯度上叠加非连续型噪声，其对模型训练效果的影响也是可以忽略不计的，因此在本说明书实施例中，可以叠加任意类型的噪声，既保证了大语言模型的性能，又降低了训练难度。

步骤S204，根据预设数据量从所述训练数据集中确定目标训练数据集，采用所述目标训练数据集对待训练大语言模型进行训练，以获取与所述目标训练数据集对应的第二平均梯度。

在本说明书一个或多个实施例中，在采用训练数据集对待训练大语言模型进行训练时，可以根据预设数据量从训练数据集中随机选择一批训练数据，以形成目标训练数据集，其中，预设数据量小于训练数据集中所包含的训练数据总量，例如训练数据集中包含100条训练数据，预设数据量为32，那么可以从训练数据集中随机选择32条训练数据形成目标训练数据集，当然预设数据量还可以设置为其它值，只要小于训练数据集中的训练数据总量即可，本说明书实施例对此不作具体限定。

在本说明书一个或多个实施例中，在确定好目标训练数据集后，采用该目标训练数据集中的训练数据对待训练大语言模型进行训练。

请参见图3，为本说明书实施例提供的一种采用目标训练数据集对待训练大语言模型进行训练的流程示意图。如图3所示，该流程包括：

步骤S302，将所述目标训练数据集中各目标训练数据分别输入至所述待训练大语言模型进行特征提取，以获取与各所述目标训练数据对应的预测文本信息。

在本说明书一个或多个实施例中，在采用目标训练数据集对待训练大语言模型进行训练时，是将目标训练数据集中的目标训练数据逐个输入至待训练大语言模型进行训练的，通过待训练大语言模型分别对输入的目标训练数据进行特征提取，根据所提取的特征和任务类型输出对应的预测文本信息。

步骤S304，根据所述预测文本信息和与各所述目标训练数据对应的标记文本信息确定与各所述目标训练数据对应的损失函数。

在本说明书一个或多个实施例中，在获取与输入的目标训练数据对应的预测文本信息后，可以根据该预测文本信息和与目标训练数据对应的标记文本信息确定对应的损失函数，其中标记文本信息为理想的输出信息，损失函数例如可以是交叉熵损失函数、相似度损失函数，等等，本说明书实施例对此不作具体限定。

步骤S306，基于所述损失函数确定与各所述目标训练数据对应的梯度，根据所有目标训练数据对应的梯度和所述目标训练数据集中的目标训练数据总量确定所述第二平均梯度。

在本说明书一个或多个实施例中，可以采用批量梯度下降法对待训练大语言模型的参数进行优化，批量梯度下降法与随机梯度下降法类似，只不过训练样本由一个变成了多个。在随机梯度下降法中，首先基于损失函数确定与目标训练数据对应的梯度，然后根据梯度对待训练大语言模型的参数进行优化，该过程对应的表达式为：

（1）

其中，为第t次迭代的模型参数；/>为学习率，学习率为超参数；/>为损失函数/>关于参数/>的梯度；/>为优化后的模型参数。

从表达式（1）中可知，模型参数的优化是基于梯度实现的，因此在输入的训练数据包含隐私信息时，可以对该训练数据对应的梯度进行优化，以保证模型能够学习到隐私信息，对隐私信息进行准确识别，同时又不会被攻击者通过与大语言模型进行问答交互时获取隐私信息。在本说明书实施例中，由于对待训练大语言模型是采用批量梯度下降法进行优化的，因此可以在基于批量训练数据形成的目标训练数据集对应的平均梯度基础上叠加噪声信息。在本说明书实施例中，基于步骤S202中确定的第一平均梯度可以形成噪声信息，然后将该噪声信息叠加到与目标训练数据集对应的第二平均梯度上，最后基于叠加形成的梯度对待训练大语言模型的参数进行优化。其中，获取第二平均梯度的方法与获取第一平均梯度的方法相同，根据与目标训练数据集中各目标训练数据对应的梯度和目标训练数据集包含的目标训练数据总量进行平均计算即可得到第二平均梯度。

步骤S206，在所述目标训练数据集包含隐私信息时，将所述噪声信息与所述第二平均梯度进行叠加形成叠加梯度，并根据所述叠加梯度对所述待训练大语言模型进行参数优化；在所述目标训练数据集不包含隐私信息时，根据所述第二平均梯度对所述待训练大语言模型进行参数优化。

在本说明书一个或多个实施例中，为了保证大语言模型的精准度，同时避免攻击者通过与大语言模型进行问答交互获取隐私信息，在本说明书实施例中，仅在目标训练数据集包含隐私信息时，对基于损失函数确定的梯度进行优化，并根据优化后的梯度对模型参数进行优化，当目标训练数据集不包含隐私信息时，则直接根据基于损失函数确定的梯度对模型参数进行优化。

由于目标训练数据集是从训练数据集中随机选取的，因此检测目标训练数据集中是否存在隐私信息是必要的，在本说明书实施例中，可以在确定目标训练数据集后进行隐私信息检测，也可以在获取与目标训练数据集对应的第二平均梯度后进行隐私信息检测。

在进行隐私信息检测时，可以调用预设的隐私信息检测器对目标训练数据集进行检测，以判断目标训练数据集中是否包含隐私信息。具体地，该隐私信息检测器可以根据检测规则和检测算法对目标训练数据集进行检测，以判断目标训练数据集中是否包含隐私信息。

请参见图4，示出了本说明书实施例一种隐私信息检测器的结构示意图。如图4所示，隐私信息检测器400包括第一检测单元401和第二检测单元402。第一检测单元401可以根据预设的正则表达式对目标训练数据集中具有规则表达格式的隐私信息进行检测，例如手机号、证件号码码具体规则的表达格式，以证件号码码为例，证件号码码共有18位，且具有固定的编排规则，因此可以通过规则匹配的方式检测出目标训练数据集中具有规则表达格式的隐私信息；第二检测单元402为机器学习模型，可以对目标训练数据集中的目标训练数据进行特征提取，以对不具有规则表达格式的隐私信息进行检测。

在本说明书一个或多个实施例中，当通过隐私信息检测器检测出目标训练数据集包含隐私信息时，可以将噪声信息与第二平均梯度叠加形成叠加梯度，并根据叠加梯度对待训练大语言模型进行参数优化；当通过隐私信息检测器检测出目标训练数据集不包含隐私信息时，可以直接根据第二平均梯度对待训练大语言模型进行参数优化。

由于梯度为向量，包含多个梯度元素，在将噪声信息与第二平均梯度叠加形成叠加梯度时，可以在第二平均梯度中的部分梯度元素的基础上增加噪声信息对应的强度，在第二平均梯度中剩余梯度元素的基础上减去噪声信息对应的强度。

举例而言，当噪声为高斯噪声时，可以在第二平均梯度中预设比例α的梯度元素的基础上增加标准差（例如：g+0.05G，g为梯度元素，0.05为标准差），而在剩余梯度元素的基础上减去标准差（例如：g-0.05G），以形成所需的叠加梯度。预设比例α可以是50%、60%等等，本说明书实施例对此不作具体限定。

当噪声为椒盐噪声时，可以设定在第二平均梯度中预设比例β的梯度元素的基础上叠加椒噪声，而在剩余的梯度元素的基础上叠加盐噪声，以形成所需的叠加噪声，预设比例β例如可以是50%、60%等等，本说明书实施例对此不作具体限定。

可以理解的是，当目标训练数据集包含隐私信息时，在第二平均梯度的基础上叠加基于第一平均梯度构建的噪声信息，并根据叠加得到的叠加梯度对模型参数进行优化，当目标训练数据集不包含隐私信息时，直接根据第二平均梯度对模型参数进行优化，一方面通过叠加噪声能够保护隐私数据，另一方面能够让大语言模型在目标训练数据集上得到更优解，以保证训练生成的模型的精准度。

在本说明书一个或多个实施例中，需要根据训练数据集对待训练大语言模型进行多轮训练，以提高模型的稳定性和精准性，相应地，在根据目标训练数据集对待训练大语言模型完成训练后，可以继续根据预设数据量从训练数据集中重新确定目标训练数据集，然后根据新确定的目标训练数据集对待训练大语言模型进行如上述实施例中所述的训练流程，循环执行该流程，直至与待训练大语言模型对应的损失函数收敛或者对待训练大语言模型完成预设次数的训练。其中损失函数收敛的判断标准是损失函数小于预设阈值，该预设阈值为接近零的值，本说明书实施例对此不作具体限定。

在完成对待训练大语言模型的训练后，可以采用训练好的大语言模型进行文本处理。由于在对大语言模型进行训练的过程中，当目标训练数据集中包含隐私信息时，对梯度叠加噪声形成叠加梯度，并根据叠加梯度对模型参数进行优化，当目标训练数据集中不包含隐私信息时，直接根据梯度对模型参数进行优化，因此在采用训练好的大语言模型进行文本处理时，能够提高文本处理的精准度，同时还能防止攻击者与大语言模型问答交互获取隐私信息。

本说明书实施例中的大语言模型的训练方法采用包含隐私信息的训练数据集中的训练数据对待训练大语言模型进行训练，在训练过程中，采用批量梯度下降法对模型参数进行优化，同时在训练过程中，当输入的目标训练数据集中包含隐私信息时，根据训练数据集中所有训练数据对应的梯度确定第一平均梯度，基于第一平均梯度可以构建噪声信息，在获取目标训练数据集对应的第二平均梯度后，可以在第二平均梯度的基础上叠加噪声信息形成叠加梯度，并根据叠加梯度对待训练大语言模型的参数进行优化，当输入的目标训练数据集中不包含隐私信息时，直接根据第二平均梯度对模型参数进行优化。本说明书实施例中的大语言模型的训练方法，一方面能够提高大语言模型的精准度；另一方面能够避免攻击者通过与大语言模型进行问答交互获取隐私信息，提高模型的安全性。

请参见图5，为本说明书实施例提供的一种大语言模型的训练装置的结构示意图。如图5所示，该大语言模型的训练装置1可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。根据一些实施例，该大语言模型的训练装置1包括第一梯度计算模块11、第二梯度计算模块12、训练模块13，具体包括：

第一梯度计算模块11，用于获取包含隐私信息的训练数据集，根据所述训练数据集对待训练大语言模型进行训练，以获取与所述训练数据集对应的第一平均梯度，并根据所述第一平均梯度构建噪声信息；

第二梯度计算模块12，用于根据预设数据量从所述训练数据集中确定目标训练数据集，采用所述目标训练数据集对待训练大语言模型进行训练，以获取与所述目标训练数据集对应的第二平均梯度；

训练模块13，用于在所述目标训练数据集包含隐私信息时，根据所述第一平均梯度构建噪声信息，将所述噪声信息与所述第二平均梯度进行叠加形成叠加梯度，并根据所述叠加梯度对所述待训练大语言模型进行参数优化；在所述目标训练数据集不包含隐私信息时，根据所述第二平均梯度对所述待训练大语言模型进行参数优化。

可选的，所述第一梯度计算模块11，用于：

将所述训练数据集中各训练数据分别输入至所述待训练大语言模型进行特征提取，以获取与各所述训练数据对应的预测文本信息；

根据所述预测文本信息和与各所述训练数据对应的标记文本信息确定与各所述训练数据对应的损失函数；

基于所述损失函数确定与各所述训练数据对应的梯度，根据所有训练数据对应的梯度和所述训练数据集中的数据总量确定所述第一平均梯度。

可选的，所述第一梯度计算模块11，包括：

噪声信息构建单元，用于根据预设比例对所述第一平均梯度的大小进行缩小，并根据缩小后的梯度大小构建所述噪声信息，其中，所述噪声信息包括连续型噪声和非连续型噪声。

可选的，所述噪声信息构建单元，用于：

当所述噪声信息为连续型噪声时，以零为均值、所述缩小后的梯度大小为标准差，构建高斯噪声。

可选的，所述噪声信息构建单元，用于：

当所述噪声信息为非连续型噪声时，将所述缩小后的梯度大小作为噪声大小，根据所述噪声大小构建椒盐噪声。

可选的，所述第二梯度计算模块12，用于：

根据所述预设数据量从所述训练数据集中随机选择一批训练数据，并根据所述训练数据构建所述目标训练数据集，其中，所述预设数据量小于所述训练数据集中的训练数据总量。

可选的，所述第二梯度计算模块12，用于：

将所述目标训练数据集中各目标训练数据分别输入至所述待训练大语言模型进行特征提取，以获取与各所述目标训练数据对应的预测文本信息；

根据所述预测文本信息和与各所述目标训练数据对应的标记文本信息确定与各所述目标训练数据对应的损失函数；

基于所述损失函数确定与各所述目标训练数据对应的梯度，根据所有目标训练数据对应的梯度和所述目标训练数据集中的目标训练数据总量确定所述第二平均梯度。

可选的，所述大语言模型的训练装置1，还包括：

隐私信息检测模块，用于在确定目标训练数据集后，调用预设的隐私信息检测器对所述目标训练数据集进行检测，以判断所述目标训练数据集中是否包含隐私信息；或者，

在获取与所述目标训练数据集对应的第二平均梯度后，调用预设的隐私信息检测器对所述目标训练数据集进行检测，以判断所述目标训练数据集中是否包含隐私信息。

可选的，所述隐私信息检测模块，用于：

通过所述隐私信息检测器根据检测规则和检测算法对所述目标训练数据集进行检测，以判断所述目标训练数据集中是否包含隐私信息。

可选的，所述隐私信息检测器包含第一检测单元和第二检测单元；所述隐私信息检测模块，用于：

通过所述第一检测单元根据预设的正则表达式对所述目标训练数据集中具有规则表达格式的隐私信息进行检测；

通过所述第二检测单元对所述目标训练数据集中的目标训练数据进行特征提取，以对所述目标训练数据集中不具有规则表达格式的隐私信息进行检测。

可选的，所述大语言模型的训练装置1，还用于：

在根据所述目标训练数据集完成对所述待训练大语言模型的训练后，继续根据所述预设数据量从所述训练数据集中确定目标训练数据集，并根据新确定的所述目标训练数据集对所述待训练大语言模型进行训练，直至与所述待训练大语言模型对应的损失函数收敛或者对所述待训练大语言模型完成预设次数的训练。

上述装置实施例与方法实施例相对应，具体说明可以参见方法实施例部分的描述，此处不再赘述。装置实施例是基于对应的方法实施例得到，与对应的方法实施例具有同样的技术效果，具体说明可参见对应的方法实施例。

本说明书实施例还提供的一种计算机可读存储介质，所述计算机可读存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图2～图4所示实施例的所述方法，具体执行过程可以参见图2～图4所示实施例的具体说明，在此不进行赘述。

本说明书还提供的一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图2～图4所示实施例的所述方法，具体执行过程可以参见图2～图4所示实施例的具体说明，在此不进行赘述。

本说明书实施例还提供了图6所示的电子设备的结构示意图。如图6，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述的语音活动检测方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device, PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (15)

1.一种大语言模型的训练方法，所述方法包括：

获取包含隐私信息的训练数据集，根据所述训练数据集对待训练大语言模型进行训练，以获取与所述训练数据集对应的第一平均梯度，并根据所述第一平均梯度构建噪声信息；

根据预设数据量从所述训练数据集中确定目标训练数据集，采用所述目标训练数据集对待训练大语言模型进行训练，以获取与所述目标训练数据集对应的第二平均梯度；

在所述目标训练数据集包含隐私信息时，将所述噪声信息与所述第二平均梯度进行叠加形成叠加梯度，并根据所述叠加梯度对所述待训练大语言模型进行参数优化；在所述目标训练数据集不包含隐私信息时，根据所述第二平均梯度对所述待训练大语言模型进行参数优化。

2.根据权利要求1所述的训练方法，所述根据所述训练数据集对待训练大语言模型进行训练，以获取与所述训练数据集对应的第一平均梯度，包括：

将所述训练数据集中各训练数据分别输入至所述待训练大语言模型进行特征提取，以获取与各所述训练数据对应的预测文本信息；

根据所述预测文本信息和与各所述训练数据对应的标记文本信息确定与各所述训练数据对应的损失函数；

基于所述损失函数确定与各所述训练数据对应的梯度，根据所有训练数据对应的梯度和所述训练数据集中的数据总量确定所述第一平均梯度。

3.根据权利要求1所述的方法，所述根据所述第一平均梯度构建噪声信息，包括：

根据预设比例对所述第一平均梯度的大小进行缩小，并根据缩小后的梯度大小构建所述噪声信息，其中，所述噪声信息包括连续型噪声和非连续型噪声。

4.根据权利要求3所述的方法，当所述噪声信息为连续型噪声，且所述连续型噪声为高斯噪声时；

所述根据缩小后的梯度大小构建所述噪声信息，包括：

以零为均值、所述缩小后的梯度大小为标准差，构建高斯噪声。

5.根据权利要求3所述的方法，当所述噪声信息为非连续型噪声，且所述非连续型噪声为椒盐噪声时；

所述根据缩小后的梯度大小构建所述噪声信息，包括：

将所述缩小后的梯度大小作为噪声大小，根据所述噪声大小构建椒盐噪声。

6.根据权利要求1所述的训练方法，所述根据预设数据量从所述训练数据集中确定目标训练数据集，包括：

根据所述预设数据量从所述训练数据集中随机选择一批训练数据，并根据所述训练数据构建所述目标训练数据集，其中，所述预设数据量小于所述训练数据集中的训练数据总量。

7.根据权利要求1或6所述的训练方法，所述采用所述目标训练数据集对待训练大语言模型进行训练，以获取与所述目标训练数据集对应的第二平均梯度，包括：

将所述目标训练数据集中各目标训练数据分别输入至所述待训练大语言模型进行特征提取，以获取与各所述目标训练数据对应的预测文本信息；

根据所述预测文本信息和与各所述目标训练数据对应的标记文本信息确定与各所述目标训练数据对应的损失函数；

基于所述损失函数确定与各所述目标训练数据对应的梯度，根据所有目标训练数据对应的梯度和所述目标训练数据集中的目标训练数据总量确定所述第二平均梯度。

8.根据权利要求1所述的训练方法，所述方法还包括：

在确定目标训练数据集后，调用预设的隐私信息检测器对所述目标训练数据集进行检测，以判断所述目标训练数据集中是否包含隐私信息；或者，

在获取与所述目标训练数据集对应的第二平均梯度后，调用预设的隐私信息检测器对所述目标训练数据集进行检测，以判断所述目标训练数据集中是否包含隐私信息。

9.根据权利要求8所述的训练方法，所述调用隐私信息检测器对所述目标训练数据集进行检测，以判断所述目标训练数据集中是否包含隐私信息，包括：

通过所述隐私信息检测器根据检测规则和检测算法对所述目标训练数据集进行检测，以判断所述目标训练数据集中是否包含隐私信息。

10.根据权利要求9所述的方法，所述隐私信息检测器包含第一检测单元和第二检测单元；

所述通过所述隐私信息检测器根据检测规则和检测算法对所述目标训练数据集进行检测，包括：

通过所述第一检测单元根据预设的正则表达式对所述目标训练数据集中具有规则表达格式的隐私信息进行检测；

通过所述第二检测单元对所述目标训练数据集中的目标训练数据进行特征提取，以对所述目标训练数据集中不具有规则表达格式的隐私信息进行检测。

11.根据权利要求1所述的方法，所述方法还包括：

在根据所述目标训练数据集完成对所述待训练大语言模型的训练后，继续根据所述预设数据量从所述训练数据集中确定目标训练数据集，并根据新确定的所述目标训练数据集对所述待训练大语言模型进行训练，直至与所述待训练大语言模型对应的损失函数收敛或者对所述待训练大语言模型完成预设次数的训练。

12.一种大语言模型的训练装置，包括：

第一梯度计算模块，用于获取包含隐私信息的训练数据集，根据所述训练数据集对待训练大语言模型进行训练，以获取与所述训练数据集对应的第一平均梯度，并根据所述第一平均梯度构建噪声信息；

第二梯度计算模块，用于根据预设数据量从所述训练数据集中确定目标训练数据集，采用所述目标训练数据集对待训练大语言模型进行训练，以获取与所述目标训练数据集对应的第二平均梯度；

训练模块，用于在所述目标训练数据集包含隐私信息时，将所述噪声信息与所述第二平均梯度进行叠加形成叠加梯度，并根据所述叠加梯度对所述待训练大语言模型进行参数优化；在所述目标训练数据集不包含隐私信息时，根据所述第二平均梯度对所述待训练大语言模型进行参数优化。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～11中任意一项所述训练方法的步骤。

14.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行权利要求1～11中任意一项所述训练方法的步骤。

15.一种计算机程序产品，其上存储有至少一条指令，其特征在于，所述至少一条指令被处理器执行时实现权利要求1～11中任意一项所述训练方法的步骤。