CN117973488B - 具有隐私保护的大语言模型训练、推理方法及系统 - Google Patents

Abstract

本发明公开了一种具有隐私保护的大语言模型训练、推理方法及系统，涉及大语言模型训练技术领域，该方法包括：接收模型持有方发送的公钥，公钥与模型持有方的私钥相对应；对原始字符进行转化，得到第一矩阵和第二矩阵，并基于第一矩阵和第二矩阵得到第一数据；接收多头注意力层中的参数矩阵加密形成的密文矩阵；利用第一数据和密文矩阵计算得到第二数据；构建一个随机矩阵，并基于第一数据、第二数据和随机矩阵得到第三数据；将第三数据发送给模型持有方，以使模型持有方通过私钥对第三数据进行解密后，对模型进行训练，得到训练后的目标大语言模型。本发明兼顾数据隐私保护和模型隐私保护的同时，还可以保证模型训练的准确性。

Description

具有隐私保护的大语言模型训练、推理方法及系统

技术领域

本发明实施例涉及大语言模型训练技术领域，具体涉及一种具有隐私保护的大语言模型训练、推理方法及系统。

背景技术

对通用大语言模型进行有针对性调参，以适用于特定场景是大语言模型常见使用方式。在有针对性的调参时，会面临一些安全性问题。例如，通用大语言模型作为人工智能金融客服，为客户提供金融咨询，为使通用大语言模型适用于金融场景，需要在一些以金融为背景的文本数据上进行训练，而这些信息具有高度隐私性，是不能直接公开给模型训练方的，否则会违反法律法规。

针对上述技术问题，现有技术对其解决的方式大概有两种方式，其中一种方式是采用对数据脱敏技术来保护数据的隐私。训练方在脱敏后的文本数据上训练模型。这种技术虽然保护了文本信息，但是使得文本失去了关键信息以及文本中文字的统计关系，在脱敏后的文本数据上训练得到的模型准确率低，效果差，缺乏实用性。

还有一种方式是选择将通用模型直接给数据方，让数据方在自己的文本数据上进行训练，以达到对通用模型进行针对性调参的目的。这一技术虽然保护了数据方的数据不被泄露，但模型方的通用模型直接泄露给了数据方。而通用模型是由模型方花费大量财力训练出来的，属于模型方的商业机密，在现实中模型方不可能将通用模型直接给数据方。因此，该方案缺乏实际可行性。

发明内容

为了克服现有技术的不足，本发明实施例的目的在于提供一种具有隐私保护的大语言模型训练、推理方法及系统，其兼顾数据隐私保护和模型隐私保护的同时，还可以保证模型训练的准确性。

为解决上述问题，本发明实施例第一方面公开一种具有隐私保护的大语言模型训练方法，包括：

接收模型持有方发送的公钥，公钥与模型持有方的私钥相对应；

利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化，得到n×d维的第一矩阵X和n×d维的第二矩阵Y，并基于第一矩阵X和第二矩阵Y得到第一数据Z₁：Z₁=X+Y；其中，模型持有方持有的模型为tansformer模型，n为原始字符的总数，d为tansformer模型的维度参数；

接收模型持有方发送的密文矩阵，密文矩阵/>为模型持有方利用公钥对参数矩阵/>加密形成，参数矩阵/>为编码模块的多头注意力层中的参数矩阵；其中，W_i,1为多头注意力层中的第1个参数的第i个参数矩阵，W_i,2为多头注意力层中的第2个参数的第i个参数矩阵，W_i,3为多头注意力层中的第3个参数的第i个参数矩阵，W₄为多头注意力层中的第4个参数的参数矩阵，/>分别为W_i,1、W_i,2、W_i,3、W₄的密文参数矩阵，其中，1≤i≤h，h为第1-3个参数的参数矩阵数；

利用第一数据Z₁和密文矩阵计算得到n×d维的第二数据Z₂；

构建一个n×d维的随机矩阵G，随机矩阵中的元素符合高斯分布，并基于第一数据Z₁、第二数据Z₂和随机矩阵G得到第三数据Z₃：Z₃= Z₂+ Z₁+G；

将第三数据Z₃发送给模型持有方，以使所述模型持有方通过私钥对第三数据Z₃进行解密后，作为模型持有方持的编码模块的归一化层的输入数据，对tansformer模型进行训练，得到训练后的目标大语言模型。

作为较佳的实施例，在本发明实施例的第一方面中，利用第一数据Z₁和密文矩阵计算得到n×d维的第二数据Z₂，包括：

基于第一数据Z₁和密文矩阵，使用公钥同态计算得到中间结果R：

；

其中，R _i 为第i个中间结果；

计算中间结果R的近似值S：

假设R _i =（r _i1，r _i2，…，r _im），则：

；

其中，S _i 为R _i 的近似值，r _ij为R _i 中的第j个元素，1≤j≤m，m为R _i 的元素总数；f(r _ij )为函数e ^x 在x=r _ij 处泰勒展开式的前五项，将f(r _ij )作为e ^rij 的近似值，即：

；

使用公钥同态计算，并将/>依次拼接形成拼接矩阵H；

使用公钥同态计算Z₂：

。

作为较佳的实施例，在本发明实施例的第一方面中，所述tansformer模型包括编码模块、解码模块、线性层以及softmax层；

模型持有方通过私钥对第三数据Z₃进行解密后，作为模型持有方持有的编码模块的归一化层的输入数据，对tansformer模型进行训练，得到训练后的目标大语言模型，包括：

模型持有方通过私钥对第三数据Z₃进行解密后，得到第四数据Z₄；

模型持有方将第四数据Z₄输入tansformer模型的编码模块的第一归一化层，再依次经过编码模块的前馈层、恒等映射层以及第二归一化层后，再依次通过解码模块、线性层以及softmax层输出结果，使用反向传播算法完成模型的参数的更新，直至tansformer模型满足需求，得到目标大语言模型。

本发明实施例第二方面公开一种具有隐私保护的大语言模型训练方法，其包括以下步骤：

向数据持有方发送的公钥，公钥与私钥相对应；

向数据持有方发送tansformer模型中编码模块提供的词嵌入层和位置编码层，以使数据持有方基于词嵌入层和位置编码层分别对原始字符进行转化，得到n×d维的第一矩阵X和n×d维的第二矩阵Y，数据持有方还基于第一矩阵X和第二矩阵Y得到第一数据Z₁：Z₁=X+Y；其中，模型持有方持有的模型为tansformer模型，n为原始字符的总数，d为tansformer模型的维度参数；

利用公钥对参数矩阵加密形成密文矩阵/>，参数矩阵为编码模块的多头注意力层中的参数矩阵；并将密文矩阵/>发送给数据持有方，以使数据持有方利用第一数据Z₁和密文矩阵/>计算得到n×d维的第二数据Z₂；其中，W_i,1为多头注意力层中的第1个参数的第i个参数矩阵，W_i,2为多头注意力层中的第2个参数的第i个参数矩阵，W_i,3为多头注意力层中的第3个参数的第i个参数矩阵，W₄为多头注意力层中的第4个参数的参数矩阵，/>分别为W_i,1、W_i,2、W_i,3、W₄的密文参数矩阵，其中，1≤i≤h，h为第1-3个参数的参数矩阵数；

接收数据持有方发送的第三数据Z₃：Z₃= Z₂+ Z₁+G，其中，G为数据持有方构建的一个n×d维的随机矩阵G，随机矩阵中的元素符合高斯分布；

通过私钥对第三数据Z₃进行解密后，作为编码模块的归一化层的输入数据，对tansformer模型进行训练，得到训练后的目标大语言模型。

作为较佳的实施例，在本发明实施例的第二方面中，所述数据持有方利用第一数据Z₁和密文矩阵计算得到n×d维的第二数据Z₂，包括：

数据持有方基于第一数据Z₁和密文矩阵，使用公钥同态计算得到中间结果R：

；

其中，R _i 为第i个中间结果；

数据持有方计算中间结果R的近似值S：

假设R _i =（r _i1，r _i2，…，r _im），则：

；

其中，S _i 为R _i 的近似值，r _ij为R _i 中的第j个元素，1≤j≤m，m为R _i 的元素总数；f(r _ij )为函数e ^x 在x=r _ij 处泰勒展开式的前五项，将f(r _ij )作为e ^rij 的近似值，即：

；

数据持有方使用公钥同态计算，并将依次拼接形成拼接矩阵H；

数据持有方使用公钥同态计算Z₂：

。

作为较佳的实施例，在本发明实施例的第二方面中，所述tansformer模型包括编码模块、解码模块、线性层以及softmax层；

通过私钥对第三数据Z₃进行解密后，作为编码模块的归一化层的输入数据，对tansformer模型进行训练，得到训练后的目标大语言模型，包括：

通过私钥对第三数据Z₃进行解密后，得到第四数据Z₄；

将第四数据Z₄输入tansformer模型的编码模块的第一归一化层，再依次经过编码模块的前馈层、恒等映射层以及第二归一化层后，再依次通过解码模块、线性层以及softmax层输出结果，使用反向传播算法完成模型的参数的更新，直至tansformer模型满足需求，得到目标大语言模型。

本发明实施例第三方面公开了一种具有隐私保护的大语言模型推理方法，包括本发明实施例第二方面的一种具有隐私保护的大语言模型训练方法，还包括以下步骤：

接收目标数据，并将目标数据输入目标大语言模型，得到推理结果。

本发明实施例第四方面公开了一种具有隐私保护的大语言模型训练系统，其包括：

第一接收单元，用于接收模型持有方发送的公钥，公钥与模型持有方的私钥相对应；

转化单元，用于利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化，得到n×d维的第一矩阵X和n×d维的第二矩阵Y，并基于第一矩阵X和第二矩阵Y得到第一数据Z₁：Z₁=X+Y；其中，模型持有方持有的模型为tansformer模型，n为原始字符的总数，d为tansformer模型的维度参数；

第二接收单元，用于接收模型持有方发送的密文矩阵，密文矩阵为模型持有方利用公钥对参数矩阵/>加密形成，参数矩阵为编码模块的多头注意力层中的参数矩阵；其中，W_i,1为多头注意力层中的第1个参数的第i个参数矩阵，W_i,2为多头注意力层中的第2个参数的第i个参数矩阵，W_i,3为多头注意力层中的第3个参数的第i个参数矩阵，W₄为多头注意力层中的第4个参数的参数矩阵，/>分别为W_i,1、W_i,2、W_i,3、W₄的密文参数矩阵，其中，1≤i≤h，h为第1-3个参数的参数矩阵数；

第一计算单元，用于利用第一数据Z₁和密文矩阵计算得到n×d维的第二数据Z₂；

第二计算单元，用于构建一个n×d维的随机矩阵G，随机矩阵中的元素符合高斯分布，并基于第一数据Z₁、第二数据Z₂和随机矩阵G得到第三数据Z₃：Z₃= Z₂+ Z₁+G；

训练单元，用于将第三数据Z₃发送给模型持有方，以使模型持有方通过私钥对第三数据Z₃进行解密后，作为模型持有方持有的编码模块的归一化层的输入数据，对tansformer模型进行训练，得到训练后的目标大语言模型。

本发明实施例第五方面公开一种电子设备，包括存储器、处理器以及存储在存储器中并能在处理器上运行的计算机程序，处理器执行计算机程序时实现上述本发明实施例第一方面公开的一种具有隐私保护的大语言模型训练方法的步骤。

本发明实施例第六方面公开一种计算机可读存储介质，其存储有计算机程序，其中，计算机程序使得计算机执行上述本发明实施例第一方面公开的一种具有隐私保护的大语言模型训练方法的步骤。

本发明实施例第七方面公开一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述本发明实施例第一方面公开的具有隐私保护的大语言模型训练方法的步骤。

本发明实施例第八方面公开一种应用发布平台，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行上述本发明实施例第一方面公开的具有隐私保护的大语言模型训练方法的步骤。

与现有技术相比，本发明实施例的有益效果在于：

本发明实施例将在模型持有方的一些步骤转移到数据持有方进行操作，具体是将tansformer模型中编码模块的词嵌入层、位置编码层、多头注意力层以及第一恒等映射层转移到数据持有方进行操作，而且对多头注意力层的参数矩阵进行加密操作，保证模型持有方的模型参数的隐私保护，而且在返回模型持有方的第三数据Z₃中增加随机矩阵，也保证了数据持有方数据的隐私保护，由于未进行脱敏操作，可以保证tansformer模型的准确性，具有较高的实用价值。

附图说明

图1是本发明实施例一提供的一种具有隐私保护的大语言模型训练方法的流程示意图；

图2是本发明实施例一提供的tansformer模型的原理框图；

图3是本发明实施例二提供的一种具有隐私保护的大语言模型训练方法的流程示意图；

图4是本发明实施例四公开的一种具有隐私保护的大语言模型训练系统的结构示意图；

图5是本发明实施例五公开的一种具有隐私保护的大语言模型训练系统的结构示意图；

图6是本发明实施例六公开的一种电子设备的结构示意图。

具体实施方式

本具体实施方式仅仅是对本发明实施例的解释，其并不是对本发明实施例的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本发明实施例的权利要求范围内都受到专利法的保护。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明实施例保护的范围。

本申请的说明书和权利要求书中的术语“包括”以及它的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本发明实施例将在模型持有方的一些步骤转移到数据持有方进行操作，具体是将tansformer模型中编码模块的词嵌入层、位置编码层、多头注意力层以及第一恒等映射层转移到数据持有方进行操作，而且对多头注意力层的参数矩阵进行加密操作，保证模型持有方的模型参数的隐私保护，而且在返回模型持有方的第三数据Z₃中增加随机矩阵，也保证了数据持有方数据的隐私保护，由于未进行脱敏操作，可以保证tansformer模型的准确性，具有较高的实用价值，以下结合附图进行详细描述。

实施例一

请参阅图1，图1是本发明一个实施例公开的一种具有隐私保护的大语言模型训练方法的流程示意图。本发明实施例一的执行主体为数据持有方的相关电子设备。

如图1所示，该具有隐私保护的大语言模型训练方法包括：

S110、接收模型持有方发送的公钥，公钥与模型持有方的私钥相对应；

这里的模型持有方持有通用模型，例如tansformer模型。请参照图2所示，tansformer模型主要包括编码模块、解码模块、线性层以及softmax层，这里的数据处理过程主要在编码模块中进行，即本发明的改进点主要是将编码模块的前4层（词嵌入层E1、位置编码层E2、多头注意力层E3以及第一恒等映射层E4）放到数据持有方进行，其他部分（解码模块、线性层以及softmax层）采用现有技术的架构以及处理方式。需要说明的是，如果编码模块具有多个时，则上述的编码模块的前4层是指第一个编码模块的前4层。

私钥和公钥由模型持有方基于一定的加密算法形成，例如可以通过CKKS全同态加密算法的密钥生成算法，生成私钥sk，公钥pk，并将公钥pk发送给数据持有方，后续数据持有方在进行相关运算时（主要是得到第二数据Z₂的过程），如果涉及带有密文矩阵时，则需要使用公钥进行同态计算。

S120、利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化，得到n×d维的第一矩阵X和n×d维的第二矩阵Y，并基于第一矩阵X和第二矩阵Y得到第一数据Z₁：Z₁=X+Y；其中，n为原始字符的总数，d为tansformer模型的维度参数。

事实上，该步骤与在模型持有方的计算过程类似，仅是将第一编码模块提供的词嵌入层和位置编码层转移到数据持有方进行，这样保证了模型持有方不能直接接触到数据持有方的原始数据，从而无需对原始数据进行脱敏操作，保证了后续训练结果的准确性。

S130、接收模型持有方发送的密文矩阵，密文矩阵/>为模型持有方利用公钥对参数矩阵/>加密形成，参数矩阵/>为编码模块的多头注意力层中的参数矩阵。

多头注意力层中的参数矩阵W_i,1、W_i,2、W_i,3、W₄属于模型持有方的商业机密，不能直接展示给数据持有方，因此，需要对多头注意力层中的参数矩阵进行加密。

其中，W_i,1为多头注意力层中的第1个参数的第i个参数矩阵，W_i,2为多头注意力层中的第2个参数的第i个参数矩阵，W_i,3为多头注意力层中的第3个参数的第i个参数矩阵，W₄为多头注意力层中的第4个参数的参数矩阵，分别为W_i,1、W_i,2、W_i,3、W₄的密文参数矩阵，其中，1≤i≤h，h为第1-3个参数的参数矩阵数；因此，密文矩阵/>共包括3h+1个密文矩阵。

S140、利用第一数据Z₁和密文矩阵计算得到n×d维的第二数据Z₂。

其具体可以包括以下步骤：

首先，基于第一数据Z₁和密文矩阵，使用公钥同态计算得到中间结果R：

其中，R _i 为第i个中间结果。按照上述公式计算所有的中间结果，得到中间结果集合。

然后，计算中间结果R的近似值S：

假设R _i =（r _i1，r _i2，…，r _im），则：

其中，S _i 为R _i 的近似值，r _ij为R _i 中的第j个元素，1≤j≤m，m为R _i 的元素总数；f(r _ij )为函数e ^x 在x=r _ij 处泰勒展开式的前五项，将f(r _ij )作为e ^rij 的近似值，即：

按照上述过程计算所有的中间结果的近似值。

再后，使用公钥同态计算，并将依次拼接形成拼接矩阵H；

最后，使用公钥同态计算Z₂：

。

S150、构建一个n×d维的随机矩阵G，随机矩阵中的元素符合高斯分布，并基于第一数据Z₁、第二数据Z₂和随机矩阵G得到第三数据Z₃：Z₃= Z₂+ Z₁+G。

示例性地，这个的随机矩阵的各个元素均取自一个均值为0，方差为0.1 的高斯分布。之所以将Z₁也加进去，是因为第一恒等映射层输出为Z₁,将Z₂+G为多头注意力层的输出数据，因此，将二者相加后可以直接输入到下一层（即第一归一化层E5）。

S160、将第三数据Z₃发送给模型持有方，以使模型持有方通过私钥对第三数据Z₃进行解密后，作为模型持有方持有的编码模块的归一化层的输入数据，对tansformer模型进行训练，得到训练后的目标大语言模型。

基于上述的表述，将数据持有方得到的第三数据Z₃发送给模型持有方后，模型持有方对该第三数据Z₃进行解密后，变成明文，记为第四数据Z₄，解密得到的第四数据Z₄，由于添加了随机矩阵，且随机矩阵各个元素均取自一个均值为0，方差为0.1 的高斯分布，因此，其对训练结果无影响，而且又对第二数据Z₂进行了加密，因此，在数据隐私保护的基础上，还可以保证训练的准确性。

假设编程模块和解码模块均为6个，则先将第四数据Z₄输入至第一编程模块的第一归一化层E5，然后再依次经过第一编程模块的前馈层E6、第二恒等映射层E7、第二归一化层E8进入第二编程模块，然后再依次经过第三编程模块、第四编程模块、第五编程模块以及第六编程模块后进入第一解码模块的多头注意力层D6，直到完成第六解码模块后进入线性层L1和softmax层L2，基于softmax层输出结果，使用反向传播算法完成模型的参数的第一次更新。

循环上述过程，采用多组原始字符对该tansformer模型的参数进行多次更新，直至满足需求，满足需求的判断方式可以基于决定系数（R²）、平均绝对误差（MAE）、均方根误差（RMSE）和方差占比（VAF）等中的任一种与预设阈值进行比对确定。当满足R² = 1，VAF =100%，RMSE = 0， MAE = 0中的任一种时，可以认为模型的满意度最高。

实施例二

请参阅图3，图3是本发明一个实施例公开的一种具有隐私保护的大语言模型训练方法的流程示意图。本发明实施例二的执行主体为模型持有方的相关电子设备。

如图3所示，该具有隐私保护的大语言模型训练方法包括：

S210、向数据持有方发送的公钥，公钥与私钥相对应。

S220、向数据持有方发送tansformer模型中编码模块提供的词嵌入层和位置编码层，以使数据持有方基于词嵌入层和位置编码层分别对原始字符进行转化，得到n×d维的第一矩阵X和n×d维的第二矩阵Y，数据持有方还基于第一矩阵X和第二矩阵Y得到第一数据Z₁：Z₁=X+Y；其中，模型持有方持有的模型为tansformer模型，n为原始字符的总数，d为tansformer模型的维度参数。

S230、利用公钥对参数矩阵加密形成密文矩阵/>，参数矩阵/>为编码模块的多头注意力层中的参数矩阵，并将密文矩阵发送给数据持有方，以使数据持有方利用第一数据Z₁和密文矩阵计算得到n×d维的第二数据Z₂；其中，W_i,1为多头注意力层中的第1个参数的第i个参数矩阵，W_i,2为多头注意力层中的第2个参数的第i个参数矩阵，W_i,3为多头注意力层中的第3个参数的第i个参数矩阵，W₄为多头注意力层中的第4个参数的参数矩阵，分别为W_i,1、W_i,2、W_i,3、W₄的密文参数矩阵，其中，1≤i≤h，h为第1-3个参数的参数矩阵数。

获取第二数据Z₂的过程可以包括以下步骤：

数据持有方基于第一数据Z₁和密文矩阵，使用公钥同态计算得到中间结果R：

其中，R _i 为第i个中间结果；

数据持有方计算中间结果R的近似值S：

假设R _i =（r _i1，r _i2，…，r _im），则：

其中，softmax函数代表近似值，即S _i 为R _i 的近似值，r _ij为R _i 中的第j个元素，1≤j≤m，m为R _i 的元素总数；f(r _ij )为函数e ^x 在x=r _ij 处泰勒展开式的前五项，将f(r _ij )作为e ^rij 的近似值，即：

数据持有方使用公钥同态计算，并将依次拼接形成拼接矩阵H；

数据持有方使用公钥同态计算Z₂：

。

S240、接收数据持有方发送的第三数据Z₃：Z₃= Z₂+ Z₁+G，其中，G为数据持有方构建的一个n×d维的随机矩阵G，随机矩阵中的元素符合高斯分布。

S250、通过私钥对第三数据Z₃进行解密后，作为编码模块的归一化层的输入数据，对tansformer模型进行训练，得到训练后的目标大语言模型。

tansformer模型包括编码模块、解码模块、线性层以及softmax层；

模型持有方通过私钥对第三数据Z₃进行解密后，得到第四数据Z₄；

模型持有方将第四数据Z₄输入tansformer模型的编码模块的第一归一化层，再依次经过编码模块的前馈层、恒等映射层以及第二归一化层后，再依次通过解码模块、线性层以及softmax层输出结果，使用反向传播算法完成模型的参数的更新，直至tansformer模型满足需求，得到目标大语言模型。

实施例三

实施例三示出了一种具有隐私保护的大语言模型推理方法，为获取到的目标大语言模型的具体应用，当目标大语言模型采用上述实施例一或实施例二进行训练完成后，即可进行实际应用，例如在AI中的应用（例如智能应答系统），则可以在模型持有方接收目标数据后，将目标数据输入目标大语言模型，得到推理结果，然后将推理结果发送给目标数据的发送方。

实施例四

请参阅图4，图4是本发明实施例公开的一种具有隐私保护的大语言模型训练系统的结构示意图。如图4所示，该具有隐私保护的大语言模型训练系统可以包括：

第一接收单元310，用于接收模型持有方发送的公钥，公钥与模型持有方的私钥相对应；

转化单元320，用于利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化，得到n×d维的第一矩阵X和n×d维的第二矩阵Y，并基于第一矩阵X和第二矩阵Y得到第一数据Z₁：Z₁=X+Y；其中，模型持有方持有的模型为tansformer模型，n为原始字符的总数，d为tansformer模型的维度参数；

第二接收单元330，用于接收模型持有方发送的密文矩阵，密文矩阵为模型持有方利用公钥对参数矩阵/>加密形成，参数矩阵为编码模块的多头注意力层中的参数矩阵；其中，W_i,1为多头注意力层中的第1个参数的第i个参数矩阵，W_i,2为多头注意力层中的第2个参数的第i个参数矩阵，W_i,3为多头注意力层中的第3个参数的第i个参数矩阵，W₄为多头注意力层中的第4个参数的参数矩阵，/>分别为W_i,1、W_i,2、W_i,3、W₄的密文参数矩阵，其中，1≤i≤h，h为第1-3个参数的参数矩阵数；

第一计算单元340，用于利用第一数据Z₁和密文矩阵计算得到n×d维的第二数据Z₂；

第二计算单元350，用于构建一个n×d维的随机矩阵G，随机矩阵中的元素符合高斯分布，并基于第一数据Z₁、第二数据Z₂和随机矩阵G得到第三数据Z₃：Z₃= Z₂+ Z₁+G；

训练单元360，用于将第三数据Z₃发送给模型持有方，以使模型持有方通过私钥对第三数据Z₃进行解密后，作为模型持有方持有的编码模块的归一化层的输入数据，对tansformer模型进行训练，得到训练后的目标大语言模型。

实施例五

请参阅图5，图5是本发明实施例公开的一种具有隐私保护的大语言模型训练系统的结构示意图。如图5所示，该具有隐私保护的大语言模型训练系统可以包括：

第一发送单元410，用于向数据持有方发送的公钥，公钥与私钥相对应；

第二发送单元420，用于向数据持有方发送tansformer模型中编码模块提供的词嵌入层和位置编码层，以使数据持有方基于词嵌入层和位置编码层分别对原始字符进行转化，得到n×d维的第一矩阵X和n×d维的第二矩阵Y，数据持有方还基于第一矩阵X和第二矩阵Y得到第一数据Z₁：Z₁=X+Y；其中，模型持有方持有的模型为tansformer模型，n为原始字符的总数，d为tansformer模型的维度参数；

计算单元430，用于利用公钥对参数矩阵加密形成密文矩阵，参数矩阵/>为编码模块的多头注意力层中的参数矩阵，并将密文矩阵/>发送给数据持有方，以使数据持有方利用第一数据Z₁和密文矩阵计算得到n×d维的第二数据Z₂；其中，W_i,1为多头注意力层中的第1个参数的第i个参数矩阵，W_i,2为多头注意力层中的第2个参数的第i个参数矩阵，W_i,3为多头注意力层中的第3个参数的第i个参数矩阵，W₄为多头注意力层中的第4个参数的参数矩阵，分别为W_i,1、W_i,2、W_i,3、W₄的密文参数矩阵，其中，1≤i≤h，h为第1-3个参数的参数矩阵数；

第三发送单元440，用于接收数据持有方发送的第三数据Z₃：Z₃= Z₂+ Z₁+G，其中，G为数据持有方构建的一个n×d维的随机矩阵G，随机矩阵中的元素符合高斯分布；

训练单元450，用于通过私钥对第三数据Z₃进行解密后，作为编码模块的归一化层的输入数据，对tansformer模型进行训练，得到训练后的目标大语言模型。

实施例六

请参阅图6，图6示出了可以用来实施本发明实施例的电子设备的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的或/和者要求的本发明实施例的实现。

如图6所示，电子设备包括至少一个处理器510，以及与至少一个处理器510通信连接的存储器，如ROM（只读存储器）520、RAM（随机访问存储器）530等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器510可以根据存储在ROM 520中的计算机程序或者从存储单元580加载到随机访问存储器RAM 530中的计算机程序，来执行各种适当的动作和处理。在RAM 530中，还可存储电子设备操作所需的各种程序和数据。处理器510、ROM520以及RAM 530通过总线540彼此相连。I/O（输入/输出）接口550也连接至总线540。

电子设备中的多个部件连接至I/O接口550，包括：输入单元560，例如键盘、鼠标等；输出单元570，例如各种类型的显示器、扬声器等；存储单元580，例如磁盘、光盘等；以及通信单元590，例如网卡、调制解调器、无线通信收发机等。通信单元590允许电子设备通过诸如因特网的计算机网络或/和各种电信网络与其他设备交换信息/数据。

处理器510可以是各种具有处理和计算能力的通用或/和专用处理组件。处理器510的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器510执行上文实施例一或实施例二描述的一种具有隐私保护的大语言模型训练方法的一个或多个步骤，或者实施例三描述的一种具有隐私保护的大语言模型推理方法的一个或多个步骤。

在一些实施例中，一种具有隐私保护的大语言模型训练方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元580。在一些实施例中，计算机程序的部分或者全部可以经由ROM 520或/和通信单元590而被载入或/和安装到电子设备上。当计算机程序加载到RAM 530并由处理器510执行时，可以执行上文实施例一或实施例二描述的一种具有隐私保护的大语言模型训练方法的一个或多个步骤，或者实施例三描述的一种具有隐私保护的大语言模型推理方法的一个或多个步骤。备选地，在其他实施例中，处理器510可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行一种具有隐私保护的大语言模型训练方法。

以上对本发明公开的一种具有隐私保护的大语言模型训练方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种具有隐私保护的大语言模型训练方法，其特征在于，其包括：

接收模型持有方发送的公钥，所述公钥与所述模型持有方的私钥相对应；

利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化，得到n×d维的第一矩阵X和n×d维的第二矩阵Y，并基于所述第一矩阵X和第二矩阵Y得到第一数据Z₁：Z₁＝X+Y；其中，所述模型持有方持有的模型为tansformer模型，n为所述原始字符的总数，d为tansformer模型的维度参数；

接收模型持有方发送的密文矩阵所述密文矩阵/>为模型持有方利用公钥对参数矩阵{W_i,1,W_i,2,W_i,3},W₄加密形成，所述参数矩阵{W_i,1,W_i,2,W_i,3},W₄为所述编码模块的多头注意力层中的参数矩阵；其中，W_i,1为多头注意力层中的第1个参数的第i个参数矩阵，W_i,2为多头注意力层中的第2个参数的第i个参数矩阵，W_i,3为多头注意力层中的第3个参数的第i个参数矩阵，W₄为多头注意力层中的第4个参数的参数矩阵，分别为W_i,1、W_i,2、W_i,3、W₄的密文参数矩阵，其中，1≤i≤h，h为第1-3个参数的参数矩阵数；

利用所述第一数据Z₁和所述密文矩阵计算得到n×d维的第二数据Z₂；

构建一个n×d维的随机矩阵G，所述随机矩阵中的元素符合高斯分布，并基于第一数据Z₁、第二数据Z₂和随机矩阵G得到第三数据Z₃：Z₃＝Z₂+Z₁+G；

将所述第三数据Z₃发送给所述模型持有方，以使所述模型持有方通过私钥对所述第三数据Z₃进行解密后，作为所述模型持有方持有的编码模块的归一化层的输入数据，对所述tansformer模型进行训练，得到训练后的目标大语言模型；

利用所述第一数据Z₁和所述密文矩阵计算得到n×d维的第二数据Z₂，包括：

基于所述第一数据Z₁和所述密文矩阵使用所述公钥同态计算得到中间结果R：

其中，R_i为第i个中间结果；

计算中间结果R的近似值S：

假设R_i＝(r_i1，r_i2，…，r_im)，则：

其中，S_i为R_i的近似值，r_ij为R_i中的第j个元素，1≤j≤m，m为R_i的元素总数；f(r_ij)为函数e^x在x＝r_ij处泰勒展开式的前五项，将f(r_ij)作为e^rij的近似值，即：

使用所述公钥同态计算并将所述/> 依次拼接形成拼接矩阵H；

使用所述公钥同态计算Z₂：

2.根据权利要求1所述的具有隐私保护的大语言模型训练方法，其特征在于，所述tansformer模型包括编码模块、解码模块、线性层以及softmax层；

所述模型持有方通过私钥对所述第三数据Z₃进行解密后，作为所述模型持有方持有的编码模块的归一化层的输入数据，对所述tansformer模型进行训练，得到训练后的目标大语言模型，包括：

所述模型持有方通过私钥对所述第三数据Z₃进行解密后，得到第四数据Z₄；

模型持有方将所述第四数据Z₄输入所述tansformer模型的编码模块的第一归一化层，再依次经过编码模块的前馈层、恒等映射层以及第二归一化层后，再依次通过解码模块、线性层以及softmax层输出结果，使用反向传播算法完成模型的参数的更新，直至tansformer模型满足需求，得到目标大语言模型。

3.一种具有隐私保护的大语言模型训练方法，其特征在于，其包括以下步骤：

向数据持有方发送的公钥，所述公钥与私钥相对应；

向所述数据持有方发送tansformer模型中编码模块提供的词嵌入层和位置编码层，以使所述数据持有方基于所述词嵌入层和位置编码层分别对原始字符进行转化，得到n×d维的第一矩阵X和n×d维的第二矩阵Y，所述数据持有方还基于所述第一矩阵X和第二矩阵Y得到第一数据Z₁：Z₁＝X+Y；其中，所述模型持有方持有的模型为tansformer模型，n为所述原始字符的总数，d为tansformer模型的维度参数；

利用公钥对参数矩阵{W_i,1,W_i,2,W_i,3},W₄加密形成密文矩阵所述参数矩阵{W_i,1,W_i,2,W_i,3},W₄为所述编码模块的多头注意力层中的参数矩阵；并将所述密文矩阵发送给所述数据持有方，以使所述数据持有方利用所述第一数据Z₁和所述密文矩阵/>计算得到n×d维的第二数据Z₂；其中，W_i,1为多头注意力层中的第1个参数的第i个参数矩阵，W_i,2为多头注意力层中的第2个参数的第i个参数矩阵，W_i,3为多头注意力层中的第3个参数的第i个参数矩阵，W₄为多头注意力层中的第4个参数的参数矩阵， 分别为W_i,1、W_i,2、W_i,3、W₄的密文参数矩阵，其中，1≤i≤h，h为第1-3个参数的参数矩阵数；

接收所述数据持有方发送的第三数据Z₃：Z₃＝Z₂+Z₁+G，其中，G为数据持有方构建的一个n×d维的随机矩阵G，所述随机矩阵中的元素符合高斯分布；

通过私钥对所述第三数据Z₃进行解密后，作为编码模块的归一化层的输入数据，对所述tansformer模型进行训练，得到训练后的目标大语言模型；

所述数据持有方利用所述第一数据Z₁和所述密文矩阵计算得到n×d维的第二数据Z₂，包括：

数据持有方基于所述第一数据Z₁和所述密文矩阵使用所述公钥同态计算得到中间结果R：

其中，R_i为第i个中间结果；

数据持有方计算中间结果R的近似值S：

假设R_i＝(r_i1，r_i2，…，r_im)，则：

其中，S_i为R_i的近似值，r_ij为R_i中的第j个元素，1≤j≤m，m为R_i的元素总数；f(r_ij)为函数e^x在x＝r_ij处泰勒展开式的前五项，将f(r_ij)作为e^rij的近似值，即：

数据持有方使用所述公钥同态计算并将所述依次拼接形成拼接矩阵H；

数据持有方使用所述公钥同态计算Z₂：

4.根据权利要求3所述的具有隐私保护的大语言模型训练方法，其特征在于，所述tansformer模型包括编码模块、解码模块、线性层以及softmax层；

通过私钥对所述第三数据Z₃进行解密后，作为编码模块的归一化层的输入数据，对所述tansformer模型进行训练，得到训练后的目标大语言模型，包括：

通过私钥对所述第三数据Z₃进行解密后，得到第四数据Z₄；

将所述第四数据Z₄输入所述tansformer模型的编码模块的第一归一化层，再依次经过编码模块的前馈层、恒等映射层以及第二归一化层后，再依次通过解码模块、线性层以及softmax层输出结果，使用反向传播算法完成模型的参数的更新，直至tansformer模型满足需求，得到目标大语言模型。

5.一种具有隐私保护的大语言模型推理方法，其特征在于，其包括权利要求3-4任一项所述的具有隐私保护的大语言模型训练方法，其还包括以下步骤：

接收目标数据，并将所述目标数据输入所述目标大语言模型，得到推理结果。

6.一种具有隐私保护的大语言模型训练系统，其特征在于，其包括：

第一接收单元，用于接收模型持有方发送的公钥，所述公钥与所述模型持有方的私钥相对应；

转化单元，用于利用模型持有方持有的编码模块提供的词嵌入层和位置编码层分别对原始字符进行转化，得到n×d维的第一矩阵X和n×d维的第二矩阵Y，并基于所述第一矩阵X和第二矩阵Y得到第一数据Z₁：Z₁＝X+Y；其中，所述模型持有方持有的模型为tansformer模型，n为所述原始字符的总数，d为tansformer模型的维度参数；

第二接收单元，用于接收模型持有方发送的密文矩阵所述密文矩阵为模型持有方利用公钥对参数矩阵{W_i,1,W_i,2,W_i,3},W₄加密形成，所述参数矩阵{W_i,1,W_i,2,W_i,3},W₄为所述编码模块的多头注意力层中的参数矩阵；其中，W_i,1为多头注意力层中的第1个参数的第i个参数矩阵，W_i,2为多头注意力层中的第2个参数的第i个参数矩阵，W_i,3为多头注意力层中的第3个参数的第i个参数矩阵，W₄为多头注意力层中的第4个参数的参数矩阵，/> 分别为W_i,1、W_i,2、W_i,3、W₄的密文参数矩阵，其中，1≤i≤h，h为第1-3个参数的参数矩阵数；

第一计算单元，用于利用所述第一数据Z₁和所述密文矩阵计算得到n×d维的第二数据Z₂；

第二计算单元，用于构建一个n×d维的随机矩阵G，所述随机矩阵中的元素符合高斯分布，并基于第一数据Z₁、第二数据Z₂和随机矩阵G得到第三数据Z₃：Z₃＝Z₂+Z₁+G；

训练单元，用于将所述第三数据Z₃发送给所述模型持有方，以使所述模型持有方通过私钥对所述第三数据Z₃进行解密后，作为所述模型持有方持有的编码模块的归一化层的输入数据，对所述tansformer模型进行训练，得到训练后的目标大语言模型；

所述数据持有方利用所述第一数据Z₁和所述密文矩阵计算得到n×d维的第二数据Z₂，包括：

数据持有方基于所述第一数据Z₁和所述密文矩阵使用所述公钥同态计算得到中间结果R：

其中，R_i为第i个中间结果；

数据持有方计算中间结果R的近似值S：

假设R_i＝(r_i1，r_i2，…，r_im)，则：

其中，S_i为R_i的近似值，r_ij为R_i中的第j个元素，1≤j≤m，m为R_i的元素总数；f(r_ij)为函数e^x在x＝r_ij处泰勒展开式的前五项，将f(r_ij)作为e^rij的近似值，即：

数据持有方使用所述公钥同态计算并将所述依次拼接形成拼接矩阵H；

数据持有方使用所述公钥同态计算Z₂：

7.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并能在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-2任意一项所述的具有隐私保护的大语言模型训练方法的步骤。

8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，其中，所述计算机程序使得计算机执行权利要求1-2任意一项所述的具有隐私保护的大语言模型训练方法的步骤。