CN117407922B - 一种基于量子噪声的联邦学习隐私保护系统及方法 - Google Patents

Abstract

本发明公开了一种基于量子噪声的联邦学习隐私保护系统及方法，涉及量子联邦学习技术领域。该系统包括服务器，用于构建全局含量子噪声的量子变分线路模型，对量子变分线路模型进行初始化，将初始化模型参数发送至客户端；接收客户端上传的本地梯度并进行梯度聚合，根据聚合梯度更新模型参数并发送至客户端；客户端，用于构建本地含量子噪声的量子变分线路模型，接收服务器发送的初始化模型参数，利用本地数据对量子变分线路模型进行训练，获取本地梯度并上传至服务器。本发明通过利用量子线路中固有噪声对客户端数据提供隐私保护，同时也增强了模型的鲁棒性，既解决了量子线路中不可避免的噪声，又解决了量子联邦学习中用户隐私泄露的问题。

Description

一种基于量子噪声的联邦学习隐私保护系统及方法

技术领域

本发明涉及量子联邦学习技术领域，具体涉及一种基于量子噪声的联邦学习隐私保护系统及方法。

背景技术

联邦学习是一种分布式机器学习方法，其中多个参与方共同训练一个全局模型，而不用共享原始数据。每个参与方在本地计算梯度，然后将梯度信息上传到中央服务器，全局模型在中央服务器上进行更新。这种方法有助于保护数据隐私，提高性能。量子联邦学习将经典的联邦学习与量子计算的概念相结合，旨在实现在分布式环境中训练量子机器学习模型。量子计算利用量子比特的量子性质来执行计算，可以在某些情况下加速特定类型的计算。量子计算的一些特性，如量子并行性和量子态的叠加，使其在某些机器学习任务中具有潜在优势。因此，相比于经典联邦学习，量子联邦学习在某些优化问题中的速度提升，可用于提高联邦学习的性能。

噪声通常被认为具有破坏性且难以避免，然而在差分隐私中，噪声的引入使得查询结果的随机性和不确定性，这意味着即使攻击者多次查询相同的数据集，他们也会得到略有不同的结果，降低了推断敏感信息的准确性，从而保护个体的隐私。

在目前，现在技术主要存在有两个问题：

1、在量子计算和量子信息处理中，量子噪声是一种不可避免的现象。

2、在联邦学习中，攻击者可以通过分析上传的梯度信息来推断出某个参与方的本地数据，造成用户的隐私泄露。

发明内容

针对现有技术中的上述不足，本发明提供了一种基于量子噪声的联邦学习隐私保护系统及方法，将量子线路中存在的噪音转化为保护数据隐私的手段，利用量子噪声保护量子联邦学习隐私的方法以解决现有数据信息泄露、梯度泄露攻击的技术问题。

为了达到上述发明目的，本发明采用的技术方案为：

第一方面，本发明提出了一种基于量子噪声的联邦学习隐私保护系统，包括：

服务器，用于构建全局含量子噪声的量子变分线路模型，对量子变分线路模型进行初始化，将初始化模型参数发送至客户端；接收客户端上传的本地梯度并进行梯度聚合，根据聚合梯度更新模型参数并发送至客户端；

客户端，用于构建本地含量子噪声的量子变分线路模型，接收服务器发送的初始化模型参数，利用本地数据对量子变分线路模型进行训练，获取本地梯度并上传至服务器。

进一步地，所述构建含量子噪声的量子变分线路模型具体为：

构造无噪声的量子变分线路模型，设置编码层，将输入数据编码到量子态的振幅上；

在量子线路中设置多层旋转门和受控非门作为变分层；

在构造的无噪声的量子变分线路模型后添加广义振幅阻尼量子噪声层。

进一步地，在构造的无噪声的量子变分线路模型后添加广义振幅阻尼量子噪声层具体为：

对构造的无噪声的量子变分线路模型的量子线路中的单量子比特添加广义振幅阻尼。

进一步地，所述客户端利用本地数据对量子变分线路模型进行训练具体为：

将本地数据通过量子振幅编码后获取相应量子态，将量子态数据作为输入样本输入到量子变分线路模型中，选择一条量子线路进行M基测量，得到量子线路的期望值。

进一步地，所述客户端获取本地梯度具体为：

根据量子线路的期望值，采用参数移位规则计算量子线路的期望值的梯度；

根据量子线路的期望值的梯度，采用链式法则计算客户端的本地梯度。

进一步地，所述服务器对本地梯度进行梯度聚合具体为：

将每个本地梯度按对应客户端的本地数据占所有客户端总数据的权重进行加权平均，得到全局模型的梯度参数。

进一步地，所述服务器根据聚合梯度更新模型参数具体为：

根据全局模型的梯度参数，采用梯度下降算法更新量子变分线路模型的模型参数。

进一步地，所述服务器采用的梯度下降算法具体采用具有Nesterov动量的梯度下降优化器进行迭代优化。

第二方面，本发明提出了一种基于量子噪声的联邦学习隐私保护方法，应用于上述的一种基于量子噪声的联邦学习隐私保护系统，包括以下步骤：

S1、利用服务器构建全局含量子噪声的量子变分线路模型，并利用客户端构建本地含量子噪声的量子变分线路模型；

S2、利用服务器对量子变分线路模型进行初始化，将初始化模型参数发送至客户端；

S3、利用客户端接收服务器发送的初始化模型参数，利用本地数据对量子变分线路模型进行训练，获取本地梯度并上传至服务器；

S4、利用服务器接收客户端上传的本地梯度并进行梯度聚合，根据聚合梯度更新模型参数并发送至客户端。

本发明具有以下有益效果：

1、联邦学习的核心思想是在多个参与方之间进行分布式计算，本发明利用量子计算的并行性和量子态叠加的性质使得分布式计算更加高效，既可以减少数据传输和通信开销，又能够提高计算效率。

2、噪声在保护数据隐私方面能够起到有益的作用，在差分隐私中，向查询结果或数据分析中添加噪声来保护个体的隐私，而量子噪声在真实量子计算机上难以避免。本发明使用量子噪声保护联邦学习隐私，既能够防止攻击者通过梯度信息反推参与方的数据信息，又能够增强模型的鲁棒性，抵御对抗攻击。综合来看，通过将量子噪声转换为保护联邦学习隐私的手段，既能解决量子线路中不可避免的噪声，又能解决量子联邦学习中用户隐私泄露的问题。

附图说明

图1为本发明实施例1中一种基于量子噪声的联邦学习隐私保护系统的结构示意图；

图2为本发明实施例1中构建的含量子噪声的量子变分线路模型结构示意图；

图3为本发明实施例2中一种基于量子噪声的联邦学习隐私保护方法的流程示意图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

实施例1

如图1所示，本发明实施例提供了一种基于量子噪声的联邦学习隐私保护系统，包括：

服务器，用于构建全局含量子噪声的量子变分线路模型，对量子变分线路模型进行初始化，将初始化模型参数发送至客户端；接收客户端上传的本地梯度并进行梯度聚合，根据聚合梯度更新模型参数并发送至客户端；

客户端，用于构建本地含量子噪声的量子变分线路模型，接收服务器发送的初始化模型参数，利用本地数据对量子变分线路模型进行训练，获取本地梯度并上传至服务器。

在本发明的一个可选实施例中，本实施例在服务器构建全局含量子噪声的量子变分线路模型和在客户端构建本地含量子噪声的量子变分线路模型，具体为：

构造无噪声的量子变分线路模型，设置编码层，将输入数据编码到量子态的振幅上；

在量子线路中设置多层ROT门（旋转门）和control-X门（受控非门）作为变分层；

在构造的无噪声的量子变分线路模型后添加广义振幅阻尼量子噪声层。

如图2所示，表示输入数据，量子变分线路包括变分层和纠缠层，总共n层，Rot表示旋转门，/>表示旋转角度。

本实施例在构造的无噪声的量子变分线路模型后添加广义振幅阻尼量子噪声层具体为：

对构造的无噪声的量子变分线路模型的量子线路中的单量子比特添加广义振幅阻尼。

具体而言，本实施例首先构造无噪声的量子变分线路模型，在量子线路中设置多层ROT门（旋转门）和control-X门（受控非门）作为变分层，将无噪声的量子变分线路记为，/>表示量子变分线路模型的模型参数；

在构造无噪声量子变分线路模型后，向量子线路中引入广义振幅阻尼量子噪声层，在测量之前，引入广义振幅阻尼作为该量子线路中的噪声层，给单量子比特添加广义振幅阻尼。

广义振幅阻尼的量子运算表示为：

其中，表示经过含量子噪声线路后的量子运算结果，/>表示量子输入，/>表示无噪声量子运算，/>代表广义振幅阻尼量子运算，/>如下所示，其中/>和/>是广义振幅阻尼的两个参数，/>表示/>的共轭转置矩阵；

将带有噪声的变分线路记为。

本实施例的服务器在构造有噪声量子线路后，初始化模型参数，发送给每个客户端。

在本发明的一个可选实施例中，本实施例的每个客户端利用本地数据对量子变分线路模型进行训练具体为：

将本地数据通过量子振幅编码后获取相应量子态，将量子态数据作为输入样本输入到量子变分线路模型中，选择一条量子线路进行M基测量，得到量子线路的期望值。

具体而言，每个客户端将本地经典数据进行量子振幅编码为量子态/>，具体为首先归一化经典数据，然后根据归一化后的经典数据值，在每个量子比特上施加不同的幺正门操作来改变其振幅，最后获取相应量子态/>，从而将本地数据集/>通过量子振幅编码后获取相应量子态/>，编码后的量子态满足归一化/>，将量子态数据作为输入样本，输入到量子变分线路模型中，最后选择一条线路进行M基测量，将获得量子线路的期望/>作为输出，表示为：

其中，表示量子变分线路模型参数，/>表示本地数据x经过编码后的量子态，/>表示含噪声的量子变分线路，其包括变分层和噪声层，/>代表测量基。

在本发明的一个可选实施例中，本实施例的每个客户端获取本地梯度具体为：

根据量子线路的期望值，采用参数移位规则计算量子线路的期望值的梯度；

根据量子线路的期望值的梯度，采用链式法则计算客户端的本地梯度。

具体而言，本实施例的每个客户端通过训练本地数据计算本地模型的梯度。损失函数/>定义为：

其中，表示量子线路的输出数据，/>表示真实标签数据，损失函数采用的是均方差损失函数。

为了计算损失函数对量子变分线路参数的导数，可以根据链式法则计算期望值对这些量子线路参数的导数，通过对损失函数求导得到的梯度值为：

其中，j表示第j个客户端，k表示第k轮的训练，表示第j个客户端的第k轮训练得到的梯度。

接下来可以使用参数移位规则来求取，因为/>可以被视为可观测量的期望值，期望值的梯度可以通过评估相同的变分量子电路来计算，但具有偏移的参数值，如下所示：

其中，表示变分参数/>偏移/>的量子线路输出。

本实施例的每个客户端上传梯度到服务器，值得注意的是，这里的梯度是含有噪声的梯度。梯度是根据计算/>所得到的，/>表示的是本地数据x经过含噪声量子线路模型得到的输出，由于量子线路模型中存在量子噪声，因此最后得到的梯度也为有噪声的梯度。

在本发明的一个可选实施例中，本实施例的服务器对本地梯度进行梯度聚合具体为：

将每个本地梯度按对应客户端的本地数据占所有客户端总数据的权重进行加权平均，得到全局模型的梯度参数。

在本发明的一个可选实施例中，本实施例的服务器根据聚合梯度更新模型参数具体为：

根据全局模型的梯度参数，采用梯度下降算法更新量子变分线路模型的模型参数。

本实施例的服务器采用的梯度下降算法具体采用具有Nesterov动量的梯度下降优化器进行迭代优化。

具体而言，本实施例的服务器根据聚合后的梯度信息来更新全局参数，使用梯度下降的方式更新全局参数，使用的优化器为具有Nesterov动量的梯度下降优化器，该优化器考虑了过去的梯度，具体更新规则如下：/>

其中，表示经过第k轮更新后的全局参数，/>表示第k轮的全局参数，表示第k+1轮的Nesterov动量，其计算规则如下所示：

表示第k轮的Nesterov动量，/>表示第k+1轮的Nesterov动量，/>表示第k轮的输入数据，/>表示聚合后的梯度，/>和/>表示定义的超参数。

本实施例的服务器在进行迭代更新时，每进行一轮迭代更新后检验模型是否收敛，如果收敛，则停止训练，如果不收敛，则进行下一轮训练。

实施例2

如图3所示，本发明实施例在实施例1提供的一种基于量子噪声的联邦学习隐私保护系统的基础上，进一步提供了一种基于量子噪声的联邦学习隐私保护方法，包括以下步骤S1至S4：

S1、利用服务器构建全局含量子噪声的量子变分线路模型，并利用客户端构建本地含量子噪声的量子变分线路模型；

S2、利用服务器对量子变分线路模型进行初始化，将初始化模型参数发送至客户端；

S3、利用客户端接收服务器发送的初始化模型参数，利用本地数据对量子变分线路模型进行训练，获取本地梯度并上传至服务器；

S4、利用服务器接收客户端上传的本地梯度并进行梯度聚合，根据聚合梯度更新模型参数并发送至客户端。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.一种基于量子噪声的联邦学习隐私保护系统，其特征在于，包括：

服务器，用于构建全局含量子噪声的量子变分线路模型，对量子变分线路模型进行初始化，将初始化模型参数发送至客户端；接收客户端上传的本地梯度并进行梯度聚合，根据聚合梯度更新模型参数并发送至客户端；

客户端，用于构建本地含量子噪声的量子变分线路模型，接收服务器发送的初始化模型参数，利用本地数据对量子变分线路模型进行训练，获取本地梯度并上传至服务器；

构建全局含量子噪声的量子变分线路模型和本地含量子噪声的量子变分线路模型具体为：

构造无噪声的量子变分线路模型，设置编码层，将输入数据编码到量子态的振幅上；

在量子线路中设置多层旋转门和受控非门作为变分层；

在构造的无噪声的量子变分线路模型后添加广义振幅阻尼量子噪声层，具体为：

对构造的无噪声的量子变分线路模型的量子线路中的单量子比特添加广义振幅阻尼。

2.根据权利要求1所述的一种基于量子噪声的联邦学习隐私保护系统，其特征在于，所述客户端利用本地数据对量子变分线路模型进行训练具体为：

将本地数据通过量子振幅编码后获取相应量子态，将量子态数据作为输入样本输入到量子变分线路模型中，选择一条量子线路进行M基测量，得到量子线路的期望值。

3.根据权利要求1所述的一种基于量子噪声的联邦学习隐私保护系统，其特征在于，所述客户端获取本地梯度具体为：

根据量子线路的期望值，采用参数移位规则计算量子线路的期望值的梯度；

根据量子线路的期望值的梯度，采用链式法则计算客户端的本地梯度。

4.根据权利要求1所述的一种基于量子噪声的联邦学习隐私保护系统，其特征在于，所述服务器对本地梯度进行梯度聚合具体为：

将每个本地梯度按对应客户端的本地数据占所有客户端总数据的权重进行加权平均，得到全局模型的梯度参数。

5.根据权利要求1所述的一种基于量子噪声的联邦学习隐私保护系统，其特征在于，所述服务器根据聚合梯度更新模型参数具体为：

根据全局模型的梯度参数，采用梯度下降算法更新量子变分线路模型的模型参数。

6.根据权利要求5所述的一种基于量子噪声的联邦学习隐私保护系统，其特征在于，所述服务器采用的梯度下降算法具体采用具有Nesterov动量的梯度下降优化器进行迭代优化。

7.一种基于量子噪声的联邦学习隐私保护方法，其特征在于，应用于权利要求1至6任一项所述的一种基于量子噪声的联邦学习隐私保护系统，包括以下步骤：

S1、利用服务器构建全局含量子噪声的量子变分线路模型，并利用客户端构建本地含量子噪声的量子变分线路模型；

S2、利用服务器对量子变分线路模型进行初始化，将初始化模型参数发送至客户端；

S3、利用客户端接收服务器发送的初始化模型参数，利用本地数据对量子变分线路模型进行训练，获取本地梯度并上传至服务器；

S4、利用服务器接收客户端上传的本地梯度并进行梯度聚合，根据聚合梯度更新模型参数并发送至客户端。