CN116976405A - 基于免疫优化算法的变分阴影量子神经网络 - Google Patents

Abstract

本发明涉及计算机技术领域，具体涉及一种基于免疫优化算法的变分阴影量子神经网络，一方面在影子量子电路中寻找到参数的最优值，利用影子量子电路提取出影子特征，减少需要训练的参数数量；另一方面，在后处理的FCNN中找到权重参数ω、b的最优值，在后处理FCNN中使用免疫优化算法来寻找FCNN初始化最优权重值，log_softmax函数能够加快运算速度，提高数据稳定性，使FCNN训练时能够更快的找到全局最优值，以便可以正确预测输入的数据的标签；这样采用免疫优化算法对经典神经网络进行初始化权值，以达到优化经典神经网络的目的，变分影子量子算法VSQL可以从希尔伯特子空间中提取影子特征以减少参数，解决了量子神经网络的效率低的技术问题。

Description

基于免疫优化算法的变分阴影量子神经网络

技术领域

本发明涉及计算机技术领域，具体涉及一种基于免疫优化算法的变分阴影量子神经网络。

背景技术

人工神经网络是在现代神经生物学研究成果的基础上，提出的模仿生物神经网络的结构和功能的新型信息处理和计算的模型，它不仅具有处理大数据的能力，而且具有学习和记忆的能力，这使得人工神经网络成为机器学习的重要工具。人工神经网络由大量的神经元联接并进行计算，并且能在外界信息的基础上改变内部结构，是一种自适应系统。近年来，已经产生了许多成熟的神经网络模型，例如反向传播(BP)神经网络、hopfield神经网络以及径向基函数神经网络。和其他机器学习方法一样，神经网络已经在各个领域都有了广泛的应用，例如模式识别、视频分析、医疗诊断和机器人控制等领域。

BP神经网络作为应用最广泛的神经网络模型，可以有效解决人工神经网络训练过程中的重要问题，并展现完整的推导过程。然而，随着研究的深入，BP神经网络存在的问题也逐渐暴露，如：容易陷入局部最小值、学习速率慢等问题，即使是一个简单的问题也不能保证收敛到全局最小点，等等。对于这些经典神经网络的缺陷，应该寻找新的方法来改进这些问题。改进神经网络预测精度的方法主要由两种：改进权重和阈值的计算方法，以及改善权重和阈值的初始化方法。

量子计算是一种新兴的智能计算模型，是先进数学、计算机科学和物理学的融合，它利用量子力学来提高计算效率。量子叠加、相干和纠缠的性质使得量子计算比经典计算具有指数容量、量子并行计算等更突出的特征。量子计算的关键特征是指数加速，优化问题的解决，以及解决经典无法解决的问题。现在，实现变分量子神经网络的方法是将量子神经网络定义为由参数化量子电路门组成的变分量子电路，这种量子神经网络是基于经验评估的量子机器学习模型。目前，QNN面临两个主要挑战：第一个挑战是局部优化，目前基于梯度的优化器中许多都要进行量子测量运行，花费的代价比较昂贵。第二个主要挑战是参数初始化，在局部最小值的邻域中初始化参数，可以确保在较少的迭代次数中优化局部收敛，并相对于全局获得更好的结果，同时，这种基于变分量子算法的模型会产生梯度消失的问题，即贫瘠高原问题。所以，目前想要克服上述量子神经网络的效率低问题，还需要一些技术来进行改良。

发明内容

本发明提供一种基于免疫优化算法的变分阴影量子神经网络，解决了量子神经网络效率低的技术问题。

本发明提供的基础方案为：基于免疫优化算法的变分阴影量子神经网络，包括：

VSQL框架：首先，将需要训练的经典数据编码为量子数据，如下式，

Xⁱ→|Xⁱ>

其中，X为经典数据的数据点，i为数据集中的第i个数据；然后，准备一个参数化局部量子电路U(θ)，并且初始化它的参数θ，将其作为影子量子电路，在整个量子电路中，在前n_qsc个量子比特上作用影子量子电路U(θ)，其中，n_qsc表示影子量子电路的宽度；

FCNN框架，利用免疫优化算法初始化经典FCNN的参数ω、b，并使用log_softmax函数作为激活函数，log_softmax函数公式如下，

将数据集内所有的数据点都处理完后，计算损失函数L(θ,ω,b)，利用基于梯度的优化器调整影子量子电路参数θ和神经网络参数ω,b，最小化损失函数。

本发明的工作原理及优点在于：在本方案中，一方面，在影子量子电路中寻找到参数的最优值，并利用影子量子电路提取出影子特征，减少了需要训练的参数数量；另一方面，在后处理的FCNN中找到权重参数ω、b的最优值，在后处理FCNN中使用免疫优化算法来寻找FCNN初始化最优权重值，log_softmax函数能够加快运算速度，提高数据稳定性，使FCNN训练时能够更快的找到全局最优值，以便可以正确预测输入的数据的标签；通过这样的方式，采用免疫优化算法对经典神经网络进行初始化权值，解决了神经网络参数初始化的问题以达到优化经典神经网络的目的，变分影子量子算法VSQL可以从希尔伯特子空间中提取“局部”特征，即影子特征，达到减少参数的目的，可以有效提高量子神经网络的效率。

本发明采用免疫优化算法对经典神经网络进行初始化权值，采用变分影子量子算法VSQL从希尔伯特子空间中提取影子特征减少参数的目的，解决了量子神经网络的效率低的技术问题。

进一步，在VSQL框架中，每次只在连续n_qsc个量子比特上作用影子量子电路U(θ)，通过测量局部可观测量获取一个局部影子特征，不断将U(θ)在整个电路中向下移动并测量。

有益效果在于：当影子量子电路向下滑动时，总共获得n-n_qsc+1个影子特征，这种通过量子比特位置滑动的类似卷积的方式，可以根据硬件连通性进行调整，当影子量子电路U(θ)作用到最后一个量子比特上时，就获取了所有的影子特征。

进一步，在FCNN框架中，免疫优化算法中抗体通过以下等式更新：

V_j＝V_i+αN(0,1)

其中，V_i是初始化抗体，V_j表示V_i的突变形式，N(0,1)表示为具有零-均值和标准偏差的高斯随机变量，α是抗体的突变率，α可计算为

α＝exp(-β×(γ/λ+(1-γ)×F))

其中，β是衰减的突变率，参数F是在[0,1]中标准化的个体的适应度，γ和1-γ分别表示抗体和适应度的加权参数，λ是抗体的浓度，定义为

λ＝max(A)/mean(A(x_i,v_i))

其中，A是通过欧几里得距离测量的抗体之间的亲和力值，max(A)表示所有抗体之间的亲和力的最大值，mean(A(x_i,v_i))为V_i与其他抗体之间所有亲和力的平均值。

有益效果在于：每个抗体克隆的突变率是浓度和适应度的反比加权值，也就是说，如果抗体的适应度比较高，突变率就小，这样可以期望抗体产生具有稀疏位置和适应度的突变克隆，以覆盖更多的结构域空间，从而保持多样性。

附图说明

图1为VSQL方案流程图。

图2为免疫优化算法流程图。

图3为MNIST数据集。

图4为量子电路图。

图5为实验电路图。

具体实施方式

下面通过具体实施方式进一步详细的说明：

实施例1

为便于本领域技术人员理解本方案，先行介绍本实施例所涉及的相关知识：

变分量子算法(variational quantum algorithms，VQAs)是一种基于变分优化的量子-经典混合算法，它利用了量子和经典计算的优势，在整个希尔伯特空间中选取特征，使用在量子计算机上运行的参数化量子电路(PQC)，通过经典计算机以迭代的方式进行优化。简言之，VQAs就是用一个经典优化器来训练一个含参量子电路，这些参数可以看作是人工神经网络中的权重。变分量子电路方法在深度电路上是灵活的，并且可以有效抵抗噪声。VQAs主要组成部分是参数化电路(PQC)的分析、测量方案、目标函数和经典优化器，测量方案指定了要测量的操作符，目标函数将测量结果结合在经典函数中，优化器为PQC提出参数更新，目的是最小化目标函数。作为非常成功的机器学习方法的量子模拟，VQAs已被用于解决许多问题，包括量子化学、分类以及优化问题等。

有现有技术提出将经典影子的概念和变分量子算法结合，提出了一种可以应用于近期多种量子应用的框架，如量子分类等，该框架就是VSQL。VSQL可以获取局部影子特征，与VQAs相比可以更容易地在由拓扑连接限制的量子设备上实现，同时，VSQL使用同一个来获取整个电路上的局部影子特征，所以需要的参数数量相对于通常使用的变分量子分类器来说大大地减少了。

目前，由于出现了大量复杂的数值和工程优化问题，人们提出了现实世界中的多模态函数优化问题。优化函数除了有全局最优外，还可以有多个局部最优。因此，找到全局最优或最接近全局最优的局部最优(如果不能找到全局最优)将为决策者提供最好的解决方案。人工免疫算法(artificial immune system,AIS)还被认为是一种基于规则的机器学习方法，一种仿生计算技术，一种自然计算范式，和一个理论免疫学模型。

近年来提出了几种基于种群的优化算法来解决优化问题，其中就包括遗传算法(GAs)，粒子群优化(PSO)，蚁群优化(ACO)，细菌觅食优化(BFO)和人工蜂群(ABC)等。这些基于种群的优化算法具有由一定数量的个体组成的一个或多个种群，其呈现待解决问题的解，通过在搜索空间中应用一些算子，使得种群中个体的适应度向更好的方向移动。

人工免疫系统(AIS)被定义为受理论免疫学和免疫功能、原理和模型启发的并行和分布式系统，可以用于解决优化问题。任何由体细胞超突变产生的高亲和力克隆都可以优先扩增，而少数低亲和力细胞可以进入库，从而维持群体的多样性。此外，AIS能够保持对过去信息的记忆并适应性地学习新的遭遇。这些性质促使研究人员开发出强大的优化算法，解决了复杂的工程问题。在免疫优化算法中，个体激励度是对个体质量的评价结果，个体激励度函数需要综合考虑个体的亲和度函数和浓度函数。在一般的免疫优化算法中，激励度通常亲和度函数减去浓度函数的方式更新激励度，但由于大多数时候，浓度函数的系数是非正的，导致浓度函数高的个体反而得到更低的激励度，导致计算出的激励度不准确，所以，本实施例采取将亲和度和浓度相加的方式更新激励度。

VSQL框架使用的参数化影子量子电路U(θ)(表示为影子电路)作用于选定的局部量子位子空间，而不是整个量子位希尔伯特空间，这考虑了工作范围效率和量子硬件的连接性限制。在VSQL框架中，模型主要由两部分组成：参数化局部量子电路和经典全连接神经网络(FCNN)。首先，需要预处理经典信息，将经典信息编码到量子态；然后以卷积的方式将连续作用在局部量子比特上，这里的是参数化局部电路的参数，这样就生成了量子影子电路。在这些局部量子比特上进行测量，就能得到想要的期望值，这些期望值就是获取到的影子特征。除此之外，还需要一个经典FCNN来做数据的后处理，然后可以通过激活函数确定标签预测。VSQL的方案流程如附图1所示。

人工免疫系统主要是基于生物免疫系统的信息处理机制来解决复杂的优化问题，在人工免疫系统领域，将目标函数比作抗原，将候选解看作抗体，将候选解的适应度值看作表示抗体与抗原结合能力的亲和力。

在本实施例的免疫优化模型中，抗体通过以下等式更新：

V_j＝V_i+αN(0,1)

其中，V_i是初始化抗体，V_j表示V_i的突变形式，N(0,1)表示为具有零-均值和标准偏差的高斯随机变量，α是抗体的突变率，α可计算为

α＝exp(-β×(γ/λ+(1-γ)×F))

其中，β是衰减的突变率，参数F是在[0,1]中标准化的个体的适应度，γ和1-γ分别表示抗体和适应度的加权参数，λ是抗体的浓度，可以定义为

λ＝max(A)/mean(A(x_i,v_i))

其中，A是通过欧几里得距离测量的抗体之间的亲和力值，max(A)表示所有抗体之间的亲和力的最大值，mean(A(x_i,v_i))为V_i与其他抗体之间所有亲和力的平均值，否则，期望抗体产生具有稀疏位置和适应度的突变克隆，以覆盖更多的结构域空间，从而保持溶液的多样性。每个抗体克隆的突变率α是浓度和适应度的反比加权值，也就是说，如果抗体的适应度比较高，它的突变率就小。免疫优化算法的算法流程图如附图2所示。

在这里，简要地介绍一下本实施例所需要的量子计算的基本概念。

(1)量子比特

量子比特是量子计算的基本概念，它可以表示量子态的基本元素。量子比特可以用来表示一个量子态中的信息，它可以描述量子态的概率分布，以及量子态中不同信息之间的相互作用。量子比特可以用来表示量子态的复杂性，并且可以用来描述量子态的结构和特性，也可以用来描述量子计算过程中的操作，如量子比特操作、量子门操作和量子纠错操作。量子比特可以用来表示量子态的概率分布，以及量子态中不同信息之间的相互作用。量子比特的状态可以落在|0>和|1>之外，量子比特可以是状态的线性组合，常称为叠加态(superposition)。记号|·>被称为狄拉克右矢，用来表示一个列向量。假设|ψ>为任意单个量子态，那么存在复数α和β满足|α|²+|β|²＝1，那么量子态|ψ>可以表示为：

|ψ>＝α|0>+β|1>

其中，α表示测量的量子态落在|0>上的概率，β表示测量的量子态落在|1>上的概率。

(2)量子门

在量子计算，特别是量子线路计算模型中，一个量子门(或量子逻辑门)是小数量量子比特量子线路的基本操作，是量子线路的基础，就跟传统逻辑门跟一般数字线路之间的关系一样。量子门作为构造量子计算机的基本单元之一，也是在物理上实现量子计算的基础。所有的量子门都可以由通用量子门组合而成，而通用量子门则一般由一位相移门和两位受控非门构成。基础的量子门包括量子非门、量子旋转门和量子受控非门等，本实施例主要使用到的量子门有量子旋转X门、量子旋转Y门和量子受控非门。

量子非门(Pauli-X门)的作用是交换一个量子位的两个概率幅，量子非门的Pauli矩阵令/>量子非门σ_x作用到|Φ>为

量子旋转门定义为：

令由/>知，R(θ)实现了/>的相位旋转θ角度，即对权值矩阵进行修正。

量子旋转门分别用不同的Pauli矩阵作为生成元，是构成Rx、Ry、Rz的方法。

Rx门由Pauli-X矩阵作为生成元生成，其矩阵形式为：

Ry门由Pauli-Y矩阵作为生成元生成，其矩阵形式为：

Rz门又称转化门，由Pauli-Z门为生成元生成，其矩阵形式为：

量子受控非门(Controlled-NOT)，是一种普遍使用的两量子比特门，CNOT操作两个量子比特，当第一个量子比特为|1>时，第二个量子比特将进行NOT操作，受控非门一般用于两个量子之间进行纠缠处理。

低位为控制比特，那么受控非门的矩阵形式为

(3)量子线路与测量操作

量子线路是由代表量子比特的线路和作用在量子比特上的量子逻辑门组成，量子线路相当于每一个量子逻辑门依次作用在量子比特上。在真实的量子计算机上，最后要对量子系统的末态进行测量操作，这样才能得到末态的信息，因此，也在把测量操作作为量子线路的一部分，测量操作有时也称为测量门。测量背后的原理就是投影操作。量子态中的信息需要通过量子测量来获取。在量子计算平台中，一般用量子投影测量。此时，量子态会随机坍缩到测量算子所对应的基矢态上，同时得到对应的测量值。常用的量子测量包括Z测量，例如，对处于量子态|ψ>＝a|0>+b|1>的单个量子比特进行Z测量时,量子态坍缩到基态|0>上的概率为|a|²，说明有|a|²的概率得到测量值1；坍缩到基态|1>上的概率为|b|²，说明有|b|²的概率得到测量值-1。单次测量结果是随机的，为获取关于量子态更准确的信息，需要进行多次重复测量，用测量值的频率近似概率。多次Z测量结果的期望可表示为：

<Z>_|ψ>≡<ψ|Z|ψ>＝|a|²-|b|²

下面，介绍本实施例用于分类的免疫优化变分影子量子神经网络(variationalshadow quantum neural network based on immune algorithm,VSQNNI)模型。

本实施例提出的模型有两个目标：一是，在影子量子电路U(θ)中寻找到参数θ的最优值，并利用影子量子电路U(θ)提取出影子特征，减少需要训练的参数数量；二是，在后处理的FCNN中找到权重参数ω、b的最优值，在后处理FCNN中，使用免疫优化算法来寻找FCNN初始化最优权重值，使FCNN训练时能够更快的找到全局最优值，以便可以正确预测输入的数据的标签。

在VSQL框架流程中，本实施例首先将需要训练的经典数据编码为量子数据：

Xⁱ→|Xⁱ>

其中X为经典数据的数据点，i为数据集中的第i个数据。然后，准备一个参数化局部量子电路U(θ)并且初始化它的参数θ，这个电路就是影子量子电路。在整个量子电路中，在前n_qsc个量子比特上作用影子量子电路U(θ)，其中，n_qsc表示影子量子电路的宽度，本实施例每次只在连续n_qsc个量子比特上作用U(θ)，然后，通过测量局部可观测量来获取一个局部影子特征，使用类似卷积的方式，不断将U(θ)在整个电路中向下移动并测量。当影子量子电路向下滑动时，本实施例总共获得了n-n_qsc+1个影子特征。这种通过量子比特位置滑动的类似卷积的方式，可以根据硬件连通性进行调整。当U(θ)作用到最后一个量子比特上时，就获取了所有的影子特征。接着，利用免疫优化算法初始化经典FCNN的参数ω、b，并使用log_softmax函数作为激活函数，log_softmax函数能够加快运算速度，提高数据稳定性，log_softmax函数公式如下：

将数据集内所有的数据点都处理完后，计算损失函数L(θ,ω,b)，然后利用基于梯度的优化器调整影子电路参数θ和神经网络参数ω,b，从而最小化损失函数。

VSQNNI模型的伪代码如下：

接下来，使用VSQNNI的经典模拟，通过数值实验来证明本实施例的结果。选择数据集MNIST手写数字图像进行分类，该数据集由60000个训练样本和10000个测试样本组成，MNIST数据集的标签为从“0”-“9”的数字，每个手写数字图像都是由28×28个取值在[0，255]之间的灰度像素点组成。MNIST数据集中的图形如附图3所示。

在本实施例中，首先，设计了一个二分类实验来证明提出的模型的可行性，验证模型是否可以优化变分量子神经网络。在实验中，选择标签为0和1的数据进行分类训练，分别提取出数据的特征部分和标签部分。对于数据的特征部分，因为数据的特征是28×28的二维矩阵，需要将这些二维矩阵转化为一个长度为784的一维向量X_i，然后再使用振幅编码将每个X_i编码到有10个量子比特的量子态|Xⁱ>。为了对数据进行振幅编码，需要归一化每个向量，再在它的尾部补零使每个向量的长度与有10个量子比特的量子态一致。对于数据的标签部分，将标签处理为独热向量，独热编码通常用于处理类别间不具有大小关系的特征。这样，就完成了数据的预处理工作。在实验中，本方案设计的用于提取影子特征的参数化量子电路U(θ)如下附图4所示。其中，设置量子电路宽度为2，虚线块结构的重复次数表示为电路深度D，该电路共有2(D+3)个参数，参数θ从[0,2π]中随机初始化。实验进行中的量子电路如下附图5所示，其中，U(θ)在电路中是以卷积的形式作用。

经典FCNN的参数ω、b从免疫优化算法中初始化，在优化过程中，使用Adam优化器对损失函数进行优化，学习率设置为0.02，表1为实验的参数设置情况。

表1实验的参数设置

在本实施例中，采用准确率来评价模型。实验重复三次，得到损失函数值、测试集准确率，最终实验花费444.11秒。表2为变分量子神经网络、随机初始化FCNN参数ω、b的变分影子量子神经网络和使用免疫优化算法初始化FCNN参数ω、b的变分影子量子神经网络的实验对比：

表2二分类模型效果对比

由表2可以证明，本实施例的模型可以提高量子神经网络模型分类训练的准确率，并且，可以减少变分影子量子神经网络模型训练的时间。

为了证明我们模型的普适性，本实施例增加了一个多分类实验。在多分类实验中，同样选择MNIST数据集，使用其中的十类数据进行训练。在完成十类数据的预处理工作后，该实验的后续具体步骤和二分类实验步骤一致，不同的是在多分类实验中，增加了500条训练数据，增加了100条训练数据，将学习率设置为0.05，其他实验设置与二分类情况一致。经过多轮训练，最终，训练出来的模型准确率为0.56，花费时间为1037.86秒，如表3所示。

表3多分类模型效果对比

由表3可知，三个模型在多分类问题中的准确率都不高，虽然本实施例的模型和变分影子量子神经网络模型的准确率几乎相同并且准确率都不是很高，但是，本实施例的模型可以减少训练的时间，未来在多分类问题方面，可以做进一步的研究，提高模型的准确率。

在本实施例中，提出了基于免疫优化算法的变分影子量子神经网络模型，该模型使用变分影子量子算法来提取数据中的影子特征，以减少参数，提高模型准确率，同时使用免疫优化算法来初始化神经网络的权值参数，提高模型训练的效率。通过数值实验证明，与普通的变分量子神经网络相比，基于免疫优化算法的变分影子量子神经网络模型可以有效提高模型的准确率。变分影子量子神经网络也可以提高模型的准确率，但花费的时间较长，本方案提出的模型可以有效改善这一问题，减少模型训练花费的时间。并且，在本实施例中，将模型运用到了二分类和多分类问题中，在多分类问题中，模型的准确率并不高，未来还需要做进一步的研究，提高模型的准确率。同时，虽然变分影子量子算法模型训练时间长的问题得到了改善，但还需要继续改进这一模型，减少模型训练需要的时间。

以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (3)

1.基于免疫优化算法的变分阴影量子神经网络，其特征在于，包括：

VSQL框架：首先，将需要训练的经典数据编码为量子数据，如下式，

Xⁱ→|Xⁱ>

其中，X为经典数据的数据点，i为数据集中的第i个数据；然后，准备一个参数化局部量子电路U(θ)，并且初始化它的参数θ，将其作为影子量子电路，在整个量子电路中，在前n_qsc个量子比特上作用影子量子电路U(θ)，其中，n_qsc表示影子量子电路的宽度；

FCNN框架：利用免疫优化算法初始化经典FCNN的参数ω、b，并使用log_softmax函数作为激活函数，log_softmax函数公式如下，

将数据集内所有的数据点都处理完后，计算损失函数L(θ,ω,b)，利用基于梯度的优化器调整影子量子电路参数θ和神经网络参数ω,b，最小化损失函数。

2.如权利要求1所述的基于免疫优化算法的变分阴影量子神经网络，其特征在于，在VSQL框架中，每次只在连续n_qsc个量子比特上作用影子量子电路U(θ)，通过测量局部可观测量获取一个局部影子特征，不断将U(θ)在整个电路中向下移动并测量。

3.如权利要求2所述的基于免疫优化算法的变分阴影量子神经网络，其特征在于，在FCNN框架中，免疫优化算法中抗体通过以下等式更新：

V_j＝V_i+αN(0,1)

其中，V_i是初始化抗体，V_j表示V_i的突变形式，N(0,1)表示为具有零-均值和标准偏差的高斯随机变量，α是抗体的突变率，α可计算为α＝exp(-β×(γ/λ+(1-γ)×F))

其中，β是衰减的突变率，参数F是在[0,1]中标准化的个体的适应度，γ和1-γ分别表示抗体和适应度的加权参数，λ是抗体的浓度，定义为

λ＝max(A)/mean(A(x_i,v_i))

其中，A是通过欧几里得距离测量的抗体之间的亲和力值，max(A)表示所有抗体之间的亲和力的最大值，mean(A(x_i,v_i))为V_i与其他抗体之间所有亲和力的平均值。