CN116187454A - 基于量子线路的量子注意力机制方法 - Google Patents

Abstract

本发明提供一种基于量子线路的量子注意力机制方法，属于量子计算领域。根据本发明提供的一种基于量子线路的量子注意力机制方法，该方法将经典序列数据编码为第一量子态，并将该第一量子态分别输入至三个量子线路中，进行三个酉变换后输出对应的三个处理矩阵Q、K、V，将处理矩阵Q、K在相似度线路中进行演化，输出处理矩阵Q、K的相似度α_ij，将该相似度α_ij进行线性变换后作为量子注意力线路的的参数，将第三处理矩阵V输入量子注意力线路中，演化后输出第三量子态V_i＇，并将该第三量子态V_i＇输入合并量子线路中进行演化，测量后输出经典序列数据对应的密度矩阵。

Description

基于量子线路的量子注意力机制方法

技术领域

本发明属于量子计算技术领域，具体涉及一种基于量子线路的量子注意力机制方法。

背景技术

注意力机制(Attention Mechanisms)可以帮助模型对输入的每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销。注意力机制既简单，又可以赋予模型更强的辨别能力，还可以用于解释神经网络模型(例如机器翻译中输入和输出文字对齐、图像释义中文字和图像不同区域的关联程度)等。

目前深度学习神经网络结构中，一般均包含注意力机制，比如Seq2Seq模型中的注意力机制或Transformer模型中的多头注意力机制。

然而随着输入序列数据长度的增加，使得模型更加复杂，因此需要更多的经典计算资源。

发明内容

本发明目的在于提供一种基于量子线路的量子注意力机制方法，从而可以使用较少的经典计算资源、同时提高计算效率。

本发明提供了一种基于量子线路的量子注意力机制方法，包括如下步骤：

获取经典序列数据并编码为包含经典序列信息的第一量子态；

将第一量子态分别输入至第一量子线路、第二量子线路及第三量子线路中进行演化，输出对应的第一处理矩阵Q、第二处理矩阵K及第三处理矩阵V，其中，第一处理矩阵Q包括多个第一向量Q_i、第二处理矩阵K包括多个第二向量K_j，第三处理矩阵V包括多个第三向量V_i；

将第一处理矩阵Q中的第一向量Q₁与多个第二向量K_j输入至相似度量子线路中进行演化，测量后输出第一向量Q₁对应的相似度α_1j；

遍历多个第一向量Q_i，输出第一处理矩阵Q与第二处理矩阵K之间的相似度α_ij；

对相似度α_ij进行线性变换，输出变换后的相似度α_ij′并将其作为量子注意力线路中量子门的参数；

将多个第三向量Vi输入量子注意力线路中进行演化，测量后输出对应的第三量子态V_i′；以及

将第三量子态V_i′输入合并量子线路中进行演化，测量后输出经典序列数据对应的密度矩阵，

其中，i＝1，2…m，j＝1，2…m，m为正整数且m为经典序列数据的总长度。

上述的方法，其中：

第一量子线路、第二量子线路及第三量子线路包括变分量子线路模块。

上述的方法，其中：

变分量子线路模块包括纠缠模块与单比特旋转模块，

纠缠模块包括N层纠缠层，用于使任意两个量子比特之间进行纠缠，

单比特旋转模块包括沿Y轴、Z轴和/或X轴旋转的单比特旋转门。

上述的方法，其中：

相似度量子线路包括Swap test量子线路。

上述的方法，其中：

Swap test量子线路包括H门和受控SWAP门。

上述的方法，其中：

合并量子线路包括辅助量子线路、目标量子线路及量子注意力线路，

辅助量子线路作为控制线路控制目标量子线路及量子注意力线路依次执行k个受控SAWP门，测量目标量子线路后输出经典序列数据对应的密度矩阵。

上述的方法，其中：

辅助量子线路的控制比特为

第a个(a＝1，2，3，...，k)受控SWAP门执行的操作包括：若

处于|a-1>，则对|z_i>和|V_a>执行SWAP操作，

其中，辅助量子线路的量子比特数为n_a，

|z_i>为目标量子线路的量子态，|V_a>为量子注意力线路的量子态。

上述的方法，其中：

依次执行完k个受控SWAP门后，合并量子线路的量子态|Φ_total>等于

|z_i>、|V_k>之间的张量积。

上述的方法，其中：

还包括对辅助量子线路及量子注意力线路中的量子态进行偏迹运算。

上述的方法，其中：

经典序列数据包括词向量序列数据或文本向量序列数据。

发明的作用与效果

根据本发明提供的一种基于量子线路的量子注意力机制方法，该方法将经典序列数据编码为第一量子态，并将该第一量子态分别输入至三个量子线路中，进行三个酉变换后输出对应的三个处理矩阵Q、K、V，将处理矩阵Q、K在相似度线路中进行演化，输出处理矩阵Q、K的相似度α_ij，将该相似度α_ij进行线性变换后作为量子注意力线路的的参数，将第三处理矩阵V输入量子注意力线路中，演化后输出第三量子态V_i＇，并将该第三量子态V_i＇输入合并量子线路中进行演化，测量后输出经典序列数据对应的密度矩阵。因为本发明通过构建相应的量子线路从而可以实现经典序列数据对应的注意力信息，相比于经典注意力机制，因为量子线路的表达能力强，在计算过程中可以节省大量的经典计算资源，同时由于量子线路中的量子态本身具有归一化特性，因此可以省去经典注意力机制中利用softmax进行概率归一化操作，所以，本发明提供的基于量子线路的量子注意力机制相比于经典的注意力机制可节省大量的经典计算资源、提高计算效率。

附图说明

图1是本发明实施例的基于量子线路的量子注意力机制方法的总流程图。

图2是本发明实施例中通用量子线路对应的结构示意图。

图3是本发明实施例的第一种纠缠层的结构示意图。

图4是本发明实施例的第二种纠缠层的结构示意图。

图5是本发明实施例的第三种纠缠层的结构示意图。

图6是本发明实施例中相似度量子线路的结构示意图。

图7是本发明实施例的合并量子线路的结构示意图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例与附图对本发明提供的基于量子线路的量子注意力机制方法作具体阐述。

<实施例>

图1是本发明实施例的基于量子线路的量子注意力机制方法的总流程图。

如图1所示，本发明实施例提供的基于量子线路的量子注意力机制方法包括如下步骤：

S1、获取经典序列数据并编码为包含经典序列信息的第一量子态；

S2、将第一量子态分别输入至第一量子线路、第二量子线路及第三量子线路中进行演化，输出对应的第一处理矩阵Q、第二处理矩阵K及第三处理矩阵V，其中，第一处理矩阵Q包括多个第一向量Q_i、第二处理矩阵K包括多个第二向量K_j，第三处理矩阵V包括多个第三向量V_i；

S3、将第一处理矩阵Q中的第一向量Q₁与多个第二向量K_j输入至相似度量子线路中进行演化，测量后输出第一向量Q₁对应的相似度α_1j；

S4、遍历多个第一向量Q_i，输出第一处理矩阵Q与第二处理矩阵K之间的相似度α_ij；

S5、对相似度α_ij进行线性变换，输出变换后的相似度α_ij′并将其作为量子注意力线路中量子门的参数；

S6、将多个第三向量V_i输入量子注意力线路中进行演化，测量后输出对应的第三量子态V_i′；以及

S7、将第三量子态V_i′输入至合并量子线路中进行演化，测量后输出经典序列数据对应的密度矩阵，

其中，i＝1，2…m，j＝1，2…m，m为正整数且m为经典序列数据的总长度。

本实施例中的经典序列数据包括词向量序列数据或文本向量序列数据。

图2是本发明实施例中通用量子线路对应的结构示意图。

本实施例图2提供的通用量子线路均可用于表示第一量子线路U_query(θ)、第二量子线路U_Key(θ)、第三量子线路U_value(θ)、相似度量子线路、量子注意力线路U_q，attn(θ′)及合并量子线路的量子线路结构。

图2中的通用量子线路包括编码量子线路模块U(x)和变分量子线路模块V(θ)，其中U(x)中x为经典输入数据。通过初始化U(x)中的量子比特，得到整个经典输入数据对应的初始量子态

(n为qubit数目)。将U(x)作用在

上，编码得到包含经典输入信息的量子态。例如将经典的词向量序列数据输入编码量子线路模块U(x)中进行编码，得到包含词向量序列信息的第一量子态，再将该第一量子态在变分量子线路模块V(θ)中进行演化，多次测量后输出词向量序列对应的密度矩阵。

图2中的变分量子线路模块V(θ)包括纠缠模块与单比特旋转模块，纠缠模块包括N层纠缠层Lⁱ(θ)，用于使任意两个量子比特之间进行纠缠，单比特旋转模块包括沿Y轴、Z轴和/或X轴旋转的一系列单比特旋转门。图2所示的纠缠模块中的纠缠层Lⁱ(θ)的层数N可根据需要进行调整，并且每个纠缠层Lⁱ(θ)作用在任意不同的两个量子比特之间，例如可在任意两个量子比特之间施加双比特门(例如CNOT门)从而使两个量子比特发生纠缠。每个纠缠层Lⁱ(θ)可包括单比特旋转子模块与双比特操作子模块。本实施例中的单比特旋转子模块中具有可调节的参数，双比特操作子模块的结构固定，不具有可调节的参数。

图3是本发明实施例的第一种纠缠层的结构示意图；图4是本发明实施例的第二种纠缠层的结构示意图；图5是本发明实施例的第三种纠缠层的结构示意图。

如图3-5所示，本发明实施例的纠缠层可包括三种纠缠层结构。在图3中，第一种纠缠层的单比特旋转子模块包括多个沿Y轴、Z轴、Y轴旋转的旋转组合门R_yR_zR_y，每个旋转门中均具有可调节的旋转角度，如α_i、β_i、γ_i，i为1，2…n，n为正整数且为量子线路中量子比特的总个数。本实施例中采用的旋转组合门为R_yR_zR_y，在其它实施例中，也可采用其它旋转组合门来得到任意的单比特旋转门。图4、图5中的单比特旋转子模块可参考图4中的旋转组合门进行任意组合或设置为与图4相同的单比特旋转子模块，在此不再赘述。

图3中的双比特操作子模块可包括最近邻的一系列CNOT门(受控非门)，例如在前后任意相邻的两个量子比特之间施加一个CNOT门，由黑色圆点所在的量子比特作为控制比特，与之相连接的下一个量子比特作为受控比特进行纠缠，遍历所有量子比特，使得最后一个CNOT门施加在最后一个量子比特与第一个量子比特之间。

图4中的双比特操作子模块可包括次近邻的一系列CNOT门(受控非门)，例如在任意两个量子比特之间间隔一个量子比特，将CNOT门施加在具有一个中间间隔的两个量子比特之间，前面的量子比特(黑色圆点所在的量子比特)作为控制比特，与之相连接的后一个量子比特作为受控比特进行纠缠，使得最后一个CNOT门施加在最后一个量子比特与第二个量子比特之间。

图5中的双比特操作子模块可包括最近邻与次近邻组合的一系列CNOT门(受控非门)，也即图5中的一系列CNOT门可以施加在前后相邻的两个量子比特之间，也可施加在具有一个量子比特间隔的两个量子比特之间，具体参照图3、图4中的描述，在此不再赘述。

本实施例仅示例性的示出三种不同结的构纠缠层，在其它实施例中，基于与本实施例相同功能和构思的纠缠层也属于本实施例保护的范围。

如图2中的单比特旋转模块，该单比特旋转模块由N个单比特任意旋转门组成。例如任意旋转门可由分别沿Y轴、Z轴、Y轴的旋转操作组合得到，并且每个旋转门中均具有可调节的旋转角度(α_i、β_i、γ_i)。例如，本实施例提供的量子注意力线路中的单比特旋转模块的旋转角度为α_ij′，其中i、j分别代表两个不同的量子态。

图6是本发明实施例中相似度量子线路的结构示意图。

如图6所示，本发明实施例中的相似度量子线路用于计算第一处理矩阵Q与第二处理矩阵K之间的相似度α_ij。具体地，相似度量子线路可包括但不限于图6中所示的Swap test量子线路。图6中的Swap test量子线路包括两个H门及SWAP受控门。其中两个H门均作用在辅助量子比特上，SWAP受控门的控制比特为辅助量子线路中的控制比特(图6中黑色圆点)，与之相连接的SWAP门作用在两个不同的量子比特U_φ(x)、U_φ(x′)之间，从而使该两个量子比特发生量子态互换，经过Swap test量子线路的量子态在Pauli Z方向上进行测量，输出对应的相似度α_ij。具体地，将第一处理矩阵Q中的多个第一向量Q_i编码为量子态，多个第二向量K_j编码为量子态，将两类量子态初始化后，通过施加SWAP受控门进行演化，测量辅助量子线路得到第一处理矩阵Q与第二处理矩阵V之间的相似度α_ij，即α_ij＝<Z>。

图7是本发明实施例的合并量子线路的结构示意图。

本实施例中的合并量子线路包括辅助量子线路、目标量子线路及量子注意力线路，辅助量子线路作为控制线路控制目标量子线路及量子注意力线路依次执行k个受控SAWP门，测量目标量子线路后输出词向量序列数据对应的密度矩阵。

如图7所示，本实施例中辅助量子线路的控制比特为

第a个(a＝1,2，3，...，k)受控SWAP门执行的操作包括：若

处于|a-1>，则对|z_i>和|V_a>执行SWAP操作，其中，辅助量子线路的量子比特数为n_a，

|z_i>为目标量子线路ρ_i的量子态，|V_a>为量子注意力线路的量子态。依次执行完k个受控SWAP门后，合并量子线路的量子态|Φ_total>等于

|z_i>、|V_k>之间的张量积。

图7中辅助量子线路的控制比特

的数目为3个，目标量子线路ρ_i的量子比特数目为5个，量子注意力线路中每个量子态|V_k>的量子比特数目均为5个。在其它实施例中，合并量子线路中各量子线路中的量子比特数可适当进行调整，本实施例仅示例性示出。

本实施例中将辅助量子线路作为控制线路，目标量子线路ρ_i及量子注意力线路执行受控SWAP门操作。其中辅助量子线路的量子比特作为控制比特

目标量子线路ρi中的量子态|z_i>为受控比特，量子注意力线路中的量子态|Vk>为受控比特。初始化目标量子线路ρ_i的初始量子态为|0>后，合并量子线路的量子态|Φ_total>的表达式如下：

其中，辅助量子线路中的控制比特

的表达式如下：

将控制比特

的表达式(式2)代入式(1)后，合并量子线路的量子态|Φ_total>的表达式如下：

将上述合并量子线路中的量子态|Φ_total>(式3)依次执行k个受控SWAP门，第a个(a＝1，2，3，...，k)受控SWAP门执行的操作包括：若

处于|a-1>则对|z_i>和|V_a>执行SWAP操作，执行完所有受控SWAP门后测量得到合并量子线路的量子态|Φ_total>：

对执行完所有SWAP门操作的量子态|Φ_total>(式4)进行化简，其中式4中系数为1的k个|0>为目标量子线路ρ_i的量子态|z_i>，将目标量子线路ρ_i中的k个量子态|0>改写为彼此正交的量子态|Ψ₁>，|Ψ₂>，...，|Ψ_k>，并对辅助量子线路及量子注意力线路中的量子态进行偏迹运算，测量后输出词向量序列对应的密度矩阵ρ_i，其表示式如下：

式(5)中，经过合并量子线路的密度矩阵ρ_i中的词向量i不仅包含其自身信息，还包含词向量i与另一词向量i的关联信息，也即经过基于量子线路的量子注意力方法处理的每个词向量i均为混态。

以上通过说明和附图，给出了具体实施方式的特定结构的典型实施例，上述发明提出了现有的较佳实施例，但这些内容并不作为局限。对于本领域的技术人员而言，阅读上述说明后，各种变化和修正无疑将显而易见。因此，所附的权利要求书应看作是涵盖本发明的真实意图和范围的全部变化和修正。在权利要求书范围内任何和所有等价的范围与内容，都应认为仍属本发明的意图和范围内。

Claims (10)

1.一种基于量子线路的量子注意力机制方法，其特征在于，包括如下步骤：

获取经典序列数据并编码为包含经典序列信息的第一量子态；

将所述第一量子态分别输入至第一量子线路、第二量子线路及第三量子线路中进行演化，输出对应的第一处理矩阵Q、第二处理矩阵K及第三处理矩阵V，其中，所述第一处理矩阵Q包括多个第一向量Q_i、所述第二处理矩阵K包括多个第二向量K_j，所述第三处理矩阵V包括多个第三向量V_i；

将所述第一处理矩阵Q中的第一向量Q₁与所述多个第二向量K_j输入至相似度量子线路中进行演化，测量后输出所述第一向量Q₁对应的相似度α_1j；

遍历所述多个第一向量Q_i，输出所述第一处理矩阵Q与所述第二处理矩阵K之间的相似度a_ij；

对所述相似度α_ij进行线性变换，输出变换后的相似度α_ij＇并将其作为量子注意力线路中量子门的参数；

将所述多个第三向量V_i输入所述量子注意力线路中进行演化，测量后输出对应的第三量子态V_i＇；以及

将所述第三量子态V_i＇输入合并量子线路中进行演化，测量后输出所述经典序列数据对应的密度矩阵，

其中，i＝1，2…m，j＝1，2…m，m为正整数且m为所述经典序列数据的总长度。

2.根据权利要求1所述的方法，其特征在于：

所述第一量子线路、所述第二量子线路及所述第三量子线路包括变分量子线路模块。

3.根据权利要求2所述的方法，其特征在于：

所述变分量子线路模块包括纠缠模块与单比特旋转模块，

所述纠缠模块包括N层纠缠层，用于使任意两个量子比特之间进行纠缠，

所述单比特旋转模块包括沿Y轴、Z轴和/或X轴旋转的单比特旋转门。

4.根据权利要求1所述的方法，其特征在于：

其中，所述相似度量子线路包括Swap test量子线路。

5.根据权利要求4所述的方法，其特征在于：

所述Swap test量子线路包括H门和受控SWAP门。

6.根据权利要求1所述的方法，其特征在于：

所述合并量子线路包括辅助量子线路、目标量子线路及所述量子注意力线路，

所述辅助量子线路作为控制线路控制所述目标量子线路及所述量子注意力线路依次执行k个受控SAWP门，测量所述目标量子线路后输出所述经典序列数据对应的密度矩阵。

7.根据权利要求6所述的方法，其特征在于：

所述辅助量子线路的控制比特为

第a个受控SWAP门执行的操作包括：若

处于|a-1>，则对|z_i>和|V_a>执行SWAP操作，

其中，所述辅助量子线路的量子比特数为n_a，

|z_i>为所述目标量子线路的量子态，|V_a>为所述量子注意力线路的量子态。

8.根据权利要求7所述的方法，其特征在于：

依次执行完所述k个受控SWAP门后，所述合并量子线路的量子态|Φ_total>等于

|z_i>、|V_k>之间的张量积。

9.根据权利要求6所述的方法，其特征在于，还包括：

对所述辅助量子线路及所述量子注意力线路中的量子态进行偏迹运算。

10.根据权利要求1所述的方法，其特征在于：

所述经典序列数据包括词向量序列数据或文本向量序列数据。

Images