CN116342961B - 基于混合量子神经网络的时间序列分类深度学习系统 - Google Patents

基于混合量子神经网络的时间序列分类深度学习系统 Download PDF

Info

Publication number
CN116342961B
CN116342961B CN202310337065.4A CN202310337065A CN116342961B CN 116342961 B CN116342961 B CN 116342961B CN 202310337065 A CN202310337065 A CN 202310337065A CN 116342961 B CN116342961 B CN 116342961B
Authority
CN
China
Prior art keywords
quantum
imaging
time sequence
data set
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310337065.4A
Other languages
English (en)
Other versions
CN116342961A (zh
Inventor
董玉民
谢建设
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Normal University
Original Assignee
Chongqing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Normal University filed Critical Chongqing Normal University
Priority to CN202310337065.4A priority Critical patent/CN116342961B/zh
Publication of CN116342961A publication Critical patent/CN116342961A/zh
Application granted granted Critical
Publication of CN116342961B publication Critical patent/CN116342961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • G06N10/20—Models of quantum computing, e.g. quantum circuits or universal quantum computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，具体涉及一种基于混合量子神经网络的时间序列分类深度学习系统，包括：成像模块，将数据集分为样本数量足够的数据集与样本数量不足的数据集，对样本数量足够的数据集单独应用RP时间序列成像方法将一维的时间序列转变为2D图像，对样本数量不足的数据集使用RP、MTF、GASF、GAD四种时间序列成像方法并按照逆时针融合成一副图像；提取特征模块，使用经过改造的RESNET模型，也即特征提取模型对成象阶段得到的图像进行特征提取，并输出提取的特征值；分类模块，将提取特征阶段提取的特征值转换为角度应用到量子变分电路中，采用量子变分电路做分类处理。本发明解决了混合量子模型不能处理二次图像的技术问题。

Description

基于混合量子神经网络的时间序列分类深度学习系统
技术领域
本发明涉及人工智能技术领域，具体涉及一种基于混合量子神经网络的时间序列分类深度学习系统。
背景技术
近年来，深度学习(DL)在包括语音识别、图像识别和自然语言处理在内的许多领域取得了令人瞩目的进展，这促使研究人员在时间序列分类(TSC)领域研究DL。直到最近，多尺度卷积神经网络(MCNN)、全卷积网络(FCN)和残差网络(RESNET)等深度学习方法在TSC上的应用才开始出现。比如说：使用GAF和MTF将时间序列转换为图像，并应用卷积神经网络(CNN)模型对时间序列分类(GAF-MTF)，随后，使用RP将时间序列转换为二维纹理图像，然后利用深度CNN分类器进行识别操作(RPCNN)，还有人通过相对位置矩阵将时间序列数据转换为2D图像，并构建一个改进的CNN架构对数据进行分类(RPMCNN)，以及，提出了用长短期记忆完全卷积网络解决TSC问题(LSTM-FCN)，这些方法大致可以分为两类：一种依赖修改后的传统CNN架构并使用1D时间序列信号作为输入，例如LSTM-FCN，而另一种则是首先将原始时间序列转换为2D图像，然后应用于深度学习模型，包括GAF-MTF,RPCNN和RPMCNN。同时，量子计算(QC)作为一种新的计算范式，有望在包括机器学习在内的多个领域应用。QC通过量子优越性证明了其在经典同行难以解决的问题中的重要作用，比如说，有人通过深度卷积神经网络的量子算法实现图像识别的新前沿，并对MNIST数据集分类进行了数值模拟，证明了量子计算的效率；有人混合经典量子神经网络中的迁移学习模型，证明了量子迁移学习的可能性。
但是，基于时间序列成像和混合量子神经网络来解决TSC任务的研究还很少，现有的大多数混合量子神经网络模型大部分都集中在解决原始数据为图像的预测分类任务上，并不能处理二次图像。
发明内容
本发明提供一种基于混合量子神经网络的时间序列分类深度学习系统，以解决混合量子模型不能处理二次图像的技术问题。
本发明提供的基础方案为：基于混合量子神经网络的时间序列分类深度学习系统，包括：
成像模块，用于成像阶段，将数据集分为样本数量足够的数据集与样本数量不足的数据集，对样本数量足够的数据集单独应用RP时间序列成像方法将一维的时间序列转变为2D图像，对样本数量不足的数据集使用RP、MTF、GASF、GAD四种时间序列成像方法并按照逆时针融合成一副图像；
提取特征模块，用于提取特征阶段，使用经过改造的RESNET模型，也即特征提取模型对成象阶段得到的图像进行特征提取，并输出提取的特征值；
分类模块，用于分类阶段，将提取特征阶段提取的特征值转换为角度应用到量子变分电路中，采用量子变分电路做分类处理。
本发明的工作原理及优点在于：其一，对于样本数量足够的数据集，采用单一的RP成像，因为样本数量足够的情况下，MIHQNN模型训练过程中很少出现过拟合的情况，而采用多种成像融合，可能会增加额外的消耗，包括时间和内存的消耗，而对于样本数量不足的数据集，采用多种成像的必要性就显而易见了，时间序列图像的边缘和对角线包含更丰富的分类特征，使用特征融合方法将四组特征向量组合成一个联合向量，从而扩展原始图像的特征向量空间，这有利于其分类的深度学习框架，从而提高分类率；其二，考虑到训练数据的样本量不足，提出了使用四种时间序列成像融合的方法，增强样本特征，以降低过度拟合的风险，使得混合量子模型可以处理二次图像。
本发明对于处理时间序列分类任务，提出时间序列成像和混合量子神经网络相结合的模型，考虑到训练数据的样本量不足使用四种时间序列成像融合增强样本特征，以降低过度拟合的风险，解决了混合量子模型不能处理二次图像的技术问题。
进一步，在成像阶段，RP是表示从原始时间序列提取的轨迹之间的距离的图像，递归图的公式为：
Rij＝θ(ε-||Xi-Xj||)
给定时间序列(x1,...,xn),对时间序列进行重构后的结果是：
其中m表示嵌入维度，τ表示延迟时间，
重构后的相空间中i点xi和j点xj的距离是：
递归值可以表示为：
有益效果在于：RP是分析时间序列周期性、混沌性以及非平稳性的一个重要方法，可以揭示时间序列的内部结构，给出有关相似性、信息量和预测性的先验知识，RP特别适合短时间序列数据，可以检验时间序列的平稳性、内在相似性。
进一步，在成像阶段，构建MTF的过程如下：
第一步：首先将时间序列数据划分为Q个bins，每个数据点i都对应一个唯一的bins,即每个数据点都只有一个标识qi，i∈{1,2,...,Q}；
第二步：构建马尔可夫状态转移矩阵：
Aij＝P(St＝j|St-1＝i)
其中，Aij代表状态i转变为状j的转移概率，采用最大似然法估计转移概率，矩阵尺寸为[Q,Q]；
第三步：构建马尔科夫变迁场M，M是一个N×N矩阵，N为时序长度，
其中，qk是xk的bins，ql是xl的bins，x为时间序列数据，
MTF的形状如下：
有益效果在于：MTF是基于一阶马尔科夫链转换而来，因为马尔可夫转移场对序列的时间依赖不敏感，所以MTF是基于时间位置的关系提出的，但是时间依赖不敏感。
进一步，在成像阶段，GAF的实现的步骤如下：
第一步：将数据缩放到[-1,1]，缩放的公式为：
第二步：将缩放后的序列数据转换到极坐标，即将数值看作夹角余弦值，时间戳看作半径，如下：
第三步：根据识别的标准不同分别计算GASF和GADF：
有益效果在于：GAF是一种从时间序列获得的图像，主要是根据时间开始的每对值之间的某种时间相关性获得，其中分为GASF和GADF，这两种方法的区别在于，当将缩放后的时间序列数据从直角坐标系转换到极坐标系后，GASF考虑的是将不同点之间的角度的和作为识别不同时间点的标准，而GADF考虑的是将不同点之间的角度的差作为识别不同时间点的标准。
进一步，在特征提取阶段，将特征提取模型的输出特征数设置为4，特征提取模型包含三个部分：第一部分的构成包括输入通道、输出通道与步幅为2的7x7卷积层，输入通道的输入通道数为224×224，输出通道的输出通道数为64，步幅为2的7x7卷积层后面接有一个批量归一化层，随后接有一个步幅为2的3x3的最大池化层；第二部分的构成包括四个残差块，每个残差块里面有两个具有相同输出通道数的3x3卷积层，每个3x3卷积层后面接有一个批量规划层和ReLU激活函数，每个残差块中将输入直接加在最后的ReLU激活函数前；第三部分的构成是将残差块提取出的特征后接有一个全局平均池化，然后接有一个全连接层。
有益效果在于：第一部分中的批量归一化层(BN)可以解决梯度消失和梯度爆炸问题，第二部分的设计可以满足2个卷积层的输出与输入形状一样，从而使它们可以进行相加，第三部分加入全局平均池化，可以抑制过拟合现象，加上一个全连接层可以匹配后续量子神经网络分类器的输入维度。
进一步，在分类阶段，包括：编码阶段，将先前获得的特征值转换为角度，将特征值分别乘以π/2，先应用H门作用在初始量子态，将初始量子态置于叠加态，再将RY门应用于量子位，RY门的控制角度就是由特征值转换后的角度；量子电路分类阶段，采用参数化量子电路作为神经网络的隐藏层。
有益效果在于：实现了将获得的经典信息传递到后续的量子电路中，后续可以通过对量子线路其他旋转门，控制门训练以达到最好的分类效果。
附图说明
图1为MIHQNN的总体架构的系统结构框图。
图2为应用RP、MTF、GASF、GADF对时间序列转换为图像。
图3为四幅图像融合后的图像。
图4为特征提取模型的系统结构框图。
图5为四种类型的参数化量子线路的电路图。
图6为基于RP和多种成像的四种MIHQNN模型对数据集ST的分类准确率。
图7为基于RP和多种成像的四种MIHQNN模型对数据集computer的分类准确率。
图8为基于RP和多种成像的四种MIHQNN模型对数据集ham的分类准确率。
图9为基于RP和多种成像的四种MIHQNN模型对数据集herring的分类准确率。
具体实施方式
下面通过具体实施方式进一步详细的说明：
实施例1
实施例基本如附图1所示，MIHQNN的总体架构如附图1所示，它由三个顺序阶段组成：成像阶段，特征提取阶段以及应用量子变分电路作为分类阶段。在成像阶段，将数据集分为两种，一种为样本数据量足够，另一种为样本数量不足，前面一种单独应用RP时间序列成像方法，将一维的时间序列转变为2D图像，后一种使用四种时间序列成像方法，并融合成一副图像；在提取特征阶段将使用一个经过改造的RESNET模型，其中包括几个残差块和完全连接层，以输出提取的特征；在分类阶段，对每个数据集分别采用四个量子变分电路做分类处理。
1.成像阶段
对于样本数量足够的数据集，采用单一的RP成像，因为在样本数量足够的情况下，MIHQNN模型训练过程中很少出现过拟合的情况，而采用多种成像融合，可能会增加额外的消耗，包括时间和内存的消耗，而对于样本数量不够的数据集，采用多种成像的必要性就显而易见了，时间序列图像的边缘和对角线包含更丰富的分类特征，使用特征融合方法，将四组特征向量组合成一个联合向量，从而扩展了原始图像的特征向量空间，这有利于其分类的深度学习框架，从而提高分类率。多种成像并融合，具体来说是对每段时间序列分别使用RP、MTF、GASF、GADF四种成像方法转换成四幅图像，并按照逆时针由RP、MTF、GASF、GADF组成一副图像，如附图1中的(b)。下面详细说明四种时间序列成像的原理及步骤。
(1)RP成像
RP是分析时间序列周期性、混沌性以及非平稳性的一个重要方法，用它可以揭示时间序列的内部结构，给出有关相似性、信息量和预测性的先验知识，RP特别适合短时间序列数据，可以检验时间序列的平稳性、内在相似性，RP是表示从原始时间序列提取的轨迹之间的距离的图像。
具体的原理如下，递归图的公式为：
Rij＝θ(ε-||Xi-Xj||)
给定时间序列(x1,...,xn),对时间序列进行重构后的结果是：
其中m表示嵌入维度，τ表示延迟时间。
重构后的相空间中i点xi和j点xj的距离是：
于是递归值可以表示为：
附图2中(a)展示了应用RP将一段时间序列转化后的图像，其中τ＝0.1,m＝1。
(2)MTF成像
MTF是基于一阶马尔科夫链转换而来，因为马尔可夫转移场对序列的时间依赖不敏感，所以MTF是基于时间位置的关系提出的，构建MTF的过程如下：
第一步：首先将时间序列数据划分为Q个bins，每个数据点i都对应一个唯一的bins,即每个数据点都只有一个标识qi，i∈{1,2,...,Q}；
第二步：构建马尔可夫状态转移矩阵：
Aij＝P(St＝j|St-1＝i)
其中，Aij代表状态i转变为状j的转移概率，一般采用最大似然法估计转移概率，其中矩阵尺寸为[Q,Q]；
第三步：构建马尔科夫变迁场M，M是一个N×N矩阵，N为时序长度，
其中，qk是xk的bins，ql是xl的bins，x为时间序列数据，
MTF的形状如下：
附图2中的(b)展示了应用MTF将一段时间序列转化后的图像，其中，bins＝5。
(3)GAF成像
GAF是一种从时间序列获得的图像，主要是根据时间开始的每对值之间的某种时间相关性获得。其中分为两种方法：GASF和GADF。这两种方法的区别在于当将缩放后的时间序列数据从直角坐标系转换到极坐标系后，GASF考虑的是将不同点之间的角度的和作为识别不同时间点的标准，而GADF考虑的是将不同点之间的角度的差作为识别不同时间点的标准。GAF的实现的步骤如下：
第一步：将数据缩放到[-1,1](本实施例中将数据缩放到[-1,1],但是还可以将数据缩放到[0,1])，缩放的公式为：
第二步：将缩放后的序列数据转换到极坐标，也即，将数值看作夹角余弦值，时间戳看作半径，
第三步：根据识别的标准不同分别计算GASF和GADF，如下，
附图2中的(c)和(d)展示了应用GASF和GADF将一段时间序列转化后的图像，附图3展示了四幅图像融合后的图像。
2.特征提取阶段
将原始时间序列数据被转换为图像后，就可以训练CNN模型来对这些图像进行特征提取，本实施例特征提取模型是基于RESNET进行改进的，主要是两点：1)一些成熟的深度学习模型，如RESNET,这些模型常用于RGB(三通道)彩色图像的分类任务，而经过成像阶段中的处理，得到的图片类型是单通道的，需要将第一层卷积层的输入通道修改为单通道；2)特征提取模型的输出必须与后面分类阶段的输入要求一致。在本实施例中，作为分类阶段的可训练参数化变分量子电路是4量子比特数，所以需要将特征提取模型的输出的特征数设置为4。
如附图4所示，特征提取模型主要包含三个部分。第一部分的构成如下：大小为224×224的1通道输入，输出通道数为64，步幅为2的7x7卷积层(conv)后面是一个批量归一化层(BN)，随后是一个步幅为2的3x3的最大池化层(Max Pool)，BN主要是用来解决梯度消失和梯度爆炸问题。第二部分的构成如下：主要包含四个残差块，每个残差块里面有两个相同的输出通道数的3x3卷积层，每个卷积层后面接一个批量规划层和ReLU激活函数，每个残差块中还需将输入直接加在最后的ReLU激活函数前，这样的设计可以满足2个卷积层的输出与输入形状一样，从而使它们可以相加。第三部分的构成如下：最后将残差层提取出的特征后接一个全局平均池化，加入全局平均池化，可以抑制过拟合现象，然后加上一个全连接层以匹配后续量子神经网络分类器的输入维度。
3.分类阶段
在分类阶段中，主要探索量子变分电路替代于经典分类器的可能性与不同量子电路分类精度之间的相关性。分类阶段主要有两个部分组成：1)经过特征提取阶段得到的特征是经典态，此时不能直接嵌入到量子线路中，必须经过一个编码部分，将提取到的特征送入量子变分电路中；2)当输入了特征后，使用四个量子线路分别作为四种分类器，探讨不同量子线路对分类的影响。
(1)编码阶段
为了构建混合量子模型，将经典数据转换到高维的量子表示至关重要。目前，已经提出了角度编码，振幅编码或乘积编码等。本实施例采取的编码方法是将先前获得的特征值转换为角度，如附图1中将四个特征值分别乘以π/2，然后应用到量子线路中。如附图5中的cuit1所示,可以先应用Hadamard门(H)作用在初始量子态，将初始量子态置于叠加态，然后将RY门应用于量子位，RY门的控制角度就是之前由特征值转换后的角度，这就实现了将获得的经典信息传递到后续的量子电路中，后续通过对量子线路其他旋转门，控制门训练以达到最好的分类效果。
(2)量子电路分类阶段
为了创建MIHQNN，需要使用参数化量子电路作为神经网络的隐藏层，本实施例选择并设计了四种类型的电路，对采用的电路的描述将有助于深入了解量子门如何影响最终结果。如附图5所示，Cuit1电路中，每个量子比特首先通过H门得到叠加态，然后通过RY门，RY的参数是经典网络的输出，然后使用CNOT门相互纠缠，在这里经过的RY门是恒等旋转，即Ry(θi)＝I,i＝0,1,2,3，则CNOT门之前的状态如下：
因为这里假设RY门为恒等旋转，所以状态|ψ1>通过CNOT门后的状态不变，即|ψ2>＝|ψ1>，现实情况中RY门的效果不是恒等旋转，这也体现了经典信息编码为量子信息并输入到量子线路的重要性，然后通过四次旋转门后的状态为
线路1的深度为4，CNOT门和RY门的组合一共重复四次。在训练的过程中参数θj又称作量子权重，类似神经网络中的权重，θj是可训练的。cuit2,cuit3和cuit4的原理和cuit1相同，只是量子门的组合和深度不同，类比于神经网络中的网络结构不同。经过量子线路的叠加和纠缠等，最后需要得到测量值，在四个量子位上使用泡利Z门，电路需要重复测量，本实施例中设置的重复次数为1000，得到的测量值的个数为4，还需要在量子电路后链接一个全连接层，全连接层的输入为4，输出为n，n表示分类的目标数，后续实验中主要测试UCR存档中的目标数量为2或3的数据集。随着整个MIHQNN框架的建立，还进行了综合实验。
4.综合实验
(1)实验设置
在UCR时间序列分类档案的数据集上评估MIHQNN的性能，选择了其中的14数据集，分类的数量为2和3。在随后的部分中，进行了一些实验，例如：1)在四个不同的量子电路上进行实验，2)在三个经典深度学习模型上(ResNet[24]、DENSENET[35]、VGGNet[36])进行实验以与量子对应物进行比较，3)针对MIHQNN，将RP时间序列成像与多种时间序列成像融合进行比较。
本实施例提出的MIHQNN是基于PyTorch和pennylane实现的，并在NVIDIA GeForceGTX 1650显卡上运行，该显卡具有896个内核和4GB全局内存。模型的超参数为{batch_size＝10，lr＝0.0007，step_size＝10,gamma＝0.1}，分别表示批量大小、学习率、学习率调整周期、更新学习率的乘法因子，学习率调整周期和学习率乘法因子表示每10个epoch将学习率调整为lr×gamma。对于四个MIHQNN分类器，无论量子电路是否不同，都使用Adam优化器训练了50个周期，损失函数为交叉熵损失函数，三个深度学习模型和MIHQNN处于同等条件和环境。
在本实施例中，所有的TSC方法的性能通过分类准确率进行评估，分类的准确率定义为：
其中，TP表示预测的结果与真实的结果一致的个数，FN表示预测的结果与真实的结果不一致的个数。
(2)与经典的模型比较
为了评估MIHQNN的性能，本实施例选择了三种最近五年在处理图像和时间序列方面出色的模型，分别是ResNet18、DENSENET121、VGGNet11，它们都是基于PyTorch实现的三种深度学习模型。与经典的模型的比较中，选取了UCR存档的10个标准数据集，首先根据RP成像将原始时间序列数据转化为2D图像，然后分别送入本实施例的模型和对比模型中训练和测试，训练50个周期后收集各个模型能达到的最佳分类准确率。
表1显示了本实施例提出的方法和其他TSC方法的准确率，其中还显示了每个数据集的描述信息{c,Ntr,Nte,L},分别来表示数据集的类别数、训练集数量、测试集数量、时间序列长度，其中MIHQNN1表示的是基于电路1的MIHQNN模型。观察表1，如果将四个量子线路看成一个整体，可以发现本实施例的方法在UCR存档的10个标准数据集中的8个上实现了最佳性能，如果单独看待四个量子线路组成的MIHQNN，可以发现基于四个不同的量子线路组成的四个混合量子神经网络在10个标准数据集中有一半实现了最佳性能。例如，在数据集SmallKitchenAppliances的实验中，基于四个不同的量子电路的MIHQNN的准确率分别为0.874，0.832，0.834，0.840，而其他的TSC方法的准确率按ResNet、DENSENET、VGGNet的顺序分别为0.813，0.792，0.781。观察发现，基于MIHQNN的四个具体模型的最佳准确率都要高于其他的TSC方法。这表明量子混合模型处理时间序列数据的有效性。
表1：与现有技术的TSC算法相比，所提出的方法在10个来自UCR档案的选定数据上的性能(就准确率而言)
(3)四个不同量子线路之间的比较
针对此次实验，本实施例选定了四个变分量子电路分别作为分类器，每个量子电路的编码阶段一致，各类旋转门的初始参数也一致。如附图5所示，除了cuit1的结构为四层，其他线路都为一层，cuit1和cuit2在初始状态和经典信息嵌入之间各加入了四个H门，cuit3和cuit4则是在初始状态后直接嵌入经典信息。观察表1，可以发现cuit1和cuit2的平均表现要比cuit3和cuit4要好。这可能是前两种线路在经典的数据嵌入到线路之前，添加了一层H门的原因。H门可以将初始状态转变为叠加态，一个4量子比特的初始状态经过四个H门，将会形成42＝16个态同时存在的一个系统，所以相对于没有经过H门处理的量子电路，其分类的整体效果要更好。同时这也表明，混合量子神经网络中量子电路的设计和选择也很重要，过去一些研究人员已经对这方面进行了大量的研究。
(4)不同时间序列成像方法之间的比较
受限于量子比特数的影响，本实施例实验中针对的分类数据集的分类数量在1-4之间，UCR存档中有部分数据集训练样本数量过于稀少，导致选取的数据集在训练过程中容易出现过拟合的现象。针对数据样本量稀少的数据集，本实施例提出使用多种时间序列成像融合的方法代替单一的RP时间序列成像。一段时间序列将由RP，MTF,GASF,GADF分别转化为56x56的二维图像，然后将四幅图像融合成一副224x224的图像。为了验证该想法的可能性，本实施例在UCR存档中选取了四个数据集，分别测试了基于RP的MIHQNN和基于多种成像融合的MIHQNN的准确率，具体的信息如表2和表3所示，以及附图6、附图7、附图8、附图9所示。
观察附图6，7，8，9以及表1和表2，针对四个样本量稀少的数据集，与基于单一RP时间序列成像的MIHQNN相比，可以发现，基于多种时间序列成像融合的MIHQNN在指标分类准确率方面的提高是显著的。这是可预见性的，由单一的RP将时间序列转化为图像具有较少的特征信息，这对于样本数量较少的数据集是不利的，而采用多种成像并融合，将得到更多的特征，特别是对角线处汇集了四幅图像的特征。多种成像并融合不是必须的，对于样本数量足够大的情况下，采用多种成像会增加成本等额外的开销。但是多种成像并融合的想法是可行的，对于特殊的数据集是有效的。
表2：RP时间序列成像相对样本少的数据集
表3：多种时间序列成像融合相对样本少的数据集
通过以上综合比较，本实施例中验证了基于时间序列成像和混合量子神经网络的方法的可用性。特别是提出的新的框架，MIHQNN在UCR存档中的测试中反应了其显著的性能以及证明了新的框架处理TSC问题的可能性。
本实施例为TSC任务提出了一个新的框架MIHQNN，使用一个混合量子神经网络架构来识别由时间序列数据转换的2D图像，图像根据数据集中训练样本的大小来转换，样本大的将由单一RP成像转换，样本量少的则由多种成像并融合转换，将时间序列转换成2D图像，使其更容易从转换的图像中看到和解释类间和类内的相似性，特别是利用最近在图像识别方面很有效的深度学习框架和量子神经网络相结合，以达到最佳的分类效果。对UCR存档中的一些数据集进行了测试，并与最近最佳的几中TSC方法进行了比较，实验结果证明，MIHQNN整体表现更好。此外，还单独考察了不同量子线路对MIHQNN的分类影响，以及单一RP成像和多种成像融合对MIHQNN的分类影响。为以后量子机器学习处理TSC问题提供了不同的方向和可能性。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (5)

1.基于混合量子神经网络的时间序列分类深度学习系统，其特征在于，包括：
成像模块，用于成像阶段，将数据集分为样本数量足够的数据集与样本数量不足的数据集，对样本数量足够的数据集单独应用RP时间序列成像方法将一维的时间序列转变为2D图像，对样本数量不足的数据集使用RP、MTF、GASF、GAD四种时间序列成像方法并按照逆时针融合成一副图像，具体来说是，对每段时间序列分别使用RP、MTF、GASF、GADF四种成像方法转换成四幅图像，并按照逆时针由RP、MTF、GASF、GADF组成一副图像；
提取特征模块，用于提取特征阶段，使用经过改造的RESNET模型，也即特征提取模型对成象阶段得到的图像进行特征提取，并输出提取的特征值；
分类模块，用于分类阶段，将提取特征阶段提取的特征值转换为角度应用到量子变分电路中，采用量子变分电路做分类处理；
在特征提取阶段，将特征提取模型的输出特征数设置为4，特征提取模型包含三个部分：第一部分的构成包括输入通道、输出通道与步幅为2的7x7卷积层，输入通道的输入通道数为224×224，输出通道的输出通道数为64，步幅为2的7x7卷积层后面接有一个批量归一化层，随后接有一个步幅为2的3x3的最大池化层；第二部分的构成包括四个残差块，每个残差块里面有两个具有相同输出通道数的3x3卷积层，每个3x3卷积层后面接有一个批量规划层和ReLU激活函数，每个残差块中将输入直接加在最后的ReLU激活函数前；第三部分的构成是将残差块提取出的特征后接有一个全局平均池化，然后接有一个全连接层。
2.如权利要求1所述的基于混合量子神经网络的时间序列分类深度学习系统，其特征在于，在成像阶段，RP是表示从原始时间序列提取的轨迹之间的距离的图像，递归图的公式为：
给定时间序列(),对时间序列进行重构后的结果是：
其中m表示嵌入维度，表示延迟时间，
重构后的相空间中i点和j点/>的距离是：
递归值可以表示为：
。
3.如权利要求2所述的基于混合量子神经网络的时间序列分类深度学习系统，其特征在于，在成像阶段，构建MTF的过程如下：
第一步：首先将时间序列数据划分为Q个bins，每个数据点i都对应一个唯一的bins,即每个数据点都只有一个标识，/>；
第二步：构建马尔可夫状态转移矩阵：
其中，代表状态i转变为状j的转移概率，采用最大似然法估计转移概率，矩阵尺寸为[Q,Q]；
第三步：构建马尔科夫变迁场M，M是一个矩阵，N为时序长度，
其中，是/>的bins，/>是/>的bins，x为时间序列数据，
MTF的形状如下：
。
4.如权利要求3所述的基于混合量子神经网络的时间序列分类深度学习系统，其特征在于，在成像阶段，GAF的实现的步骤如下：
第一步：将数据缩放到[-1,1]，缩放的公式为：
第二步：将缩放后的序列数据转转换到极坐标，即将数值看作夹角余弦值，时间戳看作半径，如下：
第三步：根据识别的标准不同分别计算GASF和GADF：
。
5.如权利要求4所述的基于混合量子神经网络的时间序列分类深度学习系统，其特征在于，在分类阶段，包括：编码阶段，将先前获得的特征值转换为角度，将特征值分别乘以，先应用H门作用在初始量子态，将初始量子态置于叠加态，再将RY门应用于量子位，RY门的控制角度就是由特征值转换后的角度；量子电路分类阶段，采用参数化量子电路作为神经网络的隐藏层。
CN202310337065.4A 2023-03-30 2023-03-30 基于混合量子神经网络的时间序列分类深度学习系统 Active CN116342961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310337065.4A CN116342961B (zh) 2023-03-30 2023-03-30 基于混合量子神经网络的时间序列分类深度学习系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310337065.4A CN116342961B (zh) 2023-03-30 2023-03-30 基于混合量子神经网络的时间序列分类深度学习系统

Publications (2)

Publication Number Publication Date
CN116342961A CN116342961A (zh) 2023-06-27
CN116342961B true CN116342961B (zh) 2024-02-13

Family

ID=86892846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310337065.4A Active CN116342961B (zh) 2023-03-30 2023-03-30 基于混合量子神经网络的时间序列分类深度学习系统

Country Status (1)

Country Link
CN (1) CN116342961B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148019A (ja) * 1999-06-01 2001-05-29 Fujitsu Ltd 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置
JP2011185734A (ja) * 2010-02-14 2011-09-22 Microdent:Kk 時空間装置
CN201993091U (zh) * 2011-02-18 2011-09-28 华南理工大学 运动火源扩散火焰锋面三维结构测量系统
CN106067968A (zh) * 2015-04-20 2016-11-02 三星电子株式会社 图像传感器单元和系统
CN110599556A (zh) * 2019-09-05 2019-12-20 河海大学常州校区 一种基于改进型递归图的时间序列至图像的转化方法
EP3680851A1 (en) * 2019-01-09 2020-07-15 Agfa Nv Method and system to calculate the point spread function of a digital image detector system based on a mtf modulated quantum-noise measurement
CN113743259A (zh) * 2021-08-23 2021-12-03 吉林大学 基于ResOHEM-net的心律失常分类方法及系统
WO2022179533A1 (zh) * 2021-02-26 2022-09-01 合肥本源量子计算科技有限责任公司 一种量子卷积操作器
CN115034299A (zh) * 2022-06-06 2022-09-09 中国工商银行股份有限公司 基于卷积神经网络多通道特征表示的文本分类方法及装置
CN115290326A (zh) * 2021-12-20 2022-11-04 兰州理工大学 一种滚动轴承故障智能诊断方法
CN115471695A (zh) * 2022-08-31 2022-12-13 浙江工业大学 基于信号转图多模态融合的飞机射频信号多任务个体识别方法
CN115659254A (zh) * 2022-09-19 2023-01-31 河海大学 一种双模态特征融合的配电网电能质量扰动分析方法
WO2023020487A1 (zh) * 2021-08-17 2023-02-23 合肥本源量子计算科技有限责任公司 量子程序与量子芯片的映射方法和量子操作系统及计算机

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230025493A1 (en) * 2019-12-24 2023-01-26 Kowa Company, Ltd. Ophthalmic image processing method, ophthalmic image processing device, and ophthalmic image processing program
JP7468227B2 (ja) * 2020-07-30 2024-04-16 セイコーエプソン株式会社 虚像表示装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148019A (ja) * 1999-06-01 2001-05-29 Fujitsu Ltd 移動物体間動作分類方法及び装置、画像認識装置並びに移動物体認識方法及び装置
JP2011185734A (ja) * 2010-02-14 2011-09-22 Microdent:Kk 時空間装置
CN201993091U (zh) * 2011-02-18 2011-09-28 华南理工大学 运动火源扩散火焰锋面三维结构测量系统
CN106067968A (zh) * 2015-04-20 2016-11-02 三星电子株式会社 图像传感器单元和系统
EP3680851A1 (en) * 2019-01-09 2020-07-15 Agfa Nv Method and system to calculate the point spread function of a digital image detector system based on a mtf modulated quantum-noise measurement
CN110599556A (zh) * 2019-09-05 2019-12-20 河海大学常州校区 一种基于改进型递归图的时间序列至图像的转化方法
WO2022179533A1 (zh) * 2021-02-26 2022-09-01 合肥本源量子计算科技有限责任公司 一种量子卷积操作器
WO2023020487A1 (zh) * 2021-08-17 2023-02-23 合肥本源量子计算科技有限责任公司 量子程序与量子芯片的映射方法和量子操作系统及计算机
CN113743259A (zh) * 2021-08-23 2021-12-03 吉林大学 基于ResOHEM-net的心律失常分类方法及系统
CN115290326A (zh) * 2021-12-20 2022-11-04 兰州理工大学 一种滚动轴承故障智能诊断方法
CN115034299A (zh) * 2022-06-06 2022-09-09 中国工商银行股份有限公司 基于卷积神经网络多通道特征表示的文本分类方法及装置
CN115471695A (zh) * 2022-08-31 2022-12-13 浙江工业大学 基于信号转图多模态融合的飞机射频信号多任务个体识别方法
CN115659254A (zh) * 2022-09-19 2023-01-31 河海大学 一种双模态特征融合的配电网电能质量扰动分析方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Recognition of Pneumonia Image Based on Improved Quantum Neural Network;Dong Yumin;《 IEEE Access》;全文 *
Variational quantum algorithm with information sharing;Chris N. Self;<Nature>;20210722;全文 *
深度学习在引力波数据处理中的应用初探;曹周键;王赫;朱建阳;;河南师范大学学报(自然科学版);20180403(第02期);全文 *
面向图像分类的混合量子长短期记忆神经网络构建方法;杨光;《物理学报》;第2, 3部分 *

Also Published As

Publication number Publication date
CN116342961A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
CN109522942B (zh) 一种图像分类方法、装置、终端设备和存储介质
CN110929736B (zh) 多特征级联rgb-d显著性目标检测方法
Fang et al. DOG: A new background removal for object recognition from images
CN111325766B (zh) 三维边缘检测方法、装置、存储介质和计算机设备
CN111126464A (zh) 一种基于无监督域对抗领域适应的图像分类方法
Xu et al. RGB-T salient object detection via CNN feature and result saliency map fusion
Tripathy et al. Brain MRI segmentation techniques based on CNN and its variants
CN116543351A (zh) 一种基于时空串并联关系编码的自监督群体行为识别方法
Adnan et al. An improved automatic image annotation approach using convolutional neural network-Slantlet transform
Meena et al. Effective curvelet-based facial expression recognition using graph signal processing
Varshney et al. Dog breed classification using deep learning
CN114780767A (zh) 一种基于深度卷积神经网络的大规模图像检索方法及系统
Husain et al. Face recognition method based on residual convolution neural network
Bi et al. Critical direction projection networks for few-shot learning
Zhang et al. Structure-feature fusion adaptive graph convolutional networks for skeleton-based action recognition
CN116342961B (zh) 基于混合量子神经网络的时间序列分类深度学习系统
Li et al. Multi-view convolutional vision transformer for 3D object recognition
EP3588441B1 (en) Imagification of multivariate data sequences
Pei et al. RISAT: real-time instance segmentation with adversarial training
CN114155388A (zh) 一种图像识别方法、装置、计算机设备和存储介质
Parekhji et al. Comparing GANs for translating satellite images to maps
Hou et al. Shuffle Attention Multiple Instances Learning for Breast Cancer Whole Slide Image Classification
Jun et al. Two-view correspondence learning via complex information extraction
Shan et al. KAConv: Kernel attention convolutions
CN114663690B (zh) 一种基于新型量子框架实现乳腺癌分类的系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant