CN114818914B - 基于相空间和光流图像的多变量时间序列的分类方法 - Google Patents
基于相空间和光流图像的多变量时间序列的分类方法 Download PDFInfo
- Publication number
- CN114818914B CN114818914B CN202210434503.4A CN202210434503A CN114818914B CN 114818914 B CN114818914 B CN 114818914B CN 202210434503 A CN202210434503 A CN 202210434503A CN 114818914 B CN114818914 B CN 114818914B
- Authority
- CN
- China
- Prior art keywords
- network
- optical flow
- time series
- phase space
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims abstract description 40
- 230000004913 activation Effects 0.000 claims abstract description 4
- 239000013598 vector Substances 0.000 claims description 15
- 230000009977 dual effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- VGGSQFUCUMXWEO-UHFFFAOYSA-N Ethene Chemical compound C=C VGGSQFUCUMXWEO-UHFFFAOYSA-N 0.000 description 1
- 239000005977 Ethylene Substances 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000003039 volatile agent Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于相空间和光流图像的多变量时间序列分类方法，其包括步骤：1)将多变量时间序列转化成相空间轨迹矩阵图和光流图像；2)通过双流时空网络对多变量时间序列进行分类，所述的双流时空网络包括第一个3D网络、第二个3D网络、将两个3D网络的输出特征进行融合的Conatenate层、与Conatenate层连接的Flatten层和与Flatten层链接的全连接层，双流时空网络的激活函数为softmax。将相空间轨迹矩阵图输入第一个3D网络，光流图像输入第二个3D网络。本发明基于相空间和光流图像的多变量时间序列分类方法，通过与其他先进方法进行对比，实验结果表明本发明方法取得了与其他先进方法更好的精度，说明本发明方法对多变量时间序列分类问题是有价值的方案。
Description
技术领域
本发明涉及数据分类技术领域，特别涉及一种多变量时间序列的分类方法。
背景技术
时间序列数据出现在各个领域。从天气预测到心脑电图的医学信号，从逐渐流行起来的穿戴设备到医学智能电子鼻等应用领域，时间序列无处不在。时间序列的分类是机器学习领域的一个重要研究课题。近年来，传感器行业的发展和穿戴设备的兴起也为时间序列分类提供了大量的研究案例。时间序列数据如果收集来自同一变量的测量序列，此数据就是单变量的时间序列。相对的，如果数据是来自于多个变量的测量序列，那么就是多变量时间序列。在实际情况中，多变量时间序列是更普遍自然的。因为现在大量设备可以收集多个特性，这就产生了多变量时间序列(Multivariate Time Series,MTS)。在过去的十年里，多变量时间序列的分类问题得到了广泛的关注。
近年来，时间序列分类算法得到了快速的发展。一些传统的时间序列分类方法已被证明不只是对单变量时间序列有很好的效果。在多元时间序列分类任务上也取得了很大的成功，例如：基于距离的方法，k近邻和动态时间翘曲(Dynamic Time warp,DTW)等，基于特征转换技术的BOSS方法以及基于集合的COTE，HIVE-COTE等方法。然而，传统的机器学习算法存在一些问题：
①传统的分类方法通常依赖于手工提取。这需要研究人员对时间序列有一定的了解，提取到合适的特征来表示此序列。并且，特征提取过程是一项耗时费力的任务，通常泛化效果不佳。
②分类算法效率低。一些方法为了能够达到较高的精度，集成多个不同类型的分类器。这大大增加了运行时间，分类效率很低，例如HIVE-COTE集成了37个分类器导致此算法的计算量非常大。这使得该类方法在某些现实情况下不可行。以上缺点导致传统的机器学习方法在改善时间序列分类整体性能上难度加大。
近年来，深度学习方法在时间序列分类中也产生了较好的结果。2014年，Yi等人提出使用多通道深度卷积神经网络(Multi-Channel Deep Convolutional Neural Network,MCDCNN)进行多变量时间序列分类。MCDCNN从每个变量中获取输入来检测潜在特征。将每个通道的潜在特征输入MLP进行分类。Time-CNN方法最初由Zhao等人提出，用于单变量和多变量时间序列的分类。例如，FCN,ResNet和Encoder等深度神经网络模型开始是作为单变量时间序列的分类算法在2016年被wang等人提出。在后面的研究中，Hassan等人也将它们应用到多变量时间序列的分类任务中，并且性能已经超过最初专门为MTS数据提出的Time-CNN和MCDCNN架构。
近两年相继提出一些针对多维时间序列分类任务的框架。Karim等人尝试通过使用长短期记忆递归神经网络和注意力机制来提高FCN在时间序列数据上的分类性能，并提出了性能优异的深度学习模型LSTM-FCN和ALSTM-FCN。进一步，Karim等人将上述两个模型应用于多元时间序列分类问题。2020年，Joseph Azar等人提出改进的DenseNet(LSTM-DenseNet)用于多变量时间序列的分类问题。该研究主要强调DenseNet架构的使用。让最初被提出用于计算机视觉应用的网络可以用于多元时间序列的分类任务。实验证明该模型能够达到目前最先进的模型的性能。
除了以上提到的端到端的网络模型，深度学习方法还包括一些时间序列图像化方法。图像化方法作为一种特殊的特征生成手段把时间序列转换成图像，进而利用计算机视觉的二维卷积模型进行分类。与上面不同的是，这里输入到深度卷积网络的是：已经转化完成的图像。这个网络模型相对于图像来说是端到端的，对于时间序列来说多了一步图像化的步骤。时间序列图像化这一操作让时间序列也抓住了利用计算机视觉的发展热潮来解决自身的分类问题。这一步骤保证了：一些经典的图像分类网络模型可以直接适用于时间序列的分类任务。图像化操作巧妙地拓宽了解决TSC问题的思路。2015年，Wang等人首先提出图像化方法GAF和MTF，它们分别利用极坐标和马尔科夫链将时间序列转换成图像，进而使用卷积网络对其进行分类。相继其他的图像化方法也被利用到时间序列的分类中。例如Nima Hatami等人利用RP图来进行时间序列的图像化转换，进而使用二维卷积神经网络作为分类器。近年来一些基于相空间的图像化方法也被利用到此类问题中。此类方法因为能够表示时间序列的非线性信息而受到众多研究者的关注。
然而，我们注意到几乎所有的图像化方法都是基于单变量时间序列进行研究和开展实验的。但是在实际情况下，大量设备可以收集多个特性。因此多变量时间序列是更加普遍、自然的。虽然上述的图像化方法很有可能同样适用于多变量时间序列，因为多变量时间序列是由单变量时间序列组成的。这只需要将多变量时间序列中的UTS依次进行图像化即可。但是却没有相关的研究证实和进一步探索这一过程。虽然基于相空间的图像化方法可以很好的表示非线性特征，但也同样面临这一问题。
发明内容
有鉴于此，本发明的目的是提供一种基于相空间和光流图像的多变量时间序列的分类方法，以解决对多变量时间序列的分类技术问题。
本发明基于相空间和光流图像的多变量时间序列的分类方法包括以下步骤：
1)将多变量时间序列转化成光流图像，其又包括以下步骤：
①设M＝[X1,X2,…,XM]是由M个单变量时间序列组成的多变量时间序列，把M当成一个二维张量，Xj是M的一个模为N的列向量，
其中，j表示多变量时间序列中的某个单变量时间序列，j∈[1,M]；依次将每个单变量时间序列的Xj重构到一个延迟时间为τ，嵌入维数为m的相空间中，则对应的多变量时间序列相空间轨迹矩阵可示为：
其中，代表Xj的相点轨迹矩阵：
其中，时间延迟τ是正整数，嵌入维数m也是正整数，L＝N–(m-1)τ；将所有元素线性映射到一个整数区间[0，255]以获得最大轨迹矩阵图像,不同变量之间的最大轨迹矩阵图像组成了具有空间关系的最大轨迹矩阵图像序列(Spatial Maximum TrajectoryMatrix Image，SMTMIs)；
②依次将ΘM中的每个单变量时间序列的相点轨迹矩阵按列拆分成m个列向量；拆分后/>对应的列向量为：
然后依次提取相同位置的列向量重组成新的矩阵，由此得到m个新的矩阵，从而组成以下有时序关系的矩阵序列：
③将步骤②得到的有时序关系的矩阵序列比作视频的图像矩阵，通过相邻矩阵之间的位移差提取相邻矩阵的光流特征形成光流矢量，光流失量的方向即像素点移动的方向，光流失量的规模值即像素点移动的快慢；把光流失量的方向和规模值编码到HSV格式中，在HSV格式中，H代表色彩，S代表颜色的深浅，V代表着颜色的明暗程度，把光流失量编码到HSV格式中也即是用H通道表示像素点移动的方向，用S或V通道表示像素点移动的快慢；颜色深浅这个维度不作处理，默认成最大值255；然后通过CV2的库函数把HSV格式的数据转换成RGB格式的彩色图像，即得到时间关系的光流图像；
2)通过双流时空网络对多变量时间序列进行分类，所述的双流时空网络包括第一个3D网络：空间流子网络、第二个3D网络：时间流网络、将空间流子网络和时间流网络的输出特征进行融合的Conatenate层、与Conatenate层连接的Flatten层和与Flatten层链接的全连接层，双流时空网络的激活函数为softmax，第一个3D网络和第二个3D网络的结构相同；将多变量时间序列相空间轨迹矩阵输入第一个3D网络，将光流图像输入第二个3D网络，全连接层输出分类结果。
进一步，所述第一个3D网络和第二个3D网络为C3D网络。
本发明的有益效果：
本发明基于相空间和光流图像的多变量时间序列的分类方法，通过与其他先进方法进行对比，实验结果表明本发明方法取得了与其他先进方法更好的精度，说明本发明方法对多变量时间序列分类问题是有价值的方案。
附图说明
图1为MTS转换为TOFIs的过程示意图；
图2为双流时空网络TSSNet分类器的结构图；
图3为本发明方法与其他先进方法的分类精度比较柱状图。
具体实施方式
下面结合附图和实施例对本发明作进一步描述。
本实施例中基于相空间和光流图像的多变量时间序列的分类方法包括以下步骤：
1)将多变量时间序列转化成光流图像，其又包括以下步骤：
①设M＝[X1,X2,…,XM]是由M个单变量时间序列组成的多变量时间序列，把M当成一个二维张量，Xj是M的一个模为N的列向量，
其中，j表示多变量时间序列中的某个单变量时间序列，j∈[1,M]；依次将每个单变量时间序列的Xj重构到一个延迟时间为τ，嵌入维数为m的相空间中，则对应的多变量时间序列相空间轨迹矩阵可示为：
其中，代表Xj的相点轨迹矩阵：
其中，时间延迟τ是正整数，嵌入维数m也是正整数，L＝N–(m-1)τ。将所有元素线性映射到一个整数区间[0，255]以获得最大轨迹矩阵图像(Maximum Trajectory MatrixImage，MTMI),不同变量之间的最大轨迹矩阵图像组成了具有空间关系的最大轨迹矩阵图像序列(Spatial Maximum Trajectory Matrix Image，SMTMIs)。
ΘM(τ，m)是由不同变量的时间序列的相点轨迹矩阵组成的，所以不同变量的相点轨迹矩阵之间存在着不同变量之间的空间关系。此时，时序关系被编码进了相空间矩阵内部，空间关系被编码在相空间矩阵之间，每个变量的时间序列的相点轨迹矩阵/>都可以映射为一个灰度图。
②依次将ΘM中的每个单变量时间序列的相点轨迹矩阵按列拆分成m个列向量；拆分后/>对应的列向量为：
然后依次提取相同位置的列向量重组成新的矩阵，由此得到m个新的矩阵，从而组成以下有时序关系的矩阵序列：
③将步骤②得到的有时序关系的矩阵序列比作视频的图像矩阵，使用Farneback算法，通过相邻矩阵之间的位移差提取相邻矩阵的光流特征形成光流矢量，光流失量的方向(angle)即像素点移动的方向，光流失量的规模值(magnitude)即像素点移动的快慢；把光流失量的方向和规模值编码到HSV格式中，在HSV格式中，H代表色彩，S代表颜色的深浅，V代表着颜色的明暗程度，把光流失量编码到HSV格式中也即是用H通道表示像素点移动的方向，用S或V通道表示像素点移动的快慢；颜色深浅这个维度不作处理，默认成最大值255；然后通过CV2的库函数把HSV格式的数据转换成RGB格式的彩色图像，即得到时间关系的光流图像(Temporal Optical Flow Imaging，TOFIs)。
2)通过双流时空网络对多变量时间序列进行分类，所述的双流时空网络包括第一个3D网络：空间流子网络(Spatial Stream ConvNet)、第二个3D网络：时间流网络(Temporal Stream ConvNet)、将空间流子网络和时间流网络的输出特征进行融合的Conatenate层、与Conatenate层连接的Flatten层和与Flatten层链接的全连接层，双流时空网络的激活函数为softmax，第一个3D网络和第二个3D网络的结构相同；将多变量时间序列相空间轨迹矩阵输入第一个3D网络，将光流图像输入第二个3D网络，全连接层输出分类结果。
本实施例中所述第一个3D网络和第二个3D网络为C3D网络。
下面通过实验来验证本实施例中所提方法的有效性。
实验设置
多变量时间序列(Multivariate Time Series,MTS)数据存在于各个领域，包括但不限于制造业、股价预测和天气预报。在现实生活中，典型的MTS格式是多维传感器阵列获取到的数据，因为每个传感器记录都与时间信息相关联。传感器记录的数据量大小与采集频率有关。另外，在多维的传感器阵列中不同的传感器在某任意时刻的记录值具有一定的相关性。所以，本实施例使用多维气体传感器阵列的公开的UCI电子鼻数据作为实验数据集。
此实验选用UCI公开的多维气体传感器阵列数据集(8MOX)。此数据集来自于加泰罗尼亚生物工程研究。此数据集有五组样机一起采集数据，这里我们选择了其中一个样机的实验数据。此数据集分别采集了8个MOX气体传感器阵列暴露于不同的气体条件，分别为：乙醇、一氧化碳、乙烯和甲烷，所以此问题是一个4分类问题。每种类别的气体挥发物分别重复记录10个浓度水平下的数据，每种浓度共重复4次。所以，此数据集共存在160个样本。每个实验的持续时长为600s，采样频率为100HZ。将每次测量采集的信号下采样至约300个数据点，这相当于以0.5Hz的采样频率获取气体传感器的响应值。
为了便于与前人的研究做比较，且避免发生未知样本信息泄露的情况，我们用以上数据集10％的样本构成固定的测试集(完全不参与训练和验证)，剩余的90％用于训练和验证。
所有实验均基于keras以及Sklearn toolbox for Python 3.6实现，并在具有3584核和11GB全局内存的NVIDIA GTX 1080Ti图形卡上运行。二分类数据集的评价指标包括灵敏度(sensitivity,Sens)、特异性(specificity,Spec)、准确率(accuracy rate,Acc)以及ROC(Receiver Operating Characteristic)曲线下面积(Area Under the ROCCurve,AUC)。
实验的目的是:验证与其他先进方法做对比，探索我们提出的方法是否能达到优异性能。
为了证明所提方法的有效性，我们将本文提出的方法与FCN、LSTM-DenseNet进行比较。这些模型在许多数据集上已经表现出优异的性能，因此我们选择它们进行比较。为了减少随机初始化和优化带来的偏差，我们每种方法分别运行了五次。图3展示了五次运行结果的均值。
由图3可知，我们的方法SIR-TSSNet取得了非常具有竞争力的结果。我们提出的方法取得了远超其他方法的成绩，超过取得第二名准确率近8.75％。通过此数据集的结果可知，它完全可以作为一种有意义的方法解决MTS的分类问题。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (2)
1.基于相空间和光流图像的多变量时间序列的分类方法，其特征在于：包括以下步骤：
1)将多变量时间序列转化成光流图像，其又包括以下步骤：
①设M＝[X1,X2,…,XM]是由M个单变量时间序列组成的多变量时间序列，把M当成一个二维张量，Xj是M的一个模为N的列向量，
其中，j表示多变量时间序列中的某个单变量时间序列，j∈[1,M]；依次将每个单变量时间序列的Xj重构到一个延迟时间为τ，嵌入维数为m的相空间中，则对应的多变量时间序列相空间轨迹矩阵示为：
其中，代表Xj的相点轨迹矩阵：
其中，时间延迟τ是正整数，嵌入维数m也是正整数，L＝N–(m-1)τ；将所有元素线性映射到一个整数区间[0，255]以获得最大轨迹矩阵图像,不同变量之间的最大轨迹矩阵图像组成了具有空间关系的最大轨迹矩阵图像序列；
②依次将ΘM中的每个单变量时间序列的相点轨迹矩阵按列拆分成m个列向量；拆分后/>对应的列向量为：
然后依次提取相同位置的列向量重组成新的矩阵，由此得到m个新的矩阵，从而组成以下有时序关系的矩阵序列：
③将步骤②得到的有时序关系的矩阵序列比作视频的图像矩阵，通过相邻矩阵之间的位移差提取相邻矩阵的光流特征形成光流矢量，光流失量的方向即像素点移动的方向，光流失量的规模值即像素点移动的快慢；把光流失量的方向和规模值编码到HSV格式中，在HSV格式中，H代表色彩，S代表颜色的深浅，V代表着颜色的明暗程度，把光流失量编码到HSV格式中也即是用H通道表示像素点移动的方向，用S或V通道表示像素点移动的快慢；颜色深浅这个维度不作处理，默认成最大值255；然后通过CV2的库函数把HSV格式的数据转换成RGB格式的彩色图像，即得到时间关系的光流图像；
2)通过双流时空网络对多变量时间序列进行分类，所述的双流时空网络包括第一个3D网络：空间流子网络、第二个3D网络：时间流网络、将空间流子网络和时间流网络的输出特征进行融合的Conatenate层、与Conatenate层连接的Flatten层和与Flatten层链接的全连接层，双流时空网络的激活函数为softmax，第一个3D网络和第二个3D网络的结构相同；将多变量时间序列相空间轨迹矩阵输入第一个3D网络，将光流图像输入第二个3D网络，全连接层输出分类结果。
2.根据权利要求1所述的基于相空间和光流图像的多变量时间序列的分类方法，其特征在于：所述第一个3D网络和第二个3D网络为C3D网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210434503.4A CN114818914B (zh) | 2022-04-24 | 2022-04-24 | 基于相空间和光流图像的多变量时间序列的分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210434503.4A CN114818914B (zh) | 2022-04-24 | 2022-04-24 | 基于相空间和光流图像的多变量时间序列的分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114818914A CN114818914A (zh) | 2022-07-29 |
| CN114818914B true CN114818914B (zh) | 2024-05-24 |
Family
ID=82507799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210434503.4A Active CN114818914B (zh) | 2022-04-24 | 2022-04-24 | 基于相空间和光流图像的多变量时间序列的分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114818914B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116543241B (zh) * | 2023-07-07 | 2023-09-15 | 杭州海康威视数字技术股份有限公司 | 泄露气体云团的检测方法、装置、存储介质和电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564191A (zh) * | 2017-12-20 | 2018-09-21 | 重庆邮电大学 | 一种基于混沌理论的热点话题流行度预测系统及方法 |
| CN108985376A (zh) * | 2018-07-17 | 2018-12-11 | 东北大学 | 一种基于卷积-循环神经网络的回转窑序列工况识别方法 |
| CN109919364A (zh) * | 2019-02-18 | 2019-06-21 | 华南理工大学 | 基于自适应降噪和集成lstm的多变量时间序列预测方法 |
| CN110991605A (zh) * | 2019-10-25 | 2020-04-10 | 燕山大学 | 多变量时间序列深度信念网络的低压铸造模温预测方法 |
| CN111461201A (zh) * | 2020-03-30 | 2020-07-28 | 重庆大学 | 基于相空间重构的传感器数据分类方法 |
| WO2020185876A1 (en) * | 2019-03-12 | 2020-09-17 | Tencent America LLC | Method and apparatus for video encoding or decoding |
| WO2021016078A1 (en) * | 2019-07-19 | 2021-01-28 | The Trustees Of Columbia University In The City Of New York | Predictive weather-aware communication network management |
| CN112529191A (zh) * | 2020-12-29 | 2021-03-19 | 南水北调东线江苏水源有限责任公司 | 一种基于混沌算法的泵站故障树建立方法 |
| CN113408611A (zh) * | 2021-06-18 | 2021-09-17 | 电子科技大学 | 一种基于延迟机制的多层图像分类方法 |
| CN113657513A (zh) * | 2021-08-19 | 2021-11-16 | 重庆大学 | 一种基于相空间的传感器数据高精度分类方法 |
| CN114154551A (zh) * | 2021-10-19 | 2022-03-08 | 中山大学 | 一种基于深度学习的多元时间序列分类方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9882675B2 (en) * | 2013-08-16 | 2018-01-30 | Origin Wireless, Inc. | Time-reversal wireless systems having asymmetric architecture |
| US9467113B2 (en) * | 2012-08-30 | 2016-10-11 | Avatekh, Inc. | Method and apparatus for signal filtering and for improving properties of electronic devices |
-
2022
- 2022-04-24 CN CN202210434503.4A patent/CN114818914B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564191A (zh) * | 2017-12-20 | 2018-09-21 | 重庆邮电大学 | 一种基于混沌理论的热点话题流行度预测系统及方法 |
| CN108985376A (zh) * | 2018-07-17 | 2018-12-11 | 东北大学 | 一种基于卷积-循环神经网络的回转窑序列工况识别方法 |
| CN109919364A (zh) * | 2019-02-18 | 2019-06-21 | 华南理工大学 | 基于自适应降噪和集成lstm的多变量时间序列预测方法 |
| WO2020185876A1 (en) * | 2019-03-12 | 2020-09-17 | Tencent America LLC | Method and apparatus for video encoding or decoding |
| WO2021016078A1 (en) * | 2019-07-19 | 2021-01-28 | The Trustees Of Columbia University In The City Of New York | Predictive weather-aware communication network management |
| CN110991605A (zh) * | 2019-10-25 | 2020-04-10 | 燕山大学 | 多变量时间序列深度信念网络的低压铸造模温预测方法 |
| CN111461201A (zh) * | 2020-03-30 | 2020-07-28 | 重庆大学 | 基于相空间重构的传感器数据分类方法 |
| CN112529191A (zh) * | 2020-12-29 | 2021-03-19 | 南水北调东线江苏水源有限责任公司 | 一种基于混沌算法的泵站故障树建立方法 |
| CN113408611A (zh) * | 2021-06-18 | 2021-09-17 | 电子科技大学 | 一种基于延迟机制的多层图像分类方法 |
| CN113657513A (zh) * | 2021-08-19 | 2021-11-16 | 重庆大学 | 一种基于相空间的传感器数据高精度分类方法 |
| CN114154551A (zh) * | 2021-10-19 | 2022-03-08 | 中山大学 | 一种基于深度学习的多元时间序列分类方法 |
Non-Patent Citations (6)
| Title |
|---|
| Multi-shapelet：一种基于shapelet的多变量时间序列分类方法;詹熙等;数据采集与处理;20230228(第2期);386-400 * |
| O'Reilly, C等.Univariate and Multivariate Time Series Manifold Learning.KNOWLEDGE-BASED SYSTEMS.2017,第133卷1-16. * |
| 基于多变量相空间重构的投资组合策略研究;陈健;中国优秀硕士学位论文全文数据库;20151231;J160-14 * |
| 基于相空间重建-卷积神经网络识别混合机械通气人机不同步;马良等;集成技术;20231031;第12卷(第5期);92-106 * |
| 多元混沌时间序列的多核极端学习机建模预测;王新迎;韩敏;;物理学报;20150731(07);1-7 * |
| 多变量时间序列的无监督属性选择算法;吴虎胜;张凤鸣;徐显亮;张超;杜继永;;模式识别与人工智能;20131015(10);916-923 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114818914A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Locality and structure regularized low rank representation for hyperspectral image classification | |
| CN113469094A (zh) | 一种基于多模态遥感数据深度融合的地表覆盖分类方法 | |
| Komorowski et al. | Minkloc++: lidar and monocular image fusion for place recognition | |
| Wang et al. | RSCNet: A residual self-calibrated network for hyperspectral image change detection | |
| CN116342894B (zh) | 基于改进YOLOv5的GIS红外特征识别系统及方法 | |
| CN114818914B (zh) | 基于相空间和光流图像的多变量时间序列的分类方法 | |
| CN104463148B (zh) | 基于图像重构和哈希算法的人脸识别方法 | |
| CN114937173A (zh) | 一种基于动态图卷积网络的高光谱图像快速分类方法 | |
| CN117475216A (zh) | 一种基于aglt网络的高光谱与激光雷达数据融合分类方法 | |
| CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
| CN118015332A (zh) | 一种遥感影像显著性目标检测方法 | |
| CN116580289A (zh) | 一种基于注意力的细粒度图像识别方法 | |
| CN116563639A (zh) | 一种轻量化多尺度密集网络高光谱遥感图像分类方法 | |
| CN113111919B (zh) | 一种基于深度高分辨率的高光谱图像分类方法 | |
| CN105427351A (zh) | 基于流形结构化稀疏先验的高光谱图像压缩感知方法 | |
| CN116342517A (zh) | 基于光谱-时间Transformer的高光谱图像变化检测方法及装置 | |
| Jin et al. | Fusion of remote sensing images based on pyramid decomposition with Baldwinian Clonal Selection Optimization | |
| Varma et al. | HSIS-Net: Hyperspectral Image Segmentation Using Multi-view Active Learning Based FCSN. | |
| CN113269159A (zh) | 一种融合肌电信号与视觉图像的手势识别方法 | |
| CN113537240A (zh) | 一种基于雷达序列图像的形变区智能提取方法及系统 | |
| JP2834153B2 (ja) | 適応学習型汎用画像計測装置 | |
| Singh et al. | Agricultural plantation classification using transfer learning approach based on cnn | |
| CN115909045B (zh) | 一种基于对比学习的two-stage滑坡图谱特征智能识别方法 | |
| CN118212538B (zh) | 基于长程依赖性特征融合转换器的高光谱图像分类方法 | |
| CN116393188B (zh) | 适用于循环肿瘤细胞捕捉的微流控芯片及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |