CN113657513B - 一种基于相空间的传感器数据高精度分类方法 - Google Patents
一种基于相空间的传感器数据高精度分类方法 Download PDFInfo
- Publication number
- CN113657513B CN113657513B CN202110955591.8A CN202110955591A CN113657513B CN 113657513 B CN113657513 B CN 113657513B CN 202110955591 A CN202110955591 A CN 202110955591A CN 113657513 B CN113657513 B CN 113657513B
- Authority
- CN
- China
- Prior art keywords
- phase space
- classification
- image
- resolution
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000036961 partial effect Effects 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 206010010904 Convulsion Diseases 0.000 description 3
- 230000002860 competitive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000605447 Anemarrhena Species 0.000 description 1
- 235000010254 Jasminum officinale Nutrition 0.000 description 1
- 240000005385 Jasminum sambac Species 0.000 description 1
- 240000005373 Panax quinquefolius Species 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 244000046146 Pueraria lobata Species 0.000 description 1
- 235000010575 Pueraria lobata Nutrition 0.000 description 1
- 235000007303 Thymus vulgaris Nutrition 0.000 description 1
- 240000002657 Thymus vulgaris Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013103 analytical ultracentrifugation Methods 0.000 description 1
- 229930191283 anemarrhena Natural products 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000012407 engineering method Methods 0.000 description 1
- 230000001037 epileptic effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 241000411851 herbal medicine Species 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000001585 thymus vulgaris Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Pure & Applied Mathematics (AREA)
- Evolutionary Biology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于相空间的传感器数据高精度分类方法,其包括步骤1)通过时间延迟嵌入法将传感器采集的单变量时间序列X嵌入到m维相空间中;2)通过最大化Θ(τ,m)的分辨率来确定τ和m的最佳值;3)将Θ(τ,m)中的所有元素线性映射到一个整数区间[0,255]以获得最大轨迹矩阵图像Θmax;4)通过分类器对从时间序列转换所得的最大轨迹矩阵图像Θmax进行分类。本发明直接将轨迹矩阵作为图像,而不是将时间序列映射到RPS图像,因此不需要相空间投影,避免了投影造成的信息损失;其通过最大化轨迹矩阵图像Θ(τ,m)的分辨率来确定重建参数,这种优化方法非常简单,并且其能帮助让分类器的分类性能达到最佳。
Description
技术领域
本发明传感器数据处理技术领域,特别涉及一种传感器数据的分类方法。
背景技术
随着传感器设备在我们日常生活越来越普遍,各种类型的传感器数据可在众多应用中有效利用。因此,传感器数据分类已经成为这些应用中的基本要求。大多数传感器数据是时间序列数据,指在连续时间段内获得的数据序列,因此这些传感器时序数据的分类问题实际上就是时间序列分类(time series classification,TSC)问题。随着传感器时间序列数据的快速增长,时间序列分类已成为许多实际应用中的一项基本任务。
几年来,已经出现了大量传感器数据的TSC方法,这些方法可分为两类:传统方法和深度学习方法。在传统方法中,SFA符号包(Bag Of SFASymbols,BOSS)和变换集合(Collective Of Transformation Ensemble,COTE)被认为在常用数据集上比其他方法具有更好的性能。然而,由于这两种方法的时间复杂度非常高,因此在某些情况下为TSC任务运行它们是不切实际的。此外,这些传统的方法很难再提高分类精度。且这些传统方法还有一个共同的缺点:它们需要大量的数据预处理和特征工程。
为了克服上述缺点,很多研究已经提出了深度学习(Deep Learning,DL)方法用于解决TSC问题。我们将这些DL方法分为两大类:具有端到端学习的方法和具有手动特征工程的方法。具有端到端学习的模型直接学习时间序列原始输入和预测标签输出之间的映射关系。人们相信,这种类型的模型可以避免由于手动提取特征而产生的偏差,并且没有领域知识被纳入模型。先前的研究表明,在大多数时间序列数据集上,ResNet和FCN可以在所有端到端模型中实现优异的性能,并达到与BOSS和COTE相当的精度。然而,端到端模型的精度仍然有限,学习时间序列中复杂的时空特征仍然是此类模型的一个挑战。具有手动特征工程的模型可能提供另一条提高TSC准确性的线索。此类模型最常用的手动特征工程方法是将时间序列转换为图像(即时间序列成像)。Gramian角场(GAF)马尔可夫转移场(MTF)、相对位置矩阵(RPM)、递归图(RP)和基于相空间的方法是几种常用的时间序列成像方法。如果时间序列被编码为图像,我们就可以使用计算机视觉中用于TSC的DL方法的最先进的分类技术(State-Of-The-Art,SOTA)。深卷积神经网络(Deep Convolutional Neural Network,DCNN)作为最成功的DL模型之一已被应用于解决复杂的图像分类问题。
在上述方法中,基于相空间的方法近年来获得了大量关注,因为此类方法允许对信号特征进行更详细的非线性表征。由于许多传感器数据是非线性时间序列数据,具有线性模型无法很好建模的特征,因此这些数据需要非线性过程转换。基于相空间的方法正好满足这一要求。使用这种方法,传感器获取的信号可以嵌入到高维相空间中,构成相点轨迹(即相空间重构,Phase-Space Reconstruction,PSR),然后将该轨迹投影到二维平面上,生成二维图像。这些图像称为重建相空间(RPS)图像。该方法的关键是如何确定重建参数:时延和嵌入维数,它们对投影轨迹的形状有着决定性的影响。目前,一些研究将时间序列直接嵌入2D相空间(实际上是2D平面),以简化复杂的相空间轨迹投影。然而,这种嵌入模式使得嵌入维度太低,无法避免大量虚假邻居。这可能导致RPS图像中原始数据信息丢失,降低分类性能。因此,如何确定相空间重构参数仍然是一个挑战。
发明内容
有鉴于此,本发明的目的是一种基于相空间的传感器数据高精度分类方法,以解决基于相空间的方法进行传感器数据分类时,现有方法将时间序列直接嵌入2D相空间可能导致RPS图像中原始数据信息丢失,降低分类性能等技术问题。
本发明基于相空间的传感器数据高精度分类方法,其包括以下步骤:
1)通过时间延迟嵌入法将传感器采集的单变量时间序列X嵌入到m维相空间中:
Xi=[xi,xi+τ,…,xi+(m-1)τ],i∈[1,L] (1)
其中X=[x1,x2,…,xN]T,N是单变量时间序列X的长度,L=N–(m-1)τ,τ为延迟时间,m为嵌入维数,其中m-1是使用时间延迟τ嵌入时间序列的次数,参数τ和m均为正整数,行向量Xi是m维的相空间中的一个相点,也称为时间延迟向量,L个相点共同构成相空间轨迹,其相空间轨迹矩阵为:
2)将Θ(τ,m)视为分辨率为L×m的灰度图像,通过最大化Θ(τ,m)的分辨率来确定τ和m的最佳值;
3)将Θ(τ,m)中的所有元素线性映射到一个整数区间[0,255]以获得最大轨迹矩阵图像Θmax;
4)通过预训练的卷积神经网络作为分类器对从时间序列转换所得的最大轨迹矩阵图像Θmax进行分类。
进一步,所述步骤2)中,通过最大化Θ(τ,m)的分辨率确定τ和m的最佳值分别为:τ=1,或者/>
本发明的有益效果:
本发明基于相空间的传感器数据高精度分类方法,(1)其直接将轨迹矩阵作为图像,而不是将时间序列映射到RPS图像,因此不需要相空间投影,避免了投影造成的信息损失;(2)其通过最大化轨迹矩阵图像Θ(τ,m)的分辨率来确定重建参数,这种优化方法非常简单,并且其能帮助让分类器的分类性能达到最佳。
本发明基于相空间的传感器数据高精度分类方法,其发现了轨迹矩阵图像Θ(τ,m)的分辨率与图像熵之间存在着特殊的关系,实验结果表明,对于相同的单变量时间序列,轨迹矩阵图像Θ(τ,m)的分辨率越大,图像熵越小。当分辨率达到最大值时,转换测试集的平均图像熵最小,而分类器的分类性能达到最佳。
附图说明
图1为基于相空间的传感器数据高精度分类方法的流程图;
图2为在区间1≤τ<N和1≤m≤N(以N=11为例)中函数f(τ,m)的曲面图
图3为使用UOB数据集,从不同UTS数据集(N=510)生成不同分辨率的TMI。第二列列出了UTS的组别。
图4为网络模型从两个分辨率不同的TMI(在不同的池化层具有不同的分辨率)学习的特征图。(a)255×256(τ=1,m=256);(b)262×32(τ=1,m=32)。这些图像是从组E中的UTS转换而来的。
图5为咖啡数据集的实验评估结果。ROC曲线和AUC值从不同分辨率的TMIs中获得(R1=72×72,R2=73×36,R3=32×50),这些图像转换自Coffee数据集,τ=1的情况。
图6为临界差异图,显示UCR档案中20个UTS数据集上实施例中提出的方法与其他SOTA方法的成对统计差分比较。
具体实施方式
下面结合附图和实施例对本发明作进一步描述。
本实施例中基于相空间的传感器数据高精度分类方法,其包括以下步骤:
1)通过时间延迟嵌入法将传感器采集的单变量时间序列X嵌入到m维相空间中:
Xi=[xi,xi+τ,…,xi+(m-1)τ],i∈[1,L] (1)
其中X=[x1,x2,…,xN]T,N是单变量时间序列X的长度,L=N–(m-
1)τ,τ为延迟时间,m为嵌入维数,其中m-1是使用时间延迟τ嵌入时间序列的次数,参数τ和m均为正整数,行向量Xi是m维的相空间中的一个相点,也称为时间延迟向量,L个相点共同构成相空间轨迹,其相空间轨迹矩阵为:
2)将Θ(τ,m)视为分辨率为L×m的灰度图像,将其命名为轨迹矩阵图像(Trajectory Matrix Image,TMI),轨迹矩阵图像实际上是用二维图像表示的一维时间序列。由于延迟时间τ和嵌入维数m这两个参数对转换的图像有显著影响,因此在将时间序列转换为图像之前对其进行优化是很有必要的。图像的尺寸L×m=(N–(m-1)τ)×m,取决于τ和m,如何确定最佳τ和m,使分类器的分类性能达到最佳成为一个关键问题。本实施例中通过最大化Θ(τ,m)的分辨率来确定τ和m的最佳值,具体为当τ=1时,或者/> Θ(τ,m)中的像素数达到最大值,即轨迹矩阵图像尺寸最大:
称尺寸最大的轨迹矩阵图像为最大轨迹矩阵图像,记为Θmax。
下面对上述结论进行证明:
证明:轨迹矩阵图像的分辨率为f(τ,m)=m×(N–(m-1)τ),为了获得Θmax,应通过最大化以下函数来优化参数τ和m:
采用拉格朗日乘数法(Lagrange Multiplier)来求解f(τ,m)的最大值。为了简便(for simplicity),让τ∈R∧τ≥1,m∈R∧m≥1。设η>0为松弛变量,满足
则拉格朗日函数为:
其中λ为拉格朗日乘子。因此,可以通过求解以下方程获得最佳τ和m:
其中Lτ、Lm、Lλ和Lη分别是变量τ、m、λ和η关于函数L(τ,m,λ,η)的一阶偏导数。
从(8)式中可以知道,当τ=1,m=(N+τ)/(2τ)=(N+1)/2时,f(τ,m)达到最大值(N+1)2/4。m应为正整数,因为它代表嵌入维数。当τ=1时,f(1,m)的对称轴是一条垂直线:m=(N+1)/2。如果N为偶数,则f(1,m)的最大值等于N(N+2)/4;如果N为奇数,则f(1,m)的最大值等于(N+1)2/4。在这个时候,或者/>
图3显示了在区间1≤τ<N和1≤m≤N(以N=11为例)中函数f(τ,m)的曲面图。在绘制图3时,τ和m都被视为实数。从图3可以看出,表面上有一个极值点,其中τ=1,m=6。
另外时间序列N的长度是一个已知参数,不需要优化。然而,N越大,转换图像的分辨率越高,分类的时间复杂度越高。因此,需要限制输入时间序列N的长度,以避免太高的时间复杂度。如果N大于一定的阈值,则可应用分段聚合近似(Piecewise AggregationApproximation,PAA)算法来减少原始时间序列的长度,使N在适当的范围内。在实现中,N不超过511,因此转换图像的分辨率不超过256×256。
3)将Θ(τ,m)中的所有元素线性映射到一个整数区间[0,255]以获得最大轨迹矩阵图像Θmax。
由于在参数优化阶段已经确定了最优参数τ和m,可以用延时嵌入法从长度为N的时间序列构造一个(N–(m-1)τ)×m轨迹矩阵,然后将轨迹矩阵中的所有元素线性映射到一个整数区间[0,255]以获得最大轨迹矩阵图像Θmax。Θmax可以看成是分辨率为(N–(m-1)τ)×m的灰度图像。通过这种方式将时间序列转换为图像,这种转换提供了分析时间序列的新视角;更重要的是,它可以通过提供时间序列的冗余信息来提高分类器的泛化能力。将上述转换应用于数据集中的每个样本(时间序列),可以得到具有相同样本数的图像数据集。
4)通过通过预训练的卷积神经网络作为分类器对从时间序列转换所得的最大轨迹矩阵图像Θmax进行分类。
本实施例中,所述分类器为VGG16;当然在不同实施例中,分类器还可选择为其它的深度卷积神经网络(DCNN),本实施例中提供的基于相空间的传感器数据高精度分类方法并不限制DCNN的选择。VGG16由两部分组成,第一部分是卷积基,由一系列卷积层(Conv2D)和池化层(MaxPoolig2D)组成。第二部分是位于网络末端的密集连接分类器。
在分类阶段,所有卷积层和池化层都使用通过在ImageNet数据集上预训练获得的预训练权重进行初始化,而四个密集层则使用随机均匀分布进行初始化。所有这些层都在数据集上联合训练(微调)。通过微调,可以减少小数据集上的过度拟合,同时提高模型的性能。通常情况下,输入VGG16的图像分辨率应大于32×32。
下面通过实验验证本实施例中基于相空间的传感器数据高精度分类方法的有效性。
实验设置:实验中,使用波恩大学(UOB)数据集、UCR档案和自己实验室收集的中药材气味(CHMO)数据集。
UOB数据集是一个开源的癫痫脑电图数据集。它包含五组EEG数据:A、B、C、D和E,如表1所示。只有E组数据记录了癫痫发作期间的EEG信号。每组包含100个单通道脑电分段。每段包含4097个数据。我们将每个段划分为长度为510的UTS,所以获得了4000个样本(UTS)。这些样本可分为两类:正常和发作,这使得分类成为一个二分类问题。
表1UoB数据集相关信息
UCR档案是时间序列数据集的最大公开数据库。UCR档案类型的多样性表明了TSC的不同应用。默认情况下,UCR档案中的每个数据集都已拆分为训练集和测试集。在下面的实验中,将我们的方法与UCR档案中20个常用子集上的其他方法进行了比较。
中药材气味(CHMO)数据集由我们实验室开发的电子鼻收集。该数据集包含五种中药材(葛根、茉莉、百里香、西洋参和知母根茎)的气味数据,这使得分类成为一个5分类问题。每种药物的气味数据记录在45个文件中;因此,CHMO中总共有45×5=225个文件(样本)。每个文件包含16个通道(CH0~CH15)的数据,每个通道的数据包含871个数据点。871个数据点中有360个是在采样阶段收集的数据点。我们在实验中使用了360个数据点。因此,我们实验中每个UTS的长度为360。为了便于描述,我们仅在以下部分介绍从CHMO的CH14收集的数据的实验和结果。
为了公平比较,我们采用了五次运行的平均精度,以减少由于随机初始化权重而产生的偏差。除UCR数据集外,我们分别将90%的数据集作为训练集和10%的数据集作为测试集来训练和测试分类器。此外,为了在训练期间进行验证,将训练集中20%的数据分为验证集。我们保存了达到最高验证精度的模型,并在测试集上报告了其性能。
所有实验都是基于Python语言的Keras深度学习架构和Sklearn库实现的,并在一个拥有3584核和11GB全局内存的NVIDIAGTX 1080Ti显卡上运行。对于二分类任务,评估指标包括灵敏度(Sens)、特异性(Spec)、准确率(Acc)和ROC曲线下面积(AUC)[43]。对于多分类任务,评估指标为准确性(Acc)。对于每个数据集,我们都对分类器进行了训练,并分别进行了五次不同的测试。以下各节中的实验结果是五次运行的平均值。
TMI像素对分类性能的影响
实验使用UOB数据集评估TMI分辨率对DCNN性能的影响。由于参数τ和m是TMI分辨率的唯一决定因素,因此只需评估τ和m的不同组合对DCNN性能的影响。实验选择VGG16作为DCNN分类器,为了便于比较,VGG16的超参数在所有实验中保持不变:learning rate:2e-5;batch size:16;Epoch:200。
首先,实验研究了由同一时间序列转换成不同分辨率的TMI特性。通过改变参数τ和m,可以从同一样本中生成具有不同分辨率的TMI。图3中的每一行直观地示出了从特定UOB集合中的UTS(N=510)生成的不同分辨率的TMI。还列出了每个轨迹矩阵图像的图像熵HΘ。图像熵是随机性的统计度量,可用于表征TMI的纹理。通常,图像熵越高,图像越复杂。从图3可以看出,对于相同的UTS,如果从其转换的TMI的分辨率越大,则图像熵趋于更小。此外,从组E生成的TMI在纹理上与从其他集合生成的TMI不同:黑暗和光明区域之间的变化似乎更具周期性,也更为剧烈。这可能表明从发作状态收集的时间序列数据不同于从正常状态收集的时间序列数据。图3中的图像还可以向我们展示原始时间序列数据的一些有用信息。例如,暗区表示原始时间序列中的较低值,反之亦然。具有相同或相似灰度的区域意味着原始时间序列中的值不会改变或变化缓慢。纹理从暗到亮或从亮到暗的变化表示原始时间序列的波动,或者换句话说,表示原始时间序列的波动。急剧变化表示波形参差不齐,轻微变化表示波形更平滑。将时间序列转换为图像可以放大原始时间序列中的特征。由于区域比单个值更容易被分类器关注,这可能有利于分类。
其次,实验评估了输入不同分辨率的TMI时VGG16的分类性能。表2列出了使用不同分辨率的TMI时VGG16的二分类精度和测试集的平均图像熵(Avg IE)。从表2可以看出,当分辨率增加(τ相同)时,测试集的平均IE趋于减少,而性能指标则呈现上升趋势。具体来说,当分辨率达到最大值时,性能达到最佳,平均IE变得最小,如表2中第一行所示。
表2比较VGG16对不同分辨率TMIs的分类性能,使用UoB数据集。Avg IE:平均图像熵;Sens:敏感度;Spec:特异性;Acc:准确率;AUC:ROC曲线下的面积。
此外,我们在VGG16中可视化了池化层的特征图用以查看网络如何提取特征,以及为什么它能够以大分辨率获得优异的分类性能。像VGG16这样的DCNN可以看作是一条信息蒸馏管道:信息通过一系列卷积层,其“纯度”越来越高(也就是说,它对分类任务越来越有帮助)。图4显示了VGG16的体系结构以及从不同池层的两个TMI学习的特征映射。从图4可以看出,VGG16将输入TMI转换为与之越来越不同的表示,并且特征在网络的更深层中变得越来越抽象。抽象特征更有助于分类。此外,比较(a)和(b),我们可以发现分辨率越大,特征映射越简单。我们怀疑更简单的特征映射会使分类更容易。因为简单的图像意味着更小的图像熵,这也与前面提到的“对于相同的UTS,图像的分辨率越大,图像熵越小”的现象一致。
我们还对UCR档案中的Coffee数据集和CHMO数据集进行了相同的评估实验。由于Coffee数据集的样本量太小,我们将每个样本平均分成2个以增加样本数量。因此,时间序列的长度为143。图5显示了当TMI分辨率分别为最大(R1=72×72,Avg IE=6.2758)、中等(R2=73×36,Avg IE=6.3083)和小(R3=32×50,Avg IE=6.3467)时,从实验中获得的ROC曲线和AUC。这些结果表明,较高的分辨率通常会导致较小的Avg IE和更好的分类性能。
不同分类方法的对比
实验将我们的基于相空间的传感器数据高精度分类方法(命名为MTMI-DCNN)与SOTA DL方法进行了比较,如ResNet,、FCN、Encoder、RPSI-AlexNet、and RPMCNN。ResNet、FCN和Encoder是端到端模型,而RPSI-AlexNet和RPMCNN是最近提出的时间序列成像模型。这些模型在许多数据集上表现出优异的性能,因此我们选择与它们进行比较。
我们在前面提到的三个真实世界数据集上(UOB、Coffee、CHMO)对上述所有模型进行了5次不同的运行。表3比较了我们的方法与其他五种具有竞争力的方法的分类性能。只有Acc可用于CHMO数据集,因为其上的分类任务是多分类任务。
表3不同TSC方法的性能
如表3所示,当数据集发生变化时,RPSI-Alexnet的精度不稳定。尤其是,RPSI-Alexnet对咖啡数据集的精确度最低。RPSI-Alexnet中的嵌入维度m=2,因为嵌入维数太小导致无法消除错误的邻居。我们怀疑嵌入“不足”是导致模型性能不稳定的原因之一。因此,为了方便时间序列成像,将所有UTS的嵌入维数设置为2并不是最佳方法。与RPSI-AlexNet类似,其他时间序列成像模型RPMCNN的性能也不稳定。与这些方法不同,我们的方法将嵌入维数设置为能够最大化TMI分辨率的值,并使用VGG16作为分类器。因此,本实施例中提供的基于相空间的传感器数据高精度分类方法的所有评估指标在所有三个数据集上都达到最佳。它对不同类型的UTS具有良好的泛化能力。
我们还评估了UCR档案中常用的20个UTS数据集上所有DL方法的性能。表4显示了这些数据集上不同方法的错误率。此外,还对传统方法(如BOSS和COTE方法)进行了评估,因为它们也能够产生有竞争力的精度。因此,表4中也列出了它们的分类结果。请注意,表4中的方法在每个数据集上进行了5次不同的运行评估,表4中的每个错误率是5次运行的平均值。为便于比较,本实验计算了每种方法的“获胜次数”和“平均排名”。从表4中我们可以看出,我们的方法在获胜次数和平均排名方面都取得了最好的结果,而RPMCNN的结果也具有竞争力。此外,我们可以发现我们的方法在二分类任务上比在多分类任务上表现更好。这可能是因为二进制分类任务比多重分类任务简单。
表4在UCR档案的20个UTS数据集上比较不同方法的错误率
图6显示了相应的临界差异图。我们可以看到,由于生成的二维图像(MTMIs)能够最大程度地保留重构相空间中的时间序列信息,这有利于分类,因此我们的方法优于其他方法。相比之下,RPSI-AlexNet方法的性能最差,这可能与该方法不分青红皂白地将所有时间序列嵌入到二维相空间的操作有关。如果嵌入维数太小,虚假邻居的数量会增加,相空间无法很好地构造。因此,分类器很难从生成的RPS图像中提取分类特征,从而无法实现高精度分类。此外,图6中的结果表明,传统方法BOSS和COTE在TSC任务中也取得了优异的性能。它们达到了与ResNet和FCN相当的精度。
从以上实验结果可以看出,本实施例中所提出的MTMI-DCNN是跨不同数据集传感器数据分类的最佳方法,我们的方法生成最大TMI是合理的。此外,我们还通过实现发现TMI的分辨率与图像熵之间存在一定的关系。在基于相空间的成像技术中,对于相同的UTS,TMI分辨率越大,图像熵越小。具体来说,当分辨率达到最大、Avg IE最小时,VGG16的分类性能达到最佳。由于分辨率越大对应的图像熵越小,图像熵越小表示图像越简单,而图像越简单往往导致分类更容易,这应是VGG16在TMI分辨率最高时性能最好的原因。
需要说明的是,虽然VGG16在我们的实验中具有优异的性能,但我们的方法并不限制DCNN的选择。可以为他/她特定的传感器数据集选择或设计特殊的DCNN分类器。我们的方法也适用于多变量时间序列(Multivariate Time Series,MTS),因为MTS由UTS组成:只需根据需要将MTS中的每个UTS转换为MTMIs,然后使用精心选择/设计的DCNN进行分类。也即是说以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (1)
1.一种基于相空间的传感器数据高精度分类方法,其特征在于:包括以下步骤:
1)通过时间延迟嵌入法将传感器采集的单变量时间序列X嵌入到m维相空间中:
Xi=[xi,xi+τ,…,xi+(m-1)τ],i∈[1,L] (1)
其中X=[x1,x2,…,xN]T,N是单变量时间序列X的长度,L=N–(m-1)τ,τ为延迟时间,m为嵌入维数,其中m-1是使用时间延迟τ嵌入时间序列的次数,参数τ和m均为正整数,行向量Xi是m维的相空间中的一个相点,也称为时间延迟向量,L个相点共同构成相空间轨迹,其相空间轨迹矩阵为:
2)将Θ(τ,m)视为分辨率为L×m的灰度图像,通过最大化Θ(τ,m)的分辨率来确定τ和m的最佳值,包括:
通过最大化以下函数来优化参数τ和m:
采用拉格朗日乘数法求解f(τ,m)的最大值,其中τ∈R∧τ≥1,m∈R∧m≥1,设松弛变量η>0,满足:
则拉格朗日函数为:
其中λ为拉格朗日乘子,通过求解以下方程获得最佳τ和m:
其中Lτ、Lm、Lλ和Lη分别是变量τ、m、λ和η关于函数L(τ,m,λ,η)的一阶偏导数;
由(7)得:当τ=1,m=(N+τ)/(2τ)=(N+1)/2时,f(τ,m)达到最大值(N+1)2/4;当τ=1时,f(1,m)的对称轴是一条垂直线:m=(N+1)/2;如果N为偶数,则f(1,m)的最大值等于N(N+2)/4;如果N为奇数,则f(1,m)的最大值等于(N+1)2/4;由此,通过最大化Θ(τ,m)的分辨率确定τ和m的最佳值分别为:τ=1,或者/>
3)将Θ(τ,m)中的所有元素线性映射到一个整数区间[0,255]以获得最大轨迹矩阵图像Θmax;
4)通过预训练的卷积神经网络作为分类器对从时间序列转换所得的最大轨迹矩阵图像Θmax进行分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110955591.8A CN113657513B (zh) | 2021-08-19 | 2021-08-19 | 一种基于相空间的传感器数据高精度分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110955591.8A CN113657513B (zh) | 2021-08-19 | 2021-08-19 | 一种基于相空间的传感器数据高精度分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113657513A CN113657513A (zh) | 2021-11-16 |
CN113657513B true CN113657513B (zh) | 2023-10-24 |
Family
ID=78481347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110955591.8A Active CN113657513B (zh) | 2021-08-19 | 2021-08-19 | 一种基于相空间的传感器数据高精度分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113657513B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114818914B (zh) * | 2022-04-24 | 2024-05-24 | 重庆大学 | 基于相空间和光流图像的多变量时间序列的分类方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101533058A (zh) * | 2009-04-24 | 2009-09-16 | 东北大学 | 一种电力异常故障数据分析装置及诊断方法 |
CN103338336A (zh) * | 2013-07-03 | 2013-10-02 | 国家电网公司 | 一种架空输电线路通道烟火预警的视频检测方法 |
CN105865514A (zh) * | 2016-03-22 | 2016-08-17 | 国网黑龙江省电力有限公司哈尔滨供电公司 | 基于混沌相空间重构的风电系统运行状态灰色预测系统及方法 |
AU2018274948A1 (en) * | 2018-12-06 | 2020-06-25 | Lockheed Martin Corporation | System, method and computer readable medium for quassical computing |
CN111461201A (zh) * | 2020-03-30 | 2020-07-28 | 重庆大学 | 基于相空间重构的传感器数据分类方法 |
CN112016041A (zh) * | 2020-08-27 | 2020-12-01 | 重庆大学 | 基于格拉姆求和角场图像化和Shortcut-CNN的时间序列实时分类方法 |
-
2021
- 2021-08-19 CN CN202110955591.8A patent/CN113657513B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101533058A (zh) * | 2009-04-24 | 2009-09-16 | 东北大学 | 一种电力异常故障数据分析装置及诊断方法 |
CN103338336A (zh) * | 2013-07-03 | 2013-10-02 | 国家电网公司 | 一种架空输电线路通道烟火预警的视频检测方法 |
CN105865514A (zh) * | 2016-03-22 | 2016-08-17 | 国网黑龙江省电力有限公司哈尔滨供电公司 | 基于混沌相空间重构的风电系统运行状态灰色预测系统及方法 |
AU2018274948A1 (en) * | 2018-12-06 | 2020-06-25 | Lockheed Martin Corporation | System, method and computer readable medium for quassical computing |
CN111461201A (zh) * | 2020-03-30 | 2020-07-28 | 重庆大学 | 基于相空间重构的传感器数据分类方法 |
CN112016041A (zh) * | 2020-08-27 | 2020-12-01 | 重庆大学 | 基于格拉姆求和角场图像化和Shortcut-CNN的时间序列实时分类方法 |
Non-Patent Citations (2)
Title |
---|
MTMI-DCNN:A PSR-Based method for time series sensor data classification;Ran Liu等;IEEE Sensors journal;第22卷(第7期);6806-6817 * |
基于相空间重构的事件性时间序列片段的提取;吴旭;董永贵;侯中杰;程卫东;;振动与冲击;第39卷(第19期);39-47 * |
Also Published As
Publication number | Publication date |
---|---|
CN113657513A (zh) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Batson et al. | Noise2self: Blind denoising by self-supervision | |
Ul Haq et al. | A fast and robust sparse approach for hyperspectral data classification using a few labeled samples | |
Das et al. | ConfeSS: A framework for single source cross-domain few-shot learning | |
Szymanski et al. | Deep networks are effective encoders of periodicity | |
CN112232438B (zh) | 面向高维图像表示多核子空间学习框架 | |
Wang et al. | DCN-T: Dual context network with transformer for hyperspectral image classification | |
CN110188827A (zh) | 一种基于卷积神经网络和递归自动编码器模型的场景识别方法 | |
Pires de Lima et al. | Convolutional neural networks as an aid to biostratigraphy and micropaleontology: a test on late Paleozoic microfossils | |
CN109242097B (zh) | 无监督学习的视觉表示学习系统及方法 | |
Longo et al. | Foreword to the focus issue on machine intelligence in astronomy and astrophysics | |
Babu Sam et al. | Completely self-supervised crowd counting via distribution matching | |
CN113657513B (zh) | 一种基于相空间的传感器数据高精度分类方法 | |
Wu et al. | Semisupervised feature learning by deep entropy-sparsity subspace clustering | |
Kundu et al. | Optimal Machine Learning Based Automated Malaria Parasite Detection and Classification Model Using Blood Smear Images. | |
Abecidan et al. | Unsupervised JPEG domain adaptation for practical digital image forensics | |
CN112966544B (zh) | 一种采用ICGAN与ResNet网络的雷达辐射源信号分类识别方法 | |
Phillips et al. | Class embodiment autoencoder (CEAE) for classifying the botanical origins of honey | |
Kumar et al. | Quantum classifier for recognition and identification of leaf profile features | |
Liu et al. | Mtmi-dcnn: A psr-based method for time series sensor data classification | |
Hou et al. | The recognition of multi-components signals based on semantic segmentation | |
Rathod et al. | An extensive review of deep learning driven remote sensing image classification models | |
Chen et al. | Learning alternating deep-layer cascaded representation | |
Guzzi et al. | Distillation of a CNN for a high accuracy mobile face recognition system | |
Wang et al. | Delving into classifying hyperspectral images via graphical adversarial learning | |
Struppek et al. | Class Attribute Inference Attacks: Inferring Sensitive Class Information by Diffusion-Based Attribute Manipulations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |