CN117407772A - 监督对比学习网络模型训练多元时序数据分类方法及系统 - Google Patents
监督对比学习网络模型训练多元时序数据分类方法及系统 Download PDFInfo
- Publication number
- CN117407772A CN117407772A CN202311708692.0A CN202311708692A CN117407772A CN 117407772 A CN117407772 A CN 117407772A CN 202311708692 A CN202311708692 A CN 202311708692A CN 117407772 A CN117407772 A CN 117407772A
- Authority
- CN
- China
- Prior art keywords
- layer
- classification
- loss
- scale
- time sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012549 training Methods 0.000 title claims abstract description 58
- 230000006399 behavior Effects 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 26
- 239000010410 layer Substances 0.000 claims description 140
- 238000013527 convolutional neural network Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 14
- 230000007774 longterm Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000052 comparative effect Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 239000002355 dual-layer Substances 0.000 claims description 4
- 239000002356 single layer Substances 0.000 claims description 4
- 238000006467 substitution reaction Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims 2
- 238000013135 deep learning Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012512 characterization method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000009977 dual effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010224 classification analysis Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241001504654 Mustela nivalis Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229940028444 muse Drugs 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- GMVPRGQOIOIIMI-DWKJAMRDSA-N prostaglandin E1 Chemical compound CCCCC[C@H](O)\C=C\[C@H]1[C@H](O)CC(=O)[C@@H]1CCCCCCC(O)=O GMVPRGQOIOIIMI-DWKJAMRDSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种监督对比学习网络模型训练多元时序数据分类方法及系统，该方法为：获取目标人体行为的多元时序数据，将多元时序数据分为训练数据集和测试数据集；将训练数据集输入双流编码层提取多尺度局部‑全局特征；再将多尺度局部‑全局特征分输入对比学习层和分类网络层，得到综合对比损失和分类损失；根据综合对比损失和分类损失计算总体损失，将总体损失输入监督对比学习网络模型进行优化，得到优化后的模型；将测试数据集输入优化后模型中，得到每个测试数据对应的最终分类结果。本发明能够有效提取多尺度局部‑全局特征和充分利用标签信息，提高了关于人体行为的多元时序数据分类结果的准确率。
Description
技术领域
本发明涉及时序数据处理技术领域，特别涉及一种监督对比学习网络模型训练多元时序数据分类方法及系统。
背景技术
随着传感器技术和数据采集能力的不断提升，我们能够获得大量包含时间演化过程的多元时间序列数据。多元时间序列数据（MTSC）指的是在不同时间点上记录了多个相关变量或属性的时间序列数据。因此，如何挖掘多元序列数据中有用信息成为数据挖掘、机器学习等领域中极为关注的研究。MTSC是时间序列数据分析中一项具有挑战性的任务，在人类活动识别、运动分类及异常行为预测等人体行为分析领域有着非常广泛的应用。不同于其他类型的分类任务，MTSC问题的独特之处在于需要同时处理多维时间序列数据中变量之间的相互关联性和时序依赖性。
在过去几十年里，MTSC任务的方法不断涌现，主要可以划分为传统方法和深度学习方法两大类。传统方法主要分为两种类型：基于距离和基于特征的方法。基于距离的方法通常假设相似的时间序列在特征空间中也会更接近，因此，该类方法主要计算不同时间序列之间的距离或相似度来进行分类。例如：动态时间规整（DTW）结合最近邻分类是非常著名的基于距离的分类算法。与基于距离的方法不同，基于特征的方法是首先从时间序列中提取特征，然后利用这些特征进行分类。而深度学习方法利用神经网络模型从MTSC数据中获取数据表示，具有强大的表征能力和自动学习特征的能力。近期已有研究者提出了基于对比学习的MTSC模型——TS2Vec和MICOS。TS2Vec是一种无监督的方法通过将损失函数改成有监督对比损失再进行对比；MICOS是基于混合监督对比学习的MTSC框架，利用时空通道提取多元时序数据的复杂时空特征，并结合混合自监督、类内和类间监督对比学习方法来计算训练损失。
然而，基于特征的方法则需要手动选择特征，因此不可避免存在主观性和适应性差异，且可能丢失细节信息。基于深度学习的方法注重通过卷积神经网络提取局部信息，且分类效果依赖于数据增强方式并且没有最大程度利用标签信息。由此，传统方法和现有的深度学习方法集中关注如何捕捉时间序列整体的长时程相关性或者寻找局部的关键序列片段，却忽略了整体与局部之间的协同特性和导致无法最大限度地使用标签信息，使得多元时间序列数据分类结果的准确率不够。
发明内容
基于此，本发明提出一种监督对比学习网络模型训练多元时序数据分类方法及系统，旨在能够从多元时间序列数据中提取多尺度局部-全局特征以及能够充分利用标签信息，以提高多元时序数据分类结果的准确率。
根据本发明提出的监督对比学习网络模型训练多元时序数据分类方法，应用于人体行为分析，所述监督对比学习网络模型包括双流编码层、对比学习层和分类网络层，所述方法包括：
通过传感器获取目标人体行为的多元时序数据；
将所述多元时序数据分为训练数据集和测试数据集；
将所述训练数据集输入所述双流编码层，以提取多尺度局部-全局特征；
将所述多尺度局部-全局特征输入所述对比学习层，以得到综合对比损失；
并将所述多尺度局部-全局特征输入所述分类网络层，以得到分类损失；
根据所述综合对比损失和所述分类损失计算所述监督对比学习网络模型的总体损失；
将所述总体损失反向传播给所述监督对比学习网络模型，进行优化迭代，以得到优化后的监督对比学习网络模型；
将所述测试数据集输入所述优化后的监督对比学习网络模型中，得到每个测试数据对应的概率向量，从所述概率向量中选取最大概率值所对应的预测分类作为最终分类结果。
与现有技术相比，本发明提出的一种监督对比学习网络模型训练多元时序数据分类方法，通过监督对比学习网络模型对多元时序数据进行训练，得到人体行为的分类结果，具体地，通过所述监督对比学习网络模型中的双流编码层，从多元时序数据中提取出多尺度局部-全局特征，在捕捉多元时序数据整体的长时程相关性或者寻找局部的关键序列片段时，考虑到了整体与局部之间的协同特性；再通过所述监督对比学习网络模型中的混合监督对比学习层，计算出多尺度局部-全局特征信息的综合对比损失，并且还考虑了分类损失，能够提高所述监督对比学习网络模型的分析评估能力，使得标签信息能够更加充分地被利用，即最终模型输出的分类结果更加接近真实分类结果。因此，本发明提供的方法及系统，有效提取多元时序数据中的多尺度局部-全局特征和充分利用标签信息，进而有助于提高多元时序数据分类结果的准确率。
进一步地，所述双流编码层包括注意力门控循环子层和双层多尺度卷积神经网络子层，所述将所述训练数据集输入所述双流编码层，以提取多尺度局部-全局特征的步骤包括：
通过所述注意力门控循环子层，从所述训练数据集中提取多元时序数据的人体行为模式信息和长期依赖信息；
并通过所述双层多尺度卷积神经网络子层，从所述训练数据集中提取多元时序数据的多尺度特征信息；
再将所述人体行为模式信息和长期依赖信息与所述多尺度特征信息进行特征融合，得到多元时序数据的多尺度局部-全局特征信息。
进一步地，所述注意力门控循环子层包括维度置换单元、门控循环单元和注意力单元，所述通过所述注意力门控循环子层，从所述训练数据集中提取多元时序数据的人体行为模式信息和长期依赖信息的步骤包括：
通过所述维度置换单元，将所述训练数据集中的多元时序数据转化为矩阵表示；
通过所述门控循环单元，从所述矩阵表示中提取多元时序数据的特征表示；
通过所述注意力单元，对所述特征表示进行映射，生成注意力分数，再对所述注意力分数进行平均操作和归一化处理，得到每个通道的全局注意力权重；
将所述特征表示和所述全局注意力权重进行点乘运算，得到多元时序数据的人体行为模式信息和长期依赖信息。
进一步地，所述双层多尺度卷积神经网络子层包括第一层多尺度卷积神经网络和第二层多尺度卷积神经网络，所述第一层多尺度卷积神经网络和第二层多尺度卷积神经网络均包括二维卷积单元、一维卷积单元和最大池化单元，所述并通过所述双层多尺度卷积神经网络子层，从所述训练数据集中提取多元时序数据的多尺度特征信息的步骤包括：
通过所述二维卷积单元，从所述训练数据集中提取多元时序数据的相关变量信息；
并通过所述一维卷积单元，从所述训练数据集中提取多元时序数据中的不同时间步间信息；
并通过所述最大池化单元，从所述训练数据集中提取多元时序数据的全局特征；
再将所述相关变量信息、所述不同时间步间信息和所述全局特征进行拼接操作，得到多元时序数据的单层多尺度卷积神经网络的融合特征；
再引入注意力机制对所述第一层多尺度卷积神经网络和第二层多尺度卷积神经网络的所述融合特征进行加权，得到多元时序数据的多尺度特征信息。
进一步地，所述对比学习层包括实例级对比学习子层和时间步级对比学习子层，所述将所述多尺度局部-全局特征输入所述对比学习层，以得到综合对比损失的步骤包括：
通过所述实例级对比学习子层，计算所述多尺度局部-全局特征的实例级对比损失;
并通过所述时间步级对比学习子层，计算所述多尺度局部-全局特征的时间步级对比损失；
再将所述实例级对比损失和所述时间步级对比损失进行结合，得到所述多尺度局部-全局特征的综合对比损失。
进一步地，所述通过所述实例级对比学习子层，计算所述多尺度局部-全局特征的实例级对比损失的步骤包括：
在所述实例级对比损失子层，将同一批次中相同类别的多元时序数据标记为正样本，而不同类别的多元时序数据标记为负样本；
所述并通过所述时间步级对比学习子层，计算所述多尺度局部-全局特征的时间步级对比损失的步骤包括：
在所述时间步级对比损失子层，将同一类别的同一时间步的多元时序数据标记为正样本，其他类别的同一时间步的多元时序数据标记为负样本。
进一步地，所述分类网络层包括池化子层、线性子层和softmax子层，所述并将所述多尺度局部-全局特征输入所述分类网络层，以得到分类损失的步骤包括：
通过所述池化子层，对所述多尺度局部-全局特征进行池化，以提取重要特征并降低特征维度；
通过所述线性子层，将提取的重要特征进行映射，以得到特征的低维嵌入表示；
通过所述softmax子层，对所述低维嵌入表示进行分类预测，通过分类交叉熵函数对所述分类预测与真实分类进行计算，以得到分类损失。
本申请另一方面还提供一种监督对比学习网络模型训练多元时序数据分类系统，应用于人体行为分析，所述监督对比学习网络模型包括双流编码层、对比学习层和分类网络层，所述系统包括：
获取模块，用于通过传感器获取目标人体行为的多元时序数据；
预处理模块，用于将所述多元时序数据分为训练数据集和测试数据集；
编码器模块，用于将所述训练数据集输入所述双流编码层，以提取多尺度局部-全局特征；
对比学习模块，用于将所述多尺度局部-全局特征输入所述对比学习层，以得到综合对比损失；
分类损失模块，用于将所述多尺度局部-全局特征输入所述分类网络层，以得到分类损失；
融合损失模块，用于根据所述综合对比损失和分类损失计算所述监督对比学习网络模型的总体损失；
优化模型模块，用于将所述总体损失反向传播给所述监督对比学习网络模型，进行优化迭代，以得到优化后的监督对比学习网络模型；
预测分类模块，用于将所述测试数据集输入所述优化后的监督对比学习网络模型中，得到每个测试数据对应的概率向量，从所述概率向量中选取最大概率值所对应的预测分类作为最终分类结果。
本申请另一方面还提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的计算机程序时，实现上述多元时间序列数据分类方法。
本申请另一方面还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，实现上述的多元时序数据分类方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实施例了解到。
附图说明
图1为本发明提出的监督对比学习网络模型整体结构图；
图2为本发明第一实施例提出的一种监督对比学习网络模型训练多元时序数据分类方法的流程图；
图3为本发明提出的监督对比学习网络模型中的多尺度卷积神经网络结构图；
图4为本发明第二实施例提出的监督对比学习网络模型训练多元时序数据分类方法的流程图；
图5为本发明第三实施例中的监督对比学习网络模型训练多元时序数据分类系统的结构示意图；
图6为本发明对比例中的实验流程图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干个实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明提出的监督对比学习网络模型整体结构图；
请参阅图2，所示为本发明第一实施例提出的一种监督对比学习网络模型训练多元时序数据分类方法的流程图，该方法包括步骤S1至步骤S8，其中：
步骤S1：通过传感器获取目标人体行为的多元时序数据。
需要说明的是，多元时序数据指的是在不同时间点上记录了多个相关变量或属性的时间序列数据。在本发明中，主要对人类活动识别、运动分类及异常行为预测等人体行为进行分类分析，因此，需要获取关于人体行为的多元时序数据。具体地，通过传感器，如三维加速计和三维陀螺仪收集目标人体行为的动作数据，观测一个样本在一段时间内的加速度和陀螺仪变化量等特征信息，以使模型根据这些特征信息来进行人体行为的学习。
步骤S2：将所述多元时序数据分为训练数据集和测试数据集。
需要说明的是，所述训练数据集用于监督对比学习网络模型进行训练，以提升监督对比学习网络模型对多元时序数据进行分类处理的学习能力；所述测试数据集用于把多元时序数据输入到经训练数据集优化后的监督对比学习网络模型中，以得到关于人体行为的多元时序数据的最终分类结果。
步骤S3：将所述训练数据集输入所述双流编码层，以提取多尺度局部-全局特征。
需要说明的是，所述双流编码层包括注意力门控循环子层和双层多尺度卷积神经网络子层；所述注意力门控循环子层包括维度置换单元、门控循环单元和注意力单元；所述双层多尺度卷积神经网络子层包括第一层多尺度卷积神经网络和第二层多尺度卷积神经网络，所述第一层多尺度卷积神经网络和第二层多尺度卷积神经网络均包括二维卷积单元、一维卷积单元和最大池化单元。具体可参阅图1。
具体地，在所述注意力门控循环子层：
通过所述维度置换单元，将训练数据集中的多元时序数据转化为矩阵表示；
通过所述门控循环单元，从所述矩阵表示中提取多元时序数据的特征表示；
通过所述注意力单元，对所述特征表示进行映射，生成注意力分数，再对所述注意力分数进行平均操作和归一化处理，得到每个通道的全局注意力权重；
将所述特征表示和所述全局注意力权重进行点乘运算，得到多元时序数据的人体行为模式信息和长期依赖信息。
其中，人体行为模式信息有助于我们理解数据中的结构和规律，而长期依赖信息则关注于处理多元时序数据中的时间或空间上的远距离关系。
进一步地，参阅图3，所示为本发明提出的监督对比学习网络模型中的多尺度卷积神经网络结构图。
具体地，在所述双层多尺度卷积神经网络子层：
通过所述二维卷积单元，从所述训练数据集中提取多元时序数据的相关变量信息；
并通过所述一维卷积单元，从所述训练数据集中提取多元时序数据中的不同时间步间信息；
并通过所述最大池化单元，从所述训练数据集中提取多元时序数据的全局特征；
再将所述相关变量信息、所述不同时间步间信息和所述全局特征进行拼接操作，得到多元时序数据的单层多尺度卷积神经网络的融合特征；
再引入注意力机制对所述第一层多尺度卷积神经网络和第二层多尺度卷积神经网络的所述融合特征进行加权，得到多元时序数据的多尺度特征信息。
进一步地，将所述人体行为模式信息和长期依赖信息与所述多尺度特征信息进行特征融合，得到多元时序数据的多尺度局部-全局特征信息。
需要说明的是，全局特征是指对每个人体行为数据的全局信息进行一个特征抽取，这个全局特征没有任何的空间信息，为了解决这个问题，引入局部特征提取，局部特征就是对多元时序数据的某一区域进行特征提取，最后将多个局部特征融合起来作为最终特征。融合全局和局部特征的特征提取方法，能够使特征提取中保持样本全局特征和局部特征方面的优势,进而提高图像特征提取效率。
步骤S4：将所述多尺度局部-全局特征输入所述对比学习层，以得到综合对比损失。
需要说明的是，所述对比学习层包括实例级对比学习子层和时间步级对比学习子层，具体可参阅图1。
具体地，通过所述实例级对比学习子层，计算所述多尺度局部-全局特征的实例级对比损失;
并通过所述时间步级对比学习子层，计算所述多尺度局部-全局特征的时间步级对比损失；
再将所述实例级对比损失和所述时间步级对比损失进行结合，得到所述多尺度局部-全局特征的综合对比损失。
需要说明的是，在所述实例级对比损失子层中，将同一批次中相同类别的多元时序数据标记为正样本，而不同类别的多元时序数据标记为负样本；
在所述时间步级对比损失子层中，将同一类别的同一时间步的多元时序数据标记为正样本，其他类别的同一时间步的多元时序数据标记为负样本。
步骤S5：并将所述多尺度局部-全局特征输入所述分类网络层，以得到分类损失。
需要说明的是，所述分类网络层包括池化子层、线性子层和softmax子层。
具体地，通过所述池化子层，对所述多尺度局部-全局特征进行池化，以提取重要特征并降低特征维度；
通过所述线性子层，将提取的重要特征进行映射，以得到特征的低维嵌入表示；
通过所述softmax子层，对所述低维嵌入表示进行分类预测，通过分类交叉熵函数对所述分类预测与真实分类进行计算，以得到分类损失。
步骤S6：根据所述综合对比损失和分类损失计算所述监督对比学习网络模型的总体损失。
步骤S7：将所述总体损失反向传播给所述监督对比学习网络模型，进行优化迭代，以得到优化后的监督对比学习网络模型。
需要说明的是，当迭代至总损失函数预设最小损失阈值时，或者迭代至预设迭代次数时，停止迭代优化，保留最终优化后的相关参数，得到优化后的监督对比学习网络模型。
步骤S8：将所述测试数据集输入所述优化后的监督对比学习网络模型中，得到每个测试数据对应的概率向量，从所述概率向量中选取最大概率值所对应的预测分类作为最终分类结果。
请参阅图4，所示为本发明第二实施例提出的监督对比学习网络模型训练多元时序数据分类方法的流程图，该实施例以人体行为中的基本动作的多元时序数据集为例，所述基本动作的类别包括站立、行走、跑步和打羽毛球，该方法包括步骤S01至步骤S06，其中：
步骤S01：将基本动作的多元时序数据分别输入双流编码层的注意力门控循环子层与双层多尺度卷积神经网络子层，输出基本动作的模式信息和长期依赖信息，并记为，与输入多尺度特征信息，并记为，再将与进行特征融合，输出基本动作的多元时序数据的多尺度局部-全局特征信息。
具体地，双流编码层分为注意力门控循环子层和双层多尺度卷积神经网络子层。注意力门控循环子层通过对输入时间序列进行矩阵置换、时序编码和注意力加权生成特征表示。首先，对输入的多元时序数据进行矩阵转置，具体表示为：
，
其中，表示置换函数，表示多元时序数据，表示多元时序数据的矩阵表示，N表示样本数，V表示变量数，T表示时间步。
然后，将通过门控循环单元GRU编码得到特征表示，
其中，d表示门控循环单元GRU的输出维度；
GRU的详细运算公式为：
，
，
，
，
其中，表示当前时刻的隐藏状态，表示上一时刻的隐藏状态，表示当前时刻候选隐藏状态，为更新门的输出，为重置门的输出，为Sigmoid函数，表示逐元素相乘，、表示输入到更新门和隐藏状态到更新门的权重矩阵，、表示输入到重置门和隐藏状态到重置门的权重矩阵、、表示输入到隐藏状态和重置门应用于隐藏状态的权重矩阵。、、为更新门、重置门和候选隐藏状态的偏置项。
GRU通过使用更新门、重置门以及隐藏状态，能够有效地捕捉输入数据中的时间依赖关系和上下文信息。
为了捕捉到不同特征通道之间的关系提高模型在时间序列数据上的表示能力，将经过GRU得到的特征表示H输入到注意力单元。通过注意力单元实现自适应地加权不同通道的特征。注意力单元由两个线性层和一个Softmax层组成。在该模块中，H通过两层线性层映射生成注意力分数，用于衡量不同通道的重要性。随后，通过在的时间维度上进行平均操作，利用softmax函数进行归一化，得到每个通道的全局注意力权重。最后，将H与注意力权重矩阵进行点乘运算，得到输出特征。
具体的过程公式为：
，
，
，
其中，M表示线性投影后的结果经过ReLU 表示激活函数的输出，表示线性变换函数，表示层归一化函数，表示激活函数，表示沿指定轴的均值操作。
注意力机制使得模型能够更加有效地聚焦于重要特征。
具体地，双层多尺度卷积神经网络子层DMSCNN由两层多尺度卷积神经网络MSCNN组成。 MSCNN由二维卷积单元、一维卷积单元和最大池化单元组成。DMSCNN块中，第一层MSCNN，以为输入数据。
首先利用二维卷积提取与观测变量相关的信息，具体公式表示为：
，
其中，表示第一个二维卷积的输出特征，表示批量归一化，表示第一个二维卷积的权重，表示维数扩增函数，表示二维卷积的偏置项，表示卷积操作。
引入非线性映射，使得输出特征具有更高的表征能力，此外，应用1×1的卷积实现对特征维度的缩减用于提取更为紧凑的特征表示，具体表示为：
，
其中，表示第一层MSCNN中经过第二个二维卷积的输出，和表示第二个二维卷积的权重和偏置项。
由于二维卷积只能刻画变量间的相关性，而对于时间序列数据，时间步间的信息对于分类任务至关重要。因此，引入多尺度的一维卷积操作捕捉时间序列数据中不同时间步间的关系，从而提取有效的时序特征信息。此外，为了提高神经网络的训练效率和收敛速度，将卷积层的输出与经过通道调整后的输入数据进行元素级相加操作构建了残差块，具体表示为：
，
其中，、和表示不同二维卷积的权重，、和表示不同二维卷积的偏置项，为调整通道的1×1卷积，表示第一层MSCNN中一维卷积输出。
最后，MSCNN经过1×1卷积调整通道后的上进行了最大池化操作提取全局特征，具体表示为：
，
其中，表示最大池化操作，表示最大池化操作后的输出结果。
最后，通过拼接融合特征，具体表示为：
，
其中，为拼接操作，表示单层MSCNN的输出。
由于DMSCNN由两层MSCNN模块串联组成。为了有效地结合浅层和深层的特征信息，引入注意力机制对不同层次的MSCNN输出进行加权融合得到输出，具体表示为：
，
，
，
其中，表示隐藏状态，表示权重，b表示偏置，表示第一层MSCNN输出输出，表示第二层MSCNN输出，、表示经过 Sigmoid 函数压缩到[0,1]范围内的值，表示对应元素的权重。
通过编码器，能够将输入的多元时序数据编码为和。
步骤S02：将多尺度局部-全局特征信息分别输入实例级对比损失子层和时间步级对比损失子层，分别输出实例级对比损失和时间步级对比损失，综合和，得到综合对比损失。
需要说明的是，与计算机视觉和自然语言处理领域不同，多元时间序列数据涉及到多个变量的时序观测、采集和标注，过程更加复杂和昂贵。因此时间序列数据中带有标签的训练样本非常有限，这导致传统的深度学习网络可能存在归纳偏差。为了解决这个问题，引入双层次对比学习实现特征的类可分性最大化。
首先，为了在实例级层次上学习到丰富类别差异性的特征表示，将同一批次中相同类别的时间序列视为正样本，而不同类别的时间序列则视为负样本。它可以使得同一标签的时间序列距离近，而不同标签的时间序列距离远。具体的实例级对比损失公式表示为：
，
其中，表示多元时序数据的批量大小，和表示锚定时间序列样本i和j的标签，表示在同一批次中标签为的时间序列样本数，表示指数函数。如果i等于j则，反之。和为相似指示函数。为时间序列样本i和j的余弦相似度，，分别为样本i和j的编码器输出的低维特征，r为温度超参数。
实例级对比学习鼓励模型将相似的实例在特征空间中更加接近，而将不相似的实例分开。这使得模型学习到更丰富有效的特征表示，有助于提高模型类性能，尤其是在数据较少或复杂的任务中。此外，通过训练模型将相似实例彼此聚集，实例级对比学习损失可以增强模型对于输入数据中的变化和噪声的鲁棒性。最后，实例级对比强调数据的相似性和差异性，有助于模型在未见过的数据上更好地泛化。
在时间序列领域，时间步信息对于分类是不可或缺的。为了学习随着时间变化的动态特征表示，在时间步层次进行了对比学习。通过将同一类别的同一时间步的表征视为正样本，反之，其他类别的表征为负样本。具体的时间步级对比损失可以表示为：
，
其中，、和表示锚定时间序列样本i、j和p的标签，t表示时间步，s表示除t时刻以外的时间步，、、分别表示时间序列数据i和p在时间步t和s上的特征信息。
时间序列数据的独特之处在于数据点之间存在着明显的时间上的依赖关系。这意味着相邻时间步的数据可能会受到前后时间步的影响，呈现出一定的时序模式和动态变化。简单地将时间序列数据视为独立样本进行处理，可能无法充分利用这种内在的时序信息。时间步层次对比损失的设计正是考虑了这一问题。通过在不同时间步之间建立正负样本对比，模型能够探索数据在时间维度上的联系和变化。
因此，综合两种对比损失函数可以提高模型的表示能力，具体的综合对比损失公式为：
。
步骤S03：将多尺度局部-全局特征信息分别输入分类损失层,映射为低维嵌入表示,利用线性层得到模型的分类损失。
具体的过程公式为：
，
，
，
其中，表示为双流编码层的输出，表示线性变换函数，表示低维嵌入表示，表示时序数据的分类标签向量。
步骤S04：根据综合对比损失和分类损失构建混合监督对比学习网络模型的总体损失函数。
具体的总体损失函数为：
，
其中，是超参数，根据交叉熵分类损失函数，得到：
。
步骤S05：将所述总体损失反向传播给所述监督对比学习网络模型，进行优化迭代，以得到优化后的监督对比学习网络模型。
步骤S06：将所述测试数据集输入所述优化后的监督对比学习网络模型中，得到每个测试数据对应的概率向量，从所述概率向量中选取最大概率值所对应的预测分类作为最终分类结果。
具体地，将基本动作数据集中的站立、行走、跑步和打羽毛球分别用0、1、2、3来表示对应的类别，当这些基本动作的测试数据集输入经学习优化后的监督对比学习网络模型中时，模型会进行概率向量计算。
例如得到一个概率向量表示为{“0”：0.65；“1”：0.05；“2”：0.06；“3"：0.24}，通过这个向量表示，可以得出每个类别的概率，选取概率值最大的0.65所对应的类别为最终分类结果，即“0”对应站立。
请参阅图5，所示为本发明第三实施例中的监督对比学习网络模型训练多元时序数据分类系统的结构示意图，该系统包括：
获取模块10，用于通过传感器获取目标人体行为的多元时序数据；
预处理模块20，用于将所述多元时序数据分为训练数据集和测试数据集；
编码器模块30，用于将所述训练数据集输入所述双流编码层，以提取多尺度局部-全局特征；
对比学习模块40，用于将所述多尺度局部-全局特征输入所述对比学习层，以得到综合对比损失；
分类损失模块50，用于将所述多尺度局部-全局特征输入所述分类网络层，以得到分类损失；
融合损失模块60，用于根据所述综合对比损失和分类损失计算所述监督对比学习网络模型的总体损失；
优化模型模块70，用于将所述总体损失反向传播给所述监督对比学习网络模型，进行优化迭代，以得到优化后的监督对比学习网络模型；
预测分类模块80，用于将所述测试数据集输入所述优化后的监督对比学习网络模型中，得到每个测试数据对应的概率向量，从所述概率向量中选取最大概率值所对应的预测分类作为最终分类结果。
本申请另一方面还提出一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的计算机程序时，实现上述多元时序数据分类方法。
本申请另一方面还提出一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时，实现上述的多元时序数据分类方法。
综上，根据以上实施例提出的一种基于监督对比学习网络的多元时间序列分类方法及系统，通过监督对比学习网络模型对多元时序数据进行训练，得到人体行为的分类分析结果，具体地，通过所述监督对比学习网络模型中的双流编码层，从多元时序数据中提取出多尺度局部-全局特征，在捕捉多元时序数据整体的长时程相关性或者寻找局部的关键序列片段时，考虑到了整体与局部之间的协同特性；再通过所述监督对比学习网络模型中的混合监督对比学习层，计算出多尺度局部-全局特征信息的综合对比损失，并且还考虑了分类损失，能够提高所述监督对比学习网络模型的分析评估能力，使得标签信息能够更加充分地被利用，即最终模型输出的分类结果更加接近真实分类结果。因此，本发明提供的方法及系统，有效提取多元时序数据中的多尺度局部-全局特征和充分利用标签信息，进而有助于提高多元时序数据分类结果的准确率。
请参阅图6，所示为本发明对比例中的实验流程图，该实验流程包括步骤S001至步骤S005，其中：
步骤S001：收集关于人体行为活动的多元时序数据集；
具体地，为了评估监督对比学习网络模型（DSDCLNet）的性能，对关于人体行为活动的多元时序数据集进行实验。所选数据集的特征维度范围在2到24个之间，时间长度范围在30到1197个时间步之间，类别数量范围在4类到15类之间，数据集大小范围在80到440个样本之间，训练大小范围在40到180个样本之间，测试大小范围在40到320个样本之间。
表1 数据集的详细信息
步骤S002：以分类准确率作为主要评价指标；
步骤S003：选取传统多元时序数据分类方法和深度对比学习方法作为对比对象；
具体地，选取的传统的MTSC方法分别为、以及。、和分别表示基于欧氏距离的最近邻分类器、基于每个维度的DTW距离之和的最近邻分类器和基于多维数据点计算DTW距离，而不是将每个维度单独处理的最近邻分类器。选取的深度学习方法分别为MLSTM-FCN、WEASEL+MUSE、TapNet、ShapeNet、TS2Vec（有监督）和MICOS。
步骤S004：确定实验数据相关参数；
具体地，在所有数据集中，采用输出维度为128的GRU网络，数量和输出维度分别为2和64的MSCNN。在 DMSCNN 的训练过程中，采用Adam优化器，优化迭代次数设置为500，学习率通常设置为1e-3。此外，为损失函数的超参数，取值为0.6。代码基于Pytorch 2.0.1完成的，实验运行在配备有CUDA 11.8的英伟达 A100-SXM4 GPU上服务器。
表2 DSDCLNet参数设置表
步骤S005：将DSDCLNet分别与传统方法和深度对比学习方法进行分类性能对比；
具体地，从表3和表4中可以看出，DSDCLNet的分类效果明显更优。
表3 DSDCLNet 与传统方法的对比
表4 DSDCLNet与深度学习方法的对比
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.监督对比学习网络模型训练多元时序数据分类方法，其特征在于，应用于人体行为分析，所述监督对比学习网络模型包括双流编码层、对比学习层和分类网络层，所述方法包括：
通过传感器获取目标人体行为的多元时序数据；
将所述多元时序数据分为训练数据集和测试数据集；
将所述训练数据集输入所述双流编码层，以提取多尺度局部-全局特征；
将所述多尺度局部-全局特征输入所述对比学习层，以得到综合对比损失；
并将所述多尺度局部-全局特征输入所述分类网络层，以得到分类损失；
根据所述综合对比损失和所述分类损失计算所述监督对比学习网络模型的总体损失；
将所述总体损失反向传播给所述监督对比学习网络模型，进行优化迭代，以得到优化后的监督对比学习网络模型；
将所述测试数据集输入所述优化后的监督对比学习网络模型中，得到每个测试数据对应的概率向量，从所述概率向量中选取最大概率值所对应的预测分类作为最终分类结果。
2.根据权利要求1所述的多元时序数据分类方法，其特征在于，所述双流编码层包括注意力门控循环子层和双层多尺度卷积神经网络子层，所述将所述训练数据集输入所述双流编码层，以提取多尺度局部-全局特征的步骤包括：
通过所述注意力门控循环子层，从所述训练数据集中提取多元时序数据的人体行为模式信息和长期依赖信息；
并通过所述双层多尺度卷积神经网络子层，从所述训练数据集中提取多元时序数据的多尺度特征信息；
再将所述人体行为模式信息和长期依赖信息与所述多尺度特征信息进行特征融合，得到多元时序数据的多尺度局部-全局特征信息。
3.根据权利要求2所述的多元时序数据分类方法，其特征在于，所述注意力门控循环子层包括维度置换单元、门控循环单元和注意力单元，所述通过所述注意力门控循环子层，从所述训练数据集中提取多元时序数据的人体行为模式信息和长期依赖信息的步骤包括：
通过所述维度置换单元，将所述训练数据集中的多元时序数据转化为矩阵表示；
通过所述门控循环单元，从所述矩阵表示中提取多元时序数据的特征表示；
通过所述注意力单元，对所述特征表示进行映射，生成注意力分数，再对所述注意力分数进行平均操作和归一化处理，得到每个通道的全局注意力权重；
将所述特征表示和所述全局注意力权重进行点乘运算，得到多元时序数据的人体行为模式信息和长期依赖信息。
4.根据权利要求2所述的多元时序数据分类方法，其特征在于，所述双层多尺度卷积神经网络子层包括第一层多尺度卷积神经网络和第二层多尺度卷积神经网络，所述第一层多尺度卷积神经网络和第二层多尺度卷积神经网络均包括二维卷积单元、一维卷积单元和最大池化单元，所述并通过所述双层多尺度卷积神经网络子层，从所述训练数据集中提取多元时序数据的多尺度特征信息的步骤包括：
通过所述二维卷积单元，从所述训练数据集中提取多元时序数据的相关变量信息；
并通过所述一维卷积单元，从所述训练数据集中提取多元时序数据中的不同时间步间信息；
并通过所述最大池化单元，从所述训练数据集中提取多元时序数据的全局特征；
再将所述相关变量信息、所述不同时间步间信息和所述全局特征进行拼接操作，得到多元时序数据的单层多尺度卷积神经网络的融合特征；
再引入注意力机制对所述第一层多尺度卷积神经网络和第二层多尺度卷积神经网络的所述融合特征进行加权，得到多元时序数据的多尺度特征信息。
5.根据权利要求1所述的多元时序数据分类方法，其特征在于，所述对比学习层包括实例级对比学习子层和时间步级对比学习子层，所述将所述多尺度局部-全局特征输入所述对比学习层，以得到综合对比损失的步骤包括：
通过所述实例级对比学习子层，计算所述多尺度局部-全局特征的实例级对比损失;
并通过所述时间步级对比学习子层，计算所述多尺度局部-全局特征的时间步级对比损失；
再将所述实例级对比损失和所述时间步级对比损失进行结合，得到所述多尺度局部-全局特征的综合对比损失。
6.根据权利要求5所述的多元时序数据分类方法，其特征在于，所述通过所述实例级对比学习子层，计算所述多尺度局部-全局特征的实例级对比损失的步骤包括：
在所述实例级对比损失子层，将同一批次中相同类别的多元时序数据标记为正样本，而不同类别的多元时序数据标记为负样本；
所述并通过所述时间步级对比学习子层，计算所述多尺度局部-全局特征的时间步级对比损失的步骤包括：
在所述时间步级对比损失子层，将同一类别的同一时间步的多元时序数据标记为正样本，其他类别的同一时间步的多元时序数据标记为负样本。
7.根据权利要求1所述的多元时序数据分类方法，其特征在于，所述分类网络层包括池化子层、线性子层和softmax子层，所述并将所述多尺度局部-全局特征输入所述分类网络层，以得到分类损失的步骤包括：
通过所述池化子层，对所述多尺度局部-全局特征进行池化，以提取重要特征并降低特征维度；
通过所述线性子层，将提取的重要特征进行映射，以得到特征的低维嵌入表示；
通过所述softmax子层，对所述低维嵌入表示进行分类预测，通过分类交叉熵函数对所述分类预测与真实分类进行计算，以得到分类损失。
8.监督对比学习网络模型训练多元时序数据分类系统，其特征在于，应用于人体行为分析，所述监督对比学习网络模型包括双流编码层、对比学习层和分类网络层，所述系统包括：
获取模块，用于通过传感器获取目标人体行为的多元时序数据；
预处理模块，用于将所述多元时序数据分为训练数据集和测试数据集；
编码器模块，用于将所述训练数据集输入所述双流编码层，以提取多尺度局部-全局特征；
对比学习模块，用于将所述多尺度局部-全局特征输入所述对比学习层，以得到综合对比损失；
分类损失模块，用于将所述多尺度局部-全局特征输入所述分类网络层，以得到分类损失；
融合损失模块，用于根据所述综合对比损失和分类损失计算所述监督对比学习网络模型的总体损失；
优化模型模块，用于将所述总体损失反向传播给所述监督对比学习网络模型，进行优化迭代，以得到优化后的监督对比学习网络模型；
预测分类模块，用于将所述测试数据集输入所述优化后的监督对比学习网络模型中，得到每个测试数据对应的概率向量，从所述概率向量中选取最大概率值所对应的预测分类作为最终分类结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器上所存放的计算机程序时，实现如权利要求1至7任一所述的多元时序数据分类方法。
10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的多元时序数据分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311708692.0A CN117407772B (zh) | 2023-12-13 | 2023-12-13 | 监督对比学习网络模型训练多元时序数据分类方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311708692.0A CN117407772B (zh) | 2023-12-13 | 2023-12-13 | 监督对比学习网络模型训练多元时序数据分类方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117407772A true CN117407772A (zh) | 2024-01-16 |
| CN117407772B CN117407772B (zh) | 2024-03-26 |
Family
ID=89489324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311708692.0A Active CN117407772B (zh) | 2023-12-13 | 2023-12-13 | 监督对比学习网络模型训练多元时序数据分类方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117407772B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117786507A (zh) * | 2024-02-27 | 2024-03-29 | 中国海洋大学 | 全局和局部特征耦合指导的滚动轴承未知故障检测方法 |
| CN117828407A (zh) * | 2024-03-04 | 2024-04-05 | 江西师范大学 | 双向跳跃存储的双阶段门控注意力时序分类方法及系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325111A (zh) * | 2020-01-23 | 2020-06-23 | 同济大学 | 一种融合逆注意力和多尺度深度监督的行人重识别方法 |
| CN112699960A (zh) * | 2021-01-11 | 2021-04-23 | 华侨大学 | 基于深度学习的半监督分类方法、设备及存储介质 |
| CN112733659A (zh) * | 2020-12-30 | 2021-04-30 | 华东师范大学 | 一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法 |
| US20210319266A1 (en) * | 2020-04-13 | 2021-10-14 | Google Llc | Systems and methods for contrastive learning of visual representations |
| CN116152570A (zh) * | 2023-03-08 | 2023-05-23 | 合肥工业大学 | 基于分层卷积神经网络的商品图像分类方法 |
| CN116580225A (zh) * | 2023-04-19 | 2023-08-11 | 北京航空航天大学 | 一种基于空间信息驱动的直肠癌ct图像分类方法 |
| CN116593157A (zh) * | 2023-05-19 | 2023-08-15 | 西安理工大学 | 少样本下基于匹配元学习的复杂工况齿轮故障诊断方法 |
| CN116703996A (zh) * | 2023-05-09 | 2023-09-05 | 安徽理工大学 | 基于实例级自适应深度估计的单目三维目标检测算法 |
| CN116805360A (zh) * | 2023-08-21 | 2023-09-26 | 江西师范大学 | 一种基于双流门控渐进优化网络的显著目标检测方法 |
-
2023
- 2023-12-13 CN CN202311708692.0A patent/CN117407772B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111325111A (zh) * | 2020-01-23 | 2020-06-23 | 同济大学 | 一种融合逆注意力和多尺度深度监督的行人重识别方法 |
| US20210232813A1 (en) * | 2020-01-23 | 2021-07-29 | Tongji University | Person re-identification method combining reverse attention and multi-scale deep supervision |
| US20210319266A1 (en) * | 2020-04-13 | 2021-10-14 | Google Llc | Systems and methods for contrastive learning of visual representations |
| CN112733659A (zh) * | 2020-12-30 | 2021-04-30 | 华东师范大学 | 一种基于自步学习双流多尺度密集连接网络的高光谱图像分类方法 |
| CN112699960A (zh) * | 2021-01-11 | 2021-04-23 | 华侨大学 | 基于深度学习的半监督分类方法、设备及存储介质 |
| CN116152570A (zh) * | 2023-03-08 | 2023-05-23 | 合肥工业大学 | 基于分层卷积神经网络的商品图像分类方法 |
| CN116580225A (zh) * | 2023-04-19 | 2023-08-11 | 北京航空航天大学 | 一种基于空间信息驱动的直肠癌ct图像分类方法 |
| CN116703996A (zh) * | 2023-05-09 | 2023-09-05 | 安徽理工大学 | 基于实例级自适应深度估计的单目三维目标检测算法 |
| CN116593157A (zh) * | 2023-05-19 | 2023-08-15 | 西安理工大学 | 少样本下基于匹配元学习的复杂工况齿轮故障诊断方法 |
| CN116805360A (zh) * | 2023-08-21 | 2023-09-26 | 江西师范大学 | 一种基于双流门控渐进优化网络的显著目标检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| VITOR S. MARTINS: "Exploring multiscale object-based convolutional neural network (multi-OCNN) for remote sensing image classification at high spatial resolution", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》, 13 August 2020 (2020-08-13), pages 56 - 73 * |
| 郑鑫;林兰;叶茂;王丽;贺春林;: "结合注意力机制和多属性分类的行人再识别", 中国图象图形学报, no. 05, 16 May 2020 (2020-05-16), pages 90 - 99 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117786507A (zh) * | 2024-02-27 | 2024-03-29 | 中国海洋大学 | 全局和局部特征耦合指导的滚动轴承未知故障检测方法 |
| CN117786507B (zh) * | 2024-02-27 | 2024-04-30 | 中国海洋大学 | 全局和局部特征耦合指导的滚动轴承未知故障检测方法 |
| CN117828407A (zh) * | 2024-03-04 | 2024-04-05 | 江西师范大学 | 双向跳跃存储的双阶段门控注意力时序分类方法及系统 |
| CN117828407B (zh) * | 2024-03-04 | 2024-05-14 | 江西师范大学 | 双向跳跃存储的双阶段门控注意力时序分类方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117407772B (zh) | 2024-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Abdar et al. | A review of uncertainty quantification in deep learning: Techniques, applications and challenges | |
| Shiri et al. | A comprehensive overview and comparative analysis on deep learning models: CNN, RNN, LSTM, GRU | |
| CN111353076B (zh) | 训练跨模态检索模型的方法、跨模态检索的方法和相关装置 | |
| CN117407772B (zh) | 监督对比学习网络模型训练多元时序数据分类方法及系统 | |
| Springenberg et al. | Improving deep neural networks with probabilistic maxout units | |
| Guidotti et al. | Explaining any time series classifier | |
| Liu et al. | Dependency-aware attention control for image set-based face recognition | |
| CN109671102B (zh) | 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法 | |
| CN107480261A (zh) | 一种基于深度学习细粒度人脸图像快速检索方法 | |
| Ang et al. | Modeling time series data with deep learning: A review, analysis, evaluation and future trend | |
| CN111859010B (zh) | 一种基于深度互信息最大化的半监督音频事件识别方法 | |
| Han et al. | L-Net: lightweight and fast object detector-based ShuffleNetV2 | |
| KR20210095671A (ko) | 이미지 처리 방법 및 관련 장치 | |
| CN115587335A (zh) | 异常值检测模型的训练方法、异常值检测方法及系统 | |
| CN111965639A (zh) | 基于双向长短时记忆神经网络的雷达信号分析方法 | |
| CN117272168A (zh) | 基于运动时序特征编码的人体动作识别与预测方法 | |
| CN116956222A (zh) | 一种基于自适应特征提取的多复杂度行为识别系统及方法 | |
| CN115169386A (zh) | 一种基于元注意力机制的弱监督增类活动识别方法 | |
| Chaturvedi et al. | Efficient Method for Tomato Leaf Disease Detection and Classification based on Hybrid Model of CNN and Extreme Learning Machine | |
| Bai et al. | Robust and rotation-equivariant contrastive learning | |
| Singh | Machine learning in pattern recognition | |
| CN105740815B (zh) | 一种基于深度递归分层条件随机场的人体行为识别方法 | |
| CN116561649A (zh) | 基于多源传感器数据的潜水员运动状态识别方法和系统 | |
| CN113887353A (zh) | 一种可见光-红外的行人重识别方法及系统 | |
| Cao | Deep learning methods for objective detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |