CN116680613A - 基于多尺度度量学习的人类活动识别综合优化方法 - Google Patents

基于多尺度度量学习的人类活动识别综合优化方法 Download PDF

Info

Publication number
CN116680613A
CN116680613A CN202310684496.8A CN202310684496A CN116680613A CN 116680613 A CN116680613 A CN 116680613A CN 202310684496 A CN202310684496 A CN 202310684496A CN 116680613 A CN116680613 A CN 116680613A
Authority
CN
China
Prior art keywords
data
sample
samples
convolution
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310684496.8A
Other languages
English (en)
Inventor
王之琼
刘涵瑜
赵伯阳
戴楚博
孙博鑫
李昂
Original Assignee
东北大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 东北大学 filed Critical 东北大学
Priority to CN202310684496.8A priority Critical patent/CN116680613A/zh
Publication of CN116680613A publication Critical patent/CN116680613A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多尺度度量学习的人类活动识别综合优化方法，涉及传感器的人类活动识别技术领域。传感器采集到的数据经过处理后，通过使用Borderline SMOTE上采样算法对数据集之中的少数类的边界样本的过采样，构建全新的MAG‑Res2Net神经网络模型对特征数据的提取融合与优化，再通过结合损失函数方法对特征进行分类训练，最后对网络模型的评估与改进，识别出人类活动，从而解决人类活动识别过程中数据不平衡、特征提取难、分类精度低的问题。

Description

基于多尺度度量学习的人类活动识别综合优化方法
技术领域
本发明属于基于传感器的人类活动识别技术领域，具体涉及一种基于多尺度度量学习的人类活动识别综合优化方法。
背景技术
人类活动识别是指对人体姿态、动作和行为进行识别和分类的技术，旨在实现个性化的健康管理、智能化的安全监控等应用，从而在人们的日常生活中发挥重要的作用([1]张洋,姚登峰,“人类的行为识别分类方法综述,”电力系统保护与控制,vol.47,no.24,pp.1-11,Dec.2019.(DOI:10.26914/c.cnkihy.2019.004425))。得益于智能设备的发展，便捷的高性能检测设备被逐渐用于人们日常生活中，例如：智能家居、运动跟踪以及医疗健康系统中对于老年人疾病监测和预防([2]K.Guan,M.Shao,and S.Wu,"A Remote HealthMonitoring System for the Elderly Based on Smart Home Gateway,"Journal ofHealthcare Engineering,2017.https://doi.org/10.1155/2017/5843504.)。鉴于全球人口老龄化的紧迫问题，世界各地都正面临着准备医疗保健系统以应对人口变化的挑战，HAR已成为最有前途的解决方案之一。
人类活动识别有两大主要的技术方法：基于视频的系统和基于传感器的系统。基于视频的系统使用计算机视觉技术对人体动态进行分析与识别；基于传感器的系统通过传感器收集的数据对人体运动进行测量与分析，相较于视频系统，传感器系统能够更精确地获取人体运动的身体动态信息以及位置位置信息([3]张琳等.,“基于人类活动识别辅助的行人航位推算定位方法,”无线电工程,vol.52,no.10,pp.1803-1812,Oct.2022.(DOI:10.13164/re.2022.1803))。目前，由于隐私问题，基于传感器的人类活动识别系统已经主导了监控我们日常活动的应用。传感器可以嵌入到手机、手表、家具和墙壁等中，并实现人们日常中运动信息的收集([4]A.Ferrari,D.Micucci,M.Mobilio,and P.Napoletano,"Trends in Human Activity Recognition Using Smartphones,"Journal of ReliableIntelligent Environments,vol.7,no.3,Sep.2021,pp.189-213,doi:10.1007/s40860-021-00147-0.)。在早期，传统的机器学习方法，如决策树(DT)、支持向量机(SVM)、随机森林(RF)和朴素贝叶斯(NB)，已经在基于传感器的人类活动识别上取得了可观的进展。然而，机器学习的特征提取非常依赖人工，因此需要更加高层次的特征提取方法来提高识别准确性([5]T.T.Alemayoh,J.H.Lee,and S.Okamoto,"New Sensor Data Structuring forDeeper Feature Extraction in Human Activity Recognition,"Sensors,vol.21,no.8,Apr.2021,pp.1-17,doi:10.3390/s21082814.)。
与传统机器学习不同，深度学习具备强大的非线性建模能力，且能够自动提取特征，这为活动识别任务的自动化提供了可能性([6]Almaslukh,B.；Al Muhtadi,J.；Artoli,A.M.A robust convolutional neural network for online smartphone-based humanactivity recognition.J.Intell.Fuzzy Syst.2018,35,1609–1620.)。近年来，许多基于深度学习的动作识别方法已被提出。但尽管深度学习在人类活动识别领域已经取得了不错的成功，仍有实验结果表明其在HAR领域仍面临一些技术挑战([7]J.Wang,Y.Chen,S.Hao,X.Peng,and L.Hu,"Deep Learning for Sensor-Based Activity Recognition:ASurvey,"Pattern Recognition Letters,Deep Learning for Pattern Recognition,vol.119,pp.3-11,Mar.2019.doi:10.1016/j.patrec.2018.02.010.)。
近年来，随着神经网络模型的发展，越来也多的专利采用深度学习来解决上述机器学习的问题，如专利号为US20180078296A1的专利“Method and System forClassifying and Predicting Data using Deep Learning”。该专利使用深度卷积神经网络进行特征提取和分类，同时针对不同的数据类型和应用场景，提出了不同的深度学习模型和训练方法，有效提升了准确率和训练效率。然而，该专利在应对不平衡数据方面仍有不足，同时对于模型的训练和优化也是是该专利在应用过程中需要进一步改进的。又如专利号为US20190057928A1的专利“Method and System for Emotion Classification ofSpeech Signals using Deep Neural Networks”。提出了一种使用卷积神经网络(CNN)和循环神经网络(RNN)相结合的深度学习方法，通过对信号进行特征提取和序列建模，可以有效地识别和分类不同的状态。该方法不仅在准确率和效率方面优于传统方法，而且在实现过程中需要的数据量和计算资源也较少，但该专利在应对样本类内差异过大的情况时仍有一定的局限性。
发明内容
基于上述问题，本发明提出了一种基于多尺度度量学习的人类活动识别综合优化方法，目的在于解决人类活动识别过程中数据不平衡、特征提取难、分类精度低的问题。该方法包括如下步骤：
步骤1：采集关于人类活动的信号数据，整理成表格数据后进行缺失值处理；
步骤1.1：使用加速度计、陀螺仪以及无线传感器记录人类活动时的传感器数据，包括：加速度、角速度、信号时延，信号强度信息，并整理成表格数据；
步骤1.2：丢失的人类活动数据采用线性插值算法填补缺失值；
步骤2：提取传感器数据中的时间序列，并对时间序列数据进行预处理；
步骤2.1：使用滑动窗口方法提取传感器数据中的时间序列；
步骤2.2：使用数据清洗、数据标准化、数据分割、数据标注、数据增强方法对时间序列数据进行预处理；
步骤3：当步骤2处理后的时间序列数据集中存在类别不平衡问题时，通过Borderline-SMOTE(Borderline Synthetic Minority Over-sampling Technique)上采样算法对数据集中的少数类的边界样本进行过采样，得到类别样本数量均衡的数据集；
步骤3.1：根据不同的数据集和训练任务分别采用Borderline-SMOTE上采样算法的两种分支算法Borderline-SMOTE1和Borderline-SMOTE2，对少数类样本进行过采样；
步骤3.1.1：将少数类样本依据临近样本中的少数类样本数量的占比分为3类：超过一半为安全样本Safe、少于一半为危险样本Danger、若无少数类样本则判断为噪声Noise，仅对表现为危险Danger的少数类样本过采样；
步骤3.1.2：计算危险的少数类样本点ai与少数类样本集S中所有样本点的欧氏距离，得到距离矩阵D，D(i，p)表示第i个样本点与第p个样本点之间的欧氏距离，对距离矩阵D的每一行进行排序，找到前k个最小值所对应的列，并保存在一个列表中，这个列表就是第i个样本点对应的的k近邻；
步骤3.1.3：当少数类样本在空间上分布集中时，采用Borderline-SMOTEl对危险点生成新样本，在k近邻中随机选择j个少数类样本作为最近邻样本，当少数类样本在空间上分布分散时，采用Borderline-SMOTE2对危险点生成新样本，在k近邻中随机选择一个样本作为最近邻样本，不关注样本类别；
步骤3.1.4：计算危险的少数类样本ai与其选择的最近邻的每一个样本aij的差异向量，计算公式如下：
dij＝ai-aij (1)
式中，ai为第i个危险的少数类样本，aij为第i个少数类样本对应的第j个最近邻样本，dij为少数类样本和最近邻样本的差异向量，当采用Borderline-SMOTE2时，j＝l；
步骤3.1.5：合成新的少数类的样本，公式如下：
hij＝ai+dij×rand(0，Rij) (2)
式中，hij为新的少数类样本，dij为少数类样本和最近邻样本的差异向量，Rij为常数；
步骤3.2：验证新的少数类样本中步骤3.1.1所定义的每个类别所属样本的数量是否均衡：若均衡，则将新的少数类样本与原数据集中的多数类样本再合并构成样本均衡的数据集，若不均衡，则需要重新使用Borderline SMOTE上采样算法中的Borderline-SMOTEl或Borderline-SMOTE2分支算法来进行样本生成，以达到样本数量均衡的效果，再构成样本均衡的数据集；
步骤4：构建一种全新的多尺度注意力机制的门控残差深度卷积神经网络模型MAG-Res2Net，并利用神经网络模型对数据集进行特征提取；
步骤4.1：在ResNet模块的基础上依次加入多尺度滤波器、门控模块以及ECA注意力模块构建全新的深度卷积神经网络模型，包括：
步骤4.1.1：建立一个ResNet模块，用一组比3×3卷积核更小的滤波器组替换n个通道的3×3卷积核，每个都是w个通道，并将滤波器组以类残差的层次化方式连接，形成Res2Net模块；
步骤4.1.2：在每个3×3卷积后加入门控模块，形成Gated-Res2Net模块；
步骤4.1.3：将Gated-Res2Net模块和ECA注意力模块相结合，形成全新的多尺度注意力机制的门控残差深度卷积神经网络模型MAG-Res2Net；
步骤4.2：将步骤3处理后的数据集送入建立的网络模型进行特征提取、特征组合、预测，包括：
步骤4.2.1：数据集经过1×1卷积后被分为i份数据xi，将第一份数据x1之外的其他数据送入3×3卷积；
步骤4.2.2：步骤4.2.1处理后得到的数据由门控模块选择阈值范围为l±δ的特征，将选取的有效特征进行映射，然后传入网络模型的下一层，特征映射公式包括：
f2(x)＝concat(a(X)，a(yi-1)，a(bi)) (3)
f1(x)＝a(f2(x)) (4)
gi＝tanh(f1(x)) (5)
式中，x为输入特征映射，表示当前输入的数据，X为原始特征映射，yi-1为上一层的输出特征映射，表示上一层的输出结果，bi为下一个输入特征映射，a()为3×3卷积层，a(X)为原始特征映射X经过一层3×3卷积得到的特征映射，a(yi-1)为上一层的输出特征映射yi-1经过一层3×3卷积得到的特征映射，a(bi)为当前输入的特征映射bi经过一层3×3卷积得到的特征映射，concat为向量拼接函数，f2(x)为经过特征映射的拼接后得到的特征映射，f1(x)为经过一层全连接神经网络得到的特征映射，tanh()为激活函数中的双曲正切函数，gi为门控向量，通过对f1(x)进行非线性变换得到；
步骤4.2.3：步骤4.2.2处理后的数据映射形成i份数据yi，yi经过堆叠之后送入1×1卷积，映射公式如下：
式中，ci为第i个输入数据，表示当前层的输入，di为第i个输出特征映射，表示当前层的输出结果，Ki为卷积操作，将输入数据进行卷积处理得到特征表达，gi为门控向量，s为神经网络的层数，表示整个网络的深度；
步骤4.2.4：将经过1×1卷积之后的数据送入到ECA注意力模块，ECA注意力模块对输入的特征数据进行全局平均池化，得到一个通道数为l的特征向量，对特征向量进行一维卷积；
步骤4.2.5：对进行一维卷积后的向量进行Sigmoid激活函数操作，得到一个取值范围在0到1之间的向量；
步骤4.2.6：将得到的向量与输入的原始特征数据进行逐元素相乘的操作，得到加权后的特征数据；
步骤5：结合中心损失和交叉熵损失两种函数及定义的优化算法对网络模型进行训练，将采集的数据输入到训练后的模型中进行人类活动分类；
步骤5.1：在网络模型中添加中心损失的计算层，利用中心损失函数和交叉熵损失函数计算样本特征和类内中心的差异；
中心损失函数如下：
式中，Losscr为中心损失函数，用于衡量样本特征与类别中心的差异，N为样本数量，zi为第i个样本的特征向量，表示网络的输出结果，center为类别中心，表示当前样本所属类别的中心；
交叉熵损失函数如下：
式中，Lossce为交叉熵损失函数，用于衡量模型输出结果和真实标签之间的差异，n为样本数量，p(zi)为第i个样本的真实标签概率分布，表示样本属于每个类别的概率，q(zi)为第i个样本的预测标签概率分布，表示模型对样本属于每个类别的预测概率；
步骤5.2：定义优化算法：使用AdamW优化算法对网络模型进行训练寻找最佳训练批量时，若最佳训练批量超过α，则采用Lion优化算法，根据在AdamW优化算法上的最优学习率按β∶1的比例对应到Lion优化算法的学习率，以此学习率为基础进行训练，反之采用AdamW优化算法进行训练；
步骤5.3：利用K折交叉验证的方式将步骤4得到的网络模型的输出数据划分为训练集和验证集；
步骤5.4：使用训练集对网络模型进行训练：将中心损失函数和交叉熵损失分别加载到优化算法中，使用交叉熵损失函数优化模型的分类精确度，中心损失函数优化特征表示的聚类效果；
步骤5.5：计算每批次模型训练后总损失函数并通过反向传播更新网络模型的权重参数，总损失函数计算公式如下：
Losstotal＝Lossce+λLosscr (9)
式中，λ为中心损失权重，Losstotal为损失函数的加和结果，作为最终的损失函数参与模型训练；
步骤5.6：使用验证集对训练后的网络模型进行评估：计算训练后的网络模型的交叉熵损失函数和中心损失函数的值，根据模型在验证集上的分类准确度和中心损失函数的值，判断模型的性能是否满足要求，如果满足要求，则存储为最终的网络模型，如果不满足要求，则调整模型的超参数，重新训练模型；
步骤5.7：将步骤l中传感器采集的所有数据输入到最终的网络模型中，对人类活动进行识别。
本发明的有益效果是：
本发明提供基于多尺度度量学习的人类活动识别综合优化方法，通过基于多尺度度量学习的方法识别人的姿态、动作和行为，解决了人类活动识别过程中数据不平衡、特征提取难、分类精度低的问题；
首先，基于多尺度度量学习的方法将Borderline SMOTE上采样算法应用在数据集上，对数据样本进行过采样，有效减少数据不平衡造成的多种不良现象，提高深度学习模型的准确率和鲁棒性，减少误分类的风险；
其次，基于多尺度度量学习的方法构建了一个新型的神经网络，解决了深层特征提取问题，提高模型的准确率和鲁棒性，适用于多个应用场景；
最后，基于多尺度度量学习的方法，对于深度学习中的损失函数和优化算法部分进行改良，将中心损失和交叉熵损失两种函数相结合，减小类内差异、增大类间差异，提高了模型的分类性能和鲁棒性，有效缓解了部分类别的过拟合的问题，提高了训练效率和准确度。
附图说明
图1为Borderline SMOTE上采样算法执行流程图。
图2为Gated-Res2Net模块执行流程图。
图3为结合损失函数与模型训练执行流程图。
图4为基于多尺度度量学习的人类活动识别综合优化方法总流程图。
图5为ResNet结构图。
图6为Res2Net结构图。
图7为Gated-Res2Net结构图。
图8为MAG-Res2Net结构图。
具体实施方式
为了使本发明的优点、技术方案更加清楚、明确，下面结合附图和具体实施实例对本发明做进一步说明。
本发明提出了一种基于多尺度度量学习的人类活动识别综合优化方法，总流程图如图4所示，包括以下步骤：
步骤1：采集关于人类活动的信号数据，整理成表格数据后进行缺失值处理；
步骤1.1：使用加速度计、陀螺仪以及无线传感器记录人类活动时的传感器数据，包括：加速度、角速度、信号时延，信号强度信息，并整理成表格数据；
步骤1.2：丢失的人类活动数据(NaN或0表示)采用线性插值算法填补缺失值；
步骤2：提取传感器数据中的时间序列，并对时间序列数据进行预处理；
预处理能够使得特征更容易被网络模型处理，提高模型的性能。
步骤2.1：使用滑动窗口方法提取传感器数据中的时间序列；
步骤2.2：使用数据清洗、数据标准化、数据分割、数据增强方法对时间序列数据进行预处理；
在数据分割时使用滑动窗口方法，在WISDM数据集中窗口长度的设置是根据采样率为20Hz进行的，因此窗口长度为20，并根据用户id进行分割，我们在训练集中使用id小于或等于27的用户，其余的在测试集中使用。在数据标注时，对不同种类的人类活动进行标注，以便后续的模型训练和测试。在UCI-HAR数据集中，由于数据集已经过上述处理，故没有再进行上述预处理。
步骤3：当步骤2处理后的时间序列数据集中存在类别不平衡问题时，通过Borderline-SMOTE(Borderline Synthetic Minority Over-sampling Technique)上采样算法对数据集中的少数类的边界样本进行过采样，得到类别样本数量均衡的数据集，流程图如图1所示；
在WISDM数据集中，经过预处理后的数据集类别的数量比例为16991：4972：1936：2400：13620：4005，经过Borderline SMOTE算法处理后为16991：16991：16991：16991：16991：16991。
为了防止数据集污染，本发明此处只针对训练集数据样本进行上采样，而不对测试集样本做出任何改变。
步骤3.1：根据不同的数据集和训练任务分别采用Borderline-SMOTE上采样算法的两种分支算法Borderline-SMOTE l和Borderline-SMOTE2，对少数类样本进行过采样；
步骤3.1.1：将少数类样本依据临近样本中的少数类样本数量的占比分为3类：超过一半为安全样本Safe、少于一半为危险样本Danger、若无少数类样本则判断为噪声Noise，仅对表现为危险Danger的少数类样本过采样；
步骤3.1.2：计算危险的少数类样本点ai与少数类样本集S中所有样本点的欧氏距离，得到距离矩阵D，D(i，p)表示第i个样本点与第p个样本点之间的欧氏距离，对距离矩阵D的每一行进行排序，找到前k个最小值所对应的列，并保存在一个列表中，这个列表就是第i个样本点就是对应的的k近邻；
步骤3.1.3：当少数类样本在空间上分布集中(本发明设置确定样本位于数据集的边界数量的参数值为5，大于5定义为集中)时，采用Borderline-SMOTE1对危险点生成新样本，在k近邻中随机选择j个少数类样本作为最近邻样本，当少数类样本在空间上分布分散(小于5定义为分散)时，采用Borderline-SMOTE2对危险点生成新样本，在k近邻中随机选择一个样本作为最近邻样本，不关注样本类别；
步骤3.1.4：计算危险的少数类样本ai与其选择的最近邻的每一个样本aij的差异向量，计算公式如下：
dij＝ai-aij (1)
式中，ai为第i个危险的少数类样本，aij为第i个少数类样本对应的第j个最近邻样本，dij为少数类样本和最近邻样本的差异向量，当采用Borderline-SMOTE2时，j＝l；
步骤3.1.5：合成新的少数类的样本，公式如下：
hij＝αi+dij×rand(0，Rij) (2)
式中，hij为新的少数类样本，dij为少数类样本和最近邻样本的差异向量，Rij为常数(本发明取值0.5或1)；
步骤3.2：验证新的少数类样本中步骤3.1.1所定义的每个类别所属样本的数量是否均衡：若均衡，则将新的少数类样本与原数据集中的多数类样本再合并构成样本均衡的数据集，若不均衡，则需要重新使用Borderline SMOTE上采样算法中的Borderline-SMOTEl或Borderline-SMOTE2分支算法来进行样本生成，以达到样本数量均衡的效果，再构成样本均衡的数据集；
步骤4：构建一种全新的多尺度注意力机制的门控残差深度卷积神经网络模型MAG-Res2Net，并利用神经网络模型对数据集进行特征提取；
构建多尺度注意力机制的门控残差神经网络模型，使用ECA机制作为注意力模块放在每个残差块的最后部分，使用门控机制进行重要特征的筛选。在ResNet的基础上依次加入多尺度滤波器、门控机制以及ECA注意力模块，以此构建出一个残差层，由一个残差层与前后两个1×1卷积组成一个卷积块，模型总体的层数则根据不同数据集和时间成本决定，如在UCI-HAR数据集上，使用50层网络效果较好，而在WISDM数据集上则是使用42层网络效果更好。此处网络层数仅指卷积层和全连接层，而激活层或者Pooling层并没有计算在内。
步骤4.1：在ResNet模块的基础上依次加入多尺度滤波器、门控模块以及ECA注意力模块构建全新的深度卷积神经网络模型，包括：
步骤4.1.1：建立一个ResNet模块，结构图如图5所示，用一组比3×3卷积核更小的滤波器组替换n个通道的3×3卷积核，每个都是w个通道，并将滤波器组以类残差的层次化方式连接，形成Res2Net模块，结构图如图6所示；
步骤4.1.2：在每个3×3卷积后加入门控模块，形成Gated-Res2Net模块，结构图如图7所示；
步骤4.1.3：将Gated-Res2Net模块和ECA注意力模块相结合，形成全新的多尺度注意力机制的门控残差深度卷积神经网络模型MAG-Res2Net，结构图如图8所示；
步骤4.2：将步骤3处理后的数据集送入建立的网络模型进行特征提取、特征组合、预测，流程图如图2所示，包括：
步骤4.2.1：数据集经过1×1卷积后被分为i份数据xi，将第一份数据x1之外的其他数据送入3×3卷积；
步骤4.2.2：步骤4.2.1处理后得到的数据由门控模块选择阈值范围为1±δ的(本发明设置δ为0.5)特征，将选取的有效特征进行映射，然后传入网络模型的下一层，特征映射公式包括：
f2(x)＝concat(a(X)，a(yi-1)，a(bi)) (3)
f1(x)＝a(f2(x)) (4)
gi＝tanh(f1(x)) (5)
式中，x为输入特征映射，表示当前输入的数据，X为原始特征映射，yi-1为上一层的输出特征映射，表示上一层的输出结果，bi为下一个输入特征映射，a()为3×3卷积层，a(X)为原始特征映射X经过一层3×3卷积得到的特征映射，a(yi-1)为上一层的输出特征映射yi-1经过一层3×3卷积得到的特征映射，a(bi)为当前输入的特征映射bi经过一层3×3卷积得到的特征映射，concat为向量拼接函数，f2(x)为经过特征映射的拼接后得到的特征映射，f1(x)为经过一层全连接神经网络得到的特征映射，tanh()为激活函数中的双曲正切函数，gi为门控向量，通过对f1(x)进行非线性变换得到；
式(3)描述了特征映射过程，其中concat()表示在特征维度上拼接，这种连接方式可以将不同尺度提取到的的特征信息融合起来，以进一步提升网络的表达能力。
式(4)描述了全连接神经网络的计算过程，其中a()表示激活函数。f1(x)表示通过一层全连接神经网络得到的特征映射，将作为门控向量的输入。
式(5)描述了门控向量的计算过程，其中tanh()表示双曲正切激活函数。门控向量用于控制神经网络在当前时刻的记忆状态和输出状态，以提升网络的灵活性和泛化能力。
步骤4.2.3：步骤4.2.2处理后的数据映射形成i份数据yi，yi经过堆叠之后送入l×l卷积，映射公式如下：
式中，ci为第i个输入数据，表示当前层的输入，di为第i个输出特征映射，表示当前层的输出结果，Ki为卷积操作，将输入数据进行卷积处理得到特征表达，gi为门控向量，s为神经网络的层数，表示整个网络的深度；
步骤4.2.4：将经过1×1卷积之后的数据送入到ECA注意力模块，ECA注意力模块对输入的特征数据进行全局平均池化，得到一个通道数为1的特征向量，对特征向量进行一维卷积；
步骤4.2.5：对进行一维卷积后的向量进行Sigmoid激活函数操作，得到一个取值范围在0到1之间的向量；
步骤4.2.6：将得到的向量与输入的原始特征数据进行逐元素相乘的操作，得到加权后的特征数据；
步骤5：结合中心损失和交叉熵损失两种函数及定义的优化算法对网络模型进行训练，流程图如图3所示，将采集的数据输入到训练后的模型中进行人类活动分类；
本发明针对人类活动识别领域，选择将交叉熵损失函数和中心损失函数相结合，其中交叉熵损失用于增大类间差异，中心损失用于减小类内差异，两者在经过计算后，通过权重值进行加和为总的损失函数，其中权重值为超参数。
步骤5.1：在网络模型中添加中心损失的计算层，利用中心损失函数和交叉熵损失函数计算样本特征和类内中心的差异；
中心损失函数如下：
式中，Losscr为中心损失函数，用于衡量样本特征与类别中心的差异，N为样本数量，zi为第i个样本的特征向量，表示网络的输出结果，center为类别中心，表示当前样本所属类别的中心；
交叉熵损失函数如下：
式中，Lossce为交叉熵损失函数，用于衡量模型输出结果和真实标签之间的差异，n为样本数量，p(zi)为第i个样本的真实标签概率分布，表示样本属于每个类别的概率，q(zi)为第i个样本的预测标签概率分布，表示模型对样本属于每个类别的预测概率；
步骤5.2：定义优化算法：使用AdamW优化算法对网络模型进行训练寻找最佳训练批量时，若最佳训练批量超过α(本发明设置为64)，则采用Lion优化算法，根据在AdamW优化算法上的最优学习率按β∶1(本发明设置为3：1)的比例对应到Lion优化算法的学习率，以此学习率为基础进行训练，反之采用AdamW优化算法进行训练；
步骤5.3：利用K折交叉验证的方式将步骤4得到的网络模型的输出数据划分为训练集和验证集；
步骤5.4：使用训练集对网络模型进行训练：将中心损失函数和交叉熵损失分别加载到优化算法中，使用交叉熵损失函数优化模型的分类精确度，中心损失函数优化特征表示的聚类效果；
步骤5.5：计算每批次模型训练后总损失函数并通过反向传播更新网络模型的权重参数，总损失函数计算公式如下：
Losstotal＝Lossce+λLosscr (9)
式中，λ为中心损失权重，Losstotal为损失函数的加和结果，作为最终的损失函数参与模型训练；
步骤5.6∶使用验证集对训练后的网络模型进行评估：计算训练后的网络模型的交叉熵损失函数和中心损失函数的值，根据模型在验证集上的分类准确度和中心损失函数的值，判断模型的性能是否满足要求，如果满足要求，则存储为最终的网络模型，如果不满足要求，则调整模型的超参数，重新训练模型；
步骤5.7：将步骤l中传感器的采集的所有数据输入到最终的网络模型中，对人类活动进行识别；
步骤5.8：使用对应数据集中的测试集对最终的模型进行评估：计算模型的分类准确度和中心损失函数的值，将测试结果与其他已有的方法进行比较，验证其有效性。

Claims (9)

1.一种基于多尺度度量学习的人类活动识别综合优化方法，其特征在于，包括：
步骤1：采集关于人类活动的信号数据，整理成表格数据后进行缺失值处理；
步骤2：提取传感器数据中的时间序列，并对时间序列数据进行预处理；
步骤3：当步骤2处理后的时间序列数据集中存在类别不平衡问题时，通过Borderline-SMOTE上采样算法对数据集中的少数类的边界样本进行过采样，得到类别样本数量均衡的数据集；
步骤4：构建一种全新的多尺度注意力机制的门控残差深度卷积神经网络模型MAG-Res2Net，并利用神经网络模型对数据集进行特征提取；
步骤5：结合中心损失和交叉熵损失两种函数及优化算法对网络模型进行训练，将采集的数据输入到训练后的模型中进行人类活动分类。
2.根据权利要求1所述的一种基于多尺度度量学习的人类活动识别综合优化方法，其特征在于，步骤1包括：
步骤1.1：使用加速度计、陀螺仪以及无线传感器记录人类活动时的传感器数据，包括：加速度、角速度、信号时延，信号强度信息，并整理成表格数据；
步骤1.2：丢失的人类活动数据采用线性插值算法填补缺失值。
3.根据权利要求1所述的一种基于多尺度度量学习的人类活动识别综合优化方法，其特征在于，步骤2包括：
步骤2.1：使用滑动窗口方法提取传感器数据中的时间序列；
步骤2.2：使用数据清洗、数据标准化、数据分割、数据标注、数据增强方法对时间序列数据进行预处理。
4.根据权利要求1所述的一种基于多尺度度量学习的人类活动识别综合优化方法，其特征在于，步骤3包括：
步骤3.1：根据不同的数据集和训练任务分别采用Borderline-SMOTE上采样算法的两种分支算法Borderline-SMOTE1和Borderline-SMOTE2，对少数类样本进行过采样；
步骤3.2：验证新的少数类样本中样本的数量是否均衡：若均衡，则将新的少数类样本与原数据集中的多数类样本再合并构成样本均衡的数据集，若不均衡，则需要重新使用Borderline SMOTE上采样算法中的Borderline-SMOTE1或Borderline-SMOTE2分支算法来进行样本生成，以达到样本数量均衡的效果，再构成样本均衡的数据集。
5.根据权利要求1所述的一种基于多尺度度量学习的人类活动识别综合优化方法，其特征在于，步骤4包括：
步骤4.1：在ResNet模块的基础上依次加入多尺度滤波器、门控模块以及ECA注意力模块构建全新的深度卷积神经网络模型；
步骤4.2：将数据集送入建立的网络模型进行特征提取、特征组合、预测。
6.根据权利要求1所述的一种基于多尺度度量学习的人类活动识别综合优化方法，其特征在于，步骤5包括：
步骤5.1：在网络模型中添加中心损失的计算层，利用中心损失函数和交叉熵损失函数计算样本特征和类内中心的差异：
式中，Losscr为中心损失函数，用于衡量样本特征与类别中心的差异，N为样本数量，zi为第i个样本的特征向量，表示网络的输出结果，center为类别中心，表示当前样本所属类别的中心；
式中，Lossce为交叉熵损失函数，用于衡量模型输出结果和真实标签之间的差异，n为样本数量，p(zi)为第i个样本的真实标签概率分布，表示样本属于每个类别的概率，q(zi)为第i个样本的预测标签概率分布，表示模型对样本属于每个类别的预测概率；
步骤5.2：定义优化算法：使用AdamW优化算法对网络模型进行训练寻找最佳训练批量时，若最佳训练批量超过α，则采用Lion优化算法，根据在AdamW优化算法上的最优学习率按β：1的比例对应到Lion优化算法的学习率，以此学习率为基础进行训练，反之采用AdamW优化算法进行训练；
步骤5.3：利用K折交叉验证的方式将网络模型的输出数据划分为训练集和验证集；
步骤5.4：使用训练集对网络模型进行训练：将中心损失函数和交叉熵损失分别加载到优化算法中，使用交叉熵损失函数优化模型的分类精确度，中心损失函数优化特征表示的聚类效果；
步骤5.5：计算每批次模型训练后总损失函数并通过反向传播更新网络模型的权重参数：
Losstotal＝Lossce+λLosscr
式中，λ为中心损失权重，Losstotal为损失函数的加和结果，作为最终的损失函数参与模型训练；
步骤5.6：使用验证集对训练后的网络模型进行评估：计算训练后的网络模型的交叉熵损失函数和中心损失函数的值，根据模型在验证集上的分类准确度和中心损失函数的值，判断模型的性能是否满足要求，如果满足要求，则存储为最终的网络模型，如果不满足要求，则调整模型的超参数，重新训练模型；
步骤5.7：将传感器采集的所有数据输入到最终的网络模型中，对人类活动进行识别。
7.根据权利要求4所述的一种基于多尺度度量学习的人类活动识别综合优化方法，其特征在于，步骤3.1包括：
步骤3.1.1：将少数类样本依据临近样本中的少数类样本数量的占比分为3类：超过一半为安全样本Safe、少于一半为危险样本Danger、若无少数类样本则判断为噪声Noise，仅对表现为危险Danger的少数类样本过采样；
步骤3.1.2：计算危险的少数类样本点ai与少数类样本集S中所有样本点的欧氏距离，得到距离矩阵D，D(i,p)表示第i个样本点与第p个样本点之间的欧氏距离，对距离矩阵D的每一行进行排序，找到前k个最小值所对应的列，并保存在一个列表中，这个列表就是第i个样本点对应的的k近邻；
步骤3.1.3：当少数类样本在空间上分布集中时，采用Borderline-SMOTE1对危险点生成新样本，在k近邻中随机选择j个少数类样本作为最近邻样本，当少数类样本在空间上分布分散时，采用Borderline-SMOTE2对危险点生成新样本，在k近邻中随机选择一个样本作为最近邻样本，不关注样本类别；
步骤3.1.4：计算危险的少数类样本ai与其选择的最近邻的每一个样本aij的差异向量，计算公式如下：
dij＝ai-aij
式中，ai为第i个危险的少数类样本，aij为第i个少数类样本对应的第j个最近邻样本，dij为少数类样本和最近邻样本的差异向量，当采用Borderline-SMOTE2时，j＝1；
步骤3.1.5：合成新的少数类的样本，公式如下：
hij＝ai+dij×rand(0,Rij)
式中，hij为新的少数类样本，dij为少数类样本和最近邻样本的差异向量，Rij为常数。
8.根据权利要求5所述的一种基于多尺度度量学习的人类活动识别综合优化方法，其特征在于，步骤4.1包括：
步骤4.1.1：建立一个ResNet模块，用一组比3×3卷积核更小的滤波器组替换n个通道的3×3卷积核，每个都是w个通道，并将滤波器组以类残差的层次化方式连接,形成Res2Net模块；
步骤4.1.2：在每个3×3卷积后加入门控模块，形成Gated-Res2Net模块；
步骤4.1.3：将Gated-Res2Net模块和ECA注意力模块相结合，形成全新的多尺度注意力机制的门控残差深度卷积神经网络模型MAG-Res2Net。
9.根据权利要求5所述的一种基于多尺度度量学习的人类活动识别综合优化方法，其特征在于，步骤4.2包括：
步骤4.2.1：数据集经过1×1卷积后被分为i份数据xi，将第一份数据x1之外的其他数据送入3×3卷积；
步骤4.2.2：步骤4.2.1处理后得到的数据由门控模块选择在取值上阈值范围为1±δ的的特征，将选取的有效特征进行映射，然后传入网络模型的下一层，特征映射公式包括：
f2(x)＝concat(a(X),a(yi-1),a(bi))
f1(x)＝a(f2(x))
gi＝tanh(f1(x))
式中，x为输入特征映射，表示当前输入的数据，X为原始特征映射，yi-1为上一层的输出特征映射，表示上一层的输出结果，bi为下一个输入特征映射，a()为3×3卷积层，a(X)为原始特征映射X经过一层3×3卷积得到的特征映射，a(yi-1)为上一层的输出特征映射yi-1经过一层3×3卷积得到的特征映射，a(bi)为当前输入的特征映射bi经过一层3×3卷积得到的特征映射，concat为向量拼接函数，f2(x)为经过特征映射的拼接后得到的特征映射，f1(x)为经过一层全连接神经网络得到的特征映射，tanh()为激活函数中的双曲正切函数，gi为门控向量，通过对f1(x)进行非线性变换得到；
步骤4.2.3：步骤4.2.2处理后的数据映射形成i份数据yi，yi经过堆叠之后送入1×1卷积，映射公式如下：
式中，ci为第i个输入数据，表示当前层的输入，di为第i个输出特征映射，表示当前层的输出结果，Ki为卷积操作，将输入数据进行卷积处理得到特征表达，gi为门控向量，s为神经网络的层数，表示整个网络的深度；
步骤4.2.4：将经过1×1卷积之后的数据送入到ECA注意力模块，ECA注意力模块对输入的特征数据进行全局平均池化，得到一个通道数为1的特征向量，对特征向量进行一维卷积；
步骤4.2.5：对进行一维卷积后的向量进行Sigmoid激活函数操作，得到一个取值范围在0到1之间的向量；
步骤4.2.6：将得到的向量与输入的原始特征数据进行逐元素相乘的操作，得到加权后的特征数据。
CN202310684496.8A 2023-06-09 2023-06-09 基于多尺度度量学习的人类活动识别综合优化方法 Pending CN116680613A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310684496.8A CN116680613A (zh) 2023-06-09 2023-06-09 基于多尺度度量学习的人类活动识别综合优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310684496.8A CN116680613A (zh) 2023-06-09 2023-06-09 基于多尺度度量学习的人类活动识别综合优化方法

Publications (1)

Publication Number Publication Date
CN116680613A true CN116680613A (zh) 2023-09-01

Family

ID=87783381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310684496.8A Pending CN116680613A (zh) 2023-06-09 2023-06-09 基于多尺度度量学习的人类活动识别综合优化方法

Country Status (1)

Country Link
CN (1) CN116680613A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117976148A (zh) * 2024-04-01 2024-05-03 成都市双流区妇幼保健院 一种基于机器学习的儿童心理健康问题预测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117976148A (zh) * 2024-04-01 2024-05-03 成都市双流区妇幼保健院 一种基于机器学习的儿童心理健康问题预测方法及系统

Similar Documents

Publication Publication Date Title
Huang et al. Shallow convolutional neural networks for human activity recognition using wearable sensors
CN111553381A (zh) 基于多网络模型的网络入侵检测方法、装置及电子设备
CN111079646A (zh) 基于深度学习的弱监督视频时序动作定位的方法及系统
CN111027487A (zh) 基于多卷积核残差网络的行为识别系统、方法、介质及设备
CN113312989B (zh) 一种基于聚合描述子与注意力的指静脉特征提取网络
CN111797849B (zh) 用户活动识别方法、装置、存储介质及电子设备
CN109508658B (zh) 一种多生物特征联合识别方法及装置
CN109190521B (zh) 一种基于知识提纯的人脸识别模型的构建方法及应用
CN116821809B (zh) 基于人工智能的生命体征数据采集系统
CN112348080A (zh) 基于工控异常检测的rbf改进方法、装置和设备
CN117155706B (zh) 网络异常行为检测方法及其系统
CN117104377B (zh) 电动自行车的智能管理系统及其方法
CN115100709B (zh) 一种特征分离的图像人脸识别与年龄估计方法
CN116680613A (zh) 基于多尺度度量学习的人类活动识别综合优化方法
Jamil et al. Optimal ensemble scheme for human activity recognition and floor detection based on AutoML and weighted soft voting using smartphone sensors
Venkatachalam et al. Bimodal HAR-An efficient approach to human activity analysis and recognition using bimodal hybrid classifiers
CN117257302A (zh) 人员心理健康状态评估方法及系统
Wang et al. A Multidimensional Parallel Convolutional Connected Network Based on Multisource and Multimodal Sensor Data for Human Activity Recognition
CN117115596B (zh) 对象动作分类模型的训练方法、装置、设备及介质
CN116167008A (zh) 基于数据增强的物联感知云数据中心异常定位方法
CN115240647A (zh) 声音事件检测方法、装置、电子设备及存储介质
CN111797075B (zh) 数据回收方法、装置、存储介质及电子设备
CN110650130B (zh) 基于多分类GoogLeNet-LSTM模型的工控入侵检测方法
CN118471516B (zh) 基于深度学习的血压分析方法及装置
CN111797298B (zh) 数据收集方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination