CN116434348B - 一种基于柔性应变传感器的人体动作实时识别方法及系统 - Google Patents

一种基于柔性应变传感器的人体动作实时识别方法及系统 Download PDF

Info

Publication number
CN116434348B
CN116434348B CN202310710251.8A CN202310710251A CN116434348B CN 116434348 B CN116434348 B CN 116434348B CN 202310710251 A CN202310710251 A CN 202310710251A CN 116434348 B CN116434348 B CN 116434348B
Authority
CN
China
Prior art keywords
matrix
data
human body
column
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310710251.8A
Other languages
English (en)
Other versions
CN116434348A (zh
Inventor
姜明华
肖智勇
余锋
程文韬
刘莉
周昌龙
宋坤芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN202310710251.8A priority Critical patent/CN116434348B/zh
Publication of CN116434348A publication Critical patent/CN116434348A/zh
Application granted granted Critical
Publication of CN116434348B publication Critical patent/CN116434348B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请提供一种基于柔性应变传感器的人体动作实时识别方法及系统，所述方法包括以下步骤：S1：在人体部位佩戴柔性应变传感器进行人体不同动作数据的实时采集，得到时间序列数据；S2：利用微控制器和电流传感器将所述时间序列数据传输至本地客户端；S3：所述本地客户端对时间序列数据进行自适应动态加权预处理，得到处理后的数据；S4：使用深度学习网络对所述处理后的数据进行训练，得到人体动作识别模型；S5：使用所述人体动作识别模型进行人体动作实时识别。本申请采用柔性应变感应器实时采集人体不同动作数据，可以捕捉到人体动作的细微应变变化，满足实时控制和反馈的需求，提供高精度的运动数据，进而提高人体动作识别的准确性。

Description

一种基于柔性应变传感器的人体动作实时识别方法及系统
技术领域
本申请涉及数据识别领域，尤其涉及一种基于柔性应变传感器的人体动作实时识别方法及系统。
背景技术
人体动作识别是一项重要的技术，在智能健身、虚拟现实、智能交互等领域有广泛的应用。传统的人体动作识别技术主要基于摄像头和惯性传感器，但基于摄像头和惯性传感器的使用受到场地限制、数据处理复杂、成本昂贵、实时性差等问题。柔性传感器的出现为人体动作识别提供了一种新的解决方案。
柔性传感器是一种新型的传感器技术，其具有可穿戴性和灵活性，低成本和易于制造的特点。随着柔性传感器技术的不断发展，其在人体动作识别中的应用也得到了越来越多的关注。近年来，随着深度学习等算法的发展，人体动作识别的准确率得到了极大的提升。柔性传感器分类人体动作的研究也受益于这些算法的发展，已经有不少具有应用潜力的研究成果。例如，柔性传感器分类人体动作可以应用于虚拟现实中的手势识别、智能健身中的动作监测、智能交互中的手势识别等领域。
在现有技术中，公开号为CN109086698A的中国专利公开了“一种基于时空注意力机制的人体动作识别方法”，涉及视频中人体行为识别，用于定位和分类视频中人体行为动作。但是，该方法精度受环境影响，需要高质量的摄像设备，不适用于需要实时分类的应用场景。
因此，寻找一种能够实时对人体动作进行识别，且识别的准确率高的方法是本领域技术人员亟待解决的技术问题。
发明内容
本申请的主要目的在于提供一种基于柔性应变传感器的人体动作实时识别方法，旨在解决现有人体动作识别不及时的技术问题。
为实现上述技术目的，本申请提供一种基于柔性应变传感器的人体动作实时识别方法，所述方法包括以下步骤：
S1：在人体部位佩戴柔性应变传感器进行人体不同动作数据的实时采集，得到时间序列数据；
S2：利用微控制器和电流传感器将所述时间序列数据传输至本地客户端；
S3：所述本地客户端对时间序列数据进行自适应动态加权预处理，得到处理后的数据；
S4：使用深度学习网络对所述处理后的数据进行训练，得到人体动作识别模型；
S5：使用所述人体动作识别模型进行人体动作实时识别。
作为本申请一实施例，所述步骤S2具体包括：
将所述柔性应变传感器采集的电信号通过电流传感器转换为数字信号；
所述微控制器将数字信号读取为数字值；
所述微控制器将所述数字值传输至本地客户端。
作为本申请一实施例，所述微控制器采用串口通信将所述数字值传输至本地客户端。
作为本申请一实施例，所述自适应动态加权预处理具体包括：
所述本地客户端根据时间序列数据中数据的重要性分配权重；
设置滑动窗口的长度为,宽度为/>,采样点步长为/>,滑动窗口的时间序列矩阵,/>，/>是柔性应变传感器的个数，/>表示第/>列的柔性应变传感器数据组成的列向量；
计算矩阵每一列数据的权重和均值；
通过所述权重和均值对滑动窗口的数据进行自适应动态加权滤波，用所述均值代替中每一列数据，得到新的滑动窗口时间序列矩阵/>；
通过所述新的滑动窗口的滑动，重复上述步骤，构成样本集矩阵。
作为本申请一实施例，所述矩阵每一列数据的权重的计算公式如下：
其中，/>表示矩阵/>中第/>列数据的标准差，/>表示矩阵/>中所有列数据的平均标准差，/>是调节参数。
作为本申请一实施例，所述矩阵每一列数据的均值的计算公式如下：
其中，/>表示每一列权重和对应的列向量的乘积，/>表示列向量的最小值，/>表示列向量的最大值，表示列向量的均值。
作为本申请一实施例，所述步骤S4具体包括：
将所述样本集矩阵传入一维信号双重关注模块，构造初始化全局参数矩阵/>和局部参数矩阵/>；其中所述一维信号双重关注模块包括第一全局关注层和第一局部关注层、第二全局关注层和第二局部关注层以及第三全局关注层和第三局部关注层；
将所述第一全局关注层的输出和第一局部关注层的输出拼接为矩阵，依次送入所述第二全局关注层和第二局部关注层以及第三全局关注层和第三局部关注层；
重复以上步骤，得到最终输出矩阵；其中，/>表示经过第三全局关注层和第三局部关注层的最终输出矩阵/>的每一个矩阵块；/>表示所述最终输出矩阵中有/>个矩阵块；
将所述矩阵传送至卷积层进行特征提取，并使用全局平均池化层对矩阵/>的尺寸进行降采样，得到降采样矩阵；
将所述降采样矩阵分别输入信息融合模块中至少一个聚集结构和至少一个分支结构中，将所述聚集结构和分支结构的输出矩阵进行矩阵拼接，得到拼接矩阵；
将所述拼接矩阵经过激活函数和全连接层，输出每个动作的概率分布，形成所述人体动作识别模型。
作为本申请一实施例，所述将所述第一全局关注层的输出和第一局部关注层的输出拼接为矩阵的具体步骤包括：
将所述矩阵每一个序列/>与全局参数矩阵/>分别相乘得映射矩阵；
将矩阵的每六个序列/>与局部参数矩阵/>分别相乘得映射矩阵/>；
将所述第一全局关注层的输出和第一局部关注层的输出纵向拼接为矩阵，
其中，/>,/>分别是全局关注层和局部关注层的权重，/>为关联函数，/>表示矩阵/>的转置；
；
；
表示矩阵/>的维度，/>表示矩阵/>的维度。
作为本申请一实施例，所述聚集结构包括一个卷积层和一个BN归一化层，所述分支结构包括三个卷积层。
本申请还提供一种基于柔性应变传感器的人体动作实时识别系统，包括：
采集模块，通过柔性应变传感器进行人体不同动作数据的实时采集，得到时间序列数据；
数据传输模块，通过微控制器和电流传感器将所述时间序列数据传输至本地客户端；
预处理模块，本地客户端对所述时间序列数据进行自适应动态加权预处理；
训练模块，使用深度学习网络对处理后的数据进行训练，得到人体动作识别模型；
识别模块，基于所述动作识别模型进行人体动作实时识别。
与现有技术相比，本申请具有以下有益效果：
本申请采用柔性应变感应器实时采集人体不同动作数据，可以捕捉到人体动作的细微应变变化，满足实时控制和反馈的需求，提供高精度的运动数据，进而提高人体动作识别的准确性。
本申请采用自适应的动态加权预处理，通过权重和均值对滑动窗口进行自适应动态加权滤波，提高了对柔性应变传感器数据的滤波效果；通过一维信号双重关注模块和信息融合模块提取数据的全局信息和局部细节，使人体动作识别模型更全面地理解输入数据，提高人体动作识别的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于柔性应变传感器的人体动作实时识别方法的流程图一；
图2为本申请实施例提供的一种基于柔性应变传感器的人体动作实时识别方法的流程图二；
图3为本申请实施例提供的人体动作识别示意图；
图4为本申请实施例提供的一种基于柔性应变传感器的人体动作实时识别系统框图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地描述。
本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等仅用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备等，没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元等，或可选地还包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。
在本申请中提及的“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以显式地和隐式地理解的是，本申请描述的实施例可以与其它实施例相结合。
在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上，“至少两个（项）”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”。
如图1所示，本申请提供一种基于柔性应变传感器的人体动作实时识别方法，所述方法包括以下步骤：
S1：在人体部位佩戴柔性应变传感器进行人体不同动作数据的实时采集，得到时间序列数据；
S2：利用微控制器和电流传感器将所述时间序列数据传输至本地客户端；
S3：所述本地客户端对时间序列数据进行自适应动态加权预处理，得到处理后的数据；
S4：使用深度学习网络对所述处理后的数据进行训练，得到人体动作识别模型；
S5：使用所述人体动作识别模型进行人体动作实时识别。
本申请通过柔性应变传感器采集人体不同动作的时间序列数据，使用自适应动态加权预处理，以便于获得更加稳定可靠的数据，并利用深度学习网络对数据进行训练，提高人体动作识别的准确度，降低成本，且具有良好的实时性。
进一步参照图2，可选的，柔性应变传感器采用导电纤维制成，人体运动时，动作的变化引起柔性应变传感器的电流变化，而且灵敏度高，应变范围广且可进行伸缩变形，适用于人体的运动监测。可将柔性应变传感器佩戴于人体的颈椎，左右手肘，腰部，左右膝盖六个关键部位，采集人体在不同动作状态下的动作数据，例如坐，站立，行走，慢跑，上、下楼梯等运动状态。
在本申请一实施例中，所述步骤S2具体包括：
将所述柔性应变传感器采集的电信号通过电流传感器转换为数字信号；
所述微控制器将数字信号读取为数字值；
所述微控制器将所述数字值传输至本地客户端。
其中，电流传感器选取K hz采样频率，即每隔1/K s输出一次数据，能够有效记录人体动作的瞬时行为数据变化。如电流传感器的采样频率为50hz，则每隔1/50 s输出一次数据。
进一步，所述微控制器采用串口通信将所述数字值传输至本地客户端。
柔性应变传感器采集人体不同动作下的电信号，通过电流传感器内置的模数转换器将电信号转换为数字信号，微控制器将数字信号读取为数字值，利用串口通信在将数字值从微控制器中传输至本地客户端。
在本申请一实施例中，所述自适应动态加权预处理具体包括：
所述本地客户端根据时间序列数据中数据的重要性分配不同的权重；
设置滑动窗口的长度为,宽度为/>,采样点步长为/>,滑动窗口的时间序列矩阵,/>，/>是柔性应变传感器的个数，/>表示第/>列的柔性应变传感器数据组成的列向量；
计算矩阵每一列数据的权重和均值；
通过所述权重和均值对滑动窗口的数据进行自适应动态加权滤波，用所述均值代替中每一列数据，得到新的滑动窗口时间序列矩阵/>；
通过所述新的滑动窗口的滑动，重复上述步骤，构成样本集矩阵。
进一步的，所述矩阵每一列数据的权重的计算公式如下：
表示矩阵/>中第/>列数据的标准差，/>表示矩阵/>中所有列数据的平均标准差，是调节参数，用于控制标准差的相对贡献。
所述矩阵每一列数据的均值的计算公式如下：
其中，表示每一列权重和对应的列向量的乘积，/>表示列向量的最小值，/>表示列向量的最大值，/>表示列向量的均值。
可以理解的，人体运动时每个部位的特征变化的趋势复杂多样，如颈椎，腰部运动时特征变化不明显，运动幅度小，数据变化趋势平缓，而左右手肘、膝盖数据变化趋势明显。本地客户端对对柔性应变传感器的数据进行自适应动态加权预处理，根据数据点的重要性为其分配不同的权重，从而提高滤波效果。
具体的，设置滑动窗口的长度为6，宽度为6，采样点步长为2，滑动窗口的时间序列矩阵,/>，即矩阵/>大小为6×6，柔性应变传感器有6个。利用矩阵/>每一列数据的权重和均值进行自适应动态加权滤波去噪处理，保持柔性应变传感器数据的边缘和细节信息。用/>代替原始的每一列数据，得到新的滑动窗口时间序列矩阵/>，通过滑动窗口的滑动，重复以上步骤，构成样本集。
可以理解的，如果某列数据的标准差相对于整个矩阵的平均标准差较小，说明该列数据变化较为平缓，对整个矩阵的影响较小，应该赋予较小的加权系数。相反，如果某列数据的标准差相对于整个矩阵的平均标准差较大，说明该列数据变化较为剧烈，对整个矩阵的影响较大，应该赋予较大的加权系数。
在本申请一实施例中，所述步骤S4具体包括：
将所述样本集矩阵传入一维信号双重关注模块，构造初始化全局参数矩/>和局部参数矩阵/>；其中所述一维信号双重关注模块包括第一全局关注层和第一局部关注层、第二全局关注层和第二局部关注层以及第三全局关注层和第三局部关注层；
将所述第一全局关注层的输出和第一局部关注层的输出拼接为矩阵，依次送入所述第二全局关注层和第二局部关注层以及第三全局关注层和第三局部关注层；
重复以上步骤，得到最终输出矩阵；其中，/>表示经过第三全局关注层和第三局部关注层的最终输出矩阵/>的每一个矩阵块；/>表示所述最终输出矩阵中有/>个矩阵块；
将所述矩阵传送至卷积层进行特征提取，并使用全局平均池化层对矩阵/>的尺寸进行降采样，得到降采样矩阵；
将所述降采样矩阵分别输入信息融合模块中至少一个聚集结构和至少一个分支结构中，将所述聚集结构和分支结构的输出矩阵进行矩阵拼接，得到拼接矩阵；所述聚集结构包括一个卷积层和一个BN归一化层，所述分支结构包括三个卷积层；
将所述拼接矩阵经过激活函数和全连接层，输出每个动作的概率分布，形成所述人体动作识别模型。可选的，激活函数采用relu激活函数。
在本申请实施例中，深度学习网络分为一维信号双重关注模块和信息融合模块，一维信号双重关注模块可以提取时间序列中的多尺度和多层次的特征，捕捉时间序列中的时间依赖性，信息融合模块加强时间序列特征的表达能力和稳健性。
将所述样本集矩阵传入一维信号双重关注模块，构造初始化全局参数矩阵/>和局部参数矩阵/>，避免深度学习网络陷入局部最优解，全局参数矩阵的形状为/>，局部参数矩阵的形状为/>，/>表示参数矩阵的列数，
对于参数矩阵,用相同的初始化方法，如下所示：
其中，表示服从均匀分布的随机数，/>表示该层的输入特征数。
如图3所示，优选的，使用大小为6×6、步长为2的卷积层（conv）对矩阵进行特征提取，使用大小为2×2的全局平均池化层将矩阵/>的尺寸进行降采样；将降采样后的矩阵分别通过三个聚集结构和三个分支结构，其中一个聚集结构包括一个3×3卷积层和一个BN归一化层，一个分支结构包括两个1×1卷积层（conv）和一个3×3卷积层（conv），将三个聚集结构和三个分支结构的输出矩阵进行矩阵拼接，经过一个relu激活函数，提高深度学习网络的表达能力，再经过一个全连接层，使用softmax分类器输出每个动作的概率分布，通过选取具有最高概率的类别来预测输入的人体动作，并形成人体动作识别模型。
在本申请的进一步实施例中，所述将所述第一全局关注层的输出和第一局部关注层的输出拼接为矩阵的具体步骤包括：
将所述矩阵每一个序列/>与全局参数矩阵/>分别相乘得映射矩阵；
将矩阵的每六个序列/>与局部参数矩阵/>分别相乘得映射矩阵/>；
将所述第一全局关注层的输出和第一局部关注层的输出纵向拼接为矩阵，
其中，，/>分别是全局关注层和局部关注层的权重，/>为关联函数，/>表示矩阵/>的转置；
；
；
表示矩阵/>的维度，/>表示矩阵/>的维度。
进一步可以理解的，最终输出矩阵中的/>表示/>和/>组合的矩阵块，表示/>和/>组合的矩阵块，/>表示/>和/>组合的矩阵块。
在本申请一实施例中，在步骤S5之前还包括：
S401：将人体动作识别模型进行优化，其中优化的方法包括模型剪枝和模型量化。
通过对人体动作识别模型进行优化，能够提高实时识别的速度和效率。可以理解的，模型剪枝是移除神经网络大量冗余的参数，模型量化是将模型参数从精度较高的浮点数转化为整数或者低精度浮点数，通过以上步骤减小模型大小，提高人体动作识别模型的推理速度。
S402：将优化后的人体动作识别模型转换为微控制器模型格式部署到微控制器上；
S403：编写代码实现人体动作的实时识别。
可以理解的，通过深度学习网络对数据进行训练，得到人体动作识别模型，此时人体动作识别模型是常见的TensorFlow模型格式，或者PyTorch模型格式，Keras模型格式。将人体动作识别模型从常见的格式转换为适合微控制器的TensorRT模型格式或者TensorFlow Lite模型格式，实现高效的深度学习推理。
如图4所示，本申请还提供一种基于柔性应变传感器的人体动作实时识别系统，包括采集模块、数据传输模块、预处理模块、训练模块以及识别模块，
采集模块，通过柔性应变传感器进行人体不同动作数据的实时采集，得到时间序列数据；
数据传输模块，通过微控制器和电流传感器将所述时间序列数据传输至本地客户端；
预处理模块，本地客户端对所述时间序列数据进行自适应动态加权预处理；
训练模块，使用深度学习网络对处理后的数据进行训练，得到人体动作识别模型；
识别模块，基于所述动作识别模型进行人体动作实时识别。
本申请采集模块利用柔性应变传感器采集人体在不同动作的时间序列数据，数据传输模块通过微控制器和电流传感器将时间序列数据传输至本地客户端，根据数据点重要程度为数据分配不同的权重，以进行自适应动态加权预处理，去除数据中的高频噪声，将处理后的数据传入训练模块，使用一维信号双重关注模块提取时间序列数据中多尺度和多层次的特征，捕捉数据中的时间依赖性，利用信息融合模块加强时间序列特征的表达能力和稳健性，仅为提高人体动作识别的准确性，识别模块将训练好的人体动作识别模型部署到微处理器上实时识别人体动作，降低了成本的同时，还使人体动作识别具有良好的实时性。
其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
该作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (5)

1.一种基于柔性应变传感器的人体动作实时识别方法，其特征在于，所述方法包括以下步骤：
S1：在人体部位佩戴柔性应变传感器进行人体不同动作数据的实时采集，得到时间序列数据；
S2：利用微控制器和电流传感器将所述时间序列数据传输至本地客户端；
S3：所述本地客户端对时间序列数据进行自适应动态加权预处理，得到处理后的数据；
S4：使用深度学习网络对所述处理后的数据进行训练，得到人体动作识别模型；
S5：使用所述人体动作识别模型进行人体动作实时识别；
所述自适应动态加权预处理具体包括：
所述本地客户端根据时间序列数据中数据的重要性分配权重；
设置滑动窗口的长度为,宽度为/>,采样点步长为/>,滑动窗口的时间序列矩阵,/>，/>是柔性应变传感器的个数，/>表示第/>列的柔性应变传感器数据组成的列向量；
计算矩阵每一列数据的权重和均值；
通过所述权重和均值对滑动窗口的数据进行自适应动态加权滤波，用所述均值代替中每一列数据，得到新的滑动窗口时间序列矩阵/>；
通过所述新的滑动窗口的滑动，重复上述步骤，构成样本集矩阵；
所述矩阵第/>列数据的权重的计算公式如下：
，
其中，表示矩阵/>中第/>列数据的标准差，/>表示矩阵/>中所有列数据的平均标准差，是调节参数；
所述矩阵第/>列数据的均值的计算公式如下：
，
其中，表示第/>列权重和对应的列向量的乘积，/>表示列向量的最小值，/>表示列向量的最大值，/>表示列向量的均值。
2.如权利要求1所述的一种基于柔性应变传感器的人体动作实时识别方法，其特征在于，所述步骤S2具体包括：
将所述柔性应变传感器采集的电信号通过电流传感器转换为数字信号；
所述微控制器将数字信号读取为数字值；
所述微控制器将所述数字值传输至本地客户端。
3.如权利要求2所述的一种基于柔性应变传感器的人体动作实时识别方法，其特征在于，所述微控制器采用串口通信将所述数字值传输至本地客户端。
4.如权利要求1所述的一种基于柔性应变传感器的人体动作实时识别方法，其特征在于，所述步骤S4具体包括：
将所述样本集矩阵传入一维信号双重关注模块，构造初始化全局参数矩阵/>和局部参数矩阵/>；其中所述一维信号双重关注模块包括第一全局关注层和第一局部关注层、第二全局关注层和第二局部关注层以及第三全局关注层和第三局部关注层；
将所述第一全局关注层的输出和第一局部关注层的输出拼接为矩阵 ，依次送入所述第二全局关注层和第二局部关注层以及第三全局关注层和第三局部关注层；
重复以上步骤，得到最终输出矩阵；其中，/>表示经过第三全局关注层和第三局部关注层的最终输出矩阵/>的每一个矩阵块；/>表示所述最终输出矩阵中有个矩阵块；
将所述矩阵传送至卷积层进行特征提取，并使用全局平均池化层对矩阵/>的尺寸进行降采样，得到降采样矩阵；
将所述降采样矩阵分别输入信息融合模块中至少一个聚集结构和至少一个分支结构中，将所述聚集结构和分支结构的输出矩阵进行矩阵拼接，得到拼接矩阵；
将所述拼接矩阵经过激活函数和全连接层，输出每个动作的概率分布，形成所述人体动作识别模型；
所述将所述第一全局关注层的输出和第一局部关注层的输出拼接为矩阵的具体步骤包括：
将所述矩阵S每一个序列与全局参数矩/>分别相乘得映射矩；
将矩阵S的每六个序列与局部参数矩阵分别相乘得映射矩阵/>；将所述第一全局关注层的输出和第一局部关注层的输出纵向拼接为矩阵/>，
，
其中，,/>分别是全局关注层和局部关注层的权重，/>为关联函数，/>表示矩阵/>的转置；
；
；
表示矩阵/>的维度，/>表示矩阵/>的维度；
所述聚集结构包括一个卷积层和一个BN归一化层，所述分支结构包括三个卷积层。
5.一种基于柔性应变传感器的人体动作实时识别系统，其特征在于，包括：
采集模块，通过柔性应变传感器进行人体不同动作数据的实时采集，得到时间序列数据；
数据传输模块，通过微控制器和电流传感器将所述时间序列数据传输至本地客户端；
预处理模块，本地客户端对所述时间序列数据进行自适应动态加权预处理；
训练模块，使用深度学习网络对处理后的数据进行训练，得到人体动作识别模型；
识别模块，基于所述动作识别模型进行人体动作实时识别；
所述自适应动态加权预处理具体包括：
所述本地客户端根据时间序列数据中数据的重要性分配权重；
设置滑动窗口的长度为,宽度为/>,采样点步长为/>,滑动窗口的时间序列矩阵,/>，/>是柔性应变传感器的个数，/>表示第/>列的柔性应变传感器数据组成的列向量；
计算矩阵每一列数据的权重和均值；
通过所述权重和均值对滑动窗口的数据进行自适应动态加权滤波，用所述均值代替中每一列数据，得到新的滑动窗口时间序列矩阵/>；
通过所述新的滑动窗口的滑动，重复上述步骤，构成样本集矩阵；
所述矩阵第/>列数据的权重的计算公式如下：
，
其中，表示矩阵/>中第/>列数据的标准差，/>表示矩阵/>中所有列数据的平均标准差，是调节参数；
所述矩阵第/>列数据的均值的计算公式如下：
，
其中，表示第j列权重和对应的列向量的乘积，/>表示列向量的最小值，/>表示列向量的最大值，/>表示列向量的均值。
CN202310710251.8A 2023-06-14 2023-06-14 一种基于柔性应变传感器的人体动作实时识别方法及系统 Active CN116434348B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310710251.8A CN116434348B (zh) 2023-06-14 2023-06-14 一种基于柔性应变传感器的人体动作实时识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310710251.8A CN116434348B (zh) 2023-06-14 2023-06-14 一种基于柔性应变传感器的人体动作实时识别方法及系统

Publications (2)

Publication Number Publication Date
CN116434348A CN116434348A (zh) 2023-07-14
CN116434348B true CN116434348B (zh) 2023-09-01

Family

ID=87087706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310710251.8A Active CN116434348B (zh) 2023-06-14 2023-06-14 一种基于柔性应变传感器的人体动作实时识别方法及系统

Country Status (1)

Country Link
CN (1) CN116434348B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5532700A (en) * 1995-03-16 1996-07-02 The United States Of America As Represented By The Secretary Of The Navy Preprocessor and adaptive beamformer for active signals of arbitrary waveform
JP2007043393A (ja) * 2005-08-02 2007-02-15 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体
CN101106685A (zh) * 2007-08-31 2008-01-16 湖北科创高新网络视频股份有限公司 一种基于运动检测的去隔行方法和装置
JP2012232065A (ja) * 2011-05-09 2012-11-29 Iwate Univ 顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置
CN104574441A (zh) * 2014-12-31 2015-04-29 浙江工业大学 一种基于gmm和时序模型的跌倒实时检测方法
CN107320950A (zh) * 2017-07-06 2017-11-07 中国科学院合肥物质科学研究院 一种基于柔性压力传感器的游戏交互装置
CN110327595A (zh) * 2019-05-09 2019-10-15 深圳市蝙蝠云科技有限公司 基于可穿戴传感器的动作捕捉识别与评估装置及方法
CN110420029A (zh) * 2019-08-03 2019-11-08 苏州自如医疗器械有限公司 一种基于多传感器融合的行走步态无线检测系统
CN110547807A (zh) * 2019-09-17 2019-12-10 深圳市赛梅斯凯科技有限公司 驾驶行为分析方法、装置、设备及计算机可读存储介质
CN112801283A (zh) * 2021-03-29 2021-05-14 哈尔滨工业大学（深圳） 一种神经网络模型、动作识别方法、装置及存储介质
CN113947119A (zh) * 2021-10-18 2022-01-18 浙江工业大学 一种利用足底压力信号检测人体步态的方法
CN115438705A (zh) * 2022-11-09 2022-12-06 武昌理工学院 一种基于可穿戴设备的人体动作预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397039B2 (en) * 2012-12-05 2019-08-27 Origin Wireless, Inc. Apparatus, systems and methods for fall-down detection based on a wireless signal

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5532700A (en) * 1995-03-16 1996-07-02 The United States Of America As Represented By The Secretary Of The Navy Preprocessor and adaptive beamformer for active signals of arbitrary waveform
JP2007043393A (ja) * 2005-08-02 2007-02-15 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理方法、画像処理プログラム及びプログラム記録媒体
CN101106685A (zh) * 2007-08-31 2008-01-16 湖北科创高新网络视频股份有限公司 一种基于运动检测的去隔行方法和装置
JP2012232065A (ja) * 2011-05-09 2012-11-29 Iwate Univ 顎口腔運動状態の推定方法及び顎口腔運動状態の推定装置
CN104574441A (zh) * 2014-12-31 2015-04-29 浙江工业大学 一种基于gmm和时序模型的跌倒实时检测方法
CN107320950A (zh) * 2017-07-06 2017-11-07 中国科学院合肥物质科学研究院 一种基于柔性压力传感器的游戏交互装置
CN110327595A (zh) * 2019-05-09 2019-10-15 深圳市蝙蝠云科技有限公司 基于可穿戴传感器的动作捕捉识别与评估装置及方法
CN110420029A (zh) * 2019-08-03 2019-11-08 苏州自如医疗器械有限公司 一种基于多传感器融合的行走步态无线检测系统
CN110547807A (zh) * 2019-09-17 2019-12-10 深圳市赛梅斯凯科技有限公司 驾驶行为分析方法、装置、设备及计算机可读存储介质
CN112801283A (zh) * 2021-03-29 2021-05-14 哈尔滨工业大学（深圳） 一种神经网络模型、动作识别方法、装置及存储介质
CN113947119A (zh) * 2021-10-18 2022-01-18 浙江工业大学 一种利用足底压力信号检测人体步态的方法
CN115438705A (zh) * 2022-11-09 2022-12-06 武昌理工学院 一种基于可穿戴设备的人体动作预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于残差时域注意力神经网络的交通模式识别算法;刘世泽 等;《 计算机应用》;全文 *

Also Published As

Publication number Publication date
CN116434348A (zh) 2023-07-14

Similar Documents

Publication Publication Date Title
Zhang et al. A convolutional recurrent attention model for subject-independent EEG signal analysis
CN110309861B (zh) 一种基于生成对抗网络的多模态人类活动识别方法
CN111012336A (zh) 时空特征融合的并行卷积网络运动想象脑电图分类方法
Mehr et al. Human activity recognition in smart home with deep learning approach
CN113951900B (zh) 一种基于多模态信号的运动想象意图识别方法
CN110946566B (zh) 一种基于U-Net网络的心拍分类方法、装置、设备及存储介质
CN113449573A (zh) 一种动态手势识别方法及设备
Nafea et al. Multi-sensor human activity recognition using CNN and GRU
CN112598597A (zh) 一种降噪模型的训练方法及相关装置
CN111914643A (zh) 一种基于骨骼关键点检测的人体动作识别方法
CN108985157A (zh) 一种手势识别方法和装置
Ye et al. Using an end-to-end convolutional network on radar signal for human activity classification
CN111723662B (zh) 一种基于卷积神经网络的人体姿态识别方法
Espinosa et al. Application of convolutional neural networks for fall detection using multiple cameras
CN114861731B (zh) 一种可跨场景通用的肌电模式识别方法
Zhang et al. Hybrid handcrafted and learned feature framework for human action recognition
Geng Research on athlete’s action recognition based on acceleration sensor and deep learning
Wu et al. Intelligent clothing for automated recognition of human physical activities in free-living environment
CN114005073A (zh) 上肢镜像康复训练、识别方法和装置
Wang et al. Automatic badminton action recognition using cnn with adaptive feature extraction on sensor data
CN116434348B (zh) 一种基于柔性应变传感器的人体动作实时识别方法及系统
Yeh et al. Deep learning-based real-time activity recognition with multiple inertial sensors
Zhang et al. Multi-STMT: multi-level network for human activity recognition based on wearable sensors
CN113269157B (zh) 隐秘环境下融合IMU和sEMG的加密手势识别方法
Dhammi et al. Classification of human activities using data captured through a smartphone using deep learning techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant