CN115563556B - 一种基于智能可穿戴设备的人体体态预测方法 - Google Patents

一种基于智能可穿戴设备的人体体态预测方法 Download PDF

Info

Publication number
CN115563556B
CN115563556B CN202211527033.2A CN202211527033A CN115563556B CN 115563556 B CN115563556 B CN 115563556B CN 202211527033 A CN202211527033 A CN 202211527033A CN 115563556 B CN115563556 B CN 115563556B
Authority
CN
China
Prior art keywords
matrix
data
posture
classification
influence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211527033.2A
Other languages
English (en)
Other versions
CN115563556A (zh
Inventor
姜明华
田张源
余锋
俞晨雨
周昌龙
宋坤芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN202211527033.2A priority Critical patent/CN115563556B/zh
Publication of CN115563556A publication Critical patent/CN115563556A/zh
Application granted granted Critical
Publication of CN115563556B publication Critical patent/CN115563556B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了一种基于智能可穿戴设备的人体体态预测方法，具体包括：利用五种不同传感器在身体不同部分收集信息，将传感器信息特征融合；将特征融合后的数据送至多维度信息影响机制模块进行特征提取，再经过权重分类模块得到两种不同的权重矩阵，分别将两个不同的权重矩阵送至状态预测网络模块和体态分类网络模块，同时实时输出预测的运动状态信息和人体体态信息；在状态预测网络模块中引入稀疏影响机制来减少长序列在网络中的运算量，在体态分类网络模块中引入多分支卷积组合来提高分类精度。本发明使用多传感器融合的方式大幅提高了在实际场景下的体态预测准确率，使智能可穿戴设备的应用能适应更多场景。

Description

一种基于智能可穿戴设备的人体体态预测方法
技术领域
本发明属于智能可穿戴设备和多维度长序列数据处理技术领域，并且更具体的是指一种基于智能可穿戴设备的人体体态预测方法。
背景技术
目前，智能织物逐渐进入市场，智能可穿戴设备已经向能穿就不戴的方向迅速发展，以智能服装为代表的智能可穿戴设备是一种新的智能形式—人本智能，强调了一种人类智能与机器智能结合的智能形态，是对人工智能的增强，侧重于对人体生理信息和运动信息的时-空多维度观测模式和方法。目前的智能可穿戴设备的普通监测功能早已无法满足需求，结合多种柔性传感器的智能可穿戴服装才能进一步的对人体信息智能化处理。
国内外很多研究机构在针对人体体态预测提出网络模型，首先是通过人体关节点序列变化来对人体体态进行预测，需要借助外部摄像机捕捉人体变化，这种依靠图像的方式非常不实用，有着很多的限制，不能很好的应用在可穿戴设备领域；其次有很多基于动作捕捉的人体体态三维重建，需要在人体关键部位贴满传感器，无法应用于日常生活，且大多用于特效制作，不能很好的收集人体生理信息，不具有实用性。
发明内容
为了解决现有技术的上述缺点以及改善现有技术，本发明提供了一种基于智能可穿戴设备的人体体态预测方法，其目的在于运用多模态传感器收集用户生理信息，解决了神经网络在时间特征和空间特征上处理长序列的速度和准确率问题，本发明涉及多种柔性传感器融合处理，并应用预测网络更具有实用性且效果更趋近现实。
为实现上述目的，本发明提供的技术方案为一种基于智能可穿戴设备的人体体态预测方法，包括如下步骤：
步骤1，获取体温传感器的体温数据，心率传感器的心率数据，三轴传感器的三轴角速度数据，以及人体脊柱的上、中、下部位，左肩，右肩，臀部，左右腿关节这八个身体部位的贴片式角度传感器的角度数据和柔性压力传感器的压力数据；
其中，对于收集到的体温、心率数据进行数据融合，三轴传感器的三轴角速度数据不作处理；再将八个不同身体部位对应的角度数据和压力数据进行数据融合，将十九个个传感器收集到的数据进行多传感器融合形成十二行序列数据；
步骤2， 将上述十二行序列数据送至多维度信息影响机制网络模块进行影响机制特征提取得到一个十二行N列的中间层特征；
步骤3，将上述十二行N列的中间层特征送入状态信息权重分类模块得到状态信息处理序列和体态信息处理矩阵；
步骤4，将状态信息处理序列送至状态预测网络模块提取得到状态预测特征层；同时将体态信息处理矩阵送入体态分类网络模块得到体态分类特征层；
步骤5，将状态预测特征层送至分类器中得到多种运动状态，将体态分类特征层进行分类输出得到多种体态姿势，按照时间戳将每秒对应的运动状态与体态姿势进行组合，得到预测的不同状态下的体态姿势不正。
进一步的，在步骤1中获取的五种传感器的数据，以时间戳为基准同步收集数据，每秒收集五种传感器对应的十九个值，以十二秒为一组。
进一步的，在步骤1中，对于收集到的体温、心率数据进行数据融合，体温传感器和心率传感器用来预测运动状态，且两者对预测结果的特征影响力相同，所以将两个传感器的数据特征融合为一个向量；同时八个不同身体部位的柔性压力传感器和贴片式角度传感器的十六行值进行数据融合得到八个向量；融合的方法是将M个传感器的序列数据组合成一个长度为N高为M的矩阵E，针对矩阵的形状设置一个权重矩阵W1,M，在M×N的矩阵上进行滑动运算得到一个N×1的一维特征矩阵，公式为V=W1,M∙EM,N+B，通过反向传播不断学习调整权重矩阵的参数，B表示序列数据的偏置量。
进一步的，在步骤2中，将十二行序列数据送至多维度信息影响机制网络模块进行影响力机制特征提取得到一个十二行N列的中间层，多维度信息影响机制网络模块结构如下：输入十二行N列的矩阵V，V={v 1,v 2,v 3……v n}，其中n是矩阵的长度，v i 表示矩阵V的列向量；先构造初始化的三个参数矩阵R q ,R k ,R v 与V相乘，这三个参数矩阵是与所有序列数据共享，得到三个新的向量R q,V ,R k,V ,R v,V ，将求得的向量R q,V 中的每个值与向量R k,V 中每个位置的值进行一个匹配得到影响力向量α qk,V ，再将向量α qk,V 的每一行进行softmax处理得到
Figure DEST_PATH_IMAGE001
，利用向量/>
Figure 68700DEST_PATH_IMAGE001
中的每个值与R v,V 匹配得到输出矩阵b V ；在长序列的影响力机制特征提取过程中引入稀疏影响力机制/>
Figure DEST_PATH_IMAGE002
方法保证了重要数据点的影响力，同时减少了参数的计算量，维度信息影响机制网络模块公式如下：
Figure DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
其中R k,V T 表示为R k,V 的转置矩阵，
Figure 526226DEST_PATH_IMAGE002
表示近似稀疏性度量，num(R k,V )表示R k,V 向量当中元素的个数，max表示取最大值，mean表示取平均值。/>
进一步的，在步骤3中，将上述十二行N列的中间层送入状态信息权重分类模块得到状态信息处理序列和体态信息处理矩阵，将通过影响力机制特征提取得到的b V 进行部分加权，将b V 矩阵分成两个部分，放大前四行数据的权重占比，缩小后八行数据的权重占比得到用于状态预测的状态信息处理序列Z V ；同步的，放大后八行数据的权重占比，缩小前四行数据的权重占比得到用于体态分类的体态信息处理矩阵T V 。
进一步的，在步骤4中将状态信息处理序列Z V 送至状态预测网络模块提取得到状态预测特征层；首先对状态预测的矩阵Z V 进一步优化提取，由于在经过影响力机制提取操作中的
Figure 668495DEST_PATH_IMAGE001
与R k,V 匹配操作会存在冗余组合，所以进一步的蒸馏提取可以对影响力更高的元素赋予更高的权重，在t时刻矩阵Z V 中的Z V,t 采用一个一维卷积操作，并使用ELU激活函数，所以在从t时刻推进到t+1时刻的过程公式为Z V,t+1=ELU(Conv[Z V,t ])，其中ELU表示ELU激活函数，Conv表示卷积操作；经过蒸馏提取过后的矩阵为Z' V,t 送入位置编码器中链接一个占位符，公式为/>
Figure DEST_PATH_IMAGE006
，Concat表示拼接Z' V,t 和Z'(0,t)这两个矩阵，tposition表示占位符，Z'(0,t)表示占位符标量为0；将占位符标量设置为0，并通过反向传播的学习自调整；为了避免位置因素发生自回归每个位置都过度影响下个位置的值，并再次经过一个掩码影响力机制特征提取，在影响力机制模块的匹配操作过程中将要匹配的矩阵R k,V 和R v,V 的斜上角矩阵所有值设置为-∞，这样改变了匹配后的结果，前一个元素对后一个元素影响减弱，最后通过全连接层得到最终的权重矩阵A，公式为
Figure DEST_PATH_IMAGE007
，FC表示全连接层操作，Mask表示掩码影响力机制特征提取。
进一步的，在步骤4中，将体态信息处理矩阵送入体态分类网络模块得到体态分类特征层，在经过权重分类过后用于体态分类的矩阵T V 为12行N列，首先对T V 切片为N/12个形状为12×12的矩阵，在将N/12个形状为12×12的矩阵送至体态分类网络模块，体态分类网络模块包含两个多分支卷积模块，多分支卷积模块结构如下，首先原矩阵经过一个大小为3×3步长为1填充为1的卷积，同时经过一个大小为1×1步长为1的卷积，这里使用ReLU作为激活函数，并引入BN层来进行归一化，最后将两个卷积过后的矩阵与原矩阵组合起来形成12×12×3的矩阵；接着用一个2×2的全局平均池化层，将矩阵形状变成6×6×3；
原矩阵经过两个多分支卷积模块后得到形状为3×3×6的矩阵；再经过1个3×3步长为1的卷积得到大小为1×1×6的矩阵，再经过一个1×1步长为1的卷积得到大小为1×1×6的矩阵，将两个大小为1×1×6的矩阵组合起来得到一个大小为1×1×12的矩阵；最后将N/12个形状为1×1×12的矩阵送入全连接层得到1×1×N的权重矩阵B。
进一步的，在步骤5中，将状态预测特征层送至分类器中分类得到行走、奔跑、静坐、平躺、趴卧五种运动状态；将经过状态预测网络模块得到的权重矩阵A按照时间戳送至softmax分类器中输出分类结果，权重矩阵A中的t时刻的值都是对t+1时刻的推理结果，从而实现预测五种不同的运动状态。
进一步的，在步骤5中，将体态分类特征层进行分类输出得到头前伸、高低肩、驼背、脊柱侧歪、腿型弯曲；将经过体态分类网络模块得到的特征矩阵B按照时间戳送至softmax分类器中输出分类结果，得到五种不同的体态。
进一步的，在步骤5中，按照时间戳每秒对应的运动状态与体态姿势进行组合，得到预测的不同状态下的体态姿势不正；传感器以一秒为时间单位收集数据，一共收集N秒，两个分类器每秒同时输出运动状态分类和体态姿势分类，从而实现实时预测在不同运动状态下的体态姿势。
与现有技术相比，本发明的优点和有益效果：本发明利用影响力机制提取了长序列的时间特征，并引入稀疏影响力机制突出了主要影响力因素的同时降低算法的时间复杂度，更适合长序列多维度数据的处理；在预测多种状态的同时利用多分支卷积提取数据空间特征，分类得到不同的体态，实现了对人体在复杂的场景下更加精准的预测分类。
附图说明
图1为本发明实施例提供的一种基于智能可穿戴设备的人体体态预测方法的流程示意图；
图2为本发明实施例提供的一种基于智能可穿戴设备的人体体态预测方法的核心网络结构。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，是实施例提供的一种基于智能可穿戴设备的人体体态预测方法的流程示意图；实施例提供的一种基于智能可穿戴设备的人体体态预测方法包括如下步骤：
步骤1，获取体温传感器的体温数据，心率传感器的心率数据，三轴传感器的三轴角速度数据，以及人体脊柱的上、中、下部位，左肩，右肩，臀部，左右腿关节这八个身体部位的贴片式角度传感器的角度数据和柔性压力传感器的压力数据；对于收集到的体温、心率数据进行数据融合；再将八个不同身体部位的贴片式角度传感器和柔性压力传感器进行数据融合。将十九个传感器收集到的数据进行多传感器融合形成十二行序列数据；
其中，获取的五种传感器的数据获取的五种传感器的数据，以时间戳为基准同步收集数据，每秒收集五种传感器对应的十九个值，以十二秒为一组。
其中对于收集到的体温、心率数据进行数据融合，体温传感器和心率传感器用来预测运动状态，且两者对预测结果的特征影响力相同，所以将两个传感器的数据特征融合为一个向量；同时八个不同身体部位的柔性压力传感器和贴片式角度传感器的十六行值进行数据融合得到八个向量；融合的方法是将M个传感器的序列数据组合成一个长度为N高为M的矩阵E，针对矩阵的形状设置一个权重矩阵W1,M，在M×N的矩阵上进行滑动运算得到一个N×1的一维特征矩阵，公式为V=W1,M∙EM,N+B，通过反向传播不断学习调整权重矩阵的参数，B表示序列数据的偏置量。
步骤2，将上述十二行序列数据送至多维度信息影响机制网络模块进行影响机制特征提取得到一个12行N列的中间层；
将十二行序列数据送至多维度信息影响机制网络模块进行影响力机制特征提取得到一个十二行N列的中间层，多维度信息影响机制网络模块结构如下：输入十二行N列的矩阵V，V={v 1,v 2,v 3……v n}，其中n是矩阵的长度，v i 表示矩阵V的列向量；先构造初始化的三个参数矩阵R q ,R k ,R v 与V相乘，这三个参数矩阵是与所有序列数据共享，得到三个新的向量R q,V ,R k,V ,R v,V ，将求得的向量R q,V 中的每个值与向量R k,V 中每个位置的值进行一个匹配得到影响力向量α qk,V ，再将向量α qk,V 的每一行进行softmax处理得到
Figure 959799DEST_PATH_IMAGE001
，利用向量/>
Figure 492411DEST_PATH_IMAGE001
中的每个值与R v,V 匹配得到输出矩阵b V ；在长序列的影响力机制特征提取过程中引入稀疏影响力机制/>
Figure DEST_PATH_IMAGE008
方法保证了重要数据点的影响力，同时减少了参数的计算量，维度信息影响机制网络模块公式如下：
Figure DEST_PATH_IMAGE009
Figure 284787DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE010
其中R k,V T 表示为R k,V 的转置矩阵，
Figure 422507DEST_PATH_IMAGE002
表示近似稀疏性度量，num(R k,V )表示R k,V 向量当中元素的个数，max表示取最大值，mean表示取平均值。
步骤3，将上述12行N列的中间层送入状态信息权重分类模块得到状态信息处理序列和体态信息处理矩阵；
其中，将上述12行N列的中间层送入状态信息权重分类模块得到状态信息处理序列和体态信息处理矩阵，将通过影响力机制特征提取得到的bV进行部分加权，将bV矩阵分成两个部分，放大前四行数据的权重占比，缩小后八行数据的权重占比得到用于状态预测的矩阵ZV；同步的，放大后八行数据的权重占比，缩小前四行数据的权重占比得到用于体态分类的矩阵TV；
步骤4，将状态信息处理序列送至状态预测网络模块进行再次提取得到状态预测特征层；同时将体态信息处理矩阵送入体态分类网络模块得到体态分类特征层；
在步骤4中将状态信息处理序列Z V 送至状态预测网络模块提取得到状态预测特征层；首先对状态预测的矩阵Z V 进一步优化提取，由于在经过影响力机制提取操作中的
Figure 743767DEST_PATH_IMAGE001
与R k,V 匹配操作会存在冗余组合，所以进一步的蒸馏提取可以对影响力更高的元素赋予更高的权重，在t时刻矩阵Z V 中的Z V,t 采用一个一维卷积操作，并使用ELU激活函数，所以在从t时刻推进到t+1时刻的过程公式为Z V,t+1=ELU(Conv[Z V,t ])，其中ELU表示ELU激活函数，Conv表示卷积操作；经过蒸馏提取过后的矩阵为Z' V,t 送入位置编码器中链接一个占位符，公式为/>
Figure DEST_PATH_IMAGE011
，Concat表示拼接Z' V,t 和Z'(0,t)这两个矩阵，tposition表示占位符，Z'(0,t)表示占位符标量为0；将占位符标量设置为0，并通过反向传播的学习自调整；为了避免位置因素发生自回归每个位置都过度影响下个位置的值，并再次经过一个掩码影响力机制特征提取，在影响力机制模块的匹配操作过程中将要匹配的矩阵R k,V 和R v,V 的斜上角矩阵所有值设置为-∞，这样改变了匹配后的结果，前一个元素对后一个元素影响减弱，最后通过全连接层得到最终的权重矩阵A，公式为
Figure 763676DEST_PATH_IMAGE007
，FC表示全连接层操作，Mask表示掩码影响力机制特征提取。
在步骤4中，将体态信息处理矩阵送入体态分类网络模块得到体态分类特征层，在经过权重分类过后用于体态分类的矩阵T V 为12行N列，首先对T V 切片为N/12个形状为12×12的矩阵，在将N/12个形状为12×12的矩阵送至体态分类网络模块，体态分类网络模块包含两个多分支卷积模块，多分支卷积模块结构如下，首先原矩阵经过一个大小为3×3步长为1填充为1的卷积，同时经过一个大小为1×1步长为1的卷积，这里使用ReLU作为激活函数，并引入BN层来进行归一化，最后将两个卷积过后的矩阵与原矩阵组合起来形成12×12×3的矩阵；接着用一个2×2的全局平均池化层，将矩阵形状变成6×6×3；
原矩阵经过两个多分支卷积模块后得到形状为3×3×6的矩阵；再经过1个3×3步长为1的卷积得到大小为1×1×6的矩阵，再经过一个1×1步长为1的卷积得到大小为1×1×6的矩阵，将两个大小为1×1×6的矩阵组合起来得到一个大小为1×1×12的矩阵；最后将N/12个形状为1×1×12的矩阵送入全连接层得到1×1×N的权重矩阵B。
步骤5，将状态预测特征层送至分类器中得到预测到的行走、奔跑、静坐、平躺、趴卧五种运动状态；将体态分类特征层进行分类输出得到头前伸、高低肩、驼背、脊柱侧歪、腿型弯曲；按照时间戳每秒对应的运动状态与体态姿势进行组合，得到预测的不同状态下的体态姿势不正。
其中，将状态预测特征层送至分类器中分类得到行走、奔跑、静坐、平躺、趴卧五种运动状态；将经过状态预测网络模块得到的权重矩阵A按照时间戳送至softmax分类器中输出分类结果，权重矩阵A中的t时刻的值都是对t+1时刻的推理结果，从而实现预测五种不同的运动状态。
其中，将体态分类特征层进行分类输出得到头前伸、高低肩、驼背、脊柱侧歪、腿型弯曲；将经过体态分类网络模块得到的特征矩阵B按照时间戳送至softmax分类器中输出分类结果，得到五种不同的体态；
优选的，在步骤5中按照时间戳每秒对应的运动状态与体态姿势进行组合，得到预测的不同状态下的体态姿势不正；传感器以一秒为时间单位收集数据，一共收集N秒，两个分类器每秒同时输出运动状态分类和体态姿势分类，从而实现实时预测在不同运动状态下的体态姿势。
本发明可以不仅融合了多个传感收集的生理信息，而且在时间域和空间域同时对长序列进行处理，预测准确率更高，预测速度更快，很好的预防了在不同状态下的体态不正，增加了可穿戴设备的功能和用户体验。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (8)

1.一种基于智能可穿戴设备的人体体态预测方法，其特征在于，包括以下步骤：
步骤1，获取体温传感器的体温数据，心率传感器的心率数据，三轴传感器的三轴角速度数据，以及人体脊柱的上、中、下部位，左肩，右肩，臀部，左右腿关节这八个身体部位的贴片式角度传感器的角度数据和柔性压力传感器的压力数据；
其中，对于收集到的体温、心率数据进行数据融合，三轴传感器的三轴角速度数据不作处理；再将八个不同身体部位对应的角度数据和压力数据进行数据融合，将十九个个传感器收集到的数据进行多传感器融合形成十二行序列数据；
步骤2，将上述十二行序列数据送至多维度信息影响机制网络模块进行影响机制特征提取得到一个十二行N列的中间层特征；
在步骤2中，将十二行序列数据送至多维度信息影响机制网络模块进行影响力机制特征提取得到一个十二行N列的中间层，多维度信息影响机制网络模块结构如下：输入十二行N列的矩阵V，V＝{v1,v2,v3……vn}，其中n是矩阵的长度，vi表示矩阵V的列向量；先构造初始化的三个参数矩阵Rq,Rk,Rv与V相乘，这三个参数矩阵是与所有序列数据共享，得到三个新的向量Rq,V,Rk,V,Rv,V，将求得的向量Rq,V中的每个值与向量Rk,V中每个位置的值进行一个匹配得到影响力向量αqk,V，再将向量αqk,V的每一行进行softmax处理得到
Figure FDA0004053917930000011
利用向量
Figure FDA0004053917930000012
中的每个值与Rv,V匹配得到输出矩阵bV；在长序列的影响力机制特征提取过程中引入稀疏影响力机制/>
Figure FDA0004053917930000013
方法保证了重要数据点的影响力，同时减少了参数的计算量，维度信息影响机制网络模块公式如下：
Rq，V＝Rqvi
Rk,V＝Rkvi
Rv，V＝Rvvi
Figure FDA0004053917930000021
Figure FDA0004053917930000022
Figure FDA0004053917930000023
Figure FDA0004053917930000024
其中Rk,V T表示为Rk,V的转置矩阵，
Figure FDA0004053917930000025
表示近似稀疏性度量，num(Rk,V)表示Rk,V向量当中元素的个数，max表示取最大值，mean表示取平均值；
步骤3，将上述十二行N列的中间层特征送入状态信息权重分类模块得到状态信息处理序列和体态信息处理矩阵；
在步骤3中，将上述十二行N列的中间层送入状态信息权重分类模块得到状态信息处理序列和体态信息处理矩阵，将通过影响力机制特征提取得到的bV进行部分加权，将bV矩阵分成两个部分，放大前四行数据的权重占比，缩小后八行数据的权重占比得到用于状态预测的状态信息处理序列ZV；同步的，放大后八行数据的权重占比，缩小前四行数据的权重占比得到用于体态分类的体态信息处理矩阵TV；
步骤4，将状态信息处理序列送至状态预测网络模块提取得到状态预测特征；同时将体态信息处理矩阵送入体态分类网络模块得到体态分类特征；
步骤5，将状态预测特征送至分类器中得到多种运动状态，将体态分类特征进行分类输出得到多种体态姿势，按照时间戳将每秒对应的运动状态与体态姿势进行组合，得到预测的不同状态下的体态姿势不正。
2.根据权利要求1所述的一种基于智能可穿戴设备的人体体态预测方法，其特征在于：在步骤1中获取的五种传感器的数据，以时间戳为基准同步收集数据，每秒收集五种传感器对应的十九个值，以十二秒为一组。
3.根据权利要求1所述的一种基于智能可穿戴设备的人体体态预测方法，其特征在于：在步骤1中，对于收集到的体温、心率数据进行数据融合，体温传感器和心率传感器用来预测运动状态，且两者对预测结果的特征影响力相同，所以将两个传感器的数据特征融合为一个向量；同时八个不同身体部位的柔性压力传感器和贴片式角度传感器的十六行值进行数据融合得到八个向量；融合的方法是将M个传感器的序列数据组合成一个长度为N高为M的矩阵E，针对矩阵的形状设置一个权重矩阵W1,M，在M×N的矩阵上进行滑动运算得到一个N×1的一维特征矩阵，公式为V＝W1,M·EM,N+B，通过反向传播不断学习调整权重矩阵的参数，B表示序列数据的偏置量。
4.根据权利要求1所述的一种基于智能可穿戴设备的人体体态预测方法，其特征在于：在步骤4中将状态信息处理序列ZV送至状态预测网络模块提取得到状态预测特征层；首先对状态预测的矩阵ZV进一步优化提取，由于在经过影响力机制提取操作中的
Figure FDA0004053917930000031
与Rk,V匹配操作会存在冗余组合，所以进一步的蒸馏提取可以对影响力更高的元素赋予更高的权重，在t时刻矩阵ZV中的ZV,t采用一个一维卷积操作，并使用ELU激活函数，所以在从t时刻推进到t+1时刻的过程公式为ZV,t+1＝ELU(Conv[ZV,t])，其中ELU表示ELU激活函数，Conv表示卷积操作；经过蒸馏提取过后的矩阵为Z'V,t送入位置编码器中链接一个占位符，公式为
Figure FDA0004053917930000032
Concat表示拼接Z'V,t和Z'(0,t)这两个矩阵，tposition表示占位符，Z'(0,t)表示占位符标量为0；将占位符标量设置为0，并通过反向传播的学习自调整；为了避免位置因素发生自回归每个位置都过度影响下个位置的值，并再次经过一个掩码影响力机制特征提取，在影响力机制模块的匹配操作过程中将要匹配的矩阵Rk,V和Rv,V的斜上角矩阵所有值设置为-∞，这样改变了匹配后的结果，前一个元素对后一个元素影响减弱，最后通过全连接层得到最终的权重矩阵A，公式为
Figure FDA0004053917930000033
FC表示全连接层操作，Mask表示掩码影响力机制特征提取。
5.根据权利要求1所述的一种基于智能可穿戴设备的人体体态预测方法，其特征在于：在步骤4中，将体态信息处理矩阵送入体态分类网络模块得到体态分类特征层，在经过权重分类过后用于体态分类的矩阵TV为12行N列，首先对TV切片为N/12个形状为12×12的矩阵，在将N/12个形状为12×12的矩阵送至体态分类网络模块，体态分类网络模块包含两个多分支卷积模块，多分支卷积模块结构如下，首先原矩阵经过一个大小为3×3步长为1填充为1的卷积，同时经过一个大小为1×1步长为1的卷积，这里使用ReLU作为激活函数，并在3×3的卷积后引入BN层来进行归一化，最后将两个卷积过后的矩阵与原矩阵组合起来形成12×12×3的矩阵；接着用一个2×2的全局平均池化层，将矩阵形状变成6×6×3；
原矩阵经过两个多分支卷积模块后得到形状为3×3×6的矩阵；再经过1个3×3步长为1的卷积得到大小为1×1×6的矩阵，再经过一个1×1步长为1的卷积得到大小为1×1×6的矩阵，将两个大小为1×1×6的矩阵组合起来得到一个大小为1×1×12的矩阵；最后将N/12个形状为1×1×12的矩阵送入全连接层得到1×1×N的权重矩阵B。
6.根据权利要求4所述的一种基于智能可穿戴设备的人体体态预测方法，其特征在于：在步骤5中，将状态预测特征层送至分类器中分类得到行走、奔跑、静坐、平躺、趴卧五种运动状态；将经过状态预测网络模块得到的权重矩阵A按照时间戳送至softmax分类器中输出分类结果，权重矩阵A中的t时刻的值都是对t+1时刻的推理结果，从而实现预测五种不同的运动状态。
7.根据权利要求5所述的一种基于智能可穿戴设备的人体体态预测方法，其特征在于：在步骤5中，将体态分类特征层进行分类输出得到头前伸、高低肩、驼背、脊柱侧歪、腿型弯曲；将经过体态分类网络模块得到的特征矩阵B按照时间戳送至softmax分类器中输出分类结果，得到五种不同的体态。
8.根据权利要求1所述的一种基于智能可穿戴设备的人体体态预测方法，其特征在于：在步骤5中，按照时间戳每秒对应的运动状态与体态姿势进行组合，得到预测的不同状态下的体态姿势不正；传感器以一秒为时间单位收集数据，一共收集N秒，两个分类器每秒同时输出运动状态分类和体态姿势分类，从而实现实时预测在不同运动状态下的体态姿势。
CN202211527033.2A 2022-12-01 2022-12-01 一种基于智能可穿戴设备的人体体态预测方法 Active CN115563556B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211527033.2A CN115563556B (zh) 2022-12-01 2022-12-01 一种基于智能可穿戴设备的人体体态预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211527033.2A CN115563556B (zh) 2022-12-01 2022-12-01 一种基于智能可穿戴设备的人体体态预测方法

Publications (2)

Publication Number Publication Date
CN115563556A CN115563556A (zh) 2023-01-03
CN115563556B true CN115563556B (zh) 2023-03-31

Family

ID=84777830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211527033.2A Active CN115563556B (zh) 2022-12-01 2022-12-01 一种基于智能可穿戴设备的人体体态预测方法

Country Status (1)

Country Link
CN (1) CN115563556B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116746914B (zh) * 2023-08-14 2023-11-10 北京领创医谷科技发展有限责任公司 一种用户姿势的确定方法、装置、电子设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10321873B2 (en) * 2013-09-17 2019-06-18 Medibotics Llc Smart clothing for ambulatory human motion capture
CN104589356B (zh) * 2014-11-27 2016-08-24 北京工业大学 基于Kinect人手运动捕捉的灵巧手遥操作控制方法
CN109993038B (zh) * 2018-01-02 2021-07-06 中国移动通信有限公司研究院 一种动作识别系统训练方法及装置
WO2019175899A1 (en) * 2018-03-15 2019-09-19 On My Own Technology Pvt Ltd Wearable device for gait analysis
CN109673529A (zh) * 2018-12-24 2019-04-26 公安部南京警犬研究所 基于多传感器的警犬姿态识别数据背心及姿态识别方法
CN111358471B (zh) * 2020-04-15 2023-04-28 青岛一小步科技有限公司 一种身体姿态检测装置及检测方法
CN112861624A (zh) * 2021-01-05 2021-05-28 哈尔滨工业大学（威海） 一种人体姿态检测方法、系统、存储介质、设备及终端
CN113496216B (zh) * 2021-08-31 2023-05-05 四川大学华西医院 一种基于骨骼关键点的多角度跌倒高危识别方法及系统
CN114782992A (zh) * 2022-04-29 2022-07-22 常州大学 一种超关节与多模态网络及其在行为识别方法

Also Published As

Publication number Publication date
CN115563556A (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
Soo Kim et al. Interpretable 3d human action analysis with temporal convolutional networks
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN110633736A (zh) 一种基于多源异构数据融合的人体跌倒检测方法
CN110321833A (zh) 基于卷积神经网络和循环神经网络的人体行为识别方法
CN109685037B (zh) 一种实时动作识别方法、装置及电子设备
CN115563556B (zh) 一种基于智能可穿戴设备的人体体态预测方法
CN110472604A (zh) 一种基于视频的行人与人群行为识别方法
CN112084934B (zh) 基于骨骼数据双通道深度可分离卷积的行为识别方法
CN115841697A (zh) 一种基于骨架和图像数据融合的动作识别方法
CN113111760B (zh) 基于通道注意力的轻量化图卷积人体骨架动作识别方法
CN113792641B (zh) 一种结合多谱注意力机制的高分辨率轻量级的人体姿态估计方法
Jia et al. Two-stream temporal convolutional networks for skeleton-based human action recognition
CN115177273B (zh) 基于多头再注意力机制的运动意图识别方法及系统
CN116311377A (zh) 基于图像内与图像间关系的换衣行人重识别方法和系统
CN115083566A (zh) 基于双流Transformer编码器和多头注意力机制的运动意图识别方法
CN113239892A (zh) 一种基于数据增强架构的单目人体三维姿态估计方法
CN112818942B (zh) 一种车辆行驶过程中行人动作识别方法和系统
CN110414348A (zh) 一种视频处理方法及装置
CA2469565A1 (en) Logic arrangement, data structure, system and method for multilinear representation of multimodal data ensembles for synthesis, recognition and compression
CN113947119A (zh) 一种利用足底压力信号检测人体步态的方法
Zhou et al. Analysis of body behavior characteristics after sports training based on convolution neural network
Jafarian et al. Comparison of 2d and 3d gait kinematics in gender classification using principal component analysis and convolutional neural networks
CN113169989A (zh) 在神经网络推理中实现数据同步的装置和方法
Ghimire et al. Classification of EEG Motor Imagery Tasks Utilizing 2D Temporal Patterns with Deep Learning.
CN117690583B (zh) 基于物联网的康复护理交互式管理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant