CN116186561B - 基于高维时序图网络的跑步姿势识别纠正方法及系统 - Google Patents
基于高维时序图网络的跑步姿势识别纠正方法及系统 Download PDFInfo
- Publication number
- CN116186561B CN116186561B CN202310465119.5A CN202310465119A CN116186561B CN 116186561 B CN116186561 B CN 116186561B CN 202310465119 A CN202310465119 A CN 202310465119A CN 116186561 B CN116186561 B CN 116186561B
- Authority
- CN
- China
- Prior art keywords
- network
- time sequence
- node
- dimensional time
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010586 diagram Methods 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012937 correction Methods 0.000 title claims abstract description 37
- 230000033001 locomotion Effects 0.000 claims abstract description 89
- 238000012549 training Methods 0.000 claims abstract description 61
- 230000008569 process Effects 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000001914 filtration Methods 0.000 claims abstract description 15
- 238000012544 monitoring process Methods 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 46
- 230000002776 aggregation Effects 0.000 claims description 20
- 238000004220 aggregation Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 18
- 238000012360 testing method Methods 0.000 claims description 14
- 230000002452 interceptive effect Effects 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 239000013604 expression vector Substances 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000010835 comparative analysis Methods 0.000 abstract description 2
- 230000008859 change Effects 0.000 description 5
- 238000009499 grossing Methods 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于高维时序图网络的跑步姿势识别纠正方法及系统，包括：通过无线传输模块采集跑步者各个身体部位的传感器信息，对采集的人体骨架图网络传感器信号进行滤波处理和特征提取，对高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，并进行实时监控，参照专业运动员的特征信息进行对比分析，判断跑步者在运动过程中错误的身体发力部位，对该身体部位发送纠正信号，通过震动和受击的方式进行提醒和改正。本发明基于图神经网络的运动姿势纠正方法，能够实时高效的识别运动过程中的错误姿势，在线对运动者错误的运动姿势部位进行纠正提醒，养成正确的运动习惯。
Description
技术领域
本发明涉及人工智能技术和运动姿势识别技术领域，更具体的，涉及一种基于高维时序图网络的跑步姿势识别纠正方法及系统。
背景技术
随着国民经济的不断发展，人们追求更加丰富的文化生活，越来越多的人认识到体育的重要性。错误的跑步姿势会导致不佳的运动效果，并且错误的习惯不易改正，甚至会增加运动损伤的风险，损害健康。因此，纠正错误的跑步姿势至关重要。传统上，跑步姿势的识别和矫正需要在专业实验室通过软件或人工诊断对跑步者的多角度图像进行分析，这过程耗时长，并且需要大量专业设备和知识进行人工分析。因此，难以有效地识别并提供实时反馈以纠正跑步者在运动期间的姿势。随着人工智能中图神经网络技术的不断发展，利用该技术研究运动姿态成为热门方向，并且能够降低设备和人工识别成本。因此，该专利提出了一种新颖的图网络算法来识别和纠正错误的跑步姿势。
针对现有的跑步姿势识别和纠正技术中过度依赖结构化数据处理算法和人工诊断分析，忽略运动过程中人体各个发力部位和肌肉的相互作用信息，并且识别成本高，无法实时反馈纠正等问题。由于图神经网络可以处理非欧空间内的图结构数据，图结构数据的各节点通过各类型连接形式与其他节点关联，这种复杂关联包含的关系信息更加丰富。人体自然连接的关节点可以构成人体3D骨架图，运动姿势可以形成连续的3D骨架轨迹变化，人体关节和肌肉的运动参数信息作为特征信息输入骨架节点，可以在整体上直接反应人体运动过程中的各部位的运动参数变化。通过图神经网络将人体3D骨架数据定义为时空图结构，将运动中参数作为各节点的特征属性输入图神经网络，考虑了人体运动中各关节和肌肉之间内在的时空关系。同时，以3D骨架数据作为输入，相比传统计算机视觉算法分析的2D图像视频数据，可缓解目标遮挡、视角差异、背景变化等问题。为此，一种基于图神经网络的跑步姿势纠正方法亟待开发。
发明内容
为了解决上述技术问题，本发明提出了一种基于高维时序图网络的跑步姿势识别纠正方法及系统。
本发明第一方面提供了一种基于高维时序图网络的跑步姿势识别纠正方法，包括：
通过无线传输模块采集跑步者各个身体部位的传感器信息，生成人体骨架图网络传感器信号；
对采集的人体骨架图网络传感器信号进行滤波处理和特征提取，得到行特征向量，根据人体3D骨架拓扑构建高维时序图网络架构，根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息；
根据训练集的高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，进行实时监控；
利用图神经网络模型进行识别，参照标准运动姿势的特征信息进行对比分析，判断跑步者在运动过程中错误的身体发力部位，对所述错误的身体发力部位发送纠正信号，通过震动和受击的方式进行提醒。
本方案中，对采集的人体骨架图网络传感器信号进行滤波处理和特征提取，具体为：
将传感器信号通过固定移动窗口的大小，进行滑动处理，每次向前移动一个数据点，计算窗口内数据点的平均值，最后将每个数据点替换为相应的移动平均值，实现传感器信号的平滑滤波处理；
对滤波后的传感器信号进行统计特征提取，所述特征包括给定时间段内传感器信号的平均值特征、方差特征、分布偏度特征、峰度特征、自相关特征、功率谱密度特征以及熵特征；
将提取的特征进行组合，生成行特征向量，作为图网络节点的特征嵌入向量。
本方案中，根据人体3D骨架拓扑构建高维时序图网络架构，根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息，具体为：
根据跑步者各个身体部位的传感器的位置信息确定人体3D骨架拓扑结构，根据骨架拓扑结构在跑步过程中对运动姿态进行动作的分解，获取不同时间顺序的空间图网络，构建高维时序图网络架构；
通过衰减函数将所述高维时序图网络中的图网络节点进行聚合处理，假设当前时刻第/>个节点的特征向量为/>，下一时刻/>的同一个身体部位对应的第/>个节点的特征向量为/>，定义特征/>随着时间/>的权重衰减函数/>表示为：
；
其中，表示/>时刻第/>个节点的特征向量，/>表示正衰减常数；
通过设定高维时序图网络的长度，进行不同时间序列下的节点特征向量信息的交互和更新。
本方案中，根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息，所述特征聚合具体为：
通过同一时刻下某一节点特征与其相邻节点之间以及与不同时刻的同一节点特征进行聚合，获得当前该节点的新的特征表示向量，具体的公式表达为：
；
其中，表示节点/>的初始特征向量，/>表示节点/>同一时刻的相邻节点集合，表示节点/>与未来时刻的同一位置节点的集合，/>定义为自变量之间对应特征列的加权平均和；
在高维时序图网络中，获取当前时刻运动姿势下的特征交互信息，并通过权重衰减函数进行未来时刻同一位置节点高维的特征信息更新，通过所有节点的重复迭代生成高维时序图网络特征信息。
本方案中，根据训练集的高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，进行实时监控，具体为：
获取跑步姿态数据，对所述跑步姿态数据进行等级划分生成数据标记，并获取标准运动姿态作为对照组进行错误姿态的纠正，生成训练集及测试集，获取训练集高维时序图网络特征信息，
基于三层图卷积神经网络构建运动姿态识别模型，通过训练集高维时序图网络特征信息进行模型的训练；
在运动姿态识别模型中第一层包含每个节点的初始特征向量信息，每个节点与描述该节点属性的特征向量相关联，第二层通过在高维时序图网络中执行卷积运算，每个节点根据其相邻节点的特征进行更新，第三层根据从上一层学习到的特征表示生成输出预测运动姿势是否标准；
通过模型训练获取运动姿势识别模型的最佳模型参数，当所述运动姿态识别模型的测试结果符合预设标准时，则输出训练后运动姿态识别模型。
本方案中，通过训练后运动姿态识别模型对跑步者的运动姿态进行实时监控，获取各个身体部位的信息表示；
将各个身体部位的运动表示与参照组中的标准运动姿态进行对比，识别出错误的跑步姿态，并根据标准运动姿态进行分析改善，利用蓝牙模块对错误发力位置进行诊断提醒。
本发明第二方面还提供了一种基于高维时序图网络的跑步姿势识别纠正系统，该系统包括：存储器、处理器，所述存储器中包括一种基于高维时序图网络的跑步姿势识别纠正方法程序，所述一种基于高维时序图网络的跑步姿势识别纠正方法程序被所述处理器执行时实现如下步骤：
通过无线传输模块采集跑步者各个身体部位的传感器信息，生成人体骨架图网络传感器信号；
对采集的人体骨架图网络传感器信号进行滤波处理和特征提取，得到行特征向量，根据人体3D骨架拓扑构建高维时序图网络架构，根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息；
根据训练集的高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，进行实时监控；
利用图神经网络模型进行识别，参照标准运动姿势的特征信息进行对比分析，判断跑步者在运动过程中错误的身体发力部位，对所述错误的身体发力部位发送纠正信号，通过震动和受击的方式进行提醒。
本发明公开了一种基于高维时序图网络的跑步姿势识别纠正方法及系统，包括：通过无线传输模块采集跑步者各个身体部位的传感器信息，对采集的人体骨架图网络传感器信号进行滤波处理和特征提取，对高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，并进行实时监控，参照专业运动员的特征信息进行对比分析，判断跑步者在运动过程中错误的身体发力部位，对该身体部位发送纠正信号，通过震动和受击的方式进行提醒和改正。本发明基于图神经网络的运动姿势纠正方法，能够实时高效的识别运动过程中的错误姿势，在线对运动者错误的运动姿势部位进行纠正提醒，养成正确的运动习惯。并且该方法具有模拟图结构在人体3D骨架上进行特征更新，构建的3D骨架时空图可以进行空间维度特征提取和时间维度特征提取，成本低廉等优点。
附图说明
图1示出了本发明一种基于高维时序图网络的跑步姿势识别纠正方法的流程图；
图2示出了本发明的人体3D骨架高维时序网络图；
图3示出了本发明通过图卷积神经网络构建运动姿势识别模型的方法流程图；
图4示出了本发明一种基于高维时序图网络的跑步姿势识别纠正系统的框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
图1示出了本发明一种基于高维时序图网络的跑步姿势识别纠正方法的流程图。
如图1所示，本发明第一方面提供了一种基于高维时序图网络的跑步姿势识别纠正方法，包括：
S102，通过无线传输模块采集跑步者各个身体部位的传感器信息，生成人体骨架图网络传感器信号；
S104，对采集的人体骨架图网络传感器信号进行滤波处理和特征提取，得到行特征向量，根据人体3D骨架拓扑构建高维时序图网络架构，根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息；
S106，根据训练集的高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，进行实时监控；
S108，利用图神经网络模型进行识别，参照标准运动姿势的特征信息进行对比分析，判断跑步者在运动过程中错误的身体发力部位，对所述错误的身体发力部位发送纠正信号，通过震动和受击的方式进行提醒。
需要说明的是，搭建人体骨架运动参数采集设备，让跑步者穿戴紧身运动服，并且在运动服中各个参与跑步运动的身体关节部位植入微型传感器，具体包括加速度传感器，温度和湿度传感器，通过无线传输模块采集跑步者各个身体部位的传感器信息，并将计算机作为接收设备记录传感器信号。
由于跑步过程中佩戴的传感器信号容易受环境影响引入不必要的噪声，首先利用移动平均滤波器进行信号平滑滤波处理，将传感器信号通过固定移动窗口的大小，进行滑动处理，每次向前移动一个数据点，计算窗口内数据点的平均值，最后将每个数据点替换为相应的移动平均值，实现传感器信号的平滑滤波处理；对滤波后的传感器信号进行统计特征提取，所述特征包括给定时间段内传感器信号的平均值特征，衡量传感器信号随时间的扩散或变化的方差特征，衡量传感器信号分布的不对称性的偏度特征，测量传感器信号分布的峰度特征，衡量信号在不同时间滞后与自身的自相关特征，衡量信号在不同频率上的功率分布的功率谱密度特征以及衡量信号的随机性或复杂性的熵特征，将这些特征组合成行特征向量；将提取的特征进行组合，生成行特征向量，作为图网络节点的特征嵌入向量。
需要说明的是，根据跑步者各个身体部位的传感器的位置信息确定人体3D骨架拓扑结构，根据骨架拓扑结构在跑步过程中对运动姿态进行动作的分解，获取不同时间顺序的空间图网络，构建高维时序图网络架构，所述人体3D骨架高维时序网络图如图2所示；
通过衰减函数将所述高维时序图网络中的图网络节点进行聚合处理，假设当前时刻第/>个节点的特征向量为/>，下一时刻/>的同一个身体部位对应的第/>个节点的特征向量为/>，定义特征/>随着时间/>的权重衰减函数/>表示为：
；
其中，表示/>时刻第/>个节点的特征向量，/>表示正衰减常数；
通过设定高维时序图网络的长度，进行不同时间序列下的节点特征向量信息的交互和更新。
需要说明的是，通过同一时刻下某一节点特征与其相邻节点之间以及与不同时刻的同一节点特征进行聚合，获得当前该节点的新的特征表示向量，具体的公式表达为：
；
其中，表示节点/>的初始特征向量，/>表示节点/>同一时刻的相邻节点集合，表示节点/>与未来时刻的同一位置节点的集合，/>定义为自变量之间对应特征列的加权平均和；
在高维时序图网络中，获取当前时刻运动姿势下的特征交互信息，并通过权重衰减函数进行未来时刻同一位置节点高维的特征信息更新，通过所有节点的重复迭代生成高维时序图网络特征信息。
图3示出了本发明通过图卷积神经网络构建运动姿势识别模型的方法流程图。
根据本发明实施例，根据训练集的高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，进行实时监控，具体为：
S302，获取跑步姿态数据，对所述跑步姿态数据进行等级划分生成数据标记，并获取标准运动姿态作为对照组进行错误姿态的纠正，生成训练集及测试集，获取训练集高维时序图网络特征信息，
S304，基于三层图卷积神经网络构建运动姿态识别模型，通过训练集高维时序图网络特征信息进行模型的训练；
S306，在运动姿态识别模型中第一层包含每个节点的初始特征向量信息，每个节点与描述该节点属性的特征向量相关联，第二层通过在高维时序图网络中执行卷积运算，每个节点根据其相邻节点的特征进行更新，第三层根据从上一层学习到的特征表示生成输出预测运动姿势是否标准；
S308，通过模型训练获取运动姿势识别模型的最佳模型参数，当所述运动姿态识别模型的测试结果符合预设标准时，则输出训练后运动姿态识别模型。
需要说明的是，对若干跑步者的跑步姿态数据进行信息采集或者连接相关数据库获取若干历史跑步姿态数据，通过大数据手段检索专家经验或姿态评价体系对其姿势进行打分划分等级，进行跑步姿态数据的数据标签，将专业跑步者的采集信息生成标准运动姿态，根据标准运动姿态作为对照组进行错误姿势的纠正，根据跑步姿态数据及标准运动姿态根据预设比例生成训练集及测试集，对运动姿态识别模型进行训练测试，利用图神经网络模型能够学习捕获当前的全局信息与未来时刻的部分信息，从而获得最佳的数据表示，实现模型的高精度识别功能。
通过训练后运动姿态识别模型对跑步者的运动姿态进行实时监控，根据高维时序图网络特征信息获取各个身体部位的信息表示；将各个身体部位的运动表示与参照组中的标准运动姿态进行对比，识别出错误的跑步姿态，并根据标准运动姿态进行分析改善，利用蓝牙模块对错误发力位置进行诊断提醒。
图4示出了本发明一种基于高维时序图网络的跑步姿势识别纠正系统的框图。
本发明第二方面还提供了一种基于高维时序图网络的跑步姿势识别纠正系统4，该系统包括：存储器41、处理器42，所述存储器中包括一种基于高维时序图网络的跑步姿势识别纠正方法程序，所述一种基于高维时序图网络的跑步姿势识别纠正方法程序被所述处理器执行时实现如下步骤：
通过无线传输模块采集跑步者各个身体部位的传感器信息，生成人体骨架图网络传感器信号；
对采集的人体骨架图网络传感器信号进行滤波处理和特征提取，得到行特征向量，根据人体3D骨架拓扑构建高维时序图网络架构，根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息；
根据训练集的高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，进行实时监控；
利用图神经网络模型进行识别，参照标准运动姿势的特征信息进行对比分析，判断跑步者在运动过程中错误的身体发力部位，对所述错误的身体发力部位发送纠正信号，通过震动和受击的方式进行提醒。
需要说明的是，搭建人体骨架运动参数采集设备，让跑步者穿戴紧身运动服，并且在运动服中各个参与跑步运动的身体关节部位植入微型传感器，具体包括加速度传感器，温度和湿度传感器，通过无线传输模块采集跑步者各个身体部位的传感器信息，并将计算机作为接收设备记录传感器信号。
由于跑步过程中佩戴的传感器信号容易受环境影响引入不必要的噪声，首先利用移动平均滤波器进行信号平滑滤波处理，将传感器信号通过固定移动窗口的大小，进行滑动处理，每次向前移动一个数据点，计算窗口内数据点的平均值，最后将每个数据点替换为相应的移动平均值，实现传感器信号的平滑滤波处理；对滤波后的传感器信号进行统计特征提取，所述特征包括给定时间段内传感器信号的平均值特征，衡量传感器信号随时间的扩散或变化的方差特征，衡量传感器信号分布的不对称性的偏度特征，测量传感器信号分布的峰度特征，衡量信号在不同时间滞后与自身的自相关特征，衡量信号在不同频率上的功率分布的功率谱密度特征以及衡量信号的随机性或复杂性的熵特征，将这些特征组合成行特征向量；将提取的特征进行组合，生成行特征向量，作为图网络节点的特征嵌入向量。
需要说明的是，根据跑步者各个身体部位的传感器的位置信息确定人体3D骨架拓扑结构，根据骨架拓扑结构在跑步过程中对运动姿态进行动作的分解，获取不同时间顺序的空间图网络，构建高维时序图网络架构；通过衰减函数将所述高维时序图网络中的图网络节点进行聚合处理，假设当前时刻第/>个节点的特征向量为/>，下一时刻/>的同一个身体部位对应的第/>个节点的特征向量为/>，定义特征/>随着时间/>的权重衰减函数表示为：
；
其中，表示/>时刻第/>个节点的特征向量，/>表示正衰减常数；
通过设定高维时序图网络的长度，进行不同时间序列下的节点特征向量信息的交互和更新。
需要说明的是，通过同一时刻下某一节点特征与其相邻节点之间以及与不同时刻的同一节点特征进行聚合，获得当前该节点的新的特征表示向量，具体的公式表达为：
；
其中，表示节点/>的初始特征向量，/>表示节点/>同一时刻的相邻节点集合，表示节点/>与未来时刻的同一位置节点的集合，/>定义为自变量之间对应特征列的加权平均和；
在高维时序图网络中，获取当前时刻运动姿势下的特征交互信息，并通过权重衰减函数进行未来时刻同一位置节点高维的特征信息更新，通过所有节点的重复迭代生成高维时序图网络特征信息。
根据本发明实施例，根据训练集的高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，进行实时监控，具体为：
获取跑步姿态数据，对所述跑步姿态数据进行等级划分生成数据标记，并获取标准运动姿态作为对照组进行错误姿态的纠正，生成训练集及测试集，获取训练集高维时序图网络特征信息，
基于三层图卷积神经网络构建运动姿态识别模型，通过训练集高维时序图网络特征信息进行模型的训练；
在运动姿态识别模型中第一层包含每个节点的初始特征向量信息，每个节点与描述该节点属性的特征向量相关联，第二层通过在高维时序图网络中执行卷积运算，每个节点根据其相邻节点的特征进行更新，第三层根据从上一层学习到的特征表示生成输出预测运动姿势是否标准；
通过模型训练获取运动姿势识别模型的最佳模型参数，当所述运动姿态识别模型的测试结果符合预设标准时，则输出训练后运动姿态识别模型。
需要说明的是，对若干跑步者的跑步姿态数据进行信息采集或者连接相关数据库获取若干历史跑步姿态数据，通过大数据手段检索专家经验或姿态评价体系对其姿势进行打分划分等级，进行跑步姿态数据的数据标签，将专业跑步者的采集信息生成标准运动姿态，根据标准运动姿态作为对照组进行错误姿势的纠正，根据跑步姿态数据及标准运动姿态根据预设比例生成训练集及测试集，对运动姿态识别模型进行训练测试，利用图神经网络模型能够学习捕获当前的全局信息与未来时刻的部分信息，从而获得最佳的数据表示，实现模型的高精度识别功能。
通过训练后运动姿态识别模型对跑步者的运动姿态进行实时监控，根据高维时序图网络特征信息获取各个身体部位的信息表示；将各个身体部位的运动表示与参照组中的标准运动姿态进行对比，识别出错误的跑步姿态，并根据标准运动姿态进行分析改善，利用蓝牙模块对错误发力位置进行诊断提醒。
本发明第三方面还提供一种计算机可读存储介质，所述计算机可读存储介质中包括一种基于高维时序图网络的跑步姿势识别纠正方法程序，所述一种基于高维时序图网络的跑步姿势识别纠正方法程序被处理器执行时，实现如上述任一项所述的一种基于高维时序图网络的跑步姿势识别纠正方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (6)
1.一种基于高维时序图网络的跑步姿势识别纠正方法，其特征在于，包括以下步骤：
通过无线传输模块采集跑步者各个身体部位的传感器信息，生成人体骨架图网络传感器信号；
对采集的人体骨架图网络传感器信号进行滤波处理和特征提取，得到行特征向量，根据人体3D骨架拓扑构建高维时序图网络架构，根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息；
根据训练集的高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，进行实时监控；
利用图神经网络模型进行识别，参照标准运动姿势的特征信息进行对比分析，判断跑步者在运动过程中错误的身体发力部位，对所述错误的身体发力部位发送纠正信号，通过震动和受击的方式进行提醒；
根据人体3D骨架拓扑构建高维时序图网络架构，根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息，具体为：
根据跑步者各个身体部位的传感器的位置信息确定人体3D骨架拓扑结构，根据骨架拓扑结构在跑步过程中对运动姿态进行动作的分解，获取不同时间顺序的空间图网络，构建高维时序图网络架构；通过衰减函数将所述高维时序图网络中的图网络节点进行聚合处理，假设当前时刻第/>个节点的特征向量为/>，下一时刻/>的同一个身体部位对应的第个节点的特征向量为/>，定义特征/>随着时间/>的权重衰减函数/>表示为：
；
其中，表示/>时刻第/>个节点的特征向量，/>表示正衰减常数；
通过设定高维时序图网络的长度，进行不同时间序列下的节点特征向量信息的交互和更新；
根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息，所述特征聚合，具体为：
通过同一时刻下某一节点特征与其相邻节点之间以及与不同时刻的同一节点特征进行聚合，获得当前该节点的新的特征表示向量，具体的公式表达为：
；
其中，表示节点/>同一时刻的相邻节点集合，/>表示节点/>与未来时刻的同一位置节点的集合，/>定义为自变量之间对应特征列的加权平均和；
在高维时序图网络中，获取当前时刻运动姿势下的特征交互信息，并通过权重衰减函数进行未来时刻同一位置节点高维的特征信息更新，通过所有节点的重复迭代生成高维时序图网络特征信息。
2.根据权利要求1所述的一种基于高维时序图网络的跑步姿势识别纠正方法，其特征在于，对采集的人体骨架图网络传感器信号进行滤波处理和特征提取，具体为：
将传感器信号通过固定移动窗口的大小，进行滑动处理，每次向前移动一个数据点，计算窗口内数据点的平均值，最后将每个数据点替换为相应的移动平均值，实现传感器信号的平滑滤波处理；
对滤波后的传感器信号进行统计特征提取，所述特征包括给定时间段内传感器信号的平均值特征、方差特征、分布偏度特征、峰度特征、自相关特征、功率谱密度特征以及熵特征；
将提取的特征进行组合，生成行特征向量，作为图网络节点的特征嵌入向量。
3.根据权利要求1所述的一种基于高维时序图网络的跑步姿势识别纠正方法，其特征在于，根据训练集的高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，进行实时监控，具体为：
获取跑步姿态数据，对所述跑步姿态数据进行等级划分生成数据标记，并获取标准运动姿态作为对照组进行错误姿态的纠正，生成训练集及测试集，获取训练集高维时序图网络特征信息，
基于三层图卷积神经网络构建运动姿态识别模型，通过训练集高维时序图网络特征信息进行模型的训练；
在运动姿态识别模型中第一层包含每个节点的初始特征向量信息，每个节点与描述该节点属性的特征向量相关联，第二层通过在高维时序图网络中执行卷积运算，每个节点根据其相邻节点的特征进行更新，第三层根据从上一层学习到的特征表示生成输出预测运动姿势是否标准；
通过模型训练获取运动姿势识别模型的最佳模型参数，当所述运动姿态识别模型的测试结果符合预设标准时，则输出训练后运动姿态识别模型。
4.根据权利要求1所述的一种基于高维时序图网络的跑步姿势识别纠正方法，其特征在于，通过训练后运动姿态识别模型对跑步者的运动姿态进行实时监控，获取各个身体部位的信息表示；
将各个身体部位的运动表示与参照组中的标准运动姿态进行对比，识别出错误的跑步姿态，并根据标准运动姿态进行分析改善，利用蓝牙模块对错误发力位置进行诊断提醒。
5.一种基于高维时序图网络的跑步姿势识别纠正系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种基于高维时序图网络的跑步姿势识别纠正方法程序，所述一种基于高维时序图网络的跑步姿势识别纠正方法程序被所述处理器执行时实现如下步骤：
通过无线传输模块采集跑步者各个身体部位的传感器信息，生成人体骨架图网络传感器信号；
对采集的人体骨架图网络传感器信号进行滤波处理和特征提取，得到行特征向量，根据人体3D骨架拓扑构建高维时序图网络架构，根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息；
根据训练集的高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，进行实时监控；
利用图神经网络模型进行识别，参照标准运动姿势的特征信息进行对比分析，判断跑步者在运动过程中错误的身体发力部位，对所述错误的身体发力部位发送纠正信号，通过震动和受击的方式进行提醒；
根据人体3D骨架拓扑构建高维时序图网络架构，根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息，具体为：
根据跑步者各个身体部位的传感器的位置信息确定人体3D骨架拓扑结构，根据骨架拓扑结构在跑步过程中对运动姿态进行动作的分解，获取不同时间顺序的空间图网络，构建高维时序图网络架构；通过衰减函数将所述高维时序图网络中的图网络节点进行聚合处理，假设当前时刻第/>个节点的特征向量为/>，下一时刻/>的同一个身体部位对应的第个节点的特征向量为/>，定义特征/>随着时间/>的权重衰减函数/>表示为：
；
其中，表示/>时刻第/>个节点的特征向量，/>表示正衰减常数；
通过设定高维时序图网络的长度，进行不同时间序列下的节点特征向量信息的交互和更新；
根据图网络特征的交互更新及特征聚合生成高维时序图网络特征信息，所述特征聚合，具体为：
通过同一时刻下某一节点特征与其相邻节点之间以及与不同时刻的同一节点特征进行聚合，获得当前该节点的新的特征表示向量，具体的公式表达为：
；
其中，表示节点/>同一时刻的相邻节点集合，/>表示节点/>与未来时刻的同一位置节点的集合，/>定义为自变量之间对应特征列的加权平均和；
在高维时序图网络中，获取当前时刻运动姿势下的特征交互信息，并通过权重衰减函数进行未来时刻同一位置节点高维的特征信息更新，通过所有节点的重复迭代生成高维时序图网络特征信息。
6.根据权利要求5所述的一种基于高维时序图网络的跑步姿势识别纠正系统，其特征在于，根据训练集的高维时序图网络特征信息进行图卷积神经网络的参数学习和模型训练，得到运动姿势识别模型，进行实时监控，具体为：
获取跑步姿态数据，对所述跑步姿态数据进行等级划分生成数据标记，并获取标准运动姿态作为对照组进行错误姿态的纠正，生成训练集及测试集，获取训练集高维时序图网络特征信息，
基于三层图卷积神经网络构建运动姿态识别模型，通过训练集高维时序图网络特征信息进行模型的训练；
在运动姿态识别模型中第一层包含每个节点的初始特征向量信息，每个节点与描述该节点属性的特征向量相关联，第二层通过在高维时序图网络中执行卷积运算，每个节点根据其相邻节点的特征进行更新，第三层根据从上一层学习到的特征表示生成输出预测运动姿势是否标准；
通过模型训练获取运动姿势识别模型的最佳模型参数，当所述运动姿态识别模型的测试结果符合预设标准时，则输出训练后运动姿态识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310465119.5A CN116186561B (zh) | 2023-04-27 | 2023-04-27 | 基于高维时序图网络的跑步姿势识别纠正方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310465119.5A CN116186561B (zh) | 2023-04-27 | 2023-04-27 | 基于高维时序图网络的跑步姿势识别纠正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116186561A CN116186561A (zh) | 2023-05-30 |
| CN116186561B true CN116186561B (zh) | 2023-07-18 |
Family
ID=86434812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310465119.5A Active CN116186561B (zh) | 2023-04-27 | 2023-04-27 | 基于高维时序图网络的跑步姿势识别纠正方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116186561B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117218728A (zh) * | 2023-11-09 | 2023-12-12 | 深圳市微克科技有限公司 | 一种智能穿戴设备的身体姿势识别方法、系统及介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919034A (zh) * | 2019-01-31 | 2019-06-21 | 厦门大学 | 一种肢体动作识别与纠正辅助训练系统及方法 |
| CN112668531A (zh) * | 2021-01-05 | 2021-04-16 | 重庆大学 | 一种基于动作识别的运动姿态矫正方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11854305B2 (en) * | 2021-05-09 | 2023-12-26 | International Business Machines Corporation | Skeleton-based action recognition using bi-directional spatial-temporal transformer |
| CN115497161A (zh) * | 2022-09-21 | 2022-12-20 | 中国地质大学（武汉） | 基于人体姿态矫正的注意力时空图卷积网络行为识别方法 |
| CN115497596B (zh) * | 2022-11-18 | 2023-04-07 | 深圳聚邦云天科技有限公司 | 一种基于物联网的人体运动过程姿态纠正方法及系统 |
-
2023
- 2023-04-27 CN CN202310465119.5A patent/CN116186561B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109919034A (zh) * | 2019-01-31 | 2019-06-21 | 厦门大学 | 一种肢体动作识别与纠正辅助训练系统及方法 |
| CN112668531A (zh) * | 2021-01-05 | 2021-04-16 | 重庆大学 | 一种基于动作识别的运动姿态矫正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116186561A (zh) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111027487B (zh) | 基于多卷积核残差网络的行为识别系统、方法、介质及设备 | |
| CN107981858B (zh) | 基于人工智能的心电图心搏自动识别分类方法 | |
| CN113724880A (zh) | 一种异常脑连接预测系统、方法、装置及可读存储介质 | |
| KR20200005987A (ko) | 터치입력을 이용한 인지장애 진단 시스템 및 방법 | |
| CN113012811B (zh) | 一种结合深度卷积网络和图神经网络的中医证候诊断和健康评价方法 | |
| CN116186561B (zh) | 基于高维时序图网络的跑步姿势识别纠正方法及系统 | |
| CN110731773A (zh) | 一种基于心电波形图全局与局部深度特征融合的异常心电图筛查方法 | |
| CN113903082B (zh) | 一种基于动态时间规划的人体步态监测方法 | |
| CN113128585B (zh) | 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法 | |
| CN116110597B (zh) | 一种基于数字孪生的患者病症类别智能分析方法及装置 | |
| CN112151167A (zh) | 一种基于深度学习的儿童六龄牙龋齿智能筛查方法 | |
| CN113688710A (zh) | 儿童孤独症训练系统及其方法 | |
| CN116416678A (zh) | 一种运用人工智能技术实现动作捕捉及智能评判的方法 | |
| CN117530690A (zh) | 一种眼动数据分析系统及方法 | |
| CN117137435B (zh) | 一种基于多模态信息融合的康复动作识别方法和系统 | |
| CN117058758A (zh) | 基于ai技术的智慧体育考试方法及相关装置 | |
| CN115736840A (zh) | 一种基于心电数据的睡眠质量识别分类方法 | |
| CN109934352A (zh) | 智能模型的自动进化方法 | |
| CN115393956A (zh) | 改进注意力机制的CNN-BiLSTM跌倒检测方法 | |
| JP2020091535A (ja) | 前処理装置、前処理方法及び前処理プログラム | |
| CN114882580A (zh) | 一种基于深度学习的运动动作一致性的度量方法 | |
| Xie et al. | Lightweight Football Motion Recognition and Intensity Analysis Using Low‐Cost Wearable Sensors | |
| CN118366225B (zh) | 基于图像处理的手部康复锻炼监控方法及系统 | |
| CN111476115B (zh) | 一种人体行为识别方法、装置及设备 | |
| CN118213039B (zh) | 基于深度强化学习的康复训练数据处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |