CN117011944B - 基于深度学习的步态识别矫治方法及系统 - Google Patents
基于深度学习的步态识别矫治方法及系统 Download PDFInfo
- Publication number
- CN117011944B CN117011944B CN202311155264.XA CN202311155264A CN117011944B CN 117011944 B CN117011944 B CN 117011944B CN 202311155264 A CN202311155264 A CN 202311155264A CN 117011944 B CN117011944 B CN 117011944B
- Authority
- CN
- China
- Prior art keywords
- gait
- deep learning
- abnormal
- correction
- gait recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005021 gait Effects 0.000 title claims abstract description 188
- 238000012937 correction Methods 0.000 title claims abstract description 77
- 238000013135 deep learning Methods 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 59
- 206010017577 Gait disturbance Diseases 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000012216 screening Methods 0.000 claims abstract description 25
- 230000002159 abnormal effect Effects 0.000 claims abstract description 20
- 230000000694 effects Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000004140 cleaning Methods 0.000 claims abstract description 8
- 210000003423 ankle Anatomy 0.000 claims description 33
- 210000004394 hip joint Anatomy 0.000 claims description 24
- 210000002414 leg Anatomy 0.000 claims description 21
- 238000011156 evaluation Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 210000003127 knee Anatomy 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于深度学习的步态识别矫治方法及系统，属于步态识别与矫正技术领域，其具体包括：采集行人行走时的步态视频数据，对采集到的步态数据进行清洗和预处理，筛选出行人行走时步长最大的图像数据，训练深度学习步态识别模型，并将筛选出的行人行走时步长最大的图像数据输入深度学习步态识别模型中，进行步态识别，对识别出的步态与规范步态进行对比，并筛选出行走时步态异常图像，根据异常的行走步态情况，设计相应的矫治方法，并对设计的矫治方法的效果进行评估，通过对关键节点的特征提取，制定健康步态的约束条件，精准的判定出异常图像及异常位置，制定步态矫正计划，定期对矫正效果进行再评估和调整。
Description
技术领域
本发明属于步态识别与矫正技术领域，具体的说是基于深度学习的步态识别矫治方法及系统。
背景技术
现代社会的快速发展对人体身份识别提出了更高的要求，传统的生物识别特征容易受到识别距离、配合接触性等因素的影响，极大地限制了应用场景的推广。人体步态作为一种新型生物识别特征，具有伪装难度大、作用距离远、无需配合接触等优势，能够很好地弥补现有生物识别技术的不足。然而现有的步态识别算法大多采用基于轮廓匹配的方法，容易受到观测角度、人体携带物等因素的影响，导致算法鲁棒性不强。
相关技术的步态识别是通过采集一段行走的视频图像序列，并提取特征步，运用人体三维生物运动学模型，但是，由于序列图像的数据量较大，因此步态识别的计算复杂性比较高，处理起来也比较困难。
如授权公告号为CN107506684B的中国专利公开了一种步态识别方法及装置，其中，该方法包括：采集指定对象在多种预定场景下运动时的步态数据，其中，所述步态数据包括：步频信息、步长信息、和加速度信息；根据所述指定对象在所述多种预定场景下的所述步频信息、所述步长信息、以及所述加速度信息计算得到所述指定对象的步态模型数据；判断所述步态模型数据和数据库中的预存模型数据是否匹配。通过该发明，解决了相关技术中进行步态识别时过于复杂问题。
如授权公告号为CN103473539B的中国专利公开了一种步态识别方法和装置，属于模式识别技术领域。该方法包括训练样本视频图像得到步态码本，获取待辨识人行走的前景图像序列，提取前景图像序列的方向梯度直方图特征，根据训练生成的步态码本以及方向梯度直方图特征，生成稀疏编码特征，根据稀疏编码特征，得到待辨识人的身份。当待辨识人在视频部分帧中被遮挡，或者待辨识人在视频中只出现了很短的时间，本发明的步态识别方法和装置也可以准确的识别出待辨识人的身份。
以上专利均存在以下问题：未考虑人体运动时的关键节点位置信息，也无法判断是哪一个关键节点位置出现了异常，从而不能针对性的制定出合适的矫正计划。
发明内容
针对现有技术的不足，本发明提出了基于深度学习的步态识别矫治方法及系统，包括：采集行人行走时的步态视频数据，对采集到的步态数据进行清洗和预处理，筛选出行人行走时步长最大的图像数据，训练深度学习步态识别模型，并将筛选出的行人行走时步长最大的图像数据输入深度学习步态识别模型中，进行步态识别，对识别出的步态与规范步态进行对比，并筛选出行走时步态异常图像，根据异常的行走步态情况，设计相应的矫治方法，并对设计的矫治方法的效果进行评估，通过对关键节点的特征提取，并制定健康步态的约束条件，精准的判定出异常图像及异常位置，并根据异常图像及异常位置精准的制定步态矫正计划，并定期对矫正效果进行再评估和调整，根据评估结果，实时调整治疗计划和训练方法。
为实现上述目的，本发明提供如下技术方案：
基于深度学习的步态识别矫治方法，包括：
步骤S1：采集行人行走时的步态视频数据；
步骤S2：对采集到的步态数据进行清洗和预处理，筛选出行人行走时步长最大的图像数据；
步骤S3：训练深度学习步态识别模型，并将筛选出的行人行走时步长最大的图像数据输入模型中，进行步态识别；
步骤S4：对识别出的步态与规范步态进行对比，并筛选出行走时步态异常图像；
步骤S5：根据异常的行走步态情况，设计相应的矫治方法，并对设计的矫治方法的效果进行评估。
具体的，所述步骤S2中的预处理包括：去噪和筛选行人行走时步长最大的图像。
具体的，所述步骤S3的具体步骤为：
步骤S301：将标注好的规范步态图像数据输入深度学习步态识别模型中，设置神经网络中的参数；
步骤S302：进行网络模型训练，得到深度学习步态识别模型的输出结果，将深度学习步态识别模型的输出结果与真实标签进行标胶，计算模型损失函数的值；
步骤S303：根据参数的梯度来更新深度学习步态识别模型的参数值，直至损失函数的值达到收敛时为止；
步骤S304：将筛选出的行人行走时步长最大的图像数据输入深度学习步态识别模型中，进行步态识别，识别出关节特征点。
具体的，所述识别出的关节特征点包括：左髋关节、右髋关节、左膝、右膝、左脚踝、右脚踝。
具体的，所述步骤S4的具体步骤为：
步骤S401：以未行走时的左脚踝为原点，建立以左脚踝平行线为x轴，垂直线为y轴，竖直线为z轴的三维坐标系，左脚踝的初始坐标为(0,0,0)；
步骤S402：设定左髋关节的坐标为(xzk,yzk,zzk)，右髋关节的坐标为(xyk,yyk,zyk)，左膝的坐标为(xzx,yzx,zzx)，右膝的坐标为(xyx,yyx,zyx)，左脚踝的坐标为(xzj,yzj,zzj)，右脚踝的坐标为(xyj,yyj,zyj)，左腿行走的步长为dz，右腿行走的步长为dy；
步骤S403：计算行走步态健康的约束条件，约束条件公式为：
dz,dy≤d，
其中，k表示行走时左右腿斜率分类的最佳阈值，e表示自然对数，k1、b1表示左髋关节和左脚踝的连线参数，y1＝k1x+b1表示左髋关节和左脚踝的连线，k2、b2表示右髋关节和右脚踝的连线参数，y2＝k2x+b2表示右髋关节和右脚踝的连线，d表示行走时左右腿步长分类的最佳阈值；
步骤S404：当行人行走时步态不符合约束条件时，判定步态异常，筛选出步态异常的图像。
具体的，所述步骤S5的具体步骤为：
步骤S501：根据筛选出的步态异常图像，对异常的步态进行全面评估和分析，确定矫正的问题和目标；
步骤S502：制定步态矫正的具体治疗计划，进行针对性的功能训练；
步骤S503：进行步态转移练习，训练身体正确的行走方式和姿势；
步骤S504：进行动态步态训练；
步骤S505：定期对矫正效果进行再评估和调整，评估计算公式为：
其中，λx表示行人行走时左右腿斜率评估权重，λd表示行人行走时左右步长评估权重，根据评估结果，实时调整治疗计划和训练方法。
基于深度学习的步态识别矫治系统，包括：步态图像采集模块，步态图像预处理模块，步态识别模块，异常步态筛选模块，异常步态矫治模块；
所述步态图像采集模块，用于采集行人行走时的步态视频数据；
所述步态图像预处理模块，用于对采集到的步态视频数据进行清洗、去噪和筛选行人行走时步长最大的图像；
所述步态识别模块，利用深度学习步态识别模型对行人行走时步长最大的图像进行步态识别，识别出关节特征点信息；
所述异常步态筛选模块，根据关节特征点信息，计算出行人行走时的健康步态约束条件，筛选出不符合约束条件的异常步态图像；
所述异常步态矫治模块，用于对异常步态的行人制定步态矫正方法，并对矫正效果进行再评估和调整，实时调整治疗计划和训练方法。
具体的，所述异常步态矫治模块包括异常步态矫治单元和评估调节单元。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于深度学习的步态识别矫治方法的步骤。
一种计算机可读存储介质，其上存储有计算机指令，当计算机指令运行时执行基于深度学习的步态识别矫治方法的步骤。
与现有技术相比，本发明的有益效果是：
1.本发明提出基于深度学习的步态识别矫治系统，并进行了架构、运行步骤和流程上的优化改进，系统具备流程简单，投资运行费用低廉，生产工作成本低的优点，在原有识别矫正系统的基础上提高了识别精度和矫正精度。
2.本发明提出基于深度学习的步态识别矫治方法，采集行人行走时的步态视频数据，对采集到的步态数据进行清洗和预处理，筛选出行人行走时步长最大的图像数据，训练深度学习步态识别模型，并将筛选出的行人行走时步长最大的图像数据输入模型中，进行步态识别，对识别出的步态与规范步态进行对比，并筛选出行走时步态异常图像，通过对关键节点的特征提取，并制定健康步态的约束条件，精准的判定出异常图像及异常位置。
3.本发明提出基于深度学习的步态识别矫治方法，采集行人行走时的步态视频数据，对采集到的步态数据进行清洗和预处理，筛选出行人行走时步长最大的图像数据，训练深度学习步态识别模型，并将筛选出的行人行走时步长最大的图像数据输入深度学习步态识别模型中，进行步态识别，对识别出的步态与规范步态进行对比，并筛选出行走时步态异常图像，根据异常的行走步态情况，设计相应的矫治方法，并对设计的矫治方法的效果进行评估，根据异常图像及异常位置精准的制定步态矫正计划，并定期对矫正效果进行再评估和调整，根据评估结果，实时调整治疗计划和训练方法。
附图说明
图1为本发明基于深度学习的步态识别矫治方法流程图；
图2为本发明基于深度学习的步态识别矫治方法关键特征图；
图3为本发明基于深度学习的步态识别矫治方法异常步态图；
图4为本发明基于深度学习的步态识别矫治系统架构图；
图5位本发明基于深度学习的步态识别矫治方法的电子设备图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“一号”、“二号”、“三号”仅用于描述目的，而不能理解为指示或暗示相对重要性。下面结合具体实施方式，进一步阐述本发明。
实施例1
请参阅图1-图3，本发明提供的一种实施例：基于深度学习的步态识别矫治方法，包括以下步骤：
步骤S1：采集行人行走时的步态视频数据；
步骤S2：对采集到的步态数据进行清洗和预处理，筛选出行人行走时步长最大的图像数据；
步骤S3：训练深度学习步态识别模型，并将筛选出的行人行走时步长最大的图像数据输入深度学习步态识别模型中，进行步态识别；
步骤S4：对识别出的步态与规范步态进行对比，并筛选出行走时步态异常图像；
步骤S5：根据异常的行走步态情况，设计相应的矫治方法，并对设计的矫治方法的效果进行评估。
步骤S2中的预处理包括：去噪和筛选行人行走时步长最大的图像。
步骤S3的具体步骤为：
步骤S301：将标注好的规范步态图像数据输入深度学习步态识别模型中，设置神经网络中的参数；
步骤S302：进行网络模型训练，得到深度学习步态识别模型的输出结果，将深度学习步态识别模型的输出结果与真实标签进行标胶，计算深度学习步态识别模型损失函数的值；
步骤S303：根据参数的梯度来更新深度学习步态识别模型的参数值，直至损失函数的值达到收敛时为止；
步骤S304：将筛选出的行人行走时步长最大的图像数据输入深度学习步态识别模型中，进行步态识别，识别出关节特征点。
识别出的关节特征点包括：左髋关节、右髋关节、左膝、右膝、左脚踝、右脚踝。
人体关节点定位最初作为人体目标检测的一种方法被提出，随后逐渐被应用于人体姿态估计和动作识别等任务中；由于人体关节点信息能够较好地抵抗外界干扰，纯粹地反映人体信息，也逐渐得到了步态识别领域研究人员的注意。当前人体关节点定位算法根据工作方式的不同，主要包括自下而上(Bottom-Up)和自上而下(Top-Down)两种实现方法。其中自下而上的方法具体流程为：首先检测出图像中所有的人体关节点，然后再使用匹配算法将图像中多人的人体关节点分别分配到不同的人体实例上，使计算复杂度与图像中的人数解耦合。
步骤S4的具体步骤为：
步骤S401：以未行走时的左脚踝为原点，建立以左脚踝平行线为x轴，垂直线为y轴，竖直线为z轴的三维坐标系，左脚踝的初始坐标为(0,0,0)；
步骤S402：设定左髋关节的坐标为(xzk,yzk,zzk)，右髋关节的坐标为(xyk,yyk,zyk)，左膝的坐标为(xzx,yzx,zzx)，右膝的坐标为(xyx,yyx,zyx)，左脚踝的坐标为(xzj,yzj,zzj)，右脚踝的坐标为(xyj,yyj,zyj)，左腿行走的步长为dz，右腿行走的步长为dy；
步骤S403：计算行走步态健康的约束条件，约束条件公式为：
dz,dy≤d，
其中，k表示行走时左右腿斜率分类的最佳阈值，e表示自然对数，k1、b1表示左髋关节和左脚踝的连线参数，y1＝k1x+b1表示左髋关节和左脚踝的连线，k2、b2表示右髋关节和右脚踝的连线参数，y2＝k2x+b2表示右髋关节和右脚踝的连线，d表示行走时左右腿步长分类的最佳阈值；
步骤S404：当行人行走时步态不符合约束条件时，判定步态异常，筛选出步态异常的图像。
步骤S5的具体步骤为：
步骤S501：根据筛选出的步态异常图像，对异常的步态进行全面评估和分析，确定矫正的问题和目标；
步骤S502：制定步态矫正的具体治疗计划，进行针对性的功能训练；
包括力量训练、灵活性训练、平衡训练等。这些训练旨在增强相关肌肉群的力量和灵活性，并提高身体的平衡能力。
步骤S503：进行步态转移练习，训练身体正确的行走方式和姿势；
重点训练身体正确的行走方式和姿势。通过模仿正确的步态和姿势，纠正异常的行走方式，并培养正确的肌肉记忆。
步骤S504：进行动态步态训练；
如步行机训练、跑步训练等。通过模拟真实的步行或跑步动作，逐渐纠正步态异常，并提高步行或跑步的效率和舒适度。
步骤S505：定期对矫正效果进行再评估和调整，评估计算公式为：
其中，λx表示行人行走时左右腿斜率评估权重，λd表示行人行走时左右步长评估权重，根据评估结果，实时调整治疗计划和训练方法。
实施例2
请参阅图4，本发明提供的另一种实施例：基于深度学习的步态识别矫治系统，包括：步态图像采集模块，步态图像预处理模块，步态识别模块，异常步态筛选模块，异常步态矫治模块；
所述步态图像采集模块，用于采集行人行走时的步态视频数据；
所述步态图像预处理模块，用于对采集到的步态视频数据进行清洗、去噪和筛选行人行走时步长最大的图像；
所述步态识别模块，利用深度学习步态识别模型对行人行走时步长最大的图像进行步态识别，识别出关节特征点信息；
所述异常步态筛选模块，根据关节特征点信息，计算出行人行走时的健康步态约束条件，筛选出不符合约束条件的异常步态图像；
所述异常步态矫治模块，用于对异常步态的行人制定步态矫正方法，并对矫正效果进行再评估和调整，实时调整治疗计划和训练方法。
异常步态矫治模块包括异常步态矫治单元和评估调节单元。
实施例3
请参阅图5，一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于深度学习的步态识别矫治方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。
Claims (6)
1.基于深度学习的步态识别矫治方法，其特征在于，包括以下步骤：
步骤S1：采集行人行走时的步态视频数据；
步骤S2：对采集到的步态视频数据进行清洗和预处理，筛选出行人行走时步长最大的图像数据；
步骤S3：训练深度学习步态识别模型，并将筛选出的行人行走时步长最大的图像数据输入深度学习步态识别模型中，进行步态识别；
步骤S4：对识别出的步态与规范步态进行对比，并筛选出行走时步态异常图像；
步骤S5：根据异常的行走步态情况，设计相应的矫治方法，并对设计的矫治方法的效果进行评估；
所述步骤S2中的预处理包括：去噪和筛选行人行走时步长最大的图像；
所述步骤S3的具体步骤为：
步骤S301：将标注好的规范步态图像数据输入深度学习步态识别模型中，设置神经网络中的参数；
所述深度学习步态识别模型为卷积神经网络中的任意一种；
步骤S302：进行网络模型训练，得到深度学习步态识别模型的输出结果，将深度学习步态识别模型的输出结果与真实标签进行标胶，计算模型损失函数的值；
步骤S303：根据参数的梯度来更新深度学习步态识别模型的参数值，直至损失函数的值达到收敛时为止；
步骤S304：将筛选出的行人行走时步长最大的图像数据输入深度学习步态识别模型中，进行步态识别，识别出关节特征点，
所述识别出的关节特征点包括：左髋关节、右髋关节、左膝、右膝、左脚踝、右脚踝；
所述步骤S4的具体步骤为：
步骤S401：以未行走时的左脚踝为原点，建立以左脚踝平行线为x轴，垂直线为y轴，竖直线为z轴的三维坐标系，左脚踝的初始坐标为(0,0,0)；
步骤S402：设定左髋关节的坐标为(xzk,yzk,zzk)，右髋关节的坐标为(xyk,yyk,zyk)，左膝的坐标为(xzx,yzx,zzx)，右膝的坐标为(xyx,yyx,zyx)，左脚踝的坐标为(xzj,yzj,zzj)，右脚踝的坐标为(xyj,yyj,zyj)，左腿行走的步长为dz，右腿行走的步长为dy；
步骤S403：计算行走步态健康的约束条件，约束条件公式为：
dz,dy≤d，
其中，k表示行走时左右腿斜率分类的最佳阈值，e表示自然对数，k1、b1表示左髋关节和左脚踝的连线参数，y1＝k1x+b1表示左髋关节和左脚踝的连线，k2、b2表示右髋关节和右脚踝的连线参数，y2＝k2x+b2表示右髋关节和右脚踝的连线，d表示行走时左右腿步长分类的最佳阈值；
步骤S404：当行人行走时步态不符合约束条件时，判定步态异常，筛选出步态异常的图像。
2.如权利要求1所述的基于深度学习的步态识别矫治方法，其特征在于，所述步骤S5的具体步骤为：
步骤S501：根据筛选出的步态异常图像，对异常的步态进行全面评估和分析，确定矫正的问题和目标；
步骤S502：制定步态矫正的具体治疗计划，进行针对性的功能训练；
步骤S503：进行步态转移练习，训练身体正确的行走方式和姿势；
步骤S504：进行动态步态训练；
步骤S505：定期对矫正效果进行再评估和调整，评估计算公式为：
其中，λx表示行人行走时左右腿斜率评估权重，λd表示行人行走时左右步长评估权重，根据评估结果，实时调整治疗计划和训练方法。
3.基于深度学习的步态识别矫治系统，其基于权利要求1-2中任一项所述的基于深度学习的步态识别矫治方法实现，其特征在于，包括：步态图像采集模块、步态图像预处理模块、步态识别模块、异常步态筛选模块、异常步态矫治模块；
所述步态图像采集模块，用于采集行人行走时的步态视频数据；
所述步态图像预处理模块，用于对采集到的步态视频数据进行清洗、去噪和筛选获得行人行走时步长最大的图像；
所述步态识别模块，利用深度学习步态识别模型对行人行走时步长最大的图像进行步态识别，识别出关节特征点信息；
所述异常步态筛选模块，根据关节特征点信息，计算出行人行走时的健康步态约束条件，筛选出不符合约束条件的异常步态图像；
所述异常步态矫治模块，用于为异常步态的行人制定步态矫正方法，并对矫正效果进行再评估和调整，实时调整治疗计划和训练方法。
4.如权利要求3所述的基于深度学习的步态识别矫治系统，其特征在于，所述异常步态矫治模块包括异常步态矫治单元和评估调节单元。
5.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-2中任一项所述的基于深度学习的步态识别矫治方法的步骤。
6.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，当计算机指令运行时执行权利要求1-2中任一项所述的基于深度学习的步态识别矫治方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311155264.XA CN117011944B (zh) | 2023-09-08 | 2023-09-08 | 基于深度学习的步态识别矫治方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311155264.XA CN117011944B (zh) | 2023-09-08 | 2023-09-08 | 基于深度学习的步态识别矫治方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117011944A CN117011944A (zh) | 2023-11-07 |
| CN117011944B true CN117011944B (zh) | 2024-03-22 |
Family
ID=88569165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311155264.XA Active CN117011944B (zh) | 2023-09-08 | 2023-09-08 | 基于深度学习的步态识别矫治方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117011944B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107643823A (zh) * | 2016-07-21 | 2018-01-30 | 尚科纺织企业工业及贸易公司 | 运动捕捉服装与用牛仔和其他服装捕捉运动的系统和方法 |
| CN110110633A (zh) * | 2019-04-28 | 2019-08-09 | 华东交通大学 | 一种基于机器学习的偏瘫步态自动识别和分析的方法 |
| CN111700620A (zh) * | 2020-06-24 | 2020-09-25 | 中国科学院深圳先进技术研究院 | 一种步态异常早期识别与风险预警方法和装置 |
| CN112163489A (zh) * | 2020-09-21 | 2021-01-01 | 南京特殊教育师范学院 | 基于深度学习技术的危险犬只识别预警系统 |
| CN113870145A (zh) * | 2021-10-13 | 2021-12-31 | 南京特殊教育师范学院 | 基于贝叶斯框架下深度卷积神经网络的图像去雾方法 |
| CN114373091A (zh) * | 2020-10-14 | 2022-04-19 | 南京工业大学 | 基于深度学习融合svm的步态识别方法 |
| CN116246351A (zh) * | 2023-05-11 | 2023-06-09 | 天津医科大学第二医院 | 一种基于图像处理的老年人步态识别方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200289027A1 (en) * | 2019-03-11 | 2020-09-17 | Celloscope Ltd. | System, method and computer program product for assessment of a user's gait |
-
2023
- 2023-09-08 CN CN202311155264.XA patent/CN117011944B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107643823A (zh) * | 2016-07-21 | 2018-01-30 | 尚科纺织企业工业及贸易公司 | 运动捕捉服装与用牛仔和其他服装捕捉运动的系统和方法 |
| CN110110633A (zh) * | 2019-04-28 | 2019-08-09 | 华东交通大学 | 一种基于机器学习的偏瘫步态自动识别和分析的方法 |
| CN111700620A (zh) * | 2020-06-24 | 2020-09-25 | 中国科学院深圳先进技术研究院 | 一种步态异常早期识别与风险预警方法和装置 |
| CN112163489A (zh) * | 2020-09-21 | 2021-01-01 | 南京特殊教育师范学院 | 基于深度学习技术的危险犬只识别预警系统 |
| CN114373091A (zh) * | 2020-10-14 | 2022-04-19 | 南京工业大学 | 基于深度学习融合svm的步态识别方法 |
| CN113870145A (zh) * | 2021-10-13 | 2021-12-31 | 南京特殊教育师范学院 | 基于贝叶斯框架下深度卷积神经网络的图像去雾方法 |
| CN116246351A (zh) * | 2023-05-11 | 2023-06-09 | 天津医科大学第二医院 | 一种基于图像处理的老年人步态识别方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| Recognition of Chinese finger sign language via gray-level co-occurrence matrix and K-nearest neighbor algorithm;Xianwei Jiang，等;《2019 3rd International Conference on Electronic Information Technology and Computer Engineering (EITCE)》;第152-156页 * |
| 一种基于关节点信息的人体行为识别新方法;田国会，等;《机器人》;第第36卷卷(第第3期期);第285-291页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117011944A (zh) | 2023-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106650687B (zh) | 一种基于深度信息和骨骼信息的姿势矫正方法 | |
| CN108256433B (zh) | 一种运动姿态评估方法及系统 | |
| CN114724241A (zh) | 基于骨骼点距离的动作识别方法、装置、设备及存储介质 | |
| CN109871750A (zh) | 一种基于骨架图序列异常关节修复的步态识别方法 | |
| Dikovski et al. | Evaluation of different feature sets for gait recognition using skeletal data from Kinect | |
| CN109584251A (zh) | 一种基于单目标区域分割的舌体图像分割方法 | |
| CN111027464B (zh) | 对卷积神经网络和序特征编码联合优化的虹膜识别方法 | |
| Yao et al. | Robust CNN-based gait verification and identification using skeleton gait energy image | |
| CN111144165B (zh) | 一种步态信息识别方法、系统及存储介质 | |
| CN107335192A (zh) | 运动辅助训练方法、装置及存储装置 | |
| CN110232372B (zh) | 基于粒子群优化bp神经网络的步态识别方法 | |
| US20220207921A1 (en) | Motion recognition method, storage medium, and information processing device | |
| CN106295544A (zh) | 一种基于Kinect的视角不变性步态识别方法 | |
| CN110956141B (zh) | 一种基于局部识别的人体连续动作快速分析方法 | |
| CN113663312B (zh) | 一种基于微惯性的无器械健身动作质量评估方法 | |
| CN110991274A (zh) | 一种基于混合高斯模型和神经网络的行人摔倒检测方法 | |
| CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
| CN112818942B (zh) | 一种车辆行驶过程中行人动作识别方法和系统 | |
| CN113378799A (zh) | 基于目标检测和姿态检测框架的行为识别方法及系统 | |
| CN109993116A (zh) | 一种基于人体骨骼相互学习的行人再识别方法 | |
| CN111144167A (zh) | 一种步态信息识别优化方法、系统及存储介质 | |
| CN109255293A (zh) | 基于计算机视觉的模特走秀台步评价方法 | |
| CN117011944B (zh) | 基于深度学习的步态识别矫治方法及系统 | |
| CN110765925B (zh) | 基于改进的孪生神经网络的携带物检测与步态识别方法 | |
| CN116012942A (zh) | 手语教学方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |