CN117011940A - 一种基于视觉感知的运动步态捕捉与评价方法及系统 - Google Patents
一种基于视觉感知的运动步态捕捉与评价方法及系统 Download PDFInfo
- Publication number
- CN117011940A CN117011940A CN202310993837.XA CN202310993837A CN117011940A CN 117011940 A CN117011940 A CN 117011940A CN 202310993837 A CN202310993837 A CN 202310993837A CN 117011940 A CN117011940 A CN 117011940A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- gait
- camera
- key points
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 title claims abstract description 115
- 230000033001 locomotion Effects 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000016776 visual perception Effects 0.000 title claims abstract description 23
- 210000003141 lower extremity Anatomy 0.000 claims abstract description 66
- 238000004458 analytical method Methods 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 238000013135 deep learning Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 206010054197 Gait deviation Diseases 0.000 claims description 5
- 230000004807 localization Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 3
- 230000004438 eyesight Effects 0.000 claims 1
- 230000008447 perception Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 14
- 210000003484 anatomy Anatomy 0.000 abstract description 3
- 238000013136 deep learning model Methods 0.000 abstract description 3
- 230000011218 segmentation Effects 0.000 abstract 1
- 238000007689 inspection Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉感知的运动步态捕捉与评价方法及系统，涉及视觉感知领域，方法包括：采集目标运动时解剖关键点在世界坐标下的三维动捕数据和其对应的不同视角下的RGB视频，估计视频分割后图像中目标的二维下肢关键点，通过配对的二维关键点和三维关键点，进行最小化重构误差并结合人体解剖学约束构建深度学习模型实现从二维关键点到三维关键点的映射，得到相机坐标系下的三维人体下肢关键点位置估计，关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹；根据三维运动轨迹提取目标的步态信息，进行分析和提取步态特征量，综合评价步态特征量得到评价结果。该方法简化步态检测流程，提升步态分析环境的普适性。
Description
技术领域
本发明涉及视觉感知技术领域，具体涉及一种基于视觉感知的运动步态捕捉与评价方法及系统。
背景技术
目前临床医疗领域使用的三维步态分析是基于多传感器系统或者多相机光学捕捉系统完成相应数据采集的，其原理是通过多个红外摄像机同时捕捉粘贴于受检测者躯干及下肢的体表标记点，进而获取标记点高精度的三维运动轨迹，并依此可计算关节角度及相应的步态参数。虽然该方法获取的步态分析数据精准度高，存在但不限于以下局限性：
1、场景受限：被检查者需要在特定的步态分析室中进行检测，而非在普通的居家室内环境；
2、检测流程受限：被检查者在步态分析检查前需要暴露上半身及下半身的皮肤，并由专业的步态分析检查人员在其体表各处粘贴标记物(marker)，以便后续检查过程中通过摄像机捕捉标记物的运动轨迹；
3、需要通过昂贵且专业的多红外摄像机运动捕捉系统完成marker运动轨迹的捕捉。
上述局限性使得步态分析的检查只能由专业的检查人员在特定的场景下方可完成。
目前已有的研究，主要是对目标轮廓特征提取的主要目的是提取其包含的生物学特征，而非运动学参数的采集。同时，由于居家环境下视频通常由非固定视角拍摄，估计的三维人体运动学信息表示在移动的相机坐标系内，导致无法准确计算关键的步态参数，因此现有的视频分析方法无法满足临床医疗需要的三维运动学参数方面精度的估计。
发明内容
针对现有技术中的缺陷，本发明实施例提供的一种基于视觉感知的运动步态捕捉与评价方法及系统，检测流程简化，能提升步态分析环境的普适性，让步态检查和康复评估变得简单易行。
第一方面，本发明实施例提供的一种基于视觉感知的运动步态捕捉与评价方法，包括：通过运动捕捉系统采集目标运动时解剖关键点在世界坐标下的三维动捕数据；
在另一视角下采用相机采集相对应的目标的运动RGB视频，并用姿态估计方法估计RGB图像序列中目标的二维下肢关键点在图像中的像素坐标；
将二维下肢关键点与三维动捕数据在时间序列上进行匹配对应；
构建基于深度学习的映射模型，学习所述二维下肢关键点和相机坐标系下做三维位置估计的映射函数；
以动作捕捉系统坐标系为世界坐标系，结合相机参数及相机在世界坐标系下的6D姿态得到坐标系转换矩阵，根据所述相机坐标系下三维位置估计和坐标系转换矩阵计算二维下肢关键点在世界坐标系下的三维位置估计，将动作捕捉系统得到的三维下肢关键点与二维下肢关键点三维位置估计做最小化误差重构，得到相机坐标系下的三维人体下肢关键点位置估计，关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹；
根据三维运动轨迹提取目标的步态信息，对所述步态信息进行分析，提取步态特征量，采用步态特征分析方法对步态特征量进行综合评价，得到步态评价结果。
第二方面，本发明实施例提供的一种基于视觉感知的运动步态捕捉与评价系统，包括：动捕数据采集模块、视频数据采集模块、匹配模块、数据处理模块和步态分析模块；
所述动捕数据采集模块用于通过运动捕捉系统采集目标运动时解剖关键点在世界坐标下的三维动捕数据；
所述视频数据采集模块用于在另一视角下采用相机采集相对应的目标的运动RGB视频，并用姿态估计方法估计RGB图像序列中目标的二维下肢关键点在图像中的像素坐标；
所述匹配模块用于将二维下肢关键点与三维动捕数据在时间序列上进行匹配对应；
所述数据处理模块用于构建基于深度学习的映射模型，学习所述二维下肢关键点和相机坐标系下做三维位置估计的映射函数；
以动作捕捉系统坐标系为世界坐标系，结合相机参数及相机在世界坐标系下的6D姿态得到坐标系转换矩阵，根据所述相机坐标系下三维位置估计和坐标系转换矩阵计算二维下肢关键点在世界坐标系下的三维位置估计，将动作捕捉系统得到的三维下肢关键点与二维下肢关键点三维位置估计做最小化误差重构，得到相机坐标系下的三维人体下肢关键点位置估计，关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹；
所述步态分析模块用于根据三维运动轨迹提取目标的步态信息，对所述步态信息进行分析，提取步态特征量，采用步态特征分析方法对步态特征量进行综合评价，得到步态评价结果。
本发明的有益效果：
本发明实施例提供的一种基于视觉感知的运动步态捕捉与评价方法及系统，简化目前已有的临床步态分析方法，使步态分析不局限于实验室层面，可以在居家环境实现普适且简便的步态检测，为普适性和便利性的步态检测提供新的可能，让步态检查和康复评估变得简便易行，最终达到远程医疗的目的。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1示出了本发明第一实施例所提供的一种基于视觉感知的运动步态捕捉与评价方法的流程图；
图2示出了本发明第一实施例所提供的一种基于视觉感知的运动步态捕捉与评价系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例1
如图1所示，示出了本发明第一实施例所提供的一种基于视觉感知的运动步态捕捉与评价方法的流程图，该方法包括以下步骤：
通过运动捕捉系统采集目标运动时解剖关键点在世界坐标下的三维动捕数据；
在另一视角下采用相机采集相对应的目标的运动RGB视频，并用姿态估计方法估计RGB图像序列中目标的二维下肢关键点在图像中的像素坐标；
将二维下肢关键点与三维动捕数据在时间序列上进行匹配对应；
构建基于深度学习的映射模型，学习所述二维下肢关键点和相机坐标系下做三维位置估计的映射函数；
以动作捕捉系统坐标系为世界坐标系，结合相机参数及相机在世界坐标系下的6D姿态得到坐标系转换矩阵，根据所述相机坐标系下三维位置估计和坐标系转换矩阵计算二维下肢关键点在世界坐标系下的三维位置估计，将动作捕捉系统得到的三维下肢关键点与二维下肢关键点三维位置估计做最小化误差重构，得到相机坐标系下的三维人体下肢关键点位置估计，关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹；
根据三维运动轨迹提取目标的步态信息，对所述步态信息进行分析，提取步态特征量，采用步态特征分析方法对步态特征量进行综合评价，得到步态评价结果。
具体地，通过临床步态分析的运动捕捉系统，直接采集目标运动时解剖学关键点在世界坐标系{E}下的高精度三维动捕数据{E}Sm(tm)。同时，在另一视角下采集相对应的目标运动RGB视频，并利用现有的姿态估计方法较为准确地估计RGB图像序列中目标的二维下肢关键点pj＝[xj，yj]T在图像中的像素坐标，其中，j代表关键点编号，j为整数。为匹配二维及三维人体关键点信息，采集RGB视频时，可使用标记固定相机或移动相机进行拍摄，可使用动作(如双手举过头顶后放下、踢腿等)对视频时间节点进行标记，以统一运动捕捉系统与RGB视频采集数据的时间轴起点t0。时间轴起点统一后，以运动捕捉系统为时间轴基准，统一RGB视频数据与运动捕捉系统时间分辨率，实现二维下肢关键点pj(tp)与三维动捕数据{E}Sm(tm)在时间序列上匹配对应。若运动捕捉系统数据采集频率与视频采集系统不一致，则进行以下处理：对运动捕捉系统中的某一采集时间点数据{E}Sm(tm，k)，其中，m和k均为整数，寻找最接近的RGB视频数据采样时间点tp，n，其中，p和n均为整数。利用从RGB视频中提取的二维人体下肢关键点坐标序列[...，pj(tp，n-1)，pj(tp，n)，pj(tp，n+1)，...]计算对应时间点上视频中的二维人体下肢关键点像素坐标pj(tp，k)，使用插值法(如双线性插值、三线性插值等)对数据进行补足，从而实现二维数据与三维数据的时序匹配。
结合相机成像模型与人体解剖学信息，构建基于深度学习的映射模型，学习前述二维人体下肢关键点pj＝[xj，yj]T和相机坐标系{C}下做三维位置估计{c}Pc，j＝[Xj，Yj，Zj]T的映射函数f(pj)＝Pc，j。
以动捕系统坐标系为世界坐标系，若相机使用固定相机，则使用动捕系统采集相机在世界坐标系{E}下的6D姿态；若相机使用手持的移动相机，则使用视觉定位与导航技术(vSLAM,visual Simultaneous Localization and Mapping)构建环境地图并估计相机在世界坐标系下的6D姿态。结合相机参数及其在世界坐标系下6D姿态可得坐标系转换矩阵{E}T{C}。在世界坐标系下的三维位置估计可由{E}Pc，j＝{E}T{C} {C}Pc，j算得。将动作捕捉系统得到的三维下肢关键点{E}Pm，j与从二维下肢关键点估计得到的{E}Pc，j做最小化误差重构e＝||{E}Pm，j-{E}pc，j||，以优化得到前述深度学习模型，从而实现单目相机下的三维人体下肢关键点位置估计。算法估计精度可使用平均每关节位置误差(MPJPE,Mean Per Joint PositionError)，即所有关节点预测误差之平均值衡量。这些关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹{E}Sc(t)，利用这一轨迹可以准确提取目标的时空参数及运动学参数(如步频、步长等)等步态信息用以分析。
视觉定位与导航技术(vSLAM)使用图像作为输入，构建相机所处环境地图，并实现对相机在环境中重定位。利用vSLAM技术，可对移动相机在环境中的位姿进行实时估计，实现前述三维人体下肢关键点位置从相机坐标系{C}到世界坐标系{E}的转换。利用前面获得的二维人体关键点信息生成人体掩模，在RGB视频中消去移动人体的影响，帮助SLAM算法提取静态环境中物体的关键特征点，从而有效提高视野中存在移动人体情况下相机位姿估计的精度，确定检测目标的三维下肢关键点真实移动距离，从而实现正则坐标系下的步态分析。
实际应用时，可使用固定相机(如监控摄像头等)或移动相机(如手机相机等)进行目标步态数据采集。若使用固定相机，则前述世界坐标系{E}与相机坐标系{C}相同，使用前述算法结合相机参数模型即可实现三维人体下肢关键点位置估计与轨迹跟踪；若使用移动相机，则应借助前述vSLAM算法，计算相机相对于环境6D姿态，从而将估计的三维人体下肢关键点位置转换至世界坐标系下，提取三维关键点运动轨迹而无需动作捕捉系统。
利用上述方法，使用固定或移动相机大批量多样化(不同性别、年龄、身高、体重等)采集正常人步态数据，确定正常步态参数集，建立正常人步态数据库。将检测目标的步态参数(如步频、步长、步向角等)进行分析，提取步态特征量。随后使用主流步态特征分析方法，如使用步态偏差指数(GDI,Gait Deviation Index)、吉莱特步态指数(GilletteGait Index,GGI)等，对步态进行综合评价。以GDI为例，GDI依据步态参数提取15个步态特征量并将其作为正常步态标准，经过对数转换和Z分数变换计算得出受试者步态与正常步态的绝对欧式距离。利用上述分析方法，将目标步态超参数与正常步态参数集的偏离程度进行评分，从而实现居家环境下对目标疾病筛查、诊断与分期及预后恢复诊断。
本发明实施例提供的一种基于视觉感知的运动步态捕捉与评价方法，通过目前已有的临床步态分析的运动捕捉系统采集到的解剖学关键点的高精度三维运动轨迹和其对应的不同视角下的视频，进行相关处理。首先通过现有姿态估计算法较为准确的估计视频分割后图像中目标的二维下肢关键点(即提供了人体下肢的骨架信息)。通过配对的二维关键点(姿态估计)和三维关键点(运动捕捉系统)，进行最小化重构误差并结合人体解剖学约束可构建准确的深度学习模型实现从二维关键点到三维关键点的映射，但该三维人体姿态(一组关键点)表示在相机坐标系下。对于移动的相机，使用vSLAM算法对相机在空间中的位姿进行实时估计，进而获得表示在世界坐标系中的人体姿态以及相机位姿。最后，在时间维度上，这些表示在世界坐标系中的关键点的运动构成了一组三维运动轨迹，从而可准确提取目标的时空参数及运动学等步态参数。
本发明实施例提供的一种基于视觉感知的运动步态捕捉与评价方法实现了：
提升步态分析环境的普适性，使被检查者可以在居家环境下完成运动步态分析及评价，让步态检查和康复评估变得简单易行，最终达到远程医疗的目的；
检测流程的简化，即通过视觉感知实现无标记人体姿态估计，即无需在体表粘贴marker。
在上述的第一实施例中，提供了一种基于视觉感知的运动步态捕捉与评价方法，与之相对应的，本申请还提供一种基于视觉感知的运动步态捕捉与评价系统。请参考图2，其为本发明第二实施例提供的一种基于视觉感知的运动步态捕捉与评价系统的结构框图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。
实施例2
如图2所示，示出了本发明另一实施例提供了一种基于视觉感知的运动步态捕捉与评价系统的结构框图，本实施例提供的一种基于视觉感知的运动步态捕捉与评价系统包括：动捕数据采集模块、视频数据采集模块、匹配模块、数据处理模块和步态分析模块，所述动捕数据采集模块用于通过运动捕捉系统采集目标运动时解剖关键点在世界坐标下的三维动捕数据；所述视频数据采集模块用于在另一视角下采用相机采集相对应的目标的运动RGB视频，并用姿态估计方法估计RGB图像序列中目标的二维下肢关键点在图像中的像素坐标；匹配模块用于将二维下肢关键点与三维动捕数据在时间序列上进行匹配对应；数据处理模块用于构建基于深度学习的映射模型，学习所述二维下肢关键点和相机坐标系下做三维位置估计的映射函数；以动作捕捉系统坐标系为世界坐标系，结合相机参数及相机在世界坐标系下的6D姿态得到坐标系转换矩阵，根据所述相机坐标系下三维位置估计和坐标系转换矩阵计算二维下肢关键点在世界坐标系下的三维位置估计，将动作捕捉系统得到的三维下肢关键点与二维下肢关键点三维位置估计做最小化误差重构，得到相机坐标系下的三维人体下肢关键点位置估计，关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹；所述步态分析模块用于根据三维运动轨迹提取目标的步态信息，对所述步态信息进行分析，提取步态特征量，采用步态特征分析方法对步态特征量进行综合评价，得到步态评价结果。步态特征分析方法为步态偏差指数。
匹配模块包括第一匹配单元，第一匹配单元使用约定的动作对视频时间节点进行标记，以统一运动捕捉系统与RGB视频采集数据的时间轴起点，以运动捕捉系统的时间为时间轴基准，统一RGB视频与运动捕捉系统时间分辨率。
匹配模块还包括第二匹配单元，第二匹配单元用于在在运动捕捉系统与RGB视频数据采集频率不一致时，对运动捕捉系统中的一个采集时间点数据，寻找最接近的RGB视频数据采样时间点，使用插值从RGB视频中提取的二维人体下肢关键点坐标序列，计算对应时间点上RGB视频中的二维人体下肢关键点像素坐标。
数据处理模块包括移动相机处理单元，移动相机处理单元使用视觉定位与导航技术构建相机所处环境地图，对相机在环境中的位姿进行实时估计，估计相机在世界坐标系下的6D姿态。
本发明实施例提供的一种基于视觉感知的运动步态捕捉与评价系统，简化目前已有的临床步态分析方法，使步态分析不局限于实验室层面，可以在居家环境实现普适且简便的步态检测，为普适性和便利性的步态检测提供新的可能，让步态检查和康复评估变得简便易行，最终达到远程医疗的目的。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (10)
1.一种基于视觉感知的运动步态捕捉与评价方法，其特征在于，包括：
通过运动捕捉系统采集目标运动时解剖关键点在世界坐标下的三维动捕数据；
在另一视角下采用相机采集相对应的目标的运动RGB视频，并用姿态估计方法估计RGB图像序列中目标的二维下肢关键点在图像中的像素坐标；
将二维下肢关键点与三维动捕数据在时间序列上进行匹配对应；
构建基于深度学习的映射模型，学习所述二维下肢关键点和相机坐标系下做三维位置估计的映射函数；
以动作捕捉系统坐标系为世界坐标系，结合相机参数及相机在世界坐标系下的6D姿态得到坐标系转换矩阵，根据所述相机坐标系下三维位置估计和坐标系转换矩阵计算二维下肢关键点在世界坐标系下的三维位置估计，将动作捕捉系统得到的三维下肢关键点与二维下肢关键点三维位置估计做最小化误差重构，得到相机坐标系下的三维人体下肢关键点位置估计，关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹；
根据三维运动轨迹提取目标的步态信息，对所述步态信息进行分析，提取步态特征量，采用步态特征分析方法对步态特征量进行综合评价，得到步态评价结果。
2.如权利要求1所述的方法，其特征在于，所述将二维下肢关键点与三维动捕数据在时间序列上进行匹配对应的具体方法包括：
使用约定的动作对视频时间节点进行标记，以统一运动捕捉系统与RGB视频采集数据的时间轴起点；
以运动捕捉系统的时间为时间轴基准，统一RGB视频与运动捕捉系统时间分辨率。
3.如权利要求2所述的方法，其特征在于，所述统一RGB视频与运动捕捉系统时间分辨率步骤之后还包括：
在运动捕捉系统与RGB视频数据采集频率不一致时，对运动捕捉系统中的一个采集时间点数据，寻找最接近的RGB视频数据采样时间点；
使用插值从RGB视频中提取的二维人体下肢关键点坐标序列，计算对应时间点上RGB视频中的二维人体下肢关键点像素坐标。
4.如权利要求1所述的方法，其特征在于，所述相机为移动相机，所述相机在世界坐标系下的6D姿态的具体方法包括：使用视觉定位与导航技术构建相机所处环境地图，对相机在环境中的位姿进行实时估计，估计相机在世界坐标系下的6D姿态。
5.如权利要求1所述的方法，其特征在于，所述步态特征分析方法为步态偏差指数。
6.一种基于视觉感知的运动步态捕捉与评价系统，其特征在于，包括：动捕数据采集模块、视频数据采集模块、匹配模块、数据处理模块和步态分析模块；
所述动捕数据采集模块用于通过运动捕捉系统采集目标运动时解剖关键点在世界坐标下的三维动捕数据；
所述视频数据采集模块用于在另一视角下采用相机采集相对应的目标的运动RGB视频，并用姿态估计方法估计RGB图像序列中目标的二维下肢关键点在图像中的像素坐标；
所述匹配模块用于将二维下肢关键点与三维动捕数据在时间序列上进行匹配对应；
所述数据处理模块用于构建基于深度学习的映射模型，学习所述二维下肢关键点和相机坐标系下做三维位置估计的映射函数；
以动作捕捉系统坐标系为世界坐标系，结合相机参数及相机在世界坐标系下的6D姿态得到坐标系转换矩阵，根据所述相机坐标系下三维位置估计和坐标系转换矩阵计算二维下肢关键点在世界坐标系下的三维位置估计，将动作捕捉系统得到的三维下肢关键点与二维下肢关键点三维位置估计做最小化误差重构，得到相机坐标系下的三维人体下肢关键点位置估计，关键点的运动在时间维度上构成一组由视频信息估计得到的三维运动轨迹；
所述步态分析模块用于根据三维运动轨迹提取目标的步态信息，对所述步态信息进行分析，提取步态特征量，采用步态特征分析方法对步态特征量进行综合评价，得到步态评价结果。
7.如权利要求6所述的系统，其特征在于，所述匹配模块包括第一匹配单元，所述第一匹配单元使用约定的动作对视频时间节点进行标记，以统一运动捕捉系统与RGB视频采集数据的时间轴起点，以运动捕捉系统的时间为时间轴基准，统一RGB视频与运动捕捉系统时间分辨率。
8.如权利要求7所述的系统，其特征在于，所述匹配模块还包括第二匹配单元，第二匹配单元用于在在运动捕捉系统与RGB视频数据采集频率不一致时，对运动捕捉系统中的一个采集时间点数据，寻找最接近的RGB视频数据采样时间点，使用插值从RGB视频中提取的二维人体下肢关键点坐标序列，计算对应时间点上RGB视频中的二维人体下肢关键点像素坐标。
9.如权利要求6所述的系统，其特征在于，所述数据处理模块包括移动相机处理单元，所述移动相机处理单元使用视觉定位与导航技术构建相机所处环境地图，对相机在环境中的位姿进行实时估计，估计相机在世界坐标系下的6D姿态。
10.如权利要求6所述的系统，其特征在于，所述步态特征分析方法为步态偏差指数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310993837.XA CN117011940A (zh) | 2023-08-08 | 2023-08-08 | 一种基于视觉感知的运动步态捕捉与评价方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310993837.XA CN117011940A (zh) | 2023-08-08 | 2023-08-08 | 一种基于视觉感知的运动步态捕捉与评价方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117011940A true CN117011940A (zh) | 2023-11-07 |
Family
ID=88563296
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310993837.XA Pending CN117011940A (zh) | 2023-08-08 | 2023-08-08 | 一种基于视觉感知的运动步态捕捉与评价方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117011940A (zh) |
-
2023
- 2023-08-08 CN CN202310993837.XA patent/CN117011940A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106022213B (zh) | 一种基于三维骨骼信息的人体动作识别方法 | |
| Uddin et al. | Human activity recognition using body joint‐angle features and hidden Markov model | |
| CN111881887A (zh) | 基于多摄像头的运动姿态监测和指导方法及装置 | |
| US11759126B2 (en) | Scoring metric for physical activity performance and tracking | |
| CN103035008A (zh) | 一种多相机系统的加权标定方法 | |
| CN109758756B (zh) | 基于3d相机的体操视频分析方法及系统 | |
| CN110991268B (zh) | 一种基于深度图像的帕金森手部运动量化分析方法和系统 | |
| JP7379065B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN111680586B (zh) | 一种羽毛球运动员运动姿态估计方法及系统 | |
| CN115410233B (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
| Surer et al. | Methods and technologies for gait analysis | |
| CN106846372B (zh) | 人体运动质量视觉分析与评价系统及其方法 | |
| CN117671738B (zh) | 基于人工智能的人体姿态识别系统 | |
| CN115376034A (zh) | 一种基于人体三维姿态时空关联动作识别的运动视频采集剪辑方法及装置 | |
| CN116226727A (zh) | 一种基于ai的运动识别系统 | |
| CN109636856A (zh) | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 | |
| CN113033501A (zh) | 一种基于关节四元数的人体分类方法及装置 | |
| Abd Shattar et al. | Experimental setup for markerless motion capture and landmarks detection using OpenPose during dynamic gait index measurement | |
| CN116740618A (zh) | 一种运动视频动作评估方法、系统、计算机设备及介质 | |
| CN117011940A (zh) | 一种基于视觉感知的运动步态捕捉与评价方法及系统 | |
| CN113808256B (zh) | 一种结合身份识别的高精度全息人体重建方法 | |
| CN115953838A (zh) | 基于MLP-Yolov5网络的步态图像跟踪识别系统 | |
| CN113421286B (zh) | 一种动作捕捉系统及方法 | |
| CN113807323A (zh) | 基于图像识别的手功能精准评估系统及方法 | |
| Albuquerque et al. | Remote Pathological Gait Classification System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |