CN114712835A - 一种基于双目人体位姿识别的辅助训练系统 - Google Patents

Abstract

本发明公开一种基于双目人体位姿识别的辅助训练系统，系统包括以下：数据采集模块、位姿估计模块和状态判断及显示模块；所述数据采集模块采集训练时的双目图像；所述位姿估计模块根据双目图像，结合约束信息，获取训练动作位姿结果；所述状态判断及显示模块根据训练动作位姿结果对训练水平进行评判，并根据评判结果，显示辅助训练信息。本发明有益效果是：提升了康复训练效果，减轻了人力成本；使用生理约束、物理约束去约束位姿估计结果，有效地缓解了人与器材产生的遮挡与交互对位姿估计精度产生的负面效果，提升了位姿估计的精度。

Description

一种基于双目人体位姿识别的辅助训练系统

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于双目人体位姿识别的辅助训练系统。

背景技术

中国目前人口基数巨大，每年因各种事故导致行动受损以及身患慢性疾病导致肢体运动障碍，需要进行康复训练的人员数量十分庞大。中国康复市场相较于发达国家而言，有着更大的发展潜力，但与此同时，具有专业技能的康复医疗人员却十分紧缺。为了迎合市场的发展，在进行专业人员培养的同时，也需要利用技术手段辅助康复训练。在智能康复领域，人体位姿估计技术可被用于捕获用户康复训练过程中肢体的三维运动数据，其作为了解和分析人类行为的重要方式，在辅助识别用户康复状态，进而设计针对性强的个人康复方案，提高康复方案设计的客观性等方面发挥着重要作用。然而，康复训练场景通常比较嘈杂，用户与器材间存在频繁的遮挡与交互，并且大多数现有的人体位姿估计方法不会显性的考虑人体内在的生理约束以及人体与环境之间的交互关系去约束位姿估计的结果。这些因素都会极大的影响现有方法在康复训练场景中对人体关节点的定位。

发明内容

为了解决以上问题，本申请，研究融合双目图像信息，结合人体生理约束及人体与环境之间的物理约束实现高效精准的人体位姿估计，设计一个针对下肢康复训练的人体位姿识别及辅助训练系统，具有较高的实用价值。本申请提供的一种基于双目人体位姿识别的辅助训练系统，具体包括以下：

数据采集模块、位姿估计模块和状态判断及显示模块；

所述数据采集模块采集训练时的双目图像；

所述位姿估计模块根据双目图像，结合约束信息，获取训练动作位姿结果；

所述状态判断及显示模块根据训练动作位姿结果对训练水平进行评判，并根据评判结果，显示辅助训练信息。

进一步地，所述数据采集模块包括：双目相机和辅助训练器材。

进一步地，所述约束信息，包括基于人体模型下的生理约束信息和物理约束信息。

进一步地，所述人体模型具体为：

其中，M(·)代表利用骨长L，根节点位置J₀以及各关节旋转角度θ求解下肢模型9个关节三维空间位置的函数，R(θ)表示绕轴旋转函数；

骨长L代表下肢各个关节点之间的长度，根节点位置J₀表示骨盆关节的三维空间位置，关节旋转角度θ表示下肢各关节绕不同轴旋转的角度，且骨盆关节及臀关节为三个自由度，膝关节、踝关节均为一个自由度。

进一步地，所述物理约束信息，具体指：对臀部关节位置施加物理约束，使臀部关节位置限定在预定范围内。

进一步地，所述生理信息，具体指：对骨长L和关节旋转角度θ施加生理约束，使其对应在预定范围内。

进一步地，所述位姿估计模块，包括初始位姿估计单元和最终位姿优化单元。

进一步地，所述初始位姿估计单元采用二维姿态检测器从输入双目图像中获取二维人体关节点信息，再基于三角测量，从二维人体关节点信息中恢复三维人体关节点信息。

所述最终位姿优化单元，根据三维人体关节点信息，结合约束信息，获取训练动作位姿结果。

与现有技术相比，本发明的有益效果包括：此人体位姿识别辅助训练系统在真实康复训练场景中辅助康复评估，能高效精准的识别用户下肢位姿，监控训练动作正误，为医师提供及时有效的用户运动信息，提升了康复训练效果，减轻了医师的工作量与康复训练的人力成本；使用生理约束、物理约束去约束位姿估计结果，有效地缓解了人与器材产生的遮挡与交互对位姿估计精度产生的负面效果，提升了位姿估计的精度。

附图说明

图1是本发明的结构图；

图2是双目视觉的求解原理示意图；

图3是人体模型示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种基于双目人体位姿识别的辅助训练系统。请参考图1，图1是本发明的结构图；本发明包括以下：

数据采集模块、位姿估计模块和状态判断及显示模块；

所述数据采集模块采集训练时的双目图像；

需要说明的是，所述数据采集模块包括：双目相机和辅助训练器材。

其中，需要进行康复训练的用户为系统观测对象，该用户通常具有下肢不协调、耐力不足等特点；辅助训练器材用于辅助用户进行康复训练，本申请中，不局限于特定厂家特定设备，具有通用性；

双目相机为普通彩色相机，用于采集用户下肢康复训练过程中的双目图像。在康复训练的过程中，由于用户需借助下肢康复器械进行特定的主被动式、重复性训练消除控制机能障碍和运动障碍，而用户所使用的康复器材不可避免的会与肢体交互，对人体部位产生遮挡，影响人体关节点的定位。因此，本申请中选用双目图像作为位姿估计模块的输入，其好处在于能够利用两个视角的信息互补去处理遮挡问题。

所述位姿估计模块根据双目图像，结合约束信息，获取训练动作位姿结果；

需要说明的是，位姿估计模块包含初始位姿估计单元和最终位姿优化单元。

初始位姿估计单元，首先使用现有成熟的二维姿态检测器从输入的双目图像中检测出不同视图中的二维人体关节点信息，然后基于三角测量，从多视图二维关节点中恢复出三维关节点信息。具体说，请参考图2，图2是双目视觉的求解原理示意图。该部分原理较为常规，本发明仅作进一步阐述性解释。

假设使用二维姿态检测器从两个视角的输入中检测到的人体下肢二维关节点坐标分别为p_l(x_i,y_i)_{(i＝0,1,...,8)}和p_r(x_i,y_i)_{(i＝0,1,...,8)}。利用两个相机的内参K_l、K_r可以将这些二维平面点投射到各自的相机坐标系空间中得到 P_l0(x_i,y_i,z_i)_{(i＝0,1,...,8)}和P_r0(x_i,y_i,z_i)_{(i＝0,1,...,8)}。进一步地，本申请可以利用两个相机坐标系之间的外参关系矩阵

将其中一个相机坐标系下的点P_l0转换到另一个相机坐标系下得到P′_l0。在转换到同一个坐标系下后，根据三角测量原理，联立方程，即可求解得到三维关节点的大致位置P(x,y,z)。

然而，利用这种方式求得的三维位姿往往不够精确，因为其在很大程度上受制于二维检测器的性能，忽略了人体生理结构上的一些约束，难以确保估计位姿的合理性。因此，需要对初始位姿进行进一步的优化。也即本申请的最终位姿优化单元。

需要说明的是，最终位姿优化单元，是在初始位姿的基础上，考虑生理及物理等约束对自定义的人体下肢模型参数进行优化，得到最终的三维人体下肢位姿估计结果。

本申请中，对于人体下肢模型的定义，从简易实用的角度出发，过于精细复杂的模型会加重优化的计算量拖慢优化速度，过于简单的模型不能很好的表现下肢活动。

具体的说，本申请所创建的人体模型，请参考附图3，人体模型由函数

所定义，其中M(·)代表利用骨长L，根节点位置J₀以及各关节旋转角度θ求解下肢模型9个关节三维空间位置的函数，R(θ) 表示绕轴旋转函数。骨长L代表下肢各个关节点之间的长度，根节点位置J₀表示骨盆关节的三维空间位置，关节旋转角度θ表示下肢各关节绕不同轴旋转的角度，这里骨盆关节及臀关节为三个自由度，膝关节、踝关节均为一个自由度，该下肢模型共有13个自由度。

所述约束信息，包括基于人体模型下的生理约束信息和物理约束信息。

对于物理约束的定义，在下肢位姿估计中，根节点(骨盆关节)位置的确定往往会对最终估计的结果产生较大的影响，而在下肢康复训练的过程中，用户往往需要借助椅子，坐在椅子上进行康复训练，因此训练过程中，人体臀部的关节点应当是接近于坐垫平面，在一定范围内波动的，而康复器材配套的椅子往往是固定的。

利用这一点，本申请在人体臀部关节位置施加物理约束，根据已知的坐垫平面信息限制人体臀部关节的位置，进行精准而有意义的位姿估计。考虑到在运动的过程中，人体臀部与坐垫都会发生一定的形变。因此，在优化的过程中，本申请将人体的臀部建模为弹簧。

对于生理约束的定义，可将其分为骨长约束和关节角度约束两部分考虑。对于骨长约束，考虑到在康复训练的过程中，同一对象的骨长往往是常量，而不同对象的骨长之间往往存在一定的差异。因此，本申请将下肢模型各个关节之间的骨长L也当作参数进行优化，但同时为了保证骨长的合理性，避免优化过程中骨长的突变，本申请引入了骨长约束，用于确保骨长在合理的范围波动，避免例如左大腿长度明显长于右大腿长度等异常姿势的出现，这里合理的范围可以根据中华人民共和国国家标准GB/T 10000-1988 进行设置。

对于关节角度约束，由于人体在运动时，关节的活动角度是存在一定的限制的，而这些限制在人体位姿估计的过程中往往会被忽略。但考虑这些限制不论是在辅助医学评估方面还是在约束位姿估计的合理性方面都十分有意义。例如，需要进行下肢康复训练的用户，腿部某些关节的活动范围往往比正常人更小，受到更多的限制。

因此，当优化过程中这些关节的角度明显超过正常范围时，本申请就需要额外注意，添加一些关节角度上的约束，以避免优化过程中异常姿势的出现。

从这点出发，本申请引入了关节角度约束，用于约束下肢关节活动角度在正常范围内，角度活动的正常范围可通过查阅相关文献获得。

需要说明的是，除了物理约束和生理约束以外，在实际的优化过程中，还可以添加时间约束等信息去增加预测结果的鲁棒性与一贯性，使得最终估计的下肢位姿结果能够从各方面满足康复训练场景下的需求。

定义好下肢模型与相关约束后，最终通过最小化目标函数

E(X)＝λ_JE_J+λ_jE_j+λ_TE_T+λ_PE_P+λ_SE_S

实现最终的位姿估计。

其中E_J、E_j、E_T、E_P、E_S分别是三维约束项、二维约束项、时间约束项、生理约束项和物理约束项，λ_J、λ_j、λ_T、λ_P、λ_S分别是每一项所对应的权重。三维约束项用于约束优化结果与初始位姿结果在三维空间中的距离，二维约束项用于约束优化结果的三维关节点投影到二维平面上与二维姿态检测器检测到的二维关节点之间的距离，时间约束项用于约束动作的一致性，生理约束项与物理约束项即为前文所提及的生理约束与物理约束。

所述状态判断及显示模块根据训练动作位姿结果对训练水平进行评判，并根据评判结果，显示辅助训练信息。

状态诊断及显示模块用于接收位姿估计模块的估计结果，经过数据处理与转换，将人体定量的运动信息，例如关节位置、关节角度，展示给专业医师以辅助进行康复训练评估。同时，对运动状态进行监控，当运动某项指标违背提前设置的正常阈值时，及时发出提醒，从而有效的帮助用户纠正错误姿势，提升训练效果，避免因姿势不对而对身体造成进一步的伤害。这里的正常阈值往往由专业医生根据用户康复情况，结合一定医学知识进行设置。

本发明的有益效果是：此人体位姿识别辅助训练系统在真实康复训练场景中辅助康复评估，能高效精准的识别用户下肢位姿，监控训练动作正误，为医师提供及时有效的用户运动信息，提升了康复训练效果，减轻了医师的工作量与康复训练的人力成本；使用生理约束、物理约束去约束位姿估计结果，有效地缓解了人与器材产生的遮挡与交互对位姿估计精度产生的负面效果，提升了位姿估计的精度。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (9)

1.一种基于双目人体位姿识别的辅助训练系统，其特征在于：包括以下：数据采集模块、位姿估计模块和状态判断及显示模块；

所述数据采集模块采集训练时的双目图像；

所述位姿估计模块根据双目图像，结合约束信息，获取训练动作位姿结果；

所述状态判断及显示模块根据训练动作位姿结果对训练水平进行评判，并根据评判结果，显示辅助训练信息。

2.如权利要求1所述的一种基于双目人体位姿识别的辅助训练系统，其特征在于：所述数据采集模块包括：双目相机和辅助训练器材。

3.如权利要求1所述的一种基于双目人体位姿识别的辅助训练系统，其特征在于：所述约束信息，包括基于人体模型下的生理约束信息和物理约束信息。

4.如权利要求3所述的一种基于双目人体位姿识别的辅助训练系统，其特征在于：所述人体模型具体为：

其中，M(·)代表利用骨长L，根节点位置J₀以及各关节旋转角度θ求解下肢模型9个关节三维空间位置的函数，R(θ)表示绕轴旋转函数；

骨长L代表下肢各个关节点之间的长度，根节点位置J₀表示骨盆关节的三维空间位置，关节旋转角度θ表示下肢各关节绕不同轴旋转的角度，且骨盆关节及臀关节为三个自由度，膝关节、踝关节均为一个自由度。

5.如权利要求4所述的一种基于双目人体位姿识别的辅助训练系统，其特征在于：所述物理约束信息，具体指：对臀部关节位置施加物理约束，使臀部关节位置限定在预定范围内。

6.如权利要求4所述的一种基于双目人体位姿识别的辅助训练系统，其特征在于：所述生理信息，具体指：对骨长L和关节旋转角度θ施加生理约束，使其对应在预定范围内。

7.如权利要求1所述的一种基于双目人体位姿识别的辅助训练系统，其特征在于：所述位姿估计模块，包括初始位姿估计单元和最终位姿优化单元。

8.如权利要求7所述的一种基于双目人体位姿识别的辅助训练系统，其特征在于：所述初始位姿估计单元采用二维姿态检测器从输入双目图像中获取二维人体关节点信息，再基于三角测量，从二维人体关节点信息中恢复三维人体关节点信息。

9.如权利要求8所述的一种基于双目人体位姿识别的辅助训练系统，其特征在于：所述最终位姿优化单元，根据三维人体关节点信息，结合约束信息，获取训练动作位姿结果。

Images