CN114417738B - 稀疏imu实时人体动作捕捉及关节受力预测方法及系统 - Google Patents

稀疏imu实时人体动作捕捉及关节受力预测方法及系统 Download PDF

Info

Publication number
CN114417738B
CN114417738B CN202210312217.0A CN202210312217A CN114417738B CN 114417738 B CN114417738 B CN 114417738B CN 202210312217 A CN202210312217 A CN 202210312217A CN 114417738 B CN114417738 B CN 114417738B
Authority
CN
China
Prior art keywords
human body
human
joint
ground contact
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210312217.0A
Other languages
English (en)
Other versions
CN114417738A (zh
Inventor
徐枫
伊昕宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210312217.0A priority Critical patent/CN114417738B/zh
Publication of CN114417738A publication Critical patent/CN114417738A/zh
Application granted granted Critical
Publication of CN114417738B publication Critical patent/CN114417738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/14—Force analysis or force optimisation, e.g. static or dynamic forces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请涉及人体动作捕捉技术领域，特别涉及一种稀疏IMU实时人体动作捕捉及关节受力预测方法及系统，方法包括：采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部的惯性数据，得到骨骼在人体坐标系中的骨骼朝向和加速度，将骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人‑地接触信息并输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力，解决了需要通过绑定大量的传感器进行人体动捕及关节受力预测，从而阻碍人体运动等问题，通过双重PD控制器连接人体运动学模型和人体动力学模型，融合为一个整体的稀疏惯性动捕和受力预测系统，实现了可靠的实时人体动捕及关节受力预测。

Description

稀疏IMU实时人体动作捕捉及关节受力预测方法及系统
技术领域
本申请涉及人体动作捕捉技术领域，特别涉及一种稀疏IMU（InertialMeasurement Unit，惯性测量单元）实时人体动作捕捉及关节受力预测方法及系统。
背景技术
人体动作捕捉和人体关节受力预测在电影制作，运动分析，游戏制作、医疗诊断和康复等领域有着重要的应用。随着IMU技术的发展与普及，越来越多的工作尝试使用纯惯性传感器进行动作捕捉。这些方法可以避免光学动捕中需要限制人体运动范围的问题，同时可以捕捉高速、大范围的运动，不受光线、遮挡的影响。
相关技术中，需要使用精密的仪器、专业的设备或者绑定大量传感器（10个以上）来采集人体的动作和关节受力信息，或对其进行预测。
然而，由于商用惯性动捕设备（如Xsens）需要在人体身上绑定密集的IMU模块，这些模块会阻碍人体运动，使人不舒服，且这些商用设备无法估计人体关节受力。因此，只使用稀疏（少量）的IMU进行人体动作捕捉及关节受力预测成为一个有意义的研究问题。
发明内容
本申请提供一种稀疏IMU实时人体动作捕捉及关节受力预测方法及系统，以解决需要通过绑定大量的传感器进行人体动捕及关节受力预测，从而阻碍人体运动等问题。
本申请第一方面实施例提供一种稀疏IMU实时人体动作捕捉及关节受力预测方法，包括以下步骤：
采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器测量的惯性数据；
根据所述惯性数据得到骨骼在人体坐标系中的骨骼朝向和加速度，并将所述骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息；以及
将所述人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力。
根据本申请的一个实施例，所述将所述人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力，包括：
利用双重PD控制器（PD controller）得到最优的目标加速度；
在预设二次规划框架下，基于刚体力学和真实世界物理规律优化出所述人体姿态、运动、关节受力和地面作用力。
根据本申请的一个实施例，所述预设二次规划框架以硬约束建模了人-地接触和人体动力学，其数学表达式为：
Figure 660900DEST_PATH_IMAGE001
其中，
Figure 646173DEST_PATH_IMAGE002
为根节点线性加速度和关节角加速度，
Figure DEST_PATH_IMAGE003
为作用于人-地接触点的地面接触力，
Figure 893615DEST_PATH_IMAGE004
为人体关节力矩，
Figure DEST_PATH_IMAGE005
为人-地接触点雅可比矩阵，c为人-地接触点，
Figure 902022DEST_PATH_IMAGE006
为双重PD控制器能量项，
Figure DEST_PATH_IMAGE007
为优化正则项，M为人体惯性矩阵，h为包括科里奥利力、离心力和重力等项的非线性项，
Figure 893112DEST_PATH_IMAGE008
为地面接触力的摩擦锥约束集，
Figure DEST_PATH_IMAGE009
为人-地接触关节的线速度，j为人体触地关节，
Figure 670575DEST_PATH_IMAGE010
为触地关节的线速度约束集。
根据本申请的一个实施例，在根据所述惯性数据得到所述骨骼在所述人体坐标系中的朝向和加速度之前，还包括：
基于被捕捉者维持T-pose预设时长，计算IMU朝向和骨骼朝向的偏差，得到校准偏差矩阵。
根据本申请的一个实施例，所述将所述骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息，包括：
以骨骼惯性值作为输入，通过第一循环神经网络预测末端关节相对于根节点的第一三维坐标；
拼接上所述惯性值，并通过第二循环神经网络预测全部关节相对于根节点的第二三维坐标；
拼接所述骨骼惯性值和所述第二三维坐标，并通过第三至第五循环神经网络分别预测人体关节旋转、全部关节在根节点坐标系下的线速度、脚-地接触概率。
根据本申请的一个实施例，循环神经网络为LSTM（Long Short Term Memory，长短期记忆）网络，在预测所述人体姿态、运动、以及人-地接触信息之前，还包括：
将每段训练序列的开始姿态通过全连接网络，预测隐藏状态向量；
将所述隐藏状态向量作为LSTM训练的初始隐藏状态。
根据本申请的一个实施例，所述双重PD控制器为控制人体局部姿态的关节旋转PD控制器和控制人体全局姿态的关节位置PD控制器。
根据本申请实施例的稀疏IMU实时人体动作捕捉及关节受力预测方法，通过惯性传感器采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部的惯性数据，得到骨骼在人体坐标系中的骨骼朝向和加速度，将骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息并输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力。由此，解决了需要通过绑定大量的传感器进行人体动捕及关节受力预测，从而阻碍人体运动等问题，通过双重PD控制器连接人体运动学模型和人体动力学模型，融合为一个整体的稀疏惯性动捕和受力预测系统，从而实现了可靠的实时人体动捕及关节受力预测。
本申请第二方面实施例提供一种稀疏IMU实时人体动作捕捉及关节受力预测系统，包括：
采集模块，用于采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器测量的惯性数据；
第一预测模块，用于根据所述惯性数据得到骨骼在人体坐标系中的骨骼朝向和加速度，并将所述骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息；以及
第二预测模块，用于将所述人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力。
根据本申请的一个实施例，所述第二预测模块，具体用于：
利用双重PD控制器得到最优的目标加速度；
在预设二次规划框架下，基于刚体力学和真实世界物理规律优化出所述人体姿态、运动、关节受力和地面作用力。
根据本申请的一个实施例，所述预设二次规划框架以硬约束建模了人-地接触和人体动力学，其数学表达式为：
Figure DEST_PATH_IMAGE011
其中，
Figure 88918DEST_PATH_IMAGE002
为根节点线性加速度和关节角加速度，
Figure 381359DEST_PATH_IMAGE003
为作用于人-地接触点的地面接触力，
Figure 176140DEST_PATH_IMAGE004
为人体关节力矩，
Figure 870426DEST_PATH_IMAGE005
为人-地接触点雅可比矩阵，c为人-地接触点，
Figure 521988DEST_PATH_IMAGE006
为双重PD控制器能量项，
Figure 502057DEST_PATH_IMAGE007
为优化正则项，M为人体惯性矩阵，h为包括科里奥利力、离心力和重力等项的非线性项，
Figure 897267DEST_PATH_IMAGE008
为地面接触力的摩擦锥约束集，
Figure 383743DEST_PATH_IMAGE009
为人-地接触关节的线速度，j为人体触地关节，
Figure 471784DEST_PATH_IMAGE010
为触地关节的线速度约束集。
根据本申请的一个实施例，在根据所述惯性数据得到所述骨骼在所述人体坐标系中的朝向和加速度之前，所述第一预测模块，还用于：
基于被捕捉者维持T-pose预设时长，计算IMU朝向和骨骼朝向的偏差，得到校准偏差矩阵。
根据本申请的一个实施例，所述第一预测模块，具体用于：
以骨骼惯性值作为输入，通过第一循环神经网络预测末端关节相对于根节点的第一三维坐标；
拼接上所述惯性值，并通过第二循环神经网络预测全部关节相对于根节点的第二三维坐标；
拼接所述骨骼惯性值和所述第二三维坐标，并通过第三至第五循环神经网络分别预测人体关节旋转、全部关节在根节点坐标系下的线速度、脚-地接触概率。
根据本申请的一个实施例，循环神经网络为LSTM网络，在预测所述人体姿态、运动、以及人-地接触信息之前，所述第一预测模块，还用于：
将每段训练序列的开始姿态通过全连接网络，预测隐藏状态向量；
将所述隐藏状态向量作为LSTM训练的初始隐藏状态。
根据本申请的一个实施例，所述双重PD控制器为控制人体局部姿态的关节旋转PD控制器和控制人体全局姿态的关节位置PD控制器。
根据本申请实施例的稀疏IMU实时人体动作捕捉及关节受力预测系统，通过惯性传感器采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部的惯性数据，得到骨骼在人体坐标系中的骨骼朝向和加速度，将骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息并输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力。由此，解决了需要通过绑定大量的传感器进行人体动捕及关节受力预测，从而阻碍人体运动等问题，通过双重PD控制器连接人体运动学模型和人体动力学模型，融合为一个整体的稀疏惯性动捕和受力预测系统，从而实现了可靠的实时人体动捕及关节受力预测。
本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的稀疏IMU实时人体动作捕捉及关节受力预测方法。
本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上述实施例所述的稀疏IMU实时人体动作捕捉及关节受力预测方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请实施例提供的一种稀疏IMU实时人体动作捕捉及关节受力预测方法的流程图；
图2为根据本申请一个实施例提供的人体运动学模型示例图；
图3为根据本申请一个实施例提供的人体动力学模型的示例图；
图4为根据本申请一个实施例提供的全连接网络和循环神经网络的结构示例图；
图5为根据本申请一个实施例的实时人体动作捕捉及关节受力预测的结果示例图；
图6为根据本申请实施例的稀疏IMU实时人体动作捕捉及关节受力预测系统的示例图；
图7为根据本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的稀疏IMU实时人体动作捕捉及关节受力预测方法及系统。针对上述背景技术中心提到的需要通过绑定大量的传感器进行人体动捕及关节受力预测，从而阻碍人体运动的问题，本申请提供了一种稀疏IMU实时人体动作捕捉及关节受力预测方法，在该方法中，通过惯性传感器采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部的惯性数据，得到骨骼在人体坐标系中的骨骼朝向和加速度，将骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息并输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力。由此，解决了需要通过绑定大量的传感器进行人体动捕及关节受力预测，从而阻碍人体运动等问题，通过双重PD控制器连接人体运动学模型和人体动力学模型，融合为一个整体的稀疏惯性动捕和受力预测系统，从而实现了可靠的实时人体动捕及关节受力预测。
具体而言，图1为本申请实施例所提供的一种稀疏IMU实时人体动作捕捉及关节受力预测方法的流程示意图。
该实施例中，本申请实施例的稀疏IMU实时人体动作捕捉及关节受力预测方法主要涉及人体运动学模型、人体动力学模型、基于学习的循环神经网络隐藏状态初始化策略以及双重PD控制器。其中，在人体运动学模型中，如图2所示，本申请实施例通过使用深度学习技术快速简单的预测的人体的姿态、运动、和人-地接触概率信息；在人体动力学模型中，如图3所示，本申请实施例通过构建一个人体姿态、全局运动、关节受力、地面接触力共同优化的二次规划框架，利用运动学模块输出的人体信息估计符合真实世界物理规律的人体姿态、运动、关节受力、和地面作用力的信息。两个模型通过双重比例-微分（PD）控制器紧密相连，融合为一个整体的稀疏惯性动捕和受力估计系统。此外，为了解决稀疏IMU预测全身姿态和受力的歧义性，并提高系统的预测精度，本申请实施例还提出了基于学习的循环神经网络隐藏状态初始化策略，使系统在训练阶段可以充分利用时域信息解决歧义性。
如图1所示，该稀疏IMU实时人体动作捕捉及关节受力预测方法包括以下步骤：
在步骤S101中，采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器测量的惯性数据。
具体地，本申请实施例通过采用稀疏传感器对人体进行实时的动作捕捉及受力预测，其中，为了使本申请实施例的预测效果更精准，本申请实施例可以通过采用6个IMU分别在人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处绑定传感器进行检测相应的惯性数据，其中，惯性数据包括加速度和朝向，同步为60Hz，加速度为传感器本地坐标系下的三轴线性加速度。朝向为该传感器在6个传感器共享的全局惯性系（一般为北东地）下的朝向，以旋转矩阵表示。每秒可以获得60帧数据，每一帧包括6个IMU的原始加速度和旋转矩阵表示的朝向。在步骤S102中，根据惯性数据得到骨骼在人体坐标系中的骨骼朝向和加速度，并将骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息。
进一步地，在一些实施例中，在根据惯性数据得到骨骼在人体坐标系中的朝向和加速度之前，还包括：基于被捕捉者维持T-pose预设时长，计算IMU朝向和骨骼朝向的偏差，得到校准偏差矩阵。
进一步地，在一些实施例中，将骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息，包括：以骨骼惯性值作为输入，通过第一循环神经网络预测末端关节相对于根节点的第一三维坐标；拼接上惯性值，并通过第二循环神经网络预测全部关节相对于根节点的第二三维坐标；拼接骨骼惯性值和第二三维坐标，并通过第三至第五循环神经网络分别预测人体关节旋转、全部关节在根节点坐标系下的线速度、脚-地接触概率。
进一步地，在一些实施例中，循环神经网络为LSTM网络，在预测人体姿态、运动、以及人-地接触信息之前，还包括：将每段训练序列的开始姿态通过全连接网络，预测隐藏状态向量；将隐藏状态向量作为LSTM训练的初始隐藏状态。
具体而言，在动作捕捉的准备阶段，被捕捉者维持T-pose几秒钟，记录每个传感器测得的全局惯性系中的平均朝向
Figure 738818DEST_PATH_IMAGE012
。此外，本申请实施例还需要使任意一个IMU（可以是6个IMU之一，或使用一个新的IMU）的x，y，z轴与人体自身的左、上、前三个方向重合，维持几秒钟，记录该IMU在全局惯性系中的平均朝向
Figure 609822DEST_PATH_IMAGE013
。则本申请实施例可以计算校准偏差矩阵为：
Figure 278701DEST_PATH_IMAGE014
（1）
准备阶段中记录下
Figure 475327DEST_PATH_IMAGE015
和
Figure 964077DEST_PATH_IMAGE016
即可，随后可从步骤S101开始进行动作捕捉流程。
在动作捕捉阶段，本申请实施例求解绑定了IMU的骨骼在人体坐标系中的朝向和加速度，并将测量值对齐到根节点坐标系下。
Figure 904351DEST_PATH_IMAGE017
（2）
Figure 427736DEST_PATH_IMAGE018
（3）
进一步地，本申请实施例可以将获得的骨骼朝向和加速度输入到人体运动学模型，通过基于深度学习的方法快速简单地预测人体姿态、运动、以及人-地接触信息。在人体运动学模型中，本申请实施例参考了前人工作中提出的多阶段姿态求解策略，将估计末端关节坐标和全部关节坐标作为估计人体姿态、运动、和人-地接触信息的辅助任务。
如图2所示，人体运动学模型以上述获得的骨骼惯性值
Figure 592001DEST_PATH_IMAGE019
作为输入，首先通过一个循环神经网络
Figure 771310DEST_PATH_IMAGE020
预测末端关节（手腕、脚踝、头部）相对于根节点的三维坐标
Figure 312013DEST_PATH_IMAGE021
，接着拼接上输入惯性值x，通过第二个循环神经网络
Figure 627587DEST_PATH_IMAGE022
预测全部关节相对于根节点的三维坐标p。拼接x和p并通过三个循环神经网络
Figure 228333DEST_PATH_IMAGE023
分别预测人体关节旋转（以6D全局旋转表示，因为6D表示具有连续性）、全部关节在根节点坐标系下的线速度、和脚-地接触概率。其中，每个循环神经网络都是LSTM模块（具体结构见图4）。本申请实施例使用单向LSTM以捕捉足够长的历史信息，同时不使用任何未来信息，因此网络预测时不引入任何系统延迟
由于仅使用循环神经网络不能较好的解决仅使用稀疏IMU估计全身动作所带来的歧义性。因此，本申请实施例提出了基于学习的循环神经网络隐藏状态初始化策略。如图2中的全连接网络
Figure 629359DEST_PATH_IMAGE024
和
Figure 973752DEST_PATH_IMAGE025
所示，在训练时，本申请实施例将每段训练序列的开始姿态（第一帧的姿态）首先通过一个全连接网络预测一个隐藏状态向量（具体为LSTM的hidden和cell状态），并以此状态作为LSTM的初始隐藏状态，再进行后续的训练，从而替代其他工作中普遍使用的全零初始化的策略。研究发现，使用本申请的基于学习的隐藏状态初始化，可以有效帮助了网络学到如何捕捉时域中的人体动作状态转变信息，而常用的全零初始化无法使网络很好的收敛（因为第一帧人可能以任何动作开始）。更具体地，本申请实施例发现网络
Figure 412342DEST_PATH_IMAGE026
和
Figure 918410DEST_PATH_IMAGE027
最受到稀疏IMU歧义性的影响。因此，对于
Figure 134628DEST_PATH_IMAGE028
，本申请实施例同时训练一个全连接网络
Figure 954816DEST_PATH_IMAGE029
用于初始化其隐藏状态。
Figure 307300DEST_PATH_IMAGE029
以起始人体末端关节坐标
Figure 984269DEST_PATH_IMAGE030
为输入，预测
Figure 359887DEST_PATH_IMAGE031
的隐藏状态。对于
Figure 46083DEST_PATH_IMAGE032
，本申请实施例同时训练一个全连接网络
Figure 190757DEST_PATH_IMAGE033
用于初始化其隐藏状态。
Figure 304206DEST_PATH_IMAGE034
以起始人体关节速度
Figure 229437DEST_PATH_IMAGE035
为输入，预测
Figure 391428DEST_PATH_IMAGE036
的隐藏状态。在实际使用时，因为本申请实施例需要进行T-pose标定，所以
Figure 718504DEST_PATH_IMAGE037
为T-pose下的末端关节坐标，
Figure 2855DEST_PATH_IMAGE038
。在成功初始化隐藏状态后，本申请实施例不再需要这两个网络，其中，全连接网络的具体结构见图4所示。
在训练人体运动学模型时，本申请实施例可以将每个LSTM单独分开训练，但用于初始化的全连接网络和对应的LSTM需要一起训练。和前人工作类似，本申请实施例使用大型的人体动作捕捉数据集，这种数据集包含大量人体姿态和运动。本申请实施例通过正向动力学和数值微分合成IMU数据和脚-地接触标签，以L2损失函数训练网络
Figure 87486DEST_PATH_IMAGE039
、
Figure 115484DEST_PATH_IMAGE040
、和
Figure 297067DEST_PATH_IMAGE041
，以交叉熵损失函数训练网络
Figure 690002DEST_PATH_IMAGE042
，以累计不同长度（1,3,9,27帧）的L2损失函数训练网络
Figure 589825DEST_PATH_IMAGE043
。使用Adam优化器，学习率设置为1e-3。批处理大小为128个序列，每个序列的长度在200帧以内。由于本申请实施例仅使用单向循环神经网络，训练和实际使用过程一致（无需未来帧）。
在步骤S103中，将人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力。
进一步地，在一些实施例中，将人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力，包括：利用双重PD控制器得到最优的目标加速度；在预设二次规划框架下，基于刚体力学和真实世界物理规律优化出人体姿态、运动、关节受力和地面作用力。
Figure 155936DEST_PATH_IMAGE011
其中，
Figure 129708DEST_PATH_IMAGE002
为根节点线性加速度和关节角加速度，
Figure 755861DEST_PATH_IMAGE003
为作用于人-地接触点的地面接触力，
Figure 812155DEST_PATH_IMAGE004
为人体关节力矩，
Figure 181956DEST_PATH_IMAGE005
为人-地接触点雅可比矩阵，c为人-地接触点，
Figure 338131DEST_PATH_IMAGE006
为双重PD控制器能量项，
Figure 72869DEST_PATH_IMAGE007
为优化正则项，M为人体惯性矩阵，h为包括科里奥利力、离心力和重力等项的非线性项，
Figure 681705DEST_PATH_IMAGE008
为地面接触力的摩擦锥约束集，
Figure 589618DEST_PATH_IMAGE009
为人-地接触关节的线速度，j为人体触地关节，
Figure 537982DEST_PATH_IMAGE010
为触地关节的线速度约束集。
其中，在一些实施例中，双重PD控制器为控制人体局部姿态的关节旋转PD控制器和控制人体全局姿态的关节位置PD控制器。
具体而言，本申请实施例可以首先使用双重PD控制器得到最优的目标加速度，接着在一个二次规划框架下基于刚体力学和真实世界物理规律实时优化出人体姿态、全局运动、关节受力、和地面接触力。具体地，本申请实施例的人体动力学模型模拟一个和真人具有相似质量分布和外观形状的自由（6DOF（Degree Of Freedom，自由度））运动机器人。该机器人由3DOF转动关节和这些关节相连的刚体组成。其中，本申请实施例将根节点拆分为一个3DOF滑动关节和一个3DOF转动关节，以保证机器人6DOF的运动自由度。机器人的关节的定义和真实人体保持一致；关节连接的刚体则模拟人体肢体的形状和质量。记机器人的位姿（configuration）为q，其中，q的前三个自由度为根节点3DOF滑动关节的位姿（xyz平移量），第3-6自由度为根节点3DOF转动关节的位姿（xyz转动角度，即本地欧拉角表示），第6以后的自由度为其他人体转动关节的位姿。称
Figure 505938DEST_PATH_IMAGE044
（根节点线速度+关节角速度）和
Figure 539753DEST_PATH_IMAGE045
（根节点线性加速度+关节角加速度）为广义速度和广义加速度。该机器人由关节力矩向量
Figure 251357DEST_PATH_IMAGE046
控制，每个自由度与q对应。为了融合步骤S102中的人体运动学模型和本步骤中的人体动力学模型（即控制该机器人），本申请实施例提出新颖的双重比例-微分（PD）控制器，该控制器包括一个关节角度PD控制器和一个关节位置PD控制器，分别以步骤3中输出的关节旋转和关节速度为输入，基于当前模拟机器人的位姿和速度状态，给出最优的角加速度和线加速度用于控制机器人模仿步骤S102预测结果的运动。关节角度PD控制器的具体计算形式如下：
Figure 382124DEST_PATH_IMAGE047
（4）
其中，
Figure 458665DEST_PATH_IMAGE048
和
Figure 776514DEST_PATH_IMAGE049
是模拟机器人当前的所有旋转关节的位姿及其对应角速度。
Figure 229492DEST_PATH_IMAGE050
将上述步骤S102中估计的以6D旋转表示的人体姿态转换成本地欧拉角（对应机器人旋转关节的位姿）。
Figure 214765DEST_PATH_IMAGE051
为关节角度PD控制器的比例和微分系数。
关节位置PD控制器的具体计算形式如下：
Figure 524524DEST_PATH_IMAGE052
（5）
其中，
Figure 267352DEST_PATH_IMAGE053
为关节位置PD控制器的比例和微分系数，r为模拟机器人当前关节位置坐标，参考坐标
Figure 320759DEST_PATH_IMAGE054
可由下式计算获得：
Figure 160539DEST_PATH_IMAGE055
（6）
其中，
Figure 578882DEST_PATH_IMAGE056
将步骤S102中估计的关节在根节点坐标系下的线速度映射为在全局坐标系下的线速度，
Figure 136902DEST_PATH_IMAGE057
为物理模拟时间步长。关节位置PD控制器计算式中的
Figure 728420DEST_PATH_IMAGE059
为当前模拟机器人的关节线速度，可由当前机器人的广义位姿速度计算获得：
Figure 617180DEST_PATH_IMAGE060
（7）
其中，
Figure 268741DEST_PATH_IMAGE061
为机器人的关节雅克比矩阵，可由机器人当前位姿q计算获得，具体计算方式可参考刚体动力学或机器人学的基础资料。
基于上述计算，本申请实施例提出的双重PD控制器将步骤S102人体运动学模型中基于深度学习预测的人体姿态和运动转化为本步骤中用于控制机器人的最优控制加速度（包括关节角加速度、关节线加速度）。双重PD控制器的优势在于，可以实现对人体位姿的同时局部控制（通过关节角度PD控制器）和全局控制（通过关节位置控制器），并且在后续的优化步骤可以发现，提出的关节位置的全局控制可以自然的引入到二次规划的框架中，未引入复杂的非线性计算，保证了系统的实时求解。
进一步地，本申请实施例可以建立基于刚体力学和真实世界物理规律的人体姿态、全局运动、关节受力、和地面接触力共同优化框架。为了实时优化，本申请实施例将所有约束线性化，目标函数均设置为优化变量的二次形式，从而将整个框架建立为二次规划问题，并使用二次规划求解器进行快速求解。
进一步地，在一些实施例中，预设二次规划框架的数学表达式为：
Figure 986162DEST_PATH_IMAGE062
（8）
其中，
Figure 381371DEST_PATH_IMAGE063
为根节点线性加速度和关节角加速度，
Figure 195743DEST_PATH_IMAGE064
为作用于人-地接触点的地面接触力，
Figure 955889DEST_PATH_IMAGE065
为人体关节力矩，
Figure 222922DEST_PATH_IMAGE066
为人-地接触点雅可比矩阵，c为人-地接触点，
Figure 421822DEST_PATH_IMAGE067
为双重PD控制器能量项，
Figure 28384DEST_PATH_IMAGE068
为优化正则项，M为人体惯性矩阵，h为包括科里奥利力、离心力和重力等项的非线性项，
Figure 21748DEST_PATH_IMAGE069
为地面接触力的摩擦锥约束集，
Figure 713760DEST_PATH_IMAGE070
为人-地接触关节的线速度，j为人体触地关节，
Figure 716351DEST_PATH_IMAGE071
为触地关节的线速度约束集。
首先，本申请实施例介绍优化的目标函数，接下来分别介绍每条约束。
在优化的目标函数中，
Figure 239736DEST_PATH_IMAGE072
为双重PD控制器的能量项。该项具体包括两个组成部分，分别对应关节旋转PD控制器和关节位置PD控制器，要求机器人应产生近似最优的加速度：
Figure 341685DEST_PATH_IMAGE073
（9）
Figure 583310DEST_PATH_IMAGE074
（10）
Figure 61696DEST_PATH_IMAGE075
（11）
其中，
Figure 439588DEST_PATH_IMAGE076
和
Figure 40333DEST_PATH_IMAGE077
均设置为1。
Figure 441359DEST_PATH_IMAGE078
为优化的正则项。该项具体包括三个组成部分：
Figure 785753DEST_PATH_IMAGE079
用于惩罚机器人对Signorini接触条件的违背；
Figure 952904DEST_PATH_IMAGE080
限制根节点产生的虚拟力要小（因为真实的6DOF自由运动的机器人根关节不应产生力矩或力）；
Figure 724551DEST_PATH_IMAGE081
限制关节力矩的大小以防止出现力矩过大的情况。具体形式如下：
Figure 675190DEST_PATH_IMAGE082
（12）
Figure 495378DEST_PATH_IMAGE083
（13）
Figure 847862DEST_PATH_IMAGE084
（14）
Figure 728093DEST_PATH_IMAGE085
（15）
其中，
Figure 166028DEST_PATH_IMAGE086
为人-地接触点c离地面的垂直距离，
Figure 789907DEST_PATH_IMAGE087
为人-地接触点数量，
Figure 996898DEST_PATH_IMAGE088
为作用于c点的地面接触力，
Figure 110347DEST_PATH_IMAGE089
系数分别设置为10, 0.1,和0.001。对于接触点的判断，本申请实施例区分脚部和其他身体部分。当预测的脚与地面接触概率超过0.5且本步骤中模拟机器人脚部离地面距离小于3cm时，认为脚与地面发生接触。其他关节则与地面发生碰撞则认为发生接触。对每个接触的关节，本申请实施例以该关节为中心画一个正方形模拟为接触面，四个顶点则为接触点。本申请实施例发现假设面接触比假设点接触更加稳定。
进一步地，对于优化框架中的动力学方程约束，该约束遵循刚体力学原理，建模了广义加速度
Figure 973261DEST_PATH_IMAGE090
和人体受力之间的关系。其中，机器人的惯性矩阵M通过CRBA算法（CompositeRigid Body Algorithm，刚体动力学算法），由机器人当前位姿q计算得到；非线性效应物理量h通过RNEA算法（Recursive Newton-Euler algorithm，RNEA）由机器人当前位姿q和广义加速度
Figure 197569DEST_PATH_IMAGE091
计算得到；人-地接触点雅克比矩阵
Figure 524645DEST_PATH_IMAGE092
由机器人当前位姿q计算得到。具体细节可参考刚体动力学基础资料。该方程表达了优化变量
Figure 481100DEST_PATH_IMAGE093
之间应满足的物理规律。
进一步地，优化框架中的摩擦锥约束限制地面接触力的取值。该约束表达了地面摩擦力不可以超过地面支持力乘以人-地摩擦系数，以及地面支持力不可以为负数（指向地面以下）。由于该约束为二次形式，为了将其融入到二次规划框架中，本申请实施例将该约束线性化为：
Figure 893627DEST_PATH_IMAGE094
（16）
其中，上标
Figure 859308DEST_PATH_IMAGE095
表示x轴分量，y和z同理。本申请实施例取摩擦系数
Figure 40891DEST_PATH_IMAGE096
模拟真实世界情况。
优化框架中的接触滑动约束限制接触地面的关节不应与地面发生相对滑动，即满足静摩擦假设。其中触地关节的线速度
Figure 496143DEST_PATH_IMAGE097
是优化变量
Figure 68070DEST_PATH_IMAGE098
的函数，可由
Figure 634181DEST_PATH_IMAGE099
模拟机器人的触地关节雅克比矩阵
Figure 876462DEST_PATH_IMAGE100
、和广义速度
Figure 502615DEST_PATH_IMAGE101
计算得到：
Figure 624155DEST_PATH_IMAGE102
（17）
假设触地关节的线速度应尽可能的小（小于阈值
Figure 931639DEST_PATH_IMAGE103
），该约束的数学形式为：
Figure 87814DEST_PATH_IMAGE104
（18）
其中，
Figure 822552DEST_PATH_IMAGE105
为触地关节数量。
到此，整个优化框架介绍完毕。本申请实施例通过通用的二次规划求解器求解该优化问题，从而得到模拟机器人的关节力矩
Figure 431388DEST_PATH_IMAGE106
，地面接触力
Figure 339301DEST_PATH_IMAGE107
，以及机器人产生的广义加速度
Figure 287666DEST_PATH_IMAGE108
。最终，本申请实施例可以用该广义加速度更新机器人的位姿，得到当前帧的位姿：
Figure 255622DEST_PATH_IMAGE109
（19）
Figure 289437DEST_PATH_IMAGE110
（20）
其中，t表示第t帧，本申请实施例最终得到了更新后的符合真实世界物理规律的人体位姿
Figure 1041DEST_PATH_IMAGE111
（包括人体姿态、运动）、地面接触力
Figure 866229DEST_PATH_IMAGE112
、和人体关节力矩
Figure 942769DEST_PATH_IMAGE113
。
进一步地，将上述获取到的人体姿态、运动、关节受力、和地面作用力等信息实时渲染在屏幕上并保存数据，该数据可用于其他任务中的姿态、受力分析，图5为本申请一个实施例的人体关节力矩可视化、地面接触力可视化和人体动作捕捉可视化的结果示例。如图5的（a）所示，图5的（a）为人体关节力矩估计结果示意图，方框中的人体手臂灰度越大则表示预测的受力较大，当做出一个挥手的动作时，在挥手到最边缘的位置胳膊因加速而发力，符合正常的直觉。图5的（b）所示，黑色线表示地面接触力的大小和方向，方框内肢体表示肢体发力预测情况。两只脚和地面的作用力随人体重心位置改变而改变。图5的（c）为动捕结果的展示，本申请实施例可以精确地进行实时人体动作捕捉。值得注意的是，本申请实施例的系统可以实时同时完成这些信息（人体姿态、运动、关节受力、和地面接触力）的捕捉和估计。
根据本申请实施例的稀疏IMU实时人体动作捕捉及关节受力预测方法，通过惯性传感器采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部的惯性数据，得到骨骼在人体坐标系中的骨骼朝向和加速度，将骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息并输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力。由此，解决了需要通过绑定大量的传感器进行人体动捕及关节受力预测，从而阻碍人体运动等问题，通过双重PD控制器连接人体运动学模型和人体动力学模型，融合为一个整体的稀疏惯性动捕和受力预测系统，从而实现了可靠的实时人体动捕及关节受力预测。
其次参照附图描述根据本申请实施例提出的稀疏IMU实时人体动作捕捉及关节受力预测系统。
图6是本申请实施例的稀疏IMU实时人体动作捕捉及关节受力预测系统的方框示意图。
如图6所示，该稀疏IMU实时人体动作捕捉及关节受力预测系统10包括：采集模块100、第一预测模块200和第二预测模块300。
其中，采集模块100用于采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器测量的惯性数据；
第一预测模块200用于根据惯性数据得到骨骼在人体坐标系中的骨骼朝向和加速度，并将骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息；以及
第二预测模块300用于将人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力。
进一步地，在一些实施例中，第二预测模块300，具体用于：
利用双重PD控制器得到最优的目标加速度；
在预设二次规划框架下，基于刚体力学和真实世界物理规律优化出人体姿态、运动、关节受力和/或地面作用力。
进一步地，在一些实施例中，预设二次规划框架的数学表达式为：
Figure 526197DEST_PATH_IMAGE114
其中，
Figure 41492DEST_PATH_IMAGE063
为根节点线性加速度和关节角加速度，
Figure 698869DEST_PATH_IMAGE064
为作用于人-地接触点的地面接触力，
Figure 8628DEST_PATH_IMAGE065
为人体关节力矩，
Figure 17035DEST_PATH_IMAGE066
为人-地接触点雅可比矩阵，c为人-地接触点，
Figure 70442DEST_PATH_IMAGE067
为双重PD控制器能量项，
Figure 910222DEST_PATH_IMAGE068
为优化正则项，M为人体惯性矩阵，h为包括科里奥利力、离心力和重力等项的非线性项，
Figure 325635DEST_PATH_IMAGE069
为地面接触力的摩擦锥约束集，
Figure 883656DEST_PATH_IMAGE070
为人-地接触关节的线速度，j为人体触地关节，
Figure 475174DEST_PATH_IMAGE071
为触地关节的线速度约束集。
进一步地，在一些实施例中，在根据惯性数据得到骨骼在人体坐标系中的朝向和加速度之前，第一预测模块200，还用于：
基于被捕捉者维持T-pose预设时长，计算IMU朝向和骨骼朝向的偏差，得到校准偏差矩阵。
进一步地，在一些实施例中，第一预测模块200，具体用于：
以骨骼惯性值作为输入，通过第一循环神经网络预测末端关节相对于根节点的第一三维坐标；
拼接上惯性值，并通过第二循环神经网络预测全部关节相对于根节点的第二三维坐标；
拼接骨骼惯性值和第二三维坐标，并通过第三至第五循环神经网络分别预测人体关节旋转、全部关节在根节点坐标系下的线速度、脚-地接触概率。
进一步地，在一些实施例中，循环神经网络为LSTM网络，在预测人体姿态、运动、以及人-地接触信息之前，第一预测模块200，还用于：
将每段训练序列的开始姿态通过全连接网络，预测隐藏状态向量；
将隐藏状态向量作为LSTM训练的初始隐藏状态。
根据本申请实施例的稀疏IMU实时人体动作捕捉及关节受力预测系统，通过惯性传感器采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部的惯性数据，得到骨骼在人体坐标系中的骨骼朝向和加速度，将骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息并输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力。由此，解决了需要通过绑定大量的传感器进行人体动捕及关节受力预测，从而阻碍人体运动等问题，通过双重PD控制器连接人体运动学模型和人体动力学模型，融合为一个整体的稀疏惯性动捕和受力预测系统，从而实现了可靠的实时人体动捕及关节受力预测。
图7为本申请实施例提供的电子设备的结构示意图。该电子设备可以包括：
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
处理器702执行程序时实现上述实施例中提供的稀疏IMU实时人体动作捕捉及关节受力预测方法。
进一步地，电子设备还包括：
通信接口703，用于存储器701和处理器702之间的通信。
存储器701，用于存放可在处理器702上运行的计算机程序。
存储器701可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。
如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（Industry Standard Architecture，简称为ISA）总线、外部设备互连（PeripheralComponent，简称为PCI）总线或扩展工业标准体系结构（Extended Industry StandardArchitecture，简称为EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选地，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
处理器702可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者是被配置成实施本申请实施例的一个或多个集成电路。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的稀疏IMU实时人体动作捕捉及关节受力预测方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或N个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种稀疏IMU实时人体动作捕捉及关节受力预测方法，其特征在于，包括以下步骤：
采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器测量的惯性数据；
根据所述惯性数据得到骨骼在人体坐标系中的骨骼朝向和加速度，并将所述骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息；以及
将所述人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力；
其中，所述将所述人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力，包括：利用双重PD控制器得到最优的目标加速度；在预设二次规划框架下，基于刚体力学和真实世界物理规律优化出所述人体姿态、运动、关节受力和地面作用力；
所述预设二次规划框架以硬约束建模了人-地接触和人体动力学，其数学表达式为：
Figure 231325DEST_PATH_IMAGE001
其中，
Figure 372457DEST_PATH_IMAGE002
为根节点线性加速度和关节角加速度，
Figure 136013DEST_PATH_IMAGE003
为作用于人-地接触点的地面接触力，
Figure 235556DEST_PATH_IMAGE004
为人体关节力矩，
Figure 248512DEST_PATH_IMAGE005
为人-地接触点雅可比矩阵，c为人-地接触点，
Figure 396596DEST_PATH_IMAGE006
为双重PD控制器能量项，
Figure 76976DEST_PATH_IMAGE007
为优化正则项，M为人体惯性矩阵，h为包括科里奥利力、离心力和重力等项的非线性项，
Figure 81842DEST_PATH_IMAGE008
为地面接触力的摩擦锥约束集，
Figure 785355DEST_PATH_IMAGE009
为人-地接触关节的线速度，j为人体触地关节，
Figure 533869DEST_PATH_IMAGE010
为触地关节的线速度约束集；
所述将所述骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息，包括：以骨骼惯性值作为输入，通过第一循环神经网络预测末端关节相对于根节点的第一三维坐标；拼接上所述惯性值，并通过第二循环神经网络预测全部关节相对于根节点的第二三维坐标；拼接所述骨骼惯性值和所述第二三维坐标，并通过第三至第五循环神经网络分别预测人体关节旋转、全部关节在根节点坐标系下的线速度、脚-地接触概率。
2.根据权利要求1所述的方法，其特征在于，在根据所述惯性数据得到所述骨骼在所述人体坐标系中的朝向和加速度之前，还包括：
基于被捕捉者维持T-pose预设时长，计算IMU朝向和骨骼朝向的偏差，得到校准偏差矩阵。
3.根据权利要求1所述的方法，其特征在于，循环神经网络为LSTM网络，在预测所述人体姿态、运动、以及人-地接触信息之前，还包括：
将每段训练序列的开始姿态通过全连接网络，预测隐藏状态向量；
将所述隐藏状态向量作为LSTM训练的初始隐藏状态。
4.根据权利要求1所述的方法，其特征在于，所述双重PD控制器为控制人体局部姿态的关节旋转PD控制器和控制人体全局姿态的关节位置PD控制器。
5.一种稀疏IMU实时人体动作捕捉及关节受力预测系统，其特征在于，包括：
采集模块，用于采集人体的左手腕处、右手腕处、左膝下部、右膝下部、头部和腰部处的惯性传感器检测的惯性数据；
第一预测模块，用于根据所述惯性数据得到骨骼在人体坐标系中的朝向和加速度，并将所述骨骼朝向和加速度输入至预设的人体运动学模型，预测人体姿态、运动、以及人-地接触信息；以及
第二预测模块，用于将所述人体姿态、运动、以及人-地接触信息输入至预设的人体动力学模型，预测人体姿态、运动、关节受力和地面作用力；
其中，所述第二预测模块，具体用于：利用双重PD控制器得到最优的目标加速度；在预设二次规划框架下，基于刚体力学和真实世界物理规律优化出所述人体姿态、运动、关节受力和地面作用力；
所述预设二次规划框架以硬约束建模了人-地接触和人体动力学，其数学表达式为：
Figure 68755DEST_PATH_IMAGE011
其中，
Figure 447784DEST_PATH_IMAGE002
为根节点线性加速度和关节角加速度，
Figure 700911DEST_PATH_IMAGE003
为作用于人-地接触点的地面接触力，
Figure 987535DEST_PATH_IMAGE004
为人体关节力矩，
Figure 314612DEST_PATH_IMAGE005
为人-地接触点雅可比矩阵，c为人-地接触点，
Figure 926859DEST_PATH_IMAGE006
为双重PD控制器能量项，
Figure 401702DEST_PATH_IMAGE012
为优化正则项，M为人体惯性矩阵，h为包括科里奥利力、离心力和重力等项的非线性项，
Figure 695280DEST_PATH_IMAGE008
为地面接触力的摩擦锥约束集，
Figure 204759DEST_PATH_IMAGE009
为人-地接触关节的线速度，j为人体触地关节，
Figure 660011DEST_PATH_IMAGE010
为触地关节的线速度约束集；
所述第一预测模块，具体用于：以骨骼惯性值作为输入，通过第一循环神经网络预测末端关节相对于根节点的第一三维坐标；拼接上所述惯性值，并通过第二循环神经网络预测全部关节相对于根节点的第二三维坐标；拼接所述骨骼惯性值和所述第二三维坐标，并通过第三至第五循环神经网络分别预测人体关节旋转、全部关节在根节点坐标系下的线速度、脚-地接触概率。
6.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的稀疏IMU实时人体动作捕捉及关节受力预测方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的稀疏IMU实时人体动作捕捉及关节受力预测方法。
CN202210312217.0A 2022-03-28 2022-03-28 稀疏imu实时人体动作捕捉及关节受力预测方法及系统 Active CN114417738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210312217.0A CN114417738B (zh) 2022-03-28 2022-03-28 稀疏imu实时人体动作捕捉及关节受力预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210312217.0A CN114417738B (zh) 2022-03-28 2022-03-28 稀疏imu实时人体动作捕捉及关节受力预测方法及系统

Publications (2)

Publication Number Publication Date
CN114417738A CN114417738A (zh) 2022-04-29
CN114417738B true CN114417738B (zh) 2022-06-24

Family

ID=81263901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210312217.0A Active CN114417738B (zh) 2022-03-28 2022-03-28 稀疏imu实时人体动作捕捉及关节受力预测方法及系统

Country Status (1)

Country Link
CN (1) CN114417738B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115847422A (zh) * 2022-12-29 2023-03-28 帕西尼感知科技(张家港)有限公司 一种用于遥操作的姿态识别方法、装置及系统
CN116092120B (zh) * 2022-12-30 2023-12-05 北京百度网讯科技有限公司 基于图像的动作确定方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242887A (zh) * 2018-07-27 2019-01-18 浙江工业大学 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
CN111783679A (zh) * 2020-07-04 2020-10-16 北京中科深智科技有限公司 一种基于摄像头和imu数据混合的实时全身动捕系统、方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202026846A (zh) * 2019-01-04 2020-07-16 香港商成境科技有限公司 動作捕捉方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242887A (zh) * 2018-07-27 2019-01-18 浙江工业大学 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
CN111783679A (zh) * 2020-07-04 2020-10-16 北京中科深智科技有限公司 一种基于摄像头和imu数据混合的实时全身动捕系统、方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Huang Y等.Deep inertial poser: Learning to reconstruct human pose from sparse inertial measurements in real time.《ACM Transactions on Graphics》.2018, *
Von Marcard T等.Sparse inertial poser: Automatic 3d human pose estimation from sparse imus.《Computer Graphics Forum》.2017, *
Yi X等.TransPose: real-time 3D human translation and pose estimation with six inertial sensors.《ACM Transactions on Graphics》.2021, *

Also Published As

Publication number Publication date
CN114417738A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN114417738B (zh) 稀疏imu实时人体动作捕捉及关节受力预测方法及系统
CN101579238B (zh) 人体运动捕获三维再现系统及其方法
US8467904B2 (en) Reconstruction, retargetting, tracking, and estimation of pose of articulated systems
US7859540B2 (en) Reconstruction, retargetting, tracking, and estimation of motion for articulated systems
CN107256284B (zh) 一种实时交互式四足机器人多步态动力学建模方法及系统
JPH10149445A (ja) 身体動作解析可視化装置
CN104808510B (zh) 虚拟航天员多层次运动控制仿真方法
CN108279773B (zh) 一种基于marg传感器和磁场定位技术的数据手套
WO2024094227A1 (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
CN106970705A (zh) 动作捕捉方法、装置和电子设备
Wu et al. Leveraging vision and kinematics data to improve realism of biomechanic soft tissue simulation for robotic surgery
Maycock et al. Robust tracking of human hand postures for robot teaching
CN110456902A (zh) 跟踪用户移动以控制计算机系统中的骨架模型
CN114792028A (zh) 基于物理的高性能仿生水下机器人仿真训练平台构建方法
Callejas-Cuervo et al. Capture and analysis of biomechanical signals with inertial and magnetic sensors as support in physical rehabilitation processes
Lu et al. 6n-dof pose tracking for tensegrity robots
CN111062247B (zh) 一种面向外骨骼控制的人体运动意图预测方法
CN112140110A (zh) 一种康复机器人患者实际力矩计算方法及系统
Ángel-López et al. Kinematic hand analysis using motion capture technology
Hunt et al. Predictive trajectory estimation during rehabilitative tasks in augmented reality using inertial sensors
Katusin Glove for Augmented and Virtual Reality
Zhang et al. Ubiquitous human body motion capture using micro-sensors
Nicolas et al. From bone to plausible bipedal locomotion using inverse kinematics
Friedmann et al. Adequate motion simulation and collision detection for soccer playing humanoid robots
CN116265202A (zh) 一种机器人的控制方法、装置及介质、一种机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant