CN109242887A - 一种基于多摄像机和imu的实时人体上肢动作捕捉方法 - Google Patents

一种基于多摄像机和imu的实时人体上肢动作捕捉方法 Download PDF

Info

Publication number
CN109242887A
CN109242887A CN201810845587.4A CN201810845587A CN109242887A CN 109242887 A CN109242887 A CN 109242887A CN 201810845587 A CN201810845587 A CN 201810845587A CN 109242887 A CN109242887 A CN 109242887A
Authority
CN
China
Prior art keywords
imu
indicates
data
bone
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810845587.4A
Other languages
English (en)
Inventor
禹鑫燚
王正安
欧林林
朱熠琛
柏继华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810845587.4A priority Critical patent/CN109242887A/zh
Publication of CN109242887A publication Critical patent/CN109242887A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多摄像机和IMU的实时人体上肢动作捕捉方法，包括：步骤1：建立人体上肢的运动学模型；步骤2：构建能量函数；步骤3：能量函数最小化；本发明针对陀螺仪、加速度计、图像的传感器信息和先验知识设计了能量函数，以最优化的思想，通过最小化能量函数融合了来自不同传感器的信息，一定程度上解决了图像信息在面对遮挡时的问题，以及IMU无法获得准确的全局信息的问题，使得人体动作捕捉问题在降低成本的同时，保证了精度和实时性。

Description

一种基于多摄像机和IMU的实时人体上肢动作捕捉方法
技术领域
本发明涉及上肢的人体动作捕捉技术，基于优化的方法，本发明融合了视觉，IMU和先验知识的信息，在实时条件下实现了对被测人员方位和姿态信息的完整识别。
背景技术
人体姿态识别一直以来都是被广泛研究的课题，在人机交互，虚拟现实，影视和游戏制作等领域有着广泛的应用。
目前人体动作捕捉的解决方案可以大致分为三种，基于光学标记的人体动作捕捉，基于IMU的人体动作捕捉和基于图像的人体姿态识别。基于光学标记的方法是较为成熟的解决方案，目前有Vicon，OptiTrack等公司掌握着这项技术，该方法实时性好，精度较高，但系统整体成本很高，佩戴标记不方便，适用的场景较为受限。相比之下，基于IMU的方法成本较低，便携性好，没有场景限制von Marcard等人提出一种方法，利用6个IMU的陀螺仪和加速度信息，结合了人体关节限制的先验知识实现了人体动作的捕捉(von Marcard,T.,etal.(2017).Sparse inertial poser:Automatic 3d human pose estimation fromsparse imus.Computer Graphics Forum,Wiley Online Library.)，但该方法只能用于离线形式的人体姿态识别，无法在实时条件下使用，而且在缺少视觉信息输入的情况下，全局的人体方位信息会由于IMU的误差累计而发生漂移。基于图像的人体动作捕捉只需要彩色图像作为输入，Cao等人基于人工神经网络提出一种2D的多人人体关节的识别方法(Cao,Z.,et al.(2017).Realtime multi-person 2d pose estimation using part affinityfields.CVPR.)，Mehta等人利用单目相机实现了对3D人体关节位置的估计(Mehta,D.,etal.(2017)."Vnect:Real-time 3d human pose estimation with a single rgbcamera."ACM Transactions on Graphics(TOG)36(4):44.)，但由于只使用了单个相机，该类方法在深度信息上无法保证精度。
发明内容
本发明克服现有方法上的缺点，提出一种基于多摄像机和IMU的实时人体上肢动作捕捉方法，在有效降低系统成本的同时，保证了动作捕捉的实时性和精度。
本发明针对来自多个传感器的信息分别建立了能量函数，通过在优化框架下最小化能量函数的方法来对人体的当前姿态进行估计。首先，本发明针对需要进行捕捉的人体对象建立了上肢的运动学模型，上肢的动作通过关节角表示，配合正运动学可以求解出各个骨骼关节的姿态和位置。其次，本发明通过在被测人员身上佩戴IMU并将IMU中的陀螺仪和加速度计的数据与运动学模型的解算结果进行对比的方式建立了能量函数，对于来自多个摄像机的图像，对这些图像进行降采样并拼接至同一幅图中，使用CPM对拼接后的图像进行2D人体关节的检测，将检测结果与运动学模型的解算结果投影至图像平面后的数据进行比较，建立了能量函数。此外，本发明针对数据集中一系列人体姿态的数据进行了分析，建立了能量函数，对优化问题加入了限制。最后，优化框架在每个数据周期内对能量函数进行最小化来得到当前周期的人体姿态。
一种基于多摄像机和IMU的实时人体上肢动作捕捉方法，具体步骤如下：
步骤1：建立人体上肢的运动学模型
本发明将将人体骨骼视为互相连接的刚体，对于人体上肢，定义其骨骼总数为nb,其中b表示对应的骨骼，对于根骨骼b＝1具有全局的绝对位置信息t1和姿态信息R1，对于每个子骨骼b∈[2,nb]都与其父骨骼有相对的旋转变换矩阵Rb和确定的位移tb。连接每个骨骼之间的关节具有三个旋转自由度，其中根关节(本系统中为腰部)除了3个旋转自由度外，还拥有3个方位自由度x，y，z用来表示人体的世界坐标。在本发明中，使用d＝3+3×nb维的向量θ表示上肢的运动，可以以此求解得出每个骨骼对应的空间变换表达式
其中P(b)为全部父骨骼的集合。
步骤2：构建能量函数
在本发明中，为了建立优化问题，需要针对各个传感器的数据建立能量函数，通过最小化能量函数来达到融合传感器数据并预测人体姿态的目的。本发明中，能量函数如(2)表示，
其中ER(θ)，EP(θ)，EA(θ)分别代表旋转项，位置项，加速度项，EP(θ)表示了人体姿态的先验约束项。
本发明针对IMU的陀螺仪数据和加速度数据，建立了旋转项ER(θ)和加速度项ER(θ)。
本发明中，每个IMU都有一个与之对应的跟踪骨骼，本系统中我们使用了ni个IMU，其中i与骨骼编号b相对应。每个IMU与对应骨骼之间的方位和旋转变换关系分别由tib和Rib表示。IMU的参考坐标系与全局坐标系的转换关系为Rg。IMU的旋转测量值(相对于IMU自身的惯性参考系)以及加速度值(相对IMU的设备参考系)分别为Ri和ai。此外，我们定义了np个位置跟踪目标的集合，其中p和骨骼bp相对应，两者之间的方位关系由tpb表示。
旋转项的定义如下：
其中ψ(·)表示将旋转矩阵转化为四元数表达形式并提取其向量部分的操作，λR是旋转项的权重常数，ρR(·)表示损失函数，定义为ρ(x)＝log(1+x)，和分别表示跟踪目标bi的旋转测量值和旋转计算值。
跟踪目标在全局坐标系下的旋转测量值为可通过IMU陀螺仪的测量值Ri和IMU与对应跟踪目标之间的偏移Rib和Rg计算得出，公式如下：
跟踪目标在全局坐标系下的旋转计算值可由正运动学的公式推导得出，根据公式(1)在忽略位移的情况下，的计算公式为：
加速度项的定义如下：
其中λA表示加速度项的权重常数，ρA(·)表示损失函数，和分别表示跟踪目标bi的加速度测量值和加速度计算值。
为了求解跟踪目标的加速度计算值，设定了一个3帧的窗口以观察当前帧t，以及前两帧t-1，t-2的位置预测数据，将预测位置以表示。t-1时刻的的计算使用了中心有限差分，通过使用前两帧的位置以及欲求解的当前帧位置来计算得出，公式如下：
其中Δt表示IMU测量值的采样周期。
t-1时刻的的计算公式如下：
其中ag表示重力加速度。
本发明针对来自多台摄像机的彩色图像的数据，建立了位置项EP(θ)。对于所有的相机定义集合nc，其中每个相机c有其对应的经过标定得到的投影矩阵Pc。来自相机的图像在经过CPM模型的识别后，可以得到跟踪目标p在图像中的位置测量值，由表示，此外，CPM还会输出每个测量值对应的置信度
位置项的定义如下：
其中λP是位置项的权重常数，ρP(·)是损失函数，定义为ρ(x)＝log(1+x)，和分别为跟踪目标的位置测量值和位置计算值。
跟踪目标在全局坐标系下的位置可以通过根据公式(1)在忽略旋转的情况下得出，具体公式如下：
其中操作符τT(·)表示通过位移向量创建位移变换矩阵，τt(·)表示从位移变换矩阵中构建位移向量。目标的全局位置投影到每个相机坐标系，可以获得在每个相机坐标系下2D的目标测量值：
其中，操作符dh(·)表示进行去除三维向量组后一维的操作。
最后，为了更好的限制优化问题，本发明通过分析现有的动作捕捉数据集，建立了人体姿态的先验约束项EP(θ)。表示如下
其中λPC是先验约束项的权重常数，ρPC是损失函数，定义为ρ(x)＝log(1+x)其中为θ减去前6维的数据得到的向量，μ是对数据集中所有数据进行k-means聚类并取均值后得到的中心姿态向量，σ表示数据集中的数据相对于μ的标准差。
步骤3：能量函数最小化
本发明使用ceres-solver通过非线性最小二乘优化的方法对公式(2)中的能量函数进行最小化。首先，将公式(3)(6)(9)(12)写成ceres-solver中的函数模板形式，然后依据来自IMU和图像中的数据，使用ceres-solver中的Levenberg-Marquardt方法配合sparsenormal Cholesky linear solver进行能量函数最小值的求解，最后得到当前的动作向量θ。
本发明的优点在于，本发明针对陀螺仪、加速度计、图像的传感器信息和先验知识设计了能量函数，以最优化的思想，通过最小化能量函数融合了来自不同传感器的信息，一定程度上解决了图像信息在面对遮挡时的问题，以及IMU无法获得准确的全局信息的问题，使得人体动作捕捉问题在降低成本的同时，保证了精度和实时性。
附图说明
图1是本发明的流程图。
图2是本发明的IMU配置图。
图3是本发明的初始化示意图。
图4是本发明的动作捕捉效果图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
本发明是一种基于多摄像机和IMU的实时人体上肢动作捕捉方法，具体过程如下：
本实例中使用了两台彩色相机和5个九轴IMU来实现人体上肢姿态的捕捉。IMU的粘贴部位分别为下背部、左大臂、右大臂、左手和右手，如图2所示。
步骤1：捕捉系统初始化
在捕捉开始前，需要被测对象按照预先设定的姿势站好，以获取IMU和跟踪目标的固定旋转偏移Rib，本实例中，预先设定的姿势由图3中的线条表示。
步骤2：传感器信息处理
本实例中使用的9轴惯性传感器将陀螺仪的数据Ri和加速度计的数据ai通过蓝牙发送上位机中，所有的数据直接基于参考坐标系表示，因此Rg为单位矩阵。两台彩色像机与上位机通过USB3.0连接，两台相机通过棋盘标定法分别得到了投影P1和P2，相机获取的彩色图片经过CPM后可以得到上肢各个关节的图像坐标信息以及对应的置信度由图3中标出的圆圈表示。
步骤3：能量函数的最小化
将步骤2中得到的数据带入公式(2)中，使用ceres-solver中的Levenberg-Marquardt方法配合sparse normal Cholesky linear solver对(2)进行最优化的求解，最后得到当前的动作向量θ。人体姿态的识别结果如图4所示。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.基于多摄像机和IMU的实时人体上肢动作捕捉方法，具体步骤如下：
步骤1：建立人体上肢的运动学模型；
该运动学模型将人体骨骼视为互相连接的刚体，对于人体上肢，定义其骨骼总数为nb,其中b表示对应的骨骼，对于根骨骼b＝1具有全局的绝对位置信息t1和姿态信息R1，对于每个子骨骼b∈[2,nb]都与其父骨骼有相对的旋转变换矩阵Rb和确定的位移tb；连接每个骨骼之间的关节具有三个旋转自由度，其中根关节除了3个旋转自由度外，还拥有3个方位自由度x，y，z用来表示人体的世界坐标；该模型使用d＝3+3×nb维的向量θ表示上肢的运动，可以以此求解得出每个骨骼对应的空间变换表达式
其中P(b)为全部父骨骼的集合；
步骤2：构建能量函数；
为了建立优化问题，需要针对各个传感器的数据建立能量函数，通过最小化能量函数来达到融合传感器数据并预测人体姿态的目的；能量函数如(2)表示，
其中ER(θ)，EP(θ)，EA(θ)分别代表旋转项，位置项，加速度项，EP(θ)表示了人体姿态的先验约束项；
针对IMU的陀螺仪数据和加速度数据，建立了旋转项ER(θ)和加速度项ER(θ)；
本方法使用ni个IMU，每个IMU都有一个与之对应的跟踪骨骼，，其中i与骨骼编号b相对应；每个IMU与对应骨骼之间的方位和旋转变换关系分别由tib和Rib表示；IMU的参考坐标系与全局坐标系的转换关系为Rg；相对于IMU自身的惯性参考系的IMU旋转测量值以及相对于IMU设备参考系的IMU加速度测量值分别为Ri和ai；此外，定义np个位置跟踪目标的集合，其中p和骨骼bp相对应，两者之间的方位关系由tpb表示；
旋转项的定义如下：
其中ψ(·)表示将旋转矩阵转化为四元数表达形式并提取其向量部分的操作，λR是旋转项的权重常数，ρR(·)表示损失函数，定义为ρ(x)＝log(1+x)，和分别表示跟踪目标bi的旋转测量值和旋转计算值；
跟踪目标在全局坐标系下的旋转测量值为可通过IMU陀螺仪的测量值Ri和IMU与对应跟踪目标之间的偏移Rib和Rg计算得出，公式如下：
跟踪目标在全局坐标系下的旋转计算值可由正运动学的公式推导得出，根据公式(1)在忽略位移的情况下，的计算公式为：
加速度项的定义如下：
其中λA表示加速度项的权重常数，ρA(·)表示损失函数，和分别表示跟踪目标bi的加速度测量值和加速度计算值；
为了求解跟踪目标的加速度计算值，设定了一个3帧的窗口以观察当前帧t，以及前两帧t-1，t-2的位置预测数据，将预测位置以表示；t-1时刻的的计算使用了中心有限差分，通过使用前两帧的位置以及欲求解的当前帧位置来计算得出，公式如下：
其中Δt表示IMU测量值的采样周期；
t-1时刻的的计算公式如下：
其中ag表示重力加速度；
针对来自多台摄像机的彩色图像的数据，建立了位置项EP(θ)；对于所有的相机定义集合nc，其中每个相机c有其对应的经过标定得到的投影矩阵Pc；来自相机的图像在经过CPM模型的识别后，得到跟踪目标p在图像中的位置测量值，由表示，此外，CPM还会输出每个测量值对应的置信度
位置项的定义如下：
其中λP是位置项的权重常数，ρP(·)是损失函数，定义为ρ(x)＝log(1+x)，和分别为跟踪目标的位置测量值和位置计算值；
跟踪目标在全局坐标系下的位置可以通过根据公式(1)在忽略旋转的情况下得出，具体公式如下：
其中操作符τT(·)表示通过位移向量创建位移变换矩阵，τt(·)表示从位移变换矩阵中构建位移向量；目标的全局位置投影到每个相机坐标系，可以获得在每个相机坐标系下2D的目标测量值：
其中，操作符dh(·)表示进行去除三维向量组后一维的操作；
最后，为了更好的限制优化问题，分析现有的动作捕捉数据集，建立了人体姿态的先验约束项EP(θ)；表示如下
其中λPC是先验约束项的权重常数，ρPC是损失函数，定义为ρ(x)＝log(1+x)其中为θ减去前6维的数据得到的向量，μ是对数据集中所有数据进行k-means聚类并取均值后得到的中心姿态向量，σ表示数据集中的数据相对于μ的标准差；
步骤3：能量函数最小化；
使用ceres-solver通过非线性最小二乘优化的方法对公式(2)中的能量函数进行最小化；首先，将公式(3)(6)(9)(12)写成ceres-solver中的函数模板形式，然后依据来自IMU和图像中的数据，使用ceres-solver中的Levenberg-Marquardt方法配合sparse normalCholesky linear solver进行能量函数最小值的求解，最后得到当前的动作向量θ。
CN201810845587.4A 2018-07-27 2018-07-27 一种基于多摄像机和imu的实时人体上肢动作捕捉方法 Pending CN109242887A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810845587.4A CN109242887A (zh) 2018-07-27 2018-07-27 一种基于多摄像机和imu的实时人体上肢动作捕捉方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810845587.4A CN109242887A (zh) 2018-07-27 2018-07-27 一种基于多摄像机和imu的实时人体上肢动作捕捉方法

Publications (1)

Publication Number Publication Date
CN109242887A true CN109242887A (zh) 2019-01-18

Family

ID=65073144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810845587.4A Pending CN109242887A (zh) 2018-07-27 2018-07-27 一种基于多摄像机和imu的实时人体上肢动作捕捉方法

Country Status (1)

Country Link
CN (1) CN109242887A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109798891A (zh) * 2019-01-25 2019-05-24 上海交通大学 基于高精度动作捕捉系统的惯性测量单元标定系统
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法
CN110782513A (zh) * 2019-10-30 2020-02-11 北京中科深智科技有限公司 一种用于实时动作捕捉数据去抖动复合算法的方法
CN111199576A (zh) * 2019-12-25 2020-05-26 中国人民解放军军事科学院国防科技创新研究院 一种基于移动平台的室外大范围人体姿态重建方法
CN111382701A (zh) * 2020-03-09 2020-07-07 北京字节跳动网络技术有限公司 动作捕捉方法、装置、电子设备及计算机可读存储介质
CN111783679A (zh) * 2020-07-04 2020-10-16 北京中科深智科技有限公司 一种基于摄像头和imu数据混合的实时全身动捕系统、方法
CN114417738A (zh) * 2022-03-28 2022-04-29 清华大学 稀疏imu实时人体动作捕捉及关节受力预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800103A (zh) * 2012-06-18 2012-11-28 清华大学 基于多视角的深度相机的无标记动作捕捉方法及装置
US8768647B1 (en) * 2011-09-21 2014-07-01 The United States Of America As Represented By The Secretary Of The Navy High accuracy heading sensor for an underwater towed array
CN104856684A (zh) * 2015-04-10 2015-08-26 深圳市虚拟现实科技有限公司 运动目标采集方法和系统
CN104964686A (zh) * 2015-05-15 2015-10-07 浙江大学 一种基于动作捕捉的室内定位装置及其方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8768647B1 (en) * 2011-09-21 2014-07-01 The United States Of America As Represented By The Secretary Of The Navy High accuracy heading sensor for an underwater towed array
CN102800103A (zh) * 2012-06-18 2012-11-28 清华大学 基于多视角的深度相机的无标记动作捕捉方法及装置
CN104856684A (zh) * 2015-04-10 2015-08-26 深圳市虚拟现实科技有限公司 运动目标采集方法和系统
CN104964686A (zh) * 2015-05-15 2015-10-07 浙江大学 一种基于动作捕捉的室内定位装置及其方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHARLES MALLESON, MARCO VOLINO, ANDREW GILBERT, MATTHEW TRUMBLE: "Real-time Full-Body Motion Capture from Video and IMUs", 《2017 INTERNATIONAL CONFERENCE ON 3D VISION (3DV)》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109798891A (zh) * 2019-01-25 2019-05-24 上海交通大学 基于高精度动作捕捉系统的惯性测量单元标定系统
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法
CN110782513A (zh) * 2019-10-30 2020-02-11 北京中科深智科技有限公司 一种用于实时动作捕捉数据去抖动复合算法的方法
CN111199576A (zh) * 2019-12-25 2020-05-26 中国人民解放军军事科学院国防科技创新研究院 一种基于移动平台的室外大范围人体姿态重建方法
CN111199576B (zh) * 2019-12-25 2023-08-18 中国人民解放军军事科学院国防科技创新研究院 一种基于移动平台的室外大范围人体姿态重建方法
CN111382701A (zh) * 2020-03-09 2020-07-07 北京字节跳动网络技术有限公司 动作捕捉方法、装置、电子设备及计算机可读存储介质
CN111382701B (zh) * 2020-03-09 2023-09-22 抖音视界有限公司 动作捕捉方法、装置、电子设备及计算机可读存储介质
CN111783679A (zh) * 2020-07-04 2020-10-16 北京中科深智科技有限公司 一种基于摄像头和imu数据混合的实时全身动捕系统、方法
CN114417738A (zh) * 2022-03-28 2022-04-29 清华大学 稀疏imu实时人体动作捕捉及关节受力预测方法及系统
CN114417738B (zh) * 2022-03-28 2022-06-24 清华大学 稀疏imu实时人体动作捕捉及关节受力预测方法及系统

Similar Documents

Publication Publication Date Title
CN109242887A (zh) 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
Liu et al. Tracking-based 3D human skeleton extraction from stereo video camera toward an on-site safety and ergonomic analysis
US10353482B2 (en) Systems and methods for tracking motion and gesture of heads and eyes
Srivastav et al. MVOR: A multi-view RGB-D operating room dataset for 2D and 3D human pose estimation
EP1437645B1 (en) Position/orientation measurement method, and position/orientation measurement apparatus
Oskiper et al. Multi-sensor navigation algorithm using monocular camera, IMU and GPS for large scale augmented reality
WO2022002133A1 (zh) 手势追踪方法及装置
KR101768958B1 (ko) 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템
US20100194879A1 (en) Object motion capturing system and method
CN111353355B (zh) 动作追踪系统及方法
CN113239797B (zh) 人体动作识别方法、装置及系统
WO2022000713A1 (zh) 一种基于航空装配的增强现实自定位方法
Gee et al. Non-intrusive gaze tracking for human-computer interaction
Baak et al. Analyzing and evaluating markerless motion tracking using inertial sensors
Oskiper et al. Stable vision-aided navigation for large-area augmented reality
WO2024094227A1 (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
Grest et al. Single view motion tracking by depth and silhouette information
Yahya et al. Accurate shoulder joint angle estimation using single RGB camera for rehabilitation
Ahmed et al. A visual-inertial approach to human gait estimation
CN114608554A (zh) 一种手持slam设备以及机器人即时定位与建图方法
CN112179373A (zh) 一种视觉里程计的测量方法及视觉里程计
Tao et al. Integration of vision and inertial sensors for home-based rehabilitation
CN115147344A (zh) 一种增强现实辅助汽车维修中的零件三维检测与跟踪方法
Li et al. Visual–inertial fusion-based human pose estimation: A review
CN113701750A (zh) 一种井下多传感器的融合定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118