CN113487674A - 一种人体位姿估计系统和方法 - Google Patents

一种人体位姿估计系统和方法 Download PDF

Info

Publication number
CN113487674A
CN113487674A CN202110786876.3A CN202110786876A CN113487674A CN 113487674 A CN113487674 A CN 113487674A CN 202110786876 A CN202110786876 A CN 202110786876A CN 113487674 A CN113487674 A CN 113487674A
Authority
CN
China
Prior art keywords
human body
motion capture
capture device
image
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110786876.3A
Other languages
English (en)
Other versions
CN113487674B (zh
Inventor
王朋强
杜华
王语堂
岳宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Future Tianyuan Technology Development Co Ltd
Original Assignee
Beijing Future Tianyuan Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Future Tianyuan Technology Development Co Ltd filed Critical Beijing Future Tianyuan Technology Development Co Ltd
Priority to CN202110786876.3A priority Critical patent/CN113487674B/zh
Publication of CN113487674A publication Critical patent/CN113487674A/zh
Application granted granted Critical
Publication of CN113487674B publication Critical patent/CN113487674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种人体位姿估计系统和方法，使用一个或者多个图像采集器采集图像数据，获取其中的人体位姿，同时输出地面坐标系下的人体位姿。得到的人体姿态和位置可以用来控制机器人或数字人等，可用于虚拟现实VR、增强现实AR以及电影特效等，回归和迭代优化相结合提高精度以及迭代优化速度。本发明采用回归和迭代优化相结合的方式，大大提高人体姿态估计精度，缩短了迭代优化执行时间；同时通过跟踪可以将获取多人的人体姿态数据，保证连续性，人体姿态和人物一一对应；在仅使用一个光学成像传感器的情况下就可以计算出人体的位置信息。

Description

一种人体位姿估计系统和方法
技术领域
本发明属于运动捕捉技术领域，具体涉及一种人体位姿估计系统和方法。
背景技术
人体的动作和位置信息可应用于很多场景中，它的应用领域非常广泛。这些应用领域包括例如：影视游戏中CG人物的动作；体感游戏中用户和游戏场景中物品人物的动作交互；增强现实AR中用户和虚拟目标的交互。
运动捕捉技术是由运动捕捉系统利用外部设备来对人体动作姿态和人体位移进行捕获转换为数字数据。运动捕捉系统有多种技术实现，现在使用比较多的包括：惯性动作捕捉技术，需要人体穿戴配备惯性传感器的衣服；光学式动作捕捉技术，通过图像采集器采集数据进行处理，其往往需要人体穿戴带有反光标识点衣服，而且容易受环境光照影响。
通过图像采集器直接进行人体姿态估计技术也是其中一种技术。根据原理不同可将姿态进行估计，现在分为基于优化的姿态估计方法(Federica Bogo,Angjoo Kanazawa,Christoph Lassner,Peter Gehler,Javier Romero,and Michael J.Black.Keep itsmpl:Automatic estimation of 3d human pose and shape from a single image.InECCV,2016)和基于回归的姿态估计方法(Angjoo Kanazawa,Michael J Black,David WJacobs,and Jitendra Malik.End-to-end recovery of human shape and pose.InCVPR,2018)。但是这些方法都只能估计姿态不能计算出位置信息，并且只能输出图像中所有人体的姿态，无法区分姿态和图像中具体人物一一对应。
基于回归的姿态估计方法获取的姿态不够精确，尤其对于脸部有遮挡或者背对相机的人体姿态估计会有正反不分的情况。而基于优化的姿态估计方法往往需要多次迭代，单次估计时间过长，同时这些方法只能估计姿态不能确定位置信息。
发明内容
获得人体姿态并通过运动捕捉装置在地面坐标系中的位姿，将人体位姿变换到地面坐标系对于人体位姿数据之后的使用是非常有益的，而且通过对人体进行跟踪可以保证图像序列中同一个人物前后编号一直，同时可以把人体姿态数据和图像中人体一一对应，对于场景中有多人的情况可以很好的兼容。
本发明的目的之一是提供一种人体位姿估计方法，通过运动捕捉装置获得至少一个图像采集传感器获取的图像序列，具体包括如下步骤：
1)人物目标检测，对每帧图像进行人物检测，得到图像上人体关键点的2D特征点集和人体区域；
2)人体跟踪计算，对图像序列中的人体进行编号，保证所有图像帧中同一个人物编号一致；
3)人体运动姿态计算，利用单帧图像对人体3D模型和运动姿态进行回归计算，得到人体模型和各关节的空间姿态角；
4)人体定位计算，对检测到的人物进行空间定位计算，获取人体各关节在所述运动捕捉装置坐标系下的3D坐标；
5)自定位计算，利用采集图像传感器在空间不同视点下采集的多帧图像进行空间自定位计算，获取所述运动捕捉装置在地面坐标系中的位姿，包括3D坐标以及姿态角；
6)人体定位转换，利用所述运动捕捉装置在地面坐标系中的位姿将人体空间位姿从运动捕捉装置坐标系下转换到地面坐标系中。
进一步，所述人体定位计算，利用已知人物的身高尺寸和所述人体运动姿态计算获取的人体3D模型和各关节的空间姿态，即可求取人体各关节在所述运动捕捉装置坐标系下的3D坐标。
进一步，将图像中检测到的人物剔除，减少对所述自定位计算的干扰。
进一步，步骤5)中提取图像场景中的自然纹理特征2D点集，采用SFM原理进行所述自定位计算
进一步，步骤5)中使用所述人体关节点的2D特征点集和所述人体各关节3D坐标，进行所述自定位计算。
进一步，步骤5)中图像场景中固定布置一种或几种标志点或标记图案，提供特征信息用于所述自定位计算。
进一步，步骤5)中图像人体上相对固定布置一种或几种空间几何形状和尺寸已知的标志点或标记图案，用于辅助求取人体各关节在所述运动捕捉装置坐标系下的3D坐标。
进一步，步骤5)中图像场景中固定布置一种或几种空间几何形状和尺寸已知的标志点或标记图案，用于自定位计算时作为参照计算尺度因子。
进一步，步骤6)中采用所述运动捕捉装置上的一种或多种惯性传感器，提供位姿信息，实现自定位计算。
进一步，步骤6)中采用所述运动捕捉装置上的一种或多种深度图像传感器，通过3D特征配至统一坐标系，实现自定位计算。
本发明的另一目的是提供实施上述方法的运动捕捉系统。此系统能够同时进行人物检测和人体空间位姿计算并且将人体空间位姿转换到地面坐标系中。所述的系统包括：
1)运动捕捉装置，此装置包括至少一个图像采集传感器，所述运动捕捉装置通过所述图像采集传感器提供图像；
2)人物目标检测器，用于对所述运动捕捉装置采集的图像中的人物进行检测，得到图像中人体关节点的2D特征点集和人体区域；
3)人体跟踪计算器，用对所述人物目标检测器得到的人体进行跟踪编号；
4)人体运动姿态计算器，用于对所述人体目标检测器检测到的人物进行运动姿态计算，得到人体各个关节的空间姿态角；
5)人体定位计算器，用于对所述人体目标检测器检测到的人物进行空间定位，即，计算人体各关节在所述运动捕捉装置坐标系下的3D坐标；
6)自定位计算器，用于所述运动捕捉装置自身的定位计算，即，计算所述运动捕捉装置在地面坐标系中的3D坐标以及姿态角；
7)人体定位转换器，用于将人体空间位姿从运动捕捉装置坐标系下转换到地面坐标系中。
进一步，还包括一种用于交换数据的无线通信装置。
进一步，所述运动捕捉装置包括用于照亮环境、场景或运动捕捉目标的光源。
进一步，所述运动捕捉装置包括至少部分位于所述装置内的电子芯片处理器，所述电子芯片处理器执行如下功能的一个子集：人体运动姿态计算器，人物目标检测器，人体跟踪计算器，人体运动姿态计算器，自定位计算器，人体定位计算器，人体定位转换器。
进一步，所述运动捕捉装置包括至少一种惯性传感器，可提供位姿信息，用于辅助所述运动捕捉装置进行自定位。
进一步，所述运动捕捉装置包括至少一种深度图像传感器，可提供位姿信息，用于辅助所述运动捕捉装置进行自定位。
本发明的有益效果：使用一个或者多个图像采集器采集图像数据，获取其中的人体位姿，同时输出地面坐标系下的人体位姿。得到的人体姿态和位置可以用来控制机器人或数字人等，可用于虚拟现实VR、增强现实AR以及电影特效等，回归和迭代优化相结合提高精度以及迭代优化速度。本发明采用回归和迭代优化相结合的方式，大大提高人体姿态估计精度，缩短了迭代优化执行时间；同时通过跟踪可以将获取多人的人体姿态数据，保证连续性，人体姿态和人物一一对应；在仅使用一个光学成像传感器的情况下就可以计算出人体的位置信息。
附图说明
图1为本发明运动捕捉系统框图。
具体实施方式
图1为本发明的运动捕捉系统1框图。
此系统包含一个运动捕捉装置2。运动捕捉装置2收集和传送带测场景的图像集(也就是帧)3到人物目标检测器4、人体运动姿态计算器10和自定位计算器11中。包含在图像中的相关信息由图像中的人物以及背景中的纹理特征产生，纹理特征可以包括一种或几种空间几何形状和尺寸已知的标志点或标记图案产生的特征，所述标记图案固定在人体或者场景中。
人物目标检测器4从每一个图像中检测人物。对每一个图像均输出人体关键点的2D特征点集5和人体区域6。这些特征点在图像中基于它们的内在特性被标识。人体关键点的2D特征点集5可以通过使用OpenPose(参阅Cao Zhe,Hidalgo Martinez Gines,SimonTomas,Wei Shih-En,Sheikh Yaser A.OpenPose:Realtime Multi-Person 2D PoseEstimation using Part Affinity Fields.[J].IEEE transactions on patternanalysis and machine intelligence,2019)获得。
人体跟踪计算器7对提取的人体关节点2D特征点集5和人体区域6进行编号，输出带编号的人体关节点2D特征点集9和人体区域8。从第一帧开始编号，对人体关节点2D特征点集5和人体区域6使用卡尔曼滤波进行预则，与相邻下一帧中对应的人体关节点2D特征点集5和人体区域6进行匹配编号，可以通过找下一帧中人体关节点2D特征点集最近的人体关节点同时使用人体区域交并比(IOU)以及长宽比之类的特征进行匹配，以此类推，对所有图像序列中的人体进行编号。人体区域8沿系统中一条路径以获取人体运动姿态，沿系统中另一条路径以辅助自定位计算器提高提取图像场景中2D特征点集的质量。
人体运动姿态计算器10利用人体区域8可以截取出图像中包含人体的图像区域，通过端到端的神经网络框架进行回归计算得到人体3D模型结果13，包括人体各关节的空间姿态角(θ)、体型(β)和人体3D模型。回归计算得到的人体模型和人体各关节空间姿态角(θ)和实际人物动作可能不精确匹配。在这种情况下可以利用提取的人体关键点的2D特征点集5(Jop)进行优化，所述运动捕获装置中的图像采集传感器参数(K)可以通过图像采集传感器厂商获得，也可以通过相机标定得到，优化目标函数为E(β,θ)＝EJ(β,θ,K,Jop)+λθEθ(θ)+λaEa(θ)+λβEβ(β)，对于各关节部分优化目标函数选取合适的权重(λθ，λβ)，其中EJ表示人体3D模型投影到2D图像上的人体关键点和人体关键点的2D特征点集5之间的误差，Eθ(θ)是关于人体姿态的先验知识用来约束人体各关节空间姿态角θ，Ea(θ)是关于膝关节肘关节的先验知识用来约束人体各关节空间姿态角θ，例如膝关节只能向后弯曲，Eβ(β)是关于形状的先验知识用来约束体型β。
人体定位计算器12提取后的人体关键点的2D特征点9和人体模型各关节3D坐标13输入人体定位计算器12，采用PnP原理求解人体坐标系到所述运动捕捉装置坐标系的变换，将人体模型各关节3D坐标转换到所述运动捕捉装置坐标系下的3D坐标15。
自定位计算器11从多帧图像中提取特征，输出所述运动捕捉装置在地面坐标系中的位姿14。这特征在图像中基于它们的内在特性被标识。利用所述人体跟踪计算器7输出的人体区域8，在图像中剔除该区域，减少对特征提取的影响。具体原理为：提取第一帧图像中的2D特征点xc，并从相邻帧中查找匹配2D特征点xr，利用对极几何约束原理通过xc和xr计算单应矩阵H和基础矩阵F，选择重投影误差比较小的作为最终的运动估计矩阵，进一步求出两帧相机之间的运动，即两帧之间相机的关系M。使用匹配的特征点xc和xr以及两帧之间的相机关系M，通过三角测量法得到特征点的深度信息，从而得到特征点的3D坐标Xi。获得特征点3D坐标点集和特征点2D坐标点集后，可以使用光束法平差(BA)算法得到初始的所述运动捕捉装置在地面坐标系中的位姿。不断重复上述过程，计算出每一帧图像对应的所述运动捕捉装置在地面坐标系中的位姿。之后利用图优化方法进行优化求精，最终输出所述运动捕捉装置在地面坐标系中的位姿。
使用人体定位转换器16将人体模型各关节3D坐标在所述运动捕捉装置坐标系下的3D坐标15转换到地面坐标系中。
根据框图中所示的通过不同的数字信号连接而彼此通信的离散部件组，对于本领域一般技术人员来说容易理解，由于一些部件是通过给定的硬件或软件系统的函数或操作而执行功能的，并且所示的许多数据通道通过在计算机操作系统或应用程序中的数据通信系统而执行功能，所以优选实施例是由硬件和软件部件的组合而构成的。因此，提供所示的结构以便有效地说明本优选实施例。
需要说明的是上述实施例对本发明的技术方案进行了详细说明。显然，本发明并不局限于所描述的实施例。基于本发明中的实施例，熟悉本技术领域的人员还可据此做出多种变化，但任何与本发明等同或相类似的变化都属于本发明保护的范围。

Claims (16)

1.一种人体位姿估计系统和方法，其特征在于，通过运动捕捉装置获得至少一个图像采集传感器获取的图像序列，具体包括如下步骤：
1)人物目标检测，对每帧图像进行人物检测，得到图像上人体关键点的2D特征点集和人体区域；
2)人体跟踪计算，对图像序列中的人体进行编号，保证所有图像帧中同一个人物编号一致；
3)人体运动姿态计算，利用单帧图像对人体3D模型和运动姿态进行回归计算，得到人体模型和各关节的空间姿态角；
4)人体定位计算，对检测到的人物进行空间定位计算，获取人体各关节在所述运动捕捉装置坐标系下的3D坐标；
5)自定位计算，利用采集图像传感器在空间不同视点下采集的多帧图像进行空间自定位计算，获取所述运动捕捉装置在地面坐标系中的位姿，包括3D坐标以及姿态角；
6)人体定位转换，利用所述运动捕捉装置在地面坐标系中的位姿将人体空间位姿从运动捕捉装置坐标系下转换到地面坐标系中。
2.根据权利要求1所述的方法，其特征在于，所述人体定位计算，利用已知人物的身高尺寸和所述人体运动姿态计算获取的人体3D模型和各关节的空间姿态，即可求取人体各关节在所述运动捕捉装置坐标系下的3D坐标。
3.根据权利要求1所述的方法，其特征在于，将图像中检测到的人物剔除，减少对所述自定位计算的干扰。
4.根据权利要求1所述的方法，其特征在于，步骤5)中提取图像场景中的自然纹理特征2D点集，采用SFM原理进行所述自定位计算。
5.根据权利要求1所述的方法，其特征在于，步骤5)中使用所述人体关节点的2D特征点集和所述人体各关节3D坐标，进行所述自定位计算。
6.根据权利要求1所述的方法，其特征在于，步骤5)中图像场景中固定布置一种或几种标志点或标记图案，提供特征信息用于所述自定位计算。
7.根据权利要求1所述的方法，其特征在于，步骤5)中图像人体上相对固定布置一种或几种空间几何形状和尺寸已知的标志点或标记图案，用于辅助求取人体各关节在所述运动捕捉装置坐标系下的3D坐标。
8.根据权利要求1所述的方法，其特征在于，步骤5)中图像场景中固定布置一种或几种空间几何形状和尺寸已知的标志点或标记图案，用于自定位计算时作为参照计算尺度因子。
9.根据权利要求1所述的方法，其特征在于，步骤6)中采用所述运动捕捉装置上的一种或多种惯性传感器，提供位姿信息，实现自定位计算。
10.根据权利要求1所述的方法，其特征在于，步骤6)中采用所述运动捕捉装置上的一种或多种深度图像传感器，通过3D特征配至统一坐标系，实现自定位计算。
11.实施权利要求1所述方法的人体位姿运动捕捉系统，其特征在于，包括：
1)运动捕捉装置，此装置包括至少一个图像采集传感器，所述运动捕捉装置通过所述图像采集传感器提供图像；
2)人物目标检测器，用于对所述运动捕捉装置采集的图像中的人物进行检测，得到图像中人体关节点的2D特征点集和人体区域；
3)人体跟踪计算器，用对所述人物目标检测器得到的人体进行跟踪编号；
4)人体运动姿态计算器，用于对所述人体目标检测器检测到的人物进行运动姿态计算，得到人体各个关节的空间姿态角；
5)人体定位计算器，用于对所述人体目标检测器检测到的人物进行空间定位，即，计算人体各关节在所述运动捕捉装置坐标系下的3D坐标；
6)自定位计算器，用于所述运动捕捉装置自身的定位计算，即，计算所述运动捕捉装置在地面坐标系中的3D坐标以及姿态角；
7)人体定位转换器，用于将人体空间位姿从运动捕捉装置坐标系下转换到地面坐标系中。
12.根据权利要求11所述的系统，其特征在于，还包括一种用于交换数据的无线通信装置。
13.根据权利要求11所述的系统，其特征在于，所述运动捕捉装置包括用于照亮环境、场景或运动捕捉目标的光源。
14.根据权利要求11所述的系统，其特征在于，所述运动捕捉装置包括至少部分位于所述装置内的电子芯片处理器，所述电子芯片处理器执行如下功能的一个子集：人体运动姿态计算器，人物目标检测器，人体跟踪计算器，人体运动姿态计算器，自定位计算器，人体定位计算器，人体定位转换器。
15.根据权利要求11所述的系统，其特征在于，所述运动捕捉装置包括至少一种惯性传感器，可提供位姿信息，用于辅助所述运动捕捉装置进行自定位。
16.根据权利要求11所述的系统，其特征在于，所述运动捕捉装置包括至少一种深度图像传感器，可提供位姿信息，用于辅助所述运动捕捉装置进行自定位。
CN202110786876.3A 2021-07-12 2021-07-12 一种人体位姿估计系统和方法 Active CN113487674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110786876.3A CN113487674B (zh) 2021-07-12 2021-07-12 一种人体位姿估计系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110786876.3A CN113487674B (zh) 2021-07-12 2021-07-12 一种人体位姿估计系统和方法

Publications (2)

Publication Number Publication Date
CN113487674A true CN113487674A (zh) 2021-10-08
CN113487674B CN113487674B (zh) 2024-03-08

Family

ID=77938223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110786876.3A Active CN113487674B (zh) 2021-07-12 2021-07-12 一种人体位姿估计系统和方法

Country Status (1)

Country Link
CN (1) CN113487674B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283447A (zh) * 2021-12-13 2022-04-05 凌云光技术股份有限公司 一种动作捕捉系统及方法
CN114332939A (zh) * 2021-12-30 2022-04-12 浙江核新同花顺网络信息股份有限公司 一种位姿序列生成方法和系统

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246602A (zh) * 2008-02-04 2008-08-20 东华大学 基于几何骨架的人体姿态重建方法
EP2150057A2 (en) * 2008-07-29 2010-02-03 Gerald Curry Camera-based tracking and position determination for sporting events
CN102663449A (zh) * 2012-03-12 2012-09-12 西安电子科技大学 基于最大几何流向直方图的人体运动跟踪方法
EP3019934A1 (en) * 2013-07-12 2016-05-18 Facebook, Inc. Calibration of grab detection
US20170003877A1 (en) * 2015-07-01 2017-01-05 Le Holdings (Beijing) Co., Ltd. Method and device for motion-sensing key positioning
CN108549876A (zh) * 2018-04-20 2018-09-18 重庆邮电大学 基于目标检测和人体姿态估计的坐姿检测方法
CN108629801A (zh) * 2018-05-14 2018-10-09 华南理工大学 一种视频序列的三维人体模型姿态与形状重构方法
CN110570455A (zh) * 2019-07-22 2019-12-13 浙江工业大学 一种面向房间vr的全身三维姿态跟踪方法
CN110633005A (zh) * 2019-04-02 2019-12-31 北京理工大学 一种光学式无标记的三维人体动作捕捉方法
CN111354043A (zh) * 2020-02-21 2020-06-30 集美大学 一种基于多传感器融合的三维姿态估计方法及装置
CN111489392A (zh) * 2020-03-30 2020-08-04 清华大学 多人环境下单个目标人体运动姿态捕捉方法及系统
CN111932678A (zh) * 2020-08-13 2020-11-13 北京未澜科技有限公司 多视点实时人体运动、手势、表情、纹理重建系统
CN112069933A (zh) * 2020-08-21 2020-12-11 董秀园 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN112215172A (zh) * 2020-10-17 2021-01-12 西安交通大学 融合彩色图像与深度信息的人体卧姿三维姿态估计方法
CN112907631A (zh) * 2021-02-20 2021-06-04 北京未澜科技有限公司 一种引入反馈机制的多rgb相机实时人体动作捕捉系统
CN112927330A (zh) * 2021-03-17 2021-06-08 北京七维视觉传媒科技有限公司 用于生成虚拟人体图像的方法和系统
CN112957033A (zh) * 2021-02-01 2021-06-15 山东大学 人机协作中人体实时室内定位与运动姿态捕捉方法与系统

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101246602A (zh) * 2008-02-04 2008-08-20 东华大学 基于几何骨架的人体姿态重建方法
EP2150057A2 (en) * 2008-07-29 2010-02-03 Gerald Curry Camera-based tracking and position determination for sporting events
CN102663449A (zh) * 2012-03-12 2012-09-12 西安电子科技大学 基于最大几何流向直方图的人体运动跟踪方法
EP3019934A1 (en) * 2013-07-12 2016-05-18 Facebook, Inc. Calibration of grab detection
US20170003877A1 (en) * 2015-07-01 2017-01-05 Le Holdings (Beijing) Co., Ltd. Method and device for motion-sensing key positioning
CN108549876A (zh) * 2018-04-20 2018-09-18 重庆邮电大学 基于目标检测和人体姿态估计的坐姿检测方法
CN108629801A (zh) * 2018-05-14 2018-10-09 华南理工大学 一种视频序列的三维人体模型姿态与形状重构方法
CN110633005A (zh) * 2019-04-02 2019-12-31 北京理工大学 一种光学式无标记的三维人体动作捕捉方法
CN110570455A (zh) * 2019-07-22 2019-12-13 浙江工业大学 一种面向房间vr的全身三维姿态跟踪方法
CN111354043A (zh) * 2020-02-21 2020-06-30 集美大学 一种基于多传感器融合的三维姿态估计方法及装置
CN111489392A (zh) * 2020-03-30 2020-08-04 清华大学 多人环境下单个目标人体运动姿态捕捉方法及系统
CN111932678A (zh) * 2020-08-13 2020-11-13 北京未澜科技有限公司 多视点实时人体运动、手势、表情、纹理重建系统
CN112069933A (zh) * 2020-08-21 2020-12-11 董秀园 基于体态识别和人体生物力学的骨骼肌肉受力估计方法
CN112215172A (zh) * 2020-10-17 2021-01-12 西安交通大学 融合彩色图像与深度信息的人体卧姿三维姿态估计方法
CN112957033A (zh) * 2021-02-01 2021-06-15 山东大学 人机协作中人体实时室内定位与运动姿态捕捉方法与系统
CN112907631A (zh) * 2021-02-20 2021-06-04 北京未澜科技有限公司 一种引入反馈机制的多rgb相机实时人体动作捕捉系统
CN112927330A (zh) * 2021-03-17 2021-06-08 北京七维视觉传媒科技有限公司 用于生成虚拟人体图像的方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘今越;刘彦开;贾晓辉;郭士杰;: "基于模型约束的人体姿态视觉识别算法研究", 仪器仪表学报, no. 04 *
李健;张皓若;何斌;: "结合形变模型的人体姿态估计优化算法", 西安电子科技大学学报, no. 02 *
罗坚;黎梦霞;罗诗光;: "异常步态3维人体建模和可变视角识别", 中国图象图形学报, no. 08, 12 August 2020 (2020-08-12) *
苏本跃;吴煌;盛敏;申传胜;: "Hierarchical Human Action Recognition with Self-Selection Classifiers via Skeleton Data", COMMUNICATIONS IN THEORETICAL PHYSICS, no. 11 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283447A (zh) * 2021-12-13 2022-04-05 凌云光技术股份有限公司 一种动作捕捉系统及方法
CN114283447B (zh) * 2021-12-13 2024-03-26 北京元客方舟科技有限公司 一种动作捕捉系统及方法
CN114332939A (zh) * 2021-12-30 2022-04-12 浙江核新同花顺网络信息股份有限公司 一种位姿序列生成方法和系统
CN114332939B (zh) * 2021-12-30 2024-02-06 浙江核新同花顺网络信息股份有限公司 一种位姿序列生成方法和系统

Also Published As

Publication number Publication date
CN113487674B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
US9330307B2 (en) Learning based estimation of hand and finger pose
JP5167248B2 (ja) 深度マップによるヒューマノイド形状のモデル化
JP5290864B2 (ja) 位置姿勢推定装置及び方法
JP5671281B2 (ja) 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム
US6072903A (en) Image processing apparatus and image processing method
JP5618569B2 (ja) 位置姿勢推定装置及びその方法
JP5290865B2 (ja) 位置姿勢推定方法および装置
JP2009536731A5 (zh)
JP2004157850A (ja) 運動検出装置
KR20070120443A (ko) 모션 캡쳐 장치 및 모션 캡쳐 방법과 모션 캡쳐 프로그램
CN113487674B (zh) 一种人体位姿估计系统和方法
JP4761670B2 (ja) 動立体モデル生成装置及び方法
CN109242887A (zh) 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
Oe et al. Estimating camera position and posture by using feature landmark database
CN107357426A (zh) 一种用于虚拟现实设备的体感控制方法
JP3144400B2 (ja) ジェスチャ認識装置及び方法
Rosenhahn et al. A system for marker-less motion capture
Najafi et al. Automated initialization for marker-less tracking: A sensor fusion approach
CN206300653U (zh) 一种虚拟现实系统中的空间定位装置
JP3401512B2 (ja) 移動物体追跡装置
He Generation of Human Body Models
CN113421286B (zh) 一种动作捕捉系统及方法
Zhang et al. Recent reviews on machine vision-based 3D reconstruction
Cordea et al. 3D head pose recovery for interactive virtual reality avatars
CN112215928B (zh) 基于视觉图像的动作捕捉方法及数字动画制作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 1217, 12th Floor, Building 3, No.1 Courtyard, Wuliqiao 2nd Street, Chaoyang District, Beijing, 100102

Applicant after: Future Yuanyu Digital Technology (Beijing) Co.,Ltd.

Address before: 100102 building 3, yard 6, Futong East Street, Chaoyang District, Beijing

Applicant before: Beijing future Tianyuan Technology Development Co.,Ltd.

GR01 Patent grant
GR01 Patent grant