CN111783679A - 一种基于摄像头和imu数据混合的实时全身动捕系统、方法 - Google Patents

一种基于摄像头和imu数据混合的实时全身动捕系统、方法 Download PDF

Info

Publication number
CN111783679A
CN111783679A CN202010633536.2A CN202010633536A CN111783679A CN 111783679 A CN111783679 A CN 111783679A CN 202010633536 A CN202010633536 A CN 202010633536A CN 111783679 A CN111783679 A CN 111783679A
Authority
CN
China
Prior art keywords
imu
joint
attitude
human body
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010633536.2A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Shenzhi Technology Co ltd
Original Assignee
Beijing Zhongke Shenzhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Shenzhi Technology Co ltd filed Critical Beijing Zhongke Shenzhi Technology Co ltd
Priority to CN202010633536.2A priority Critical patent/CN111783679A/zh
Publication of CN111783679A publication Critical patent/CN111783679A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种基于摄像头和IMU数据混合的实时全身动捕系统、方法，其中方法包括：采集人体的视频帧图像；根据视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；根据所预测的各人体关节在三维空间中的坐标位置构建出人体骨架模型；通过摄像设备实时获取人体的运动姿态信息；利用捆绑在人体上的各个关节处的IMU节点实时获取相应关节的运动姿态；融合摄像设备和IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；根据校正后的关节运动姿态驱动人体骨架模型运动。本发明集成了视觉动捕技术和IMU惯性测量技术的优点，可有效保证动捕数据的获取精度，确保了驱动人体骨骼模型运动的可靠性和稳定性。

Description

一种基于摄像头和IMU数据混合的实时全身动捕系统、方法
技术领域
本发明涉及动作仿真技术领域，具体涉及一种基于摄像头和IMU数据混合的实时全身动捕系统、方法。
背景技术
近些年，低功耗全身动作捕捉在计算机视觉与自动化等领域都获得了广泛的关注。目前应用较为普遍的动作捕捉方法是通过视觉传感器实时捕捉人体运动姿态数据，然后根据所捕捉的人体运动姿态数据驱动人体骨骼模型运动。该方法具有应用成本低廉、实时性好等优点，但当出现人体部位遮挡时该方法无法准确识别出人体运动姿态，导致驱动人体骨骼模型运动中断，所以该方法存在动捕驱动可靠性和稳定性较差的缺点。
为了解决视觉传感器捕捉动捕数据可靠性和稳定性较差的问题，近些年提出了利用微惯性测量单元(IMU)捕捉动捕数据并驱动人体骨骼模型运动的方法，虽然IMU技术解决了视觉传感器因视觉遮挡而无法驱动人体骨骼模型运动的问题，但IMU动捕方法对高动态的姿态运动响应较差，数据采集精度会随时间推移而下降，而且易受外界环境磁场影响，最致命的缺陷是误差累积和数据漂移，无法长时间使用。
发明内容
本发明的目的在于提供一种基于摄像头和IMU数据混合的实时全身动捕系统、方法，以解决上述技术问题。
为达此目的，本发明采用以下技术方案：
提供一种基于摄像头和IMU数据混合的实时全身动捕系统，包括：
图像采集模块，用于通过摄像设备采集人体的视频帧图像；
骨架关节预测模块，连接所述图像采集模块，用于根据所述视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；
人体骨架模型构建模块，连接所述骨架关节预测模块，用于根据所预测的各个人体关节在三维空间中的坐标位置构建出人体骨架模型；
人体姿态信息获取模块，用于通过所述摄像设备实时获取人体的运动姿态信息；
IMU关节姿态获取模块，用于利用捆绑在人体上的各个关节处的IMU节点实时获取相应关节的运动姿态；
人体姿态校正模块，分别连接所述人体姿态信息获取模块和所述IMU关节姿态获取模块，用于融合所述摄像设备和所述IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；
人体模型驱动模块，分别连接所述人体骨架模型构建模块、所述人体姿态信息获取模块和所述人体姿态校正模块，用于根据所述摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动所述人体骨架模型运动。
作为本发明的一种优选方案，每个所述IMU节点中包括一用于检测关节运动姿态的IMU芯片和通信连接所述IMU芯片的数据收发器，所述数据收发器将所述IMU芯片检测到的关节运动姿态数据发送给sink节点，所述sink节点将每个所述IMU节点发送的关节运动姿态数据发送给智能终端，所述智能终端根据从所述sink节点处接收到的关节运动姿态数据和所述摄像设备实时获取的关节运动姿态数据对人体姿态进行实时解算，以优化所述人体骨架模型的运动姿态。
作为本发明的一种优选方案，所述IMU芯片的具体型号为MPU 9150，也可以是任意一种带有三轴加速度、三轴陀螺仪和地磁仪的芯片。
作为本发明的一种优选方案，所述数据收发器为CC2530型微处理器，也可以是任意一种同样性能的MCU。
作为本发明的一种优选方案，通过下式估计所述IMU节点在当前采样时刻采集到的关节运动姿态：
Figure BDA0002569680130000021
上式中，qest,t-1表示所述IMU节点在上一次采样时刻采集到的关节运动姿态；
qest,t表示所述IMU节点在当前采样时刻采集的关节运动姿态；
t为所述IMU节点的采样时间间隔；
Figure BDA0002569680130000022
表示所述IMU节点利用陀螺仪角速度数据实现对关节运动姿态的更新；
Figure BDA0002569680130000023
表示经由加速度计和地磁传感器数据计算出的姿态梯度；
fg,m(g,a,m)表示经由所述加速度计和所述地磁传感器估计出的关节运动姿态；
μt为t时刻重力场与地磁场对关节运动姿态的影响程度。
作为本发明的一种优选方案，
Figure BDA0002569680130000031
通过下式(2)计算而得：
Figure BDA0002569680130000032
上式(2)中，[q0 q1 q2 q3]为由四元数表示的所述IMU节点在上一采样时刻利用陀螺仪采集到的关节运动姿态；
[ωx ωy ωz]分别表示当前采样时刻IMU节点上沿陀螺仪三个轴向的角速度。
Figure BDA0002569680130000033
表示当前采样时刻所述IMU节点利用陀螺仪角速度数据估计出的关节运动姿态。
作为本发明的一种优选方案，混合所述摄像设备获取的关节运动姿态数据和所述IMU节点估计的关节运动姿态数据的方法为：
计算所述摄像设备获取的关节运动姿态的姿态值和所述IMU节点估计的同个人体关节的关节运动姿态的姿态值；
赋予所述摄像设备获取的关节运动姿态的姿态值相对应的权重，并赋予所述IMU节点估计出的关节运动姿态的姿态值相对应的权重；
通过下式(3)混合所述摄像设备获取的关节运动姿态和所述IMU节点对同个人体关节估算出的关节运动姿态：
Figure BDA0002569680130000034
上式(3)中，
Figure BDA0002569680130000035
表示数据混合后的人体关节姿态的估计值；
z1表示所述摄像设备获取的关节运动姿态的姿态值；
z2表示所述IMU节点估计的同个人体关节的关节运动姿态的姿态值；
ω1表示所述摄像设备获取的关节运动姿态的姿态值对应的权重；
ω2表示所述IMU节点在估计的同个人体关节的关节运动姿态的姿态值对应的权重。
作为本发明的一种优选方案，通过下式(4)计算所述摄像设备获取的关节运动姿态的实际姿态值和所述IMU节点估计的关节运动姿态的实际姿态值：
Figure BDA0002569680130000036
x表示所述摄像设备直接获取的或所述IMU节点初始估计的关节运动姿态的初始姿态值；
v1表示所述摄像设备直接获取的所述初始姿态值与实际姿态值之间的随机误差；
v2表示所述IMU节点初步估计的所述初始姿态值与实际姿态值之间的随机误差。
本发明还提供了一种基于摄像头和IMU数据混合的实时全身动捕方法，通过所述系统实现，所述方法包括如下步骤：
通过摄像设备采集人体的视频帧图像；
根据所述视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；
根据所预测的各人体关节在三维空间中的坐标位置构建出所述人体骨架模型；
通过所述摄像设备实时获取人体的运动姿态信息；
利用捆绑在人体上的各个关节处的所述IMU节点实时获取相应关节的运动姿态；
融合所述摄像设备和所述IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；
根据摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动人体骨架模型运动。
本发明集成了视觉动捕技术和IMU惯性测量技术的优点，应用成本低、不易受环境影响，而且可有效保证动捕数据的获取精度，确保了驱动人体骨骼模型运动的可靠性和稳定性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例所述的基于摄像头和IMU数据混合的实时全身动捕系统的系统结构图；
图2是本发明一实施例所述的基于摄像头和IMU数据混合的实时全身动捕方法的方法步骤图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
本发明一实施例提供的基于摄像头和IMU数据混合的实时全身动捕系统，请参照图1，包括：
图像采集模块1，用于通过摄像设备采集人体的视频帧图像；
骨架关节预测模块2，连接图像采集模块1，用于根据视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；本实施例中通过20个关节点来表示一个实验者的骨骼。本实施例根据图像颜色信息和深度信息预测人体关节点是通过将单幅深度图像分割成稠密概率身体组件标签，而这些组件被定义为与感兴趣骨骼关节空间上相近的身体部分。将推理出的组件重投影到世界空间，局部化每个组件分布的空间模式，从而形成每个骨骼关节3D位置的带可信权值的预测。将所有图片信息全面聚集起来，就可以准确预测出3D骨架的关节位置。获取人体关节点在三维世界的坐标后，考虑到人体骨骼特有的属性，将骨骼视为刚体，用空间直线连接摄像设备检测到的空间关节点坐标，得到人体骨骼模型。在此基础上由摄像设备获取的动捕数据驱动的对人体骨骼模型的运动变化就直接反映出了人体的实际运动情况。
请继续参照图1，系统还包括：
人体骨架模型构建模块3，连接骨架关节预测模块2，用于根据所预测的各个人体关节在三维空间中的坐标位置构建出人体骨架模型；
人体姿态信息获取模块4，用于通过摄像设备实时获取人体的运动姿态信息；
IMU关节姿态获取模块5，用于利用捆绑在人体上的各个关节处的IMU节点实时获取响应关节的运动姿态；
人体姿态校正模块6，分别连接人体姿态信息获取模块4和IMU关节姿态获取模块5，用于融合摄像设备和IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；
人体模型驱动模块7，分别连接人体骨架模型构建模块3、人体姿态信息获取模块4和人体姿态校正模块6，用于根据摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动人体骨架模型运动。
本实施例中采用的IMU(无线微惯性传感器)节点为自研设备。该IMU节点中包括一用于检测关节运动姿态的IMU芯片(优选为MUP 9150型芯片)和通信连接IMU芯片的数据收发器(优选为CC2530型微处理器)，数据收发器将IMU芯片检测到的关节运动姿态数据发送给sink节点，sink节点将每个IMU节点发送的关节运动姿态数据发送给智能终端(包括PC、手机等)，智能终端根据从sink节点处接收到的关节运动姿态数据和摄像设备实时获取的关节运动姿态数据对人体姿态进行实时解算，以优化人体骨架模型的运动姿态。
以下对解算人体姿态的过程进行详细阐述：
首先通过下式(1)估计IMU节点在当前采样时刻采集到的关节运动姿态：
Figure BDA0002569680130000061
上式中，qest,t-1表示IMU节点在上一次采样时刻采集到的关节运动姿态；
qest,t表示IMU节点在当前采样时刻采集的关节运动姿态；
t为IMU节点的采样时间间隔；
Figure BDA0002569680130000062
表示IMU节点利用陀螺仪角速度数据实现对关节运动姿态的更新；
Figure BDA0002569680130000063
表示经由加速度计和地磁传感器数据计算出的姿态梯度，a为加速度计或地磁传感器数据的权值，q为加速度计检测到的关节运动姿态，m为地磁传感器在同一时刻检测到的关节运动姿态；利用IMU节点中的加速度计和地磁传感器检测到的数据计算出关节运动姿态的姿态梯度的方法为现有方法，所有关于姿态梯度的具体计算过程在此不做阐述；
fg,m(g,a,m)表示经由加速度计和地磁传感器估计出的关节运动姿态；
μt为t时刻重力场与地磁场对关节运动姿态的影响程度。
上式(1)中，
Figure BDA0002569680130000064
通过下式(2)计算而得：
Figure BDA0002569680130000065
上式(2)中，[q0 q1 q2 q3]为由四元数表示的IMU节点在上一采样时刻利用陀螺仪采集到的关节运动姿态；
[ωx ωy ωz]分别表示当前采样时刻IMU节点上沿陀螺仪三个轴向的角速度。
Figure BDA0002569680130000071
表示当前采样时刻IMU节点利用陀螺仪角速度数据估计出的关节运动姿态。
上述技术方案中，混合摄像设备获取的关节运动姿态数据和IMU节点估计的关节运动姿态数据的方法为：
计算摄像设备获取的关节运动姿态的姿态值和IMU节点估计的同个人体关节的关节运动姿态的姿态值；
赋予摄像设备获取的关节运动姿态的姿态值相对应的权重，并赋予IMU节点估计出的关节运动姿态的姿态值相对应的权重；
通过下式(3)混合摄像设备获取的关节运动姿态和IMU节点对同个人体关节估算出的关节运动姿态：
Figure BDA0002569680130000072
上式(3)中，
Figure BDA0002569680130000073
表示数据混合后的人体关节姿态的估计值；
z1表示摄像设备获取的关节运动姿态的姿态值；
z2表示IMU节点估计的同个人体关节的关节运动姿态的姿态值；
ω1表示摄像设备获取的关节运动姿态的姿态值对应的权重；
ω2表示IMU节点在估计的同个人体关节的关节运动姿态的姿态值对应的权重。
上述技术方案中，由于姿态值相对应的权重的赋予方法并非本发明要求权利保护的范围，所以关于姿态值权值赋予方法在此不做阐述。
由于摄像设备实时获取的或IMU节点估计的关节运动姿态可能与实际的关节运动姿态存在偏差，为了提高关节运动姿态的捕捉精度，本发明引入了一随机误差以减小获取的或估计的关节运动姿态与实际的关节运动姿态间的偏差度。该随机误差经过反复试验总结而得。
通过下式(4)计算摄像设备获取的关节运动姿态的实际姿态值和IMU节点估计的关节运动姿态的实际姿态值：
Figure BDA0002569680130000074
x表示摄像设备直接获取的或IMU节点初始估计的关节运动姿态的初始姿态值；
v1表示摄像设备直接获取的初始姿态值与实际姿态值之间的随机误差；
v2表示IMU节点初步估计的初始姿态值与实际姿态值之间的随机误差。
以下对本发明一实施例提供的基于摄像头和IMU数据混合的实时全身动捕方法进行阐述，请参照图2，该全身动捕方法包括如下步骤：
步骤S1，通过摄像设备采集人体的视频帧图像；
步骤S2，根据视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；
步骤S3，根据所预测的各人体关节在三维空间中的坐标位置构建出人体骨架模型；
步骤S4，通过摄像设备实时获取人体的运动姿态信息；
步骤S5，利用捆绑在人体上的各个关节处的IMU节点实时获取相应关节的运动姿态；
步骤S6，融合摄像设备和IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；
步骤S7，根据摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动人体骨架模型运动。
本发明集成了视觉动捕技术和IMU惯性测量技术的优点，应用成本低、不易受环境影响，而且可有效保证动捕数据的获取精度，确保了驱动人体骨骼模型运动的可靠性和稳定性。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (9)

1.一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，包括：
图像采集模块，用于通过摄像设备采集人体的视频帧图像；
骨架关节预测模块，连接所述图像采集模块，用于根据所述视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；
人体骨架模型构建模块，连接所述骨架关节预测模块，用于根据所预测的各个人体关节在三维空间中的坐标位置构建出人体骨架模型；
人体姿态信息获取模块，用于通过所述摄像设备实时获取人体的运动姿态信息；
IMU关节姿态获取模块，用于利用捆绑在人体上的各个关节处的IMU节点实时获取相应关节的运动姿态；
人体姿态校正模块，分别连接所述人体姿态信息获取模块和所述IMU关节姿态获取模块，用于融合所述摄像设备和所述IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；
人体模型驱动模块，分别连接所述人体骨架模型构建模块、所述人体姿态信息获取模块和所述人体姿态校正模块，用于根据所述摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动所述人体骨架模型运动。
2.根据权利要求1所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，每个所述IMU节点中包括一用于检测关节运动姿态的IMU芯片和通信连接所述IMU芯片的数据收发器，所述数据收发器将所述IMU芯片检测到的关节运动姿态数据发送给sink节点，所述sink节点将每个所述IMU节点发送的关节运动姿态数据发送给智能终端，所述智能终端根据从所述sink节点处接收到的关节运动姿态数据和所述摄像设备实时获取的关节运动姿态数据对人体姿态进行实时解算，以优化所述人体骨架模型的运动姿态。
3.根据权利要求2所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，所述IMU芯片是MPU 9150，也可以是任意一种带有三轴加速度、三轴陀螺仪和地磁仪的芯片。
4.根据权利要求2所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，所述数据收发器为CC2530型微处理器，也可以是任意一种同样性能的MCU。
5.根据权利要求2所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，通过下式估计所述IMU节点在当前采样时刻采集到的关节运动姿态：
Figure FDA0002569680120000011
上式中，qest,t-1表示所述IMU节点在上一次采样时刻采集到的关节运动姿态；
qest,t表示所述IMU节点在当前采样时刻采集的关节运动姿态；
t为所述IMU节点的采样时间间隔；
Figure FDA0002569680120000021
表示所述IMU节点利用陀螺仪角速度数据实现对关节运动姿态的更新；
Figure FDA0002569680120000022
表示经由加速度计和地磁传感器数据计算出的姿态梯度；
fg,m(g,a,m)表示经由所述加速度计和所述地磁传感器估计出的关节运动姿态；
μt为t时刻重力场与地磁场对关节运动姿态的影响程度。
6.根据权利要求5所述的实时全身动捕系统，其特征在于，
Figure FDA0002569680120000023
通过下式(2)计算而得：
Figure FDA0002569680120000024
上式(2)中，[q0 q1 q2 q3]为由四元数表示的所述IMU节点在上一采样时刻利用陀螺仪采集到的关节运动姿态；
[ωx ωy ωz]分别表示当前采样时刻IMU节点上沿陀螺仪三个轴向的角速度。
Figure FDA0002569680120000025
表示当前采样时刻所述IMU节点利用陀螺仪角速度数据估计出的关节运动姿态。
7.根据权利要求1所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，混合所述摄像设备获取的关节运动姿态数据和所述IMU节点估计的关节运动姿态数据的方法为：
计算所述摄像设备获取的关节运动姿态的姿态值和所述IMU节点估计的同个人体关节的关节运动姿态的姿态值；
赋予所述摄像设备获取的关节运动姿态的姿态值相对应的权重，并赋予所述IMU节点估计出的关节运动姿态的姿态值相对应的权重；
通过下式(3)混合所述摄像设备获取的关节运动姿态和所述IMU节点对同个人体关节估算出的关节运动姿态：
Figure FDA0002569680120000026
上式(3)中，
Figure FDA0002569680120000027
表示数据混合后的人体关节姿态的估计值；
z1表示所述摄像设备获取的关节运动姿态的姿态值；
z2表示所述IMU节点估计的同个人体关节的关节运动姿态的姿态值；
ω1表示所述摄像设备获取的关节运动姿态的姿态值对应的权重；
ω2表示所述IMU节点在估计的同个人体关节的关节运动姿态的姿态值对应的权重。
8.根据权利要求7所述的一种基于摄像头和IMU数据混合的实时全身动捕系统，其特征在于，通过下式(4)计算所述摄像设备获取的关节运动姿态的实际姿态值和所述IMU节点估计的关节运动姿态的实际姿态值：
Figure FDA0002569680120000031
x表示所述摄像设备直接获取的或所述IMU节点初始估计的关节运动姿态的初始姿态值；
v1表示所述摄像设备直接获取的所述初始姿态值与实际姿态值之间的随机误差；
v2表示所述IMU节点初步估计的所述初始姿态值与实际姿态值之间的随机误差。
9.一种基于摄像头和IMU数据混合的实时全身动捕方法，通过如权1～8任意一项所述的系统实现，其特征在于，包括如下步骤：
通过摄像设备采集人体的视频帧图像；
根据所述视频帧图像的颜色信息和深度信息预测出3D骨架的关节位置；
根据所预测的各人体关节在三维空间中的坐标位置构建出所述人体骨架模型；
通过所述摄像设备实时获取人体的运动姿态信息；
利用捆绑在人体上的各个关节处的所述IMU节点实时获取相应关节的运动姿态；
融合所述摄像设备和所述IMU节点获取的关节运动姿态，以校正人体关节的运动姿态；
根据摄像设备实时获取的关节运动姿态，和/或经校正后的关节运动姿态驱动人体骨架模型运动。
CN202010633536.2A 2020-07-04 2020-07-04 一种基于摄像头和imu数据混合的实时全身动捕系统、方法 Pending CN111783679A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010633536.2A CN111783679A (zh) 2020-07-04 2020-07-04 一种基于摄像头和imu数据混合的实时全身动捕系统、方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010633536.2A CN111783679A (zh) 2020-07-04 2020-07-04 一种基于摄像头和imu数据混合的实时全身动捕系统、方法

Publications (1)

Publication Number Publication Date
CN111783679A true CN111783679A (zh) 2020-10-16

Family

ID=72758354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010633536.2A Pending CN111783679A (zh) 2020-07-04 2020-07-04 一种基于摄像头和imu数据混合的实时全身动捕系统、方法

Country Status (1)

Country Link
CN (1) CN111783679A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114417738A (zh) * 2022-03-28 2022-04-29 清华大学 稀疏imu实时人体动作捕捉及关节受力预测方法及系统
CN114413897A (zh) * 2022-03-28 2022-04-29 清华大学 稀疏imu实时人体动作捕捉方法、装置及设备
CN114469079A (zh) * 2022-01-29 2022-05-13 北京中科深智科技有限公司 一种利用LightHouse的身体关节测量方法
WO2022111525A1 (zh) * 2020-11-30 2022-06-02 魔珐(上海)信息科技有限公司 姿态捕捉方法、装置、电子设备及存储介质
CN115211847A (zh) * 2022-06-08 2022-10-21 赵玉斌 传统健身功法训练姿态的智能监测装置、方法及应用
WO2023169465A1 (zh) * 2022-03-11 2023-09-14 中国科学院深圳先进技术研究院 基于多源信息融合的人体运动监测方法、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
CN106648116A (zh) * 2017-01-22 2017-05-10 隋文涛 一种基于动作捕捉的虚拟现实综合系统
CN109242887A (zh) * 2018-07-27 2019-01-18 浙江工业大学 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
CN109631888A (zh) * 2019-01-04 2019-04-16 北京卡路里信息技术有限公司 动作轨迹识别方法、装置、可穿戴设备及存储介质
CN110672097A (zh) * 2019-11-25 2020-01-10 北京中科深智科技有限公司 一种基于激光雷达的室内定位跟踪方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658012A (zh) * 2015-03-05 2015-05-27 第二炮兵工程设计研究院 一种基于惯性与光学测量融合的运动捕捉方法
CN106648116A (zh) * 2017-01-22 2017-05-10 隋文涛 一种基于动作捕捉的虚拟现实综合系统
CN109242887A (zh) * 2018-07-27 2019-01-18 浙江工业大学 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
CN109631888A (zh) * 2019-01-04 2019-04-16 北京卡路里信息技术有限公司 动作轨迹识别方法、装置、可穿戴设备及存储介质
CN110672097A (zh) * 2019-11-25 2020-01-10 北京中科深智科技有限公司 一种基于激光雷达的室内定位跟踪方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张瑒等: "基于RGB-D 摄像机与IMU数据融合的动作捕捉系统", 《系统仿真学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022111525A1 (zh) * 2020-11-30 2022-06-02 魔珐(上海)信息科技有限公司 姿态捕捉方法、装置、电子设备及存储介质
CN114469079A (zh) * 2022-01-29 2022-05-13 北京中科深智科技有限公司 一种利用LightHouse的身体关节测量方法
CN114469079B (zh) * 2022-01-29 2022-09-06 北京中科深智科技有限公司 一种利用LightHouse的身体关节测量方法
WO2023169465A1 (zh) * 2022-03-11 2023-09-14 中国科学院深圳先进技术研究院 基于多源信息融合的人体运动监测方法、装置
CN114417738A (zh) * 2022-03-28 2022-04-29 清华大学 稀疏imu实时人体动作捕捉及关节受力预测方法及系统
CN114413897A (zh) * 2022-03-28 2022-04-29 清华大学 稀疏imu实时人体动作捕捉方法、装置及设备
CN114417738B (zh) * 2022-03-28 2022-06-24 清华大学 稀疏imu实时人体动作捕捉及关节受力预测方法及系统
CN115211847A (zh) * 2022-06-08 2022-10-21 赵玉斌 传统健身功法训练姿态的智能监测装置、方法及应用

Similar Documents

Publication Publication Date Title
CN111783679A (zh) 一种基于摄像头和imu数据混合的实时全身动捕系统、方法
CN107314778B (zh) 一种相对姿态的标定方法、装置及系统
CN106525074B (zh) 一种云台漂移的补偿方法、装置、云台和无人机
Tian et al. Accurate human navigation using wearable monocular visual and inertial sensors
US8214082B2 (en) Nursing system
KR101768958B1 (ko) 고품질 콘텐츠 제작을 위한 하이브리드 모션캡쳐 시스템
CN108629831B (zh) 基于参数化人体模板和惯性测量的三维人体重建方法及系统
Bleser et al. Using egocentric vision to achieve robust inertial body tracking under magnetic disturbances
CN106625673B (zh) 狭小空间装配系统及装配方法
CN110095116A (zh) 一种基于lift的视觉定位和惯性导航组合的定位方法
CN108759826B (zh) 一种基于手机和无人机多传感参数融合的无人机运动跟踪方法
CN111091587A (zh) 一种基于视觉标志物的低成本动作捕捉方法
JP2016525842A (ja) カメラ動き予測及び修正のための方法
CN107014371A (zh) 基于扩展自适应区间卡尔曼的无人机组合导航方法与装置
CN111197984A (zh) 一种基于环境约束下的视觉-惯性运动估计方法
WO2022002132A1 (zh) 多传感器手柄控制器混合追踪方法及装置
CN108154533A (zh) 一种位置姿态确定方法、装置及电子设备
WO2020190380A1 (en) Fixed holograms in mobile environments
CN107145167B (zh) 一种基于数字图像处理技术的视频目标跟踪方法
CN108734762B (zh) 运动轨迹仿真方法及系统
CN111968228A (zh) 一种基于航空装配的增强现实自定位方法
CN110728716B (zh) 一种标定方法、装置及飞行器
Karam et al. Integrating a low-cost mems imu into a laser-based slam for indoor mobile mapping
CN114663463A (zh) 关节活动度的测量方法、系统、设备、电子设备和存储介质
CN111489392A (zh) 多人环境下单个目标人体运动姿态捕捉方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201016

RJ01 Rejection of invention patent application after publication