CN112131928A - 一种rgb-d图像特征融合的人体姿态实时估计方法 - Google Patents

一种rgb-d图像特征融合的人体姿态实时估计方法 Download PDF

Info

Publication number
CN112131928A
CN112131928A CN202010771908.8A CN202010771908A CN112131928A CN 112131928 A CN112131928 A CN 112131928A CN 202010771908 A CN202010771908 A CN 202010771908A CN 112131928 A CN112131928 A CN 112131928A
Authority
CN
China
Prior art keywords
human body
joint point
human
covariance
rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010771908.8A
Other languages
English (en)
Inventor
杨旭升
王茜姿
贾晓凌
张文安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010771908.8A priority Critical patent/CN112131928A/zh
Publication of CN112131928A publication Critical patent/CN112131928A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Social Psychology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种RGB‑D图像特征融合的人体姿态实时估计方法，该方法采用基于事件触发的方法以得到深度和彩色图像的人体姿态融合估计。本发明通过融合彩色和深度图像特征，有效地减少了对手持工具的误识别，提高了对光照变化的鲁棒性；同时，针对人体关节点运动建模困难的问题，利用BP神经网络进行人体关节点运动建模，降低了各关节点运动模型的不确定性，有效地提高了人体姿态估计的精确度和鲁棒性。

Description

一种RGB-D图像特征融合的人体姿态实时估计方法
技术领域
本发明属于人体姿态估计领域，尤其是一种RGB-D图像特征融合的人体姿态实时估计方法。
背景技术
人体姿态估计在人机交互、视频监视、辅助驾驶、医疗运动分析以及游戏体育等领域有着广泛的应用，尤其是在人机交互领域，人体姿态估计作为人体动作行为识别的基础，对机器人能否可以识别人类的行为动作，以及完成动作模仿或做出响应动作发挥至关重要的作用。
近年来，随着深度学习的崛起，基于彩色图像的人体姿态估计技术的研发已经从传统的目标跟踪方法转向基于深度学习的目标跟踪方法。利用卷积神经网络(CNN)方法可有效地从彩色图像中提取出2D人体姿态信息，而不需要事先建立人体运动模型以及特征表征。然而，由于单目相机具有一些固有的缺陷，如易受光照影响、缺少空间立体信息等，使得现有的方法很难从彩色图像中重建出3D人体姿态，且对环境的光照提出了较高的要求。随着深度传感器技术的发展，为人体姿态估计这一领域的发展提供了新的动力。深度传感器与单目视觉传感器之间具有良好的互补性，使用深度信息可便捷地实现背景分离，再利用随机森林等方法将各个关节进行分类，即可有效、快速地估计出3D人体姿态。然而，由于深度图像缺少纹理、色彩等图像特征，导致该方法可能将手持工具误识别为人体的一部分。目前，还没有技术能够鲁棒、实时地融合深度和彩色图像特征信息解决复杂作业场景下的人体姿态估计问题。
发明内容
为了克服基于深度图像的人体姿态估计方法存在的手持工具误识别以及基于彩色图像的人体姿态估计方法易受光照变化影响、鲁棒性差的缺点，本发明提供一种RGB-D图像特征融合的人体姿态实时估计方法；同时，利用BP神经网络进行人体关节点运动建模，降低了各关节点运动模型的不确定性，有效地提高了人体姿态估计的精确度和鲁棒性。
本发明解决其技术问题所采用的技术方案是：
一种RGB-D图像特征融合的人体姿态实时估计方法，所述方法包括以下步骤：
步骤1)获取人体姿态信息样本作为训练集，构建神经网络模型，以采样t-1时刻的人体关节点i的位置yi,t-1作为网络的输入，t时刻的人体关节点i的位置yi,t作为网络的期望输出，对神经网络进行训练，得到各关节点运动学模型的函数fi(·)；
步骤2)建立人体各关节点在深度视觉传感器坐标系下的运动学模型，确定过程噪声wi,k-1的协方差Qi,k，以及建立基于彩色图像和深度图像的人体姿态量测模型，分别确定量测噪声
Figure BDA0002616955710000021
和
Figure BDA0002616955710000022
的协方差
Figure BDA0002616955710000023
和
Figure BDA0002616955710000024
步骤3)确定人体各关节点的初始状态值及其协方差
Figure BDA0002616955710000025
Pi,0|0；
步骤4)根据建立的运动学模型，计算各关节点的fi(·)的雅克比矩阵以及状态预测值
Figure BDA0002616955710000031
及其协方差Pi,k|k-1；
步骤5)基于深度图像读取人体各关节点位置的量测值
Figure BDA0002616955710000032
若不满足触发条件，计算各关节点的卡尔曼滤波增益Ki,k，并计算得到状态估计值
Figure BDA0002616955710000033
及其协方差Pi,k|k，直接执行步骤4)进入k+1时刻的人体姿态估计；
步骤6)否则，等待直至获取基于彩色图像的人体各关节点位置的量测值
Figure BDA0002616955710000034
并进行量测更新，继而执行步骤4)进入k+1时刻的人体姿态估计；
执行步骤1)–6)，实现RGB-D图像特征融合的人体姿态实时估计。
进一步，在所述步骤1)中，所述的t＝1,2,3,...为采样离散时间序列；所述的i＝1,2，3，…,n，表示人体各关节点的序列，包括头部、肩部中心、左肩、右肩、左肘部、右肘部、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝和右脚踝，n为人体姿态估计所需关节点的数目，共14个。
在所述步骤1)中，所述的神经网络为BP神经网络，采用反向传播算法的随机梯度下降进行神经网络训练。
在所述步骤2)中，所述的
Figure BDA0002616955710000035
为基于彩色图像的人体关节点i的量测噪声协方差；
Figure BDA0002616955710000036
为基于深度图像的人体关节点i的量测噪声协方差。
在所述步骤3)中，所述的人体各关节点的初始状态值为关节点i在深度传感器坐标系下x，y，z轴上的值，所述的
Figure BDA0002616955710000037
Pi,0|0为人体关节点i的初始位置信息及其协方差。
在所述步骤5)中，所述的事件触发需满足的条件为：
Figure BDA0002616955710000041
δ为事件触发的检测阈值。
在所述步骤6)中，获取基于彩色图像的人体各关节点位置的量测值的采样时间长于深度图像。
本发明的有益效果主要表现在：提供一种RGB-D图像特征融合的人体姿态实时估计方法。针对基于彩色图像的人体姿态估计检测周期长、实时性差、易受光照环境影响的问题，以及针对基于深度图像的人体姿态估计存在的误识别问题，采用基于事件触发的方法以得到深度和彩色图像的人体姿态融合估计，有效地减少了对手持工具的误识别，提高了对光照变化的鲁棒性；同时，针对人体关节点运动建模困难的问题，利用BP神经网络进行人体关节点运动建模，降低了各关节点运动模型的不确定性，有效地提高了人体姿态估计的精确度和鲁棒性。
附图说明
图1是用于描述人体姿态的骨骼关节点示意图，其中，0表示头部，1表示肩部中心，2表示左肩，3表示左肘部，4表示左手腕，5表示右肩，6表示右肘部，7表示右手腕，8表示左髋，9表示左膝，10表示左脚踝，11表示右髋，12表示右膝，13表示右脚踝。
图2是的人体姿态估计流程图。
图3是的人体姿态估计时序图。
具体实施方式
下面结合附图对本发明做进一步描述。
参照图1、图2和图3，一种RGB-D图像特征融合的人体姿态实时估计方法，所述方法包括以下步骤：
步骤1)获取人体姿态信息样本作为训练集，构建神经网络模型，以采样t-1时刻的人体关节点i的位置yi,t-1作为网络的输入，t时刻的人体关节点i的位置yi,t作为网络的期望输出，对神经网络进行训练，得到各关节点运动学模型的函数fi(·)；
步骤2)建立人体各关节点在深度视觉传感器坐标系下的运动学模型，确定过程噪声wi,k-1的协方差Qi,k，以及建立基于彩色图像和深度图像的人体姿态量测模型，分别确定量测噪声
Figure BDA0002616955710000051
和
Figure BDA0002616955710000052
的协方差
Figure BDA0002616955710000053
和
Figure BDA0002616955710000054
步骤3)确定人体各关节点的初始状态值及其协方差
Figure BDA0002616955710000055
Pi,0|0；
步骤4)根据建立的运动学模型，计算各关节点的fi(·)的雅克比矩阵以及状态预测值
Figure BDA0002616955710000056
及其协方差Pi,k|k-1；
步骤5)基于深度图像读取人体各关节点位置的量测值
Figure BDA0002616955710000057
若不满足触发条件，计算各关节点的卡尔曼滤波增益Ki,k，并计算得到状态估计值
Figure BDA0002616955710000058
及其协方差Pi,k|k，直接执行步骤4)进入k+1时刻的人体姿态估计；
步骤6)否则，等待直至获取基于彩色图像的人体各关节点位置的量测值
Figure BDA0002616955710000059
并进行量测更新，继而执行步骤4)进入k+1时刻的人体姿态估计；
执行步骤1)–6)，实现RGB-D图像特征融合的人体姿态实时估计。
如图1的人体骨骼关节点示意图所示，从彩色图像和深度图像获取的人体骨骼的14个关节点，包括头部、肩部中心、左肩、右肩、左肘部、右肘部、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝和右脚踝。
人体姿态估计的流程图如图2所示。
以采样t-1时刻的人体关节点位置yi,t-1作为网络的输入ui,t，t时刻的人体关节点位置作为网络的期望输出yi,t，通过对人体各关节点位置的样本进行神经网络训练，获取各关节点运动学模型的函数fi(·)：
Figure BDA0002616955710000061
其中，i＝1,2,…,n为人体关节点的序号；t＝1,2…为采样的离散时间序列；
Figure BDA0002616955710000062
为采样t-1时刻关节点i的状态信息，
Figure BDA0002616955710000063
Figure BDA0002616955710000064
分别表示关节点i在深度传感器坐标系下x，y，z轴上的值，为神经网络的输入；
Figure BDA0002616955710000065
为神经网络输出的关节点i的状态信息，
Figure BDA0002616955710000066
分别表示关节点i在深度传感器坐标系下x，y，z轴上的值；fi(uit,Wi,bi)为训练好的神经网络函数；
Figure BDA0002616955710000067
为第l层的激活函数；Wi (l)和bi (l)为第l层的权重；神经网络共L层。
建立人体关节点的运动学模型和基于彩色图像和深度图像的量测模型如下：
xi,k＝fi(xi,k-1)+wi,k-1 (2)
Figure BDA0002616955710000068
Figure BDA0002616955710000071
其中，k＝1,2,…为离散时间序列；
Figure BDA0002616955710000072
为关节点i的状态信息，
Figure BDA0002616955710000073
分别表示关节点i在深度传感器坐标系下x，y，z轴上的值；fi(·)为关节点i从k-1到k时刻的状态转移函数,为神经网络训练后各关节点运动学模型的函数；wi,k-1是均值为0且协方差为Qi,k的高斯白噪声。
Figure BDA0002616955710000074
为关节点i从彩色图像中获取的量测信息，
Figure BDA0002616955710000075
分别表示关节点i转换到深度传感器坐标系下的x，y，z轴上的值；
Figure BDA0002616955710000076
为关节点i从深度图像中获取的量测信息，
Figure BDA0002616955710000077
Figure BDA0002616955710000078
分别表示关节点i在深度传感器坐标系下x，y，z轴上的值；
Figure BDA0002616955710000079
和
Figure BDA00026169557100000710
分别是均值为0且协方差为
Figure BDA00026169557100000711
和
Figure BDA00026169557100000712
的高斯白噪声。
采用融合彩色和深度图像特征的人体姿态实时估计方法。首先，确定人体关节点的初始状态值及其协方差
Figure BDA00026169557100000713
Pi,0|0；其次，根据公式(5)-(7)计算各关节点的fi(·)的雅克比矩阵，状态预测值
Figure BDA00026169557100000714
及其协方差Pi,k|k-1；
Figure BDA00026169557100000715
Figure BDA00026169557100000716
Pi,k|k-1＝ΦPi,k-1|k-1ΦT+Qi,k (7)
然后，读取基于深度图像的人体各关节点位置的量测值
Figure BDA00026169557100000717
并根据公式(8)进行事件触发检测
Figure BDA00026169557100000718
其中，δ为事件触发的检测阈值。若公式(8)不成立，根据(9)-(11)，计算深度图像下各关节点的卡尔曼滤波增益
Figure BDA0002616955710000081
状态估计值
Figure BDA0002616955710000082
及其协方差Pi,k|k，并跳至步骤4)，进行下一时刻的人体姿态估计
Figure BDA0002616955710000083
Figure BDA0002616955710000084
Figure BDA0002616955710000085
当公式(8)成立时，等待直至读取基于彩色图像的人体各关节点位置的量测值
Figure BDA0002616955710000086
根据公式(12)-(14)计算各关节点的卡尔曼滤波增益
Figure BDA0002616955710000087
状态估计值
Figure BDA0002616955710000088
及其协方差Pi,k|k：
Figure BDA0002616955710000089
Figure BDA00026169557100000810
Figure BDA00026169557100000811
执行上述步骤，实现RGB-D图像特征融合的人体姿态实时估计。

Claims (10)

1.一种RGB-D图像特征融合的人体姿态实时估计方法，其特征在于：所述方法包括以下步骤：
步骤1)获取人体姿态信息样本作为训练集，构建神经网络模型，以采样t-1时刻的人体关节点i的位置yi,t-1作为网络的输入，t时刻的人体关节点i的位置yi,t作为网络的期望输出，对神经网络进行训练，得到各关节点运动学模型的函数fi(·)；
步骤2)建立人体各关节点在深度视觉传感器坐标系下的运动学模型，确定过程噪声wi,k-1的协方差Qi,k，以及建立基于彩色图像和深度图像的人体姿态量测模型，分别确定量测噪声
Figure FDA0002616955700000011
和
Figure FDA0002616955700000012
的协方差
Figure FDA0002616955700000013
和
Figure FDA0002616955700000014
步骤3)确定人体各关节点的初始状态值及其协方差
Figure FDA0002616955700000015
Pi,0|0；
步骤4)根据建立的运动学模型，计算各关节点的fi(·)的雅克比矩阵以及状态预测值
Figure FDA0002616955700000016
及其协方差Pi,k|k-1；
步骤5)基于深度图像读取人体各关节点位置的量测值
Figure FDA0002616955700000017
若不满足触发条件，计算各关节点的卡尔曼滤波增益Ki,k，并计算得到状态估计值
Figure FDA0002616955700000018
及其协方差Pi,k|k，直接执行步骤4)进入k+1时刻的人体姿态估计；
步骤6)否则，等待直至获取基于彩色图像的人体各关节点位置的量测值
Figure FDA0002616955700000019
并进行量测更新，继而执行步骤4)进入k+1时刻的人体姿态估计；
执行步骤1)–6)，实现RGB-D图像特征融合的人体姿态实时估计。
2.如权利要求1所述的一种RGB-D图像特征融合的人体姿态实时估计方法，其特征在于：在所述步骤1)中，所述的t＝1,2,…为采样离散时间序列；所述的i＝1,2,…,n，表示人体各关节点的序列，包括头部、肩部中心、左肩、右肩、左肘部、右肘部、左手腕、右手腕、左髋、右髋、左膝、右膝、左脚踝和右脚踝，n为人体姿态估计所需关节点的数目，共14个。
3.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法，其特征在于：在所述步骤1)中，所述的神经网络为BP神经网络，采用反向传播算法的随机梯度下降进行神经网络训练。
4.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法，其特征在于：在所述步骤2)中，所述的
Figure FDA0002616955700000021
为基于彩色图像的人体关节点i的量测噪声协方差；
Figure FDA0002616955700000022
为基于深度图像的人体关节点i的量测噪声协方差。
5.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法，其特征在于：在所述步骤3)中，所述的人体各关节点的初始状态值为关节点i在深度传感器坐标系下x，y，z轴上的值，所述的
Figure FDA0002616955700000023
Pi,0|0为人体关节点i的初始位置信息及其协方差。
6.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法，其特征在于：在所述步骤5)中，所述的事件触发需满足的条件为：
Figure FDA0002616955700000024
δ为事件触发的检测阈值。
7.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法，其特征在于：在所述步骤6)中，获取基于彩色图像的人体各关节点位置的量测值的采样时间长于深度图像。
8.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法，其特征在于：所述步骤1)中，以采样t-1时刻的人体关节点位置yi,t-1作为网络的输入ui,t，t时刻的人体关节点位置作为网络的期望输出yi,t，通过对人体各关节点位置的样本进行神经网络训练，获取各关节点运动学模型的函数fi(·)：
Figure FDA0002616955700000031
其中，i＝1,2,…,n为人体关节点的序号；t＝1,2…为采样的离散时间序列；
Figure FDA0002616955700000032
为采样t-1时刻关节点i的状态信息，
Figure FDA0002616955700000033
Figure FDA0002616955700000034
分别表示关节点i在深度传感器坐标系下x，y，z轴上的值，为神经网络的输入；
Figure FDA0002616955700000035
为神经网络输出的关节点i的状态信息，
Figure FDA0002616955700000036
分别表示关节点i在深度传感器坐标系下x，y，z轴上的值；fi(ui,t,Wi,bi)为训练好的神经网络函数；
Figure FDA0002616955700000037
为第l层的激活函数；Wi (l)和bi (l)为第l层的权重；神经网络共L层。
9.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法，其特征在于：所述步骤2)中，建立人体关节点的运动学模型和基于彩色图像和深度图像的量测模型如下：
xi,k＝fi(xi,k-1)+wi,k-1 (2)
Figure FDA0002616955700000038
Figure FDA0002616955700000039
其中，k＝1,2,…为离散时间序列；
Figure FDA00026169557000000310
为关节点i的状态信息，
Figure FDA0002616955700000041
分别表示关节点i在深度传感器坐标系下x，y，z轴上的值；fi(·)为关节点i从k-1到k时刻的状态转移函数,为神经网络训练后各关节点运动学模型的函数；wi,k-1是均值为0且协方差为Qi,k的高斯白噪声，
Figure FDA0002616955700000042
为关节点i从彩色图像中获取的量测信息，
Figure FDA0002616955700000043
分别表示关节点i转换到深度传感器坐标系下的x，y，z轴上的值；
Figure FDA0002616955700000044
为关节点i从深度图像中获取的量测信息，
Figure FDA0002616955700000045
分别表示关节点i在深度传感器坐标系下x，y，z轴上的值；
Figure FDA0002616955700000046
和
Figure FDA0002616955700000047
分别是均值为0且协方差为
Figure FDA0002616955700000048
和
Figure FDA0002616955700000049
的高斯白噪声。
10.如权利要求1或2所述的一种RGB-D图像特征融合的人体姿态实时估计方法，其特征在于：所述步骤4)中，根据公式(5)-(7)计算各关节点的fi(·)的雅克比矩阵，状态预测值
Figure FDA00026169557000000410
及其协方差
Figure FDA00026169557000000411
Figure FDA00026169557000000412
Figure FDA00026169557000000413
Pi,k|k-1＝ΦPi,k-1|k-1ΦT+Qi,k (7)
所述步骤5)中，读取基于深度图像的人体各关节点位置的量测值
Figure FDA00026169557000000414
并根据公式(8)进行事件触发检测
Figure FDA00026169557000000415
其中，δ为事件触发的检测阈值，若公式(8)不成立，根据(9)-(11)，计算深度图像下各关节点的卡尔曼滤波增益
Figure FDA00026169557000000416
状态估计值
Figure FDA00026169557000000417
及其协方差Pi,k|k，并跳至步骤4)，进行下一时刻的人体姿态估计
Figure FDA0002616955700000051
Figure FDA0002616955700000052
Figure FDA0002616955700000053
所述步骤6)中，当公式(8)成立时，等待直至读取基于彩色图像的人体各关节点位置的量测值
Figure FDA0002616955700000054
根据公式(12)-(14)计算各关节点的卡尔曼滤波增益
Figure FDA0002616955700000055
状态估计值
Figure FDA0002616955700000056
及其协方差Pi,k|k：
Figure FDA0002616955700000057
Figure FDA0002616955700000058
Figure FDA0002616955700000059
CN202010771908.8A 2020-08-04 2020-08-04 一种rgb-d图像特征融合的人体姿态实时估计方法 Pending CN112131928A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010771908.8A CN112131928A (zh) 2020-08-04 2020-08-04 一种rgb-d图像特征融合的人体姿态实时估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010771908.8A CN112131928A (zh) 2020-08-04 2020-08-04 一种rgb-d图像特征融合的人体姿态实时估计方法

Publications (1)

Publication Number Publication Date
CN112131928A true CN112131928A (zh) 2020-12-25

Family

ID=73851278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010771908.8A Pending CN112131928A (zh) 2020-08-04 2020-08-04 一种rgb-d图像特征融合的人体姿态实时估计方法

Country Status (1)

Country Link
CN (1) CN112131928A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326835A (zh) * 2021-08-04 2021-08-31 中国科学院深圳先进技术研究院 一种动作检测方法、装置、终端设备和存储介质
CN113633281A (zh) * 2021-08-25 2021-11-12 北京航空航天大学 一种在装配维修过程中对人体姿态的评估方法与系统
CN113743341A (zh) * 2021-09-09 2021-12-03 浙江工业大学 一种基于自适应模型的人体姿态实时估计方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020087846A1 (zh) * 2018-10-31 2020-05-07 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN111222437A (zh) * 2019-12-31 2020-06-02 浙江工业大学 一种基于多深度图像特征融合的人体姿态估计方法
CN111241936A (zh) * 2019-12-31 2020-06-05 浙江工业大学 一种基于深度和彩色图像特征融合的人体姿态估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020087846A1 (zh) * 2018-10-31 2020-05-07 东南大学 基于迭代扩展卡尔曼滤波融合惯性与单目视觉的导航方法
CN111222437A (zh) * 2019-12-31 2020-06-02 浙江工业大学 一种基于多深度图像特征融合的人体姿态估计方法
CN111241936A (zh) * 2019-12-31 2020-06-05 浙江工业大学 一种基于深度和彩色图像特征融合的人体姿态估计方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326835A (zh) * 2021-08-04 2021-08-31 中国科学院深圳先进技术研究院 一种动作检测方法、装置、终端设备和存储介质
CN113326835B (zh) * 2021-08-04 2021-10-29 中国科学院深圳先进技术研究院 一种动作检测方法、装置、终端设备和存储介质
WO2023010758A1 (zh) * 2021-08-04 2023-02-09 中国科学院深圳先进技术研究院 一种动作检测方法、装置、终端设备和存储介质
CN113633281A (zh) * 2021-08-25 2021-11-12 北京航空航天大学 一种在装配维修过程中对人体姿态的评估方法与系统
CN113743341A (zh) * 2021-09-09 2021-12-03 浙江工业大学 一种基于自适应模型的人体姿态实时估计方法
CN113743341B (zh) * 2021-09-09 2024-02-02 浙江工业大学 一种基于自适应模型的人体姿态实时估计方法

Similar Documents

Publication Publication Date Title
CN112131928A (zh) 一种rgb-d图像特征融合的人体姿态实时估计方法
EP1870038B1 (en) Motion capture apparatus and method, and motion capture program
CN110738154A (zh) 一种基于人体姿态估计的行人摔倒检测方法
CN111259735B (zh) 基于多级预测特征增强卷积神经网络的单人姿态估计方法
US11450148B2 (en) Movement monitoring system
CN111160162B (zh) 一种级联的驾驶员人体姿态估计方法
CN111582158A (zh) 一种基于人体姿态估计的摔倒检测方法
JP6166297B2 (ja) 姿勢推定装置
CN115410233B (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
CN113158459A (zh) 一种基于视觉和惯性信息融合的人体姿态估计方法
Beth et al. Characteristics in human motion–from acquisition to analysis
CN111241936A (zh) 一种基于深度和彩色图像特征融合的人体姿态估计方法
CN113033501A (zh) 一种基于关节四元数的人体分类方法及装置
CN113516232A (zh) 一种基于自注意力机制的神经网络模型的训练方法
JP2002218449A (ja) 移動物体追跡装置
Arowolo et al. Development of a human posture recognition system for surveillance application
CN113609999B (zh) 基于姿态识别的人体模型建立方法
Abd Shattar et al. Experimental Setup for Markerless Motion Capture and Landmarks Detection using OpenPose During Dynamic Gait Index Measurement
CN115050095A (zh) 一种基于高斯过程回归和渐进滤波的人体姿态预测方法
JP5061808B2 (ja) 感情判定方法
CN113743341B (zh) 一种基于自适应模型的人体姿态实时估计方法
CN113255462A (zh) 步态评分方法、系统、计算机程序产品及可读存储介质
Qi et al. 3D human pose tracking approach based on double Kinect sensors
CN111222437A (zh) 一种基于多深度图像特征融合的人体姿态估计方法
CN107680136B (zh) 一种辅助遥操作执行空间任务的三维目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination