CN113743341A - 一种基于自适应模型的人体姿态实时估计方法 - Google Patents

一种基于自适应模型的人体姿态实时估计方法 Download PDF

Info

Publication number
CN113743341A
CN113743341A CN202111057037.4A CN202111057037A CN113743341A CN 113743341 A CN113743341 A CN 113743341A CN 202111057037 A CN202111057037 A CN 202111057037A CN 113743341 A CN113743341 A CN 113743341A
Authority
CN
China
Prior art keywords
human body
joint point
model
state
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111057037.4A
Other languages
English (en)
Other versions
CN113743341B (zh
Inventor
张文安
沈微杰
杨旭升
刘浩淼
沈林强
季华
叶飞虎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202111057037.4A priority Critical patent/CN113743341B/zh
Publication of CN113743341A publication Critical patent/CN113743341A/zh
Application granted granted Critical
Publication of CN113743341B publication Critical patent/CN113743341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于自适应模型的人体姿态实时估计方法，该方法融合深度学习的优势来达到运动模式分类和运动轨迹建模的统一，解决了传统建模方法存在的局限性以及复杂运动下人体姿态估计鲁棒性差且准确度低的问题，实现在人体运动模式和轨迹复杂多变情况下的人体姿态估计。特别的，利用LSTM网络进行动作识别和人体各关节点运动轨迹建模，有效地提高了运动模型的自适应能力和人体姿态估计的精确度与鲁棒性。

Description

一种基于自适应模型的人体姿态实时估计方法
技术领域
本发明属于人体姿态估计领域，尤其是一种基于自适应模型的人体姿态实时估计方法。
背景技术
人体姿态估计在运动分析、人机交互、自动驾驶、虚拟现实以及电影制作等领域有着重要的应用价值。随着深度学习和传感器技术的发展，人体姿态估计技术得到了广泛的应用，例如，用于舞蹈教学的运动分析，不良驾驶习惯识别等。
近年来，消费级深度传感器的流行为人体姿态估计提供了新的途径，使用深度信息进行背景分割，再利用随机森林等方法即可估计出人体姿态，使得人体关节点数据变得更容易获取，实现人体姿态估计变得更为便捷。然而，由于人体运动受规则约束少且主观性强，使得人体运动具有较强的多样性和随机性，难以对其运动进行精确建模，使用传统的运动建模方法很难准确估计出人体姿态。一种有效的方法是融合深度学习的优势来达到运动模式分类和运动轨迹建模的统一，实现在人体运动模式和轨迹复杂多变情况下的人体姿态估计。目前，还没有技术能够解决在人体不确定运动轨迹场景下自适应建模的问题，进而达到鲁棒、实时的人体姿态估计。
发明内容
为了克服传统建模方法存在的局限性以及复杂运动下人体姿态估计鲁棒性差且准确度低的缺点，本发明提供一种基于自适应模型的人体姿态实时估计方法。特别的，利用LSTM网络进行动作识别和人体各关节点运动轨迹建模，有效地提高了运动模型的自适应能力和人体姿态估计的精确度与鲁棒性。
本发明解决其技术问题所采用的技术方案是：
一种基于自适应模型的人体姿态实时估计方法，其特征在于：所述方法包括以下步骤：
步骤1)获取人体各关节点空间位置数据y，使用神经网络建立运动轨迹模型fi j和动作识别模型fi c；
步骤2)分别建立各动作下人体各关节点的运动轨迹模型，确定过程噪声
Figure BDA0003254972760000021
的协方差
Figure BDA0003254972760000022
以及建立各动作下人体姿态的量测模型，确定量测噪声
Figure BDA0003254972760000023
及其协方差
Figure BDA0003254972760000024
步骤3)确定人体各关节点的初始状态值及其协方差
Figure BDA0003254972760000025
Pi,0|0；人体各关节点的初始状态值为关节点i在视觉传感器坐标系下x,y,z轴上的值，
Figure BDA0003254972760000026
和Pi,0|0为人体关节点i的初始位置信息及其协方差；
步骤4)根据建立的动作识别模型，计算出k时刻各关节点的动作ji,k，选择对应的各关节点运动轨迹模型，若不满足触发条件，直接执行步骤5)，否则，更新各关节点运动轨迹模型的细胞状态
Figure BDA0003254972760000027
和隐藏状态
Figure BDA0003254972760000028
继而执行步骤5)；其中ji,k为人体关节点i在k时刻的动作类别，
Figure BDA0003254972760000029
和
Figure BDA00032549727600000210
为人体各关节点i在k-1时刻运动轨迹模型的细胞状态和隐藏状态；
步骤5)根据选择的运动轨迹模型，使用UT变换，分别计算各关节点的状态预测值
Figure BDA00032549727600000211
及其协方差Pi,k|k-1，并更新各关节点运动轨迹模型的细胞状态
Figure BDA00032549727600000212
和隐藏状态
Figure BDA00032549727600000213
步骤6)读取人体各关节点姿态的量测值zi,k，计算各关节点的卡尔曼增益Ki,k，并分别计算各关节点的状态估计值
Figure BDA00032549727600000214
及其协方差Pi,k|k；
重复执行步骤4)-6)完成对人体各关节点的状态估计，实现基于自适应模型的人体姿态实时估计。
进一步的，步骤1)中，所述神经网络为LSTM神经网络，以采样t-1时刻人体关节点的位置
Figure BDA0003254972760000031
作为网络的输入，在采样t时刻的位置
Figure BDA0003254972760000032
作为网络的期望输出，对动作j的样本进行神经网络训练，j＝1,2,…,N为动作类别，得到动作j的各关节点运动轨迹模型函数fi j：
Figure BDA0003254972760000033
Figure BDA0003254972760000034
Figure BDA0003254972760000035
Figure BDA0003254972760000036
Figure BDA0003254972760000037
Figure BDA0003254972760000038
Figure BDA0003254972760000039
其中，i＝1,2,…,15表示人体各关节点的序号，包括头部、胸椎、左肩、右肩、左肘、右肘、左腕、右腕、骶椎、左髋、右髋、左膝、右膝、左踝、右踝共15个人体姿态估计所需的关节点；t＝1,2,…为离散采样时间序列；
Figure BDA00032549727600000310
为采样t-1时刻动作j关节点i的状态信息，
Figure BDA00032549727600000311
分别表示动作j关节点i在深度传感器坐标系下x,y,z轴上的值，为神经网络的输入；
Figure BDA00032549727600000312
为神经网络输出的动作j关节点i的状态信息，
Figure BDA00032549727600000313
分别表示动作j关节点i在深度传感器坐标系下x,y,z轴上的值；
Figure BDA00032549727600000314
为训练好的运动轨迹模型函数；
Figure BDA00032549727600000315
和
Figure BDA00032549727600000316
分别表示输入门、遗忘门、输出门、候选态的权重矩阵和偏差，Wi j和
Figure BDA00032549727600000317
分别表示全连接层的权重矩阵和偏差；
Figure BDA00032549727600000318
和
Figure BDA00032549727600000319
分别表示细胞状态和隐藏状态在t-1时刻的输出；
Figure BDA00032549727600000320
分别表示输入门、遗忘门、输出门、候选态的输出值；σ表示sigmoid激活函数，tanh表示tanh激活函数；
以采样t时刻的人体关节点的位置yi,t作为网络的输入，动作ji,t作为网络的期望输出，对神经网络进行训练，得到实时的各关节点动作识别模型函数fi c：
Figure BDA0003254972760000041
Figure BDA0003254972760000042
Figure BDA0003254972760000043
Figure BDA0003254972760000044
Figure BDA0003254972760000045
Figure BDA0003254972760000046
Figure BDA0003254972760000047
其中，上标c表示动作识别模型，
Figure BDA0003254972760000048
为采样t时刻关节点i的状态信息，
Figure BDA0003254972760000049
分别表示关节点i在深度传感器坐标系下x,y,z轴上的值，为神经网络的输入；
Figure BDA00032549727600000410
为神经网络输出的动作类别；
Figure BDA00032549727600000411
为训练好的动作识别模型函数；softmax表示Softmax激活函数。
进一步的，所述步骤2)中，建立人体关节点的运动轨迹模型和基于深度图像的量测模型如下：
Figure BDA00032549727600000412
Figure BDA00032549727600000413
其中，k＝1,2,…为离散时间序列，
Figure BDA00032549727600000414
为关节点i在k时刻的状态信息，
Figure BDA00032549727600000415
分别表示关节点i在深度传感器坐标系下x,y,z轴上的值，
Figure BDA00032549727600000416
为关节点i从深度图像中获取的量测信息，
Figure BDA00032549727600000417
分别表示关节点i在深度传感器坐标系下x,y,z轴上的值；fi j为实时选择的各关节点运动轨迹模型函数；
Figure BDA0003254972760000051
是均值为0且协方差为
Figure BDA0003254972760000052
的高斯白噪声，
Figure BDA0003254972760000053
是均值为0且协方差为
Figure BDA0003254972760000054
的高斯白噪声；
Figure BDA0003254972760000055
为基于动作j的人体关节点i的过程噪声协方差，
Figure BDA0003254972760000056
为基于动作j的人体关节点i的量测噪声协方差。
进一步的，所述步骤4)中，事件触发条件为：
ji,k≠ji,k-1 (15)
。
进一步的，所述步骤5)中，UT变换是一种计算非线性变换中随机变量统计特性的有效方法，根据公式(18)、(19)计算2n+1个Sigma点χl及一阶权重Wl (m)和二阶权重Wl (c)：
Figure BDA0003254972760000057
Figure BDA0003254972760000058
其中，n为状态向量维数，α，β，κ为确定常数；
对每个Sigma点通过运动轨迹模型传播，得到：
yl＝fi j(χl)l＝0,1,…,2n (20)
根据公式(21)、(22)计算各关节点的状态预测值
Figure BDA0003254972760000059
及其协方差Pi,k|k-1：
Figure BDA00032549727600000510
Figure BDA00032549727600000511
进一步的，所述步骤6)具体过程如下：
根据状态预测值
Figure BDA0003254972760000061
及其协方差Pi,k|k-1，再次使用UT变换，产生新的Sigma点集：
Figure BDA0003254972760000062
将Sigma点集Υl通过量测模型传播，得到：
Zl＝Υl l＝0,1,…,2n (24)
并根据公式(25)-(27)计算得量测值的一步预测
Figure BDA0003254972760000063
及量测预测误差协方阵
Figure BDA0003254972760000064
和状态预测误差和量测预测误差的互协方差阵
Figure BDA0003254972760000065
为：
Figure BDA0003254972760000066
Figure BDA0003254972760000067
Figure BDA0003254972760000068
最后，读取当前状态的量测值zi,k，根据公式(28)-(30)计算各关节点的卡尔曼增益Ki,k，状态估计值
Figure BDA0003254972760000069
及其协方差Pi,k|k：
Figure BDA00032549727600000610
Figure BDA00032549727600000611
Figure BDA00032549727600000612
本发明的有益效果主要表现在：发明提供了一种基于自适应模型的人体姿态实时估计方法。针对在人体运动模式和轨迹复杂多变情况下传统的运动建模方法存在的局限性，且复杂运动下人体姿态估计鲁棒性差且准确度低的问题，采用基于事件触发的自适应模型人体姿态实时估计方法，利用LSTM网络进行人体关节点动作识别和运动轨迹建模，有效地提高了运动模型的自适应能力和人体姿态估计的精确度与鲁棒性。
附图说明
图1是本发明描述人体姿态的关节点示意图；
图2是本发明人体姿态估计流程图；
图3是本发明人体姿态估计方法框图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1、图2和图3，一种基于自适应模型的人体姿态实时估计方法，所述方法包括以下步骤：
步骤1)获取人体各关节点空间位置数据，使用神经网络建立运动轨迹模型fi j和动作识别模型fi c；步骤1)中，所述的j＝1,2,…,N为动作类别，i＝1,2,…,15表示人体各关节点的序号，包括头部、胸椎、左肩、右肩、左肘、右肘、左腕、右腕、骶椎、左髋、右髋、左膝、右膝、左踝、右踝共15个人体姿态估计所需的关节点，所述上标c表示动作识别模型；所述神经网络为LSTM神经网络，运动轨迹模型输入为
Figure BDA0003254972760000071
输出为
Figure BDA0003254972760000072
运动模式分类模型输入为yi,t，输出为ji,t，y为人体关节点空间位置数据，t＝1,2,…为离散采样时间序列，使用随机梯度下降法进行反向传播完成神经网络训练。
步骤2)分别建立各动作下人体各关节点的运动轨迹模型，确定过程噪声
Figure BDA0003254972760000073
的协方差
Figure BDA0003254972760000074
以及建立各动作下人体姿态的量测模型，确定量测噪声
Figure BDA0003254972760000081
及其协方差
Figure BDA0003254972760000082
所述的
Figure BDA0003254972760000083
为基于动作j的人体关节点i的过程噪声协方差，
Figure BDA0003254972760000084
为基于动作j的人体关节点i的量测噪声协方差。
步骤3)确定人体各关节点的初始状态值及其协方差
Figure BDA0003254972760000085
Pi,0|0；所述的人体各关节点的初始状态值为关节点i在视觉传感器坐标系下x,y,z轴上的值，
Figure BDA0003254972760000086
和Pi,0|0为人体关节点i的初始位置信息及其协方差。
步骤4)根据建立的动作识别模型，计算k时刻各关节点的动作ji,k，选择对应的各关节点运动轨迹模型，若不满足触发条件，直接执行步骤5)，否则，更新各关节点运动轨迹模型的细胞状态
Figure BDA0003254972760000087
和隐藏状态
Figure BDA0003254972760000088
继而执行步骤5)；所述的ji,k为人体关节点i在k时刻的动作类别，
Figure BDA0003254972760000089
和
Figure BDA00032549727600000810
为人体各关节点i在k-1时刻运动轨迹模型的细胞状态和隐藏状态；所述的事件触发条件为：ji,k≠ji,k-1。
步骤5)根据选择的运动轨迹模型，使用UT变换，分别计算各关节点的状态预测值
Figure BDA00032549727600000811
及其协方差Pi,k|k-1，并更新各关节点运动轨迹模型的细胞状态
Figure BDA00032549727600000812
和隐藏状态
Figure BDA00032549727600000813
所述的UT变换是一种计算非线性变换中随机变量统计特性的有效方法。
步骤6)读取人体各关节点姿态的量测值zi,k，计算各关节点的卡尔曼增益Ki,k，并分别计算各关节点的状态估计值
Figure BDA00032549727600000814
及其协方差Pi,k|k；
重复执行步骤4)-6)完成对人体各关节点的状态估计，实现基于自适应模型的人体姿态实时估计。
如图1的人体关节点示意图所示，从深度图像获取的15个人体关节点，包括头部、胸椎、左肩、右肩、左肘、右肘、左腕、右腕、骶椎、左髋、右髋、左膝、右膝、左踝、右踝。
人体姿态估计流程图如图2所示。
以采样t-1时刻人体关节点的位置
Figure BDA0003254972760000091
作为网络的输入
Figure BDA0003254972760000092
在采样t时刻的位置
Figure BDA0003254972760000093
作为网络的期望输出，对动作j的样本进行神经网络训练，得到动作j的各关节点运动轨迹模型函数fi j：
Figure BDA0003254972760000094
Figure BDA0003254972760000095
Figure BDA0003254972760000096
Figure BDA0003254972760000097
Figure BDA0003254972760000098
Figure BDA0003254972760000099
Figure BDA00032549727600000910
其中，
Figure BDA00032549727600000911
为采样t-1时刻动作j关节点i的状态信息，
Figure BDA00032549727600000912
分别表示动作j关节点i在深度传感器坐标系下x,y,z轴上的值，为神经网络的输入；
Figure BDA00032549727600000913
为神经网络输出的动作j关节点i的状态信息，
Figure BDA00032549727600000914
分别表示动作j关节点i在深度传感器坐标系下x,y,z轴上的值；
Figure BDA00032549727600000915
为训练好的运动轨迹模型函数；
Figure BDA00032549727600000916
和
Figure BDA00032549727600000917
分别表示输入门、遗忘门、输出门、候选态的权重矩阵和偏差，Wi j和
Figure BDA00032549727600000918
分别表示全连接层的权重矩阵和偏差；
Figure BDA00032549727600000919
和
Figure BDA00032549727600000920
分别表示细胞状态和隐藏状态在t-1时刻的输出；
Figure BDA00032549727600000921
分别表示输入门、遗忘门、输出门、候选态的输出值；σ表示sigmoid激活函数，tanh表示tanh激活函数。
以采样t时刻的人体关节点的位置yi,t作为网络的输入，动作ji,t作为网络的期望输出，对神经网络进行训练，得到实时的各关节点动作识别模型函数fi c：
Figure BDA00032549727600000922
Figure BDA0003254972760000101
Figure BDA0003254972760000102
Figure BDA0003254972760000103
Figure BDA0003254972760000104
Figure BDA0003254972760000105
Figure BDA0003254972760000106
其中，上标c表示动作识别模型，
Figure BDA0003254972760000107
为采样t时刻关节点i的状态信息，
Figure BDA0003254972760000108
分别表示关节点i在深度传感器坐标系下x,y,z轴上的值，为神经网络的输入；
Figure BDA0003254972760000109
为神经网络输出的动作类别；
Figure BDA00032549727600001010
为训练好的动作识别模型函数；softmax表示Softmax激活函数。
根据动作识别模型的fi c的输出结果
Figure BDA00032549727600001011
确定动作类别，实时选择对应动作类别的运动轨迹模型fi j，并根据公式(15)进行事件触发检测，若公式(15)不成立，直接执行步骤5)，否则，更新各关节点运动轨迹模型的细胞状态
Figure BDA00032549727600001012
和隐藏状态
Figure BDA00032549727600001013
继而执行步骤5)。
ji,k≠ji,k-1 (15)
建立人体关节点的运动轨迹模型和基于深度图像的量测模型如下：
Figure BDA00032549727600001014
Figure BDA00032549727600001015
其中，k＝1,2,…为离散时间序列，
Figure BDA00032549727600001016
为关节点i的状态信息，
Figure BDA00032549727600001017
分别表示关节点i在深度传感器坐标系下x,y,z轴上的值，
Figure BDA00032549727600001018
为关节点i从深度图像中获取的量测信息，
Figure BDA00032549727600001019
分别表示关节点i在深度传感器坐标系下x,y,z轴上的值；fi j为实时选择的各关节点运动轨迹模型函数；
Figure BDA0003254972760000111
是均值为0且协方差为
Figure BDA0003254972760000112
的高斯白噪声，
Figure BDA0003254972760000113
是均值为0且协方差为
Figure BDA0003254972760000114
的高斯白噪声。
首先，确定人体各关节点的初始状态值及其协方差
Figure BDA0003254972760000115
Pi,0|0；
其次，使用UT变换。根据公式(18)、(19)计算2n+1个Sigma点χl及一阶权重Wl (m)和二阶权重Wl (c)：
Figure BDA0003254972760000116
Figure BDA0003254972760000117
其中，n为状态向量维数，α，β，κ为确定常数。
对每个Sigma点通过运动轨迹模型传播，得到：
yl＝fi j(χl)l＝0,1,…,2n (20)
根据公式(21)、(22)计算各关节点的状态预测值
Figure BDA0003254972760000118
及其协方差Pi,k|k-1：
Figure BDA0003254972760000119
Figure BDA00032549727600001110
然后，根据状态预测值
Figure BDA00032549727600001111
及其协方差Pi,k|k-1，再次使用UT变换，产生新的Sigma点集：
Figure BDA00032549727600001112
将Sigma点集Υl通过量测模型传播，得到：
Zl＝Υl l＝0,1,…,2n (24)
并根据公式(25)-(27)计算得量测值的一步预测
Figure BDA0003254972760000121
及量测预测误差协方阵
Figure BDA0003254972760000122
和状态预测误差和量测预测误差的互协方差阵
Figure BDA0003254972760000123
为：
Figure BDA0003254972760000124
Figure BDA0003254972760000125
Figure BDA0003254972760000126
最后，读取当前状态的量测值zi,k，根据公式(28)-(30)计算各关节点的卡尔曼增益Ki,k，状态估计值
Figure BDA0003254972760000127
及其协方差Pi,k|k：
Figure BDA0003254972760000128
Figure BDA0003254972760000129
Figure BDA00032549727600001210
重复执行上述步骤，完成对人体所有关节点的状态估计，进而进入k+1时刻人体各关节点的状态估计。

Claims (6)

1.一种基于自适应模型的人体姿态实时估计方法，其特征在于：所述方法包括以下步骤：
步骤1)获取人体各关节点空间位置数据y，使用神经网络建立运动轨迹模型fi j和动作识别模型fi c；
步骤2)分别建立各动作下人体各关节点的运动轨迹模型，确定过程噪声
Figure FDA0003254972750000011
的协方差
Figure FDA0003254972750000012
以及建立各动作下人体姿态的量测模型，确定量测噪声
Figure FDA0003254972750000013
及其协方差
Figure FDA0003254972750000014
步骤3)确定人体各关节点的初始状态值及其协方差
Figure FDA0003254972750000015
Pi，0|0；人体各关节点的初始状态值为关节点i在视觉传感器坐标系下x，y，z轴上的值，
Figure FDA0003254972750000016
和Pi，0|0为人体关节点i的初始位置信息及其协方差；
步骤4)根据建立的动作识别模型，计算出k时刻各关节点的动作ji，k，选择对应的各关节点运动轨迹模型，若不满足触发条件，直接执行步骤5)，否则，更新各关节点运动轨迹模型的细胞状态
Figure FDA0003254972750000017
和隐藏状态
Figure FDA0003254972750000018
继而执行步骤5)；其中ji，k为人体关节点i在k时刻的动作类别，
Figure FDA0003254972750000019
和
Figure FDA00032549727500000110
为人体各关节点i在k-1时刻运动轨迹模型的细胞状态和隐藏状态；
步骤5)根据选择的运动轨迹模型，使用UT变换，分别计算各关节点的状态预测值
Figure FDA00032549727500000111
及其协方差Pi，k|k-1，并更新各关节点运动轨迹模型的细胞状态
Figure FDA00032549727500000112
和隐藏状态
Figure FDA00032549727500000113
步骤6)读取人体各关节点姿态的量测值zi，k，计算各关节点的卡尔曼增益Ki，k，并分别计算各关节点的状态估计值
Figure FDA00032549727500000114
及其协方差Pi，k|k；
重复执行步骤4)-6)完成对人体各关节点的状态估计，实现基于自适应模型的人体姿态实时估计。
2.如权利要求1所述的一种基于自适应模型的人体姿态实时估计方法，其特征在于：步骤1)中，所述神经网络为LSTM神经网络，以采样t-1时刻人体关节点的位置
Figure FDA0003254972750000021
作为网络的输入，在采样t时刻的位置
Figure FDA0003254972750000022
作为网络的期望输出，对动作j的样本进行神经网络训练，j＝1，2，…，N为动作类别，得到动作j的各关节点运动轨迹模型函数
Figure FDA0003254972750000023
Figure FDA0003254972750000024
Figure FDA0003254972750000025
Figure FDA0003254972750000026
Figure FDA0003254972750000027
Figure FDA0003254972750000028
Figure FDA0003254972750000029
Figure FDA00032549727500000210
其中，i＝1，2，…，15表示人体各关节点的序号，包括头部、胸椎、左肩、右肩、左肘、右肘、左腕、右腕、骶椎、左髋、右髋、左膝、右膝、左踝、右踝共15个人体姿态估计所需的关节点；t＝1，2，…为离散采样时间序列；
Figure FDA00032549727500000211
为采样t-1时刻动作j关节点i的状态信息，
Figure FDA00032549727500000212
分别表示动作j关节点i在深度传感器坐标系下x，y，z轴上的值，为神经网络的输入；
Figure FDA00032549727500000213
为神经网络输出的动作j关节点i的状态信息，
Figure FDA00032549727500000214
分别表示动作j关节点i在深度传感器坐标系下x，y，z轴上的值；
Figure FDA00032549727500000215
为训练好的运动轨迹模型函数；
Figure FDA00032549727500000216
和
Figure FDA00032549727500000217
分别表示输入门、遗忘门、输出门、候选态的权重矩阵和偏差，Wi j和
Figure FDA00032549727500000225
分别表示全连接层的权重矩阵和偏差；
Figure FDA00032549727500000218
和
Figure FDA00032549727500000219
分别表示细胞状态和隐藏状态在t-1时刻的输出；
Figure FDA00032549727500000220
分别表示输入门、遗忘门、输出门、候选态的输出值；σ表示sigmoid激活函数，tanh表示tanh激活函数；
以采样t时刻的人体关节点的位置yi，t作为网络的输入，动作ji，t作为网络的期望输出，对神经网络进行训练，得到实时的各关节点动作识别模型函数fi c：
Figure FDA00032549727500000221
Figure FDA00032549727500000222
Figure FDA00032549727500000223
Figure FDA00032549727500000224
Figure FDA0003254972750000031
Figure FDA0003254972750000032
Figure FDA0003254972750000033
其中，上标c表示动作识别模型，
Figure FDA0003254972750000034
为采样t时刻关节点i的状态信息，
Figure FDA0003254972750000035
分别表示关节点i在深度传感器坐标系下x，y，z轴上的值，为神经网络的输入；
Figure FDA0003254972750000036
为神经网络输出的动作类别；
Figure FDA0003254972750000037
为训练好的动作识别模型函数；softmax表示Softmax激活函数。
3.如权利要求1所述的一种基于自适应模型的人体姿态实时估计方法，其特征在于：所述步骤2)中，建立人体关节点的运动轨迹模型和基于深度图像的量测模型如下：
Figure FDA0003254972750000038
Figure FDA0003254972750000039
其中，k＝1，2，…为离散时间序列，
Figure FDA00032549727500000310
为关节点i在k时刻的状态信息，
Figure FDA00032549727500000311
分别表示关节点i在深度传感器坐标系下x，y，z轴上的值，
Figure FDA00032549727500000312
为关节点i从深度图像中获取的量测信息，
Figure FDA00032549727500000313
分别表示关节点i在深度传感器坐标系下x，y，z轴上的值；fi j为实时选择的各关节点运动轨迹模型函数；
Figure FDA00032549727500000314
是均值为0且协方差为
Figure FDA00032549727500000315
的高斯白噪声，
Figure FDA00032549727500000316
是均值为0且协方差为
Figure FDA00032549727500000317
的高斯白噪声；
Figure FDA00032549727500000318
为基于动作j的人体关节点i的过程噪声协方差，
Figure FDA00032549727500000319
为基于动作j的人体关节点i的量测噪声协方差。
4.如权利要求1所述的一种基于自适应模型的人体姿态实时估计方法，其特征在于：所述步骤4)中，事件触发条件为：
ji，k≠ji，k-1 (15)。
5.如权利要求1所述的一种基于自适应模型的人体姿态实时估计方法，其特征在于：所述步骤5)中，UT变换是一种计算非线性变换中随机变量统计特性的有效方法，根据公式(18)、(19)计算2n+1个Sigma点χl及一阶权重
Figure FDA0003254972750000041
和二阶权重
Figure FDA0003254972750000042
Figure FDA0003254972750000043
Figure FDA0003254972750000044
其中，n为状态向量维数，α，β，κ为确定常数；
对每个Sigma点通过运动轨迹模型传播，得到：
yl＝fi j(χl) l＝0，1，…，2n (20)
根据公式(21)、(22)计算各关节点的状态预测值
Figure FDA0003254972750000048
及其协方差Pi，k|k-1：
Figure FDA0003254972750000045
Figure FDA0003254972750000046
6.如权利要求1所述的一种基于自适应模型的人体姿态实时估计方法，其特征在于：所述步骤6)具体过程如下：
根据状态预测值
Figure FDA0003254972750000047
及其协方差Pi，k|k-1，再次使用UT变换，产生新的Sigma点集：
Figure FDA0003254972750000051
将Sigma点集Υl通过量测模型传播，得到：
Zl＝Υl l＝0，1，…，2n (24)
并根据公式(25)-(27)计算得量测值的一步预测
Figure FDA0003254972750000052
及量测预测误差协方阵
Figure FDA0003254972750000053
和状态预测误差和量测预测误差的互协方差阵
Figure FDA0003254972750000054
为：
Figure FDA0003254972750000055
Figure FDA0003254972750000056
Figure FDA0003254972750000057
最后，读取当前状态的量测值zi，k，根据公式(28)-(30)计算各关节点的卡尔曼增益Ki，k，状态估计值
Figure FDA0003254972750000058
及其协方差Pi，k|k：
Figure FDA0003254972750000059
Figure FDA00032549727500000510
Figure FDA00032549727500000511
CN202111057037.4A 2021-09-09 2021-09-09 一种基于自适应模型的人体姿态实时估计方法 Active CN113743341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111057037.4A CN113743341B (zh) 2021-09-09 2021-09-09 一种基于自适应模型的人体姿态实时估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111057037.4A CN113743341B (zh) 2021-09-09 2021-09-09 一种基于自适应模型的人体姿态实时估计方法

Publications (2)

Publication Number Publication Date
CN113743341A true CN113743341A (zh) 2021-12-03
CN113743341B CN113743341B (zh) 2024-02-02

Family

ID=78737579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111057037.4A Active CN113743341B (zh) 2021-09-09 2021-09-09 一种基于自适应模型的人体姿态实时估计方法

Country Status (1)

Country Link
CN (1) CN113743341B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115886790A (zh) * 2022-10-28 2023-04-04 南京工程学院 一种基于sEMG和SpO2的脊柱姿态检测方法、装置和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241936A (zh) * 2019-12-31 2020-06-05 浙江工业大学 一种基于深度和彩色图像特征融合的人体姿态估计方法
CN112131928A (zh) * 2020-08-04 2020-12-25 浙江工业大学 一种rgb-d图像特征融合的人体姿态实时估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111241936A (zh) * 2019-12-31 2020-06-05 浙江工业大学 一种基于深度和彩色图像特征融合的人体姿态估计方法
CN112131928A (zh) * 2020-08-04 2020-12-25 浙江工业大学 一种rgb-d图像特征融合的人体姿态实时估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115886790A (zh) * 2022-10-28 2023-04-04 南京工程学院 一种基于sEMG和SpO2的脊柱姿态检测方法、装置和设备

Also Published As

Publication number Publication date
CN113743341B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN106384093B (zh) 一种基于降噪自动编码器和粒子滤波的人体动作识别方法
CN104615983B (zh) 基于递归神经网络和人体骨架运动序列的行为识别方法
CN111191627B (zh) 一种多视点下提高动态手势动作识别准确率的方法
CN106909938B (zh) 基于深度学习网络的视角无关性行为识别方法
CN109919245A (zh) 深度学习模型训练方法及装置、训练设备及存储介质
CN111028319B (zh) 一种基于面部运动单元的三维非真实感表情生成方法
CN111476161A (zh) 一种融合图像和生理信号双通道的体感动态手势识别方法
CN111160294B (zh) 基于图卷积网络的步态识别方法
CN111199216B (zh) 面向人体骨架的运动预测方法及系统
CN111259735B (zh) 基于多级预测特征增强卷积神经网络的单人姿态估计方法
CN101894278A (zh) 基于变结构多模型的人体运动跟踪方法
CN102682452A (zh) 基于产生式和判别式结合的人体运动跟踪方法
CN113313123B (zh) 一种基于语义推断的扫视路径预测方法
CN110401978A (zh) 基于神经网络和粒子滤波多源融合的室内定位方法
CN110110794B (zh) 基于特征函数滤波的神经网络参数更新的图像分类方法
CN112131928B (zh) 一种rgb-d图像特征融合的人体姿态实时估计方法
CN114973417A (zh) 一种基于神经网络与卡尔曼滤波的人体姿态估计方法
CN116052254A (zh) 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法
CN113743341A (zh) 一种基于自适应模型的人体姿态实时估计方法
Firouznia et al. Adaptive chaotic sampling particle filter to handle occlusion and fast motion in visual object tracking
CN113156473A (zh) 信息融合定位系统卫星信号环境的自适应判别方法
CN116704202A (zh) 一种基于知识嵌入的视觉关系检测方法
Hu et al. Observer-based learning and non-high-gain recognition of univariate time series
CN115050095A (zh) 一种基于高斯过程回归和渐进滤波的人体姿态预测方法
Zhang et al. Mobile robot localization based on gradient propagation particle filter network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant