CN111242048A - 基于时空协同关注循环神经网络的人体骨架动作预测方法 - Google Patents

基于时空协同关注循环神经网络的人体骨架动作预测方法 Download PDF

Info

Publication number
CN111242048A
CN111242048A CN202010043443.4A CN202010043443A CN111242048A CN 111242048 A CN111242048 A CN 111242048A CN 202010043443 A CN202010043443 A CN 202010043443A CN 111242048 A CN111242048 A CN 111242048A
Authority
CN
China
Prior art keywords
skeleton
joint
attention
network
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010043443.4A
Other languages
English (en)
Inventor
舒祥波
蒋茜
张嘉超
宋砚
唐金辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010043443.4A priority Critical patent/CN111242048A/zh
Publication of CN111242048A publication Critical patent/CN111242048A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于时空协同关注循环神经网络的人体骨架动作预测方法，步骤如下：由MOCAP捕获人体骨架动作序列，选取人体骨架中的17个关节；对每一未来时间步，提取骨架‑关节协同关注特征；将骨架‑关节协同关注特征输入到已使用加权格拉姆损失函数训练好的骨架‑关节协同关注的循环神经网络中，生成未来的人体骨架动作。本发明可以通过已观测到的人体骨架动作预测未来一定时间内的人体骨架动作，同时关注骨骼在时间域上的演化和空间域上关节的相关性，较其他方法具有更好的人体骨架动作预测效果。

Description

基于时空协同关注循环神经网络的人体骨架动作预测方法
技术领域
本发明涉及计算机视觉领域中的动作预测技术，具体涉及一种基于时空协同关注循环神经网络的人体骨架动作预测方法。
背景技术
随着Kinect、PS Move、Vicon等MOCAP设备的发展，捕捉人体骨架动作变得简单方便。目前，越来越多的基于MOCAP的产品出现在各种应用领域，如体感游戏、虚拟现实(VR)、人机交互等。这些产品背后的关键技术之一是人体骨架动作分析。人体骨架动作分析是计算机视觉领域的一个有趣的课题，一般包括动作合成、动作预测、姿态估计等。此外，许多研究者也试图通过将人体骨架动作作为关键的动作信息来理解人类的动作、交互作用甚至活动。
早期，由于人体动作的顺序性和非线性，研究者们利用各种概率模型，如潜在变量模型、马尔科夫模型、生成模型、自动编码器等，来预测基于大量观察到的人体动作。近年来，与传统的方法相比，递归神经网络，尤其是门控递归单元网络(GRU)和长短时记忆网络(LSTM)在获取序列信息方面表现出了显著的性能。因此，近年来基于RNN的方法利用RNN对随时间的序列动作进行建模，解决了人体动作预测的问题。但在上述基于RNN的人体动作预测方法中，运动信息的直接传播仅存在于相邻帧之间，虽然其预测短期动作的效果较好，但它只通过前一帧来更新运动状态，使得预测长期动作的效果较差。因此，为了提升长期动作的预测准确性，Tang等人提出了一种时间关注机制(即骨架关注)，根据观察到的每个动作对预测一个未来动作的贡献，动态学习每个动作的关注因子。将所有观测到的动作视为动作环境，利用带骨架关注机制的RNN来预测未来的动作。
基于RNN的运动预测方法大多只在时间域上对人体骨骼运动进行建模，忽略了人体关节在空间域上的空间相干性。例如，在“行走”动作中，左(右)臂和右(左)腿的摆动方向在空间上通常是一致的。
发明内容
本发明的目的在于提供一种基于时空协同关注循环神经网络的人体骨架动作预测方法，解决了人体骨架动作预测的问题。
实现本发明目的的技术解决方案为：一种基于时空协同关注循环神经网络的人体骨架动作预测方法，包括以下步骤：
步骤A.从MOCAP捕获的骨架动作序列中选取每一时刻下人体骨架中17个关节在3Dangle axis下的数据作为输入的骨架动作序列；
步骤B.对输入的骨架动作序列提取骨架-关节协同关注特征图；
步骤C.建立骨架-关节协同关注网络，并将其训练，将骨架-关节协同关注特征图输入训练好的骨架-关节协同关注网络，得到预测人体骨架动作序列。
本发明与现有技术相比，其显著优点在于：
(1)提出了一种骨架-关节共同关注机制和骨架-关节共同关注循环神经网络，不仅关注骨骼在时间域上的演化，同时关注空间域上关节的相关性。
(2)较人体动作预测的其他方法具有更好地效果。
附图说明
图1是本发明基于时空协同关注循环神经网络的人体骨架动作预测方法流程图。
图2是SC-RNN的人体动作的预测效果图，动作包括指向、讨论、进食、打招呼、打电话、摆姿势、购买、坐下，由上至下每行依次对应观测到的动作、实际的人体动作、ERD预测动作、LSTM-3LR预测动作、Res-GRU预测动作、MHU预测动作、SC-RNN预测动作。
具体实施方式
结合图1，一种基于时空协同关注循环神经网络的人体骨架动作预测方法，包括以下步骤：
步骤A.从MOCAP捕获的骨架动作序列中选取每一时刻下人体骨架中17个关节在三维角轴坐标系(3D angle axis)下的数据作为输入的骨架动作序列
Figure BDA0002368541520000021
其中xt是t时间步的人体动作，包括K个关节在3D angle axis下的三维位置参数，T为观测到的骨架动作序列长度，即观测到的时间步总数，K为关节总数，变量d＝3×K。其中，17个关节选择为：两个肩关节、两个肘关节、两个腕关节、两个膝关节、两个踝关节、两个髋关节、一个下颌关节、两个椎关节、一个颈关节、一个骶髂关节。
步骤B.对输入的骨架动作序列提取骨架-关节协同关注特征，具体如下：
B-1.由骨架动作序列构成骨架-关节特征图F；
Figure BDA0002368541520000031
其中，j表示时间步序号。
B-2.由骨架-关节特征图计算骨架关注因子
Figure BDA0002368541520000032
用于表示观测的骨架动作F(:,j)与t′-1时间步的骨架预测状态ht'-1的一致程度；
Figure BDA0002368541520000033
Figure BDA0002368541520000034
其中，τ1是softmax函数的温度参数，
Figure BDA0002368541520000035
是双曲正切函数即tanh(·)，上标T是向量或矩阵的转置操作运算符，Ueh、Uef均为权值矩阵，we是权值向量，be是偏置向量，
Figure BDA0002368541520000036
是中间变量，t′+1是待预测时间步。
B-3.根据骨架关注因子
Figure BDA0002368541520000037
计算在t′时间步上的骨架关注特征图
Figure BDA00023685415200000319
和t′时间步的骨架关注特征
Figure BDA0002368541520000039
Figure BDA00023685415200000310
Figure BDA00023685415200000311
B-4.由骨架-关节特征图F计算关节关注因子
Figure BDA00023685415200000312
用于表示第k个关节与第l个关节的相关度；
Figure BDA00023685415200000313
Figure BDA00023685415200000314
Figure BDA00023685415200000315
其中，
Figure BDA00023685415200000316
为时间步序列{1,…,T,t'}上的骨架-关节特征图，T′为待预测人体骨架动作序列的长度，预测骨架状态ht'由骨架关注网络得到，
Figure BDA00023685415200000317
为中间变量，1为T+1维、元素值均为1的向量，索引下标k*＝3×(k-1)+*，索引下标l*＝3×(l-1)+*，*＝1,2,3，关节k的关节动作
Figure BDA00023685415200000318
关节l的关节动作
Figure BDA0002368541520000041
τ2是softmax函数中的温度参数，Ucb、Ucm均为权值矩阵，wc是权值向量，bl是偏置向量。
B-5.由
Figure BDA0002368541520000042
Ft'和
Figure BDA0002368541520000043
计算得到骨架-关节协同关注特征图
Figure BDA0002368541520000044
Figure BDA0002368541520000045
其中，l＝1,…,K，且l≠k。
B-6.计算第k个关节在时间步序列{1,…,T,t'}上的协同关注动作上下文Okt'
Figure BDA0002368541520000046
Figure BDA0002368541520000047
其中，
Figure BDA0002368541520000048
为中间变量。
步骤C.建立骨架-关节协同关注网络，其架构由GRU结构的循环神经网络构成，包括骨架关注网络和关节关注网络，并将其训练：
C-1.建立骨架-关节协同关注网络，具体如下：
C-1-1.建立骨架关注网络
骨架关注网络的结构如下：
Figure BDA0002368541520000049
Figure BDA00023685415200000410
Figure BDA00023685415200000411
ht'＝(1-zt')⊙ht'-1+zt'⊙ct',t'＝1,…,T'
其中zt'、rt'、ct'和ht'分别表示d维度的更新门、重置门、记忆单元和t'时间步的骨架预测状态，σ(·)是sigmoid函数，⊙是逐元素相乘的操作符，
Figure BDA00023685415200000412
是双曲正切函数tanh(·)，W**是权值矩阵，b*是权值向量，ht'-1是t'-1时间步的骨架预测状态，
Figure BDA00023685415200000413
是t′时间步的骨架关注特征，
Figure BDA00023685415200000414
是已预测得到的t′时间步的人体动作。
C-1-2.建立关节关注网络
通过整合协同关注动作上下文来学习s关节的动作状态
Figure BDA00023685415200000516
Figure BDA0002368541520000051
Figure BDA0002368541520000052
Figure BDA0002368541520000053
Figure BDA0002368541520000054
其中，
Figure BDA0002368541520000055
和
Figure BDA0002368541520000056
分别为输入的关节动作、更新门、重置门、记忆单元和关节动作状态，索引下标s＝1,…,K，W**是权值矩阵，B*是权值向量，
Figure BDA0002368541520000057
为s-1关节的动作状态。
C-1-3.由骨架关注网络和关节关注网络整合为骨架-关节关注网络，得到最终预测的t′+1时间步的人体动作：
Figure BDA0002368541520000058
其中，
Figure BDA0002368541520000059
γt'是t'时间步的空间置信门，γt'由预测的关节动作状态
Figure BDA00023685415200000510
与输入的关节动作
Figure BDA00023685415200000511
的差值激活，计算公式如下：
Figure BDA00023685415200000512
Figure BDA00023685415200000513
Figure BDA00023685415200000514
其中，函数
Figure BDA00023685415200000515
是逐元素激活函数，ρ是控制激活函数带宽的参数，θ为函数的输入变量。W**是权值矩阵，b*是权值向量。
C-2.训练上述骨架-关节协同关注网络，具体方法如下：
C-2-1.损失函数L采用加权格拉姆矩阵损失：
Figure BDA0002368541520000061
其中，||·||F是·的F范数，
Figure BDA0002368541520000062
和
Figure BDA0002368541520000063
分别为t′时间步上预测的和实际的人体动作，
Figure BDA0002368541520000064
和
Figure BDA0002368541520000065
分别是
Figure BDA00023685415200000612
和
Figure BDA0002368541520000067
格拉姆矩阵，定义如下：
Figure BDA0002368541520000068
Figure BDA0002368541520000069
其中，
Figure BDA00023685415200000610
是用来计算不同时间步的骨架动作之间的修正量的系数矩阵，
Figure BDA00023685415200000611
其中||·||2是·的2范数，τ是RBF核的参数。
C-2-2.对骨架-关节协同关注网络进行训练
步骤C-2-2-1.从MOCAP捕获的骨架动作序列中选取人体骨架中17个关节的三维角轴参数数据，作为训练使用的动作序列，序列分割为2秒的观测到的动作和400毫秒或1000毫秒的未来动作；
步骤C-2-2-2.对观测到的序列计算每一时间步的观测到的动作的骨架-关节协同关注特征图；
步骤C-2-2-3.将骨架-关节协同关注特征图输入到相应时间步的骨架-关节协同关注循环神经网络中，得到预测的动作序列。
步骤C-2-2-4.使用加权的格拉姆矩阵损失作为损失函数，计算预测得到的动作序列与实际动作序列的误差，通过后向误差传播算法来优化损失值，更新步骤C-2-2-3中的网络参数。
如图2所示，本发明所述的基于时空协同关注循环神经网络的人体骨架动作预测方法较人体动作预测的其他方法具有更好地效果。

Claims (5)

1.一种基于时空协同关注循环神经网络的人体骨架动作预测方法，其特征在于，包括以下步骤：
步骤A. 从MOCAP捕获的骨架动作序列中选取每一时刻下人体骨架中17个关节在3Dangle axis下的数据作为输入的骨架动作序列；
步骤B. 对输入的骨架动作序列提取骨架-关节协同关注特征图；
步骤C. 建立骨架-关节协同关注网络，并将其训练，将骨架-关节协同关注特征图输入训练好的骨架-关节协同关注网络，得到预测人体骨架动作序列。
2.根据权利要求1所述的基于时空协同关注循环神经网络的人体骨架动作预测方法，其特征在于：
步骤A中，17个关节指：两个肩关节、两个肘关节、两个腕关节、两个膝关节、两个踝关节、两个髋关节、一个下颌关节、两个椎关节、一个颈关节、一个骶髂关节。
3.根据权利要求1所述的基于时空协同关注循环神经网络的人体骨架动作预测方法，其特征在于：
步骤B中，由骨架动作序列构成骨架-关节特征图；由骨架-关节特征图计算骨架关注因子，从而得到骨架关注特征图；由骨架-关节特征图计算关节关注因子，由骨架关注特征图和关节关注因子计算得到骨架-关节协同关注特征图。
4.根据权利要求1所述的基于时空协同关注循环神经网络的人体骨架动作预测方法，其特征在于：
步骤C中，建立骨架-关节协同关注网络，其架构由GRU结构的循环神经网络构成，包括骨架关注网络和关节关注网络，其中，骨架关注网络中记忆节点和输出节点均设置为51个，关节关注网络中记忆节点和输出节点均设置为T+1个，T为观测到的骨架动作序列长度，骨架关注网络和关节关注网络整合为骨架-关节协同关注网络。
5.根据权利要求1所述的基于时空协同关注循环神经网络的人体骨架动作预测方法，其特征在于：
步骤C中，训练骨架-关节协同关注网络的方法是：选取骨架动作序列中的2秒作为已观测到的动作，进行短期预测和长期预测，分别预测未来400毫秒和1000毫秒中的动作序列，使用加权的格拉姆矩阵损失作为损失函数，通过后向误差传播算法来优化损失值。
CN202010043443.4A 2020-01-15 2020-01-15 基于时空协同关注循环神经网络的人体骨架动作预测方法 Pending CN111242048A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010043443.4A CN111242048A (zh) 2020-01-15 2020-01-15 基于时空协同关注循环神经网络的人体骨架动作预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010043443.4A CN111242048A (zh) 2020-01-15 2020-01-15 基于时空协同关注循环神经网络的人体骨架动作预测方法

Publications (1)

Publication Number Publication Date
CN111242048A true CN111242048A (zh) 2020-06-05

Family

ID=70868969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010043443.4A Pending CN111242048A (zh) 2020-01-15 2020-01-15 基于时空协同关注循环神经网络的人体骨架动作预测方法

Country Status (1)

Country Link
CN (1) CN111242048A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112315456A (zh) * 2020-10-07 2021-02-05 南京理工大学 基于跳接注意力机制的人体动作预测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902583A (zh) * 2019-01-28 2019-06-18 电子科技大学 一种基于双向独立循环神经网络的骨架手势识别方法
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902583A (zh) * 2019-01-28 2019-06-18 电子科技大学 一种基于双向独立循环神经网络的骨架手势识别方法
CN110135319A (zh) * 2019-05-09 2019-08-16 广州大学 一种异常行为检测方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIANGBO SHU,等: "Spatiotemporal Co-attention Recurrent Neural Networks for Human-Skeleton Motion Prediction", 《COMPUTER VISON AND PATTERN RECOGNITION》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112315456A (zh) * 2020-10-07 2021-02-05 南京理工大学 基于跳接注意力机制的人体动作预测方法

Similar Documents

Publication Publication Date Title
CN109003301B (zh) 一种基于OpenPose和Kinect的人体姿态估计方法及康复训练系统
CN110570455B (zh) 一种面向房间vr的全身三维姿态跟踪方法
Metaxas et al. Shape and nonrigid motion estimation through physics-based synthesis
Aristidou et al. Real-time marker prediction and CoR estimation in optical motion capture
CN110930483A (zh) 一种角色控制的方法、模型训练的方法以及相关装置
WO2023071964A1 (zh) 数据处理方法, 装置, 电子设备及计算机可读存储介质
CN110503680A (zh) 一种基于非监督的卷积神经网络单目场景深度估计方法
CN111204476B (zh) 一种基于强化学习的视触融合精细操作方法
US20230067081A1 (en) System and method for real-time creation and execution of a human Digital Twin
CN113642379A (zh) 基于注意力机制融合多流图的人体姿态预测方法及系统
CN115841534A (zh) 虚拟对象的运动控制方法以及装置
US11809616B1 (en) Twin pose detection method and system based on interactive indirect inference
CN111709270B (zh) 一种基于深度图像的三维外形恢复和姿态估计方法和装置
CN113239892A (zh) 一种基于数据增强架构的单目人体三维姿态估计方法
Molet et al. An animation interface designed for motion capture
CN116362133A (zh) 一种基于骨架的预测目标姿势下布料静态变形的双相流网络方法
CN111242048A (zh) 基于时空协同关注循环神经网络的人体骨架动作预测方法
CN114550292A (zh) 一种基于神经运动控制的高物理真实感人体运动捕捉方法
CN110826502A (zh) 基于伪图像序列演化的三维姿态预测方法
CN112149531B (zh) 一种行为识别中人体骨骼数据的建模方法
Wu et al. Example-based real-time clothing synthesis for virtual agents
CN113066125A (zh) 一种增强现实方法及其相关设备
CN116248920A (zh) 虚拟角色直播处理方法、装置及系统
CN115294228A (zh) 基于模态引导的多图人体姿态生成方法及装置
JP2022092528A (ja) 三次元人物姿勢推定装置、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200605

RJ01 Rejection of invention patent application after publication