CN113240714A - 一种基于情境感知网络的人体运动意图预测方法 - Google Patents

Abstract

本发明公开了一种基于情境感知网络的人体运动意图预测方法，在神经网络的基础上考虑了情境融入，利用图神经网络和卷积Transformer网络，充分考虑了真实情境中各种因素对人体运动的影响，构建情境感知网络，有效提高了人体运动预测的准确率，具有一定的现实意义和应用价值。本发明还充分利用了视频的时序信息，增强了模型的推理能力，能够更好的对人体未来运动意图进行预测，在安防、自动驾驶等依赖人体未来运动分析的行业具有重要意义。

Description

一种基于情境感知网络的人体运动意图预测方法

技术领域

本发明属于人体运动预测技术领域，具体涉及一种基于情境感知网络的人体运动意图预测方法。

背景技术

人体运动意图预测旨在结合人体运动趋势以及各种对人体运动的影响因素，对人体运动意图进行有效地估计与预测。近年来，人体运动意图预测已经吸引了工业界和学术界的广泛关注，在人机协作、自动驾驶、安防等领域取得了突破性的进展。当前的人体运动意图预测技术虽然取得了不错的效果，但仍存在预测效果差、缺乏情境考虑等问题。

传统的方法对人体运动意图预测时通常只考虑人体关节间的影响，而未设想现实情境中可能存在的物体对人体运动的影响。例如当一个人散步时，他的正前方有一块石头或一棵树，如果仅根据人体自身关节间的联系来预测其未来运动的趋势是不准确的，这忽略了现实场景中各种物体对人体运动的影响；实际上，在真实情境中，人肯定会绕过障碍物，然而机器在进行预测时却很难达到同样的效果。由此可见，考虑真实情境中各种影响因素对人体运动意图的预测是至关重要的。

传统的人体运动意图预测通常采用数学建模的方法，然而由于人体运动的不确定性，数学建模的方法难以适应于大规模的人体运动数据集。近年来，随着深度学习技术的成熟，神经网络已经开始应用于人体运动意图预测任务，并取得了突破性的进展。值得指出的是，当前基于深度学习的人体运动意图预测方法并未考虑到真实情境中各种因素对人体运动的影响。

公开号为CN111079928A的中国专利提出了一种基于对抗学习的循环神经网络用于人体运动预测方法，该方法首先将人体运动库中运动数据进行预处理，然后通过GRU单元建立循环神经网络，将预处理数据输入其中，然后输入至对抗学习网络中进行训练，进而完成人体运动意图预测。公开号为CN111199216A的中国专利提出了一种面向人体骨架的运动预测方法及系统，首先构建人体多尺度图，继而通过空间多尺度图卷积提取人体运动特征，其包含多尺度人体的综合动作语义信息，然后综合运动语义信息，完成人体未来运动预测。

这些方法仅考虑人体关节间的影响，而未设想现实情境中可能存在的物体对人体运动的影响。

发明内容

鉴于上述，本发明提供了一种基于情境感知网络的人体运动意图预测方法，该方法结合真实情境中可能存在的物体对人体运动的影响，引入了情境感知网络，解决了人体运动意图预测的难点问题(如预测效果差、违背客观事实等)，使人体运动意图预测模型的泛化性更高，有效地提高了预测的准确性。

一种基于情境感知网络的人体运动意图预测方法，包括如下步骤：

(1)构建用于人体运动意图预测的视频数据集；

(2)构建基于图注意力机制的情境感知网络模型，利用交互有向图表示真实情境中人与物体间的交互关系，利用加权邻接矩阵表示该交互关系的程度，并将矩阵输入至情境感知网络模型中以提取人与物体间的交互特征；

(3)构建基于卷积Transformer网络的人体运动意图预测模型，利用关节有向图来表示人体关节间的交互关系，提取人体关节特征以及图像序列特征并进行融合，进而将融合后的特征输入至人体运动意图预测模型中以提取人体关节运动序列特征；

(4)构建前馈神经网络模型，将人与物体间的交互特征以及人体关节运动序列特征共同输入至前馈神经网络模型中，从而输出人体未来运动意图的预测结果即人体运动的骨骼图。

进一步地，所述步骤(1)的具体实现方式为：以Whole-Body Human MotionDatabase数据集为基准，采集视频数据时，选定包含情境信息的视频即人与各种物体之间有交互关系的视频数据(例如打乒乓球时人与球拍以及人与球桌的交互关系)。

进一步地，所述步骤(2)的具体实现方式如下：

首先，利用人-物交互有向图来表示真实情境中人与不同物体之间的交互关系，有向图中的节点表示人和物体，边表示节点之间的关联，边的权值表示节点之间的关联程度；

然后，针对某一时刻t的视频帧，利用加权邻接矩阵A^t表示有向图中人与物体之间的关联程度，将加权邻接矩阵A^t输入至基于图注意力机制的情境感知网络中，由图注意力机制对其迭代更新；

最后，通过情境感知网络提取出人与不同物体之间的交互特征，即输出未来三帧情境中人与物体间的加权邻接矩阵，分别表示未来三帧情境中人与物体间的交互关系。

进一步地，由图注意力机制对加权邻接矩阵A^t迭代更新的表达式如下：

其中：i表示某一人节点，j表示某一物体节点，

和

分别为加权邻接矩阵A^t和A^t+1中的第i行第j列元素值，

为t+1时刻情境中人与物体间的加权邻接矩阵，σ()表示Sigmoid激活函数，W表示权重参数，x_i表示人节点i的全局特征向量，x_i-x_j表示人节点i与物体节点j间的局部特征向量，[x_i；x_i-x_j]表示全局特征向量x_i与局部特征向量x_i-x_j拼接后得到的向量，t为自然数。

进一步地，所述步骤(3)的具体实现方式如下：

首先，利用人体关节图来表示人体关节间的交互关系，关节图中的节点表示人体的各关键部位，边表示节点之间的关联，边的权值表示节点之间的关联程度；针对某一时刻t的视频帧，利用加权邻接矩阵P^t表示人体关节图中关键部位之间的关联程度；

然后，构建三层卷积神经网络，将加权邻接矩阵P^t输入其中以提取人体关节特征，同时处理视频图像序列间的隐式相关性，提取视频帧的图像序列特征；

最后，构建基于卷积Transformer网络的人体运动意图预测模型，将人体关节特征与图像序列特征融合后的特征矩阵C^t输入其中以提取人体关节运动序列特征。

进一步地，所述人体运动意图预测模型采用Encoder-Decoder结构，其中通过融合后得到的特征矩阵C^t输入到Encoder中得到逐帧的隐藏向量，具体表达如下：

其中：

为第k个节点在特征矩阵C^t中对应的向量，

和

分别为第k个节点在t时刻和t+1时刻的隐藏向量，Encoder()表示编码器函数，t为自然数；

然后将Encoder输出得到的隐藏向量序列逐一输入至Decoder中，得到人体关节运动序列特征，具体表达如下：

其中：

和

别为第k个节点在t时刻和t+1时刻的查询向量即人体关节运动序列特征，k为自然数且1≤i≤N，N为人体的关键部位数量(一般为14个)，Decoder()表示解码器函数。

进一步地，所述步骤(4)的具体实现方式如下：

首先，构建前馈神经网络模型用于人体运动意图预测；

然后，将t时刻人与物体间的交互特征即加权邻接矩阵A^t以及t时刻人体各关节的运动序列特征

输入至前馈神经网络模型中得到对应的预测结果，具体表达如下：

其中：

为t+1时刻第k个节点在骨骼图中的位置，

为第k个节点在t时刻的查询向量，FFNN()为前馈神经网络模型函数；

最后，通过计算以下损失函数并依此对前馈神经网络模型参数不断进行更新，直至损失函数收敛；

其中：Loss为损失函数，

为通过模型预测得到从t_i时刻到t_n时刻人体的各关节位置，

为从t_i时刻到t_n时刻真实的人体各关节位置，t_i和t_n分别为任一固定长度时间段的起始时刻和终止时刻。

本发明人体运动意图预测方法充分利用了视频的时序信息，增强了模型的推理能力，有效提高了人体未来运动意图预测的准确率，能够更好的对人体未来运动意图进行预测，在安防、自动驾驶等需要依赖人体未来运动分析的行业具有重要意义，其有益技术效果主要体现在以下三个方面：

1.本发明构建的情境感知网络能够使人体运动意图预测结合现实情境中人与不同物体之间交互关系，实现较为真实的人体运动预测。

2.本发明利用卷积Transformer网络，提取人体关节图特征和图像序列特征，融合得到人体关节运动序列特征，有效地结合了图像全局特征信息和人体关节图局部特征信息，使得人体未来运动意图预测准确率得到提升。

3.本发明提出的人体运动意图预测模型能够学习人体长时间的运动趋势，有效地减少由长时间预测所导致的运动误差积累，准确有效的预测人体未来的运动趋势。

附图说明

图1为本发明人体运动意图预测方法的流程示意图。

图2为本发明基于情境感知的人体运动意图预测整体框架示意图。

图3(a)为视频数据的图像帧。

图3(b)为人体关节示意图。

图4为本发明人体运动意图预测模型原理示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1和图2所示，本发明基于情境感知网络的人体运动意图预测方法包括如下步骤：

(1)构建人体运动意图预测数据集，以Whole-Body Human Motion Database数据集为基准，选定人和各种物体之间有交互关系的视频数据，视频数据包含人和不同物体的交互关系。采集视频数据时，选定包含情境信息的视频，包括人与其他物体的交互，例如打乒乓球时，人与球拍以及人与球桌的交互关系。

(2)构建情境感知网络模型，利用人-物”互有向图表示真实情境中人与不同物体间的交互关系，其中有向图的节点表示人或者物体，边表示节点间的联系，边的权值表示各节点间的关联程度；人-物交互有向图用加权邻接矩阵A^t表示，构建基于图注意力机制的情境感知网络模型，以加权邻接矩阵A^t为输入，提取人与不同物体之间的人-物交互特征。

首先，以人-物交互有向图表示真实情境中人与不同物体间的交互关系，例如以数据集中某个视频为例，视频内容为人正在路上散步，人的正前方有一个足球、桌子和梯子。针对该情境构建相应的人-物交互有向图，其中有向图的节点分别为人、足球、桌子和梯子；有向图的边分别为人与足球、桌子和梯子的关联以及足球、桌子和梯子三者的关联；边的权值大小表示为节点之间关联程度。

其次，针对某一时刻t的视频帧，用加权邻接矩阵A^t表示人-物交互有向图中人与物体间的关联程度，将加权邻接矩阵A^t输入至基于图注意力机制的情境感知网络，利用图注意力机制对加权邻接矩阵A^t进行迭代更新。

最后，通过情境感知网络提取人与不同物体之间的人-物交互特征，即输出未来三帧情境中物体间的加权邻接矩阵，分别表示未来三帧情境中人与物体间的交互关系。例如，在未来三帧中，人会绕过足球、桌子和梯子，未来三帧对应的加权邻接矩阵中人与足球、桌子和梯子的边权值也会相应地变小。

情境感知网络架构主要根据现实情境中的人-物间交互关系来构建，以下分别是具体的人-物间交互关系表示、建模以及模型特征提取。

首先，对人-物间交互关系的表示，定义

其中N表示现实情境中的人-物(节点)数；F表示每个节点特征向量的长度；B_t表示为t时刻人或物体的3D边框；T_t表示为t时刻节点类型，以独热编码形式表示；J_t表示为t时刻人体关节点位置或者物体所在位置；如果现实情境中物体与人没有交互关系，则加权邻接矩阵中对应边的权值为零。

然后，对人-物间的交互关系的建模。在具体实践过程中，人与不同物体之间的交互关系是未知的，而且这些关系会随着时间而变化，建模的目标是让模型在无监督的情况下自主学习这些交互关系的变化。为此，本发明设计了一个迭代更新过程，在第一帧中，将A矩阵设置为一个对角矩阵，表示每个对象的初始状态只与其本身有关系，仅仅依赖对象本身，进一步使用图注意力网络来训练，如式(1)所示：

其中：W表示权重参数，σ表示Sigmoid激活函数，x_i表示人节点的全局特征信息，x_i-x_j表示人节点与物体节点的局部特征信息。

最后，通过情境感知网络提取人与不同物体之间的“人-物”交互特征，即输出未来三帧情境中物体间的加权邻接矩阵A^t，分别表示未来三帧情境中人与物体间的交互关系，从而提取得到“人-物”交互特征。图注意力网络区别于图卷积网络，其注意力层能够为不同特征分配不同的注意力权重，进一步增强模型学习能力。

(3)构建人体运动意图预测模型，利用人体关节图表示人体关节间的交互关系，其中人体关节图的节点表示人体的某些关键部位，边表示关键部位间的联系，边的权值表示各部位间的关联程度，人体关节图用加权邻接矩阵P^t表示；构建3层卷积神经网络，以加权邻接矩阵P^t为输入，提取人体关节特征，同时处理视频中各视频帧图像序列间的隐式相关性，提取各视频帧的图像序列特征；构建基于卷积Transformer网络的人体运动意图预测模型，以人体关节和图像序列的融合特征为输入，提取人体关节运动序列特征。

人体运动意图预测模型用于提取人体关节运动序列特征，具体实施过程如下：

首先，根据视频序列利用加权邻接矩阵P^t表示人体关节图，以图3(a)中的人物为例，其人体关节如图3(b)所示，包含了右脚踝、右膝盖、右髋部、左髋部、左膝盖、左脚踝、右肩膀、右手肘、右手腕、左肩膀、左手肘、左手腕、胸椎、头。

然后构建三层卷积神经网络，提取人体关节图和图像序列的特征，如图4所示，B1层卷积核大小为7*7的卷积层、Relu激活层，B2层卷积核大小为5*5的卷积层、Relu激活层，B3层卷积核大小为3*3的卷积层、Relu激活层，以加权邻接矩阵P^t和图像序列输入，提取出人体关节和图像序列融合特征。

接着，将提取完成的融合特征序列C^t输入至Encoder中，Encoder由5个相同的层组成，每个层由两个子层组成，分别是Muti-Head Self-Attention Mechanism和FullyConnected-Forward Network。其中，每个子层都引入了Residual Connection和Normalization，子层的输出表示如式(2)所示：

其中，对于Multi-Head Self-Attention层，它的Attention机制如式(3)和式(4)所示：

attention_output＝Attention(Q,K,V) (3)

Multi-Head Self-Attention通过不同的线性变换对Q，K，V进行投影，并将不同的Attention结果拼接起来。

最后，如式(5)所示，将卷积神经网络提取到的人体关节和图像序列的融合特征

输入至Encoder中，得到的隐藏向量序列H^t，将其输入Decoder中，得到人体关节运动序列特征Q^t，如式(6)所示。

(4)人体运动意图预测，以情境感知网络模型提取的人-物交互特征以及人体运动意图预测模型提取的人体关节运动序列特征为输入，构建前馈神经网络模型，输出人体未来运动意图的预测，即人体运动的骨骼图。

首先，以情境感知网络提取的人-物交互特征A^t以及人体运动意图预测模型提取到的人体关节运动序列特征Q^t作为输入，构建前馈神经网络，以预测人体骨骼图，具体如式(7)所示：

然后计算损失函数，调整网络参数，训练人体运动意图预测模型，使得模型的预测运动序列与真实运动序列欧拉角之间的误差最小。具体如式(8)所示：

其中：

表示从t_i时刻到t_n时刻真实的人体关节位置。

表示预测得到的从t_i时刻到t_n时刻的人体各关节位置。

上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (7)

1.一种基于情境感知网络的人体运动意图预测方法，包括如下步骤：

(1)构建用于人体运动意图预测的视频数据集；

(2)构建基于图注意力机制的情境感知网络模型，利用交互有向图表示真实情境中人与物体间的交互关系，利用加权邻接矩阵表示该交互关系的程度，并将矩阵输入至情境感知网络模型中以提取人与物体间的交互特征；

(3)构建基于卷积Transformer网络的人体运动意图预测模型，利用关节有向图来表示人体关节间的交互关系，提取人体关节特征以及图像序列特征并进行融合，进而将融合后的特征输入至人体运动意图预测模型中以提取人体关节运动序列特征；

(4)构建前馈神经网络模型，将人与物体间的交互特征以及人体关节运动序列特征共同输入至前馈神经网络模型中，从而输出人体未来运动意图的预测结果即人体运动的骨骼图。

2.根据权利要求1所述的人体运动意图预测方法，其特征在于：所述步骤(1)的具体实现方式为：以Whole-Body Human Motion Database数据集为基准，采集视频数据时，选定包含情境信息的视频即人与各种物体之间有交互关系的视频数据。

3.根据权利要求1所述的人体运动意图预测方法，其特征在于：所述步骤(2)的具体实现方式如下：

首先，利用人-物交互有向图来表示真实情境中人与不同物体之间的交互关系，有向图中的节点表示人和物体，边表示节点之间的关联，边的权值表示节点之间的关联程度；

然后，针对某一时刻t的视频帧，利用加权邻接矩阵A^t表示有向图中人与物体之间的关联程度，将加权邻接矩阵A^t输入至基于图注意力机制的情境感知网络中，由图注意力机制对其迭代更新；

最后，通过情境感知网络提取出人与不同物体之间的交互特征，即输出未来三帧情境中人与物体间的加权邻接矩阵，分别表示未来三帧情境中人与物体间的交互关系。

4.根据权利要求3所述的人体运动意图预测方法，其特征在于：由图注意力机制对加权邻接矩阵A^t迭代更新的表达式如下：

其中：i表示某一人节点，j表示某一物体节点，

和

分别为加权邻接矩阵A^t和A^t+1中的第i行第j列元素值，

为t+1时刻情境中人与物体间的加权邻接矩阵，σ()表示Sigmoid激活函数，W表示权重参数，x_i表示人节点i的全局特征向量，x_i-x_j表示人节点i与物体节点j间的局部特征向量，[x_i；x_i-x_j]表示全局特征向量x_i与局部特征向量x_i-x_j拼接后得到的向量，t为自然数。

5.根据权利要求1所述的人体运动意图预测方法，其特征在于：所述步骤(3)的具体实现方式如下：

首先，利用人体关节图来表示人体关节间的交互关系，关节图中的节点表示人体的各关键部位，边表示节点之间的关联，边的权值表示节点之间的关联程度；针对某一时刻t的视频帧，利用加权邻接矩阵P^t表示人体关节图中关键部位之间的关联程度；

然后，构建三层卷积神经网络，将加权邻接矩阵P^t输入其中以提取人体关节特征，同时处理视频图像序列间的隐式相关性，提取视频帧的图像序列特征；

最后，构建基于卷积Transformer网络的人体运动意图预测模型，将人体关节特征与图像序列特征融合后的特征矩阵C^t输入其中以提取人体关节运动序列特征。

6.根据权利要求5所述的人体运动意图预测方法，其特征在于：所述人体运动意图预测模型采用Encoder-Decoder结构，其中通过融合后得到的特征矩阵C^t输入到Encoder中得到逐帧的隐藏向量，具体表达如下：

其中：

为第k个节点在特征矩阵C^t中对应的向量，

和

分别为第k个节点在t时刻和t+1时刻的隐藏向量，Encoder()表示编码器函数，t为自然数；

然后将Encoder输出得到的隐藏向量序列逐一输入至Decoder中，得到人体关节运动序列特征，具体表达如下：

其中：

和

分别为第k个节点在t时刻和t+1时刻的查询向量即人体关节运动序列特征，k为自然数且1≤i≤N，N为人体的关键部位数量，Decoder()表示解码器函数。

7.根据权利要求1所述的人体运动意图预测方法，其特征在于：所述步骤(4)的具体实现方式如下：

首先，构建前馈神经网络模型用于人体运动意图预测；

然后，将t时刻人与物体间的交互特征即加权邻接矩阵A^t以及t时刻人体各关节的运动序列特征

输入至前馈神经网络模型中得到对应的预测结果，具体表达如下：

其中：

为t+1时刻第k个节点在骨骼图中的位置，

为第k个节点在t时刻的查询向量，FFNN()为前馈神经网络模型函数；

最后，通过计算以下损失函数并依此对前馈神经网络模型参数不断进行更新，直至损失函数收敛；

其中：Loss为损失函数，

为通过模型预测得到从t_i时刻到t_n时刻人体的各关节位置，

为从t_i时刻到t_n时刻真实的人体各关节位置，t_i和t_n分别为任一固定长度时间段的起始时刻和终止时刻。

Images