CN110427877B - 一种基于结构信息的人体三维姿态估算的方法 - Google Patents

Abstract

本发明提供一种基于结构信息的人体三维姿态估算的方法，包括以下步骤：将单目RGB图像输入到二维姿态检测器中，获取所述单目RGB图像中人体的各个关节的关节点坐标；构建人体姿态拓扑图及其拉普拉斯矩阵L；构建基于关节点结构信息的图卷积网络；在三维姿态估计数据集上对所述图卷积网络进行预训练；将所述姿态拓扑图及所述拉普拉斯矩阵L输入到所述图卷积网络中，输出人体三维姿态。本发明使用图卷积进行人体三维姿态识别，充分学习到人体的全身结构信息；利用注意力机制和兼顾关节局部结构的损失函数，从全局和局部两个方面学习关节点结构信息；基于上述两点，本方法提高了三维姿态估计的精度。

Description

一种基于结构信息的人体三维姿态估算的方法

技术领域

本发明涉及三维姿态估算技术领域，具体而言，尤其涉及一种基于结构信息的人体三维姿态估算的方法。

背景技术

目前单张单目图像三维姿态估计方法主要分为两类，判别式模型和生成式模型。而判别式模型可以大体分为两类：(1)直接估计：直接由图像回归到三维姿态；(2)两阶段估计：第一阶段先从图像中提取一些二维姿态特征，例如：二维关节坐标、二维关节热力图、二维关节骨架图等。然后再由这些二维姿态特征来回归到三维姿态。其中与本发明最相关的技术是两阶段估计方法。

现有的两阶段三维姿态估计如下：

李[1]通过视频流进行三维姿态估计。输入为连续三帧图像，将第一帧图像输入到堆叠沙漏网络得到第一帧的人体二维关节点热图，而后两帧图像输入到浅层神经网络得到图像浅层特征，将第一帧关节点热图和后两帧图像浅层特征图输入到LSTM中得到后两帧人体二维关节点热图，最后分别由二维关节点热力图输出各帧图像的人体三维关节点坐标。

夏[2]提出了一种基于骨架二值图回归的三维姿态估计。首先利用编解码网络从图像中提取前景骨架二值图和背景骨架二值图，然后将骨架二值图分别馈入单独的回归网络。由回归网络产生多个三维姿态的假设，最后为了匹配二维观测值，选择对二维关节检测具有最小投影误差的假设作为最终输出。

目前已有的三维姿态估计存在以下问题：

1)目前基于坐标的三维姿态估计输入输出都是一个一维向量，它由人体各个关节点坐标拼接而成。在特征提取的过程中将所有关节点视为一个整体，对人体的内部结构信息利用的并不充分。

2)一个关节点的位置受到其他关节点的共同影响，并且每个节点的影响大小不同。目前的姿态估计缺乏考察节点间的相互影响。

3)当前三维姿态估计的损失函数只针对关节坐标，即只通过最小化预测关节点误差来进行姿态估计。

4)基于坐标的二阶段三维姿态估计通常使用全连接层或长短时记忆网络提取姿态特征，这种全连接式的网络结构参数量很大。

参考文献：

[1]李帅等基于视频流进行三维人体姿态估计的方法.中国，申请公开的发明专利，201811080931.1；

[2]夏春秋一种基于骨架图回归的三维人体姿态估计的方法.中国，申请公开的发明专利，201711310090.4。

发明内容

根据上述提出的技术问题，而提供一种基于结构信息的人体三维姿态估计的方法。本发明主要利用一种基于结构信息的人体三维姿态估算的方法，其特征在于，包括以下步骤：

步骤S1：将单目RGB图像输入到二维姿态检测器中，获取所述单目RGB 图像中人体的各个关节的关节点坐标；

步骤S2：构建人体姿态拓扑图，由拓扑图的邻接矩阵A以及度矩阵D通过相应计算得到姿态拓扑图的拉普拉斯矩阵L；

步骤S3：构建基于关节点结构信息的图卷积网络；

步骤S4：在三维姿态估计数据集上对所述图卷积网络进行预训练；

步骤S5：将所述姿态拓扑图及所述拉普拉斯矩阵L输入到所述图卷积网络中，输出人体三维姿态。

进一步地，所述姿态有向拓扑图由节点集V和边集E组成；所述节点集 V＝{v_i|i＝1,2...,16}对应所述人体的16个关节点；所述边集表示人体各个节点的连接关系，其表示为E＝{e_i,j|e_i,j＝v_j-v_i,(i,j)∈B}；其中B表示为B＝M∪R，其中M＝{(1,2),(2,3),(3,4),(1,8),(8,9),(9,10),(9,11),(11,12),(12,13)}， R＝{(1,5),(5,6),(6,7),(9,14),(14,15),(15,16)}。

表示节点v_i在网络中第k层输出的特征向量，k∈{0,1...,n}，当k＝0时

表示网络的输入，即节点v_i的二维坐标；当k＝n时

表示网络的输出，为节点v_i的三维坐标；

表示边的特征向量。

更进一步地，所述图卷积网络包括：图卷积模块、注意力模块以及输出层模块；所述图卷积模块包括串联的图卷积层、BatchNorm层、激活函数ReLU、 1*1卷积层、BatchNorm层以及激活函数ReLU；

所述图卷积层为：

f_out＝Wf_inL

其中，W为可学习的权重矩阵，L为骨架拓扑图的拉普拉斯矩阵，f_in为输入特征图，

f_out为输出特征图，

更进一步地，所述注意力模块的公式如下所示：

其中，v_j表示拓扑图上除了v_i节点外的其他节点；

表示v_i节点经过注意力模块输出的特征向量，

为v_i节点与其他节点的注意力特征向量；

表示相似性度量函数，所述相似性度量函数采用嵌入式高斯函数

其中

表示映射函数，

W_θ,

W_g均为可学习的权重矩阵；

所述输出层模块由1*1卷积构成，用于改变特征通道数。

进一步地，所述图卷积网络采用兼顾关节点坐标以及关节点局部结构的损失函数；所述损失函数为：

其中，V,E为所述姿态有向拓扑图的节点集与边集，

为对应

的真值。

较现有技术相比，本发明具有以下优点：

本发明由于采取以上技术方案，其具有以下优点：

1)本发明能够更好地关注人体内部结构信息。构建了一种结构感知的神经网络，使用图卷积进行人体三维姿态识别。利用图卷积的卷积特性，充分学习到人体的内部结构信息。

2)同时本发明能够很好的关注各关节间的相互影响。使用注意力机制去学习到关节点间影响的权重，从而更好的体现关节点间的关系。

3)本发明提高了姿态估计的准确度。网络采用兼顾关节点坐标以及关节局部架构的损失函数。从关节点坐标以及关节局部结构两个方面进行约束从而降低整体关节点的预测误差。

4)本发明提高了姿态估计的效率。由于图卷积是卷积操作，并且拓扑图的节点只有16个。计算量很小，可以实时估计三维姿态。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的整体流程示意图；

图2为本发明人体姿态有向拓扑图示意图；

图3为本发明构造的基于节点结构信息的图卷积网络示意图；

图4为本发明图卷积模块示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1-4所示，本发明包含一种基于结构信息的人体三维姿态估算的方法，包括以下步骤：

步骤S1：将单目RGB图像输入到二维姿态检测器中，获取所述单目RGB 图像中人体的各个关节的关节点坐标。

步骤S2：构建人体姿态拓扑图，由拓扑图的邻接矩阵A以及度矩阵D通过相应计算得到姿态拓扑图的拉普拉斯矩阵L。

步骤S3：构建基于关节点结构信息的图卷积网络。

步骤S4：在三维姿态估计数据集上对所述图卷积网络进行预训练。

步骤S5：将所述姿态拓扑图及所述拉普拉斯矩阵L输入到所述图卷积网络中，输出人体三维姿态。

作为一种优选的实施方式，所述姿态有向拓扑图由节点集V和边集E组成；所述节点集V＝{v_i|i＝1,2...,16}对应所述人体的16个关节点；所述边集表示人体各个节点的连接关系，其表示为E＝{e_i,j|e_i,j＝v_j-v_i,(i,j)∈B}；其中B表示为B＝M∪R，其中M＝{(1,2),(2,3),(3,4),(1,8),(8,9),(9,10),(9,11),(11,12),(12,13)}， R＝{(1,5),(5,6),(6,7),(9,14),(14,15),(15,16)}；

表示节点v_i在网络中第k层输出的特征向量，k∈{0,1...,n}，当k＝0时

表示网络的输入，即节点v_i的二维坐标；当k＝n时

表示网络的输出，为节点v_i的三维坐标；

表示边的特征向量。

在本实施方式中，所述拓扑图的邻接矩阵A是表示顶点之间相邻关系的矩阵，所述度矩阵D表示各节点的相邻节点的个数的矩阵。所述拉普拉斯矩阵L由公式得到：

作为一种优选的实施方式，所述图卷积网络包括：图卷积模块、注意力模块以及输出层模块；所述图卷积模块包括串联的图卷积层、BatchNorm层、激活函数ReLU、1*1卷积层、BatchNorm层以及激活函数ReLU；

在本实施方式中，所述图卷积层为：

f_out＝Wf_inL

其中，W为可学习的权重矩阵，L为骨架拓扑图的拉普拉斯矩阵，f_in为输入特征图，

f_out为输出特征图，

公式(1) W由1*1卷积实现，故图卷积层具体实现是由输入经过1*1卷积后与拉普拉斯矩阵相乘得到。

作为一种优选的实施方式，所述注意力模块的公式如下所示：

其中，v_j表示拓扑图上除了v_i节点外的其他节点；

表示v_i节点经过注意力模块输出的特征向量，

为v_i节点与其他节点的注意力特征向量；

表示相似性度量函数，所述相似性度量函数采用嵌入式高斯函数

其中

表示映射函数，

W_θ,

W_g均为可学习的权重矩阵；

所述输出层模块由1*1卷积构成，用于改变特征通道数。

作为一种优选的实施方式，所述图卷积网络采用兼顾关节点坐标以及关节点局部结构的损失函数；所述损失函数为：

其中，V,E为所述姿态有向拓扑图的节点集与边集，

为对应

的真值。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于结构信息的人体三维姿态估算的方法，其特征在于，包括以下步骤：

S1：将单目RGB图像输入到二维姿态检测器中，获取所述单目RGB图像中人体的各个关节的关节点坐标；

S2：构建人体姿态拓扑图及其拉普拉斯矩阵L；

S3：构建基于关节点结构信息的图卷积网络；

S4：在三维姿态估计数据集上对所述图卷积网络进行预训练；

S5：将所述姿态拓扑图及所述拉普拉斯矩阵L输入到所述图卷积网络中，输出人体三维姿态。

2.根据权利要求1所述的一种基于结构信息的人体三维姿态估算的方法，其特征还在于：

所述姿态有向拓扑图由节点集V和边集E组成；所述节点集V＝{v_i|i＝1,2...,16}对应所述人体的16个关节点；所述边集表示人体各个节点的连接关系，其表示为E＝{e_i,j|e_i,j＝v_j-v_i,(i,j)∈B}；其中B表示为B＝M∪R，M＝{(1,2),(2,3),(3,4),(1,8),(8,9),(9,10),(9,11),(11,12),(12,13)}，

R＝{(1,5),(5,6),(6,7),(9,14),(14,15),(15,16)}；

表示节点v_i在网络中第k层输出的特征向量，k∈{0,1...,n}，当k＝0时

表示网络的输入，即节点v_i的二维坐标；当k＝n时

表示网络的输出，为节点v_i的三维坐标；

表示边的特征向量。

3.根据权利要求1所述的一种基于结构信息的人体三维姿态估算的方法，其特征还在于：

所述图卷积网络包括：图卷积模块、注意力模块以及输出层模块；

所述图卷积模块包括串联的图卷积层、BatchNorm层、激活函数ReLU、1*1卷积层、BatchNorm层以及激活函数ReLU；

所述图卷积层为：

f_out＝Wf_inL；

其中，W为可学习的权重矩阵，L为骨架拓扑图的拉普拉斯矩阵，f_in为输入特征图，

f_out为输出特征图，

所述注意力模块的公式如下所示

其中，v_j表示拓扑图上除了v_i节点外的其他节点；

表示v_i节点经过注意力模块输出的特征向量，

为v_i节点与其他节点的注意力特征向量；

表示相似性度量函数，所述相似性度量函数采用嵌入式高斯函数

其中

表示映射函数，

W_θ,

W_g均为可学习的权重矩阵；

所述输出层模块由1*1卷积构成，用于改变特征通道数。

4.根据权利要求1所述的一种基于结构信息的人体三维姿态估算的方法，其特征还在于：

所述图卷积网络采用兼顾关节点坐标以及关节点局部结构的损失函数；所述损失函数为：

其中，V,E为所述姿态有向拓扑图的节点集与边集，

为对应

的真值。

Images