CN109241881A - 一种人体姿态估计方法 - Google Patents

Abstract

本发明提供一种人体姿态估计方法，首先，使用了基于卷积神经网络的目标检测算法检测出人体区域，然后根据人体的关节结构构造了全身关节点树形图，树形图将人体的全身姿态估计分解为多个局部姿态估计，分别对它们进行训练，提高了整体估计的准确性。在训练阶段，对于关节关系树中每一条边训练一个回归树模型。本发明使用卷积神经网络提取关节点周围区域的局部特征为空间特征向量。再根据关节关系树结构，最终我们训练了一个层级梯度提升的回归树模型。

Description

一种人体姿态估计方法

技术领域

本发明涉及视觉中的人体姿态估计领域，更详细的说，尤其涉及一种基于梯度提升回归树算法的姿态估计方法。

背景技术

随着计算机科学学科的发展，计算机视觉也受到越来越多的重视。和一般的生物一样，计算机也拥有其特殊的视觉系统。这种特殊的视觉系统获取的是二维的静态的图像或动态的视频，一些高级的视觉系统除了二维信息还可以捕捉到深度信息等其他维度的视觉信息。近年来人体姿态估计作为计算机视觉领域的新的研究课题得到了世界各地研究者的关注。获取准确、有效的人体姿态是一件十分具有挑战性的工作。困难来源于很多的客观以及主观因素，比如：人体是较接性的物体，具有很多可以自由活动的部位；人体在运动时身体的某些部位可能出现自遮挡现象；现实中图像或者视频背景的变化，包括光线的强弱、可见度等，人的穿着、肤色、体型等复杂因素。

发明内容

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

如图1所示为本发明一种人体姿态估计方法，其特征在于，至少包括以下步骤：

步骤S1：通过摄像单元采集视频；所述视频包含待采集人员的姿态信息；将所述采集的视频压缩，将所述视频每隔3-5帧保存为一图片。在本实施方式中，使用OpenCV计算机视觉库，将视频处理为大量的图片，可以每隔3-5帧保存一次，得到原始训练集。可以理解为在其它实施方式中，还可以采用其它的计算机视觉库对视频进行处理，只要能够满足能够将视频压缩并处理为图片即可。

在本实施方式中，步骤S2：需要对所述图片进行预处理；所述预处理对所述姿态信息的左上角坐标及右下角坐标进行标注并生成可扩展标记语言XML文件；所述XML文件作为训练集训练模型。在本实施方式中，采用LabelImg软件对图像中人体区域进行标注，可以理解为在其它的实施方式中，还可以采用其它的坐标标记软件对图像坐标进行标记，只要能够满足能够将需要训练的模型定位并标记即可。

作为一种优选的实施方式，步骤S3：通过人体区域检测算法检测所述图片人体区域位置；所述人体区域检测算法选用SSD目标检测网络，将所述图片和所述可扩展标记语言XML文件分为训练集及测试集；所述训练集：测试集＝3:1，生成lmdb文件。

作为一种优选的实施方式，步骤S4：设置学习率为0.1，批次为8，迭代次数为60000次，建立人体区域检测模型。可以理解为，在其他实施方式中，学习率、批次以及迭代次数的设置可以按照实际设置即需求进行选择。

在本实施方式中，步骤S5：标注人体关节位置并对每张图片所述标注人体关节位置的相邻的两个关节点依次连接，能得到人体骨架的图形得出人体骨架树形图。如图2-3所示，每个人体一般要包含10多个关节点，包括：头部和颈部是1、2号节点，躯干是0和9号节点，右上臂是3、4号节点，右小臂是4、5号节点，左上臂是6、7号节点，左小臂是7号、8号节点，右大腿是10、11号节点，右小腿是11、12号节点，左大腿是13、14号节点以及左小腿是14、15号节点。对每张图像标记的相邻关节点的两个关节点依次连接，能得到人体骨架的图形。之后要根据人体的关节点的结构画出树形图，关节点中共有16个，1至15号节点对应人体中的主要关节位置，0号节点与人体检测区域的中心相对应，假设检测框的左上角坐标为(x₀,y₀),宽度为W,高度为H，那么这个中心坐标是(x₀+W/2,y₀+2*H/5)。

在本实施方式中，步骤S6：对当前的含有人体图片中，则第i个关节点的位置为P_i＝(x,y)；对于所述人体骨架树形图中每一对父子节点，构造回归映射函数F_i,j(X)；其中X表示局部空间特征，即关节点i和j的局部图像；所述关节点i和j映射函数的关系式为：

P_i＝V*F_i,j(X)+P_j；

其中，V＝W/W_s表示映射函数F_i,j(X)的归一化因子，W表示人体检测区域框的宽度，W_s表示标准宽度。

在本实施方式中，S7：训练人体姿态估计模型，得到训练后的人体姿态估计回归模型；所述步骤S7中训练人体姿态估计模型，以所述父子关节点i和j提升树模型的训练；

则所述父子关节点i和j的关系式为：

其中，I_i表示关节点i为中心的局部图像的特征向量，P_i和P_j分别表示关节点i和j的真实位置，L_i,j表示关节点i和j归一化后的距离，V(i,j)表示归一化函数。

在本实施方式中，所述训练人体姿态估计模型还包括：

步骤S71：由所述父子关节点i和j的关系式得到训练集合：

D＝{(I₁,L₁),(I₂,L₂),...(I_i,L_i),...,(I_m,L_m)}；

其中，I表示输入向量，χ表示输入空间，L表示输出向量，γ为表示输出空间，m表示训练集图像的数量，则回归模型Z^*(X)为：

其中，λ表示第i个训练样本所占的权重，C表示代价函数，所述回归模型Z^*(X)是由弱回归树模型T(X；Θ_m)集成学习得到的为：

其中，T是一个回归树，X表示神经网络提取的特征向量，Θ＝{(R₁,c₁),(R₁,c₁),...,(R_l,c_l)}，R表示回归树T的区域划分，c表示各个区域的得分值，指示函数G_Rl(X)表示为：

其中，R_l表示输入样本划分空间，ifX表示当前回归决策树中每个节点中包含的样本输入向量，c_l表示落入输入样本分割空间R_l中的所有训练样本的输入向量的平均值向量，且c_l表示为：

c_l＝ave(L_i|X_i∈R_l)

步骤S72：通过启发式方法将样本输入空间的分割进行迭代；所述迭代设当前输入样本划分空间为R_m＝{R_m1,R_m2,...,R_ml}，则对应的输出平均值向量为c_m＝{c_m1,c_m2,...,c_ml}；

步骤S73：根据启发方法选择最优的分裂节点，比较当前阶段所有的叶子节点中误差平方最大的最优叶子节点的值C_ml为下一个分裂节点；所述叶子节点的误差平方为：

步骤S74：基于梯度提升的迭代回归树算法将弱回归决策树模型加法集成为强回归映射模型，具体的式子为：

Z_m(X)＝Z_m-1(X)+α*h(X；Θ_m) (m≥1，α∈(0,1])

其中，α表示控制学习速率的缩放因子；h(x)表示当前训练的树；m表示第m颗树；所述迭代回归映射模型初始值Z₀(X)为：

Z₀(X)＝ave{L_i}_{i＝1,2,3...m}；

Θ_m表示参数，且

其中，C表示化分的最优节点的值，R表示划分的区域，λ_i表示第i个样本所占的权重，δ_i表示训练中输出向量的残差项：

δ_i＝L_i-Z_m-1(X_i)i＝1,2,...,m

步骤S75：得到训练后的人体姿态估计回归模型Z(X)：

作为优选的实施方式，步骤S8：测试所述训练后的人体姿态估计模型。可以理解为在其它的实施方式中。对训练后模型的测试可以通过输入新组数据进行测试。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明整体流程示意图。

图2为本发明实施例的人体重要关节点的位置及编号。

图3为本发明实施例的人体树形图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

如图1-3所示为本发明一种人体姿态估计方法，至少包括以下步骤：

步骤S1：通过摄像单元采集视频；所述视频包含待采集人员的姿态信息；将所述采集的视频压缩，将所述视频每隔3-5帧保存为一图片。在本实施方式中，采用OpenCV计算机视觉库对视频每隔3-5帧保存为一图片。可以理解为在其它的实施方式中，还可以采用其它的处理图像的计算机视觉库对视频进行提取，只要能够满足能够将视频信息压缩并提取保存即可。

在本实施方式中，步骤S2：对所述图片进行预处理。预处理对所述姿态信息的左上角坐标及右下角坐标进行标注并生成可扩展标记语言XML文件；所述XML文件作为训练集训练模型。在本实施方式中，采用LabelImg软件对所述图片进行坐标定位，可以理解为，在其他实施方式中，还可以采用其它的坐标框信息标注软件

在本实施方式中，步骤S3：通过人体区域检测算法检测所述图片人体区域位置；所述人体区域检测算法选用SSD目标检测网络，将所述图片和所述可扩展标记语言XML文件分为训练集及测试集；所述训练集：测试集＝3:1；生成lmdb文件

作为一种优选的实施方式，步骤S4：设置学习率为0.1，批次为8，迭代次数为60000次，建立人体区域检测模型。可以理解为，在其它的实施方式中，参数的选择可以按照实际需求进行选择。

在本实施方式中，步骤S5：标注人体关节位置并对每张图片所述标注人体关节位置的相邻的两个关节点依次连接，能得到人体骨架的图形得出人体骨架树形图。如图2所述为本实施方式的一种实施例，每个人体一般要包含10多个关节点，标注出这些关节点的位置。这些关节点是：头部和颈部是1、2号节点，躯干是0和9号节点，右上臂是3、4号节点，右小臂是4、5号节点，左上臂是6、7号节点，左小臂是7号、8号节点，右大腿是10、11号节点，右小腿是11、12号节点，左大腿是13、14号节点以及左小腿是14、15号节点。

作为优选的实施方式，步骤S6：对当前的含有人体图片中，则第i个关节点的位置为P_i＝(x,y)；对于所述人体骨架树形图中每一对父子节点，构造回归映射函数F_i,j(X)；其中X表示局部空间特征，即关节点i和j的局部图像；所述关节点i和j映射函数的关系式为：

P_i＝V*F_i,j(X)+P_j；

其中，V＝W/W_s表示映射函数F_i,j(X)的归一化因子，W表示人体检测区域框的宽度，W_s表示标准宽度；

作为优选的实施方式，步骤S7：训练人体姿态估计模型，得到训练后的人体姿态估计回归模型；所述步骤S7中训练人体姿态估计模型，以所述父子关节点i和j提升树模型的训练；

则所述父子关节点i和j的关系式为：

其中，I_i表示关节点i为中心的局部图像的特征向量，P_i和P_j分别表示关节点i和j的真实位置，L_i,j表示关节点i和j归一化后的距离，V(i,j)表示归一化函数。

在本实施方式中，训练人体姿态估计模型还包括：

S71：由所述父子关节点i和j的关系式得到训练集合：

D＝{(I₁,L₁),(I₂,L₂),...(I_i,L_i),...,(I_m,L_m)}；

其中，I表示输入向量，χ表示输入空间，L表示输出向量，γ为表示输出空间，m表示训练集图像的数量，则回归模型Z^*(X)为：

其中，λ表示第i个训练样本所占的权重，C表示代价函数，所述回归模型Z^*(X)是由弱回归树模型T(X；Θ_m)集成学习得到的为：

其中，T是一个回归树，X表示神经网络提取的特征向量，Θ＝{(R₁,c₁),(R₁,c₁),...,(R_l,c_l)}，R表示回归树T的区域划分，c表示各个区域的得分值，指示函数G_Rl(X)表示为：

其中，R_l表示输入样本划分空间，ifX表示当前回归决策树中每个节点中包含的样本输入向量，c_l表示落入输入样本分割空间R_l中的所有训练样本的输入向量的平均值向量，且c_l表示为：

c_l＝ave(L_i|X_i∈R_l)

S72：通过启发式方法将样本输入空间的分割进行迭代；所述迭代设当前输入样本划分空间为R_m＝{R_m1,R_m2,...,R_ml}，则对应的输出平均值向量为c_m＝{c_m1,c_m2,...,c_ml}；

S73：根据启发方法选择最优的分裂节点，比较当前阶段所有的叶子节点中误差平方最大的最优叶子节点的值C_ml为下一个分裂节点；所述叶子节点的误差平方为：

S74：基于梯度提升的迭代回归树算法将弱回归决策树模型加法集成为强回归映射模型，具体的式子为：

Z_m(X)＝Z_m-1(X)+α*h(X；Θ_m) (m≥1，α∈(0,1])

其中，α表示控制学习速率的缩放因子；h(x)表示当前训练的树；m表示第m颗树；所述迭代回归映射模型初始值Z₀(X)为：

Z₀(X)＝ave{L_i}_{i＝1,2,3...m}；

Θ_m表示参数，且

其中，C表示化分的最优节点的值，R表示划分的区域，λ_i表示第i个样本所占的权重，δ_i表示训练中输出向量的残差项：

δ_i＝L_i-Z_m-1(X_i)i＝1,2,...,m

S75：得到训练后的人体姿态估计回归模型Z(X)：

作为优选的实施方式，步骤S8：测试所述训练后的人体姿态估计模型。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (3)

1.一种人体姿态估计方法，其特征在于，至少包括以下步骤：

S1：通过摄像单元采集视频；所述视频包含待采集人员的姿态信息；将所述采集的视频压缩，将所述视频每隔3-5帧保存为一图片；

S2：对所述图片进行预处理；所述预处理对所述姿态信息的左上角坐标及右下角坐标进行标注并生成可扩展标记语言XML文件；所述XML文件作为训练集训练模型；

S3：通过人体区域检测算法检测所述图片人体区域位置；所述人体区域检测算法选用SSD目标检测网络，将所述图片和所述可扩展标记语言XML文件分为训练集及测试集；所述训练集：测试集＝3:1，生成lmdb文件；

S4：设置学习率为0.1，批次为8，迭代次数为60000次，建立人体区域检测模型；

S5：标注人体关节位置并对每张图片所述标注人体关节位置的相邻的两个关节点依次连接，得到人体骨架的图形得出人体骨架树形图；

S6：对当前的含有人体图片中，第i个关节点的位置P_i＝(x,y)；对于所述人体骨架树形图中每一对父子节点，构造回归映射函数F_i,j(X)；

其中X表示局部空间特征，即关节点i和j的局部图像；所述关节点i和j映射函数的关系式为：

P_i＝V*F_i,j(X)+P_j；

其中，V＝W/W_s表示映射函数F_i,j(X)的归一化因子，W表示人体检测区域框的宽度，W_s表示标准宽度；

S7：训练人体姿态估计模型，得到训练后的人体姿态估计回归模型；

S8：测试所述训练后的人体姿态估计模型。

2.根据权利要求1所述的一种人体姿态估计方法，其特征还在于：

所述步骤S7中训练人体姿态估计模型，以所述父子关节点i和j提升树模型的训练；

则所述父子关节点i和j的关系式为：

其中，I_i表示关节点i为中心的局部图像的特征向量，P_i和P_j分别表示关节点i和j的真实位置，L_i,j表示关节点i和j归一化后的距离，V(i,j)表示归一化函数。

3.根据权利要求1所述的一种人体姿态估计方法，其特征还在于：

所述训练人体姿态估计模型还包括：

S71：由所述父子关节点i和j的关系式得到训练集合：

D＝{(I₁,L₁),(I₂,L₂),...(I_i,L_i),...,(I_m,L_m)}；

其中，I表示输入向量，χ表示输入空间，L表示输出向量，γ为表示输出空间，m表示训练集图像的数量，则回归模型Z^*(X)为：

其中，λ表示第i个训练样本所占的权重，C表示代价函数，所述回归模型Z^*(X)是由弱回归树模型T(X；Θ_m)集成学习得到的为：

其中，T是一个回归树，X表示神经网络提取的特征向量，Θ＝{(R₁,c₁),(R₁,c₁),...,(R_l,c_l)}，R表示回归树T的区域划分，c表示各个区域的得分值，指示函数G_Rl(X)表示为：

其中，R_l表示输入样本划分空间，ifX表示当前回归决策树中每个节点中包含的样本输入向量，c_l表示落入输入样本分割空间R_l中的所有训练样本的输入向量的平均值向量，且c_l表示为：

c_l＝ave(L_i|X_i∈R_l)

S72：通过启发式方法将样本输入空间的分割进行迭代；所述迭代设当前输入样本划分空间为R_m＝{R_m1,R_m2,...,R_ml}，则对应的输出平均值向量为c_m＝{c_m1,c_m2,...,c_ml}；

S73：根据启发方法选择最优的分裂节点，比较当前阶段所有的叶子节点中误差平方最大的最优叶子节点的值C_ml为下一个分裂节点；所述叶子节点的误差平方为：

S74：基于梯度提升的迭代回归树算法将弱回归决策树模型加法集成为强回归映射模型，具体的式子为：

Z_m(X)＝Z_m-1(X)+α*h(X；Θ_m)(m≥1，α∈(0,1])

其中，α表示控制学习速率的缩放因子；h(x)表示当前训练的树；m表示第m颗树；所述迭代回归映射模型初始值Z₀(X)为：

Z₀(X)＝ave{L_i}_{i＝1,2,3...m}；

Θ_m表示参数，且

其中，C表示化分的最优节点的值，R表示划分的区域，λ_i表示第i个样本所占的权重，δ_i表示训练中输出向量的残差项：

δ_i＝L_i-Z_m-1(X_i)i＝1,2,...,m

S75：得到训练后的人体姿态估计回归模型Z(X)：