CN112329571A - 一种基于姿态质量评估的自适应人体姿态优化方法 - Google Patents

Abstract

本发明涉及一种基于姿态质量评估的自适应人体姿态优化方法，包括以下步骤：S1：获取人体姿态优化训练数据和已有姿态质量评估训练数据；S2：利用姿态质量评估训练数据训练人体姿态质量评估网络，得到用于衡量已有人体姿态质量评估模型；S3：利用人体姿态优化训练数据训练人体姿态优化网络，得到人体姿态优化模型；S4：获取已有人体姿态，根据人体姿态质量评估模型的评估结果，利用人体姿态优化模型对质量不达标的已有人体姿态通过迭代进行姿态优化，直至优化后的人体姿态质量达标，输出该优化的人体姿态，与现有技术相比，本发明具有有效克服所获取的人体姿态质量差异性问题等优点。

Description

一种基于姿态质量评估的自适应人体姿态优化方法

技术领域

本发明涉及人体姿态估计领域，尤其是涉及一种基于姿态质量评估的自适应人体姿态优化方法。

背景技术

人体姿态估计是人体动作识别、人机交互、视频监控分析等计算机视觉任务的基础。其目标是在一个RGB图像中检测每个人身体关节的精确位置，如肩关节、髋关节和踝关节等。近年来，随着深度卷积神经网络方法的不断发展，各种计算机视觉任务取得了显著的发展。深度学习也成为人体姿态估计领域的主流方法，并在神经网络提取图像特征的基础框架上衍生出丰富的算法体系，取得了较好的检测结果。

然而，由于人的肢体活动较灵活，各关节自由度高，同时视角及衣着的变化等也会带来人体各部位视觉信息的较大变化，从任意单张2D图像中进行多人姿态估计仍然存在许多挑战，如人-人重叠、人-物体遮挡、人体尺度差异和背景杂乱等，这些都会影响到最终的输出姿态质量。低质量的输出姿态可能包含错误的关节点预测，如关节位置误差、左右肢体关节混淆和部分关节点缺失等。

近年来，出现了对基础人体姿态估计模型输出的人体姿态进行进一步优化以提高姿态质量的方法。其中一些方法试图在学习过程中优化学习到的人体姿态。Newell等人提出的沙漏网络(Stacked hourglass networks)、Wei等人提出的CPM(Convolutional posemachines)、Chen等人提出的级联金字塔(Cascaded pyramid network)均采用多级网络结构，通过端到端学习，在每个阶段重新定义前一阶段的姿势估计结果。Carrier等人提出的迭代误差反向传播模型学习每次迭代的误差，并将误差转化为下一次迭代的输入姿态。这些方法的基础姿态估计估计和姿态优化模块都被组合成为一个整体的模型，它们的优化模块不能从整个模型中分离出来，也不能直接应用于任何现有的人体姿态，不具有普适性。最近也出现了一些独立的人体姿态优化方法，可以用于对任何现有方法中输出的人体姿态进行优化。Fieraru等人提出使用一个简单的模型，以前一阶段学到的人体关键点位置生成伪热力图，加上相应的图像区域作为输入，然后输出调整后的热力图和偏移量，得到调整后的人体姿态。Moon等人在此基础上提出了一种由粗到细的网络结构来细化调整人体姿态，同时根据Ronchi等人对以往人体姿态估计结果的误差分布分析提出了一种基于标注数据的有误差人体姿态生成方法，丰富了训练数据，使得训练的过程也可以独立于基础人体姿态估计方法的选择。

在分析了一些最新方法输出的人体姿态后，我们发现当图像中人的尺度、人的动作类型或图像背景复杂度不同时，输出姿态的质量会有很大的差异。然而，对于智能视频监控等许多实际应用场景而言，捕捉到的人体姿态应该有足够的可信度以用于判断图像中人的行为是否违反了某些规则。目前的深度学习方法通常不能保证其姿态估计的质量，因而在实际场景中使用的人体姿态估计技术也非常有限。同时，现有的人体姿态估计或姿态优化方法通常使用相同的网络模型和通用的工作流程来处理所有输入数据。这些方法可能并不适用于所有样本，尤其是复杂样本，也无法适应输入图像中人体姿态的多样性，导致输出的结果中仍有一定比例的低质量人体姿态。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种有效克服所获取的人体姿态质量差异性问题的基于姿态质量评估的自适应人体姿态优化方法。

本发明的目的可以通过以下技术方案来实现：

一种基于姿态质量评估的自适应人体姿态优化方法，包括以下步骤：

S1：获取人体姿态优化训练数据和已有姿态质量评估训练数据；

S2：利用姿态质量评估训练数据训练人体姿态质量评估网络，得到用于衡量已有人体姿态质量评估模型；

S3：利用人体姿态优化训练数据训练人体姿态优化网络，得到人体姿态优化模型；

S4：获取已有人体姿态，根据人体姿态质量评估模型的评估结果，利用人体姿态优化模型对质量不达标的已有人体姿态通过迭代进行姿态优化，直至优化后的人体姿态质量达标，输出该优化的人体姿态。

进一步地，所述的步骤S2具体包括：

S21：将待评估姿态对应的原始图像根据该姿态的对应区域裁剪出人体框，并根据待评估姿态生成伪关节点热力图；

S22：将原始图像人体框区域与伪关节点热力图输入人体姿态质量评估网络，得到该待评估姿态的质量评分向量；

S23：将输出的质量评分向量与人体姿态质量评估目标QS向量进行对比，利用加权损失函数L_QS优化整个人体姿态质量评估网络，得到用于衡量已有人体姿态质量评估模型。

更进一步地，所述的已有姿态质量评估训练数据包括人体姿态数据集中所有标注的人体姿态、由此生成的误差姿态以及其伪关节点热力图和质量评分向量，所述的人体姿态质量评估目标QS根据误差姿态和标注的人体姿态生成。

所述的人体姿态质量评估目标QS的计算式为：

其中，QS_j为所评估人体姿态第j个关节点的质量评分，d_j为第j个关节点的预测位置和标注位置之间的欧拉距离，s为人体框的面积，σ_j为数据集中设定的第j个关节点的尺度值，c为控制人体姿态质量评估目标QS变化趋势的常量。

更进一步地，所述的加权损失函数L_QS用于根据人体姿态中不同质量层级关节点比例及该关节点的质量层次设置各关节点的权重，其表达式为：

其中，

为第j个人体关节点输出的质量评分，

为第j个人体关节点标注的真实质量评分，w_j为第j个人体关节点的损失权重，N为标注的人体关节点的总数量，T为划分评估的关节质量层级的阈值。

进一步地，所述的步骤S3具体包括：

S31：将待评估姿态对应的原始图像根据该姿态的对应区域裁剪出人体框，并根据待评估姿态生成伪关节点热力图；

S32：将原始图像人体框区域与伪关节点热力图输入人体姿态优化网络，得到该人体姿态优化后每个关节点的位置坐标；

S33：将优化后每个关节点的位置坐标与标注的关节点位置坐标进行对比，利用姿态优化损失函数L_R优化人体姿态优化网络，得到人体姿态优化模型。

更进一步地，所述的人体姿态优化训练数据包括人体姿态数据集中标注的所有人体姿态、由此生成的误差姿态以及其伪关节点热力图和标注的关节点位置坐标。

更进一步地，所述的姿态优化损失函数L_R的表达式为：

L_R＝L_J+αL_B

B_k＝J_k-J_p(k)＝(x_k-x_p(k)，y_k-y_p(k))

其中，L_B为骨架损失函数，L_J为关节点损失函数，α为骨架损失函数L_B的权重，B_k为第k个关节点对应的骨架向量，J_p(k)为第k个人体关节点的父关节点，v_k表示第k个人体关节点是否可见，x_k为第k个人体关节点的横坐标，y_k为第k个人体关节点的纵坐标，x_p(k)为第k个人体关节点父节点的横坐标，y_p(k)为第k个人体关节点父节点的纵坐标，

为预测的第k个骨架向量，

为第k个骨架向量的真实值，v_p(k)表示第k个人体关节点的父节点是否可见。

进一步地，所述的步骤S4具体包括：

S41：获取已有人体姿态；

S42：利用人体姿态质量评估模型进行姿态质量评估，判断该已有人体姿态是否达标，若是，则直接输出该人体姿态，否则执行步骤S42；

S43：利用人体姿态优化模型，获取优化后的人体姿态；

S44：返回执行步骤S42，直至优化后的人体姿态达标或优化次数达到设定阈值，输出该优化的人体姿态。

进一步地，所述的人体姿态质量评估网络包括依次连接的第一深度卷积神经网络CNN1和第一全连接层FC1，所述的第一深度卷积神经网络CNN1用于提取各关节点误差姿态伪热力图与相应原始图像人体框框区域的特征，所述的第一全连接层FC1用于输出各关节点的质量评分；

所述的人体姿态优化网络包括第二深度卷积神经网络CNN2和第二全连接层FC2，所述的第二深度卷积神经网络CNN2，所述的第二深度卷积神经网络CNN2用于提取各关节点误差姿态伪关节点热力图与相应原始图像人体狂区域的特征并融合得到优化后的人体姿态特征，所述的第二全连接层FC2用于输出优化后姿态各关节点的位置坐标。

与现有技术相比，本发明具有以下优点：

1)本发明通过训练人体姿态质量评估网络，使神经网络可以作为一个质量的评判者对输出进行监督，也使得输出标准化的、更具有可信度的人体姿态的姿态估计技术成为可能，基于深度学习的人体姿态估计技术可以被应用到更多的更具实践价值的生活场景中；

2)本发明的自适应人体姿态优化技术依托人体姿态质量评估模型，可以使用轻量的基础人体姿态优化网络，根据每个输入姿态的不同质量，分别对它们进行个性化的优化操作，使每个人体姿态都能在最小的时间和计算量代价下优化至该人体姿态能达到的最佳水平。

附图说明

图1为本发明中自适应人体姿态优化的工作流程示意图；

图2为实施例中提供的方法流程图；

图3为骨架损失函数L_B的原理示意图，其中，图(3a)为骨架向量示意图，图(3b)为骨架损失示意图；

图4为经过姿态质量评估选择后人体姿态质量层级分布对比图，其中，图(4a)为初始姿态质量层级分布图，图(4b)为QS阈值取0.6时姿态质量层级分布图，图(4c)为QS阈值取0.75时姿态质量层级分布图，图(4d)为QS阈值取0.8时姿态质量层级分布图；

图5为经过自适应姿态优化后的人体姿态与初始姿态的对比图，其中，图(5a)、图(5b)、图(5c)、图(5d)、图(5e)和图(5f)分别为初始人体姿态，图(5A)、图(5B)、图(5C)、图(5D)、图(5E)和图(5F)分别为对应优化后的人体姿态。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

如图2所示，本发明提供的基于姿态质量评估的自适应人体姿态优化方法主要包含以下四个步骤：

1)根据人体姿态数据集生成人体姿态优化训练数据和已有姿态质量评估训练数据；

2)将生成的已有姿态质量评估训练数据输入姿态评估网络，提取人体姿态的特征，获得具有人体姿态质量评估能力的人体姿态质量评估模型；

3)将生成的人体姿态优化训练数据输入姿态优化网络，提取图像及该人体姿态的特征进行融合，获得具有人体姿态质量优化能力的人体姿态优化模型；

4)对于待优化的人体姿态，利用步骤2)中训练好的人体姿态质量评估模型获取该姿态的质量评分，若不达标则利用步骤3)中训练好的人体姿态优化模型对该人体姿态进行优化直至优化后姿态的质量评分达到标准，输出优化后的姿态。如图1所示，展示了本发明中自适应人体姿态优化的工作流程示意图。

接下来，本说明书同样分成这几部分对本方法加以详细说明。

步骤1)的具体方法为：

首先根据人体姿态标注数据生成有误差的人体姿态作为人体姿态优化模型的训练数据；然后根据生成的有误差的人体姿态和标注的人体姿态生成人体姿态质量评估网络的学习目标QS(Quality Score)作为训练数据，其表达式为：

其中，QS_j为所评估人体姿态第j个关节点的质量评分；d_j为第j个关节点的预测位置和标注位置之间的欧拉距离；s为相应人体框的面积；σ_j为数据集所规定的第j个关节点的尺度值；c为常量，以便于控制QS针对误差大小变化趋势，本方法中设置为2。

已有姿态质量评估训练数据还包括人体姿态数据集中标注的所有人体姿态及由此生成的误差姿态及其伪热力图和质量评分向量，人体姿态优化训练数据还包括人体姿态数据集中标注的所有人体姿态及由此生成的误差姿态及其伪热力图和关节点坐标位置。

步骤2)的具体方法为：

21)将待评估人体姿态对应的原始图像根据该姿态的对应区域裁剪出人体框，并缩放至384×288，并归一化到0到1之间，同时根据待评估的姿态生成伪关节点热力图，与原始图像区域大小相同。然后将原始图像区域与伪热力图一起输入第一深度卷积神经网络CNN₁，得到待评估姿态特征。

22)将第一深度卷积神经网络CNN₁提取到的待评估姿态的特征输入第一全连接层FC₁，输出该人体姿态每个关节点预测位置的质量评分作为该姿态的质量评分向量。

23)将输出的该姿态的质量评分向量与训练数据中计算的目标姿态质量评分向量进行对比，利用加权损失函数L_QS优化整个人体姿态优化网络(记为CNN₁-FC₁)，得到训练完成的人体姿态质量评估网络。

其中，第一深度卷积神经网络CNN₁支持任意形式的卷积网络，第一全连接层FC₁也支持任意形式的全连接网络，第一深度卷积神经网络CNN1用于提取各关节点误差姿态伪热力图与相应原始图像区域的特征，所述的第一全连接层FC1输出各关节点的姿态质量评分。

加权损失函数L_Qs根据人体姿态中不同质量层级关节点比例及该关节点的质量层次设置各关节点的权重，以解决已有人体姿态不同质量层次关节点样本数量不平衡的问题。其表达式为：

其中，

为输出的第j个人体关节点的质量评分；

为标注的第j个人体关节点的真实质量评分；w_j为的第j个人体关节点的损失权重；N为标注的人体关节点的总数量；T为划分评估的关节质量层级的阈值，设置为0.75。

步骤3)的具体方法为：

31)将待优化人体姿态对应的原始图像根据该姿态的对应区域裁剪出人体框，并缩放至384×288，并归一化到0到1之间，同时根据待优化的姿态生成伪关节点热力图，与原始图像区域大小相同。然后将原始图像区域与伪热力图一起输入第二深度卷积神经网络CNN₂，得到优化后的人体姿态特征。

22)将第二深度卷积神经网络CNN₂提取到的优化后的人体姿态特征输入第二全连接层FC₂，输出优化后该人体姿态每个关节点的位置坐标。

23)将输出的该姿态的优化后各关节点位置坐标与训练数据中标注的关节点位置坐标进行对比，利用姿态优化损失函数L_R优化整个人体姿态优化网络(记为CNN₂-FC₂)，得到训练完成的人体姿态优化网络。

其中，第二深度卷积神经网络CNN2支持任意形式的卷积网络，第二全连接层FC2也支持任意形式的全连接网络，第二深度卷积神经网络CNN2用于提取各关节点误差姿态伪热力图与相应原始图像区域的特征并融合得到优化后的人体姿态特征，所述的第二全连接层FC2输出优化后姿态各关节点的位置坐标。

姿态优化损失函数L_R由关节点损失函数L_J和骨架损失函数L_B组合而成，其表达式为：

L_R＝L_J+αL_B

其中，α是骨架损失L_B的权重，设置为0.1。

骨架损失函数L_B引入人体骨架，其实意图如图3所示。骨架损失函数L_B充分利用人体各关节点之间的组织关系，尤其有助于对手腕、脚踝等与躯体主干距离较远、自由度较高地关节点位置地优化。其表达式为：

B_k＝J_k-J_p(k)＝(x_k-x_p(k)，y_k-y_p(k))

其中，B_k为第k个关节点对应的骨架向量；J_p(k)为第k个人体关节点的父关节点；v_k为的第k个人体关节点的是否可见，x_k为第k个人体关节点的横坐标，y_k为第k个人体关节点的纵坐标，x_p(k)为第k个人体关节点父节点的横坐标，y_p(k)为第k个人体关节点父节点的纵坐标，

为预测的第k个骨架向量，

为第k个骨架向量的真实值，v_p(k)表示第k个人体关节点的父节点是否可见。

步骤4)的具体方法为：

对于待优化的人体姿态，首先利用步骤2)中训练好的姿态质量评估模型网络CNN₁-FC₁获取该姿态的质量评分，若姿态质量评分达到要求，输出该姿态；若姿态质量评分不达标，将该人体姿态输入步骤3)中训练好的基础姿态优化网络CNN₂-FC₂，获取优化后的人体姿态，然后利用步骤2)中训练好的姿态质量评估模型网络CNN₁-FC₁获取优化后姿态的新的质量评分。重复上述步骤，直到姿态质量评分达到要求或姿态优化次数到达上限，输出最终的优化后姿态。

为了支持以及验证本发明提出的基于姿态质量评估的自适应人体姿态优化方法的性能，本文在被人体姿态估计任务广泛使用的公开标准数据集MSCOCO人体姿态数据集上运用我们的方法。MSCOCO数据集是微软为解决目标检测、目标分割和人体姿态估计等计算机视觉任务提供的数据集，包含了自然图片及生活中常见场景的图片，背景复杂度较高，相应的难度也较大，对算法的衡量性更好。其中人体姿态数据集分为训练集、验证集和测试集，涵盖多人图像与单人图像。训练集由5万7千多张图像构成，包含15万个人体；验证集由2千张图像构成，包含6千个人体。MSCOCO人体姿态数据集选择了17个人体部位关节点作为人体姿态，分别是鼻尖、眼睛上部、耳朵前部、肩关节、肘关节、腕关节、髋关节、膝关节和踝关节。本文在MSCOCO数据集上进行实验，采用经过人体姿态质量评分筛选后的个质量层次姿态分布占比和以一定阈值根据质量评分对关节点进行分类的分类准确度作为姿态质量评估结果的衡量标准，采用MSCOCO数据集使用的OKS(目标关节点相似度)作为人体姿态优化结果的衡量标准。

对姿态质量评估网络的实验结果：

图4给出了经过姿态质量评估选择后人体姿态质量层级分布对比图。其中的待评估姿态由Xiao等人的方法得到。从图中可以看出，通过姿态质量评分QS的限制，高质量输出姿态的比例明显增加。当QS阈值为0.9时，IoU(Intersection over Union)>0.9的姿态比例增加8.8％，而IoU<0.6的姿态所占比例下降到3.1％；同时包含IoU>0.9和IoU<0.6的预测人体姿态的图像数量从227下降到113。本发明中的姿态质量评估网络对预测的人体姿态有明显的筛选作用。

同时，表1也给出了在MSCOCO数据集上，本发明中的姿态质量评估网络在不同质量评分阈值T下对Xiao等人的方法得到的人体姿态各关节点位置质量分类的准确度。从表中可以看出，在T＝0.5的情况下，关节点质量分类准确度可达95.7％。当T增大时，关节点质量分类准确度。

表1人体姿态各关节点位置质量分类的准确度(％)

对基础姿态优化网络及自适应姿态优化方法的实验结果：

我们在MSCOCO数据集上分别对直接生成的验证误差姿态和由Xiao等人方法得到的预测人体姿态进行了优化，实验结果如表2和表3所示。部分经过自适应姿态优化后的人体姿态与初始姿态的对比如图5所示。

从表2可以看出，本发明提出的基础姿态优化模型可以明显地提高误差姿态的质量，同时，使用我们的自适应优化算法，最终结果的AP可以再提高1.2％。从表3可以看出，对真实的预测人体姿态，本发明提出的基础姿态优化模型和自适应姿态优化算法同样能有效提升人体姿态的质量。其中，自适应姿态优化算法的平均优化次数为1.62。这说明本发明提出的自适应姿态优化算法可以有效地提高基础优化模型的性能，具有灵活的时间和计算开销。

表2直接生成的验证误差人体姿态的优化结果(％)

方法	AP	AP<sub>:50</sub>	AP<sub>:75</sub>	AP<sub>M</sub>	AP<sub>L</sub>	AR	AR<sub>:50</sub>	AR<sub>:75</sub>	AR<sub>M</sub>	AR<sub>L</sub>
											生成姿态	43.8	90.7	34.6	48.9	39.8	55.0	94.9	55.7	54.4	55.8
基础优化网络	61.7	93.4	69.4	64.1	58.9	72.6	96.2	81.7	71.8	74.0
											自适应优化	62.9	93.8	70.7	66.3	60.2	73.6	96.7	82.4	73.0	74.6

表3 Xiao等人方法得到的人体姿态的优化结果(％)

方法	AP	AP<sub>:50</sub>	AP<sub>:75</sub>	AP<sub>M</sub>	AP<sub>L</sub>	AR	AR<sub>:50</sub>	AR<sub>:75</sub>	AR<sub>M</sub>	AR<sub>L</sub>
											基础姿态	68.6	89.1	75.5	66.9	71.8	79.3	94.0	85.3	75.9	84.5
基础优化网络	70.3	89.6	77.3	67.9	75.7	79.2	94.0	84.5	75.8	84.4
											自适应优化	72.1	90.6	78.6	68.4	77.9	79.3	94.1	84.9	75.9	84.8

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于姿态质量评估的自适应人体姿态优化方法，其特征在于，包括以下步骤：

S1：获取人体姿态优化训练数据和已有姿态质量评估训练数据；

S2：利用姿态质量评估训练数据训练人体姿态质量评估网络，得到用于衡量已有人体姿态质量评估模型；

S3：利用人体姿态优化训练数据训练人体姿态优化网络，得到人体姿态优化模型；

S4：获取已有人体姿态，根据人体姿态质量评估模型的评估结果，利用人体姿态优化模型对质量不达标的已有人体姿态通过迭代进行姿态优化，直至优化后的人体姿态质量达标，输出该优化的人体姿态。

2.根据权利要求1所述的一种基于姿态质量评估的自适应人体姿态优化方法，其特征在于，所述的步骤S2具体包括：

S21：将待评估姿态对应的原始图像根据该姿态的对应区域裁剪出人体框，并根据待评估姿态生成伪关节点热力图；

S22：将原始图像人体框区域与伪关节点热力图输入人体姿态质量评估网络，得到该待评估姿态的质量评分向量；

S23：将输出的质量评分向量与人体姿态质量评估目标QS向量进行对比，利用加权损失函数L_QS优化整个人体姿态质量评估网络，得到用于衡量已有人体姿态质量评估模型。

3.根据权利要求2所述的一种基于姿态质量评估的自适应人体姿态优化方法，其特征在于，所述的已有姿态质量评估训练数据包括人体姿态数据集中所有标注的人体姿态、由此生成的误差姿态以及其伪关节点热力图和质量评分向量，所述的人体姿态质量评估目标QS根据误差姿态和标注的人体姿态生成。

4.根据权利要求3所述的一种基于姿态质量评估的自适应人体姿态优化方法，其特征在于，所述的人体姿态质量评估目标QS的计算式为：

其中，QS_j为所评估人体姿态第j个关节点的质量评分，d_j为第j个关节点的预测位置和标注位置之间的欧拉距离，s为人体框的面积，σ_j为数据集中设定的第j个关节点的尺度值，c为控制人体姿态质量评估目标QS变化趋势的常量。

5.根据权利要求2所述的一种基于姿态质量评估的自适应人体姿态优化方法，其特征在于，所述的加权损失函数L_QS用于根据人体姿态中不同质量层级关节点比例及该关节点的质量层次设置各关节点的权重，其表达式为：

其中，

为第j个人体关节点输出的质量评分，

为第j个人体关节点标注的真实质量评分，w_j为第j个人体关节点的损失权重，N为标注的人体关节点的总数量，T为划分评估的关节质量层级的阈值。

6.根据权利要求1所述的一种基于姿态质量评估的自适应人体姿态优化方法，其特征在于，所述的步骤S3具体包括：

S31：将待评估姿态对应的原始图像根据该姿态的对应区域裁剪出人体框，并根据待评估姿态生成伪关节点热力图；

S32：将原始图像人体框区域与伪关节点热力图输入人体姿态优化网络，得到该人体姿态优化后每个关节点的位置坐标；

S33：将优化后每个关节点的位置坐标与标注的关节点位置坐标进行对比，利用姿态优化损失函数L_R优化人体姿态优化网络，得到人体姿态优化模型。

7.根据权利要求6所述的一种基于姿态质量评估的自适应人体姿态优化方法，其特征在于，所述的人体姿态优化训练数据包括人体姿态数据集中标注的所有人体姿态、由此生成的误差姿态以及其伪关节点热力图和标注的关节点位置坐标。

8.根据权利要求7所述的一种基于姿态质量评估的自适应人体姿态优化方法，其特征在于，所述的姿态优化损失函数L_R的表达式为：

L_R＝L_J+αL_B

B_k＝J_k-J_p(k)＝(x_k-x_p(k)，y_k-y_p(k))

其中，L_B为骨架损失函数，L_J为关节点损失函数，α为骨架损失函数L_B的权重，B_k为第k个关节点对应的骨架向量，J_p(k)为第k个人体关节点的父关节点，v_k表示第k个人体关节点是否可见，x_k为第k个人体关节点的横坐标，y_k为第k个人体关节点的纵坐标，x_p(k)为第k个人体关节点父节点的横坐标，y_p(k)为第k个人体关节点父节点的纵坐标，

为预测的第k个骨架向量，

为第k个骨架向量的真实值，v_p(k)表示第k个人体关节点的父节点是否可见。

9.根据权利要求1所述的一种基于姿态质量评估的自适应人体姿态优化方法，其特征在于，所述的步骤S4具体包括：

S41：获取已有人体姿态；

S42：利用人体姿态质量评估模型进行姿态质量评估，判断该已有人体姿态是否达标，若是，则直接输出该人体姿态，否则执行步骤S42；

S43：利用人体姿态优化模型，获取优化后的人体姿态；

S44：返回执行步骤S42，直至优化后的人体姿态达标或优化次数达到设定阈值，输出该优化的人体姿态。

10.根据权利要求2或6所述的一种基于姿态质量评估的自适应人体姿态优化方法，其特征在于，所述的人体姿态质量评估网络包括依次连接的第一深度卷积神经网络CNN1和第一全连接层FC1，所述的第一深度卷积神经网络CNN1用于提取各关节点误差姿态伪热力图与相应原始图像人体框框区域的特征，所述的第一全连接层FC1用于输出各关节点的质量评分；

所述的人体姿态优化网络包括第二深度卷积神经网络CNN2和第二全连接层FC2，所述的第二深度卷积神经网络CNN2，所述的第二深度卷积神经网络CNN2用于提取各关节点误差姿态伪关节点热力图与相应原始图像人体狂区域的特征并融合得到优化后的人体姿态特征，所述的第二全连接层FC2用于输出优化后姿态各关节点的位置坐标。

Images