CN110427890A - 基于深度级联网络和质心分化编码的多人姿态估计方法 - Google Patents

Abstract

本发明提供一种基于深度级联网络与质心分化编码的多人姿态估计方法，其采用自底向上的估计路线，针对现有算法尚不能解决的关节遮挡及尺度差异问题，设计出质心分化编码作为关节的相关性线索，并建立基于双路特征提取模块的深度级联网络完成对关节点与质心分化编码的提取，接着提出贪婪推理策略实现关节点鲁棒匹配到多个人体半身，最后对半身之间添加空间约束，利用图匹配算法完成人体拼接，实现快速高效的多人姿态估计。

Description

基于深度级联网络和质心分化编码的多人姿态估计方法

技术领域

本发明涉及计算机视觉中的人体姿态估计领域，尤其涉及了一种基于深度级联网络和质心分化编码的多人姿态估计方法。

背景技术

人体姿态估计是设计制造智能设备理解人体行为的关键步骤，目的是定位和识别图像之中所有人体的关节点并连接成为人体骨架。有效预测人体关节点并获得相应人体姿态，对于实现如高级人机交互、行为识别及行人重识别等更高级别的计算机视觉任务具有重要的意义。尽管当前对于姿态估计技术的研究众多，但现有的多人姿态估计技术还远远不够成熟，完全实现鲁棒、高精度的多人姿态估计仍面临着极大的挑战。这些挑战包括：(1)在光照条件较差或者背景较复杂的图像中，人体关节点的提取仍比较困难；(2)人体的高度可形变性使得检测复杂人体姿态难度大，需要考虑更多的肢体关联性；(3)人体自身及多人的多个部位的遮挡和人体与物体之间的相互遮挡，导致人体姿态的不完整等。因此，姿态估计技术的精度仍有很大的提升空间。

对于传统RGB彩色图像中的多人姿态估计，Newell A等人(Advances in NeuralInformation Processing Systems,2017,pp.2277-2287)在论文“AssociativeEmbedding:End-to-End Learning For Joint Detection and Grouping”中提出了一种关联嵌入编码算法来解决多人姿态估计问题，该方法采用自底向上的方法，先检测全部的人体关节点，并在后续阶段进行组合。具体来说，该方法为图像中的每个人体关节单独设计一个编码，这个编码的数值是由深度卷积神经网络学习得到的非固定数值，网络的学习策略是在最大化不同人体各关节的编码之间距离的同时，最小化同个人体各关节的编码之间的距离。通过设计的编码，可以在预测时轻松的将属于各个人体的关节点分开，但该方法不适用于图像中有较多人的情况。来自东北大学申请的专利“一种人体姿态估计方法”(专利申请号：CN201810962304.4，公开号：CN109241881A)公开了一种基于现有的人体目标检测算法和作者提出的关节点树形图的人体姿态估计方法。该方法首先在待测图像上运行人体目标检测算法，接着，对检测出的每个人体单独利用设计的层级梯度提升的回归树模型进行单人姿态的检测。由于逐步利用了人体关节的局部显著特征，所以可以有效回归人体姿态，但在人体表现出复杂姿态或部分遮挡时，往往会缺失部分局部特征，限制算法精度；除此之外，由于需要对检测出的所有人体单独执行单人姿态的检测，因此运行速度也是该方法的劣势之一。东南大学在其申请的专利“融合方向图的人体姿态估计方法”(专利申请号：CN201810588480.6，公开号：CN109033946A)中公开了一种融合方向图的人体姿态估计方法，首先进行关节点位置图的初步学习检测以及方向图的检测，得到位置热图以及方向热图；接着将预测的位置热图、方向图以及高层次特征进行融合,得到更加精确的位置热图。这种方法通过在网络中加入方向信息，能够提升一定的精度，但该方法在图像中包含多个人体时，方向信息容易混乱进而无法预测。

由于大多数现有方法在对实际场景中的多人进行姿态估计时，主要受制于关节遮挡及尺度差异等问题，还无法实现关节点之间的高精度匹配。

发明内容

本发明要解决的技术问题，在于提供一种基于深度级联网络和质心分化编码的多人姿态估计方法，解决人体关节遮挡及尺度差异问题。

本发明实现方式：一种基于深度级联网络和质心分化编码的多人姿态估计方法，包括：

步骤1、建立深度级联网络，并进行训练；

步骤2、采用训练后的深度级联网络对一待测图像计算，得出所有人体关节点及相对应的质心分化编码，质心分化编码为关节点所属的人体半身质心位置；基于质心分化编码，对所有的关节点进行贪婪推理，将关节点进行组合，分别得到多个人体上半身及下半身；

步骤3、根据上半身以及下半身中的关节信息添加空间约束，之后利用二分图匹配算法将上半身与下半身进行组合，最终得到多人的完整姿态。

进一步地，所述步骤1进一步具体为：

步骤1.1、首先采用两个残差单元进行图像特征的初步提取，接着基于双路特征提取模块，构造深度级联网络，在各个阶段中通过堆叠多个双路特征提取模块提取高层语义特征，并计算各个关节热图的置信分数，回归相应的质心分化编码层，得到多个中间预测的关节点热图和质心分化编码层，以及最终预测的关节点热图和质心分化编码层；

步骤1.2、网络训练：在多人姿态数据集上训练深度级联网络模型，计算中间预测的关节点热图和质心分化编码层与地面真值之间的误差损失函数，以及最终预测的关节点热图和质心分化编码层与地面真值之间的误差损失函数，用于训练深度级联网络模型，实现关节点及质心编码层的精确预测。

进一步地，所述双路特征提取模块分为两个分支，分别称为关节点特征提取分支和质心分化编码特征提取分支，两个分支共用高层特征的提取部分，分别负责两部分特征的提取；

具体来说，将两部分特征图输入到当前模块中，首先对这两部分特征图进行融合：各自经过1×1的卷积核将通道数都映射到128维，然后进行逐像素的相加；接着，利用k×k的卷积核进行高层特征的提取，所述k为自定义变量，并将提取的特征再经过1×1的卷积进行通道间的特征融合，生成新的两部分特征的高层特征图，其中关节点特征提取分支提取的特征维度与该分支输入的特征图的维度相同；最后，进行输入特征与输出特征的特征融合，关节点特征提取分支采用逐像素相加的特征融合策略，保证特征的低冗余度；质心分化编码特征提取分支直接进行通道维度的相连；通过堆叠多个双路特征提取模块，来构造深度级联网络的各个阶段；在各个阶段中，不断提取高层语义特征，并在最后输出两部分特征图，分别对两部分特征图进行1×1的卷积得到中间预测输出；

对网络来说，使用I表示重置图像大小至固定规模后，输入到网络的图像，其尺寸大小为256×256；用表示全部的上半身关节点候选项位置，表示全部的下半身关节点候选项位置，并且其中其中N和M为正整数；使用P＝P^T∪P^U来表示整体的关节点候选项集合；网络学习在预测关节点候选项的同时，还能够预测得到关节候选项对应的质心分化编码，将该质心分化编码设置为关节所属的半身质心；使用表示提取出的上半身关节各自对应的半身质心，其中

对于下半身同理，有同时网络得到所述关节点候选项的类别，用分别表示关节点候选项的类别，其中K是要检测的关节类别的个数；以上两组集合即表示对人体关节类别的一种划分，分为上半身T与下半身D；

对于每一类关节点，构造一张规模固定64×64的关节点热图，关节点热图上的每一位置的数值表征了当前位置为关节点的概率；同时，对每一个关节点热图，输出对应的质心分化编码层；因此，构造网络在每个阶段的关节检测分支和分化编码分支各输出规模为64×64×K与64×64×2K的预测热图。

进一步地，所述步骤1.2进一步具体为：

在训练时，利用原始数据集标注的关节点位置按照关节点类别构造地面真值热图；具体而言，以某关节p_i为例，设其关节类别为u_i＝k，令为该关节点在第k张热图的位置τ产生的置信分数，则该位置的置信分数以公式(1)求得，其中将λ为人为设置的参数；且当τ距离p_i大于指定阈值时，将该位置置信分数设置为0；用C＝{C₁,...,C_K}来表示这些关节点地面真值热图，即网络各阶段关节预测分支的标签；

对于质心分化编码层而言，不直接回归当前位置所属半身质心的位置，而是采用当前位置到所属半身质心位置的偏移除以图像的尺寸作为标签，进行相似的热图生成，用T＝{T₁,...,T_K}来表示(每一个嵌入编码层按照其坐标拆分成x，y两层，由一个变量T_i来表示)；具体而言，以某关节p_i为例，设其关节类别为u_i＝k，且该关节所属人体半身的质心为o_i，令ξ_i,τ,x,ξ_i,τ,y分别为第2k及2k+1张热图的点p_i附近的位置τ的响应值，则该位置的响应值以公式(2)(3)求得，且当τ距离p_i大于指定阈值时，将该位置置信分数设置为0，H值为输入图像的高，W值为输入图像的宽；

相对应的，在训练时，使用 来表示网络的实际输出，在训练时，定义各阶段网络两分支的损失函数分别为公式(4)(5)：

其中，j表示关节序号，代表了不同层的热图，而p_ν表示热图位置，t表示网络的第t个阶段；深度级联网络通过优化损失函数学习网络参数，最终能够实现关节点及质心编码的精确预测。

进一步地，所述步骤2进一步具体为：

步骤2.1、将待检测图像输入步骤1.2训练好的模型中，预测一组人体关节点热图及对应的质心分化编码层；

步骤2.2、使用非极大值抑制算法选取每张关节点热图的高响应位置作为每个关节点的中心，并进行膨胀得到半径为r的圆，接着提取关节中心对应的质心分化编码层对应位置的响应，结合当前点的坐标，由公式(2)(3)计算所属的半身质心位置，作为该关节的质心分化编码；

步骤2.3、将得到的各层关节点根据其类别分化到两个半身，基于质心分化编码，采用贪婪推理策略，进行关节点的推理匹配得到多个人体半身。

进一步地，所述步骤2.3进一步具体为：

步骤2.3.1、根据设定关节点及其质心分化编码进行人体半身实例和半身质心的初始化；

步骤2.3.2、按照设定的推理顺序考虑与当前各人体半身实例质心最接近的对应关节并加入人体半身实例，之后进行半身质心的更新；

步骤2.3.3、重复步骤2.3.2步骤，直到所有的关节点都被分配到人体半身实例，得到所有的人体半身集合；

通过这样的推理匹配，最终的结果引入了两个半身分组集合与每个都表示一个特定人员的上半身关节集合，同理另一集合中的每个元素都表征了一个特定人员的下半身关节集合。

进一步地，所述步骤3进一步具体为：

步骤3.1、依靠半身集合内部的关节信息，对所有的人体上下半身之间加入空间约束；

步骤3.2、结合空间约束与各半身更新后的分化质心编码，设置各半身之间的相关性，并依靠二分图匹配算法连接最佳匹配人体半身，得到所有的人体实例；

步骤3.3、连接各人体实例内部的关节，形成最终的人体骨架，完成多人姿态估计。

本发明具有如下优点：解决人体关节遮挡及尺度差异问题，并实现关节点之间的高精度匹配；

本发明采用的是自底向上的多人姿态估计方法，然而自底向上的方法的速度较快，但是精度较低，主要的原因来源就是遮挡、尺度差异等，本发明克服了上述的问题，使得能够在较快的前提下达到更好的精度。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明方法的流程图。

图2是本发明经过大小重置后输入网络的图像。

图3是本发明设计的整体深度级联网络框架图。

图4是本发明设计的单个双路特征提取模块。

图5是输入图像经过设计的深度级联网络后，经过非极大值抑制算法后输出的人体关节点位置热图以及经过计算得到的质心分化编码的可视化结果。

图6是对网络输出进行半身分化及汇总后的结果。

图7是设计的一种贪婪推理策略的关节推理顺序。

图8是最终得到的多人姿态估计结果图像。

具体实施方式

如图1所示，本发明基于深度级联网络和质心分化编码的多人姿态估计方法，包括：

步骤1、建立深度级联网络，并进行训练；

步骤2、采用训练后的深度级联网络对一待测图像计算，得出所有人体关节点及相对应的质心分化编码，质心分化编码为关节点所属的人体半身质心位置；基于质心分化编码，对所有的关节点进行贪婪推理，将关节点进行组合，分别得到多个人体上半身及下半身；

步骤3、根据上半身以及下半身中的关节信息添加空间约束，之后利用二分图匹配算法将上半身与下半身进行组合，最终得到多人的完整姿态。

所述步骤1进一步具体为：

步骤1.1、首先采用两个残差单元进行图像特征的初步提取，接着基于双路特征提取模块，构造深度级联网络，在各个阶段中通过堆叠多个双路特征提取模块提取高层语义特征，并计算各个关节热图的置信分数，回归相应的质心分化编码层，得到多个中间预测的关节点热图和质心分化编码层，以及最终预测的关节点热图和质心分化编码层；

步骤1.2、网络训练：在多人姿态数据集上训练深度级联网络模型，计算中间预测的关节点热图和质心分化编码层与地面真值之间的误差损失函数，以及最终预测的关节点热图和质心分化编码层与地面真值之间的误差损失函数，用于训练深度级联网络模型，实现关节点及质心编码层的精确预测。

所述双路特征提取模块分为两个分支，分别称为关节点特征提取分支和质心分化编码特征提取分支，两个分支共用高层特征的提取部分，分别负责两部分特征的提取；

具体来说，将两部分特征图输入到当前模块中，首先对这两部分特征图进行融合：各自经过1×1的卷积核将通道数都映射到128维，然后进行逐像素的相加；接着，利用k×k的卷积核进行高层特征的提取，所述k为自定义变量，并将提取的特征再经过1×1的卷积进行通道间的特征融合，生成新的两部分特征的高层特征图，其中关节点特征提取分支提取的特征维度与该分支输入的特征图的维度相同；最后，进行输入特征与输出特征的特征融合，关节点特征提取分支采用逐像素相加的特征融合策略，保证特征的低冗余度；质心分化编码特征提取分支直接进行通道维度的相连；通过堆叠多个双路特征提取模块，来构造深度级联网络的各个阶段；在各个阶段中，不断提取高层语义特征，并在最后输出两部分特征图，分别对两部分特征图进行1×1的卷积得到中间预测输出；

对网络来说，使用I表示重置图像大小至固定规模后，输入到网络的图像，其尺寸大小为256×256；用表示全部的上半身关节点候选项位置，表示全部的下半身关节点候选项位置，并且其中其中N和M为正整数；使用P＝P^T∪P^U来表示整体的关节点候选项集合；网络学习在预测关节点候选项的同时，还能够预测得到关节候选项对应的质心分化编码，将该质心分化编码设置为关节所属的半身质心；使用表示提取出的上半身关节各自对应的半身质心，其中

对于下半身同理，有同时网络得到所述关节点候选项的类别，用分别表示关节点候选项的类别，其中K是要检测的关节类别的个数；以上两组集合即表示对人体关节类别的一种划分，分为上半身T与下半身D；

对于每一类关节点，构造一张规模固定64×64的关节点热图，关节点热图上的每一位置的数值表征了当前位置为关节点的概率；同时，对每一个关节点热图，输出对应的质心分化编码层；因此，构造网络在每个阶段的关节检测分支和分化编码分支各输出规模为64×64×K与64×64×2K的预测热图。

所述步骤1.2进一步具体为：

在训练时，利用原始数据集标注的关节点位置按照关节点类别构造地面真值热图；具体而言，以某关节p_i为例，设其关节类别为u_i＝k，令为该关节点在第k张热图的位置τ产生的置信分数，则该位置的置信分数以公式(1)求得，其中将λ为人为设置的参数；且当τ距离p_i大于指定阈值时，将该位置置信分数设置为0；用C＝{C₁,...,C_K}来表示这些关节点地面真值热图，即网络各阶段关节预测分支的标签；

对于质心分化编码层而言，不直接回归当前位置所属半身质心的位置，而是采用当前位置到所属半身质心位置的偏移除以图像的尺寸作为标签，进行相似的热图生成，用T＝{T₁,...,T_K}来表示(每一个嵌入编码层按照其坐标拆分成x，y两层，由一个变量T_i来表示)；具体而言，以某关节p_i为例，设其关节类别为u_i＝k，且该关节所属人体半身的质心为o_i，令ξ_i,τ,x,ξ_i,τ,y分别为第2k及2k+1张热图的点p_i附近的位置τ的响应值，则该位置的响应值以公式(2)(3)求得，且当τ距离p_i大于指定阈值时，将该位置置信分数设置为0，H值为输入图像的高，W值为输入图像的宽；

相对应的，在训练时，使用 来表示网络的实际输出，在训练时，定义各阶段网络两分支的损失函数分别为公式(4)(5)：

其中，j表示关节序号，代表了不同层的热图，而p_ν表示热图位置，t表示网络的第t个阶段；深度级联网络通过优化损失函数学习网络参数，最终能够实现关节点及质心编码的精确预测。

所述步骤2进一步具体为：

步骤2.1、将待检测图像输入步骤1.2训练好的模型中，预测一组人体关节点热图及对应的质心分化编码层；

步骤2.2、使用非极大值抑制算法选取每张关节点热图的高响应位置作为每个关节点的中心，并进行膨胀得到半径为r的圆，接着提取关节中心对应的质心分化编码层对应位置的响应，结合当前点的坐标，由公式(2)(3)计算所属的半身质心位置，作为该关节的质心分化编码；

步骤2.3、将得到的各层关节点根据其类别分化到两个半身，基于质心分化编码，采用贪婪推理策略，进行关节点的推理匹配得到多个人体半身。

进一步地，所述步骤2.3进一步具体为：

步骤2.3.1、根据设定关节点及其质心分化编码进行人体半身实例和半身质心的初始化；

步骤2.3.2、按照设定的推理顺序考虑与当前各人体半身实例质心最接近的对应关节并加入人体半身实例，之后进行半身质心的更新；

步骤2.3.3、重复步骤2.3.2步骤，直到所有的关节点都被分配到人体半身实例，得到所有的人体半身集合；

通过这样的推理匹配，最终的结果引入了两个半身分组集合与每个都表示一个特定人员的上半身关节集合，同理另一集合中的每个元素都表征了一个特定人员的下半身关节集合。

所述步骤3进一步具体为：

步骤3.1、依靠半身集合内部的关节信息，对所有的人体上下半身之间加入空间约束；

步骤3.2、结合空间约束与各半身更新后的分化质心编码，设置各半身之间的相关性，并依靠二分图匹配算法连接最佳匹配人体半身，得到所有的人体实例；

步骤3.3、连接各人体实例内部的关节，形成最终的人体骨架，完成多人姿态估计。

上述中多个均表示2个或者2个以上的意思。

本发明一种具体实施方式：

本发明提出了一种基于深度级联网络与质心分化编码的多人姿态估计方法，采用的是自底向上的方法，即先检测出全部关节点，再进行关节点的匹配，进而组合成人体实例得到人体姿态。具体来说，利用设计的质心分化编码作为提取出的关节点候选项的相关性线索，设计了深度级联网络完成对所有关节点与相应质心分化编码编码的提取；在关节点匹配时利用质心分化编码进行贪婪的关节推理，以组合成多个人体半身；最后利用各半身内的关节点信息构造空间约束，基于二分图匹配算法完成人体半身的拼接，完成多人姿态估计。

为了更好的理解本发明的技术方案，以下结合附图做进一步的详细说明，应理解下述具体的实施方式仅用于说明本发明，而并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

采用本发明提供方法，如图2至图8所示，对一张待检测图像(如图2所示)进行姿态估计的步骤如下：

步骤1、建立深度级联网络，训练网络使得输入图像能够通过网络预测计算得出所有人体关节点及相对应的质心分化编码，质心分化编码即关节所属的上下半身的质心位置(它代表着关节匹配成人体半身时的线索)；希望根据网络能够输出全部的关节点以及它们的这个编码；

网络的输出是两部分，并且都是包含多个层。一个是关节点热图，在每一层上用非极大值抑制算法可以提取出一类关节点，最后得到全部关节点的位置。而另一部分也就是提出的质心分化编码层，它的每两层(x，y)和关节点热图的一层是对应的，某个关节点位置对应的这两层对应位置的值，编码了质心分化编码，即偏移(公式2和3)也就是说，通过质心分化编码层的某个位置的值，可以求出这个位置的关节点的质心分化编码。

步骤1.1、首先进行网络的搭建，设置网络输入为如图一所示的大小重置为256×256的RGB图像，使用两个残差单元(残差单元也就是残差网络ResNet的基本组成部分)进行图像特征的初步提取，接着基于图4所示的双路特征提取模块，构造如图3所示的深度级联网络，在各个阶段中堆叠多个模块提取高层语义特征并计算各个关节热图的置信分数和回归相应的质心分化编码层，从而实现中间预测；(这里的阶段是指级联网络的各个阶段，级联网络就是指多个网络阶段进行级联，每个阶段的结构是一样的。模块指的是设计的双路特征提取模块。总的来说，就是级联网络由多个相同结构的阶段级联组成，而每个阶段又堆叠了多个双路特征提取模块)，关节热图用来计算关节点位置，具体的计算方法是非极大值抑制算法，关节热图上的每一点的值称为该点的置信分数，表示当前这一点是关节点的可能性(分数)。

设计的双路特征提取模块，具体来说，分为两个分支，分别称为关节点特征提取分支和质心分化编码特征提取分支，两个分支共用高层特征的提取部分，分别负责两部分特征的提取。具体来说，前一模块输出的两部分特征图输入到当前模块中，首先对这两部分特征图进行融合：各自经过1×1的卷积核将通道数都映射到128维，然后进行逐像素的相加；接着，利用k×k(3×3)的卷积核进行高层特征的提取，并将提取的特征再经过1×1的卷积进行通道间的特征融合并生成新的两部分特征的高层特征图，其中关节点特征提取分支提取的特征维度与该分支输入的特征图的维度相同；最后，进行输入特征与输出特征的特征融合，关节点特征提取分支采用逐像素相加的特征融合策略，保证特征的低冗余度；质心分化编码特征提取分支直接进行通道维度的相连，能够使用更多的特征。通过堆叠多个双路特征提取模块，来构造深度级联网络的各个阶段。在各个阶段中，不断提取高层语义特征，并在最后输出两部分特征图，分别对两部分特征图进行1×1的卷积得到中间预测输出；

对于具体网络输出的定义，本方法使用以往自底向上方法大多采用的热图形式，对于每一类关节点，构造一张规模固定(64×64)的关节点热图，热图上的每一位置的数值表征了当前位置为关节点的概率；同时，对每一个关节点热图，应输出对应的质心分化编码层(这一部分是在定义网络的两个输出，一个是关节点的位置热图，另外一个输出质心分化编码层，就是为了得到各个关节的质心分化编码(人体半身质心位置)而定义的输出)。因此，构造网络在每个阶段的关节检测分支和分化编码分支各输出规模为64×64×K与64×64×2K(单个质心分化编码层由x和y两个坐标分量层组成，K代表是关节点的个数；例如头、手腕、膝盖…)的预测热图；

步骤1.2、网络训练：在多人姿态数据集上训练深度级联网络模型，计算步骤1.1产生的中间预测和最终预测的关节点热图和质心分化编码层与地面真值之间的误差损失函数，用于训练级联网络模型，实现关节点及质心编码的精确预测；

在训练时，利用原始数据集标注的关节点位置按照关节点类别构造地面真值热图。具体而言，以某关节p_i为例，设其关节类别为u_i＝k，令为该关节点在第k张热图的位置τ产生的置信分数，则该位置的置信分数以公式(1)求得，其中将λ设置为7。且当τ距离p_i大于指定阈值(设置为8)时，将该位置置信分数设置为0。用C＝{C₁,...,C_K}来表示这些关节点地面真值热图，即网络各阶段关节预测分支的标签；

对于质心分化编码层而言，不直接回归当前位置所属半身质心的位置，而是采用当前位置到所属半身质心位置的偏移除以图像的尺寸作为标签，进行相似的热图生成，用T＝{T₁,...,T_K}来表示(每一个嵌入编码层按照其坐标拆分成x，y两层，由一个变量T_i来表示)。具体而言，本实施例采取的人体上半身质心为人体的颈部关节，并将下半身质心设置为骨盆关节。以某关节p_i为例，设其关节类别为u_i＝k，且该关节所属人体半身的质心为o_i，令ξ_i,τ,x,ξ_i,τ,y分别为第2k及2k+1张热图的点p_i附近的位置τ的响应值，则该位置的响应值以公式(2)(3)求得，且当τ距离p_i大于指定阈值时(所述阈值设置为8)，将该位置置信分数设置为0；

相对应的，在训练时，使用 来表示网络的实际输出，在训练时，定义各阶段网络两分支的损失函数分别为公式(4)(5)：

其中，j表示关节序号，代表了不同层的热图，而p_ν表示热图位置，t表示网络的第t个阶段。网络通过优化损失函数学习网络参数，最终能够实现关节点及质心编码的精确预测；

步骤2、依据计算得到的关节点及对应的质心分化编码，对所有的关节点进行贪婪推理，以组合得到多个人体上下半身；

步骤2.1、将待检测图像重置大小为256×256后，输入步骤1.2训练好的模型中，预测一组人体关节点热图及对应的质心分化编码层；

步骤2.2、使用非极大值抑制算法选取每张关节点热图的最高响应位置作为每个关节点的中心，并进行膨胀得到半径为r(设置为5)的圆(这里指的膨胀是数字图像处理中形态学处理的一个方法。在此处其具体的意思就是说根据得到的关节点中心(一个点)进行膨胀来得到一个圆)，接着提取对应的质心分化编码层中心位置对应的响应(在关节点热图得到了关节点中心之后，找到质心分化编码层对应位置的值(即响应)，然后根据公式2和3反推得到这个关节点的质心分化编码(即半身质心))，结合当前点的坐标，由公式(2)(3)计算所属的半身质心位置，作为该关节的质心分化编码。所得结果如图5所示；

步骤2.3、将得到的各层关节点依靠类别分化到两个半身，图6是本实施例分化后对网络输出热图进行汇总的结果，简单的采取以人体的腰身为分界。接着基于质心分化编码，采用贪婪推理策略，进行关节点的推理匹配以得到多个人体半身。具体包括如下分步骤：

步骤2.3.1、本实施例从尺度较大或局部信息较为丰富的颈部、臀部关节开始推理，依靠这些关节点及其编码信息进行人体半身实例和半身质心的初始化；这个推理的顺序是自己定义的，确定这个顺序的原则是从易于推导(尺度大或信息丰富，从而质心比较准确)的关节到其他关节。这里的半身质心就是通过网络输出计算得到的。这里整个的推导过程：首先从臀部颈部等关节开始推导，以下半身为例，先找到所有的臀部关节，有多少个臀部关节则说明有多少个人，同时就构造出这么多个人体下半身实例，进行下半身实例质心的初始化：这些人体下半身实例的质心的初始化为这些臀部关节的半身质心；接着，考虑下一个关节点，例如左膝盖，根据全部左膝盖的半身质心，和当前的所有人体下半身实例质心作比较，分别找到最近的并加入，然后进行人体半身实例质心的更新。逐个迭代每种关节点，最终就得到了所有的人体半身集合。

步骤2.3.2、本实施例采取了如图7所示的推理顺序(其中编号表示先后顺序，其中上半身顺序是1、2、3、4、5、6、7、8；下半身顺序是①、②、③、④、⑤、⑥、⑦)，考虑与当前各人体半身实例质心最接近的对应关节并加入人体半身实例，之后进行半身质心的更新，采用将原半身质心更替为半身内关节的质心分化编码的平均值；

步骤2.3.3、重复步骤2.3.2的推理过程，直到所有的关节点都被分配到人体半身实例，得到所有的人体半身集合，以与来表示，每个都表示一个特定人员的上半身关节集合，同理另一集合中的每个元素都表征了一个特定人员的下半身关节集合。

步骤3、对步骤2得到的多个人体上下半身，依靠半身内部的关节信息对半身之间添加空间约束，之后利用二分图匹配算法对这些半身进行组合，最终得到多人的完整姿态，具体包括以下分步骤：

步骤3.1、依靠半身集合内部的关节信息，对所有的人体上下半身之间加入空间约束，以在匹配时约束不相干半身之间的相关性程度。具体来说，本实施例考虑了如下约束：当检测出的某人体上身双肩关节之间距离接近于0，可以认为该人体有较大可能处于侧身状态，因此，将该上身与双臀关节间距离较大的下身(可以认为该下半身所在人体有较大可能处于正身状态)之间的相关性置为较小。事实上，还可以考虑具体场景下人体的尺度差异性、关节之间的角度来构造相关约束；

步骤3.2、结合空间约束与各半身更新后的分化质心编码，依靠二分图匹配算法连接最佳匹配人体半身。本实施例将某两个上下半身之间的相关性定义为两半身质心间距离的倒数(距离越近，属于同个人体的可能性越大)，结合空间约束定义的半身之间的相关性，最后得到了所有的人体实例；

最后需要进行的是多个上下半身的组合，各半身之间的相关性指的是两个半身属于同一个人体的可能性。一般来说，两个半身的半身质心越近那么它们越有可能组成一个人体，也就是相关性高。但是，考虑到半身已经组合完毕，半身内部的关节信息也是可以使用的。因此，设计添加一些约束来对相关性进行调整，达到更好的效果。例如某个上半身两肩距离很近，那么该人体可能是侧身，那么另一个两臀关节距离远的这种很可能人体为正面的半身，这两个半身它们的相关性可能需要再降低一点。

步骤3.3、连接各人体实例内部的关节，形成最终的人体骨架，如图8所示，最终完成了对输入图像的多人姿态估计。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (7)

1.一种基于深度级联网络和质心分化编码的多人姿态估计方法，其特征在于：包括：

步骤1、建立深度级联网络，并进行训练；

步骤2、采用训练后的深度级联网络对一待测图像计算，得出所有人体关节点及相对应的质心分化编码，质心分化编码为关节点所属的人体半身质心位置；基于质心分化编码，对所有的关节点进行贪婪推理，将关节点进行组合，分别得到多个人体上半身及下半身；

步骤3、根据上半身以及下半身中的关节信息添加空间约束，之后利用二分图匹配算法将上半身与下半身进行组合，最终得到多人的完整姿态。

2.根据权利要求1所述的一种基于深度级联网络和质心分化编码的多人姿态估计方法，其特征在于：所述步骤1进一步具体为：

步骤1.1、首先采用两个残差单元进行图像特征的初步提取，接着基于双路特征提取模块，构造深度级联网络，在各个阶段中通过堆叠多个双路特征提取模块提取高层语义特征，并计算各个关节热图的置信分数，回归相应的质心分化编码层，得到多个中间预测的关节点热图和质心分化编码层，以及最终预测的关节点热图和质心分化编码层；

步骤1.2、深度级联网络训练：在多人姿态数据集上训练深度级联网络模型，计算中间预测的关节点热图和质心分化编码层与地面真值之间的误差损失函数，以及最终预测的关节点热图和质心分化编码层与地面真值之间的误差损失函数，用于训练深度级联网络模型，实现关节点及质心编码层的精确预测。

3.根据权利要求2所述的一种基于深度级联网络和质心分化编码的多人姿态估计方法，其特征在于：所述双路特征提取模块分为两个分支，分别称为关节点特征提取分支和质心分化编码特征提取分支，两个分支共用高层特征的提取部分，分别负责两部分特征的提取；

具体来说，将两部分特征图输入到当前模块中，首先对这两部分特征图进行融合：各自经过1×1的卷积核将通道数都映射到128维，然后进行逐像素的相加；接着，利用k×k的卷积核进行高层特征的提取，所述k为自定义变量，并将提取的特征再经过1×1的卷积进行通道间的特征融合，生成新的两部分特征的高层特征图，其中关节点特征提取分支提取的特征维度与该分支输入的特征图的维度相同；最后，进行输入特征与输出特征的特征融合，关节点特征提取分支采用逐像素相加的特征融合策略，保证特征的低冗余度；质心分化编码特征提取分支直接进行通道维度的相连；通过堆叠多个双路特征提取模块，来构造深度级联网络的各个阶段；在各个阶段中，不断提取高层语义特征，并在最后输出两部分特征图，分别对两部分特征图进行1×1的卷积得到中间预测输出；

对深度级联网络来说，使用I表示重置图像大小至固定规模后，输入到网络的图像，其尺寸大小为256×256；用表示全部的上半身关节点候选项位置，表示全部的下半身关节点候选项位置，并且其中其中N和M为正整数；使用P＝P^T∪P^U来表示整体的关节点候选项集合；网络学习在预测关节点候选项的同时，还能够预测得到关节候选项对应的质心分化编码，将该质心分化编码设置为关节所属的半身质心；使用表示提取出的上半身关节各自对应的半身质心，其中

对于下半身同理，有同时网络得到所述关节点候选项的类别，用分别表示关节点候选项的类别，其中K是要检测的关节类别的个数；以上两组集合即表示对人体关节类别的一种划分，分为上半身T与下半身D；

对于每一类关节点，构造一张规模固定64×64的关节点热图，关节点热图上的每一位置的数值表征了当前位置为关节点的概率；同时，对每一个关节点热图，输出对应的质心分化编码层；因此，构造网络在每个阶段的关节检测分支和分化编码分支各输出规模为64×64×K与64×64×2K的预测热图。

4.根据权利要求2所述的一种基于深度级联网络和质心分化编码的多人姿态估计方法，其特征在于：所述步骤1.2进一步具体为：

在训练时，利用原始数据集标注的关节点位置按照关节点类别构造地面真值热图；具体而言，以某关节p_i为例，设其关节类别为u_i＝k，令为该关节点在第k张热图的位置τ产生的置信分数，则该位置的置信分数以公式(1)求得，其中将λ为人为设置的参数；且当τ距离p_i大于指定阈值时，将该位置置信分数设置为0；用C＝{C₁,...,C_K}来表示这些关节点地面真值热图，即网络各阶段关节预测分支的标签；

对于质心分化编码层而言，不直接回归当前位置所属半身质心的位置，而是采用当前位置到所属半身质心位置的偏移除以图像的尺寸作为标签，进行相似的热图生成，用T＝{T₁,...,T_K}来表示(每一个嵌入编码层按照其坐标拆分成x，y两层，由一个变量T_i来表示)；具体而言，以某关节p_i为例，设其关节类别为u_i＝k，且该关节所属人体半身的质心为o_i，令ξ_i,τ,x,ξ_i,τ,y分别为第2k及2k+1张热图的点p_i附近的位置τ的响应值，则该位置的响应值以公式(2)(3)求得，且当τ距离p_i大于指定阈值时，将该位置置信分数设置为0，H值为输入图像的高，W值为输入图像的宽；

相对应的，在训练时，使用来表示网络的实际输出，在训练时，定义各阶段网络两分支的损失函数分别为公式(4)(5)：

其中，j表示关节序号，代表了不同层的热图，而p_ν表示热图位置，t表示网络的第t个阶段；深度级联网络通过优化损失函数学习网络参数，最终能够实现关节点及质心编码的精确预测。

5.根据权利要求4所述的一种基于深度级联网络和质心分化编码的多人姿态估计方法，其特征在于：所述步骤2进一步具体为：

步骤2.1、将待检测图像输入步骤1.2训练好的模型中，预测一组人体关节点热图及对应的质心分化编码层；

步骤2.2、使用非极大值抑制算法选取每张关节点热图的高响应位置作为每个关节点的中心，并进行膨胀得到半径为r的圆，接着提取关节中心对应的质心分化编码层对应位置的响应，结合当前点的坐标，由公式(2)(3)计算所属的半身质心位置，作为该关节的质心分化编码；

步骤2.3、将得到的各层关节点根据其类别分化到两个半身，基于质心分化编码，采用贪婪推理策略，进行关节点的推理匹配得到多个人体半身。

6.根据权利要求5所述的一种基于深度级联网络和质心分化编码的多人姿态估计方法，其特征在于：所述步骤2.3进一步具体为：

步骤2.3.1、根据设定关节点及其质心分化编码进行人体半身实例和半身质心的初始化；

步骤2.3.2、按照设定的推理顺序考虑与当前各人体半身实例质心最接近的对应关节并加入人体半身实例，之后进行半身质心的更新；

步骤2.3.3、重复步骤2.3.2步骤，直到所有的关节点都被分配到人体半身实例，得到所有的人体半身集合；

通过这样的推理匹配，最终的结果引入了两个半身分组集合与每个都表示一个特定人员的上半身关节集合，同理另一集合中的每个元素都表征了一个特定人员的下半身关节集合。

7.根据权利要求1所述的一种基于深度级联网络和质心分化编码的多人姿态估计方法，其特征在于：所述步骤3进一步具体为：

步骤3.1、依靠半身集合内部的关节信息，对所有的人体上下半身之间加入空间约束；

步骤3.2、结合空间约束与各半身更新后的分化质心编码，设置各半身之间的相关性，并依靠二分图匹配算法连接最佳匹配人体半身，得到所有的人体实例；

步骤3.3、连接各人体实例内部的关节，形成最终的人体骨架，完成多人姿态估计。