CN116778529A - 用于遮挡的轻量级人体姿态估计方法、装置、电子设备及存储介质 - Google Patents
用于遮挡的轻量级人体姿态估计方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116778529A CN116778529A CN202310762289.XA CN202310762289A CN116778529A CN 116778529 A CN116778529 A CN 116778529A CN 202310762289 A CN202310762289 A CN 202310762289A CN 116778529 A CN116778529 A CN 116778529A
- Authority
- CN
- China
- Prior art keywords
- human body
- feature map
- pafs
- key points
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000010586 diagram Methods 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 44
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 208000009144 Pure autonomic failure Diseases 0.000 claims abstract 12
- 239000013312 porous aromatic framework Substances 0.000 claims abstract 12
- 239000013598 vector Substances 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000007670 refining Methods 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims 1
- 210000003414 extremity Anatomy 0.000 description 36
- 238000012545 processing Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本公开提供了一种用于遮挡的轻量级人体姿态估计算法的方法、装置、电子设备及存储介质，涉及计算机技术领域。一种具体实现方案为：利用混合深度可分离卷积和通道注意力机制对输入数据集进行局部信息特征提取并通过获取全局上下文信息确定被遮挡关键点的坐标生成特征图，其中，所述输入数据集是日常生活场景的人体姿态图像数据集；基于所述特征图利用平衡公式对所提取的特征进行平衡以获得平衡特征图；基于所述平衡特征图生成人体关键点热力图和肢体数据PAFs图；对所述人体关键点和所述肢体数据进行偶匹配并最终合并为一个或多个人体骨架，输出可视化结果。可以在参数量较小的情况下维持较高的精度并有效解决了现实场景中的遮挡问题。
Description
技术领域
本公开涉及计算机领域，尤其涉及一种用于遮挡的轻量级人体姿态估计的方法、装置、电子设备及存储介质。
背景技术
随着神经网络的快速发展，采用深度学习进行人体姿态估计相较于传统需要人工设定特征的方法，可以更充分地提取图像信息，获取更具有鲁棒性的特征。因此基于深度学习的方法已然成为人体姿态估计的主流方向。在多人姿态估计中主要分为自上而下和自下而上的两种方法，考虑到实时性的要求，选择自下而上的方法进行多人姿态估计。
关于遮挡的人体姿态估计研究，先后出现了多种方法。然而，现有的关于遮挡的人体姿态估计算法大多是参数量较多，无法达到实时性要求的大型网络。而针对轻量级算法模型，大多算法考虑的事如何降低参数量而没有针对性的解决在现实生活场景中经常出现的遮挡问题。
本发明针对以上问题提出了一种解决遮挡问题的轻量级人体姿态估计算法，可以在参数量较小的情况下维持较高的精度并有效解决了现实场景中的遮挡问题。
发明内容
本公开提供了一种的方法、装置、电子设备及可读存储介质。
根据本公开的一方面，提供了一种用于遮挡的轻量级人体姿态估计方法，包括：
利用混合深度可分离卷积和通道注意力机制对输入数据集进行局部信息特征提取并通过获取全局上下文信息确定被遮挡关键点的坐标生成特征图，其中，所述输入数据集是日常生活场景的人体姿态图像数据集；
基于所述特征图利用平衡公式对所提取的特征进行平衡以获得平衡特征图；
基于所述平衡特征图生成人体关键点热力图和PAFs(Part Affinity Fields，部件关联场)图；
对所述人体关键点和所述PAFs进行偶匹配，合并为一个或多个人体骨架，输出可视化结果。
可选地，在利用混合深度可分离卷积和通道注意力机制对输入数据集进行局部信息特征提取并获取全局上下文信息之前，所述方法还包括：
对所述人体姿态图像数据集进行数据增强预处理，具体包括：
修改所述数据集中关键点的标签顺序，并设置脖子的关键点位置；
对所述人体姿态图像数据集进行数据增强包括随机裁剪、翻转、旋转、缩放中的至少一项操作，其中，所述缩放范围为0.5至1.1；其中，设置脖子的关键点位置包括用左右肩膀关键点之间距离的平均值设置脖子的关键点位置。
可选地，对输入数据集进行局部信息特征提取并通过获取全局上下文信息确定被遮挡关键点的坐标生成特征图的步骤，进一步包括：
对经过所述数据增强预处理的人体姿态图像数据集进行局部信息特征提取，其中，所述特征提取使用以下卷积：
3×3深度可分离卷积；
3×3和5×5混合深度可分离卷积；
利用SE通道注意力机制得到含有局部信息的特征图；
利用多头自注意力机制捕捉多频率信号，并使用MLP对所捕捉的多频率信号进行筛选和获取全局上下文信息确定被遮挡关键点的坐标。
可选地，基于所述特征图利用平衡公式对所提取的特征进行平衡以获得平衡特征图的步骤，进一步包括：
对所述特征图利用姿态调整机平衡局部信息和全局上下文信息；
将所提取的特征经过3×3卷积，将卷积后的特征Feature Map输入到顶部分支、中间分支、底部分支路径中；
其中，
所述顶部分支路径包括标识identity连接，以用于定位关键点；
所述中间分支路径将权重向量α与特征图Feature Map相乘生成中间特征图Feature Map_middle；
所述底部分支路径基于空间注意力生成注意力图Attention Mapβ。
可选地，基于所述平衡特征图生成人体关键点和肢体数据的步骤，进一步包括：
初始阶段：在所述平衡特征图中检测关键点热力图heatmaps和PAFs图，其中，所述关键点heatmaps用于描述关键点，所述PAFs图是一组用于编码图像中的肢体位置和方向的二维向量场以用于表示关键点之间的空间约束关系；
细化阶段：对所述初始阶段检测到的所述关键点热力图heatmaps和所述PAFs图进行细化以得到细化heatmaps和PAFs图；
其中，在所述初始阶段和所述细化阶段中：
使用3×3卷积替换所述初始阶段和所述细化阶段中的标准7×7卷积；
在所述细化阶段将并联的部分中相同的单元进行权值共享，使用CCW计算单元替换计算量相对较高的1×1卷积。
可选地，对所述人体关键点和所述PAFs进行偶匹配并合并成一个或多个完整的人体骨架，输出可视化结果，进一步包括：
基于所述关键点和所述PAFs利用匈牙利算法生成关键点和肢体之间的连接集合；
基于连接的置信度排序，遍历各个关键点和肢体之间的连接集合；
对于任意一条连接，若起点和终点均没有被占用，则将该连接添加到最终要匹配的连接中；若起点或是终点有一个被占用，则丢弃该连接；若存在肢体连接并且起点和第一人体实例的起点一致，则将当前连接终点分配到所述第一人体实例的终点上；若存在肢体连接并且不存在任何一个起点一致的人体实例，则重新建立第二人体实例。
根据本公开的再一方面，提供了一种用于遮挡的轻量级人体姿态估计的装置，包括：
特征提取单元，用于利用混合深度可分离卷积、通道注意力机制和全局上下文信息对输入数据集进行特征提取生成特征图，其中，所述全局上下文信息用来确定被遮挡关键点的坐标，所述输入数据集是日常生活场景的人体姿态图像数据集；
平衡单元，用于基于所述特征图利用平衡公式对所提取的特征进行平衡以获得平衡特征图；
生成单元，用于基于所述平衡特征图生成人体关键点热力图和PAFs图；
实例连接单元，对所述人体关键点和所述PAFs进行偶匹配并合并成一个或多个完整的人体骨架，输出可视化结果。
根据本公开的又一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。
根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方面和任一可能的实现方式的方法。
根据本公开的又一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。
由上述技术方案可知，本公开实施例在参数量较少的情况下通过从全局和局部信息角度考虑解决了显示场景中易发生的遮挡问题。减少了人体姿态估计所需的参数量和计算量，并提高了推理速度，有利于人体姿态估计在诸如嵌入式设备等计算设备上的开发与应用。。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开一个实施例的用于遮挡的轻量级人体姿态估计方法的示意图；
图2是根据本公开实施例的人体关键点示意图；
图3是根据本公开另一实施例的用于遮挡的轻量级人体姿态估计方法的示意图；
图4a是根据本发明一个实施例的在MS COCO2017验证集上的泛化测试实验示意图；
图4b是根据本发明一个实施例的在MS COCO2017验证集上的卷积神经网络对比实验示意图；
图5是根据本发明一个实施例的实验结果对比示意图；
图6是根据本公开实施例的用于遮挡的轻量级人体姿态估计装置示意图；
图7是用来实现本公开实施例的用于遮挡的轻量级人体姿态估计的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
需要说明的是，本公开实施例中所涉及的终端设备可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(TabletComputer)等智能设备；显示设备可以包括但不限于个人电脑、电视等具有显示功能的设备。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
基于自下而上的多人人体姿态估计，是先检测图像中所有人体的关键点，然后对检测出的关键点进行关联和分组从而划分属于不同人的关键点，即关键点检测和关键点聚类。自下而上的方法是一次性检测图像中所有的人体关键点，只需对整体图像特征提取一次，即使人体数目增加也不会导致重复的卷积操作，因此这类方法往往效率更高，模型更小。
本发明是在OpenPose的基础上改进的用于遮挡的轻量级算法，先将输入的图像经过混合提取模块，在此模块中利用混合卷积使用不同卷积核的优势和注意力机制来增强对局部特征的提取，然后将得到的特征图送入全局信息提取模块以获取全局上下文信息进而判断被遮挡关键点的坐标，进行细化阶段前利用姿态调整机对全局和局部信息进行平衡。在细化阶段在选择精度比较高的4个细化阶段的基础上通过权重共享和线性单元CCW来减少网络的参数量。在网络训练阶段利用骨骼长度损失Lossbone＝∑(i，j∈ε)|||Jj-Ji||-||Yj-Yi|||来增加网络对人体约束信息的识别，其中J表示的模型预测的关键点，Y表示的GroundTruth。
总的来讲，本发明的方法可以包括但不限于以下几个步骤:
步骤一，选择使用MS COCO2017数据集，改变COCO数据集中关键点和图像进行预处理。
步骤二，将图像输入到网络中，经过特征提取模块对局部信息和全局上下文信息进行提取，将提取后的特征利用公式进行平衡。
步骤三，将得到的特征图F经过一个初始阶段检测出heatmaps和PAFs。
步骤四，将在初始阶段得到的heatmaps和PAFs经过4个细化阶段进一步细化。
步骤五，网络输出19个通道的heatmaps(18个关键点和1个背景)和38个通道的PAFs((18+1)×2)。
步骤六，对检测到的关键点和肢体利用匈牙利算法进行匹配。
步骤七，将匹配连接集合分别分配给不同的人，并将结果可视化输出。
图1是根据本公开一个实施例的用于遮挡的轻量级人体姿态估计方法的示意图。
在一种实施方式中，根据本公开一个实施例的轻量级人体姿态估计方法至少包括以下步骤：
步骤101，利用混合深度可分离卷积、通道注意力机制和全局信息提取模块以获取全局上下文信息对输入数据集进行特征提取，其中，所述全局信息提取模块获取全局上下文信息用来确定被遮挡关键点的坐标，所述输入数据集是日常生活场景的人体姿态图像数据集。全局上下文信息用来确定被遮挡关键点的坐标。
在该步骤中，利用混合深度可分离卷积和通道注意力机制对输入数据集进行局部信息特征提取，并通过获取全局上下文信息确定被遮挡关键点的坐标生成特征图。
可选地，在一种实施方式中，选择使用MS COCO2017数据集，在特征提取之前，改变MS COCO2017数据集中关键点和图像进行预处理。具体包括修改人体关键点的标签顺序并利用左右肩膀的关键点之间距离的平均值设置为脖子的关键点的位置，具体结果如图2所示，还包括对数据图像进行一系列的数据增强操作，包括随机裁剪、翻转、旋转和缩放，缩放范围为0.5～1.1。
在该步骤中，利用混合卷积使用不同卷积核的优势和注意力机制来增强对局部特征的提取，利用多头自注意力机制捕捉多频率信号，并使用MLP对所捕捉的多频率信号进行筛选和获取全局上下文信息提取以确定被遮挡关键点的坐标。输入数据集是人体姿态图像数据集。
具体而言,经过预处理的图像通过一系列3×3深度可分离卷积和3×3、5×5混合深度可分离卷积模块，为了更好地提取信息，在特征提取网络的后半部分添加SE通道注意力机制得到含有局部信息的特征图。然后经过擅长捕捉长距离依赖关系的轻量级模块，在该模块中首先使用有效的多头自注意力捕捉低频信号，可以描述E-MHSA(z)＝Concat(SA1(z1),SA2(z2),...,SAh(zh))Wp，其中表示将输入特征z在通道维度中划分为多头形式。SA是一种受LSRA(Linear Spatial Reduction Attention)启发的空间简约自注意力算子。在注意力运算之前对空间维数进行下采样，以减少计算成本。然后将捕捉的多频率信号使用MLP来提取更基本和更明显的特征。
步骤102，利用平衡公式对所提取的特征进行平衡以获得平衡特征图。
在该步骤中，基于步骤101提取特征后得到的特征图利用姿态调整机对全局和局部信息进行平衡，以获得平衡特征图。
经过步骤101局部信息和全局信息的提取，最后使用姿态调整机来平衡局部信息和全局上下文信息，使得不同信息发挥关键点的定位和分类的作用。特征先经过一个3×3的卷积，卷积后的特征FeatureMap输入到三个路径中:顶部分支、中间分支和底部分支。顶部分支是一个Identity连接，能够更好地保留局部特征，有利用关键点的精确定位；在中间分支中，得到权重向量α，α与Feature Map相乘得到Feature Map_middle在通道方面进行重新权衡特征；底部分支是通过空间注意力得到Attention Mapβ。
步骤103，基于所述平衡特征图生成人体关键点热力图和PAFs图。
在该步骤中，利用基于热图的方法检测关键点和用二维向量场来表示肢体，得到heatmaps和PAFs。该步骤主要包括初始阶段和细化阶段，初始阶段检测heatmaps和PAFs，将在初始阶段得到的heatmaps和PAFs经过4个细化阶段进一步细化。
在一种实施方式中，初始阶段在所述平衡特征图中检测关键点热力图和PAFs图，其中，所述关键点热力图heatmaps用于描述关键点，所述PAFs是一组用于编码图像中的肢体位置和方向的二维向量场以用于表示关键点之间的空间约束关系。
细化阶段对所述初始阶段检测到的所述关键点热力图(heatmaps)和所述PAFs图进行细化以得到细化heatmaps图和PAFs图。网络输出19个通道的heatmaps和38个通道的PAFs。其中，19个通道的heatmaps包括18个关键点和1个背景。38个通道的PAFs计算公式满足((18+1)×2)。
在一种实施方式中，在所述初始阶段和所述细化阶段中可以使用轻量级方法降低参数量，例如，经过对细化阶段的分析对比，在该步骤可以选择精度较高的前四个细化阶段，并且由于细化阶段的参数量过大，使用3×3卷积替换所述初始阶段和所述细化阶段中的标准7×7卷积。此外，由于每个卷积是并联结构，为了降低参数量，细化阶段前几层操作相同的单元可以进行权值共享。在此基础上由于1×1卷积占有大部分的计算量，因此利用计算复杂度更小的单元CCW来替换1×1卷积也可以进一步实现轻量级的效果。
在本发明实施例中，用基于热图的方法检测关键点和用二维向量场来表示肢体，其中heatmaps表示方法主要是对关键点部位进行高斯建模。
例如，在本发明实施例中，Xj,k是图像中的第k个人的身体部位j在GroundTruth上的位置。其中λ是高斯分布的标准差用来控制峰值的扩散。公式为
PAFs是一组用来编码图像域中的肢体位置和方向的二维向量场，来描述关键点之间的空间约束关系。在OpenPose中定义了18个关键点和19个肢体，每个肢体都有一个由两个特征图表示的亲和场来连接相邻关键点，分别表示x和y方向的向量。假设Xj1,k和Xj2,k是图像中第k个人的肢体c部位j1和j2的GroundTruth，那么肢体c的亲和场即可定义为如果点P位于肢体c上，/>就是关键点j1指向j2的向量，对于不在肢体c上的点向量值为0。所以对于图像中的一个点P，GroundTruth的部分亲和场/>可定义为其中v是在这个方向上的单位向量。肢体上的点定义为线段距离阈值内的点集，即肢体c上所有的点的集合可以定义为/>其中lc,k是肢体的长度，σl是肢体的宽度，v⊥是垂直于v的一个向量，在网络训练PAFs时的GroundTruth PAFs是对每个人的PAFs的平均。
在本实施例中，优选地采用了热图来指示关键点位置的Groundtruth，每个关键点占据以目标关节位置为中心的具有2D高斯分布的热图通道。
步骤104，对所述关键点和所述PAFs进进行偶匹配并最终合并成一个或多个完整的人体骨架，并输出可视化结果。
在该步骤中，利用匈牙利算法的原理先对于所有肢体(比如手腕和手肘)的连接集合C，按照连接的置信度E进行排序，遍历连接集合C，对于其中任意一条连接C[row]，如果起点和终点均没有被占用，则将该连接添加到最终要匹配的连接中；如果起点或是终点有一个被占用，则丢弃该连接。如果存在肢体连接并且起点和某个人体实例(例如，第一人体实例)的起点一致，则将当前连接终点分配到这个人体实例的终点上，反之如果连接没有要分配的人体实例，则重新建立一个人体实例(例如，第二人体实例)。
图2是根据本公开实施例的人体关键点示意图。
具体地，可以在预处理阶段修改人体关键点的标签顺序，可以利用左右肩膀的关键点之间距离的平均值设置为脖子的关键点的位置，如图2所示。
图3是根据本公开另一实施例的用于遮挡的轻量级人体姿态估计方法的示意图。
如图3所示，根据本公开另一实施例的轻量级人体姿态估计方法可包含如果所示的几个步骤：
(1)预处理：在进行特征提取之前先对数据进行预处理，具体包括修改人体关键点的标签顺序并利用左右肩膀的关键点之间距离的平均值设置为脖子的关键点的位置。还可以对数据图像进行一系列的数据增强操作，包括随机裁剪、翻转、旋转和缩放，其中缩放范围为0.5～1.1。
(2)特征提取：经过预处理的图像通过一系列3×3深度可分离卷积和3×3、5×5混合深度可分离卷积，为了更好地提取信息，在特征提取网络的后半部分添加SE通道注意力机制得到含有局部信息的特征图。然后经过擅长捕捉长距离依赖关系的轻量级模块，在该模块中首先使用有效的多头自注意力捕捉低频信号，可以描述E-MHSA(z)＝Concat(SA1(z1),SA2(z2),...,SAh(zh))Wp，其中表示将输入特征z在通道维度中划分为多头形式。SA是一种受LSRA(Linear Spatial Reduction Attention)启发的空间简约自注意力算子。在注意力运算之前对空间维数进行下采样，以减少计算成本。然后将捕捉的多频率信号使用MLP来提取更基本和更明显的特征。
经过局部信息和全局信息的提取，最后使用姿态调整机来平衡局部信息和全局上下文信息，使得不同信息发挥针对关键点的定位和分类的作用。特征先经过一个3×3的卷积，卷积后的特征Feature Map输入到三个路径中，顶部分支是一个Identity连接，能够更好地保留局部特征，有利用关键点的精确定位，在中间分支中，得到权重向量α，α与Feature Map相乘得到Feature Map_middle在通道方面进行重新权衡特征，下面分支就是一个空间注意力得到Attention Mapβ。
(3)初始阶段(Initial Stage)：利用基于热图的方法检测关键点和用二维向量场来表示肢体，得到heatmaps和PAFs。其中基于热图的表示方法主要是关键点部位进行高斯建模。例如，在图像中包括一人或多人的情况下，其中Xj,k是图像中的第k个人的身体部位j在GroundTruth上的位置。其中λ是高斯分布的标准差用来控制峰值的扩散。公式为
PAFs是一组用来编码图像域中的肢体位置和方向的二维向量场，来描述关键点之间的空间约束关系。在OpenPose中定义了18个关键点个19个肢体，每个肢体都有一个由两个特征图表示的亲和场来连接相邻关键点，分别表示x和y方向的向量。假设Xj1,k和Xj2,k是图像中第k个人的肢体c部位j1和j2的GroundTruth，那么肢体c的亲和场即可定义为如果点P位于肢体c上，/>就是关键点j1指向j2的向量，对于不在肢体c上的点向量值为0。所以对于图像中的一个点P，GroundTruth的部分亲和场/>可定义为其中v是在这个方向上的单位向量。肢体上的点定义为线段距离阈值内的点集，即肢体c上所有的点的集合可以定义为/>其中lc,k是肢体的长度，σl是肢体的宽度，v⊥是垂直于v的一个向量，在网络训练PAFs时的GroundTruth PAFs是对每个人的PAFs的平均。
(4)细化阶段(Refinement Stage)：对(3)检测到的heatmaps和PAFs进行进一步的细化。经过对细化阶段的分析对比，在此模块选择精度较高的前四个细化阶段，并且由于细化阶段的参数量过大，选择使用3×3卷积替换Initial Stage(初始阶段)和RefinementStage(细化阶段)中的标准7×7卷积。由于每个卷积是并联结构，为了降低参数量，细化阶段前几层操作相同的单元进行权值共享。在此基础上由于1×1卷积占有大部分的计算量，因此利用计算复杂度更小的单元CCW来替换。
(5)实例连接：匈牙利算法的原理先对于所有比如手腕和手肘的连接集合C，按照连接的置信度E进行排序，遍历连接集合C，对于其中任意一条连接C[row]，如果起点和终点均没有被占用，则将该连接添加到最终要匹配的连接中；如果起点或是终点有一个被占用，则丢弃该连接。如果存在肢体连接并且起点和某实例的起点一致，则将当前连接终点分配到这个实例的终点上，反之如果连接没有要分配的人，则重新建立一个实例。
图4a是根据本发明一个实施例的在MS COCO2017验证集上的泛化测试实验示意图。
图4b是根据本发明一个实施例的在MS COCO2017验证集上的卷积神经网络对比实验示意图。
图5是根据本发明一个实施例的实验结果对比示意图。
从图4a、图4b和图5所示的实验数据可以看出，根据本发明实施例的轻量级人体姿态估计算法，在参数量较少的情况下通过从全局和局部信息角度考虑解决了显示场景中易发生的遮挡问题，大大减少了人体姿态估计所需的参数量和计算量，并提高了推理速度，有利于人体姿态估计在诸如嵌入式设备上的开发与应用。
需要说明的是，本公开中前述步骤的执行主体的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(SoftwareDevelopment Kit，SDK)等功能单元，或者还可以为位于网络侧服务器中的处理引擎，或者还可以为位于网络侧的分布式系统，例如，网络侧的视频处理平台中的处理引擎或者分布式系统等，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在本地终端上的本地程序(nativeApp)，或者还可以是本地终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行限定。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
图6是根据本公开实施例的用于遮挡的轻量级人体姿态估计装置示意图，如图6所示。本实施例的特征提取单元，用于利用混合深度可分离卷积、通道注意力机制和全局信息提取模块以获取全局上下文信息对输入数据集进行特征提取生成特征图，其中，所述全局信息提取模块获取全局上下文信息捕捉用来确定被遮挡关键点的坐标，所述输入数据集是日常生活场景的人体姿态图像数据集；平衡单元，用于基于所述特征图利用平衡公式对所提取的特征进行平衡以获得平衡特征图；生成单元，用于基于所述平衡特征图生成人体关键点热力图和PAFs图；实例连接单元，对所述人体关键点和所述PAFs图进行偶匹配并最终合并成一个或多个完整的人体骨架，输出可视化结果。
需要说明的是，本实施例的用于遮挡的轻量级人体姿态估计的装置的部分或全部可用于实现根据本发明实施例的全部或部分方法，在此不再赘述。
需要说明的是，本实施例的用于遮挡的轻量级人体姿态估计的装置的部分或全部可以为位于本地终端的应用，或者还可以为设置在位于本地终端的应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，本实施例对此不进行特别限定。
可以理解的是，所述应用可以是安装在本地终端上的本地程序(nativeApp)，或者还可以是本地终端上的浏览器的一个网页程序(webApp)，本实施例对此不进行限定。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，电子设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储电子设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
电子设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许电子设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如网页相似度模型的训练方法、网页相似度的预测方法。例如，在一些实施例中，网页相似度模型的训练方法、网页相似度的预测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到电子设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的网页相似度模型的训练方法、网页相似度的预测方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行网页相似度模型的训练方法、网页相似度的预测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
Claims (10)
1.一种用于遮挡的轻量级人体姿态估计方法，包括：
利用混合深度可分离卷积和通道注意力机制对输入数据集进行局部信息特征提取并通过获取全局上下文信息确定被遮挡关键点的坐标生成特征图，其中，所述输入数据集是日常生活场景的人体姿态图像数据集；
基于所述特征图利用平衡公式对所提取的特征进行平衡以获得平衡特征图；
基于所述平衡特征图生成人体关键点热力图heatmaps和PAFs图；
对所述人体关键点热力图heatmaps和所述PAFs进行偶匹配，合并为一个或多个人体骨架，输出可视化结果。
2.根据权利要求1所述的方法，其中，在利用混合深度可分离卷积和通道注意力机制对输入数据集进行局部信息特征提取并获取全局上下文信息之前，所述方法还包括：
对所述人体姿态图像数据集进行数据增强预处理，包括：
修改所述数据集中关键点的标签顺序，并设置脖子的关键点位置；
对所述人体姿态图像数据集进行数据增强包括随机裁剪、翻转、旋转、缩放中的至少一项操作，其中，所述缩放范围为0.5至1.1；
其中，设置脖子的关键点位置包括用左右肩膀关键点之间距离的平均值设置脖子的关键点位置。
3.根据权利要求2所述的方法，其中，所述对输入数据集进行局部信息特征提取并通过获取全局上下文信息确定被遮挡关键点的坐标生成特征图的步骤，进一步包括：
对经过所述数据增强预处理的人体姿态图像数据集进行局部信息特征提取，其中，所述特征提取使用以下卷积：
3×3深度可分离卷积；
3×3和5×5混合深度可分离卷积；
利用SE通道注意力机制得到含有局部信息的特征图；
利用多头自注意力机制捕捉多频率信号，并使用MLP对所捕捉的多频率信号进行筛选和获取全局上下文信息进而确定被遮挡关键点的位置。
4.根据权利要求1所述的方法，其中，基于所述特征图利用平衡公式对所提取的特征进行平衡以获得平衡特征图的步骤，进一步包括：
对所述特征图利用姿态调整机平衡局部信息和全局上下文信息；
将所提取的特征经过3×3卷积，将卷积后的特征Feature Map输入到顶部分支、中间分支、底部分支路径中；
其中，
所述顶部分支路径包括标识identity连接，以用于定位关键点；
所述中间分支路径将权重向量α与特征图Feature Map相乘生成中间特征图FeatureMap_middle；
所述底部分支路径基于空间注意力生成注意力图Attention Mapβ。
5.根据权利要求1所述的方法，其中，基于所述平衡特征图生成人体关键点和肢体数据的步骤，进一步包括：
初始阶段：在所述平衡特征图中检测关键点热力图heatmaps和PAFs图，其中，所述关键点热力图heatmaps用于描述关键点，所述PAFs图是一组用于编码图像中的肢体位置和方向的二维向量场用于表示关键点之间的空间约束关系；
细化阶段：对所述初始阶段检测到的所述关键点热力图heatmaps和所述PAFs图进行细化以得到更精确的heatmaps和PAFs；
其中，在所述初始阶段和所述细化阶段中：
使用3×3卷积替换所述初始阶段和所述细化阶段中的标准7×7卷积；
在所述细化阶段将并联的部分中相同的单元进行权值共享，使用CCW计算单元替换计算量相对较高的1×1卷积。
6.根据权利要求1所述的方法，其中，对所述人体关键点和所述肢体数据进行偶匹配，合并成一个或多个完整的人体骨架，输出可视化结果，进一步包括：
基于所述关键点和所述PAFs利用匈牙利算法生成关键点和肢体之间的连接集合；
基于连接的置信度排序，遍历各个关键点和肢体之间的连接集合；
对于任意一条连接，
若起点和终点均没有被占用，则将该连接添加到最终要匹配的连接中；
若起点或是终点有一个被占用，则丢弃该连接；
若存在肢体连接并且起点和第一人体实例的起点一致，则将当前连接终点分配到所述第一人体实例的终点上；
若存在肢体连接并且不存在任何一个起点一致的人体实例，则重新建立第二人体实例。
7.一种用于遮挡的轻量级人体姿态估计的装置，包括：
特征提取单元，用于利用混合深度可分离卷积、通道注意力机制和全局信息提取模块以捕获全局上下文信息对输入数据集进行特征提取生成特征图，其中，所述全局上下文信息捕捉用来确定被遮挡关键点的坐标，所述输入数据集是日常生活场景的人体姿态图像数据集；
平衡单元，用于基于所述特征图，利用平衡公式对所提取的特征进行平衡以获得平衡特征图；
生成单元，用于基于所述平衡特征图生成人体关键点热力图heatmaps和PAFs图；
实例连接单元，对所述人体关键点和所述PAFs图进行偶匹配并合并成一个或多个完整的人体骨架，输出可视化结果。
8.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据权利要求1-6中任一项所述的方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
10.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310762289.XA CN116778529A (zh) | 2023-06-26 | 2023-06-26 | 用于遮挡的轻量级人体姿态估计方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310762289.XA CN116778529A (zh) | 2023-06-26 | 2023-06-26 | 用于遮挡的轻量级人体姿态估计方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116778529A true CN116778529A (zh) | 2023-09-19 |
Family
ID=87994310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310762289.XA Pending CN116778529A (zh) | 2023-06-26 | 2023-06-26 | 用于遮挡的轻量级人体姿态估计方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778529A (zh) |
-
2023
- 2023-06-26 CN CN202310762289.XA patent/CN116778529A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10824916B2 (en) | Weakly supervised learning for classifying images | |
| US9098740B2 (en) | Apparatus, method, and medium detecting object pose | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| WO2019213459A1 (en) | System and method for generating image landmarks | |
| CN110705463A (zh) | 基于多模态双流3d网络的视频人体行为识别方法及系统 | |
| CN109684969B (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
| CN114186632B (zh) | 关键点检测模型的训练方法、装置、设备、存储介质 | |
| CN113591918B (zh) | 图像处理模型的训练方法、图像处理方法、装置和设备 | |
| CN113971751A (zh) | 训练特征提取模型、检测相似图像的方法和装置 | |
| CN113378770B (zh) | 手势识别方法、装置、设备、存储介质 | |
| CN113656582A (zh) | 神经网络模型的训练方法、图像检索方法、设备和介质 | |
| CN113221771A (zh) | 活体人脸识别方法、装置、设备、存储介质及程序产品 | |
| CN112580666A (zh) | 图像特征的提取方法、训练方法、装置、电子设备及介质 | |
| KR101794399B1 (ko) | 사용자 얼굴의 복합 다중 감정 인식 방법 및 시스템 | |
| CN112488126A (zh) | 特征图处理方法、装置、设备以及存储介质 | |
| CN113793370A (zh) | 三维点云配准方法、装置、电子设备及可读介质 | |
| CN116994319A (zh) | 训练模型的方法和人脸识别方法、设备、介质 | |
| CN115409951A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN112200169B (zh) | 用于训练模型的方法、装置、设备以及存储介质 | |
| CN116778529A (zh) | 用于遮挡的轻量级人体姿态估计方法、装置、电子设备及存储介质 | |
| CN116152334A (zh) | 图像处理方法及相关设备 | |
| CN111369603A (zh) | 点云配准技术的评估方法、装置、电子设备及可读存储介质 | |
| CN116452741B (zh) | 对象重建方法、对象重建模型的训练方法、装置及设备 | |
| CN112131902A (zh) | 闭环检测方法及装置、存储介质和电子设备 | |
| CN113378773B (zh) | 手势识别方法、装置、设备、存储介质以及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |