CN114581953A - 一种基于关节点难例挖掘的人体姿态估计方法 - Google Patents

一种基于关节点难例挖掘的人体姿态估计方法 Download PDF

Info

Publication number
CN114581953A
CN114581953A CN202210248071.8A CN202210248071A CN114581953A CN 114581953 A CN114581953 A CN 114581953A CN 202210248071 A CN202210248071 A CN 202210248071A CN 114581953 A CN114581953 A CN 114581953A
Authority
CN
China
Prior art keywords
network
joint
human body
cmu
body posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210248071.8A
Other languages
English (en)
Other versions
CN114581953B (zh
Inventor
曾慧
王雷
王臣良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Shunde Graduate School of USTB
Original Assignee
University of Science and Technology Beijing USTB
Shunde Graduate School of USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, Shunde Graduate School of USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202210248071.8A priority Critical patent/CN114581953B/zh
Publication of CN114581953A publication Critical patent/CN114581953A/zh
Application granted granted Critical
Publication of CN114581953B publication Critical patent/CN114581953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于关节点难例挖掘的人体姿态估计方法，属于人体姿态估计领域。所述方法包括：获取人体姿态估计的公用数据集；对CMU‑Pose网络进行改进，将CMU‑Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，以提升有用特征并抑制用处不大的特征，并引入关节点难例挖掘算法，提高对手腕脚踝等比较灵活及较难估计的关节点的提取效果；利用公用数据集中的图像训练改进后的CMU‑Pose网络；将待测图像输入训练好的改进后的CMU‑Pose网络得到人体姿态估计结果。采用本发明，能够提升对较难预测以及较灵活的关节点预测的准确度。

Description

一种基于关节点难例挖掘的人体姿态估计方法
技术领域
本发明涉及人体姿态估计领域，特别是指一种基于关节点难例挖掘的人体姿态估计方法。
背景技术
二维人体姿态估计方法大致分为两类：自上而下的多人二维人体姿态估计，自下而上的多人二维人体姿态估计。自上而下的方法指首先利用目标检测算法将图像中每个人检测出来。然后对每个检测框进行单人二维人体姿态估计。最终得到多人二维人体姿态估计结果。自上而下的方法精度较高，但是其效果很依赖于检测器的性能，而且其运行时间与图片中人的个数成正比。而自下而上的人体姿态的方法虽然精度相比于自上而下的方法较低，但是其网络运行时间随着图片中人数的增多基本保持不变。但是，该方法存在网络结构以及对较灵活关节点提取精度较差的问题。
发明内容
本发明实施例提供了一种基于关节点难例挖掘的人体姿态估计方法，能够提升对较难预测以及较灵活的关节点预测的准确度。所述技术方案如下：
本发明实施例提供了一种基于关节点难例挖掘的人体姿态估计方法，包括：
获取人体姿态估计的公用数据集；
对CMU-Pose网络进行改进，将CMU-Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，并引入关节点难例挖掘算法；其中，CMU-Pose网络表示基于PAF的多人二维人体姿态估计网络；
利用公用数据集中的图像训练改进后的CMU-Pose网络；
将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果。
进一步地，所述公用数据集为COCO数据集。
进一步地，改进后的CMU-Pose网络包括：引入注意力机制的F、stage 1和stage t；其中，F表示骨干网络，stage 1表示基础层，stage t表示优化层，t＝{2，3，4，5，6}；
所述引入注意力机制的骨干网络，用于获取关节点热力图与PAF图的底层特征；
所述基础层的输入是骨干网络产生的底层特征，输出为关节点热力图与PAF图两个分支，用于实现对图像进行粗略的人体姿态估计；
每个优化层的输入是骨干网络产生的底层特征和前一层结构输出的关节点热力图与PAF图两个分支，输出为关节点热力图与PAF图，用于结合底层特征与前层粗略的人体姿态估计结果进行精确的人体姿态估计。
进一步地，在ResNet网络中，输入图像在经过一系列卷积操作后得到输出U，对于输出U，引入通道上的注意力机制，其提取过程为：
Figure BDA0003545683830000021
其中，zc为位于c通道上的特征，Fsq()表示提取过程，uc为特征图U通道c的输入，H、W分别为输入的高与宽，uc(i，j)为位于c通道上(i，j)处的像素值；
对于提取过程的输出z，激活过程为：
s＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))
其中，s为激活过程Fex()的输出，W为ResNet网络需要学习到的大小为C×C的权重，g(z，W)为计算函数，使用深度学习中的全连接层计算，C为通道的数目，σ为sigmod函数，δ为Relu函数，W1和W2都表示全连接层；
经激活过程后，得到：
Figure BDA0003545683830000022
其中，
Figure BDA0003545683830000023
为特征图U经通道注意力机制后得到的特征图，sc为通过激活过程后通道c的权重，uc为特征图U通道c的输入，Fscale()是指将通过激活过程后通道c的权重与特征图U通道c的输入相乘过程。
进一步地，所述CMU-Pose网络引入关节点难例挖掘算法改进最后两个优化层对关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失
Figure BDA0003545683830000024
进一步地，所述引入关节点难例挖掘算法改进最后两个优化层对关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失
Figure BDA0003545683830000031
包括：
定义关节点j在Stage t对关节点热力图S产生的损失函数
Figure BDA0003545683830000032
为：
Figure BDA0003545683830000033
其中，
Figure BDA0003545683830000034
表示CMU-Pose网络在Stage t阶段对于关节点j产生的热力图中p位置的预测值，
Figure BDA0003545683830000035
为对应位置的真值，Stage t表示优化层t；
定义各个关节点在Stage t对关节点热力图S产生的损失J为：
Figure BDA0003545683830000036
其中，
Figure BDA0003545683830000037
按照从大到小的顺序排列，并记录对应关节点的ID到J中；
定义Stage t产生的关节点损失
Figure BDA0003545683830000038
其大小为产生损失最大的前8个关节点损失之和：
Figure BDA0003545683830000039
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，获取人体姿态估计的公用数据集；对CMU-Pose网络进行改进，将CMU-Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，以提升有用特征并抑制用处不大的特征，并引入关节点难例挖掘算法，提高对手腕脚踝等比较灵活及较难估计的关节点的提取效果；利用公用数据集中的图像训练改进后的CMU-Pose网络；将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果。这样，可以充分利用注意力机制与关节点难例挖掘算法的特点，并通过骨干网络替换，削弱底层特征提取不充分的影响，有效提高CMU-Pose网络的精确度，并且提升对较难预测以及较灵活的关节点预测的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于关节点难例挖掘的人体姿态估计方法的流程示意图；
图2为本发明实施例提供的CMU-Pose网络的结构示意图；
图3为本发明实施例提供的注意力机制工作原理示意图；
图4为本发明实施例提供的CMU-Pose网络和SE-ResNet-OKHM-CMU-Pose网络对待测图像的对人体姿态估计图；
图5为本发明实施----例提供的CMU-Pose网络和SE-ResNet-OKHM-CMU-Pose网络对待测图像的对人体姿态估计图；
图6为本发明实施例提供的CMU-Pose网络和SE-ResNet-OKHM-CMU-Pose网络对待测图像的对人体姿态估计图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种基于关节点难例挖掘的人体姿态估计方法，包括：
S101，获取人体姿态估计的公用数据集；
本实施例中，所述公用数据集为COCO数据集。
S102，对CMU-Pose网络进行改进，将CMU-Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，并引入关节点难例挖掘算法；其中，CMU-Pose网络表示基于关节点及部分亲和区域(PAFs，Part Affinity Fields)的多人二维人体姿态估计网络；
本实施例中，考虑到多人二维人体姿态估计由于图像中存在多个人，因此算法需要确定关节点的归属关系，从而确定图像中每个人的姿态。考虑到使用自上而下的方法精度较高，但是其效果很依赖于检测器的性能，而且其运行时间与图片中人的个数成正比，而自下而上的人体姿态的方法虽然精度相比于自上而下的方法较低，但是其网络运行时间随着图片中人数的增多基本保持不变。因此考虑到实际应用场景与网络的效果，故本实施例中，采用自下而上的基于PAF的多人二维人体姿态估计方法。但是，该方法存在网络结构以及对较灵活关节点提取精度较差的问题，为此，需要对原网络进行改进。
如图2所示，传统的CMU-Pose网络包括：骨干网络(F)、基础层(stage 1)和优化层(stage t)，t＝{2,3,4,5,6}；其中，
骨干网络是采用VGG19的前十层卷积层构成，用于获取关节点热力图与PAF图的底层特征。因此骨干网络的结构直接影响到CMU-Pose网络的人体姿态估计结果，考虑到VGG19网络对特征提取的有限性，所以本申请中将骨干网络由VGG19网络替换为引入注意力机制的ResNet网络；其中，ResNet网络使用跳跃结构使得网络深度变深，提高所提取的底层特征的有效性。
基础层由五个卷积层构成，输入是骨干网络产生的底层特征，输出为关节点热力图与PAF图两个分支，用于实现对图像进行粗略的人体姿态估计；
每个由七层卷积层构成，输入是骨干网络产生的底层特征和前一层结构输出的关节点热力图与PAF图两个分支，输出为关节点热力图与PAF图，用于结合底层特征与前层粗略的人体姿态估计结果进行精确的人体姿态估计。
本实施例中，在CMU-Pose网络中，由引入注意力机制的ResNet网络产生底层特征，并经过基础层(stage 1)与五个优化层(stage t)产生人体关节点热力图与PAF图。
本实施例中，如图3所示，在ResNet网络中，输入图像在经过一系列卷积操作后得到输出，即特征图U，对于特征图U，引入通道上的注意力机制，其提取(Squeeze)过程为：
Figure BDA0003545683830000051
其中，H、W分别为输入的高与宽，zc为位于c通道上的特征，Fsq()表示提取过程，uc为特征图U通道c的输入，uc(i，j)为位于c通道上(i，j)处的像素值；
对于提取过程的输出z，激活(Excitation)过程为：
s＝Fex(z，W)＝σ(g(z，W))＝σ(W2δ(W1z))
其中，s为激活过程Fex()的输出，W为ResNet网络需要学习到的大小为C×C的权重，g(z，W)为计算函数，使用深度学习中的全连接层计算，C为通道的数目，σ为sigmod函数，其目的是将各通道的重要性用0-1的权重表示，δ为Relu函数，其保证了网络的非线性，为了降低网络计算复杂度，将单个全连接层用两个计算复杂度较低的全连接层W1和W2代替，全连接层W1的权重为
Figure BDA0003545683830000052
Figure BDA0003545683830000053
全连接层W2的权重为
Figure BDA0003545683830000054
其中R大小为8；
经激活过程后，得到：
Figure BDA0003545683830000055
其中，
Figure BDA0003545683830000056
为特征图U经通道注意力机制后得到的特征图，sc为通过激活过程后通道c的权重，uc为特征图U通道c的输入，Fscale()是指将通过激活过程后通道c的权重与特征图U通道c的输入相乘过程。对应通道权重乘对应通道输入即可在通道层面引入注意力机制。
本实施例中，对于人体姿态估计，骨干网络对特征提取的能力直接决定CMU-Pose网络的性能，因此，在骨干网络中增加注意力机制，注意力机制通过在通道层面增大对结果有利的通道权重，并减少对结果不利的通道权重，实现对有用特征的提升并抑制用处不大的特征。
本实施例中，所述CMU-Pose网络还引入关节点难例挖掘算法，提高对手腕脚踝等比较灵活的关节点的提取效果，具体的操作为：
本实施例中，针对CMU-Pose网络对手腕脚踝等比较灵活及较难估计的关节点的提取效果较差问题，保持基础层(stage1)与前三个优化层(stage t)t＝{2，3，4}的损失函数计算方式不变，引入关节点难例挖掘算法更改最后两个优化层(staget)t＝{5，6}对与关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失
Figure BDA0003545683830000061
使得CMU-Pose网络可以针对较难预测的关节点位置进行优化，从而提高CMU-Pose网路对手腕脚踝等较灵活以及较难估计的关节点的提取效果。
本实施例中，利用关节点难例挖掘算法计算损失
Figure BDA0003545683830000062
具体可以包括以下步骤：
定义关节点j在Stage t对关节点热力图S产生的损失函数
Figure BDA0003545683830000063
为：
Figure BDA0003545683830000064
其中，
Figure BDA0003545683830000065
表示CMU-Pose网络在Stage t阶段对于关节点j产生的热力图中p位置的预测值，
Figure BDA0003545683830000066
为对应位置的真值，Stage t表示优化层t；
定义各个关节点在Stage t对关节点热力图S产生的损失J为：
Figure BDA0003545683830000067
其中，
Figure BDA0003545683830000068
按照从大到小的顺序排列得到损失J，并记录对应关节点的ID；
定义Stage t产生的关节点损失
Figure BDA0003545683830000069
其大小为产生损失最大的前8个关节点损失之和：
Figure BDA00035456838300000610
本实施例中，通过上述步骤即可实现基于关节点难例挖掘的优化方法，使得CMU-Pose网路对手腕脚踝等较灵活以及较难估计的关节点具有较好的提取效果。
S103，利用公用数据集中的图像训练改进后的CMU-Pose网络；
S104，将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果。
本发明实施例所述的基于关节点难例挖掘的人体姿态估计方法，获取人体姿态估计的公用数据集；对CMU-Pose网络进行改进，将CMU-Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，以提升有用特征并抑制用处不大的特征，并引入关节点难例挖掘算法，提高对手腕脚踝等比较灵活及较难估计的关节点的提取效果；利用公用数据集中的图像训练改进后的CMU-Pose网络；将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果。这样，可以充分利用注意力机制与关节点难例挖掘算法的特点，并通过骨干网络替换，削弱底层特征提取不充分的影响，有效提高CMU-Pose网络的精确度，并且提升对较难预测以及较灵活的关节点预测的准确度。
为了验证本实施例提供的基于关节点难例挖掘的人体姿态估计方法的有效性，本实施例采用关节点相似性(OKS)指标。
在实施过程中，首先获取人体姿态估计的公用数据集；将公用数据集中的待测图像输入到改进后的CMU-Pose网络进行训练，因为骨干网络对特征提取的能力决定着网络的好坏，所以使用特征提取能力强的ResNet网络作为骨干网络；在所述骨干网络引入注意力机制，其目的是在通道层面增大对结果有利的通道权重，并减少对结果不利的通道权重，实现对有用特征提升并抑制用处不大的特征；引入关节点难例挖掘算法，提高对手腕脚踝等比较灵活的关节点的提取效果；将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果。
为了验证本发明所述方法的性能，本实施例中，定义引入注意力机制的骨干网络为SE-ResNet-CMU-Pose方法，定义再引入基于关节点难例挖掘的优化方法为SE-ResNet-OKHM-CMU-Pose方法。将待测图像分别输入到CMU-Pose网络，SE-ResNet-CMU-Pose网络以及SE-ResNet-OKHM-CMU-Pose网络中，并保证训练时使用的超参数与训练方法与CMU-Pose网络训练一致，结果如表1所示。
表1人体姿态估计网络性能比较
Method AP AP<sup>50</sup> AP<sup>75</sup> AP<sup>M</sup> AP<sup>L</sup>
CMU-Pose 58.4 81.5 62.6 54.4 65.1
SE-ResNet-CMU-Pose 58.6 80.7 63.0 57.9 60.6
SE-ResNet-OKHM-CMU-Pose 60.0 81.7 65.2 59.3 62.4
如表1所示，为网络引入注意力机制(SE-ResNet-CMU-Pose)后，网络的整体性能(AP值)有所增加(提高了0.2％)。AP50略有下降而AP75有所增加，说明网络对于关节点出现漏检情况但是对于检测关节点位置的准确性有提高。APM精度有提高而APL精度下降说明网络对于图像中出现的中等大小人体提取效果较好而对于图中较大范围的人体效果有待加强。总体来说，为网络引入注意力机制后，网络对于关节点预测的精度提高了，但是对于较难预测关节点效果较差。在此基础上为网络引入基于关节点难例挖掘的优化方法后网络有效的改善了这个缺点，在整体性能上网路的AP值提高的1.6％，而且AP50与AP75均有所增加说明了网络在提取精度与对较关节点预测的性能均有所提高。并且改善了对较大人体关节点预测的性能。
图4、5、6中的(a)、(b)分别为CMU-Pose网络和SE-ResNet-OKHM-CMU-Pose网络对3张待测图像的对人体姿态估计图，其中，图4、5、6中(a)为CMU-Pose网络对人体姿态的估计图，图4、5、6中(b)为SE-ResNet-OKHM-CMU-Pose网络对人体姿态的估计图，较(a)图像，(b)图像提高了对较难估计与较灵活的关节点的预测。例如，第一行图片中从左到右第二个人右脚踝关节点，第二行图片中从左到右的第三个人的右手腕关节点，第三行图片中从左到右第一个人左脚踝关节点，验证了本实施例所述方法的有效性。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于关节点难例挖掘的人体姿态估计方法，其特征在于，包括：
获取人体姿态估计的公用数据集；
对CMU-Pose网络进行改进，将CMU-Pose网络中的骨干网络替换为引入注意力机制的ResNet网络，并引入关节点难例挖掘算法；其中，CMU-Pose网络表示基于PAF的多人二维人体姿态估计网络；
利用公用数据集中的图像训练改进后的CMU-Pose网络；
将待测图像输入训练好的改进后的CMU-Pose网络得到人体姿态估计结果。
2.根据权利要求1所述的基于关节点难例挖掘的人体姿态估计方法，其特征在于，所述公用数据集为COCO数据集。
3.根据权利要求1所述的基于关节点难例挖掘的人体姿态估计方法，其特征在于，改进后的CMU-Pose网络包括：引入注意力机制的F、stage 1和stage t；其中，F表示骨干网络，stage 1表示基础层，stage t表示优化层，t＝{2,3,4,5,6}；
所述引入注意力机制的骨干网络，用于获取关节点热力图与PAF图的底层特征；
所述基础层的输入是骨干网络产生的底层特征，输出为关节点热力图与PAF图两个分支，用于实现对图像进行粗略的人体姿态估计；
每个优化层的输入是骨干网络产生的底层特征和前一层结构输出的关节点热力图与PAF图两个分支，输出为关节点热力图与PAF图，用于结合底层特征与前层粗略的人体姿态估计结果进行精确的人体姿态估计。
4.根据权利要求1所述的基于关节点难例挖掘的人体姿态估计方法，其特征在于，在ResNet网络中，输入图像在经过一系列卷积操作后得到特征图U，对于特征图U，引入通道上的注意力机制，其提取过程为：
Figure FDA0003545683820000011
其中，zc为位于c通道上的特征，Fsq()表示提取过程，uc为特征图U通道c的输入，H、W分别为输入的高与宽，uc(i,j)为位于c通道上(i,j)处的像素值；
对于提取过程的输出z，激活过程为：
s＝Fex(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))
其中，s为激活过程Fex()的输出，W为ResNet网络需要学习到的大小为C×C的权重，g(z,W)为计算函数，使用深度学习中的全连接层计算，C为通道的数目，σ为sigmod函数，δ为Relu函数，W1和W2都表示全连接层；
经激活过程后，得到：
Figure FDA0003545683820000021
其中，
Figure FDA0003545683820000022
为特征图U经通道注意力机制后得到的特征图，sc为通过激活过程后通道c的权重，uc为特征图U通道c的输入，Fscale()是指将通过激活过程后通道c的权重与特征图U通道c的输入相乘过程。
5.根据权利要求1所述的基于关节点难例挖掘的人体姿态估计方法，其特征在于，所述CMU-Pose网络引入关节点难例挖掘算法改进最后两个优化层对关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失
Figure FDA0003545683820000023
6.根据权利要求5所述的基于关节点难例挖掘的人体姿态估计方法，其特征在于，所述引入关节点难例挖掘算法改进最后两个优化层对关节点热力图的损失函数，将最大的8个关节点对应的损失求和作为最后损失
Figure FDA0003545683820000024
包括：
定义关节点j在Stage t对关节点热力图S产生的损失函数
Figure FDA0003545683820000025
为：
Figure FDA0003545683820000026
其中，
Figure FDA0003545683820000027
表示CMU-Pose网络在Stage t阶段对于关节点j产生的热力图中p位置的预测值，
Figure FDA0003545683820000028
为对应位置的真值，Stage t表示优化层t；
定义各个关节点在Stage t对关节点热力图S产生的损失J为：
Figure FDA0003545683820000029
其中，
Figure FDA00035456838200000210
按照从大到小的顺序排列得到损失J，并记录对应关节点的ID；
定义Stage t产生的关节点损失
Figure FDA00035456838200000211
其大小为产生损失最大的前8个关节点损失之和：
Figure FDA00035456838200000212
CN202210248071.8A 2022-03-14 2022-03-14 一种基于关节点难例挖掘的人体姿态估计方法 Active CN114581953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210248071.8A CN114581953B (zh) 2022-03-14 2022-03-14 一种基于关节点难例挖掘的人体姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210248071.8A CN114581953B (zh) 2022-03-14 2022-03-14 一种基于关节点难例挖掘的人体姿态估计方法

Publications (2)

Publication Number Publication Date
CN114581953A true CN114581953A (zh) 2022-06-03
CN114581953B CN114581953B (zh) 2022-09-30

Family

ID=81781005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210248071.8A Active CN114581953B (zh) 2022-03-14 2022-03-14 一种基于关节点难例挖掘的人体姿态估计方法

Country Status (1)

Country Link
CN (1) CN114581953B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108674A (zh) * 2017-12-08 2018-06-01 浙江捷尚视觉科技股份有限公司 一种基于关节点分析的行人再识别方法
CN108446678A (zh) * 2018-05-07 2018-08-24 同济大学 一种基于骨骼特征的危险驾驶行为识别方法
CN110941990A (zh) * 2019-10-22 2020-03-31 泰康保险集团股份有限公司 基于骨骼关键点进行人体动作评估的方法和装置
CN112052886A (zh) * 2020-08-21 2020-12-08 暨南大学 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN113095106A (zh) * 2019-12-23 2021-07-09 华为数字技术（苏州）有限公司 一种人体姿态估计方法、装置
CN113269076A (zh) * 2021-05-19 2021-08-17 哈尔滨工业大学 基于分布式监控的暴力行为检测系统及检测方法
KR20210118496A (ko) * 2020-03-23 2021-10-01 권세기 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108674A (zh) * 2017-12-08 2018-06-01 浙江捷尚视觉科技股份有限公司 一种基于关节点分析的行人再识别方法
CN108446678A (zh) * 2018-05-07 2018-08-24 同济大学 一种基于骨骼特征的危险驾驶行为识别方法
CN110941990A (zh) * 2019-10-22 2020-03-31 泰康保险集团股份有限公司 基于骨骼关键点进行人体动作评估的方法和装置
CN113095106A (zh) * 2019-12-23 2021-07-09 华为数字技术（苏州）有限公司 一种人体姿态估计方法、装置
KR20210118496A (ko) * 2020-03-23 2021-10-01 권세기 영상기반 지능형 푸시-업 판별 방법 및 푸시-업 판별 시스템
CN112052886A (zh) * 2020-08-21 2020-12-08 暨南大学 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN113269076A (zh) * 2021-05-19 2021-08-17 哈尔滨工业大学 基于分布式监控的暴力行为检测系统及检测方法

Also Published As

Publication number Publication date
CN114581953B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN112365514A (zh) 基于改进PSPNet的语义分割方法
CN106611427A (zh) 基于候选区域融合的视频显著性检测方法
CN114266794B (zh) 基于全卷积神经网络的病理切片图像癌症区域分割系统
CN113298036B (zh) 一种无监督视频目标分割的方法
CN112232134A (zh) 一种基于沙漏网络结合注意力机制的人体姿态估计方法
CN111161314A (zh) 目标对象的位置区域确定方法、装置、电子设备及存储介质
CN111739037B (zh) 一种针对室内场景rgb-d图像的语义分割方法
Wang et al. Intelligent nonconvex compressive sensing using prior information for image reconstruction by sparse representation
CN105205807A (zh) 基于稀疏自动编码机的遥感图像变化检测方法
CN112801092B (zh) 一种自然场景图像中字符元素检测方法
CN114581953B (zh) 一种基于关节点难例挖掘的人体姿态估计方法
CN113538402A (zh) 一种基于密度估计的人群计数方法及系统
CN116994316A (zh) 一种基于改进YOLOv4的复杂环境下口罩佩戴检测方法
CN116894943A (zh) 一种双约束的伪装目标检测方法及系统
CN115049817B (zh) 一种基于跨图像一致性的图像语义分割方法及其系统
Li et al. Real-time polyp detection for colonoscopy video on CPU
CN116433909A (zh) 基于相似度加权多教师网络模型的半监督图像语义分割方法
CN116543451A (zh) 一种用于识别人类活动的残差模块网络设计方法
CN116091458A (zh) 一种基于互补注意力的胰腺图像分割方法
CN113822865B (zh) 一种基于深度学习的腹部ct图像肝脏自动分割方法
CN115641395A (zh) 一种基于互信息的图文对齐方法
CN114357220A (zh) 一种基于局部敏感哈希算法的相似医学影像计算方法
CN112508958A (zh) 一种轻量多尺度的生物医学图像分割方法
Chen et al. ERetinaNet: An efficient neural network based on RetinaNet for mammographic breast mass detection
CN114445649A (zh) 用多尺度超像素融合检测rgb-d单幅图像阴影的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant