CN113435293B - 一种基于关节关系的人体姿态估计方法 - Google Patents
一种基于关节关系的人体姿态估计方法 Download PDFInfo
- Publication number
- CN113435293B CN113435293B CN202110694968.9A CN202110694968A CN113435293B CN 113435293 B CN113435293 B CN 113435293B CN 202110694968 A CN202110694968 A CN 202110694968A CN 113435293 B CN113435293 B CN 113435293B
- Authority
- CN
- China
- Prior art keywords
- joint
- relation
- human body
- network
- body posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 48
- 238000010586 diagram Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000001228 spectrum Methods 0.000 claims description 10
- 238000010438 heat treatment Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 210000000544 articulatio talocruralis Anatomy 0.000 abstract description 12
- 210000003414 extremity Anatomy 0.000 abstract description 9
- 210000003857 wrist joint Anatomy 0.000 abstract description 8
- 230000036544 posture Effects 0.000 description 78
- 210000001503 joint Anatomy 0.000 description 37
- 238000001514 detection method Methods 0.000 description 14
- 101000742346 Crotalus durissus collilineatus Zinc metalloproteinase/disintegrin Proteins 0.000 description 12
- 101000872559 Hediste diversicolor Hemerythrin Proteins 0.000 description 12
- 238000012795 verification Methods 0.000 description 9
- 210000002310 elbow joint Anatomy 0.000 description 8
- 210000000629 knee joint Anatomy 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 210000001624 hip Anatomy 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000004197 pelvis Anatomy 0.000 description 4
- 210000000323 shoulder joint Anatomy 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000004394 hip joint Anatomy 0.000 description 3
- 210000003127 knee Anatomy 0.000 description 3
- 238000007430 reference method Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 102100033620 Calponin-1 Human genes 0.000 description 1
- 102100033591 Calponin-2 Human genes 0.000 description 1
- 102100033592 Calponin-3 Human genes 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 1
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 description 1
- 101000945410 Homo sapiens Calponin-3 Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于关节关系的人体姿态估计方法，包括以下步骤：S1：构建关节关系模块，包含基于通道的特征关系模块和邻接关节空间关系模块两个子模块；S2：构建基于关节关系的人体姿态估计模型；S3：利用标注的人体姿态数据训练基于关节关系的人体姿态估计模型；S4：利用训练完成的添加关节关系模块的人体姿态估计模型进行基于单张图像的人体姿态估计任务，获取预测的人体姿态。与现有技术相比，本发明有效克服图像中自由度较高的四肢关节如腕关节、踝关节及被遮挡的不可见关节位置难以检测的问题，人体姿态估计准确性高。
Description
技术领域
本发明涉及人体姿态估计领域，尤其是涉及一种基于关节关系的人体姿态估计方法。
背景技术
人体姿态估计是计算机视觉领域的传统任务。人体姿态估计包括人体关键点的检测和人体姿态的生成。人体关键点检测中的“关键点”是指人体的头顶、肩部、肘关节、腕关节、踝关节等重要关节部位，生成的人体姿态即完整人体骨架信息。随着计算机视觉技术的革新，人体姿态估计也经历了从手工提取特征到使用深度卷积神经网络为工具的历程。近年来，基础深度卷积神经网络结构与性能的发展也极大提升了提取人体关节特征的水平，促进了人体姿态估计准确度和可靠性的提高。
人体姿态结构有其特殊的规律性，这使得进行人体的姿态估计即检测人体各个关节位置与单纯的检测相应数量无关目标有着本质的不同。人体结构一方面使人体姿态的各个关节点位置具有一定关联性，一方面又因形态的多变性限制了直接发挥作用的空间。
现有技术中，有引入人体架构的姿态估计方法，如2016年，Yang等人就为了在人体姿态估计方法中引入人体结构提出了一种基于局部姿态备选集的方法。该方法使用一组具有形态约束的关节位置，即特定的肢体备选姿态，利用已知的人体结构和消息传递层从相邻关节中学习目标关节的信息，选择最合适的备选姿态进行组合。但是，此方法对备选姿态仅进行了特征融合操作，没有考虑到相邻关节的空间关系，限制了人体结构的使用，其使用的备选肢体姿态作为先验知识的普适性也无法得到证实。2018年，Sun等人采用一种基于回归的引入人体结构的方法，由只计算关节位置坐标的误差改为增加计算相邻关节点间的向量信息作为人体骨骼间的约束，并且通过完善误差函数避免了误差的逐向量积累，与一般基于回归的方法相比准确率得到很大提升。同时，该算法可以直接应用于3D模型的关键点估计。但该方法中人体结构信息还是仅局限于误差计算，并没有得到更显式的运用。2019年，Wang等人提出了Graph-PCNN方法，在卷积神经网络之后加入图卷积网络以精细化学习到的人体姿势。该方法使用第一阶段的神经网络预测出一系列候选关节位置，然后将候选关节组合为多个人体姿态，并以人体姿态中的各关节为图卷积的节点，通过第二阶段的图网络进行候选姿态的融合，得到最终的输出姿态。这种方法不能进行端到端的训练，而且图卷积网络阶段需要大量的计算。
人体是一种非刚性的机体，各个关节的旋转都有着极大的自由度，多个关节的自由旋转可以互相叠加，肢体远端的关节如腕关节、踝关节等也由于具有多重自由度而位置多变，增加了预测的难度，而现有方法没有注意到这一人体结构特殊性带来的不同类型关节点的检测难度差异；同时，在更接近真实场景的多人图片中，由于人与人之间交互方式、位置关系的多样性及生活场景的复杂性，人体关键点位置和肢体信息都面临严重的遮挡问题。被遮挡的人体关节同样是人体姿态的一部分，而现有方法对更难正确检出的不可见关节点并未采取有针对的优化措施。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于关节关系的人体姿态估计方法。
本发明的目的可以通过以下技术方案来实现：
一种基于关节关系的人体姿态估计方法，包括以下步骤：
S1：构建关节关系模块，所述的关节关系模块包括基于通道的特征关系模块和邻接关节的空间关系模块；
S2：构建基于关节关系的人体姿态估计模型；
S3：利用带标注的人体姿态数据训练基于关节关系的人体姿态估计模型；
S4：利用训练完成的基于关节关系的人体姿态估计模型进行单张图像的人体姿态估计，获取预测的人体姿态结果。
优选地，所述的步骤S1具体包括：
S11：构建基于通道的特征关系模块，用于对初阶热力图谱特征进行加权增强；
S12：构建邻接关节的空间关系模块，用于移动加权后的特征到目标位置以获得优化后的辅助热力图谱特征。
优选地，所述的基于通道的特征关系模块中，对初阶热力图谱特征的每一个通道都由独立的特征关系单元进行处理，并计算目标关节c通道的初阶热力图谱特征Ff的每一个通道特征ff(i)与其选取的邻接关节c通道的初阶热力图谱特征Fn的所有通道的特征间的数值关系作为权重Wi：
Wi＝{wi(j)|j＝1,2,…,c}
其中，wi(j)为fn(j)相对于ff(i)的权重，
增强后的对应目标关节通道的邻接关节特征为
为Fn对Wi的加权和。
优选地，所述的特征关系权重wi(j)的计算方式为：
其中，
为使用点积运算来处理初始特征权重得到初步关系权重；wf(i)为目标关节的第i个通道的特征权重；Wn为邻接关节c个通道的特征权重；dk为权重向量的长度，dot()为点积运算。
优选地，所述的邻接关节的空间关系模块采用直接索引的方式完成对邻接关节特征的移动操作，所述的直接索引的方式先计算目标特征的索引矩阵，然后进行目标特征索引。
优选地，所述的步骤S2具体包括：
S21：构建用于提取图像基础特征的骨架网络，所述的骨架网络的输入为待估计图像，输出为提取的待估计图像的通用特征；
S22：分别构建关节关系向量子网络和热力图谱子网络，所述的关节关系向量子网络、热力图谱子网络的输入均为通用特征，所述的关节关系向量子网络的输出为各关节与为该关节选取的邻接关节间的空间关系向量矩阵，所述的热力图谱子网络的输出为人体各关节位置的初阶热力图谱特征；
S23：关节关系向量子网络和热力图谱子网络的输出送入关节关系模块进行处理获取优化后的辅助热力图谱特征；
S24：构建最终热力图谱生成子网络，所述的最终热力图谱生成子网络的输入为初阶热力图谱特征和优化后的辅助热力图谱特征；
S25：依据人体结构为每一个预测目标关节选取邻接关节，确定所用数据集的邻接关节点对。
优选地，所述的步骤S3具体包括：
S31：利用标注人体姿态数据及所选取的邻接关节点对生成真实关节关系向量矩阵作为关节关系向量子网络的学习目标；
S32：利用特征区域与非特征区域所占区域的占比构建加权的关节关系向量矩阵损失函数Lj；
S33：利用关节点热力图谱损失函数Lh和关节关系向量矩阵损失函数Lj构建的整体模型损失函数L，将人体姿态训练数据输入姿态估计网络进行训练，得到训练完成的基于关节关系的人体姿态估计网络。
优选地，所述的目标关节Jj对应的关节关系向量矩阵
计算方式为：
rj＝Jj-Jp(j)＝(xj-xp(j),yj-yp(j))
其中，rj为邻接关节Jp(j)指向目标关节Jj的关节关系向量；(xj,yj)和(xp(j),yp(j))分别代表Jj、Jp(j)在图像坐标系中的二维笛卡尔坐标；σp(j)(xp(j),yp(j))为邻接关节Jp(j)特征分布区域，
为矩阵中(x,y)坐标位置的向量的x坐标相对值，
为矩阵中(x,y)坐标位置的向量的y坐标相对值，
为关节关系向量的x坐标，
为关节关系向量的y坐标。
优选地，所述的加权的关节关系向量矩阵损失函数Lj计算方式为：
其中，N为
的大小，x为矩阵中各个位置的横坐标，y为矩阵中各个位置的纵坐标，
为目标关节对应的关节关系向量矩阵，
为模型预测的关节关系向量矩阵，
为关节关系向量矩阵的真实值，w(x,y)为矩阵中(x,y)坐标位置的权重。
优选地，所述的步骤S4具体包括：
S41：将待处理图片输入训练好的基于关节关系的人体姿态估计模型，通过骨架网络提取图片的基础通用特征；
S42：将通用特征分别输入热力图谱子网络和关节关系向量子网络，分别得到待预测人体各关节位置的热力图谱特征及各关节与为该关节选取的邻接关节间的空间关系向量矩阵；
S43：通过关节关系模块将邻接关节初阶热力图谱特征通过基于通道的特征关系模块进行加权增强，并使用邻接关节的空间关系模块移动加权后的特征到目标位置以获得优化后的辅助热力图谱特征；
S44：将初阶热力图谱特征与辅助热力图谱特征相加输入最终热力图谱生成子网络，并搜寻每个关节对应热力图谱的峰值位置得到确切的关节点坐标，生成预测的人体姿态。
与现有技术相比，本发明具有如下优点：
1)本发明通过构建基于关节关系的人体姿态估计模型，依托人体结构的规律性，模拟了人类借助邻接关节识别四肢关节、被遮挡关节等困难关节点的机制，既引入了人体姿态中邻接关节间的空间位置关系，又引入了各关节点特征间的数值相关性信息，对人体结构进行更全面、深入地挖掘，有效解决人体关节自由旋转可以互相叠加导致的识别困难问题，能够更准确的对人体关节进行定位，检出不可见关节点，对人体姿态的识别效果好；
2)本发明训练完成的基于关节关系的人体姿态估计模型中，关节关系模块仅需要较小的附加运算负担，同时可以实现端到端的训练，即可通过特征关系模块获取增强后的邻接关节补充特征，并通过空间关系模块将补充特征移动到目标关节对应区域以生成热力图谱，从而更准确地定位人体关节，运算效率高，识别效果好。
附图说明
图1为本发明中基于关节关系的人体姿态估计方法的工作流程示意图；
图2为实施例中提供的方法流程图；
图3为MPII数据集上选取的邻接关节点对示意图；
图4为MSCOCO数据集上选取的邻接关节点对示意图；
图5为基于通道的特征关系模块原理示意图；
图6为特征关系单元工作流程示意图；
图7为特征移动操作原理示意图；
图8为添加邻接关节的空间关系模块与未添加该模块的预测姿态对比图；
图9为添加完整关节关系模块与仅添加邻接关节的空间关系模块的预测姿态对比图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
如图2所示，本发明提供的一种基于关节关系的人体姿态估计方法主要包含以下四个步骤：
1)构建关节关系模块以生成辅助定位困难关节点的补充特征，包含基于通道的特征关系模块和邻接关节空间关系模块两个子模块；
2)以通用深度卷积神经网络模型为基础构建基于关节关系的人体姿态估计模型；
3)使用标注好的人体姿态数据训练所构建的基于关节关系的人体姿态估计模型，获得可以更好地定位四肢关节点和被遮挡关节点的网络模型；
4)对于输入的待处理图片，利用步骤3)中训练完成的添加关节关系模块的人体姿态估计网络进行基于单张图像的人体姿态估计任务，获取预测的人体姿态。如图1所示，展示了本发明中基于关节关系的人体姿态估计方法的工作流程示意图。
各步骤具体如下。
步骤1)的具体方法为：
11)构建基于通道的特征关系模块，其原理示意图如图5所示。其目的在于通过邻接关节特征各通道间的数值相关性选择更合适的邻接关节特征通道，生成最有助于定位目标关节的辅助特征。在基于通道的特征关系模块中，初阶热力图谱特征的每一个通道都将由独立的特征关系单元进行处理，其工作流程示意图如图6所示，每个特征关系单元计算目标关节c通道的初阶热力图谱特征Ff的每一个通道特征ff(i)与其选取的邻接关节c通道的初阶热力图谱特征Fn的所有通道的特征间的数值关系作为权重Wi＝{wi(j)|j＝1,2,…,c}，wi(j)即fn(j)相对于ff(i)的权重。增强后的对应目标关节通道的邻接关节特征
即Fn对Wi的加权和。
其特征关系权重wi(j)的计算方式为：
其中，
为使用点积运算来处理初始特征权重得到初步关系权重；wf(i)为目标关节的第i个通道的特征权重；Wn为邻接关节c个通道的特征权重；dk为权重向量的长度，dot()为点积运算。
12)构建邻接关节的空间关系模块，该模块采用直接索引的方式完成对邻接关节特征的移动操作，其原理示意图如图7所示，具体由目标索引计算和目标特征索引两个步骤组成。
其目标特征索引矩阵
的计算方式为：
其中，MI∈R2*w*h为基础索引矩阵，
为目标关节Jj对应的关节关系向量矩阵；w和h分别为热力图谱特征的宽度和高度。
其目标特征索引方式为：
其中，
为目标关节Jj的辅助热力图谱特征；
为目标关节Jj邻接关节完整的增强后的特征。
步骤2)的具体方法为：
21)构建用于提取图像基础特征的骨架网络，所述的骨架网络的输入为待估计图像，输出为提取的待估计图像的通用特征，所选取的骨架网络使用5阶的ResNet并附加3个反卷积单元以放大提取到的特征至输出的热力图谱大小，并可灵活替换。
22)分别构建关节关系向量子网络和热力图谱子网络，所述的关节关系向量子网络、热力图谱子网络的输入均为通用特征，所述的关节关系向量子网络的输出为各关节与为该关节选取的邻接关节间的空间关系向量矩阵，所述的热力图谱子网络的输出为人体各关节位置的初阶热力图谱特征，所选取的分支子网络及均包含3个不改变特征大小的残差网络单元。
23)关节关系模块位于两个分支子网络之后，关节关系向量子网络和热力图谱子网络的输出送入关节关系模块进行处理获取优化后的辅助热力图谱特征。
24)构建最终热力图谱生成子网络，最终热力图谱生成子网络的输入为初阶热力图谱特征和优化后的辅助热力图谱特征，所选取的最终热力图谱生成子网络采用分组卷积的方式对每个人体关节对应的热力图谱特征分别进行处理。
体结构为每一个预测目标关节选取邻接关节，确定所用数据集的邻接关节点对。
25)依据人体结构为每一个预测目标关节选取邻接关节，确定所用数据集的邻接关节点对。所选取的邻接关节点对如图3、4所示，其中图3为MPII数据集上选取的邻接关节点对，图4是MSCOCO数据集上选取的邻接关节点对。
具体地，骨架网络CNN1可以灵活替换，两个分支子网络关节关系向量子网络、热力图谱子网络为CNN2和CNN3，均由3个不改变特征大小的残差网络单元组成。另外，邻接关节对在MSCOCO数据集选取为鼻子→眼睛、眼睛→耳朵、肩关节→肘关节、肘关节→腕关节、髋关节→膝关节和膝关节→踝关节，在MPII数据集选取为颈部→头顶、颈部→肩关节、胸口→颈部、骨盆→胸口、胸口→骨盆、骨盆→髋关节、肩关节→肘关节、肘关节→腕关节、髋关节→膝关节和膝关节→踝关节。
步骤3)的具体方法为：
31)将人体姿态标注数据对应的原始图像缩放至384×288，并归一化到0到1之间，同时根据标注数据生成目标关节点位置热力图和关节关系向量矩阵。其中目标关节Jj对应的关节关系向量矩阵
计算方式为：
rj＝Jj-Jp(j)＝(xj-xp(j),yj-yp(j))
其中，rj为邻接关节Jp(j)指向目标关节Jj的关节关系向量，
为关节关系向量的x坐标，
为关节关系向量的y坐标；(xj，yj)和(xp(j),yp(j))分别代表Jj和Jp(j)在图像坐标系中的二维笛卡尔坐标；σp(j)(xp(j),yp(j))为邻接关节Jp(j)特征分布区域。
32)将经过骨架网络CNN1得到的特征输入关节关系向量子网络、热力图谱子网络CNN2和CNN3，然后通过关节关系模块及最终关节点位置热力图生成子网络得到输出的关节点位置热力图谱和关节关系向量矩阵。
33)将输出的该姿态的关节点位置热力图谱和关节关系向量矩阵与训练数据中标注的关节点位置坐标进行对比，利用整体损失函数L优化整个人体姿态估计网络，得到训练完成的基于关节关系的人体姿态估计网络。
整体姿态估计损失函数L由关节点位置热力图谱损失函数Lh和关节关系向量损失函数Lj组合而成，其表达式为：
L＝Lh+αLj
其中，α是关节关系向量损失Lj的权重，设置为0.01。
由于即使是在经过裁剪的单人图像区域中，某一个关节的特征区域所占的比例依然很小，也就是说关节关系向量矩阵的绝大部分位置值为零；其次，关节关系向量的x和y坐标分别对图像的宽高进行了归一化处理，考虑人的肢体如小臂与整体姿态的尺度比例及小腿、躯干等相对固定的方向性，关节关系向量矩阵中特征区域的真实值绝对值也较小。关节关系向量损失函数Lj在L1损失函数的基础上引入权重，以帮助学习更精确的数据。其表达式为：
其中，N为
的大小，
为目标关节对应的关节关系向量矩阵，
为模型预测的关节关系向量矩阵，
为关节关系向量矩阵的真实值，w(x,y)为矩阵中(x,y)坐标位置的权重。
步骤4)的具体方法为：
对于输入步骤3)中训练好的基于关节关系的人体姿态估计模型的单张RGB图像，首先通过骨架网络提取该图像的通用特征，然后将通用特征分别输入热力图谱子网络和关节关系向量子网络。热力图谱子网络输出初阶的人体各关节位置的热力图谱特征，关节关系子网络输出各关节与为该关节选取的邻接关节间的空间关系向量矩阵，并共同输入本方法提出的关节关系模块。在关节关系模块中，每个关节的邻接关节初阶热力图谱特征通过基于通道的特征关系模块进行加权增强，并使用邻接关节的空间关系模块移动加权后的特征到目标位置以获得优化后的辅助热力图谱特征。最后，将初阶热力图谱特征与辅助热力图谱特征相加输入最终热力图谱生成子网络，并搜寻每个关节对应热力图谱的峰值位置得到确切的关节点坐标，完成人体姿态的生成。
为了支持以及验证本发明提出的基于关节关系的人体姿态估计方法的性能，本发明在被人体姿态估计任务广泛使用的公开标准数据集MPII人体姿态数据集和MSCOCO人体姿态数据集上运用我们的方法。MPII数据集使用的图片均从YouTube视频中抽取，其标注信息包括图片中每个人体的姿态信息、动作信息和人体包围盒的位置、大小。这使得MPII数据集可以同时满足单人和多人姿态估计任务的需求，还可直接应用于动作识别任务。该数据集有25000余张图片，包含超过4万个人体姿态样本，其中训练集图片11000余张，人体22000余个；验证集图片1000余张，人体3000余个。数据集标注的人体姿态包含头顶、颈部、胸口、骨盆、肩部、肘部、腕部、髋关节、膝盖及脚踝共16个关节点位置。MSCOCO数据集是微软为解决目标检测、目标分割和人体姿态估计等计算机视觉任务提供的数据集，包含了自然图片及生活中常见场景的图片，背景复杂度较高，相应的难度也较大，对算法的衡量性更好。其中人体姿态数据集分为训练集、验证集和测试集，涵盖多人图像与单人图像。训练集由5万7千多张图像构成，包含15万个人体；验证集由2千张图像构成，包含6千个人体。MSCOCO人体姿态数据集选择了17个人体部位关节点作为人体姿态，分别是鼻尖、眼睛上部、耳朵前部、肩关节、肘关节、腕关节、髋关节、膝关节和踝关节。本发明在MPII数据集上进行试验时，采用其通用的PCKh(％)作为评估指标；在MSCOCO数据集上进行实验时，除采用MSCOCO数据集使用的以人体为评价单位OKS(目标相似度)作为衡量标准外，还引入了逐关节的定位准确度作为评估指标。
在MPII人体姿态估计数据集上的实验结果：
在MPII数据集上，为了证明基于关节关系的人体姿态估计方法的通用性，我们使用ResNet-18、ResNet-50和ResNet-101三种不同体量的骨架网络对关节关系模块即基于通道的特征关系模块(channel-wise feature relation,FR)和邻接关节的空间关系模块(neighbor-joint spatial relation,SR)模块的有效性分别进行了实验验证。
图8和图9分别展示了MPII验证集中的部分人体姿态预测结果，直观体现了FR模块和SR模块对人体姿态估计准确度的提升。其中，图8顶部为使用基准模型预测的人体姿态，底部为在基础模型上添加了SR模块预测出的人体姿态。图9顶部为仅使用SR模块预测的人体姿态，底部为同时使用SR模块和FR模块作为完整关节关系模块预测的人体姿态。标注的不同颜色实心圆点分别表示错误预测关节点、有偏差的预测关节点和正确预测关节点。
表1展示了使用三种不同的骨架网络时，本发明方法与基准方法及已有方法的人体姿态估计准确度对比。从表中我们可以看出，仅添加SR模块的模型在三种骨架网络上都实现了比基准模型更高的姿态预测准确度。基于此加入FR模块成为完整的基于关节关系的姿态估计方法后，人体姿态估计的准确度还可以得到进一步提高，特别是腕关节和踝关节等高自由度的四肢关节的定位准确度提升明显。本发明方法与最近的Simple Baseline方法的姿态估计准确度对比结果在表1中也有展示。通过添加完整的关节关系模块，采用ResNet-101或ResNet-50作为骨架网络时踝关节检测准确率均提高了1.1％。在使用ResNet-101为骨架网络时，如果仅添加SR模块，踝关节和膝关节的定位准确率分别提高了0.9％和1.8％，说明了SR模块对定位四肢关节的帮助。如果同时添加SR模块和FR模块，所有人体姿态关节点的平均定位准确度在使用ResNet-50为ResNet-101为骨架网络时分别提高了0.5％和0.4％。本说明的方法达到了目前最先进的水平。
表1本发明方法在MPII验证数据集上与基准模型及已有方法的结果对比
为了验证本发明提出的关节关系模块针对被遮挡的视觉不可见关节点的定位效果，本方法对不可见关节点的定位准确度进行了单独的统计分析，如表2所示。首先，从表中我们可以看出，与所有关节点的平均定位准确度相比，不可见关节的预测准确度明显较低。本发明提出的SR模块和FR模块对使用不同骨架网络时的不可见关节点检测准确度均有较大的提升。尤其是分别使用ResNet-18、ResNet-50和ResNet-101为骨架网络时，不可见的踝关节的预测准确率分别提高了5.1％、2.8％和3.8％。这充分说明了关节关系模块模仿人类借助人体结构依据邻接关节位置推断被遮挡关节的位置的机制是合理有效的。
表2本发明方法在MPII验证集上与基准方法定位不可见关节点准确度对比
| 方法 | 骨架网络 | Sho. | Elb. | Wri. | Hip. | Knee. | Ank. |
| 基准模型 | ResNet-18 | 83.3 | 56.3 | 42.4 | 68.1 | 50.0 | 40.7 |
| +SR | ResNet-18 | 84.5 | 59.7 | 44.8 | 71.8 | 51.6 | 45.0 |
| +SR+FR | ResNet-18 | 84.6 | 59.3 | 45.5 | 72.4 | 52.7 | 45.8 |
| 基准模型 | ResNet-50 | 89.0 | 69.8 | 57.2 | 78.5 | 61.0 | 54.2 |
| +SR | ResNet-50 | 89.7 | 70.0 | 57.8 | 80.5 | 63.6 | 55.3 |
| +SR+FR | ResNet-50 | 90.1 | 71.2 | 58.2 | 81.4 | 65.1 | 57.0 |
| 基准模型 | ResNet-101 | 89.2 | 70.1 | 56.4 | 80.3 | 64.0 | 55.0 |
| +SR | ResNet-101 | 90.0 | 71.4 | 57.8 | 82.7 | 68.1 | 58.9 |
| +SR+FR | ResNet-101 | 90.4 | 72.0 | 58.9 | 82.9 | 67.5 | 58.8 |
在MSCOCO人体姿态估计数据集上的实验结果：
表3展示了本发明方法与现有方法在MSCOCO测试数据集上的人体姿态估计的标准评估准确度(OKS,％)对比。除以ResNet-50为骨架网络外，本发明还增加了最新的HRNet-32为骨架网络进行实验验证。实验结果表明，本发明提出的基于关节关系的人体姿态估计方法在这两种骨架网络上均取得了最先进的性能。
表3本发明方法与已有方法在MSCOCO测试数据集上的实验结果对比
由于OKS不能反映具体到每种关节的预测准确度，本说明在MSCOCO数据集提供的标准API验证脚本(COCOEval)中增加了一个新模块，用于统计基于关节类型的人体姿态估计准确性，并在此基础上根据标注数据计算了MSCOCO验证数据集上不可见关节点的预测准确度，如表4所示，其中“(all)”表示所有关节点，“(invis)”表示不可见关节点。此时我们使用的“精度”(％)是标准评估指标中的AP_(:50)到AP_(:95)的平均值。当引入这种基于关节的准确度统计方式时，本说明提出的关节关系模块的作用机制才能被更清楚地表现出来。
表4 MSCOCO验证数据集上基于关节点的人体姿态估计准确度结果
| 方法 | Nose. | Eye. | Ear. | Sho. | Elb. | Wri. | Hip. | Knee. | Ank. | Total |
| 基准方法(all) | 84.7 | 86.8 | 86.3 | 87.3 | 84.7 | 81.5 | 81.3 | 82.7 | 81.4 | 84.1 |
| +SR(all) | 85.5 | 87.1 | 87.1 | 87.4 | 84.8 | 81.8 | 80.9 | 82.7 | 81.5 | 84.3 |
| +SR&FR(all) | 85.9 | 87.5 | 87.4 | 87.8 | 85.3 | 82.3 | 81.0 | 83.2 | 81.8 | 84.7 |
| 基准方法(invis) | 65.2 | 58.9 | 73.6 | 61.7 | 60.2 | 52.5 | 61.1 | 51.9 | 51.2 | 58.5 |
| +SR(invis) | 69.2 | 61.6 | 76.1 | 62.5 | 60.7 | 52.6 | 60.9 | 51.9 | 52.8 | 59.2 |
| +SR&FR(invis) | 68.4 | 60.0 | 75.3 | 62.8 | 60.8 | 54.9 | 60.9 | 52.4 | 53.2 | 59.5 |
从表4中可以看出，以ResNet-50为骨架网络时，通过引入完整的关节关系模型，所有关节点的平均检测准确率由84.1％提高到了84.7％，而所有肘关节、腕关节、膝关节和踝关节的检测准确率分别提高了0.6％、0.8％、0.5％和0.4％，这说明模型对四肢关节的位置预测能力有所提高。而由于面部关节即鼻、眼、耳之间的关系更稳定，这些关节点位置的预测结果提升会更为明显。同时，MSCOCO验证数据集的所有不可见关节点的平均检测准确率从58.5％提高至59.5％，说明所提出的关节关系模型对被遮挡关节的检测机制是完全可行的。此外，在仅添加SR模块时，不可见鼻、眼、耳关节的检测准确率分别提高了4.0％、2.7％和2.5％，这表明稳定的关节空间关系更有助于发挥移动特征操作的优势。而如果同时使用SR模块和FR模块，不可见的肘关节和踝关节的检测准确率分别提高了2.4％和2.0％，进一步强调了所提出的基于关节关系的人体姿态估计方法对推断困难关节点位置的针对性和有效性。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。
Claims (8)
1.一种基于关节关系的人体姿态估计方法，其特征在于，包括以下步骤：
S1：构建关节关系模块，所述的关节关系模块包括基于通道的特征关系模块和邻接关节的空间关系模块；
S2：构建基于关节关系的人体姿态估计模型；
S3：利用带标注的人体姿态数据训练基于关节关系的人体姿态估计模型；
S4：利用训练完成的基于关节关系的人体姿态估计模型进行单张图像的人体姿态估计，获取预测的人体姿态结果；
所述的步骤S1具体包括：
S11：构建基于通道的特征关系模块，用于对初阶热力图谱特征进行加权增强；
S12：构建邻接关节的空间关系模块，用于移动加权后的特征到目标位置以获得优化后的辅助热力图谱特征；
所述的步骤S2具体包括：
S21：构建用于提取图像基础特征的骨架网络，所述的骨架网络的输入为待估计图像，输出为提取的待估计图像的通用特征；
S22：分别构建关节关系向量子网络和热力图谱子网络，所述的关节关系向量子网络、热力图谱子网络的输入均为通用特征，所述的关节关系向量子网络的输出为各关节与为该关节选取的邻接关节间的空间关系向量矩阵，所述的热力图谱子网络的输出为人体各关节位置的初阶热力图谱特征；
S23：关节关系向量子网络和热力图谱子网络的输出送入关节关系模块进行处理获取优化后的辅助热力图谱特征；
S24：构建最终热力图谱生成子网络，所述的最终热力图谱生成子网络的输入为初阶热力图谱特征和优化后的辅助热力图谱特征；
S25：依据人体结构为每一个预测目标关节选取邻接关节，确定所用数据集的邻接关节点对。
2.根据权利要求1所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的基于通道的特征关系模块中，对初阶热力图谱特征的每一个通道都由独立的特征关系单元进行处理，并计算目标关节c通道的初阶热力图谱特征Ff的每一个通道特征ff(i)与其选取的邻接关节c通道的初阶热力图谱特征Fn的所有通道的特征间的数值关系作为权重Wi：
Wi＝{wi(j)|j＝1，2，...，c}
其中，wi(j)为fn(j)相对于ff(i)的权重，
增强后的对应目标关节通道的邻接关节特征为
为Fn对Wi的加权和。
3.根据权利要求2所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的特征关系权重wi(j)的计算方式为：
其中，
为使用点积运算来处理初始特征权重得到初步关系权重；wf(i)为目标关节的第i个通道的特征权重；Wn为邻接关节c个通道的特征权重；dk为权重向量的长度，dot()为点积运算。
4.根据权利要求1所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的邻接关节的空间关系模块采用直接索引的方式完成对邻接关节特征的移动操作，所述的直接索引的方式先计算目标特征的索引矩阵，然后进行目标特征索引。
5.根据权利要求1所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的步骤S3具体包括：
S31：利用标注人体姿态数据及所选取的邻接关节点对生成真实关节关系向量矩阵作为关节关系向量子网络的学习目标；
S32：利用特征区域与非特征区域所占区域的占比构建加权的关节关系向量矩阵损失函数Lj；
S33：利用关节点热力图谱损失函数Lh和关节关系向量矩阵损失函数Lj构建的整体模型损失函数L，将人体姿态训练数据输入姿态估计网络进行训练，得到训练完成的基于关节关系的人体姿态估计网络。
6.根据权利要求5所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的目标关节Jj对应的关节关系向量矩阵
计算方式为：
rj＝Jj-Jp(j)＝(xj-xp(j)，yj-yp(j))
其中，rj为邻接关节Jp(j)指向目标关节Jj的关节关系向量；(xj，yj)和(xp(j)，yp(j))分别代表Jj、Jp(j)在图像坐标系中的二维笛卡尔坐标；σp(j)(xp(j)，yp(j))为邻接关节Jp(j)特征分布区域，
为矩阵中(x，y)坐标位置的向量的x坐标相对值，
为矩阵中(x，y)坐标位置的向量的y坐标相对值，
为关节关系向量的x坐标，
为关节关系向量的y坐标。
7.根据权利要求6所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的加权的关节关系向量矩阵损失函数Lj计算方式为：
其中，N为
的大小，x为矩阵中各个位置的横坐标，y为矩阵中各个位置的纵坐标，
为目标关节对应的关节关系向量矩阵，
为模型预测的关节关系向量矩阵，
为关节关系向量矩阵的真实值，w(x，y)为矩阵中(x，y)坐标位置的权重。
8.根据权利要求1所述的一种基于关节关系的人体姿态估计方法，其特征在于，所述的步骤S4具体包括：
S41：将待处理图片输入训练好的基于关节关系的人体姿态估计模型，通过骨架网络提取图片的基础通用特征；
S42：将通用特征分别输入热力图谱子网络和关节关系向量子网络，分别得到待预测人体各关节位置的热力图谱特征及各关节与为该关节选取的邻接关节间的空间关系向量矩阵；
S43：通过关节关系模块将邻接关节初阶热力图谱特征通过基于通道的特征关系模块进行加权增强，并使用邻接关节的空间关系模块移动加权后的特征到目标位置以获得优化后的辅助热力图谱特征；
S44：将初阶热力图谱特征与辅助热力图谱特征相加输入最终热力图谱生成子网络，并搜寻每个关节对应热力图谱的峰值位置得到确切的关节点坐标，生成预测的人体姿态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110694968.9A CN113435293B (zh) | 2021-06-23 | 2021-06-23 | 一种基于关节关系的人体姿态估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110694968.9A CN113435293B (zh) | 2021-06-23 | 2021-06-23 | 一种基于关节关系的人体姿态估计方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113435293A CN113435293A (zh) | 2021-09-24 |
| CN113435293B true CN113435293B (zh) | 2022-04-05 |
Family
ID=77757294
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110694968.9A Active CN113435293B (zh) | 2021-06-23 | 2021-06-23 | 一种基于关节关系的人体姿态估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113435293B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114638878B (zh) * | 2022-03-18 | 2022-11-11 | 北京安德医智科技有限公司 | 基于深度学习的二维超声心动图管径检测方法及装置 |
| CN117357103B (zh) * | 2023-12-07 | 2024-03-19 | 山东财经大学 | 一种基于cv的肢体运动训练指导方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241881A (zh) * | 2018-08-22 | 2019-01-18 | 东北大学 | 一种人体姿态估计方法 |
| US10853970B1 (en) * | 2019-03-22 | 2020-12-01 | Bartec Corporation | System for estimating a three dimensional pose of one or more persons in a scene |
| CN112329571A (zh) * | 2020-10-27 | 2021-02-05 | 同济大学 | 一种基于姿态质量评估的自适应人体姿态优化方法 |
| CN112347964A (zh) * | 2020-11-16 | 2021-02-09 | 复旦大学 | 一种基于图网络的行为检测方法及装置 |
-
2021
- 2021-06-23 CN CN202110694968.9A patent/CN113435293B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241881A (zh) * | 2018-08-22 | 2019-01-18 | 东北大学 | 一种人体姿态估计方法 |
| US10853970B1 (en) * | 2019-03-22 | 2020-12-01 | Bartec Corporation | System for estimating a three dimensional pose of one or more persons in a scene |
| CN112329571A (zh) * | 2020-10-27 | 2021-02-05 | 同济大学 | 一种基于姿态质量评估的自适应人体姿态优化方法 |
| CN112347964A (zh) * | 2020-11-16 | 2021-02-09 | 复旦大学 | 一种基于图网络的行为检测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 轻量级双路卷积神经网络与帧间信息推理的人体姿态估计;陈昱昆 等;《小型微型计算机系统》;20201031;第2219-2224页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113435293A (zh) | 2021-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Interacting two-hand 3d pose and shape reconstruction from single color image | |
| Ma et al. | Transfusion: Cross-view fusion with transformer for 3d human pose estimation | |
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| CN109308459B (zh) | 基于手指注意力模型和关键点拓扑模型的手势估计方法 | |
| Yang et al. | Unik: A unified framework for real-world skeleton-based action recognition | |
| CN111476097A (zh) | 人体姿态评估方法、装置、计算机设备及存储介质 | |
| CN113435293B (zh) | 一种基于关节关系的人体姿态估计方法 | |
| CN109522850B (zh) | 一种基于小样本学习的动作相似度评估方法 | |
| CN109829356B (zh) | 神经网络的训练方法及基于神经网络的行人属性识别方法 | |
| CN112069933A (zh) | 基于体态识别和人体生物力学的骨骼肌肉受力估计方法 | |
| CN108647663B (zh) | 基于深度学习和多层次图结构模型的人体姿态估计方法 | |
| CN112001859B (zh) | 一种人脸图像的修复方法及系统 | |
| JP2019096113A (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
| Ibañez et al. | Approximate string matching: A lightweight approach to recognize gestures with Kinect | |
| CN111862299A (zh) | 人体三维模型构建方法、装置、机器人和存储介质 | |
| WO2021051526A1 (zh) | 多视图3d人体姿态估计方法及相关装置 | |
| CN111199207B (zh) | 基于深度残差神经网络的二维多人体姿态估计方法 | |
| Cheng et al. | Parametric human body reconstruction based on sparse key points | |
| CN110163113B (zh) | 一种人体行为相似度计算方法及装置 | |
| Gouidis et al. | Accurate hand keypoint localization on mobile devices | |
| JPWO2018087933A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN112200157A (zh) | 一种降低图像背景干扰的人体3d姿态识别方法及其系统 | |
| Vendrow et al. | Somoformer: Multi-person pose forecasting with transformers | |
| CN112329571B (zh) | 一种基于姿态质量评估的自适应人体姿态优化方法 | |
| Faujdar et al. | Human pose estimation using artificial intelligence with virtual gym tracker |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |