CN112446302A - 一种人体姿态检测方法、系统、电子设备和存储介质 - Google Patents

Abstract

本申请涉及一种人体姿态检测方法，其中，该人体姿态检测方法包括：第一目标检测模型训练完成后，获取该第一目标检测模型的网络参数提供给第二目标检测模型；基于人体姿态数据集和该第一目标检测模型的网络参数训练该第二目标检测模型包括：通过该第二目标检测模型的神经网络，在该人体姿态数据集中提取得到特征图，通过本申请，解决了现有技术中因为简化检测头导致人体姿态检测效果降低的问题；相比较与现有buttonup和topdown人体姿态检测算法提高了检测速度，进一步的，与现有单阶段检测算法相比，本方案在简化算法复杂度的前提下，人体关键点检测效果可以与其接近或者提高。

Description

一种人体姿态检测方法、系统、电子设备和存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种人体姿态检测方法、系统、电子设备和存储介质。

背景技术

随着计算机技术的快速发展，计算机视觉在大众生活中的应用也越来越多，计算机视觉技术使用计算机及相关设备对生物视觉的一种模拟；它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息；其中，人体姿态检测是计算机视觉领域的一项重要课题，其核心目标是通过图像识别、机器学习、深度学习等手段，从图像中检测出人体目标，并进一步检测出人体关键点，近年来，随着深度学习技术的发展，基于神经网络进行人体姿态检测的方法逐步增多。

在相关技术中，人体姿态检测方法有如下两类：第一类Topdown方法是先完成候选人的检测，再截取检测到的人体区域进行关键点检测；第二类Buttonup方法则是先进行所有关键点的检测，再将属于相同人体的关键点进行聚类；上述两类方法在多人检测时，因为无法建立候选人体与对应关键点的关联，第一类Topdown方法需要进行多次网络前向，第二类Buttonup方法则需要进行复杂的聚类运算，所以两类方法的延时都比较高；由此，提出了一种单阶段人体关键点检测方法，该方法用特征图中的每个网格代表一个候选人体，通过在设计检测头时就建立人体与对应关键点的联系，来解决延时较高的问题，该单阶段人体关键点检测法具有简单、便利等优点；但是，该方法因为检测头的简化对应的降低了人体关键点的检测效果；在这种情况下，为了提升检测效果，提出了对单阶段人体关键点检测方法的改进方法，例如：CenterNet人体关键点检测方法，该方法通过最近邻匹配建立偏移量关键点与热力图关键点的联系提升了传统单阶段人体关键点的检测效果，但是，也降低了单阶段人体关键点检测方法的便捷性。

目前针对相关技术中目标检测模型内由于简化检测头导致的人体关键点检测效果降低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种人体姿态检测方法、装置、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中因为简化检测头导致人体关键点检测效果降低的问题。

第一方面，本申请实施例提供了一种人体姿态检测方法，所述方法包括：第一目标检测模型训练完成后，获取所述第一目标检测模型的网络参数提供给第二目标检测模型；基于人体姿态数据集和所述第一目标检测模型的网络参数训练所述第二目标检测模型包括：通过所述第二目标检测模型的神经网络，在所述人体姿态数据集中提取得到特征图，所述第二目标检测模型的检测头解析所述特征图得到特征参量，所述特征参量包括：中心点定位分支、关键点偏移量分支和Wh包围盒分支，其中，所述关键点偏移量分支对应的所述特征图中添加有Grid网格图，所述Grid网格与所述神经网络获取的初始关键点偏移量特征图叠加并融合后，得到关键点偏移量分支对应的特征图；所述检测头解析所述特征图完成后，所述第二目标检测模型输出人体关键点检测结果；部署训练完成的第二目标检测模型用于检测人体姿态。

在其中一些实施例中，所述第一目标检测模型的特征参量包括中心点定位分支、关键点偏移量分支、Wh包围盒分支、中心点优化分支、关键点优化分支和关键点热力图分支。

在其中一些实施例中，所述方法包括：在所述检测头解析所述关键点偏移量分支对应的特征图的过程中，所述Grid网格图辅助提供绝对坐标信息。

第二方面，本申请实施例提供了一种人体姿态检测方法，所述方法包括：基于人体姿态数据集训练目标检测模型包括：通过所述目标检测模型的神经网络在所述人体姿态数据集中提取得到特征图，所述目标检测模型的检测头解析所述特征图得到特征参量，所述特征参量包括：中心点定位分支、关键点热力图分支和Wh包围盒分支；其中，所述关键点热力图分支包括特征分支和权值分支，所述权值分支与所述特征分支经过卷积计算得到所述关键点热力图对应的特征图；所述特征分支对应的所述特征图中添加有Grid网格图，所述Grid网格与所述神经网络获取的初始特征图叠加并融合后提供给检测头；所述检测头解析所述特征图完成后，所述目标检测模型输出人体关键点检测结果；部署训练完成的目标检测模型用于估计人体姿态。

在其中一些实施例中，所述权值分支与所述中心点定位分支对应，能够从对应网格中获取卷积网络参数，所述卷积网络参数与所述特征分支对应的特征图经过卷积运算，得到所述关键点热力图对应的特征图后，将所述关键点热力图对应的特征图送入所述检测头解析。

在其中一些实施例中，所述基于人体姿态数据集训练目标检测模型还包括：采用第一预设损失函数训练所述目标检测模型后，通过所述目标检测模型获取第一人体姿态检测结果；采用第二预设损失函数训练所述目标检测模型后，通过所述目标检测模型获取第二人体姿态检测结果；在所述第一人体姿态检测结果优于第二人体姿态检测结果的情况下，部署阶段选取采用第一预设损失函数所训练的目标检测模型。

第三方面，本申请实施例提供了一种人体姿态检测系统，所述系统包括：输入单元、特征提取单元、特征分析单元、处理单元；所述输入单元用于收集公开数据集中的数据；所述特征提取单元用于特征提取并融合生成特征图；所述特征解析单元用于解析所述特征图获得特征参量。

第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一和第二方面中任一项所述的一种人体姿态检测方法。

相比于相关技术，本申请实施例提供的人体姿态检测方法，通过调整训练方法、权重系数、引入条件卷积优化关键点热力图分支的表征，另外再引入Grid图增加绝对位置信息的方法，在不丧失原始单阶段人体关键点检测方法便捷性的前提下，解决了现有技术中因为简化检测头导致人体姿态检测效果降低的问题，相比较与现有buttonup和topdown人体姿态检测算法提高了检测速度，进一步的，与现有单阶段人体关键点检测算法的CenterNet方案相比，本方案在简化算法复杂度的前提下，人体关键点检测效果可以与其接近或者提高。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是跟据本申请实施例的人体姿态检测方法的应用环境示意图；

图2是根据本申请实施例的人体关键点的示意图；

图3是根据本申请实施例的基于训练第一目标检测模型的流程图；

图4是根据本申请实施例的一种人体姿态检测方法的网络结构示意图；

图5是根据本申请实施例的基于训练第二目标检测模型的流程图；

图6是根据本申请实施例的Grid网格图的示意图；

图7是根据本申请实施例的基于条件卷积方法训练目标检测模型的流程图；

图8是根据本申请实施例的一种人体姿态估计方法的检测效果示意图

图9是根据本申请实施例的一种人体姿态估计的系统的结构框图；

图10是根据本申请实施例的电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请提供的人体姿态检测方法，可以应用于如图1所示的应用环境中，图1是跟据本申请实施例的人体姿态检测方法的应用环境示意图，如图1所示，终端10与服务器11通过网络进行通信，通过终端10上的摄像头获取人体姿态信息，其中，终端10可以是智能手机、平板电脑、台式电脑、笔记本电脑和智能可穿戴设备或者其它可以获取图像信息并进行信息处理的智能电子设备等；通过终端10与服务器11的通信，可以实现信息的上传或接收，该服务器11可以是独立的服务器或者是多个服务器组成的服务器集群来实现，需要说明的是，终端10中设置于有各种用户所需的应用程序，比如具有人体姿态检测功能的应用程序。

本申请提供的人体姿态检测方法，可以分为训练阶段和使用阶段；在训练阶段，构造数据驱动的自学习神经网络模型，将大量训练数据作为神经网络模型的输入，将人体姿态的检测结果作为输出，对该目标检测模型进行有监督的学习；在实施阶段，给定未知的人体姿态图像，进行姿态识别；神经网络模型是由大量的、简单的神经元互相连接而形成的复杂网络系统，其具有自学习能力，需要基于大量的训练集数据进行训练，在训练过程中，需要不断调整模型的深度和宽度以及网络参数，该网络模型通过不断重复估计、更新和获取差异的过程，可以获取诸如识别文字、图像和声音等数据的能力；进一步的，神经网络的基本组成可以分为backbone、neck和head三部分，其中，神经网络先通过backbone对人体姿态进行特征提取，再通过neck将特征融合得到特征图，该特征图用于表征图像的特征(例如颜色特征、灰度特征)等，最后检测头对该特征图解析获取特征参量。

本申请提供了一种人体姿态检测方法，可以通过获取人体关键点信息继而表示人体姿态，例如：图2是根据本申请实施例的人体关键点的示意图，该人体关键点具体包括：鼻子、脖颈、右肩、右肘、右手、左肩、左肘、左手、右髋、右膝、右脚、左髋、左膝、左脚、右眼、左眼、右耳、左耳，需要说明的是，人体关键点的数量对本申请中使用的算法并无核心影响，因此对具体的关键点数量不做限定，进一步的，本申请提供的方法可以但不限于应用于人体关键点的检测，还可以扩展到其他关键点检测领域，例如：手部关键点检测。

本申请提供了一种人体姿态检测方法，图3是根据本申请实施例的基于训练第一目标检测模型的流程图，如图3所示，所述流程包括如下步骤：

步骤S301，通过第一目标检测模型的神经网络在人体姿态数据集中提取得到特征图；

步骤S302，第一目标检测模型的检测头解析该特征图得到特征参量，其中，该第一目标检测模型通过神经网络中的backbone和neck对输入图像进行特征提取和特征融合得到特征图，检测头根据所获取得特征图进行解析，该特征参量包括：中心点定位分支、关键点偏移量分支、Wh包围盒分支、中心点优化分支、关键点优化分支和关键点热力图分支，其中，该中心点定位分支通过数值表示当前网格是否有人体存在，可以实现候选人体筛选，通过该关键点偏移量分支获取关键点位置，该Wh包围盒分支能够从对应网格中取出两个数值，用于表征当前人体以当前网格中心点为中心的包围盒大小，该中心点优化分支和关键点优化分支与中心点定位分支对应，其中，中心点优化分支用于表征当前人体中心点相对于网格中心的偏移量，关键点优化分支表征当前人体各个关键点相对于各个关键点对应网格中心点的偏移量；另外，关键点热力图提供数据集中关键点的高斯分布；

该检测头解析完成后，输出人体关键点检测结果；

该第一目标检测模型基于现有的单阶段关键点检测方法进行改进获得的，例如：CenterNet人体关键点检测算法模型；因为第一目标检测模型的分支较多，从而降低了原本单阶段关键点检测方法的便捷性，通过步骤S301至S303可以看出，该第一目标检测模型存在一定的优化空间，其中，中心点优化分支与关键点优化分支带来的提升不大，另外，关键点热力图分支与关键点偏移量分支的功能相重合，因此，通过将第一目标检测模型的网格结构简化并对其训练方法进行改进得到第二检测模型，该第二检测模型的网络结构仅保留了中心点定位分支、关键点偏移量分支、Wh包围盒分支。

本申请提供了一种人体姿态检测方法，图4是根据本申请实施例的一种人体姿态检测方法的网络结构示意图，如图4所示，第一目标检测模型网络结构中包括中心点定位分支、关键点偏移量分支、Wh包围盒分支、中心点优化分支、关键点优化分支和关键点热力图分支；第二目标检测模型网络结构中包括中心点定位分支、关键点偏移量分支、Wh包围盒分支；

本申请提供了一种人体姿态检测方法，图5是根据本申请实施例的基于训练第二目标检测模型的流程图，如图5所示，所述流程包括如下步骤：

步骤S501，训练第一目标检测模型，训练结束后，获取该第一目标检测的网络参数提供给第二检测模型；需要说明的是，由于第一目标检测模型的分支更多，相当于模型学习中的监督越多，对应的能够提取更为丰富的特征信息，所以在第一目标检测模型训练完成之后，获取其网络参数提供给第二检测模型，在第一目标检测模型的网络参数之上再对第二目标检测模型进行训练，可以获得更好的检测结果；即相当于，第一目标检测模型是从头开始训练的，将训练完成后的第一目标检测模型的网络参数直接提供给第二目标检测模型，让第二目标检测模型在此基础上继续学习，相比较于直接让第二目标检测模型从头开始训练，最终的检测效果更好。

步骤S502，通过第二目标检测模型的神经网络在人体姿态数据集中提取得到特征图；其中，人体姿态数据集包括人体图像和标注，人体图像提供真实环境下的人体姿态，标注提供对应图像中的人体关键点位置，训练数据可以根据实际应用场景手动采集，也可以使用公开数据集数据，手动采集数据集可以控制标注质量也更贴合实际场景，但是需要人工标注，工作量以及工作时间耗费较大；使用公开数据集便于模型效果横向比较，且标注可靠，但是可能无法完全贴合实际的使用场景导致效果略差。在本申请实施例中，采用公开数据为例进行说明；需要说明的是，实际人体关键点的数据标注根据数据集不同也存在差异，例如MSCOCO数据集标注17类关键点，对应的openpose算法调整为18类关键点；此外MPII数据集标注16类关键点，AI Challenge数据集标注14类关键点，PoseTrack数据集标注15类关键点，在本申请实施例中，所使用的数据集不同，仅仅影响最后关键点检测分支的特征图数量，对算法本身并无核心影响，因此本方法并不限制所使用的具体人体关键点数据集。

步骤S503，通过第二目标检测模型的检测头解析该特征图得到特征参量，该特征参量包括：中心点定位分支、关键点偏移量分支和Wh包围盒分支；其中，该关键点偏移量分支对应的特征图是由神经网络提取的特征图和Grid网格图叠加并融合生成的，因为神经网络的特征提取方法对具体的位置信息不敏感，故引入Grid图，该Grid图通过辅助提供绝对坐标信息，实现增强神经网络提取特征信息的能力，从而提升后续的检测效果，可选的，本申请中除关键点偏移量分支外的其他分支也可以采用引入Grid图来提升获取特征信息的能力；其中，检测头解析过程具体包括：中心点定位分支通过数值表示当前网格位置是否有人体存在，存在则数值趋向于1，不存在则数值趋向于0，通过该中心点定位分支可以实现候选人体的筛选；另外，关键点偏移量分支与中心点定位分支对应，可以从对应的网格中取出预设数量的数值，用于表征人体关键点相对于当前网格点的XY方向的偏移量；Wh包围盒分支同样与中心点定位分支对应，该Wh包围盒分支可以表征以当前网格点为中心的包围盒大小。

步骤S504，检测头解析完成后，输出人体关键点检测结果；该检测结果可以但不限于是通过关键点分支得到的posemAP和通过包围盒分支获取的detectionmAP，可选的，使用Adam优化器对第二目标检测模型进行训练，进一步的，第二目标检测模型训练完毕后，需要验证模型效果，本领域技术人员可以根据神经网络模型输出的检测结果筛选出检测效果比较好的模型并转换为MNN等格式后用于后续部署。

通过上述步骤S501至S504，相比较于相关技术中通过引入热力图分支，再通过最近邻匹配建立关键点与热力图关键点的联系，从而提升实际检测效果的方法，本申请实施例简化检测模型的网络结构，通过调整训练方法和增大关键点偏移量分支的权重系数，另外再引入Grid图提供绝对位置信息的方法，在不影响单阶段人体关键点检测方法便捷性的前提下，解决了现有技术中因为简化检测头导致的人体姿态检测效果降低的问题，相比较与现有buttonup和topdown人体姿态检测算法提高了检测速度，进一步的，与现有单阶段人体关键点检测算法的CenterNet方案相比，本方案在简化算法复杂度的前提下，对人体关键点检测效果可以与其接近。

在其中一些实施例中，图6是根据本申请实施例的Grid网格图的示意图，如图6所示，该网格图表示X方向与Y方向上的网格点坐标，可以提供绝对坐标信息，在实际网络前向时，可将该Grid网格图与初始特征图叠加并将其特征融合后提供给检测头解析，从而提升模型的检测效果，需要说明的是，送入的网格图可以使用绝对数值，也可以使用限制在0～1范围的归一化数值。

在其中一些实施例中，在第二目标模型训练时过程中，其关键点偏移量分支的权重系数大于在第一目标检测模型训练过程中的关键点偏移量分支的权重系数，需要说明的是，通过增大关键点偏移量分支的权重系数，能够使神经网络在训练过程中更加关注该关键点偏移量分支的训练，通过强调关键点偏移量分支的重要性，提升第二目标检测模型的人体姿态检测能力。

本申请提供了一种人体姿态检测方法，图7是根据本申请实施例的基于条件卷积方法训练目标检测模型的流程图，如图7所示，该流程包括如下步骤：

S701，通过第二目标检测模型的神经网络在人体姿态数据集中提取得到特征图；

S702，该目标检测模型的检测头解析该特征图得到特征参量；其中，该特征参量包括：中心点定位分支、关键点热力图分支和Wh包围盒分支，该关键点热力图分支包括特征分支和权值分支，所述权值分支与所述特征分支经过卷积计算得到所述关键点热力图对应的特征图；需要说明的是，神经网络在训练完成的情况下，得到的网络参数主要由卷积核参数组成，在训练完成后，该卷积核参数就不再变化，上述步骤S501至S505所述的方法即卷积核参数不变，即：在步骤S501至S505所述的方法中，对于任何输入X都能得到三个分支的特征图，然后对该特征图解析得到人体姿态检测结果；步骤S701至S703所述的方法中，权值分支对应的特征图并不是直接用来解析，而是提供一组卷积网络参数，将该卷积网络参数与特征分支对应的特征图完成卷积计算，获取到该关键点热力图对应的特征图送至检测头进行解析，另外，在所述特征分支对应的特征图中，添加Grid网格图提供绝对坐标信息辅助检测头解析；

S703，检测头解析完成后，输出人体关键点检测结果；

通过上述步骤S701至S703，相比较于相关技术中引入热力图分支，再通过最近邻匹配建立关键点与热力图关键点的联系，从而提升实际检测效果的方法，本申请通过引入条件卷积方案表征关键点热力图，将关键点检测问题视为语义分割问题进行处理，另外还添加Grid网格图辅助检测头检测的方法，在不影响实施便捷性的前提下，解决了现有技术中因为简化检测头导致的人体姿态检测效果降低的问题，相比较与现有buttonup和topdown人体姿态检测算法提高了检测速度，进一步的，与现有单阶段检测算法相比，本方案在简化算法复杂度的前提下，提升了人体关键点检测效果。

在其中一些实施例中，所述权值分支与所述中心点定位分支对应，能够从对应网格中获取卷积网络参数，所述卷积网络参数与所述特征分支对应的特征图经过卷积运算，得到所述关键点热力图对应的特征图后，将所述关键点热力图对应的特征图送入所述检测头解析。

在其中一些实施例中，在本实施例分别使用不同种类损失函数和热力图对目标检测模型进行训练，根据检测结果确定损失函数和热力图；其中，损失函应用于目标检测模型训练阶段，该损失函数通过在预测值与真实值之间计算损失实现网络监督；在本申请实施例中，损失函数可以是：MSE损失函数、Dice损失函数和FocalLoss损失函数，特征图表征方式可以是标准的热力图，也可以是二值化热力图，在目标检测模型训练结束时，通过最终检测效果发现选取Dice损失函数配合二值化热力图获取的检测效果最好，由此，该目标检测模型选取Dice损失函数配合二值化热力图。需要说明的是，由于本实施例中引入条件卷积，导致使用FocalLoss损失函数存在梯度爆炸的风险，即使加入数值保护后也无法得到较好的效果，所以FocalLoss损失函数并不适用于本方案。

为了更好说明上述两类方案的检测效果，将本申请实施例提供的方法的检测效果与相关技术的检测效果做对比验证；以基于mobilenetV2的28MB人体关键点检测模型为例，统一使用MSCOCO数据集训练模型，通过仅仅调整检测头以观察不同模型的检测效果，其中，关键点分支对应得到人体pose mAP，包围盒分支对应得到人体detection mAP：

原始CenterNet方案：pose 46.1，detection 39.7；

直接简化分支方案：pose 37.2，detection 39.8；

步骤S501至S504简化分支优化训练方法方案：pose 45.8，detection 44.4；

步骤S701至S703引用条件卷积方案：pose 48.1，detection 43.6。

可以看到，基于原始CenterNet方案直接简化网络结构完成压缩后，会导致人体姿态检测效果显著降低，通过简化结构后优化训练方法的方案改进以后，可以获得与原始CenterNet方案相当的检测效果；进一步的，通过条件卷积方案改进，可以获得比原始CenterNet方案更优的检测效果；此外，模型的detection效果也在优化过程中同步得到提升。

在其中一些实施例中，图8是根据本申请实施例的一种人体姿态估计方法的检测效果示意图，如图8所示，图8中从左至右分别是是直接简化分支方案、简化分支优化训练方法方案和引入条件卷积方案的人体姿态检测效果图，可以看到，条件卷积方案在人体手腕、脸部、腰部、脚腕等部分的检测效果更为准确，性能得到明显提升。

本实施例还提供了一种人体姿态检测系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图9是根据本申请实施例的一种人体姿态检测系统的结构框图，如图7所示，该系统包括输入单元91、特征提取单元92和特征解析单元93；该输入单元91用于获取公开数据集中的训练数据、该特征提取单元92用于特征提取并融合生成特征图、该特征解析单元93用于解析所述特征图获得特征参量。

在一个实施例中，图10是根据本申请实施例的电子设备的内部结构示意图，如图10所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人体姿态检测的方法。

本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人体姿态检测方法，其特征在于，所述方法包括：

第一目标检测模型训练完成后，获取所述第一目标检测模型的网络参数提供给第二目标检测模型；

基于人体姿态数据集和所述第一目标检测模型的网络参数训练所述第二目标检测模型包括：

通过所述第二目标检测模型的神经网络，在所述人体姿态数据集中提取得到特征图，所述第二目标检测模型的检测头解析所述特征图得到特征参量，所述特征参量包括：中心点定位分支、关键点偏移量分支和Wh包围盒分支，其中，所述关键点偏移量分支对应的所述特征图中添加有Grid网格图，所述Grid网格与所述神经网络获取的初始关键点偏移量特征图叠加并融合后，得到关键点偏移量分支对应的特征图；所述检测头解析所述特征图完成后，所述第二目标检测模型输出人体关键点检测结果；

部署训练完成的第二目标检测模型用于检测人体姿态。

2.根据权利要求1所述的方法，其特征在于，所述第一目标检测模型的特征参量包括中心点定位分支、关键点偏移量分支、Wh包围盒分支、中心点优化分支、关键点优化分支和关键点热力图分支。

3.根据权利要求1所述的方法，其特征在于，所述方法包括：在所述检测头解析所述关键点偏移量分支对应的特征图的过程中，所述Grid网格图辅助提供绝对坐标信息。

4.根据权利要求1所述的方法，其特征在于，所述基于人体姿态数据集和所述第一目标检测模型网络参数训练所述第二目标检测模型的过程中，所述第二目标检测模型的所述关键点偏移量分支的损失权重系数大于所述第一目标检测模型的所述关键点偏移量分支的所述损失权重系数。

5.一种人体姿态检测方法，其特征在于，所述方法包括：

基于人体姿态数据集训练目标检测模型包括：

通过所述目标检测模型的神经网络在所述人体姿态数据集中提取得到特征图，所述目标检测模型的检测头解析所述特征图得到特征参量，所述特征参量包括：中心点定位分支、关键点热力图分支和Wh包围盒分支；其中，所述关键点热力图分支包括特征分支和权值分支，所述权值分支与所述特征分支经过卷积计算得到所述关键点热力图对应的特征图；所述特征分支对应的所述特征图中添加有Grid网格图，所述Grid网格与所述神经网络获取的初始特征图叠加并融合后提供给检测头；所述检测头解析所述特征图完成后，所述目标检测模型输出人体关键点检测结果；

部署训练完成的目标检测模型用于人体姿态。

6.根据权利要求5所述的方法，其特征在于，所述权值分支与所述中心点定位分支对应，能够从对应网格中获取卷积网络参数，所述卷积网络参数与所述特征分支对应的特征图经过卷积运算，得到所述关键点热力图对应的特征图后，将所述关键点热力图对应的特征图送入所述检测头解析。

7.根据权利要求5所述的方法，其特征在于，所述基于人体姿态数据集训练目标检测模型还包括：采用第一预设损失函数训练所述目标检测模型后，通过所述目标检测模型获取第一人体姿态检测结果；采用第二预设损失函数训练所述目标检测模型后，通过所述目标检测模型获取第二人体姿态检测结果；在所述第一人体姿态检测结果优于所述第二人体姿态检测结果的情况下，部署阶段选取采用所述第一预设损失函数所训练的所述目标检测模型。

8.一种人体姿态检测系统，其特征在于，包括：输入单元、特征提取单元、特征解析单元；

所述输入单元用于收集公开数据集中的数据；

所述特征提取单元用于特征提取并融合生成特征图；

所述特征解析单元用于解析所述特征图获得特征参量。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的一种人体姿态检测方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的人体姿态检测方法。

Images