CN108960211B - 一种多目标人体姿态检测方法以及系统 - Google Patents

Abstract

本发明公开了一种多目标人体姿态检测方法以及系统，涉及图像处理领域。其中，该方法包括：获取目标图像；提取所述目标图像的关节点信息；根据所述关节点信息以及关节点之间的距离约束，获取各关节点之间的匹配信息；根据所述匹配信息，组合各关节点，完成所述目标图像中的人体姿态估计。进一步地，获取目标图像还包括对所述目标图像进行缩放，构建图像金字塔；通过设定金字塔层数和缩放尺度得到不同尺度下所述目标图像的缩放图像。本发明通过在关节点之间添加距离约束条件，能够有效解决不同目标之间关节点匹配错误的问题。

Description

一种多目标人体姿态检测方法以及系统

技术领域

本发明涉及图像处理领域，特别涉及一种基于图像的多目标人体姿态检测方法以及系统。

背景技术

随着互联网下海量大数据的积累、计算机硬件水平的飞速提升，使得基于深度神经网络的深度学习算法相比于传统的机器学习算法在计算机视觉领域，监控领域有着明显的性能提升，广泛应用于目标检测与识别、视频结构化和视频语义理解等场景。近年来，基于人体姿态的人体行为分析已经成为计算机视觉、视频监控、深度学习、机器学习等相关领域的研究热点。人体姿态估计目的在于通过人体关节点的信息让机器去理解并描述人体的动作、行为、人与人之间的互动关系等。

目前人体姿态估计技术主要分为自顶向下和自底向上两种方法。自顶向下：首先利用行人检测等方法检测出图像中的行人(人体)，然后根据获得的人体位置信息再进行人体关节点的检测与提取，完成人体姿态估计。这种方法检测速度依赖于画面中的目标个数，检测速度随着人体的个数增加而增加。同时，基于每个单一的人体进行姿态估计，忽略了人与人之间的位置关系，可能由于人与人之间的遮挡导致估计的关节重叠，造成人体姿态估计不准确。自底向上：首先根据输入的图像检测出所有的人体关节点位置信息，然后通过不同的方法对所有关节点进行重组与聚类，完成人体姿态估计。这种方法检测速度不依赖于画面中的目标个数，检测速度快且固定。但是，如何仅依靠关节点的位置信息如何快速判断是否属于同一个目标往往是个难以计算的问题，同时极有可能由于关节点的归类错误导致人体姿态估计的错误。

发明内容

为了克服如上所述的技术问题，本发明提出一种多目标人体姿态检测方法以及系统，通过在关节点之间添加距离约束条件，能够有效解决不同目标之间关节点匹配错误问题。本发明的技术方案如下：

第一方面，提出一种多目标人体姿态检测方法，包括：

获取目标图像；

提取所述目标图像的关节点信息；

根据所述关节点信息以及关节点之间的距离约束，获取各关节点之间的匹配信息；

根据所述匹配信息，组合各关节点，完成所述目标图像中的人体姿态估计。

进一步地，获取目标图像还包括对所述目标图像进行缩放，构建图像金字塔；通过设定金字塔层数和缩放尺度得到不同尺度下所述目标图像的缩放图像。

进一步地，所述目标图像的关节点信息包括关节点的置信度图和关节点之间的方向向量场。

第二方面，提出一种多目标人体姿态检测系统，包括：

图像获取模块，用于获取目标图像；

提取关节点信息模块，用于提取所述目标图像的关节点信息；

匹配关节点模块，用于根据所述关节点信息以及关节点之间的距离约束，获取各关节点之间的匹配信息；

组合关键点模块，用于根据所述匹配信息，组合各关节点，完成所述目标图像中的人体姿态估计。

第三方面，提出一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一条指令、至少一段程序由所述处理器执行以实现如第一方面所述的多目标人体姿态检测方法。

本发明提供的技术方案带来的有益效果是：

本发明首先通过获取目标图像，主要包括获取目标图像的特征数据，通过目标图像的特征数据可以提取该目标图像的关节点信息，这里的关节点信息主要包括关节点的置信度图和关节点之间的方向向量场，关节点之间的方向向量场表征的是关节点和关节点之间的连接关系，表示当前关节到下一关节的方向向量，与现有技术中获取各关节之间的匹配关系时仅考虑各关节点的置信度图和关节点之间的方向向量场相比，本发明还考虑各关节点之间的距离约束。这是因为，在实际场景下，同一画面中往往含有多个目标，容易出现目标关节点归类错位的问题，为避免此类问题，在本发明方案中，当各关节之间的距离满足一定的预设合理条件时，才会去进一步考虑各关节点之间的是否匹配，这样可以通过关节之间的距离约束排除一些不合理的关节匹配关系，帮助快速准确完成多目标关节匹配。进一步地，根据所述匹配信息，组合各关节点，完成所述目标图像中的人体姿态估计，提高了人体姿态检测的准确性与鲁棒性。

附图说明

图1为本发明的一种多目标人体姿态检测方法流程图；

图2为本发明一种多目标人体关节点位置和关节点方向向量场示意图；

图3所示为一种人体姿态错误估计的整体示意图；

图4为一种人体姿态错误估计的局部分析示意图；

图5为本发明公开的一种添加距离约束条件后关节点匹配示意图；

图6为本发明所示添加距离约束条件后多目标人体关节匹配正确的示意图；

图7所示为本发明的一种多目标人体姿态正确估计示意图；

图8所示为一种多目标人体姿态检测系统的示意图；

图9示出了本发明实施例所涉及的一种用于检测多目标人体姿态的计算机装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方案作进一步地详细描述。

如图1为本发明的一种多目标人体姿态检测方法流程图，示出了该方法的具体实施步骤，具体包括：

在步骤101中，获取目标图像；

获取图像数据，这里的目标图像是指需要进行人体姿态估计的图像，图像数据可来源于监控视频、无人机航拍、手机拍摄等能够获取图像数据的渠道。

在一种可能的实现中，还可对目标图像进行缩放处理，获取不同比例的图像来用于对不同尺度的目标进行检测，能够提升检测性能。具体地，本发明公开一种可能的实施情况，假设图像输入分辨率为1x3x500x360，即为3通道的500x360分辨率的RGB图像，并进行图像缩放，缩放至1x3x368x272大小。为了实现对不同大小的目标进行检测，提高检测性能，可以构建图像金字塔，本实施例中金字塔层数设定为3，缩放尺度为0.8，得到分辨率分别为1x3x368x272、1x3x288x208、1x3x224x160的图像金字塔。后续步骤的输入图像分辨率均以图像金字塔第一层1x3x368x272为例说明，其余层处理过程类似。

对上述图像经过图像检测、图像预处理和图像特征提取的常规图像处理手段，可得到图像金字塔中所有图像的特征数据。

在步骤102中，提取所述目标图像的关节点信息；

根据所述图像特征数据，在一种可能的实现中，可采用卷积神经网络提取所述目标图像的关节点信息。这里的关节点信息主要包括关节点的置信度图和关节点之间的方向向量场，置信度图表征的是人体关节点的概率图，通常呈现高斯分布的特性，表示关节点在当前图像中的位置信息，而关节点之间的方向向量场表征的则是关节点和关节点之间的连接关系，表示当前关节到下一关节的方向向量，比如肘关节和腕关节，两个关节之间的方向向量场由肘关节指向腕关节。

通过上述关节点信息，我们不仅能够知道关节的位置关系，还能知道关节和关节之间的连接关系，这是后续进行人体关节匹配的前提和基础。

在一种可能的实际操作中，关节点信息分别采用两个级联的卷积神经网络实现，一个卷积神经网络负责提取关节点的置信度图，另一个卷积神经网络负责提取关节点之间的方向向量场。

在表1中，示出了用于人体姿态估计的14个关节名称和对应的序号。

表1

具体地，结合表1，并对应步骤101中的实施例，在一种可能的实现中，选用两个主干网络类似的级联卷积神经网络，级联数为7。一个卷积神经网络负责提取关节点的置信度图，即得到1x14x46x17的关节点置信度图，其中14分别表示14个关节点置信度图。另一个卷积神经网络负责提取关节点之间的方向向量场，即得到1x26x46x17的关节点方向向量场图，其中14个关节共对应13个方向向量场，每个向量场有x和y两个坐标分别存于方向向量场图中，因此有13x2＝26层输出，表示存储方向向量场的方向向量信息。

需要说明的是，当通过步骤101建立图像金字塔时，本步骤中将对步骤101中图像金字塔中所有图像均进行关节点置信度图和关节点方向向量的提取，并对所提取的关节点置信度图和关节点方向向量进行加权平均或取极大值，得到最终的关节点置信度图和关节点方向向量场图。

最后分别将关节点置信度图和关节点方向向量场图缩放至输入图像大小，得到大小为1x14x368x272的关节点置信度图和大小为1x26x368x272的关节点方向向量场图。

综上所述，通过步骤101和步骤102可以得到目标图像的关节点位置信息和关节点方向向量场。在一种可能的实现中，如图2所示，为本发明一种多目标人体关节点位置和关节点方向向量场示意图。

在步骤103中，根据所述关节点信息以及关节点之间的距离约束，获取各关节点之间的匹配信息；

本步骤主要实现关节与关节之间的关联，即对属于同一个目标前后两个关节进行关联匹配。

需要说明的是，随着目标图像中人体数量的增加，可能会出现人体姿态错误估计问题。在一种可能的实现中，如图3所示为一种人体姿态错误估计的整体示意图，目标图像中同时出现人体A目标和人体B目标时，A目标的3号关节(A3)匹配到了B目标的4号关节(B4)，而导致B目标的3号关节无匹配项(序号与关节对应表参见表1)，正确的匹配关系应该是A目标的3号关节匹配A目标的4号关节，B目标的3号关节匹配B目标的4号关节，这种现象随着画面中人体数量的增多而出现的概率往往还会增大。

进一步地，图4为一种人体姿态错误估计的局部分析示意图，这里仅提取A目标的2、3、4号关节与B目标的2、3、4号关节进行分析。以A目标2、3、4号关节匹配为例，根据关节与关节之间的方向向量场的估计情况，2号关节的匹配关节只能是3号关节，因此候选关节有A目标3号关节和B目标3号关节，从图4可知A目标2号关节与A目标3号关节的连接向量比A目标2号关节与B目标3号关节的连接向量方向在方向上明显地更接近A目标2号关节的方向向量场，因此将A目标的2号关节与A目标的3号关节连接匹配。而A目标的3号关节匹配问题，由于A目标3号关节与B目标4号关节的连接向量比A目标3号关节与A目标4号关节的连接向量在方向上更接近A目标3号关节的方向向量场，导致A目标的3号关节点匹配错误。

而上述关节匹配错误的问题并不是个例，当关节点的方向向量场估计不准确时，在多目标人体关节关联匹配过程中均有可能发生这种情况，而容易理解的是，关节点的方向向量场的估计本身是存在一定误差的，不可能完全做到消除估计误差，另一方面，即便在一种理想情况下，关节点的方向向量场的估计与实际情况毫无出入时，同样存在不同目标之间的关节同时满足关节点的方向向量场的情况，而这时便需要引进一种新的能够更加准确地判断关节点之间匹配关系的标准或约束关系。

针对上述问题，本发明专利提出一种基于距离约束的关节点匹配方法，添加距离约束的理论依据在于画面中的人体关节点与关节点之间是必然存在一定的距离约束的，人体各关节之间是按照一定的距离比例组成的。距离约束表征两个相连的关节距离具有一定的约束性，即人体骨骼结构有一定的距离规律性，如两个相邻骨骼的距离必定小于人体身高，可以依据该距离规律性提取距离约束。

通过添加距离约束条件，可以使关节点匹配搜索范围限制在一定的距离约束下，如图5所示，为本发明公开的一种添加距离约束条件后关节点匹配示意图，图中A目标3号关节点匹配的时候，通过添加距离约束可使得A目标4号关节点在距离约束范围内，而B目标4号关节点由于超出距离约束范围，无法列入匹配候选关节点，因此A目标3号关节点可以正确的与A目标4号关节点进行匹配，匹配结果如图6，为本发明所示添加距离约束条件后多目标人体关节匹配正确的示意图。其中，具体的关节点约束条件添加过程如下：

获取两个关节点之间各像素的方向向量场和关节点连线向量的点积的积分

其中

表示两个关节之间的任意位置，因此u的取值范围为0≤u≤1，

和

分别表示两个关节点的位置，而L_c(p(u))为通过步骤101和步骤102估计得到的方向向量场；

通过添加关节点之间的距离约束，

δ为人为预设的距离阈值，所述积分公式进一步

若所述积分值大于预设的阈值，说明所述两个关节点是匹配的，反之，说明两个关节点不匹配，需要说明的是，这里的阈值大于0，越大说明两个关节的匹配度越高。所以，当关节点之间的距离大于阈值δ时，积值为零，便无法满足条件，可将距离不合理的关节排除掉，增加关节匹配的准确性。

需要说明的是，距离约束阈值δ的取值有两种形式，一种为根据画面中目标与画面大小比例换算，在一种可能的实际操作中，取标准距离阈值δ＝l，当画面中目标大小为a，画面大小为b，根据画面中目标与画面大小比例换算后，此时距离约束阈值

另一种为通过去掉最大值与最小值后的关节点连线距离均值乘以固定系数作为取值，在一种可能的实际操作中，人体14个关节点连线距离为20,20,15,15,30,38,18,18,16,16,5,5,2，去掉最大值38和最小值2后取均值为

乘以固定系数0.4后，距离约束阈值δ＝16.18×0.4＝6.47。需要说明的是，上述距离约束阈值δ的单位为像素。

在步骤104中，根据所述匹配信息，组合各关节点，完成所述目标图像中的人体姿态估计。

将步骤103中所得到的关节之间的匹配信息进行关节点组合，得到每个不同目标的人体关节点组合，完成人体姿态估计。人体关节点与关节点之间的关联方式是固定的，例如肘关节只能和肩关节与腕关节关联，不能与膝盖或者踝关节关联。因此，利用这种关联关系，结合获取的关节点匹配信息，可将不同的关节点进行归类，将属于同一个人的关节点进行聚合，得到正确的人体姿态图。

综上所述，通过步骤103和步骤104可通过目标图像的关节点信息得到正确的人体姿态图。在一种可能的实现中，如图7所示，为本发明的一种多目标人体姿态正确估计示意图。

在本实施例中，首先通过获取目标图像，主要包括获取目标图像的特征数据，通过目标图像的特征数据可以提取该目标图像的关节点信息，这里的关节点信息主要包括关节点的置信度图和关节点之间的方向向量场，关节点之间的方向向量场表征的是关节点和关节点之间的连接关系，表示当前关节到下一关节的方向向量，与现有技术中获取各关节之间的匹配关系时仅考虑各关节点的置信度图和关节点之间的方向向量场相比，本发明还考虑各关节点之间的距离约束。这是因为，在实际场景下，同一画面中往往含有多个目标，容易出现目标关节点归类错位的问题，为避免此类问题，在本发明方案中，当各关节之间的距离满足一定的预设阈值时，才会去进一步考虑各关节点之间的是否匹配，这样可以通过关节之间的距离约束排除一些不合理的关节匹配关系，帮助快速准确完成多目标关节匹配。进一步地，根据所述匹配信息，组合各关节点，完成所述目标图像中的人体姿态估计，提高了人体姿态检测的准确性与鲁棒性。

如图8所示为一种多目标人体姿态检测系统的示意图，示出了该系统中所包括的主要模块，包括：

在模块801中，图像获取模块，用于获取目标图像；

在模块802中，提取关节点信息模块，用于提取所述目标图像的关节点信息；

在模块803中，匹配关节点模块，用于根据所述关节点信息以及关节点之间的距离约束，获取各关节点之间的匹配信息；

在模块804中，组合关键点模块，用于根据所述匹配信息，组合各关节点，完成所述目标图像中的人体姿态估计。

需要说明的是，上述模块801至804的功能具体参见各模块对应的方法部分的描述，这里就不再赘述。

图9示出了本发明实施例所涉及的一种多目标人体姿态检测装置结构示意图。该装置包括：处理器901、存储器902和总线903。

处理器901包括一个或一个以上处理核心，处理器902通过总线903与处理器901相连，存储器903用于存储程序指令，处理器901执行存储器902中的程序指令时实现上述一种多目标人体姿态检测方法。

可选的，存储器902可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现上述方法实施例提供的多目标人体姿态检测方法。

可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的多目标人体姿态检测方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用于以限制发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种多目标人体姿态检测方法，其特征在于，包括：

获取目标图像；

提取所述目标图像的关节点信息，所述关节点信息包括关节点的置信度图和关节点之间的方向向量场；

根据所述关节点信息以及关节点之间的距离约束，获取各关节点之间的匹配信息；

根据所述匹配信息，组合各关节点，完成所述目标图像中的人体姿态估计；

所述根据所述关节点信息以及关节点之间的距离约束，获取各关节点之间的匹配信息，包括：

根据所述目标图像关节点之间的任意位置的方向向量场L_c(p(u))，获取两个关节点之间各像素的方向向量场和关节点连线向量的点积的积分

其中，

表示两个关节之间的任一位置，0≤u≤1，

和

分别表示两个关节点的位置；

通过添加关节点之间的距离约束

δ为人为预设的距离阈值，所述积分公式进一步为

若所述积分值大于预设的阈值，说明所述两个关节点是匹配的，反之，说明两个关节点不匹配。

2.根据权利要求1所述的方法，其特征在于，所述获取目标图像，包括：

对所述目标图像进行缩放，构建图像金字塔；

通过设定金字塔层数和缩放尺度得到不同尺度下所述目标图像的缩放图像。

3.根据权利要求2所述的方法，其特征在于，所述金字塔层数为3。

4.根据权利要求2所述的方法，其特征在于，所述缩放尺度为0.8。

5.根据权利要求1所述的方法，其特征在于，提取所述目标图像的关节点信息，包括：

根据所述图像特征数据，采用卷积神经网络提取所述目标图像的关节点信息。

6.根据权利要求1所述的方法，其特征在于，所述预设的阈值为根据画面中人体与画面大小比例换算得到。

7.根据权利要求1所述的方法，其特征在于，所述预设的阈值为去掉最大值与最小值后的关节点连线距离均值乘以固定系数得到。

8.一种多目标人体姿态检测系统，其特征在于，包括：

图像获取模块，用于获取目标图像；

提取关节点信息模块，用于提取所述目标图像的关节点信息；

匹配关节点模块，用于根据所述关节点信息以及关节点之间的距离约束，获取各关节点之间的匹配信息；

组合关键点模块，用于根据所述匹配信息，组合各关节点，完成所述目标图像中的人体姿态估计；

所述根据所述关节点信息以及关节点之间的距离约束，获取各关节点之间的匹配信息，包括：

根据所述目标图像关节点之间的任意位置的方向向量场L_c(p(u))，获取两个关节点之间各像素的方向向量场和关节点连线向量的点积的积分

其中，

表示两个关节之间的任一位置，0≤u≤1，

和

分别表示两个关节点的位置；

通过添加关节点之间的距离约束

δ为人为预设的距离阈值，所述积分公式进一步为

若所述积分值大于预设的阈值，说明所述两个关节点是匹配的，反之，说明两个关节点不匹配。

9.一种多目标人体姿态检测装置，所述装置包括处理器和存储器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如权利要求1至7任一所述的多目标人体姿态检测方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器执行以实现如权利要求1至7任一所述的多目标人体姿态检测方法。

Images