CN111753721A - 一种人体姿态的识别方法及装置 - Google Patents

Abstract

本申请公开一种人体姿态的识别方法及装置，属于图象处理技术领域，该方法包括：获取待处理图像，在待处理图像中对目标人体进行检测，得到目标人体的区域信息，根据该区域信息，分别对目标人体进行轮廓提取和关键点提取，根据提取的轮廓信息，确定目标人体的第一姿态信息，进而根据第一姿态信息和提取的关键点信息，确定目标人体的姿态，其中，关键点信息至少包括目标人体的关键点的位置信息。这样，根据目标人体的轮廓信息确定目标人体的第一姿态信息，结合第一姿态信息和目标人体的关键点信息确定目标人体的姿态，同时考虑了目标人体的关键点信息和轮廓信息，获得了较高的人体姿态识别准确率。

Description

一种人体姿态的识别方法及装置

技术领域

本申请涉及图像处理技术领域，尤其涉及一种人体姿态的识别方法及装置。

背景技术

随着图像处理技术的快速发展，图像处理技术在治安场景中的应用也越来越广泛。为了更好地进行治安管理，治安场景中经常会存在需要识别人体姿态的情况。

下面以识别跌倒姿态为例对相关技术中的人体姿态识别方案进行介绍。

相关技术中，预先获取多个图像样本，对每个图像样本标注是否为跌倒姿态的标签，之后，以图像样本中人体的关键点为输入、图像样本的标签为输出，训练用于识别跌倒姿态的二分类模型。后续，对获取的待处理图像中的人体进行关键点检测，将检测到的人体的关键点输入到训练的二分类模型中，根据二分类模型的输出确定待处理图像中的人体是否为跌倒姿态。这种人体姿态识别方式仅考虑了人体的关键点信息，识别的准确率比较低。

发明内容

本申请实施例提供一种人体姿态的识别方法及装置，用以解决现有技术中存在的人体姿态的识别准确率比较低的问题。

第一方面，本申请实施例提供的一种人体姿态的识别方法，包括：

获取待处理图像；

在所述待处理图像中进行人体检测处理，得到目标人体的区域信息；

根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取；

根据提取的轮廓信息，确定所述目标人体的第一姿态信息；

根据所述第一姿态信息和提取的关键点信息，确定所述目标人体的姿态，所述关键点信息至少包括所述目标人体的关键点的位置信息。

在一种可能的实施方式中，在根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取之前，还包括：

从所述待处理图像中裁剪所述区域信息对应的图像区域；

将裁剪得到的子图像的尺寸调整到预设尺寸；以及

根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取，包括：

在调整尺寸后的所述子图像中，分别对目标人体进行轮廓提取和关键点提取。

在一种可能的实施方式中，在将裁剪得到的子图像的尺寸调整到预设尺寸之前，还包括：

确定所述子图像中不包含除所述目标人体之外的人体。

在一种可能的实施方式中，将裁剪得到的子图像的尺寸调整到预设尺寸，包括：

直接将所述子图像的尺寸调整到预设尺寸；或者

对所述子图像进行像素填充处理，使所述子图像的尺寸比达到所述预设尺寸的尺寸比，将填充处理后的所述子图像的尺寸调整到所述预设尺寸。

在一种可能的实施方式中，提取的关键点信息还包括所述目标人体的每个关键点的遮挡类别信息，以及在根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取之前，还包括：

根据各关键点的遮挡类别信息，确定所述目标人体被除所述目标人体之外的对象遮挡的目标关键点；

确定所述目标关键点的数量少于设定数量。

在一种可能的实施方式中，根据提取的轮廓信息，确定所述目标人体的第一姿态信息，包括：

根据提取的轮廓信息和各预设姿态类别的轮廓特征，确定所述目标人体对应的目标姿态类别。

在一种可能的实施方式中，根据所述第一姿态信息和提取的关键点信息，确定所述目标人体的姿态，包括：

根据所述关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定所述目标人体对应每种预设姿态的概率；

从各概率中选择所述目标人体对应每种备选姿态的概率，所述备选姿态是各预设姿态中属于所述目标姿态类别的姿态；

将概率最大的备选姿态，确定为所述目标人体的姿态。

在一种可能的实施方式中，根据所述第一姿态信息和提取的关键点信息，确定所述目标人体的姿态，包括：

从各预设姿态中选择属于所述目标姿态类别的姿态作为备选姿态；

根据所述关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定所述目标人体对应每种备选姿态的概率；

将概率最大的备选姿态，确定为所述目标人体的姿态。

在一种可能的实施方式中，根据提取的轮廓信息，确定所述目标人体的第一姿态信息，包括：

根据提取的轮廓信息和各预设姿态的轮廓特征，确定所述目标人体对应每种预设姿态的第一概率。

在一种可能的实施方式中，根据所述第一姿态信息和提取的关键点信息，确定所述目标人体的姿态，包括：

根据所述关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定所述目标人体对应每种预设姿态的第二概率；

根据所述目标人体对应每种预设姿态的第一概率、所述第一概率的权重、所述目标人体对应该种预设姿态的第二概率、以及所述第二概率的权重，计算所述目标人体对应该种预设姿态的概率；

将概率最大的预设姿态，确定为所述目标人体的姿态。

在一种可能的实施方式中，根据以下公式计算所述目标人体对应该种预设姿态的概率P：

P＝α*p₁+β*p₂；

其中，p₁为所述目标人体对应该种预设姿态的第一概率，α为所述第一概率的权重，p₂为所述目标人体对应该种预设姿态的第二概率，β为所述第二概率的权重。

第二方面，本申请实施例提供的一种人体姿态的识别装置，包括：

获取模块，用于获取待处理图像；

检测模块，用于在所述待处理图像中进行人体检测处理，得到目标人体的区域信息；

处理模块，用于根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取；

第一确定模块，用于根据提取的轮廓信息，确定所述目标人体的第一姿态信息；

第二确定模块，用于根据所述第一姿态信息和提取的关键点信息，确定所述目标人体的姿态，所述关键点信息至少包括所述目标人体的关键点的位置信息。

在一种可能的实施方式中，还包括：

预处理模块，用于在根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取之前，从所述待处理图像中裁剪所述区域信息对应的图像区域；将裁剪得到的子图像的尺寸调整到预设尺寸；

所述处理模块，具体用于在调整尺寸后的所述子图像中，分别对目标人体进行轮廓提取和关键点提取。

在一种可能的实施方式中，所述预处理模块还用于：

在将裁剪得到的子图像的尺寸调整到预设尺寸之前，确定所述子图像中不包含除所述目标人体之外的人体。

在一种可能的实施方式中，所述预处理模块具体用于：

直接将所述子图像的尺寸调整到预设尺寸；或者

对所述子图像进行像素填充处理，使所述子图像的尺寸比达到所述预设尺寸的尺寸比，将填充处理后的所述子图像的尺寸调整到所述预设尺寸。

在一种可能的实施方式中，提取的关键点信息还包括所述目标人体的每个关键点的遮挡类别信息，以及还包括：

预处理模块，用于在根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取之前，根据各关键点的遮挡类别信息，确定所述目标人体被除所述目标人体之外的对象遮挡的目标关键点；确定所述目标关键点的数量少于设定数量。

在一种可能的实施方式中所述第一确定模块具体用于：

根据提取的轮廓信息和各预设姿态类别的轮廓特征，确定所述目标人体对应的目标姿态类别。

在一种可能的实施方式中，所述第二确定模块具体用于：

所述关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定所述目标人体对应每种预设姿态的概率；

从各概率中选择所述目标人体对应每种备选姿态的概率，所述备选姿态是各预设姿态中属于所述目标姿态类别的姿态；

将概率最大的备选姿态，确定为所述目标人体的姿态。

在一种可能的实施方式中，所述第二确定模块具体用于：

从各预设姿态中选择属于所述目标姿态类别的姿态作为备选姿态；

根据所述关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定所述目标人体对应每种备选姿态的概率；

将概率最大的备选姿态，确定为所述目标人体的姿态。

在一种可能的实施方式中，所述第一确定模块具体用于：

根据提取的轮廓信息和各预设姿态的轮廓特征，确定所述目标人体对应每种预设姿态的第一概率。

在一种可能的实施方式中，所述第二确定模块具体用于：

根据所述关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定所述目标人体对应每种预设姿态的第二概率；

根据所述目标人体对应每种预设姿态的第一概率、所述第一概率的权重、所述目标人体对应该种预设姿态的第二概率、以及所述第二概率的权重，计算所述目标人体对应该种预设姿态的概率；

将概率最大的预设姿态，确定为所述目标人体的姿态。

在一种可能的实施方式中，所述第二确定模块具体用于根据以下公式计算所述目标人体对应该种预设姿态的概率P：

P＝α*p₁+β*p₂；

其中，p₁为所述目标人体对应该种预设姿态的第一概率，α为所述第一概率的权重，p₂为所述目标人体对应该种预设姿态的第二概率，β为所述第二概率的权重。

第三方面，本申请实施例提供的一种电子设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

存储器存储有可被至少一个处理器执行的指令，该指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述人体姿态的识别方法。

第四方面，本申请实施例提供的一种计算机可读介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述人体姿态的识别方法。

本申请实施例中，获取待处理图像，在待处理图像中对目标人体进行检测，得到目标人体的区域信息，根据该区域信息，分别对目标人体进行轮廓提取和关键点提取，根据提取的轮廓信息，确定目标人体的第一姿态信息，进而根据第一姿态信息和提取的关键点信息，确定目标人体的姿态，其中，关键点信息至少包括目标人体的关键点的位置信息。这样，根据目标人体的轮廓信息确定目标人体的第一姿态信息，结合第一姿态信息和目标人体的关键点信息确定目标人体的姿态，同时考虑了目标人体的关键点信息和轮廓信息，考虑的信息比较全面，获得了较高的人体姿态识别准确率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种人体姿态的识别方法的流程图；

图2是本申请实施例提供的一种目标人体的关键点的分布示意图；

图3为本申请实施例提供的一种确定目标人体的姿态的流程图；

图4为本申请实施例提供的一种直立不弯腰姿态的示意图；

图5为本申请实施例提供的一种直立弯腰姿态的示意图；

图6为本申请实施例提供的一种坐在地上姿态的示意图；

图7为本申请实施例提供的一种坐在物体上姿态的示意图；

图8为本申请实施例提供的一种蹲姿态的示意图；

图9为本申请实施例提供的一种跪姿态的示意图；

图10为本申请实施例提供的一种跌倒姿态的示意图；

图11为本申请实施例提供的又一种确定目标人体的姿态的流程图；

图12为本申请实施例提供的再一种确定目标人体的姿态的流程图；

图13为本申请实施例提供的又一种人体姿态的识别方法的流程图；

图14为本申请实施例提供的关键点被目标人体自身遮挡的示意图；

图15为本申请实施例提供的关键点被除目标人体之外的对象遮挡的示意图；

图16为本申请实施例提供的一种人体姿态的识别装置的结构示意图；

图17为本申请实施例提供的一种用于实现人体姿态的识别方法的电子设备的硬件结构示意图。

具体实施方式

为了解决现有技术中存在的人体姿态的识别准确率比较低的问题，本申请实施例提供了一种人体姿态的识别方法及装置。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本申请实施例提供的人体姿态的识别方法可应用于任何需要对人体姿态进行识别的场景，如在监控区域中识别倒地行为，在旅游区域识别不文明行为等。

图1为本申请实施例提供的一种人体姿态的识别方法的流程图，该方法包括以下步骤：

S101：获取待处理图像。

具体实施时，待处理图像可以是单独拍摄的一幅图像，也可以是视频序列中的一幅图像。

S102：在待处理图像中进行人体检测处理，得到目标人体的区域信息。

一般地，目标人体的区域为矩形，所以目标人体的区域信息即为目标人体所在的矩形区域的区域信息。

S103：根据区域信息，分别对目标人体进行轮廓提取和关键点提取。

具体实施时，可从待处理图像中裁剪出区域信息对应的图像区域，之后，在裁剪出的子图像中对目标人体进行轮廓提取，得到目标人体的轮廓信息；以及在裁剪出的子图像中对目标人体进行关键点提取，得到目标人体的关键点信息。图2是本申请实施例提供的一种目标人体的关键点的分布示意图，其中，共包含14个关键点，数字1、2……14代表关键点的编号。

S104：根据提取的轮廓信息，确定目标人体的第一姿态信息。

在一种可能的实施方式中，可以根据提取的轮廓信息和各预设姿态类别的轮廓特征，确定目标人体对应的目标姿态类别。即，此时，第一姿态信息为目标人体对应的目标姿态类别。

假设预设姿态为：直立不弯腰、直立小弯腰、直立大弯腰、坐在地上、坐在物体上、蹲、跪、跌倒、躺倒。

那么，直立不弯腰、直立小弯腰、直立大弯腰对应的预设姿态类别可以为：直立；坐在地上、坐在物体上、蹲、跪对应的预设姿态类别可以为：屈膝；跌倒、躺倒对应的预设姿态类别可以为：卧倒。

其中，直立的轮廓特征可以是：轮廓竖直且偏高；屈膝的轮廓特征可以是：轮廓竖直且偏低；卧倒的轮廓特征可以是：轮廓水平。

在另一种可能的实施方式中，可以根据提取的轮廓信息和各预设姿态的轮廓特征，确定目标人体对应每种预设姿态的第一概率。即，此时，第一姿态信息为目标人体对应每种预设姿态的第一概率。

具体实施时，可预先训练以人体的轮廓信息为输入、人体的姿态为输出的姿态识别模型，这样，姿态识别模型可学习到每种预设姿态的轮廓特征，那么，将目标人体的轮廓信息输入到训练完毕的姿态识别模型中，即可控制姿态识别模型输出目标人体对应每种预设姿态的第一概率。

S105：根据第一姿态信息和提取的关键点信息，确定目标人体的姿态，其中，关键点信息至少包括目标人体的关键点的位置信息。

当第一姿态信息为目标人体对应的目标姿态类别时，可以按照图3所示的流程确定目标人体的姿态，该流程包括以下步骤：

S301a：根据关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定目标人体对应每种预设姿态的概率。

具体实施时，每种预设姿态中各关键点之间的相对位置关系都有自身的特征。参考图2中关键点的编号，比如：

直立不弯腰姿态中各关键点之间的相对位置关系特征为：关键点2、3、6、9、10、11、12、13、14基本在一个平面内，参见图4；

直立小弯腰姿态中各关键点之间的相对位置关系特征为：关键点2、3、6、9、12所在的平面与关键点9、10、11、12、13、14所在的平面之间的夹角大于预设值β，参见图5，比如β＝150°；

直立大弯腰姿态中各关键点之间的相对位置关系特征为：关键点2、3、6、9、12所在的平面与关键点9、10、11、12、13、14所在的平面之间的夹角不大于预设值β，同样参见图5，比如β＝150°；

坐在地上姿态中时各关键点之间的相对位置关系特征为：关键点10、13的位置高于关键点9、11、12、14的位置，参见图6。

坐在物体上姿态中时各关键点之间的相对位置关系特征为：关键点9、10、12、13所在的平面与关键点10、11、13、14所在的平面之间的夹角大于预设值θ，参见图7，比如θ＝180°；

蹲姿态中各关键点之间的相对位置关系特征为：关键点2、3、6、9、12所在的平面与9、10、12、13所在的平面之间的夹角小于预设值φ1，且关键点9、10、12、13所在的平面与关键点10、11、13、14所在的平面之间的夹角大于预设值φ2，参见图8，比如φ1＝60°，φ2＝270°；

跪姿态中各关键点之间的相对位置关系特征为：关键点9、10、12、13所在的平面与关键点10、11、13、14所在的平面之间的夹角δ位于预设范围内，参见图9，比如30°<δ<180°；

跌倒姿态中各关键点之间的相对位置关系特征为：关键点2、3、6、9、10、11、12、13、14所在的平面与垂直平面之间的夹角大于预设值γ，参见图10，比如γ＝30°。

躺倒姿态中各关键点之间的相对位置关系特征为：关键点2、3、6、9、10、11、12、13、14基本在一个平面内。

进一步地，根据关键点信息和各预设姿态中关键点之间的相对位置关系特征，即可确定目标人体对应每种预设姿态的概率。

S302a：从各概率中选择目标人体对应每种备选姿态的概率，其中，备选姿态是各预设姿态中属于目标姿态类别的姿态。

比如，若目标姿态类别为直立，则从各概率中选择目标人体对应直立不弯腰、直立小弯腰、直立大弯腰的概率；若目标姿态类别为屈膝，则从各概率中选择目标人体对应坐在地上、坐在物体上、蹲、跪的概率；若目标姿态类别为卧倒，则从各概率中选择目标人体对应跌倒、躺倒的概率。

S303a：将概率最大的备选姿态，确定为目标人体的姿态。

该方案中，预先根据人体轮廓特点对各种预设姿态进行分类，根据目标人体的轮廓信息确定目标人体对应的目标姿态类别，根据目标人体的关键点信息，从各种预设姿态属于目标姿态类别的备选姿态中确定目标人体的姿态，这样，结合考虑了目标人体的轮廓信息和关键点信息在确定人体姿态时的联系，人体姿态的识别准确率更高。

当第一姿态信息为目标人体对应的目标姿态类别时，还可以按照图11所示的流程确定目标人体的姿态，该流程包括以下步骤：

S1101a：从各预设姿态中选择属于目标姿态类别的姿态作为备选姿态。

比如，若目标姿态类别为直立，则选择直立不弯腰、直立小弯腰、直立大弯腰作为备选姿态；若目标姿态类别为屈膝，则选择坐在地上、坐在物体上、蹲、跪作为备选姿态；若目标姿态类别为卧倒，则选择跌倒、躺倒作为备选姿态。

S1102a：根据关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定目标人体对应每种备选姿态的概率。

该步骤实施可参见S301a，在此不再赘述。

S1103a：将概率最大的备选姿态，确定为目标人体的姿态。

该方案中，预先根据人体轮廓特点对各种预设姿态进行分类，根据目标人体的轮廓信息确定目标人体对应的目标姿态类别，从各种预设姿态中选择属于目标姿态类别的备选姿态，根据利用目标人体的关键点信息确定目标人体对应每种备选姿态的概率，然后，将概率最大的备选姿态确定为目标人体的姿态，这样，结合考虑了目标人体的轮廓信息和关键点信息在确定人体姿态时的联系，，可提高人体姿态的识别准确率。而且，该方案仅需根据关键点信息确定目标人体对应每种备选姿态的概率，而不是目标人体对应每种备选姿态的概率，因此，还可提高人体姿态的识别速度。

此外，当目标人体站立时从正面拍摄目标人体和当目标人体躺倒时从正面拍摄目标人体，最终得到的待处理图像中目标人体的关键点之间的相对位置关系特征是类似的，但实际上目标人体的姿态却是不一样的。也就是说，只利用关键点信息对目标人体姿态的识别准确率可能不高。而上述两个方案中，均利用了根据轮廓特征确定的目标姿态类别对各预设姿态进行了筛选，因此，还可较好地解决透视场景下的人体姿态识别问题。

具体实施时，当第一姿态信息为目标人体对应每种预设姿态的第一概率时，可以按照图12所示的流程确定目标人体的姿态，该流程包括以下步骤：

S1201a：根据关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定目标人体对应每种预设姿态的第二概率。

该步骤的实施可参见S301a。

S1202a：根据目标人体对应每种预设姿态的第一概率、第一概率的权重、目标人体对应该种预设姿态的第二概率、以及第二概率的权重，计算目标人体对应该种预设姿态的概率。

比如，根据以下公式计算目标人体对应每种预设姿态的概率P：

P＝α*p₁+β*p₂；

其中，p₁为目标人体对应该种预设姿态的第一概率，α为第一概率的权重，p₂为目标人体对应该种预设姿态的第二概率，β为第二概率的权重。

S1203a：将概率最大的预设姿态，确定为目标人体的姿态。

该方案中，利用目标人体的轮廓信息确定目标人体对应每种预设姿态的第一概率，并利用目标人体的关键点信息确定目标人体对应每种预设姿态的第二概率，结合目标人体对应每种预设姿态的第一概率和第二概率，确定目标人体对应该种预设姿态的概率，进而取概率最大的预设姿态为目标人体的姿态，这样，结合考虑了目标人体的轮廓信息和关键点信息在确定人体姿态时的联系，可提高人体姿态识别的准确率。

实际应用中，在确定出目标人体的姿态之后，可根据目标人体的姿态执行后续业务处理流程，比如，若确定该目标人体的姿态为跌倒，或者，若确定该目标人体的姿态不文明，则可向管理人员发送告警信息，以便管理人员及时到现场进行处理。

图13为本申请实施例提供的又一种人体姿态的识别方法的流程图，该方法包括以下步骤：

S1301：获取待处理图像。

其中，待处理图像可以是单独拍摄的一幅图像，也可以是视频序列中的一幅图像。

S1302：在待处理图像中进行人体检测处理，得到目标人体的区域信息。

一般地，目标人体的区域为矩形，所以目标人体的区域信息即为目标人体所在的矩形区域的区域信息。

S1303：从待处理图像中裁剪该区域信息对应的图像区域。

S1304：判断裁剪得到的子图像中是否不包含除目标人体之外的人体，若否，则进入S1305；若是，则进入S1306。

一般地，一个矩形框内包含一个人体，但在有些情况下，一个矩形中可能会包含不止一个人体，此时，不同人体之间的关键点可能会有重叠，不能很好地识别出目标人体的姿态，因此，可不再执行后续的处理流程。

具体实施时，可预先训练用于识别矩形框中是否包含多个人体的模型，将子图像输入到该模型中，模型即可输出用于表示子图像中是否仅包含一个人体的信息，若该信息表示子图像中只包含一个人体，则可继续执行后续的姿态识别流程；若该信息表示子图像中不止包含一个人体，则可结束本流程。

S1305：结束本流程。

S1306：将子图像的尺寸调整到预设尺寸。

具体实施时，为了进一步提升人体姿态的识别准确率，可将子图像的尺寸调整到预设尺寸。

一种情况，为了提升处理速度，可直接将子待处理图像的尺寸调整到预设尺寸。

另一种情况，为了防止形变、进一步提升识别准确度，也可以按照预设尺寸的尺寸比对子待处理图像进行像素填充处理，使填充处理后子待处理图像的尺寸比与预设尺寸的尺寸比相同，然后，再将填充处理后的子待处理图像的尺寸调整到预设尺寸。

S1307：在调整尺寸后的子图像中，对目标人体进行轮廓提取，得到目标人体的轮廓信息。

S1308：在调整尺寸后的子图像中，对目标人体进行关键点提取，得到目标人体的关键点信息，其中，关键点信息包括目标人体的关键点的位置信息和遮挡类别信息。

其中，关键点的遮挡类别信息如：未被遮挡、被目标人体遮挡、被除目标人体之外的对象遮挡，这里，被目标人体遮挡的情况可参见图14，被除目标人体之外的对象遮挡的情况可参见图15。

具体实施时，可训练深度学习网络模型，利用该深度学习网络模型既可得到目标人体中关键点的位置信息，又可得到每个关键点的遮挡类别信息。

S1309：根据各关键点的遮挡类别信息，确定目标人体被除目标人体之外的对象遮挡的目标关键点。

S1310：判断目标关键点的数量是否少于设定数量，若否，则进入S1305；若是，则进入S1311。

具体实施时，若确定目标关键点的数量少于预设数量，则说明目标人体的大部分关键点未被外部对象(除目标人体之外的对象)遮挡，仍然可以执行后续的姿态识别流程；若确定目标关键点的数量不少于预设数量，则说明目标人体的大部分关键点被外部对象遮挡，后续姿态识别的准确度难以保证，因此，可结束本流程。

S1311：根据目标人体的轮廓信息，确定目标人体的第一姿态信息。

在一种可能的实施方式下，可根据提取的轮廓信息和各预设姿态类别的轮廓特征，确定目标人体对应的目标姿态类别。即，第一姿态信息为目标人体对应的目标姿态类别。

在另一种可能的实施方式下，可根据提取的轮廓信息和各预设姿态的轮廓特征，确定目标人体对应每种预设姿态的第一概率。即，第一姿态信息为目标人体对应每种预设姿态的第一概率。

S1312：根据第一姿态信息和目标人体的的关键点信息，确定目标人体的姿态。

具体实施时，当第一姿态信息为目标人体对应的目标姿态类别时，可以采用以下两种方式确定目标人体的姿态。

方式一：根据关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定目标人体对应每种预设姿态的概率，然后，从各概率中选择目标人体对应每种备选姿态的概率，将概率最大的备选姿态，确定为目标人体的姿态，其中，备选姿态是各预设姿态中属于所述目标姿态类别的姿态。

方式二：从各预设姿态中选择属于目标姿态类别的姿态作为备选姿态，根据关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定目标人体对应每种备选姿态的概率，然后，将概率最大的备选姿态，确定为目标人体的姿态。

具体实施时，当第一姿态信息为目标人体对应每种预设姿态的第一概率时，可以采用以方式确定目标人体的姿态。

根据关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定目标人体对应每种预设姿态的第二概率，根据目标人体对应每种预设姿态的第一概率、第一概率的权重、目标人体对应该种预设姿态的第二概率、以及第二概率的权重，计算目标人体对应该种预设姿态的概率，进而将概率最大的预设姿态，确定为目标人体的姿态。

实际应用中，在确定出目标人体的姿态之后，可根据目标人体的姿态执行后续业务处理流程，比如，若确定该目标人体的姿态为跌倒，或者，若确定该目标人体的姿态不文明，则可向管理人员发送告警信息，以便管理人员及时到现场进行处理。

在一种可能的实施方式中，可借助于Resnet分类网络来识别待处理图像中目标人体的姿态。

具体实施时，Resnet分类网络的输入可以是待处理图像和待处理图像中目标人体的关键点，Resnet分类网络的输出是待处理图像中目标人体的姿态。此时，可将每个关键点在待处理图像中的位置作为一个通道的图像特征，假设待处理图像中目标人体的关键点总数为14，那么，输入Resnet分类网络的是待处理图像的RGB三通道的图像特征和14关键点对应的14个通道的图像特征，即输入Resnet分类网络的为17个通道的图像特征，这样，既考虑了待处理图像中目标人体的关键点信息，又考虑了待处理图像的RGB特征，利于提升Resnet分类网络最终的姿态分类准确度。

此外，本申请实施例提供的方案还可应用于视频序列。对视频序列中的每个待处理图像应用本申请实施例提供的人体姿态识别方法，即可得到目标人体在该待处理图像中的姿态，进而利用目标人体在连续若干个待处理图像中的姿态，还可分析目标人体在视频序列中的运动情况。

当本申请实施例中提供的方法以软件或硬件或软硬件结合实现的时候，电子设备中可以包括多个功能模块，每个功能模块可以包括软件、硬件或其结合。

图16为本申请实施例提供的一种人体姿态的识别装置的结构示意图，包括获取模块1601、检测模块1602、处理模块1603、第一确定模块1604和第二确定模块1605。

获取模块1601，用于获取待处理图像；

检测模块1602，用于在所述待处理图像中进行人体检测处理，得到目标人体的区域信息；

处理模块1603，用于根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取；

第一确定模块1604，用于根据提取的轮廓信息，确定所述目标人体的第一姿态信息；

第二确定模块1605，用于根据所述第一姿态信息和提取的关键点信息，确定所述目标人体的姿态，所述关键点信息至少包括所述目标人体的关键点的位置信息。

在一种可能的实施方式中，还包括：

预处理模块1606，用于在根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取之前，从所述待处理图像中裁剪所述区域信息对应的图像区域；将裁剪得到的子图像的尺寸调整到预设尺寸；

所述处理模块1603，具体用于在调整尺寸后的所述子图像中，分别对目标人体进行轮廓提取和关键点提取。

在一种可能的实施方式中，所述预处理模块1606还用于：

在将裁剪得到的子图像的尺寸调整到预设尺寸之前，确定所述子图像中不包含除所述目标人体之外的人体。

在一种可能的实施方式中，所述预处理模块1606具体用于：

直接将所述子图像的尺寸调整到预设尺寸；或者

对所述子图像进行像素填充处理，使所述子图像的尺寸比达到所述预设尺寸的尺寸比，将填充处理后的所述子图像的尺寸调整到所述预设尺寸。

在一种可能的实施方式中，提取的关键点信息还包括所述目标人体的每个关键点的遮挡类别信息，以及还包括：

预处理模块1606，用于在根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取之前，根据各关键点的遮挡类别信息，确定所述目标人体被除所述目标人体之外的对象遮挡的目标关键点；确定所述目标关键点的数量少于设定数量。

在一种可能的实施方式中，所述第一确定模块1604具体用于：

根据提取的轮廓信息和各预设姿态类别的轮廓特征，确定所述目标人体对应的目标姿态类别。

在一种可能的实施方式中，所述第二确定模块1605具体用于：

所述关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定所述目标人体对应每种预设姿态的概率；

从各概率中选择所述目标人体对应每种备选姿态的概率，所述备选姿态是各预设姿态中属于所述目标姿态类别的姿态；

将概率最大的备选姿态，确定为所述目标人体的姿态。

在一种可能的实施方式中，所述第二确定模块1605具体用于：

从各预设姿态中选择属于所述目标姿态类别的姿态作为备选姿态；

根据所述关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定所述目标人体对应每种备选姿态的概率；

将概率最大的备选姿态，确定为所述目标人体的姿态。

在一种可能的实施方式中，所述第一确定模块1604具体用于：

根据提取的轮廓信息和各预设姿态的轮廓特征，确定所述目标人体对应每种预设姿态的第一概率。

在一种可能的实施方式中，所述第二确定模块1605具体用于：

根据所述关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定所述目标人体对应每种预设姿态的第二概率；

根据所述目标人体对应每种预设姿态的第一概率、所述第一概率的权重、所述目标人体对应该种预设姿态的第二概率、以及所述第二概率的权重，计算所述目标人体对应该种预设姿态的概率；

将概率最大的预设姿态，确定为所述目标人体的姿态。

在一种可能的实施方式中，所述第二确定模块1605具体用于根据以下公式计算所述目标人体对应该种预设姿态的概率P：

P＝α*p₁+β*p₂；

其中，p₁为所述目标人体对应该种预设姿态的第一概率，α为所述第一概率的权重，p₂为所述目标人体对应该种预设姿态的第二概率，β为所述第二概率的权重。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。各个模块相互之间的耦合可以是通过一些接口实现，这些接口通常是电性通信接口，但是也不排除可能是机械接口或其它的形式接口。因此，作为分离部件说明的模块可以是或者也可以不是物理上分开的，既可以位于一个地方，也可以分布到同一个或不同设备的不同位置上。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

图17为本申请实施例提供的一种电子设备的结构示意图，该电子设备包括收发器1701以及处理器1702等物理器件，其中，处理器1702可以是一个中央处理单元(centralprocessing unit，CPU)、微处理器、专用集成电路、可编程逻辑电路、大规模集成电路、或者为数字处理单元等等。收发器1701用于电子设备和其他设备进行数据收发。

该电子设备还可以包括存储器1703用于存储处理器1702执行的软件指令，当然还可以存储电子设备需要的一些其他数据，如电子设备的标识信息、电子设备的加密信息、用户数据等。存储器1703可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1703也可以是非易失性存储器(non-volatilememory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1703是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1703可以是上述存储器的组合。

本申请实施例中不限定上述处理器1702、存储器1703以及收发器1701之间的具体连接介质。本申请实施例在图17中仅以存储器1703、处理器1702以及收发器1701之间通过总线1704连接为例进行说明，总线在图17中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图17中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

处理器1702可以是专用硬件或运行软件的处理器，当处理器1702可以运行软件时，处理器1702读取存储器1703存储的软件指令，并在所述软件指令的驱动下，执行前述实施例中涉及的人体姿态的识别方法。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行前述实施例中涉及的人体姿态的识别方法。

在一些可能的实施方式中，本申请提供的人体姿态的识别方法的各个方面还可以实现为一种程序产品的形式，所述程序产品中包括有程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使所述电子设备执行前述实施例中涉及的人体姿态的识别方法。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本申请实施例中用于人体姿态的识别的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备上运行。然而，本申请的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种人体姿态的识别方法，其特征在于，包括：

获取待处理图像；

在所述待处理图像中进行人体检测处理，得到目标人体的区域信息；

根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取；

根据提取的轮廓信息，确定所述目标人体的第一姿态信息；

根据所述第一姿态信息和提取的关键点信息，确定所述目标人体的姿态，所述关键点信息至少包括所述目标人体的关键点的位置信息。

2.如权利要求1所述的方法，其特征在于，在根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取之前，还包括：

从所述待处理图像中裁剪所述区域信息对应的图像区域；

将裁剪得到的子图像的尺寸调整到预设尺寸；以及

根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取，包括：

在调整尺寸后的所述子图像中，分别对目标人体进行轮廓提取和关键点提取。

3.如权利要求2所述的方法，其特征在于，在将裁剪得到的子图像的尺寸调整到预设尺寸之前，还包括：

确定所述子图像中不包含除所述目标人体之外的人体。

4.如权利要求2所述的方法，其特征在于，将裁剪得到的子图像的尺寸调整到预设尺寸，包括：

直接将所述子图像的尺寸调整到预设尺寸；或者

对所述子图像进行像素填充处理，使所述子图像的尺寸比达到所述预设尺寸的尺寸比，将填充处理后的所述子图像的尺寸调整到所述预设尺寸。

5.如权利要求1所述的方法，其特征在于，提取的关键点信息还包括所述目标人体的每个关键点的遮挡类别信息，以及在根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取之前，还包括：

根据各关键点的遮挡类别信息，确定所述目标人体被除所述目标人体之外的对象遮挡的目标关键点；

确定所述目标关键点的数量少于设定数量。

6.如权利要求1-5任一所述的方法，其特征在于，根据提取的轮廓信息，确定所述目标人体的第一姿态信息，包括：

根据提取的轮廓信息和各预设姿态类别的轮廓特征，确定所述目标人体对应的目标姿态类别。

7.如权利要求6所述的方法，其特征在于，根据所述第一姿态信息和提取的关键点信息，确定所述目标人体的姿态，包括：

根据所述关键点信息和各预设姿态中关键点之间的相对位置关系特征，确定所述目标人体对应每种预设姿态的概率；

从各概率中选择所述目标人体对应每种备选姿态的概率，所述备选姿态是各预设姿态中属于所述目标姿态类别的姿态；

将概率最大的备选姿态，确定为所述目标人体的姿态。

8.一种人体姿态的识别装置，其特征在于，包括：

获取模块，用于获取待处理图像；

检测模块，用于在所述待处理图像中进行人体检测处理，得到目标人体的区域信息；

处理模块，用于根据所述区域信息，分别对目标人体进行轮廓提取和关键点提取；

第一确定模块，用于根据提取的轮廓信息，确定所述目标人体的第一姿态信息；

第二确定模块，用于根据所述第一姿态信息和提取的关键点信息，确定所述目标人体的姿态，所述关键点信息至少包括所述目标人体的关键点的位置信息。

9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中：

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7任一所述的方法。

10.一种计算机可读介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行如权利要求1-7任一所述的方法。

Images