CN114241604A - 姿态检测的方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开涉及一种姿态检测的方法、装置、电子设备和存储介质，涉及姿态检测技术领域，该方法包括：获取包含目标对象的待检测图像，根据待检测图像，确定目标对象的姿态参数和目标对象的关键点的位置信息，关键点用于指示目标对象的指定位置，根据姿态参数和位置信息，确定目标对象的姿态是否存在异常。本公开通过从待检测图像中分别获取目标对象的姿态参数和关键点的位置信息，并结合姿态参数和关键点的位置信息，来进行姿态检测，提高了检测目标对象的姿态的准确度，能够避免误判目标对象的姿态是否存在异常。

Description

姿态检测的方法、装置、电子设备和存储介质

技术领域

本公开涉及姿态检测技术领域，尤其涉及一种姿态检测的方法、装置、电子设备和存储介质。

背景技术

当前，越来越多的人长时间在不正确的姿态下进行工作与学习，这会对人的身心健康造成影响。因此，提醒和纠正不正确的姿态具有重要的实际意义。

相关技术中，主要是使用神经网络图像识别技术对姿态进行简单分类训练来检测不正确的姿态，或者通过传感器(例如角度传感器和红外传感器)获取相关的姿态信息来进行姿态检测。然而，采用这两种方式进行姿态检测的准确率较低，容易误判用户的姿态是否存在异常。

发明内容

为克服相关技术中存在的问题，本公开提供一种姿态检测的方法、装置、电子设备和存储介质。

根据本公开实施例的第一方面，提供一种姿态检测的方法，所述方法包括：

获取包含目标对象的待检测图像；

根据所述待检测图像，确定所述目标对象的姿态参数和所述目标对象的关键点的位置信息；所述关键点用于指示所述目标对象的指定位置；

根据所述姿态参数和所述位置信息，确定所述目标对象的姿态是否存在异常。

可选地，所述根据所述待检测图像，确定所述目标对象的姿态参数和所述目标对象的关键点的位置信息，包括：

根据所述待检测图像，通过预先训练好的姿态检测模型，确定所述姿态参数和所述位置信息。

可选地，所述姿态检测模型包括姿态参数确定模型和关键点识别模型；所述根据所述待检测图像，通过预先训练好的姿态检测模型，确定所述姿态参数和所述位置信息，包括：

根据所述待检测图像，通过所述姿态参数确定模型，确定所述姿态参数；

将所述待检测图像输入到所述关键点识别模型中，得到每个所述关键点的位置信息。

可选地，所述姿态参数为所述目标对象的指定部位的姿态角度，所述姿态角度包括所述指定部位的俯仰角、偏航角和翻滚角；所述根据所述待检测图像，通过所述姿态参数确定模型，确定所述姿态参数，包括：

从所述待检测图像中，获取包含所述指定部位的目标图像；

将所述目标图像输入到所述姿态参数确定模型中，得到所述姿态角度。

可选地，所述根据所述姿态参数和所述位置信息，确定所述目标对象的姿态是否存在异常，包括：

根据所述位置信息，确定每个预设关键点集合对应的多个关键点距离；每个所述预设关键点集合包括至少三个关键点；

根据所述姿态参数和所述关键点距离，确定所述目标对象的姿态是否存在异常。

可选地，所述根据所述姿态参数和所述关键点距离，确定所述目标对象的姿态是否存在异常，包括：

针对每个所述预设关键点集合，根据该预设关键点集合对应的多个关键点距离，确定该预设关键点集合对应的至少一个距离比值；所述距离比值为两个所述关键点距离之间的比值；

在所述姿态参数处于预设参数范围外，和/或至少一个所述预设关键点集合对应的距离比值不处于预设比值范围，确定所述目标对象的姿态存在异常。

可选地，所述姿态参数确定模型是通过以下方式训练的：

获取训练样本集；所述训练样本集包括训练图像和所述训练图像对应的训练姿态参数；

根据所述训练样本集对预设模型进行训练，得到所述姿态参数确定模型。

根据本公开实施例的第二方面，提供一种姿态检测的装置，所述装置包括：

获取模块，被配置为获取包含目标对象的待检测图像；

参数确定模块，被配置为根据所述待检测图像，确定所述目标对象的姿态参数和所述目标对象的关键点的位置信息；所述关键点用于指示所述目标对象的指定位置；

异常确定模块，被配置为根据所述姿态参数和所述位置信息，确定所述目标对象的姿态是否存在异常。

可选地，所述参数确定模块被配置为根据所述待检测图像，通过预先训练好的姿态检测模型，确定所述姿态参数和所述位置信息。

可选地，所述参数确定模块包括：

参数确定子模块，被配置为根据所述待检测图像，通过所述姿态参数确定模型，确定所述姿态参数；

处理子模块，被配置为将所述待检测图像输入到所述关键点识别模型中，得到每个所述关键点的位置信息。

可选地，所述姿态参数为所述目标对象的指定部位的姿态角度，所述姿态角度包括所述指定部位的俯仰角、偏航角和翻滚角；参数确定子模块被配置为：

从所述待检测图像中，获取包含所述指定部位的目标图像；

将所述目标图像输入到所述姿态参数确定模型中，得到所述姿态角度。

可选地，所述异常确定模块包括：

距离确定子模块，被配置为根据所述位置信息，确定每个预设关键点集合对应的多个关键点距离；每个所述预设关键点集合包括至少三个关键点；

异常确定子模块，被配置为根据所述姿态参数和所述关键点距离，确定所述目标对象的姿态是否存在异常。

可选地，所述异常确定子模块被配置为：

针对每个所述预设关键点集合，根据该预设关键点集合对应的多个关键点距离，确定该预设关键点集合对应的至少一个距离比值；所述距离比值为两个所述关键点距离之间的比值；

在所述姿态参数处于预设参数范围外，和/或至少一个所述预设关键点集合对应的距离比值不处于预设比值范围，确定所述目标对象的姿态存在异常。

可选地，所述姿态参数确定模型是通过以下方式训练的：

获取训练样本集；所述训练样本集包括训练图像和所述训练图像对应的训练姿态参数；

根据所述训练样本集对预设模型进行训练，得到所述姿态参数确定模型。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行本公开第一方面所提供的姿态检测的方法的步骤。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的姿态检测的方法的步骤。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开通过先获取包含目标对象的待检测图像，再根据待检测图像，确定目标对象的姿态参数和目标对象的关键点的位置信息，其中，关键点用于指示目标对象的指定位置，最后根据姿态参数和位置信息，确定目标对象的姿态是否存在异常。本公开通过从待检测图像中分别获取目标对象的姿态参数和关键点的位置信息，并结合姿态参数和关键点的位置信息，来进行姿态检测，提高了检测目标对象的姿态的准确度，能够避免误判目标对象的姿态是否存在异常。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种姿态检测的方法的流程图。

图2是根据图1所示实施例示出的一种步骤102的流程图。

图3是根据一示例性实施例示出的一种姿态参数的示意图。

图4是根据图1所示实施例示出的一种步骤103的流程图。

图5是根据一示例性实施例示出的一种异常坐姿的示意图。

图6是根据一示例性实施例示出的另一种异常坐姿的示意图。

图7是根据一示例性实施例示出的一种训练姿态参数确定模型的流程图。

图8是根据一示例性实施例示出的一种姿态检测的装置的框图。

图9是根据图8所示实施例示出的一种参数确定模块的框图。

图10是根据图8所示实施例示出的一种异常确定模块的框图。

图11是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在介绍本公开提供的姿态检测的方法、装置、电子设备和存储介质之前，首先对本公开各个实施例所涉及应用场景进行介绍。该应用场景可以是任一种需要检测目标对象的姿态的场景。其中，目标对象可以是人，也可以是动物，还可以是能够呈现一定姿态的仪器设备(例如智能机器人)，本公开对此不做具体限定。例如，人在看书学习或观看终端设备的屏幕所展示的内容(如，上网课、看电影等)的过程中，常常会不自主地离书本或屏幕过近造成眼部疲劳，或坐姿不良造成脊柱侧弯，影响身心健康，需要检测人的坐姿是否存在异常，以在人的坐姿存在异常时，及时提示恢复正常坐姿，从而确保人的身心健康。再例如，在健身、舞蹈等场景下，还可以检测人的动作姿态是否存在异常(即检测人的动作姿态是否标准)。

图1是根据一示例性实施例示出的一种姿态检测的方法的流程图。如图1所示，该方法可以包括以下步骤：

在步骤101中，获取包含目标对象的待检测图像。

示例地，在对目标对象的姿态进行检测时，需要预先在指定位置处设置图像采集装置。其中，该图像采集装置可以是照相机、摄像头或红外图像传感器等能够采集图像的装置，指定位置可以为该图像采集装置能够拍摄到完整的目标对象的姿态的任意位置。然后，可以通过图像采集装置采集包含有目标对象的待检测图像。例如，在目标对象为人的情况下，当目标对象在看书学习时，可以将摄像头设置在台灯上，以在目标对象坐在台灯前时拍摄包含目标对象上半身的待检测图像，并以该待检测图像检测目标对象的坐姿是否存在异常(即检测目标对象的姿态是否存在异常)。再例如，在目标对象为人的情况下，当目标对象观看终端设备(如智能手机、平板电脑和笔记本电脑等)的屏幕所展示的内容时，可以使用终端设备自带的摄像头作为图像采集装置，以在目标对象坐在终端设备前时拍摄包含目标对象上半身的待检测图像，并以该待检测图像检测用户的坐姿是否存在异常。

在步骤102中，根据待检测图像，确定目标对象的姿态参数和目标对象的关键点的位置信息。其中，关键点用于指示目标对象的指定位置。

举例来说，为了能够准确地检测目标对象的姿态，可以通过从待检测图像中提取可量化的参数，并利用该参数来判断目标对象的姿态是否存在异常。具体地，可以选取目标对象的姿态参数和目标对象的关键点的位置信息作为可量化的参数来判断目标对象的姿态是否存在异常，再预先训练用于从待检测图像中提取姿态参数和关键点的位置信息的姿态检测模型，并在获取到待检测图像之后，根据待检测图像，通过预先训练好的姿态检测模型，确定姿态参数和位置信息。其中，姿态参数为能够反映目标对象的姿态的可测量参数，例如可以是目标对象的指定部位的姿态角度、高度或运动速度等。关键点用于指示目标对象的指定位置，例如，在目标对象为人的情况下，关键点可以是预先设置的目标对象的多个特定的人体部位(如，眼睛、耳朵、鼻子、嘴角、脖子、肩膀、胸口正中、膝关节、脚、手肘、手等人体部位)。

在步骤103中，根据姿态参数和位置信息，确定目标对象的姿态是否存在异常。

示例地，目标对象的姿态存在异常时与目标对象的姿态不存在异常时，目标对象的某些关键点之间的距离不同。以目标对象在看书学习为例，坐姿不正确时鼻尖对应的关键点与肩顶对应的关键点之间的距离，要比坐姿正确时鼻尖对应的关键点与肩顶对应的关键点之间的距离要小。因此，可以利用关键点之间的关键点距离，来确定目标对象的姿态是否存在异常。同时还可以预先根据大量实验确定当目标对象的姿态存在异常时目标对象的异常姿态参数，并根据异常姿态参数设置一个用于判断目标对象的姿态是否存在异常的预设参数范围。

进一步地，在确定姿态参数和位置信息后，可以先根据关键点的位置信息确定目标对象的关键点之间的关键点距离，再根据关键点距离确定目标对象的姿态是否存在异常。同时，还可以结合目标对象的姿态参数来确定目标对象的姿态是否存在异常。当目标对象的姿态参数处于预设参数范围外时，则认为目标对象的姿态存在异常，否则，则认为目标对象的姿态不存在异常。

然后，如果确定目标对象的姿态存在异常，则可以发出提示信息，以及时提示目标对象恢复正常的姿态。例如，在目标对象为人的情况下，当目标对象观看终端设备的屏幕所展示的内容时，若确定目标对象的姿态存在异常，则可以通过在终端设备的屏幕上显示相应的提示文字(如“请调整坐姿”)，也可以是通过控制终端设备上的指示灯按照预设的方式进行闪烁(如控制指示灯按照预设的频率和颜色进行闪烁)，还可以是通过控制终端设备上的扬声器发出语音提示，以提示用户恢复正常的姿态，达到预防近视和脊柱侧弯的效果。

需要说明的是，为了提高姿态检测的准确度和稳定性，可以先获取包含目标对象的多个待检测图像，之后对每一个待检测图像执行步骤102至步骤103，确定每一个待检测图像中目标对象的姿态是否为存在异常，并记录确定目标对象的姿态为存在异常的待检测图像的第一数量，和确定目标对象的姿态不存在异常的待检测图像的第二数量。最后可以根据第一数量和第二数量来确定目标对象的姿态是否存在异常。例如若第一数量大于或等于第二数量，则确定目标对象的姿态为存在异常，否则确定目标对象的姿态不存在异常。

综上所述，本公开通过先获取包含目标对象的待检测图像，再根据待检测图像，确定目标对象的姿态参数和目标对象的关键点的位置信息，其中，关键点用于指示目标对象的指定位置，最后根据姿态参数和位置信息，确定目标对象的姿态是否存在异常。本公开通过从待检测图像中分别获取目标对象的姿态参数和关键点的位置信息，并结合姿态参数和关键点的位置信息，来进行姿态检测，提高了检测目标对象的姿态的准确度，能够避免误判目标对象的姿态是否存在异常。

图2是根据图1所示实施例示出的一种步骤102的流程图。如图2所示，姿态检测模型包括姿态参数确定模型和关键点识别模型，步骤102可以包括以下步骤：

在步骤1021中，根据待检测图像，通过姿态参数确定模型，确定姿态参数。

举例来说，姿态检测模型可以包括姿态参数确定模型和关键点识别模型。其中，姿态参数确定模型和关键点识别模型可以是两个相互独立的不同的模型，也可以是同一个模型。姿态参数确定模型用于根据待检测图像确定目标对象的姿态参数，而关键点识别模型用于根据待检测图像确定目标对象的关键点的位置信息。

在一种场景中，姿态参数可以为目标对象的指定部位的姿态角度，姿态角度可以包括指定部位的俯仰角、偏航角和翻滚角。具体地，可以预先根据标注有不同姿态角度的训练图像，来训练得到姿态参数确定模型。在对姿态参数确定模型训练完成后，可以从待检测图像中，获取包含指定部位的目标图像。例如，在检测人的坐姿是否存在异常的场景下，指定部位可以是人的头部，姿态角度则为人的头部的俯仰角、偏航角和翻滚角，如图3所示，图3中的pitch为俯仰角，yaw为偏航角，roll为翻滚角，此时姿态参数实际上表示的是人的头部的三维姿态。那么在获取到待检测图像后，可以先对待检测图像进行人脸检测，以定位目标对象的人脸位置。之后可以从待检测图像裁剪出人脸图像(即获取包含目标对象的头部的图像)，再对人脸图像进行缩放(如将人脸图像缩放到112x112大小)，并对缩放后的人脸图像进行像素值归一化，得到目标图像。

在得到目标图像之后，可以将目标图像输入到姿态参数确定模型中，得到姿态角度，即得到姿态参数确定模型输出的目标对象的头部的俯仰角、偏航角和翻滚角。

在步骤1022中，将待检测图像输入到关键点识别模型中，得到每个关键点的位置信息。

示例地，在确定姿态参数的同时，还可以将待检测图像输入到关键点识别模型中，关键点识别模型输出的每个关键点的位置信息。其中，关键点的位置信息可以是关键点的位置坐标。例如，在检测人的坐姿是否存在异常的场景下，关键点可以为人体的骨骼点(如，鼻尖、下巴、左右眼、左右耳、左右肩所对应的骨骼点)，此时关键点识别模型可以为骨骼点检测模型。在获取到待检测图像后，可以将待检测图像输入到骨骼点检测模型中，得到骨骼点检测模型输出的每个骨骼点的位置坐标(即每个关键点的位置信息)。

图4是根据图1所示实施例示出的一种步骤103的流程图。如图4所示，步骤103可以包括以下步骤：

在步骤1031中，根据位置信息，确定每个预设关键点集合对应的多个关键点距离。其中，每个预设关键点集合包括至少三个关键点。

举例来说，可以预先对目标对象的姿态存在异常时关键点之间的距离以及目标对象的姿态不存在异常时关键点之间的距离进行对比分析，以选取指定数量个预设关键点集合。其中，每个预设关键点集合包括了至少三个能够判断目标对象的姿态是否存在异常的关键点。然后可以根据每个关键点的位置信息，确定每个预设关键点集合对应的多个关键点距离。

在步骤1032中，根据姿态参数和关键点距离，确定目标对象的姿态是否存在异常。

进一步地，可以针对每个预设关键点集合，根据该预设关键点集合对应的多个关键点距离，确定该预设关键点集合对应的至少一个距离比值。其中，距离比值为两个关键点距离之间的比值。再在姿态参数处于预设参数范围外，和/或至少一个预设关键点集合对应的距离比值不处于预设比值范围，确定目标对象的姿态存在异常。

例如，在检测人的坐姿是否存在异常的场景下，若姿态参数为人的头部的俯仰角、偏航角和翻滚角，可以预先设置在人的坐姿不存在异常时俯仰角、偏航角和翻滚角各自对应的预设参数范围。再在获取到姿态参数确定模型输出的目标对象的头部的俯仰角、偏航角和翻滚角之后，判断目标对象的头部的俯仰角、偏航角和翻滚角是否符合预设参数范围(即判断俯仰角、偏航角和翻滚角是否处于各自对应的预设参数范围内)。若符合，则确定人的坐姿不存在异常，若不符合，则确定人的坐姿存在异常。同时，在人的坐姿不存在异常时鼻尖分别与左肩顶、右肩顶之间的距离基本一致。而在人的坐姿存在异常时人的头部可能会出现偏向肩膀某一侧的情况，如图5所示，这种情况长期保持会导致用户脊柱侧弯，可以利用鼻尖与左右肩之间的距离来确定人的坐姿是否存在异常。因此可以将鼻尖、左肩顶和右肩顶对应的三个关键点作为一个预设关键点集合，并预先设置一个预设比值范围(如，0.9-1.1)，该预设比值范围用于表征在人的坐姿不存在异常时鼻尖对应的关键点和左肩顶对应的关键点的关键点距离，与鼻尖对应的关键点和右肩顶对应的关键点的关键点距离之间的比值的范围。在获取到关键点识别模型输出的每个关键点的位置信息后，可以计算鼻尖对应的关键点和左肩顶对应的关键点之间的关键点距离，以及鼻尖对应的关键点和右肩顶对应的关键点之间的关键点距离。再计算这两个关键点距离之间的距离比值，并判断该距离比值是否处于预设比值范围内。若处于，则确定人的坐姿不存在异常，若不处于，则确定人的坐姿存在异常。

进一步地，关键点距离不仅可以是两个关键点之间的连线距离，还可以是两个关键点在垂直方向上的距离。例如，在检测人的坐姿是否存在异常的场景下，当头部的姿态角度正常，且头部在两肩之间的距离对称时，还存在其他异常的坐姿(如，人趴在书桌上的情况，容易导致人弓背)。以下以人趴在书桌上这种异常的坐姿为例进行说明，如图6所示。如果头部的姿态角度正常(即头部没有俯仰)，那眼睛到鼻尖的距离是恒定的，而如果人趴在书桌上，鼻尖到肩顶(左肩顶或右肩顶)的距离则会缩短，此时眼睛到鼻尖的距离与鼻尖到肩顶的距离的比值会超出正常范围。因此，可以将眼睛、鼻尖、肩顶对应的三个关键点作为一个预设关键点集合，并预先设置一个预设比值范围，该预设比值范围用于表征在人的坐姿不存在异常时眼睛对应的关键点和鼻尖对应的关键点在垂直方向上的关键点距离，与鼻尖对应的关键点和肩顶对应的关键点在垂直方向上的关键点距离之间的比值的范围。在获取到关键点识别模型输出的每个关键点的位置信息后，可以计算眼睛对应的关键点与鼻尖对应的关键点在垂直方向上的关键点距离，鼻尖对应的关键点与肩顶对应的关键点在垂直方向上的关键点距离。再计算这两个关键点距离之间的距离比值，并判断该距离比值是否处于预设比值范围内。若处于，则确定人的坐姿不存在异常，若不处于，则确定人的坐姿存在异常。

需要说明的是，预设关键点集合可以为多个，每个预设关键点集合都可以计算一个对应的距离比值，且只要有一个预设关键点集合对应的距离比值不处于预设比值范围，就可以确定目标对象的姿态存在异常。

另外，在实际使用的过程中，目标对象不一定正对图像采集装置，俯仰角、偏航角和翻滚角会随应用设备的不同而不同，同时目标对象的差异也会导致预设参数范围和预设比值范围不一定完全适合。因此，在实际使用的过程中可以为目标对象提供参数调节功能(即可以对预设参数范围和预设比值范围进行调整)，以提高姿态检测的准确度和适应性。例如，为了提高对异常的坐姿检测的准确度，用户可以在第一次进行姿态检测时以正常的坐姿和图像采集装置常用的摆放位置进行一次修正，以更新预设参数范围和预设比值范围。

图7是根据一示例性实施例示出的一种训练姿态参数确定模型的流程图。如图7所示，姿态参数确定模型是通过以下步骤训练得到的：

在步骤201中，获取训练样本集，训练样本集包括训练图像和训练图像对应的训练姿态参数。

举例来说，在训练姿态参数确定模型时，可以将图像采集装置固定在正对目标对象的位置，采集大量不同目标对象在不同姿态下的图像(例如，10000张)作为训练图像，并标注出每个训练图像对应的训练姿态参数。其中，训练图像需要涵盖不同的姿态。然后可以将每个训练图像和该训练图像对应的训练姿态参数作为训练样本集。

例如，在检测人的坐姿是否存在异常的场景下，训练图像可以包括头部端正、低头、仰头，头部左偏和头部右偏等多种姿态。在获取到训练图像后，可以对训练图像，利用人脸检测算法(如，使用CenterFace网络对训练图像进行人脸检测)，以定位出训练图像中的人脸，并裁剪出清晰完整的人脸图像。然后，可以通过人工标注的方式标注出人脸的关键点(如，左右眼角点、鼻尖点、左右嘴角点等21点)，再根据标注出的人脸的关键点，利用Opencv图像库的solvePnP投影函数拟合通用的68点平均人脸模型(如BFM三维人脸模型)，并求解拟合参数，得到每个训练图像对应的3维姿态以及该3维姿态对应的训练姿态参数。

在步骤202中，根据训练样本集对预设模型进行训练，得到姿态参数确定模型。

具体地，可以每次取N张训练图像作为训练样本，其中N为训练过程每一次迭代的图像数量，例如可以取N＝256。之后可以对于每一张训练图像，通过双线性差值将训练图像的尺寸统一缩放到112x112大小，并利用归一化公式，对每一张训练图像进行像素值归一化。其中，归一化公式可以表示为：I_Norm＝(I-127.5)/127.5，I_Norm表示归一化后的训练图像，I表示原训练图像。然后可以将归一化后的训练图像作为预设模型的输入，再将训练图像对应的训练姿态参数作为预设模型的输出，来对预设模型进行训练，并在训练过程中利用损失函数对预设模型进行更新，直至预设模型满足预设训练条件，得到姿态参数确定模型。其中，预设训练条件例如可以是使用全部训练图像对预设模型完成了一次训练，损失函数可以使用smooth L1损失函数，损失函数可以表示为：

x表示预设模型所估计的姿态参数和训练姿态参数的差值。

需要说明的是，预设模型可以使用卷积神经网络，主要分为骨干网络和头部网络两部分，骨干网络可以采用轻量级网络结构MobileNet，以提取图像的语义特征，头部网络可以由7*7池化层和256*3维全连接层组成，以将骨干网络提取的特征进行融合，输出3维的姿态参数。例如，在姿态参数为俯仰角、偏航角和翻滚角的情况下，头部网络可以输出三维姿态参数向量，记为Pose，Pose可以表示为：Pose＝{pitch，yaw，roll}，其中，pitch，yaw，roll分别表示目标对象指定部位的俯仰角、偏航角和翻滚角。另外，还可以使用后处理公式对Pose进行后处理，以将Pose由弧度转化为常见的角度单位。其中，后处理公式可以表示为：

综上所述，本公开通过先获取包含目标对象的待检测图像，再根据待检测图像，确定目标对象的姿态参数和目标对象的关键点的位置信息，其中，关键点用于指示目标对象的指定位置，最后根据姿态参数和位置信息，确定目标对象的姿态是否存在异常。本公开通过从待检测图像中分别获取目标对象的姿态参数和关键点的位置信息，并结合姿态参数和关键点的位置信息，来进行姿态检测，提高了检测目标对象的姿态的准确度，能够避免误判目标对象的姿态是否存在异常。

图8是根据一示例性实施例示出的一种姿态检测的装置的框图。如图8所示，该装置300包括获取模块301，参数确定模块302和异常确定模块303。

获取模块301，被配置为获取包含目标对象的待检测图像。

参数确定模块302，被配置为根据待检测图像，确定目标对象的姿态参数和目标对象的关键点的位置信息。其中，关键点用于指示目标对象的指定位置。

异常确定模块303，被配置为根据姿态参数和位置信息，确定目标对象的姿态是否存在异常。

可选地，参数确定模块被配置为根据待检测图像，通过预先训练好的姿态检测模型，确定姿态参数和位置信息。

图9是根据图8所示实施例示出的一种参数确定模块的框图。如图9所示，参数确定模块302包括：

参数确定子模块3021，被配置为根据待检测图像，通过姿态参数确定模型，确定姿态参数。

处理子模块3022，被配置为将待检测图像输入到关键点识别模型中，得到每个关键点的位置信息。

可选地，姿态参数为目标对象的指定部位的姿态角度，姿态角度包括指定部位的俯仰角、偏航角和翻滚角。参数确定子模块3021被配置为：

从待检测图像中，获取包含指定部位的目标图像。

将目标图像输入到姿态参数确定模型中，得到姿态角度。

图10是根据图8所示实施例示出的一种异常确定模块的框图。如图10所示，异常确定模块303包括：

距离确定子模块3031，被配置为根据位置信息，确定每个预设关键点集合对应的多个关键点距离。每个预设关键点集合包括至少三个关键点。

异常确定子模块3032，被配置为根据姿态参数和关键点距离，确定目标对象的姿态是否存在异常。

可选地，异常确定子模块3032被配置为：

针对每个预设关键点集合，根据该预设关键点集合对应的多个关键点距离，确定该预设关键点集合对应的至少一个距离比值。其中，距离比值为两个关键点距离之间的比值。

在姿态参数处于预设参数范围外，和/或至少一个预设关键点集合对应的距离比值不处于预设比值范围，确定目标对象的姿态存在异常。

可选地，姿态参数确定模型是通过以下方式训练的：

获取训练样本集。其中，训练样本集包括训练图像和训练图像对应的训练姿态参数。

根据训练样本集对预设模型进行训练，得到姿态参数确定模型。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

综上所述，本公开通过先获取包含目标对象的待检测图像，再根据待检测图像，确定目标对象的姿态参数和目标对象的关键点的位置信息，其中，关键点用于指示目标对象的指定位置，最后根据姿态参数和位置信息，确定目标对象的姿态是否存在异常。本公开通过从待检测图像中分别获取目标对象的姿态参数和关键点的位置信息，并结合姿态参数和关键点的位置信息，来进行姿态检测，提高了检测目标对象的姿态的准确度，能够避免误判目标对象的姿态是否存在异常。

本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的姿态检测的方法的步骤。

图11是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

参照图11，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。

处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的姿态检测的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。

存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。

多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。

I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的姿态检测的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器804，上述指令可由电子设备800的处理器820执行以完成上述姿态检测的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的姿态检测的方法的代码部分。

本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种姿态检测的方法，其特征在于，所述方法包括：

获取包含目标对象的待检测图像；

根据所述待检测图像，确定所述目标对象的姿态参数和所述目标对象的关键点的位置信息；所述关键点用于指示所述目标对象的指定位置；

根据所述姿态参数和所述位置信息，确定所述目标对象的姿态是否存在异常。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待检测图像，确定所述目标对象的姿态参数和所述目标对象的关键点的位置信息，包括：

根据所述待检测图像，通过预先训练好的姿态检测模型，确定所述姿态参数和所述位置信息。

3.根据权利要求2所述的方法，其特征在于，所述姿态检测模型包括姿态参数确定模型和关键点识别模型；所述根据所述待检测图像，通过预先训练好的姿态检测模型，确定所述姿态参数和所述位置信息，包括：

根据所述待检测图像，通过所述姿态参数确定模型，确定所述姿态参数；

将所述待检测图像输入到所述关键点识别模型中，得到每个所述关键点的位置信息。

4.根据权利要求3所述的方法，其特征在于，所述姿态参数为所述目标对象的指定部位的姿态角度，所述姿态角度包括所述指定部位的俯仰角、偏航角和翻滚角；所述根据所述待检测图像，通过所述姿态参数确定模型，确定所述姿态参数，包括：

从所述待检测图像中，获取包含所述指定部位的目标图像；

将所述目标图像输入到所述姿态参数确定模型中，得到所述姿态角度。

5.根据权利要求1所述的方法，其特征在于，所述根据所述姿态参数和所述位置信息，确定所述目标对象的姿态是否存在异常，包括：

根据所述位置信息，确定每个预设关键点集合对应的多个关键点距离；每个所述预设关键点集合包括至少三个关键点；

根据所述姿态参数和所述关键点距离，确定所述目标对象的姿态是否存在异常。

6.根据权利要求5所述的方法，其特征在于，所述根据所述姿态参数和所述关键点距离，确定所述目标对象的姿态是否存在异常，包括：

针对每个所述预设关键点集合，根据该预设关键点集合对应的多个关键点距离，确定该预设关键点集合对应的至少一个距离比值；所述距离比值为两个所述关键点距离之间的比值；

在所述姿态参数处于预设参数范围外，和/或至少一个所述预设关键点集合对应的距离比值不处于预设比值范围，确定所述目标对象的姿态存在异常。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述姿态参数确定模型是通过以下方式训练的：

获取训练样本集；所述训练样本集包括训练图像和所述训练图像对应的训练姿态参数；

根据所述训练样本集对预设模型进行训练，得到所述姿态参数确定模型。

8.一种姿态检测的装置，其特征在于，所述装置包括：

获取模块，被配置为获取包含目标对象的待检测图像；

参数确定模块，被配置为根据所述待检测图像，确定所述目标对象的姿态参数和所述目标对象的关键点的位置信息；所述关键点用于指示所述目标对象的指定位置；

异常确定模块，被配置为根据所述姿态参数和所述位置信息，确定所述目标对象的姿态是否存在异常。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

Images