CN111507134A - 人形姿态检测方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种人形姿态检测方法、装置、计算机设备及存储介质，包括：获取得到目标图片预处理后的第一结果信息，其中，所述第一结果信息包括一个或多个从目标图片中截取的带有目标人物人形的图像信息；根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点；根据所述关键点在姿态数据库中匹配人形姿态；根据所述人形姿态生成第二结果信息并输出。本申请中通过预处理后，再一次进行高精度的图像处理，以高精度稳定的人形轮廓为基础进行姿态识别，提高了人形姿态检测的准确度，同时在人形轮廓识别过程中还进行精度对比和调整，确保输出结果精度。

Description

人形姿态检测方法、装置、计算机设备及存储介质

技术领域

本申请涉及人脸识别技术领域，具体而言，本申请涉及一种人形姿态检测方法、装置、计算机设备及存储介质。

背景技术

随着计算机技术的发展，越来越多的服务与检测项目采用自动检测的方式，以节省人力成本，特别是在检票或者办理相关业务时，对人体进行身份识别上，均采用自动识别方式，包括对人体的形体姿态的检测。

现有技术中，人形姿态检测是计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等。人形姿态检测主要分为单人、多人检测。对于单人检测，主要是目标检测后跟姿态检测，而目标检测框的精度直接影响后续人形姿态检测的正确性。同一人在不同目标检测模型下由于裁剪区域可能出现差异，而导致对同一人得到的关键点不一致。

发明内容

为了解决上述问题，本申请公开一种人形姿态检测方法、装置、计算机设备及存储介质，能够快速、精确地获取得到人形姿态。

本申请的第一个方面，公开一种人形姿态检测方法，包括：

获取得到目标图片预处理后的第一结果信息，其中，所述第一结果信息包括一个或多个从目标图片中截取的带有目标人物人形的图像信息；

根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点；

根据所述关键点在姿态数据库中匹配人形姿态；

根据所述人形姿态生成第二结果信息并输出。

可选的，所述获取得到目标图片预处理后的第一结果信息的方法包括：

将所述目标图片输入目标检测模型中；

通过所述目标检测模型识别所述目标图片中的目标人物，所述目标人物包括一个或多个；

按照截取规则从所述目标图片中截取每一个所述目标人物人形的图像框，其中，所述图像框包括目标人物的第一人形轮廓；

将所述图像框作为目标人物人形的图像信息输出。

可选的，所述通过所述目标检测模型识别所述目标图片中的目标人物的方法包括：

识别所述目标图片中的人形图像；

判断所述人形图像是否符合预设条件，其中，所述预设条件包括所述人形图像中至少包括人体的腰部以上的头部和手部动作的轮廓；

当符合所述预设条件，则将所述人形图像作为目标人物。

可选的，所述截取规则包括：以所述目标人物的人形轮廓的最小像素点为起点，分别向四周平移预设数量的像素点所在的位置作为边框进行截取。

可选的，所述根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点的方法包括：

将所述第一结果信息输入至所述人形姿态检测模型中的校验层中，对所述第一结果信息进行校验得到校验信息，其中，所述校验信息包括对所述目标人物的人形轮廓进行第二次识别的结果信息；

根据所述校验信息识别人形轮廓中的预设关键点。

可选的，在所述根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点的方法还包括：

将所述第一结果信息输入至修正处理模型中以得到修正信息，其中，所述修正信息包括对所述目标人物的人形轮廓进行的第二次识别的结果信息；

将所述修正信息输入至所述人形姿态检测模型中以得到表征所述目标人物人形姿态的关键点。

可选的，所述将所述修改信息输入至所述人形姿态检测模型中以得到表征所述目标人物人形姿态的关键点的方法包括：

识别所述修正信息中的人形轮廓；

根据所述人形轮廓识别预设位置的预设关键点。

可选的，所述修正处理模型包括图像处理模型或神经网络模型中的任意一种，所述将所述第一结果信息输入至修正处理模型中以得到修正信息的方法包括：

获取表征第一人形轮廓中心点位置的第一特征向量；

在所述修改处理模型中识别所述图像框中的目标人物的第二人形轮廓；

获取表征第二人形轮廓中心点位置的第二特征向量；

判断所述第二特征向量与第一特征向量的偏差值是否超过第一预设阈值；

当未超过所述第一预设阈值将所述第二人形轮廓作为修正信息输出。

可选的，当所述第二特征向量与所述第一特征向量的偏差值超过第一预设阈值，发送重新检测信息至所述目标检测模型中，以重新获取第一结果信息。

可选的，当发送重新检测信息的次数超过第二预设阈值时，所述修改处理模型以所述目标图片为输入图片对目标人物及其人形轮廓进行识别，并将识别生成的第三结果信息输入人形姿态检测模型以中获取得到表征所述目标人物人形姿态的关键点。

本申请的实施例根据第二个方面，本申请公开一种人形姿态检测装置，包括：

获取模块：被配置为执行获取得到目标图片预处理后的第一结果信息，其中，所述第一结果信息包括一个或多个从目标图片中截取的带有目标人物人形的图像信息；

处理模块：被配置为执行根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点；

匹配模块：被配置为执行根据所述关键点在姿态数据库中匹配人形姿态；

输出模块：被配置为执行根据所述人形姿态生成第二结果信息并输出。

可选的，所述获取模块包括：

输入模块：被配置为执行将所述目标图片输入目标检测模型中；

目标人物识别模块：被配置为执行通过所述目标检测模型识别所述目标图片中的目标人物，所述目标人物包括一个或多个；

截取模块：被配置为执行按照截取规则从所述目标图片中截取每一个所述目标人物人形的图像框，其中，所述图像框包括目标人物的第一人形轮廓；

人形图像输出模块：被配置为执行将所述图像框作为目标人物人形的图像信息输出。

可选的，所述目标人物识别模块包括：

人形识别模块：被配置为执行识别所述目标图片中的人形图像；

第一判断模块：被配置为执行判断所述人形图像是否符合预设条件，其中，所述预设条件包括所述人形图像中至少包括人体的腰部以上的头部和手部动作的轮廓；

认定模块：被配置为执行当符合所述预设条件，则将所述人形图像作为目标人物。

可选的，所述截取规则包括：以所述目标人物的人形轮廓的最小像素点为起点，分别向四周平移预设数量的像素点所在的位置作为边框进行截取。

可选的，所述处理模块包括：

校验模块：被配置为执行将所述第一结果信息输入至所述人形姿态检测模型中的校验层中，对所述第一结果信息进行校验得到校验信息，其中，所述校验信息包括对所述目标人物的人形轮廓进行第二次识别的结果信息；

第一关键点识别模块：被配置为执行根据所述校验信息识别人形轮廓中的预设关键点。

可选的，所述处理模块包括：

修正模块：被配置为执行将所述第一结果信息输入至修正处理模型中以得到修正信息，其中，所述修正信息包括对所述目标人物的人形轮廓进行的第二次识别的结果信息；

检测模块：被配置为执行将所述修正信息输入至所述人形姿态检测模型中以得到表征所述目标人物人形姿态的关键点。

可选的，所述检测模块包括：

人形轮廓识别模块：识别所述修正信息中的人形轮廓；

第二关键点识别模块：被配置为执行根据所述人形轮廓识别预设位置的预设关键点。

可选的，所述修正处理模型包括图像处理模型或神经网络模型中的任意一种，所述修正模块包括：

第一特征向量获取模块：被配置为执行获取表征第一人形轮廓中心点位置的第一特征向量；

第二人形轮廓识别模块：被配置为执行在所述修改处理模型中识别所述图像框中的目标人物的第二人形轮廓；

第二特征向量获取模块：被配置为执行获取表征第二人形轮廓中心点位置的第二特征向量；

第二判断模块：被配置为执行判断所述第二特征向量与第一特征向量的偏差值是否超过第一预设阈值；

第一修正信息输出模块：被配置为执行当未超过所述第一预设阈值将所述第二人形轮廓作为修正信息输出。

可选的，第二修正信息输出模块：被配置为执行当所述第二特征向量与所述第一特征向量的偏差值超过第一预设阈值，发送重新检测信息至所述目标检测模型中，以重新获取第一结果信息。

可选的，重复识别模块：被配置为执行当发送重新检测信息的次数超过第二预设阈值时，所述修改处理模型以所述目标图片为输入图片对目标人物及其人形轮廓进行识别，并将识别生成的第三结果信息输入人形姿态检测模型以中获取得到表征所述目标人物人形姿态的关键点。

本申请的实施例根据第三个方面，还提供了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述人形姿态检测方法的步骤。

本申请的实施例根据第四个方面，还提供了一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述人形姿态检测方法的步骤。

本申请实施例的有益效果是：

本申请公开的一种人形姿态检测方法和装置，先对目标图片进行预处理，从物体众多的目标图片中，先准确识别出目标图片中的目标人物，再将目标人物截取出来，在人形姿态检测模型中单独针对该目标人物进行关键点的识别，根据关键点在姿态数据库中进行人形姿态匹配，生成结果信息输出，本申请中通过预处理后，再一次进行高精度的图像处理，以高精度稳定的人形轮廓为基础进行姿态识别，提高了人形姿态检测的准确度，同时在人形轮廓识别过程中还进行精度对比和调整，确保输出结果精度。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请一个人形姿态检测方法的流程图；

图2为本申请获取目标图片预处理后的第一结果信息的方法流程图；

图3为本申请卷积神经网络模型训练过程方法流程图：

图4为本申请目标检测模型识别目标人物的方法流程图；

图5为本申请目标图片示意图；

图6为本申请目标图片分割成网格状态的示意图；

图7为本申请通过预处理后截取的第一示意图；

图8为本申请通过预处理后截取的第二示意图；

图9为本申请获取关键点第一实施例；

图10为本申请提取的精确人形轮廓示意图；

图11为本申请在精确人形轮廓中获取关键点的示意图；

图12为本申请获取关键点第二实施例；

图13为本申请修正信息获取方法流程图；

图14为本申请获取关键点的第三实施例；

图15为人形姿态检测装置框图；

图16为本申请一个实施例的计算机设备基本结构框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

请参阅图1，本实施例公开一种人形姿态检测方法，包括：

S1000、获取得到目标图片预处理后的第一结果信息，其中，所述第一结果信息包括一个或多个从目标图片中截取的带有目标人物人形的图像信息；

目标图片包括当前拍摄的或者上传的图像照片，或者从当前拍摄的或者上传的视频文件中获取的图像照片，其图片和视频的来源可以是公共图像数据库、自有图像数据库或者通过数据爬取的方式从互联网中进行爬取。需要说明的是，视频文件中获取的图像照片为视频中的帧画面，从多个帧画面中获取的帧画面，同时经过相同比对，从多个相同或相似的帧画面中选取其中一张作为目标图片以进行进一步的识别。由于本申请中是一种人形姿态检测方法，因此所获取的目标图片中应当包括人形，这里的人形是指至少具有人体的头部和手部位置的照片，进一步的，更为完整的目标图片中包括完整的人体头部、手部、脚部、臀部等部位。

这里的预处理是指对所述目标图片进行识别，判断所述目标图片中是否存在人形，若存在人形判断该人形是否符合预设条件，在符合条件的基础上，将所述目标图片中的所有人形都筛选出来。进一步的，请参阅图2，所述获取得到目标图片预处理后的第一结果信息的方法包括：

S1100、将所述目标图片输入目标检测模型中；

目标检测对于人类来说并不困难，通过对图片中不同颜色模块的感知很容易定位并分类出其中目标物体，但对于计算机来说，面对的是RGB像素矩阵，很难从图像中直接得到狗和猫这样的抽象概念并定位其位置，再加上有时候多个物体和杂乱的背景混杂在一起，目标检测更加困难。

目标检测模型为一种用于检测目标的软件模型，其包括传统的目标检测模型和基于深度学习网络模型，传统目标检测即基于滑动窗口的检测，主要包括三步：1)利用不同尺寸的滑动窗口框住图中的某一部分作为候选区域；2)提取候选区域相关的视觉特征。3)利用分类器进行识别。基于以上步骤，传统的目标检测的模型虽然可以用于进行目标检测，但是其模型的结构相对复杂，检测速度也较慢。为了加快检测的速度，现有技术中，多采用深度学习的目标检测，

现有技术中，目标检测的相关模型包括：R-CNN(Region-based ConvolutionalNeural Networks，基于区域的卷积神经网络)，SPP-net(spatial pyramid poolingnetwork)，YOLO(You Only Look Once)，SSD(Single Shot MultiBox Detector)和CAFFE(Convolutional Architecture for Fast Feature Embedding)等，以上目标检测模型都可以将目标物从目标图片中识别出来。

本申请中，可优选深度学习网络模型作为目标检测模型来识别所述目标图片中的目标人物，例如，在卷积神经网络模型中识别出各个物体的样式是通过分类判断信息的训练样本通过训练后得到，具体的，请参阅图3，其训练过程包括：

S1110、获取标记有分类判断信息的训练样本数据；所述训练样本数据包括帧画面图片的可用特征提取判断信息；

训练样本数据是整个训练集的构成单位，训练集是由若干个训练样本训练数据组成的。

训练样本数据包括帧画面图片的可用特征提取判断信息。

分类判断信息是指人们根据输入卷积神经网络模型的训练方向，通过普适性的判断标准和事实状态对训练样本数据做出的人为的判断，也就是人们对卷积神经网络模型输出数值的期望目标。如，在一个训练样本数据中，人工识别出该图片数据与预存储的目标图像为同一张，则标定该图片分类判断信息为与预存储的目标图片相同。

S1120、将所述训练样本数据输入预设的卷积神经网络模型获取所述训练样本数据的模型分类参照信息；

将训练样本集依次输入到卷积神经网络模型中，并获得卷积神经网络模型倒数第一个全连接层输出的模型分类参照信息。

模型分类参照信息是卷积神经网络模型根据输入的图片信息而输出的激励数据，在卷积神经网络模型未被训练至收敛之前，分类参照信息为离散性较大的数值，当卷积神经网络模型未被训练至收敛之后，分类参照信息为相对稳定的数据。

S1130、通过损失函数比对所述训练样本数据内不同样本的模型分类参照信息与所述分类判断信息是否一致；

损失函数是用于检测卷积神经网络模型中模型分类参照信息，与期望的分类判断信息是否具有一致性的检测函数。当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

S1140、当所述模型分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述卷积神经网络模型中的权重，至所述比对结果与所述分类判断信息一致时结束，训练完成所述图像识别模型。

当卷积神经网络模型的输出结果与分类判断信息的期望结果不一致时，需要对卷积神经网络模型中的权重进行校正，以使卷积神经网络模型的输出结果与分类判断信息的期望结果相同。

S1200、通过所述目标检测模型识别所述目标图片中的目标人物，所述目标人物包括一个或多个；

通过上述步骤S1100中的训练方式，可将目标图片中的人形与其他的物体区分开来，并按照预设条件识别出所述目标图片中的所有人形，以及确定所述人形中的目标人物。在一实施例中，请参阅图4，所述通过所述目标检测模型识别所述目标图片中的目标人物的方法包括：

S1210、识别所述目标图片中的人形图像；

S1220、判断所述人形图像是否符合预设条件，其中，所述预设条件包括所述人形图像中至少包括人体的腰部以上的头部和手部动作的轮廓；

S1230、当符合所述预设条件，则将所述人形图像作为目标人物。

识别所述目标图片中的人形图像通过步骤S1100中训练的模型后，识别出所述目标图片中的人形图像，在目标图片中，人形图像可能存在有多个，而有些人形图像因为拍摄目标图片的距离的问题，可能存在一定的缺陷，比如人形图像只有一半、或者只有头部，没有手部或脚部，这些都不构成完整的人形图像，不能很好得识别出该人像的动作，若将这些不符合规则的人形图像也当作目标人物进行人形姿态的识别，会导致识别结果的不准确以及人形姿态检测数量过大。

因此，在一实施例中，设置了预设条件，以对人形图像进行筛选。在一实施例中，所述预设条件包括所述人形图像中至少包括人体的腰部以上的头部和手部动作的轮廓，即在识别的人形图像中，含有头部、手部或者含有头部、手部和脚部都包含的人像才能被认定为目标人物进行姿态的检测，否则忽略不计，不进行姿态的检测。

在另一实施例中，还可通过获取人形图像占整个目标图片的大小比例进行进一步的筛选，其筛选方法包括，在预设条件中设定一个比例阈值，当识别出人形图像后，识别所述人形图像在整个目标图片中的比例，当该比例值大于预设的比例阈值时，且该人形图像符合其他的预设条件，则将其设定为目标人物，以便于进一步检测姿态信息，但是，当该人形图像的比例值小于所述比例阈值时，则不将该人形图像作为目标人物，及时该人形图像符合其他的预设条件。这样设置的目的，人形图像较小表示离图片拍摄者较远，其可能不是需要进行识别的人物，可能是“路人”，因此将这些图像信息作为干扰信息进行排除，有利于加快整个人形姿态检测的速度。

S1300、按照截取规则从所述目标图片中截取每一个所述目标人物人形的图像框，其中，所述图像框包括目标人物的第一人形轮廓；

S1400、将所述图像框作为目标人物人形的图像信息输出。

当从识别的人形图像中确定了目标人物，则将所述目标人物分别截取出来，当有多个目标人物时，分别对目标人物的图像信息进行截图。

在一实施例中，所述截取规则包括：以所述目标人物的人形轮廓的最小像素点为起点，分别向四周平移预设数量的像素点所在的位置作为边框进行截取，截取后的图像信息为包含有目标人物的第一人形轮廓的图像框，将所述图像框作为目标人物人形的图像信息输出。

在一实施例中，为了能更好地解释本申请，请参阅图5，图5所示为选取的目标图片，在该目标图片中包括一个正在奔跑的人，一个警察和一对情侣，还包括多颗树木和花草，本申请中，将该图片输入至目标检测模型中进行分类识别，在一实施例中，以CAFFE模型为例，Caffe的全称应该是Convolutional Architecture for Fast Feature Embedding，它是一个清晰、高效的深度学习框架，它是开源的，核心语言是C++，它支持命令行、Python和Matlab接口，它既可以在CPU上运行也可以在GPU上运行，它的license是BSD 2-Clause。

caffe具有三个不能随意更改的基本原子结构，caffe的编程框架就是在这三个原子下实现，它们分别是：Blobs,Layers,and Nets。

Blob就是一个包装器，在caffe这个流程中，所有的数据都要被包装成blob格式。然后在caffe的架构下进行编程和处理，这点我们不能随意更改，因为caffe本身提供了很多已经设计好的函数和类，我们随意更改数据包转器就等于没法再使用其中的函数，就没法在Caffe的框架下设计深度神经网络。blob的格式就是(Number，Channel，Height,Width)将数据按照四元组的方式存储，这里由于是处理的图像数据，所以后面三维代表图像的数据格式，Channel代表图像的通道数，如灰度图是1通道，Channel＝1，RGB图像是3通道，Channel＝3，Height和Width分别是图像的长宽。至于Number则代表Batch，由于内存有限，所以我们进行训练的时候只能分批进行，这里还为每个batch设置了一个标识号，后面会看到我们使用随机梯度下降算法(Schocasticgredientdescent,SGD)对模型进行训练,其中就是要使用到Batch，blob不仅仅只用来保存深度网路进行前向过程时的数据，还用来保存在后向求梯度过程时的梯度数据。

在具体的识别过程中，采用CAFFE模型作为目标检测模型，可将输入的目标图片分成S*S个格子，每个格子负责检测‘落入’该格子的物体。若某个物体的中心位置的坐标落入到某个格子，那么这个格子就负责检测出这个物体。例如图6，被分成6*6个格子，其中奔跑的人主要落入在横格X的3-5格以及对应的纵格Y的1-4格内，警察落入在横格X的6格以及对应的纵格Y的1-4格内，情侣落入在横格X的6格以及对应的纵格Y的5-6格内，通过CAFFE模型可识别出上述的人、树以及不同种类和形状的花，通过在CAFFE模型的caffemodel中训练识别出人，则输出的人形图形包括上述的奔跑的人、警察和情侣。

进一步的，当输出目标人物的预设条件中包括所述人形图像的比例阈值时，假设比例阈值为1/9时，可知，上述情侣的人形图像占比不足1/9，不符合预设条件，被舍弃截取，只有奔跑的人和警察可以作为目标人物。

当识别出目标人物为奔跑的人和警察时，则按照裁取规则将目标图片中奔跑的人和警察分别截取出来，依据本申请中公开的截取规则，以所述目标人物的人形轮廓的最小像素点为起点，分别向四周平移预设数量的像素点所在的位置作为边框进行截取，截取后的图像信息为包含有目标人物的第一人形轮廓的图像框，将所述图像框作为目标人物人形的图像信息输出。在本实施例中，最小像素表示图6中最小的方格，本实施例中平移的预设数量为1个像素，因此，奔跑的人的截取的图像框如图7所示，警察的截取的图像框如图8所示。需要说明的是，截取规则不局限于上述公开的以人形轮廓的最小像素为起点向四周平移预设个像素，还可以是以获取的人形轮廓的最小像素进行截取，或者直接截取所识别的人形轮廓，将截取的图像框的图像信息作为预处理后的第一结果信息输出。

S2000、根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点；

人形姿态检测模块为用于根据所截取的图像框进一步对目标人物进行识别的模块，本申请中的人形姿态检测模型也是一种深度学习网络模型，其训练方式与识别方式与上述公开的一致。需要说明的是，本申请的人形姿态检测模型主要用于通过第一结果信息对目标人物的人形姿态进行识别，而识别人形姿态在于通过识别人形上几个预设关键点的相对位置来识别判断。

具体的，在一实施例中，请参阅图9，所述根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点的方法包括：

S2100、将所述第一结果信息输入至所述人形姿态检测模型中的校验层中，对所述第一结果信息进行校验得到校验信息，其中，所述校验信息包括对所述目标人物的人形轮廓进行第二次识别的结果信息；

S2200、根据所述校验信息识别人形轮廓中的预设关键点。

该实施例中，在人形姿态检测模型中还包括一个校验层，该校验层用于对第一结果信息进行校验。具体的，其校验层也是一种神经网络识别模型，对获取的第一结果信息中的图像框中的目标人物进行进一步识别。在上述公开的几个实施例中，有一个实施例中的图像框是基于第一人形轮廓最接近的像素点，再向外延伸预设个像素点后截取的图像框，因此，第一结果信息中包括较为完整的人形轮廓。再校验层中对第一结果信息中的图像框进行进一步的识别，获取得到一个人形轮廓的结果信息，在本实施例中，校验层的神经网络模型为图像轮廓处理能力比目标检测模块的处理能力强的神经网络模型，目标检测模型只需要识别出为人形即可，并粗略识别出人形轮廓，其在训练过程中所采用的训练样本与校验层的训练样本的类型和数量均有所不同，校验层的神经网络模型训练样本为均为人形轮廓，训练样本数据较多，以便于更精确地识别出人形轮廓，而目标检测模块训练样本为各种物体，包括树木、花草、人、动物等，基于以上区别，本申请通过目标检测模型进行预处理，进行物体分类识别，并将目标人物的人形图像识别出来，截取生成第一结果信息，在校验层中进行精确的人形识别，由于校验层的识别数据中数据量较小，且范围较小，因此识别量较小。需要说明的是，在第一结果信息中会对所识别的目标人物进行标注，比如图7所示，该截取的图像框中包括奔跑的人和警察，实际上，该图像框是基于奔跑的人为目标人物进行的截取，只是在多截取的人范围中将警察的图像数据也截取进去了，因此，在第一结果信息中基于截取原则，会优先识别或者只对位于中心位置的目标人物进行人形轮廓识别。在经过校验层进行第二次人形轮廓识别后，得出了图10所示的精确的人形轮廓，然后在人形姿态检测模型中，对关键点进行识别。

在本实施例中，关键点为在人形姿态检测模型中预设位于人体中的位置，比如头部、肩膀、手肘、手腕、髋部、膝盖、脚腕以及脚趾等位置，通过人形姿态检测模型识别出人形轮廓中上述关键点的位置，请参阅图11，图中打“·”的位置为识别的关键点，通过关键点的分布可以识别出该目标人物的运动状体，比如图11，其头部相对于身体前倾，髋部左右位置不在同一水平线上，手肘和手腕一前一后，一高一低，膝盖和脚腕的位置也是一高一低，可以识别出该人物为奔跑状态。依据识别的人形轮廓，识别出该目标人物的人形姿态。

在另一实施例中，请参阅图12，还公开了另外一种识别关键点的方法，在所述根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点的方法还包括：

S2300、将所述第一结果信息输入至修正处理模型中以得到修正信息，其中，所述修正信息包括对所述目标人物的人形轮廓进行的第二次识别的结果信息；

进一步的，请参阅图13，所述将所述第一结果信息输入至修正处理模型中以得到修正信息的方法包括：

S2310、获取表征第一人形轮廓中心点位置的第一特征向量；

S2320、在所述修改处理模型中识别所述图像框中的目标人物的第二人形轮廓；

S2330、获取表征第二人形轮廓中心点位置的第二特征向量；

S2340、判断所述第二特征向量与第一特征向量的偏差值是否超过第一预设阈值；

S2350、当未超过所述第一预设阈值将所述第二人形轮廓作为修正信息输出。

第一结果信息中包括预处理得到的目标人物的第一人形轮廓，当初步识别了人形轮廓，则可得到该人形轮廓的中心点位置，如图，所示，奔跑的人的中心点位置位于该人的腰部位置，即图中的X轴方向的第四格与Y轴方向的第二格对应的像素格中，而警察的中心点位置位于X轴的第六格与Y轴方向的第三格对应的像素格中。这些中心点的像素格负责预测图像中对应的目标人物。每个格子输出B个bounding box(包含物体的矩形区域)信息，以及C个物体属于某种类别的概率信息。Bounding box信息包含5个数据值，分别是x,y,w,h,和c(confidence)。其中x,y是指当前格子预测得到的物体的bounding box的中心位置的坐标。w,h是bounding box的宽度和高度，C为置信度。本申请中公开的第一特征向量则为由(x,y,w,h)四个值构成的向量值。

在本实施例中，第一结果信息不直接输入值人形姿态检测模型中，而是在目标检测模型和人形姿态检测模型中间还包括一个修正处理模型，该修改处理模型是对第一结果信息中识别得到目标人物的人形轮廓的第二次识别，其于步骤S2100类似，不同之处在于，该修改处理模型不依附于人形姿态检测模型，而是独立的神经网络模型，所述修正处理模型包括图像处理模型或神经网络模型中的任意一种，修正处理模型识别目标人物的人形轮廓的精确度高于目标检测模型，。

由于第一人形轮廓为通过目标检测模型预处理得到的人形轮廓，其构成一个中心点，该中心点的第一特征向量，在修改处理模型中，经过修正处理模型识别了所述图像框中的目标人物的第二人形轮廓，第二人形轮廓较第一人形轮廓识别精度更高，通过第二人形轮廓可识别出第二人形轮廓的中心点位置的第二特征向量，由于第一人形轮廓为预处理得到的识别精度较低的结果信息，而第二人形轮廓为识别精度较高的结果信息，因此对应获取得到的第一特征向量与第二特征向量之间可能存在偏差，当二者的偏差较小时，表示第一次预处理得到的第一人形轮廓较为准确，截取得到的图像框较为准确，即输入修正处理模型中的数据是准确的，当第一特征向量与第二特征向量的偏差较大，则表示输入修正处理模型中的数据不太准确，会导致后面的姿态识别不准确。

因此，在本一实施例中，设置一个第一预设阈值，将所述第二特征向量与第一特征向量之间的偏差值与该第一预设阈值进行对比，当所述第二特征向量与所述第一特征向量的偏差值超过第一预设阈值时，则发送重新检测信息至所述目标检测模型中，以重新获取第一结果信息。而当未超过所述第一预设阈值时，则直接将修正处理模型中识别的第二人形轮廓作为修正信息输出。

进一步的，对发送重新检测信息的次数也设置有第二预设阈值，当所述第二特征向量与所述第一特征向量的偏差值超过了第一预设阈值，发送重新检测信息直接获取原始的目标图片，以所述目标图片为输入图片对目标人物及其人形轮廓进行识别，并将识别生成的第三结果信息输入人形姿态检测模型以中获取得到表征所述目标人物人形姿态的关键点。

S2400、将所述修正信息输入至所述人形姿态检测模型中以得到表征所述目标人物人形姿态的关键点。

进一步的，请参阅图14，所述将所述修改信息输入至所述人形姿态检测模型中以得到表征所述目标人物人形姿态的关键点的方法包括：

S2410、识别所述修正信息中的人形轮廓；

S2420、根据所述人形轮廓识别预设位置的预设关键点。

本实施例中，修正处理模型识别目标人物的人形轮廓的精确度高于目标检测模型，所述修正信息包括对所述目标人物的人形轮廓进行的第二次精确的识别，得到结果信息，所述修正信息中的人形轮廓，人形姿态检测模型根据这个结果信息中的人形轮廓获取预设的关键点，进行人形姿态识别。

S3000、根据所述关键点在姿态数据库中匹配人形姿态；

在本申请中还设置有人形姿态数据库，人形姿态数据库中依据关键点的相对位置，一一匹配对应的识别名称，因此在获取了人形轮廓后，通过人形轮廓识别出对应位置的关键点，从而在人形姿态数据库中匹配对应的名称以进行识别。需要说明的是，上述公开的关键点依据不同的模型或者参数，位置和数量不同，比如还可以包括大腿位置、小腿位置、颈的位置等等，所识别的关键点的种类越多，对人形姿态判断得越准确。

S4000、根据所述人形姿态生成第二结果信息并输出。

当匹配了人形姿态后，将识别的人形姿态信息生成第二结果信息以进行输出。由于第一结果信息中包括有一个或多个，输出的第二结果信息也包括一个或多个，比如，当识别的目标图片为图5时，第二结果信息包括奔跑的人作为目标人物的识别信息，其人形姿态为奔跑，以及警察作为目标人物的识别信息，其人形姿态为站立。

本申请的实施例根据第二个方面，本申请公开一种人形姿态检测装置，请参阅图15，包括：

获取模块1000：被配置为执行获取得到目标图片预处理后的第一结果信息，其中，所述第一结果信息包括一个或多个从目标图片中截取的带有目标人物人形的图像信息；

处理模块2000：被配置为执行根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点；

匹配模块3000：被配置为执行根据所述关键点在姿态数据库中匹配人形姿态；

输出模块4000：被配置为执行根据所述人形姿态生成第二结果信息并输出。

可选的，所述获取模块包括：

输入模块：被配置为执行将所述目标图片输入目标检测模型中；

目标人物识别模块：被配置为执行通过所述目标检测模型识别所述目标图片中的目标人物，所述目标人物包括一个或多个；

截取模块：被配置为执行按照截取规则从所述目标图片中截取每一个所述目标人物人形的图像框，其中，所述图像框包括目标人物的第一人形轮廓；

人形图像输出模块：被配置为执行将所述图像框作为目标人物人形的图像信息输出。

可选的，所述目标人物识别模块包括：

人形识别模块：被配置为执行识别所述目标图片中的人形图像；

第一判断模块：被配置为执行判断所述人形图像是否符合预设条件，其中，所述预设条件包括所述人形图像中至少包括人体的腰部以上的头部和手部动作的轮廓；

认定模块：被配置为执行当符合所述预设条件，则将所述人形图像作为目标人物。

可选的，所述截取规则包括：以所述目标人物的人形轮廓的最小像素点为起点，分别向四周平移预设数量的像素点所在的位置作为边框进行截取。

可选的，所述处理模块包括：

校验模块：被配置为执行将所述第一结果信息输入至所述人形姿态检测模型中的校验层中，对所述第一结果信息进行校验得到校验信息，其中，所述校验信息包括对所述目标人物的人形轮廓进行第二次识别的结果信息；

第一关键点识别模块：被配置为执行根据所述校验信息识别人形轮廓中的预设关键点。

可选的，所述处理模块包括：

修正模块：被配置为执行将所述第一结果信息输入至修正处理模型中以得到修正信息，其中，所述修正信息包括对所述目标人物的人形轮廓进行的第二次识别的结果信息；

检测模块：被配置为执行将所述修正信息输入至所述人形姿态检测模型中以得到表征所述目标人物人形姿态的关键点。

可选的，所述检测模块包括：

人形轮廓识别模块：识别所述修正信息中的人形轮廓；

第二关键点识别模块：被配置为执行根据所述人形轮廓识别预设位置的预设关键点。

可选的，所述修正处理模型包括图像处理模型或神经网络模型中的任意一种，所述修正模块包括：

第一特征向量获取模块：被配置为执行获取表征第一人形轮廓中心点位置的第一特征向量；

第二人形轮廓识别模块：被配置为执行在所述修改处理模型中识别所述图像框中的目标人物的第二人形轮廓；

第二特征向量获取模块：被配置为执行获取表征第二人形轮廓中心点位置的第二特征向量；

第二判断模块：被配置为执行判断所述第二特征向量与第一特征向量的偏差值是否超过第一预设阈值；

第一修正信息输出模块：被配置为执行当未超过所述第一预设阈值将所述第二人形轮廓作为修正信息输出。

可选的，第二修正信息输出模块：被配置为执行当所述第二特征向量与所述第一特征向量的偏差值超过第一预设阈值，发送重新检测信息至所述目标检测模型中，以重新获取第一结果信息。

可选的，重复识别模块：被配置为执行当发送重新检测信息的次数超过第二预设阈值时，所述修改处理模型以所述目标图片为输入图片对目标人物及其人形轮廓进行识别，并将识别生成的第三结果信息输入人形姿态检测模型以中获取得到表征所述目标人物人形姿态的关键点。

由于上述人形姿态检测方法是人形姿态检测装置一一对应的方法，其实现原理一样，因此基于人形姿态检测装置的具体说明此处不再赘述。

本发明实施例提供计算机设备基本结构框图请参阅图16。

该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种人形姿态检测方法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种人形姿态检测方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图16中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

计算机设备通过接收关联的客户端发送的提示行为的状态信息，即关联终端是否开启提示以及贷款人是否关闭该提示任务。通过验证上述任务条件是否达成，进而向关联终端发送对应的预设指令，以使关联终端能够根据该预设指令执行相应的操作，从而实现了对关联终端的有效监管。同时，在提示信息状态与预设的状态指令不相同时，服务器端控制关联终端持续进行响铃，以防止关联终端的提示任务在执行一段时间后自动终止的问题。

本发明还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例所述人形姿态检测方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种人形姿态检测方法，其特征在于，包括：

获取得到目标图片预处理后的第一结果信息，其中，所述第一结果信息包括一个或多个从目标图片中截取的带有目标人物人形的图像信息；

根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点；

根据所述关键点在姿态数据库中匹配人形姿态；

根据所述人形姿态生成第二结果信息并输出。

2.根据权利要求1所述的人形姿态检测方法，其特征在于，所述获取得到目标图片预处理后的第一结果信息的方法包括：

将所述目标图片输入目标检测模型中；

通过所述目标检测模型识别所述目标图片中的目标人物，所述目标人物包括一个或多个；

按照截取规则从所述目标图片中截取每一个所述目标人物人形的图像框，其中，所述图像框包括目标人物的第一人形轮廓；

将所述图像框作为目标人物人形的图像信息输出。

3.根据权利要求1所述的人形姿态检测方法，其特征在于，所述通过所述目标检测模型识别所述目标图片中的目标人物的方法包括：

识别所述目标图片中的人形图像；

判断所述人形图像是否符合预设条件，其中，所述预设条件包括所述人形图像中至少包括人体的腰部以上的头部和手部动作的轮廓；

当符合所述预设条件，则将所述人形图像作为目标人物。

4.根据权利要求2所述的人形姿态检测方法，其特征在于，所述截取规则包括：以所述目标人物的人形轮廓的最小像素点为起点，分别向四周平移预设数量的像素点所在的位置作为边框进行截取。

5.根据权利要求1所述的人形姿态检测方法，其特征在于，所述根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点的方法包括：

将所述第一结果信息输入至所述人形姿态检测模型中的校验层中，对所述第一结果信息进行校验得到校验信息，其中，所述校验信息包括对所述目标人物的人形轮廓进行第二次识别的结果信息；

根据所述校验信息识别人形轮廓中的预设关键点。

6.根据权利要求2所述的人形姿态检测方法，其特征在于，在所述根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点的方法还包括：

将所述第一结果信息输入至修正处理模型中以得到修正信息，其中，所述修正信息包括对所述目标人物的人形轮廓进行的第二次识别的结果信息；

将所述修正信息输入至所述人形姿态检测模型中以得到表征所述目标人物人形姿态的关键点。

7.根据权利要求6所述的人形姿态检测方法，其特征在于，所述将所述修改信息输入至所述人形姿态检测模型中以得到表征所述目标人物人形姿态的关键点的方法包括：

识别所述修正信息中的人形轮廓；

根据所述人形轮廓识别预设位置的预设关键点。

8.一种人形姿态检测装置，其特征在于，包括：

获取模块：被配置为执行获取得到目标图片预处理后的第一结果信息，其中，所述第一结果信息包括一个或多个从目标图片中截取的带有目标人物人形的图像信息；

处理模块：被配置为执行根据所述第一结果信息在人形姿态检测模型中获取得到表征所述目标人物人形姿态的关键点；

匹配模块：被配置为执行根据所述关键点在姿态数据库中匹配人形姿态；

输出模块：被配置为执行根据所述人形姿态生成第二结果信息并输出。

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述人形姿态检测方法的步骤。

10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述人形姿态检测方法的步骤。

Images