CN114332915A - 人体属性检测方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及人工智能技术领域，本发明公开了一种人体属性检测方法、装置、计算机设备及存储介质，所述方法包括：对待检测图像进行预处理，得到待处理图像；通过人体属性检测模型对待处理图像进行人体质量和属性识别，得到人体质量评价结果和人体属性识别结果；根据人体质量评价结果，对人体属性识别结果进行置信度修正处理，得到人体识别修正结果；根据人体质量评价结果和人体识别修正结果生成与待检测图像对应的人体属性最终结果。因此，本发明实现了基于人体质量识别的结果自动修正人体属性识别结果，无需耗费人工修正的成本，提高了人体属性识别的精度，并提升了人体属性识别的效率和有效性。

Description

人体属性检测方法、装置、计算机设备及存储介质

技术领域

本发明涉及人工智能技术领域，尤其涉及一种人体属性检测方法、装置、计算机设备及存储介质。

背景技术

随着人工智能的发展和高清视频监控设备的大范围部署，人体属性识别在视频监控、智能零售业、人体重识别等领域有着良好的应用前景，受到了越来越多的研究者的关注，并且已成为视频监控系统领域的新型研究主题。

现有技术中，人体属性识别通常通过提取图像中人体的结构化属性(一般包括性别、年龄段、上衣类型、上衣颜色等)进行识别，从而识别出对应于不同人体属性的结果，但是，由于人体在图像中可能会存在质量不佳的情况，例如人体占据图像较小、人体部位的遮挡以及人脸遮挡等等，如此往往会导致识别出的结果的有效性和后续可应用性不高，从而使得识别出人体属性的结果的精准度低，必须在后期对识别出的结果进行人工修正，从而耗费大量的人力物力，且识别效率低下。

发明内容

本发明提供一种人体属性检测方法、装置、计算机设备及存储介质，实现了结合人体质量识别的结果自动修正人体属性识别的结果，提高了人体属性识别的精度，节省了人工修正的成本，提升了人体属性识别的效率和有效性，且提高了人体属性识别结果的可应用性。

一种人体属性检测方法，包括：

对待检测图像进行预处理，得到待处理图像；

通过人体属性检测模型对所述待处理图像进行人体质量和属性识别，得到人体质量评价结果和人体属性识别结果；

根据所述人体质量评价结果，对所述人体属性识别结果进行置信度修正处理，得到人体识别修正结果；

根据所述人体质量评价结果和所述人体识别修正结果生成与所述待检测图像对应的人体属性最终结果。

一种人体属性检测装置，包括：

获取模块，用于对待检测图像进行预处理，得到待处理图像；

识别模块，用于通过人体属性检测模型对所述待处理图像进行人体质量和属性识别，得到人体质量评价结果和人体属性识别结果；

修正模块，用于根据所述人体质量评价结果，对所述人体属性识别结果进行置信度修正处理，得到人体识别修正结果；

确定模块，用于根据所述人体质量评价结果和所述人体识别修正结果生成与所述待检测图像对应的人体属性最终结果。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述人体属性检测方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述人体属性检测方法的步骤。

本发明提供的人体属性检测方法、装置、计算机设备及存储介质，通过对待检测图像进行预处理，得到待处理图像；通过人体属性检测模型对所述待处理图像进行人体质量和属性识别，得到人体质量评价结果和人体属性识别结果；根据所述人体质量评价结果，对所述人体属性识别结果进行置信度修正处理，得到人体识别修正结果；根据所述人体质量评价结果和所述人体识别修正结果生成与所述待检测图像对应的人体属性最终结果，因此，本发明实现了通过对待检测图像进行预处理，自动对预处理后的图像进行人体质量和属性识别，识别出图像中人体的人体质量评价结果和人体属性识别结果，并根据人体质量评价结果自动对人体属性识别结果进行置信度修正，最终生成准确的置信度的人体属性最终结果，如此，能够通过对图像中的人体进行人体质量和人体属性的识别，并结合人体质量识别的结果自动修正人体属性识别结果，无需耗费人工修正的成本，从而大大节省了人工成本，提高了人体属性识别的精度，并提升了人体属性识别的效率和有效性，以及人体属性识别结果的可应用性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中人体属性检测方法的应用环境示意图；

图2是本发明一实施例中人体属性检测方法的流程图；

图3是本发明一实施例中人体属性检测方法的步骤S10的流程图；

图4是本发明一实施例中人体属性检测方法的步骤S20的流程图；

图5是本发明一实施例中人体属性检测方法的步骤S203的流程图；

图6是本发明一实施例中人体属性检测装置的原理框图；

图7是本发明一实施例中计算机设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供的人体属性检测方法，可应用在如图1的应用环境中，其中，客户端(计算机设备或终端)通过网络与服务器进行通信。其中，客户端(计算机设备或终端)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种人体属性检测方法，其技术方案主要包括以下步骤S10-S40：

S10，对待检测图像进行预处理，得到待处理图像。

可理解地，所述待检测图像为包含单个人体且需要识别出人体相关属性类别的图像，其中，人体相关属性类别可以为年龄、性别、人体方向、头发颜色、头发长度、头戴物类型、是否佩戴眼镜、是否背双肩包、是否背单肩包、是否手推车、是否抱小孩、是否带手提包、是否穿大衣、是否骑行、是否携带拉杆箱、是否接听电话、上衣颜色、上衣纹理、上衣类型、下衣颜色、下衣纹理、下衣类型等等能够体现人体的结构化属性的类别，所述待检测图像的获取方式可以为通过采集设备或者监控摄像头采集到的图像中截取或者提取出单个人体的图像获得，所述预处理的过程可以根据需求进行设定，比如预处理可以为对输入的图像进行图像增强处理，以增强图像中的人体信息便于后续的人体质量和属性的识别，也可以对输入的图像进行图像分割处理，分割出具有不同通道信息的通道图像，通过不同的通道图像携带的通道信息能够有利于人体属性的识别，仅对有效的信息进行识别即可，避开其他通道信息对其识别的干扰，还可以将图像增强处理和图像分割处理相结合，共同对输入的图像进行处理，从而能够输出所述待处理图像，所述待处理图像为经所述预处理后的所述待检测图像，也即所述待处理图像为从所述待检测图像中提取出有利于人体质量和属性识别的信息的图像。

在一实施例中，所述对待检测图像进行预处理之前，包括：

获取输入图像，并将所述输入图像输入单体识别模型中；所述输入图像中包含至少一个人体。

可理解地，所述输入图像为通过采集设备或者监控摄像头采集到的图像，所述输入图像可以为在一段监控视频中抽取出的包含人体的图像帧，所述输入图像中包含至少一个人体，获取所述待输入图像的方式可以根据需求设定，比如实时获取或者从一段历史视频中抽取等，所述单体识别模型为训练完成的用于识别输入的图像中单个人体的区域的目标检测模型，所述单体识别模型的网络结构可以根据需求设定，比如单体识别模型的网络结构可以为Faster R-CNN、SSD和YOLO等网络结构，优先地，所述单体识别模型的网络结构为CenterNet的网络结构，所述单体识别模型的训练过程为输入训练的样本图像，该样本图像包含至少一个人体，且该样本图像与一个该人体的区域标注关联，对该样本图像生成1K～2K个候选区域，再对每个候选区域，使用该模型的网络结构的卷积层提取单体特征，将提取的单体特征送入人体分类器中，判别是否该候选区域包含人体，使用回归器精细修正候选框位置，最终识别出该样本图像中的包含一个完整人体的区域，计算该区域和区域标注之间的损失值，根据损失值迭代更新单体识别模型的参数，直至损失值达到收敛条件，从而停止训练的过程。

通过所述单体识别模型对所述输入图像进行单体特征提取，根据提取的所述单体特征进行单体识别，识别出至少一个包含人体的单体区域。

可理解地，所述单体特征为具有单个人体的特征，比如头、头发、手、人脸、躯干、衣服、腿、脚等能体现一个人体的特征，通过所述单体识别模型对所述输入图像进行所述单体特征的卷积，运用下采样方式逐层提取所述输入图像中的所述单体特征，并根据提取的所述单体特征进行单体识别，所述单体识别过程为识别出具有所述单体特征的矩形区域的过程，从而能够从所述输入图像中识别出每个人体，并框定出的每个人体所对应的单体区域，所述单体区域体现了所述输入图像中一个人体所框定出的区域，不管所述输入图像中的人体被截断或者遮挡，均会被框定出来。

从所述输入图像中提取出各所述单体区域所对应的图像，得到与各所述单体区域一一对应的待检测图像。

可理解地，从所述输入图像中按照各所述单体区域框定出的范围进行截取或者复制得到相应的图像，以得到与各所述单体区域对应的所述待检测图像，也即说明所述待检测图像包含单个人体。

本发明实现了通过获取输入图像，并将所述输入图像输入单体识别模型中；所述输入图像中包含至少一个人体；通过所述单体识别模型对所述输入图像进行单体特征提取，根据提取的所述单体特征进行单体识别，识别出至少一个包含人体的单体区域；从所述输入图像中提取出各所述单体区域所对应的图像，得到与各所述单体区域一一对应的待检测图像，如此，能够通过单体识别模型对输入图像进行单体特征的提取，自动提取出输入图像中包含单个人体的待检测图像，无需人工提取，从而节省了人工从海量的图像中一个个提取的成本，而且提高了待检测图像提取的效率。

在一实施例中，如图3所示，所述步骤S10中，即所述对待检测图像进行预处理，得到待处理图像，包括：

S101，对所述待检测图像进行图像增强处理，得到增强图像。

可理解地，所述图像增强处理的方法可以根据需求进行设定，比如图像增强可以包括去除噪声、对比度增强、色彩增强等处理的方法，也可以在图像增强处理之前对待检测图像进行图像补全的处理方法，所述图像补全为对待检测图像中截断或者遮挡的部位进行补充，使待检测图像能够包含完整的一个人体的方法，所述增强图像为经过所述图像增强处理后的待检测图像，所述增强图像能够更加凸显待检测图像中的人体信息。

其中，所述去除噪声为运用傅里叶变换算法对输入的图像中各像素点进行变换的处理过程，所述对比度增强为增强黑白的对比程度，让图像中的边界或者边缘更加明显，所述色彩增强为对图像中的各像素点的图像转换到另一空间域的色彩空间，对每个像素点的像素值各减去空间域中所有像素点的最小值，再转换成原始域的空间的处理过程，所述灰度处理为运用灰度化算法对输入的图像各像素点的像素值进行计算获得图像的方法。

在一实施例中，所述对所述待检测图像进行图像增强处理，得到增强图像，包括：

通过人体截断检测模型对所述待检测图像进行肢体截断识别，得到截断识别结果。

可理解地，所述人体截断检测模型为训练完成的用于识别出输入的图像中人体是否被截断或者遮挡的神经网络模型，所述肢体阶段识别的过程为对所述待检测图像进行肢体关键点识别和头部识别，其中，所述肢体关键点识别的过程为通过肢体关键点检测网络对输入的待检测图像进行肢体特征的提取，根据提取的肢体特征进行肢体点的定位，定位出人体的肢体点的位置及区域，并且根据定位的肢体点的区域进行肢体类型的分类，对每一个定位的肢体点分类出头、左/右手、左/右手臂、躯干、左/右腿和左/右脚等肢体点，从而可以分类出各个肢体点的位置所对应的肢体关键点的识别结果，所述肢体特征为一个人体的头、手、手臂、躯干、腿和脚等特征，所述头部识别的过程为通过头部检测网络对输入的待检测图像进行头发特征和人脸特征的并行提取，根据提取的头发特征进行头发区域的定位，对定位出的头发区域进行分类，判断该区域是否为头发，以及根据提取的人脸特征进行人脸区域的定位，对定位出的人脸区域进行分类，判断该区域是否为人脸，最终识别出确定为头发的头发区域和确定为人脸的人脸区域，所述头发特征为与人体头发相关的特征，所述人脸特征为与人脸相关的特征，比如眼、鼻子、嘴巴、眉毛等等特征，所述肢体截断识别包括两种截断的识别，一种截断的识别为对肢体关键点的识别结果进行头、左手、右手、左手臂、右手臂、躯干、左腿、右腿、左脚、右脚一一对比，判断对比结果中是否存在比对不一致或者比对存在缺失的情况，根据比对的结果确认出任一或者多个的肢体点的缺失，从而确定出肢体关键点截断结果，另一种截断的识别包含判断是否缺少头发区域或者人脸区域，以及通过头发区域和人脸区域的占比结果确定出头发或者人脸是否为部分截断，结合是否缺少头发区域或者人脸区域的结果以及是否头发或者人脸为部分截断的结果，确认出头部截断结果，根据所述肢体关键点截断结果和所述头部截断结果，得到截断识别结果，即判断所述肢体关键点截断结果和所述头部截断结果中是否存在部位截断的结果，从而将该部位截断的结果作为截断识别结果，所述截断识别结果能够体现待检测图像中的人体哪些肢体部位存在缺失，例如截断识别结果为截断部位为右腿和右脚，或者截断部位为头发，又或者截断部位为左手和左手臂等等，截断识别结果也可能为无截断部位或者完整的人体，通过所述人体阶截断检测模型能够自动识别出所述待检测图像是否存在截断部位，为后续的人体质量识别提供一个评价依据，有利于人体质量识别的效率和准确性，比如，在所述截断识别结果存在截断部位时，说明拍摄的图像中的人体不完全，人体所体现的图像质量不佳，可作为后续的遮挡评分或者遮挡结果输出的一个因子，使得遮挡评分或者遮挡结果更加准确。

在检测到所述截断识别结果中存在截断部位时，对所述待检测图像进行与该截断部位相应的截断部位预测，得到预测区域，并根据所述预测区域对所述待检测图像进行图像补全，对图像补全后的待检测图像进行图像增强处理，得到所述增强图像。

可理解地，获得所述截断识别结果时，判断所述截断识别结果是否存在截断部位，即判断是否存在截断部位有头、左/右手、左/右手臂、躯干、左/右腿、左/右脚、头发和人脸等内容，如果存在任一截断部位，则运用人体对称镜像的方法，对所述待检测图像进行与该截断部位相应的截断部位预测，

其中，所述人体对称镜像的预测方法的过程为：首先，根据截断部位识别出与截断部位对称的部位，即每一部位均有一个镜像对称的部位相对应，根据对应关系表，可以确定出截断部位相对应的镜像对称的部位；其次，检索标识为镜像对称的部位的区域范围，根据该区域范围进行镜像平移，得到镜像的对称区域，即将该镜像对称的部位所涉及的区域范围按照以识别出的躯干部位的中心线作为中心轴，镜像平移至相应的对称区域；最后，将该对称区域和所述待检测图像的交集部分中仅保留所述待检测图像的内容，将交集部分以外的对称区域确定为预测区域。其中，所述对称区域为矩形的区域，比如人脸和头发可以作为镜像对称关系，如果截断部位为头发，说明头发缺失，可以按照识别出的人脸区域镜像对称出头发被截断的区域，从而得到预测区域，又比如截断部位为左腿和左脚，则运用人体对称镜像方法，左腿和右腿为镜像对称关系，左脚和右脚按照右腿和右脚镜像预测出左腿和左脚的区域，或者截断部位为右肩和右手，则运用人体对称镜像方法，按照左肩和左手镜像预测出右肩和右手的区域，从而将预测出的区域记录为所述预测区域，如此，通过所述图像补全有利于后续的人体属性的识别，比如通过图像补全人体的截断的左腿和左脚，可以有利于识别人体的动作方向或者行走方向等，或者通过图像补全人体的截断的右手和右肩，可以有利于识别人体的动作姿势等。

其中，所述图像补全可以理解为自所述待检测图像的截断部位的图像边缘向图像外围补充所预测区域，并对所述预测区域中的各像素点使用标识的预设像素值进行填充，通过标识可以体现该像素值为图像补全的像素值，所述预设像素值可以根据需求设定，比如预设像素值可以为“255”，也可以为“0”，甚至预设像素值可以取值为与截断部位对称的部位所对应区域的所有像素值的均值，将图像补全后的待检测图像作为一个扩展图像，该扩展图像的尺寸大小为按照所述待检测图像进行扩大，扩大至能够覆盖所述预测区域的尺寸，该扩展图像中除所述预测区域和所述待检测图像以外的区域使用空白像素点填充，使该空白像素点填充的区域对后续的人体质量和属性的识别不产生影响，对所述扩展图像进行所述图像增强处理，从而得到所述增强图像。

在检测到所述截断识别结果不存在截断部位时，对所述待检测图像进行图像增强处理，得到所述增强图像。

可理解地，获得所述截断识别结果时，检测到所述截断识别结果不存在截断部位，即所述截断识别结果为无截断部位或者完整的人体，直接对所述待检测图像进行所述图像增强处理，从而得到与所述待检测图像对应的所述增强图像。

本发明实现了通过人体截断检测模型对所述待检测图像进行肢体截断识别，得到截断识别结果；在检测到所述截断识别结果中存在截断部位时，对所述待检测图像进行与该截断部位相应的截断部位预测，得到预测区域，并根据所述预测区域对所述待检测图像进行图像补全，对图像补全后的待检测图像进行图像增强处理，得到所述增强图像；在检测到所述截断识别结果不存在截断部位时，对所述待检测图像进行图像增强处理，得到所述增强图像，如此，能够通过人体截断检测模型自动识别出待检测图像是否存在截断部位，在检测到存在截断部位时，自动图像补全，再进行图像增强处理获得增强图像，以便后续的人体属性识别，在检测到不存在截断部位时，直接图像增强处理，获得增强图像，因此，能够自动识别出待检测图像是否存在截断部位，基于识别结果能够为后续的自动运用图像补全使待检测图像中的人体保证为完整的人体，便于人体质量和属性的识别，提高了人体质量的准确性和效率，以及提高了人体属性识别的准确性和正确性。

S102，对所述待检测图像和所述增强图像进行图像通道拆分和合并，得到所述待处理图像。

可理解地，所述图像通道拆分为对输入的图像进行RGB通道的颜色分割或者HSV通道的颜色分割，所述RGB通道的颜色分割为对图像进行红色(R)，绿色(G)和蓝色(B)等三个颜色通道进行分离出三个通道图像的过程，所述HSV通道的颜色分割为在RGB通道的颜色分割后的三个通道图像，在HSV颜色空间中进行转换成Hue(色调、色相)、Saturation(饱和度、色彩纯净度)和Value(明度)等三个转换后的通道图像，所述合并为将所述待检测图像和所述增强图像经过图像通道拆分后获得的多个通道图像进行汇合成一个具有多通道图像的所述待处理图像，比如待检测图像经过图像通道拆分后得到三个通道图像，增强图像经过图像通道拆分后得到三个通道图像，则将总共的六个通道图像进行合并得到具有六个通道图像的待处理图像。

其中，所述待处理图像包括至少一个通道图像。

本发明实现了通过对所述待检测图像进行图像增强处理，得到增强图像；对所述待检测图像和所述增强图像进行图像通道拆分和合并，得到所述待处理图像，如此，能够运用图像增强处理、图像通道拆分和合并，自动得到有利于人体质量和属性识别的待处理图像，提高了人体质量和属性的识别的效率和准确性。

S20，通过人体属性检测模型对所述待处理图像进行人体质量和属性识别，得到人体质量评价结果和人体属性识别结果。

可理解地，对所述待处理图像进行人体质量和属性的识别，可以通过训练完成的基于深度学习的用于识别人体质量和属性的人体属性检测模型实现，所述人体属性检测模型可以为多任务学习的基于深度学习的神经网络模型，即通过多个分支任务学习人体质量和各人体属性的类别的识别过程，即一个人体质量的分支任务由一个学习人体质量是否好坏的分支实现，每个人体属性的分支任务为分别由各自独立任务学习人体属性类别的分支实现，所述人体属性分支任务还可以共享一个主干网络实现，即所述人体属性检测模型包括主干网络、池化层、人体质量分支网络和至少一个人体属性分支网络，所述主干网络为训练完成的基于深度学习的神经网络模型，通过所述主干网络能够对输入的图像学习共享特征，并进行共享特征的提取，通过提取共享特征的向量可以共同提供给人体属性和人体质量进行识别，减少了处理器的处理量，无需多任务的提取不同方向的特征，所述池化层为对提取的共享特征向量进行池化操作的层级，所述人体质量分支网络为接收所述池化层输出的共享特征图，并基于共享特征图识别出输入图像质量的全连接层，所述人体属性分支网络为接收所述池化层输出的共享特征图，并基于共享特征图识别出输入图像中的人体的某一人体属性类别的全连接层，将所述人体质量分支网络输出的结果记录为所述人体质量评价结果，将所有所述人体属性分支网络输出的结果汇总得到所述人体属性识别结果，所述人体质量评价结果体现了所述待检测图像中的人体拍摄质量的结果，所述人体属性识别结果体现了所述待检测图像中的人体相关属性类别的集合的结果，通过所述人体属性识别结果能够获得所述待检测图像中的人体所需关注的人体相关属性的类别，为后续的筛选提供了数据依据。

在一实施例中，如图4所示，所述步骤S20中，即所述通过人体属性检测模型对所述待处理图像进行人体质量和属性识别，得到人体质量评价结果和人体属性识别结果，包括：

S201，通过主干网络对所述待处理图像进行共享特征提取，得到共享特征向量；所述人体属性检测模型包括所述主干网络、池化层、人体质量分支网络和至少一个人体属性分支网络。

可理解地，所述主干网络为训练完成的基于深度学习的神经网络模型，所述主干网络的网络结构可以为MobileNet系列、ResNet系列等网络结构，优选地，所述主干网络的网络结构为ResNet18的网络结构，所述共享特征为人体质量和各人体属性使之间共享输入的图像中学习或卷积获得的隐性特征，通过所述主干网络对所述待处理图像中的各通道图像进行所述共享特征提取，从而得到所述共享特征向量，比如，输入的待处理图像为尺寸为256和128且含有6个通道图像，经过主干网络的共享特征的提取，得到一个形状为(512，8，4)的共享特征向量，即512个通道的8×4尺寸的特征向量。

其中，所述池化层为对提取的共享特征向量进行池化操作的层级，所述人体质量分支网络为接收所述池化层输出的共享特征图，并基于共享特征图识别出输入图像质量的全连接层，所述人体属性分支网络为接收所述池化层输出的共享特征图，并基于共享特征图识别出输入图像中的人体的某一人体属性类别的全连接层。

S202，通过所述池化层对所述共享特征向量进行全局平均池化处理，得到共享特征图。

可理解地，所述全局平均池化处理也称为Global Average Pooling，是指将特征向量中所有像素值相加求平局，得到一个数值，即用该数值表示对应特征图，能够对整个网络从结构上做正则化防止过拟合，剔除了全连接层黑箱子操作的特征，直接赋予了每个通道实际的人体质量或者人体属性的类别意义，从而得到所述共享特征图，例如：形状为(512，8，4)的共享特征向量经过所述池化层的全局平均池化之后，得到特征图的形状为(512，1，1)。

S203，通过所述人体质量分支网络对所述共享特征图进行人体占比评分，得到占比结果，以及对所述共享特征图进行人体遮挡评分，得到遮挡结果，并根据所述占比结果和所述遮挡结果得到所述人体质量评价结果。

可理解地，通过所述人体质量分支网络对所述共享特征图进行所述人体占比评分，所述人体占比评分可以根据需求设定，在一实施例中，所述对所述共享特征图进行所述人体占比评分包括：对所述共享特征图进行全连接层的softmax分类处理，所述softmax分类处理为通过softmax分类器运用分类函数的线性运算输出的score向量进行进一步转化，即通过Softmax函数将共享特征图中的各个向量对于各个类的分数转化为概率分布，将分类出为人体的概率作为所述人体占比评分；在另一实施例中，对所述共享特征图进行分类，对所述共享特征图中分类出具有人体特征的概率达到预设阈值的向量，对该向量进行上采样(upsampling)，所述上采样为运用反卷积(Deconvolution)的方法，即为卷积的逆过程，实现转置卷积(transposed convolution)，得到与所述待处理图像等尺寸的待评估图，以及在所述待评估图中标识出具有人体的像素点的区域，将该区域确定为人体区域，再对该人体区域进行所述人脸特征和所述肢体特征的提取，根据提取的人脸特征识别出人脸区域，计算所述待评估图的面积、所述人脸区域的面积和所述人体区域的面积，将所述人体区域的面积和所述待评估图的面积相除，计算出人体区域在待评估图的面积占比，将所述人脸区域的面积和所述待评估图的面积相除，计算出人脸区域在待评估图的面积占比，对人体区域在待评估图的面积占比和人脸区域在待评估图的面积占比进行均值或者加权求和，得到所述占比结果，所述占比结果体现了所述待检测图像中人体在占比维度上衡量质量好坏的结果，所述占比结果为衡量占比好坏的百分比，以及通过所述人体质量分支网络对所述共享特征图进行所述人体遮挡评分，所述人体遮挡评分的过程为：首先，对所述共享特征图进行分类，对所述共享特征图中分类出具有人体特征和人脸特征的概率达到预设阈值的向量，对该向量进行上采样(upsampling)，得到与所述待处理图像等尺寸的待评分图；其次，对待评分图进行肢体特征、人脸特征和人体特征进行提取，并根据提取的肢体特征、人脸特征和人体特征识别出关键肢体点、人脸区域和人体区域，根据关键肢体点确定出是否存在一个或者多个肢体点的缺失，在存在缺失的肢体点的情况下，运用人体对称镜像方法，确定出预测区域，根据预测区域和所述人体区域的占比，得出第一占比评分，并且通过计算所述人脸区域和所述人体区域的占比，预测出头发或者人脸是否为部分截断，以及得出第二占比评分，结合所述第一占比评分和所述第二占比评分，确定出所述遮挡结果，其中，预测出人体在所述待检测图像是否被截断或遮挡，且评估出截断或遮挡占据人体的占比评分的过程，可以直接获取所述截断识别结果和所述预测区域，并计算预测区域的面积，无需再次判断是否被截断或遮挡，以及计算截断或者遮挡的区域面积，通过计算出预测区域的面积占据所述人脸区域或者所述人体区域的面积占比，根据面积占比所对应的等级范围，确定出高中低的评分结果，将其确定为所述遮挡结果，例如：在截断部位为头时，如果头被截断的预测区域大于人脸区域与预测区域的总和的三分之二，则确定截断或遮挡严重，进而评分低，认为人体质量差，在截断部位为左肩或者左手时，如果预测区域占人体区域超过三分之一，则确定截断或遮挡严重，进而评分低，认为人体质量差，从而得到在截断或者遮挡维度上人体质量好坏的百分比评分的所述遮挡结果。

其中，根据所述占比结果中的好或坏和所述遮挡结果中的好或坏，以及各自的百分比，确定出所述人体质量评价结果的好或坏，以及与其对应的质量置信度，所述质量置信度衡量出人体质量好或坏的置信程度。

在一实施例中，如图5所示，所述步骤S203中，即所述通过所述人体质量分支网络对所述共享特征图进行人体占比评分，得到占比结果，包括：

S2031，通过所述人体质量分支网络对所述共享特征图进行上采样处理，得到待评估图。

可理解地，所述上采样处理指将所述共享特征图的分辨率还原到所述待处理图像的分辨率大小的处理过程，从而得到所述待评估图。

S2032，通过所述人体质量分支网络对所述待评估图进行关键肢体点识别、人脸识别和人体识别，得到关键肢体点坐标结果、人脸区域结果和人体区域结果。

可理解地，所述关键肢体点识别为提取所述待评估图中人体的头、手、手臂、躯干、腿和脚等肢体节点的特征，并根据提取的特征识别出肢体节点的过程，对所述待评估图进行所述关键肢体点识别，可以得到所述关键肢体点坐标结果，所述关键肢体点坐标结果体现了各个关键的肢体节点所在所述待评估图中位置，所述人脸识别为识别出所述待评估图中人脸的区域的过程，对所述待评估图进行所述人脸识别，可以得到所述人脸区域结果，所述人脸区域结果体现了人脸在所述待评估图中的区域，所述人体识别为识别出所述待评估图中人体的区域的过程，对所述待评估图进行所述人体识别，可以得到所述人体区域结果，所述人体区域结果体现了人体在所述待评估图中的区域。

S2033，根据所述关键肢体点坐标结果距所述待检测图像边缘的距离，确定出第一占比值，并根据所述人脸区域结果和所述人体区域结果占据所述待检测图像的占比，确定出第二占比值。

可理解地，将所述待评估图的空间坐标体现的所述关键肢体点坐标结果相应地平移至所述待检测图像的空间坐标中，所述待评估图的空间坐标和所述待检测图像的空间坐标的对应关系为基于所述待评估图与所述待检测图像之间的像素点对应关系而建立，计算所述关键肢体点坐标结果中的各个肢体节点的坐标距离所述待检测图像边缘的最小垂直距离，所述最小垂直距离为一个肢体节点距离所述待检测图像边缘的四个边的垂直距离中最小的垂直距离，根据各个肢体节点的最小垂直距离，相应地对各个肢体节点进行评分，最终综合所有肢体节点的评分结果得出所述第一占比值，例如计算肢体头的节点的最小垂直距离，判断该最小垂直距离是否超过所述人脸区域的长边的两倍，如果肢体头的节点的最小垂直距离超过所述人脸区域的长边的两倍，则确定头部位的占比小，头部位的占比评分低；计算肢体左肩的节点的最小垂直距离，判断该最小垂直距离是否超过所述人体区域的短边，如果肢体左肩的节点的最小垂直距离超过所述人体区域的短边，则确定左肩部位的占比小，左肩部位的占比评分低等等，可以确定出各个肢体部位的占比评分高低，根据各个肢体节点的占比评分结果进行求和取平均，得到所述第一占比值。

其中，计算所述人脸区域结果中人脸区域的面积占所述待检测图像的面积的百分比，以及所述人体区域结果中人体区域的面积占所述待检测图像的面积的百分比，对所述人脸区域的面积占待检测图像的面积的百分比和所述人体区域结果占据所述待检测图像的占比进行加权求和，得到所述第二占比值，所述人脸区域的面积占待检测图像的面积的百分比的权重小于所述人体区域结果占据所述待检测图像的占比的权重。

S2034，对所述第一占比值和所述第二占比值进行加权，得到所述占比结果。

可理解地，将所述第一占比值和与其对应的权重相乘后的值，与所述第二占比值和与其对应的权重相乘后的值相加，得到所述占比结果，所述占比结果体现了有效的人体部分在所述待检测图像中的占比维度上衡量出的人体质量好坏的结果。

本发明实现了通过所述人体质量分支网络对所述共享特征图进行上采样处理，得到待评估图；通过所述人体质量分支网络对所述待评估图进行关键肢体点识别、人脸识别和人体识别，得到关键肢体点坐标结果、人脸区域结果和人体区域结果；根据所述关键肢体点坐标结果距所述待检测图像边缘的距离，确定出第一占比值，并根据所述人脸区域结果和所述人体区域结果占据所述待检测图像的占比，确定出第二占比值；对所述第一占比值和所述第二占比值进行加权，得到所述占比结果，如此，能够运用关键肢体点识别、人脸识别和人体识别，自动评估出在图像的占比维度上衡量出的人体质量好坏的结果，为后续的人体质量的识别提高了数据基础，并提高了人体质量识别的准确性和可靠性。

S204，通过各所述人体属性分支网络对所述共享特征图进行各自分支任务的属性识别，得到与各所述人体属性分支网络一一对应的属性分支结果，将所有所述属性分支结果汇合成所述人体属性识别结果。

可理解地，所述各自分支任务的属性识别为不同的人体属性分支网络学习不同的人体属性的类别，各所述人体属性分支网络对所述共享特征图进行各自人体属性的类别的特征进行提取，所述各自人体属性的类别的特征提取是通过各种包含不同的人体属性的样本进行训练，比如通过VGG16的网络结构进行训练，学习不同的人体属性的类别所具有的共性特征，并且根据学习到的不同的人体属性的类别所具有的共性特征进行全连接层分类，从而识别出各个样本所具有的人体属性的类别，从而得到训练完成的用于识别各种不同人体属性的各自分支任务，将所述共享特征图分别输入各个不同人体属性识别的人体属性分支网络，通过各个不同人体属性识别的人体属性分支网络一一进行相应特征的提取，并根据提取的特征进行一一分类，从而根据分类结果识别出各个不同人体属性相应类别的结果，从而识别出与各所述人体属性分支网络一一对应的属性分支结果，所述属性分支结果体现了人体属性分支网络识别出的类别，且包含有该类别的置信度，最后将所有所述属性分支结果汇合成一个结果，将该结果记录为所述人体属性识别结果，所述人体属性识别结果包含了各个人体属性的类别及与各人体属性的类别一一对应的置信度。

其中，所述步骤S203和所述步骤S204之间的执行顺序在此不做限制，两步骤可以不分先后顺序的串行执行，也可以为并行执行。

本发明实现了通过主干网络对所述待处理图像进行共享特征提取，得到共享特征向量；通过所述池化层对所述共享特征向量进行全局平均池化处理，得到共享特征图；通过所述人体质量分支网络对所述共享特征图进行人体占比评分，得到占比结果，以及对所述共享特征图进行人体遮挡评分，得到遮挡结果，并根据所述占比结果和所述遮挡结果得到所述人体质量评价结果；通过各所述人体属性分支网络对所述共享特征图进行各自分支任务的属性识别，得到与各所述人体属性分支网络一一对应的属性分支结果，将所有所述属性分支结果汇合成所述人体属性识别结果，如此，实现了共享一个主干网络对待处理图像的共享特征提取，自动基于共享特征评分出人体质量评价结果和人体属性识别结果，为后续的人体属性识别的修正提供数据基础。

S30，根据所述人体质量评价结果，对所述人体属性识别结果进行置信度修正处理，得到人体识别修正结果。

可理解地，所述置信度修正处理为根据所述人体质量评价结果中的好或坏以及质量置信度，对所述人体属性识别结果中的各个置信度进行修正的处理过程，也即首先，在所述人体质量评价结果中的质量评分值为质量好所对应的值(1)时，将所述人体质量评价结果中的质量置信度分别与所述人体属性识别结果中的各个置信度相乘，得到与各置信度对应的修正置信度；在所述人体质量评价结果中的质量评分值为质量坏所对应的值(0)时，将所述人体质量评价结果中的质量置信度与一相减取正数后分别与所述人体属性识别结果中的各个置信度相乘，得到与各置信度对应的修正置信度；然后，将与各置信度对应的修正置信度相应的对所述人体属性识别结果进行替代，从而得到所述人体识别修正结果，所述人体识别修正结果为经过置信度修正处理后的所述人体属性识别结果。

在一实施例中，所述人体质量评估结果包括质量评分值和质量置信度。

可理解地，所述质量评分值可以为两个分值，包括质量好的评分值(1)和质量坏的评分值(0)，所述质量置信度衡量出人体质量好或坏的置信程度。

在一实施例中，所述步骤S30中，所述根据所述人体质量评价结果，对所述人体属性识别结果进行置信度修正处理，得到人体识别修正结果，包括：

根据所述质量置信度，对所述人体属性识别结果中的各所述属性分支结果进行与所述质量评分值对应的置信度修正处理，得到与各所述属性分支结果一一对应的分支修正结果。

可理解地，将所述人体质量评价结果和所述人体属性识别结果中的各所述属性分支结果输入置信度修正函数中，通过所述置信度修正函数计算出与各所述属性分支结果一一对应的分支修正结果，所述分支修正结果包括人体属性识别结果中的相应分支的人体属性的类别，以及与其对应的修正置信度，所述置信度修正函数为：

其中，attr_{p_revision}为与属性分支结果对应的分支修正结果中的修正置信度；

quality_p为人体质量评价结果中的质量置信度；

quality_value为人体质量评价结果中的质量评分值；

attr_p为属性分支结果中的置信度。

将所有所述分支修正结果进行汇总，得到所述人体识别修正结果。

可理解地，所述人体识别修正结果中的修正置信度能够真正体现人体属性的类别的真实置信度。

本发明实现了通过根据所述质量置信度，对所述人体属性识别结果中的各所述属性分支结果进行与所述质量评分值对应的置信度修正处理，得到与各所述属性分支结果一一对应的分支修正结果；将所有所述分支修正结果进行汇总，得到所述人体识别修正结果，如此，能够结合人体质量识别的结果自动修正人体属性识别结果，无需耗费人工修正的成本，从而大大节省了人工成本，提高了人体属性识别的精度，并提升了人体属性识别的效率和有效性。

S40，根据所述人体质量评价结果和所述人体识别修正结果生成与所述待检测图像对应的人体属性最终结果。

可理解地，将所述人体质量评价结果和所述人体识别修正结果合并生成一个与该待检测图像对应的人体属性最终结果，所述人体属性最终结果能够体现所述待检测图像各个人体属性的类别以及人体质量的好坏，相当于将所述人体属性最终结果赋予所述待检测图像一组检索标签，该检索标签为后续检索出待检索图像提供检索的因子，通过修正置信度及质量置信度能够反映各因子的符合程度。

本发明实现了通过对待检测图像进行预处理，得到待处理图像；通过人体属性检测模型对所述待处理图像进行人体质量和属性识别，得到人体质量评价结果和人体属性识别结果；根据所述人体质量评价结果，对所述人体属性识别结果进行置信度修正处理，得到人体识别修正结果；根据所述人体质量评价结果和所述人体识别修正结果生成与所述待检测图像对应的人体属性最终结果，因此，本发明实现了通过对待检测图像进行预处理，自动对预处理后的图像进行人体质量和属性识别，识别出图像中人体的人体质量评价结果和人体属性识别结果，并根据人体质量评价结果自动对人体属性识别结果进行置信度修正，最终生成准确的置信度的人体属性最终结果，如此，能够通过对图像中的人体进行人体质量和人体属性的识别，并结合人体质量识别的结果自动修正人体属性识别结果，无需耗费人工修正的成本，从而大大节省了人工成本，提高了人体属性识别的精度，并提升了人体属性识别的效率和有效性，以及人体属性识别结果的可应用性。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种人体属性检测装置，该人体属性检测装置与上述实施例中人体属性检测方法一一对应。如图6所示，该人体属性检测装置包括获取模块11、识别模块12、修正模块13和确定模块14。各功能模块详细说明如下：

获取模块11，用于对待检测图像进行预处理，得到待处理图像；

识别模块12，用于通过人体属性检测模型对所述待处理图像进行人体质量和属性识别，得到人体质量评价结果和人体属性识别结果；

修正模块13，用于根据所述人体质量评价结果，对所述人体属性识别结果进行置信度修正处理，得到人体识别修正结果；

确定模块14，用于根据所述人体质量评价结果和所述人体识别修正结果生成与所述待检测图像对应的人体属性最终结果。

关于人体属性检测装置的具体限定可以参见上文中对于人体属性检测方法的限定，在此不再赘述。上述人体属性检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是客户端或者服务端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作系统、计算机程序和数据库。该内存储器为可读存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人体属性检测方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中人体属性检测方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中人体属性检测方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人体属性检测方法，其特征在于，包括：

对待检测图像进行预处理，得到待处理图像；

通过人体属性检测模型对所述待处理图像进行人体质量和属性识别，得到人体质量评价结果和人体属性识别结果；

根据所述人体质量评价结果，对所述人体属性识别结果进行置信度修正处理，得到人体识别修正结果；

根据所述人体质量评价结果和所述人体识别修正结果生成与所述待检测图像对应的人体属性最终结果。

2.如权利要求1所述的人体属性检测方法，其特征在于，所述对待检测图像进行预处理之前，包括：

获取输入图像，并将所述输入图像输入单体识别模型中；所述输入图像中包含至少一个人体；

通过所述单体识别模型对所述输入图像进行单体特征提取，根据提取的所述单体特征进行单体识别，识别出至少一个包含人体的单体区域；

从所述输入图像中提取出各所述单体区域所对应的图像，得到与各所述单体区域一一对应的待检测图像。

3.如权利要求1所述的人体属性检测方法，其特征在于，所述对待检测图像进行预处理，得到待处理图像，包括：

对所述待检测图像进行图像增强处理，得到增强图像；

对所述待检测图像和所述增强图像进行图像通道拆分和合并，得到所述待处理图像。

4.如权利要求3所述的人体属性检测方法，其特征在于，所述对所述待检测图像进行图像增强处理，得到增强图像，包括：

通过人体截断检测模型对所述待检测图像进行肢体截断识别，得到截断识别结果；

在检测到所述截断识别结果中存在截断部位时，对所述待检测图像进行与该截断部位相应的截断部位预测，得到预测区域，并根据所述预测区域对所述待检测图像进行图像补全，对图像补全后的待检测图像进行图像增强处理，得到所述增强图像；

在检测到所述截断识别结果不存在截断部位时，对所述待检测图像进行图像增强处理，得到所述增强图像。

5.如权利要求1所述的人体属性检测方法，其特征在于，所述通过人体属性检测模型对所述待处理图像进行人体质量和属性识别，得到人体质量评价结果和人体属性识别结果，包括：

通过主干网络对所述待处理图像进行共享特征提取，得到共享特征向量；所述人体属性检测模型包括所述主干网络、池化层、人体质量分支网络和至少一个人体属性分支网络；

通过所述池化层对所述共享特征向量进行全局平均池化处理，得到共享特征图；

通过所述人体质量分支网络对所述共享特征图进行人体占比评分，得到占比结果，以及对所述共享特征图进行人体遮挡评分，得到遮挡结果，并根据所述占比结果和所述遮挡结果得到所述人体质量评价结果；

通过各所述人体属性分支网络对所述共享特征图进行各自分支任务的属性识别，得到与各所述人体属性分支网络一一对应的属性分支结果，将所有所述属性分支结果汇合成所述人体属性识别结果。

6.如权利要求5所述的人体属性检测方法，其特征在于，所述通过所述人体质量分支网络对所述共享特征图进行人体占比评分，得到占比结果，包括：

通过所述人体质量分支网络对所述共享特征图进行上采样处理，得到待评估图；

通过所述人体质量分支网络对所述待评估图进行关键肢体点识别、人脸识别和人体识别，得到关键肢体点坐标结果、人脸区域结果和人体区域结果；

根据所述关键肢体点坐标结果距所述待检测图像边缘的距离，确定出第一占比值，并根据所述人脸区域结果和所述人体区域结果占据所述待检测图像的占比，确定出第二占比值；

对所述第一占比值和所述第二占比值进行加权，得到所述占比结果。

7.如权利要求5所述的人体属性检测方法，其特征在于，所述人体质量评价结果包括质量评分值和质量置信度；

所述根据所述人体质量评价结果，对所述人体属性识别结果进行置信度修正处理，得到人体识别修正结果，包括：

根据所述质量置信度，对所述人体属性识别结果中的各所述属性分支结果进行与所述质量评分值对应的置信度修正处理，得到与各所述属性分支结果一一对应的分支修正结果；

将所有所述分支修正结果进行汇总，得到所述人体识别修正结果。

8.一种人体属性检测装置，其特征在于，包括：

获取模块，用于对待检测图像进行预处理，得到待处理图像；

识别模块，用于通过人体属性检测模型对所述待处理图像进行人体质量和属性识别，得到人体质量评价结果和人体属性识别结果；

修正模块，用于根据所述人体质量评价结果，对所述人体属性识别结果进行置信度修正处理，得到人体识别修正结果；

确定模块，用于根据所述人体质量评价结果和所述人体识别修正结果生成与所述待检测图像对应的人体属性最终结果。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述人体属性检测方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述人体属性检测方法。

Images