CN110991380A - 人体属性识别方法、装置、电子设备以及存储介质 - Google Patents

人体属性识别方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN110991380A
CN110991380A CN201911268088.4A CN201911268088A CN110991380A CN 110991380 A CN110991380 A CN 110991380A CN 201911268088 A CN201911268088 A CN 201911268088A CN 110991380 A CN110991380 A CN 110991380A
Authority
CN
China
Prior art keywords
human body
image
attribute
body attribute
heat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911268088.4A
Other languages
English (en)
Inventor
贺珂珂
刘璟
葛彦昊
汪铖杰
李季檩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911268088.4A priority Critical patent/CN110991380A/zh
Publication of CN110991380A publication Critical patent/CN110991380A/zh
Priority to JP2022517445A priority patent/JP7286010B2/ja
Priority to PCT/CN2020/117441 priority patent/WO2021114814A1/zh
Priority to EP20897856.9A priority patent/EP3989112A4/en
Priority to KR1020227002498A priority patent/KR20220020986A/ko
Priority to US17/504,682 priority patent/US11710335B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种人体属性识别方法、装置、电子设备以及存储介质，其中，该文本识别方法包括：获取包含多个检测区域的人体图像样本，检测区域标注有人体属性真实值，通过识别模型生成人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像，融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，根据全局热度图像和局部热度图像确定每类人体属性的关注区域，利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，基于修正后识别模型对待识别图像进行人体属性识别，该方案可以有效地提高提高人体属性识别的准确率。

Description

人体属性识别方法、装置、电子设备以及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种人体属性识别方法、装置、电子设备以及存储介质。
背景技术
人体属性识别是对人物的性别、年龄、衣物的类型和颜色等的识别，被广泛应用于危险行为预警、交通违章监控、工业安防、自动售货机、商场和车站等公共场所的目标人物锁定等领域。
在目前的人体属性识别技术中，首先是对人体的多个人体特征如头部、躯干以及四肢等进行识别，然后再识别每个人体特征对应的人体属性，当需要对人体中的多个属性进行识别时，比如，对人体的头部属性和人体的躯干属性进行识别时，由于头部与躯干之间的连接性，在进行人体特征识别时，可能会误将人体的头部识别为人体的躯干，导致后续人体属性识别的结果不准确。
发明内容
本发明实施例提供一种人体属性识别方法、装置、电子设备以及存储介质，可以提高人体属性识别的准确率。
本发明实施例提供了一种人体属性识别方法，包括：
获取包含多个检测区域的人体图像样本，所述检测区域标注有人体属性真实值；
通过识别模型生成所述人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像；
融合所述全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值；
根据所述全局热度图像和局部热度图像确定每类人体属性的关注区域；
利用所述关注区域、人体属性真实值和人体属性预测值对所述识别模型进行修正；
基于修正后识别模型对待识别图像进行人体属性识别。
相应的，本发明实施例还提供了一种人体属性识别装置，包括：
获取模块，用于获取包含多个检测区域的人体图像样本，所述检测区域标注有人体属性真实值；
生成模块，用于通过识别模型生成所述人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像；
融合模块，用于融合所述全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值；
确定模块，用于根据所述全局热度图像和局部热度图像确定每类人体属性的关注区域；
修正模块，用于利用所述关注区域、人体属性真实值和人体属性预测值对所述识别模型进行修正；
识别模块，用于基于修正后识别模型对待识别图像进行人体属性识别。
可选的，在本发明的一些实施例中，所述确定模块包括：
生成子模块，用于根据所述全局热度图像和局部热度图像，生成每类人体属性对应的类激活图；
修正模块，对所述类激活图进行修正，并基于修正结果确定每类人体属性的关注区域。
可选的，在本发明的一些实施例中，所述生成子模块包括：
处理单元，用于分别对所述全局热度图像和局部热度图像进行镜像处理，得到处理后的全局热度图像以及处理后的局部热度图像；
生成单元，用于基于处理后的全局热度图像以及处理后的局部热度图像，生成每类人体属性的镜像处理后的类激活图；
确定单元，用于根据所述类激活图以及镜像处理后的类激活图，确定每类人体属性的关注区域。
可选的，在本发明的一些实施例中，所述确定单元包括：
获取子单元，用于分别获取类激活图的特征点以及镜像处理后的类激活图的特征点，得到所述类激活图对应的多个第一特征点以及镜像处理后的类激活图对应的多个第二特征点，每个第一特征点对应一个第二特征点；
提取子单元，用于提取第一特征点的热度值，得到第一特征点对应的第一热度值，以及提取第二特征点的热度值，得到第二特征点对应的第二热度值；
构建子单元，用于基于所述第一热度值以及第二热度值，构建每类人体属性的关注区域。
可选的，在本发明的一些实施例中，所述构建子单元具体用于：
检测每个第一热度值满足预设条件；
从多个第一特征点中选取满足预设条件的第一特征点，得到第一参考点；
构建与第一参考点对应的人体属性的第一参考区域；
获取与所述第一参考点对应的第二特征点，得到第二参考点；
构建与第二参考点对应的人体属性的第二参考区域；
对所述第二参考区域进行镜像处理，得到处理后第二参考区域；
通过处理后第二参考区域对第一参考区域进行尺寸调整，得到人体属性的关注区域。
可选的，在本发明的一些实施例中，所述生成子模块具体用于：
对所述全局热度图像进行向量化处理，得到所述全局热度图像对应的特征向量；
基于各局部热度图像在所述全局热度图像中的分布，确定各局部图像所关注的人体属性；
根据各局部图像所关注的人体属性，生成各局部图像对应的权重矩阵；
分别计算所述特征向量与各权重矩阵之间的乘积，得到每类人体属性对应的类激活图。
可选的，在本发明的一些实施例中，所述修正模块具体用于：
基于所述人体属性真实值和人体属性预测值计算所述识别模型的损失函数，得到第一损失函数；
通过所述识别模型获取所述关注区域对应的损失函数，得到第二损失函数；
将所述第一损失函数与第二损失函数进行叠加，得到所述识别模型的目标损失函数；
通过所述目标损失函数对所述识别模型进行修正。
可选的，在本发明的一些实施例中，所述识别模块具体用于：
获取包含待识别人体的待识别图像；
对所述待识别图像进行人体特征点识别，得到所述待识别人体对应的第一特征点集合；
基于所述第一特征点集合对所述待识别人体进行区域划分，得到所述待识别人体对应的多个待检测区域；
通过修正后识别模型分别对多个待检测区域进行人体属性识别。
可选的，在本发明的一些实施例中，所述获取模块具体用于：
获取包含样本人体的人体图像样本
对所述人体图像样本进行人体特征点识别，得到所述样本人体对应的第二特征点集合；
基于所述第二特征点集合对所述样本人体进行区域划分，得到所述样本人体对应的多个检测区域
本发明实施例在获取包含多个检测区域的人体图像样本后，所述检测区域标注有人体属性真实值，通过识别模型生成所述人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像，然后，融合所述全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，接着，根据所述全局热度图像和局部热度图像确定每类人体属性的关注区域，再然后，利用所述关注区域、人体属性真实值和人体属性预测值对所述识别模型进行修正，最后，基于修正后识别模型对待识别图像进行人体属性识别。因此，该方案可以有效地提高人体属性识别的准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的人体属性识别方法的场景示意图；
图1b是本发明实施例提供的人体属性识别方法的流程示意图；
图2a是本发明实施例提供的人体属性识别方法的另一流程示意图；
图2b是本发明实施例提供的人体属性识别方法中生成类激活图的示意图；
图2c是本发明实施例提供的人体属性识别方法中通过镜像处理后类激活图对类激活图进行调整的示意图；
图2d是本发明实施例提供的识别结果对应的页面的示意图；
图3是本发明实施例提供的人体属性识别装置的结构示意图；
图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种在人体属性识别方法、装置、电子设备和存储介质。
其中，该人体属性识别装置具体可以集成在终端或服务器中，终端可以包括手机、平板电脑、个人计算机(PC，Personal Computer)或监控设备，服务器可以包括一个独立运行的服务器或者分布式服务器，也可以包括由多个服务器组成的服务器集群。
例如，请参阅图1a，该人体属性识别装置集成在监控设备上，该监控设备可以包括摄像头，首先，该监控设备可以获取多张人体图像样本，其中，每张检测区域标注有人体属性真实值，每个检测区域标注有人体属性真实值，然后，该监控设备通过识别模型生成人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像，接着，融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，再然后，该监控设备可以根据全局热度图像和局部热度图像确定每类人体属性的关注区域，最后，该监控设备可以利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正；当有犯罪嫌疑人进入该监控设备所监控的区域时，该监控区域内还有行人，得知犯罪嫌疑人穿着白色上衣、黑色长裤以及红色鞋子，此时，监控设备可以基于修正后识别模型对摄像头拍摄到的图像进行人体属性识别，从而在人群中识别出犯罪嫌疑人。
由于该方案是利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，再基于修正后识别模型对待识别图像进行人体属性识别，也就是说，在进行人体属性识别时，会考虑到每类人体属性的关注区域，使得每个属性能更好的关注到自己需要关注的区域，从而提高人体属性识别的准确率。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。
一种在人体属性识别方法，包括：获取包含多个检测区域的人体图像样本，检测区域标注有人体属性真实值，通过识别模型生成人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像，融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，根据全局热度图像和局部热度图像确定每类人体属性的关注区域，利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，基于修正后识别模型对待识别图像进行人体属性识别。
请参阅图1b，图1b为本发明实施例提供的人体属性识别方法的流程示意图。该文本识别方法的具体流程可以如下：
101、获取包含多个检测区域的人体图像样本。
该人体图像样本为样本人体的图像，且该检测区域标注有人体属性真实值，且，每个检测区域标注有人体属性真实值，该人体图像样本可以是预先保存在本地的，也可以是通过访问网络接口拉取得到的，还可以是通过摄像头实时拍摄得到的，具体根据实际情况而定。
其中，可以根据样本人体对应的特征点对人体图像样本进行区域划分，即，在一些实施例中，步骤“获取包含多个检测区域的人体图像样本”，具体可以包括：
(11)获取包含样本人体的人体图像样本；
(12)对人体图像样本进行人体特征点识别，得到样本人体对应的第二特征点集合；
(13)基于第二特征点集合对样本人体进行区域划分，得到样本人体对应的多个检测区域。
具体的，可以检测人体图像样本中样本人体的关键特征点，比如，检测到有14个关键特征点(即第二特征点)，然后，基于这14个关键特征点对样本人体进行区域划分，得到样本人体的头部区域、样本人体的躯干区域以及样本人体的四肢区域，即，得到3个检测区域。
102、通过识别模型生成人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像。
在此，首先介绍一下热度图像的概念，热度图作为一种密度图，其一般使用具备显著颜色差异的方式来呈现数据效果，热力图中亮色一般代表事件发生频率较高或事物分布密度较大，暗色则反之，在本发明实施例中，全局热度图像用于表征样本人体在人体图像样本中的热度信息，局部热度图像用于表征样本人体在待检测区域中的热度信息。
其中，可以通过识别模型中的人体特征识别子网络对人体图像样本以及待检测区域进行特征提取，得到人体图像样本对应的全局热度图像以及待检测区域对应的局部热度图像。
其中，该人体特征识别子网络可以包括：
卷积层：主要用于对输入的图像(比如训练样本或需要识别的图像)进行特征提取，其中，卷积核大小以及卷积核的数量可以根据实际应用而定，比如，从第一层卷积层至第四层卷积层的卷积核大小依次可以为(7，7)，(5，5)，(3，3)，(3，3)；可选的，为了降低计算的复杂度，提高计算效率，在本实施例中，这四层卷积层的卷积核大小可以都设置为(3，3)，激活函数均采用“relu(线性整流函数，Rectified Linear Unit)”，而padding(padding，指属性定义元素边框与元素内容之间的空间)方式均设置为“same”，“same”填充方式可以简单理解为以0填充边缘，左边(上边)补0的个数和右边(下边)补0的个数一样或少一个。可选的，卷积层与卷积层之间可以通过直连的方式连接，从而加快网络收敛速度，为了进一步减少计算量，还可以在第二至第四层卷积层中的所有层或任意1～2层进行下采样(pooling)操作，该下采样操作与卷积的操作基本相同，只不过下采样的卷积核为只取对应位置的最大值(max pooling)或平均值(average pooling)等，为了描述方便，在本发明实施例中，将均以在第二层卷积层和第三次卷积层中进行下采样操作，且该下采样操作具体为maxpooling为例进行说明。
需说明的是，为了描述方便，在本发明实施例中，将激活函数所在层和下采样层(也称为池化层)均归入卷积层中，应当理解的是，也可以认为该结构包括卷积层、激活函数所在层、下采样层(即池化层)和全连接层，当然，还可以包括用于输入数据的输入层和用于输出数据的输出层，在此不再赘述。
全连接层：可以将学到的特征映射到样本标记空间，其在整个卷积神经网络中主要起到“分类器”的作用，全连接层的每一个结点都与上一层(如卷积层中的下采样层)输出的所有结点相连，其中，全连接层的一个结点即称为全连接层中的一个神经元，全连接层中神经元的数量可以根据实际应用的需求而定，比如，在该文本检测模型中，全连接层的神经元数量可以均设置为512个，或者，也可以均设置为128个，等等。与卷积层类似，可选的，在全连接层中，也可以通过加入激活函数来加入非线性因素，比如，可以加入激活函数sigmoid(S型函数)。
103、融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值。
首先，可以将全局热度图像的尺寸和局部热度图像的尺寸分别压缩至预设尺寸，然后，将压缩后的全局热度图像与压缩后的局部热度图像进行拼接，得到融合后图像，并基于识别模型对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，其中，该人体属性预测值为人体图像样本中每个像素点属于人体的概率。
104、根据全局热度图像和局部热度图像确定每类人体属性的关注区域。
为了进一步提高识别模型识别人体属性的准确率，比如，所要识别的人体属性为黑头发属性，那么，识别模型需要关注的区域为人体的头部区域，也就是说，头部区域为黑头发属性对应的关注区域，又比如，所要识别的人体属性为白衣服属性以及蓝色鞋子属性，那么识别模型需要关注的区域为人体的躯干区域以及人体的下肢区域，因此，可以通过全局热度图像和局部热度图像，确定每类人体属性的关注区域，可选的，在一些实施例中，步骤“根据全局热度图像和局部热度图像确定每类人体属性的关注区域”，具体可以包括：
(21)根据全局热度图像和局部热度图像，生成每类人体属性对应的类激活图；
(22)对类激活图进行修正，并基于修正结果确定每类人体属性的关注区域。
其中，类激活图也是热度图中的一种，但与前面提到的全局热度图像以及局部热度图像的区别在于，类激活图是用于突出某类特定区域的热度图，具体的，可以获取局部热度图像对应在全局热度图像中的位置，基于该位置信息确定该局部热度图像与哪些人体属性相关，比如，局部热度图像A对应在全局热度图像中的位置为头部区域，那么该局部热度图像A与头发属性、帽子属性以及耳环属性相关，而衣服属性、鞋子属性以及手表属性等这些属性是不会从头部区域中识别到的，当确定局部热度图像对应的人体属性后，可以根据全局热度图像和局部热度图像，生成每类人体属性对应的类激活图。
可选的，在一些实施例中，还可以对全局热度图像进行向量化处理，得到全局热度图像对应的特征向量，然后，基于各局部热度图像在全局热度图像中的分布，确定各局部图像所关注的人体属性，并根据各局部图像所关注的人体属性，生成各局部图像对应的权重矩阵，最后，分别计算特征向量与各权重矩阵之间的乘积，得到每类人体属性对应的类激活图，即，步骤“根据全局热度图像和局部热度图像，生成每类人体属性对应的类激活图”，具体可以包括：
(31)对全局热度图像进行向量化处理，得到全局热度图像对应的特征向量；
(32)基于各局部热度图像在全局热度图像中的分布，确定各局部图像所关注的人体属性；
(33)根据各局部图像所关注的人体属性，生成各局部图像对应的权重矩阵；
(34)分别计算特征向量与各权重矩阵之间的乘积，得到每类人体属性对应的类激活图。
比如，对于一张训练图像样本而言，经过识别模型中的人体特征子网络后，可以输出Q*R*E大小的全局热度图像，其中，Q为通道数，R为热度图像的宽，E为热度图像的高，假设输出2048*8*24，相当于有2048张全局热度图像，然后，将所有全局热度图像进行全局池化处理后，得到一个2048维的特征向量，然后，根据各局部图像所关注的人体属性，生成各局部图像对应的权重矩阵W，最后，分别计算特征向量与各权重矩阵W之间的乘积，得到每类人体属性对应的类激活图，比如，对于某类人体属性来说，该人体属性对应的类激活图可以用下式表示：
I＝W1*D1+W2*D2+...+Wn*Di
其中，I表示人体属性对应的类激活图，表示第n个局部热度图像对应的权重矩阵，Di表示第i个全局热度图像。
需要说明的是，生成的类激活图可能会出现所关注的区域范围太大，覆盖了一些本不会关注到的区域，比如，黑头发属性所要关注的区域为头部区域，但是，生成的类激活图中，关注的区域覆盖了一部分人体的躯干区域，因此，需要对类激活图进行修正，并基于修正结果确定每类人体属性的关注区域。
对类激活图修正的方法可以有很多，在本发明中，可以分别对全局热度图像和局部热度图像进行镜像处理，并基于处理后的全局热度图像以及处理后的局部热度图像，确定每类人体属性的关注区域，即，可选的，步骤“类激活图进行修正，基于修正结果确定每类人体属性的关注区域”，具体可以包括：
(41)分别对全局热度图像和局部热度图像进行镜像处理，得到处理后的全局热度图像以及处理后的局部热度图像；
(42)基于处理后的全局热度图像以及处理后的局部热度图像，生成每类人体属性的镜像处理后的类激活图；
(43)根据类激活图以及镜像处理后的类激活图，确定每类人体属性的关注区域。
需要说明的是，对于同一张图像P而言，镜像处理后图像P的类激活图和镜像处理后的图像P的类激活图是相同的，因此，可以通过镜像处理后的类激活图对类激活图关注的区域进行调整，进而确定每类人体属性的关注区域。
比如，可以通过类激活图的特征点，确定该类激活图所关注的区域，以及通过镜像处理后的类激活图的特征点，确定该镜像处理后的类激活图所关注的区域，再根据镜像处理后的类激活图所关注的区域对类激活图关注的区域进行调整，进而确定每类人体属性的关注区域，即，可选的，步骤“根据类激活图以及镜像处理后的类激活图，确定每类人体属性的关注区域”，具体可以包括：
(51)分别获取类激活图的特征点以及镜像处理后的类激活图的特征点，得到类激活图对应的多个第一特征点以及镜像处理后的类激活图对应的多个第二特征点，每个第一特征点对应一个第二特征点；
(52)提取第一特征点的热度值，得到第一特征点对应的第一热度值，以及提取第二特征点的热度值，得到第二特征点对应的第二热度值；
(53)基于第一热度值以及第二热度值，构建每类人体属性的关注区域。
其中，可以根据第一热度值确定类激活图所关注的区域，比如，当某个第一热度值大于预设阈值时，则该第一热度值对应的第一特征点位于类激活图所关注的区域内，并将该大于预设阈值的第一热度值对应的第一特征点确定为第一参考点，然后，构建与第一参考点对应的人体属性的第一参考区域，同理，根据第二热度值确定镜像处理后类激活图所关注的区域的方法也是类似，当然，由于镜像处理后类激活图是基于处理后的全局热度图像以及处理后的局部热度图像得到的，也就是说，每个第二特征点在类激活图中均有一个第一特征点与其对应，即，在一些实施例中，步骤“基于第一热度值以及第二热度值，构建每类人体属性的关注区域”，具体可以包括：
(61)检测每个第一热度值是否满足预设条件；
(62)从多个第一特征点中选取满足预设条件的第一特征点，得到第一参考点；
(63)构建与第一参考点对应的人体属性的第一参考区域；
(64)获取与第一参考点对应的第二特征点，得到第二参考点；
(65)构建与第二参考点对应的人体属性的第二参考区域；
(66)对第二参考区域进行镜像处理，得到处理后第二参考区域；
(67)通过处理后第二参考区域对第一参考区域进行尺寸调整，得到人体属性的关注区域。
当确定每类人体属性的关注区域后，则执行步骤105，需要说明的是，对步骤103和步骤104的先后顺序不作限定。
105、利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正。
在本发明中，类激活图修正的思想是：对于一张人体图像C的某个人体属性而言，人体图像C输出的类激活函数与镜像处理后的人体图像C输出的类激活函数是相等的，即，CAM(C)＝CAM(F(C))
其中，CAM(C)表示人体图像C的类激活函数，CAM(F(C))表示通过F函数对的人体图像C进行镜像处理后，镜像处理后的人体图像C的类激活函数，也就是说，关注区域的对应的损失函数Lcam
Lcam＝|FCAM(C)-CAM(F(C))|2
进一步的，根据人体属性真实值和人体属性预测值计算识别模型的损失函数，并基于计算到损失函数以及关注区域的对应的损失函数对识别模型进行修正，即，在一些实施例中，步骤“利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正”，具体可以包括：
(71)基于人体属性真实值和人体属性预测值计算识别模型的损失函数，得到第一损失函数；
(72)通过识别模型获取关注区域对应的损失函数，得到第二损失函数；
(73)将第一损失函数与第二损失函数进行叠加，得到识别模型的目标损失函数；
(74)通过目标损失函数对识别模型进行修正。
例如，具体的，基于人体属性真实值和人体属性预测值计算识别模型的损失函数，得到第一损失函数，该第一损失函数可以用下式表示：
Figure BDA0002313428510000131
Figure BDA0002313428510000132
其中，K表示关注区域的数量，J表示人体属性的类别，ukj为人体属性真实值，其用于表征第k个关注区域属于第j个人体属性的真实概率，Xkj为人体属性预测值，其用于表征第k个关注区域属于第j个人体属性的预测概率，e为自然常数，最终的目标损失函数等于第一损失函数和第二损失函数之和，即L＝Lcam+Lpred。
106、基于修正后识别模型对待识别图像进行人体属性识别。
例如，具体的，通过修正后识别模型对待识别图像进行人体属性识别，得到该待识别图像中待识别人体的人体属性识别结果，比如，可以识别到待识别人体的人体属性为白色上衣、蓝色裤子以及黑色鞋子等等，具体的，可以对包含待识别人体的待识别图像进行人体特征点识别，得到待识别人体对应的14个特征点，然后，基于这14个特征点对待识别人体进行区域划分，得到待识别人体对应的多个待检测区域，最后，基于多个待检测区域，通过修正后识别模型对待识别图像进行人体属性识别，即，在一些实施例中，步骤“基于修正后识别模型对待识别图像进行人体属性识别”，具体可以包括：
(81)获取包含待识别人体的待识别图像；
(82)对待识别图像进行人体特征点识别，得到待识别人体对应的第一特征点集合；
(83)基于第一特征点集合对待识别人体进行区域划分，得到待识别人体对应的多个待检测区域；
(84)通过修正后识别模型分别对多个待检测区域进行人体属性识别。
本发明实施例在获取包含多个检测区域的人体图像样本后，检测区域标注有人体属性真实值，通过识别模型生成人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像，然后，融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，接着，根据全局热度图像和局部热度图像确定每类人体属性的关注区域，再然后，利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，最后，基于修正后识别模型对待识别图像进行人体属性识别。由于该方案是利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，再基于修正后识别模型对待识别图像进行人体属性识别，也就是说，在进行人体属性识别时，会考虑到每类人体属性的关注区域，使得每个属性能更好的关注到自己需要关注的区域，从而提高人体属性识别的准确率。
根据实施例所述的方法，以下将举例进一步详细说明。
在本实施例中将以该人体属性识别装置具体集成在终端中为例进行说明。
请参阅图2a，一种人体属性识别方法，具体流程可以如下：
201、终端获取包含多个检测区域的人体图像样本。
其中，该人体图像样本为样本人体的图像，且该检测区域标注有人体属性真实值，该人体图像样本可以是预先保存在本地的，也可以是通过访问网络接口拉取得到的，还可以是通过摄像头实时拍摄得到的，具体根据实际情况而定。
202、终端通过识别模型生成人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像。
其中，终端可以通过识别模型中的人体特征识别子网络对人体图像样本以及待检测区域进行特征提取，得到人体图像样本对应的全局热度图像以及待检测区域对应的局部热度图像。
203、终端融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值。
其中，终端可以将全局热度图像的尺寸和局部热度图像的尺寸分别压缩至预设尺寸，然后，将压缩后的全局热度图像与压缩后的局部热度图像进行拼接，得到融合后图像，并基于识别模型对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，其中，该人体属性预测值为人体图像样本中每个像素点属于人体的概率。
204、终端根据全局热度图像和局部热度图像确定每类人体属性的关注区域。
比如，终端所要识别的人体属性为黑头发属性，那么，识别模型需要关注的区域为人体的头部区域，也就是说，头部区域为黑头发属性对应的关注区域，又比如，终端所要识别的人体属性为白衣服属性以及蓝色鞋子属性，那么识别模型需要关注的区域为人体的躯干区域以及人体的下肢区域，因此，可以通过全局热度图像和局部热度图像，确定每类人体属性的关注区域。
205、终端利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正。
比如，终端根据人体属性真实值和人体属性预测值计算识别模型对应的损失函数，得到第一损失函数，同时，终端获取关注区域的对应的损失函数，得到第二损失函数，然后，终端将第一损失函数与第二损失函数进行叠加，得到识别模型的目标损失函数，最后，终端通过目标损失函数对识别模型进行修正。
206、终端基于修正后识别模型对待识别图像进行人体属性识别。
例如，具体的，终端可以通过修正后识别模型对待识别图像进行人体属性识别，得到该待识别图像中待识别人体的人体属性识别结果，比如，可以识别到待识别人体的人体属性为白色上衣、蓝色裤子以及黑色鞋子等等，具体的，可以对包含待识别人体的待识别图像进行人体特征点识别，得到待识别人体对应的14个特征点，然后，基于这14个特征点对待识别人体进行区域划分，得到待识别人体对应的多个待检测区域，最后，基于多个待检测区域，通过修正后识别模型对待识别图像进行人体属性识别。
本发明实施例的终端获取包含多个检测区域的人体图像样本后，检测区域标注有人体属性真实值，终端通过识别模型生成人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像，然后，终端融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，接着，终端根据全局热度图像和局部热度图像确定每类人体属性的关注区域，再然后，终端利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，最后，终端基于修正后识别模型对待识别图像进行人体属性识别。由于本发明的终端是利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，再终端基于修正后识别模型对待识别图像进行人体属性识别，也就是说，终端在进行人体属性识别时，会考虑到每类人体属性的关注区域，使得每个属性能更好的关注到自己需要关注的区域，从而提高人体属性识别的准确率。
为了便于对本发明实施例提供的人体属性识别方法的理解，以监控场景为例，该场景可以包括监控设备以及与监控设备连接的终端，在训练阶段，终端可以接收监控设备上传的多个图像，并从多个图像中选取用于模型训练的包含样本人体的人体图像样本，随后，终端可以对人体图像样本标注人体属性真实值，接着，终端可以对人体图像样本进行人体关键点检测，得到样本人体对应的14个关键点，并利用这14个关键点在样本人体中进行区域划分，得到样本人体对应的头部区域、上半身区域以及下半身区域，终端将该人体图像样本输入至识别模型中，得到人体图像样本对应的全局热度图像以及划分到的区域对应的局部热度图像，然后，终端根据各局部图像所关注的人体属性，生成各局部图像对应的权重矩阵，并分别计算特征向量与各权重矩阵之间的乘积，得到每类人体属性对应的类激活图，如图2b所示，可以理解的是，不同的人体属性所要关注的区域是不同的，比如，为了识别帽子款式，需要关注的区域为关注区域A，而不需要去识别关注区域B的人体属性和关注区域C的人体属性，同时，终端可以融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，紧接着，终端分别对全局热度图像和局部热度图像进行镜像处理，得到处理后的全局热度图像以及处理后的局部热度图像，并基于处理后的全局热度图像以及处理后的局部热度图像生成每类人体属性对应的镜像处理后类激活图，然后，终端通过镜像处理后类激活图对类激活图进行调整，得到调整结果，如图2c所示，再然后，终端基于调整正结果、人体属性真实值和人体属性预测值对识别模型进行修正，最后，终端基于修正后识别模型对待识别图像进行人体属性识别，并且可以在终端的显示屏上显示与识别结果对应的页面，如图2d所示。
为便于更好的实施本发明实施例的人体属性识别方法，本发明实施例还提供一种基于上述人体属性识别装置(简称识别装置)。其中名词的含义与上述文本识别方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图3，图3为本发明实施例提供的人体属性识别装置的结构示意图，其中该识别装置可以包括获取模块301、生成模块302、融合模块303、确定模块304、修正模块305以及识别模块306，具体可以如下：
获取模块301，用于获取包含多个检测区域的人体图像样本。
其中，该人体图像样本为样本人体的图像，且该检测区域标注有人体属性真实值，该人体图像样本可以是预先保存在本地的，也可以是通过访问网络接口拉取得到的，还可以是通过摄像头实时拍摄得到的，具体根据实际情况而定。
可选的，在一些实施例中，获取模块301具体用于：获取包含样本人体的人体图像样本，对人体图像样本进行人体特征点识别，得到样本人体对应的第二特征点集合，基于第二特征点集合对样本人体进行区域划分，得到样本人体对应的多个检测区域。
生成模块302，用于通过识别模型生成所述人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像。
其中，生成模块302可以通过识别模型中的人体特征识别子网络对人体图像样本以及待检测区域进行特征提取，得到人体图像样本对应的全局热度图像以及待检测区域对应的局部热度图像。
融合模块303，用于融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值。
比如，融合模块303可以将全局热度图像的尺寸和局部热度图像的尺寸分别压缩至预设尺寸，然后，将压缩后的全局热度图像与压缩后的局部热度图像进行拼接，得到融合后图像，并基于识别模型对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，其中，该人体属性预测值为人体图像样本中每个像素点属于人体的概率。
确定模块304，用于根据全局热度图像和局部热度图像确定每类人体属性的关注区域。
可选的，在一些实施例中，确定模块304具体可以包括：
生成子模块，用于根据全局热度图像和局部热度图像，生成每类人体属性对应的类激活图；
修正模块，对类激活图进行修正，并基于修正结果确定每类人体属性的关注区域。
可选的，在一些实施例中，生成子模块具体可以包括：
处理单元，用于分别对全局热度图像和局部热度图像进行镜像处理，得到处理后的全局热度图像以及处理后的局部热度图像；
生成单元，用于基于处理后的全局热度图像以及处理后的局部热度图像，生成每类人体属性的镜像处理后的类激活图；
确定单元，用于根据类激活图以及镜像处理后的类激活图，确定每类人体属性的关注区域。
可选的，在一些实施例中，确定单元具体可以包括：
获取子单元，用于分别获取类激活图的特征点以及镜像处理后的类激活图的特征点，得到类激活图对应的多个第一特征点以及镜像处理后的类激活图对应的多个第二特征点，每个第一特征点对应一个第二特征点；
提取子单元，用于提取第一特征点的热度值，得到第一特征点对应的第一热度值，以及提取第二特征点的热度值，得到第二特征点对应的第二热度值；
构建子单元，用于基于第一热度值以及第二热度值，构建每类人体属性的关注区域。
可选的，在一些实施例中，构建子单元具体可以用于：检测每个第一热度值满足预设条件，从多个第一特征点中选取满足预设条件的第一特征点，得到第一参考点，构建与第一参考点对应的人体属性的第一参考区域，获取与第一参考点对应的第二特征点，得到第二参考点，构建与第二参考点对应的人体属性的第二参考区域，对第二参考区域进行镜像处理，得到处理后第二参考区域，通过处理后第二参考区域对第一参考区域进行尺寸调整，得到人体属性的关注区域。
可选的，在一些实施例中，生成子模块具体可以用于：对全局热度图像进行向量化处理，得到全局热度图像对应的特征向量，基于各局部热度图像在全局热度图像中的分布，确定各局部图像所关注的人体属性，根据各局部图像所关注的人体属性，生成各局部图像对应的权重矩阵，分别计算特征向量与各权重矩阵之间的乘积，得到每类人体属性对应的类激活图。
修正模块305，用于利用关注区域、人体属性真实值和人体属性预测值对所述识别模型进行修正。
可选的，在一些实施例中，修正模块具体可以用于：基于人体属性真实值和人体属性预测值计算识别模型的损失函数，得到第一损失函数，通过识别模型获取关注区域对应的损失函数，得到第二损失函数，将第一损失函数与第二损失函数进行叠加，得到识别模型的目标损失函数，通过目标损失函数对识别模型进行修正。
识别模块306，用于基于修正后识别模型对待识别图像进行人体属性识别。
例如，具体的，识别模块306通过修正后识别模型对待识别图像进行人体属性识别，得到该待识别图像中待识别人体的人体属性识别结果
可选的，在一些实施例中，识别模块306具体可以用于：获取包含待识别人体的待识别图像，对待识别图像进行人体特征点识别，得到待识别人体对应的第一特征点集合，基于第一特征点集合对待识别人体进行区域划分，得到待识别人体对应的多个待检测区域，通过修正后识别模型分别对多个待检测区域进行人体属性识别。
本发明实施例在获取模块301获取包含多个检测区域的人体图像样本后，检测区域标注有人体属性真实值，生成模块302通过识别模型生成人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像，然后，融合模块303融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，接着，确定模块304根据全局热度图像和局部热度图像确定每类人体属性的关注区域，再然后，修正模块305利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，最后，识别模块306基于修正后识别模型对待识别图像进行人体属性识别。由于该方案的修正模块305利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，识别模块306再基于修正后识别模型对待识别图像进行人体属性识别，也就是说，在进行人体属性识别时，会考虑到每类人体属性的关注区域，使得每个属性能更好的关注到自己需要关注的区域，从而提高人体属性识别的准确率。
此外，本发明实施例还提供一种电子设备，如图4所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取包含多个检测区域的人体图像样本，检测区域标注有人体属性真实值，通过识别模型生成人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像，融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，根据全局热度图像和局部热度图像确定每类人体属性的关注区域，利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，基于修正后识别模型对待识别图像进行人体属性识别。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本发明实施例在获取包含多个检测区域的人体图像样本后，检测区域标注有人体属性真实值，通过识别模型生成人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像，然后，融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，接着，根据全局热度图像和局部热度图像确定每类人体属性的关注区域，再然后，利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，最后，基于修正后识别模型对待识别图像进行人体属性识别。由于该方案是利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，再基于修正后识别模型对待识别图像进行人体属性识别，也就是说，在进行人体属性识别时，会考虑到每类人体属性的关注区域，使得每个属性能更好的关注到自己需要关注的区域，从而提高人体属性识别的准确率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种人体属性识别方法中的步骤。例如，该指令可以执行如下步骤：
获取包含多个检测区域的人体图像样本，检测区域标注有人体属性真实值，通过识别模型生成人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像，融合全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值，根据全局热度图像和局部热度图像确定每类人体属性的关注区域，利用关注区域、人体属性真实值和人体属性预测值对识别模型进行修正，基于修正后识别模型对待识别图像进行人体属性识别。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种人体属性识别方法中的步骤，因此，可以实现本发明实施例所提供的任一种人体属性识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种人体属性识别方法、终端、装置、电子设备以及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种人体属性识别方法，其特征在于，包括：
获取包含多个检测区域的人体图像样本，所述检测区域标注有人体属性真实值；
通过识别模型生成所述人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像；
融合所述全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值；
根据所述全局热度图像和局部热度图像确定每类人体属性的关注区域；
利用所述关注区域、人体属性真实值和人体属性预测值对所述识别模型进行修正；
基于修正后识别模型对待识别图像进行人体属性识别。
2.根据权利要求1所述的方法，其特征在于，所述根据所述全局热度图像和局部热度图像确定每类人体属性的关注区域，包括：
根据所述全局热度图像和局部热度图像，生成每类人体属性对应的类激活图；
对所述类激活图进行修正，并基于修正结果确定每类人体属性的关注区域。
3.根据权利要求2所述的方法，其特征在于，所述对所述类激活图进行修正，基于修正结果确定每类人体属性的关注区域，包括：
分别对所述全局热度图像和局部热度图像进行镜像处理，得到处理后的全局热度图像以及处理后的局部热度图像；
基于处理后的全局热度图像以及处理后的局部热度图像，生成每类人体属性的镜像处理后的类激活图；
根据所述类激活图以及镜像处理后的类激活图，确定每类人体属性的关注区域。
4.根据权利要求3所述的方法，其特征在于，所述根据所述类激活图以及镜像处理后的类激活图，确定每类人体属性的关注区域，包括：
分别获取类激活图的特征点以及镜像处理后的类激活图的特征点，得到所述类激活图对应的多个第一特征点以及镜像处理后的类激活图对应的多个第二特征点，每个第一特征点对应一个第二特征点；
提取第一特征点的热度值，得到第一特征点对应的第一热度值，以及；
提取第二特征点的热度值，得到第二特征点对应的第二热度值；
基于所述第一热度值以及第二热度值，构建每类人体属性的关注区域。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一热度值以及第二热度值，构建每类人体属性的关注区域，包括：
检测每个第一热度值满足预设条件；
从多个第一特征点中选取满足预设条件的第一特征点，得到第一参考点；
构建与第一参考点对应的人体属性的第一参考区域；
获取与所述第一参考点对应的第二特征点，得到第二参考点；
构建与第二参考点对应的人体属性的第二参考区域；
对所述第二参考区域进行镜像处理，得到处理后第二参考区域；
通过处理后第二参考区域对第一参考区域进行尺寸调整，得到人体属性的关注区域。
6.根据权利要求2所述的方法，其特征在于，所述根据所述全局热度图像和局部热度图像，生成每类人体属性对应的类激活图，包括：
对所述全局热度图像进行向量化处理，得到所述全局热度图像对应的特征向量；
基于各局部热度图像在所述全局热度图像中的分布，确定各局部图像所关注的人体属性；
根据各局部图像所关注的人体属性，生成各局部图像对应的权重矩阵；
分别计算所述特征向量与各权重矩阵之间的乘积，得到每类人体属性对应的类激活图。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述利用所述关注区域、人体属性真实值和人体属性预测值对所述识别模型进行修正，包括：
基于所述人体属性真实值和人体属性预测值计算所述识别模型的损失函数，得到第一损失函数；
通过所述识别模型获取所述关注区域对应的损失函数，得到第二损失函数；
将所述第一损失函数与第二损失函数进行叠加，得到所述识别模型的目标损失函数；
通过所述目标损失函数对所述识别模型进行修正。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述基于修正后识别模型对待识别图像进行人体属性识别，包括：
获取包含待识别人体的待识别图像；
对所述待识别图像进行人体特征点识别，得到所述待识别人体对应的第一特征点集合；
基于所述第一特征点集合对所述待识别人体进行区域划分，得到所述待识别人体对应的多个待检测区域；
通过修正后识别模型分别对多个待检测区域进行人体属性识别。
9.根据权利要求1至6任一项所述的方法，其特征在于，所述获取包含多个检测区域的人体图像样本，包括：
获取包含样本人体的人体图像样本；
对所述人体图像样本进行人体特征点识别，得到所述样本人体对应的第二特征点集合；
基于所述第二特征点集合对所述样本人体进行区域划分，得到所述样本人体对应的多个检测区域。
10.一种人体属性识别装置，其特征在于，包括：
获取模块，用于获取包含多个检测区域的人体图像样本，所述检测区域标注有人体属性真实值；
生成模块，用于通过识别模型生成所述人体图像样本的热度图像以及待检测区域的热度图像，得到人体图像样本对应的全局热度图像和局部热度图像；
融合模块，用于融合所述全局热度图像和局部热度图像，并对融合后图像进行人体属性识别，得到人体图像样本的人体属性预测值；
确定模块，用于根据所述全局热度图像和局部热度图像确定每类人体属性的关注区域；
修正模块，用于利用所述关注区域、人体属性真实值和人体属性预测值对所述识别模型进行修正；
识别模块，用于基于修正后识别模型对待识别图像进行人体属性识别。
11.根据权利要求10所述的装置，其特征在于，所述确定模块包括：
生成子模块，用于根据所述全局热度图像和局部热度图像，生成每类人体属性对应的类激活图；
修正模块，对所述类激活图进行修正，并基于修正结果确定每类人体属性的关注区域。
12.根据权利要求1所述的装置，其特征在于，所述生成子模块包括：
处理单元，用于分别对所述全局热度图像和局部热度图像进行镜像处理，得到处理后的全局热度图像以及处理后的局部热度图像；
生成单元，用于基于处理后的全局热度图像以及处理后的局部热度图像，生成每类人体属性的镜像处理后的类激活图；
确定单元，用于根据所述类激活图以及镜像处理后的类激活图，确定每类人体属性的关注区域。
13.根据权利要求12所述的装置，其特征在于，所述确定单元包括：
获取子单元，用于分别获取类激活图的特征点以及镜像处理后的类激活图的特征点，得到所述类激活图对应的多个第一特征点以及镜像处理后的类激活图对应的多个第二特征点，每个第一特征点对应一个第二特征点；
提取子单元，用于提取第一特征点的热度值，得到第一特征点对应的第一热度值，以及提取第二特征点的热度值，得到第二特征点对应的第二热度值；
构建子单元，用于基于所述第一热度值以及第二热度值，构建每类人体属性的关注区域。
14.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1-9任一项所述人体属性识别方法的步骤。
15.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-9任一项所述人体属性识别方法的步骤。
CN201911268088.4A 2019-12-11 2019-12-11 人体属性识别方法、装置、电子设备以及存储介质 Pending CN110991380A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201911268088.4A CN110991380A (zh) 2019-12-11 2019-12-11 人体属性识别方法、装置、电子设备以及存储介质
JP2022517445A JP7286010B2 (ja) 2019-12-11 2020-09-24 人体属性の認識方法、装置、電子機器及びコンピュータプログラム
PCT/CN2020/117441 WO2021114814A1 (zh) 2019-12-11 2020-09-24 人体属性识别方法、装置、电子设备以及存储介质
EP20897856.9A EP3989112A4 (en) 2019-12-11 2020-09-24 METHOD AND APPARATUS FOR HUMAN BODY ATTRIBUTE RECOGNITION, ELECTRONIC DEVICE AND INFORMATION MEDIA
KR1020227002498A KR20220020986A (ko) 2019-12-11 2020-09-24 인체 속성 인식 방법 및 장치, 전자 기기 그리고 저장 매체
US17/504,682 US11710335B2 (en) 2019-12-11 2021-10-19 Human body attribute recognition method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911268088.4A CN110991380A (zh) 2019-12-11 2019-12-11 人体属性识别方法、装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN110991380A true CN110991380A (zh) 2020-04-10

Family

ID=70092482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911268088.4A Pending CN110991380A (zh) 2019-12-11 2019-12-11 人体属性识别方法、装置、电子设备以及存储介质

Country Status (6)

Country Link
US (1) US11710335B2 (zh)
EP (1) EP3989112A4 (zh)
JP (1) JP7286010B2 (zh)
KR (1) KR20220020986A (zh)
CN (1) CN110991380A (zh)
WO (1) WO2021114814A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783619A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人体属性的识别方法、装置、设备及存储介质
CN111931567A (zh) * 2020-07-01 2020-11-13 珠海大横琴科技发展有限公司 人体识别的方法及装置、电子设备、存储介质
CN112084953A (zh) * 2020-09-10 2020-12-15 济南博观智能科技有限公司 一种人脸属性识别的方法、系统、设备及可读存储介质
CN112633119A (zh) * 2020-12-17 2021-04-09 北京赢识科技有限公司 一种人体属性识别方法、装置、电子设备及介质
CN112784810A (zh) * 2021-02-08 2021-05-11 风变科技（深圳）有限公司 手势识别方法、装置、计算机设备和存储介质
WO2021114814A1 (zh) * 2019-12-11 2021-06-17 腾讯科技（深圳）有限公司 人体属性识别方法、装置、电子设备以及存储介质
CN113095300A (zh) * 2021-05-13 2021-07-09 华南理工大学 一种融合人种信息的年龄预测方法及其系统
CN113706463A (zh) * 2021-07-22 2021-11-26 杭州键嘉机器人有限公司 基于深度学习的关节影像关键点自动检测方法、装置、设备及存储介质
CN114627470A (zh) * 2022-05-16 2022-06-14 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657487A (zh) * 2021-08-16 2021-11-16 深圳多模智能科技有限公司 一种基于增量学习的人体属性分类方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5569990B2 (ja) * 2010-10-22 2014-08-13 Ｎｅｃソリューションイノベータ株式会社 属性判定方法、属性判定装置、プログラム、記録媒体および属性判定システム
JP5899472B2 (ja) * 2012-05-23 2016-04-06 パナソニックＩｐマネジメント株式会社 人物属性推定システム、及び学習用データ生成装置
JP2014157316A (ja) * 2013-02-18 2014-08-28 Ricoh Co Ltd プロジェクタ装置
JP2014220555A (ja) * 2013-05-01 2014-11-20 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 撮像装置、その制御方法及びプログラム
JP6656987B2 (ja) * 2016-03-30 2020-03-04 株式会社エクォス・リサーチ 画像認識装置、移動体装置、及び画像認識プログラム
JP6969878B2 (ja) * 2017-03-13 2021-11-24 パナソニック株式会社 識別器学習装置および識別器学習方法
CN107784282B (zh) * 2017-10-24 2020-04-03 北京旷视科技有限公司 对象属性的识别方法、装置及系统
CN111670457B (zh) * 2017-12-03 2023-12-01 元平台公司 动态对象实例检测、分割和结构映射的优化
JP2019175093A (ja) * 2018-03-28 2019-10-10 パナソニックＩｐマネジメント株式会社 推定装置、推定方法、推定プログラム、学習装置、学習方法、及び学習プログラム
CN110008842A (zh) * 2019-03-09 2019-07-12 同济大学 一种基于深度多损失融合模型的行人重识别方法
CN110175595B (zh) * 2019-05-31 2021-03-02 北京金山云网络技术有限公司 人体属性识别方法、识别模型训练方法及装置
CN110458247A (zh) * 2019-09-06 2019-11-15 北京金山数字娱乐科技有限公司 图像识别模型的训练方法及装置、图像识别方法及装置
CN110991380A (zh) * 2019-12-11 2020-04-10 腾讯科技（深圳）有限公司 人体属性识别方法、装置、电子设备以及存储介质

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11710335B2 (en) 2019-12-11 2023-07-25 Tencent Technology (Shenzhen) Company Limited Human body attribute recognition method and apparatus, electronic device, and storage medium
WO2021114814A1 (zh) * 2019-12-11 2021-06-17 腾讯科技（深圳）有限公司 人体属性识别方法、装置、电子设备以及存储介质
CN111783619A (zh) * 2020-06-29 2020-10-16 北京百度网讯科技有限公司 人体属性的识别方法、装置、设备及存储介质
CN111783619B (zh) * 2020-06-29 2023-08-11 北京百度网讯科技有限公司 人体属性的识别方法、装置、设备及存储介质
CN111931567A (zh) * 2020-07-01 2020-11-13 珠海大横琴科技发展有限公司 人体识别的方法及装置、电子设备、存储介质
CN111931567B (zh) * 2020-07-01 2024-05-28 珠海大横琴科技发展有限公司 人体识别的方法及装置、电子设备、存储介质
CN112084953A (zh) * 2020-09-10 2020-12-15 济南博观智能科技有限公司 一种人脸属性识别的方法、系统、设备及可读存储介质
CN112084953B (zh) * 2020-09-10 2024-05-10 济南博观智能科技有限公司 一种人脸属性识别的方法、系统、设备及可读存储介质
CN112633119A (zh) * 2020-12-17 2021-04-09 北京赢识科技有限公司 一种人体属性识别方法、装置、电子设备及介质
CN112784810A (zh) * 2021-02-08 2021-05-11 风变科技（深圳）有限公司 手势识别方法、装置、计算机设备和存储介质
CN113095300A (zh) * 2021-05-13 2021-07-09 华南理工大学 一种融合人种信息的年龄预测方法及其系统
CN113706463A (zh) * 2021-07-22 2021-11-26 杭州键嘉机器人有限公司 基于深度学习的关节影像关键点自动检测方法、装置、设备及存储介质
CN113706463B (zh) * 2021-07-22 2024-04-26 杭州键嘉医疗科技股份有限公司 基于深度学习的关节影像关键点自动检测方法、装置
CN114627470A (zh) * 2022-05-16 2022-06-14 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2021114814A1 (zh) 2021-06-17
EP3989112A1 (en) 2022-04-27
JP7286010B2 (ja) 2023-06-02
KR20220020986A (ko) 2022-02-21
EP3989112A4 (en) 2022-08-03
JP2022548915A (ja) 2022-11-22
US11710335B2 (en) 2023-07-25
US20220036059A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
CN110991380A (zh) 人体属性识别方法、装置、电子设备以及存储介质
CN112990211B (zh) 一种神经网络的训练方法、图像处理方法以及装置
US11917288B2 (en) Image processing method and apparatus
CN111797983A (zh) 一种神经网络构建方法以及装置
CN111241985B (zh) 一种视频内容识别方法、装置、存储介质、以及电子设备
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
CN109033107A (zh) 图像检索方法和装置、计算机设备和存储介质
CN112419170A (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
CN111292262B (zh) 图像处理方法、装置、电子设备以及存储介质
CN111126140A (zh) 文本识别方法、装置、电子设备以及存储介质
CN109766828A (zh) 一种车辆目标分割方法、装置及通信设备
CN112489143A (zh) 一种颜色识别方法、装置、设备及存储介质
CN111242019A (zh) 视频内容的检测方法、装置、电子设备以及存储介质
CN112418195A (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN115223020B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN111833360A (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN110163049B (zh) 一种人脸属性预测方法、装置及存储介质
WO2024041108A1 (zh) 图像矫正模型训练及图像矫正方法、装置和计算机设备
CN112101185B (zh) 一种训练皱纹检测模型的方法、电子设备及存储介质
CN113705307A (zh) 图像处理方法、装置、设备及存储介质
CN113704544A (zh) 一种视频分类方法、装置、电子设备和存储介质
CN112766168A (zh) 一种人员摔倒检测方法、装置及电子设备
CN117197861A (zh) 一种性别识别方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022135

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination