CN115019350B - 人体属性识别方法、装置及电子设备 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，提供一种人体属性识别方法、装置及电子设备，其中方法包括：获取待识别图像；基于人体属性识别模型中的特征提取层，获取待识别图像中的第一人体特征和第二人体特征；基于人体属性识别模型中的分类层，对第一人体特征进行第一属性分类，得到第一属性的识别结果；基于人体属性识别模型中的特征比对层，将第二人体特征与第二属性的属性特征进行匹配，得到第二属性的匹配结果；人体属性识别模型是基于第一样本图像和所述第一样本图像的第一属性标签训练得到，第二属性是除第一属性之外的人体属性。本发明提供的方法、装置及电子设备，可以识别未训练过的人体属性，提高了模型的泛化能力。

Description

人体属性识别方法、装置及电子设备

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种人体属性识别方法、装置及电子设备。

背景技术

人体属性识别算法是指根据特定的任务对人体图像中人体的某些属性（如上衣属性、裤子属性、人体朝向等）进行识别，人体属性识别算法是自动驾驶、智慧城市、智慧工地等应用中非常重要的技术环节。

现有技术中，人体属性识别算法只针对训练过的人体属性进行识别，若新的人体属性识别任务中出现未训练过的人体属性，则人体属性识别算法无法识别。

因此，如何解决现有技术中人体属性识别算法无法识别未训练过的人体属性，仍然是人体属性识别领域亟待解决的问题。

发明内容

本发明提供一种人体属性识别方法、装置及电子设备，用以解决现有技术中人体属性识别算法无法识别未训练过的人体属性的缺陷。

本发明提供一种人体属性识别方法，包括：

获取待识别图像；

基于人体属性识别模型中的特征提取层，获取所述待识别图像中的第一人体特征和第二人体特征；

基于所述人体属性识别模型中的分类层，对所述第一人体特征进行第一属性分类，得到第一属性的识别结果；

基于所述人体属性识别模型中的特征比对层，将所述第二人体特征与第二属性的属性特征进行匹配，得到所述第二属性的匹配结果；

所述人体属性识别模型是基于第一样本图像和所述第一样本图像的第一属性标签训练得到，所述第二属性是除所述第一属性之外的人体属性。

根据本发明提供的一种人体属性识别方法，所述基于人体属性识别模型中的特征提取层，获取所述待识别图像中的第一人体特征和第二人体特征，包括：

基于所述特征提取层中的初步特征提取层，对所述待识别图像中人体所在的区域进行特征提取，得到初步特征；

基于所述特征提取层中的语义分割层，对所述初步特征进行语义分割，得到人体分割特征；

基于所述特征提取层中的特征融合层，应用所述人体分割特征对所述初步特征进行加权，得到人体特征；

基于所述特征提取层中的第一特征提取层，对所述人体特征进行第一特征提取，得到所述第一人体特征；

基于所述特征提取层中的第二特征提取层，对所述第一人体特征进行第二特征提取，得到所述第二人体特征。

根据本发明提供的一种人体属性识别方法，所述基于所述特征提取层中的初步特征提取层，对所述待识别图像中人体所在的区域进行特征提取，得到初步特征，包括：

基于所述初步特征提取层中的人体检测层，对所述待识别图像的图像特征进行人体检测，得到人体检出框；

基于所述初步特征提取层中的深度提取层，对所述人体检出框所在区域的图像特征进行深度特征提取，得到所述初步特征。

根据本发明提供的一种人体属性识别方法，所述基于所述特征提取层中的语义分割层，对所述初步特征进行语义分割，得到人体分割特征，包括：

基于所述语义分割层，对所述初步特征进行人体区域和/或人体部件的语义分割，得到人体区域分割特征和/或人体部件分割特征。

根据本发明提供的一种人体属性识别方法，所述语义分割层包括多个级联的语义分割模块，所述语义分割模块包括卷积分支和压缩激励分支，所述语义分割模块的输入为所述卷积分支和所述压缩激励分支的输入，所述语义分割模块的输出为所述卷积分支的输出和所述压缩激励分支的输出的乘积。

根据本发明提供的一种人体属性识别方法，所述人体属性识别模型具体基于第一样本图像和所述第一样本图像的第一属性标签，以及第二样本图像对训练得到，所述第二样本图像对包括第二样本图像，以及与所述第二样本图像具备相同第二属性的正样本图像和/或与所述第二样本图像具备不同第二属性的负样本图像。

根据本发明提供的一种人体属性识别方法，所述人体属性识别模型的训练步骤包括：

确定初始模型；

基于所述初始模型，确定所述第一样本图像的第一属性的预测识别结果，以及所述第二样本图像对中各样本图像的第二人体特征；

基于所述第一样本图像的第一属性的预测识别结果，以及所述第一样本图像的第一属性标签，确定第一损失函数；

基于所述第二样本图像对中第二样本图像的第二人体特征分别与正样本图像和负样本图像的第二人体特征之间的相似度，确定第二损失函数；

基于所述第一损失函数和所述第二损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型。

根据本发明提供的一种人体属性识别方法，所述人体属性识别模型的训练步骤还包括：

基于所述初始模型，确定所述第一样本图像的预测人体检出框和预测人体分割结果；

基于所述第一样本图像的人体检出框标签和所述预测人体检出框，确定人体检测损失函数；

基于所述第一样本图像的人体分割标签和所述预测人体分割结果，确定人体分割损失函数；

所述基于所述第一损失函数和所述第二损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型，包括：

基于所述第一损失函数和所述第二损失函数，以及所述人体检测损失函数和所述人体分割损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型。

本发明还提供一种人体属性识别装置，包括：

图像确定模块，用于获取待识别图像；

人体特征获取模块，用于基于人体属性识别模型中的特征提取层，获取所述待识别图像中的第一人体特征和第二人体特征；

第一属性识别模块，用于基于所述人体属性识别模型中的分类层，对所述第一人体特征进行第一属性分类，得到第一属性的识别结果；

第二属性匹配模块，用于基于所述人体属性识别模型中的特征比对层，将所述第二人体特征与第二属性的属性特征进行匹配，得到所述第二属性的匹配结果；

所述人体属性识别模型是基于第一样本图像和所述第一样本图像的第一属性标签训练得到，所述第二属性是除所述第一属性之外的人体属性。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述人体属性识别方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人体属性识别方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述人体属性识别方法。

本发明实施例提供的方法、装置及电子设备，一方面，对于训练过的第一属性，以及，未训练过的第二属性，人体属性识别模型都能进行识别，提高了模型的泛化能力，另一方面，通过训练得到的人体属性识别模型是一个端到端的模型，即可以通过端到端的模型对待识别图像进行识别，不需要通过级联式的多个网络模型进行训练，提高了模型的运算效率，同时减小了传统的多个级联网络模型的运算误差，提高了模型的准确率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的人体属性识别方法的流程示意图之一；

图2是本发明提供的语义分割层的结构示意图；

图3是本发明提供的人体属性识别方法的流程示意图之二；

图4是本发明提供的人体属性识别方法的流程示意图之三；

图5是本发明提供的人体属性识别装置的结构示意图；

图6是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类。

本发明提供一种人体属性识别方法。图1是本发明提供的人体属性识别方法的流程示意图之一，如图1所示，该方法包括：

步骤110，获取待识别图像。

此处，待识别图像即需要进行人体属性识别的图像，可以是通过图像采集设备预先采集得到的，也可以是实时拍摄得到的。人体属性识别可以是根据特定的任务对人体图像中人体的上衣属性进行识别，也可以对人体图像中人体的裤子属性进行识别，还可以对人体图像中的人体朝向进行识别，本发明实施例对此不作具体限定。

步骤120，基于人体属性识别模型中的特征提取层，获取所述待识别图像中的第一人体特征和第二人体特征；

步骤130，基于所述人体属性识别模型中的分类层，对所述第一人体特征进行第一属性分类，得到第一属性的识别结果；

步骤140，基于所述人体属性识别模型中的特征比对层，将所述第二人体特征与第二属性的属性特征进行匹配，得到所述第二属性的匹配结果；

所述人体属性识别模型是基于第一样本图像和所述第一样本图像的第一属性标签训练得到，所述第二属性是除所述第一属性之外的人体属性。

具体地，人体识别模型是为了识别人体属性所设置的模型，人体属性识别模型包括特征提取层、分类层和特征比对层，特征提取层的输出分别与分类层的输入和特征比对层的输入连接。

其中，特征提取层用于对待识别图像进行特征提取，从而获取待识别图像中的第一人体特征和第二人体特征。此处的第一人体特征和第二人体特征均是针对待识别图像进行特征提取所得到的反映待识别图像中人体信息的特征，此处的第一人体特征和第二人体特征可以相同，也可以不同，“第一”和“第二”在此处用于区分特征提取层输出的人体特征具体是输入到分类层还是特征比对层。

针对于特征提取层输出的第一人体特征，可以将第一人体特征输入到分类层中，通过预先训练好的分类层实现基于第一人体特征的人体属性分类，从而得到人体属性分类结果。可以理解的是，预先训练好的分类层仅可以用于对训练过的人体属性进行识别，因此由分类层输出的人体属性分类结果实际上表示待识别图像中的人体的属性是否属于训练过的各个人体属性。此处，将训练过的人体属性记为第一属性，即，分类层所执行的人体属性识别为第一属性分类，输出的人体属性分类结果即第一属性的识别结果，例如第一属性的识别结果可以包括女性、3岁、白种人和短发等属性，本发明实施例对此不作具体限定。

考虑到人体属性不可穷举，训练时应用到的第一属性仅仅是人体属性中的一部分，为了能够识别未训练过的人体属性，本发明实施例还在人体属性识别模型中增加了特征比对层。此处，将未训练过的人体属性，即除第一属性之外的人体属性，记为第二属性。

针对于特征提取层输出的第二人体特征，可以将第二人体特征输入到特征比对层中，通过在特征比对层中将第二人体特征与预先存储的各种第二属性的属性特征进行匹配，以确定第二人体特征与各种第二属性的属性特征是否匹配，从而得到第二属性的匹配结果。可以理解的是，第二属性的属性特征反映的是具备第二属性的人体在图像中的人体信息的特征。针对任一第二属性，如果第二人体特征与该第二属性的属性特征相匹配，即可说明待识别图像中的人体具备该第二属性；反之，如果第二人体特征与该第二属性的属性特征不匹配，即可说明待识别图像中的人体不具备该第二属性。

此处对第二人体特征与第二属性的属性特征进行匹配，可以通过计算第二人体特征与第二属性的属性特征之间的相似度进行实现，相似度可以是采用余弦相似度、Pearson相关系数等方法进行计算得到。

可以理解的是，第二人体特征与第二属性的属性特征之间的相似度越高，则第二人体特征与第二属性的属性特征越匹配，第二人体特征与第二属性的属性特征之间的相似度越低，则第二人体特征与第二属性的属性特征越不匹配。

特征比对层中的属性特征匹配，仅需要将各种第二属性的属性特征提前存储即可，无需应用包含第二属性的样本图像对人体属性识别模型进行训练，由此即实现了人体属性识别模型对未训练过的第二属性的识别。

另外，在执行步骤120之前，可以对人体属性识别模型进行训练，具体步骤具体包括：首先，收集第一样本图像，并对第一样本图像进行标注，从而得到第一样本图像的标签；随后，即可基于第一样本图像和第一样本图像的标签，对初始模型进行训练，从而得到人体属性识别模型的特征提取层和分类层的参数。此处的第一样本图像是具有第一属性的样本图像，此处的第一样本图像的标签可以是一个，也可以是多个，例如第一属性标签可以是性别、年龄、发型以及肤色等属性标签，第一样本图像可以是包括人体的样本图像，本发明实施例对此不作具体限定。

本发明实施例提供的方法，一方面，对于训练过的第一属性，以及，未训练过的第二属性，人体属性识别模型都能进行识别，提高了模型的泛化能力，另一方面，通过训练得到的人体属性识别模型是一个端到端的模型，即可以通过端到端的模型对待识别图像进行识别，不需要通过级联式的多个网络模型进行训练，提高了模型的运算效率，同时减小了传统的多个级联网络模型的运算误差，提高了模型的准确率。

相关技术中，针对于人体属性识别，通常是应用目标检测所得的检出框确定人体区域，再对任一区域进行人体属性识别，这一过程中对人体区域的定位粗糙或者定位不准确，都会影响人体属性识别的准确性。基于上述实施例，特征提取层包括初步特征提取层、语义分割层、特征融合层、第一特征提取层和第二特征提取层。

相应地，步骤120包括：

步骤121，基于所述特征提取层中的初步特征提取层，对所述待识别图像中人体所在的区域进行特征提取，得到初步特征。

具体地，初步特征提取层可以对输入的待识别图像进行人体检测，从而得到待识别图像中人体所在的区域，并且，初步特征提取层还可以针对待识别图像中人体所在的区域进行图像特征提取，由此得到能够体现人体所在区域的图像特征的初步特征。

步骤122，基于所述特征提取层中的语义分割层，对所述初步特征进行语义分割，得到人体分割特征。

具体地，在得到初步特征之后，就可以基于特征提取层中的语义分割层，对初步特征进行语义分割，由此得到的人体分割特征用于反映待识别图像中人体所在的区域内每个像素点属于人体，或者属于人体中某个部位的概率，此处的部位可以是四肢、头部等。

步骤123，基于所述特征提取层中的特征融合层，应用所述人体分割特征对所述初步特征进行加权，得到人体特征。

具体地，在得到初步特征和人体分割特征之后，就可以基于特征提取层中的特征融合层，应用人体分割特征对初步特征进行加权，即将人体分割特征与初步特征进行逐像素点乘，得到人体特征。此处的人体特征相较于初步特征，削弱了人体所在区域中非人体的各像素点的特征，保留了人体所在区域中属于人体的各像素点的特征。

步骤124，基于所述特征提取层中的第一特征提取层，对所述人体特征进行第一特征提取，得到所述第一人体特征；

步骤125，基于所述特征提取层中的第二特征提取层，对所述第一人体特征进行第二特征提取，得到所述第二人体特征。

具体地，基于特征提取层中的第一特征提取层，就可以对人体特征进行第一特征提取，得到第一人体特征。此处的第一特征提取层可以是池化层，具体可以是全局池化层，由此得到的第一人体特征是能够反映由属于人体的各个像素点构成的图像区域的全局区域特征表示。

在此之后，基于特征提取层中的第二特征提取层，就可以对第一人体特征进行第二特征提取，得到第二人体特征。此处的第二特征提取层可以包括两个全连接层。

可以理解的是，第一人体特征和第二人体特征可以是后续分别用于人体属性分类和属性特征匹配的特征。

基于上述实施例，步骤121包括：

步骤121-1，基于所述初步特征提取层中的人体检测层，对所述待识别图像的图像特征进行人体检测，得到人体检出框；

步骤121-2，基于所述初步特征提取层中的深度提取层，对所述人体检出框所在区域的图像特征进行深度特征提取，得到所述初步特征。

具体地，初步特征提取层包括人体检测层和深度提取层，此处的人体检测层包括CNN（Convolutional Neural Network，前馈神经网络）和目标检测网络，即将待识别图像输入CNN网络中，提取图像特征，再将图像特征输入目标检测网络中，对待识别图像的图像特征进行人体检测，得到人体检出框，此处的人体检出框是用包围框框出人体所在的区域。

进一步地，可以通过Roi Align将得到的人体检出框映射到图像特征上，提取出待识别图像中人体所在包围框内的特征，即人体检出框所在区域的图像特征；

最后，基于初步特征提取层中的深度提取层，对人体检出框所在区域的图像特征进行深度特征提取，得到初步特征。此处的深度提取层可以是深度卷积层。

基于上述实施例，步骤122包括：

基于所述语义分割层，对所述初步特征进行人体区域和/或人体部件的语义分割，得到人体区域分割特征和/或人体部件分割特征。

具体地，语义分割层所执行的语义分割，可以包括对于人体区域和/或人体部件的语义分割，即可以将人体作为一个整体，进行人体区域的分割，也可以将人体的各个部件分别进行分割，由此得到的人体分割特征中，可以包括人体区域分割特征和/或人体部件分割特征。

其中，人体区域分割特征用于反映待识别图像中人体所在的区域内每个像素点属于人体的概率，人体部件分割特征用于反映待识别图像中人体所在的区域内每个像素点属于人体某个部件的概率，例如头部分割特征用于反映待识别图像中人体所在的区域内每个像素点属于头部的概率。

由此得到的人体区域分割特征和/或人体部件分割特征，在特征融合层中，可以分别对初步特征进行加权，从而得到的人体特征也可以包括针对人体区域的特征，以及针对人体部件的特征。后续在基于人体特征进行特征提取、属性分类时，不仅可以从针对人体区域的特征中得到人体全局的信息，也可以从针对人体部件的特征中得到人体局部的信息，例如在识别发型时，可以仅参考头部特征，而在识别人体性别时，可以既参考针对人体区域的特征，也参考针对人体部件的特征，由此进一步提高属性识别的可靠性和准确性。

基于上述实施例，图2是本发明提供的语义分割层的结构示意图，如图2所示，所述语义分割层包括多个级联的语义分割模块，所述语义分割模块包括卷积分支和压缩激励分支，所述语义分割模块的输入为所述卷积分支和所述压缩激励分支的输入，所述语义分割模块的输出为所述卷积分支的输出和所述压缩激励分支的输出的乘积。

具体地，语义分割层可以包括多个级联的语义分割模块，例如图2中包括两个级联的语义分割模块，每个语义分割模块均包括卷积分支和压缩激励分支（Sequeze andExcitation，SE），例如卷积分支的尺寸可以是3*3。其中，语义分割模块的输入为卷积分支和压缩激励分支的输入，语义分割模块的输出为卷积分支的输出和压缩激励分支的输出的乘积。

基于上述实施例，所述人体属性识别模型具体基于第一样本图像和所述第一样本图像的第一属性标签，以及第二样本图像对训练得到，所述第二样本图像对包括第二样本图像，以及与所述第二样本图像具备相同第一属性的正样本图像和/或与所述第二样本图像具备不同第一属性的负样本图像。

具体地，第二样本图像对包括第二样本图像，以及与第二样本图像具备相同第一属性的正样本图像和/或与第二样本图像具备不同第一属性的负样本图像。例如，第一属性是戴领带，则第二样本图像对可以包括两张戴领带的人体图像，和一张不戴领带的人体图像，其中一张戴领带的人体图像是第二样本图像，另一张戴领带的人体图像是与第二样本图像具备相同第一属性的正样本图像，而不戴领带的人体图像是与第二样本图像具备不同第一属性的负样本图像。

人体属性识别模型具体基于第一样本图像和第一样本图像的第一属性标签，以及第二样本图像对训练得到的。可以理解的是，人体属性识别模型针对第一样本图像输出的第一属性的识别结果和第一样本图像的第一属性标签越匹配，人体属性识别模型的分类层的训练效果越好；

人体属性识别模型训练过程中，人体属性识别模型针对第二样本图像和正样本图像输出的第二人体特征之间的相似度越高，人体属性识别模型针对第二样本图像和负样本图像输出的第二人体特征之间的相似度越低，则人体属性识别模型的特征提取层在提取第二人体特征上的训练效果越好。

基于上述实施例，所述人体属性识别模型的训练步骤包括：

确定初始模型；

基于所述初始模型，确定所述第一样本图像的第一属性的预测识别结果，以及所述第二样本图像对中各样本图像的第二人体特征；

基于所述第一样本图像的第一属性的预测识别结果，以及所述第一样本图像的第一属性标签，确定第一损失函数；

基于所述第二样本图像对中第二样本图像的第二人体特征分别与正样本图像和负样本图像的第二人体特征之间的相似度，确定第二损失函数；

基于所述第一损失函数和所述第二损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型。

具体地，为了实现更好地提升人体属性识别模型的人体属性识别效果，本发明实施例设置了初始模型，并基于初始模型，确定第一样本图像的第一属性的预测识别结果，以及第二样本图像对中各样本图像的第二人体特征，此处的初始模型的参数可以是随机生成的，也可以是预先设置的。随即，基于第一样本图像的第一属性的预测识别结果，以及第一样本图像的第一属性标签，确定第一损失函数，第一损失函数用于反映预测识别结果与第一属性标签之间的差异，并且基于第二样本图像对中第二样本图像的第二人体特征分别与正样本图像和负样本图像的第二人体特征之间的相似度，确定第二损失函数，第二损失函数反映初始模型对于第二人体特征在共性特征和差异性特征上提取的损失。

最后，基于第一损失函数和第二损失函数，对初始模型进行参数迭代，得到人体属性识别模型。

此处的人体属性识别模型，基于第一损失函数和第二损失函数，对初始模型进行参数迭代，更容易获得更加真实的人体属性识别模型，并且训练效率更高。

基于上述实施例，所述人体属性识别模型的训练步骤还包括：

基于所述初始模型，确定所述第一样本图像的预测人体检出框和预测人体分割结果；

基于所述第一样本图像的人体检出框标签和所述预测人体检出框，确定人体检测损失函数；

基于所述第一样本图像的人体分割标签和所述预测人体分割结果，确定人体分割损失函数；

所述基于所述第一损失函数和所述第二损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型，包括：

基于所述第一损失函数和所述第二损失函数，以及所述人体检测损失函数和所述人体分割损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型。

具体地，首先，基于初始模型，确定第一样本图像的预测人体检出框和预测人体分割结果，此处的第一样本图像的预测人体检出框是指基于初始模型得到的人体检出框的预测结果，此处的预测人体分割结果是指基于初始模型得到的人体分割结果的预测结果。

然后，基于第一样本图像的人体检出框标签和预测人体检出框，确定人体检测损失函数，此处的人体检测损失函数是预测人体检出框与基于第一样本图像的人体检出框标签之间的误差，此处的人体检测损失函数可以是交叉熵损失函数（Cross Entropy Loss），也可以是二元熵损失函数（Binary Entropy Loss），还可以是均方误差损失函数（MSELoss），本发明实施例对此不作具体限定。

基于第一样本图像的人体分割标签和预测人体分割结果，确定人体分割损失函数，此处的人体分割损失函数是人体分割标签和预测人体分割结果之间的误差，此处的人体分割损失函数可以是交叉熵损失函数（Cross Entropy Loss），也可以是二元熵损失函数（Binary Entropy Loss），还可以是均方误差损失函数（MSE Loss），本发明实施例对此不作具体限定。

基于第一损失函数和第二损失函数，对初始模型进行参数迭代，得到所述人体属性识别模型，包括：

基于第一损失函数和第二损失函数，以及人体检测损失函数和人体分割损失函数四个损失函数，就可以对初始模型进行参数迭代，得到人体属性识别模型。

可以理解的是，第一损失函数和第二损失函数，以及人体检测损失函数和人体分割损失函数四个损失函数越小，人体属性识别模型的人体属性识别效果越好，人体属性识别模型的鲁棒性越好。

基于上述实施例，图3是本发明提供的人体属性识别的流程示意图之二，图4是本发明提供的人体属性识别方法的流程示意图之三，如图3和4所示，该方法包括：

首先，获取待识别图像，再基于人体属性识别模型中的初步特征提取层中的人体检测层，对待识别图像的图像特征进行人体检测，得到人体检出框。

然后，可以基于初步特征提取层中的深度提取层，对人体检出框所在区域的图像特征进行深度特征提取，得到初步特征。

可以基于特征提取层中的语义分割层，对初步特征进行语义分割，得到人体分割特征，此处的人体分割特征可以是人体区域分割特征和/或人体部件分割特征。

再基于特征提取层中的特征融合层，可以应用人体分割特征对初步特征进行加权，得到人体特征。

然后，可以基于特征提取层中的第一特征提取层，对人体特征进行第一特征提取，得到第一人体特征；相应地，可以基于人体属性识别模型中的分类层，对第一人体特征进行第一属性分类，得到第一属性的识别结果，此处的第一属性的识别结果可以是女性、三岁、白种人和短发等，本发明实施例对此不作具体限定；

也可以基于特征提取层中的第二特征提取层，对第一人体特征进行第二特征提取，得到第二人体特征，相应地，基于人体属性识别模型中的特征比对层，将第二人体特征与第二属性的属性特征进行匹配，得到第二属性的匹配结果，此处的第二属性的匹配结果可以是领带、围兜和丝巾的特征比对结果。

下面对本发明提供的人体属性识别装置进行描述，下文描述的人体属性识别装置与上文描述的人体属性识别方法可相互对应参照。

图5是本发明提供的人体属性识别装置的结构示意图，如图5所示，该装置包括：

图像确定模块510，用于获取待识别图像；

人体特征获取模块520，用于基于人体属性识别模型中的特征提取层，获取所述待识别图像中的第一人体特征和第二人体特征；

第一属性识别模块530，用于基于所述人体属性识别模型中的分类层，对所述第一人体特征进行第一属性分类，得到第一属性的识别结果；

第二属性匹配模块540，用于基于所述人体属性识别模型中的特征比对层，将所述第二人体特征与第二属性的属性特征进行匹配，得到所述第二属性的匹配结果；

所述人体属性识别模型是基于第一样本图像和所述第一样本图像的第一属性标签训练得到，所述第二属性是除所述第一属性之外的人体属性。

本发明实施例提供的装置，一方面，对于训练过的第一属性，以及，未训练过的第二属性，人体属性识别模型都能进行识别，提高了模型的泛化能力，另一方面，通过训练得到的人体属性识别模型是一个端到端的模型，即可以通过端到端的模型对待识别图像进行识别，不需要通过级联式的多个网络模型进行训练，提高了模型的运算效率，同时减小了传统的多个级联网络模型的运算误差，提高了模型的准确率。

基于上述任一实施例，人体特征获取模块包括：

初步特征模块，基于所述特征提取层中的初步特征提取层，对所述待识别图像中人体所在的区域进行特征提取，得到初步特征；

人体分割特征模块，基于所述特征提取层中的语义分割层，对所述初步特征进行语义分割，得到人体分割特征；

人体特征模块，基于所述特征提取层中的特征融合层，应用所述人体分割特征对所述初步特征进行加权，得到人体特征；

第一人体特征模块，基于所述特征提取层中的第一特征提取层，对所述人体特征进行第一特征提取，得到所述第一人体特征；

第二人体特征模块，基于所述特征提取层中的第二特征提取层，对所述第一人体特征进行第二特征提取，得到所述第二人体特征。

基于上述任一实施例，初步特征模块包括：

基于所述初步特征提取层中的人体检测层，对所述待识别图像的图像特征进行人体检测，得到人体检出框；

基于所述初步特征提取层中的深度提取层，对所述人体检出框所在区域的图像特征进行深度特征提取，得到所述初步特征。

基于上述任一实施例，人体分割特征模块包括：

基于所述语义分割层，对所述初步特征进行人体区域和/或人体部件的语义分割，得到人体区域分割特征和/或人体部件分割特征。

基于上述任一实施例，所述语义分割层包括多个级联的语义分割模块，所述语义分割模块包括卷积分支和压缩激励分支，所述语义分割模块的输入为所述卷积分支和所述压缩激励分支的输入，所述语义分割模块的输出为所述卷积分支的输出和所述压缩激励分支的输出的乘积。

基于上述任一实施例，所述人体属性识别模型具体基于第一样本图像和所述第一样本图像的第一属性标签，以及第二样本图像对训练得到，所述第二样本图像对包括第二样本图像，以及与所述第二样本图像具备相同第一属性的正样本图像和/或与所述第二样本图像具备不同第一属性的负样本图像。

基于上述任一实施例，所述人体属性识别模型的训练步骤包括：

确定初始模型；

基于所述初始模型，确定所述第一样本图像的第一属性的预测识别结果，以及所述第二样本图像对中各样本图像的第二人体特征；

基于所述第一样本图像的第一属性的预测识别结果，以及所述第一样本图像的第一属性标签，确定第一损失函数；

基于所述第二样本图像对中第二样本图像的第二人体特征分别与正样本图像和负样本图像的第二人体特征之间的相似度，确定第二损失函数；

基于所述第一损失函数和所述第二损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型。

基于上述任一实施例，所述人体属性识别模型的训练步骤还包括：

基于所述初始模型，确定所述第一样本图像的预测人体检出框和预测人体分割结果；

基于所述第一样本图像的人体检出框标签和所述预测人体检出框，确定人体检测损失函数；

基于所述第一样本图像的人体分割标签和所述预测人体分割结果，确定人体分割损失函数；

所述基于所述第一损失函数和所述第二损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型，包括：

基于所述第一损失函数和所述第二损失函数，以及所述人体检测损失函数和所述人体分割损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型。

图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行人体属性识别方法，该方法包括：获取待识别图像；基于人体属性识别模型中的特征提取层，获取所述待识别图像中的第一人体特征和第二人体特征；基于所述人体属性识别模型中的分类层，对所述第一人体特征进行第一属性分类，得到第一属性的识别结果；基于所述人体属性识别模型中的特征比对层，将所述第二人体特征与第二属性的属性特征进行匹配，得到所述第二属性的匹配结果；所述人体属性识别模型是基于第一样本图像和所述第一样本图像的第一属性标签训练得到，所述第二属性是除所述第一属性之外的人体属性。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的人体属性识别方法，该方法包括：获取待识别图像；基于人体属性识别模型中的特征提取层，获取所述待识别图像中的第一人体特征和第二人体特征；基于所述人体属性识别模型中的分类层，对所述第一人体特征进行第一属性分类，得到第一属性的识别结果；基于所述人体属性识别模型中的特征比对层，将所述第二人体特征与第二属性的属性特征进行匹配，得到所述第二属性的匹配结果；所述人体属性识别模型是基于第一样本图像和所述第一样本图像的第一属性标签训练得到，所述第二属性是除所述第一属性之外的人体属性。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的人体属性识别方法，该方法包括：获取待识别图像；基于人体属性识别模型中的特征提取层，获取所述待识别图像中的第一人体特征和第二人体特征；基于所述人体属性识别模型中的分类层，对所述第一人体特征进行第一属性分类，得到第一属性的识别结果；基于所述人体属性识别模型中的特征比对层，将所述第二人体特征与第二属性的属性特征进行匹配，得到所述第二属性的匹配结果；所述人体属性识别模型是基于第一样本图像和所述第一样本图像的第一属性标签训练得到，所述第二属性是除所述第一属性之外的人体属性。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种人体属性识别方法，其特征在于，包括：

获取待识别图像；

基于人体属性识别模型中的特征提取层，获取所述待识别图像中的第一人体特征和第二人体特征；所述第一人体特征和所述第二人体特征均是针对待识别图像进行特征提取所得到的反映待识别图像中人体信息的特征；所述第一人体特征和所述第二人体特征不同；

基于所述人体属性识别模型中的分类层，对所述第一人体特征进行第一属性分类，得到第一属性的识别结果；所述第一属性是训练过的人体属性；

基于所述人体属性识别模型中的特征比对层，将所述第二人体特征与第二属性的属性特征进行匹配，得到所述第二属性的匹配结果； 所述第二属性的属性特征是提前存储的；所述第二属性是未训练过的人体属性；

所述人体属性识别模型是基于第一样本图像和所述第一样本图像的第一属性标签训练得到，所述第二属性是除所述第一属性之外的人体属性；

所述人体属性识别模型具体基于第一样本图像和所述第一样本图像的第一属性标签，以及第二样本图像对训练得到，所述第二样本图像对包括第二样本图像，以及与所述第二样本图像具备相同第一属性的正样本图像和/或与所述第二样本图像具备不同第一属性的负样本图像；

所述人体属性识别模型训练过程中，所述人体属性识别模型针对所述第二样本图像和所述正样本图像输出的第二人体特征之间的相似度越高，所述人体属性识别模型针对所述第二样本图像和所述负样本图像输出的所述第二人体特征之间的相似度越低，则所述人体属性识别模型的特征提取层在提取所述第二人体特征上的训练效果越好。

2.根据权利要求1所述的人体属性识别方法，其特征在于，所述基于人体属性识别模型中的特征提取层，获取所述待识别图像中的第一人体特征和第二人体特征，包括：

基于所述特征提取层中的初步特征提取层，对所述待识别图像中人体所在的区域进行特征提取，得到初步特征；

基于所述特征提取层中的语义分割层，对所述初步特征进行语义分割，得到人体分割特征；

基于所述特征提取层中的特征融合层，应用所述人体分割特征对所述初步特征进行加权，得到人体特征；

基于所述特征提取层中的第一特征提取层，对所述人体特征进行第一特征提取，得到所述第一人体特征；

基于所述特征提取层中的第二特征提取层，对所述第一人体特征进行第二特征提取，得到所述第二人体特征。

3.根据权利要求2所述的人体属性识别方法，其特征在于，所述基于所述特征提取层中的初步特征提取层，对所述待识别图像中人体所在的区域进行特征提取，得到初步特征，包括：

基于所述初步特征提取层中的人体检测层，对所述待识别图像的图像特征进行人体检测，得到人体检出框；

基于所述初步特征提取层中的深度提取层，对所述人体检出框所在区域的图像特征进行深度特征提取，得到所述初步特征。

4.根据权利要求2所述的人体属性识别方法，其特征在于，所述基于所述特征提取层中的语义分割层，对所述初步特征进行语义分割，得到人体分割特征，包括：

基于所述语义分割层，对所述初步特征进行人体区域和/或人体部件的语义分割，得到人体区域分割特征和/或人体部件分割特征。

5.根据权利要求2所述的人体属性识别方法，其特征在于，所述语义分割层包括多个级联的语义分割模块，所述语义分割模块包括卷积分支和压缩激励分支，所述语义分割模块的输入为所述卷积分支和所述压缩激励分支的输入，所述语义分割模块的输出为所述卷积分支的输出和所述压缩激励分支的输出的乘积。

6.根据权利要求1所述的人体属性识别方法，其特征在于，所述人体属性识别模型的训练步骤包括：

确定初始模型；

基于所述初始模型，确定所述第一样本图像的第一属性的预测识别结果，以及所述第二样本图像对中各样本图像的第二人体特征；

基于所述第一样本图像的第一属性的预测识别结果，以及所述第一样本图像的第一属性标签，确定第一损失函数；

基于所述第二样本图像对中第二样本图像的第二人体特征分别与正样本图像和负样本图像的第二人体特征之间的相似度，确定第二损失函数；

基于所述第一损失函数和所述第二损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型。

7.根据权利要求6所述的人体属性识别方法，其特征在于，所述人体属性识别模型的训练步骤还包括：

基于所述初始模型，确定所述第一样本图像的预测人体检出框和预测人体分割结果；

基于所述第一样本图像的人体检出框标签和所述预测人体检出框，确定人体检测损失函数；

基于所述第一样本图像的人体分割标签和所述预测人体分割结果，确定人体分割损失函数；

所述基于所述第一损失函数和所述第二损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型，包括：

基于所述第一损失函数和所述第二损失函数，以及所述人体检测损失函数和所述人体分割损失函数，对所述初始模型进行参数迭代，得到所述人体属性识别模型。

8.一种人体属性识别装置，其特征在于，包括：

图像确定模块，用于获取待识别图像；

人体特征获取模块，用于基于人体属性识别模型中的特征提取层，获取所述待识别图像中的第一人体特征和第二人体特征；所述第一人体特征和所述第二人体特征均是针对待识别图像进行特征提取所得到的反映待识别图像中人体信息的特征；所述第一人体特征和所述第二人体特征不同；第一属性识别模块，用于基于所述人体属性识别模型中的分类层，对所述第一人体特征进行第一属性分类，得到第一属性的识别结果； 所述第一属性是训练过的人体属性；

第二属性匹配模块，用于基于所述人体属性识别模型中的特征比对层，将所述第二人体特征与第二属性的属性特征进行匹配，得到所述第二属性的匹配结果；所述第二属性的属性特征是提前存储的；所述第二属性是未训练过的人体属性；

所述人体属性识别模型是基于第一样本图像和所述第一样本图像的第一属性标签训练得到，所述第二属性是除所述第一属性之外的人体属性；

所述人体属性识别模型具体基于第一样本图像和所述第一样本图像的第一属性标签，以及第二样本图像对训练得到，所述第二样本图像对包括第二样本图像，以及与所述第二样本图像具备相同第一属性的正样本图像和/或与所述第二样本图像具备不同第一属性的负样本图像；

所述人体属性识别模型训练过程中，所述人体属性识别模型针对所述第二样本图像和所述正样本图像输出的第二人体特征之间的相似度越高，所述人体属性识别模型针对所述第二样本图像和所述负样本图像输出的所述第二人体特征之间的相似度越低，则所述人体属性识别模型的特征提取层在提取所述第二人体特征上的训练效果越好。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述人体属性识别方法。

Images