CN111738213B - 人物属性识别方法、装置、计算机设备及存储介质 - Google Patents

人物属性识别方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111738213B
CN111738213B CN202010696089.5A CN202010696089A CN111738213B CN 111738213 B CN111738213 B CN 111738213B CN 202010696089 A CN202010696089 A CN 202010696089A CN 111738213 B CN111738213 B CN 111738213B
Authority
CN
China
Prior art keywords
image
occlusion
network
identified
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010696089.5A
Other languages
English (en)
Other versions
CN111738213A (zh
Inventor
董菲
于溦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010696089.5A priority Critical patent/CN111738213B/zh
Publication of CN111738213A publication Critical patent/CN111738213A/zh
Application granted granted Critical
Publication of CN111738213B publication Critical patent/CN111738213B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能，提供一种人物属性识别方法、装置、计算机设备及存储介质。所述人物属性识别方法包括：按照遮挡区域对待识别人物图像进行分类，得到所述待识别人物图像的图像类型；若所述待识别人物图像是遮挡图像，则将所述待识别人物图像和所述图像类型输入多尺度生成对抗网络，所述多尺度生成对抗网络根据所述图像类型生成所述待识别人物图像的去遮挡图像；将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别。本申请可以有效去除遮挡人物图像中的遮挡干扰，恢复有用信息，提升图像属性识别性能。此外，本申请还涉及区块链技术，可以将所述待识别人物图像的人物属性存储至区块链。

Description

人物属性识别方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能领域，具体涉及一种人物属性识别方法、装置、计算机设备及存储介质。
背景技术
图像识别的一个重要应用是人物属性识别，例如识别人物的年龄、体型、性别、上半身着装及颜色、下半身着装及颜色等。随着深度学习的不断发展，人物属性识别的性能得到了显著提高。但是在实际应用场景(例如交通路口行人监控场景)中，经常会遇到人物被遮挡的问题，例如行人互相遮挡、车辆遮挡行行人等。人物被遮挡不仅会丢失部分信息，还会引入一定的干扰，使得现有的人物属性识别方法难以学习到人物的准确属性信息，导致识别性能下降。
发明内容
鉴于以上内容，有必要提出一种人物属性识别方法、装置、计算机设备及存储介质，其可以有效去除遮挡人物图像中的遮挡干扰，恢复有用信息，提升图像属性识别性能。
本申请的第一方面提供一种人物属性识别方法，所述方法包括：
利用第一残差网络按照遮挡区域对待识别人物图像进行分类，得到所述待识别人物图像的图像类型，所述图像类型包括无遮挡图像、上部遮挡图像、中部遮挡图像和下部遮挡图像；
若所述待识别人物图像是遮挡图像，则将所述待识别人物图像和所述图像类型输入多尺度生成对抗网络，所述多尺度生成对抗网络根据所述图像类型生成所述待识别人物图像的去遮挡图像；
将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别，包括：
对所述待识别人物图像的去遮挡图像进行特征提取，得到所述待识别人物图像的全身特征图；
从所述全身特征图中分割出头肩特征图、上半身特征图和下半身特征图；
将所述头肩特征图、所述上半身特征图、所述下半身特征图和所述全身特征图进行全局平均池化，将所述上半身特征图、所述下半身特征图和所述全身特征图经全局平均池化得到的特征值组成特征向量；
对所述特征向量进行特征筛选，得到与人物属性相关联的区域特征，所述人物属性包括如下任意一项或多项：年龄、体型、性别、发型、上半身着装及颜色、下半身着装及颜色、鞋子及颜色；
根据所述与人物属性相关联的区域特征进行属性分类，得到所述待识别人物图像的人物属性；
所述将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别之前，所述方法还包括：
对所述属性识别网络进行训练；
训练所述属性识别网络使用的损失函数为：
Figure GDA0002818155430000021
wl为权重，
Figure GDA0002818155430000022
N、L分别表示每个簇中训练样本的数目、每个训练样本的人物属性数目；
yil为第i个训练样本的第l个人物属性的真实标签；
Figure GDA0002818155430000023
为所述属性识别网络对第i个训练样本的第l个人物属性的预测值；
μi为第i个训练样本的遮挡系数，
Figure GDA0002818155430000024
mi为第i个训练样本的遮挡比例，未遮挡图像μi＝1；
pl表示第l个人物属性在训练集中所占比例；
所述方法还包括：
在训练所述第一残差网络进行之前，对所述多尺度生成对抗网络进行训练，在所述多尺度生成对抗网络训练完成后，将随机添加遮挡的样本图像输入到所述多尺度生成对抗网络，得到去遮挡样本图像，将所述去遮挡样本图像添加到所述第一残差网络的训练数据中以扩充所述第一残差网络的训练数据，基于扩充后的所述第一残差网络的训练数据对所述第一残差网络进行训练。
另一种可能的实现方式中，所述多尺度生成对抗网络包括第一生成器、第二生成器和判别器，其中：
所述第一生成器的输入是第一尺度的遮挡图像，所述第一生成器根据所述第一尺度的遮挡图像生成第一特征矩阵，根据所述第一特征矩阵生成第一尺度的去遮挡图像；
所述第二生成器的输入是将所述第一尺度的遮挡图像放大一倍得到的第二尺度的遮挡图像，所述第二生成器根据所述第二尺度的遮挡图像并融合所述第一特征矩阵生成第二特征矩阵，根据所述第二特征矩阵生成第二尺度的去遮挡图像；
所述判别器的输入是第二尺度的去遮挡图像和第二尺度的原始无遮挡图像，所述判别器根据所述第二尺度的去遮挡图像生成第一判别值，根据所述第二尺度的遮挡图像对应的第二尺度的原始无遮挡图像生成第二判别值，根据所述第一判别值和所述第二判别值优化所述第一生成器、所述第二生成器和所述判别器。
另一种可能的实现方式中，所述按照遮挡区域对待识别人物图像进行分类包括：
利用第一残差网络按照遮挡区域对所述待识别人物图像进行分类。
另一种可能的实现方式中，所述对所述待识别人物图像的去遮挡图像进行特征提取包括：
利用第二残差网络对所述待识别人物图像的去遮挡图像进行特征提取，所述第二残差网络引入通道维度的注意力机制，所述第二残差网络在每个残差块的卷积层之后连接一个全局平均池化层、两个全连接层和一个Sigmoid层，用于计算各个特征通道的权值，根据该权值对残差块的卷积层输出的特征图进行加权运算，完成特征的重标定。
另一种可能的实现方式中，所述对所述特征向量进行特征筛选包括：
利用长短时记忆网络对所述特征向量进行特征筛选。
另一种可能的实现方式中，所述根据所述与人物属性相关联的区域特征进行属性分类包括：
通过全连接层根据所述与人物属性相关联的区域特征进行属性分类。
本申请的第二方面提供一种人物属性识别装置，所述装置包括：
图像分类模块，用于利用第一残差网络按照遮挡区域对待识别人物图像进行分类，得到所述待识别人物图像的图像类型，所述图像类型包括无遮挡图像、上部遮挡图像、中部遮挡图像和下部遮挡图像；
去遮挡模块，用于若所述待识别人物图像是遮挡图像，则将所述待识别人物图像和所述图像类型输入多尺度生成对抗网络，所述多尺度生成对抗网络根据所述图像类型生成所述待识别人物图像的去遮挡图像；
识别模块，用于将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别，包括：
特征提取子模块，用于对所述待识别人物图像的去遮挡图像进行特征提取，得到所述待识别人物图像的全身特征图；
分割子模块，用于从所述全身特征图中分割出头肩特征图、上半身特征图和下半身特征图；
组合子模块，用于将所述头肩特征图、所述上半身特征图、所述下半身特征图和所述全身特征图进行全局平均池化，将所述上半身特征图、所述下半身特征图和所述全身特征图经全局平均池化得到的特征值组成特征向量；
筛选子模块，用于对所述特征向量进行特征筛选，得到与人物属性相关联的区域特征，所述人物属性包括如下任意一项或多项：年龄、体型、性别、发型、上半身着装及颜色、下半身着装及颜色、鞋子及颜色；
属性分类子模块，用于根据所述与人物属性相关联的区域特征进行属性分类，得到所述待识别人物图像的人物属性；
所述装置还包括训练模块，用于在所述将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别之前，对所述属性识别网络进行训练；
训练所述属性识别网络使用的损失函数为：
Figure GDA0002818155430000051
wl为权重，
Figure GDA0002818155430000052
N、L分别表示每个簇中训练样本的数目、每个训练样本的属性数目；
yil为第i个训练样本的第l个属性的真实标签；
Figure GDA0002818155430000053
为所述属性识别网络对第i个训练样本的第l个属性的预测值；
μi为第i个训练样本的遮挡系数，
Figure GDA0002818155430000054
mi为第i个训练样本的遮挡比例，未遮挡图像μi＝1；
pl表示第l个属性在训练集中所占比例；
所述训练模块，还用于在训练所述第一残差网络之前，对所述多尺度生成对抗网络进行训练，在所述多尺度生成对抗网络训练完成后，将随机添加遮挡的样本图像输入到所述多尺度生成对抗网络，得到去遮挡样本图像，将所述去遮挡样本图像添加到所述第一残差网络的训练数据中以扩充所述第一残差网络的训练数据，基于扩充后的所述第一残差网络的训练数据对所述第一残差网络进行训练。
另一种可能的实现方式中，所述多尺度生成对抗网络包括第一生成器、第二生成器和判别器，其中：
所述第一生成器的输入是第一尺度的遮挡图像，所述第一生成器根据所述第一尺度的遮挡图像生成第一特征矩阵，根据所述第一特征矩阵生成第一尺度的去遮挡图像；
所述第二生成器的输入是将所述第一尺度的遮挡图像放大一倍得到的第二尺度的遮挡图像，所述第二生成器根据所述第二尺度的遮挡图像并融合所述第一特征矩阵生成第二特征矩阵，根据所述第二特征矩阵生成第二尺度的去遮挡图像；
所述判别器的输入是第二尺度的去遮挡图像和第二尺度的原始无遮挡图像，所述判别器根据所述第二尺度的去遮挡图像生成第一判别值，根据所述第二尺度的遮挡图像对应的第二尺度的原始无遮挡图像生成第二判别值，根据所述第一判别值和所述第二判别值优化所述第一生成器、所述第二生成器和所述判别器。
另一种可能的实现方式中，所述按照遮挡区域对待识别人物图像进行分类包括：
利用第一残差网络按照遮挡区域对所述待识别人物图像进行分类。
另一种可能的实现方式中，所述对所述待识别人物图像的去遮挡图像进行特征提取包括：
利用第二残差网络对所述待识别人物图像的去遮挡图像进行特征提取，所述第二残差网络引入通道维度的注意力机制，所述第二残差网络在每个残差块的卷积层之后连接一个全局平均池化层、两个全连接层和一个Sigmoid层，用于计算各个特征通道的权值，根据该权值对残差块的卷积层输出的特征图进行加权运算，完成特征的重标定。
另一种可能的实现方式中，所述对所述特征向量进行特征筛选包括：
利用长短时记忆网络对所述特征向量进行特征筛选。
另一种可能的实现方式中，所述根据所述与人物属性相关联的区域特征进行属性分类包括：
通过全连接层根据所述与人物属性相关联的区域特征进行属性分类。
本申请的第三方面提供一种计算机设备，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述人物属性识别方法。
本申请的第四方面提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述人物属性识别方法。
本发明针对人物图像存在遮挡影响人物属性识别性能的问题，利用多尺度生成对抗网络生成待识别人物图像的去遮挡图像，减少遮挡在人物特征表示学习过程中的干扰。此外，在人物属性识别过程引入了注意力机制，通过注意力机制重点学习真实图像的特征提取，有效学习输入数据不同部分的权重分布，减少不利因素带来的影响，提高人物属性识别的性能和鲁棒性。同时针对多标签分类的属性分布不均衡和遮挡图像复原偏差的问题，改进了损失函数，增加了样本权重和遮挡系数，提升模型对少样本的人物属性的识别效果、以及降低遮挡信息修复偏差的影响。本发明有效去除遮挡人物图像中的遮挡干扰，恢复有用信息，提升图像属性识别性能。
附图说明
图1是本发明实施例提供的人物属性识别方法的流程图。
图2是本发明实施例提供的人物属性识别装置的结构图。
图3是本发明实施例提供的计算机设备的示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
优选地，本发明的人物属性识别方法应用在一个或者多个计算机设备中。所述计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
实施例一
图1是本发明实施例一提供的人物属性识别方法的流程图。所述人物属性识别方法应用于计算机设备。所述人物属性识别方法识别遮挡人物图像的人物属性。
本发明识别的人物属性可以包括年龄、体型、性别、发型、上半身着装及颜色、下半身着装及颜色、鞋子及颜色等。
本发明可应用于智慧社区、智慧交通等场景中，用于对该场景中的遮挡人物图像进行人物属性识别，从而推动智慧城市的建设。
如图1所示，所述人物属性识别方法包括：
101，按照遮挡区域对待识别人物图像进行分类，得到所述待识别人物图像的图像类型。
待识别人物图像可以是遮挡图像，也可以是无遮挡图像。
在一实施例中，所述人物属性识别方法应用于交通监控，所述待识别人物图像是交通监控场景中获取的人物图像。
在一实施例中，遮挡区域按照上部、中部和下部进行划分，所述图像类型可以包括无遮挡图像、上部遮挡图像、中部遮挡图像和下部遮挡图像。在其他的实施例中，遮挡区域可以按照其他方式划分(例如按照九宫格的方式划分)，所述图像类型可以包括其他的遮挡类型。
可以将待识别人物图像输入分类器，所述分类器按照遮挡区域对所述待识别人物图像进行分类，输出所述待识别人物图像的图像类型。
在一实施例中，所述分类器是第一残差网络，所述按照遮挡区域对待识别人物图像进行分类包括：
利用第一残差网络按照遮挡区域对所述待识别人物图像进行分类。
所述分类器(例如第一残差网络)预先用第一训练数据进行训练。所述第一训练数据包括第一遮挡样本图像(例如上部遮挡样本图像、中部遮挡样本图像和下部遮挡样本图像)和第一无遮挡样本图像。
若所述待识别人物图像是无遮挡图像，则将所述待识别人物图像直接进行属性识别。例如，将所述待识别人物图像输入属性识别网络进行属性识别。
102，若所述待识别人物图像是遮挡图像，则将所述待识别人物图像和所述图像类型输入多尺度生成对抗网络，所述多尺度生成对抗网络根据所述图像类型生成所述待识别人物图像的去遮挡图像。
例如，若所述待识别人物图像是上部遮挡图像、中部遮挡图像或下部遮挡图像，则将所述待识别人物图像、所述图像类型和所述遮挡比例输入多尺度生成对抗网络，得到所述待识别人物图像的去遮挡图像。
多尺度生成对抗网络预先使用第二训练数据进行训练。所述第二训练数据包括第二遮挡样本图像和所述第二遮挡样本图像对应的原始无遮挡图像(即真实无遮挡图像)。第二遮挡样本图像及其原始无遮挡图像均为人物图像。每个第二遮挡样本图像及其对应的原始无遮挡图像构成多尺度生成对抗网络的一个训练样本。第二遮挡样本图像标注有图像类型，表明该第二遮挡样本图像的遮挡区域。多尺度生成对抗网络根据第二遮挡样本图像标注的图像类型更好地恢复第二遮挡样本图像中遮挡区域的信息。
所述多尺度生成对抗网络包括多尺度生成器和判别器。多尺度生成器用于根据遮挡图像(第二遮挡样本图像或待识别人物图像)生成去遮挡图像。判断器用于多尺度生成对抗网络的训练阶段。判断器根据多尺度生成器生成的去遮挡图像和原始无遮挡图像优化所述多尺度生成对抗网络。
在一实施例中，所述多尺度生成对抗网络包括两个生成器(第一生成器和第二生成器)和一个判别器。第一生成器的输入是第一尺度(例如128*64)的遮挡图像(例如第二遮挡样本图像)，输出是第一尺度(例如128*64)的去遮挡图像。第二生成器的输入是将第一尺度的遮挡图像放大一倍后得到的第二尺度(例如256*128)的遮挡图像，输出是第二尺度(例如256*128)的去遮挡图像。所述第二尺度大于第一尺度。第一生成器根据第一尺度的遮挡图像(例如第二遮挡样本图像)生成第一特征矩阵，根据第一特征矩阵生成第一尺度的去遮挡图像。第二生成器根据第二尺度的遮挡图像并融合第一特征矩阵生成第二特征矩阵，根据第二特征矩阵生成第二尺度的去遮挡图像。第二生成器的输出就是多尺度生成器的输出，即多尺度生成对抗网络的输出。判别器的输入是第二尺度的去遮挡图像(例如放大一倍后的第二遮挡样本图像)和第二尺度的遮挡图像对应的第二尺度的原始无遮挡图像，判别器根据第二尺度的去遮挡图像生成第一判别值，根据第二尺度的原始无遮挡图像生成第二判别值，根据第一判别值和第二判别值优化第一生成器、第二生成器和判别器。
在多尺度生成对抗网络的训练阶段，将第二遮挡样本图像和对应的原始无遮挡图像输入到多尺度生成对抗网络。多尺度生成器的任务是对输入的第二遮挡样本图像尽可能恢复遮挡区域的信息，并能够生成高质量的虚假图像(即第二遮挡样本图像的去遮挡图像)，以欺骗判别器。而判别器的任务是判别输入的第二遮挡样本图像的去遮挡图像是真实的原始图像还是虚假的生成图像。生成器和判别器相互对抗并不断调整各自的参数，最终使判别器无法判断生成器的输出结果是否真实。
在一实施例中，在训练第一残差网络之前对多尺度生成对抗网络进行训练。在多尺度生成对抗网络训练完成后，将随机添加遮挡的样本图像输入到多尺度生成对抗网络，得到去遮挡样本图像。将去遮挡样本图像添加到第一训练数据中以扩充第一训练数据，基于扩充后的第一训练数据进行训练所述第一残差网络。
多尺度生成对抗网络生成待识别人物图像的去遮挡图像，有效减少遮挡在人物特征表示学习过程中的干扰，提升存在遮挡的人物图像的人物属性识别性能。
103，将所述待识别人物图像的去遮挡图像输入属性识别网络，所述属性识别网络对所述待识别人物图像的去遮挡图像进行特征提取，得到所述待识别人物图像的全身特征图。
步骤103-107是利用属性识别网络对将待识别人物图像进行属性识别的过程。将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别，所述属性识别网络首先对所述待识别人物图像的去遮挡图像进行特征提取，得到所述待识别人物图像的全身特征图。
在一实施例中，所述属性识别网络包括第二残差网络，将所述待识别人物图像的去遮挡图像输入所述第二残差网络对所述待识别人物图像的去遮挡图像进行特征提取，得到所述待识别人物图像的全身特征图。
在一实施例中，所述第二残差网络引入通道维度的注意力机制。所述通道维度的注意力机制通过在第二残差网络的每个残差块中增加一个特征重标定过程来实现。具体地，在每个残差块的卷积层之后连接一个全局平均池化层、两个全连接层和一个Sigmoid层，用于计算各个特征通道的权值，根据该权值对残差块的卷积层输出的特征图进行加权运算，完成特征的重标定。
例如，对于输入X，送入残差块中进行卷积运算得到c×h×w的特征图，接着进行全局平均池化得到c×1×1的特征图，之后输入两个全连接层使得网络具有更多的非线性，同时更好地拟合通道间复杂的相关性。将经过两个全连接层后的c×1×1的特征图进行Sigmoid运算，每个通道获得一个归一化到0-1之间的权值，将原先卷积运算得到的c×h×w的特征图按照对应的权值逐通道进行加权，从而完成通道维度的注意力机制。
虽然生成对抗网络为无监督学习领域提供了新思路，取得了开创性的进展。但是，生成对抗网络存在训练过程不稳定、图像生成效果不可控、训练过程容易崩溃等问题。为了降低生成对抗网络和其他因素(例如背景信息)带来的影响，本发明引入了注意力机制。注意力机制可以有效学习输入数据不同部分的权重分布，减少不利因素带来的影响，提高人物属性识别的性能和鲁棒性。在残差网络中利用残差机制引入注意力机制，可以在引入注意力机制的同时保证了网络的深度。
104，从所述全身特征图中分割出头肩特征图、上半身特征图和下半身特征图。
在对所述全身特征图进行分割时，可以根据经验值确定分割的位置。或者，可以根据所述全身特征图识别头肩分割位置、上半身分割位置，在对所述全身特征图中从头肩分割位置、上半身分割位置进行分割。
105，将所述头肩特征图、所述上半身特征图、所述下半身特征图和所述全身特征图进行全局平均池化(Global Average Pooling，GAP)，将所述上半身特征图、所述下半身特征图和所述全身特征图经全局平均池化得到的特征值组成特征向量。
全局平均池化是对每个通道的特征图计算所有像素点的均值。
例如，所述上半身特征图、所述下半身特征图和所述全身特征图都有100个通道，经过全局平均池化都得到100个特征值，将所述上半身特征图、所述下半身特征图和所述全身特征图各自的100个特征值组成300维的特征向量。
106，对所述特征向量进行特征筛选，得到与人物属性相关联的区域特征。
例如，若需要识别待识别人物图像的上半身着装及颜色，则经过特征筛选得到上半身对应的特征。若需要识别待识别人物图像的下半身着装及颜色，则经过特征筛选得到下半身对应的特征。
在一实施例中，属性识别网络包括长短时记忆网络(Long Short-term Memory，LSTM)，利用所述长短时记忆网络对所述特征向量进行特征筛选。将所述特征向量输入长短时记忆网络进行特征筛选，得到与人物属性相关联的区域特征。
LSTM是一种特殊的RNN(Recurrent Neural Network，循环神经网络)，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸的问题。
107，根据所述与人物属性相关联的区域特征进行属性分类，得到所述待识别人物图像的人物属性。
在一实施例中，通过全连接层根据所述与人物属性相关联的区域特征进行属性分类。将所述与人物属性相关联的区域特征输入所述全连接层进行属性分类，得到所述待识别人物图像的人物属性。
所述将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别之前，所述方法还包括：
属性识别网络使用第三训练数据进行训练。所述第三训练数据包括第三遮挡样本图像和第二无遮挡样本图像。每个第三遮挡样本图像和每个第二无遮挡样本图像标注有遮挡系数μ，
Figure GDA0002818155430000131
m为图像的遮挡比例。若图像为无遮挡图像，则μ＝1。
在一实施例中，为了降低训练样本属性分布不均衡(例如属性为性别，男性的训练数据较多，女性的训练数据较少)和被遮挡信息修复偏差对属性识别网络造成的影响，在对所述属性识别网络进行训练时，对人物属性识别的损失函数进行优化，在原二元交叉熵损失函数前加上训练样本的权重和遮挡系数。训练所述属性识别网络使用的损失函数为：
Figure GDA0002818155430000141
wl为权重，
Figure GDA0002818155430000142
N、L分别表示每个簇(batch)中训练样本的数目、每个训练样本的属性数目。
yil为第i个训练样本的第l个属性的真实标签，例如对于性别，若训练样本为男性则为1，若为女性则未0。
Figure GDA0002818155430000143
为属性识别网络对第i个训练样本的第l个属性的预测值。
μi为第i个训练样本的遮挡系数，
Figure GDA0002818155430000144
mi为第i个训练样本的遮挡比例，遮挡部分越大则遮挡系数越小，未遮挡图像μi＝1。
pl表示第l个属性在训练集(即第三训练数据)中所占比例，例如男性在训练集中所占比例。若该属性在训练集中所占比例越大，则对应的权重越小。
根据上述损失函数，属性识别网络重点学习数量相对较少的属性和遮挡场景，提高人物属性识别的正确率。
所述人物属性识别方法针对人物图像存在遮挡影响人物属性识别性能的问题，利用多尺度生成对抗网络生成待识别人物图像的去遮挡图像，减少遮挡在人物特征表示学习过程中的干扰。此外，在人物属性识别过程引入了注意力机制，通过注意力机制重点学习真实图像的特征提取，有效学习输入数据不同部分的权重分布，减少不利因素带来的影响，提高人物属性识别的性能和鲁棒性。同时针对多标签分类的属性分布不均衡和遮挡图像复原偏差的问题，改进了损失函数，增加了样本权重和遮挡系数，提升模型对少样本的人物属性的识别效果、以及降低遮挡信息修复偏差的影响。所述人物属性识别方法有效去除遮挡人物图像中的遮挡干扰，恢复有用信息，提升图像属性识别性能。
在另一实施例中，所述方法还包括：将所述待识别人物图像的人物属性存储至区块链。
可以将所述待识别人物图像的人物属性打包进入区块，所述区块经区块链系统共识后链入区块链中。
实施例二
图2是本发明实施例二提供的人物属性识别装置的结构图。所述人物属性识别装置20应用于计算机设备。所述人物属性识别装置20识别遮挡人物图像的人物属性。
如图2所示，所述人物属性识别装置20可以包括图像分类模块201、去遮挡模块202、识别模块203。所述识别模块203包括特征提取子模块2031、分割子模块2032、池化子模块2033、筛选子模块2034、属性分类子模块2035。
图像分类模块201，用于按照遮挡区域对待识别人物图像进行分类，得到所述待识别人物图像的图像类型。
待识别人物图像可以是遮挡图像，也可以是无遮挡图像。
在一实施例中，所述人物属性识别方法应用于交通监控，所述待识别人物图像是交通监控场景中获取的人物图像。
在一实施例中，遮挡区域按照上部、中部和下部进行划分，所述图像类型可以包括无遮挡图像、上部遮挡图像、中部遮挡图像和下部遮挡图像。在其他的实施例中，遮挡区域可以按照其他方式划分(例如按照九宫格的方式划分)，所述图像类型可以包括其他的遮挡类型。
可以将待识别人物图像输入分类器，所述分类器按照遮挡区域对所述待识别人物图像进行分类，输出所述待识别人物图像的图像类型。
在一实施例中，所述分类器是第一残差网络，所述按照遮挡区域对待识别人物图像进行分类包括：
利用第一残差网络按照遮挡区域对所述待识别人物图像进行分类。
所述分类器(例如第一残差网络)预先用第一训练数据进行训练。所述第一训练数据包括第一遮挡样本图像(例如上部遮挡样本图像、中部遮挡样本图像和下部遮挡样本图像)和第一无遮挡样本图像。
若所述待识别人物图像是无遮挡图像，则将所述待识别人物图像直接进行属性识别。例如，将所述待识别人物图像输入属性识别网络进行属性识别。
去遮挡模块202，用于若所述待识别人物图像是遮挡图像，则将所述待识别人物图像和所述图像类型输入多尺度生成对抗网络，所述多尺度生成对抗网络根据所述图像类型生成所述待识别人物图像的去遮挡图像。
例如，若所述待识别人物图像是上部遮挡图像、中部遮挡图像或下部遮挡图像，则将所述待识别人物图像、所述图像类型和所述遮挡比例输入多尺度生成对抗网络，得到所述待识别人物图像的去遮挡图像。
多尺度生成对抗网络预先使用第二训练数据进行训练。所述第二训练数据包括第二遮挡样本图像和所述第二遮挡样本图像对应的原始无遮挡图像(即真实无遮挡图像)。第二遮挡样本图像及其原始无遮挡图像均为人物图像。每个第二遮挡样本图像及其对应的原始无遮挡图像构成多尺度生成对抗网络的一个训练样本。第二遮挡样本图像标注有图像类型，表明该第二遮挡样本图像的遮挡区域。多尺度生成对抗网络根据第二遮挡样本图像标注的图像类型更好地恢复第二遮挡样本图像中遮挡区域的信息。
所述多尺度生成对抗网络包括多尺度生成器和判别器。多尺度生成器用于根据遮挡图像(第二遮挡样本图像或待识别人物图像)生成去遮挡图像。判断器用于多尺度生成对抗网络的训练阶段。判断器根据多尺度生成器生成的去遮挡图像和原始无遮挡图像优化所述多尺度生成对抗网络。
在一实施例中，所述多尺度生成对抗网络包括两个生成器(第一生成器和第二生成器)和一个判别器。第一生成器的输入是第一尺度(例如128*64)的遮挡图像(例如第二遮挡样本图像)，输出是第一尺度(例如128*64)的去遮挡图像。第二生成器的输入是将第一尺度的遮挡图像放大一倍后得到的第二尺度(例如256*128)的遮挡图像，输出是第二尺度(例如256*128)的去遮挡图像。所述第二尺度大于第一尺度。第一生成器根据第一尺度的遮挡图像(例如第二遮挡样本图像)生成第一特征矩阵，根据第一特征矩阵生成第一尺度的去遮挡图像。第二生成器根据第二尺度的遮挡图像并融合第一特征矩阵生成第二特征矩阵，根据第二特征矩阵生成第二尺度的去遮挡图像。第二生成器的输出就是多尺度生成器的输出，即多尺度生成对抗网络的输出。判别器的输入是第二尺度的去遮挡图像(例如放大一倍后的第二遮挡样本图像)和第二尺度的遮挡图像对应的第二尺度的原始无遮挡图像，判别器根据第二尺度的去遮挡图像生成第一判别值，根据第二尺度的原始无遮挡图像生成第二判别值，根据第一判别值和第二判别值优化第一生成器、第二生成器和判别器。
在多尺度生成对抗网络的训练阶段，将第二遮挡样本图像和对应的原始无遮挡图像输入到多尺度生成对抗网络。多尺度生成器的任务是对输入的第二遮挡样本图像尽可能恢复遮挡区域的信息，并能够生成高质量的虚假图像(即第二遮挡样本图像的去遮挡图像)，以欺骗判别器。而判别器的任务是判别输入的第二遮挡样本图像的去遮挡图像是真实的原始图像还是虚假的生成图像。生成器和判别器相互对抗并不断调整各自的参数，最终使判别器无法判断生成器的输出结果是否真实。
在一实施例中，在训练第一残差网络之前对多尺度生成对抗网络进行训练。在多尺度生成对抗网络训练完成后，将随机添加遮挡的样本图像输入到多尺度生成对抗网络，得到去遮挡样本图像。将去遮挡样本图像添加到第一训练数据中以扩充第一训练数据，基于扩充后的第一训练数据进行训练所述第一残差网络。
多尺度生成对抗网络生成待识别人物图像的去遮挡图像，有效减少遮挡在人物特征表示学习过程中的干扰，提升存在遮挡的人物图像的人物属性识别性能。
识别模块203，用于将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别。识别模块203包括子模块2031-2035，下面分别进行描述。
特征提取子模块2031，用于对所述待识别人物图像的去遮挡图像进行特征提取，得到所述待识别人物图像的全身特征图。
所述属性识别网络首先对所述待识别人物图像的去遮挡图像进行特征提取，得到所述待识别人物图像的全身特征图。
在一实施例中，所述属性识别网络包括第二残差网络，将所述待识别人物图像的去遮挡图像输入所述第二残差网络对所述待识别人物图像的去遮挡图像进行特征提取，得到所述待识别人物图像的全身特征图。
在一实施例中，所述第二残差网络引入通道维度的注意力机制。所述通道维度的注意力机制通过在第二残差网络的每个残差块中增加一个特征重标定过程来实现。具体地，在每个残差块的卷积层之后连接一个全局平均池化层、两个全连接层和一个Sigmoid层，用于计算各个特征通道的权值，根据该权值对残差块的卷积层输出的特征图进行加权运算，完成特征的重标定。
例如，对于输入X，送入残差块中进行卷积运算得到c×h×w的特征图，接着进行全局平均池化得到c×1×1的特征图，之后输入两个全连接层使得网络具有更多的非线性，同时更好地拟合通道间复杂的相关性。将经过两个全连接层后的c×1×1的特征图进行Sigmoid运算，每个通道获得一个归一化到0-1之间的权值，将原先卷积运算得到的c×h×w的特征图按照对应的权值逐通道进行加权，从而完成通道维度的注意力机制。
虽然生成对抗网络为无监督学习领域提供了新思路，取得了开创性的进展。但是，生成对抗网络存在训练过程不稳定、图像生成效果不可控、训练过程容易崩溃等问题。为了降低生成对抗网络和其他因素(例如背景信息)带来的影响，本发明引入了注意力机制。注意力机制可以有效学习输入数据不同部分的权重分布，减少不利因素带来的影响，提高人物属性识别的性能和鲁棒性。在残差网络中利用残差机制引入注意力机制，可以在引入注意力机制的同时保证了网络的深度。
分割子模块2032，用于从所述全身特征图中分割出头肩特征图、上半身特征图和下半身特征图。
在对所述全身特征图进行分割时，可以根据经验值确定分割的位置。或者，可以根据所述全身特征图识别头肩分割位置、上半身分割位置，在对所述全身特征图中从头肩分割位置、上半身分割位置进行分割。
池化子模块2033，用于将所述头肩特征图、所述上半身特征图、所述下半身特征图和所述全身特征图进行全局平均池化(Global Average Pooling，GAP)，将所述上半身特征图、所述下半身特征图和所述全身特征图经全局平均池化得到的特征值组成特征向量。
全局平均池化是对每个通道的特征图计算所有像素点的均值。
例如，所述上半身特征图、所述下半身特征图和所述全身特征图都有100个通道，经过全局平均池化都得到100个特征值，将所述上半身特征图、所述下半身特征图和所述全身特征图各自的100个特征值组成300维的特征向量。
筛选子模块2034，用于对所述特征向量进行特征筛选，得到与人物属性相关联的区域特征。
例如，若需要识别待识别人物图像的上半身着装及颜色，则经过特征筛选得到上半身对应的特征。若需要识别待识别人物图像的下半身着装及颜色，则经过特征筛选得到下半身对应的特征。
在一实施例中，属性识别网络包括长短时记忆网络(Long Short-term Memory，LSTM)，利用所述长短时记忆网络对所述特征向量进行特征筛选。将所述特征向量输入长短时记忆网络进行特征筛选，得到与人物属性相关联的区域特征。
LSTM是一种特殊的RNN(Recurrent Neural Network，循环神经网络)，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸的问题。
属性分类子模块2035，用于根据所述与人物属性相关联的区域特征进行属性分类，得到所述待识别人物图像的人物属性。
在一实施例中，通过全连接层根据所述与人物属性相关联的区域特征进行属性分类。将所述与人物属性相关联的区域特征输入所述全连接层进行属性分类，得到所述待识别人物图像的人物属性。
所述人物属性识别装置20还包括属性识别网络训练模块，用于对所述属性识别网络进行训练。
属性识别网络使用第三训练数据进行训练。所述第三训练数据包括第三遮挡样本图像和第二无遮挡样本图像。每个第三遮挡样本图像和每个第二无遮挡样本图像标注有遮挡系数μ，
Figure GDA0002818155430000201
m为图像的遮挡比例。若图像为无遮挡图像，则μ＝1。
在一实施例中，为了降低训练样本属性分布不均衡(例如属性为性别，男性的训练数据较多，女性的训练数据较少)和被遮挡信息修复偏差对属性识别网络造成的影响，在对所述属性识别网络进行训练时，对人物属性识别的损失函数进行优化，在原二元交叉熵损失函数前加上训练样本的权重和遮挡系数。训练所述属性识别网络使用的损失函数为：
Figure GDA0002818155430000202
wl为权重，
Figure GDA0002818155430000203
N、L分别表示每个簇(batch)中训练样本的数目、每个训练样本的属性数目。
yil为第i个训练样本的第l个属性的真实标签，例如对于性别，若训练样本为男性则为1，若为女性则未0。
Figure GDA0002818155430000211
为属性识别网络对第i个训练样本的第l个属性的预测值。
μi为第i个训练样本的遮挡系数，
Figure GDA0002818155430000212
mi为第i个训练样本的遮挡比例，遮挡部分越大则遮挡系数越小，未遮挡图像μi＝1。
pl表示第l个属性在训练集(即第三训练数据)中所占比例，例如男性在训练集中所占比例。若该属性在训练集中所占比例越大，则对应的权重越小。
根据上述损失函数，属性识别网络重点学习数量相对较少的属性和遮挡场景，提高人物属性识别的正确率。
所述人物属性识别装置20针对人物图像存在遮挡影响人物属性识别性能的问题，利用多尺度生成对抗网络生成待识别人物图像的去遮挡图像，减少遮挡在人物特征表示学习过程中的干扰。此外，在人物属性识别过程引入了注意力机制，通过注意力机制重点学习真实图像的特征提取，有效学习输入数据不同部分的权重分布，减少不利因素带来的影响，提高人物属性识别的性能和鲁棒性。同时针对多标签分类的属性分布不均衡和遮挡图像复原偏差的问题，改进了损失函数，增加了样本权重和遮挡系数，提升模型对少样本的人物属性的识别效果、以及降低遮挡信息修复偏差的影响。所述人物属性识别装置20有效去除遮挡人物图像中的遮挡干扰，恢复有用信息，提升图像属性识别性能。
在另一实施例中，所述人物属性识别装置20还包括存储模块，用于将所述待识别人物图像的人物属性存储至区块链。
可以将所述待识别人物图像的人物属性打包进入区块，所述区块经区块链系统共识后链入区块链中。
实施例三
本实施例提供一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述人物属性识别方法实施例中的步骤，例如图1所示的101-107。或者，该计算机程序被处理器执行时实现上述装置实施例中各模块的功能，例如图2中的模块201-203。
实施例四
图3为本发明实施例提供的计算机设备的示意图。所述计算机设备30包括存储器301、处理器302以及存储在所述存储器301中并可在所述处理器302上运行的计算机程序303，例如人物属性识别程序。所述处理器302执行所述计算机程序303时实现上述人物属性识别方法实施例中的步骤，例如图1所示的101-107。或者，该计算机程序被处理器执行时实现上述装置实施例中各模块的功能，例如图2中的模块201-203。
示例性的，所述计算机程序303可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器301中，并由所述处理器302执行，以完成本方法。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序303在所述计算机设备30中的执行过程。例如，所述计算机程序303可以被分割成图2中的模块。
所述计算机设备30可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。本领域技术人员可以理解，所述示意图3仅仅是计算机设备30的示例，并不构成对计算机设备30的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述计算机设备30还可以包括输入输出设备、网络接入设备、总线等。
所称处理器302可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器302也可以是任何常规的处理器等，所述处理器302是所述计算机设备30的控制中心，利用各种接口和线路连接整个计算机设备30的各个部分。
所述存储器301可用于存储所述计算机程序303，所述处理器302通过运行或执行存储在所述存储器301内的计算机程序或模块，以及调用存储在存储器301内的数据，实现所述计算机设备30的各种功能。所述存储器301可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备30的使用所创建的数据。此外，存储器301可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
所述计算机设备30集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
进一步地，所述计算机可用存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。系统权利要求中陈述的多个模块或装置也可以由一个模块或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (9)

1.一种人物属性识别方法，其特征在于，所述方法包括：
利用第一残差网络按照遮挡区域对待识别人物图像进行分类，得到所述待识别人物图像的图像类型，所述图像类型包括无遮挡图像、上部遮挡图像、中部遮挡图像和下部遮挡图像；
若所述待识别人物图像是遮挡图像，则将所述待识别人物图像和所述图像类型输入多尺度生成对抗网络，所述多尺度生成对抗网络根据所述图像类型生成所述待识别人物图像的去遮挡图像；
将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别，包括：
对所述待识别人物图像的去遮挡图像进行特征提取，得到所述待识别人物图像的全身特征图；
从所述全身特征图中分割出头肩特征图、上半身特征图和下半身特征图；
将所述头肩特征图、所述上半身特征图、所述下半身特征图和所述全身特征图进行全局平均池化，将所述上半身特征图、所述下半身特征图和所述全身特征图经全局平均池化得到的特征值组成特征向量；
对所述特征向量进行特征筛选，得到与人物属性相关联的区域特征，所述人物属性包括如下任意一项或多项：年龄、体型、性别、发型、上半身着装及颜色、下半身着装及颜色、鞋子及颜色；
根据所述与人物属性相关联的区域特征进行属性分类，得到所述待识别人物图像的人物属性；
所述将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别之前，所述方法还包括：
对所述属性识别网络进行训练；
训练所述属性识别网络使用的损失函数为：
Figure FDA0002818155420000021
wl为权重，
Figure FDA0002818155420000022
N、L分别表示每个簇中训练样本的数目、每个训练样本的人物属性数目；
yil为第i个训练样本的第l个人物属性的真实标签；
Figure FDA0002818155420000023
为所述属性识别网络对第i个训练样本的第l个人物属性的预测值；
μi为第i个训练样本的遮挡系数，
Figure FDA0002818155420000024
mi为第i个训练样本的遮挡比例，未遮挡图像μi＝1；
pl表示第l个人物属性在训练集中所占比例；
所述方法还包括：
在训练所述第一残差网络进行之前，对所述多尺度生成对抗网络进行训练，在所述多尺度生成对抗网络训练完成后，将随机添加遮挡的样本图像输入到所述多尺度生成对抗网络，得到去遮挡样本图像，将所述去遮挡样本图像添加到所述第一残差网络的训练数据中以扩充所述第一残差网络的训练数据，基于扩充后的所述第一残差网络的训练数据对所述第一残差网络进行训练。
2.如权利要求1所述的人物属性识别方法，其特征在于，所述多尺度生成对抗网络包括第一生成器、第二生成器和判别器，其中：
所述第一生成器的输入是第一尺度的遮挡图像，所述第一生成器根据所述第一尺度的遮挡图像生成第一特征矩阵，根据所述第一特征矩阵生成第一尺度的去遮挡图像；
所述第二生成器的输入是将所述第一尺度的遮挡图像放大一倍得到的第二尺度的遮挡图像，所述第二生成器根据所述第二尺度的遮挡图像并融合所述第一特征矩阵生成第二特征矩阵，根据所述第二特征矩阵生成第二尺度的去遮挡图像；
所述判别器的输入是第二尺度的去遮挡图像和第二尺度的原始无遮挡图像，所述判别器根据所述第二尺度的去遮挡图像生成第一判别值，根据所述第二尺度的遮挡图像对应的第二尺度的原始无遮挡图像生成第二判别值，根据所述第一判别值和所述第二判别值优化所述第一生成器、所述第二生成器和所述判别器。
3.如权利要求1所述的人物属性识别方法，其特征在于，所述按照遮挡区域对待识别人物图像进行分类包括：
利用第一残差网络按照遮挡区域对所述待识别人物图像进行分类。
4.如权利要求1所述的人物属性识别方法，其特征在于，所述对所述待识别人物图像的去遮挡图像进行特征提取包括：
利用第二残差网络对所述待识别人物图像的去遮挡图像进行特征提取，所述第二残差网络引入通道维度的注意力机制，所述第二残差网络在每个残差块的卷积层之后连接一个全局平均池化层、两个全连接层和一个Sigmoid层，用于计算各个特征通道的权值，根据该权值对残差块的卷积层输出的特征图进行加权运算，完成特征的重标定。
5.如权利要求1所述的人物属性识别方法，其特征在于，所述对所述特征向量进行特征筛选包括：
利用长短时记忆网络对所述特征向量进行特征筛选。
6.如权利要求1所述的人物属性识别方法，其特征在于，所述根据所述与人物属性相关联的区域特征进行属性分类包括：
通过全连接层根据所述与人物属性相关联的区域特征进行属性分类。
7.一种人物属性识别装置，其特征在于，所述装置包括：
图像分类模块，用于利用第一残差网络按照遮挡区域对待识别人物图像进行分类，得到所述待识别人物图像的图像类型，所述图像类型包括无遮挡图像、上部遮挡图像、中部遮挡图像和下部遮挡图像；
去遮挡模块，用于若所述待识别人物图像是遮挡图像，则将所述待识别人物图像和所述图像类型输入多尺度生成对抗网络，所述多尺度生成对抗网络根据所述图像类型生成所述待识别人物图像的去遮挡图像；
识别模块，用于将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别，包括：
特征提取子模块，用于对所述待识别人物图像的去遮挡图像进行特征提取，得到所述待识别人物图像的全身特征图；
分割子模块，用于从所述全身特征图中分割出头肩特征图、上半身特征图和下半身特征图；
池化子模块，用于将所述头肩特征图、所述上半身特征图、所述下半身特征图和所述全身特征图进行全局平均池化，将所述上半身特征图、所述下半身特征图和所述全身特征图经全局平均池化得到的特征值组成特征向量；
筛选子模块，用于对所述特征向量进行特征筛选，得到与人物属性相关联的区域特征，所述人物属性包括如下任意一项或多项：年龄、体型、性别、发型、上半身着装及颜色、下半身着装及颜色、鞋子及颜色；
属性分类子模块，用于根据所述与人物属性相关联的区域特征进行属性分类，得到所述待识别人物图像的人物属性；
所述装置还包括训练模块，用于在所述将所述待识别人物图像的去遮挡图像输入属性识别网络进行属性识别之前，对所述属性识别网络进行训练；
训练所述属性识别网络使用的损失函数为：
Figure FDA0002818155420000041
wl为权重，
Figure FDA0002818155420000042
N、L分别表示每个簇中训练样本的数目、每个训练样本的属性数目；
yil为第i个训练样本的第l个属性的真实标签；
Figure FDA0002818155420000043
为所述属性识别网络对第i个训练样本的第l个属性的预测值；
μi为第i个训练样本的遮挡系数，
Figure FDA0002818155420000044
mi为第i个训练样本的遮挡比例，未遮挡图像μi＝1；
pl表示第l个属性在训练集中所占比例；
所述训练模块，还用于在训练所述第一残差网络之前，对所述多尺度生成对抗网络进行训练，在所述多尺度生成对抗网络训练完成后，将随机添加遮挡的样本图像输入到所述多尺度生成对抗网络，得到去遮挡样本图像，将所述去遮挡样本图像添加到所述第一残差网络的训练数据中以扩充所述第一残差网络的训练数据，基于扩充后的所述第一残差网络的训练数据对所述第一残差网络进行训练。
8.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至6中任一项所述人物属性识别方法。
9.一种存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述人物属性识别方法。
CN202010696089.5A 2020-07-20 2020-07-20 人物属性识别方法、装置、计算机设备及存储介质 Active CN111738213B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010696089.5A CN111738213B (zh) 2020-07-20 2020-07-20 人物属性识别方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010696089.5A CN111738213B (zh) 2020-07-20 2020-07-20 人物属性识别方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111738213A CN111738213A (zh) 2020-10-02
CN111738213B true CN111738213B (zh) 2021-02-09

Family

ID=72655032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010696089.5A Active CN111738213B (zh) 2020-07-20 2020-07-20 人物属性识别方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111738213B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418134B (zh) * 2020-12-01 2024-02-27 厦门大学 基于行人解析的多流多标签行人再识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207554A (ja) * 1999-01-08 2000-07-28 Toyota Central Res & Dev Lab Inc 画像処理装置
CN109657545A (zh) * 2018-11-10 2019-04-19 天津大学 一种基于多任务学习的行人检测方法
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110569779A (zh) * 2019-08-28 2019-12-13 西北工业大学 基于行人局部和整体属性联合学习的行人属性识别方法
CN110751043A (zh) * 2019-09-19 2020-02-04 平安科技（深圳）有限公司 基于人脸可见性的人脸识别方法、装置及存储介质
CN111199214A (zh) * 2020-01-04 2020-05-26 西安电子科技大学 一种残差网络多光谱图像地物分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633223A (zh) * 2017-09-15 2018-01-26 深圳市唯特视科技有限公司 一种基于深层对抗网络的视频人体属性识别方法
CN107729844A (zh) * 2017-10-19 2018-02-23 贵阳宏益房地产开发有限公司 人脸属性识别方法及装置
CN108197618B (zh) * 2018-04-08 2021-10-22 百度在线网络技术（北京）有限公司 用于生成人脸检测模型的方法和装置
CN109670528B (zh) * 2018-11-14 2023-04-18 中国矿业大学 面向行人重识别任务的基于成对样本随机遮挡策略的数据扩充方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207554A (ja) * 1999-01-08 2000-07-28 Toyota Central Res & Dev Lab Inc 画像処理装置
CN109657545A (zh) * 2018-11-10 2019-04-19 天津大学 一种基于多任务学习的行人检测方法
CN110135366A (zh) * 2019-05-20 2019-08-16 厦门大学 基于多尺度生成对抗网络的遮挡行人重识别方法
CN110569779A (zh) * 2019-08-28 2019-12-13 西北工业大学 基于行人局部和整体属性联合学习的行人属性识别方法
CN110751043A (zh) * 2019-09-19 2020-02-04 平安科技（深圳）有限公司 基于人脸可见性的人脸识别方法、装置及存储介质
CN111199214A (zh) * 2020-01-04 2020-05-26 西安电子科技大学 一种残差网络多光谱图像地物分类方法

Also Published As

Publication number Publication date
CN111738213A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
Tian et al. Lane marking detection via deep convolutional neural network
Wang et al. Weakly supervised adversarial domain adaptation for semantic segmentation in urban scenes
Kamal et al. Automatic traffic sign detection and recognition using SegU-Net and a modified Tversky loss function with L1-constraint
JP6351689B2 (ja) 視覚質問応答用の注目に基づく設定可能な畳み込みニューラルネットワーク（ａｂｃ−ｃｎｎ）のシステム及び方法
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
Rivera et al. Spatiotemporal directional number transitional graph for dynamic texture recognition
Khalel et al. Automatic pixelwise object labeling for aerial imagery using stacked u-nets
US20170147868A1 (en) A method and a system for face verification
Zheng et al. Attention-based spatial-temporal multi-scale network for face anti-spoofing
CN111144314B (zh) 一种篡改人脸视频检测方法
Escalera et al. Traffic-Sign Recognition Systems
Zhang et al. Multiple adverse weather conditions adaptation for object detection via causal intervention
Huang et al. A new approach for character recognition of multi-style vehicle license plates
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
Liu et al. Fine-grained multilevel fusion for anti-occlusion monocular 3d object detection
CN114581710A (zh) 图像识别方法、装置、设备、可读存储介质及程序产品
Li et al. Findnet: Can you find me? boundary-and-texture enhancement network for camouflaged object detection
Wang et al. An interconnected feature pyramid networks for object detection
CN111738213B (zh) 人物属性识别方法、装置、计算机设备及存储介质
CN114170623A (zh) 一种人物交互检测设备及其方法、装置、可读存储介质
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
Khryashchev et al. The application of machine learning techniques to real time audience analysis system
KR20010050988A (ko) 크기와 회전에 무관한 지능형 얼굴검출 방법
Ribeiro et al. Brazilian mercosur license plate detection: a deep learning approach relying on synthetic imagery
CN116977484A (zh) 图像脱敏方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant