CN110569779B - 基于行人局部和整体属性联合学习的行人属性识别方法 - Google Patents

基于行人局部和整体属性联合学习的行人属性识别方法 Download PDF

Info

Publication number
CN110569779B
CN110569779B CN201910820960.5A CN201910820960A CN110569779B CN 110569779 B CN110569779 B CN 110569779B CN 201910820960 A CN201910820960 A CN 201910820960A CN 110569779 B CN110569779 B CN 110569779B
Authority
CN
China
Prior art keywords
attribute
pedestrian
picture
learning
attributes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910820960.5A
Other languages
English (en)
Other versions
CN110569779A (zh
Inventor
张顺
万帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201910820960.5A priority Critical patent/CN110569779B/zh
Publication of CN110569779A publication Critical patent/CN110569779A/zh
Application granted granted Critical
Publication of CN110569779B publication Critical patent/CN110569779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/259—Fusion by voting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于行人局部和整体属性联合学习的行人属性识别方法，通过设计基于行人局部和整体属性联合学习的卷积神经网络结构，融合行人部位属性和全身属性进行具有关联性多任务学习，联合学习行人局部和整体属性的判别性特征表示，得到更具判别性的行人属性特征。本发明可以有效融合行人部位属性和全身属性进行具有关联性多任务学习，提高属性特征的判别性能力，实现对复杂场景中行人部位属性的更精准的识别，从而提升行人属性的识别性能。

Description

基于行人局部和整体属性联合学习的行人属性识别方法
技术领域
本发明涉及计算机视觉与模式识别技术领域，尤其是一种行人属性识别方法。
背景技术
近些年来，随着社会对暴恐事件防范、刑事犯罪侦察等安全防范的日益重视，摄像机网络被广泛应用于地铁、机场、校园、超市等公共场所中，利用智能监控技术可以从多摄像机监控网络对感兴趣目标进行大范围、长时间、高精度的检索、定位等分析。对于大部分监控场景来说，行人是监控视频中最为常见也最为关注的目标。行人属性识别是分析监控视频中行人的属性特征，如性别、年龄、头发长短、衣服类型和颜色等，可以有效提高视频监控中行人检索和行人重识别等技术的准确率，因此行人属性识别技术有着广泛的应用前景。
监控视频中的行人图像往往存在遮挡、姿态变化、光照变化、低分辨率等问题，使行人识别问题成为智能视频监控领域最具挑战性的问题之一。为了解决以上问题，传统的行人属性识别方法采用人工设计的特征训练特征匹配模板，然而该方法不仅成本高，而且容易受到光照和环境的影响。与传统方法相比，深度学习方法将特征学习和分类器优化整合到一个统一的深度卷积神经网络框架中，利用深层网络的非线性映射提取图像的整体特征。虽然这些方法能有效提高行人属性识别性能，但是忽略了图像的局部特征对属性识别的影响。
发明内容
为了克服现有技术的不足，本发明提供一种基于行人局部和整体属性联合学习的行人属性识别方法。提供了一种实用性强、可明显提高行人再识别准确率的基于行人局部和整体属性联合学习的行人属性识别方法。通过设计基于行人局部和整体属性联合学习的卷积神经网络结构，融合行人部位属性和全身属性进行具有关联性多任务学习，联合学习行人局部和整体属性的判别性特征表示，得到更具判别性的行人属性特征。与现有方法相比，本发明大幅提高了行人属性识别的准确率。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1：准备行人属性识别训练集；
行人属性识别训练集包含行人图片和对应的行人属性标签，其中所有行人属性的类别组成整体行人属性集，按行人的上、下半身部位分别划分为上、下半身行人属性集；所使用的训练图片在现实场景中由多个无重叠视野的摄像机拍摄的图片，经过行人检测器检测或手工标定得到的包含行人大部分部位的图片，行人属性标签由手工标定，行人属性识别数据集包含Market-1501、DukeMTMC-reID和PETA；
行人属性识别训练集表示为
Figure BDA0002183115160000021
共包含N张行人图片，每张行人图片Ii共含有MG个行人属性类别，类别包括但不限于年龄、性别、头发长度、上衣长度、上衣颜色、背包、手提包、裤子类型、裤子颜色、鞋子类型和鞋子颜色，以上MG个行人属性类别组合成第i张行人图片Ii的整体行人属性
Figure BDA0002183115160000022
其中G表示本属性指示整体行人属性，
Figure BDA0002183115160000023
是行人图片Ii的整体行人属性中第j个属性。对整体行人属性集
Figure BDA0002183115160000024
划分为上、下半身两类行人属性集，分别是
Figure BDA0002183115160000025
和
Figure BDA0002183115160000026
其中U表示本属性指示上半身行人属性，D表示本属性指示下半身行人属性，
Figure BDA0002183115160000027
是行人图片Ii的上半身行人属性中第j个属性，
Figure BDA0002183115160000028
是行人图片Ii的下半身行人属性中第j个属性，上半身行人属性集
Figure BDA0002183115160000029
含有MU个行人属性类别，下半身属性集
Figure BDA00021831151600000210
含有MD个属性类别；
步骤2：设计基于行人局部和整体属性联合学习的深度卷积神经网络结构；
深度卷积神经网络包含两个子网络：整体属性学习子网络和局部属性学习子网络；整体属性学习子网络是学习行人全身所有的属性特征并对训练集中行人图片预测整体行人属性类别；局部属性学习子网络包含三个分支，分别学习行人整体和上、下半身的属性特征并预测其对应的属性类别；
采用深度卷积神经网络主体框架为50层的深度残差网络模型——ResNet50模型；ResNet50模型包含多个卷积层和池化层，最后一个隐含层经过全局平均池化操作后，接一个用于分类的全连接分类层fc，用于预测数据集的图片类别，表1给出ResNet50模型的网络层名称：
Figure BDA0002183115160000031
其中，ResNet50模型包含5个不同的卷积模块：conv1,conv2_x(x＝1,2,3),conv3_x(x＝1,2,3,4),conv4_x(x＝1,2,:::,6)和conv5_x(x＝1,2,3)，其中x表示卷积模块叠加的数量；
基于行人局部和整体属性联合学习的深度卷积神经网络对ResNet50模型的网络结构进行了修改，所述深度卷积神经网络中，conv4_1层以及之前的网络层与ResNet50模型中的网络层保持一致，conv4_1层之后的网络分开形成两个子网络：整体属性学习子网络和局部属性学习子网络。
在整体属性学习子网络中，所有conv4层和conv5层都同原ResNet50模型的参数设置保持一致，最后的隐含层经过全局最大池化操作后连接一个连接层，学习行人的整体属性特征fG，最后一层属性分类层包含MG个行人整体属性类别，对fG进行如下整体属性预测：
整体属性学习子网络对训练集中行人图片Ii预测MG个行人属性的类别与真实属性类别计算误差，整体属性学习子网络使用的目标函数是二值交叉熵损失函数；对批量处理的nbs张行人图片，二值交叉熵损失函数Lattr计算如下：
Figure BDA0002183115160000041
式中，
Figure BDA0002183115160000042
是第i张行人图片Ii的整体属性集中第j个真实属性类别，
Figure BDA0002183115160000043
是神经网络预测行人图片Ii属性类别为
Figure BDA0002183115160000044
的概率；
在局部属性学习子网络中，所有conv4层与原ResNet50模型的参数设置保持一致，不同的是conv5_1层未经过下采样操作，在conv5_1层后网络分成三个分支：一个分支是对conv5_1层输出的完整特征图进行全身属性学习，与整体属性学习子网络的属性特征学习方法一致；另外两支是采用行人部位生成策略，对conv5_1层输出的特征图的尺寸在竖直方向上一分为二，分成上半身和下半身，然后对上下半身输出的特征图分别进行局部属性学习；三个分支从conv5_1层输出的特征图都经过全局池化操作，然后和全连接层连接，分别得到全身和上、下半身的特征
Figure BDA0002183115160000045
和
Figure BDA0002183115160000046
最后将
Figure BDA0002183115160000047
和
Figure BDA0002183115160000048
分别输入全身和上、下半身的属性分类层；其中，全身的属性分类层包含对所有属性类别
Figure BDA0002183115160000049
进行分类识别，上半身的属性分类层是对上半身属性集
Figure BDA00021831151600000410
的分类识别，而下半身的属性分类层包含对上半身属性集
Figure BDA00021831151600000411
的分类识别；
对全身属性特征
Figure BDA00021831151600000412
输出给属性分类层进行属性预测，通过计算目标函数进行预测，分类层包含MG个行人全身属性类别，对训练集中行人图片Ii预测MG个行人属性的类别，并与真实属性类别计算误差，对全身属性特征
Figure BDA00021831151600000413
输出给属性分类层进行属性预测，使用的目标函数是二值交叉熵损失函数；对批量处理的nbs张行人图片，二值交叉熵损失函数
Figure BDA00021831151600000414
计算如下：
Figure BDA0002183115160000051
对上半身属性特征
Figure BDA0002183115160000054
输出给属性分类层进行属性预测，分类层包含MU个行人全身属性类别，对训练集中行人图片Ii预测MU个行人属性的类别，并与真实属性类别计算误差，其使用的目标函数是二值交叉熵损失函数。对批量处理的nbs张行人图片，二值交叉熵损失函数
Figure BDA0002183115160000055
计算如下：
Figure BDA0002183115160000052
式中，
Figure BDA0002183115160000056
是第i张行人图片Ii的上半身属性集中第j个真实属性类别，
Figure BDA0002183115160000057
是神经网络预测行人图片Ii属性类别
Figure BDA0002183115160000058
的概率；
对下半身属性特征
Figure BDA0002183115160000059
输出给属性分类层进行属性预测，分类层包含MD个行人全身属性类别；对训练集中行人图片Ii预测MD个行人属性的类别，并与真实属性类别计算误差，其使用的目标函数是二值交叉熵损失函数，对批量处理的nbs张行人图片，二值交叉熵损失函数
Figure BDA00021831151600000510
计算如下：
Figure BDA0002183115160000053
式中，
Figure BDA00021831151600000511
是第i张行人图片Ii的上半身属性集中第j个真实属性类别，
Figure BDA00021831151600000512
是神经网络预测行人图片Ii属性类别
Figure BDA00021831151600000513
的概率；
总的损失函数由
Figure BDA00021831151600000514
和
Figure BDA00021831151600000515
四个损失函数加权组成：
Figure BDA0002183115160000061
式中，λ1、λ2和λ3为常数，整个深度卷积神经网络使用多任务学习方法对整体和局部属性学习子网络进行关联性训练；
步骤3：测试阶段：使用已经训练好的深度卷积神经网络对测试集的行人图片提取fG、
Figure BDA0002183115160000062
和
Figure BDA0002183115160000063
特征，并分别用对应的属性分类层输出结果采用投票法，即对四个分类层，每个结果都给一票，最后综合票最多的属性，逐个预测图片的行人属性类别，取票数最多的属性预测结果。
本发明的有益效果在于本发明的基于行人局部和整体属性联合学习的行人属性识别方法，可以有效融合行人部位属性和全身属性进行具有关联性多任务学习，提高属性特征的判别性能力，实现对复杂场景中行人部位属性的更精准的识别，从而提升行人属性的识别性能。
附图说明
图1为本发明的流程示意图。
图2是本发明实例中卷积神经网络的结构示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明提出了一种基于行人局部和整体属性联合学习的行人属性识别方法，有效融合行人部位属性和全身属性进行具有关联性的多任务学习，使深度卷积神经网络学习到学习更具判别性和鲁棒性的行人属性特征，实现对复杂场景中行人部位属性的更精准的识别，提高行人属性识别的准确度。
如图1所示，本发明所述的基于行人局部和整体属性联合学习的行人属性识别方法，包括以下步骤：
步骤1：准备行人属性识别训练集；
行人属性识别训练集包含行人图片和对应的行人属性标签，其中所有行人属性的类别组成整体行人属性集，按行人的上、下半身部位分别划分为上、下半身行人属性集；所使用的训练图片在现实场景中由多个无重叠视野的摄像机拍摄的图片，经过行人检测器检测或手工标定得到的包含行人大部分部位的图片，行人属性标签由手工标定，行人属性识别数据集包含Market-1501、DukeMTMC-reID和PETA；
行人属性识别训练集表示为
Figure BDA0002183115160000071
共包含N张行人图片，每张行人图片Ii共含有MG个行人属性类别，类别包括年龄、性别、头发长度、上衣长度、上衣颜色、背包、手提包、裤子类型、裤子颜色、鞋子类型和鞋子颜色，以上MG个行人属性类别组合成第i张行人图片Ii的整体行人属性
Figure BDA0002183115160000072
其中G表示本属性指示整体行人属性，
Figure BDA0002183115160000073
是行人图片Ii的整体行人属性中第j个属性。对整体行人属性集
Figure BDA00021831151600000710
划分为上、下半身两类行人属性集，分别是
Figure BDA0002183115160000074
和
Figure BDA0002183115160000075
其中U表示本属性指示上半身行人属性，D表示本属性指示下半身行人属性，
Figure BDA0002183115160000076
是行人图片Ii的上半身行人属性中第j个属性，
Figure BDA0002183115160000077
是行人图片Ii的下半身行人属性中第j个属性，上半身行人属性集
Figure BDA0002183115160000078
含有MU个行人属性类别(如年龄、性别、头发长度、上衣长度、上衣颜色、背包等)，下半身属性集
Figure BDA0002183115160000079
含有MD个属性类别(如裤子类型、裤子颜色、手提包、鞋子类型、鞋子颜色等)；
步骤2：设计基于行人局部和整体属性联合学习的深度卷积神经网络结构；
设计的深度卷积神经网络包含两个子网络：整体属性学习子网络和局部属性学习子网络；整体属性学习子网络是学习行人全身所有的属性特征并对训练集中行人图片预测整体行人属性类别；局部属性学习子网络包含三个分支，分别学习行人整体和上、下半身的属性特征并预测其对应的属性类别；
本发明采用的深度卷积神经网络主体框架为50层的深度残差网络模型——ResNet50模型；深度残差网络模型借鉴了highway网络的思想，在构造网络时增加了捷径连接，使后续层的输出不是传统神经网络中输入的映射，而是输入的映射和输入的叠加，从而解决了深度神经网络训练的梯度消失或爆炸以及特征分布不均匀等问题。同时，神经网络深度的增加使网络具有学习到更多隐含判别性特征的能力。ResNet50模型包含大量的卷积层和池化层，最后一个隐含层经过全局平均池化操作后，会接一个用于分类的全连接分类层fc，用于预测数据集的图片类别。表1给出ResNet50模型的网络层名称：
Figure BDA0002183115160000081
其中，ResNet50模型包含5个不同的卷积模块：conv1,conv2_x(x＝1,2,3),conv3_x(x＝1,2,3,4),conv4_x(x＝1,2,:::,6)和conv5_x(x＝1,2,3)，其中x表示卷积模块叠加的数量，更多细节可参考文献“He,K.,Zhang,X.,Ren,S.,&Sun,J.Deep residual learningfor image recognition.In Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition,2016(pp.770-778)”。
本发明设计的基于行人局部和整体属性联合学习的深度卷积神经网络(如图2所示)对ResNet50模型的网络结构进行了修改。所提深度卷积神经网络中，conv4_1层以及之前的网络层与ResNet50模型中的网络层保持一致，conv4_1层之后的网络分开形成两个子网络：整体属性学习子网络和局部属性学习子网络。
在整体属性学习子网络中，所有conv4层和conv5层都同原ResNet50模型的参数设置保持一致，最后的隐含层经过全局最大池化操作后连接一个1024维连接层，学习行人的整体属性特征fG，最后一层属性分类层包含MG个行人整体属性类别，对fG进行如下整体属性预测：
整体属性学习子网络对训练集中行人图片Ii预测MG个行人属性的类别与真实属性类别计算误差，整体属性学习子网络使用的目标函数是二值交叉熵损失函数；对批量处理的nbs张行人图片，二值交叉熵损失函数Lattr计算如下：
Figure BDA0002183115160000091
式中，
Figure BDA0002183115160000093
是第i张行人图片Ii的整体属性集中第j个真实属性类别，
Figure BDA0002183115160000092
是神经网络预测行人图片Ii属性类别为
Figure BDA0002183115160000094
的概率；
在局部属性学习子网络中，所有conv4层与原ResNet50模型(原ResNet50模型见论文“He,K.,Zhang,X.,Ren,S.,&Sun,J.Deep residual learning for imagerecognition.In Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,2016(pp.770-778)”)的参数设置保持一致，不同的是conv5_1层未经过下采样操作，以保护局部特征感受野；在conv5_1层后网络分成三个分支：一个分支是对conv5_1层输出的完整特征图进行全身属性学习，与整体属性学习子网络的属性特征学习方法一致；另外两支是采用行人部位生成策略，对conv5_1层输出的特征图的尺寸在竖直方向上一分为二，分成上半身和下半身，然后对上下半身输出的特征图分别进行局部属性学习。三个分支从conv5_1层输出的特征图都经过全局池化操作，然后和512维的全连接层连接，分别得到全身和上、下半身的特征
Figure BDA0002183115160000095
和
Figure BDA0002183115160000096
最后将
Figure BDA0002183115160000097
和
Figure BDA0002183115160000098
分别输入全身和上、下半身的属性分类层；其中，全身的属性分类层包含对所有属性类别
Figure BDA0002183115160000099
进行分类识别，上半身的属性分类层是对上半身属性集
Figure BDA00021831151600000910
的分类识别，而下半身的属性分类层包含对上半身属性集
Figure BDA00021831151600000911
的分类识别。
对全身属性特征
Figure BDA00021831151600000912
输出给属性分类层进行属性预测，分类层包含MG个行人全身属性类别，对训练集中行人图片Ii预测MG个行人属性的类别，并与真实属性类别计算误差，对全身属性特征
Figure BDA0002183115160000104
输出给属性分类层进行属性预测，使用的目标函数是二值交叉熵损失函数；对批量处理的nbs张行人图片，二值交叉熵损失函数
Figure BDA0002183115160000105
计算如下：
Figure BDA0002183115160000101
对上半身属性特征
Figure BDA0002183115160000106
输出给属性分类层进行属性预测，分类层包含MU个行人全身属性类别，对训练集中行人图片Ii预测MU个行人属性的类别，并与真实属性类别计算误差，其使用的目标函数是二值交叉熵损失函数。对批量处理的nbs张行人图片，二值交叉熵损失函数
Figure BDA0002183115160000107
计算如下：
Figure BDA0002183115160000102
式中，
Figure BDA0002183115160000108
是第i张行人图片Ii的上半身属性集中第j个真实属性类别，
Figure BDA0002183115160000109
是神经网络预测行人图片Ii属性类别
Figure BDA00021831151600001010
的概率；
对下半身属性特征
Figure BDA00021831151600001011
输出给属性分类层进行属性预测，分类层包含MD个行人全身属性类别；对训练集中行人图片Ii预测MD个行人属性的类别，并与真实属性类别计算误差，其使用的目标函数是二值交叉熵损失函数。对批量处理的nbs张行人图片，二值交叉熵损失函数
Figure BDA00021831151600001012
计算如下：
Figure BDA0002183115160000103
式中，
Figure BDA0002183115160000112
是第i张行人图片Ii的上半身属性集中第j个真实属性类别，
Figure BDA0002183115160000113
是神经网络预测行人图片Ii属性类别
Figure BDA0002183115160000114
的概率。
总的损失函数由
Figure BDA0002183115160000115
和
Figure BDA0002183115160000116
四个损失函数加权组成：
Figure BDA0002183115160000111
式中，λ1、λ2和λ3为常数，用于平衡各个损失函数的权重，整个深度卷积神经网络使用多任务学习方法对整体和局部属性学习子网络进行关联性训练。
本发明设计的基于局部和整体属性联合学习的深度卷积神经网络模型，可以有效融合行人部位属性和全身属性进行具有关联性多任务学习，提高属性特征的判别性能力，实现对复杂场景中行人部位属性的更精准的识别，从而提升行人属性的识别性能。
步骤3：测试阶段：使用已经训练好的深度卷积神经网络对测试集的行人图片提取fG、
Figure BDA0002183115160000117
和
Figure BDA0002183115160000118
特征，并分别用对应的属性分类层输出结果采用投票法，即对四个分类层，每个结果都给一票，最后综合票最多的属性，逐个预测图片的行人属性类别，取票数最多的属性预测结果。

Claims (1)

1.一种基于行人局部和整体属性联合学习的行人属性识别方法，其特征在于包括下述步骤：
步骤1：准备行人属性识别训练集；
行人属性识别训练集包含行人图片和对应的行人属性标签，其中所有行人属性的类别组成整体行人属性集，按行人的上、下半身部位分别划分为上、下半身行人属性集；所使用的训练图片在现实场景中由多个无重叠视野的摄像机拍摄的图片，经过行人检测器检测或手工标定得到的包含行人大部分部位的图片，行人属性标签由手工标定，行人属性识别数据集包含Market-1501、DukeMTMC-reID和PETA；
行人属性识别训练集表示为
Figure FDA0003670903030000011
共包含N张行人图片，每张行人图片Ii共含有MG个行人属性类别，类别包括但不限于年龄、性别、头发长度、上衣长度、上衣颜色、背包、手提包、裤子类型、裤子颜色、鞋子类型和鞋子颜色，以上MG个行人属性类别组合成第i张行人图片Ii的整体行人属性
Figure FDA0003670903030000012
其中G表示本属性指示整体行人属性，
Figure FDA0003670903030000013
是行人图片Ii的整体行人属性中第j个属性，对整体行人属性集
Figure FDA0003670903030000014
划分为上、下半身两类行人属性集，分别是
Figure FDA0003670903030000015
和
Figure FDA0003670903030000016
其中U表示本属性指示上半身行人属性，D表示本属性指示下半身行人属性，
Figure FDA0003670903030000017
是行人图片Ii的上半身行人属性中第j个属性，
Figure FDA0003670903030000018
是行人图片Ii的下半身行人属性中第j个属性，上半身行人属性集
Figure FDA0003670903030000019
含有MU个行人属性类别，下半身属性集
Figure FDA00036709030300000110
含有MD个属性类别；
步骤2：设计基于行人局部和整体属性联合学习的深度卷积神经网络结构；
深度卷积神经网络包含两个子网络：整体属性学习子网络和局部属性学习子网络；整体属性学习子网络是学习行人全身所有的属性特征并对训练集中行人图片预测整体行人属性类别；局部属性学习子网络包含三个分支，分别学习行人整体和上、下半身的属性特征并预测其对应的属性类别；
采用深度卷积神经网络主体框架为50层的深度残差网络模型——ResNet50模型；ResNet50模型包含多个卷积层和池化层，最后一个隐含层经过全局平均池化操作后，接一个用于分类的全连接分类层fc，用于预测数据集的图片类别，表1给出ResNet50模型的网络层名称：
Figure FDA0003670903030000021
其中，ResNet50模型包含5个不同的卷积模块：Conv1,Conv2_x1，Conv3_x2，Conv4_x3和Conv5_x4，其中，x1＝1,2,3，x2＝1,2,3,4，x3＝1,2,…,6，x4＝1,2,3；
基于行人局部和整体属性联合学习的深度卷积神经网络对ResNet50模型的网络结构进行了修改，所述深度卷积神经网络中，Conv4_1层以及之前的网络层与ResNet50模型中的网络层保持一致，Conv4_1层之后的网络分开形成两个子网络：整体属性学习子网络和局部属性学习子网络；
在整体属性学习子网络中，所有Conv4层和Conv5层都同原ResNet50模型的参数设置保持一致，最后的隐含层经过全局最大池化操作后连接一个连接层，学习行人的整体属性特征fG，最后一层属性分类层包含MG个行人整体属性类别，对fG进行如下整体属性预测：
整体属性学习子网络对训练集中行人图片Ii预测MG个行人属性的类别与真实属性类别计算误差，整体属性学习子网络使用的目标函数是二值交叉熵损失函数；对批量处理的nbs张行人图片，二值交叉熵损失函数Lattr计算如下：
Figure FDA0003670903030000031
式中，
Figure FDA0003670903030000032
是第i张行人图片Ii的整体属性集中第j个真实属性类别，
Figure FDA0003670903030000033
是神经网络预测行人图片Ii属性类别为
Figure FDA0003670903030000034
的概率；
在局部属性学习子网络中，所有Conv4层与原ResNet50模型的参数设置保持一致，不同的是Conv5_1层未经过下采样操作，在Conv5_1层后网络分成三个分支：一个分支是对Conv5_1层输出的完整特征图进行全身属性学习，与整体属性学习子网络的属性特征学习方法一致；另外两支是采用行人部位生成策略，对Conv5_1层输出的特征图的尺寸在竖直方向上一分为二，分成上半身和下半身，然后对上下半身输出的特征图分别进行局部属性学习；三个分支从Conv5_1层输出的特征图都经过全局池化操作，然后和全连接层连接，分别得到全身和上、下半身的特征
Figure FDA0003670903030000035
和
Figure FDA0003670903030000036
最后将
Figure FDA0003670903030000037
和
Figure FDA0003670903030000038
分别输入全身和上、下半身的属性分类层；其中，全身的属性分类层包含对所有属性类别
Figure FDA0003670903030000039
进行分类识别，上半身的属性分类层是对上半身属性集
Figure FDA00036709030300000310
的分类识别，而下半身的属性分类层包含对上半身属性集
Figure FDA00036709030300000311
的分类识别；
对全身属性特征
Figure FDA00036709030300000312
输出给属性分类层进行属性预测，通过计算目标函数进行预测，分类层包含MG个行人全身属性类别，对训练集中行人图片Ii预测MG个行人属性的类别，并与真实属性类别计算误差，对全身属性特征
Figure FDA00036709030300000313
输出给属性分类层进行属性预测，使用的目标函数是二值交叉熵损失函数；对批量处理的nbs张行人图片，二值交叉熵损失函数
Figure FDA0003670903030000041
计算如下：
Figure FDA0003670903030000042
对上半身属性特征
Figure FDA0003670903030000043
输出给属性分类层进行属性预测，分类层包含MU个行人全身属性类别，对训练集中行人图片Ii预测MU个行人属性的类别，并与真实属性类别计算误差，其使用的目标函数是二值交叉熵损失函数，对批量处理的nbs张行人图片，二值交叉熵损失函数
Figure FDA0003670903030000044
计算如下：
Figure FDA0003670903030000045
式中，
Figure FDA0003670903030000046
是第i张行人图片Ii的上半身属性集中第j个真实属性类别，
Figure FDA0003670903030000047
是神经网络预测行人图片Ii属性类别
Figure FDA0003670903030000048
的概率；
对下半身属性特征
Figure FDA0003670903030000049
输出给属性分类层进行属性预测，分类层包含MD个行人全身属性类别；对训练集中行人图片Ii预测MD个行人属性的类别，并与真实属性类别计算误差，其使用的目标函数是二值交叉熵损失函数，对批量处理的nbs张行人图片，二值交叉熵损失函数
Figure FDA00036709030300000410
计算如下：
Figure FDA00036709030300000411
式中，
Figure FDA00036709030300000412
是第i张行人图片Ii的上半身属性集中第j个真实属性类别，
Figure FDA00036709030300000413
是神经网络预测行人图片Ii属性类别
Figure FDA0003670903030000051
的概率；
总的损失函数由Lattr、
Figure FDA0003670903030000052
和
Figure FDA0003670903030000053
四个损失函数加权组成：
Figure FDA0003670903030000054
式中，λ1、λ2和λ3为常数，整个深度卷积神经网络使用多任务学习方法对整体和局部属性学习子网络进行关联性训练；
步骤3：测试阶段：使用已经训练好的深度卷积神经网络对测试集的行人图片提取fG、
Figure FDA0003670903030000055
和
Figure FDA0003670903030000056
特征，并分别用对应的属性分类层输出结果采用投票法，即对四个分类层，每个结果都给一票，最后综合票最多的属性，逐个预测图片的行人属性类别，取票数最多的属性预测结果。
CN201910820960.5A 2019-08-28 2019-08-28 基于行人局部和整体属性联合学习的行人属性识别方法 Active CN110569779B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910820960.5A CN110569779B (zh) 2019-08-28 2019-08-28 基于行人局部和整体属性联合学习的行人属性识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910820960.5A CN110569779B (zh) 2019-08-28 2019-08-28 基于行人局部和整体属性联合学习的行人属性识别方法

Publications (2)

Publication Number Publication Date
CN110569779A CN110569779A (zh) 2019-12-13
CN110569779B true CN110569779B (zh) 2022-10-04

Family

ID=68777335

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910820960.5A Active CN110569779B (zh) 2019-08-28 2019-08-28 基于行人局部和整体属性联合学习的行人属性识别方法

Country Status (1)

Country Link
CN (1) CN110569779B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114424258A (zh) * 2019-12-23 2022-04-29 深圳市欢太科技有限公司 属性识别方法、装置、存储介质及电子设备
CN111597870B (zh) * 2020-03-26 2022-05-03 中国电子科技集团公司第五十二研究所 一种基于注意力机制与多任务学习的人体属性识别方法
CN111582399B (zh) * 2020-05-15 2023-07-18 吉林省森祥科技有限公司 一种面向杀菌机器人的多传感器信息融合方法
CN111666843B (zh) * 2020-05-25 2023-04-28 湖北工业大学 一种基于全局特征和局部特征拼接的行人重识别方法
CN111898462B (zh) * 2020-07-08 2023-04-07 浙江大华技术股份有限公司 对象属性的处理方法、装置、存储介质以及电子装置
CN111738213B (zh) * 2020-07-20 2021-02-09 平安国际智慧城市科技股份有限公司 人物属性识别方法、装置、计算机设备及存储介质
CN112800978A (zh) * 2021-01-29 2021-05-14 北京金山云网络技术有限公司 属性识别方法、部位属性提取网络的训练方法和装置
CN113095211B (zh) * 2021-04-08 2023-08-25 第六镜科技(成都)有限公司 一种图像处理方法、系统及电子设备
CN114596592B (zh) * 2022-04-30 2022-08-02 苏州浪潮智能科技有限公司 一种行人重识别方法、系统、设备及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704838A (zh) * 2017-10-19 2018-02-16 北京旷视科技有限公司 目标对象的属性识别方法及装置
CN108388882A (zh) * 2018-03-16 2018-08-10 中山大学 基于全局-局部rgb-d多模态的手势识别方法
CN108510000A (zh) * 2018-03-30 2018-09-07 北京工商大学 复杂场景下行人细粒度属性的检测与识别方法
CN108764065A (zh) * 2018-05-04 2018-11-06 华中科技大学 一种行人重识别特征融合辅助学习的方法
CN108921051A (zh) * 2018-06-15 2018-11-30 清华大学 基于循环神经网络注意力模型的行人属性识别网络及技术
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN109598186A (zh) * 2018-10-12 2019-04-09 高新兴科技集团股份有限公司 一种基于多任务深度学习的行人属性识别方法
CN109635636A (zh) * 2018-10-30 2019-04-16 国家新闻出版广电总局广播科学研究院 基于属性特征和加权的分块特征相融合的行人再识别方法
CN109829356A (zh) * 2018-12-05 2019-05-31 科大讯飞股份有限公司 神经网络的训练方法及基于神经网络的行人属性识别方法
CN109934081A (zh) * 2018-08-29 2019-06-25 厦门安胜网络科技有限公司 一种基于深度神经网络的行人属性识别方法、装置及存储介质
CN110069994A (zh) * 2019-03-18 2019-07-30 中国科学院自动化研究所 基于人脸多区域的人脸属性识别系统、方法
CN110163110A (zh) * 2019-04-23 2019-08-23 中电科大数据研究院有限公司 一种基于迁移学习和深度特征融合的行人重识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504539B2 (en) * 2017-12-05 2019-12-10 Synaptics Incorporated Voice activity detection systems and methods

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704838A (zh) * 2017-10-19 2018-02-16 北京旷视科技有限公司 目标对象的属性识别方法及装置
CN108388882A (zh) * 2018-03-16 2018-08-10 中山大学 基于全局-局部rgb-d多模态的手势识别方法
CN108510000A (zh) * 2018-03-30 2018-09-07 北京工商大学 复杂场景下行人细粒度属性的检测与识别方法
CN108764065A (zh) * 2018-05-04 2018-11-06 华中科技大学 一种行人重识别特征融合辅助学习的方法
CN109034044A (zh) * 2018-06-14 2018-12-18 天津师范大学 一种基于融合卷积神经网络的行人再识别方法
CN108921051A (zh) * 2018-06-15 2018-11-30 清华大学 基于循环神经网络注意力模型的行人属性识别网络及技术
CN109934081A (zh) * 2018-08-29 2019-06-25 厦门安胜网络科技有限公司 一种基于深度神经网络的行人属性识别方法、装置及存储介质
CN109598186A (zh) * 2018-10-12 2019-04-09 高新兴科技集团股份有限公司 一种基于多任务深度学习的行人属性识别方法
CN109635636A (zh) * 2018-10-30 2019-04-16 国家新闻出版广电总局广播科学研究院 基于属性特征和加权的分块特征相融合的行人再识别方法
CN109829356A (zh) * 2018-12-05 2019-05-31 科大讯飞股份有限公司 神经网络的训练方法及基于神经网络的行人属性识别方法
CN110069994A (zh) * 2019-03-18 2019-07-30 中国科学院自动化研究所 基于人脸多区域的人脸属性识别系统、方法
CN110163110A (zh) * 2019-04-23 2019-08-23 中电科大数据研究院有限公司 一种基于迁移学习和深度特征融合的行人重识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Part-Based Attribute-Aware Network for Person Re-Identification;Yan Zhang等;《IEEE Access》;20190423;第7卷;53585-53595 *
Person Re-identification by Deep Learning Attribute-Complementary Information;Arne Schumann等;《2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)》;20170824;20-28 *
Person Re-identification by Mid-level Attribute and Part-based Identity Learning;Guopeng Zhang等;《Proceedings of Machine Learning Research》;20181231;220-231 *
基于属性和身份特征融合的行人再识别技术研究;胡潇;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190815;第2019年卷(第8期);I138-1138 *
多属性融合网络的行人重识别方法;徐思敏等;《计算机工程与应用》;20190321;1-7 *

Also Published As

Publication number Publication date
CN110569779A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110569779B (zh) 基于行人局部和整体属性联合学习的行人属性识别方法
CN105740894B (zh) 一种高光谱遥感图像的语义标注方法
CN110110642B (zh) 一种基于多通道注意力特征的行人重识别方法
CN108537136B (zh) 基于姿态归一化图像生成的行人重识别方法
CN108388927B (zh) 基于深度卷积孪生网络的小样本极化sar地物分类方法
CN108764308B (zh) 一种基于卷积循环网络的行人重识别方法
Dev et al. Color-based segmentation of sky/cloud images from ground-based cameras
Workman et al. A unified model for near and remote sensing
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN112633071B (zh) 基于数据风格解耦内容迁移的行人重识别数据域适应方法
Soleimani et al. Convolutional neural networks for aerial multi-label pedestrian detection
Ouchra et al. Object detection approaches in images: a survey
CN116363748A (zh) 基于红外-可见光图像融合的电网现场作业一体管控方法
CN116343329A (zh) 一种红外-可见光多源图像融合一体管控系统和设备
Wang et al. Integration of heterogeneous features for remote sensing scene classification
CN113792686B (zh) 基于视觉表征跨传感器不变性的车辆重识别方法
Ayhan et al. Deep learning model for accurate vegetation classification using RGB image only
CN113269099A (zh) 基于图匹配的异构无人系统下车辆重新识别方法
CN110659585B (zh) 一种基于交互属性监督的行人检测方法
CN111898427A (zh) 一种基于特征融合深度神经网络的多光谱行人检测方法
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统
Sebastian et al. Adversarial loss for semantic segmentation of aerial imagery
Sun et al. Visual cognition inspired vehicle re-identification via correlative sparse ranking with multi-view deep features
CN114663916A (zh) 一种基于深度抽象特征的热红外人体目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant