CN110516569B - 一种基于身份和非身份属性交互学习的行人属性识别方法 - Google Patents

一种基于身份和非身份属性交互学习的行人属性识别方法 Download PDF

Info

Publication number
CN110516569B
CN110516569B CN201910753998.5A CN201910753998A CN110516569B CN 110516569 B CN110516569 B CN 110516569B CN 201910753998 A CN201910753998 A CN 201910753998A CN 110516569 B CN110516569 B CN 110516569B
Authority
CN
China
Prior art keywords
identity
attribute
identity attribute
pedestrian
pedestrians
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910753998.5A
Other languages
English (en)
Other versions
CN110516569A (zh
Inventor
朱建清
林艳
崔晓琳
李冲
曾焕强
陈婧
蔡灿辉
杜永兆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Siming Branch Of Xiamen Public Security Bureau
Huaqiao University
Original Assignee
PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Siming Branch Of Xiamen Public Security Bureau
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA, Siming Branch Of Xiamen Public Security Bureau, Huaqiao University filed Critical PEOPLE'S PUBLIC SECURITY UNIVERSITY OF CHINA
Priority to CN201910753998.5A priority Critical patent/CN110516569B/zh
Publication of CN110516569A publication Critical patent/CN110516569A/zh
Application granted granted Critical
Publication of CN110516569B publication Critical patent/CN110516569B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于身份和非身份属性交互学习的行人属性识别方法。首先，采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达；其次，将行人属性分为身份属性和非身份属性，对二者之间的潜在关系进行建模，设计出行人身份属性和非身份属性交互学习的目标函数，利用身份属性的识别优势促进非身份属性识别率的提高，并且利用非身份属性识别率的提高反过来进一步改进身份属性的识别效果。行人属性分为身份属性和非身份属性的潜在关系为：相同身份的行人之间，必然具有相同的非身份属性；非身份属性差异大的行人之间，其身份属性差异一般较大。最后，采用mini‑batch随机梯度下降算法对目标函数进行优化，实现行人属性的识别。

Description

一种基于身份和非身份属性交互学习的行人属性识别方法
技术领域
本发明涉及一种基于身份和非身份属性交互学习的行人属性识别方法。
背景技术
行人属性是指行人的一系列可描述的高级语义特征，包括行人的身份、性别、年龄、发型、衣着、配饰和携带物等。其中，身份、性别和年龄属于全局属性，而发型、配饰、衣着和携带物等是局部属性。行人属性识别是能够利用一系列高级语义行人属性，从海量大量视频中里初步筛选出符合给定属性的行人目标的一种有效的视频图像侦查手段，具有重要的科研和实战意义。同人脸识别技术相比，行人属性识别包括对全局的身份、年龄、性别属性以及局部的发型、衣着、配饰和携带物等属性的识别，用行人的多个属性组合来代替单一的人脸属性，更加全面地刻画行人，适用于更广泛的图像视频侦查场景，因此更加符合公安机关打击犯罪的现实需求，具有更广泛的应用研究价值。
对于行人属性识别的研究，目前多数基于深度学习的识别方法的做法是分别给每个属性识别任务设置一个Softmax目标函数，然后对所有属性识别任务同时进行优化。但是，这种做法除了共享特征之外，各个属性识别任务之间缺乏进一步的交互，特别是身份属性与非身份属性无法进行有效地交互。其次，实际中视频监控系统常常是会有多个视角不同的摄像头同时布控的，视角的变化会同时给身份属性和非身份属性的识别造成困难，因此行人属性识别的准确率是具有一定的提升空间的。
发明内容
本发明要解决的技术问题，在于提供一种基于身份和非身份属性交互学习的行人属性识别方法，达到提升行人属性识别准确率的目的。
本发明提出的方法：一种基于身份和非身份属性交互学习的行人属性识别方法，包括：首先，所述方法采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达；其次，将行人属性分为身份属性和非身份属性，对二者之间的潜在关系进行建模，设计出行人身份属性和非身份属性交互学习的目标函数，通过目标函数进行优化，实现了行人的属性的识别。
进一步地，所述一种具有视角变化鲁棒性的特征学习方法为：首先，利用卷积神经网络提取输入的行人图像的特征映射(Feature Map)；其次，将得到的特征映射进行水平平均池化、垂直平均池化、对角平均池化和反对角平均池化；然后，对各个方向平均池化后的特征映射再各自进行空间归一化操作，得到四种方向的行人特征；最后，把四种方向的行人特征串联起来，作为最终的行人图像的特征表达，具有对视角变化的鲁棒性。
进一步地，所述行人身份属性和非身份属性交互学习的目标函数，具体设计如下：
L＝G+αA+βB (1)
其中，G是M个属性的Softmax总和；A为根据“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项；B为“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项；α,β≥0为用户设置的常数，用于控制A和B的权重，M表示待识别行人属性个数，id表示其中的身份属性，nid表示其中的非身份属性。
进一步地，所述“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项A如下：
Figure GDA0003351334280000021
其中，N是样本总数，i，j是样本下标序号；
Figure DEST_PATH_DEST_PATH_IMAGE002
是指示函数，当其括号中的条件成立时，输出1；反之，则输出0；d为欧式距离计算公式；
Figure GDA0003351334280000022
分别是i，j样本的身份属性标签；
Figure GDA0003351334280000023
是由G中各个非身份属性的 Softmax函数预测的i，j样本的非身份属性结果。
进一步地，所述“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项B如下：
Figure GDA0003351334280000031
其中，
Figure GDA0003351334280000032
分别是i，j，k样本的身份属性标签；
Figure GDA0003351334280000033
为i， j，k样本的非身份属性标签；Fi,Fj,Fk为i，j，k样本的视角鲁棒性行人特征；d为欧式距离计算公式；τ为三元指示函数，其定义如下：
Figure GDA0003351334280000034
本发明具有如下优点：该方法具有对视角变化鲁棒性的特征学习能力以及身份属性和非身份属性交互学习的能力，从而利用身份属性的识别优势促进对非身份属性识别率的提高，并且利用非身份属性识别率的提高反过来进一步改进身份属性的识别效果，进而实现提升行人属性识别的准确率的目的。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明中的基于身份和非身份属性交互学习的行人属性识别方法示意图。
具体实施方式
本发明基于身份和非身份属性交互学习的行人属性识别方法，包括：首先，所述方法采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达；其次，将行人属性分为身份属性和非身份属性，对二者之间的潜在关系进行建模，设计出行人身份属性和非身份属性交互学习的目标函数，采用mini-batch随机梯度下降算法对目标函数进行优化，实现了行人的属性的识别。
所述方法在行人图像的特征学习方面，采用了一种具有视角变化鲁棒性的特征学习方法。首先，利用卷积神经网络提取输入的行人图像的特征映射 (Feature Map)；其次，将得到的特征映射进行水平平均池化、垂直平均池化、对角平均池化和反对角平均池化；然后，对各个方向平均池化后的特征映射再各自进行空间归一化操作，得到四种方向的行人特征；最后，把四种方向的行人特征串联起来，作为最终的行人图像的特征表达。
所述方法中的行人身份属性和非身份属性交互学习的目标函数，具体如下：
L＝G+αA+βB (1)
其中，G是M个属性的Softmax总和；A为根据“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项；B为“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项；α,β≥0为用户设置的常数，用于控制A和B的权重，M表示待识别行人属性个数，id表示其中的身份属性，nid表示其中的非身份属性。
所述“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项A如下：
Figure GDA0003351334280000041
其中，N是样本总数，i，j是样本下标序号；
Figure 346081DEST_PATH_DEST_PATH_IMAGE002
是指示函数，当其括号中的条件成立时，输出1；反之，则输出0；d为欧式距离计算公式；
Figure GDA0003351334280000042
分别是i，j样本的身份属性标签；
Figure GDA0003351334280000043
是由G中各个非身份属性的 Softmax函数预测的i，j样本的非身份属性结果。
所述“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项B如下：
Figure GDA0003351334280000044
其中，
Figure GDA0003351334280000045
分别是i，j，k样本的身份属性标签；
Figure GDA0003351334280000046
为i， j，k样本的非身份属性标签；Fi,Fj,Fk为i，j，k样本的视角鲁棒性行人特征；d为欧式距离计算公式；τ为三元指示函数，其定义如下：
Figure GDA0003351334280000051
本发明一种具体实施方式：
如图1所示，为了简化本发明的网络方法构图，图1中所采用的基本特征学习模块(Basic Feature Learning Module,B-FLM)是采用卷积 (Convolutional,Conv)神经网络，包括Conv1、Conv2、Conv3以及Conv4，实际中可以采用已经存在的任何一款深度网络结构，例如DenseNet,ResNet, GoogLeNet等。在图1中B-FLM包括四个最大池化(Max Pooling,MP)层，包括MP1、MP2、MP3以及MP4，其中池化层采用池化窗口皆为3×3，滑动步长统一采用2像素。进一步，假定输入图像的分辨率为128×64，基于图1所示的网络结构，本发明所提出的一种基于身份和非身份属性交互学习的行人属性识别方法的具体步骤如下：
步骤一，具有视角变化鲁棒性的特征学习：首先，将行人图像输入B-FLM 中提取图像的特征映射(Feature Map)；其次，将所得的特征映射输入到对视角变化鲁棒的特征学习模块(View-point Variation Robustness Feature Learning Module,VVR-FLM)，进行水平平均池化(Horizonal Average Pooling, HAP)、垂直平均池化(Vertical AveragePooling,VAP)、对角平均池化 (Diagonal Average Pooling,DAP)和反对角平均池化(Anti-diagonal Average Pooling,AAP)；然后，对各个方向平均池化后的特征映射再各自送入空间归一化(Spatial Normalization,SN)层，包括SN1、SN2、SN3以及SN4，得到四种方向的行人特征；最后，用一个连接(Concatenation,CAT)层，把得到的四种方向的行人特征串联起来，作为最终的行人图像特征。
步骤二、行人的身份属性和非身份属性交互学习，假定一共有M个行人属性待识别，id表示其中的身份属性，nid表示其中的非身份属性 (nonidentification)则身份属性和非身份属性相交互的目标函数设计L如下：
L＝G+αA+βB (1)
其中，G是M个属性的Softmax总和；A为根据“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项；B为“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项；α,β≥0为用户设置的常数，用于控制A和B的权重。A的定义如下：
Figure GDA0003351334280000061
其中，N样本总数，i，j是样本下标序号；
Figure 263221DEST_PATH_DEST_PATH_IMAGE002
是指示函数，当其括号中的条件成立时，输出1；反之，则输出0；d为欧式距离计算公式；
Figure GDA0003351334280000062
分别是i，j样本的身份属性标签；
Figure GDA0003351334280000063
是由G中各个非身份属性的Softmax 函数预测的i，j样本的非身份属性结果。
B的定义如下：
Figure GDA0003351334280000064
其中，
Figure GDA0003351334280000065
分别是i，j，k样本的身份属性标签；
Figure GDA0003351334280000066
为i， j，k样本的非身份属性标签；Fi,Fj,Fk为i，j，k样本的视角鲁棒性行人特征；d依然为欧式距离计算公式；τ为三元指示函数，其定义如下：
Figure GDA0003351334280000067
最终，采用mini-batch随机梯度下降算法对公式(1)的进行优化，在优化的过程中充分借助A和B两个交互函数项，实现了行人的身份属性和非身份属性交互学习，所得到的算法模型可以实现行人属性识别，即：公式 (1)的G包括M个属性的Softmax函数，可以用于行人属性的预测。值得一提的是，非身份属性的识别通常是闭集的识别任务，例如性别是二分类、衣着类别可预先定义好、年龄段估计也可实现划定年龄区段，因此非身份属性的识别可以直接使用对应属性的Softmax函数进行预测。但是，身份属性识别通常是开集识别任务，即实际测试数据集中的行人和训练集中行人完全不是同一批行人，不具有相同的身份，此时无法直接使用身份属性的Softmax 函数进行身份属性识别。为了解决这个问题，通常采用特征距离排序来实现行人身份属性识别，即：通过步骤一具有视角变化鲁棒性的特征学习可以得到行人图像的特征，再计算未知身份的行人图像特征与所有已知身份的行人图像特征的欧式距离并进行排序，将距离最近的已知身份的行人图像的身份作为未知身份的行人图像的身份，实现身份属性识别。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (1)

1.一种基于身份和非身份属性交互学习的行人属性识别方法，其特征在于：首先，所述方法采用一种具有视角变化鲁棒性的特征学习方法对行人图像进行特征表达；其次，将行人属性分为身份属性和非身份属性，对二者之间的潜在关系进行建模，设计出行人身份属性和非身份属性交互学习的目标函数，通过目标函数进行优化，实现了行人的属性的识别；
所述的行人身份属性和非身份属性交互学习的目标函数，具体设计如下：
L＝G+αA+βB (1)
其中，G是M个属性的Softmax总和；A为根据“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项；B为“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项；α,β≥0为用户设置的常数，用于控制A和B的权重，M表示待识别行人属性个数，id表示其中的身份属性，nid表示其中的非身份属性；
所述一种具有视角变化鲁棒性的特征学习方法为：首先，利用卷积神经网络提取输入的行人图像的特征映射(Feature Map)；其次，将得到的特征映射进行水平平均池化、垂直平均池化、对角平均池化和反对角平均池化；然后，对各个方向平均池化后的特征映射再各自进行空间归一化操作，得到四种方向的行人特征；最后，把四种方向的行人特征串联起来，作为最终的行人图像的特征表达，具有对视角变化的鲁棒性；
所述“相同身份的行人之间，必然具有相同的非身份属性”设计的交互函数项A如下：
Figure FDA0003476059280000011
其中，N是样本总数，i，j是样本下标序号；l是指示函数，当其括号中的条件成立时，输出1；反之，则输出0；d为欧式距离计算公式；
Figure FDA0003476059280000012
分别是i，j样本的身份属性标签；
Figure FDA0003476059280000013
是由G中各个非身份属性的Softmax函数预测的i，j样本的非身份属性结果；
所述“非身份属性差异大的行人之间，其身份属性差异一般较大”设计的交互函数项B如下：
Figure FDA0003476059280000021
其中，
Figure FDA0003476059280000022
分别是i，j，k样本的身份属性标签；
Figure FDA0003476059280000023
为i，j，k样本的非身份属性标签；Fi,Fj,Fk为i，j，k样本的视角鲁棒性行人特征；d为欧式距离计算公式；τ为三元指示函数，其定义如下：
Figure FDA0003476059280000024
CN201910753998.5A 2019-08-15 2019-08-15 一种基于身份和非身份属性交互学习的行人属性识别方法 Active CN110516569B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910753998.5A CN110516569B (zh) 2019-08-15 2019-08-15 一种基于身份和非身份属性交互学习的行人属性识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910753998.5A CN110516569B (zh) 2019-08-15 2019-08-15 一种基于身份和非身份属性交互学习的行人属性识别方法

Publications (2)

Publication Number Publication Date
CN110516569A CN110516569A (zh) 2019-11-29
CN110516569B true CN110516569B (zh) 2022-03-08

Family

ID=68625223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910753998.5A Active CN110516569B (zh) 2019-08-15 2019-08-15 一种基于身份和非身份属性交互学习的行人属性识别方法

Country Status (1)

Country Link
CN (1) CN110516569B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553213B (zh) * 2020-04-17 2022-09-20 大连理工大学 移动边缘云中实时分布式的身份感知行人属性识别方法
CN111582383B (zh) * 2020-05-09 2023-05-12 浙江商汤科技开发有限公司 属性识别方法及装置、电子设备和存储介质
CN111898462B (zh) * 2020-07-08 2023-04-07 浙江大华技术股份有限公司 对象属性的处理方法、装置、存储介质以及电子装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330396B (zh) * 2017-06-28 2020-05-19 华中科技大学 一种基于多属性和多策略融合学习的行人再识别方法
CN107766850B (zh) * 2017-11-30 2020-12-29 电子科技大学 基于结合人脸属性信息的人脸识别方法
CN108764065B (zh) * 2018-05-04 2020-12-08 华中科技大学 一种行人重识别特征融合辅助学习的方法
CN109063535B (zh) * 2018-05-30 2021-09-28 华侨大学 一种基于联合深度学习的行人再辨识和行人性别分类方法
CN108960184B (zh) * 2018-07-20 2021-08-24 天津师范大学 一种基于异构部件深度神经网络的行人再识别方法
CN109190472B (zh) * 2018-07-28 2021-09-14 天津大学 基于图像与属性联合引导的行人属性识别方法
CN109993072B (zh) * 2019-03-14 2021-05-25 中山大学 基于超分辨图像生成的低分辨率行人重识别系统和方法
CN110046553A (zh) * 2019-03-21 2019-07-23 华中科技大学 一种融合属性特征的行人重识别模型、方法及系统
CN110070010B (zh) * 2019-04-10 2022-06-14 武汉大学 一种基于行人重识别的人脸属性关联方法

Also Published As

Publication number Publication date
CN110516569A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
EP3940591A1 (en) Image generating method, neural network compression method, and related apparatus and device
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
JP6725547B2 (ja) 人工ニューラルネットワークの関連性スコア割当て
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
CN103608826B (zh) 利用网络信息挖掘的视频内产品注释
Workman et al. A unified model for near and remote sensing
CN110516569B (zh) 一种基于身份和非身份属性交互学习的行人属性识别方法
CN108141645A (zh) 具有成对深度排序的视频重点检测
WO2022016556A1 (zh) 一种神经网络蒸馏方法以及装置
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
CN114550053A (zh) 一种交通事故定责方法、装置、计算机设备及存储介质
CN113297936B (zh) 一种基于局部图卷积网络的排球群体行为识别方法
WO2021175278A1 (zh) 一种模型更新方法以及相关装置
CN113761259A (zh) 一种图像处理方法、装置以及计算机设备
CN114360067A (zh) 一种基于深度学习的动态手势识别方法
CN107622071B (zh) 通过间接相关反馈在无查源下的衣服图像检索系统及方法
CN110688512A (zh) 基于ptgan区域差距与深度神经网络的行人图像搜索算法
Li A deep learning-based text detection and recognition approach for natural scenes
Xu et al. Improved SSD-assisted algorithm for surface defect detection of electromagnetic luminescence
CN116958624A (zh) 指定材质的识别方法、装置、设备、介质及程序产品
KR102444172B1 (ko) 영상 빅 데이터의 지능적 마이닝 방법과 처리 시스템
CN114943873A (zh) 一种工地人员异常行为分类方法及装置
CN116861226A (zh) 一种数据处理的方法以及相关装置
CN114170625A (zh) 一种上下文感知、噪声鲁棒的行人搜索方法
Liu et al. Target detection of hyperspectral image based on faster R-CNN with data set adjustment and parameter turning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant