CN113095221B - 一种基于属性特征和身份特征融合的跨域行人重识别方法 - Google Patents

一种基于属性特征和身份特征融合的跨域行人重识别方法 Download PDF

Info

Publication number
CN113095221B
CN113095221B CN202110391644.8A CN202110391644A CN113095221B CN 113095221 B CN113095221 B CN 113095221B CN 202110391644 A CN202110391644 A CN 202110391644A CN 113095221 B CN113095221 B CN 113095221B
Authority
CN
China
Prior art keywords
attribute
features
fusion
module
pedestrian
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110391644.8A
Other languages
English (en)
Other versions
CN113095221A (zh
Inventor
贾召钱
殷光强
李耶
王文超
王治国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110391644.8A priority Critical patent/CN113095221B/zh
Publication of CN113095221A publication Critical patent/CN113095221A/zh
Application granted granted Critical
Publication of CN113095221B publication Critical patent/CN113095221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于属性特征和身份特征融合的跨域行人重识别方法，采用基于属性特征和身份特征融合的跨域行人重识别模型实现，所述基于属性特征和身份特征融合的跨域行人重识别模型设置有卷积及池化层、4个残差模块，在每一个残差模块之后皆插入一个注意力和风格归一化模块，在第3个注意力和风格归一化模块之后引出一条属性分支，所述属性分支包含属性特征提取模块和特征融合模块，所述属性分支的特征提取模块所提取到的属性特征将与第4个所述注意力和风格归一化模块所得域不变全局特征进行融合；利用具有很好泛化能力和鲁棒性的基于属性特征和身份特征融合的跨域行人重识别模型进行行人重识别。

Description

一种基于属性特征和身份特征融合的跨域行人重识别方法
技术领域
本发明涉及计算机视觉领域中的行人重识别技术领域，具体的说，是一种基于属性特征和身份特征融合的跨域行人重识别方法。
背景技术
行人重识别(Person re-identification，简称Re-ID)也称行人再识别，是利用计算机视觉技术在跨设备、时间和地点的条件下判断图像或者视频序列中是否存在特定行人的技术。因其能够对特定人员进行大范围跟踪监控，当前广泛应用于智能监控，智能安保等领域。
针对单一数据集的行人重识别问题，学者已经提出了很多的方法，也取得了很大的进展。然而针对跨域行人重识别，不同数据集往往存在着巨大的风格差异，比如亮度、色调、分辨率，背景，行人服装风格等等，这些差异对模型的泛化能力提出了巨大的考验。然而跨域行人重识别正是实际需求中最需要的，在实际应用中，训练好的模型需要能在不同环境下对行人进行准确重识别。
考虑到行人属性在任何环境下都保持不变，是一种域不变特征，可以作为跨域重识别的重要依据，然而不能仅考虑属性，行人身份特征同样具有辨别性，所以融合行人属性特征和行人身份特征的综合特征可以用于进行跨域重识别。
由于不同数据集往往存在着巨大的风格差异，比如亮度、色调、分辨率，背景，行人服装风格等，这些差异给行人跨域重识别带来了巨大的考验。面对考验，目前有些方法引入行人属性特征作为辅助判断。首先提取行人局部特征，利用全局信息和局部信息相结合的方式去训练神经网络以提升跨域行人重识别的效果。但是这些方法对属性信息的提取和利用都比较简单，没有深入挖掘属性和行人的关系，各属性之间的关系，并且也没能解决跨域泛化能力弱的问题。
发明内容
本发明的目的在于提供一种基于属性特征和身份特征融合的跨域行人重识别方法，利用具有很好泛化能力和鲁棒性的基于属性特征和身份特征融合的跨域行人重识别模型进行行人重识别。
本发明通过下述技术方案实现：一种基于属性特征和身份特征融合的跨域行人重识别方法，采用基于属性特征和身份特征融合的跨域行人重识别模型实现，所述基于属性特征和身份特征融合的跨域行人重识别模型设置有卷积及池化层、4个残差模块，在每一个残差模块之后皆插入一个注意力和风格归一化模块，其中，与卷积及池化层相连接的残差模块定义为第1个残差模块，相应的该处的注意力和风格归一化模块记为第1个注意力和风格归一化模块，后续的残差模块和注意力和风格归一化模块分别顺次计数；在第3个注意力和风格归一化模块之后引出一条属性分支(即AFEF模块)，所述属性分支包含属性特征提取模块和特征融合模块，所述属性分支的特征提取模块所提取到的属性特征将与第4个所述注意力和风格归一化模块所得域不变全局特征进行融合。
进一步的为更好地实现本发明，特别采用下述设置方式：所述跨域行人重识别方法包括下述具体步骤：
1)第3个注意力和风格归一化模块所提取的共用特征进入到属性分支中；
2)在属性分支中，先经过属性特征提取模块提取到属性特征，然后，属性特征将通过属性分支的特征融合模块与第4个所述注意力和风格归一化模块所得域不变全局特征进行融合；
3)经步骤2)后，利用三元组损失函数和交叉熵损失函数对融合后的特征进行约束，使模型学习到行人的域不变特征(行人的域不变特征指融合后的特征)。
进一步的为更好地实现本发明，特别采用下述设置方式：所述属性特征提取模块设置有4个分支，且每一个分支皆设置有与第4个残差模块结构相同的残差模块(stage4)、ASN模块(注意力和风格归一化模块)、全局均匀池化(Pooling)层，所述特征融合模块设置有分类器、softmax函数、属性权重生成模块，且所述步骤2)包括下述具体步骤：
2.1)共用特征进入到属性特征提取模块的残差模块中，通过步长为1或2的一系列卷积层对共用特征进行了下采样和增维，得到大小变为共用特征一半、维度为2048的与属性相关特征；
2.2)步骤2.1)所得的与属性相关特征进入属性特征提取模块的ASN模块，利用实例归一化层对其进行风格归一化并利用注意力机制对其进行关键信息定位，而后经过全局均匀池化层(Pooling层)进行全局均匀池化得到属性特征；
2.3)将步骤2.2)所得属性特征经分类器(Classifier)得到属性预测得分，记4个分支所得4个属性预测得分分别为
Figure GDA0003798641360000031
Figure GDA0003798641360000032
其中，b为批次大小(即一个批次所含图片数)，j1、j2、j3、j4分别为4个分类器的输出维度；
2.4)经步骤2.3)后，通过softmax函数将属性预测得分映射到(0,1)之间，再将所有映射后的属性预测得分拼接在一起作为属性得分融合结果，将属性得分融合结果记为
Figure GDA0003798641360000033
2.5)经步骤2.4)后，将属性得分融合结果通过属性权重生成模块(Confidence)得到对应的属性权重，属性得分融合结果与属性权重相乘得到重加权后的属性融合特征；
2.6)将重加权后的属性融合特征与域不变全局特征(Global Feature)进行拼接得到具有强泛化力和判别力的行人特征。
进一步的为更好地实现本发明，特别采用下述设置方式：所述映射后的属性预测得分通过下述公式实现：
Figure GDA0003798641360000041
Figure GDA0003798641360000042
其中，S代表映射后的属性预测得分，s表示分类器输出的属性预测得分，a表示属性特征，且a∈Rb×j，ai代表a中的第i列,w代表分类器的参数。
进一步的为更好地实现本发明，特别采用下述设置方式：所述属性得分融合结果通过下述公式实现：
Figure GDA0003798641360000043
其中S为属性得分融合结果，Sj为第j个映射后的属性预测得分，b＝P*K为批次大小，P为一个批次中行人的个数，K为每个行人的图片张数，且Sj∈(0,1),j＝1,2…J，J代表属性个数(本技术方案中J为4)。
进一步的为更好地实现本发明，特别采用下述设置方式：所述重加权后的属性融合特征通过下述公式实现：
Figure GDA0003798641360000044
其中，
Figure GDA0003798641360000045
为重加权后的属性融合特征。
进一步的为更好地实现本发明，特别采用下述设置方式：所述属性权重采用属性得分融合结果的离散度计算得到，具体的，所述属性权重通过以下步骤计算得到：
(1)通过公式
Figure GDA0003798641360000046
Figure GDA0003798641360000047
计算属性得分融合结果的离散程度，其中
Figure GDA0003798641360000048
表示第p个身份的行人所有样本的第i个属性得分融合结果，
Figure GDA0003798641360000049
表示计算
Figure GDA00037986413600000410
中第1列元素的标准差，
Figure GDA00037986413600000411
表示计算
Figure GDA00037986413600000412
中第ji列元素的标准差,
Figure GDA00037986413600000413
代表第p个身份的行人的第i个属性的离散程度；
(2)将步骤(1)计算得到的离散程度通过公式
Figure GDA0003798641360000051
得到属性权重；其中
Figure GDA0003798641360000052
Figure GDA0003798641360000053
表示第p个身份的行人的第i个属性的权重，W_attrp为第p个身份的行人的所有属性权重，且
Figure GDA0003798641360000054
Figure GDA0003798641360000055
W_attr为每一个批次中所有身份的行人的属性权重，且
Figure GDA0003798641360000056
Figure GDA0003798641360000057
同一身份的行人的属性显然应是相同的，所以同一身份的行人的属性得分也应该是相似的。属性得分越接近离散程度越小，属性得分越分散离散程度越大。
进一步的为更好地实现本发明，特别采用下述设置方式：所述属性预测得分还将计算交叉熵损失函数并反向传播优化模型参数，使模型学习到具有强判别力的属性特征，且属性预测得分在进行交叉熵函数计算时通过下述公式实现：
Lattr＝-x[y]+log(∑lexp(x[l]))；
其中，x代表某个样本第i个属性的预测得分，且
Figure GDA0003798641360000058
y为该样本第i个属性的真实标签，x[l]是
Figure GDA0003798641360000059
中的元素，∑lexp(x[l])为对x中的所有元素先取指数再求和。
进一步的为更好地实现本发明，特别采用下述设置方式：所述卷积及池化层设置有一个卷积核大小为7*7的卷积层和一个过滤器大小为3*3的池化层。
进一步的为更好地实现本发明，特别采用下述设置方式：所述四个残差模块分别设置有3个、4个、6个、3个相同结构的残差块，且残差块皆由1*1核的卷积层、3*3核的卷积层和1*1核的卷积层所构成。
本发明与现有技术相比，具有以下优点及有益效果：
本发明设置了一条属性分支以提取行人具有细粒度的属性特征，与主干网络提取的域不变全局特征形成互补，显著提高了跨域行人重识别的准确率。
本发明在主干网络和属性分支中均插入了注意力和风格归一化模块，使模型有效地学习到了行人的域不变全局特征和属性特征，提升了行人特征的泛化力和判别力，提高了跨域行人重识别的准确率。
本发明根据属性预测得分计算最优的属性权重，再将重加权后的属性融合特征与全局行人特征(域不变全局特征)进行拼接，既能指导模型对行人属性进行准确分类，还能巧妙地将行人属性特征和全局特征进行融合，从而提高跨域行人重识别准确率。
本发明身份特征的提取和属性特征的提取共用浅层网络(浅层网络指卷积及池化层+前3个残差模块+前3个注意力和风格归一化模块)，一方面，浅层网络的共用使得模型整体复杂度降低；另一方面，浅层网络主要用于提取共有特征，既保证属性和行人身份之间不会过于割裂，又保证他们之间的相互影响不会过大。
附图说明
图1为本发明所述的基于属性特征和身份特征融合的跨域行人重识别模型。
图2为本发明所述的属性特征提取和融合模块。
具体实施方式
下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
专业术语释义：
Classifier：分类器；
ASN(Attention and Style Normalization)模块：注意力和风格归一化模块；
Confidence：属性权重生成模块；
Pooling：全局均匀池化；
Global Feature：域不变全局特征；
Weighted Features：重加权后的属性融合特征；
Attribute Features：属性特征；
Stage：残差模块；
AFEF(Attribute Feature Extraction and Fusion)：属性特征提取和融合模块；
Multiply：相乘
Concatenate：拼接
Attribute Scores：属性得分
Person Features：行人特征
Attribute Feature Extraction Module：属性特征提取模块
Conv+Pooling：卷积层加池化层
Fuse Module：融合模块
Feature Map：特征图
Fused Attribute Scores：属性得分融合结果
Attribute Feature Extraction Module：属性特征提取模块
实施例1：
本发明设计出一种基于属性特征和身份特征融合的跨域行人重识别方法，采用如图1所示的基于属性特征和身份特征融合的跨域行人重识别模型实现，所述基于属性特征和身份特征融合的跨域行人重识别模型设置有由一个7*7核的卷积层和一个3*3核的池化层所构成的卷积及池化层、4个分别设置有3个、4个、6个、3个相同结构的残差块的残差模块，其中，残差块皆由1*1核的卷积层、3*3核的卷积层和1*1核的卷积层所构成。
在每一个残差模块之后皆插入一个注意力和风格归一化模块(ASN模块)，其中，与卷积及池化层相连接的残差模块定义为第1个残差模块，相应的该处的注意力和风格归一化模块记为第1个注意力和风格归一化模块，后续的残差模块和注意力和风格归一化模块分别顺次计数；在第3个注意力和风格归一化模块之后引出一条属性分支(即AFEF模块)，所述属性分支包含属性特征提取模块和特征融合模块，所述属性分支的特征提取模块所提取到的属性特征将与第4个所述注意力和风格归一化模块所得域不变全局特征进行融合。
实施例2：
本实施例是在上述实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述跨域行人重识别方法包括下述具体步骤：
1)第3个注意力和风格归一化模块所提取的共用特征进入到属性分支中；
2)在属性分支中，先经过属性特征提取模块提取到属性特征，然后，属性特征将通过属性分支的特征融合模块与第4个所述注意力和风格归一化模块所得域不变全局特征进行融合；
3)经步骤2)后，利用三元组损失函数和交叉熵损失函数对融合后的特征进行约束，使模型学习到行人的域不变特征(行人的域不变特征指融合后的特征)。
实施例3：
本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述属性特征提取模块设置有4个分支，且每一个分支皆设置有与第4个残差模块结构相同的残差模块(stage4)、ASN模块(注意力和风格归一化模块)、全局均匀池化(Pooling)层，所述特征融合模块设置有分类器(Classifier)、softmax函数及属性权重生成模块(Confidence)，且所述步骤2)包括下述具体步骤：
2.1)共用特征进入到属性特征提取模块的残差模块中，通过步长为1或2的一系列卷积层对共用特征进行了下采样和增维，得到大小变为共用特征一半、维度为2048的与属性相关特征；
2.2)步骤2.1)所得的与属性相关特征进入属性特征提取模块的ASN模块，利用实例归一化层对其进行风格归一化并利用注意力机制对其进行关键信息定位，而后经过全局均匀池化层(Pooling层)进行全局均匀池化得到属性特征；
2.3)将步骤2.2)所得属性特征经分类器(Classifier)得到属性预测得分，记4个分支所得属性预测得分分别为
Figure GDA0003798641360000091
Figure GDA0003798641360000092
其中，b为批次大小(即一个批次所含图片数)，j1、j2、j3、j4分别为4个分类器的输出维度；
2.4)经步骤2.3)后，通过softmax函数将属性预测得分映射到(0,1)之间，再将所有映射后的属性预测得分拼接在一起作为属性得分融合结果，将属性得分融合结果记为
Figure GDA0003798641360000101
2.5)经步骤2.4)后，将属性得分融合结果通过属性权重生成模块(Confidence)得到对应的属性权重，属性得分融合结果与属性权重相乘得到重加权后的属性融合特征；
2.6)将重加权后的属性融合特征与域不变全局特征(Global Feature)进行拼接得到具有强泛化力和判别力的行人特征。
实施例4：
本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述映射后的属性预测得分通过下述公式实现：
Figure GDA0003798641360000102
其中，S代表映射后的属性预测得分，s表示分类器输出的属性预测得分，a表示属性特征，且a∈Rb×j，w代表分类器的参数。
所述属性预测得分还将计算交叉熵损失函数并反向传播优化模型参数，使模型学习到具有强判别力的属性特征，且属性预测得分在进行交叉熵函数计算时通过下述公式实现：
Lattr＝-x[y]+log(∑lexp(x[l]))；
其中，x代表某个样本第i个属性的预测得分，且
Figure GDA0003798641360000103
y为该样本第i个属性的真实标签，x[l]是
Figure GDA0003798641360000104
中的元素，∑lexp(x[l])为对x中的所有元素先取指数再求和。
实施例5：
本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述属性得分融合结果通过下述公式实现：
Figure GDA0003798641360000111
Figure GDA0003798641360000112
其中S为属性得分融合结果，Sj为第j个映射后的属性预测得分，b＝P*K为批次大小，P为一个批次中行人的个数，K为每个行人的图片张数，且Sj∈(0,1),j＝1,2…J，J代表属性个数(本技术方案中J为4)。
实施例6：
本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述重加权后的属性融合特征通过下述公式实现：
Figure GDA0003798641360000113
其中，
Figure GDA0003798641360000114
为重加权后的属性融合特征。
实施例7：
本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，如图1、图2所示，进一步的为更好地实现本发明，特别采用下述设置方式：所述属性权重采用属性得分融合结果的离散度计算得到；具体的，所述属性权重通过以下步骤计算得到：
(1)通过公式
Figure GDA0003798641360000115
Figure GDA0003798641360000116
计算属性得分融合结果的离散程度，其中
Figure GDA0003798641360000117
表示第p个身份的行人所有样本的第i个属性得分融合结果，
Figure GDA0003798641360000118
表示计算
Figure GDA0003798641360000119
中第1列元素的标准差，
Figure GDA00037986413600001110
表示计算
Figure GDA00037986413600001111
中第ji列元素的标准差,
Figure GDA00037986413600001112
代表第p个身份的行人的第i个属性的离散程度；
(2)将步骤(1)计算得到的离散程度通过公式
Figure GDA00037986413600001113
得到属性权重；其中
Figure GDA00037986413600001114
Figure GDA0003798641360000121
表示第p个身份的行人的第i个属性的权重，W_attrp为第p个身份的行人的所有属性权重，且
Figure GDA0003798641360000122
Figure GDA0003798641360000123
W_attr为每一个批次中所有身份的行人的属性权重，且
Figure GDA0003798641360000124
Figure GDA0003798641360000125
同一身份的行人的属性显然应是相同的，所以同一身份的行人的属性得分也应该是相似的。属性得分越接近离散程度越小，属性得分越分散离散程度越大。
实施例8：
本实施例的目的是获得一个有很好泛化能力和判别能力的模型，将该模型在有标签的源域上进行训练，期望将训练好的模型直接应用于未知的目标域数据集也能达到很好的行人重识别效果。
为此设计出基于属性特征和身份特征融合的跨域行人重识别模型，该跨域行人重识别模型设置有：
由一个7*7核的卷积层和一个3*3核的池化层所构成的卷积及池化层；
4个分别设置有3个、4个、6个、3个相同结构的残差块的残差模块(stag1、stage2、stage3、stage4)，且残差块皆由1*1核的卷积层、3*3核的卷积层和1*1核的卷积层所构成；
在每一个残差模块之后皆插入一个注意力和风格归一化模块(ASN模块)，其中，与卷积及池化层相连接的残差模块定义为第1个残差模块，相应的该处的注意力和风格归一化模块记为第1个注意力和风格归一化模块，后续的残差模块和注意力和风格归一化模块分别顺次计数；在第3个注意力和风格归一化模块之后设置一个属性分支(用于提取属性特征，例如上身衣服颜色、下身衣服颜色等)该属性分支在本文中又称为属性特征提取和融合模块(AFEF)，其一方面用于提取属性特征，另一方面用于融合属性特征和第4个所述注意力和风格归一化模块所得域不变全局特征。
如表1所示为各残差模块的详细结构。
表1
Figure GDA0003798641360000131
本发明在每个stage后面添加注意力和风格归一化模块(ASN模块)，在最后的ASN模块输出域不变全局特征(Global Features)。属性分支从主干网络stage3的ASN模块后面引出，经过属性特征提取模块后，得到属性特征(Attribute Features)。然后在特征融合模块中利用离散度重加权方法融合域不变全局特征(Global Features)和属性特征(Attribute Features)，得到行人最终的特征。其中，主干网络主要由卷积及池化层，4个分别设置有3个、4个、6个、3个相同结构的残差块的残差模块(stag1、stage2、stage3、stage4)及4个ASN模块所构成。
在本发明中，属性分支关注的是属性域不变信息，主干网络关注的是全局域不变信息，因此将二者进行融合可有效地借助更多的信息进行重识别。结合图1、图2所示，一种基于属性特征和身份特征融合的跨域行人重识别方法，包括下述步骤：
1)将第3个注意力和风格归一化模块所提取的共用特征引入到属性分支中；
2)共用特征进入到属性特征提取模块的残差模块中，通过步长为1或2的一系列卷积层对共用特征进行了下采样和增维，得到大小变为共用特征一半、维度为2048的与属性相关特征；
3)步骤2.1)所得的与属性相关特征进入属性特征提取模块的ASN模块，利用实例归一化层对其进行风格归一化并利用注意力机制对其进行关键信息定位，而后经过全局均匀池化层(Pooling层)进行全局均匀池化得到属性特征；
4)将步骤3)所得属性特征经分类器(Classifier)通过s＝liner(a)＝waT得到属性预测得分，其中，s表示输出的属性预测得分，a表示属性特征，且a∈Rb×J，w代表分类器的参数，s∈Rb*j，其中，b为批次大小(即一个批次所含图片数)，j代表分类器的输出维度；
所述属性预测得分还将计算交叉熵损失函数并反向传播优化模型参数，使模型学习到具有强判别力的属性特征，且属性预测得分在进行交叉熵函数计算时通过下述公式实现：
Lattr＝-x[y]+log(∑lexp(x[l]))；
其中，x代表某个样本第i个属性的预测得分，且
Figure GDA0003798641360000141
y为该样本第i个属性的真实标签，x[l]是
Figure GDA0003798641360000142
中的元素，∑lexp(x[l])为对x中的所有元素先取指数再求和；
5)经步骤4)后，通过softmax函数将属性预测得分映射到(0,1)之间，得到映射后的属性预测得分，使其满足概率学性质，再将所有映射后的属性预测得分拼接在一起作为属性得分融合结果，将属性得分融合结果记为
Figure GDA0003798641360000151
Figure GDA0003798641360000152
其中S为属性得分融合结果，Sj为第j个映射后的属性预测得分，b＝P*K为批次大小，P为一个批次中行人的个数，K为每个行人的图片张数，且Sj∈(0,1),j＝1,2…4；
6)经步骤5)后，将属性得分融合结果通过属性权重生成模块(Confidence)得到对应的属性权重，属性得分融合结果与属性权重相乘得到重加权后的属性融合特征
Figure GDA0003798641360000153
所述属性权重采用属性得分融合结果的离散度计算得到；具体的，所述属性权重通过以下步骤计算得到：
(1)通过公式
Figure GDA0003798641360000154
Figure GDA0003798641360000155
计算属性得分融合结果的离散程度，其中
Figure GDA0003798641360000156
表示第p个身份的行人所有样本的第i个属性得分融合结果，
Figure GDA0003798641360000157
表示计算
Figure GDA0003798641360000158
中第1列元素的标准差，
Figure GDA0003798641360000159
表示计算
Figure GDA00037986413600001510
中第ji列元素的标准差,
Figure GDA00037986413600001511
代表第p个身份的行人的第i个属性的离散程度；
(2)将步骤(1)计算得到的离散程度通过公式
Figure GDA00037986413600001512
得到属性权重；其中
Figure GDA00037986413600001513
Figure GDA00037986413600001514
表示第p个身份的行人的第i个属性的权重，W_attrp为第p个身份的行人的所有属性权重，且
Figure GDA00037986413600001515
Figure GDA00037986413600001516
W_attr为每一个批次中所有身份的行人的属性权重，且
Figure GDA00037986413600001517
Figure GDA00037986413600001518
同一身份的行人的属性显然应是相同的，所以同一身份的行人的属性得分也应该是相似的。属性得分越接近离散程度越小，属性得分越分散离散程度越大；
7)将重加权后的属性融合特征与域不变全局特征(Global Feature)进行拼接融合得到具有强泛化力和判别力的行人特征；
8)经步骤7)后，利用三元组损失函数和交叉熵损失函数对融合后的特征进行约束，使模型学习到行人的域不变特征(行人的域不变特征指步骤7)所得特征)。
在属性特征提取和融合模块中加入注意力和风格归一化模块，能够使得属性特征具有很好的跨域泛化能力，以便能够提取到具有跨域不变性质的属性特征。
ASN是一个基于IN和注意力机制的用于提取域不变特征的模块。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (8)

1.一种基于属性特征和身份特征融合的跨域行人重识别方法，采用基于属性特征和身份特征融合的跨域行人重识别模型实现，所述基于属性特征和身份特征融合的跨域行人重识别模型设置有卷积及池化层、4个残差模块，其特征在于：在每一个残差模块之后皆插入一个注意力和风格归一化模块，在第3个注意力和风格归一化模块之后引出一条属性分支，与卷积及池化层相连接的残差模块为第1个残差模块，所述属性分支包含属性特征提取模块和特征融合模块；所述属性特征提取模块设置有4个分支，且每一个分支皆设置有与第4个残差模块结构相同的残差模块、注意力和风格归一化模块、全局均匀池化层，所述特征融合模块设置有分类器、softmax函数、属性权重生成模块；
所述跨域行人重识别方法包括下述具体步骤：
1)第3个注意力和风格归一化模块所提取的共用特征进入到属性分支中；
2)在属性分支中，先经过属性特征提取模块提取到属性特征，然后，属性特征将通过属性分支的特征融合模块与第4个所述注意力和风格归一化模块所得域不变全局特征进行融合，具体包括下述步骤：
2.1)共用特征进入到属性特征提取模块的残差模块中，通过卷积层对共用特征进行了下采样和增维，得到与属性相关特征；
2.2)步骤2.1)所得的与属性相关特征进入属性特征提取模块的注意力和风格归一化模块，利用实例归一化层对其进行风格归一化并利用注意力机制对其进行关键信息定位，而后经过全局均匀池化层进行全局均匀池化得到属性特征；
2.3)将步骤2.2)所得属性特征经分类器得到属性预测得分；
2.4)经步骤2.3)后，通过softmax函数将属性预测得分映射到(0,1)之间，再将所有映射后的属性预测得分拼接在一起作为属性得分融合结果；
2.5)经步骤2.4)后，将属性得分融合结果通过属性权重生成模块得到对应的属性权重，属性得分融合结果与属性权重相乘得到重加权后的属性融合特征；
2.6)将重加权后的属性融合特征与域不变全局特征进行拼接得到具有强泛化力和判别力的行人特征；
3)经步骤2)后，利用三元组损失函数和交叉熵损失函数对融合后的特征进行约束，使模型学习到行人的域不变特征。
2.根据权利要求1所述的一种基于属性特征和身份特征融合的跨域行人重识别方法，其特征在于：所述映射后的属性预测得分通过下述公式实现：
Figure FDA0003798641350000021
其中，S代表映射后的属性预测得分，s表示分类器输出的属性预测得分，a表示属性特征，且a∈Rb×j，ai代表a中的第i列,w代表分类器的参数。
3.根据权利要求1或2所述的一种基于属性特征和身份特征融合的跨域行人重识别方法，其特征在于：所述属性得分融合结果通过下述公式实现：
Figure FDA0003798641350000022
其中S为属性得分融合结果，Sj为第j个映射后的属性预测得分，b＝P*K为批次大小，P为一个批次中行人的个数，K为每个行人的图片张数，且Sj∈(0,1)j＝1,2…J，J代表属性个数。
4.根据权利要求3所述的一种基于属性特征和身份特征融合的跨域行人重识别方法，其特征在于：所述属性权重通过以下步骤计算得到：
(1)通过公式
Figure FDA0003798641350000023
Figure FDA0003798641350000024
计算属性得分融合结果的离散程度，其中
Figure FDA0003798641350000025
表示第p个身份的行人所有样本的第i个属性得分融合结果，
Figure FDA0003798641350000026
表示计算
Figure FDA0003798641350000027
中第1列元素的标准差，
Figure FDA0003798641350000028
表示计算
Figure FDA0003798641350000029
中第ji列元素的标准差,
Figure FDA00037986413500000210
代表第p个身份的行人的第i个属性的离散程度；
(2)将步骤(1)计算得到的离散程度通过公式
Figure FDA0003798641350000031
Figure FDA0003798641350000032
得到属性权重；其中
Figure FDA0003798641350000033
表示第p个身份的行人的第i个属性的权重，W_attrp为第p个身份的行人的所有属性权重，且
Figure FDA0003798641350000034
W_attr为每一个批次中所有身份的行人的属性权重，且
Figure FDA0003798641350000035
5.根据权利要求4所述的一种基于属性特征和身份特征融合的跨域行人重识别方法，其特征在于：所述重加权后的属性融合特征通过下述公式实现：
Figure FDA0003798641350000036
其中，
Figure FDA0003798641350000037
为重加权后的属性融合特征。
6.根据权利要求1或2所述的一种基于属性特征和身份特征融合的跨域行人重识别方法，其特征在于：所述属性预测得分还将计算交叉熵损失函数并反向传播优化模型参数，使模型学习到具有强判别力的属性特征，且属性预测得分在进行交叉熵函数计算时通过下述公式实现：
Lattr＝-x[y]+log(∑lexp(x[l]))；
其中，x代表某个样本第i个属性的预测得分，且
Figure FDA0003798641350000038
y为该样本第i个属性的真实标签，x[l]是
Figure FDA0003798641350000039
中的元素，∑lexp(x[l])为对x中的所有元素先取指数再求和。
7.根据权利要求1～2任一项所述的一种基于属性特征和身份特征融合的跨域行人重识别方法，其特征在于：所述卷积及池化层设置有一个卷积核大小为7*7的卷积层和一个过滤器大小为3*3的池化层。
8.根据权利要求1～2任一项所述的一种基于属性特征和身份特征融合的跨域行人重识别方法，其特征在于：所述4个残差模块分别设置有3个、4个、6个、3个相同结构的残差块，且残差块皆由1*1核的卷积层、3*3核的卷积层和1*1核的卷积层所构成。
CN202110391644.8A 2021-04-13 2021-04-13 一种基于属性特征和身份特征融合的跨域行人重识别方法 Active CN113095221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110391644.8A CN113095221B (zh) 2021-04-13 2021-04-13 一种基于属性特征和身份特征融合的跨域行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110391644.8A CN113095221B (zh) 2021-04-13 2021-04-13 一种基于属性特征和身份特征融合的跨域行人重识别方法

Publications (2)

Publication Number Publication Date
CN113095221A CN113095221A (zh) 2021-07-09
CN113095221B true CN113095221B (zh) 2022-10-18

Family

ID=76676400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110391644.8A Active CN113095221B (zh) 2021-04-13 2021-04-13 一种基于属性特征和身份特征融合的跨域行人重识别方法

Country Status (1)

Country Link
CN (1) CN113095221B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898736A (zh) * 2020-07-23 2020-11-06 武汉大学 基于属性感知的高效行人重识别方法
CN112464730A (zh) * 2020-11-03 2021-03-09 南京理工大学 一种基于域无关前景特征学习的行人再识别方法
CN112528788A (zh) * 2020-12-01 2021-03-19 重庆兆光科技股份有限公司 一种基于域不变特征和时空特征的重识别方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10425436B2 (en) * 2016-09-04 2019-09-24 Palo Alto Networks (Israel Analytics) Ltd. Identifying bulletproof autonomous systems
US11631015B2 (en) * 2019-09-10 2023-04-18 Bombora, Inc. Machine learning techniques for internet protocol address to domain name resolution systems
CN111881714B (zh) * 2020-05-22 2023-11-21 北京交通大学 一种无监督跨域行人再识别方法
CN111368815B (zh) * 2020-05-28 2020-09-04 之江实验室 一种基于多部件自注意力机制的行人重识别方法
CN112069920B (zh) * 2020-08-18 2022-03-15 武汉大学 基于属性特征驱动聚类的跨域行人重识别方法
CN112069940B (zh) * 2020-08-24 2022-09-13 武汉大学 一种基于分阶段特征学习的跨域行人重识别方法
CN112036322B (zh) * 2020-09-01 2022-12-06 清华大学 多任务网络跨域行人重识别模型构建方法、系统及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898736A (zh) * 2020-07-23 2020-11-06 武汉大学 基于属性感知的高效行人重识别方法
CN112464730A (zh) * 2020-11-03 2021-03-09 南京理工大学 一种基于域无关前景特征学习的行人再识别方法
CN112528788A (zh) * 2020-12-01 2021-03-19 重庆兆光科技股份有限公司 一种基于域不变特征和时空特征的重识别方法

Also Published As

Publication number Publication date
CN113095221A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN110751208B (zh) 一种基于自权重差分编码器进行多模态特征融合的服刑人员情感识别方法
CN111539255B (zh) 基于多模态图像风格转换的跨模态行人重识别方法
Gao et al. The labeled multiple canonical correlation analysis for information fusion
CN111582044A (zh) 基于卷积神经网络和注意力模型的人脸识别方法
CN111414862A (zh) 基于神经网络融合关键点角度变化的表情识别方法
CN102737633A (zh) 一种基于张量子空间分析的说话人识别方法及其装置
CN109977258A (zh) 图像和语音的跨模态检索分类器模型、检索系统和检索方法
CN115131638B (zh) 视觉文本预训练模型的训练方法、装置、介质和设备
CN114662497A (zh) 一种基于协同神经网络的虚假新闻检测方法
Yousaf et al. A robust and efficient convolutional deep learning framework for age‐invariant face recognition
CN114022726A (zh) 一种基于胶囊网络的人员车辆监控方法及系统
CN114170411A (zh) 一种融合多尺度信息的图片情感识别方法
CN113449676B (zh) 一种基于双路互促进解纠缠学习的行人重识别方法
CN110874576A (zh) 一种基于典型相关分析融合特征的行人再识别方法
Youme et al. Generalization of bangla sign language recognition using angular loss functions
CN114626454A (zh) 一种融合自监督学习和注意力机制的视觉情感识别方法
Liu et al. Discriminative Feature Representation Based on Cascaded Attention Network with Adversarial Joint Loss for Speech Emotion Recognition.
CN113095221B (zh) 一种基于属性特征和身份特征融合的跨域行人重识别方法
CN110909678B (zh) 一种基于宽度学习网络特征提取的人脸识别方法及系统
CN116434759A (zh) 一种基于srs-cl网络的说话人识别方法
CN116229580A (zh) 一种基于多粒度金字塔交叉网络的行人重识别方法
Zhang et al. Knowledge Distillation from Multi-Modality to Single-Modality for Person Verification}}
CN115965819A (zh) 一种基于Transformer结构的轻量化害虫识别方法
Fondje et al. Learning domain and pose invariance for thermal-to-visible face recognition
CN115795394A (zh) 层级多模态和高级增量学习的生物特征融合身份识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant