CN115171148A - 一种基于特定模态特征补偿的跨模态行人重识别方法 - Google Patents

一种基于特定模态特征补偿的跨模态行人重识别方法 Download PDF

Info

Publication number
CN115171148A
CN115171148A CN202210401883.1A CN202210401883A CN115171148A CN 115171148 A CN115171148 A CN 115171148A CN 202210401883 A CN202210401883 A CN 202210401883A CN 115171148 A CN115171148 A CN 115171148A
Authority
CN
China
Prior art keywords
pedestrian
image
infrared
visible light
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210401883.1A
Other languages
English (en)
Inventor
张强
刘迦南
黄年昌
刘健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202210401883.1A priority Critical patent/CN115171148A/zh
Publication of CN115171148A publication Critical patent/CN115171148A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于特定模态特征补偿的跨模态行人重识别方法，收集可见光行人图像作为可见光域训练图像，收集红外行人图像作为红外域训练图像；利用生成对抗网络将可见光域和红外域的行人图像进行风格转换，生成跨模态的配对行人图像；获取配对行人图像间的融合特征作为行人图像的表示特征用于行人重识别。本发明结合多模态图像风格转换网络和行人重识别，将一种模态的原始图像特征和其对应生成另一种模态图像特征融合作为行人图像特征；通过计算行人图像特征的欧式距离，根据欧式距离得到不同行人图像匹配的结果。本发明改善了生成图像的质量和配对图像融合特征的判别力，极大地提高了跨模态行人重识别任务的精度。

Description

一种基于特定模态特征补偿的跨模态行人重识别方法
技术领域
本发明属于图像处理、模式识别技术领域，特别涉及一种基于特定模态特征补偿的跨模态行人重识别方法。
背景技术
行人重识别技术能够在不同相机的视野下找到相同身份的目标行人。随着智慧城市、安全城市的建立，视频监控广泛普及，行人重识别技术广泛应用于智能视频监控、安保、刑侦等领域，是当前计算机视觉领域的一项热门的研究课题。现有的行人重识别技术主要集中在可见光下的行人重识别，但可见光相机在黑暗情况下无法捕获有效的行人信息，因此许多新型摄像头在夜间会自动转换为红外摄像头从而捕获有效的行人信息。在这种情况下，跨模态行人重识别技术被提出，旨在通过匹配不同相机下的可见光图像和红外图像寻找同一身份的行人，实现跨模态行人重识别。
跨模态行人重识别不仅受到光照变化、行人姿态变化、拍摄视角变化和外界遮挡等因素的影响，导致同一行人在不同镜头下存在较大的外观差异。此外，由于成像原理的不同，可见光图像和红外图像存在严重的模态差异。因此，消除模态差异是跨模态行人重识别面临的重要挑战。
现有消除模态差异的方法主要是基于共享模态特征学习的方法。即使用共享网络提取可见光图像和红外图像的模态无关特征来进行跨模态行人匹配。然而，特定模态信息对于行人重识别有重要的价值，仅仅使用模态无关特征却忽略了特定模态信息，这会限制行人特征的表征能力从而阻碍跨模态行人重识别的性能。
发明内容
为了克服上述现有技术的缺点，本发明的目的在于提供一种基于特定模态特征补偿的跨模态行人重识别方法，以解决跨模态行人重识别精度不高的问题。
为了实现上述目的，本发明采用的技术方案是：
一种基于特定模态特征补偿的跨模态行人重识别方法，包括：
收集可见光行人图像作为可见光域训练图像，收集红外行人图像作为红外域训练图像；
利用生成对抗网络将可见光域和红外域的行人图像进行风格转换，生成跨模态的配对行人图像；
获取配对行人图像间的融合特征作为行人图像的表示特征用于行人重识别。
在一个实施例中，所述风格转换通过基于风格转换的生成网络和判别网络实现，包括：
可见光域的行人图像输入生成网络，输出其对应的红外域的行人图像；
红外域的行人图像输入生成网络，输出其对应的可见光域的行人图像。
与现有技术相比，本发明的有益效果是：
本分明提供了一种基于特定模态特征补偿的跨模态行人重识别方法，采用多模态图像风格转换的生成对抗网络实现可见光图像和红外图像的风格转换，从而生成高质量的图像；构建基于注意力机制的配对图像特征融合方法可以使得网络关注到不同模态配对图像间的互补信息和冗余信息用于改善行人重识别的性能；构建联合约束策略可以获得更加鲁棒且具有判别力的融合特征，进一步提高跨模态行人重识别的精度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明公开的一种基于特定模态特征补偿的跨模态行人重识别方法的流程图；
图2为本发明提出的一种基于特定模态特征补偿的跨模态行人重识别方法的算法网络框图，其中，上半部分虚线框内为风格转换子网络，下半部分虚线框内为行人重识别子网络；
图3为本发明提出的配对图像特征融合框架示意图；
图4为本发明提出的联合约束策略框架示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。
下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。
本发明为一种基于特定模态特征补偿的跨模态行人重识别方法，利用生成对抗网络将两种域下的行人图像进行风格转换，生成跨模态的配对行人图像，并且利用配对图像间的融合特征提升跨模态行人重识别的性能；并基于注意力机制的配对图像融合方法和联合约束策略，增强融合特征的判别力，进一步提升跨模态行人重识别性能。
如图1所示，本发明具体包括如下步骤：
(1)对跨模态行人重识别数据集进行收集和预处理，得到训练样本，其中，可见光行人图像作为可见光域训练图像，红外行人图像作为红外域训练图像；
本实施例中，对可见光和红外图片做相同的预处理操作：将输入图像每边添加宽度为l，值为0的像素点，使用随机裁剪的方式得到相同的图片尺寸，并且随机水平翻转图片。在本实施例中，l的取值为10，得到图片尺寸为288*144。
为了消除颜色信息的影响，可以对可见光行人图像做灰度化处理。
(2)构建基于风格转换的生成网络和判别网络，该模型利用生成对抗思想，可以实现可见光域的行人图像和红外域的行人图像之间的风格转换，以生成跨模态的配对行人图像。
本发明的风格转换是指：
可见光域的行人图像输入生成网络，输出其对应的红外域的行人图像；
红外域的行人图像输入生成网络，输出其对应的可见光域的行人图像。
也即，原始图像为可见光行人图像时，红外行人图像为生成图像；原始图像为红外行人图像时，可见光行人图像为生成图像。
本实施例中，如图2的上半部分所示，生成网络和判别网络包括一个可见光到红外的风格转换分支BG2I和一个红外到可见光的风格转换分支BI2G，每一个分支包括一个生成器和判别器，满足：
Figure BDA0003600544410000041
Figure BDA0003600544410000042
Figure BDA0003600544410000043
其中，XG为可见光行人图像，XI为红外行人图像；
Figure BDA0003600544410000044
表示红外行人图像与生成红外行人图像之间的对抗损失函数；
Figure BDA0003600544410000045
表示可见光行人图像与生成可见光行人图像之间的对抗损失函数；
DI*(XI)表示判别器对真实红外行人图像的判别结果；
DG*(XG)表示判别器对真实可见光行人图像的判别结果；
GG2I表示生成器将可见光行人图像作为输入进而获得新的红外行人图像；
GI2G表示生成器将红外行人图像作为输入进而获得新的可见光行人图像；
DI*[GG2I(XG)]表示判别器对生成红外行人图像的判别结果；
DG*[GI2G(XI)]表示判别器对生成可见光行人图像的判别结果；
LGAN表示
Figure BDA0003600544410000046
和
Figure BDA0003600544410000047
的对抗损失之和；
生成网络和判别网络使用如下损失函数来训练：
Lrecons＝||XG-GI2G(XG)||1+||XI-GG2I(XI)||1
Lcyc＝||XG-GI2G[GG2I(XG)]||1+||XI-GG2I[GI2G(XI)]||1
Figure BDA0003600544410000051
其中，Lrecons是定义可见光行人图像或红外行人图像与生成的可见光行人图像GI2G(XG)或红外行人图像GG2I(XI)之间的重构损失函数；
Lcyc是定义可见光行人图像或红外行人图像与生成的可见光行人图像GI2G[GG2I(XG)]或GG2I[GI2G(XI)]之间的循环一致损失函数；
Figure BDA0003600544410000052
和
Figure BDA0003600544410000053
分别表示可见光行人图像和红外行人图像的身份损失函数，LID表示
Figure BDA0003600544410000054
和
Figure BDA0003600544410000055
的身份损失之和；
Figure BDA0003600544410000056
和
Figure BDA0003600544410000057
分别使用交叉熵损失函数作为可见光行人图像和红外行人图像的身份损失函数，其中，
Figure BDA0003600544410000058
和
Figure BDA0003600544410000059
分别是可见光行人图像和红外行人图像的预测得分，y是真实的行人身份标签；
||·||1表示L1范数；
基于风格转换的生成网络和判别网络的目标函数为：
L1＝LID+λ1Lrecons+λ2Lcyc+λ3Lgan
其中，L1表示基于风格转换的生成网络和判别网络的目标函数；
λ1、λ2和λ3为加权系数。
(3)构建基于注意力机制的配对图像特征融合方法，获取配对行人图像间的融合特征，也即原始图像特征和生成图像特征的融合特征，作为行人图像的表示特征用于行人重识别
本实施例中，如图3所示，基于注意力机制的配对图像特征融合方法包括如下步骤：
(31)使用四个独立ResNet50提取到四种不同类型的特征FV、FI*、FI和FG*，分别表示可见光行人图像特征、生成红外行人图像特征、红外行人图像特征和生成可见光行人图像特征，本实施例仅使用ResNet50的前四个卷积块；
(32)使用可见光行人图像的模态补偿为例，即，当原始图像为可见光行人图像时，FV和FI*首先经过两个通道注意力模块；
EFV＝CAM(FV)＝wSV*FV，EFI*＝CAM(FI*)＝wSI**FI*
wSV＝σ(GAP(FV)+GMP(FV))
(33)对上述得到的EFV和EFI*分别经过两个卷积块后接着经过两个通道注意力模块；
CFV＝ConvB(EFV,θ1)，CFI*＝ConvB(EFI*,θ2)
FSV＝CAM(CFV)，FSI*＝CAM(CFI*)
(34)对FSV和FSI*求平均操作得到最终的行人图像融合特征；
FVI*＝Mean(FSV,FSI*)＝(FSV+FSI*)/2
其中，EFV和EFI*表示增强后的可见光行人图像特征和生成红外行人图像特征；
CAM(·)表示通道注意力模块，w(·)表示通道权重图，GAP(·)和GMP(·)分别表示全局平均池化和全局最大池化；
CFV和CFI*表示卷积后的可见光行人图像特征和生成红外行人图像特征；
FSV和FSI*表示最终增强的可见光行人图像特征和生成红外行人图像特征；
FVI*表示可见光行人图像和生成红外行人图像的融合特征；
当原始图像为可见光行人图像时，将FV和FI*替换为FI和FG*，执行步骤(32)～(34)，得到最终增强的红外行人图像特征FSI和生成可见光行人图像特征FSG*以及红外行人图像和生成可见光行人图像的行人融合特征FIG*。
(4)构建联合约束策略，使用损失函数联合约束原始图像特征、生成图像特征和配对行人图像间的融合特征，进一步提高融合特征的鲁棒性和判别力，得到训练好的基于特定模态特征补偿的跨模态行人重识别网络；
本实施例中，如图4所示，构建联合约束策略包括如下步骤：
(51)如图2下半部分和图4所示，通过跨模态行人重识别网络，最终得到六种不同类型的特征FSV，FSI，FSI*，FSG*，FVI*和FIG*；
(52)以FVI*和FIG*为例，首先对两组特征分别做分块操作，得到P1块，
Figure BDA0003600544410000071
和
Figure BDA0003600544410000072
(53)对每一个特征块
Figure BDA0003600544410000073
和
Figure BDA0003600544410000074
使用全局平均池化操作得到全局特征向量，然后送入全连接层得到行人特征
Figure BDA0003600544410000075
和
Figure BDA0003600544410000076
Figure BDA0003600544410000077
Figure BDA0003600544410000078
Figure BDA0003600544410000079
Figure BDA00036005444100000710
(54)最后，将每一个行人的特征块送入行人身份分类器预测每个行人的身份；
Figure BDA00036005444100000711
Figure BDA00036005444100000712
具体地，可通过计算行人图像特征的欧式距离，根据欧式距离得到不同行人图像匹配的结果。
(55)联合约束策略使用如下损失函数来训练：
ξID(Pid,Pgt)＝-Pgt log(Pid)
Figure BDA00036005444100000713
Figure BDA00036005444100000714
Figure BDA00036005444100000715
L2＝Lid+λ4Lhc
其中，
Figure BDA0003600544410000081
表示分块后的可见光行人图像和生成红外行人图像的融合特征，
Figure BDA0003600544410000082
表示分块后的红外行人图像和生成可见光行人图像的融合特征；
Part(·)表示分块策略，GAP(·)表示全局平均池化操作，FC(·)表示全连接层；
Figure BDA0003600544410000083
和
Figure BDA0003600544410000084
分别表示预测的行人身份得分；
Pid和Pgt分别表示预测的行人身份得分和行人真实身份；
M表示M张可见光行人图像，其对应特征为Fvisible，N表示N张红外行人图像，其对应特征为Finfrared；
cvisible和cinfrared分别表示可见光行人图像和红外行人图像的特征分布中心；
Fvisible,m和Finfrared,n分别表示第m张可见图像的特征和第n张红外行人图像的特征；
||·||2表示L2范数；
Lid表示行人身份损失函数；
Lhc表示度量损失函数；
λ4表示加权系数；
L2表示联合约束策略训练行人重识别网络；
(5)验证提出的基于特定模态特征补偿的跨模态行人重识别方法的有效性，采用公开的数据集对训练好的跨模态行人重识别网络进行测试并得到相应结果。
本实施例中，为了验证提出的行人重识别方法的有效性，采用在公开数据集SYSU-MM01和RegDB进行指标性能评价。
以下结合仿真实验，对本发明的技术效果作进一步说明：
1、仿真条件：所有仿真实验均在操作系统为Ubuntu 16.04.5，硬件环境为GPUNvidia GeForce GTX 2080Ti，采用PyTorch深度学习框架实现；
2、仿真内容及结果分析：
将本发明与现有的基于共享模态特征学习的跨模态行人重识别方法在公共的两个跨模态行人重识别数据集SYSU-MM01和RegDB上进行实验得到的结果，采用公认的评价指标进行客观评价，评价仿真结果如表1和表2所示：
表1在SYSU-MM01数据集上的实验结果
Figure BDA0003600544410000091
表2在RegDB数据集上的实验结果
Figure BDA0003600544410000092
Figure BDA0003600544410000101
表3在SYSU-MM01数据集上的实验结果
Methods Rank-1 Rank-10 Rank-20 mAP
Baseline 48.03 88.74 95.12 46.83
Baseline+PwIF 57.00 92.17 97.41 54.51
Baseline+PwIF+IAI 64.23 95.19 98.73 61.21
其中：
Rank-1，Rank-10，Rank-20和mAP分别表示Top-1行人图像识别准确率，Top-10行人图像识别准确率，Top-20行人图像识别准确率和平均检索精度；
All-Search表示全景模式下的行人重识别，包括室内室外相机场景；
Indoor-Search表示室内模式下的行人重识别；
Single-shot表示展示图像库中每个行人身份只选择一张图像；
Baseline，Baseline+PwIF和Baseline+PwIF+IAI分别表示基础网络，基础网络加上配对图像特征融合方法和基础网络加上配对图像融合方法和联合约束策略。
Rank-1，Rank-10，Rank-20和mAP均为越高越好。从表1和表2中可以看出在两个公开数据集上，本发明在各个指标上达到最优，对跨模态行人重识别性能提升显著。从表3中可以看出本发明配对图像特征融合方法和联合约束策略共同改善了跨模态行人重识别任务的精度，进一步提升了基础网络的性能，充分表明了本发明方法的有效性和优越性。
上面对本发明的实施方式做了详细说明。但是本发明并不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，包括：
收集可见光行人图像作为可见光域训练图像，收集红外行人图像作为红外域训练图像；
利用生成对抗网络将可见光域和红外域的行人图像进行风格转换，生成跨模态的配对行人图像；
获取配对行人图像间的融合特征作为行人图像的表示特征用于行人重识别。
2.根据权利要求1所述基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，对可见光和红外图片做相同的预处理操作：将输入图像每边添加宽度为l，值为0的像素点，并使用随机裁剪的方式得到相同的图片尺寸，之后随机水平翻转图片。
3.根据权利要求2所述基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，所述预处理操作还包括：对可见光图像做灰度化处理。
4.根据权利要求1所述基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，所述风格转换通过基于风格转换的生成网络和判别网络实现，包括：
可见光域的行人图像输入生成网络，输出其对应的红外域的行人图像；
红外域的行人图像输入生成网络，输出其对应的可见光域的行人图像。
5.根据权利要求4所述基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，所述生成网络和判别网络采用生成对抗思想，包括一个可见光域到红外域的风格转换分支BG2I和一个红外域到可见光域的风格转换分支BI2G，每个分支包括一个生成器和一个判别器，满足：
Figure FDA0003600544400000011
Figure FDA0003600544400000021
Figure FDA0003600544400000022
其中，XG为可见光行人图像，XI为红外行人图像；
Figure FDA0003600544400000023
表示红外行人图像与生成红外行人图像之间的对抗损失函数；
Figure FDA0003600544400000024
表示可见光行人图像与生成可见光行人图像之间的对抗损失函数；
Figure FDA00036005444000000217
表示判别器对真实红外行人图像的判别结果；
Figure FDA00036005444000000216
表示判别器对真实可见光行人图像的判别结果；
GG2I表示生成器将可见光行人图像作为输入进而获得新的红外行人图像；
GI2G表示生成器将红外行人图像作为输入进而获得新的可见光行人图像；
Figure FDA00036005444000000218
表示判别器对生成红外行人图像的判别结果；
Figure FDA00036005444000000219
表示判别器对生成可见光行人图像的判别结果；
LGAN表示
Figure FDA0003600544400000025
和
Figure FDA0003600544400000026
的对抗损失之和；
生成网络和判别网络使用如下损失函数来训练：
Lrecons||XG-GI2G(XG)||1+||XI-GG2I(XI)||1
Lcyc＝||XG-GI2G[GG2I(XG)]||1+||XI-GG2I[GI2G(XI)]||1
Figure FDA0003600544400000027
其中，Lrecons是定义可见光行人图像或红外行人图像与生成的可见光行人图像GI2G(XG)或红外行人图像GG2I(XI)之间的重构损失函数；
Lcyc是定义可见光行人图像或红外行人图像与生成的可见光行人图像GI2G[GG2I(XG)]或GG2I[GI2G(XI)]之间的循环一致损失函数；
Figure FDA0003600544400000028
和
Figure FDA0003600544400000029
分别表示可见光行人图像和红外行人图像的身份损失函数，LID表示
Figure FDA00036005444000000210
和
Figure FDA00036005444000000211
的身份损失之和；
Figure FDA00036005444000000212
和
Figure FDA00036005444000000213
分别使用交叉熵损失函数作为可见光行人图像和红外行人图像的身份损失函数，其中，
Figure FDA00036005444000000214
和
Figure FDA00036005444000000215
分别是可见光行人图像和红外行人图像的预测得分，y是真实的行人身份标签；
||·||1表示L1范数；
基于风格转换的生成网络和判别网络的目标函数L1为：
L1＝LID+λ1Lrecons+λ2Lcyc+λ3Lgan
其中，λ1、λ2和λ3为加权系数。
6.根据权利要求5所述基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，生成的跨模态的配对行人图像为
Figure FDA0003600544400000031
和
Figure FDA0003600544400000032
其中，
Figure FDA0003600544400000033
表示可见光行人图像和其对应生成的红外行人图像，
Figure FDA0003600544400000034
表示红外行人图像和其对应生成的可见光行人图像。
7.根据权利要求5所述基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，所述融合特征为原始图像和生成图像的融合特征，通过基于注意力机制的配对图像特征融合方法获取，方法如下：
(1)使用四个独立ResNet50提取到四种不同类型的特征FV、
Figure FDA0003600544400000036
FI和
Figure FDA0003600544400000035
分别表示可见光行人图像特征、生成红外行人图像特征、红外行人图像特征和生成可见光行人图像特征；所述原始图像为可见光行人图像或红外行人图像，所述生成图像为红外行人图像或可见光行人图像；
(2)当原始图像为可见光行人图像时，FV和
Figure FDA0003600544400000037
首先经过两个通道注意力模块；
EFV＝CAM(FV)＝wSV*FV，
Figure FDA0003600544400000038
wSV＝σ(GAP(FV)+GMP(FV))
(3)EFV和
Figure FDA0003600544400000039
分别经过两个卷积块后接着经过两个通道注意力模块；
CFV＝ConvB(EFV,θ1)，
Figure FDA00036005444000000310
FSV＝CAM(CFV)，
Figure FDA00036005444000000311
(4)对FSV和
Figure FDA00036005444000000312
求平均操作得到最终的行人图像融合特征；
Figure FDA00036005444000000313
其中，EFV和
Figure FDA00036005444000000314
表示增强后的可见光行人图像特征和生成红外行人图像特征；
CAM(·)表示通道注意力模块，w(·)表示通道权重图，GAP(·)和GMP(·)分别表示全局平均池化和全局最大池化；
CFV和
Figure FDA00036005444000000411
表示卷积后的可见光行人图像特征和生成红外行人图像特征；
FSV和
Figure FDA00036005444000000412
表示最终增强的可见光行人图像特征和生成红外行人图像特征；
Figure FDA00036005444000000413
表示可见光行人图像和生成红外行人图像的融合特征；
当原始图像为可见光行人图像时，将FV和
Figure FDA00036005444000000414
替换为FI和
Figure FDA00036005444000000415
执行步骤(2)～(4)，得到最终增强的红外行人图像特征FSI和生成可见光行人图像特征
Figure FDA00036005444000000416
以及红外行人图像和生成可见光行人图像的行人融合特征
Figure FDA00036005444000000417
8.根据权利要求7所述基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，构建联合约束策略，使用损失函数联合约束原始图像特征、生成图像特征和配对行人图像间的融合特征，提高融合特征的鲁棒性和判别力，得到训练好的基于特定模态特征补偿的跨模态行人重识别网络。
9.根据权利要求8所述基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，所述构建联合约束策略包括如下步骤：
(1)通过跨模态行人重识别网络，得到FSV，FSI，
Figure FDA00036005444000000418
和
Figure FDA00036005444000000419
(2)对于
Figure FDA00036005444000000420
和
Figure FDA00036005444000000421
首先分别对其做分块操作，得到P1块，
Figure FDA0003600544400000041
和
Figure FDA0003600544400000042
(3)对每一个特征块
Figure FDA0003600544400000043
和
Figure FDA0003600544400000044
使用全局平均池化操作得到全局特征向量，然后送入全连接层得到行人特征
Figure FDA0003600544400000045
和
Figure FDA0003600544400000046
其中p1＝1,...,P1；
Figure FDA0003600544400000047
Figure FDA0003600544400000048
Figure FDA0003600544400000049
Figure FDA00036005444000000410
(4)最后，将每个行人的特征块送入行人身份分类器预测每个行人的身份；
Figure FDA0003600544400000051
Figure FDA0003600544400000052
(5)联合约束策略使用如下损失函数来训练：
ξID(Pid,Pgt)＝-Pgtlog(Pid)
Figure FDA0003600544400000053
Figure FDA0003600544400000054
Figure FDA0003600544400000055
L2＝Lid+λ4Lhc
其中，
Figure FDA0003600544400000056
表示分块后的可见光行人图像和生成红外行人图像的融合特征，
Figure FDA0003600544400000057
表示分块后的红外行人图像和生成可见光行人图像的融合特征；
Part(·)表示分块策略，GAP(·)表示全局平均池化操作，FC(·)表示全连接层；
Figure FDA0003600544400000058
和
Figure FDA0003600544400000059
分别表示预测的行人身份得分；
Pid和Pgt分别表示预测的行人身份得分和行人真实身份；
M表示M张可见光行人图像，其对应特征为Fvisible，N表示N张红外行人图像，其对应特征为Finfrared；
cvisible和cinfrared分别表示可见光行人图像和红外行人图像的特征分布中心；
Fvisible,m和Finfrared,n分别表示第m张可见图像的特征和第n张红外行人图像的特征；
||·||2表示L2范数；
Lid表示行人身份损失函数；
Lhc表示度量损失函数；
λ4表示加权系数；
L2表示联合约束策略训练行人重识别网络。
10.根据权利要求1所述基于特定模态特征补偿的跨模态行人重识别方法，其特征在于，采用公开的数据集对训练好的跨模态行人重识别网络进行测试并得到相应结果。
CN202210401883.1A 2022-04-18 2022-04-18 一种基于特定模态特征补偿的跨模态行人重识别方法 Pending CN115171148A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210401883.1A CN115171148A (zh) 2022-04-18 2022-04-18 一种基于特定模态特征补偿的跨模态行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210401883.1A CN115171148A (zh) 2022-04-18 2022-04-18 一种基于特定模态特征补偿的跨模态行人重识别方法

Publications (1)

Publication Number Publication Date
CN115171148A true CN115171148A (zh) 2022-10-11

Family

ID=83482684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210401883.1A Pending CN115171148A (zh) 2022-04-18 2022-04-18 一种基于特定模态特征补偿的跨模态行人重识别方法

Country Status (1)

Country Link
CN (1) CN115171148A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578246A (zh) * 2022-10-28 2023-01-06 电子科技大学 基于风格迁移的非对齐可见光和红外模态融合目标检测方法
CN117422963A (zh) * 2023-09-11 2024-01-19 南通大学 基于高维度特征映射和特征聚合的跨模态地点识别方法
CN117746467A (zh) * 2024-01-05 2024-03-22 南京信息工程大学 一种模态增强和补偿的跨模态行人重识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578246A (zh) * 2022-10-28 2023-01-06 电子科技大学 基于风格迁移的非对齐可见光和红外模态融合目标检测方法
CN115578246B (zh) * 2022-10-28 2023-08-04 电子科技大学 基于风格迁移的非对齐可见光和红外模态融合目标检测方法
CN117422963A (zh) * 2023-09-11 2024-01-19 南通大学 基于高维度特征映射和特征聚合的跨模态地点识别方法
CN117746467A (zh) * 2024-01-05 2024-03-22 南京信息工程大学 一种模态增强和补偿的跨模态行人重识别方法
CN117746467B (zh) * 2024-01-05 2024-05-28 南京信息工程大学 一种模态增强和补偿的跨模态行人重识别方法

Similar Documents

Publication Publication Date Title
Zhong et al. Grayscale enhancement colorization network for visible-infrared person re-identification
CN109508663B (zh) 一种基于多层次监督网络的行人重识别方法
CN115171148A (zh) 一种基于特定模态特征补偿的跨模态行人重识别方法
CN110598654B (zh) 多粒度交叉模态特征融合行人再识别方法和再识别系统
Peng et al. A novel apex-time network for cross-dataset micro-expression recognition
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN110598543B (zh) 基于属性挖掘和推理的模型训练方法及行人再识别方法
CN109190475B (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN111539351B (zh) 一种多任务级联的人脸选帧比对方法
Li et al. Face anti-spoofing with deep neural network distillation
CN110334622B (zh) 基于自适应特征金字塔的行人检索方法
CN112668557A (zh) 一种行人再识别系统中防御图像噪声攻击的方法
Zhu et al. Towards automatic wild animal detection in low quality camera-trap images using two-channeled perceiving residual pyramid networks
CN113269099B (zh) 基于图匹配的异构无人系统下车辆重新识别方法
Miao et al. Abnormal behavior learning based on edge computing toward a crowd monitoring system
Nanda et al. Soft computing techniques-based digital video forensics for fraud medical anomaly detection
Raghavendra et al. A novel image fusion scheme for robust multiple face recognition with light-field camera
He et al. Dynamic residual distillation network for face anti-spoofing with feature attention learning
CN116383791A (zh) 一种客户身份认证方法、装置、电子设备及介质
CN116311026A (zh) 基于多层级信息融合Transformer的教室场景身份识别方法
Huda et al. Effects of pre-processing on the performance of transfer learning based person detection in thermal images
CN114913607A (zh) 一种基于多特征融合的指静脉仿冒检测方法
CN114038041A (zh) 一种基于残差神经网络和注意力机制的微表情识别方法
Li et al. Intelligent terminal face spoofing detection algorithm based on deep belief network
Huang et al. Dual fusion paired environmental background and face region for face anti-spoofing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination