CN111597876A - 一种基于困难五元组的跨模态行人重识别方法 - Google Patents

一种基于困难五元组的跨模态行人重识别方法 Download PDF

Info

Publication number
CN111597876A
CN111597876A CN202010250662.XA CN202010250662A CN111597876A CN 111597876 A CN111597876 A CN 111597876A CN 202010250662 A CN202010250662 A CN 202010250662A CN 111597876 A CN111597876 A CN 111597876A
Authority
CN
China
Prior art keywords
difficult
loss
pedestrian
training
modal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010250662.XA
Other languages
English (en)
Inventor
赵云波
林建武
唐敏
李灏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010250662.XA priority Critical patent/CN111597876A/zh
Publication of CN111597876A publication Critical patent/CN111597876A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

基于困难五元组的跨模态行人重识别方法，首先构建跨模态行人重识别模型，使用卷积神经网络提取图像特征，嵌入特征连接身份损失和排序损失，用单模态行人重识别数据集进行预训练；然后对训练批次图像进行选取，使用已有的单模态行人重识别网络进行行人特征提取，根据输入图像的特征向量构建困难五元组，困难五元组损失函数联合身份损失函数进行训练。最终在跨模态行人重识别数据集SYUS‑MM01上实现优越的精度。本发明将单一模态行人重识别迁移至跨模态行人重识别任务中，可扩展性、便利性高；收敛速度快、精度高。

Description

一种基于困难五元组的跨模态行人重识别方法
技术领域
本发明涉及跨模态行人重识别领域，具体涉及一种训练跨模态行人重识别卷积神经网络的方法。
背景技术
行人重识别(Re-ID)是一种在视野不相交的多源监控摄像头中识别出此前出现过的行人的技术。行人重识别属于图像检索领域，可以应用在追踪逃犯、寻找丢失儿童的智能监控系统中。由于行人重识别重要的应用价值，行人重识别成为计算机视觉领域的研究热点。典型的行人重识别只使用RGB相机，即在RGB相机中识别一个此前在RGB相机中出现过的人，我们称之为RGB-RGB Re-ID。
然而，在很多场景中RGB相机和红外相机都会被使用。RGB相机在黑暗环境中不能拍摄到清晰的图像，通常红外相机替代RGB相机在黑暗环境中拍摄。因此，发展跨RGB模态和红外模态的行人重识别(RGB-IR Re-ID)的方法是有必要的。RGB-IR Re-ID是在RGB相机中识别一个此前在红外(IR)相机中出现过的人，或者在红外(IR)相机中识别一个此前在RGB相机中出现过的人的技术。
RGB-IR Re-ID的挑战主要体现在模态间和模态内的差异。首先，模态间的差异指行人图像在不同模态间巨大的变化。由于RGB相机和红外相机成像原理的不同，RGB图像拥有丰富的颜色和纹理信息，而红外图像是缺少颜色和一部分纹理信息的灰度图，因此RGB图像和红外图像可以视为异质数据。其次，模态内的差异指一个人在相同模态内也有很大的变化，相机视角、相机分辨率、光照和行人姿势的不同导致了模态内的差异。
面对上述挑战，现有RGB-IR Re-ID方法的精度都不高。
发明内容
本发明要克服现有技术的上述缺点，提出一种基于困难五元组的跨模态行人重识别方法，旨在获得一个更具判别性的特征描述子。
本发明解决其技术问题所采用的技术方案是：
一种基于困难五元组的跨模态行人重识别方法，含有以下步骤：
步骤1.构建跨模态行人重识别模型：预训练行人重识别卷积神经网络，重构行人重识别卷积神经网络；
步骤11：预训练行人重识别卷积神经网络；
训练MGN、BFE、Res-Mid、PCB、MLFN五种卷积神经网络；对于每种卷积神经网络，在RGB-RGB行人重识别的Market-1501数据集上进行预训练；使用困难三元组损失函数和身份损失函数来训练网络；
步骤12：重构行人重识别卷积神经网络：
改造现有的单模态行人重识别卷积神经网络，使其在跨模态行人重识别数据集(SYSU-MM01数据集)上适用，使用在单模态行人重识别数据集上表现优异的卷积神经网络模型作为本发明中的特征提取模块；
典型的单模态行人重识别卷积神经网络中，图像经过CNN模块得到特征图，特征图转成一维向量后添加一层全连接层(FC-1)，FC-1的输出表示该图像的特征向量；为了使该特征向量具有表征性，使用排序损失(Ranking loss)和身份损失(Identity loss)进行约束；
步骤2.选取困难五元组集和：选取训练批次图像，提取特征向量，选取困难五元组集和；
步骤21：选取训练批次图像；
设计一种针对跨模态行人重识别的训练批次选择方案；具体地，每个训练批次(Batch)中，在训练集中随机选择P个不同身份的行人，每个行人随机选择K张红外图片和K张RGB图片，一个Batch共计2PK张图片；
步骤22：提取特征向量；
采用卷积神经网络做为特征提取模块，由于卷积神经网络在图像领域强大的特征提取能力，能够从图像中提取具有表征性的特征向量；2PK张图片经过该模块，得到了2PK个特征向量；
步骤23：选取困难五元组集和；
对步骤22中得到的2PK个特征向量进行困难采样，得到困难五元组集和
Figure BDA0002435364290000031
遍历每一张图片，为每一张图片采样一组困难五元组，i∈[1,2PK]；具体地，将第i张图片作为锚点
Figure BDA0002435364290000032
在该训练批次中，选取
Figure BDA0002435364290000033
作为最难全局负样本，即与锚点身份不同的同模态图像或跨模态图像，并且该图像与锚点的欧式距离最小；选取
Figure BDA0002435364290000034
作为最难全局正样本，即与锚点身份相同的同模态图像或跨模态图像，并且该图像与锚点的欧式距离最大；选取
Figure BDA0002435364290000035
作为最难跨模态负样本，即与锚点身份不同的跨模态图像，并且该图像与锚点的欧式距离最小；选取
Figure BDA0002435364290000036
作为最难跨模态正样本，即与锚点身份相同的跨模态图像，并且该图像与锚点的欧式距离最大；遍历2PK中的每一张图像，即将每一张图像作为锚点进行困难五元组采样，将得到2PK个困难五元组
Figure BDA0002435364290000037
步骤3.训练跨模态行人重识别模型：困难五元组损失训练网络，身份损失训练网络；
步骤31：困难五元组损失训练网络：
根据步骤23中得到的困难五元组集和
Figure BDA0002435364290000038
设计一种困难五元组损失函数(hardpentaplet loss)，该损失函数由两部分组成：困难全局三元组损失函数和困难跨模态三元组损失函数；
将两张图片xi和xj的欧式距离记为d(xi,xj)＝||f(xi)-f(xj)||2，其中f(xi)和f(xj)分别代表图片xi和xj的特征向量；
为了减小行人图像在欧式空间的类内距离，并增大类间距离；设计困难全局三元组损失函数，记为：
Figure BDA0002435364290000041
其中，[z]+＝max(z,0)，
Figure BDA0002435364290000042
表示锚点与最难正样本间的欧式距离(欧式距离最大)，
Figure BDA0002435364290000043
表示锚点与最难负样本间的欧式距离(欧式距离最小)，α是一个超参数，保证训练后的锚点与负样本间的距离大于与正样本间的距离，并保持α的冗余度；
在跨模态行人重识别中，模态间的变化往往大于模态内的变化，设计困难跨模态三元组损失函数，记为：
Figure BDA0002435364290000044
其中，
Figure BDA0002435364290000045
表示锚点与最难跨模态正样本间的欧式距离(欧式距离最大)，
Figure BDA0002435364290000046
表示锚点与最难跨模态负样本间的欧式距离(欧式距离最小)；当a≥K时，A＝{1,2,...,K}，否则，A＝{K+1,K+2,...,2K}；其余符号与公式1含义一致；该损失函数有助于减小模态间的变化；
困难五元组损失函数为困难全局三元组与困难跨模态三元组损失函数之和：
Lhp＝Lhgt+Lhct (3)
经过困难五元组损失函数的训练后，锚点与正样本间的距离减小，与负样本间的距离拉大；此外，该损失函数额外地关注模态间的变化，有助于减小不同模态相同身份行人在欧式空间中的距离；
步骤32：身份损失训练网络：
使用身份损失(Identity loss)来减小类内变化；将不同模态内的相同身份的行人视作为同一类，并用softmax loss表示：
Figure BDA0002435364290000051
其中，f为FC-2的输出向量，j∈[1,H]，fj表示FC-2输出向量中第j个元素；yi是输入图像xi的标签，
Figure BDA0002435364290000052
指xi在输出向量中的得分。
优选地，步骤11所述的在RGB-RGB行人重识别的Market-1501数据集上进行预训练，具体包括：在Market-1501数据集上训练180个epoch，batch size设置为64，学习率设置为0.0003，困难三元组损失的冗余度参数设置为0.9；
步骤12所述的使用排序损失(Ranking loss)和身份损失(Identity loss)进行约束，具体包括：Ranking loss采用度量学习的思想，来减少类内距离和类间距离，所述的Ranking loss是困难五元组损失(hardpentaplet loss)；Identity loss采用交叉熵损失，将每个身份的行人作为一类，来减小类内距离，FC-2是全连接层，其神经元个数为训练集中行人身份的个数，根据SYSU-MM01训练集中的行人身份数量，将FC-2的神经元个数设置为395。
与现有技术相比，本发明技术方案的优点有：
(1)本发明提供一种端对端的跨模态行人重识别训练框架，将单一模态行人重识别迁移至跨模态行人重识别任务中，可扩展性、便利性高；
(2)本发明利用困难五元组损失和身份损失训练卷积神经网络，收敛速度快、精度高。
附图说明
图1是现有行人重识别网络结构示意图。
图2是本发明的HPILN框架示意图。
图3是本发明的困难五元组损失示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图1-3和实施例对本发明作进一步的详细描述。
实施例1：
一种基于困难五元组的跨模态行人重识别方法，含有以下步骤：
(1)构建跨模态行人重识别模型
步骤11：预训练行人重识别卷积神经网络；
本发明训练了MGN、BFE、Res-Mid、PCB、MLFN五种卷积神经网络。对于每种卷积神经网络，在RGB-RGB行人重识别的Market-1501数据集上进行预训练。使用困难三元组损失函数和身份损失函数来训练网络，在Market-1501数据集上训练180个epoch，batch size设置为64，学习率设置为0.0003，困难三元组损失的冗余度参数设置为0.9。
步骤12：重构行人重识别卷积神经网络：
本发明改造现有的单模态行人重识别卷积神经网络，使其在跨模态行人重识别数据集(SYSU-MM01数据集)上适用，使用在单模态行人重识别数据集上表现优异的卷积神经网络模型作为本发明中的特征提取模块。
典型的单模态行人重识别卷积神经网络如图1所示，图像经过CNN模块得到特征图，特征图转成一维向量后添加一层全连接层(FC-1)，FC-1的输出表示该图像的特征向量。为了使该特征向量具有表征性，我们使用排序损失(Ranking loss)和身份损失(Identityloss)进行约束。具体地，Ranking loss采用度量学习的思想，来减少类内距离和类间距离，常见的Ranking loss有三元组损失、对比损失等，本发明设计一种新的Ranking loss：困难五元组损失(hardpentaplet loss)；Identity loss通常采用交叉熵损失，将每个身份的行人作为一类，来减小类内距离，FC-2是全连接层，其神经元个数为训练集中行人身份的个数，根据SYSU-MM01训练集中的行人身份数量，我们将FC-2的神经元个数设置为395。
(2)选取困难五元组集和
步骤21：选取训练批次图像；
本发明设计一种针对跨模态行人重识别的训练批次选择方案。具体地，每个训练批次(Batch)中，在训练集中随机选择P个不同身份的行人，每个行人随机选择K张红外图片和K张RGB图片。一个Batch共计2PK张图片，如图2中“input images”模块所示。
步骤22：提取特征向量；
如图2中”Feature Extractor”模块所示，我们采用卷积神经网络做为特征提取模块，对应图1中的CNN模块。由于卷积神经网络在图像领域强大的特征提取能力，能够从图像中提取具有表征性的特征向量。2PK张图片经过该模块，得到了2PK个特征向量。
步骤23：选取困难五元组集和；
我们对步骤22中得到的2PK个特征向量进行困难采样，得到困难五元组集和
Figure BDA0002435364290000071
我们遍历每一张图片，为每一张图片采样一组困难五元组，因此i∈[1,2PK]。具体地，我们将第i张图片作为锚点
Figure BDA0002435364290000072
在该训练批次中，选取
Figure BDA0002435364290000073
作为最难全局负样本，即与锚点身份不同的同模态图像或跨模态图像，并且该图像与锚点的欧式距离最小；选取
Figure BDA0002435364290000074
作为最难全局正样本，即与锚点身份相同的同模态图像或跨模态图像，并且该图像与锚点的欧式距离最大；选取
Figure BDA0002435364290000075
作为最难跨模态负样本，即与锚点身份不同的跨模态图像，并且该图像与锚点的欧式距离最小；选取
Figure BDA0002435364290000081
作为最难跨模态正样本，即与锚点身份相同的跨模态图像，并且该图像与锚点的欧式距离最大；遍历2PK中的每一张图像，即将每一张图像作为锚点进行困难五元组采样，我们将得到2PK个困难五元组
Figure BDA0002435364290000082
如图2中的“Feature Embedding”模块所示。
(3)训练跨模态行人重识别模型：
步骤31：困难五元组损失训练网络：
根据步骤23中得到的困难五元组集和
Figure BDA0002435364290000083
本发明设计了一种困难五元组损失函数(hardpentapletloss)，该损失函数由两部分组成：困难全局三元组损失函数和困难跨模态三元组损失函数。
我们将两张图片xi和xj的欧式距离记为d(xi,xj)＝||f(xi)-f(xj)||2，其中f(xi)和f(xj)分别代表图片xi和xj的特征向量。
为了减小行人图像在欧式空间的类内距离，并增大类间距离。我们设计了困难全局三元组损失函数，记为：
Figure BDA0002435364290000084
其中，[z]+＝max(z,0)，
Figure BDA0002435364290000085
表示锚点与最难正样本间的欧式距离(欧式距离最大)，
Figure BDA0002435364290000086
表示锚点与最难负样本间的欧式距离(欧式距离最小)，α是一个超参数，保证训练后的锚点与负样本间的距离大于与正样本间的距离，并保持α的冗余度。
在跨模态行人重识别中，模态间的变化往往大于模态内的变化。对此，我们设计了困难跨模态三元组损失函数，记为：
Figure BDA0002435364290000087
其中，
Figure BDA0002435364290000091
表示锚点与最难跨模态正样本间的欧式距离(欧式距离最大)，
Figure BDA0002435364290000092
表示锚点与最难跨模态负样本间的欧式距离(欧式距离最小)。当a≥K时，A＝{1,2,...,K}，否则，A＝{K+1,K+2,...,2K}。其余符号与公式1含义一致。该损失函数有助于减小模态间的变化。
困难五元组损失函数为困难全局三元组与困难跨模态三元组损失函数之和：
Lhp＝Lhgt+Lhct (3)
如图3所示，经过困难五元组损失函数的训练后，锚点与正样本间的距离减小，与负样本间的距离拉大。此外，该损失函数额外地关注模态间的变化，有助于减小不同模态相同身份行人在欧式空间中的距离。
步骤32：身份损失训练网络：
本发明使用身份损失(Identityloss)来减小类内变化。我们将不同模态内的相同身份的行人视作为同一类，并用softmax loss表示：
Figure BDA0002435364290000093
其中，f为FC-2的输出向量，j∈[1,H]，fj表示FC-2输出向量中第j个元素。yi是输入图像xi的标签，
Figure BDA0002435364290000094
指xi在输出向量中的得分。
实施例2：
(1)跨模态行人重识别的实验结果
我们使用困难五元组损失函数和身份损失函数联合训练网络，我们将联合损失称为HPI loss。如图2所示，我们将该框架称为HPILN框架。我们分别使用MGN、BFE、Res-Mid、PCB、MLFN作为HPILN框架中的CNN模块，在SYSU-MM01数据集上测试了它们的性能，四种实验设置下的结果如下：
表1 All-search Single-shot实验结果
Figure BDA0002435364290000101
表2 All-search Multi-shot实验结果
Figure BDA0002435364290000102
表3 Indoor-search Single-shot实验结果
Figure BDA0002435364290000103
表4 Indoor-search Multi-shot实验结果
Figure BDA0002435364290000104
Figure BDA0002435364290000111
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种基于困难五元组的跨模态行人重识别方法，含有以下步骤：
(1)构建跨模态行人重识别模型；
步骤11：预训练行人重识别卷积神经网络；
训练MGN、BFE、Res-Mid、PCB、MLFN五种卷积神经网络；对于每种卷积神经网络，在RGB-RGB行人重识别的Market-1501数据集上进行预训练；使用困难三元组损失函数和身份损失函数来训练网络；
步骤12：重构行人重识别卷积神经网络：
改造现有的单模态行人重识别卷积神经网络，使其在跨模态行人重识别数据集(SYSU-MM01数据集)上适用，使用在单模态行人重识别数据集上表现优异的卷积神经网络模型作为本发明中的特征提取模块；
典型的单模态行人重识别卷积神经网络中，图像经过CNN模块得到特征图，特征图转成一维向量后添加一层全连接层(FC-1)，FC-1的输出表示该图像的特征向量；为了使该特征向量具有表征性，使用排序损失(Ranking loss)和身份损失(Identity loss)进行约束；
(2)选取困难五元组集和；
步骤21：选取训练批次图像；
设计一种针对跨模态行人重识别的训练批次选择方案；具体地，每个训练批次(Batch)中，在训练集中随机选择P个不同身份的行人，每个行人随机选择K张红外图片和K张RGB图片，一个Batch共计2PK张图片；
步骤22：提取特征向量；
采用卷积神经网络做为特征提取模块，由于卷积神经网络在图像领域强大的特征提取能力，能够从图像中提取具有表征性的特征向量；2PK张图片经过该模块，得到了2PK个特征向量；
步骤23：选取困难五元组集和；
对步骤22中得到的2PK个特征向量进行困难采样，得到困难五元组集和
Figure FDA0002435364280000021
遍历每一张图片，为每一张图片采样一组困难五元组，i∈[1,2PK]；具体地，将第i张图片作为锚点
Figure FDA0002435364280000022
在该训练批次中，选取
Figure FDA0002435364280000023
作为最难全局负样本，即与锚点身份不同的同模态图像或跨模态图像，并且该图像与锚点的欧式距离最小；选取
Figure FDA0002435364280000024
作为最难全局正样本，即与锚点身份相同的同模态图像或跨模态图像，并且该图像与锚点的欧式距离最大；选取
Figure FDA0002435364280000025
作为最难跨模态负样本，即与锚点身份不同的跨模态图像，并且该图像与锚点的欧式距离最小；选取
Figure FDA0002435364280000026
作为最难跨模态正样本，即与锚点身份相同的跨模态图像，并且该图像与锚点的欧式距离最大；遍历2PK中的每一张图像，即将每一张图像作为锚点进行困难五元组采样，将得到2PK个困难五元组
Figure FDA0002435364280000027
(3)训练跨模态行人重识别模型：
步骤31：困难五元组损失训练网络：
根据步骤23中得到的困难五元组集和
Figure FDA0002435364280000028
设计一种困难五元组损失函数(hard pentaplet loss)，该损失函数由两部分组成：困难全局三元组损失函数和困难跨模态三元组损失函数；
将两张图片xi和xj的欧式距离记为d(xi,xj)＝||f(xi)-f(xj)||2，其中f(xi)和f(xj)分别代表图片xi和xj的特征向量；
为了减小行人图像在欧式空间的类内距离，并增大类间距离；设计困难全局三元组损失函数，记为：
Figure FDA0002435364280000029
其中，[z]+＝max(z,0)，
Figure FDA0002435364280000031
表示锚点与最难正样本间的欧式距离(欧式距离最大)，
Figure FDA0002435364280000032
表示锚点与最难负样本间的欧式距离(欧式距离最小)，α是一个超参数，保证训练后的锚点与负样本间的距离大于与正样本间的距离，并保持α的冗余度；
在跨模态行人重识别中，模态间的变化往往大于模态内的变化，设计困难跨模态三元组损失函数，记为：
Figure FDA0002435364280000033
其中，
Figure FDA0002435364280000034
表示锚点与最难跨模态正样本间的欧式距离(欧式距离最大)，
Figure FDA0002435364280000035
表示锚点与最难跨模态负样本间的欧式距离(欧式距离最小)；当a≥K时，A＝{1,2,...,K}，否则，A＝{K+1,K+2,...,2K}；其余符号与公式1含义一致；该损失函数有助于减小模态间的变化；
困难五元组损失函数为困难全局三元组与困难跨模态三元组损失函数之和：
Lhp＝Lhgt+Lhct (3)
经过困难五元组损失函数的训练后，锚点与正样本间的距离减小，与负样本间的距离拉大；此外，该损失函数额外地关注模态间的变化，有助于减小不同模态相同身份行人在欧式空间中的距离；
步骤32：身份损失训练网络：
使用身份损失(Identity loss)来减小类内变化；将不同模态内的相同身份的行人视作为同一类，并用softmax loss表示：
Figure FDA0002435364280000036
其中，f为FC-2的输出向量，j∈[1,H]，fj表示FC-2输出向量中第j个元素；yi是输入图像xi的标签，
Figure FDA0002435364280000037
指xi在输出向量中的得分。
2.如权利要求1所述的一种基于困难五元组的跨模态行人重识别方法，其特征在于：步骤11所述的在RGB-RGB行人重识别的Market-1501数据集上进行预训练，具体包括：在Market-1501数据集上训练180个epoch，batch size设置为64，学习率设置为0.0003，困难三元组损失的冗余度参数设置为0.9；
步骤12所述的使用排序损失(Ranking loss)和身份损失(Identity loss)进行约束，具体包括：Ranking loss采用度量学习的思想，来减少类内距离和类间距离，所述的Ranking loss是困难五元组损失(hard pentaplet loss)；Identity loss采用交叉熵损失，将每个身份的行人作为一类，来减小类内距离，FC-2是全连接层，其神经元个数为训练集中行人身份的个数，根据SYSU-MM01训练集中的行人身份数量，将FC-2的神经元个数设置为395。
CN202010250662.XA 2020-04-01 2020-04-01 一种基于困难五元组的跨模态行人重识别方法 Pending CN111597876A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010250662.XA CN111597876A (zh) 2020-04-01 2020-04-01 一种基于困难五元组的跨模态行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010250662.XA CN111597876A (zh) 2020-04-01 2020-04-01 一种基于困难五元组的跨模态行人重识别方法

Publications (1)

Publication Number Publication Date
CN111597876A true CN111597876A (zh) 2020-08-28

Family

ID=72185536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010250662.XA Pending CN111597876A (zh) 2020-04-01 2020-04-01 一种基于困难五元组的跨模态行人重识别方法

Country Status (1)

Country Link
CN (1) CN111597876A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257553A (zh) * 2020-10-20 2021-01-22 大连理工大学 一种基于循环矩阵的行人重识别方法
CN112434654A (zh) * 2020-12-07 2021-03-02 安徽大学 一种基于对称卷积神经网络的跨模态行人重识别方法
CN112507853A (zh) * 2020-12-02 2021-03-16 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN112668544A (zh) * 2021-01-13 2021-04-16 昆明理工大学 一种基于难样本混淆增强特征鲁棒性的行人重识别方法
CN112686228A (zh) * 2021-03-12 2021-04-20 深圳市安软科技股份有限公司 行人属性识别方法、装置、电子设备及存储介质
CN112766217A (zh) * 2021-01-30 2021-05-07 上海工程技术大学 基于解纠缠和特征级差异学习的跨模态行人重识别方法
CN113723236A (zh) * 2021-08-17 2021-11-30 广东工业大学 一种结合局部阈值二值化图像的跨模态行人重识别方法
CN114067356A (zh) * 2021-10-21 2022-02-18 电子科技大学 基于联合局部引导与属性聚类的行人重识别方法
CN114495281A (zh) * 2022-02-10 2022-05-13 南京邮电大学 一种基于整体和部分约束的跨模态行人重识别方法
CN114724090A (zh) * 2022-05-23 2022-07-08 北京百度网讯科技有限公司 行人再识别模型的训练方法、行人再识别方法及装置
CN114821629A (zh) * 2021-01-27 2022-07-29 天津大学 一种基于神经网络并行训练架构进行交叉图像特征融合的行人重识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
AU2018100321A4 (en) * 2018-03-15 2018-04-26 Chen, Jinghan Mr Person ReID method based on metric learning with hard mining
CN108875487A (zh) * 2017-09-29 2018-11-23 北京旷视科技有限公司 行人重识别网络的训练及基于其的行人重识别
CN109214271A (zh) * 2018-07-17 2019-01-15 北京迈格威科技有限公司 用于重识别的损失函数确定的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875487A (zh) * 2017-09-29 2018-11-23 北京旷视科技有限公司 行人重识别网络的训练及基于其的行人重识别
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
AU2018100321A4 (en) * 2018-03-15 2018-04-26 Chen, Jinghan Mr Person ReID method based on metric learning with hard mining
CN109214271A (zh) * 2018-07-17 2019-01-15 北京迈格威科技有限公司 用于重识别的损失函数确定的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUN-BO ZHAO: ""HPILN: a feature learning framework for cross-modality person re-identification"" *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257553A (zh) * 2020-10-20 2021-01-22 大连理工大学 一种基于循环矩阵的行人重识别方法
CN112507853A (zh) * 2020-12-02 2021-03-16 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN112507853B (zh) * 2020-12-02 2024-05-14 西北工业大学 一种基于互注意力机制的跨模态行人重识别方法
CN112434654A (zh) * 2020-12-07 2021-03-02 安徽大学 一种基于对称卷积神经网络的跨模态行人重识别方法
CN112434654B (zh) * 2020-12-07 2022-09-13 安徽大学 一种基于对称卷积神经网络的跨模态行人重识别方法
CN112668544A (zh) * 2021-01-13 2021-04-16 昆明理工大学 一种基于难样本混淆增强特征鲁棒性的行人重识别方法
CN112668544B (zh) * 2021-01-13 2022-03-22 昆明理工大学 一种基于难样本混淆增强特征鲁棒性的行人重识别方法
CN114821629A (zh) * 2021-01-27 2022-07-29 天津大学 一种基于神经网络并行训练架构进行交叉图像特征融合的行人重识别方法
CN112766217A (zh) * 2021-01-30 2021-05-07 上海工程技术大学 基于解纠缠和特征级差异学习的跨模态行人重识别方法
CN112766217B (zh) * 2021-01-30 2022-08-26 上海工程技术大学 基于解纠缠和特征级差异学习的跨模态行人重识别方法
CN112686228A (zh) * 2021-03-12 2021-04-20 深圳市安软科技股份有限公司 行人属性识别方法、装置、电子设备及存储介质
CN112686228B (zh) * 2021-03-12 2021-06-01 深圳市安软科技股份有限公司 行人属性识别方法、装置、电子设备及存储介质
CN113723236A (zh) * 2021-08-17 2021-11-30 广东工业大学 一种结合局部阈值二值化图像的跨模态行人重识别方法
CN113723236B (zh) * 2021-08-17 2023-02-28 广东工业大学 一种结合局部阈值二值化图像的跨模态行人重识别方法
CN114067356A (zh) * 2021-10-21 2022-02-18 电子科技大学 基于联合局部引导与属性聚类的行人重识别方法
CN114067356B (zh) * 2021-10-21 2023-05-09 电子科技大学 基于联合局部引导与属性聚类的行人重识别方法
CN114495281A (zh) * 2022-02-10 2022-05-13 南京邮电大学 一种基于整体和部分约束的跨模态行人重识别方法
CN114724090A (zh) * 2022-05-23 2022-07-08 北京百度网讯科技有限公司 行人再识别模型的训练方法、行人再识别方法及装置

Similar Documents

Publication Publication Date Title
CN111597876A (zh) 一种基于困难五元组的跨模态行人重识别方法
CN110135249B (zh) 基于时间注意力机制和lstm的人体行为识别方法
CN112651262B (zh) 一种基于自适应行人对齐的跨模态行人重识别方法
CN109508663B (zh) 一种基于多层次监督网络的行人重识别方法
CN111274921A (zh) 一种利用姿态掩模进行人体行为识别的方法
CN113743544A (zh) 一种跨模态神经网络构建方法、行人检索方法及系统
CN110135277B (zh) 一种基于卷积神经网络的人体行为识别方法
CN110046544A (zh) 基于卷积神经网络的数字手势识别方法
CN106504204A (zh) 一种基于稀疏表示的单幅图像去雨方法
CN115171148A (zh) 一种基于特定模态特征补偿的跨模态行人重识别方法
CN115713546A (zh) 移动终端设备用的轻量化目标跟踪算法
Bao et al. Multi-residual module stacked hourglass networks for human pose estimation
CN112232147B (zh) 用于人脸模型超参数自适应获取的方法、装置和系统
CN117333908A (zh) 基于姿态特征对齐的跨模态行人重识别方法
Bao et al. Preserving structural relationships for person re-identification
CN113761995A (zh) 一种基于双变换对齐与分块的跨模态行人重识别方法
CN116052057A (zh) 基于自监督学习和预训练模型的跨模态行人重识别方法
Tong et al. Unconstrained Facial expression recognition based on feature enhanced CNN and cross-layer LSTM
CN113722528B (zh) 一种面向素描图进行照片快速检索的方法及系统
CN115393963A (zh) 运动动作纠正方法、系统、存储介质、计算机设备及终端
CN114898429A (zh) 一种热红外-可见光跨模态人脸识别的方法
Wang et al. Insulator defect detection based on improved you-only-look-once v4 in complex scenarios
CN110830734B (zh) 一种突变和渐变镜头切换识别方法及系统
CN113420608A (zh) 一种基于密集时空图卷积网络的人体异常行为识别方法
CN113065434A (zh) 基于双一致性约束的行人再识别技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200828