CN112507853B - 一种基于互注意力机制的跨模态行人重识别方法 - Google Patents

一种基于互注意力机制的跨模态行人重识别方法 Download PDF

Info

Publication number
CN112507853B
CN112507853B CN202011402963.6A CN202011402963A CN112507853B CN 112507853 B CN112507853 B CN 112507853B CN 202011402963 A CN202011402963 A CN 202011402963A CN 112507853 B CN112507853 B CN 112507853B
Authority
CN
China
Prior art keywords
pedestrian
rgb
image
infrared
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011402963.6A
Other languages
English (en)
Other versions
CN112507853A (zh
Inventor
张艳宁
杨毅飞
张世周
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202011402963.6A priority Critical patent/CN112507853B/zh
Publication of CN112507853A publication Critical patent/CN112507853A/zh
Application granted granted Critical
Publication of CN112507853B publication Critical patent/CN112507853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于互注意力机制的跨模态行人重识别方法。本方法的重识别网络包括保持空间信息的基准网络和互注意力机制网络，保持空间信息的基准网络用来提取两个模态共有的与模态无关的，并且保持空间信息的特征，在此基础上，互注意力机制网络用来关注两个行人间的语义相同之处，从而判断两个行人是否属于同一行人。本方法可以通过对比两张不同模态图像共有特征的相同语义信息，判断两张行人图像是否属于同一行人，提高跨模态的行人重识别任务的精度。本发明能很好地解决光照情况多变条件下的行人重识别任务。

Description

一种基于互注意力机制的跨模态行人重识别方法
技术领域
本发明属于计算机视觉技术领域，具体涉及一种行人重识别方法。
背景技术
行人重识别任务已经成为图像识别领域的热点。行人重识别任务的主要目的是检索一个摄像头中出现的行人是否曾经出现在其它摄像头中，即给定一个摄像头下的一张行人图像，从候选图像库中选出同一个行人图像。行人重识别技术广泛应用于刑侦、寻人、图像检索等方面。目前大多数行人重识别方法都针对单一RGB模态的行人图像，然而现实生活中，存在很多光照条件不好的情况，在光照较暗的条件下，RGB摄像头无法工作，红外摄像头可以很好地拍摄行人图像，而且现在很多监控摄像头都有根据光照强度自动切换RGB和红外摄像头的功能。所以，设计跨模态的行人重识别方法，即给定红外(RGB)行人图像，能从RGB(红外)图像中找出相同行人的图像，十分重要，能很好地解决光照情况多变条件下的行人重识别任务。
相比于单一模态的行人重识别，跨模态的行人重识别任务更具有挑战性。它不仅面临行人姿势，遮挡，摄像机拍摄高度、角度不同等问题，还面临跨模态图像之间的差异。当人类在判断两个模态行人图像是否属于同一个行人时，更关注与模态无关的信息，如性别，高矮胖瘦，衣着纹理等。之后，往往会对比两个行人共有信息有什么不同，从而判断两个行人是否属于同一个行人。
发明内容
为了克服现有技术的不足，本发明提供了一种基于互注意力机制的跨模态行人重识别方法。本方法的重识别网络包括保持空间信息的基准网络和互注意力机制网络，保持空间信息的基准网络用来提取两个模态共有的与模态无关的，并且保持空间信息的特征，在此基础上，互注意力机制网络用来关注两个行人间的语义相同之处，从而判断两个行人是否属于同一行人。本方法可以通过对比两张不同模态图像共有特征的相同语义信息，判断两张行人图像是否属于同一行人，提高跨模态的行人重识别任务的精度。本发明能很好地解决光照情况多变条件下的行人重识别任务。
本发明解决其技术问题所采用的技术方案包括以下步骤：
步骤1：构建基于互注意力机制的跨模态行人重识别网络，依次为保持空间信息的基准网络和互注意力机制网络；保持空间信息的基准网络用来提取RGB和红外两个模态共有的与模态无关的，并且保持空间信息的特征；在保持空间信息的基准网络基础上，互注意力机制网络用来关注两个行人间的语义相同之处，从而判断两个行人是否属于同一行人；
步骤2：保持空间信息的基准网络；
保持空间信息的基准网络包含两个分支：RGB分支和红外分支；RGB分支和红外分支都包含4个卷积层，RGB分支和红外分支的前两个卷积层作为特定模态特征提取器提取每个模态图像的模态间共有特征和各个模态特有的特征；RGB分支和红外分支后两个卷积层作为跨模态共有特征提取器舍弃与模态相关的特征，只保留与模态无关的特征，即学习RGB和红外图像的共有特征；
定义CR(·)代表RGB图像的特征提取器，CI(·)代表红外图像的特征提取器，给定一幅RGB图像R和一幅红外图像I，提取的3D共有特征FR和FI表示为：
其中C、H、W分别代表特征图的通道数、高度和宽度；
步骤3：互注意力机制网络；
步骤3-1：计算特征FR和FI之间的亲和度矩阵P：
其中是可学习参数矩阵；将FR和FI后两个维度合并，即/> 亲和度矩阵P存储FR和FI中点与点之间的相似度，亲和度矩阵P的元素(i,j)th表示FR的第i元素和FI的第j元素之间的相似度；
步骤3-2：对亲和度矩阵P按列进行标准化，得到FR相对于FI的注意力图AR；对P按行进行标准化，得到FI相对于FR的注意力图AI：
AR＝softmax(P)∈[0,1]HW×HW (4)
AI＝softmax(PT)∈[0,1]HW×HW (5)
其中，softmax函数按列进行操作，AR和AI的列保存互注意力权重；
步骤3-3：根据AI计算得到FR相对于FI的互注意力特征：
根据AR计算得到FI相对于FR的互注意力特征：
其中，互注意力特征由FI得到，保留了FR相对于FI的公共特征；互注意力特征由FR得到，保留了FI相对于FR的公共特征；
步骤3-4：再经过全连接层和sigmoid激活函数计算RGB图像R的相似度和红外图像I的相似度/>
其中σ(·)表示sigmoid函数，WD表示全连接层的参数；
RGB图像R和红外图像I之间的整体相似度定义为：
步骤4：构造两种损失函数：成对的二分类损失函数和行人所属类别损失函数；
步骤4-1：成对的二分类损失函数定义如下：
其中，lRI是输入RGB-红外图像对的标签，lRI＝1表示输入图像对是同一行人，lRI＝0表示输入图像对不是同一行人；M表示行人对的个数；
步骤4-2：在FR之后，添加全局平均池化层，得到RGB图像R的全局特征GR；在FI之后，添加全局平均池化层，得到红外图像I的全局特征GI；行人类别损失函数定义如下：
pR＝softmax(WID·GR) (12)
pI＝softmax(WID·GI) (13)
其中，WID表示行人类别损失函数中最后一个全连接层的权重；pR和pI分别是预测的行人类别概率分布；C是行人类别总数；yR和yI分别是RGB图像R和红外图像I对应的one-hot类型的类别编码；
步骤4-3：综合损失函数如下：
其中λ是损失函数的平衡系数；
步骤5：构造两种测试方法：完全模式和快速模式；
完全模式使用两张图像的SRI来表示两张图像的相似度，SRI与两张图像的相似度成正相关；
快速模式计算RGB图像R的全局特征GR和红外图像I的全局特征GI的余弦相似度表示两张图像的相似度。
优选地，所述保持空间信息的基准网络和互注意力机制网络都为在ImageNet数据集上预训练的ResNet-50网络。
本发明的有益效果是：由于采用了本发明提出的一种基于互注意力机制的跨模态行人重识别方法，能够提高跨模态的行人重识别任务的精度，同时很好地解决了光照情况多变条件下的行人重识别任务。
附图说明
图1是本发明方法框架图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，本发明提供一种基于互注意力机制的跨模态行人重识别方法，包括以下步骤：
步骤1：构建基于互注意力机制的跨模态行人重识别网络，依次为保持空间信息的基准网络和互注意力机制网络；保持空间信息的基准网络用来提取RGB和红外两个模态共有的与模态无关的，并且保持空间信息的特征；在保持空间信息的基准网络基础上，互注意力机制网络用来关注两个行人间的语义相同之处，从而判断两个行人是否属于同一行人；
步骤2：保持空间信息的基准网络；
保持空间信息的基准网络用来提取跨模态(RGB，红外)图像的共有特征，用3D特征张量表示。包含两个分支：RGB分支和红外分支，并且两个分支有相似的网络结构。RGB分支和红外分支都包含4个卷积层，RGB分支和红外分支的前两个卷积层作为特定模态特征提取器提取每个模态图像的模态间共有特征和各个模态特有的特征；RGB分支和红外分支后两个卷积层作为跨模态共有特征提取器舍弃与模态相关的特征，只保留与模态无关的特征，即学习RGB和红外图像的共有特征；
定义CR(·)代表RGB图像的特征提取器，CI(·)代表红外图像的特征提取器，给定一幅RGB图像R和一幅红外图像I，提取的3D共有特征FR和FI表示为：
其中C、H、W分别代表特征图的通道数、高度和宽度；
步骤3：互注意力机制网络；
保持空间信息的基准双路网络得到图像特征图之后，设计互注意力机制网络关注两个图像空间语义的相同的地方。互注意力机制网络关注到两张图片，即RGB图像R和红外图像I，捕捉这两张图片的相关性。
步骤3-1：计算特征FR和FI之间的亲和度矩阵P：
其中是可学习参数矩阵；将FR和FI后两个维度合并，即/> 亲和度矩阵P存储FR和FI中点与点之间的相似度，亲和度矩阵P的元素(i,j)th表示FR的第i元素和FI的第j元素之间的相似度；
步骤3-2：对亲和度矩阵P按列进行标准化，得到FR相对于FI的注意力图AR；对P按行进行标准化，得到FI相对于FR的注意力图AI：
AR＝softmax(P)∈[0,1]HW×HW (4)
AI＝softmax(PT)∈[0,1]HW×HW (5)
其中，softmax函数按列进行操作，AR和AI的列保存互注意力权重；
步骤3-3：根据AI计算得到FR相对于FI的互注意力特征：
根据AR计算得到FI相对于FR的互注意力特征：
其中，互注意力特征由FI得到，保留了FR相对于FI的公共特征；互注意力特征由FR得到，保留了FI相对于FR的公共特征；
步骤3-4：再经过全连接层和sigmoid激活函数计算RGB图像R的相似度和红外图像I的相似度/>
其中σ(·)表示sigmoid函数，WD表示全连接层的参数；
RGB图像R和红外图像I之间的整体相似度定义为：
步骤4：构造两种损失函数：成对的二分类损失函数和行人所属类别损失函数；
步骤4-1：成对的二分类损失函数。基于互注意力机制得到的特征，可以使用二分类器对其分类，如果R和I属于同一个行人，期望分类器将它们的相似特征分类为1，相反，如果R和I不属于同一个行人，期望分类器将它们的相似特征分类为0。为了最小化相同行人对的差异度，并且最大化不同行人对间的差异度，成对的二分类损失函数定义如下：
其中，lRI是输入RGB-红外图像对的标签，lRI＝1表示输入图像对是同一行人，lRI＝0表示输入图像对不是同一行人；M表示行人对的个数；
步骤4-2：在FR之后，添加全局平均池化层，得到RGB图像R的全局特征GR；在FI之后，添加全局平均池化层，得到红外图像I的全局特征GI；
对每一个行人，都有自己特有的特征，这意味着同一个行人的图片有高度的相似性，即使姿势不同，光照不同，拍摄角度不同等等。所以，在全局特征上增加行人类别损失函数约束，行人类别损失函数定义如下：
pR＝softmax(WID·GR) (12)
pI＝softmax(WID·GI) (13)
其中，WID表示行人类别损失函数中最后一个全连接层的权重；pR和pI分别是预测的行人类别概率分布；C是行人类别总数；yR和yI分别是RGB图像R和红外图像I对应的one-hot类型的类别编码；
步骤4-3：综合损失函数如下：
其中λ是损失函数的平衡系数；
步骤5：构造两种测试方法：完全模式和快速模式；
完全模式使用两张图像的SRI来表示两张图像的相似度，SRI与两张图像的相似度成正相关；
快速模式计算RGB图像R的全局特征GR和红外图像I的全局特征GI的余弦相似度表示两张图像的相似度。
对于P张待查询图片和G张数据库图片，完全模式和快速模式测试时，都需要调用双路网络P+G次来提取P+G张图片的特征。之后完全模式相比于快速模式，需要额外的调用P*G次互注意力机制网络，求P*G对图片的相似度，而快速模式则使用全局平均池化对得到的特征进行降维，之后计算两两之间的余弦相似度。
优选地，所述保持空间信息的基准网络和互注意力机制网络都为在ImageNet数据集上预训练的ResNet-50网络。
具体实施例：
1)训练时，对RGB图像和红外图像做相同的预处理操作。所有要输入网络的图像尺寸都调整为256*128，然后在图像的每条外边都添加宽度为10，值为0的像素点，即每幅图像的大小都变为278*148。之后，使用随机裁剪的方式得到多幅大小为256*128的图像，并且随机左右翻转图像，然后将图像输入到网络。测试时，只需要将输入网络图像调整尺寸为256*128的图像即可。
2)RGB和红外图像预处理完之后，需要将预处理过的RGB图像和红外图像组成batch，批量输入到双路网络训练。组成batch步骤为：a)随机选择N个行人类别；b)从每个行人类别中随机选择一张RGB图像和一张红外图像来组成每次迭代输入网络的batch。因此，每个batch中有2*N张图像，并且可以选择N个正样本对和r*N个负样本对，r表示负样本和正样本比例，每一个batch都包含M＝N+rN个图像对。在本实施例中，选择N＝32，r＝3。
3)当batch组成完之后，将组成batch的RGB和红外图像输入到保持空间信息的基准网络。如图1所示，RGB图像输入到RGB网络分支，红外图像输入到红外网络分支。选择在ImageNet数据集上预训练的ResNet-50作为保持空间信息的双路网络的骨干网络。ResNet-50的Input stem,stage 1和stage 2作为特定模态特征提取器，不共享参数；stage 3和stage 4作为跨模态共有特征提取器，共享参数。
4)组成batch的RGB和红外图像经过保持空间信息的基准网络，得到RGB和红外图像共有3D特征FR和FI，之后通过互注意力机制，得到FR和FI的互注意力特征和/>
5)得到互注意力特征和/>后，通过公式(8)、(9)、(10)可以计算两张输入图像的相似度SIR。通过公式(11)，对SIR做成对二分类损失函数约束。
6)通过共有3D特征FR和FI经过全局平均池化，可以得到RGB和红外图像的全局特征GR和GI，通过公式(12)、(13)、(14)，对全局特征GR和GI做行人类别损失函数约束。
7)对网络进行端到端的训练，联合损失函数为公式(15)。使用随机梯度下降优化器优化，训练60个epoch。初始学习率设置为0.1，在30个epoch之后，学习率变为之前的1/10倍。联合损失函数的平衡系数λ＝0.1。
8)模型训练完成后，有两种测试方法：完全模式和快速模式。完全模式精度更高，而快速模式速度更快。无论是完全模式还是快速模式，首先，使用保持空间信息的双路网络提取每个待查询图像和数据库图像的3D特征张量。之后，对于完全模式，使用SRI来判断两个行人的相似度；而对于快速模式，使用全局特征GR和GI表示RGB图像和红外图像的全局特征，通过计算每两个行人全局特征之间的余弦相似度，来判断两个行人图像的相似度，余弦相似度越高，代表两张行人图像越相似。

Claims (2)

1.一种基于互注意力机制的跨模态行人重识别方法，其特征在于，包括以下步骤：
步骤1：构建基于互注意力机制的跨模态行人重识别网络，依次为保持空间信息的基准网络和互注意力机制网络；保持空间信息的基准网络用来提取RGB和红外两个模态共有的与模态无关的，并且保持空间信息的特征；在保持空间信息的基准网络基础上，互注意力机制网络用来关注两个行人间的语义相同之处，从而判断两个行人是否属于同一行人；
步骤2：保持空间信息的基准网络；
保持空间信息的基准网络包含两个分支：RGB分支和红外分支；RGB分支和红外分支都包含4个卷积层，RGB分支和红外分支的前两个卷积层作为特定模态特征提取器提取每个模态图像的模态间共有特征和各个模态特有的特征；RGB分支和红外分支后两个卷积层作为跨模态共有特征提取器舍弃与模态相关的特征，只保留与模态无关的特征，即学习RGB和红外图像的共有特征；
定义CR(·)代表RGB图像的特征提取器，CI(·)代表红外图像的特征提取器，给定一幅RGB图像R和一幅红外图像I，提取的3D共有特征FR和FI表示为：
其中C、H、W分别代表特征图的通道数、高度和宽度；
步骤3：互注意力机制网络；
步骤3-1：计算特征FR和FI之间的亲和度矩阵P：
其中是可学习参数矩阵；将FR和FI后两个维度合并，即/> 亲和度矩阵P存储FR和FI中点与点之间的相似度，亲和度矩阵P的元素(i,j)th表示FR的第i元素和FI的第j元素之间的相似度；
步骤3-2：对亲和度矩阵P按列进行标准化，得到FR相对于FI的注意力图AR；对P按行进行标准化，得到FI相对于FR的注意力图AI：
AR＝softmax(P)∈[0,1]HW×HW (4)
AI＝softmax(PT)∈[0,1]HW×HW (5)
其中，softmax函数按列进行操作，AR和AI的列保存互注意力权重；
步骤3-3：根据AI计算得到FR相对于FI的互注意力特征：
根据AR计算得到FI相对于FR的互注意力特征：
其中，互注意力特征由FI得到，保留了FR相对于FI的公共特征；互注意力特征/>由FR得到，保留了FI相对于FR的公共特征；
步骤3-4：再经过全连接层和sigmoid激活函数计算RGB图像R的相似度和红外图像I的相似度/>
其中σ(·)表示sigmoid函数，WD表示全连接层的参数；
RGB图像R和红外图像I之间的整体相似度定义为：
步骤4：构造两种损失函数：成对的二分类损失函数和行人所属类别损失函数；
步骤4-1：成对的二分类损失函数定义如下：
其中，lRI是输入RGB-红外图像对的标签，lRI＝1表示输入图像对是同一行人，lRI＝0表示输入图像对不是同一行人；M表示行人对的个数；
步骤4-2：在FR之后，添加全局平均池化层，得到RGB图像R的全局特征GR；在FI之后，添加全局平均池化层，得到红外图像I的全局特征GI；行人类别损失函数定义如下：
pR＝softmax(WID·GR) (12)
pI＝softmax(WID·GI) (13)
其中，WID表示行人类别损失函数中最后一个全连接层的权重；pR和pI分别是预测的行人类别概率分布；C是行人类别总数；yR和yI分别是RGB图像R和红外图像I对应的one-hot类型的类别编码；
步骤4-3：综合损失函数如下：
其中λ是损失函数的平衡系数；
步骤5：构造两种测试方法：完全模式和快速模式；
完全模式使用两张图像的SRI来表示两张图像的相似度，SRI与两张图像的相似度成正相关；
快速模式计算RGB图像R的全局特征GR和红外图像I的全局特征GI的余弦相似度表示两张图像的相似度。
2.根据权利要求1所述的一种基于互注意力机制的跨模态行人重识别方法，其特征在于，所述保持空间信息的基准网络和互注意力机制网络都为在ImageNet数据集上预训练的ResNet-50网络。
CN202011402963.6A 2020-12-02 2020-12-02 一种基于互注意力机制的跨模态行人重识别方法 Active CN112507853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011402963.6A CN112507853B (zh) 2020-12-02 2020-12-02 一种基于互注意力机制的跨模态行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011402963.6A CN112507853B (zh) 2020-12-02 2020-12-02 一种基于互注意力机制的跨模态行人重识别方法

Publications (2)

Publication Number Publication Date
CN112507853A CN112507853A (zh) 2021-03-16
CN112507853B true CN112507853B (zh) 2024-05-14

Family

ID=74969833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011402963.6A Active CN112507853B (zh) 2020-12-02 2020-12-02 一种基于互注意力机制的跨模态行人重识别方法

Country Status (1)

Country Link
CN (1) CN112507853B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221686B (zh) * 2021-04-27 2024-01-09 西北工业大学 一种基于时空通道注意力的目标重识别方法
CN113221922B (zh) * 2021-05-31 2023-02-03 深圳市商汤科技有限公司 图像处理方法及相关装置
CN114005078B (zh) * 2021-12-31 2022-03-29 山东交通学院 一种基于双关系注意力机制的车辆重识别方法
CN117542084A (zh) * 2023-12-06 2024-02-09 湖南大学 一种语义感知的跨模态行人重识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909605A (zh) * 2019-10-24 2020-03-24 西北工业大学 基于对比相关的跨模态行人重识别方法
CN111199214A (zh) * 2020-01-04 2020-05-26 西安电子科技大学 一种残差网络多光谱图像地物分类方法
CN111310728A (zh) * 2020-03-16 2020-06-19 中国科学技术大学 基于监控相机和无线定位的行人重识别系统
CN111597876A (zh) * 2020-04-01 2020-08-28 浙江工业大学 一种基于困难五元组的跨模态行人重识别方法
CN111931637A (zh) * 2020-08-07 2020-11-13 华南理工大学 基于双流卷积神经网络的跨模态行人重识别方法和系统
CN112001279A (zh) * 2020-08-12 2020-11-27 山东省人工智能研究院 基于双重属性信息的跨模态行人重识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909605A (zh) * 2019-10-24 2020-03-24 西北工业大学 基于对比相关的跨模态行人重识别方法
CN111199214A (zh) * 2020-01-04 2020-05-26 西安电子科技大学 一种残差网络多光谱图像地物分类方法
CN111310728A (zh) * 2020-03-16 2020-06-19 中国科学技术大学 基于监控相机和无线定位的行人重识别系统
CN111597876A (zh) * 2020-04-01 2020-08-28 浙江工业大学 一种基于困难五元组的跨模态行人重识别方法
CN111931637A (zh) * 2020-08-07 2020-11-13 华南理工大学 基于双流卷积神经网络的跨模态行人重识别方法和系统
CN112001279A (zh) * 2020-08-12 2020-11-27 山东省人工智能研究院 基于双重属性信息的跨模态行人重识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于AC-BiGRU网络的文本情感分析模型;王鹏;付伟;;电子技术与软件工程;20200201(第03期);全文 *
基于生成对抗网络的跨模态行人重识别研究;冯敏;张智成;吕进;余磊;韩斌;;现代信息科技;20200225(第04期);全文 *

Also Published As

Publication number Publication date
CN112507853A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN112507853B (zh) 一种基于互注意力机制的跨模态行人重识别方法
CN110909605B (zh) 基于对比相关的跨模态行人重识别方法
US11836224B2 (en) Cross-modality person re-identification method based on local information learning
CN111259850B (zh) 一种融合随机批掩膜和多尺度表征学习的行人重识别方法
CN111126360A (zh) 基于无监督联合多损失模型的跨域行人重识别方法
CN111325111A (zh) 一种融合逆注意力和多尺度深度监督的行人重识别方法
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN111340123A (zh) 一种基于深度卷积神经网络的图像分数标签预测方法
US20220148291A1 (en) Image classification method and apparatus, and image classification model training method and apparatus
CN111539351B (zh) 一种多任务级联的人脸选帧比对方法
CN112580480B (zh) 一种高光谱遥感影像分类方法及装置
CN114973317A (zh) 一种基于多尺度邻接交互特征的行人重识别方法
Kobyshev et al. Matching features correctly through semantic understanding
CN113610046B (zh) 一种基于深度视频联动特征的行为识别方法
CN112070010B (zh) 一种联合多损失动态训练策略增强局部特征学习的行人重识别方法
CN111401113A (zh) 一种基于人体姿态估计的行人重识别方法
CN112818790A (zh) 一种基于注意力机制与空间几何约束的行人重识别方法
CN116740418A (zh) 一种基于图重构网络的目标检测方法
CN110348366B (zh) 一种自动化最优人脸搜索方法及装置
CN116110118A (zh) 一种基于时空特征互补融合的行人重识别和步态识别方法
CN115050044B (zh) 一种基于MLP-Mixer的跨模态行人重识别方法
CN115393901A (zh) 一种跨模态行人重识别方法及计算机可读存储介质
CN113537032B (zh) 一种基于图片分块丢弃的分集多支路行人重识别方法
CN114663974A (zh) 一种融入位置感知注意力的行人重识别方法
CN114359132A (zh) 利用文本描述生成图像进行行人搜索的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant