CN112016401A - 基于跨模态行人重识别方法及装置 - Google Patents
基于跨模态行人重识别方法及装置 Download PDFInfo
- Publication number
- CN112016401A CN112016401A CN202010772750.6A CN202010772750A CN112016401A CN 112016401 A CN112016401 A CN 112016401A CN 202010772750 A CN202010772750 A CN 202010772750A CN 112016401 A CN112016401 A CN 112016401A
- Authority
- CN
- China
- Prior art keywords
- modal
- cross
- generalization
- features
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 99
- 238000010606 normalization Methods 0.000 claims abstract description 99
- 230000006870 function Effects 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于跨模态行人重识别方法，所述方法包括：通过将带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，并计算待进行跨模态行人重识别的图像特征，与跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别；其中，跨模态特征提取模型包括特征提取模块、模态批归一化身份嵌入模块和单模态身份嵌入模块，从而使得提取的图像特征泛化性更强，同时能够准确提取图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，并确定其与待进行跨模态行人重识别图像特征的相似度，准确得到识别结果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于跨模态行人重识别方法及装置。
背景技术
行人重识别是在智能视频监控系统中非常重要的一部分。传统的行人重识别(RGB-RGB)旨在解决给定行人图像检索出图像库中同一行人图像的问题，其中需要克服行人图像跨摄像头视角、姿态、尺度变化等因素的影响。但是当前行人重识别任务只适用于光照良好的情况，一旦遇到夜晚低光照甚至无光照时，这些系统基本会失效。因此引入红外摄像机对行人提取红外成像进行跨模态行人重识别是达成全天智能视频监控的一种贴近实际的方案。
为了解决跨模态(RGB-Thermal)行人重识别问题，很多基于深度学习的方法采用不同的子网络对不同模态数据进行特征提取，然后通过特征嵌入学习通用的特征表示。此外也有部分研究利用对抗生成网络的图像生成能力对不同模态图像进行转换，以获取单一图像的多模态表示。
然而，基于不同子网络的跨模态行人重识别方法，在训练过程中采用了不同的子网络对不同模态的图像进行提取。其中，红外子网络负责处理红外图像的输入，RGB子网络负责处理RGB图像的输入。然后在网络后层融合两个子网络的分支得到一个共享网络形成第三个分支，通过身份嵌入损失以及三元组度量损失对三个分支进行共同学习从而得到一个跨模态行人图像的统一表示。
此种方法通过两个子网络提取特征再进行嵌入学习，使得学到的特征无法很好的适用到不同模态。因为不同的子网络更倾向于学习到模态独有的特征，仅靠后层网络的联合学习难以学到模态通用的特征信息，对跨模态分布对齐的效果较差，性能较低，而且使用两个子网络对网络的优化更为复杂且容易出现模态内的过拟合。
发明内容
针对现有技术存在的问题，本发明实施例提供一种基于跨模态行人重识别方法及装置。
具体地，本发明实施例提供了如下技术方案：
第一方面，本发明实施例提供一种基于跨模态行人重识别方法，包括：
获取带有身份标识的行人图像，将所述带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征；
获取待进行跨模态行人重识别的图像，确定待进行跨模态行人重识别的图像特征；
计算所述待进行跨模态行人重识别的图像特征，与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别；
其中，所述跨模态特征提取模型是基于跨模态行人重识别样本图像进行训练得到的，包括特征提取模块、模态批归一化身份嵌入模块和基于互学习策略的单模态身份嵌入模块；
其中，所述特征提取模块用于提取所述样本图像的红外图像特征和RGB图像特征；所述模态批归一化身份嵌入模块用于对红外图像特征和RGB图像特征进行归一化处理，获取跨模态泛化特征；所述基于互学习策略的单模态身份嵌入模块用于分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征；
其中，在对所述跨模态特征提取模型进行训练时，通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化所述跨模态特征提取模型，直至满足预设收敛条件。
进一步地，所述模态批归一化身份嵌入模块用于对红外图像特征和RGB图像特征进行归一化处理，获取跨模态泛化特征，包括：
所述模态批归一化身份嵌入模块用于将红外图像特征和RGB图像特征输入归一化函数，获取跨模态泛化特征。
进一步地，所述基于互学习策略的单模态身份嵌入模块用于分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征，包括：
所述基于互学习策略的单模态身份嵌入模块用于：
将红外图像特征输入归一化函数，获取红外单模态泛化特征；以及将RGB图像特征输入归一化函数，获取RGB单模态泛化特征。
进一步地，所述通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化所述跨模态特征提取模型，包括：
根据交叉熵损失函数，分别获取跨模态泛化特征的第一损失结果，红外单模态泛化特征的第二损失结果，以及RGB单模态泛化特征的第三损失结果；
根据最小化分布距离的损失函数，获取红外单模态泛化特征和RGB单模态泛化特征的第四损失结果；
根据第一损失结果，第二损失结果，第三损失结果，以及第四损失结果之和，优化所述跨模态特征提取模型参数。
进一步地，所述通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化所述跨模态特征提取模型，还包括：
根据三元组损失函数，获取跨模态泛化特征的第五损失结果；
根据第一损失结果，第二损失结果，第三损失结果，第四损失结果，以及第五损失结果之和，优化所述跨模态特征提取模型参数。
第二方面，本发明实施例提供一种基于跨模态行人重识别装置，包括：
第一获取单元，用于获取带有身份标识的行人图像，将所述带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征；
第二获取单元，用于获取待进行跨模态行人重识别的图像，确定待进行跨模态行人重识别的图像特征；
识别单元，用于计算所述待进行跨模态行人重识别的图像特征，与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别；
其中，所述特征提取模块用于提取所述样本图像的红外图像特征和RGB图像特征；所述模态批归一化身份嵌入模块用于对红外图像特征和RGB图像特征进行归一化处理，获取跨模态泛化特征；所述基于互学习策略的单模态身份嵌入模块用于分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征；
其中，在对所述跨模态特征提取模型进行训练时，通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化所述跨模态特征提取模型，直至满足预设收敛条件。
进一步地，所述模态批归一化身份嵌入模块用于对红外图像特征和RGB图像特征进行归一化处理，获取跨模态泛化特征，包括：
所述模态批归一化身份嵌入模块用于将红外图像特征和RGB图像特征输入归一化函数，获取跨模态泛化特征。
进一步地，所述基于互学习策略的单模态身份嵌入模块用于分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征，包括：
所述基于互学习策略的单模态身份嵌入模块用于：
将红外图像特征输入归一化函数，获取红外单模态泛化特征；以及将RGB图像特征输入归一化函数，获取RGB单模态泛化特征。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述基于跨模态行人重识别方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述基于跨模态行人重识别方法的步骤。
本发明实施例提供的基于跨模态行人重识别方法及装置，通过将带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，并计算待进行跨模态行人重识别的图像特征，与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别；其中，跨模态特征提取模型是基于跨模态行人重识别样本图像进行训练得到的，包括用于提取样本图像的红外图像特征和RGB图像特征的特征提取模块、用于获取跨模态泛化特征的模态批归一化身份嵌入模块，和用于获取红外单模态泛化特征和RGB单模态泛化特征的单模态身份嵌入模块。本发明实施例通过同一网络即特征提取模块提取样本图像的红外图像特征和RGB图像特征，使得提取的图像特征泛化性更强，同时利用模态批归一化身份嵌入和单模态身份嵌入强化红外单模态泛化特征和RGB单模态泛化特征提取，提高跨模态特征提取模型中同一行人图像特征的相似度，使得模态分布对齐效果较好，并根据跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征对应的损失来优化跨模态特征提取模型参数，进而跨模态特征提取模型能够准确提取带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，并确定其与待进行跨模态行人重识别图像特征的相似度，准确得到识别结果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一个实施例提供的基于跨模态行人重识别方法的流程示意图；
图2是本发明第一个实施例提供的网络训练的流程示意图；
图3是本发明第二个实施例提供的基于跨模态行人重识别装置的结构示意图；
图4是本发明第三个实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明第一个实施例提供的基于跨模态行人重识别方法的流程示意图，如图1所示，本发明第一个实施例提供的基于跨模态行人重识别方法，包括如下步骤：
步骤110、获取带有身份标识的行人图像，将带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征。
其中，跨模态特征提取模型是基于跨模态行人重识别样本图像进行训练得到的，包括特征提取模块、模态批归一化身份嵌入模块和基于互学习策略的单模态身份嵌入模块。
在本步骤中，行人重识别也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。例如通过给定摄像头A下一个带有身份标识的监控行人图像，检索跨设备下如摄像头B是否存在该行人图像。通过行人重识别可以弥补固定的摄像头的视觉局限，并可与行人检测/行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。然而，传统的RGB-RGB行人重识别的方法只适用于光照良好的情况，通过RGB-RGB匹配的人形外观，处理单模态相机捕获的图像。如今摄像机大多都将红外和可见光功能配在了一起，其中红外摄像机在白天或者黑夜都能够获取行人的红外图像信息，这为跨模态行人重识别的提供了有利的条件。与传统的行人重识别方法有所不同，跨模态行人重识别专注于匹配跨模态下的图像，它可以利用行人的红外-RGB图像去搜索跨设备下该行人的红外-RGB图像。
然而，红外-RGB图像相对于单模态的RGB图像，增加了模态差异，使得模态内不同行人的图像比跨模态相同行人的图像更相似。RGB图像三通道的信息和红外图像的单通道信息本身的信息容量和表示形式有所不同，不同的清晰度和光照条件在两类图像上所能产生效果可能会大相径庭。比如施加相同的光照条件在这两类图像上，很可能对于RGB图像来说会增加清晰度，而对于红外图像来说可能就会因为亮度过高以至于图像模糊不清。
为了解决跨模态(红外-RGB)行人重识别问题，传统方法基于深度学习采用不同的子网络对不同模态的图像进行特征提取，即红外子网络负责对红外图像进行特征提取，RGB子网络对RGB图像进行特征提取，然后在网络后层融合两个子网络的分支得到一个共享网络形成第三个网络分支，通过身份嵌入损失以及三元组损失对三个分支进行共同学习，从而优化跨模态行人重识别模型。然而，传统方法采用两个子网络分别提取红外特征和RGB特征，由于不同子网络更倾向于学习到单模态独有的特征，仅靠后层网络的联合学习无法学到跨模态通用的特征，从而两个子网络分别提取的单模态特征无法适用到不同模态，对跨模态分布对齐的效果较差，而且也无法准确进行行人重识别，性能较低。而且使用两个子网络对网络的优化更为复杂，当网络的容量过大时，网络模型除了学习到训练集数据的模态之外，还把额外的观测误差也学习进来，导致学习的模型在训练集上面表现较好，但是在测试集上表现不佳，模型泛化能力偏弱，容易出现模态内的过拟合。
因此，本实施例将获取的带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征；其中，跨模态特征提取模型是基于跨模态行人重识别样本图像进行训练得到的，包括特征提取模块、模态批归一化身份嵌入模块和基于互学习策略的单模态身份嵌入模块。
可以理解的是，获取的带有身份标识的行人图像可以是一张，也可以是多张同一行人的图像。举例来说，若要搜索在摄像头A下拍摄到的行人A的图像，则可以将摄像头A拍摄的行人A图像输入跨模态特征提取模型中，若摄像头B也同时拍摄到了行人A的图像，则也可以将摄像头B下拍摄的行人A的图像也同时输入跨模态特征提取模型中，从而可以生成多个行人A图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，构成一个对比数据库，用来逐一与待进行行人重识别的图像进行对比，从而确定行人重识别的结果。
其中，图2是本发明第一个实施例提供的网络训练的流程示意图，如图2所示，特征提取模块用于提取样本图像的红外图像特征和RGB图像特征，由于特征提取模块是单一共享网络，从而能够学习到样本图像中红外图像特征和RGB图像特征的通用特征，相较于传统方法中采用两个不同子网络分别提取红外图像特征和RGB图像特征，本实施例采用的单一网络提取红外图像特征和RGB图像特征，使得提取的图像特征泛化性更强。
此外，身份嵌入损失是进行行人重识别的基本方法，是将每个行人的不同图像当作一个分类任务学习。但是身份嵌入损失在跨模态行人重识别中直接应用会由于不同模态图像的影响从而出现梯度消失的现象，使得跨模态特征提取模型无法很好地学习到跨模态的泛化特征。因此，本实施例通过模态批归一化身份嵌入模块，对提取的红外图像特征和RGB图像特征进行归一化处理后，获取跨模态泛化特征，从而使模态批归一化身份嵌入模块能够更好地学习到跨模态的泛化特征。
同时，为了强化跨模态特征提取模型对单模态图像中行人特征提取，本实施例对于每一个单模态分支(红外单模态和RGB单模态)使用了单独的身份嵌入来优化。本实施例通过采用互学习策略，每个单模态特征经过归一化处理后可以看作是一个属于不同行人的概率分布，概率越大说明经过归一化处理的单模态泛化特征与该行人其它图像的相似度越高。因此，本实施例基于互学习策略的单模态身份嵌入模块，分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征，从而强化对红外单模态图像特征提取和RGB单模态图像特征提取。
此外，在对跨模态特征提取模型进行训练时，通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化跨模态特征提取模型，直至满足预设收敛条件，如当训练次数达到阈值，满足收敛条件，停止模型训练。本实施例通过优化训练跨模态特征提取模型，可以准确提取带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征。
步骤120、获取待进行跨模态行人重识别的图像，确定待进行跨模态行人重识别的图像特征。
在本步骤中，由于上述步骤110中通过跨模态特征提取模型，获取了带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，因此，本实施例通过获取待进行跨模态行人重识别的图像，并确定待进行跨模态行人重识别的图像特征，如可以采用方向梯度直方图(HOG)确定待进行跨模态行人重识别的图像特征，即通过计算和统计图像局部区域的梯度方向直方图来提取图像特征。在本实施例中，需要说明的是，本实施例还可以采用灰度差分统计法确定待进行跨模态行人重识别的图像特征，还可以根据实际情况选取图像特征的提取方法，本实施例对此不作具体限定。
在本实施例中，确定待进行跨模态行人重识别的图像特征后，将待进行跨模态行人重识别的图像特征与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征进行比对，从而可以确定待进行跨模态行人重识别的行人是否为带有身份标识的行人。
步骤130、计算所述待进行跨模态行人重识别的图像特征，与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别。
在本步骤中，根据步骤120获取的待进行跨模态行人重识别的图像特征，以及步骤110获取的带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，计算步骤120的图像特征与步骤110中获取的每个图像特征的相似度，并对相似度结果进行排序，与待进行跨模态行人重识别的图像特征相似度最高的跨模态泛化特征、或红外单模态泛化特征、或RGB单模态泛化特征对应的行人身份，即为待进行识别的行人身份。
举例来说，待进行跨模态行人重识别的图像特征A，与带有身份标识的行人图像的跨模态泛化特征B1的相似度为100％，与红外单模态泛化特征B2的相似度为50％，与RGB单模态泛化特征B3的相似度为0％，那么根据相似度从大到小进行排序对应的特征为B1>B2>B3，则跨模态泛化特征B1对应图像中的行人身份即为待进行行人重识别图像中的行人身份。
本发明实施例提供的基于跨模态行人重识别方法，通过将带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，并计算待进行跨模态行人重识别的图像特征，与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别；其中，跨模态特征提取模型是基于跨模态行人重识别样本图像进行训练得到的，包括用于提取样本图像的红外图像特征和RGB图像特征的特征提取模块、用于获取跨模态泛化特征的模态批归一化身份嵌入模块，和用于获取红外单模态泛化特征和RGB单模态泛化特征的单模态身份嵌入模块。本发明实施例通过同一网络即特征提取模块提取样本图像的红外图像特征和RGB图像特征，使得提取的图像特征泛化性更强，同时利用模态批归一化身份嵌入和单模态身份嵌入强化红外单模态泛化特征和RGB单模态泛化特征提取，提高跨模态特征提取模型中同一行人图像特征的相似度，使得模态分布对齐效果较好，并根据跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征对应的损失来优化跨模态特征提取模型参数，进而跨模态特征提取模型能够准确提取带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，并确定其与待进行跨模态行人重识别图像特征的相似度，准确得到识别结果。
基于上述实施例的内容，作为一种可选实施例，模态批归一化身份嵌入模块用于对红外图像特征和RGB图像特征进行归一化处理，获取跨模态泛化特征，包括：
模态批归一化身份嵌入模块用于将红外图像特征和RGB图像特征输入归一化函数，获取跨模态泛化特征。
在本步骤中，鉴于身份嵌入损失在跨模态行人重识别中直接应用会由于不同模态图像的影响从而出现梯度消失的现象，使得跨模态特征提取模型无法很好地学习到跨模态的泛化特征。因此，本实施例通过模态批归一化身份嵌入模块，将红外图像特征和RGB图像特征输入归一化函数，获取跨模态泛化特征，从而使模态批归一化身份嵌入模块能够更好地学习到跨模态的泛化特征。所述归一化函数为均值为0标准差为1的归一化操作。
本发明实施例提供的基于跨模态行人重识别方法，通过模态批归一化身份嵌入模块，将红外图像特征和RGB图像特征输入归一化函数，获取跨模态泛化特征，从而使模态批归一化身份嵌入模块能够更好地学习到跨模态的泛化特征，提高跨模态特征提取模型中同一行人图像特征的相似度，使得模态分布对齐效果较好，从而便于准确进行行人重识别。
基于上述实施例的内容，作为一种可选实施例，基于互学习策略的单模态身份嵌入模块用于分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征，包括：
基于互学习策略的单模态身份嵌入模块用于：
将红外图像特征输入归一化函数，获取红外单模态泛化特征；以及将RGB图像特征输入归一化函数，获取RGB单模态泛化特征。
在本步骤中，为了强化跨模态特征提取模型对单模态图像中行人特征提取，本实施例对于每一个单模态分支(红外单模态和RGB单模态)使用了单独的身份嵌入来优化。本实施例通过采用互学习策略，每个单模态特征经过归一化处理后可以看作是一个属于不同行人的概率分布，概率越大说明经过归一化处理的单模态泛化特征与该行人其它图像的相似度越高。因此，本实施例基于互学习策略的单模态身份嵌入模块，分别将红外图像特征输入归一化函数，获取红外单模态泛化特征；以及将RGB图像特征输入归一化函数，获取RGB单模态泛化特征，从而强化对红外单模态图像特征提取和RGB单模态图像特征提取。所述归一化函数为所述归一化函数为均值为0标准差为1的归一化操作。
本发明实施例提供的基于跨模态行人重识别方法，通过基于互学习策略的单模态身份嵌入模块，分别将红外图像特征输入归一化函数，获取红外单模态泛化特征；以及将RGB图像特征输入归一化函数，获取RGB单模态泛化特征，从而强化对红外单模态图像特征提取和RGB单模态图像特征提取，提高跨模态特征提取模型中同一行人图像特征的相似度，使得模态分布对齐效果较好，从而便于准确进行行人重识别。
基于上述实施例的内容，作为一种可选实施例，通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化跨模态特征提取模型，包括：
根据交叉熵损失函数，分别获取跨模态泛化特征的第一损失结果，红外单模态泛化特征的第二损失结果，以及RGB单模态泛化特征的第三损失结果；
根据最小化分布距离的损失函数，获取红外单模态泛化特征和RGB单模态泛化特征的第四损失结果；
根据第一损失结果，第二损失结果，第三损失结果，以及第四损失结果之和，优化所述跨模态特征提取模型参数。
在本步骤中，由于跨模态特征提取模型是负责提取带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，为了保证准确提取特征，需要对跨模态特征提取模型的参数进行优化。
因此，本实施例通过根据交叉熵损失函数，获取跨模态泛化特征的第一损失结果，即通过
获取第一损失结果，其中
表示第一损失结果，f表示特征，Wa表示行人a参数，Wj表示行人j参数，Np表示行人数量，Fi表示红外单模态泛化特征，Fv表示RGB单模态泛化特征。
同理，通过根据交叉熵损失函数，获取红外单模态泛化特征的第二损失结果，即通过
获取第二损失结果，其中
表示第二损失结果，f表示特征，Wa表示行人a参数，Wj表示行人j参数，Np表示行人数量，Fi表示红外单模态泛化特征。
通过根据交叉熵损失函数，获取RGB单模态泛化特征的第三损失结果，即通过
获取第三损失结果，其中
表示第三损失结果，f表示特征，Wa表示行人a参数，Wj表示行人j参数，Np表示行人数量，Fv表示红外单模态泛化特征。
根据最小化分布距离的损失函数，获取红外单模态泛化特征和RGB单模态泛化特征的第四损失结果，即通过
获取第四损失结果，其中
表示第四损失结果，KL表示分布的KL距离，y表示行人概率，fi表示红外图像特征，fv表示RGB图像特征，Wi表示红外分支参数，Wv表示RGB分支参数。
然后，根据第一损失结果，第二损失结果，第三损失结果，以及第四损失结果之和，优化跨模态特征提取模型参数，从而使得跨模态特征提取模型能够准确提取特征。
本发明实施例提供的基于跨模态行人重识别方法，通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化跨模态特征提取模型，使跨模态特征提取模型能够准确提取带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，提高行人重识别结果的准确性。
基于上述实施例的内容，作为一种可选实施例，通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化跨模态特征提取模型，还包括：
根据三元组损失函数，获取跨模态泛化特征的第五损失结果；
根据第一损失结果，第二损失结果，第三损失结果，第四损失结果，以及第五损失结果之和，优化跨模态特征提取模型参数。
在本步骤中，为了进一步缩小同一行人图像的特征差异，使得同一行人特征的相似度高于不同行人的相似度，本实施例根据三元组损失函数，获取跨模态泛化特征的第五损失结果，即通过三元组损失函数：
获取第五损失结果，其中
表示第五损失结果，a表示中心特征，p表示正例特征，n表示负例特征，ξ表示间距。
本发明实施例提供的基于跨模态行人重识别方法，结合基于三元组损失函数获取的第五损失结果来优化跨模态特征提取模型，使跨模态特征提取模型能够准确提取带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征，提高行人重识别结果的准确性。
图3是本发明第二个实施例提供的基于跨模态行人重识别装置的结构示意图，如图3所示，本发明第二个实施例提供的基于跨模态行人重识别装置，包括：
第一获取单元310，用于获取带有身份标识的行人图像，将带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征；
第二获取单元320，用于获取待进行跨模态行人重识别的图像，确定待进行跨模态行人重识别的图像特征；
识别单元330，用于计算待进行跨模态行人重识别的图像特征，与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别；
其中，特征提取模块用于提取样本图像的红外图像特征和RGB图像特征；模态批归一化身份嵌入模块用于对红外图像特征和RGB图像特征进行归一化处理，获取跨模态泛化特征；基于互学习策略的单模态身份嵌入模块用于分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征；
其中，在对跨模态特征提取模型进行训练时，通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化跨模态特征提取模型，直至满足预设收敛条件。
本实施例所述的基于跨模态行人重识别装置可以用于执行上述第一个实施例所述的基于跨模态行人重识别方法，其原理和技术效果类似，此处不再详述。
基于上述实施例的内容，作为一种可选实施例，模态批归一化身份嵌入模块用于对红外图像特征和RGB图像特征进行归一化处理，获取跨模态泛化特征，包括：
模态批归一化身份嵌入模块用于将红外图像特征和RGB图像特征输入归一化函数，获取跨模态泛化特征。
本实施例所述的基于跨模态行人重识别装置可以用于执行上述第一个实施例所述的基于跨模态行人重识别方法，其原理和技术效果类似，此处不再详述。
基于上述实施例的内容，作为一种可选实施例，基于互学习策略的单模态身份嵌入模块用于分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征，包括：
基于互学习策略的单模态身份嵌入模块用于：
将红外图像特征输入归一化函数，获取红外单模态泛化特征；以及将RGB图像特征输入归一化函数，获取RGB单模态泛化特征。
本实施例所述的基于跨模态行人重识别装置可以用于执行上述第一个实施例所述的基于跨模态行人重识别方法，其原理和技术效果类似，此处不再详述。
图4是本发明第三个实施例提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行基于跨模态行人重识别方法，该方法包括：获取带有身份标识的行人图像，将带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征；获取待进行跨模态行人重识别的图像，确定待进行跨模态行人重识别的图像特征；计算待进行跨模态行人重识别的图像特征，与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的基于跨模态行人重识别方法，该方法包括：获取带有身份标识的行人图像，将带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征；获取待进行跨模态行人重识别的图像，确定待进行跨模态行人重识别的图像特征；计算待进行跨模态行人重识别的图像特征，与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的基于跨模态行人重识别方法，该方法包括：获取带有身份标识的行人图像，将带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征；获取待进行跨模态行人重识别的图像，确定待进行跨模态行人重识别的图像特征；计算待进行跨模态行人重识别的图像特征，与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于跨模态行人重识别方法，其特征在于，包括：
获取带有身份标识的行人图像，将所述带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征；
获取待进行跨模态行人重识别的图像，确定待进行跨模态行人重识别的图像特征；
计算所述待进行跨模态行人重识别的图像特征，与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别；
其中，所述跨模态特征提取模型是基于跨模态行人重识别样本图像进行训练得到的，包括特征提取模块、模态批归一化身份嵌入模块和基于互学习策略的单模态身份嵌入模块；
其中，所述特征提取模块用于提取所述样本图像的红外图像特征和RGB图像特征；所述模态批归一化身份嵌入模块用于对红外图像特征和RGB图像特征进行归一化处理，获取跨模态泛化特征；所述基于互学习策略的单模态身份嵌入模块用于分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征；
其中，在对所述跨模态特征提取模型进行训练时，通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化所述跨模态特征提取模型，直至满足预设收敛条件。
2.根据权利要求1所述的基于跨模态行人重识别方法，其特征在于，所述模态批归一化身份嵌入模块用于对红外图像特征和RGB图像特征进行归一化处理，获取跨模态泛化特征，包括：
所述模态批归一化身份嵌入模块用于将红外图像特征和RGB图像特征输入归一化函数，获取跨模态泛化特征。
3.根据权利要求1所述的基于跨模态行人重识别方法，其特征在于，所述基于互学习策略的单模态身份嵌入模块用于分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征，包括：
所述基于互学习策略的单模态身份嵌入模块用于：
将红外图像特征输入归一化函数，获取红外单模态泛化特征；以及将RGB图像特征输入归一化函数，获取RGB单模态泛化特征。
4.根据权利要求1所述的基于跨模态行人重识别方法，其特征在于，所述通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化所述跨模态特征提取模型，包括：
根据交叉熵损失函数，分别获取跨模态泛化特征的第一损失结果，红外单模态泛化特征的第二损失结果，以及RGB单模态泛化特征的第三损失结果；
根据最小化分布距离的损失函数，获取红外单模态泛化特征和RGB单模态泛化特征的第四损失结果；
根据第一损失结果，第二损失结果，第三损失结果，以及第四损失结果之和，优化所述跨模态特征提取模型参数。
5.根据权利要求4所述的基于跨模态行人重识别方法，其特征在于，所述通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化所述跨模态特征提取模型，还包括：
根据三元组损失函数，获取跨模态泛化特征的第五损失结果；
根据第一损失结果，第二损失结果，第三损失结果，第四损失结果，以及第五损失结果之和，优化所述跨模态特征提取模型参数。
6.一种基于跨模态行人重识别装置，其特征在于，包括：
第一获取单元，用于获取带有身份标识的行人图像，将所述带有身份标识的行人图像输入跨模态特征提取模型中，确定带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征；
第二获取单元，用于获取待进行跨模态行人重识别的图像，确定待进行跨模态行人重识别的图像特征；
识别单元，用于计算所述待进行跨模态行人重识别的图像特征，与带有身份标识的行人图像的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的相似度，进行行人重识别；
其中，所述特征提取模块用于提取所述样本图像的红外图像特征和RGB图像特征；所述模态批归一化身份嵌入模块用于对红外图像特征和RGB图像特征进行归一化处理，获取跨模态泛化特征；所述基于互学习策略的单模态身份嵌入模块用于分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征；
其中，在对所述跨模态特征提取模型进行训练时，通过计算与样本图像对应的跨模态泛化特征、红外单模态泛化特征和RGB单模态泛化特征的损失来优化所述跨模态特征提取模型，直至满足预设收敛条件。
7.根据权利要求6所述的基于跨模态行人重识别装置，其特征在于，所述模态批归一化身份嵌入模块用于对红外图像特征和RGB图像特征进行归一化处理，获取跨模态泛化特征，包括：
所述模态批归一化身份嵌入模块用于将红外图像特征和RGB图像特征输入归一化函数，获取跨模态泛化特征。
8.根据权利要求6所述的基于跨模态行人重识别装置，其特征在于，所述基于互学习策略的单模态身份嵌入模块用于分别对红外图像特征进行归一化处理，获取红外单模态泛化特征，以及，对RGB图像特征进行归一化处理，获取RGB单模态泛化特征，包括：
所述基于互学习策略的单模态身份嵌入模块用于：
将红外图像特征输入归一化函数，获取红外单模态泛化特征；以及将RGB图像特征输入归一化函数，获取RGB单模态泛化特征。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于跨模态行人重识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述基于跨模态行人重识别方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010772750.6A CN112016401B (zh) | 2020-08-04 | 2020-08-04 | 基于跨模态行人重识别方法及装置 |
| PCT/CN2021/084753 WO2022027986A1 (zh) | 2020-08-04 | 2021-03-31 | 基于跨模态行人重识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010772750.6A CN112016401B (zh) | 2020-08-04 | 2020-08-04 | 基于跨模态行人重识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112016401A true CN112016401A (zh) | 2020-12-01 |
| CN112016401B CN112016401B (zh) | 2024-05-17 |
Family
ID=73498983
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010772750.6A Active CN112016401B (zh) | 2020-08-04 | 2020-08-04 | 基于跨模态行人重识别方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112016401B (zh) |
| WO (1) | WO2022027986A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112380369A (zh) * | 2021-01-15 | 2021-02-19 | 长沙海信智能系统研究院有限公司 | 图像检索模型的训练方法、装置、设备和存储介质 |
| WO2022027986A1 (zh) * | 2020-08-04 | 2022-02-10 | 杰创智能科技股份有限公司 | 基于跨模态行人重识别方法及装置 |
| CN114882525A (zh) * | 2022-04-21 | 2022-08-09 | 中国科学技术大学 | 基于模态特定记忆网络的跨模态行人重识别方法 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114550210B (zh) * | 2022-02-21 | 2024-04-02 | 中国科学技术大学 | 基于模态自适应混合和不变性卷积分解的行人重识别方法 |
| CN114998925B (zh) * | 2022-04-22 | 2024-04-02 | 四川大学 | 一种面向孪生噪声标签的鲁棒跨模态行人重识别方法 |
| CN114663737B (zh) * | 2022-05-20 | 2022-12-02 | 浪潮电子信息产业股份有限公司 | 物体识别方法、装置、电子设备及计算机可读存储介质 |
| CN114694185B (zh) * | 2022-05-31 | 2022-11-04 | 浪潮电子信息产业股份有限公司 | 一种跨模态目标重识别方法、装置、设备及介质 |
| CN116311387B (zh) * | 2023-05-25 | 2023-09-01 | 浙江工业大学 | 一种基于特征交集的跨模态行人重识别方法 |
| CN116682144B (zh) * | 2023-06-20 | 2023-12-22 | 北京大学 | 一种基于多层次跨模态差异调和的多模态行人重识别方法 |
| CN116861361B (zh) * | 2023-06-27 | 2024-05-03 | 河海大学 | 一种基于图像-文本多模态融合的大坝形变评估方法 |
| CN116612439B (zh) * | 2023-07-20 | 2023-10-31 | 华侨大学 | 模态域适应性和特征鉴别性平衡方法及行人再辨识方法 |
| CN117935172A (zh) * | 2024-03-21 | 2024-04-26 | 南京信息工程大学 | 一种基于光谱信息过滤的可见光红外行人重识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180173940A1 (en) * | 2016-12-19 | 2018-06-21 | Canon Kabushiki Kaisha | System and method for matching an object in captured images |
| CN109635728A (zh) * | 2018-12-12 | 2019-04-16 | 中山大学 | 一种基于非对称度量学习的异构行人再识别方法 |
| CN109740413A (zh) * | 2018-11-14 | 2019-05-10 | 平安科技（深圳）有限公司 | 行人重识别方法、装置、计算机设备及计算机存储介质 |
| CN110909605A (zh) * | 2019-10-24 | 2020-03-24 | 西北工业大学 | 基于对比相关的跨模态行人重识别方法 |
| CN111325115A (zh) * | 2020-02-05 | 2020-06-23 | 山东师范大学 | 带有三重约束损失的对抗跨模态行人重识别方法和系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020083831A1 (en) * | 2018-10-22 | 2020-04-30 | Future Health Works Ltd. | Computer based object detection within a video or image |
| CN110598654B (zh) * | 2019-09-18 | 2022-02-11 | 合肥工业大学 | 多粒度交叉模态特征融合行人再识别方法和再识别系统 |
| CN111260594B (zh) * | 2019-12-22 | 2023-10-31 | 天津大学 | 一种无监督的多模态图像融合方法 |
| CN112016401B (zh) * | 2020-08-04 | 2024-05-17 | 杰创智能科技股份有限公司 | 基于跨模态行人重识别方法及装置 |
-
2020
- 2020-08-04 CN CN202010772750.6A patent/CN112016401B/zh active Active
-
2021
- 2021-03-31 WO PCT/CN2021/084753 patent/WO2022027986A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180173940A1 (en) * | 2016-12-19 | 2018-06-21 | Canon Kabushiki Kaisha | System and method for matching an object in captured images |
| CN109740413A (zh) * | 2018-11-14 | 2019-05-10 | 平安科技（深圳）有限公司 | 行人重识别方法、装置、计算机设备及计算机存储介质 |
| WO2020098158A1 (zh) * | 2018-11-14 | 2020-05-22 | 平安科技（深圳）有限公司 | 行人重识别方法、装置及计算机可读存储介质 |
| CN109635728A (zh) * | 2018-12-12 | 2019-04-16 | 中山大学 | 一种基于非对称度量学习的异构行人再识别方法 |
| CN110909605A (zh) * | 2019-10-24 | 2020-03-24 | 西北工业大学 | 基于对比相关的跨模态行人重识别方法 |
| CN111325115A (zh) * | 2020-02-05 | 2020-06-23 | 山东师范大学 | 带有三重约束损失的对抗跨模态行人重识别方法和系统 |
Non-Patent Citations (2)
| Title |
|---|
| HANRONG YE等: "Bi-directional Exponential Angular Triplet Loss for RGB-Infrared Person Re-Identification", 《ARXIV:2006.00878V3》 * |
| 罗浩等: "基于深度学习的行人重识别研究进展", 《自动化学报》, vol. 45, no. 11 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022027986A1 (zh) * | 2020-08-04 | 2022-02-10 | 杰创智能科技股份有限公司 | 基于跨模态行人重识别方法及装置 |
| CN112380369A (zh) * | 2021-01-15 | 2021-02-19 | 长沙海信智能系统研究院有限公司 | 图像检索模型的训练方法、装置、设备和存储介质 |
| CN112380369B (zh) * | 2021-01-15 | 2021-05-28 | 长沙海信智能系统研究院有限公司 | 图像检索模型的训练方法、装置、设备和存储介质 |
| CN114882525A (zh) * | 2022-04-21 | 2022-08-09 | 中国科学技术大学 | 基于模态特定记忆网络的跨模态行人重识别方法 |
| CN114882525B (zh) * | 2022-04-21 | 2024-04-02 | 中国科学技术大学 | 基于模态特定记忆网络的跨模态行人重识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112016401B (zh) | 2024-05-17 |
| WO2022027986A1 (zh) | 2022-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112016401B (zh) | 基于跨模态行人重识别方法及装置 | |
| CN107832672B (zh) | 一种利用姿态信息设计多损失函数的行人重识别方法 | |
| CN111488756B (zh) | 基于面部识别的活体检测的方法、电子设备和存储介质 | |
| CN103207898B (zh) | 一种基于局部敏感哈希的相似人脸快速检索方法 | |
| CN111767882A (zh) | 一种基于改进yolo模型的多模态行人检测方法 | |
| CN113033465B (zh) | 活体检测模型训练方法、装置、设备以及存储介质 | |
| US10445602B2 (en) | Apparatus and method for recognizing traffic signs | |
| Bedagkar-Gala et al. | Multiple person re-identification using part based spatio-temporal color appearance model | |
| Kang et al. | Pairwise relational networks for face recognition | |
| CN111611874B (zh) | 基于ResNet和Canny的人脸口罩佩戴检测方法 | |
| Wang et al. | An effective method for plate number recognition | |
| Türkyılmaz et al. | License plate recognition system using artificial neural networks | |
| Lee et al. | Place recognition using straight lines for vision-based SLAM | |
| CN109376604B (zh) | 一种基于人体姿态的年龄识别方法和装置 | |
| CN112016402B (zh) | 基于无监督学习的行人重识别领域自适应方法及装置 | |
| Liu et al. | Regularization based iterative point match weighting for accurate rigid transformation estimation | |
| CN104281572A (zh) | 一种基于互信息的目标匹配方法及其系统 | |
| JP2018142189A (ja) | プログラム、測距方法、及び測距装置 | |
| CN111738120B (zh) | 人物识别方法、装置、电子设备及存储介质 | |
| CN111695373A (zh) | 斑马线的定位方法、系统、介质及设备 | |
| Zhang et al. | A deep neural network-based vehicle re-identification method for bridge load monitoring | |
| Gervei et al. | 3D face recognition using modified PCA methods | |
| Narang et al. | Robust face recognition method based on SIFT features using Levenberg-Marquardt Backpropagation neural networks | |
| Ali et al. | On-road vehicle detection using support vector machine and decision tree classifications | |
| CN114882525B (zh) | 基于模态特定记忆网络的跨模态行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |