CN117315430A - 面向大范围车辆再辨识的不完备模态特征融合方法 - Google Patents

面向大范围车辆再辨识的不完备模态特征融合方法 Download PDF

Info

Publication number
CN117315430A
CN117315430A CN202311595144.1A CN202311595144A CN117315430A CN 117315430 A CN117315430 A CN 117315430A CN 202311595144 A CN202311595144 A CN 202311595144A CN 117315430 A CN117315430 A CN 117315430A
Authority
CN
China
Prior art keywords
channel model
representing
feature
channel
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311595144.1A
Other languages
English (en)
Other versions
CN117315430B (zh
Inventor
许恒
黄诚惕
洪岚
朱建清
黄麟涵
陈宇涛
潘文杰
曾焕强
蔡灿辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huaqiao University
Original Assignee
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huaqiao University filed Critical Huaqiao University
Priority to CN202311595144.1A priority Critical patent/CN117315430B/zh
Publication of CN117315430A publication Critical patent/CN117315430A/zh
Application granted granted Critical
Publication of CN117315430B publication Critical patent/CN117315430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明一种面向大范围车辆再辨识的不完备模态特征融合方法，涉及图像处理技术领域，包括：训练包括三通道模型和单通道模型的双模态模型，对可见光车辆图像，采用三通道模型提取主特征，辅以图像灰度化，采用单通道模型提取辅助特征；对红外光车辆图像，采用单通道模型提取主特征，辅以通道复制扩展，采用三通道模型提取辅助特征；将主特征和辅特征叠加获得完整特征，利用KL散度优化完整、主、辅特征三者之间后验概率分布差异，优化特征融合效果。本发明能解决在长时间大范围的监控场景中车辆因活动轨迹复杂多变出现的模态不完备问题，即可见光和红外车辆图像不完备而无法直接实现可见光和红外图像的特征融合问题，提升车辆再辨识准确性。

Description

面向大范围车辆再辨识的不完备模态特征融合方法
技术领域
本发明涉及图像处理、机器视觉、深度学习、智能视频监控领域，特别涉及一种面向大范围车辆再辨识的不完备模态特征融合方法。
背景技术
车辆再辨识旨在从大规模的车辆图像库中检索出与待查询车辆图像具有相同身份的感兴趣车辆图像，其实质为图像匹配问题。但是，在实际的长时间大范围的监控场景中，车辆再辨识经常面临模态不完备问题，即因为车辆活动轨迹、活动时间不同，不能保证每一车辆都能同时具备可见光和红外光车辆图像，无法直接实现可见光和红外光图像的特征融合，只能进行跨模态车辆图像匹配，又因可见光和红外图像之间巨大的模态差异导致匹配效果不佳，造成车辆再辨识准确率低下。
发明内容
针对现有技术的问题，本发明的目的在于提供一种面向大范围车辆再辨识的不完备模态特征融合方法，能够支持模态不完备情况下通过特征融合的方式学习近似的模态完整特征，从而提高车辆再辨识能力。
本发明采用如下技术方案：
一种面向大范围车辆再辨识的不完备模态特征融合方法，包括：
训练包括三通道模型和单通道模型的双模态模型；基于所述双模态模型，对可见光车辆图像，采用三通道模型提取主特征，并将可见光车辆图像灰度化后采用单通道模型提取辅助特征，再将主特征和辅助特征融合作为可见光车辆图像的完整特征；对红外光车辆图像，采用单通道模型提取主特征，并将红外光车辆图像复制扩展为三通道图像，采用三通道模型提取辅助特征，再将主特征和辅助特征融合作为红外光车辆图像的完整特征，具体步骤如下：
将单通道的红外光车辆图像复制扩展为三通道图像，并和可见光车辆图像联合训练三通道模型，如下式所示：
其中，TM表示三通道模型，表示三通道模型的网络参数；/>表示三通道模型交叉熵损失函数；/>表示第/>张车辆图像；/>表示图像数量；/>表示属于第/>类的第/>张车辆图像的/>维独热编码向量，在该向量中第/>个元素取值为1，余下元素取值为0；/>等于类别数量；/>表示三通道模型全连接层中类别/>对应的权重参数，T是转置操作，/>表示相应的偏置参数；/>表示车辆图像/>经过三通道模型提取的特征，若/>为红外光车辆图像，则/>为辅助特征，Rep表示通道复制函数；若/>为可见光车辆图像，则/>为主特征。
将可见光车辆图像灰度化，并和红外光车辆图像联合训练单通道模型，如下式所示：
其中，SM表示单通道模型，表示单通道模型的网络参数；/>表示单通道模型交叉熵损失函数；/>表示第/>张车辆图像；/>表示图像数量；/>表示属于第/>类的第/>张车辆图像的/>维独热编码向量，在该向量中第/>个元素取值为1，余下元素取值为0；/>等于类别数量；/>表示单通道模型全连接层中类别/>对应的权重参数，T是转置操作，/>表示相应的偏置参数；/>表示车辆图像/>经过单通道模型提取的特征，若/>为可见光车辆图像，则/>为辅助特征，Gray表示灰度化函数，/>表示/>的红色通道图像；/>表示/>的绿色通道图像；表示/>的蓝色通道图像；若/>为红外光车辆图像，则/>为主特征。
将主特征和辅助特征融合作为图像的完整特征，如下式所示：
其中，表示特征融合后的完整特征。
优选的，所述的面向大范围车辆再辨识的不完备模态特征融合方法，还包括：在特征融合后的完整特征上加设目标函数驱动三通道模型和单通道模型再辨识协同学习，实现特征融合总体优化，如下式所示：
其中，表示完整特征对应的交叉熵损失函数；/>表示完整特征与三通道模型提取特征的KL散度以及完整特征与单通道模型提取特征之间KL散度之和；/>表示温度系数，用于软化后验概率分布。
优选的，所述的完整特征对应的交叉熵损失函数，如下式所示：
其中，表示完整特征对应的全连接层中类别/>对应的权重参数，/>表示相应的偏置参数。
优选的，所述完整特征与三通道模型提取特征的KL散度以及完整特征与单通道模型提取特征之间KL散度之和，如下式所示：
其中，，/>，分别表示完整特征的后验概率分布、三通道模型提取特征的后验概率分布和单通道模型提取特征的后验概率分布；/>表示完整特征对应的全连接层中类别/>对应的权重参数，/>表示相应的偏置参数；/>表示三通道模型全连接层中类别/>对应的权重参数，/>表示相应的偏置参数；/>表示单通道模型全连接层中类别/>对应的权重参数，/>表示相应的偏置参数；/>表示温度系数，用于软化后验概率分布；T是转置操作。与现有技术相比，本发明的有益效果如下：
本发明对可见光车辆图像，采用三通道模型提取主特征，辅以图像灰度化，采用单通道模型提取辅助特征；对红外光车辆图像，采用单通道模型提取主特征，辅以通道复制扩展，采用三通道模型提取辅助特征；然后将主特征和辅特征叠加获得完整特征，利用KL散度优化完整、主、辅特征三者之间后验概率分布差异，优化特征融合效果，无需完备的可见光图像和红外光图像即可实现特征融合，能够提升车辆再辨识在长时间大范围监控场景中的实战能力。
附图说明
图1为本发明实施例的面向大范围车辆再辨识的不完备模态特征融合方法的流程图；
图2(a)为本发明实施例的可见光三通道模型训练示意图；图2(b) 为本发明实施例的红外光单通道模型训练示意图；
图3为本发明实施例的双模态模型的训练示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
参见图1所示，本实施例一种面向大范围车辆再辨识的不完备模态特征融合方法，
训练阶段包括如下步骤：
步骤1，获取可见光车辆图像和红外光车辆图像作为训练样本；其中，每个图像配有身份标识作为标签。
步骤2，利用模态独立学习方式分别训练三通道模型和单通道模型。
步骤2.1 构建三通道模型和单通道模型。如图2(a)和2(b)所示，三通道模型采用ResNet50网络，该网络包括：三通道茎（Stem）层、四个残差组(Layer1、Layer2、Layer3、Layer4)、广义均值池化(Generalized Mean Pooling, GeP)层和批量归一化(BatchNormalization, BN)层。类似地，单通道模型也采用ResNet50网络，该网络包括：单通道茎层、四个残差组、广义均值池化层和批量归一化层。需要指出的是，三通道茎层和单通道茎层，皆由卷积(Convolutional, Conv)层、修正线性单元(Rectified Liner Unit, ReLU)激活函数、批量归一化层、最大池化层(Max Pooling, MP)组成，所不同的是三通道茎层的卷积层卷积核为3×64×3×3，而单通道茎层的卷积层卷积核1×64×3×3，分别用于处理三通道的可见光图像和单通道的红外光图像。
步骤2.2，构建三通道模型和单通道模型交叉熵损失函数，保证可见光模态下的鉴别性模型和红外光模态下的鉴别性模型，分别如公式(1)和公式(2)所示：
(1)
其中，TM表示三通道模型，表示三通道模型的网络参数；/>表示三通道模型交叉熵损失函数；/>表示第/>张车辆可见光图像；/>表示可见光图像数量；/>表示属于第/>类的第/>张车辆可见光图像的/>维独热编码向量，在该向量中第/>个元素取值为1，余下元素取值为0；/>等于类别数量；/>表示三通道模型全连接层中类别/>对应的权重参数，T是转置操作，/>表示相应的偏置参数；/>表示车辆可见光图像经过三通道模型提取的特征。
(2)
其中，SM表示单通道模型，表示单通道模型的网络参数；/>表示单通道模型交叉熵损失函数；/>表示第/>张车辆红外光图像；/>表示红外光图像数量；/>表示属于第/>类的第/>张车辆红外光图像的/>维独热编码向量，在该向量中第/>个元素取值为1，余下元素取值为0；/>等于类别数量；/>表示单通道模型全连接层中类别/>对应的权重参数，T是转置操作，/>表示相应的偏置参数；/>表示车辆红外光图像经过单通道模型提取的特征。
步骤2.3 利用批量梯度下降法优化公式（1）和（2），训练三通道模型和单通道模型，获得模态独立学习的三通道模型和单通道模型。
步骤3，设计双模态协同学习方式，对获得的模态独立学习的三通道模型和单通道模型进行协同学习。对可见光车辆图像，采用三通道模型提取主特征，并将可见光车辆图像灰度化后采用单通道模型提取辅助特征，再将主特征和辅助特征融合作为可见光车辆图像的完整特征；类似地，对红外光车辆图像，采用单通道模型提取主特征，并将红外光车辆图像复制扩展为三通道图像，采用三通道模型提取辅助特征，再将主特征和辅助特征融合作为红外光车辆图像的完整特征。参见图3，具体包括以下步骤。
步骤3.1，将单通道的红外光车辆图像复制扩展为三通道图像，并和可见光车辆图像联合训练三通道模型，如公式(3)所示：
(3)
其中，TM表示三通道模型，表示三通道模型的网络参数；/>表示三通道模型交叉熵损失函数；/>表示第/>张车辆图像；/>表示图像数量；/>表示属于第/>类的第/>张车辆图像的/>维独热编码向量，在该向量中第/>个元素取值为1，余下元素取值为0；/>等于类别数量； />表示三通道模型全连接层中类别/>对应的权重参数，T是转置操作，/>表示相应的偏置参数；/>表示车辆图像/>经过三通道模型提取的特征，若/>为红外光车辆图像，则/>为辅助特征，Rep表示通道复制函数；若/>为可见光车辆图像，则/>为主特征。
步骤3.2，将可见光车辆图像灰度化，并和红外光车辆图像联合训练单通道模型，如公式(4)所示：
(4)
其中，SM表示单通道模型，表示单通道模型的网络参数；/>表示单通道模型交叉熵损失函数；/>表示第/>张车辆图像；/>表示图像数量；/>表示属于第/>类的第/>张车辆图像的/>维独热编码向量，在该向量中第/>个元素取值为1，余下元素取值为0；/>等于类别数量；/>表示单通道模型全连接层中类别/>对应的权重参数，T是转置操作，/>表示相应的偏置参数；/>表示车辆图像/>经过单通道模型提取的特征，若/>为可见光车辆图像，则/>为辅助特征，Gray表示灰度化函数，/>表示/>的红色通道图像；/>表示/>的绿色通道图像；表示/>的蓝色通道图像；若/>为红外光车辆图像，则/>为主特征。
步骤3.3，将主特征和辅助特征融合作为图像的完整特征，如公式(5)所示：
(5)
其中，表示特征融合后的完整特征。
步骤3.4，构建完整特征对应的交叉熵损失函数，如公式(6)所示，
(6)
其中，表示完整特征对应的全连接层中类别/>对应的权重参数，/>表示相应的偏置参数。
步骤3.5，利用完整特征与三通道模型提取特征的KL散度以及完整特征与单通道模型提取特征之间KL散度之和，进行协同学习，如公式(7)所示：
(7)
其中，，/>，分别表示完整特征的后验概率分布、三通道模型提取特征的后验概率分布和单通道模型提取特征的后验概率分布；/>表示完整特征对应的全连接层中类别/>对应的权重参数，/>表示相应的偏置参数；/>表示三通道模型全连接层中类别/>对应的权重参数，/>表示相应的偏置参数；/>表示单通道模型全连接层中类别/>对应的权重参数，/>表示相应的偏置参数；/>表示温度系数，用于软化后验概率分布；T是转置操作。
步骤3.6，在完整特征后加设目标函数驱动三通道和单通道车辆再辨识协同学习，实现特征融合总体优化，如公式(8)所示：
(8)
其中，表示完整特征对应的交叉熵损失函数；/>表示完整特征与三通道模型提取特征的KL散度以及完整特征与单通道模型提取特征之间KL散度之和；/>表示温度系数，用于软化后验概率分布。
步骤3.7，利用批量梯度下降法优化公式（8），协同训练三通道模型和单通道模型，获得最终的三通道模型和单通道模型，用于不完备模态车辆再辨识的测试。
本实施例一种面向大范围车辆再辨识的不完备模态特征融合方法，测试阶段包括：
利用训练好的双模态协同学习模型，分别提取待查询车辆图像和候选库中每个车辆的可见光图像和红外光图像的特征向量，将提取的主特征和辅助特征融合作为待查询车辆图像和候选库中车辆图像的完整特征，计算待查询车辆图像的完整特征与候选库中每个车辆图像的完整特征之间的欧氏距离，欧氏距离越小表示两张图像的相似度越大，从而获取待查询车辆图像与候选库中每个车辆图像的相似度关系。根据所得到的相似度大小进行降序排序，并输出识别结果，若输出识别结果排序第一的图像与待查询图像具有相同身份标签，说明本次查询成功，否则，查询失败。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神范围。

Claims (4)

1.一种面向大范围车辆再辨识的不完备模态特征融合方法，其特征在于，包括：
训练包括三通道模型和单通道模型的双模态模型；基于所述双模态模型，对可见光车辆图像，采用三通道模型提取主特征，并将可见光车辆图像灰度化后采用单通道模型提取辅助特征，再将主特征和辅助特征融合作为可见光车辆图像的完整特征；对红外光车辆图像，采用单通道模型提取主特征，并将红外光车辆图像复制扩展为三通道图像，采用三通道模型提取辅助特征，再将主特征和辅助特征融合作为红外光车辆图像的完整特征，具体步骤如下：
将单通道的红外光车辆图像复制扩展为三通道图像，并和可见光车辆图像联合训练三通道模型，如下式所示：
；
其中，TM表示三通道模型，表示三通道模型的网络参数；/>表示三通道模型交叉熵损失函数；Xi表示第i张车辆图像；n表示图像数量；/>表示属于第c类的第i张车辆图像的m维独热编码向量，在该向量中第c个元素取值为1，余下元素取值为0；m等于类别数量；表示三通道模型全连接层中类别c对应的权重参数，T是转置操作，/>表示相应的偏置参数；/>表示车辆图像Xi经过三通道模型提取的特征，若Xi为红外光车辆图像，则/>为辅助特征，Rep表示通道复制函数；若Xi为可见光车辆图像，则/>为主特征；
将可见光车辆图像灰度化，并和红外光车辆图像联合训练单通道模型，如下式所示：
；
其中，SM表示单通道模型，表示单通道模型的网络参数；/>表示单通道模型交叉熵损失函数；Xi表示第i张车辆图像；n表示图像数量；/>表示属于第c类的第i张车辆图像的m维独热编码向量，在该向量中第c个元素取值为1，余下元素取值为0；m等于类别数量；表示单通道模型全连接层中类别c对应的权重参数，T是转置操作，/>表示相应的偏置参数；/>表示车辆图像Xi经过单通道模型提取的特征，若Xi为可见光车辆图像，则/>为辅助特征，Gray表示灰度化函数，/>表示Xi的红色通道图像；/>表示Xi的绿色通道图像；/>表示Xi的蓝色通道图像；若Xi为红外光车辆图像，则/>为主特征；
将主特征和辅助特征融合作为图像的完整特征，如下式所示：
；
其中，表示特征融合后的完整特征；
在特征融合后的完整特征上加设目标函数驱动三通道模型和单通道模型再辨识协同学习，实现特征融合总体优化。
2.根据权利要求1所述的面向大范围车辆再辨识的不完备模态特征融合方法，其特征在于，在特征融合后的完整特征上加设目标函数驱动三通道模型和单通道模型再辨识协同学习，实现特征融合总体优化，如下式所示：
；
其中，表示完整特征对应的交叉熵损失函数；/>表示完整特征与三通道模型提取特征的KL散度以及完整特征与单通道模型提取特征之间KL散度之和；/>表示温度系数，用于软化后验概率分布。
3.根据权利要求2所述的面向大范围车辆再辨识的不完备模态特征融合方法，其特征在于，所述的完整特征对应的交叉熵损失函数，如下式所示：
；
其中，表示完整特征对应的全连接层中类别c对应的权重参数，/>表示相应的偏置参数。
4.根据权利要求3所述的面向大范围车辆再辨识的不完备模态特征融合方法，其特征在于，所述完整特征与三通道模型提取特征的KL散度以及完整特征与单通道模型提取特征之间KL散度之和，如下式所示：
；
其中，，/>，分别表示完整特征的后验概率分布、三通道模型提取特征的后验概率分布和单通道模型提取特征的后验概率分布；/>表示完整特征对应的全连接层中类别o对应的权重参数，/>表示相应的偏置参数；/>表示三通道模型全连接层中类别o对应的权重参数，/>表示相应的偏置参数；/>表示单通道模型全连接层中类别o对应的权重参数，/>表示相应的偏置参数；/>表示温度系数，用于软化后验概率分布；T是转置操作。
CN202311595144.1A 2023-11-28 2023-11-28 面向大范围车辆再辨识的不完备模态特征融合方法 Active CN117315430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311595144.1A CN117315430B (zh) 2023-11-28 2023-11-28 面向大范围车辆再辨识的不完备模态特征融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311595144.1A CN117315430B (zh) 2023-11-28 2023-11-28 面向大范围车辆再辨识的不完备模态特征融合方法

Publications (2)

Publication Number Publication Date
CN117315430A true CN117315430A (zh) 2023-12-29
CN117315430B CN117315430B (zh) 2024-03-12

Family

ID=89281391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311595144.1A Active CN117315430B (zh) 2023-11-28 2023-11-28 面向大范围车辆再辨识的不完备模态特征融合方法

Country Status (1)

Country Link
CN (1) CN117315430B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
WO2020037594A1 (zh) * 2018-08-23 2020-02-27 合刃科技（深圳）有限公司 一种基于高光谱成像的手势识别方法及装置
KR20210099237A (ko) * 2020-02-03 2021-08-12 고려대학교 산학협력단 다중 영상 융합 방법 및 다중 영상 융합 방법을 수행하는 다중 영상 수술 가이드 장치
CN114663371A (zh) * 2022-03-11 2022-06-24 安徽大学 基于模态独有和共有特征提取的图像显著目标检测方法
CN116612439A (zh) * 2023-07-20 2023-08-18 华侨大学 模态域适应性和特征鉴别性平衡方法及行人再辨识方法
CN116994295A (zh) * 2023-09-27 2023-11-03 华侨大学 基于灰度样本自适应选择门的野生动物类别识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
WO2020037594A1 (zh) * 2018-08-23 2020-02-27 合刃科技（深圳）有限公司 一种基于高光谱成像的手势识别方法及装置
KR20210099237A (ko) * 2020-02-03 2021-08-12 고려대학교 산학협력단 다중 영상 융합 방법 및 다중 영상 융합 방법을 수행하는 다중 영상 수술 가이드 장치
CN114663371A (zh) * 2022-03-11 2022-06-24 安徽大学 基于模态独有和共有特征提取的图像显著目标检测方法
CN116612439A (zh) * 2023-07-20 2023-08-18 华侨大学 模态域适应性和特征鉴别性平衡方法及行人再辨识方法
CN116994295A (zh) * 2023-09-27 2023-11-03 华侨大学 基于灰度样本自适应选择门的野生动物类别识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONG YANG: "Infrared and Visible Image Fusion Based on Modal Feature Fusion Network and Dual Visual Decision", 《2021 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 *
安浩南 等: "基于伪模态转换的红外目标融合检测算法", 《光子学报》, vol. 49, no. 08 *

Also Published As

Publication number Publication date
CN117315430B (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN111104555B (zh) 基于注意力机制的视频哈希检索方法
CN112733866A (zh) 一种提高可控图像文本描述正确性的网络构建方法
CN112308081B (zh) 一种基于注意力机制的图像目标预测方法
CN110442741B (zh) 一种基于张量融合和重排序的跨模态图文互搜方法
CN114648635B (zh) 一种融合标签间强相关性的多标签图像分类方法
Xiong et al. Multi-dimensional edge features graph neural network on few-shot image classification
CN111241326A (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
CN116206327A (zh) 一种基于在线知识蒸馏的图像分类方法
CN114241191A (zh) 一种基于跨模态自注意力的无候选框指代表达理解方法
CN115661539A (zh) 一种嵌入不确定性信息的少样本图像识别方法
CN116258938A (zh) 基于自主进化损失的图像检索与识别方法
CN117315430B (zh) 面向大范围车辆再辨识的不完备模态特征融合方法
CN110796182A (zh) 一种少量样本的票据分类方法及系统
CN114202739A (zh) 视频行人重识别的方法
He et al. TBSN: sparse-transformer based Siamese network for few-shot action recognition
CN117152851B (zh) 基于大模型预训练的人脸、人体协同聚类方法
CN116597177B (zh) 一种基于双分支并行深度交互协同的多源图像块匹配方法
CN117671414A (zh) 一种基于部分卷积嵌入和聚集分发机制的目标检测方法
CN113159071A (zh) 一种跨模态图像-文本关联异常检测方法
CN114821420B (zh) 基于多时间分辨率时态语义聚合网络的时序动作定位方法
CN116610802A (zh) 基于虚拟对抗与双向对比学习有监督文本分类方法及系统
CN110929013A (zh) 一种基于bottom-up attention和定位信息融合的图片问答实现方法
CN116109834A (zh) 一种基于局部正交特征注意力融合的小样本图像分类方法
CN113223006A (zh) 一种基于深度学习的轻量级目标语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant