CN113283507A - 一种基于多视图的特征融合车辆再识别方法 - Google Patents

一种基于多视图的特征融合车辆再识别方法 Download PDF

Info

Publication number
CN113283507A
CN113283507A CN202110586256.5A CN202110586256A CN113283507A CN 113283507 A CN113283507 A CN 113283507A CN 202110586256 A CN202110586256 A CN 202110586256A CN 113283507 A CN113283507 A CN 113283507A
Authority
CN
China
Prior art keywords
network
feature
feature map
features
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110586256.5A
Other languages
English (en)
Other versions
CN113283507B (zh
Inventor
付先平
姚冰
蒋广琪
彭锦佳
王辉兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202110586256.5A priority Critical patent/CN113283507B/zh
Publication of CN113283507A publication Critical patent/CN113283507A/zh
Application granted granted Critical
Publication of CN113283507B publication Critical patent/CN113283507B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多视图的特征融合车辆再识别方法，构建由三个深度网络所构成的多视角特征信息融合网络，分别从车辆的不同角度学习特征。第一个是ResNet网络，可以有效地从每一张图片中提取粗略特征。第二个是通道去除网络，可以过滤一些随机的特征，目的是学习鲁棒性强的特征。另外，ResNet网络和通道去除网络输出的特征图都是深度特征，它们在浅层网络中丢失一些纹理信息。因此，再通过第三个特征图融合网络来融合源于不同网络层的具有代表性的特征。从而，使得最后输出的特征图可以观察到车辆不同角度的特征。

Description

一种基于多视图的特征融合车辆再识别方法
技术领域
本发明涉及车辆重识别技术领域，尤其涉及一种基于多视图的特征融合车辆再识别方法。
背景技术
在非重叠视域角度下的摄像头网络中，车辆重识别的目的是在大量的数据集中寻找同一辆车。这种方法对监控视频的智能分析领域意义重大。对于不同视域角度下的车辆来说，车辆重识别的目标是在大规模的数据集中寻找同一辆车，并且在现实生活中应用十分广泛，例如犯罪检测、停车管理和智能运输等。但是这种方法存在一定的局限性，由于拍摄相机的曝光度、分辨率和焦距的差异，可能导致所拍摄的车牌照照片是模糊的，无法准确识别车辆的牌照。如果车牌照被遮挡，也会增加对目标车辆的搜索难度。
随着深度学习技术的快速发展，基于深度网络的车辆重识别算法已经成为解决车辆重识别领域问题最重要的方法之一。许多泛化能力强的深度网络模型被设计去解决车辆重识别任务。这些方法通过提取车辆的局部特征、关键的属性及各个不同角度的特征，来提高车辆重识别的精度。然而这些方法在实际应用中仍然存在局限性，对于颜色或者车型相似度较高的车辆，车辆重识别的难度较大。此外，现有方法中大多都是侧重从车辆的某一角度的学习特征进行分析，如图2所示，不能够从多视角去描述车辆。
现有技术中也有一些方法提出从多视角学习全局特征图片，例如VAMI、DHMV、VAMI算法，使用跨视角生成对抗网络将车辆特征转换成多视角特征。DHMV是从车辆图片中学习跨视域转换。虽然这些方法从多视域角度提取车辆特征，但在训练reID模型的过程中，是将多个特征图融合成一个特征图，这个特征图仍不能从多视角的角度描述车辆。
发明内容
本发明提供一种基于多视图的特征融合车辆再识别方法，以克服上述技术问题。
本发明一种基于多视图的特征融合车辆再识别方法，包括：
构建多视角特征信息融合网络；所述多视角特征信息融合网络包括：ResNet网络、通道去除网络及特征图融合网络；
将展现车辆特征的第一特征图输入至所述ResNet网络；
所述ResNet网络对所述第一特征图进行改变图片维度、解决退化问题和保存重要特征处理，得到第二特征图并输出至所述通道去除网络；
所述通道去除网络通过去除所述第二特征图中的部分通道特征，来提取所述第二特征图中所涵盖的注意力特征，得到第三特征图并输出至所述特征图融合网络；
所述特征图融合网络包括多个分支网络和用于融合特征图的连接层；多个分支网络分别提取所述第三特征图中的特征，再将各自提取的特征输出至所述连接层进行特征融合，生成第四特征图后从所述多视角特征信息融合网络输出。
进一步地，所述ResNet网络，包括：ConvBlock模块和IdentityBlock模块；所述ConvBlock模块用于改变图片维度；所述IdentityBlock模块用于解决退化问题和保存重要特征；所述ResNet网络将神经元的数量等价于所述车辆的标号。
进一步地，所述通道去除网络的网络结构基于ResNet网络，通过将随机的Dropout层增加到全局平均池化层的上一层，来随机去除空间域注意力集中的像素。
进一步地，所述通道去除网络通过去除所述第二特征图中的部分通道特征，来提取所述第二特征图中所涵盖的注意力特征，包括：
输入的所述第二特征图t∈RC×H×W；所述通道去除网络使用1×1的卷积核减少网络输入的通道数，同时产生所述第二特征图形状大小为被减少维度的数组，然后Dropout分支随机将数组中像素值置为0，此过程由式(1)、(2)表示为：
Figure BDA0003087547960000021
式中，C指的是输入特征图的通道数，X为通道矩阵，Xi,j指的是在特征通道j上的通道i对j的特征补偿；A是通过对输入特征t进行reshape而得到的特征矩阵；
通过式(2)得到所述第二特征图中所涵盖的注意力特征；
M＝X×t (2)
式中，M代表的是网络输出注意力特征；Ce为M中的通道；
将像素值置为0，被去除的通道矩形区域的比率设置为re；计算网络输出注意力特征M的均值mean＝Mean(M)，同时将输出值从上至下排序；最上面的特征re×C被选择设置为0。
进一步地，所述特征图融合网络包括：ResNetBlock2、ResNetBlock3、ResNetBlock4三个分支网络，每个分支网络中均使用空间注意网络和引导注意力网络去定位特征图不同的特征和改变特征的维度。
进一步地，所述多个分支网络分别提取所述第三特征图中的特征，再将各自提取的特征输出至所述连接层进行特征融合，生成第四特征图，包括：
通过式(3)来分别提取所述第三特征图中的特征；
fout＝CA(SA(fin)) (3)
式中，SA表示空间注意网络；CA表示空间注意力机制网络；fin指的是第三特征图，fout是输出的特征；
所述连接层通过式(4)将特征融合；
fg＝[ftwo,fthree,ffour,ffive] (4)
式中，ftwo,fthree,ffour,ffive分别代表从子分支输出的特征。
进一步地，所述构建多视角特征信息融合网络之后，还包括：通过中心损失函数和三重损失函数来优化所述多视角特征信息融合网络；
构建损失函数，表示为：
L＝λLcenter+Ltri (5)
式中，Lcenter代表中心损失函数，Ltri代表三重损失函数；λ是一个平衡中心损失和三重损失的超参数；
其中，所述三重损失函数，表示为：
Figure BDA0003087547960000031
式中，m是训练样本的数量，
Figure BDA0003087547960000032
代表anchor的特征，其中，
Figure BDA0003087547960000033
和
Figure BDA0003087547960000034
为相同的类别，而
Figure BDA0003087547960000035
为不同的类别；
所述中心损失函数，表示为：
Figure BDA0003087547960000041
式中，xi指的是第ith个特征图，属于第yith类别，cyi指的是xi所属特征图的中心。
进一步地，采用ScSPM方法通过式(8)分别对所述第一特征图、第二特征图、第三特征图进行编码；
fs＝ScSPM(fnetwork) (8)
式中，fnetwork代表第一特征图/第二特征图/第三特征图。
进一步地，采用MvDA方法通过式(9)转换所述第一特征图、第二特征图、第三特征图；
Figure BDA0003087547960000042
其中，
Figure BDA0003087547960000043
v是视角的个数；
D和S是类间的特征分散矩阵；
设置约束去增强多个线性变换的一致性，表示为：
Figure BDA0003087547960000044
式中，
Figure BDA0003087547960000045
λ是平衡参数；
通过式(10)的约束，使得所述第一特征图、第二特征图、第三特征图的视角转换具有一致性，表示为：
fc＝MvDA(fs) (11)
式中，fs代表车辆不同视角的特征。
本发明所提出的多视角特征信息融合网络由三个深度网络构成，分别从车辆的不同角度学习特征。第一个是ResNet网络，这个网络可以有效地从每一张图片中提取粗略特征。第二个通道去除网络可以过滤一些随机的特征，目的是学习鲁棒性强的特征。另外，ResNet网络和通道去除网络输出的特征图都是深度特征，它们在浅层网络中丢失一些纹理信息。因此最后一个特征图融合网络融合来源于不同网络层的具有代表性的特征。从而，使得最后输出的特征图可以观察到车辆不同角度的特征。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的方法流程图；
图2为现有技术通过单一角度的车辆图片进行车辆重识别的处理效果；
图3为本发明多视角特征信息融合网络的结构图；
图4为本发明ResNet网络的结构图；
图5为本发明通道去除网络的结构图；
图6为本发明特征图融合网络的结构图；
图7为本发明中遮挡前和遮挡后特征对比图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例提供了一种基于多视图的特征融合车辆再识别方法，包括：
101、构建多视角特征信息融合网络；多视角特征信息融合网络包括：ResNet网络、通道去除网络及特征图融合网络；
具体而言，为了从车辆图像中提取到更清晰且角度不同的车辆特征，需构建一个基于卷积神经网络的多视角特征信息融合网络框架。如图3所示，这个网络框架由三个深度网络构成，分别从车辆的不同角度学习特征。第一个是ResNet网络，这个网络可以有效地从每一张图片中提取粗略特征。由于数据集尺寸的限制，一些图片不能被相机抓拍，例如被严重遮挡的图片。第二个是通道去除网络(The Local Channel Drop Network)，第二个网络可以过滤一些随机的特征，目的是学习鲁棒性强的特征。第三个是特征图融合网络(MultiCues Network)，由于第一个和第二个网络输出的特征图都是深度特征，它们在浅层网络中丢失一些纹理信息。因此，通过第三个网络融合来源于不同网络层的具有代表性的特征。
构建了多视角特征信息融合网络后，可以通过中心损失函数和三重损失函数来对多视角特征信息融合网络进行优化，主要是优化网络模型的一些重要参数。
首先，构建损失函数，表示为：
L＝λLcenter+Ltri (1)
式中，Lcenter代表中心损失函数，Ltri代表三重损失函数；λ是一个平衡中心损失和三重损失的超参数；
其中，三重损失函数，表示为：
Figure BDA0003087547960000061
式中，m是训练样本的数量，
Figure BDA0003087547960000062
代表anchor的特征，其中，
Figure BDA0003087547960000063
和
Figure BDA0003087547960000064
为相同的类别，而
Figure BDA0003087547960000065
为不同的类别；
中心损失函数，表示为：
Figure BDA0003087547960000066
式中，xi指的是第ith个特征图，属于第yith类别，
Figure BDA0003087547960000067
指的是xi所属特征图的中心。
多视角特征信息融合网络中的交叉熵损失函数(cross-entropy loss)通过softmax方法来计算的，表示为：
Figure BDA0003087547960000068
式中，参数m指的是在训练过程中mini-batch的尺寸，n代表的是训练集中类别的数量，xi是特征图的下标，属于yith类，d代表的是特征图维度，Wj指的是第jth列的权重，b代表的是偏置项(bias)。
102、将展现车辆特征的第一特征图输入至ResNet网络；
具体而言，第一特征图是高清相机或摄像头拍摄到的车辆不同角度的图片，可以输入一张也可以输入多张不同角度的特征图。
103、ResNet网络对第一特征图进行改变图片维度、解决退化问题和保存重要特征处理，得到第二特征图并输出至通道去除网络；
具体而言，如图4所示，ResNet网络，包括：ConvBlock模块和IdentityBlock模块；ConvBlock模块用于改变图片维度；IdentityBlock模块用于解决退化问题和保存重要特征；将ResNet网络的最后一层用全连接层进行替换用于分类，同时将该网络神经元的数量等价于车辆的标号。
104、通道去除网络通过去除第二特征图中的部分通道特征，来提取第二特征图中所涵盖的注意力特征，得到第三特征图并输出至特征图融合网络；
具体而言，如图5所示，通道去除网络的网络结构基于ResNet网络，该网络的作用是去除车辆被遮挡的区域，遮挡对比如图7所示，同时学习注意力集中和潜在明显的局部区域。由于数据集尺寸的限制，一些图片不能被相机拍摄到，例如严重遮挡的图片。因此，该网络通过去除重要的通道特征信息，查找车辆图像中所涵盖隐藏特征，以及车辆图像中重要而又细小的特征。主要方法是通过将随机的Dropout层增加到全局平均池化层的上一层，来随机去除空间域注意力集中的像素。具体通过以下计算来实现：
输入的第二特征图t∈RC×H×W；通道去除网络使用1×1的卷积核减少网络输入的通道数，同时产生第二特征图形状大小为被减少维度的数组，然后Dropout分支随机将数组中像素值置为0，此过程由式(5)、(6)表示为：
Figure BDA0003087547960000071
式中，C指的是输入特征图的通道数，X为通道矩阵，Xi,j指的是在特征通道j上的通道i对j的特征补偿；A是通过对输入特征t进行reshape而得到的特征矩阵；
通过式(6)得到第二特征图中所涵盖的注意力特征；
M＝X×t (6)
式中，M代表的是网络输出注意力特征；Ce为M中的通道；
将像素值置为0，被去除的通道矩形区域的比率设置为re；计算网络输出注意力特征M的均值mean＝Mean(M)，同时将输出值从上至下排序；最上面的特征re×C被选择设置为0。
105、特征图融合网络包括多个分支网络和用于融合特征图的连接层；多个分支网络分别提取第三特征图中的特征，再将各自提取的特征输出至连接层进行特征融合，生成第四特征图后从多视角特征信息融合网络输出。
具体而言，如图6所示，特征图融合网络包括：ResNetBlock2、ResNetBlock3、ResNetBlock4三个分支网络，每个分支网络中均使用空间注意网络和引导注意力网络去定位特征图不同的特征和改变特征的维度。
通过式(7)来分别提取第三特征图中的特征；
fout＝CA(SA(fin)) (7)
式中，SA表示空间注意网络；CA表示空间注意力机制网络；fin指的是第三特征图，fout是输出的特征；
连接层通过式(8)将特征融合；
fg＝[ftwo,fthree,ffour,ffive] (8)
式中，ftwo,fthree,ffour,ffive分别代表从子分支输出的特征。
本实施例中，为了提升特征图扩展性，采用ScSPM方法通过式(9)分别对第一特征图、第二特征图、第三特征图进行编码；
fs＝ScSPM(fnetwork) (9)
式中，fnetwork代表第一特征图/第二特征图/第三特征图。
本实施例中，通过MvDA方法来以不同的non-pairwise方式转换特征图，转换后的特征图更加适合本专利方法的需要。
通过式(10)转换第一特征图、第二特征图、第三特征图；
Figure BDA0003087547960000081
其中，
Figure BDA0003087547960000082
v是视角的个数；
D和S是类间的特征分散矩阵；
设置约束去增强多个线性变换的一致性，表示为：
Figure BDA0003087547960000083
式中，
Figure BDA0003087547960000084
λ是平衡参数；
通过式(11)的约束，使得第一特征图、第二特征图、第三特征图的视角转换具有一致性，表示为：
fc＝MvDA(fs) (12)
式中，fs代表车辆不同视角的特征。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种基于多视图的特征融合车辆再识别方法，其特征在于，包括：
构建多视角特征信息融合网络；所述多视角特征信息融合网络包括：ResNet网络、通道去除网络及特征图融合网络；
将展现车辆特征的第一特征图输入至所述ResNet网络；
所述ResNet网络对所述第一特征图进行改变图片维度、解决退化问题和保存重要特征处理，得到第二特征图并输出至所述通道去除网络；
所述通道去除网络通过去除所述第二特征图中的部分通道特征，来提取所述第二特征图中所涵盖的注意力特征，得到第三特征图并输出至所述特征图融合网络；
所述特征图融合网络包括多个分支网络和用于融合特征图的连接层；多个分支网络分别提取所述第三特征图中的特征，再将各自提取的特征输出至所述连接层进行特征融合，生成第四特征图后从所述多视角特征信息融合网络输出。
2.根据权利要求1所述的一种基于多视图的特征融合车辆再识别方法，其特征在于，所述ResNet网络，包括：ConvBlock模块和IdentityBlock模块；所述ConvBlock模块用于改变图片维度；所述IdentityBlock模块用于解决退化问题和保存重要特征；所述ResNet网络将神经元的数量等价于所述车辆的标号。
3.根据权利要求2所述的一种基于多视图的特征融合车辆再识别方法，其特征在于，所述通道去除网络的网络结构基于ResNet网络，通过将随机的Dropout层增加到全局平均池化层的上一层，来随机去除空间域注意力集中的像素。
4.根据权利要求3所述的一种基于多视图的特征融合车辆再识别方法，其特征在于，所述通道去除网络通过去除所述第二特征图中的部分通道特征，来提取所述第二特征图中所涵盖的注意力特征，包括：
输入的所述第二特征图t∈RC×H×W；所述通道去除网络使用1×1的卷积核减少网络输入的通道数，同时产生所述第二特征图形状大小为被减少维度的数组，然后Dropout分支随机将数组中像素值置为0，此过程由式(1)、(2)表示为：
Figure FDA0003087547950000021
式中，C指的是输入特征图的通道数，X为通道矩阵，Xi,j指的是在特征通道j上的通道i对j的特征补偿；A是通过对输入特征t进行reshape而得到的特征矩阵；
通过式(2)得到所述第二特征图中所涵盖的注意力特征；
M＝X×t (2)
式中，M代表的是网络输出注意力特征；Ce为M中的通道；
将像素值置为0，被去除的通道矩形区域的比率设置为re；计算网络输出注意力特征M的均值mean＝Mean(M)，同时将输出值从上至下排序；最上面的特征re×C被选择设置为0。
5.根据权利要求4所述的一种基于多视图的特征融合车辆再识别方法，其特征在于，所述特征图融合网络包括：ResNetBlock2、ResNetBlock3、ResNetBlock4三个分支网络，每个分支网络中均使用空间注意网络和引导注意力网络去定位特征图不同的特征和改变特征的维度。
6.根据权利要求5所述的一种基于多视图的特征融合车辆再识别方法，其特征在于，所述多个分支网络分别提取所述第三特征图中的特征，再将各自提取的特征输出至所述连接层进行特征融合，生成第四特征图，包括：
通过式(3)来分别提取所述第三特征图中的特征；
fout＝CA(SA(fin)) (3)
式中，SA表示空间注意网络；CA表示空间注意力机制网络；fin指的是第三特征图，fout是输出的特征；
所述连接层通过式(4)将特征融合；
fg＝[ftwo,fthree,ffour,ffive] (4)
式中，ftwo,fthree,ffour,ffive分别代表从子分支输出的特征。
7.根据权利要求6所述的一种基于多视图的特征融合车辆再识别方法，其特征在于，所述构建多视角特征信息融合网络之后，还包括：通过中心损失函数和三重损失函数来优化所述多视角特征信息融合网络；
构建损失函数，表示为：
L＝λLcenter+Ltri (5)
式中，Lcenter代表中心损失函数，Ltri代表三重损失函数；λ是一个平衡中心损失和三重损失的超参数；
其中，所述三重损失函数，表示为：
Figure FDA0003087547950000031
式中，m是训练样本的数量，
Figure FDA0003087547950000032
代表anchor的特征，其中，
Figure FDA0003087547950000033
和
Figure FDA0003087547950000034
为相同的类别，而
Figure FDA0003087547950000035
为不同的类别；
所述中心损失函数，表示为：
Figure FDA0003087547950000036
式中，xi指的是第ith个特征图，属于第yith类别，cyi指的是xi所属特征图的中心。
8.根据权利要求7所述的一种基于多视图的特征融合车辆再识别方法，其特征在于，采用ScSPM方法通过式(8)分别对所述第一特征图、第二特征图、第三特征图进行编码；
fs＝ScSPM(fnetwork) (8)
式中，fnetwork代表第一特征图/第二特征图/第三特征图。
9.根据权利要求8所述的一种基于多视图的特征融合车辆再识别方法，其特征在于，采用MvDA方法通过式(9)转换所述第一特征图、第二特征图、第三特征图；
Figure FDA0003087547950000037
其中，
Figure FDA0003087547950000038
v是视角的个数；
D和S是类间的特征分散矩阵；
设置约束去增强多个线性变换的一致性，表示为：
Figure FDA0003087547950000039
式中，
Figure FDA00030875479500000310
λ是平衡参数；
通过式(10)的约束，使得所述第一特征图、第二特征图、第三特征图的视角转换具有一致性，表示为：
fc＝MvDA(fs) (11)
式中，fs代表车辆不同视角的特征。
CN202110586256.5A 2021-05-27 2021-05-27 一种基于多视图的特征融合车辆再识别方法 Active CN113283507B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110586256.5A CN113283507B (zh) 2021-05-27 2021-05-27 一种基于多视图的特征融合车辆再识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110586256.5A CN113283507B (zh) 2021-05-27 2021-05-27 一种基于多视图的特征融合车辆再识别方法

Publications (2)

Publication Number Publication Date
CN113283507A true CN113283507A (zh) 2021-08-20
CN113283507B CN113283507B (zh) 2024-04-05

Family

ID=77282151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110586256.5A Active CN113283507B (zh) 2021-05-27 2021-05-27 一种基于多视图的特征融合车辆再识别方法

Country Status (1)

Country Link
CN (1) CN113283507B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516661A (zh) * 2021-09-15 2021-10-19 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法及装置
CN113989597A (zh) * 2021-12-28 2022-01-28 中科视语(北京)科技有限公司 车辆重识别方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190094875A1 (en) * 2017-09-28 2019-03-28 Nec Laboratories America, Inc. Generating occlusion-aware bird eye view representations of complex road scenes
US20190377930A1 (en) * 2018-06-11 2019-12-12 Zkteco Usa, Llc Method and System for Face Recognition Via Deep Learning
CN111539370A (zh) * 2020-04-30 2020-08-14 华中科技大学 一种基于多注意力联合学习的图像行人重识别方法和系统
US20200342234A1 (en) * 2019-04-25 2020-10-29 International Business Machines Corporation Audiovisual source separation and localization using generative adversarial networks
CN112149720A (zh) * 2020-09-09 2020-12-29 南京信息工程大学 一种细粒度车辆类型识别方法
CN112560932A (zh) * 2020-12-10 2021-03-26 山东建筑大学 一种基于双分支网络特征融合的车辆重识别方法
CN112818931A (zh) * 2021-02-26 2021-05-18 中国矿业大学 基于多粒度深度特征融合的多尺度行人重识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190094875A1 (en) * 2017-09-28 2019-03-28 Nec Laboratories America, Inc. Generating occlusion-aware bird eye view representations of complex road scenes
US20190377930A1 (en) * 2018-06-11 2019-12-12 Zkteco Usa, Llc Method and System for Face Recognition Via Deep Learning
US20200342234A1 (en) * 2019-04-25 2020-10-29 International Business Machines Corporation Audiovisual source separation and localization using generative adversarial networks
CN111539370A (zh) * 2020-04-30 2020-08-14 华中科技大学 一种基于多注意力联合学习的图像行人重识别方法和系统
CN112149720A (zh) * 2020-09-09 2020-12-29 南京信息工程大学 一种细粒度车辆类型识别方法
CN112560932A (zh) * 2020-12-10 2021-03-26 山东建筑大学 一种基于双分支网络特征融合的车辆重识别方法
CN112818931A (zh) * 2021-02-26 2021-05-18 中国矿业大学 基于多粒度深度特征融合的多尺度行人重识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
郭启帆;刘磊;张?;徐文娟;靖稳峰;: "基于特征金字塔的多尺度特征融合网络", 工程数学学报, no. 05, 15 October 2020 (2020-10-15) *
雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09, 16 September 2020 (2020-09-16) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516661A (zh) * 2021-09-15 2021-10-19 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法及装置
CN113516661B (zh) * 2021-09-15 2022-02-08 深圳新视智科技术有限公司 基于特征融合的缺陷检测方法及装置
CN113989597A (zh) * 2021-12-28 2022-01-28 中科视语(北京)科技有限公司 车辆重识别方法、装置、电子设备及存储介质
CN113989597B (zh) * 2021-12-28 2022-04-05 中科视语(北京)科技有限公司 车辆重识别方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113283507B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN109522966B (zh) 一种基于密集连接卷积神经网络的目标检测方法
Mehra et al. ReViewNet: A fast and resource optimized network for enabling safe autonomous driving in hazy weather conditions
CN111539370B (zh) 一种基于多注意力联合学习的图像行人重识别方法和系统
CN110569875B (zh) 一种基于特征复用的深度神经网络目标检测方法
Erkent et al. Semantic segmentation with unsupervised domain adaptation under varying weather conditions for autonomous vehicles
CN113283507A (zh) 一种基于多视图的特征融合车辆再识别方法
CN110533119B (zh) 标识识别方法及其模型的训练方法、装置及电子系统
CN112581409A (zh) 一种基于端到端的多重信息蒸馏网络的图像去雾方法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN115661777A (zh) 一种联合语义的雾天道路目标检测算法
CN111353988B (zh) Knn动态自适应的双图卷积图像分割方法和系统
CN116385326A (zh) 一种基于多目标分割的多光谱图像融合方法、装置及设备
CN115170746A (zh) 一种基于深度学习的多视图三维重建方法、系统及设备
CN113313176A (zh) 一种基于动态图卷积神经网络的点云分析方法
Shahbaz et al. Deep atrous spatial features-based supervised foreground detection algorithm for industrial surveillance systems
CN113723356B (zh) 异质特征关系互补的车辆重识别方法和装置
Hu et al. Vehicle color recognition based on smooth modulation neural network with multi-scale feature fusion
CN116863227A (zh) 一种基于改进YOLOv5的危化品车辆检测方法
CN116246073A (zh) 一种基于动态图卷积和空间注意力的点云语义分割网络
CN115861754A (zh) 一种低照度条件下的红外与可见光图像的融合方法
CN115393901A (zh) 一种跨模态行人重识别方法及计算机可读存储介质
CN115273046A (zh) 一种用于智能视频分析的驾驶员行为识别方法
Liu et al. Weather recognition of street scene based on sparse deep neural networks
CN112132835A (zh) 基于SeFa和人工智能的光伏轨道相机果冻效应分析方法
Vismaya et al. Fuzzy c-means algorithm based depth estimation in single image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant