CN111814584A - 基于多中心度量损失的多视角环境下车辆重识别方法 - Google Patents
基于多中心度量损失的多视角环境下车辆重识别方法 Download PDFInfo
- Publication number
- CN111814584A CN111814584A CN202010560236.6A CN202010560236A CN111814584A CN 111814584 A CN111814584 A CN 111814584A CN 202010560236 A CN202010560236 A CN 202010560236A CN 111814584 A CN111814584 A CN 111814584A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- loss
- image
- center
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000005259 measurement Methods 0.000 title claims abstract description 42
- 239000013598 vector Substances 0.000 claims abstract description 138
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 52
- 230000000007 visual effect Effects 0.000 claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 40
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000003064 k means clustering Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 24
- 238000012360 testing method Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 239000010410 layer Substances 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000007306 turnover Effects 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多中心度量损失的多视角环境下车辆重识别方法。该方法包括：获取包含车辆身份标签的车辆样本图像，经过空间变换网络对图像进行仿射变换后，将图像经过深度卷积神经网络进行特征提取，得到图像的特征向量；根据图像的特征向量分别计算出分类任务损失和多中心度量学习损失并相加，得到综合损失的值；根据综合损失的值计算深度卷积神经网络的参数和视角中心向量的梯度，得到训练好的深度卷积神经网络模型；利用训练好的深度卷积神经网络模型对车辆图像进行特征提取和身份识别处理。本发明使用空间变换网络对图像进行仿射变换，采用K‑means聚类的方法的估计视角信息，可以增加车辆视角估计的准确性，提高车辆重识别的准确率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多中心度量损失的多视角环境下车辆重识别方法。
背景技术
由于机器学习尤其是深度学习方法在计算机视觉问题上取得巨大的成功，越来越多的基于深度学习的视觉方法应用于智能交通系统上，车辆作为交通系统中的一个重要的目标已经成为计算机视觉和智能交通领域中一个重要的研究对象。车辆重识别问题目的是从由多个摄像头捕捉到的车辆样本图像中检索出全部属于目标车辆的图像，当前的车辆重识别模型大体上可以分为两个组成部分：特征提取器和分类算法。
近年来多数的车辆重识别系统使用常用的深度卷积神经网络直接从车辆的视觉外观提取特征向量。常用的特征提取器有ResNet，DenseNet等或者通过将注意力机制，局部特征提取等技术引入到这些标准的深度卷积神经网络网络中而衍生出来的其他变种。对特征进行分类的算法主要分为两类，基于分类损失函数的算法和基于度量损失函数的算法，基于分类损失函数的算法目的是学习一个不同的类别之间的决策超平面以此区分不同的车辆，基于度量损失函数的算法通过模型学习出两张图片的相似度，具体表现为同一车辆的不同图像的相似度大于不同车辆的不同图片。最后度量学习的损失函数使得相同车辆的图像(正样本对)的距离尽可能小，不同车辆样本图像(负样本对)的距离尽可能大。实验表明，将基于分类损失函数和基于度量损失函数以一定的比例结合起来会取得更好的识别结果，因此，近年来多数的车辆重识别模型均采用将两种损失函数结合起来作为模型的损失函数。
但是车辆重识别通常采用的是从视频监控中取得的图像，而监控之间的视野往往互不重叠，因此车辆样本图像往往是从不同的角度观察到的，而车辆的视觉外观往往在不同的视角的下有着很大的差异和形变，因此导致车辆重识别问题有着极大的类内差异性。同时当不同的车辆具有相同的车型和颜色时从视觉外观上往往难以区分，因此，车辆重识别问题的同有着极大的类间相似性。因此，在视角的变化导致的车辆重识别有着极大的类内差异性和极大的类间相似性的问题背景下，找到通过将视角信息引入度量方法中以判断多视角下的车辆样本图像是否属于同一车辆是本发明需要解决的主要问题。
现有技术中的一种车辆重识别方案的模型框架示意图如图1所示，该方案通过诸如聚类等方法估计视角信息，在每一次迭代中，对输入的图像进行特征提取得到特征向量，然后对每一个车辆的所有特征向量进行聚类，预先定义的聚类的数目为视角的数目，根据聚类的类别结果，将特征分配到不同的视角组上，之后分别针对相同的视角内和视角间使用度量损失函数。
上述现有技术中的一种车辆重识别方案的缺点为：
1.在对图像进行预处理时，没有对图像进行自适应性的仿射变换，从道路监控中获取的图像往往有比较大的旋转和形变，因此直接将原始图像输入到网络中进行特征提取会影响视角信息的建模和识别准确率。
2.直接获取标注好的视角或者关键点标签会增加极大的数据标注成本。而在每一个视角内部对不同的车辆进行分类，需要得到十分准确的视觉信息，这不适用于通过聚类估计得到的视角信息。使用估计的视角标签时，需要多次进行聚类估计会增加训练的时间。
3.交叉熵损失函数可以有效地提高准确率，但没有考虑样本之间的距离，仍有一定的缺陷。并且因此每一次迭代特征都会发生变化，因此每一次迭代都需要重新的聚类，这影响着算法训练的效率。
发明内容
本发明的实施例提供了一种基于多中心度量损失的多视角环境下车辆重识别方法，以克服现有技术的问题。
为了实现上述目的，本发明采取了如下技术方案。
一种基于多中心度量损失的多视角环境下车辆重识别方法，包括：
获取包含车辆身份标签的车辆样本图像，对所述车辆样本图像进行预处理，得到预处理后的图像；将经过预处理的图像经过空间变换网络对图像进行仿射变换；
将经过仿射变换后的图像经过深度卷积神经网络进行特征提取，得到图像的特征向量；
根据所述图像的特征向量分别计算分类任务损失和多中心度量学习损失，将所述分类任务损失和多中心度量学习损失相加得到综合损失的值；
根据所述综合损失的值计算所述深度卷积神经网络的参数和视角中心向量的梯度，根据所述视角中心向量的梯度更新所述深度卷积神经网络中的参数和视角中心向量；当所述深度卷积神经网络收敛后，得到训练好的深度卷积神经网络模型；
利用所述训练好的深度卷积神经网络模型对不同车辆的图像进行特征提取和身份识别处理。
优选地，所述的获取包含车辆身份标签的车辆样本图像，对所述车辆样本图像进行预处理，得到预处理后的图像，包括：
从车辆数据集中读取包含车辆身份标签的车辆样本图像，将车辆样本图像大小调整为(225×225)；根据预设的翻转概率、裁剪和擦除比例对所述车辆样本图像进行随机翻转、随机裁剪和随机擦除，并对擦除的部分添加上高斯白噪声，之后将车辆样本图像中每一个通道的全部像素值减去该通道预设的平均值，并除以预设的方差进行均值方差归一化；
将归一化后的图像送入空间变换网络，根据公式1进行仿射变换；
空间变换网络中的参数预测网络使用四个卷积层提取特征并通过全局平均池化操作得到32维的特征向量，通过一个全连接层得到六个仿射变换所需的参数，得到预处理后的图像。
优选地，所述的将经过仿射变换后的图像经过深度卷积神经网络进行特征提取，得到图像的特征向量，包括：
将经过仿射变换后的图像Ii输入到ResNet-50深度卷积神经网络中，在ResNet-50深度卷积神经网络的最后一个卷积层之后得到图像的特征映射，如公式2所示；
Mi＝an(..(a1(Ii·W1)·W2)·Wn) (2)
将得到的特征映射Mi根据公式3进行全局最大池化操作得到2048维的图像的特征向量fi；
优选地，所述的根据所述图像的特征向量分别计算分类任务损失和多中心度量学习损失，将所述分类任务损失和多中心度量学习损失相加得到综合损失的值，包括：
步骤3-1：计算分类任务损失
将所述特征向量fi输入到单层全联接神经网络中，并根据公式4进行Softmax激活得到类别预测概率；
将车辆身份标签yi转换为one-hot向量，将预测的概率与车辆身份标签一起送入交叉熵损失函数，根据公式5计算交叉熵损失的值Lcross-entropy，将所述交叉熵损失的值Lcross-entropy作为分类任务损失；
步骤3-2：计算多中心度量学习损失
多中心度量学习损失的框架由视角中心初始化模块、视角信息建模模块和多中心度量损失函数模块三个部分组成。该模块输入经过特征提取器得到特征向量，并通过视角信息的建模得到视角标签，之后将视角标签，特征向量和车辆身份标签一起输入到多中心度量损失函数中用以训练类内的视角中心向量和卷积神经网络的参数。
1.初始化
在第一个训练迭代中，第一次使用多中心度量损失时对每个车辆的所有视角中心向量进行初始化，在进行初始化时提取每一个车辆的所有的图像的特征，之后对分别对每一个车辆的全部特征进行K-means聚类得到视角预测的结果，对属于同一个的聚类中心的全部特征向量的平均值作为该视角的特征向量的初始化值。
2.视角信息建模
对于每一个输入的特征向量，根据车辆的身份标签找到该车辆内全部视角中心，并计算该车辆的中心和该特征向量之间的距离，以距离该特征向量最近的视角中心的视角标签作为该车辆的视角标签，并将视角标签和特征向量送入多中心度量损失函数模块；
3.多中心度量损失函数
根据车辆的特征向量fi和车辆身份车辆身份标签yi在该车辆内部找到距离最近的视角中心依此分配视角标签vi，如公式6所示；
根据视角标签vi和公式7在车辆内部计算类内跨视角度量损失的值，
该函数目的在于使特征向量满足
其中，d(·)是两个向量之间的平方欧几里得距离，f是特征向量，yi是车辆的身份标签，vi是视角建模模块分配的视角标签，
是该车辆的视角中心向量，mc是不同视角之间的间隙；
计算一个训练批次内的特征向量之间的距离，并根据车辆身份车辆身份标签yi找到距离最大的同一车辆样本图像对和距离最小的不同车辆样本图像对，并根据公式8计算类间度量损失的值；
该函数目的在于使特征向量满足
其中，
是同一车辆内部距离最大的特征向量对，
是不同车辆之间距离最小的向量对，mt是不同车辆之间的间隙；
根据公式9计算视角中心限制损失的值：
该函数目的在于使中心向量满足d(cj，ck)≥mt，
将上述三个部分按照一定的权重相加得到多中心度量学习损失的值；
LMCRL＝λLICRL+μLCRL+ηLconstraint (10)
步骤3-3：将所述分类任务损失和多中心度量学习损失相加得到综合损失的值Ltotal：
Ltotal＝Lcross-entropy+LMCRL (11)。
优选地，所述的根据所述综合损失的值计算所述深度卷积神经网络的参数和视角中心向量的梯度，根据所述视角中心向量的梯度更新所述深度卷积神经网络中的参数和视角中心向量；当所述深度卷积神经网络收敛后，得到训练好的深度卷积神经网络模型，包括：
利用PyTorch框架的自动求导机制，根据所述综合损失的值Ltotal计算神经网络中参数和视角中心向量的梯度；
根据所述梯度利用Adam优化算法更新神经网络中的参数和视角中心向量；
当判断深度卷积神经网络已经收敛或者达到预先设置的迭代次数，则停止训练，得到训练好的深度卷积神经网络模型。
优选地，所述的利用所述训练好的深度卷积神经网络模型对不同车辆的图像进行特征提取和身份识别处理，包括：
读取待识别的多个车辆的图像，对图像进行翻转、归一化和空间变换网络的仿射变换后，得到预处理后的图像，使用所述训练好的深度卷积神经网络模型对每一个车辆的图像以及其水平翻转后的车辆图像分别进行特征提取，得到两个特征向量，将两个特征向量相加得到车辆的图像的综合特征向量；
根据每个车辆的图像的综合特征向量，计算每两张车辆的图像之间的欧几里得距离，若欧几里得距离小于给定阈值，则判断该两张车辆的图像相似，属于同一个体；否则，判断该两张车辆的图像不相似，属于不同个体。
优选地，所述的方法还包括：对所述训练好的深度卷积神经网络模型进行测试，具体包括：
读取测试车辆样本图像集中的多个图像，对每个图像进行翻转、归一化和空间变换网络的仿射变换后，得到预处理后的图像，使用所述训练好的深度卷积神经网络模型对每一个图像以及其水平翻转后的图像分别进行特征提取，得到两个特征向量，将两个特征向量相加得到图像的综合特征向量；
根据每个图像的综合特征向量，计算每两张图像之间的欧几里得距离，若欧几里得距离小于给定阈值，则判断该两张车辆的图像相似，属于同一个体；否则，判断该两张图像不相似，属于不同个体；
根据所有相似的车辆样本图像构成相似度矩阵，根据所述相似度矩阵和图像之间的实际相似度情况计算图像身份识别准确率；
若图像身份识别准确率满足预期要求，则保存训练好的深度学习卷积网络模型，否则，修改重识别模型的超参数，对修改后的重识别模型重新进行训练。由上述本发明的实施例提供的技术方案可以看出，本发明首先使用空间变换网络对图像进行仿射变换，以纠正摄像头采集过程中产生的形变，这样可以增加车辆视角估计的准确性以及模型的鲁棒性。本发明采用多中心度量学习方法估计隐含的视角信息，这样可以避免采用视角标签所产生的巨大的数据标注成本，同时能够解决聚类造成的标签数值不稳定的问题，同时更适用于估计得到的相对不准确的视角标签，进而提高车辆重识别的准确率。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中的一种车辆重识别方案的模型框架示意图；
图2为本发明实施例提供的一种基于多中心度量损失的多视角环境下车辆重识别方法的整体框架结构图；
图3为本发明实施例提供的一种基于多中心度量损失的多视角环境下车辆重识别方法的处理流程图；
图4为本发明实施例提供的一种预处理模块的结构示意图；
图5为本发明实施例提供的一种空间变换网络中的参数预测网络的框架示意图。
图6为本发明实施例提供的一种多中心度量学习损失计算的框架示意图。
具体实施方式
下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
本发明实施例提供了基于多中心度量损失的多视角环境下车辆重识别方法，该方法的整体框架结构如图2所示，多中心度量学习损失的框架由图像预处理模块，特征提取模块，分类任务模块，多中心度量学习模块和测试模块五个部分组成。模型输入一组不同车辆的图像，分别经过预处理和特征提取得到特征向量，训练时分别将特征向量送入分类任务模块和多中心度量学习模块，结合两种损失函数对模型进行训练，测试时使用测试模块计算特征向量之间的距离并依此判断图像是否属于同一车辆。
上述基于多中心度量损失的多视角环境下车辆重识别方法的算法输入包括：
1.车辆样本图像数据：包含训练集与测试集，其中车辆样本图像均需标注车辆身份标签，测试图像还需包含摄像头标签；
2.超参数：车辆的视角数目；类内跨视角度量损失函数的间隙宽度mc；类间度量损失函数的间隙宽度mt；视角中心限制函数的距离限制γ,δ；损失函数的权重λ,μ,η；
3.神经网络参数和视角中心向量的学习率；
4.一个训练批次的大小(每个批次p个车辆，每一车辆k张图像)；
5.训练过程迭代的次数；
算法输出：训练好的神经网络结构与权重；
本发明实施例的基于多中心度量损失的多视角环境下车辆重识别方法的处理流程图如图3所示，包括如下的处理步骤：
步骤S1：图像预处理阶段，将车辆样本图像经过数据增强和归一化处理之后，输入到空间变换网络进行自适应的仿射变换，得到预处理后的图像。本发明实施例提供的一种预处理模块的结构如图4所示。
步骤1-1：图像输入到模型中，首先经过预处理模块，从车辆数据集中读取车辆样本图像，将车辆样本图像大小调整为(225×225)；在预处理模块中首先对车辆样本图像进行数据增强操作以增加模型的鲁棒性同时扩充训练数据。
步骤1-2：将车辆样本图像根据预设的概率，裁剪和擦除比例进行随机翻转、随机裁剪和随机擦除，并对擦除的部分添加上高斯白噪声，之后将车辆样本图像中每一个通道的全部像素值减去该通道预设的平均值，并除以预设的方差进行均值方差归一化；
步骤1-3：将归一化后的图像送入空间变换网络，根据所得的参数和公式1进行仿射变换，预测仿射变换的参数，公式1中的变换参数θ通过STN网络学习得到，以纠正摄像头捕捉过程中产生的形变以提高视角预测的准确度和车辆重识别的鲁棒性。
其中，
a,b,c,d,e,f是网络学习到的仿射变换的六个参数。
空间变换网络中的参数预测网络如图5所示，参数预测网络首先使用四个卷积层提取特征并通过全局平均池化操作(GAP)得到32维的特征向量，通过一个全连接层得到六个仿射变换所需的参数。将预处理后的图像输入到特征提取阶段。
步骤S2、特征提取阶段，将经过预处理的图像经过ResNet-50深度卷积神经网络提取特征。
步骤2-1：该阶段可以使用通用的移除原始分类层的卷积神经网络结构例如ResNet-50。将经过预处理的图像Ii输入到ResNet-50深度卷积神经网络中，在ResNet-50深度卷积神经网络的最后一个卷积层之后得到图像的特征映射，如公式2所示；
Mi＝an(..(a1(Ii·W1)·W2)·Wn) (2)
其中a1到an是ReLU激活函数，w1到Wn是各个卷积层的卷积核
步骤2-2：将得到的特征映射Mi根据公式3进行全局最大池化操作得到2048维的图像的特征向量fi；
fi是第i个样本的特征向量，Mi是第i个样本经由卷积神经网络提取到的特征映射。
在训练阶段，将得到的图像的特征向量fi分别送入分类任务损失计算阶段和多中心度量学习损失计算阶段。在测试阶段，将特征向量fi送入测试模块用于图像验证。
步骤S3、损失计算阶段，根据特征向量分别计算分类任务损失和多中心度量学习损失。
步骤3-1：计算分类任务损失
步骤3-1-1：将步骤2-2中图像经卷积神经网络提取到的特征向量fi输入到单层全联接神经网络中，并根据公式4进行Softmax激活得到类别预测概率；
ai是第i个类别的激活值，pi是样本属于第i个类别的概率。
步骤3-1-2：将车辆身份标签yi转换为one-hot向量，one-hot的基本思想：将离散型特征的每一种取值都看成一种状态，one-hot编码保证了每一个取值只会使得一种状态处于“激活态”，多种状态中只有一个状态位值为1，其他状态位都是0。之后将预测的概率与车辆身份标签一起送入交叉熵损失函数，根据公式5计算交叉熵损失的值，用以学习不同的车辆之间的决策超平面。
pi是样本属于第i个类别的概率，yi在样本属于第i个类别时为0，不属于第i个类别时为0。
步骤3-2：计算多中心度量学习损失。
多中心度量学习损失计算的整体框架如图6所示，多中心度量学习损失的框架由视角中心初始化模块、视角信息建模模块和多中心度量损失函数模块三个部分组成。该模块输入经过特征提取器得到特征向量，并通过视角信息的建模得到视角标签，之后将视角标签，特征向量和车辆身份标签一起输入到多中心度量损失函数中用以训练类内的视角中心向量和卷积神经网络的参数。
1.初始化模块
该模块仅在第一次使用多中心度量损失函数时使用。在第一个训练迭代中，第一次使用多中心度量损失时需要对每个车辆的所有视角中心向量进行初始化，在进行初始化时首先提取每一个车辆的所有的图像的特征，之后对分别对每一个车辆的全部特征进行K-means聚类得到视角预测的结果，对属于同一个的聚类中心的全部特征向量的平均值作为该视角的特征向量的初始化值。
2.视角信息建模模块
对于每一个输入的特征向量，根据车辆的身份标签找到该车辆内全部视角中心，并计算该车辆的中心和该特征向量之间的距离，以距离该特征向量最近的视角中心的视角标签作为该车辆的视角标签，并将视角标签和特征向量送入多中心度量损失函数模块。
3.多中心度量损失函数模块
多中心度量损失函数由类内跨视角度量损失函数，类间度量损失函数和视角中心向量限制函数三部分组成。
首先根据步骤2-2中得到的特征向量fi和车辆身份车辆身份标签yi在该车辆内部找到距离最近的视角中心依此分配视角标签vi，如公式6所示；
类内跨视角度量损失函数(公式7)目的在于在一个车辆内部区分不同的视角，根据视角标签vi和公式7在车辆内部计算类内跨视角度量损失的值。该函数使特征到根据视角信息建模模块为其分配的视角中心向量的距离小于其他中心的距离，即
其中，f是特征向量，yi是车辆的身份标签，vi是视角建模模块分配的视角标签，
是该车辆的视角中心向量，mc是不同视角之间的间隙。
类间度量损失函数(公式8)采用了三元组损失的形式，计算一个训练批次内的特征向量之间的距离，并根据车辆身份车辆身份标签yi找到距离最大的同一车辆样本图像对和距离最小的不同车辆样本图像对，并根据公式8计算类间度量损失的值。该函数的目的在于区分不同的车辆，使不同的车辆之间的特征向量之间存在一定的间隙，即
其中，
是同一车辆内部距离最大的特征向量对，
是不同车辆之间距离最小的向量对，mt是不同车辆之间的间隙。
视角中心向量限制函数(公式9)直接对中心向量之间的距离关系进行限制，根据公式9计算视角中心限制损失的值。在不同车辆之间该函数通过限制不同车辆的视角中心向量之间的距离大于等于类间损失定义的间隙的宽度，即d(cj，ck)≥mt来保证不同车辆之间的区分性。在同一车辆内部该函数通过限制视角中心向量之间的距离保持视角之间有一定的区分性同时又保持车辆内部中心之间的紧致性，即
将上述三个部分按照一定的权重相加就组成多中心度量损失函数(公式10)整个多中心度量学习模块的框架。
LMCRL＝λLICRL+μLCRL+ηLconstraint (10)
其中，B是一个训练批次内的样本数目，f是特征向量，d(·)是两个向量之间的平方欧几里得距离，yi是车辆的身份标签，vi是视角建模模块分配的视角标签，
是该车辆的视角中心向量，mc是不同视角之间的间隙，mt是不同车辆之间的间隙，γ和δ是视角中心的距离限制，λ,μ和η是损失函数的权重。
多中心度量学习损失是在车辆的内部处理视角问题，这样视角仅在车辆内部出现而且在训练的过程中，并不需要语义意义上的视角(例如车头，车侧，车尾等)并且聚类导致的视角标签不稳定的问题也就得到了解决。
步骤3-3：计算综合损失的值，如公式11；
Ltotal＝Lcross-entropy+LMCRL (11)
步骤S4、模型优化阶段，根据损失函数计算梯度并对深度卷积神经网络模型进行优化。
步骤4-1：利用PyTorch框架的自动求导机制，根据步骤3-3中得到的综合损失的值计算神经网络中参数和视角中心向量的梯度；
步骤4-2：根据步骤4-1中得到的视角中心向量的梯度，利用Adam优化算法更新神经网络中的参数和视角中心向量；
步骤4-3：若模型已经收敛或者达到预先设置的迭代次数则停止训练，得到训练好的深度卷积神经网络模型，执行步骤S5，否则返回执行阶段步骤S1；判断模型收敛的条件是模型的损失和测试的结果趋于稳定。
步骤S5、测试评估阶段，对训练完成的深度卷积神经网络模型进行测试，并根据测试结果调整超参数。
步骤5-1：读取测试车辆样本图像集，对图像进行归一化和空间变换网络的仿射变换后，使用上述训练好的深度卷积神经网络模型对每一个车辆样本图像以及其水平翻转后的车辆样本图像分别进行特征提取，得到两个特征向量，将两个特征向量相加得到车辆样本图像的综合特征向量。
步骤5-2：根据5-1中的每个车辆样本图像的综合特征向量，计算每两张车辆样本图像之间的欧几里得距离，该距离表示图像的相似度，若相似度小于给定阈值则认为两张车辆样本图像相似，属于同一个体，否则属于不同个体。根据所有相似的车辆样本图像构成相似度矩阵。
步骤5-3：根据步骤5-2得到的相似度矩阵计算识别准确率和平均查准率；
步骤5-4：若识别结果满足预期要求，则保存深度卷积神经网络模型与权重，否则修改超参数，重新从阶段一执行训练过程；
之后，就可以保存的深度卷积神经网络对车辆样本图像进行特征提取，并进行后续的车辆样本图像的相似度判断。
综上所述，本发明首先使用空间变换网络对图像进行仿射变换，以纠正摄像头采集过程中产生的形变，这样可以增加车辆视角估计的准确性以及模型的鲁棒性。本发明采用多视角度量学习的估计视角信息，这样可以避免采用视角标签所产生的巨大的数据标注成本。相比于在视角内处理不同的车辆的方法本发明所提出的方法，由于是在车辆内部处理视角问题，不同车辆之间的视角编号可以不同，因此能够解决聚类造成的标签数值不稳定的问题，同时更适用于估计得到的相对不准确的视角标签。多中心度量学习损失结合交叉熵损失也能够更好的建模多视角环境下的车辆外观特征，进而提高车辆重识别的准确率。
本发明实施例解决多视角环境下的车辆重识别问题，提供了一种基于多中心度量学习损失的车辆重识别的深度学习模型，该模型首先使用空间变化网络对图像进行仿射变换以纠正图像在监控视频中发生的形变，然后输入到深度卷积神经网络中提取视觉特征，之后使用多中心损失度量函数建模车辆的视角信息，从而提高网络对多视角环境下的车辆样本图像的特征表示能力和判别能力，提高车辆重识别准确率。本发明实施例提出了将图像经过STN变换后输入到深度网络中并使用类内多中心度量损失函数的方法，从而提高车辆重识别的准确率。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (7)
1.一种基于多中心度量损失的多视角环境下车辆重识别方法，其特征在于，包括：
获取包含车辆身份标签的车辆样本图像，对所述车辆样本图像进行预处理，得到预处理后的图像；将经过预处理的图像经过空间变换网络对图像进行仿射变换；
将经过仿射变换后的图像经过深度卷积神经网络进行特征提取，得到图像的特征向量；
根据所述图像的特征向量分别计算分类任务损失和多中心度量学习损失，将所述分类任务损失和多中心度量学习损失相加得到综合损失的值；
根据所述综合损失的值计算所述深度卷积神经网络的参数和视角中心向量的梯度，根据所述视角中心向量的梯度更新所述深度卷积神经网络中的参数和视角中心向量；当所述深度卷积神经网络收敛后，得到训练好的深度卷积神经网络模型；
利用所述训练好的深度卷积神经网络模型对不同车辆的图像进行特征提取和身份识别处理。
2.根据权利要求1所述的方法，其特征在于，所述的获取包含车辆身份标签的车辆样本图像，对所述车辆样本图像进行预处理，得到预处理后的图像，包括：
从车辆数据集中读取包含车辆身份标签的车辆样本图像，将车辆样本图像大小调整为(225×225)；根据预设的翻转概率、裁剪和擦除比例对所述车辆样本图像进行随机翻转、随机裁剪和随机擦除，并对擦除的部分添加上高斯白噪声，之后将车辆样本图像中每一个通道的全部像素值减去该通道预设的平均值，并除以预设的方差进行均值方差归一化；
将归一化后的图像送入空间变换网络，根据公式1进行仿射变换；
空间变换网络中的参数预测网络使用四个卷积层提取特征并通过全局平均池化操作得到32维的特征向量，通过一个全连接层得到六个仿射变换所需的参数，得到预处理后的图像。
3.根据权利要求2所述的方法，其特征在于，所述的将经过仿射变换后的图像经过深度卷积神经网络进行特征提取，得到图像的特征向量，包括：
将经过仿射变换后的图像Ii输入到ResNet-50深度卷积神经网络中，在ResNet-50深度卷积神经网络的最后一个卷积层之后得到图像的特征映射，如公式2所示；
Mi＝an(..(a1(Ii·W1)·W2)·Wn) (2)
将得到的特征映射Mi根据公式3进行全局最大池化操作得到2048维的图像的特征向量fi；
4.根据权利要求3所述的方法，其特征在于，所述的根据所述图像的特征向量分别计算分类任务损失和多中心度量学习损失，将所述分类任务损失和多中心度量学习损失相加得到综合损失的值，包括：
步骤3-1：计算分类任务损失
将所述特征向量fi输入到单层全联接神经网络中，并根据公式4进行Softmax激活得到类别预测概率；
将车辆身份标签yi转换为one-hot向量，将预测的概率与车辆身份标签一起送入交叉熵损失函数，根据公式5计算交叉熵损失的值Lcross-entropy，将所述交叉熵损失的值Lcross-entropy作为分类任务损失；
步骤3-2：计算多中心度量学习损失
多中心度量学习损失的框架由视角中心初始化模块、视角信息建模模块和多中心度量损失函数模块三个部分组成。该模块输入经过特征提取器得到特征向量，并通过视角信息的建模得到视角标签，之后将视角标签，特征向量和车辆身份标签一起输入到多中心度量损失函数中用以训练类内的视角中心向量和卷积神经网络的参数。
1.初始化
在第一个训练迭代中，第一次使用多中心度量损失时对每个车辆的所有视角中心向量进行初始化，在进行初始化时提取每一个车辆的所有的图像的特征，之后对分别对每一个车辆的全部特征进行K-means聚类得到视角预测的结果，对属于同一个的聚类中心的全部特征向量的平均值作为该视角的特征向量的初始化值。
2.视角信息建模
对于每一个输入的特征向量，根据车辆的身份标签找到该车辆内全部视角中心，并计算该车辆的中心和该特征向量之间的距离，以距离该特征向量最近的视角中心的视角标签作为该车辆的视角标签，并将视角标签和特征向量送入多中心度量损失函数模块；
3.多中心度量损失函数
根据车辆的特征向量fi和车辆身份车辆身份标签yi在该车辆内部找到距离最近的视角中心依此分配视角标签vi，如公式6所示；
根据视角标签vi和公式7在车辆内部计算类内跨视角度量损失的值，
该函数目的在于使特征向量满足
其中，d(·)是两个向量之间的平方欧几里得距离，f是特征向量，yi是车辆的身份标签，vi是视角建模模块分配的视角标签，
是该车辆的视角中心向量，mc是不同视角之间的间隙；
计算一个训练批次内的特征向量之间的距离，并根据车辆身份车辆身份标签yi找到距离最大的同一车辆样本图像对和距离最小的不同车辆样本图像对，并根据公式8计算类间度量损失的值；
该函数目的在于使特征向量满足
其中，
是同一车辆内部距离最大的特征向量对，
是不同车辆之间距离最小的向量对，mt是不同车辆之间的间隙；
根据公式9计算视角中心限制损失的值：
该函数目的在于使中心向量满足d(cj，ck)≥mt，
将上述三个部分按照一定的权重相加得到多中心度量学习损失的值；
LMCRL＝λLICRL+μLCRL+ηLconstraint (10)
步骤3-3：将所述分类任务损失和多中心度量学习损失相加得到综合损失的值Ltotal：
Ltotal＝Lcross-entropy+LMCRL (11)。
5.根据权利要求4所述的方法，其特征在于，所述的根据所述综合损失的值计算所述深度卷积神经网络的参数和视角中心向量的梯度，根据所述视角中心向量的梯度更新所述深度卷积神经网络中的参数和视角中心向量；当所述深度卷积神经网络收敛后，得到训练好的深度卷积神经网络模型，包括：
利用PyTorch框架的自动求导机制，根据所述综合损失的值Ltotal计算神经网络中参数和视角中心向量的梯度；
根据所述梯度利用Adam优化算法更新神经网络中的参数和视角中心向量；
当判断深度卷积神经网络已经收敛或者达到预先设置的迭代次数，则停止训练，得到训练好的深度卷积神经网络模型。
6.根据权利要求5所述的方法，其特征在于，所述的利用所述训练好的深度卷积神经网络模型对不同车辆的图像进行特征提取和身份识别处理，包括：
读取待识别的多个车辆的图像，对图像进行翻转、归一化和空间变换网络的仿射变换后，得到预处理后的图像，使用所述训练好的深度卷积神经网络模型对每一个车辆的图像以及其水平翻转后的车辆图像分别进行特征提取，得到两个特征向量，将两个特征向量相加得到车辆的图像的综合特征向量；
根据每个车辆的图像的综合特征向量，计算每两张车辆的图像之间的欧几里得距离，若欧几里得距离小于给定阈值，则判断该两张车辆的图像相似，属于同一个体；否则，判断该两张车辆的图像不相似，属于不同个体。
7.根据权利要求5或6所述的方法，其特征在于，所述的方法还包括：对所述训练好的深度卷积神经网络模型进行测试，具体包括：
读取测试车辆样本图像集中的多个图像，对每个图像进行翻转、归一化和空间变换网络的仿射变换后，得到预处理后的图像，使用所述训练好的深度卷积神经网络模型对每一个图像以及其水平翻转后的图像分别进行特征提取，得到两个特征向量，将两个特征向量相加得到图像的综合特征向量；
根据每个图像的综合特征向量，计算每两张图像之间的欧几里得距离，若欧几里得距离小于给定阈值，则判断该两张车辆的图像相似，属于同一个体；否则，判断该两张图像不相似，属于不同个体；
根据所有相似的车辆样本图像构成相似度矩阵，根据所述相似度矩阵和图像之间的实际相似度情况计算图像身份识别准确率；
若图像身份识别准确率满足预期要求，则保存训练好的深度学习卷积网络模型，否则，修改重识别模型的超参数，对修改后的重识别模型重新进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010560236.6A CN111814584B (zh) | 2020-06-18 | 2020-06-18 | 基于多中心度量损失的多视角环境下车辆重识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010560236.6A CN111814584B (zh) | 2020-06-18 | 2020-06-18 | 基于多中心度量损失的多视角环境下车辆重识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814584A true CN111814584A (zh) | 2020-10-23 |
| CN111814584B CN111814584B (zh) | 2024-03-12 |
Family
ID=72846262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010560236.6A Active CN111814584B (zh) | 2020-06-18 | 2020-06-18 | 基于多中心度量损失的多视角环境下车辆重识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814584B (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112396027A (zh) * | 2020-12-01 | 2021-02-23 | 北京交通大学 | 基于图卷积神经网络的车辆重识别方法 |
| CN112566117A (zh) * | 2020-11-06 | 2021-03-26 | 厦门大学 | 基于度量学习的车辆节点身份识别方法及装置 |
| CN112800876A (zh) * | 2021-01-14 | 2021-05-14 | 北京交通大学 | 一种用于重识别的超球面特征嵌入方法及系统 |
| CN112818837A (zh) * | 2021-01-29 | 2021-05-18 | 山东大学 | 一种基于姿态校正和困难样本感知的航拍车辆重识别方法 |
| CN112836629A (zh) * | 2021-02-01 | 2021-05-25 | 清华大学深圳国际研究生院 | 一种图像分类方法 |
| CN112884728A (zh) * | 2021-02-04 | 2021-06-01 | 复旦大学附属中山医院 | 基于深度学习卷积神经网络的内镜图像病变识别筛查方法 |
| CN112906557A (zh) * | 2021-02-08 | 2021-06-04 | 重庆兆光科技股份有限公司 | 一种多视角下的多粒度特征聚合目标重识别方法及系统 |
| CN113191218A (zh) * | 2021-04-13 | 2021-07-30 | 南京信息工程大学 | 基于双线性注意力汇集和卷积长短期记忆的车型识别方法 |
| CN113191431A (zh) * | 2021-04-29 | 2021-07-30 | 武汉工程大学 | 一种细粒度车型识别方法、装置及存储介质 |
| CN113255695A (zh) * | 2021-05-21 | 2021-08-13 | 广州广电运通金融电子股份有限公司 | 一种目标重识别的特征提取方法及系统 |
| CN113393679A (zh) * | 2021-06-10 | 2021-09-14 | 中南大学 | 基于交通路口车流识别与统计的区域交通诱导方法及系统 |
| CN113487715A (zh) * | 2021-06-24 | 2021-10-08 | 之江实验室 | 一种基于生成对抗网络的数据增强方法 |
| CN113627609A (zh) * | 2021-06-30 | 2021-11-09 | 国网福建省电力有限公司信息通信分公司 | 一种基于仿射变换的网络度量方法和存储设备 |
| CN113673483A (zh) * | 2021-09-07 | 2021-11-19 | 天津大学 | 一种基于深度神经网络的多视角多目标关联方法 |
| CN113780462A (zh) * | 2021-09-24 | 2021-12-10 | 华中科技大学 | 基于无人机航拍图像的车辆检测网络建立方法及其应用 |
| CN113807401A (zh) * | 2021-08-18 | 2021-12-17 | 南京中兴力维软件有限公司 | 通用id识别方法、装置及设备 |
| CN114022869A (zh) * | 2022-01-05 | 2022-02-08 | 中科视语(北京)科技有限公司 | 一种基于级联网络的车辆重识别方法及装置 |
| US11468697B2 (en) * | 2019-12-31 | 2022-10-11 | Wuhan University | Pedestrian re-identification method based on spatio-temporal joint model of residual attention mechanism and device thereof |
| CN115880650A (zh) * | 2023-02-16 | 2023-03-31 | 城云科技（中国）有限公司 | 跨视域车辆重识别模型及其构建方法、装置及应用 |
| CN117745720A (zh) * | 2024-02-19 | 2024-03-22 | 成都数之联科技股份有限公司 | 一种车辆外观检测方法、装置、设备及存储介质 |
| CN113807401B (zh) * | 2021-08-18 | 2024-05-24 | 南京中兴力维软件有限公司 | 通用id识别方法、装置及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977656A (zh) * | 2017-12-26 | 2018-05-01 | 北京大学 | 一种行人重识别方法及系统 |
| CN108319949A (zh) * | 2018-01-26 | 2018-07-24 | 中国电子科技集团公司第十五研究所 | 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法 |
| CN108764018A (zh) * | 2018-04-03 | 2018-11-06 | 北京交通大学 | 一种基于卷积神经网络的多任务车辆再识别方法及装置 |
| US10176405B1 (en) * | 2018-06-18 | 2019-01-08 | Inception Institute Of Artificial Intelligence | Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations |
| CN110991349A (zh) * | 2019-12-05 | 2020-04-10 | 中国科学院重庆绿色智能技术研究院 | 一种基于度量学习的轻量级车辆属性识别方法 |
-
2020
- 2020-06-18 CN CN202010560236.6A patent/CN111814584B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977656A (zh) * | 2017-12-26 | 2018-05-01 | 北京大学 | 一种行人重识别方法及系统 |
| CN108319949A (zh) * | 2018-01-26 | 2018-07-24 | 中国电子科技集团公司第十五研究所 | 一种高分辨率遥感图像中多朝向舰船目标检测与识别方法 |
| CN108764018A (zh) * | 2018-04-03 | 2018-11-06 | 北京交通大学 | 一种基于卷积神经网络的多任务车辆再识别方法及装置 |
| US10176405B1 (en) * | 2018-06-18 | 2019-01-08 | Inception Institute Of Artificial Intelligence | Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations |
| CN110991349A (zh) * | 2019-12-05 | 2020-04-10 | 中国科学院重庆绿色智能技术研究院 | 一种基于度量学习的轻量级车辆属性识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| WEIPENG LIN ET AL: ""Multi-view Learning for Vehicle Re-identification"", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO》, pages 832 - 837 * |
| 刘凯等: ""车辆再识别技术综述"", 《智能科学与技术学报》, vol. 2, no. 1, pages 10 - 25 * |
| 王崇屹: ""基于多任务学习的车辆重识别系统研究与实现"", 《中国优秀硕士学位论文全文数据库（工程科技Ⅱ辑）》, no. 1, pages 034 - 1266 * |
Cited By (33)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11468697B2 (en) * | 2019-12-31 | 2022-10-11 | Wuhan University | Pedestrian re-identification method based on spatio-temporal joint model of residual attention mechanism and device thereof |
| CN112566117A (zh) * | 2020-11-06 | 2021-03-26 | 厦门大学 | 基于度量学习的车辆节点身份识别方法及装置 |
| CN112566117B (zh) * | 2020-11-06 | 2023-12-08 | 厦门大学 | 基于度量学习的车辆节点身份识别方法及装置 |
| CN112396027A (zh) * | 2020-12-01 | 2021-02-23 | 北京交通大学 | 基于图卷积神经网络的车辆重识别方法 |
| CN112396027B (zh) * | 2020-12-01 | 2023-09-19 | 北京交通大学 | 基于图卷积神经网络的车辆重识别方法 |
| CN112800876A (zh) * | 2021-01-14 | 2021-05-14 | 北京交通大学 | 一种用于重识别的超球面特征嵌入方法及系统 |
| CN112800876B (zh) * | 2021-01-14 | 2023-11-10 | 北京交通大学 | 一种用于重识别的超球面特征嵌入方法及系统 |
| CN112818837A (zh) * | 2021-01-29 | 2021-05-18 | 山东大学 | 一种基于姿态校正和困难样本感知的航拍车辆重识别方法 |
| CN112818837B (zh) * | 2021-01-29 | 2022-11-11 | 山东大学 | 一种基于姿态校正和困难样本感知的航拍车辆重识别方法 |
| CN112836629A (zh) * | 2021-02-01 | 2021-05-25 | 清华大学深圳国际研究生院 | 一种图像分类方法 |
| CN112836629B (zh) * | 2021-02-01 | 2024-03-08 | 清华大学深圳国际研究生院 | 一种图像分类方法 |
| CN112884728A (zh) * | 2021-02-04 | 2021-06-01 | 复旦大学附属中山医院 | 基于深度学习卷积神经网络的内镜图像病变识别筛查方法 |
| CN112906557B (zh) * | 2021-02-08 | 2023-07-14 | 重庆兆光科技股份有限公司 | 一种多视角下的多粒度特征聚合目标重识别方法及系统 |
| CN112906557A (zh) * | 2021-02-08 | 2021-06-04 | 重庆兆光科技股份有限公司 | 一种多视角下的多粒度特征聚合目标重识别方法及系统 |
| CN113191218A (zh) * | 2021-04-13 | 2021-07-30 | 南京信息工程大学 | 基于双线性注意力汇集和卷积长短期记忆的车型识别方法 |
| CN113191431A (zh) * | 2021-04-29 | 2021-07-30 | 武汉工程大学 | 一种细粒度车型识别方法、装置及存储介质 |
| CN113255695A (zh) * | 2021-05-21 | 2021-08-13 | 广州广电运通金融电子股份有限公司 | 一种目标重识别的特征提取方法及系统 |
| CN113393679A (zh) * | 2021-06-10 | 2021-09-14 | 中南大学 | 基于交通路口车流识别与统计的区域交通诱导方法及系统 |
| CN113487715A (zh) * | 2021-06-24 | 2021-10-08 | 之江实验室 | 一种基于生成对抗网络的数据增强方法 |
| CN113627609A (zh) * | 2021-06-30 | 2021-11-09 | 国网福建省电力有限公司信息通信分公司 | 一种基于仿射变换的网络度量方法和存储设备 |
| CN113627609B (zh) * | 2021-06-30 | 2023-06-09 | 国网福建省电力有限公司信息通信分公司 | 一种基于仿射变换的网络度量方法和存储设备 |
| CN113807401A (zh) * | 2021-08-18 | 2021-12-17 | 南京中兴力维软件有限公司 | 通用id识别方法、装置及设备 |
| CN113807401B (zh) * | 2021-08-18 | 2024-05-24 | 南京中兴力维软件有限公司 | 通用id识别方法、装置及设备 |
| CN113673483B (zh) * | 2021-09-07 | 2023-07-14 | 天津大学 | 一种基于深度神经网络的多视角多目标关联方法 |
| CN113673483A (zh) * | 2021-09-07 | 2021-11-19 | 天津大学 | 一种基于深度神经网络的多视角多目标关联方法 |
| CN113780462A (zh) * | 2021-09-24 | 2021-12-10 | 华中科技大学 | 基于无人机航拍图像的车辆检测网络建立方法及其应用 |
| CN113780462B (zh) * | 2021-09-24 | 2024-03-19 | 华中科技大学 | 基于无人机航拍图像的车辆检测网络建立方法及其应用 |
| CN114022869B (zh) * | 2022-01-05 | 2022-03-22 | 中科视语(北京)科技有限公司 | 一种基于级联网络的车辆重识别方法及装置 |
| CN114022869A (zh) * | 2022-01-05 | 2022-02-08 | 中科视语(北京)科技有限公司 | 一种基于级联网络的车辆重识别方法及装置 |
| CN115880650B (zh) * | 2023-02-16 | 2023-05-16 | 城云科技（中国）有限公司 | 跨视域车辆重识别模型及其构建方法、装置及应用 |
| CN115880650A (zh) * | 2023-02-16 | 2023-03-31 | 城云科技（中国）有限公司 | 跨视域车辆重识别模型及其构建方法、装置及应用 |
| CN117745720A (zh) * | 2024-02-19 | 2024-03-22 | 成都数之联科技股份有限公司 | 一种车辆外观检测方法、装置、设备及存储介质 |
| CN117745720B (zh) * | 2024-02-19 | 2024-05-07 | 成都数之联科技股份有限公司 | 一种车辆外观检测方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111814584B (zh) | 2024-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111814584B (zh) | 基于多中心度量损失的多视角环境下车辆重识别方法 | |
| Opelt et al. | Incremental learning of object detectors using a visual shape alphabet | |
| CN109583482B (zh) | 一种基于多特征融合与多核迁移学习的红外人体目标图像识别方法 | |
| EP2808827B1 (en) | System and method for OCR output verification | |
| CN111680614B (zh) | 一种基于视频监控中的异常行为检测方法 | |
| CN109977757B (zh) | 一种基于混合深度回归网络的多模态的头部姿态估计方法 | |
| CN110321830B (zh) | 一种基于神经网络的中文字符串图片ocr识别方法 | |
| CN109359608B (zh) | 一种基于深度学习模型的人脸识别方法 | |
| CN113657425B (zh) | 基于多尺度与跨模态注意力机制的多标签图像分类方法 | |
| CN112200121B (zh) | 基于evm和深度学习的高光谱未知目标检测方法 | |
| CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
| CN112800876B (zh) | 一种用于重识别的超球面特征嵌入方法及系统 | |
| CN111126482A (zh) | 一种基于多分类器级联模型的遥感影像自动分类方法 | |
| CN101140625A (zh) | 一种多分辨率退化字符自适应识别系统及方法 | |
| CN111709313B (zh) | 基于局部和通道组合特征的行人重识别方法 | |
| Sheng et al. | Learning-based road crack detection using gradient boost decision tree | |
| Dong et al. | Better region proposals for pedestrian detection with R-CNN | |
| Kokkinos et al. | Bottom-up & top-down object detection using primal sketch features and graphical models | |
| CN110751005B (zh) | 融合深度感知特征和核极限学习机的行人检测方法 | |
| CN111127407B (zh) | 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法 | |
| CN110968735B (zh) | 一种基于球面相似度层次聚类的无监督行人重识别方法 | |
| Vivekanandam et al. | Face recognition from video frames using hidden markov model classification model based on modified random feature extraction | |
| CN113344102A (zh) | 基于图像hog特征与elm模型的目标图像识别方法 | |
| CN112270228A (zh) | 一种基于dcca融合特征的行人重识别方法 | |
| Shantaiya et al. | Multiple class image-based vehicle classification using soft computing algorithms. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |