CN116310555A - 基于车辆属性与局部特征伪标签细化的车辆重识别方法 - Google Patents

基于车辆属性与局部特征伪标签细化的车辆重识别方法 Download PDF

Info

Publication number
CN116310555A
CN116310555A CN202310270233.2A CN202310270233A CN116310555A CN 116310555 A CN116310555 A CN 116310555A CN 202310270233 A CN202310270233 A CN 202310270233A CN 116310555 A CN116310555 A CN 116310555A
Authority
CN
China
Prior art keywords
vehicle
attribute
feature
data set
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310270233.2A
Other languages
English (en)
Inventor
王波
王伟
杨巨成
国英龙
李超彦
贾智洋
孙笑
徐振宇
吴超
王嫄
赵青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siteng Heli Tianjin Technology Co ltd
Original Assignee
Siteng Heli Tianjin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siteng Heli Tianjin Technology Co ltd filed Critical Siteng Heli Tianjin Technology Co ltd
Priority to CN202310270233.2A priority Critical patent/CN116310555A/zh
Publication of CN116310555A publication Critical patent/CN116310555A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于车辆属性与局部特征伪标签细化的车辆重识别方法，获取无标注的车辆图像数据集，进行预处理；构建无监督的车辆重识别网络模型，提取训练集中车辆图像的三种特征，分别为属性特征、全局特征、局部特征；将提取到的所述三种特征集合聚类生成伪标签，计算三种聚类结果的协同交错分数；根据协同交错分数结果，生成带有伪标签的新数据集；训练所述车辆重识别网络模型并更新，再根据更新后的网络模型参数重新提取训练集中车辆图像的特征；重复执行操作，更新数据集的伪标签，交替训练，得到训练好的车辆重识别网络模型。本发明基于车辆属性信息和多方向局部特征的标签细化，以自学习的方式有效地处理标签噪声。

Description

基于车辆属性与局部特征伪标签细化的车辆重识别方法
技术领域
本发明属于计算机视觉领域,特别涉及到一种基于车辆属性与局部特征伪标签细化的无监督车辆重识别方法。
背景技术
车辆重识别是从非重叠摄像机收集的图像库中检索图像。现有的车辆重识别方法，在同一环境下的数据集上训练和测试时取得了显著的性能。然而，由于真实环境下的收集的车辆数据集和训练数据集之间存在较大的差距，直接应用于真实环境下时，训练好的模型可能会出现显著的性能下降。此外，由于深度神经网络的判别能力，监督方法在车辆重识别任务中取得了令人印象深刻的表现。然而在实际应用中，收集的车辆图库数据通常是无标记的或部分标记的。监督方法使用大量的标签数据，这就需要昂贵的注释，限制了监督方法在大规模现实世界的可行性问题上的实用性。
由于这一问题，从无标签数据中学习识别特征的无监督方法近年来受到了广泛关注。之前关于无监督人员重新识别的工作使用了k-最近邻搜索获得的伪标签或无监督聚类进行训练。这些方法交替使用两个阶段的训练方案：分配伪标签的标签生成阶段和使用生成标签训练模型的训练阶段。在这些方法中，基于聚类的方法尤其证明了它们的有效性和最先进的性能。然而，伪标签中的固有噪声极大地阻碍了这些无监督方法的性能。为了解决伪标签噪声过多这个问题，人们做出了许多努力，通过执行鲁棒聚类或伪标签细化来提高伪标签的准确性。最近有的技术通过使用来自辅助网络的预测作为目标网络的细化标签，以同行教学的方式通过模型集成显著降低了标签噪声。然而，训练多个骨干作为教师网络需要较高的计算成本。此外，这些方法得到的标签只考虑全局特征，而忽略了对车辆重识别至关重要的细粒度线索，导致性能不足。
发明内容
本发明的目的在于提出一种基于车辆属性与局部特征伪标签细化的车辆重识别方法，基于车辆属性信息和多方向局部特征的标签细化，以自学习的方式有效地处理标签噪声。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于车辆属性与局部特征伪标签细化的车辆重识别方法，包括：
S1、获取无标注的车辆图像数据集，进行预处理，划分为训练集和验证集；
S2、构建无监督的车辆重识别网络模型，提取训练集中车辆图像的三种特征，分别为属性特征、全局特征、局部特征；
S3、将提取到的所述三种特征集合聚类生成伪标签，计算三种聚类结果的协同交错分数；根据协同交错分数结果，生成带有伪标签的新数据集；
S4、使用所述带有伪标签的新数据集训练所述车辆重识别网络模型并更新，再根据更新后的网络模型参数重新提取训练集中车辆图像的特征；
S5、从步骤S3重复执行操作，更新数据集的伪标签，交替训练，得到训练好的车辆重识别网络模型。
进一步的，步骤S2中所述车辆重识别网络模型的构建以Vision Transformer为骨干网络。
进一步的，步骤S2中所述车辆属性特征的提取包括提取车辆颜色和车辆类型的特征。
进一步的，步骤S2中所述车辆的全局特征的提取包括：经过卷积层划分图像块，而后展平成一维的特征向量，进入Transformer Encoder层提取全局特征。
更进一步的，步骤S2中所述车辆的局部特征的提取包括：在卷积层划分图像块的基础上进行水平和垂直分割，获取局部特征。
进一步的，步骤S3中，计算协同交错分数的方法包括：按照如下公式计算得分：
Figure BDA0004134348160000021
其中Ci(g,pn,an)表示根据全局特征g、局部特征pn、属性特征am的协同交错分数，范围大于等于0且小于等于1；R表示集合；n代表局部特征的序号；m代表属性特征的序号；Ri(g,k)∪Ri(pn,k)∪Ri(an,k)表示三个分支获得同一类别车辆图像的全部合集；
Ri(g,k)∩Ri(pn,k)∩Ri(an,k)表示三个分支获得同一类别车辆图像的共同交集；
k表示查询到图像xi所在三个分支的分组内的k个图像，就是每个组内最接近的前k个图像，所述组内最接近用K-近邻算法判断。
本发明另一方面还提出了一种基于车辆属性与局部特征伪标签细化的车辆重识别系统，包括：
数据集模块：获取无标注的车辆图像数据集，进行预处理，划分为训练集和验证集；
车辆特征提取模块：构建无监督的车辆重识别网络模型，提取训练集中车辆图像的三种特征，分别为属性特征、全局特征、局部特征；
聚类模块：将提取到的所述三种特征集合聚类生成伪标签，计算三种聚类结果的协同交错分数；根据协同交错分数结果，生成带有伪标签的新数据集；
训练模块：使用所述带有伪标签的新数据集训练所述车辆重识别网络模型并更新，再根据更新后的网络模型参数重新提取训练集中车辆图像的特征；
交替模块：从聚类模块重复执行操作，更新数据集的伪标签，交替训练，得到训练好的车辆重识别网络模型。
进一步的，车辆特征提取模块中所述车辆重识别网络模型的构建以VisionTransformer为骨干网络。
进一步的，车辆特征提取模块中所述车辆属性特征的提取包括提取车辆颜色和车辆类型的特征；所述车辆的全局特征的提取包括：经过卷积层划分图像块，而后展平成一维的特征向量，进入Transformer Encoder层提取全局特征；所述车辆的局部特征的提取包括：在卷积层划分图像块的基础上进行水平和垂直分割，获取局部特征。
进一步的，聚类模块中，计算协同交错分数的方法包括：按照如下公式计算得分：
Figure BDA0004134348160000031
其中Ci(g,pn,an)表示根据全局特征g、局部特征pn、属性特征am的协同交错分数，范围大于等于0且小于等于1；R表示集合；n代表局部特征的序号；m代表属性特征的序号；Ri(g,k)∪Ri(pn,k)∪Ri(an,k)表示三个分支获得同一类别车辆图像的全部合集；
Ri(g,k)∩Ri(pn,k)∩Ri(an,k)表示三个分支获得同一类别车辆图像的共同交集；
k表示查询到图像xi所在三个分支的分组内的k个图像，就是每个组内最接近的前k个图像，所述组内最接近用K-近邻算法判断。
与现有技术相比，本发明具有如下的有益效果：
1、本发明在使用全局特征的基础上，充分利用了车辆不变的属性(车辆颜色和车辆类型)信息和多方向切割的车辆局部特征对无标签的车辆图像进行聚类生成伪标签，还提出了一种计算协同交错分数的方式分配伪标签；相比较于现有大量基于监督学习的车辆重识别技术，不需要昂贵的人工标注，能够在真实的复杂的交通环境下起到良好的作用。同时本发明提出了一个基于车辆局部特征和属性特征的伪标签细化框架，用于无监督的车辆重识别；
2、本发明充分利用了车辆图像的全局、局部上下文特征和属性特征，并利用全局特征和部分特征之间的互补关系来减轻每个特征空间的标签噪声，在生成伪标签的聚类阶段引入了协同交错分数来利用可靠的互补信息来引导标签细化，交替进行的特征聚类和模型训练的方式，提高了模型的车辆特征提取能力，有效克服了真实环境下无标注的车辆图像识别困难的问题。
附图说明
图1是本发明实施例的车辆重识别方法逻辑框图；
图2是本发明实施例的提取车辆特征生成伪标签网络框架图；
图3是本发明实施例的车辆重识别部分的网络框架图；
图4是本发明实施例的车辆特征进行多方向切割的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
为使本发明专利的目的、特征更明显易懂，下面结合附图对本发明专利的具体实施方式作进一步的说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比率，仅用以方便、明晰地辅助说明本发明专利实施例的目的。
本实施例中公开了一种基于车辆属性与局部特征伪标签细化的无监督车辆重识别方法。参见图1，本方法实施包括以下步骤：
S1，获取无标注的车辆图像数据集，进行预处理，划分为训练集和验证集；
S2，构建一个无监督的车辆重识别网络框架，包括骨干网络特征提取部分和聚类部分和车辆识别训练部分；
S3，训练网络模型分为聚类阶段和训练阶段，使用这两阶段交替训练车辆重识别网络获取模型；
S4，将待识别的车辆图像和目标图库，经过上述训练好的车辆重识别网络，进行相似度计算，按照相似度从高到低排名得到最佳结果。
参见图2，将无标注的数据集进行处理，生成带有伪标签的新数据集，其中车辆重识别网络以Vision Transformer(ViT-Base)为骨干网络，提取车辆特征。整体网络的实施过程如下：
(1)首先，骨干网络特征提取部分，车辆图像经过ViT-Base的TransformerEncoder模块后，提取出车辆的全局特征；
所述骨干网络特征提取部分是以ViT-Base为基础改进的骨干网络，输入图像为[256,256,3]，经过一个卷积层划分图像块，而后展平成一维的特征向量，进入TransformerEncoder层提取全局特征，经过的Transformer Encoder层由10个Encoder Block堆叠。其中，车辆图像经过的第一个卷积层，使用一个卷积核大小为16*16且步距为12卷积层，划分图像块；可以划分为划分为了21*21个图像块。
这一步的采用卷积层的步距为12，其作用是划分车辆图像块的过程中能够将相邻的图像部分重合，获取更加具有粘连性的全局车辆特征。
(2)其次，将车辆图像特征，经过三个分支，第一分支为车辆属性特征提取分支，主要是提取车辆颜色和车辆类型特征，这两个属性是车辆最明显的特征，在无标注的车辆数据集中易于提取，准确率高，能作为有效的车辆特征利用，因此可以通过车辆特征进行这两个属性的信息提取；
第二分支是将车辆特征进行垂直和水平切割，获取车辆部件的局部特征；经过提取全局特征的Transformer Encoder层的10个Encoder Block堆叠后，提取的特征经过Deconder展平后，将车辆特征进行卷积运算，划分水平3等分切割，而后垂直7等分切割，共21份局部特征，切割完毕后的车辆局部特征再次经过2个Encoder Block获取细粒度的局部特征，也就是对这些局部特征进行了多头自注意力机制的计算，获取更为重要的车辆局部特征。
第三分支是全局特征分支，第三分支里的全局特征即是实施过程(1)里面提取好的车辆的全局特征；
本实施过程是获取车辆多方向局部特征。参见图4，车辆是一个具有水平对称和垂直对称的物体，但是在车辆图像中，由于拍摄的视点不同，车辆在图像中会产生一定的形变，对称性不那么明显，但同时会将一些局部的车辆部件放大，所以获取局部特征具有一定优势，使用网格型车辆图像切割能够获取车辆各个部件(车轮毂，车灯等)具体判别性的特征。在本发明方法实施中，输入车辆图像的大小为256*256，且在Vit-B网络中划分为了21*21个图像块，在此基础上分割局部特征水平和垂直分割条数分别是[3,7]。
(3)随后，将三个分支提取的特征集合，分别使用DBSCAN聚类生成伪标签，接着计算三种聚类结果的协同交错分数，分数越高，聚类效果越好，根据分数结果，生成带有伪标签的新数据集；
本实施过程中，DBSCAN聚类生成伪标签包括：DBSCAN(Density-Based SpatialClustering of Applications with Noise)是一种基于密度的聚类算法。本实施例中将三个分支提取的特征集合表示为向量，然后使用DBSCAN聚类算法将相似的车辆图像聚类在一起。聚类后，可以将同一簇内的图像赋予相同的伪标签，也即是同一车辆ID标签。伪标签的样式，和普通的车辆数据集标签是一样的，是车辆的身份ID，从0开始(0,1,2,3…)；
本实施过程中所述的协同交错分数主要是表明对三个分支获取的三种车辆图像特征的相似度的一个得分，得分越高表明这一组车辆图像确实是属同一车辆ID。聚类后，是将车辆图像分成一组一组的，三个分支得到的分组不是完全一样的。举个例子，比如说某一车辆，ID为115，属性为白色面包车，按照常理，只要是这辆车的图像应该是要划分到一组，这一组都应该是不同摄像头下拍到的照片，但是就无监督算法而言，目前暂时是没有达到百分百准确的，所以本发明提出“协同交错分数”，就是将三个分支中关于同一ID车辆的分组，进行一个比例计算得分，利用这个得分不断的细化伪标签。
计算协同交错分数的方法过程是，输入一张无标注的车辆图像xi进行特征提取，获取车辆图像xi的通过上述的三个分支获取的属于同一类的车辆图像，i表示车辆图像的序号，按照如下公式计算得分：
Figure BDA0004134348160000061
其中Ci(g,pn,an)表示根据全局特征g、局部特征pn、属性特征am的协同交错分数；R表示集合；n代表局部特征的序号；m代表属性特征的序号；Ri(g,k)∪Ri(pn,k)∪Ri(an,k)表示三个分支获得同一类别车辆图像的全部合集；Ri(g,k)∩Ri(pn,k)∩Ri(an,k)表示三个分支获得同一类别车辆图像的共同交集；范围大于等于0且小于等于1；
k表示查询到图像xi所在三个分支的分组内的k个图像，就是每个组内最接近的前k个图像，所述组内最接近用K-近邻算法判断。
这一步计算的得分的结果反馈给网络，根据得分筛选更加有效的车辆特征，生成新的带有标签的数据集，用于车辆重识别网络训练。
参见图3，车辆特征提取的骨干网络是在聚类阶段和训练阶段是共享的，在获取三个分支的特征后，经过全局平均池化操作(自动的平均池化)，将各个特征融合(拼接和特征压缩)，而后进行批归一化操作(BN层)。
训练阶段，分为两步一是聚类阶段，采用基于Jaccard距离的DBSCAN方法获取伪标签即车辆图像的自标签，再计算协同交错得分，生成带有标签的新数据集，第二步是训练阶段，使用带有标签的数据集训练车辆重识别网络。
根据上述的聚类阶段的操作，新生成的车辆图像的训练集，每个车辆有一个对应的ID标签，然后对图3所示的车辆识别网络按照后向传播算法进行训练，在每一次训练过程中，车辆图像通过骨干网络Vit-B提取到特征图后，更新网络参数。每训练一个轮次后，将新的网络参数模型提取特征再次聚类生成伪标签数据集，而后接着训练重识别部分，交替进行，不断的细化伪标签，训练轮次不少于50次，才能达到最佳效果。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于车辆属性与局部特征伪标签细化的车辆重识别方法，其特征在于，包括：
S1、获取无标注的车辆图像数据集，进行预处理，划分为训练集和验证集；
S2、构建无监督的车辆重识别网络模型，提取训练集中车辆图像的三种特征，分别为属性特征、全局特征、局部特征；
S3、将提取到的所述三种特征集合聚类生成伪标签，计算三种聚类结果的协同交错分数；根据协同交错分数结果，生成带有伪标签的新数据集；
S4、使用所述带有伪标签的新数据集训练所述车辆重识别网络模型并更新，再根据更新后的网络模型参数重新提取训练集中车辆图像的特征；
S5、从步骤S3重复执行操作，更新数据集的伪标签，交替训练，得到训练好的车辆重识别网络模型。
2.根据权利要求1所述的基于车辆属性与局部特征伪标签细化的车辆重识别方法，其特征在于，步骤S2中所述车辆重识别网络模型的构建以Vision Transformer为骨干网络。
3.根据权利要求1所述的基于车辆属性与局部特征伪标签细化的车辆重识别方法，其特征在于，步骤S2中所述车辆属性特征的提取包括提取车辆颜色和车辆类型的特征。
4.根据权利要求1所述的基于车辆属性与局部特征伪标签细化的车辆重识别方法，其特征在于，步骤S2中所述车辆的全局特征的提取包括：经过卷积层划分图像块，而后展平成一维的特征向量，进入Transformer Encoder层提取全局特征。
5.根据权利要求4所述的基于车辆属性与局部特征伪标签细化的车辆重识别方法，其特征在于，步骤S2中所述车辆的局部特征的提取包括：在卷积层划分图像块的基础上进行水平和垂直分割，获取局部特征。
6.根据权利要求1所述的基于车辆属性与局部特征伪标签细化的车辆重识别方法，其特征在于，步骤S3中，计算协同交错分数的方法包括：按照如下公式计算得分：
Figure FDA0004134348150000011
其中Ci(g,pn,an)表示根据全局特征g、局部特征pn、属性特征am的协同交错分数，范围大于等于0且小于等于1；R表示集合；n代表局部特征的序号；m代表属性特征的序号；Ri(g,k)∪Ri(pn,k)∪Ri(an,k)表示三个分支获得同一类别车辆图像的全部合集；
Ri(g,k)∩Ri(pn,k)∩Ri(an,k)表示三个分支获得同一类别车辆图像的共同交集；
k表示查询到图像xi所在三个分支的分组内的k个图像，就是每个组内最接近的前k个图像，所述组内最接近用K-近邻算法判断。
7.一种基于车辆属性与局部特征伪标签细化的车辆重识别系统，其特征在于，包括：
数据集模块：获取无标注的车辆图像数据集，进行预处理，划分为训练集和验证集；
车辆特征提取模块：构建无监督的车辆重识别网络模型，提取训练集中车辆图像的三种特征，分别为属性特征、全局特征、局部特征；
聚类模块：将提取到的所述三种特征集合聚类生成伪标签，计算三种聚类结果的协同交错分数；根据协同交错分数结果，生成带有伪标签的新数据集；
训练模块：使用所述带有伪标签的新数据集训练所述车辆重识别网络模型并更新，再根据更新后的网络模型参数重新提取训练集中车辆图像的特征；
交替模块：从聚类模块重复执行操作，更新数据集的伪标签，交替训练，得到训练好的车辆重识别网络模型。
8.根据权利要求7所述的基于车辆属性与局部特征伪标签细化的车辆重识别系统，其特征在于，车辆特征提取模块中所述车辆重识别网络模型的构建以Vision Transformer为骨干网络。
9.根据权利要求7所述的基于车辆属性与局部特征伪标签细化的车辆重识别系统，其特征在于，车辆特征提取模块中所述车辆属性特征的提取包括提取车辆颜色和车辆类型的特征；所述车辆的全局特征的提取包括：经过卷积层划分图像块，而后展平成一维的特征向量，进入Transformer Encoder层提取全局特征；所述车辆的局部特征的提取包括：在卷积层划分图像块的基础上进行水平和垂直分割，获取局部特征。
10.根据权利要求7所述的基于车辆属性与局部特征伪标签细化的车辆重识别系统，其特征在于，聚类模块中，计算协同交错分数的方法包括：按照如下公式计算得分：
Figure FDA0004134348150000021
其中Ci(g,pn,an)表示根据全局特征g、局部特征pn、属性特征am的协同交错分数，范围大于等于0且小于等于1；R表示集合；n代表局部特征的序号；m代表属性特征的序号；Ri(g,k)∪Ri(pn,k)∪Ri(an,k)表示三个分支获得同一类别车辆图像的全部合集；
Ri(g,k)∩Ri(pn,k)∩Ri(an,k)表示三个分支获得同一类别车辆图像的共同交集；
k表示查询到图像xi所在三个分支的分组内的k个图像，就是每个组内最接近的前k个图像，所述组内最接近用K-近邻算法判断。
CN202310270233.2A 2023-03-20 2023-03-20 基于车辆属性与局部特征伪标签细化的车辆重识别方法 Pending CN116310555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310270233.2A CN116310555A (zh) 2023-03-20 2023-03-20 基于车辆属性与局部特征伪标签细化的车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310270233.2A CN116310555A (zh) 2023-03-20 2023-03-20 基于车辆属性与局部特征伪标签细化的车辆重识别方法

Publications (1)

Publication Number Publication Date
CN116310555A true CN116310555A (zh) 2023-06-23

Family

ID=86779306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310270233.2A Pending CN116310555A (zh) 2023-03-20 2023-03-20 基于车辆属性与局部特征伪标签细化的车辆重识别方法

Country Status (1)

Country Link
CN (1) CN116310555A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437604A (zh) * 2023-12-21 2024-01-23 华侨大学 无监督车辆再辨识模型训练方法、车辆再辨识方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117437604A (zh) * 2023-12-21 2024-01-23 华侨大学 无监督车辆再辨识模型训练方法、车辆再辨识方法及装置
CN117437604B (zh) * 2023-12-21 2024-03-12 华侨大学 无监督车辆再辨识模型训练方法、车辆再辨识方法及装置

Similar Documents

Publication Publication Date Title
WO2021022970A1 (zh) 一种基于多层随机森林的零部件识别方法及系统
CN111310773B (zh) 一种高效的卷积神经网络的车牌定位方法
US9098775B2 (en) Multi-class identifier, method, and computer-readable recording medium
CN109829427B (zh) 一种基于纯度检测和空间注意力网络的人脸聚类方法
JP5167442B2 (ja) 画像識別装置およびプログラム
CN111666850A (zh) 一种基于聚类生成候选锚框的细胞图像检测与分割方法
Huang et al. DeepDiff: Learning deep difference features on human body parts for person re-identification
CN111582178B (zh) 基于多方位信息和多分支神经网络车辆重识别方法及系统
CN109145964B (zh) 一种实现图像颜色聚类的方法和系统
CN114067143A (zh) 一种基于双子网络的车辆重识别方法
CN111125397B (zh) 一种基于卷积神经网络的布料图像检索方法
CN108596240B (zh) 一种基于判别特征网络的图像语义分割方法
CN111797700B (zh) 一种基于细粒度判别网络与二阶重排序的车辆重识别方法
CN111639564A (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN111931703B (zh) 基于人-物体交互弱监督标签的物体检测方法
CN116310555A (zh) 基于车辆属性与局部特征伪标签细化的车辆重识别方法
CN113808166B (zh) 基于聚类差分和深度孪生卷积神经网络的单目标跟踪方法
CN113762138A (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
CN111027377A (zh) 一种双流神经网络时序动作定位方法
CN114677754A (zh) 行为识别方法、装置、电子设备及计算机可读存储介质
CN113486723A (zh) 一种高效的车辆再辨识方法和装置
CN116978093A (zh) 基于空间数据增强和对称互注意力的跨模态行人重识别方法
CN106611418A (zh) 一种图像分割算法
CN113255615B (zh) 一种自监督学习的行人检索方法及装置
Lu et al. Clustering based road detection method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination