CN115359442A - 基于部件表征学习和个性化属性结构的车辆重识别方法 - Google Patents

基于部件表征学习和个性化属性结构的车辆重识别方法 Download PDF

Info

Publication number
CN115359442A
CN115359442A CN202211062445.3A CN202211062445A CN115359442A CN 115359442 A CN115359442 A CN 115359442A CN 202211062445 A CN202211062445 A CN 202211062445A CN 115359442 A CN115359442 A CN 115359442A
Authority
CN
China
Prior art keywords
vehicle
attribute
component
learning
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211062445.3A
Other languages
English (en)
Inventor
钟忺
巫世峰
冯独秀
黄文心
章镕波
张瑾
陈利军
张杨
张俊
彭娅婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongqian Liyuan Engineering Consulting Co ltd
Original Assignee
Zhongqian Liyuan Engineering Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongqian Liyuan Engineering Consulting Co ltd filed Critical Zhongqian Liyuan Engineering Consulting Co ltd
Priority to CN202211062445.3A priority Critical patent/CN115359442A/zh
Publication of CN115359442A publication Critical patent/CN115359442A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于部件表征学习和个性化属性结构的车辆重识别方法，该方法着眼于车辆重识别任务中的关键信息：部件外观信息和个性化属性结构信息。在部件分支中，通过车辆部件语义分割器获得车辆部件特征，引入自编码器来实现对部件特征的超分辨率处理，对于成对部件特征进行多视角下的对比学习。在属性分支中，通过属性检测器获得车辆的属性特征，对于属性特征进行属性结构建模进行加强，抽取部件特征与属性特征构建双粒度结构关系模型来使得属性特征具有跨粒度的车辆结构表达能力。对于部件、属性以及由ResNet50提取的全局特征进行加权融合后得到最终结果，利用本发明能够简洁高效地进行车辆重识别。

Description

基于部件表征学习和个性化属性结构的车辆重识别方法
技术领域
本发明属于城市监控视频检索技术领域，尤其涉及一种基于部件表征学习和个性化属性结构的车辆重识别方法。
背景技术
随着社会治安网络视频监控系统的快速发展，视频监控数据也呈现了大批量的增长。研究高效的视频图像分析技术来满足从大规模视频监控数据中提取有效的信息，以此来节省治安防控的成本，已成为安防领域关注的焦点。例如警方在追踪肇事逃逸等违法犯罪活动的车辆时，面对的往往是海量的交通监控视频，通过手工方法的层层筛选，最终确定唯一的嫌疑车辆。然而这种手工方法无法对车辆信息进行有效的过滤并分类，效率不高，而且伴随着人为主观因素的影响，导致无法达到满意的效果，严重费时费力。因此，研究车辆重识别方法在车辆检索、安防等社会治安工作中具有重大的意义和实用价值。
车辆重识别是指在特定范围内的交通监控环境中，通过匹配算法计算非重叠范围内监控获取的车辆图像的身份是否相同的任务。该任务目前主要的问题在于类似车型类似颜色的近似样本问题和不同摄像头视角下的视角变换问题。传统的方法通常依赖于车辆行进路线上的各种传感器或感应器，车辆经过传感器时，通过捕捉车辆的时间信号、磁场信号等信息来区分不同车辆。然而这种传感器的方法重识别精度较低且难以实现。如今利用深度学习网络[1-3]通过输入的车辆图像进行特征提取，从而实现车辆重识别是专家学者的研究热点内容。
发明内容
针对现有技术存在的不足，本发明提供了一种基于部件表征学习和个性化属性结构的车辆重识别方法，该方法着眼于车辆重识别任务中的关键信息：部件外观信息和个性化属性结构信息。对于车辆的部件信息采用超分辨率的方法和多视角的对比学习的方法来进行表征学习，以增强车辆部件级的特征的鲁棒性和有效性。同时，提取车辆的属性特征并且挖掘部件和属性之间的双粒度结构关系。在部件分支中，首先通过车辆部件语义分割器获得车辆部件特征，然后引入自编码器来实现对部件特征的超分辨率处理，最后对于成对部件特征进行多视角下的对比学习。在属性分支中，首先通过属性检测器获得车辆的属性特征，然后对于属性特征进行属性结构建模进行加强，最后抽取部件特征与属性特征构建双粒度结构关系模型来使得属性特征具有跨粒度的车辆结构表达能力。对于车辆部件特征、属性特征以及由ResNet50提取的全局特征进行加权融合后得到车辆重识别的最终结果。
本发明所采用的技术方案是：一种摄像头网络下一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于对多个粒度的车辆特征以不同的方式进行加强，同时挖掘结构信息来帮助车辆重识别。系统框架图见附图2，其具体实现包括以下步骤：
一种基于部件表征学习和个性化属性结构的车辆重识别，其特征在于，
通过车辆部件分割器获得车辆部件特征，并对部件特征进行超分辨率处理，对于成对部件特征进行多视角下的对比学习，构建多视角下的车辆部件表征学习模型；
在属性分支中，通过车辆属性检测器获得车辆的属性位置信息，将其与车辆特征相乘后获得车辆属性特征，并基于车辆属性特征构建属性结构模型；
抽取车辆部件特征与属性特征构建双粒度结构关系模型，对全局特征、部件特征和属性特征加权融合后得到车辆重识别的最终结果。
在上述的一种基于部件表征学习和个性化属性结构的车辆重识别，定义
多摄像头下的车辆重识别：识别出在M+1个视场区域不重叠的摄像头组成的摄像机网络C中，某个摄像头Cn下的某个特定车辆i用Oi n表示，C＝{C0,C1,C2,…,CM})。
车辆部件：将车辆图片按照车辆的固有部件进行划分获得部件集P(表示为P＝{P0,P1,P2,…,P9})，具体指背景、车顶、左车窗、左车身、右车窗、右车身、正车窗、前车身、后车窗、后车身。其中排除背景P0后即为车辆的全部部件。
车辆属性：对于车辆上极具个性化表达能力的小目标进行定义，获得车辆的属性集A(表示为A＝{A1,A2,A3,…,A12})，具体指后视镜，车牌标志，年检标志，车身贴纸，车灯、纸巾盒、装饰摆件、通行许可证、悬挂物、行李架、车顶天窗、杂志。
同一车辆的确定：对车辆的全局特征、部件特征、属性特征进行余弦距离度量，对结果进行加权融合后得出相似度排序结果，实现车辆重识别。
在上述的一种基于部件表征学习和个性化属性结构的车辆重识别，车辆的部件表征学习模型构建包括：
网络接受一对不同视角下的车辆图像xi与xj，利用分割网络获取部件特征分别为Fi p(xi)＝{Fi p|p∈{1,...,9}}和
Figure BDA0003826671130000031
车辆部件表征学习分支：双分支部件超分辨率网络来生成不同视角的和基于的ID保留的车辆部件增强表征，为了在图像重建中恢复更多的视觉线索，使用了感知重建损失约束超分辨率网络，可表示为
Figure BDA0003826671130000032
对于不同视角下的部件，利用成对输入的部件关系构建对比学习模型，将超分后的部件特征连接，在一定程度上避免了图像中全局信息的干扰，有效增强车辆部件表征，特征连接可表示为
Figure BDA0003826671130000033
xi，
Figure BDA0003826671130000037
分别表示第i个地面真值和经过超分辨率网络后的重建图像，
Figure BDA0003826671130000035
表示VGG-19网络，利用该网络能够有效获取高维度特征，CjHjWj是网络中第j层特征图的形状。
在上述的一种基于部件表征学习和个性化属性结构的车辆重识别，个性化属性结构模型构建包括
车辆图片首先输入属性检测器来获得对应属性的位置信息，并且通过将掩码与全局特征相乘的方式获得车辆的属性特征，表示为Fa(x)＝{Fa|a∈{1,...,12}}。
对于车辆的属性特征进行结构建模，不同的属性特征的集合作为结点V，属性之间的关联性则作为边E，从而构建了一个图模型。与此同时，属性结构图中还引入了一个两层的图卷积神经网络GCN来进行结点之间的权重学习，每一层的计算方式为
Figure BDA0003826671130000036
Fa(x)(L)表示GCN中的第L层的输入矩阵，σ(·)表示激活函数，A表示属性结构图中的邻接矩阵，D表示A的度矩阵，W(L)表示第L层的可学习参数。
将获得的车辆部件特征进行抽取，与属性特征聚合后进行双粒度结构关系建模。对于每个信道特征作为一个结点V，将每个结点代表的车辆属性或车辆部件之间的是否具有联系作为是否有边E的依据，以此构建一个双粒度结构关系图模型。此外，通过设计了一个异构的GCN网络来学习结点之间的权重学习。
在上述的一种基于部件表征学习和个性化属性结构的车辆重识别，双粒度结构关系模型是对车辆的全局特征距离、部件特征距离、属性特征距离进行余弦距离度量，其中，
对于通过ResNet50对于车辆图片进行特征提取获得的车辆全局特征，获得的车辆部件特征以及获的车辆属性特征，分别进行余弦距离
Figure BDA0003826671130000041
的计算，获得全局特征距离
Figure BDA0003826671130000042
部件特征距离
Figure BDA0003826671130000043
和属性特征距离
Figure BDA0003826671130000044
对于车辆的全局特征距离、部件特征距离、属性特征距离以一定的权重进行融合得到最终的车辆特征距离
Figure BDA0003826671130000045
根据
Figure BDA0003826671130000046
的大小判断车辆的相似度完成车辆重识别任务。
在上述的一种基于部件表征学习和个性化属性结构的车辆重识别，
最终距离
Figure BDA0003826671130000047
可表示为
Figure BDA0003826671130000048
其中γ1、γ2、γ3为平衡不同粒度特征权重的超参数。
在上述的一种基于部件表征学习和个性化属性结构的车辆重识别，
对于属性结构图中的邻接矩阵A，用于表示两个不同属性结点之间是否有关联。对于A(i,j)来说，如果属性结点i与属性结点j有关联，则认为在图中这两个结点有边，即A(i,j)＝1，反之则A(i,j)＝0。
在上述的一种基于部件表征学习和个性化属性结构的车辆重识别，
部件特征和属性特征按照聚合时的信道进行保留，分别对应9和12个信道。
对于双粒度图模型的输出只截取了属性特征对应的一部分信道。
与现有车辆重识别方法与系统相比，本发明具有以下优点和有益效果：1、提出了一种全新的车辆部件表征学习方式；2、提出了一个全新的车辆属性特征提取模块和双粒度结构关系模块；3、提取了鲁棒的多粒度车辆外观特征，挖掘了车辆的跨粒度的结构关系信息，简洁高效地利用这些信息进行车辆重识别，在视角变换和车辆外观接近的情况下也能保持良好的表现。
附图说明
图1为本发明的系统流程图。
图2为本发明的系统框架图。
图3为本发明的验证实验结果图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明提供了一种基于部件表征学习和个性化属性结构的车辆重识别方法，该方法着眼于车辆重识别任务中的关键信息：部件外观信息和个性化属性结构信息。对于车辆的部件信息采用超分辨率的方法和多视角的对比学习的方法来进行表征学习，以增强车辆部件级的特征的鲁棒性和有效性。同时，提取车辆的属性特征并且挖掘部件和属性之间的双粒度结构关系。在部件分支中，首先通过车辆部件语义分割器获得车辆部件特征，然后引入自编码器来实现对部件特征的超分辨率处理，最后对于成对部件特征进行多视角下的对比学习。在属性分支中，首先通过属性检测器获得车辆的属性特征，然后对于属性特征进行属性结构建模进行加强，最后抽取部件特征与属性特征构建双粒度结构关系模型来使得属性特征具有跨粒度的车辆结构表达能力。对于车辆部件特征、属性特征以及由ResNet50提取的全局特征进行加权融合后得到车辆重识别的最终结果。
框架图请见图2，本实施例在公共的数据集VeRi和VehicleID上进行测试。VeRi数据集包含20个摄像头下776个车辆的近50000张车辆图片，VehicleID包含在来自26267辆车的221763张图像。以下针对上述实例对本发明做进一步的阐述，本发明的流程包括：
步骤一：
几个定义
①多摄像头下的车辆重识别：识别出在M+1个视场区域不重叠的摄像头(表示为C＝{C0,C1,C2,…,CM})组成的摄像机网络C中，某个摄像头Cn下的某个特定车辆i(用Oi n表示)。
②车辆部件：将车辆图片按照车辆的固有部件进行划分获得部件集P(表示为P＝{P0,P1,P2,…,P9})，具体指背景、车顶、左车窗、左车身、右车窗、右车身、正车窗、前车身、后车窗、后车身。其中排除背景P0后即为车辆的全部部件，这些部件在不同视角下的可视区域往往有极大的变化。
③车辆属性：对于车辆上极具个性化表达能力的小目标进行定义，获得车辆的属性集A(表示为A＝{A1,A2,A3,…,A12})，具体指后视镜，车牌标志，年检标志，车身贴纸，车灯、纸巾盒、装饰摆件、通行许可证、悬挂物、行李架、车顶天窗、杂志。这些车辆上的属性虽然区域较小，但是具有很强的辨识度，即使是相同车型的车辆也可以在这些属性上体现出车辆身份的异同。
④同一车辆的确定：
本发明对车辆的全局特征、部件特征、属性特征进行余弦距离度量，对结果进行加权融合后得出相似度排序结果，实现车辆重识别。
步骤二：
车辆的部件表征学习模型
1.网络接受一对不同视角下的车辆图像xi与xj，利用分割网络获取部件特征分别为Fi p(xi)＝{Fi p|p∈{1,}}.和
Figure BDA0003826671130000061
2.车辆部件表征学习分支：双分支部件超分辨率网络来生成不同视角的和基于的ID保留的车辆部件增强表征，为了在图像重建中恢复更多的视觉线索，使用了感知重建损失约束超分辨率网络，可表示为
Figure BDA0003826671130000062
3.对于不同视角下的部件，利用成对输入的部件关系构建对比学习模型，将超分后的部件特征连接，在一定程度上避免了图像中全局信息的干扰，有效增强车辆部件表征，特征连接可表示为
Figure BDA0003826671130000063
步骤三：
个性化属性结构模型
1.车辆图片首先输入属性检测器来获得对应属性的位置信息，并且通过将掩码与全局特征相乘的方式获得车辆的属性特征，表示为Fa(x)＝{Fa|a∈{1,...,12}}。
2.对于车辆的属性特征进行结构建模，不同的属性特征的集合作为结点V，属性之间的关联性则作为边E，从而构建了一个图模型。与此同时，属性结构图中还引入了一个两层的图卷积神经网络GCN来进行结点之间的权重学习，每一层的计算方式为
Figure BDA0003826671130000071
3.将步骤二中获得的车辆部件特征进行抽取，与属性特征聚合后进行双粒度结构关系建模。对于每个信道特征作为一个结点V，将每个结点代表的车辆属性或车辆部件之间的是否具有联系作为是否有边E的依据，以此构建一个双粒度结构关系图模型。此外，通过设计了一个异构的GCN网络来学习结点之间的权重学习。
步骤四：
特征距离度量
1.对于通过ResNet50对于车辆图片进行特征提取获得的车辆全局特征，步骤二所述获得的车辆部件特征以及步骤三所述获的车辆属性特征，分别进行余弦距离
Figure BDA0003826671130000072
的计算，获得全局特征距离
Figure BDA0003826671130000073
部件特征距离
Figure BDA0003826671130000074
和属性特征距离
Figure BDA0003826671130000075
2.对于车辆的全局特征距离、部件特征距离、属性特征距离以一定的权重进行融合得到最终的车辆特征距离
Figure BDA0003826671130000076
根据
Figure BDA0003826671130000077
的大小判断车辆的相似度完成车辆重识别任务。
本发明中所设计的内容均通过实验实例验证了有效性。
对于步骤二中的车辆部件表征学习方式(LMRFF+LMRFE)的实验结果如下。
表1与表2分别列出了在MLR-VeRi776数据集与VRIC数据集上基于特征融合和特征增强融合方法的mAP、Rank-1和Rank-5指标，同时为了更明显展示出网络各个模块对车辆重识别指标的影响，以MLR-VeRi776数据集为例，给出CMC曲线图如附图3所示。
表1几种模型在MLR-VeRi776数据集上的准确率对比
Figure BDA0003826671130000078
表2几种模型在VRIC数据集上的准确率对比
Figure BDA0003826671130000081
表1中的FSRCNN-reID框架是将经典的超分辨率网络FSRCNN与车辆重识别框架融合，LMRFF+LMRFE融合框架与之相比，在MLR-VeRi776数据集与VRIC数据集上的mAP指标分别提高了17.4％与32.2％，Rank-1指标分别提升了33.4％与41.6％。因而可知，将组件分割后的特征与全局融合，并通过特征增强，两个模块可以效地融合，快速提升多分辨率车辆重识别的精度。CSR-GAN、MV-GAN均采用了生成对抗网络的方法，试图利用生成对抗网络生成高分辨率的车辆图像或者补充车辆的不可见视角，这些方法相较于简单得将超分辨率与重识别网络结合的框架而言，在VRIC数据集上CSR-GAN的Rank-1指标提高了与3％，MV-GAN虽然在mAP指标达到了67.3％，相较于其他方法有了一定的提升，属于近年较为领先的方法之一，但其指标仍然无法继续提升。由此可见，基于生成对抗网络的方法在多分辨率场景下仍然存在一定的瓶颈，导致生成的高分辨率图像包含伪影，在一定程度上影响重识别的精度。与特征融合方法相比较，本发明的融合方法LMRFF+LMRFE在一定程度上弥补了精度下降的问题，在mAP的指标有了大幅提升，达到了63.2％，体现本发明基于组件超分辨率特征增强的先进性，两个模块相辅相成，共同促进网络参数优化。
对于步骤三中设计的车辆属性特征提取模块和双粒度结构关系模块(GSAN)的实验结果如下。
在VehicleID数据集上，本发明对于最终设计的GSAN模型进行了训练并分别在Small(Test＝800)、Medium(Test＝1600)、Large(Test＝2400)三个测试集上进行了实验。实验结果与主流的车辆重识别方法的比较如表3、4、5所示，其中对每项指标中的最高值进行了加粗，对于次高值则用蓝色表示。
表3在VehicleID Small(Test＝800)上与主流方法的比较
Figure BDA0003826671130000082
Figure BDA0003826671130000091
表4在VehicleID Medium(Test＝1600)上与主流方法的比较
Figure BDA0003826671130000092
表5在VehicleID Large(Test＝2400)上与主流方法的比较
Figure BDA0003826671130000093
根据对于上述实验结果及对比结果的分析可知，本发明提出的方法GSAN在VehicleID Small测试集上与主流的方法相比，比如Multi-Scale和PCRNet，我们的方法在Rank-1上提升了2.4％，在Rank-5上提升了0.4％，在mAP上提升了1.2％。在对于VehicleIDMedium的测试中，GSAN的表现在mAP上比Multi-Scale提升了1.5％，在Rank-1上比Baseline提升了1.6％，在Rank-5上提升了1.3％。在VehicleID Large测试集中的表现则是在mAP上略低于最先进的方法MVAN，在Rank-1上提升了2.4％，在Rank-5提升了1.6％。MVAN是一种基于视角注意力的车辆重识别方法，它将车辆分为前、侧、后三个可视区域，用视角注意力机制来调整三个区域特征的权重。MVAN虽然在mAP上略高于我们的方法，但是在Rank-1和Rank-5上的指标远低于我们的方法，由此可见我们的方法的性能更全面，更能满足车辆重识别的任务需求。
在Veri-776数据集上，GSAN模型经过训练，测试结果与主流方法的对比如表6所示。其中对每项指标中的最高值进行了加粗，对于次高值则用蓝色表示。
从表中的数据分析可知，GSAN在mAP上比MVAN低0.3％，在Rank-1上比VCAM低1.2％，在Rank-5上比MVAN低0.7％。MVAN方法和VCAM方法都对于视角变化进行了专门的注意力机制的设计，而在Veri-776数据集中，视角变化的问题尤其显著，MVAN和VCAM中设计的方法更适合解决这类问题。与此同时，Veri-776数据集中车辆图片本身可获取的属性信息的辨识度和分布率都较低，对于我们的方法的奏效产生了一定的限制作用。然而，即使如此，综合来说GSAN仍然可以在Veri-776上获得不错的实验指标，这也进一步的验证了我们的方法的先进性。
3.表6在Veri-776上与主流方法的比较
Figure BDA0003826671130000101
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，
通过车辆部件分割器获得车辆部件特征，并对部件特征进行超分辨率处理，对于成对部件特征进行多视角下的对比学习，构建多视角下的车辆部件表征学习模型；
在属性分支中，通过车辆属性检测器获得车辆的属性位置信息，将其与车辆特征相乘后获得车辆属性特征，并基于车辆属性特征构建属性结构模型；
抽取车辆部件特征与属性特征构建双粒度结构关系模型，对全局特征、部件特征和属性特征加权融合后得到车辆重识别的最终结果。
2.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，定义
多摄像头下的车辆重识别：识别出在M+1个视场区域不重叠的摄像头组成的摄像机网络C中，某个摄像头Cn下的某个特定车辆i用Oi n表示，C＝{C0,C1,C2,…,CM})；
车辆部件：将车辆图片按照车辆的固有部件进行划分获得部件集P(表示为P＝{P0,P1,P2,…,P9})，具体指背景、车顶、左车窗、左车身、右车窗、右车身、正车窗、前车身、后车窗、后车身；其中排除背景P0后即为车辆的全部部件；
车辆属性：对于车辆上极具个性化表达能力的小目标进行定义，获得车辆的属性集A(表示为A＝{A1,A2,A3,…,A12})，具体指后视镜，车牌标志，年检标志，车身贴纸，车灯、纸巾盒、装饰摆件、通行许可证、悬挂物、行李架、车顶天窗、杂志；
同一车辆的确定：对车辆的全局特征、部件特征、属性特征进行余弦距离度量，对结果进行加权融合后得出相似度排序结果，实现车辆重识别。
3.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，车辆的部件表征学习模型构建包括：
网络接受一对不同视角下的车辆图像xi与xj，利用分割网络获取部件特征分别为Fi p(xi)＝{Fi p|p∈{1,...,9}}和
Figure FDA0003826671120000011
车辆部件表征学习分支：双分支部件超分辨率网络来生成不同视角的和基于的ID保留的车辆部件增强表征，为了在图像重建中恢复更多的视觉线索，使用了感知重建损失约束超分辨率网络，可表示为
Figure FDA0003826671120000021
对于不同视角下的部件，利用成对输入的部件关系构建对比学习模型，将超分后的部件特征连接，在一定程度上避免了图像中全局信息的干扰，有效增强车辆部件表征，特征连接可表示为
Figure FDA0003826671120000022
xi，
Figure FDA0003826671120000023
分别表示第i个地面真值和经过超分辨率网络后的重建图像，
Figure FDA0003826671120000024
表示VGG-19网络，利用该网络能够有效获取高维度特征，CjHjWj是网络中第j层特征图的形状。
4.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，个性化属性结构模型构建包括
车辆图片首先输入属性检测器来获得对应属性的位置信息，并且通过将掩码与全局特征相乘的方式获得车辆的属性特征，表示为Fa(x)＝{Fa|a∈{1,...,12}}；
对于车辆的属性特征进行结构建模，不同的属性特征的集合作为结点V，属性之间的关联性则作为边E，从而构建了一个图模型；与此同时，属性结构图中还引入了一个两层的图卷积神经网络GCN来进行结点之间的权重学习，每一层的计算方式为
Figure FDA0003826671120000025
Fa(x)(L)表示GCN中的第L层的输入矩阵，σ(·)表示激活函数，A表示属性结构图中的邻接矩阵，D表示A的度矩阵，W(L)表示第L层的可学习参数；
将获得的车辆部件特征进行抽取，与属性特征聚合后进行双粒度结构关系建模；对于每个信道特征作为一个结点V，将每个结点代表的车辆属性或车辆部件之间的是否具有联系作为是否有边E的依据，以此构建一个双粒度结构关系图模型；此外，通过设计了一个异构的GCN网络来学习结点之间的权重学习。
5.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，双粒度结构关系模型是对车辆的全局特征距离、部件特征距离、属性特征距离进行余弦距离度量，其中，
对于通过ResNet50对于车辆图片进行特征提取获得的车辆全局特征，获得的车辆部件特征以及获的车辆属性特征，分别进行余弦距离
Figure FDA0003826671120000026
的计算，获得全局特征距离
Figure FDA0003826671120000027
部件特征距离
Figure FDA0003826671120000028
和属性特征距离
Figure FDA0003826671120000029
对于车辆的全局特征距离、部件特征距离、属性特征距离以一定的权重进行融合得到最终的车辆特征距离
Figure FDA0003826671120000031
根据
Figure FDA0003826671120000032
的大小判断车辆的相似度完成车辆重识别任务。
6.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，
最终距离
Figure FDA0003826671120000033
可表示为
Figure FDA0003826671120000034
其中γ1、γ2、γ3为平衡不同粒度特征权重的超参数。
7.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，
对于属性结构图中的邻接矩阵A，用于表示两个不同属性结点之间是否有关联；对于A(i,j)来说，如果属性结点i与属性结点j有关联，则认为在图中这两个结点有边，即A(i,j)＝1，反之则A(i,j)＝0。
8.根据权利要求1所述的一种基于部件表征学习和个性化属性结构的车辆重识别方法，其特征在于，，
部件特征和属性特征按照聚合时的信道进行保留，分别对应9和12个信道；
对于双粒度图模型的输出只截取了属性特征对应的一部分信道。
CN202211062445.3A 2022-08-31 2022-08-31 基于部件表征学习和个性化属性结构的车辆重识别方法 Pending CN115359442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211062445.3A CN115359442A (zh) 2022-08-31 2022-08-31 基于部件表征学习和个性化属性结构的车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211062445.3A CN115359442A (zh) 2022-08-31 2022-08-31 基于部件表征学习和个性化属性结构的车辆重识别方法

Publications (1)

Publication Number Publication Date
CN115359442A true CN115359442A (zh) 2022-11-18

Family

ID=84004272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211062445.3A Pending CN115359442A (zh) 2022-08-31 2022-08-31 基于部件表征学习和个性化属性结构的车辆重识别方法

Country Status (1)

Country Link
CN (1) CN115359442A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403171A (zh) * 2023-06-08 2023-07-07 松立控股集团股份有限公司 一种车辆重识别方法、系统及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116403171A (zh) * 2023-06-08 2023-07-07 松立控股集团股份有限公司 一种车辆重识别方法、系统及电子设备
CN116403171B (zh) * 2023-06-08 2023-09-01 松立控股集团股份有限公司 一种车辆重识别方法、系统及电子设备

Similar Documents

Publication Publication Date Title
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
Yin et al. Hot region selection based on selective search and modified fuzzy C-means in remote sensing images
CN107729818B (zh) 一种基于深度学习的多特征融合车辆重识别方法
CN108875608B (zh) 一种基于深度学习的机动车交通信号识别方法
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN108108657A (zh) 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN110310241B (zh) 一种融合深度区域分割的多大气光值交通图像去雾方法
Derpanis et al. Classification of traffic video based on a spatiotemporal orientation analysis
CN105550701A (zh) 实时图像提取识别方法及装置
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN104463241A (zh) 一种智能交通监控系统中的车辆类型识别方法
CN108830254B (zh) 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
Tian et al. Small object detection via dual inspection mechanism for UAV visual images
CN109214345A (zh) 基于相似度比对查找换牌车辆的行驶轨迹的方法
CN112801182B (zh) 一种基于困难样本感知的rgbt目标跟踪方法
Vaiyapuri et al. Automatic Vehicle License Plate Recognition Using Optimal Deep Learning Model.
Li et al. A review of deep learning methods for pixel-level crack detection
CN112488229A (zh) 一种基于特征分离和对齐的域自适应无监督目标检测方法
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN117011563B (zh) 基于半监督联邦学习的道路损害巡检跨域检测方法及系统
CN114049572A (zh) 识别小目标的检测方法
CN108491828B (zh) 一种基于层次的成对相似性PVAnet的停车位检测系统及方法
CN110059675A (zh) 一种机器人识别道路交通执法行为并提供规范化辅助的方法
CN110889360A (zh) 一种基于切换卷积网络的人群计数方法及系统
Liang et al. Cross-scene foreground segmentation with supervised and unsupervised model communication

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination