CN113269099A - 基于图匹配的异构无人系统下车辆重新识别方法 - Google Patents

基于图匹配的异构无人系统下车辆重新识别方法 Download PDF

Info

Publication number
CN113269099A
CN113269099A CN202110581679.8A CN202110581679A CN113269099A CN 113269099 A CN113269099 A CN 113269099A CN 202110581679 A CN202110581679 A CN 202110581679A CN 113269099 A CN113269099 A CN 113269099A
Authority
CN
China
Prior art keywords
vehicle
images
image
feature
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110581679.8A
Other languages
English (en)
Other versions
CN113269099B (zh
Inventor
杨楚乐
张超
管乃洋
王之元
凡遵林
王世雄
苏龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defense Technology Innovation Institute PLA Academy of Military Science
Original Assignee
National Defense Technology Innovation Institute PLA Academy of Military Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defense Technology Innovation Institute PLA Academy of Military Science filed Critical National Defense Technology Innovation Institute PLA Academy of Military Science
Priority to CN202110581679.8A priority Critical patent/CN113269099B/zh
Publication of CN113269099A publication Critical patent/CN113269099A/zh
Application granted granted Critical
Publication of CN113269099B publication Critical patent/CN113269099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图匹配的异构无人系统下车辆重新识别方法，利用特征提取模块、图卷积模块、图匹配模块三个模块来实现，该三个模块均基于卷积神经网络模型来实现；本发明方法的具体步骤包括：S1，利用特征提取模块实现，获取候选集图像，利用该图像对车辆特征进行提取；S2，利用图卷积模块实现，对车辆局部特征进行融合；S3，车辆特征图匹配；S4，计算车辆图像之间的相似度，对候选集中的车辆图像是否与目标车辆图像为同一id车辆进行判断，步骤S3和S4均利用图匹配模块来实现。本发明解决了车辆多视角匹配的问题，同时一定程度上解决了目标车辆部分被遮挡的问题，且匹配结果准确率高。

Description

基于图匹配的异构无人系统下车辆重新识别方法
技术领域
本发明涉及图像识别领域，尤其涉及一种基于图匹配的异构无人系统下车辆重新识别方法。
背景技术
重识别技术旨在从监视系统中的多个不重叠的摄像机中识别出同一身份的目标，它可以应用于智能交通系统中的实际场景，例如城市监控和安全。当前的重识别技术主要基于距离地面高度固定的安全监控设备来进行目标匹配。由于当前无人平台技术的高速发展，无人平台搭载图像采集装置已成为当前的一种重要的图像采集方式，因此，有必要研究如何有效地将重识别技术由传统的安全监控平台迁移至无人平台系统。与此同时，与当前已经得到深入研究的行人重识别相比，无人平台系统下的重识别技术更适合应用于车辆的重识别场景，其理由包括，第一，车辆的目标体积较大，更适合无人机在较高的空中对车辆数据图片进行充分采集，第二，无人平台大多是具有高速移动能力的平台，如无人机、无人车等，相较于移动能力较为低的人类，无人平台下的重识别更适用于与其移动能力相近的车辆，从而更方便对目标的跟踪和捕捉。
目前随着行人重识别的深入研究，受到其影响，近年来车辆重识别获得了越来越多的关注。当前针对车辆重识别提出的方法主要分为三类：基于的特征学习的方法,基于度量学习的方法，基于多维度信息学习的方法。目前的方法主要是利用车辆的外形特征以及车辆相关信息特征训练模型并计算车辆对之间的距离，而并没有充分考虑多视角情况下的车辆匹配问题。由于车辆的表面积较大，车辆露出的面为五个面，分别为正面，背面，顶面和两个侧面，除了两个侧面外，每两个面之间的外观特征差距很大，对于地面无人车所捕捉到的目标图像与空中无人机所捕捉到的目标图像的匹配问题，已有的车辆重识别方法应用于这种视角跨度较大的图像时，无法做到高效的匹配，因此现有方法直接部署至无人平台系统下时，无法达到车辆重识别的预期效果。在已有的车辆重识别研究中，对于多视角问题，目前研究更多的是通过融合视觉外的其他信息特征如车牌、时空信息等来解决该问题。考虑到车牌信息的隐私性以及其他时空信息获取的复杂性，本发明公开了一种仅基于视觉信息的无人平台系统下的车辆重识别通用方法。
发明内容
针对异构无人系统下的车辆重识别的问题，本发明公开了一种基于图匹配的异构无人系统下车辆重新识别方法，能够很好的将重识别技术适用于异构无人系统的情境中。
本发明公开了一种基于图匹配的异构无人系统下车辆重新识别方法，本发明方法利用特征提取模块、图卷积模块、图匹配模块三个模块来实现，其中，特征提取模块，基于卷积神经网络模型来实现，用于实现步骤S1；图卷积模块，用于完成步骤S2，其基于卷积神经网络模型来实现，利用图像的拓扑结构信息，对关键点进行图卷积运算，获取车辆关键点信息，并将拓扑信息融合到车辆局部特征中；图匹配模块，基于卷积神经网络模型来实现，用于实现步骤S3和S4；本发明方法的具体步骤包括：
S1，获取候选集图像，利用该图像对车辆特征进行提取；
S11，给定一张目标车辆图像x1，利用已经训练好的基于VGG-16的全卷积神经网络对车辆关键点进行估计，获得车辆的K个关键点的热度图mkp，k＝1,2,…,K，mkp表示车辆的第k个关键点热度图；
S12，将目标车辆图像x1与候选集中的车辆图像x2同时输入上述训练好的全卷积神经网络，利用上述训练好的全卷积神经网络,通过全局平均池化函数提取车辆全局特征
Figure BDA0003086314340000021
该过程表示为:
Figure BDA0003086314340000022
其中，mcnn表示利用目标车辆图像x1与候选集中的车辆图像x2生成的特征图，g()表示全局平均池化函数；车辆全局特征
Figure BDA0003086314340000023
和K个车辆局部特征
Figure BDA0003086314340000024
的组合称为特征V1；
S13，将车辆全局特征分别与K个关键点的热度图依次相乘，获得车辆K个关键点的局部特征
Figure BDA0003086314340000031
即车辆局部特征
Figure BDA0003086314340000032
其过程表示为：
Figure BDA0003086314340000033
其中，
Figure BDA0003086314340000034
表示车辆K个关键点的局部特征
Figure BDA0003086314340000035
构成的集合，该集合即为车辆局部特征
Figure BDA0003086314340000036
S2，对车辆局部特征进行融合；
S21，对车辆全局特征做复制操作，使其维度与由K个关键点的局部特征构成的车辆局部特征的维度相同。
S22，将车辆全局特征与车辆局部特征相减，得到差异特征向量，将差异特征向量经过图卷积模块中的全连接层进行降维。
S23，将降维后的差异特征向量通过绝对值操作、归一化操作和全连接层，转化为维度为K×K的差向量Vdif，由车辆的关键点热度图得到维度为K×K的邻接矩阵，将差向量Vsif与该邻接矩阵相乘，得到自适应的差异矩阵A*。
S24，对车辆局部特征
Figure BDA0003086314340000037
做基于差异矩阵A*的图卷积运算，同时将该图卷积运算的运算结果与未经图卷积运算的车辆局部特征，分别经过图卷积模块中的全连接层，将分别经过全连接层的结果进行相加，得到K个融合拓扑信息的车辆局部特征
Figure BDA0003086314340000038
的集合
Figure BDA0003086314340000039
S25，将融合拓扑信息的车辆局部特征与原始的车辆局部特征
Figure BDA00030863143400000310
相加，得到处理后的车辆局部特征；再将原始的车辆全局特征与处理后的车辆局部特征相连接，得到步骤S2的输出特征V2；
S3，车辆特征图匹配；
S31，根据步骤S2，得到两个图像x1和x2的输出特征
Figure BDA00030863143400000311
作为该步骤的初始输入特征，对
Figure BDA00030863143400000312
分别进行补全操作，利用车辆轴对称点特性对车辆图像中不可见点进行补全操作，分别得到特征
Figure BDA00030863143400000313
其中，V1 2为图像x1的输出特征，V2 2为图像x2的输出特征。
S32，将特征
Figure BDA00030863143400000314
经过图匹配模块的第一个全连接层和激活函数后，分别得到特征
Figure BDA0003086314340000041
再对其进行图匹配操作，计算出两个特征的(K+1)×(K+1)维度的关联矩阵U；
S33，分别将特征
Figure BDA0003086314340000042
与关联矩阵U相乘，得到特征
Figure BDA0003086314340000043
将
Figure BDA0003086314340000044
与
Figure BDA0003086314340000045
进行交叉连接后，得到了相互融合对方与自身相关特征的特征
Figure BDA0003086314340000046
再将特征
Figure BDA0003086314340000047
通过图匹配模块的第二个全连接层和激活函数后，分别得到特征
Figure BDA0003086314340000048
将
Figure BDA0003086314340000049
与
Figure BDA00030863143400000410
对应相加，得到
Figure BDA00030863143400000411
为俩个相互带有对方与自己特性的特征，该过程用公式表示为：
Figure BDA00030863143400000412
其中，f()为图匹配模块的第二个全连接层和激活函数的对应操作函数；
S34，将上述两个图像中的每个图像的带有对方与自己特性的特征，分别与该步骤的初始输入特征相加，得到步骤S3的输出特征
Figure BDA00030863143400000413
S4，计算车辆图像之间的相似度，根据候选集中的所有图像与目标车辆图像的相似度数值，对候选集中的车辆图像是否与目标车辆图像为同一id车辆进行判断。
S41，根据步骤S3的输出特征，计算两个图像x1和x2之间相似度数值。
对于两个图像x1和x2之间相似度数值的计算，根据步骤S2获得的输入图像x1和x2的输出特征集合
Figure BDA00030863143400000414
和
Figure BDA00030863143400000415
Figure BDA00030863143400000416
Figure BDA00030863143400000417
表示步骤S2获得的输入图像x1的第k个输出特征，
Figure BDA00030863143400000418
表示步骤S2获得的输入图像x2的第k个输出特征，
Figure BDA00030863143400000419
表示K+1个输出特征
Figure BDA00030863143400000420
的集合，
Figure BDA00030863143400000421
表示K+1个输出特征
Figure BDA00030863143400000422
的集合，计算两个图像x1和x2的第二阶段相似度
Figure BDA00030863143400000423
为：
Figure BDA00030863143400000424
其中，β1k和β2k分别是图像x1和x2中的车辆的第k个关键点热度图的置信度；
对于图像x1和x2，根据其在步骤S3获得的输出特征
Figure BDA0003086314340000051
计算其第三阶段相似度
Figure BDA0003086314340000052
为：
Figure BDA0003086314340000053
其中|*|是绝对值操作，fs是图匹配模块的全连接层的对应函数，σ是s型激活函数；
两个图像x1和x2之间相似度数值s(x1，x2)的计算公式为：
Figure BDA0003086314340000054
其中，η为两个阶段相似度的权重比系数。
S42，计算候选集中的所有车辆图像与目标车辆图像的相似度数值，根据得到的相似度数值大小，对候选集中的所有车辆图像进行由高到低的排序，根据候选集图像的排序先后，对其是否与目标车辆图像为同一id车辆进行判断。
本发明所用的三个模块中的卷积神经网络模型，在使用前采用监督学习方法对上述的模型进行训练；在步骤S1和S2中，在其模型训练阶段，均用分类损失函数和三元损失函数组合得到的总损失函数来训练，在第1个步骤S1和第2个步骤S2中所用的损失函数的公式为，
Figure BDA0003086314340000055
其中，βk＝max(mkp[r]，r＝1，2，...，R)∈[0，1]，βk是车辆的第k个关键点热度图的置信度，k＝1,2,…,K,mkp[r]为车辆的第k个关键点热度图中第r个元素的取值，R为车辆的一个关键点热度图所包含的元素的总数，βK+1为车辆全局特征的置信度，其取值满足βK+1＝1，
Figure BDA0003086314340000056
是对第k个车辆特征vk的预测值为真实值的概率，车辆特征vk代表车辆局部特征或车辆全局特征，α是一个余量，
Figure BDA0003086314340000057
是第k组的相同车辆即正样本对(vxk，vpk)间的距离，
Figure BDA0003086314340000061
是第k组的不同车辆即负样本对(vxk，vnk)间的距离,其中vxk表示目标车辆的第k个特征，vpk表示候选集中车辆与目标车辆为同一车辆时，候选集中车辆的第k个特征，vnk表示与候选集中车辆与目标车辆不为同一车辆时，候选集中车辆的第k个特征，Lp表示第p个步骤中所用的损失函数,p＝1,2。
对于步骤S3中的模型训练阶段，定义认证损失函数来对其卷积神经网络模型进行训练，当输入图片(x1，x2)为相同id车辆的图像时，y＝1，表示输入两图像中的车辆为同一车辆,当输入图片(x1，x2)为不同id车辆的图像时，y＝0，表示两图像中的车辆为不同车辆，y表示车辆判决量，则步骤S3中所用的认证损失函数L3表示为,
Figure BDA0003086314340000062
其中，
Figure BDA0003086314340000063
表示第三阶段两图像(x1，x2)间的相似度值。
对于本发明方法，通过步骤S3中的训练过程，使得总损失函数Lall最小化,总损失函数Lall的表达式为，
Figure BDA0003086314340000064
其中，Lp为第p个步骤所用的损失函数，λp为第p个步骤所用的损失函数对应的权重系数。
本发明的有益效果为：本发明从车辆的多角度图片中利用图匹配方法进行特征提取，然后进行匹配，将同一ID车辆匹配到一起，解决了车辆多视角匹配的问题，同时一定程度上解决了目标车辆部分被遮挡的问题，且匹配结果准确率高。
附图说明
图1为本发明方法的实现流程示意图；
图2为本发明方法所用的三个模块的功能实现流程图；
图3为在VeRI-776数据集上使用本发明方法的部分检索结果可视化图。
具体实施方式
为了更好的了解本发明内容，这里给出一个实施例。特征提取模块、图卷积模块、图匹配模块
本发明公开了一种基于图匹配的异构无人系统下车辆重新识别方法，本发明方法利用特征提取模块、图卷积模块、图匹配模块三个模块来实现，其中，特征提取模块，基于卷积神经网络模型来实现，用于实现步骤S1；图卷积模块，用于完成步骤S2，其基于卷积神经网络模型来实现，利用图像的拓扑结构信息，对关键点进行图卷积运算，获取车辆关键点信息，并将拓扑信息融合到车辆局部特征中；图匹配模块，基于卷积神经网络模型来实现，用于实现步骤S3和S4；本发明方法的具体步骤包括：
S1，获取候选集图像，利用该图像对车辆特征进行提取；
S11，给定一张目标车辆图像x1，利用已经训练好的基于VGG-16的全卷积神经网络对车辆关键点进行估计，获得车辆的K个关键点的热度图mkp，k＝1,2,…,K，mkp表示车辆的第k个关键点热度图；
S12，将目标车辆图像x1与候选集中的车辆图像x2同时输入上述训练好的全卷积神经网络，利用上述训练好的全卷积神经网络,通过全局平均池化函数提取车辆全局特征
Figure BDA0003086314340000071
该过程表示为:
Figure BDA0003086314340000072
其中，mcnn表示利用目标车辆图像x1与候选集中的车辆图像x2生成的特征图，g()表示全局平均池化函数；车辆全局特征
Figure BDA0003086314340000073
和K个车辆局部特征
Figure BDA0003086314340000074
的组合称为特征V1；
S13，将车辆全局特征分别与K个关键点的热度图依次相乘，获得车辆K个关键点的局部特征
Figure BDA0003086314340000075
即车辆局部特征
Figure BDA0003086314340000076
其过程表示为：
Figure BDA0003086314340000077
其中，
Figure BDA0003086314340000078
表示车辆K个关键点的局部特征
Figure BDA0003086314340000079
构成的集合，该集合即为车辆局部特征
Figure BDA0003086314340000081
S2，对车辆局部特征进行融合；
S21，对车辆全局特征做复制操作，使其维度与由K个关键点的局部特征构成的车辆局部特征的维度相同。
S22，将车辆全局特征与车辆局部特征相减，得到差异特征向量，将差异特征向量经过图卷积模块中的全连接层进行降维。
S23，将降维后的差异特征向量通过绝对值操作、归一化操作和全连接层，转化为维度为K×K的差向量Vdif，由车辆的关键点热度图得到维度为K×K的邻接矩阵，将差向量Vdif与该邻接矩阵相乘，得到自适应的差异矩阵A*。
S24，对车辆局部特征
Figure BDA0003086314340000082
做基于差异矩阵A*的图卷积运算，同时将该图卷积运算的运算结果与未经图卷积运算的车辆局部特征，分别经过图卷积模块中的全连接层，将分别经过全连接层的结果进行相加，得到K个融合拓扑信息的车辆局部特征
Figure BDA0003086314340000083
的集合
Figure BDA0003086314340000084
S25，将融合拓扑信息的车辆局部特征与原始的车辆局部特征
Figure BDA0003086314340000085
相加，得到处理后的车辆局部特征；再将原始的车辆全局特征与处理后的车辆局部特征相连接，得到步骤S2的输出特征V2；
全局特征
Figure BDA0003086314340000086
经过全连接层得到新的全局特征
Figure BDA0003086314340000087
新的全局特征
Figure BDA0003086314340000088
与k个新局部特征
Figure BDA0003086314340000089
的组合称为特征V2，该过程用公式表达为：
Figure BDA00030863143400000810
特征V2为步骤S2的输出特征；
S3，车辆特征图匹配；
S31，根据步骤S2，得到两个图像x1和x2的输出特征
Figure BDA00030863143400000811
作为该步骤的初始输入特征，对
Figure BDA00030863143400000812
分别进行补全操作，利用车辆轴对称点特性对车辆图像中不可见点进行补全操作，分别得到特征
Figure BDA00030863143400000813
其中，V1 2为图像x1的输出特征，V2 2为图像x2的输出特征。
S32，将特征
Figure BDA00030863143400000814
经过图匹配模块的第一个全连接层和激活函数后，分别得到特征
Figure BDA0003086314340000091
再对其进行图匹配操作，计算出两个特征的(K+1)×(K+1)维度的关联矩阵U；
S33，分别将特征
Figure BDA0003086314340000092
与关联矩阵U相乘，得到特征
Figure BDA0003086314340000093
将
Figure BDA0003086314340000094
与
Figure BDA0003086314340000095
进行交叉连接后，得到了相互融合对方与自身相关特征的特征
Figure BDA0003086314340000096
再将特征
Figure BDA0003086314340000097
通过图匹配模块的第二个全连接层和激活函数后，分别得到特征
Figure BDA0003086314340000098
将
Figure BDA0003086314340000099
与
Figure BDA00030863143400000910
对应相加，得到
Figure BDA00030863143400000911
为俩个相互带有对方与自己特性的特征，该过程用公式表示为：
Figure BDA00030863143400000912
其中，f()为图匹配模块的第二个全连接层和激活函数的对应操作函数；
S34，将上述两个图像中的每个图像的带有对方与自己特性的特征，分别与该步骤的初始输入特征相加，得到步骤S3的输出特征
Figure BDA00030863143400000913
S4，计算车辆图像之间的相似度，根据候选集中的所有图像与目标车辆图像的相似度数值，对候选集中的车辆图像是否与目标车辆图像为同一id车辆进行判断。
S41，根据步骤S3的输出特征，计算两个图像x1和x2之间相似度数值。
对于两个图像x1和x2之间相似度数值的计算，根据步骤S2获得的输入图像x1和x2的输出特征集合
Figure BDA00030863143400000914
和
Figure BDA00030863143400000915
Figure BDA00030863143400000916
Figure BDA00030863143400000917
表示步骤S2获得的输入图像x1的第k个输出特征，
Figure BDA00030863143400000918
表示步骤S2获得的输入图像x2的第k个输出特征，
Figure BDA00030863143400000919
表示K+1个输出特征
Figure BDA00030863143400000920
的集合，
Figure BDA00030863143400000921
表示K+1个输出特征
Figure BDA00030863143400000922
的集合，计算两个图像x1和x2的第二阶段相似度
Figure BDA00030863143400000923
为：
Figure BDA00030863143400000924
其中，β1k和β2k分别是图像x1和x2中的车辆的第k个关键点热度图的置信度；
对于图像x1和x2，根据其在步骤S3获得的输出特征
Figure BDA0003086314340000101
计算其第三阶段相似度
Figure BDA0003086314340000102
为：
Figure BDA0003086314340000103
其中|*|是绝对值操作，fs是图匹配模块的全连接层的对应函数，σ是s型激活函数；
两个图像x1和x2之间相似度数值s(x1，x2)的计算公式为：
Figure BDA0003086314340000104
其中，η为两个阶段相似度的权重比系数。
S42，计算候选集中的所有车辆图像与目标车辆图像的相似度数值，根据得到的相似度数值大小，对候选集中的所有车辆图像进行由高到低的排序，根据候选集图像的排序先后，对其是否与目标车辆图像为同一id车辆进行判断，候选集图像的排序越靠前者，其越可能与检索目标为同一id车辆。
本发明所用的三个模块中的卷积神经网络模型，在使用前采用监督学习方法对上述的模型进行训练；在步骤S1和S2中，在其模型训练阶段，均用分类损失函数和三元损失函数组合得到的总损失函数来训练，在第1个步骤S1和第2个步骤S2中所用的损失函数的公式为，
Figure BDA0003086314340000105
其中，βk＝max(mkp[r]，r＝1，2，...，R)∈[0，1]，βk是车辆的第k个关键点热度图的置信度，k＝1,2,…,K,mkp[r]为车辆的第k个关键点热度图中第r个元素的取值，R为车辆的一个关键点热度图所包含的元素的总数，βK+1为车辆全局特征的置信度，其取值满足βK+1＝1，
Figure BDA0003086314340000106
是对第k个车辆特征vk的预测值为真实值的概率，车辆特征vk代表车辆局部特征或车辆全局特征，α是一个余量，
Figure BDA0003086314340000107
是第k组的相同车辆即正样本对(vxk，vpk)间的距离，
Figure BDA0003086314340000111
是第k组的不同车辆即负样本对(vxk，vnk)间的距离,其中vxk表示目标车辆的第k个特征，vpk表示候选集中车辆与目标车辆为同一车辆时，候选集中车辆的第k个特征，vnk表示与候选集中车辆与目标车辆不为同一车辆时，候选集中车辆的第k个特征，Lp表示第p个步骤中所用的损失函数,p＝1,2。
对于步骤S3中的模型训练阶段，定义认证损失函数来对其卷积神经网络模型进行训练，当输入图片(x1，x2)为相同id车辆的图像时，y＝1，表示输入两图像中的车辆为同一车辆,当输入图片(x1，x2)为不同id车辆的图像时，y＝0，表示两图像中的车辆为不同车辆，y表示车辆判决量，则步骤S3中所用的认证损失函数L3表示为,
Figure BDA0003086314340000112
其中，
Figure BDA0003086314340000113
表示第三阶段两图像(x1，x2)间的相似度值。
对于本发明方法，通过步骤S3中的训练过程，使得总损失函数Lall最小化,总损失函数Lall的表达式为，
Figure BDA0003086314340000114
其中，Lp为第p个步骤所用的损失函数，λp为第p个步骤所用的损失函数对应的权重系数。
图1为本发明方法的实现流程示意图，图1中包括三个模块，1为特征提取模块，其完成使用车辆姿态模型提取关键车辆的功能；2为图卷积模块，其根据图元的拓扑结构信息进行关键点图卷积运算车辆关键点，并将原始的局部特征整合到结构信息中；3为图匹配模块，其使用对称点完成姿态问题导致的不可见点，然后使用图形匹配来对齐关键点并测量相似性得分。
图2为本发明方法所用的三个模块的功能实现流程图，其中，图(a)是特征提取模块的功能实现流程图,图(b)是图卷积模块的功能实现流程图，图(c)是图匹配模块的功能实现流程图。
图3为在VeRI-776数据集上使用本发明方法的部分检索结果可视化图。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (6)

1.一种基于图匹配的异构无人系统下车辆重新识别方法，其特征在于，利用特征提取模块、图卷积模块、图匹配模块三个模块来实现，其中，特征提取模块，基于卷积神经网络模型来实现，用于实现步骤S1；图卷积模块，用于完成步骤S2，其基于卷积神经网络模型来实现，利用图像的拓扑结构信息，对关键点进行图卷积运算，获取车辆关键点信息，并将拓扑信息融合到车辆局部特征中；图匹配模块，基于卷积神经网络模型来实现，用于实现步骤S3和S4；本发明方法的具体步骤包括：
S1，获取候选集图像，利用该图像对车辆特征进行提取；
S2，对车辆局部特征进行融合；
S3，车辆特征图匹配；
S4，计算车辆图像之间的相似度，根据候选集中的所有车辆图像与目标车辆图像的相似度数值，对候选集中的车辆图像是否与目标车辆图像为同一id车辆进行判断。
2.如权利要求1所述的基于图匹配的异构无人系统下车辆重新识别方法，其特征在于，所述的步骤S1，其具体包括：
S11，给定一张目标车辆图像x1，利用已经训练好的基于VGG-16的全卷积神经网络对车辆关键点进行估计，获得车辆的K个关键点的热度图mkp，k＝1,2,…,K，mkp表示车辆的第k个关键点热度图；
S12，将目标车辆图像x1与候选集中的车辆图像x2同时输入上述训练好的全卷积神经网络，利用上述训练好的全卷积神经网络,通过全局平均池化函数提取车辆全局特征
Figure FDA0003086314330000011
该过程表示为:
Figure FDA0003086314330000012
其中，mcnn表示利用目标车辆图像x1与候选集中的车辆图像x2生成的特征图，g()表示全局平均池化函数；车辆全局特征
Figure FDA0003086314330000013
和K个车辆局部特征
Figure FDA0003086314330000014
的组合称为特征V1；
S13，将车辆全局特征分别与K个关键点的热度图依次相乘，获得车辆K个关键点的局部特征
Figure FDA0003086314330000021
即车辆局部特征
Figure FDA0003086314330000022
其过程表示为：
Figure FDA0003086314330000023
其中，
Figure FDA0003086314330000024
表示车辆K个关键点的局部特征
Figure FDA0003086314330000025
构成的集合，该集合即为车辆局部特征
Figure FDA0003086314330000026
3.如权利要求1所述的基于图匹配的异构无人系统下车辆重新识别方法，其特征在于，
所述的步骤S2，其具体包括：
S21，对车辆全局特征做复制操作，使其维度与由K个关键点的局部特征构成的车辆局部特征的维度相同；
S22，将车辆全局特征与车辆局部特征相减，得到差异特征向量，将差异特征向量经过图卷积模块中的全连接层进行降维；
S23，将降维后的差异特征向量通过绝对值操作、归一化操作和全连接层，转化为维度为K×K的差向量Vdif，由车辆的关键点热度图得到维度为K×K的邻接矩阵，将差向量Vdif与该邻接矩阵相乘，得到自适应的差异矩阵A*；
S24，对车辆局部特征
Figure FDA0003086314330000027
做基于差异矩阵A*的图卷积运算，同时将该图卷积运算的运算结果与未经图卷积运算的车辆局部特征，分别经过图卷积模块中的全连接层，将分别经过全连接层的结果进行相加，得到K个融合拓扑信息的车辆局部特征
Figure FDA0003086314330000028
的集合
Figure FDA0003086314330000029
S25，将融合拓扑信息的车辆局部特征与原始的车辆局部特征
Figure FDA00030863143300000210
相加，得到处理后的车辆局部特征；再将原始的车辆全局特征与处理后的车辆局部特征相连接，得到步骤S2的输出特征V2。
4.如权利要求1所述的基于图匹配的异构无人系统下车辆重新识别方法，其特征在于，
所述的步骤S3，其具体包括：
S31，根据步骤S2，得到两个图像x1和x2的输出特征
Figure FDA0003086314330000031
作为该步骤的初始输入特征，对
Figure FDA0003086314330000032
分别进行补全操作，利用车辆轴对称点特性对车辆图像中不可见点进行补全操作，分别得到特征
Figure FDA0003086314330000033
其中，V1 2为图像x1的输出特征，
Figure FDA0003086314330000034
为图像x2的输出特征；
S32，将特征
Figure FDA0003086314330000035
经过图匹配模块的第一个全连接层和激活函数后，分别得到特征
Figure FDA0003086314330000036
再对其进行图匹配操作，计算出两个特征的(K+1)×(K+1)维度的关联矩阵U；
S33，分别将特征
Figure FDA0003086314330000037
与关联矩阵U相乘，得到特征
Figure FDA0003086314330000038
将
Figure FDA0003086314330000039
与
Figure FDA00030863143300000310
进行交叉连接后，得到了相互融合对方与自身相关特征的特征
Figure FDA00030863143300000311
再将特征
Figure FDA00030863143300000312
通过图匹配模块的第二个全连接层和激活函数后，分别得到特征
Figure FDA00030863143300000313
将
Figure FDA00030863143300000314
与
Figure FDA00030863143300000315
对应相加，得到
Figure FDA00030863143300000316
为俩个相互带有对方与自己特性的特征，该过程用公式表示为：
Figure FDA00030863143300000317
其中，f()为图匹配模块的第二个全连接层和激活函数的对应操作函数；
S34，将上述两个图像中的每个图像的带有对方与自己特性的特征，分别与该步骤的初始输入特征相加，得到步骤S3的输出特征
Figure FDA00030863143300000318
5.如权利要求1所述的基于图匹配的异构无人系统下车辆重新识别方法，其特征在于，
所述的步骤S4，其具体包括：
S41，根据步骤S3的输出特征，计算两个图像x1和x2之间相似度数值；
对于两个图像x1和x2之间相似度数值的计算，根据步骤S2获得的输入图像x1和x2的输出特征集合
Figure FDA00030863143300000319
和
Figure FDA00030863143300000320
Figure FDA00030863143300000321
k＝1,2,...,K+1,
Figure FDA00030863143300000322
表示步骤S2获得的输入图像x1的第k个输出特征，
Figure FDA00030863143300000323
表示步骤S2获得的输入图像x2的第k个输出特征，
Figure FDA0003086314330000041
表示K+1个输出特征
Figure FDA0003086314330000042
的集合，
Figure FDA0003086314330000043
表示K+1个输出特征
Figure FDA0003086314330000044
的集合，计算两个图像x1和x2的第二阶段相似度
Figure FDA0003086314330000045
为：
Figure FDA0003086314330000046
其中，β1k和β2k分别是图像x1和x2中的车辆的第k个关键点热度图的置信度；
对于图像x1和x2，根据其在步骤S3获得的输出特征
Figure FDA0003086314330000047
计算其第三阶段相似度
Figure FDA0003086314330000048
为：
Figure FDA0003086314330000049
其中|*|是绝对值操作，fs是图匹配模块的全连接层的对应函数，σ是s型激活函数；
两个图像x1和x2之间相似度数值s(x1，x2)的计算公式为：
Figure FDA00030863143300000410
其中，η为两个阶段相似度的权重比系数；
S42，计算候选集中的所有车辆图像与目标车辆图像的相似度数值，根据得到的相似度数值大小，对候选集中的所有车辆图像进行由高到低的排序，根据候选集图像的排序先后，对其是否与目标车辆图像为同一id车辆进行判断。
6.如权利要求1所述的基于图匹配的异构无人系统下车辆重新识别方法，其特征在于，
本方法所用的三个模块中的卷积神经网络模型，在使用前采用监督学习方法对上述的模型进行训练；在步骤S1和S2中，在其模型训练阶段，均用分类损失函数和三元损失函数组合得到的总损失函数来训练，在第1个步骤S1和第2个步骤S2中所用的损失函数的公式为，
Figure FDA0003086314330000051
其中，βk＝max(mkp[r]，r＝1，2，...，R)∈[0，1]，βk是车辆的第k个关键点热度图的置信度，k＝1,2,…,K,mkp[r]为车辆的第k个关键点热度图中第r个元素的取值，R为车辆的一个关键点热度图所包含的元素的总数，βK+1为车辆全局特征的置信度，其取值满足βK+1＝1，
Figure FDA0003086314330000052
是对第k个车辆特征vk的预测值为真实值的概率，车辆特征vk代表车辆局部特征或车辆全局特征，α是一个余量，
Figure FDA0003086314330000053
是第k组的相同车辆即正样本对(vxk，vpk)间的距离，
Figure FDA0003086314330000054
是第k组的不同车辆即负样本对(vxk，vnk)间的距离,其中vxk表示目标车辆的第k个特征，vpk表示候选集中车辆与目标车辆为同一车辆时，候选集中车辆的第k个特征，vnk表示与候选集中车辆与目标车辆不为同一车辆时，候选集中车辆的第k个特征，Lp表示第p个步骤中所用的损失函数,p＝1,2；
对于步骤S3中的模型训练阶段，定义认证损失函数来对其卷积神经网络模型进行训练，当输入图片(x1，x2)为相同id车辆的图像时，y＝1，表示输入两图像中的车辆为同一车辆,当输入图片(x1，x2)为不同id车辆的图像时，y＝0，表示两图像中的车辆为不同车辆，y表示车辆判决量，则步骤S3中所用的认证损失函数L3表示为,
Figure FDA0003086314330000055
其中，
Figure FDA0003086314330000056
表示第三阶段两图像(x1，x2)间的相似度值；
对于本发明方法，通过步骤S3中的训练过程，使得总损失函数Lall最小化,总损失函数Lall的表达式为，
Figure FDA0003086314330000057
其中，Lp为第p个步骤所用的损失函数，λp为第p个步骤所用的损失函数对应的权重系数。
CN202110581679.8A 2021-05-27 2021-05-27 基于图匹配的异构无人系统下车辆重新识别方法 Active CN113269099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110581679.8A CN113269099B (zh) 2021-05-27 2021-05-27 基于图匹配的异构无人系统下车辆重新识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110581679.8A CN113269099B (zh) 2021-05-27 2021-05-27 基于图匹配的异构无人系统下车辆重新识别方法

Publications (2)

Publication Number Publication Date
CN113269099A true CN113269099A (zh) 2021-08-17
CN113269099B CN113269099B (zh) 2022-12-20

Family

ID=77233078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110581679.8A Active CN113269099B (zh) 2021-05-27 2021-05-27 基于图匹配的异构无人系统下车辆重新识别方法

Country Status (1)

Country Link
CN (1) CN113269099B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887544A (zh) * 2021-12-07 2022-01-04 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN114022869A (zh) * 2022-01-05 2022-02-08 中科视语(北京)科技有限公司 一种基于级联网络的车辆重识别方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766061A (zh) * 2019-10-15 2020-02-07 武汉中海庭数据技术有限公司 一种道路场景匹配方法及装置
WO2020254924A1 (en) * 2019-06-16 2020-12-24 Way2Vat Ltd. Systems and methods for document image analysis with cardinal graph convolutional networks
CN112200020A (zh) * 2020-09-22 2021-01-08 北京迈格威科技有限公司 一种行人重识别方法、装置、电子设备及可读存储介质
CN112396027A (zh) * 2020-12-01 2021-02-23 北京交通大学 基于图卷积神经网络的车辆重识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020254924A1 (en) * 2019-06-16 2020-12-24 Way2Vat Ltd. Systems and methods for document image analysis with cardinal graph convolutional networks
CN110766061A (zh) * 2019-10-15 2020-02-07 武汉中海庭数据技术有限公司 一种道路场景匹配方法及装置
CN112200020A (zh) * 2020-09-22 2021-01-08 北京迈格威科技有限公司 一种行人重识别方法、装置、电子设备及可读存储介质
CN112396027A (zh) * 2020-12-01 2021-02-23 北京交通大学 基于图卷积神经网络的车辆重识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YU XIANG等: "Subcategory-Aware Convolutional Neural Networks for Object Proposals and Detection", 《2017 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION》 *
张超: "监控视频中的车辆再识别研究", 《中国优秀硕士学位论文全文数据库（电子期刊） 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887544A (zh) * 2021-12-07 2022-01-04 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113887544B (zh) * 2021-12-07 2022-02-15 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN114022869A (zh) * 2022-01-05 2022-02-08 中科视语(北京)科技有限公司 一种基于级联网络的车辆重识别方法及装置

Also Published As

Publication number Publication date
CN113269099B (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN107862705B (zh) 一种基于运动特征和深度学习特征的无人机小目标检测方法
CN110569779B (zh) 基于行人局部和整体属性联合学习的行人属性识别方法
CN105989369B (zh) 基于度量学习的行人再识别方法
CN109063649B (zh) 基于孪生行人对齐残差网络的行人重识别方法
CN108830254B (zh) 一种基于数据均衡策略和密集注意网络的细粒度车型检测与识别方法
CN113269099B (zh) 基于图匹配的异构无人系统下车辆重新识别方法
CN111709313B (zh) 基于局部和通道组合特征的行人重识别方法
CN110765841A (zh) 基于混合注意力机制的群组行人重识别系统及终端
CN111259837B (zh) 一种基于部位注意力的行人重识别方法及系统
Cui et al. Vehicle re-identification by fusing multiple deep neural networks
CN112115871B (zh) 适用于行人目标检测的高低频交织边缘特征增强方法
CN112818790A (zh) 一种基于注意力机制与空间几何约束的行人重识别方法
CN112084895B (zh) 一种基于深度学习的行人重识别方法
CN112668557A (zh) 一种行人再识别系统中防御图像噪声攻击的方法
CN112766378A (zh) 一种专注细粒度识别的跨域小样本图像分类模型方法
CN113792686B (zh) 基于视觉表征跨传感器不变性的车辆重识别方法
He et al. Vehicle theft recognition from surveillance video based on spatiotemporal attention
Barroso-Laguna et al. Scalenet: A shallow architecture for scale estimation
CN113763417B (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN115830637B (zh) 一种基于姿态估计和背景抑制的遮挡行人重识别方法
CN117036412A (zh) 一种融合可变形卷积的孪生网络红外行人目标跟踪方法
CN115393802A (zh) 一种基于小样本学习的铁路场景不常见入侵目标识别方法
CN116204675A (zh) 全局关系注意力引导的交叉视图地理定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant