CN112836677A - 一种利用深度学习的弱监督车辆重识别方法 - Google Patents

Abstract

一种利用深度学习的弱监督车辆重识别方法，包括步骤1：获取跨监控摄像头的车辆图像数据，对车辆数据进行预处理操作；步骤2：构造一个三分支卷积神经网络，将步骤1得到的车辆图像按照批量大小输入神经网络，提取同一车辆的多个特征映射；步骤3：在步骤2中的分支后构造一个注意力网络，将步骤2中得到的特征映射送入各自分支的自注意力网络得高维特征向量；步骤4：将步骤3得到的高维特征向量优化为不同输入车辆图像的相同语义部位；步骤5：用步骤1的跨监控摄像头的车辆图像训练数据对三分支卷积神经网络进行训练；步骤6：用步骤1的跨监控摄像头的车辆图像测试数据进行测试。本发明提高了车辆重识别的匹配精度。

Description

一种利用深度学习的弱监督车辆重识别方法

技术领域

本发明涉及车辆重识别方法技术领域，特别涉及一种利用深度学习的弱监督车辆重识别方法。

背景技术

随着社会经济的高速发展与科技的不断进步，我国城市化水平越来越高，城市机动车保有量急剧增加。汽车在方便人们工作、生活的同时也不可避免地带来了许多交通安全问题，如何有效应对交通管理、交通事故救援、交通事故追查等问题已经成为世界各国面临的共同难题。同时，随着物联网技术近年来飞速发展，监控设备所能够获取的数据已达海量，如何依靠这些海量的交通视觉大数据去改善和解决这些难题亦是智慧交通建设面临的重大挑战。车辆重识别任务旨在车辆号牌信息不可用的情况下，从无重叠视域的跨摄像机视频监控系统中搜索所有场景下的同一车辆，最终可在整个监控系统中实现车辆的跟踪、循迹、定位等。车辆重识别技术在一定程度上可以缓解海量数据与人工不足之间的矛盾，因此在智慧交通领域中具有重要的应用价值，对公共安防、智能监控、无人驾驶等行业的发展具有推动作用。

近年来，车辆重识别技术受到了越来越多的关注，并取得了一系列的研究成果，但在实际部署应用于城市路网监控系统时，受到路网的环境因素影响以及车辆自身特性影响，仍存在着诸多的问题。由于不同监控摄像头之间的视角、光照条件以及周边环境的不同，会使得摄像头捕捉到车辆信息是局部的，同一身份车辆会呈现出截然不同的外观。此外，城市中存在大量相似外观的不同身份车辆，尤其是同一生产商生产的相同型号的车辆，这使得车辆重识别极具有挑战性。

针对以上问题，广泛使用的解决方法是提取所有车辆的具有强代表性和判别性的固定的局部视觉特征，消除车辆之间由于跨摄像头引起的特征不对齐问题，从而提高车辆重识别精度。上述方法依赖更多额外的车辆标注信息，例如车窗、车灯、车标、车胎信息等，需要付出更多的人力对车辆数据集制作额外的标签信息。额外的局部注释信息提升模型精度的同时却极大的限制了车辆重识别方法的实际部署及应用。

发明内容

为了克服现有技术存在的上述不足，本发明的目的在于提供一种利用深度学习的弱监督车辆重识别方法，该方法仅利用车辆身份标签而不依赖大规模的细粒度标注信息，通过弱监督方式去提取车辆部件特征用于车辆检索匹配，解决了跨监控摄像头下的特征不对齐问题，减少了对大量细粒度标签信息的依赖，提高了车辆重识别的匹配精度，更便于实现智慧城市领域智能交通系统的工程应用。

为了实现上述目的，本发明采用的技术方案是：

一种利用深度学习的弱监督车辆重识别方法，包括以下步骤；

步骤1：获取跨监控摄像头捕捉的车辆图像数据，构建车辆重识别训练数据集T_r与测试数据集T_e，将所有车辆图像设置为同一大小，对T_r进行裁剪、翻转、旋转、归一化图像预处理操作；

步骤2：构造一个三分支卷积神经网络，包括一个主干网络以及三个独立的分支网络，然后采用批量训练方法，将步骤1得到的车辆训练数据集图像按批量大小n输入该三分支卷积神经网络，每一个输入I_i,i∈1,…,n均得到三个全局车辆特征映射

步骤3：在步骤2中的每个分支网络后构造一个注意力网络，首先将步骤2中得到的三个特征映射

输入分支对应的注意力网络，得到三个注意力映射

然后设计部位差异性损失函数使

分别关注到车辆图像I_i的不同语义部位，其次将

和对应的

使用矩阵相乘进行特征融合，最后使用平均值池化得到三个高维特征向量f_i ¹,f_i ²,f_i ³；

步骤4：对步骤3得到的高维特征向量f_i ¹、f_i ²、f_i ³分别使用部件一致性损失函数，使得同一批量中的高维特征向量分别表示为相同的语义部位。

步骤5：将步骤1获取的车辆训练数据集图像T_r输入至三分支卷积神经网络，计算得到总损失，使用适应性梯度下降算法(Adam算法)对神经网络进行训练，得到车辆重识别模型；

步骤6：将步骤1获取的车辆测试数据集图像T_e输入至三分支卷积神经网络，使用余弦距离计算车辆之间的相似度，然后根据相似度大小得出排序结果；

所述步骤1中具体为：首先从多个无交叉的监控摄像头中获取多段车辆监控视频，然后通过预训练的车辆检测器从监控视频中检测所有车辆，精确定位并裁剪出车辆包围框，最后使用人工标注的方法将车辆图像中的同一车辆标注为对应的类并赋予一个独立的编号，不同车辆之间的类和编号不同，循环上述步骤来构建车辆重识别数据集。构建完成后，划分训练数据集T_r与测试数据集T_e分别用于网络参数训练和最终结果测试。本发明具体实施时，采用7：3的比例划分训练集与测试机，将所有车辆图像设置为256×256大小，训练时，对T_r进行裁剪、翻转、旋转、归一化图像预处理操作。

所述步骤2具体为：

三分支卷积神经网络由一个共享权重的主干网络和三个独立权重的子网络构成；其中共享权重的主干网络和三个独立权重的子网络由若干批量归一化层、若干卷积层、若干非线性激活层和若干池化层构成，三个独立权重的子网络构造相同但权重不同。在一个批量中，对于给定输入I_i,i∈1,…,n，首先经过共享权重的主干网络生成一个特征映射F_i，然后该特征映射分别经过三个独立权重的子网络生成三个高维特征映射

作为提取的车辆特征。

所述步骤3中具体为：首先，在每一个独立权重的分支网络之后设计一个注意力网络，该注意力网络由两个卷积层和一个非线性激活函数构成。三个高维特征映射

在经过对应的注意力层后分别得到三个注意力映射

然后，提出部位差异性损失函数使得三个注意力映射

分别注意到车辆I_i的不同语义部位。该损失函数定义如下：

其[:]表示为矩阵拼接，[·]^T表示矩阵转置，I表示为单位化矩阵，||·||_F表示求矩阵的F范数。

其次，将

和对应的

使用矩阵相乘进行特征融合，使得三个高维特征映射能够注意到同一输入车辆图像的不同的部位。最后，使用平均值池化得到三个高维特征向量f_i ¹,f_i ²,f_i ³。

所述步骤4具体为：在获得高维特征向量f_i ¹,f_i ²,f_i ³之后，对每一个分支初始化一个中心向量c₁,c₂,c₃，通过迭代优化部位一致性损失函数

使得每个分支网络能够提取到不同输入车辆图像的相同语义部位，其中f_i ^k，c_k分别为第k个分支的高维特征向量和中心向量，

代表欧几里得距离；

此外，使用三元组损失函数

增强深度特征的辨别性：

其中

分别表示组成三元组的源样本、负样本和正样本的高维特征向量，

和

分别代表正样本对和负样本对的欧式距离，m代表三元组损失的间距阈值，[·]₊代表取正值。

在得到f_i ^k之后，每个分支网络后设计一个批量归一化层BN(·)、一个线性层W和一个softmax层，用于计算分类损失：

最终的损失函数由部位差异性损失函数、部位一致性损失函数、三元组损失函数和分类损失函数共同组成：

所述步骤5具体为：

将步骤1获取的车辆训练数据集图像T_r组成三元组，按照批量大小输入至网络。按照步骤4得到总损失后，使用适应性梯度下降算法(Adam算法)对神经网络进行训练，得到车辆重识别模型。

所述步骤6具体为：

将步骤1获取的车辆测试数据集图像T_e通过步骤3，可得到车辆的局部特征f_i ¹,f_i ²,f_i ³，然后将其拼接为f_i＝[f_i ¹:f_i ²:f_i ³]；对于不同的车辆图像I_i和I_j，使用余弦距离函数S(f_i,f_j)＝cos(f_i,f_j)进行相似度计算，然后根据似度大小得出排序结果。

本发明的有益效果：

本发明可以实现视频监控数据下的弱监督车辆重识别，与现有的车辆重识别方法相比，消除了人工标注所带来的额外损耗，提高了车辆重识别的匹配准确率，更便于实际场景下的部署应用。

附图说明

图1为本发明模板匹配的流程图。

图2为车辆重识别排序结果示意图。

图3为弱监督车辆重识别网络中三分支的可视化结果。

具体实施方式

下面结合实施例对本发明作进一步详细说明。

如图1所示：

1.获取跨监控摄像头捕捉的车辆图像数据，构建车辆重识别训练数据集T_r与测试数据集T_e，将所有车辆图像设置为同一大小，对T_r进行裁剪、翻转、旋转、归一化图像预处理操作。具体步骤包括：

首先从多个无交叉的监控摄像头中获取多段车辆监控视频，然后通过预训练的车辆检测器从监控视频中检测出所有车辆，精确定位并裁剪出车辆包围框，最后使用人工标注的方法将车辆图像中的同一车辆标注为对应的类并赋予一个独立的编号，。循环该步骤来构建车辆重识别数据集，构建完成后，划分训练数据集T_r与测试数据集T_e分别用于网络参数训练和最终结果测试。本发明具体实施时，采用7：3的比例划分训练集与测试机，将所有车辆图像设置为256×256大小，训练时，对T_r进行裁剪、翻转、旋转、归一化图像预处理操作。

2.构造一个三分支卷积神经网络，用于提取同一车辆的三个特征映射。具体步骤包括：

首先构建一个三分支卷积神经网络，该网络由一个共享权重的主干网络和三个构造相同但权重不同的子网络相连而构成；其中共享权重的主干网络由ResNet-50网络的前四个残差块构成，三个独立权重的网络由ResNet-50网络的第五个残差块构成。采用批量训练方法，在一个批量中，对于给定输入I_i,i∈1,…,n，，首先经过共享权重的主干网络生成1024维的特征映射F_i，然后该特征向量分别经过三个独立权重的子网络生成三个2048维特征映射F_i ¹,F_i ²,F_i ³，作为提取的车辆特征。

3.在每个分支后构建分支注意力网络并设计一个正则化损失函数，使得不同的注意力网络可以关注同一输入车辆图像的不同的部位。具体步骤包括：

首先，在每一个独立权重的分支网络之后设计一个注意力网络，该注意力网络由两个卷积层，一个非线性激活函数构成。三个高维特征映射

在经过对应的注意力层后分别得到三个注意力映射

然后，提出部位差异性损失函数使得三个注意力映射

分别注意到车辆I_i的不同语义部位。该损失函数定义如下：

其[:]表示为矩阵拼接，[·]^T表示矩阵转置，I表示为单位化矩阵，||·||_F表示求矩阵的F范数。

其次，将三个2048维特征映射

和对应的

使用矩阵相乘进行特征融合，使得三个高维特征映射能够注意到同一输入车辆图像的不同的部位。最后，使用平均值池化得到三个高维特征向量f_i ¹,f_i ²,f_i ³。

4.设计部件一致性损失函数使得对应分支网络提取不同输入车辆图像的相同部位。具体步骤包括：

首先，基于第3步获得的三个高维特征向量f_i ¹,f_i ²,f_i ³，对每一个分支对应地初始化一个中心向量c₁,c₂,c₃；

然后，提出迭代优化部件一致性损失函数使得三个分支网络总能够提取到不同输入车辆图像的相同部位，该损失函数定义如下：

其中f_k，c_k分别为第k个分支的高维特征向量和中心向量，

代表欧氏距离。

此外，使用三元组损失函数

增强深度特征的辨别性：

其中

分别表示组成三元组的源样本、负样本和正样本的高维特征向量，

和

分别代表正样本对和负样本对的欧式距离，m代表三元组损失的间距阈值，[·]₊代表取正值。

在得到f_i ^k之后，每个分支网络后设计一个批量归一化层BN(·)、一个线性层W和一个softmax层，用于计算分类损失：

最终的损失函数由部位差异性损失函数、部位一致性损失函数、三元组损失函数和分类损失函数共同组成：

5.使用跨监控摄像头的车辆图像训练数据对网络进行训练。具体步骤包括：

将第1步获取的车辆训练数据集图像T_r组成三元组，按照批量大小输入至网络。按照第4步得到总损失后，使用适应性梯度下降算法(Adam算法)对神经网络进行训练，得到车辆重识别模型。

6.计算跨监控摄像头车辆特征相似度，根据相似度大小进行排序，完成车辆重识别，具体步骤包括：

将第1步获取的车辆测试数据集图像T_e通过第3步，可得到车辆的局部特征f_i ¹,f_i ²,f_i ³，然后将其拼接为f_i＝[f_i ¹:f_i ²:f_i ³]；对于不同的车辆图像I_i和I_j，使用余弦距离函数S(f_i,f_j)＝cos(f_i,f_j)进行相似度计算，然后根据似度大小得出排序结果。

本发明的工作原理：

首先，采集跨监控摄像头的车辆图像数据，构建车辆重识别训练数据集用于训练本发明所设计的网络。

其次，构造三分支卷积神经网络提取同一车辆的多个特征，然后在每个分支卷积神经网络后独立构建注意力网络，通过正则化损失函数使得注意力网络关注在同一输入车辆图像的不同的部位。

最后，通过部件一致性损失函数、三元组损失函数、交叉熵损失函数联合训练网络使之提取合适的车辆特征。得到特征后计算跨监控摄像头车辆特征相似度，根据相似度大小进行排序，完成车辆重识别。

排序结果如图2所示，每行第一张代表待查询图像，第2-6张代表查询结果，经过对比可以发现查询结果均为正确。通过图2可以发现本发明的方法在不同对比度、部分遮挡、视角变化等情况下有很好的检测效果。

图3为弱监督车辆重识别网络中三个分支的可视化结果，第一行为同一车辆的6张跨摄像头图像，其中第一张为待检索图像，其余五张为查询结果。第二行和第四行分别对应神经网络的三个分支，在此三个分支分别关注到了车顶、车大灯和车小灯，该图证明本发明的算法有效性。该算法不依赖额外的局部标注信息，可以提取车辆的具有强代表性和判别性的固定的局部视觉特征，消除车辆之间由于跨摄像头引起的特征不对齐问题，从而提高车辆重识别精度。

表1列出了本发明方法和其他现有方法在VeRI-776数据集上的CMC(CumulativeMatch Characteristic，累计匹配特性)结果，表2列出了本发明方法和其他现有方法在Vehicle数据集上的CMC结果，对比发现，本发明的准确率较高，在识别性能上有较大提升，准确率高，证明了本发明方法的有效性。本发明提高了车辆重识别的匹配精度，便于实现智慧城市领域智能交通系统的工程应用。

表1本发明方法和现有方法在VeRI-776数据上的CMC结果

方法	mAP	Top-1	Top-5
				RAM[文献1]	61.5	88.6	94.0
AAVER[文献2]	66.4	90.2	94.3
				PRN[文献3]	74.3	94.3	98.9
PVEN[[文献4]]	79.5	95.6	98.4
				本发明方法	80.1	96.1	98.5

表2本发明方法和现有方法在VehicleID数据上的CMC结果

参考文献：

[1]Xiaobin Liu,Shiliang Zhang,Qingming Huang,and Wen Gao.Ram:aregion-aware deep model for vehicle re-identification.In 2018 IEEEInternational Conference on Multimedia and Expo(ICME),pages 1–6.IEEE,2018.

[2]Pirazh Khorramshahi,Amit Kumar,Neehar Peri,Sai Saketh Rambhatla,Jun-Cheng Chen,and Rama Chellappa.A dual-path model with adaptive attention

for vehicle re-identification.In Proceedings of the IEEEInternational Conference on Computer Vision,pages 6132–6141,2019.

[3]Bing He,Jia Li,Yifan Zhao,and Yonghong Tian.Partregularized near-duplicate vehicle re-identification.In Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,pages 3997–4005,2019.

[4]Dechao Meng,Liang Li,Xuejing Liu,Yadong Li,Shijie Yang,Zheng-JunZha,Xingyu Gao,Shuhui Wang,and Qingming Huang.Parsing-based view-awareembedding network for vehicle re-identification.In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,pages 7103–7112,2020.

Claims (7)

1.一种利用深度学习的弱监督车辆重识别方法，其特征在于，包括以下步骤；

步骤1：获取跨监控摄像头捕捉的车辆图像数据，构建车辆重识别训练数据集T_r与测试数据集T_e，将所有车辆图像设置为同一大小，对T_r进行裁剪、翻转、旋转、归一化图像预处理操作；

步骤2：构造一个三分支卷积神经网络，包括一个主干网络以及三个独立的分支网络，然后采用批量训练方法，将步骤1得到的车辆训练数据集图像按批量大小n输入该三分支卷积神经网络，每一个输入I_i,i∈1,…,n均得到三个全局车辆特征映射F_i ¹,

步骤3：在步骤2中的每个分支网络后构造一个注意力网络，首先将步骤2中得到的三个特征映射F_i ¹,

输入分支对应的注意力网络，得到三个注意力映射

然后设计部位差异性损失函数使

分别关注到车辆图像I_i的不同语义部位，其次将F_i ¹,

和对应的

使用矩阵相乘进行特征融合，最后使用平均值池化得到三个高维特征向量f_i ¹,f_i ²,f_i ³；

步骤4：对步骤3得到的高维特征向量f_i ¹、f_i ²、f_i ³分别使用部件一致性损失函数，使得同一批量中的高维特征向量分别表示为相同的语义部位。

步骤5：将步骤1获取的车辆训练数据集图像T_r输入至三分支卷积神经网络，计算得到总损失，使用适应性梯度下降算法(Adam算法)对神经网络进行训练，得到车辆重识别模型；

步骤6：将步骤1获取的车辆测试数据集图像T_e输入至三分支卷积神经网络，使用余弦距离计算车辆之间的相似度，然后根据相似度大小得出排序结果。

2.根据权利要求1所述的一种利用深度学习的弱监督车辆重识别方法，其特征在于，所述步骤1中具体为：

首先从多个无交叉的监控摄像头中获取多段车辆监控视频，然后通过预训练的车辆检测器从监控视频中检测所有车辆，然后精确定位并裁剪出车辆包围框，最后使用人工标注的方法将车辆图像中的同一车辆标注为对应的类并赋予一个独立的编号，不同车辆之间的类和编号不同，循环上述步骤来构建车辆重识别数据集。构建完成后，划分训练数据集T_r与测试数据集T_e分别用于网络参数训练和最终结果测试。本发明具体实施时，采用7：3的比例划分训练集与测试机，将所有车辆图像设置为256×256大小，训练时，对T_r进行裁剪、翻转、旋转、归一化图像预处理操作。

3.根据权利要求1所述的一种利用深度学习的弱监督车辆重识别方法，其特征在于，所述步骤2中具体为：

三分支卷积神经网络由一个共享权重的主干网络和三个独立权重的子网络构成；其中共享权重的主干网络和三个独立权重的子网络由若干批量归一化层、若干卷积层、若干非线性激活层和若干池化层构成，三个独立权重的子网络构造相同但权重不同。在一个批量中，对于给定输入I_i,i∈1,…,n，首先经过共享权重的主干网络生成一个特征映射F_i，然后该特征映射分别经过三个独立权重的子网络生成三个高维特征映射F_i ¹,

并作为提取的车辆特征。

4.根据权利要求1所述的一种利用深度学习的弱监督车辆重识别方法，其特征在于，所述步骤3中具体为：

首先，在每一个独立权重的分支网络之后设计一个注意力网络，该注意力网络由两个卷积层和一个非线性激活函数构成。三个高维特征映射F_i ¹,

在经过对应的注意力层后分别得到三个注意力映射

然后，提出部位差异性损失函数使得三个注意力映射

分别注意到车辆I_i的不同语义部位。该损失函数定义如下：

其[:]表示为矩阵拼接，[·]^T表示矩阵转置，I表示为单位化矩阵，||·||_F表示求矩阵的F范数。

其次，将F_i ¹,

和对应的

使用矩阵相乘进行特征融合，使得三个高维特征映射能够注意到同一输入车辆图像的不同的部位。最后，使用平均值池化得到三个高维特征向量f_i ¹,f_i ²,f_i ³。

5.根据权利要求1所述的一种利用深度学习的弱监督车辆重识别方法，其特征在于，所述步骤4具体为：

在获得高维特征向量f_i ¹,f_i ²,f_i ³之后，对每一个分支初始化一个中心向量，通过迭代优化部位一致性损失函数

使得每个分支网络能够提取到不同输入车辆图像的相同语义部位，其中f_i ^k，c_k分别为第k个分支的高维特征向量和中心向量，

代表欧几里得距离；

此外，使用三元组损失函数

增强深度特征的辨别性：

其中

分别表示组成三元组的源样本、负样本和正样本的高维特征向量，

和

分别代表正样本对和负样本对的欧式距离，m代表三元组损失的间距阈值，[·]₊代表取正值。

在得到f_i ^k之后，每个分支网络后设计一个批量归一化层BN(·)、一个线性层W和一个softmax层，用于计算分类损失：

最终的损失函数由部位差异性损失函数、部位一致性损失函数、三元组损失函数和分类损失函数共同组成：

6.根据权利要求1所述的一种利用深度学习的弱监督车辆重识别方法，其特征在于，所述步骤5具体为：

将步骤1获取的车辆训练数据集图像T_r组成三元组，按照批量大小输入至网络。按照步骤4得到总损失后，使用适应性梯度下降算法(Adam算法)对神经网络进行训练，得到车辆重识别模型。

7.根据权利要求1所述的一种利用深度学习的弱监督车辆重识别方法，其特征在于，所述步骤6具体为：

将步骤1获取的车辆测试数据集图像T_e通过步骤3，可得到车辆的局部特征f_i ¹,f_i ²,f_i ³，然后将其拼接为f_i＝[f_i ¹:f_i ²:f_i ³]；对于不同的车辆图像I_i和I_j，使用余弦距离函数S(f_i,f_j)＝cos(f_i,f_j)进行相似度计算，然后根据似度大小得出排序结果。

Images