CN112818837A - 一种基于姿态校正和困难样本感知的航拍车辆重识别方法 - Google Patents

Abstract

本发明提供了一种基于姿态校正和困难样本感知的航拍车辆重识别方法，构建基于GA‑RPN和ASPP的三头分割网络，利用其处理采集的车辆图像，以定位和分割不同尺度和不同方向的车辆图像；构建姿态校准模型，利用姿态校准模型对车辆图像进行处理；利用训练后的基于跨视角和困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务。本发明通过强化针对跨视角样本和困难样本的学习，显著提高了车辆重识别的精确度，且在无法准确获取车牌信息的情况下实现车辆重识别。

Description

一种基于姿态校正和困难样本感知的航拍车辆重识别方法

技术领域

本发明属于车辆识别技术领域，具体涉及一种基于姿态校正和困难样本感知的航拍车辆重识别方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

依靠工作人员人工在监控视频中搜寻特定车辆目标不仅成本高昂、效率低下，而且难以取得理想的效果。因此，基于人工智能对车辆身份进行识别成为当前的热门研究方向。车辆重识别旨在从大型数据库中检索出与指定车辆ID相同的车辆图像，通过输出目标车辆与图库车辆的相似度序列，以尽可能小的时间成本在图库搜索出特定车辆。可以实现对监控场景及数据库中车辆的ID识别，对于检索特定车辆、车辆计数和跨视图车辆跟踪等任务有着重要价值。

传统的车辆重识别系统主要通过车牌识别实现，但是仅依靠车牌识别无法对公共治安事件中的遮挡车牌和套牌的嫌疑车辆进行重识别。此外，当前的车辆重识别主要基于道路监控摄像头进行研究。道路监控摄像头由于其位置固定具有很大局限性，而无人机由于其高灵活度成为新型智能交通系统中更有潜力的监控工具。

然而，当前基于无人机平台的车辆重识别主要面临以下挑战。(1)无人机具有比固定位置的监控相机更高的自由度，从而导致更加复杂多样的拍摄视角和车辆特征的遮挡，增加了重识别的难度。(2)不同的光照、天气条件下的车辆图像在颜色空间上有较大差异，降低了相同ID车辆图像的相似性。

发明内容

本发明为了解决上述问题，提出了一种基于姿态校正和困难样本感知的航拍车辆重识别方法，本发明通过强化针对跨视角样本和困难样本的学习，显著提高了车辆重识别的精确度，且在无法准确获取车牌信息的情况下实现车辆重识别。

根据一些实施例，本发明采用如下技术方案：

一种基于姿态校正和困难样本感知的航拍车辆重识别方法，包括以下步骤：

构建基于GA-RPN和ASPP的三头分割网络，利用其定位和分割不同尺度和不同方向的车辆图像；

构建姿态校准模型，利用姿态校准模型对车辆图像进行处理；

利用训练后的基于跨视角和困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务。

作为可选择的实施方式，构建基于GA-RPN和ASPP的三头分割网络的具体过程包括：将Mask-RCNN提取的图像卷积特征输入GA-RPN区域建议模块，输出一组矩形区域作为建议区域，GA-RPN根据特征图预测锚点的位置和大小，自动生成具有中心坐标以及宽度和高度的锚点，由GA-RPN预测得到的感兴趣区域输入三头分割网络。

作为可选择的实施方式，所述三头分割网络包含类别预测、检测框回归、实例分割三个分支，通过三分支实现多任务学习。

作为可选择的实施方式，所述构建姿态校准模型以车顶中心为基准对车辆姿态进行校准以减小车辆姿态不同带来的差异。

作为可选择的实施方式，利用姿态校准模型对车辆图像进行处理的具体过程包括：将输入车辆I的姿态校准为垂直，校准后的车辆记录为I_c；将I_c垂直翻转以获得I_f；将I_c和I_f输入到双通道特征提取网络以获取特征向量对；具有两个特征向量的向量对被线性融合以获得输入车辆图像的最终特征表达。

作为进一步的限定，对附带mask信息的输入车辆图像建立直角坐标系，并且根据mask获取车辆的最小边界矩形框；对最小边界矩形框中的每个像素点进行映射，实现车辆姿态校准。

作为可选择的实施方式，基于跨视角和困难样本感知的度量学习模型的训练过程包括：建立基于跨视角匹配机制和随机匹配机制的联合训练组；由特征提取网络提取联合训练组中每个样本的特征向量，以计算相似度；在相似度排序后，选择相似度最低的正样本和相似度最高的负样本进行度量学习。

一种基于姿态校正和困难样本感知的航拍车辆重识别系统，包括：

分割模块，被配置为构建基于GA-RPN和ASPP的三头分割网络，利用其对航拍图像进行处理，以定位和分割不同尺度和不同方向的车辆图像；

姿态校准模块，被配置为构建姿态校准模型，利用姿态校准模型对车辆图像进行处理；

识别模块，被配置为利用训练后的基于跨视角和困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务。

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法的步骤。

一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法的步骤。

与现有技术相比，本发明的有益效果为：

1)本发明构建了无人机机载相机拍摄的大型车辆重识别数据集，用于开拓无人机监控系统下的车辆重识别的应用与研究。并在Mask-RCNN网络结构中加入GA-RPN和ASPP结构，提高了车辆个体的分割精确度。

2)针对车辆姿态不同引起的图像差异，本发明设计姿态校准模型将车身各部位进行对准，通过减少车身部件位置的不确定性增强网络挖掘潜在特征的能力。

3)针对车辆重识别中困难样本识别准确率低的问题，本发明提出基于跨视角和困难样本感知的度量学习。使用随机匹配机制和跨视角匹配机制提供包含跨视角困难样本的训练组。进一步自动搜索与锚样本距离最大的正样本和距离最小的负样本，加强网络对困难样本的学习。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为基于姿态校正和困难样本感知的度量学习方法流程图；

图2为本实施例的重识别效果示意图。

具体实施方式：

下面结合附图与实施例对本发明作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

正如背景技术中所述的，与基于固定监控的车辆重识别任务相比，基于无人机(UAV)的重识别任务面临更大的挑战，包括拍摄角度复杂多变、遮挡、俯视特征区分度低以及车辆尺度变化大等。为了克服以上困难，本实施例提出了基于姿态校正和困难样本感知的度量学习方法(PC-HCPML)。如图1所示，首先，通过基于GA-RPN和ASPP的三头分割网络定位和分割不同尺度和不同方向的车辆图像。然后由姿态校准模型对车辆图像进行处理，最后由基于跨视角&困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务。

下面进行详细介绍：

1基于GA-RPN和ASPP的三头分割网络

为了精确分割不同方向和不同尺度的航拍车辆图像，提出了基于GA-RPN和ASPP的三头分割网络。将Mask-RCNN提取的图像卷积特征输入GA-RPN区域建议模块，输出一组矩形区域作为建议区域。GA-RPN可根据特征图预测锚点的位置和大小，自动生成具有四个参数(x，y，w，h)的锚点，其中(x，y)是中心坐标，(w，h)是宽度和高度。锚点的分布公式为，

d((x，y，w，h)|F)＝d((x，y)|F)d((w，h)|(x,y,F)) (1)

其中，F为输入特征图，d((x,y)|F)为(x，y)的预测概率，d((w，h)|(x,y，F))为在(x，y)条件下(w，h)的预测概率。

由GA-RPN预测得到的感兴趣区域进一步输入三头分割网络。三头分割网络既可以检测也可以分割，包含类别预测、检测框回归、实例分割三个分支，通过三分支实现多任务学习。

1)类别预测分支：由3ⅹ3的卷积和两个全连接层构成，损失函数为交叉熵损失，计算公式如下，

L_cls(p，a)＝-log(p_a) (2)

其中，p＝(p₀，...，p_c)，表示c+1个类别的概率，a是真实标签，p_a是真实标签的概率。

2)检测框回归分支：定义类别a的真实检测框为v＝(v_x,v_y,v_w,v_h),预测检测框为

定义边界框回归损失为，

3)实例分割分支：该分支由一个加入ASPP结构的全卷积网络构成。ASPP通过具有不同比率的并行空洞卷积层获取多尺度信息。ASPP模块由一个1×1卷积核，三个比率分别为(6、12、18)的3×3卷积核和平均池化层组成。通过级联聚合四个不同比例的特征，然后使用1×1卷积核计算得到特征图。实例分割分支的损失函数定义为，

其中，mⅹm是mask的尺寸，M^*是二值化真值，M是计算的mask。

2基于姿态校准模型的特征提取网络

由于车辆姿态不同，即使是相同ID的车辆图像也会呈现出较大的差异。为此，以车顶中心为基准对车辆姿态进行校准以减小车辆姿态不同带来的差异。

该模型主要包括以下步骤。首先将输入车辆I的姿态校准为垂直。校准后的车辆记录为I_c。然后，将I_c垂直翻转以获得I_f。将I_c和I_f输入到双通道特征提取网络以获取特征向量对。具有两个特征向量的向量对被线性融合以获得输入车辆图像的最终特征表达。

对附带mask信息的输入车辆图像建立直角坐标系，并且根据mask获取车辆的最小边界矩形框(MBR)。然后通过以下公式对MBR中的每个像素点进行映射，实现车辆姿态校准。

ifα<β,

ifα>β,

其中，α和β分别是车辆与水平轴之间的左夹角和右夹角，(x₀,y₀)是手动设置的旋转中心,(x,y)是校准前MBR中的一个点,(x₁,y₁)是(x，y)围绕(x₀,y₀)旋转的结果。

在坐标投影之后，由于车辆的长度通常大于宽度，因此将所有车辆图像都按照纵横比旋转，以使车身垂直，得到旋转的车辆I_c。但是，I_C无法确定车辆头部的位置。为此，将每个图像I_c垂直翻转以获得翻转图像I_f，然后由双通道网络提取特征并线性组合得到最终特征表达。

F_c＝Net(I_c)＝[a₁,a₂,…,a_q] (8)

F_f＝Net(I_f)＝[a′₁,a′₂,…,a′_q] (9)

F_final＝[a₁+a′₁,a₂+a′₂,…,a_q+a′_q] (10)

其中，F_c为图像I_c的特征向量，F_f为翻转图像_f的特征向量，Net(I)为以ResNet50为骨架网络的特征提取网络。F_final为最终车辆特征表达。

3基于跨视角&困难样本感知的度量学习

基于跨视角&困难样本感知的度量学习(HCPML)的训练过程。首先，建立基于跨视角匹配机制和随机匹配机制的联合训练组。然后由上文设计的特征提取网络提取联合训练组中每个样本的特征向量，以计算相似度。在相似度排序后，选择相似度最低的正样本和相似度最高的负样本进行度量学习。

定义训练集为T，针对每个训练样本x_i∈T，匹配m个跨视角样本组成P^v,i和n个随机样本组成P^r,i，

P^v,i＝{X^v+∈Pⁱ|View(X^v+)≠View(X_i)} (11)

P^r,i＝{X^r+|X^r+＝random(X⁺|X⁺∈Pⁱ)} (12)

其中，Pⁱ为正样本集，X^v+为跨视角正样本，X^r+为随机正样本，View(X)为样本X的视角，random(X)为随机选取样本。

P^v,i和P^r,i组成正样本单元P^v&r,i，同一个批次中的P^v&r,i组成联合训练组G_joint，

G_joint＝P^v&r,1∪P^v&r,2∪…∪P^v&r,B (13)

其中，B为batchsize。

G_joint中X_i的负样本组成负样本单元Nⁱ，

Nⁱ＝{X^-∈G_joint|ID(X^-)≠ID(X_i)} (14)

然后分别计算锚样本X_i与正样本单元P^v&r,i中的正样本、负样本单元Nⁱ中的负样本的二范数距离，找出距离最小的负样本和距离最大的正样本进一步计算度量学习损失函数，计算公式如下，

其中，D(x,y)表示样本之间的二范数距离，ReLu(x)为激活函数，保证损失不发散，γ为人工设置的期望距离参数。

如图2所示，本发明具有较好的识别效果，提高了车辆个体的分割精确度，可以基于无人机机载相机平台实现车辆重识别，进一步扩大了车辆重识别的应用范围，可以识别各个角度的车辆。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于姿态校正和困难样本感知的航拍车辆重识别方法，其特征是：包括以下步骤：

构建基于GA-RPN和ASPP的三头分割网络，利用其定位和分割不同尺度和不同方向的车辆图像；

构建姿态校准模型，利用姿态校准模型对车辆图像进行处理；

利用训练后的基于跨视角和困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务。

2.如权利要求1所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法，其特征是：构建基于GA-RPN和ASPP的三头分割网络的具体过程包括：将Mask-RCNN提取的图像卷积特征输入GA-RPN区域建议模块，输出一组矩形区域作为建议区域，GA-RPN根据特征图预测锚点的位置和大小，自动生成具有中心坐标以及宽度和高度的锚点，由GA-RPN预测得到的感兴趣区域输入三头分割网络。

3.如权利要求1所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法，其特征是：所述三头分割网络包含类别预测、检测框回归、实例分割三个分支，通过三分支实现多任务学习。

4.如权利要求1所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法，其特征是：所述构建姿态校准模型以车顶中心为基准对车辆姿态进行校准以减小车辆姿态不同带来的差异。

5.如权利要求1所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法，其特征是：利用姿态校准模型对车辆图像进行处理的具体过程包括：将输入车辆I的姿态校准为垂直，校准后的车辆记录为I_c；将I_c垂直翻转以获得I_f；将I_c和I_f输入到双通道特征提取网络以获取特征向量对；具有两个特征向量的向量对被线性融合以获得输入车辆图像的最终特征表达。

6.如权利要求5所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法，其特征是：对附带mask信息的输入车辆图像建立直角坐标系，并且根据mask获取车辆的最小边界矩形框；对最小边界矩形框中的每个像素点进行映射，实现车辆姿态校准。

7.如权利要求1所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法，其特征是：基于跨视角和困难样本感知的度量学习模型的训练过程包括：建立基于跨视角匹配机制和随机匹配机制的联合训练组；由特征提取网络提取联合训练组中每个样本的特征向量，以计算相似度；在相似度排序后，选择相似度最低的正样本和相似度最高的负样本进行度量学习。

8.一种基于姿态校正和困难样本感知的航拍车辆重识别系统，其特征是：包括：

分割模块，被配置为构建基于GA-RPN和ASPP的三头分割网络，利用其对航拍图像进行处理，以定位和分割不同尺度和不同方向的车辆图像；

姿态校准模块，被配置为构建姿态校准模型，利用姿态校准模型对车辆图像进行处理；

识别模块，被配置为利用训练后的基于跨视角和困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务。

9.一种计算机可读存储介质，其特征是：其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法的步骤。

10.一种终端设备，其特征是：包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7中任一项所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法的步骤。

Images