CN112818837B - 一种基于姿态校正和困难样本感知的航拍车辆重识别方法 - Google Patents

一种基于姿态校正和困难样本感知的航拍车辆重识别方法 Download PDF

Info

Publication number
CN112818837B
CN112818837B CN202110126267.5A CN202110126267A CN112818837B CN 112818837 B CN112818837 B CN 112818837B CN 202110126267 A CN202110126267 A CN 202110126267A CN 112818837 B CN112818837 B CN 112818837B
Authority
CN
China
Prior art keywords
vehicle
sample
perception
attitude
rpn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110126267.5A
Other languages
English (en)
Other versions
CN112818837A (zh
Inventor
刘春生
宋烨
常发亮
李爽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110126267.5A priority Critical patent/CN112818837B/zh
Publication of CN112818837A publication Critical patent/CN112818837A/zh
Application granted granted Critical
Publication of CN112818837B publication Critical patent/CN112818837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于姿态校正和困难样本感知的航拍车辆重识别方法,构建基于GA‑RPN和ASPP的三头分割网络,利用其处理采集的车辆图像,以定位和分割不同尺度和不同方向的车辆图像;构建姿态校准模型,利用姿态校准模型对车辆图像进行处理;利用训练后的基于跨视角和困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务。本发明通过强化针对跨视角样本和困难样本的学习,显著提高了车辆重识别的精确度,且在无法准确获取车牌信息的情况下实现车辆重识别。

Description

一种基于姿态校正和困难样本感知的航拍车辆重识别方法
技术领域
本发明属于车辆识别技术领域,具体涉及一种基于姿态校正和困难样本感知的航拍车辆重识别方法。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
依靠工作人员人工在监控视频中搜寻特定车辆目标不仅成本高昂、效率低下,而且难以取得理想的效果。因此,基于人工智能对车辆身份进行识别成为当前的热门研究方向。车辆重识别旨在从大型数据库中检索出与指定车辆ID相同的车辆图像,通过输出目标车辆与图库车辆的相似度序列,以尽可能小的时间成本在图库搜索出特定车辆。可以实现对监控场景及数据库中车辆的ID识别,对于检索特定车辆、车辆计数和跨视图车辆跟踪等任务有着重要价值。
传统的车辆重识别系统主要通过车牌识别实现,但是仅依靠车牌识别无法对公共治安事件中的遮挡车牌和套牌的嫌疑车辆进行重识别。此外,当前的车辆重识别主要基于道路监控摄像头进行研究。道路监控摄像头由于其位置固定具有很大局限性,而无人机由于其高灵活度成为新型智能交通系统中更有潜力的监控工具。
然而,当前基于无人机平台的车辆重识别主要面临以下挑战。(1)无人机具有比固定位置的监控相机更高的自由度,从而导致更加复杂多样的拍摄视角和车辆特征的遮挡,增加了重识别的难度。(2)不同的光照、天气条件下的车辆图像在颜色空间上有较大差异,降低了相同ID车辆图像的相似性。
发明内容
本发明为了解决上述问题,提出了一种基于姿态校正和困难样本感知的航拍车辆重识别方法,本发明通过强化针对跨视角样本和困难样本的学习,显著提高了车辆重识别的精确度,且在无法准确获取车牌信息的情况下实现车辆重识别。
根据一些实施例,本发明采用如下技术方案:
一种基于姿态校正和困难样本感知的航拍车辆重识别方法,包括以下步骤:
构建基于GA-RPN和ASPP的三头分割网络,利用其定位和分割不同尺度和不同方向的车辆图像;
构建姿态校准模型,利用姿态校准模型对车辆图像进行处理;
利用训练后的基于跨视角和困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务。
作为可选择的实施方式,构建基于GA-RPN和ASPP的三头分割网络的具体过程包括:将Mask-RCNN提取的图像卷积特征输入GA-RPN区域建议模块,输出一组矩形区域作为建议区域,GA-RPN根据特征图预测锚点的位置和大小,自动生成具有中心坐标以及宽度和高度的锚点,由GA-RPN预测得到的感兴趣区域输入三头分割网络。
作为可选择的实施方式,所述三头分割网络包含类别预测、检测框回归、实例分割三个分支,通过三分支实现多任务学习。
作为可选择的实施方式,所述构建姿态校准模型以车顶中心为基准对车辆姿态进行校准以减小车辆姿态不同带来的差异。
作为可选择的实施方式,利用姿态校准模型对车辆图像进行处理的具体过程包括:将输入车辆I的姿态校准为垂直,校准后的车辆记录为Ic;将Ic垂直翻转以获得If;将Ic和If输入到双通道特征提取网络以获取特征向量对;具有两个特征向量的向量对被线性融合以获得输入车辆图像的最终特征表达。
作为进一步的限定,对附带mask信息的输入车辆图像建立直角坐标系,并且根据mask获取车辆的最小边界矩形框;对最小边界矩形框中的每个像素点进行映射,实现车辆姿态校准。
作为可选择的实施方式,基于跨视角和困难样本感知的度量学习模型的训练过程包括:建立基于跨视角匹配机制和随机匹配机制的联合训练组;由特征提取网络提取联合训练组中每个样本的特征向量,以计算相似度;在相似度排序后,选择相似度最低的正样本和相似度最高的负样本进行度量学习。
一种基于姿态校正和困难样本感知的航拍车辆重识别系统,包括:
分割模块,被配置为构建基于GA-RPN和ASPP的三头分割网络,利用其对航拍图像进行处理,以定位和分割不同尺度和不同方向的车辆图像;
姿态校准模块,被配置为构建姿态校准模型,利用姿态校准模型对车辆图像进行处理;
识别模块,被配置为利用训练后的基于跨视角和困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务。
一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法的步骤。
一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法的步骤。
与现有技术相比,本发明的有益效果为:
1)本发明构建了无人机机载相机拍摄的大型车辆重识别数据集,用于开拓无人机监控系统下的车辆重识别的应用与研究。并在Mask-RCNN网络结构中加入GA-RPN和ASPP结构,提高了车辆个体的分割精确度。
2)针对车辆姿态不同引起的图像差异,本发明设计姿态校准模型将车身各部位进行对准,通过减少车身部件位置的不确定性增强网络挖掘潜在特征的能力。
3)针对车辆重识别中困难样本识别准确率低的问题,本发明提出基于跨视角和困难样本感知的度量学习。使用随机匹配机制和跨视角匹配机制提供包含跨视角困难样本的训练组。进一步自动搜索与锚样本距离最大的正样本和距离最小的负样本,加强网络对困难样本的学习。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1为基于姿态校正和困难样本感知的度量学习方法流程图;
图2为本实施例的重识别效果示意图。
具体实施方式:
下面结合附图与实施例对本发明作进一步说明。
应该指出,以下详细说明都是例示性的,旨在对本发明提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本发明的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
正如背景技术中所述的,与基于固定监控的车辆重识别任务相比,基于无人机(UAV)的重识别任务面临更大的挑战,包括拍摄角度复杂多变、遮挡、俯视特征区分度低以及车辆尺度变化大等。为了克服以上困难,本实施例提出了基于姿态校正和困难样本感知的度量学习方法(PC-HCPML)。如图1所示,首先,通过基于GA-RPN和ASPP的三头分割网络定位和分割不同尺度和不同方向的车辆图像。然后由姿态校准模型对车辆图像进行处理,最后由基于跨视角&困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务。
下面进行详细介绍:
1基于GA-RPN和ASPP的三头分割网络
为了精确分割不同方向和不同尺度的航拍车辆图像,提出了基于GA-RPN和ASPP的三头分割网络。将Mask-RCNN提取的图像卷积特征输入GA-RPN区域建议模块,输出一组矩形区域作为建议区域。GA-RPN可根据特征图预测锚点的位置和大小,自动生成具有四个参数(x,y,w,h)的锚点,其中(x,y)是中心坐标,(w,h)是宽度和高度。锚点的分布公式为,
d((x,y,w,h)|F)=d((x,y)|F)d((w,h)|(x,y,F)) (1)
其中,F为输入特征图,d((x,y)|F)为(x,y)的预测概率,d((w,h)|(x,y,F))为在(x,y)条件下(w,h)的预测概率。
由GA-RPN预测得到的感兴趣区域进一步输入三头分割网络。三头分割网络既可以检测也可以分割,包含类别预测、检测框回归、实例分割三个分支,通过三分支实现多任务学习。
1)类别预测分支:由3ⅹ3的卷积和两个全连接层构成,损失函数为交叉熵损失,计算公式如下,
Lcls(p,a)=-log(pa) (2)
其中,p=(p0,...,pc),表示c+1个类别的概率,a是真实标签,pa是真实标签的概率。
2)检测框回归分支:定义类别a的真实检测框为v=(vx,vy,vw,vh),预测检测框为
Figure BDA0002923608820000071
定义边界框回归损失为,
Figure BDA0002923608820000072
Figure BDA0002923608820000073
3)实例分割分支:该分支由一个加入ASPP结构的全卷积网络构成。ASPP通过具有不同比率的并行空洞卷积层获取多尺度信息。ASPP模块由一个1×1卷积核,三个比率分别为(6、12、18)的3×3卷积核和平均池化层组成。通过级联聚合四个不同比例的特征,然后使用1×1卷积核计算得到特征图。实例分割分支的损失函数定义为,
Figure BDA0002923608820000074
其中,mⅹm是mask的尺寸,M*是二值化真值,M是计算的mask。
2基于姿态校准模型的特征提取网络
由于车辆姿态不同,即使是相同ID的车辆图像也会呈现出较大的差异。为此,以车顶中心为基准对车辆姿态进行校准以减小车辆姿态不同带来的差异。
该模型主要包括以下步骤。首先将输入车辆I的姿态校准为垂直。校准后的车辆记录为Ic。然后,将Ic垂直翻转以获得If。将Ic和If输入到双通道特征提取网络以获取特征向量对。具有两个特征向量的向量对被线性融合以获得输入车辆图像的最终特征表达。
对附带mask信息的输入车辆图像建立直角坐标系,并且根据mask获取车辆的最小边界矩形框(MBR)。然后通过以下公式对MBR中的每个像素点进行映射,实现车辆姿态校准。
ifα<β,
Figure BDA0002923608820000081
ifα>β,
Figure BDA0002923608820000082
其中,α和β分别是车辆与水平轴之间的左夹角和右夹角,(x0,y0)是手动设置的旋转中心,(x,y)是校准前MBR中的一个点,(x1,y1)是(x,y)围绕(x0,y0)旋转的结果。
在坐标投影之后,由于车辆的长度通常大于宽度,因此将所有车辆图像都按照纵横比旋转,以使车身垂直,得到旋转的车辆Ic。但是,IC无法确定车辆头部的位置。为此,将每个图像Ic垂直翻转以获得翻转图像If,然后由双通道网络提取特征并线性组合得到最终特征表达。
Fc=Net(Ic)=[a1,a2,…,aq] (8)
Ff=Net(If)=[a′1,a′2,…,a′q] (9)
Ffinal=[a1+a′1,a2+a′2,…,aq+a′q] (10)
其中,Fc为图像Ic的特征向量,Ff为翻转图像f的特征向量,Net(I)为以ResNet50为骨架网络的特征提取网络。Ffinal为最终车辆特征表达。
3基于跨视角&困难样本感知的度量学习
基于跨视角&困难样本感知的度量学习(HCPML)的训练过程。首先,建立基于跨视角匹配机制和随机匹配机制的联合训练组。然后由上文设计的特征提取网络提取联合训练组中每个样本的特征向量,以计算相似度。在相似度排序后,选择相似度最低的正样本和相似度最高的负样本进行度量学习。
定义训练集为T,针对每个训练样本xi∈T,匹配m个跨视角样本组成Pv,i和n个随机样本组成Pr,i
Pv,i={Xv+∈Pi|View(Xv+)≠View(Xi)} (11)
Pr,i={Xr+|Xr+=random(X+|X+∈Pi)} (12)
其中,Pi为正样本集,Xv+为跨视角正样本,Xr+为随机正样本,View(X)为样本X的视角,random(X)为随机选取样本。
Pv,i和Pr,i组成正样本单元Pv&r,i,同一个批次中的Pv&r,i组成联合训练组Gjoint
Gjoint=Pv&r,1∪Pv&r,2∪…∪Pv&r,B (13)
其中,B为batchsize。
Gjoint中Xi的负样本组成负样本单元Ni
Ni={X-∈Gjoint|ID(X-)≠ID(Xi)} (14)
然后分别计算锚样本Xi与正样本单元Pv&r,i中的正样本、负样本单元Ni中的负样本的二范数距离,找出距离最小的负样本和距离最大的正样本进一步计算度量学习损失函数,计算公式如下,
Figure BDA0002923608820000101
其中,D(x,y)表示样本之间的二范数距离,ReLu(x)为激活函数,保证损失不发散,γ为人工设置的期望距离参数。
如图2所示,本发明具有较好的识别效果,提高了车辆个体的分割精确度,可以基于无人机机载相机平台实现车辆重识别,进一步扩大了车辆重识别的应用范围,可以识别各个角度的车辆。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于姿态校正和困难样本感知的航拍车辆重识别方法,其特征是:包括以下步骤:
构建基于GA-RPN和ASPP的三头分割网络,利用其定位和分割不同尺度和不同方向的车辆图像;
构建姿态校准模型,利用姿态校准模型对车辆图像进行处理;
利用训练后的基于跨视角和困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务;
所述基于GA-RPN和ASPP的三头分割网络具体为:将Mask-RCNN提取的图像卷积特征输入GA-RPN区域建议模块,输出一组矩形区域作为建议区域,GA-RPN可根据特征图预测锚点的位置和大小,自动生成具有四个参数(x,y,w,h)的锚点,其中(x,y)是中心坐标,(w,h)是宽度和高度,锚点的分布公式为,
d((x,y,w,h)|F)=d((x,y)|F)d((w,h)|(x,y,F)) (1)
其中,F为输入特征图,d((x,y)|F)为(x,y)的预测概率,d((w,h)|(x,y,F))为在(x,y)条件下(w,h)的预测概率;
由GA-RPN预测得到的感兴趣区域进一步输入三头分割网络,三头分割网络既可以检测也可以分割,包含类别预测、检测框回归、实例分割三个分支,通过三分支实现多任务学习;
1)类别预测分支:由3ⅹ3的卷积和两个全连接层构成,损失函数为交叉熵损失,计算公式如下,
Lcls(p,a)=-log(pa) (2)
其中,p=(p0,...,pc),表示c+1个类别的概率,a是真实标签,pa是真实标签的概率;
2)检测框回归分支:定义类别a的真实检测框为v=(vx,vy,vw,vh),预测检测框为
Figure FDA0003823264310000021
定义边界框回归损失为,
Figure FDA0003823264310000022
Figure FDA0003823264310000023
3)实例分割分支:该分支由一个加入ASPP结构的全卷积网络构成,ASPP通过具有不同比率的并行空洞卷积层获取多尺度信息,ASPP模块由一个1×1卷积核,三个比率分别为6、12、18的3×3卷积核和平均池化层组成,通过级联聚合四个不同比例的特征,然后使用1×1卷积核计算得到特征图,实例分割分支的损失函数定义为,
Figure FDA0003823264310000024
其中,mⅹm是mask的尺寸,M*是二值化真值,M是计算的mask。
2.如权利要求1所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法,其特征是:所述构建姿态校准模型以车顶中心为基准对车辆姿态进行校准以减小车辆姿态不同带来的差异。
3.如权利要求1所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法,其特征是:利用姿态校准模型对车辆图像进行处理的具体过程包括:将输入车辆I的姿态校准为垂直,校准后的车辆记录为Ic;将Ic垂直翻转以获得If;将Ic和If输入到双通道特征提取网络以获取特征向量对;具有两个特征向量的向量对被线性融合以获得输入车辆图像的最终特征表达。
4.如权利要求3所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法,其特征是:对附带mask信息的输入车辆图像建立直角坐标系,并且根据mask获取车辆的最小边界矩形框;对最小边界矩形框中的每个像素点进行映射,实现车辆姿态校准。
5.如权利要求1所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法,其特征是:基于跨视角和困难样本感知的度量学习模型的训练过程包括:建立基于跨视角匹配机制和随机匹配机制的联合训练组;由特征提取网络提取联合训练组中每个样本的特征向量,以计算相似度;在相似度排序后,选择相似度最低的正样本和相似度最高的负样本进行度量学习;
定义训练集为T,针对每个训练样本xi∈T,匹配m个跨视角样本组成Pv,i和n个随机样本组成Pr,i
Pv,i={Xv+∈Pi|View(Xv+)≠View(Xi)} (6)
Pr,i={Xr+|Xr+=random(X+|X+∈Pi)} (7)
其中,Pi为正样本集,Xv+为跨视角正样本,Xr+为随机正样本,View(X)为样本X的视角,random(X)为随机选取样本,
Pv,i和Pr,i组成正样本单元Pv&r,i,同一个批次中的Pv&r,i组成联合训练组Gjoint
Gjoint=Pv&r,1∪Pv&r,2∪…∪Pv&r,B (8)
其中,B为batchsize,
Gjoint中Xi的负样本组成负样本单元Ni
Ni={X-∈Gjoint|ID(x-)≠ID(Xi)} (9)
然后分别计算锚样本Xi与正样本单元Pv&r,i中的正样本、负样本单元Ni中的负样本的二范数距离,找出距离最小的负样本和距离最大的正样本进一步计算度量学习损失函数,计算公式如下,
Figure FDA0003823264310000041
其中,D(x,y)表示样本之间的二范数距离,ReLu(x)为激活函数,保证损失不发散,γ为人工设置的期望距离参数。
6.一种基于姿态校正和困难样本感知的航拍车辆重识别系统,其特征是:包括:
分割模块,被配置为构建基于GA-RPN和ASPP的三头分割网络,利用其对航拍图像进行处理,以定位和分割不同尺度和不同方向的车辆图像;
姿态校准模块,被配置为构建姿态校准模型,利用姿态校准模型对车辆图像进行处理;
识别模块,被配置为利用训练后的基于跨视角和困难样本感知的度量学习模型对车辆样本进行学习并完成重识别任务;
所述基于GA-RPN和ASPP的三头分割网络具体为:将Mask-RCNN提取的图像卷积特征输入GA-RPN区域建议模块,输出一组矩形区域作为建议区域,GA-RPN可根据特征图预测锚点的位置和大小,自动生成具有四个参数(x,y,w,h)的锚点,其中(x,y)是中心坐标,(w,h)是宽度和高度,锚点的分布公式为,
d((x,y,w,h)|F)=d((x,y)|F)d((w,h)|(x,y,F)) (1)
其中,F为输入特征图,d((x,y)|F)为(x,y)的预测概率,d((w,h)|(x,y,F))为在(x,y)条件下(w,h)的预测概率;
由GA-RPN预测得到的感兴趣区域进一步输入三头分割网络,三头分割网络既可以检测也可以分割,包含类别预测、检测框回归、实例分割三个分支,通过三分支实现多任务学习;
1)类别预测分支:由3ⅹ3的卷积和两个全连接层构成,损失函数为交叉熵损失,计算公式如下,
Lcls(p,a)=-log(pa) (2)
其中,p=(p0,...,pc),表示c+1个类别的概率,a是真实标签,pa是真实标签的概率;
2)检测框回归分支:定义类别a的真实检测框为v=(vx,vy,vw,vh),预测检测框为
Figure FDA0003823264310000051
定义边界框回归损失为,
Figure FDA0003823264310000052
Figure FDA0003823264310000053
3)实例分割分支:该分支由一个加入ASPP结构的全卷积网络构成,ASPP通过具有不同比率的并行空洞卷积层获取多尺度信息,ASPP模块由一个1×1卷积核,三个比率分别为6、12、18的3×3卷积核和平均池化层组成,通过级联聚合四个不同比例的特征,然后使用1×1卷积核计算得到特征图,实例分割分支的损失函数定义为,
Figure FDA0003823264310000061
其中,mⅹm是mask的尺寸,M*是二值化真值,M是计算的mask。
7.一种计算机可读存储介质,其特征是:其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行权利要求1-5中任一项所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法的步骤。
8.一种终端设备,其特征是:包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行权利要求1-5中任一项所述的一种基于姿态校正和困难样本感知的航拍车辆重识别方法的步骤。
CN202110126267.5A 2021-01-29 2021-01-29 一种基于姿态校正和困难样本感知的航拍车辆重识别方法 Active CN112818837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110126267.5A CN112818837B (zh) 2021-01-29 2021-01-29 一种基于姿态校正和困难样本感知的航拍车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110126267.5A CN112818837B (zh) 2021-01-29 2021-01-29 一种基于姿态校正和困难样本感知的航拍车辆重识别方法

Publications (2)

Publication Number Publication Date
CN112818837A CN112818837A (zh) 2021-05-18
CN112818837B true CN112818837B (zh) 2022-11-11

Family

ID=75860148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110126267.5A Active CN112818837B (zh) 2021-01-29 2021-01-29 一种基于姿态校正和困难样本感知的航拍车辆重识别方法

Country Status (1)

Country Link
CN (1) CN112818837B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115762172A (zh) * 2022-11-02 2023-03-07 济南博观智能科技有限公司 一种出入车位车辆识别方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103308A (zh) * 2017-05-24 2017-08-29 武汉大学 一种基于由粗到细深度尺度学习的行人重识别方法
CN108596102A (zh) * 2018-04-26 2018-09-28 北京航空航天大学青岛研究院 基于rgb-d的室内场景物体分割分类器构造方法
CN109165589A (zh) * 2018-08-14 2019-01-08 北京颂泽科技有限公司 基于深度学习的车辆重识别方法和装置
CN109800794A (zh) * 2018-12-27 2019-05-24 上海交通大学 一种外观相似目标的跨相机重识别融合方法及系统
CN110472081A (zh) * 2019-08-23 2019-11-19 大连海事大学 一种基于度量学习的鞋图片跨域检索方法
CN110532904A (zh) * 2019-08-13 2019-12-03 桂林电子科技大学 一种车辆识别方法
CN110544258A (zh) * 2019-08-30 2019-12-06 北京海益同展信息科技有限公司 图像分割的方法、装置、电子设备和存储介质
CN110765954A (zh) * 2019-10-24 2020-02-07 浙江大华技术股份有限公司 一种车辆重识别方法、设备及存储装置
CN111814584A (zh) * 2020-06-18 2020-10-23 北京交通大学 基于多中心度量损失的多视角环境下车辆重识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10635927B2 (en) * 2017-03-06 2020-04-28 Honda Motor Co., Ltd. Systems for performing semantic segmentation and methods thereof
CN109977812B (zh) * 2019-03-12 2023-02-24 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN111582178B (zh) * 2020-05-09 2021-06-18 山东建筑大学 基于多方位信息和多分支神经网络车辆重识别方法及系统
CN111652293B (zh) * 2020-05-20 2022-04-26 西安交通大学苏州研究院 一种多任务联合判别学习的车辆重识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107103308A (zh) * 2017-05-24 2017-08-29 武汉大学 一种基于由粗到细深度尺度学习的行人重识别方法
CN108596102A (zh) * 2018-04-26 2018-09-28 北京航空航天大学青岛研究院 基于rgb-d的室内场景物体分割分类器构造方法
CN109165589A (zh) * 2018-08-14 2019-01-08 北京颂泽科技有限公司 基于深度学习的车辆重识别方法和装置
CN109800794A (zh) * 2018-12-27 2019-05-24 上海交通大学 一种外观相似目标的跨相机重识别融合方法及系统
CN110532904A (zh) * 2019-08-13 2019-12-03 桂林电子科技大学 一种车辆识别方法
CN110472081A (zh) * 2019-08-23 2019-11-19 大连海事大学 一种基于度量学习的鞋图片跨域检索方法
CN110544258A (zh) * 2019-08-30 2019-12-06 北京海益同展信息科技有限公司 图像分割的方法、装置、电子设备和存储介质
CN110765954A (zh) * 2019-10-24 2020-02-07 浙江大华技术股份有限公司 一种车辆重识别方法、设备及存储装置
CN111814584A (zh) * 2020-06-18 2020-10-23 北京交通大学 基于多中心度量损失的多视角环境下车辆重识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Mask R-CNN with Feature Pyramid Attention for Instance Segmentation;X. Zhang et al.;《2018 14th IEEE International Conference on Signal Processing (ICSP)》;20181231;第1194-1197页,附图1 *

Also Published As

Publication number Publication date
CN112818837A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN110020651B (zh) 基于深度学习网络的车牌检测定位方法
WO2020186678A1 (zh) 无人机三维地图构建方法、装置、计算机设备及存储介质
Jiang et al. Deep neural networks-based vehicle detection in satellite images
CN111652934A (zh) 定位方法及地图构建方法、装置、设备、存储介质
CN111213155A (zh) 图像处理方法、设备、可移动平台、无人机及存储介质
US20140064624A1 (en) Systems and methods for estimating the geographic location at which image data was captured
CN114023062B (zh) 一种基于深度学习和边缘计算的交通流信息监测方法
CN110021033A (zh) 一种基于金字塔孪生网络的目标跟踪方法
Cepni et al. Vehicle detection using different deep learning algorithms from image sequence
CN113239813A (zh) 一种基于三阶级联架构的YOLOv3的远景目标检测方法
CN113947766B (zh) 一种基于卷积神经网络的实时车牌检测方法
CN112364843A (zh) 插拔式航拍图像目标定位检测方法、系统、设备
Tang et al. Multiple-kernel based vehicle tracking using 3D deformable model and camera self-calibration
CN114088099A (zh) 基于已知地图的语义重定位方法、装置、电子设备及介质
CN111178283A (zh) 一种基于无人机图像的既定航线地物识别与定位方法
CN114565842A (zh) 基于Nvidia Jetson嵌入式硬件的无人机实时目标检测方法及系统
CN115100741A (zh) 一种点云行人距离风险检测方法、系统、设备和介质
CN112818837B (zh) 一种基于姿态校正和困难样本感知的航拍车辆重识别方法
CN107316030A (zh) 无人机对地面运动车辆自动检测与分类方法
Omar et al. Aerial dataset integration for vehicle detection based on YOLOv4
Gong et al. Skipcrossnets: Adaptive skip-cross fusion for road detection
CN111104965A (zh) 车辆目标识别的方法及装置
CN111031258A (zh) 月球车导航相机曝光参数确定方法及装置
Zhang et al. Vehicle detection and tracking in remote sensing satellite vidio based on dynamic association
CN115690770A (zh) 基于空间注意力特征的非受限场景下的车牌识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant