CN111435421B - 一种面向交通目标的车辆重识别方法和装置 - Google Patents

一种面向交通目标的车辆重识别方法和装置 Download PDF

Info

Publication number
CN111435421B
CN111435421B CN201910026346.1A CN201910026346A CN111435421B CN 111435421 B CN111435421 B CN 111435421B CN 201910026346 A CN201910026346 A CN 201910026346A CN 111435421 B CN111435421 B CN 111435421B
Authority
CN
China
Prior art keywords
vehicle
key points
key point
image
corner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910026346.1A
Other languages
English (en)
Other versions
CN111435421A (zh
Inventor
王洪波
陈娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910026346.1A priority Critical patent/CN111435421B/zh
Publication of CN111435421A publication Critical patent/CN111435421A/zh
Application granted granted Critical
Publication of CN111435421B publication Critical patent/CN111435421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施方式公开了一种面向交通目标的车辆重识别方法和装置。获取待识别车辆的图像，图像中的待识别车辆在车辆侧面下边界与水平线之间具有倾斜角度，倾斜角度取值范围为[20°‑90°]；基于预先训练好的视角标注模型对图像进行分类，当分类结果为正脸图像时，提取图像的特征以作为第一特征；当分类结果为前侧脸图像时，基于预先训练好的车辆关键点定位模型对前侧脸图像执行关键点定位，并使用对抗生成网络将执行关键点定位后的前侧脸图像校正为正脸图像，提取正脸图像的特征以作为第一特征；基于第一特征与数据库中车辆图像的相似度计算，确定出待识别车辆的重识别图像。降低姿态对车辆重识别准确率的影响，选取更具有区分度的特征，提高重识别准确率。

Description

一种面向交通目标的车辆重识别方法和装置
技术领域
本发明涉及图像识别技术领域，尤其涉及一种面向交通目标的车辆重识别方法和装置。
背景技术
近些年，针对车辆开展的相关工作在计算机视觉领域受到了越来越大的关注，而在这些工作中，车辆重识别工作尤为受到重视；而随着社会对公共安全的关注度的提高，基于监控摄像头拍摄下的车辆图像的重识别工作具有越来越大的现实需求，因此需要找到有效并可行的方法解决这一类问题。
基于交通监控视频的车辆重识别方法旨在通过不同的摄像头视图来识别相同的车辆，就是在给定一张目标查询图的情况下，在其他的摄像头下查找与目标车辆属于同一身份的车辆。
现有技术中针对监控摄像头拍摄下的车辆图像的重识别方法主要采用以下三类方案：
第一类：车牌作为车辆的唯一身份标识，被广泛用于车辆图像的重识别与检索任务。随着研究的发展，车牌识别技术已经日臻成熟，并获得重大进展。但是在很多现实自然场景下，尤其是在涉及社会公共安全的情况下，很多车牌存在套牌、遮挡、伪造、移除等情况。继续使用车牌信息进行车辆重识别会带来不准确的问题。因此需要考虑使用车牌以外的信息进行车辆重识别。
第二类：使用基于人为定义的标志物包括年检标、摆件、挂饰、个性化贴图、刮痕中的一种或多种，根据这些自定义特征进行车辆重识别与检索。依据该类方法可以解决一些车型外观相似但存在细节差别的车辆重识别问题。但是由于这些人为定义的标志物具有可变性，基于这些局部特征进行车辆重识别存在一定的局限。
随着卷积神经网络的发展，图像识别领域产生了巨大的变革。该网络将图像作为输入，不用预先提取复杂的人工特征，通过不断前向学习、后向反馈的过程进行特征提取。卷积神经网络的每一层主要包含了特征提取和特征映射操作。在特征提取操作中，神经元的输入为上一层的输出，使用卷积核对输入进行卷积操作，来得到局部特征，每一层可使用多个卷积核，表示针对输入提取多个特征。由于卷积核的权值共享，极大的减少了网络的参数。在特征映射操作中，使用sigmod或tanh函数作为卷积网络的激活函数，使得提取的特征具有位移不变性。卷积神经网络特征提取操作对训练数据进行自动的学习，避免了使用人工定义的特征提取方法来固定的提取特征，而是隐式地从训练数据中自主学习，并且由于卷积核权值共享，这样可并行的学习，提高了计算效率。
第三类：基于卷积神经网络并考虑了姿态对识别准确率的影响。主要做法是从待识别图像中，获取目标车辆的多个区域分割结果；使用卷积神经网络CNN对多个区域分割结果提取区域特征向量，并与全局特征向量进行融合，得到所述目标车辆的外观特征向量。最后使用融合后的特征向量进行车辆重识别与检索，该方案虽然考虑姿态对车辆重识别的影响，但是模型的准确度受限于数据集的多样性，数据集必须包括各种角度的车辆图，且规模足够大，在现实场景下，收集所有车辆在不同角度下的车辆图片并且数量达到几十万量级的数据集困难较大。此外，在收集的数据集上，要针对不同角度的车辆图片进行关键点的标注，不同图片的角度不同，因而标注的关键点的数量和位置不同，导致工作量巨大。因而从可行性和工作量上分析，该方法较为复杂。
综上，现有车辆重识别技术或者检索准确率不高，或者需要大量的人工参与，效率较低。
发明内容
本发明实施例提出一种面向交通目标的车辆重识别方法和装置。
本发明实施例的技术方案如下：
一种面向交通目标的车辆重识别方法，该方法包括：
获取待识别车辆的图像，所述图像中的待识别车辆在车辆侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；
基于预先训练好的视角标注模型对所述图像进行分类，当分类结果为正脸图像时，提取所述图像的特征以作为第一特征；当分类结果为前侧脸图像时，基于预先训练好的车辆关键点定位模型对前侧脸图像执行关键点定位，并使用对抗生成网络将执行关键点定位后的前侧脸图像校正为正脸图像，并提取所述正脸图的特征以作为第一特征；
基于所述第一特征与数据库中车辆图像的相似度计算，确定出待识别车辆的重识别图像，其中该数据库的每张车辆图像在加入数据库之前，预先通过视角标注模型进行分类，若分类结果为前侧脸，则通过车辆校正模型校正为正脸，然后加入到数据库；若分类结果为正脸，则直接加入数据库中。
在一个实施方式中，该方法还预先包括：
选取包括车辆的正脸和前侧脸的车辆数据集，该数据集中车辆的侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；
从所述车辆数据集中选出一定比例的车辆图片，按照正脸和前侧脸进行人工标注，其中倾斜角度在[70°-90°]之间的标记为正脸，夹角在[20°-70°)范围内的标记为前侧脸。
针对所述所选一定比例的、人工标注完成的车辆图片，基于分类模型进行训练，以得到所述视角标注模型。
在一个实施方式中，该方法还预先包括：
通过级联网络对作为训练数据的车辆图像进行内部关键点标注和轮廓关键点标注；
基于内部关键点标注后和轮廓关键点标注后的车辆图像，训练出包含内部关键点标注子模型和轮廓关键点标注子模型的所述车辆关键点定位模型；
其中训练出内部关键点标注子模型的过程包括：
步骤1：每输入一张26个内部关键点标注后和13个轮廓关键点标注后的车辆图像，通过级联网络预测出包含26个内部关键点的、具有左上角坐标和右下角坐标的最小包围盒；
步骤2：对于通过步骤1获得的最小包围盒进行粗定位，使用级联网络进行预测以得到26个内部关键点的粗定位坐标值；
步骤3：对步骤2得到的26个内部关键点的粗定位坐标值进行细定位，具体包括：使用步骤2得到的26个内部关键点的粗定位坐标值对该内部关键点标注后和轮廓关键点标注后的车辆图像进行裁剪以获取主要组件，分开训练和预测所述主要组件以得到各个主要组件的关键点坐标；基于各个主要组件的关键点坐标计算各主要组件的旋转角度，并将各主要组件摆正；
步骤4：基于步骤3输出的各主要组件摆正后的车辆图像，利用级联网络进行预测以获取各主要组件的内部关键点坐标；
其中训练出轮廓关键点标注子模型的过程包括：
步骤5：每输入一张内部关键点标注后和轮廓关键点标注后的车辆图像，通过级联网络预测出包含轮廓关键点的最小包围盒；
步骤6：使用级联网络对步骤5得到的最小包围盒图片进行轮廓关键点预测，以获取轮廓关键点坐标。
在一个实施方式中，所述26个内部关键点包括：前挡风玻璃上的四个关键点：具体包括前挡风玻璃左上角、左下角、右上角、右下角四个边界关键点；左前头灯上的四个关键点：具体包括左前头灯左上角、左下角、右上角、右下角四个边界关键点；右前头灯上的四个关键点：具体包括右前头灯左上角、左下角、右上角、右下角四个边界关键点；左前雾灯上的四个关键点：具体包括左前雾灯左上角、左下角、右上角、右下角四个边界关键点；右前雾灯上的四个关键点：具体包括右前雾灯左上角、左下角、右上角、右下角四个边界关键点；进气栅上的四个关键点：具体包括进气栅左上角、左下角、右上角、右下角四个边界关键点；左后视镜上的一个关键点和右后视镜上的一个关键点：分别为左视镜靠近车体一侧的边界上位于中间的关键点和右视镜靠近车体一侧的边界上位于中间的关键点；
所述13个轮廓关键点包括：前左侧轮廓上的五个关键点：具体包括车辆图片上车顶左上角边界关键点、左后轮关键点、左视镜最外侧关键点、左前轮两个关键点；前下轮廓上的三个关键点：具体包括车体下边界左下角、中间、右下角三个关键点；以及前右侧轮廓上的五个关键点：具体包括车辆图片上车顶右上角边界关键点、右后轮关键点、右视镜最外侧关键点、右前轮两个关键点。
一种面向交通目标的车辆重识别装置，该装置包括：
图像获取模块，用于获取待识别车辆的图像，所述图像中的待识别车辆在车辆侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；
特征提取模块，用于基于预先训练好的视角标注模型对所述图像进行分类，当分类结果为正脸图像时，提取所述图像的特征以作为第一特征；当分类结果为前侧脸图像时，基于预先训练好的车辆关键点定位模型对前侧脸图像执行关键点定位，并使用对抗生成网络将执行关键点定位后的前侧脸图像校正为正脸图像，并提取所述正脸图的特征以作为第一特征；
确定模块，用于基于所述第一特征与数据库中车辆图像的相似度计算，确定出待识别车辆的重识别图像，其中该数据库的每张车辆图像在加入数据库之前，预先通过视角标注模型进行分类，若分类结果为前侧脸，则通过车辆校正模型校正为正脸，然后加入到数据库；若分类结果为正脸，则直接加入数据库中。
在一个实施方式中，还包括：
视角标注模型训练模块，用于选取包括车辆的正脸和前侧脸的车辆数据集，该数据集中车辆的侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；从所述训练图像集中选出一定比例的车辆图片，按照正脸和前侧脸进行人工标注，其中倾斜角度在[70°-90°]之间的标记为正脸，夹角在[20°-70°)范围内的标记为前侧脸；针对所选的一定比例的、人工标注完成的车辆图片，基于分类模型进行训练，以得到所述视角标注模型。
在一个实施方式中，还包括：
车辆关键点定位模型训练模块，用于通过级联网络对作为训练数据的车辆图像进行内部关键点标注和轮廓关键点标注；基于内部关键点标注后和轮廓关键点标注后的车辆图像，训练出包含内部关键点标注子模型和轮廓关键点标注子模型的所述车辆关键点定位模型；其中训练出内部关键点标注子模型的过程包括：步骤1：每输入一张26个内部关键点标注后和13个轮廓关键点标注后的车辆图像，通过级联网络预测出包含26个内部关键点的、具有左上角坐标和右下角坐标的最小包围盒；步骤2：对于通过步骤1获得的最小包围盒进行粗定位，使用级联网络进行预测以得到26个内部关键点的粗定位坐标值；步骤3：对步骤2得到的26个内部关键点的粗定位坐标值进行细定位，具体包括：使用步骤2得到的26个内部关键点的粗定位坐标值对该内部关键点标注后和轮廓关键点标注后的车辆图像进行裁剪以获取主要组件，分开训练和预测所述主要组件以得到各个主要组件的关键点坐标；基于各个主要组件的关键点坐标计算各主要组件的旋转角度，并将各主要组件摆正；步骤4：基于步骤3输出的各主要组件摆正后的车辆图像，利用级联网络进行预测以获取各主要组件的内部关键点坐标；其中训练出轮廓关键点标注子模型的过程包括：步骤5：每输入一张内部关键点标注后和轮廓关键点标注后的车辆图像，通过级联网络预测出包含轮廓关键点的最小包围盒；步骤6：使用级联网络对步骤5得到的最小包围盒图片进行轮廓关键点预测，以获取轮廓关键点坐标。
在一个实施方式中，所述26个内部关键点包括：前挡风玻璃上的四个关键点：具体包括前挡风玻璃左上角、左下角、右上角、右下角四个边界关键点；左前头灯上的四个关键点：具体包括左前头灯左上角、左下角、右上角、右下角四个边界关键点；右前头灯上的四个关键点：具体包括右前头灯左上角、左下角、右上角、右下角四个边界关键点；左前雾灯上的四个关键点：具体包括左前雾灯左上角、左下角、右上角、右下角四个边界关键点；右前雾灯上的四个关键点：具体包括右前雾灯左上角、左下角、右上角、右下角四个边界关键点；进气栅上的四个关键点：具体包括进气栅左上角、左下角、右上角、右下角四个边界关键点；左后视镜上的一个关键点和右后视镜上的一个关键点：分别为左视镜靠近车体一侧的边界上位于中间的关键点和右视镜靠近车体一侧的边界上位于中间的关键点；所述13个轮廓关键点包括：前左侧轮廓上的五个关键点：具体包括车辆图片上车顶左上角边界关键点，左后轮关键点、左视镜最外侧关键点、左前轮两个关键点；前下轮廓上的三个关键点：具体包括车体下边界左下角、中间、右下角三个关键点；以及前右侧轮廓上的五个关键点：具体包括车辆图片上车顶右上角边界关键点，右后轮关键点、右视镜最外侧关键点、右前轮两个关键点。
从上述技术方案可以看出，本发明实施方式中，获取待识别车辆的图像，所述图像中的待识别车辆在车辆侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；基于预先训练好的视角标注模型对所述图像进行分类，当分类结果为正脸图像时，提取所述图像的特征以作为第一特征；当分类结果为前侧脸图像时，基于预先训练好的车辆关键点定位模型将所述图像校正为正脸图像，并提取所述正脸图的特征以作为第一特征；基于所述第一特征与数据库中车辆图像的相似度计算，确定出待识别车辆的重识别图像。本发明降低姿态对车辆重识别准确率的影响，并同时在特征提取上选取更具有区分度的特征，整体上提高重识别准确率。
附图说明
图1为本发明面向交通目标的车辆重识别方法的流程图。
图2为本发明面向交通目标的车辆重识别装置的结构图。
图3为本发明的面向交通目标的车辆重识别的示范性整体处理流程图。
图4A为本发明的车辆倾斜角度示意图。
图4B为本发明的车辆视角信息预测模型的示意图。
图5A为本发明的车辆内部关键点标注示意图。
图5B为本发明的车辆轮廓关键点标注示意图。
图5C为本发明的车辆关键点定位模型的示意图。
图6A为本发明的车辆正脸图像合成模型的第一示意图。
图6B为本发明的车辆正脸图像合成模型的第二示意图。
图7为本发明的车辆特征学习网络模型示意图。
图8为本发明的车辆检索模块细节图。
图9为本发明的从车辆检索数据库中查找到目标车辆的效果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
为了描述上的简洁和直观，下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显，本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案，一些实施方式没有进行细致地描述，而是仅给出了框架。下文中，“包括”是指“包括但不限于”，“根据……”是指“至少根据……，但不限于仅根据……”。由于汉语的语言习惯，下文中没有特别指出一个成分的数量时，意味着该成分可以是一个也可以是多个，或可理解为至少一个。
在本发明实施方式中，首先从数据库中获取查询车辆图像，对该图像进行视角预测，若视角预测结果为前侧，则需要通过后续步骤进行车脸的校正：即首先通过关键点定位模块对车辆的关键点进行预测，包括内部关键点和外部的轮廓关键点，对内部关键点和轮廓关键点分别使用特征提取网络进行特征提取，使用生成网络进行特征融合以完成图像合成；使用判别网络将生成图片与真实的正脸图进行区分，使得生成的车辆图片越来越接近真实车辆的正脸图，在完成车辆正脸的校正工作后，对车辆图像提取特征，计算欧氏距离以表征图像相似度，从候选图像中选择相似度高的图像，从而完成车辆重识别。
图1为本发明面向交通目标的车辆重识别方法的流程图。
如图1所示，该方法包括：
步骤101：获取待识别车辆的图像，图像中的待识别车辆在车辆侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；
步骤102：基于预先训练好的视角标注模型对所述图像进行分类，当分类结果为正脸图像时，提取所述图像的特征以作为第一特征；当分类结果为前侧脸图像时，基于预先训练好的车辆关键点定位模型对前侧脸图像执行关键点定位，并使用对抗生成网络将执行关键点定位后的前侧脸图像校正为正脸图像，并提取所述正脸图的特征以作为第一特征；
步骤103：基于所述第一特征与数据库中车辆图像的相似度计算，确定出待识别车辆的重识别图像，其中该数据库的每张车辆图像在加入数据库之前，预先通过视角标注模型进行分类，若分类结果为前侧脸，则通过车辆校正模型校正为正脸，然后加入到数据库；若分类结果为正脸，则直接加入数据库中。优选的，通过车辆校正模型校正为正脸可以包括：基于预先训练好的车辆关键点定位模型对前侧脸图像执行关键点定位，并使用对抗生成网络将执行关键点定位后的前侧脸图像校正为正脸图像。
在一个实施方式中，该方法还预先包括：选取的车辆数据集包括车辆的正脸和前侧脸，该车辆数据集中的车辆的侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；从所述训练图像集中选出一定比例的车辆图片，按照正脸和前侧脸进行人工标注，其中倾斜角度在[70°-90°]之间的标记为正脸，夹角在[20°-70°)范围内的标记为前侧脸；针对所选的一定比例的、人工标注完成的车辆图片，基于分类模型进行训练，以得到所述视角标注模型。优选的，所述一定比例的车辆图片的数量为整个车辆数据集的三分之一。
在一个实施方式中，该方法还预先包括：通过级联网络对作为训练数据的车辆图像进行内部关键点标注和轮廓关键点标注；基于内部关键点标注后和轮廓关键点标注后的车辆图像，训练出包含内部关键点标注子模型和轮廓关键点标注子模型的所述车辆关键点定位模型；其中训练出内部关键点标注子模型的过程包括：步骤1：每输入一张26个内部关键点标注后和13个轮廓关键点标注后的车辆图像，通过级联网络预测出包含26个内部关键点的、具有左上角坐标和右下角坐标的最小包围盒；步骤2：对于通过步骤1获得的最小包围盒进行粗定位，使用级联网络进行预测以得到26个内部关键点的粗定位坐标值；步骤3：对步骤2得到的26个内部关键点的粗定位坐标值进行细定位，具体包括：使用步骤2得到的26个内部关键点的粗定位坐标值对该内部关键点标注后和轮廓关键点标注后的车辆图像进行裁剪以获取主要组件，分开训练和预测所述主要组件以得到各个主要组件的关键点坐标；基于各个主要组件的关键点坐标计算各主要组件的旋转角度，并将各主要组件摆正；步骤4：基于步骤3输出的各主要组件摆正后的车辆图像，利用级联网络进行预测以获取各主要组件的内部关键点坐标；其中训练出轮廓关键点标注子模型的过程包括：步骤5：每输入一张内部关键点标注后和轮廓关键点标注后的车辆图像，通过级联网络预测出包含轮廓关键点的最小包围盒；步骤6：使用级联网络对步骤5得到的最小包围盒图片进行轮廓关键点预测，以获取轮廓关键点坐标。
具体的，在图1所示的流程中，首先从图像数据库中获取查询车辆图像。然后，针对该查询车辆图像执行视角预测。
在视角预测中：选择包括车辆正脸和前侧脸的车辆数据集，该数据集中车辆的侧面下边界与水平线具有倾斜角度。倾斜范围在车辆侧面下边界与水平线的夹角20°-90°之间，记为U，{X1，X2，X3…，Xn}，Xi∈U。然后，选取数据集中的1/3的车辆图片，记为V，V∈U，按照车辆的正脸、前侧脸两个视角对车辆进行人工标注。比如，夹角在[70°-90°]之间的标记为正脸，夹角在[20°-70°)范围内的标记为前侧脸。选用人工标注完成的1/3数据集，使用预训练好的分类模型进行训练，主流的分类模型有VGG、restNet，DenseNet，优选使用VGG16进行分类模型的训练。在模型训练完成后，得到视角自动标注模型。
使用训练好的视角自动标注模型可以完成对全部数据集中车辆视角信息的标注工作。选择标注为正脸或前侧的图片进行正脸化合成以及车辆重识别工作。
在基于预先训练好的车辆关键点定位模型将图像校正为正脸图像的过程中，涉及到车辆关键点定位。
在车辆关键点定位中：通过级联网络对车辆关键点进行定位，即输入一张车辆图片，按照内部关键点和轮廓关键点分开进行预测。内部关键点可以为26个，包括：前挡风玻璃上的四个关键点、左前头灯上的四个关键点，右前头灯上的四个关键点，左前雾灯上的四个关键点、右前雾灯上的四个关键点、进气栅上的四个关键点、左后视镜上的一个关键点和右后视镜上的一个关键点；轮廓关键点为13个，包括：前左侧轮廓上的五个关键点、前下轮廓上的三个关键点和前右侧轮廓上的五个关键点。
首先，对车辆的前车脸关键点按照标号1-39进行标注，关键点分为内部关键点和轮廓关键点两部分。其中，内部关键点包括：前挡风玻璃的标号为1-4，左前头灯的标号为5-8，右前头灯的标号为9-12，左前雾灯的标号为13-16，右前雾灯的标号为17-20，进气栅的标号为21-24，左后视镜的标号为25，右后视镜的标号为26；轮廓关键点包括：前左侧轮廓的标号为27-31，前下轮廓的标号为：32-34，前右侧轮廓的标号为：35-39。
在对内部关键点进行预测时，根据预测关键点的精度由粗到细主要分为四个层次进行模型的训练。
层次1：每输入一张完整的图片，通过级联网络(CNN)预测出包含内部关键点的最小包围盒(矩形包围框)，包括左上角坐标和右下角坐标。层次1的输入为一张完整的图片，输出为四维向量(包含左上角坐标和右下角坐标)。
层次2：对于通过层次1获得的包含内部关键点的最小包围盒图片粗定位，使用CNN进行预测，得到内部26个关键点的粗定位坐标值。层次2的输入是使用最小包围盒进行切割的图片，层次2的输出是针对26个关键点的52个神经元(即26个关键点的坐标值)。
层次3：对层次2得到的26个粗定位的内部关键点进行细定位。具体方法为：使用层次2得到的26个粗定位内部关键点对图片进行裁剪，获取车辆的主要组件，把裁剪的主要组件分开训练、预测。因为每个裁剪后的主要组件需要分开训练，因此层次3需要有8个CNN模型，每个模型用于预测各自的特征点。层次3的输入为按照层次2得到的关键点裁剪得到的组件，输出是各个组件的关键点坐标。
而且，使用层次3的各个组件预测结果，计算各组件的旋转角度，然后将组件进行摆正。
层次4：输入为组件摆正后的图片，使用CNN再进行预测，以进一步提高内部关键点位置的预测精度。
而且，在对轮廓关键点进行预测时，主要包括两个层次：
层次1：预测轮廓关键点的最小包围盒，即输入完整的一张图片，输出是包含轮廓关键点的最小包围盒图片。
层次2：直接使用CNN对层次1得到的最小包围盒图片进行轮廓关键点的预测。
在关键点定位模型训练完成后，输入一张车辆图片，经关键点定位模型预测，输出即为该输入车辆图片的关键点坐标。
在将图像校正为正脸图像的过程中，还涉及到使用对抗生成网络将执行关键点定位后的前侧脸图像校正为正脸图像。
倾斜车辆校正：输入存在倾斜角度并且进行关键点定位的一张前侧视角的车辆图，使用两支特征提取网络进行特征提取，一支特征提取网络用于提取局部关键点特征，用于学习局部纹理；另一支特征提取网络提取车辆的全局轮廓特征，用于学习全局的结构。并将局部纹理与全局的结构特征进行融合，使用生成网络G将存在倾斜角度的车辆图合成一张校正后的车辆正脸图。
然后，使用判别网络D将生成的车辆正脸图与真实的车辆正脸图进行对抗学习，生成网络G和判别网络D的动态博弈的具体过程包括：判别网络给真实图片打上标签1，而对于给定的生成图片，辨别网络要为其打上标签0。对于生成网络传给判别网络的图片，生成网络希望判别网络给图片打上标签1。d_loss_real对应真实图片的损失(loss)，它尽可能让判别网络的输出接近于1。d_loss_fake对应生成图片的loss，它尽可能地让判别网络输出为0。d_loss_real与d_loss_fake加起来就是整个判别器的损失。而在生成网络端，它希望让判别网络对自己生成的图片尽可能输出为1，相当于它在与判别网络进行对抗。持续迭代生成和对抗的过程，直至判别网络难以区分生成的车辆正脸图和真实车辆正脸图，从而将存在倾斜角度的车辆图被遮挡的部分恢复出来，完成倾斜车辆图像的校正过程。
对于特征提取部分的详细说明。
特征提取：输入三张图片(称为三元组)，包括样本、正样本和负样本其中，/>互为正样本，即属于同一车牌的两张车辆图像，/>互为负样本，是属于不同车牌的两张车辆图像。训练多任务学习网络，首先使用卷积神经网络进行特征提取，然后在全连接层后分为两支网络，一支使用triplet损失进行相似度学习，使样本与正样本之间的距离尽可能减小，使样本与负样本之间的距离尽可能增大；公式化表示为/>其中α是间隔阈值，本实施例设为0.5，损失函数为/>另一支使用softmax进行分类学习，学习属性特征，包括928种车型和13种颜色，使用交叉熵损失函数/>
对于上述流程中相似度计算部分的详细说明。
相似度计算：根据提取的车辆图片特征，计算欧氏距离进行相似度比较并排名，选择欧氏距离小(相似度高)的车辆图像作为候选车辆，完成车辆图像的检索。
基于上述详细描述，图2为本发明面向交通目标的车辆重识别装置的结构图。
如图2所示，该车辆重识别装置包括：
图像获取模块201，用于获取待识别车辆的图像，所述图像中的待识别车辆在车辆侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；
特征提取模块202，用于基于预先训练好的视角标注模型对所述图像进行分类，当分类结果为正脸图像时，提取所述图像的特征以作为第一特征；当分类结果为前侧脸图像时，基于预先训练好的车辆关键点定位模型对前侧脸图像执行关键点定位，并使用对抗生成网络将执行关键点定位后的前侧脸图像校正为正脸图像，并提取所述正脸图的特征以作为第一特征；
确定模块203，用于基于所述第一特征与数据库中车辆图像的相似度计算，确定出待识别车辆的重识别图像，其中该数据库的每张车辆图像在加入数据库之前，预先通过视角标注模型进行分类，若分类结果为前侧脸，则通过车辆校正模型校正为正脸，然后加入到数据库；若分类结果为正脸，则直接加入数据库中。
在一个实施方式中，还包括：
视角标注模型训练模块204，选取的车辆数据集包括车辆的正脸和前侧脸，该数据集中的车辆在车辆的侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；从所述训练图像集中选出一定比例的车辆图片，按照正脸和前侧脸进行人工标注，其中倾斜角度在[70°-90°]之间的标记为正脸，夹角在[20°-70°)范围内的标记为前侧脸；针对该一定比例的(优选的为预定比例)、人工标注完成的车辆图片，基于分类模型进行训练，以得到所述视角标注模型。
在一个实施方式中，所述一定比例的车辆图片数量为整个车辆数据集的三分之一。
在一个实施方式中，还包括：车辆关键点定位模型训练模块205，用于通过级联网络对作为训练数据的车辆图像进行内部关键点标注和轮廓关键点标注；基于内部关键点标注后和轮廓关键点标注后的车辆图像，训练出包含内部关键点标注子模型和轮廓关键点标注子模型的所述车辆关键点定位模型；其中训练出内部关键点标注子模型的过程包括：步骤1：每输入一张内部关键点标注后和轮廓关键点标注后的车辆图像，通过级联网络预测出包含26个内部关键点的、具有左上角坐标和右下角坐标的最小包围盒；步骤2：对于通过步骤1获得的最小包围盒进行粗定位，使用级联网络进行预测以得到26个内部关键点的粗定位坐标值；步骤3：对步骤2得到的26个内部关键点的粗定位坐标值进行细定位，具体包括：使用步骤2得到的26个内部关键点的粗定位坐标值对该内部关键点标注后和轮廓关键点标注后的车辆图像进行裁剪以获取主要组件，分开训练和预测所述主要组件以得到各个主要组件的关键点坐标；基于各个主要组件的关键点坐标计算各主要组件的旋转角度，并将各主要组件摆正；步骤4：基于步骤3输出的各主要组件摆正后的车辆图像，利用级联网络进行预测以获取各主要组件的内部关键点坐标；其中训练出轮廓关键点标注子模型的过程包括：步骤5：每输入一张内部关键点标注后和轮廓关键点标注后的车辆图像，通过级联网络预测出包含轮廓关键点的最小包围盒；步骤6：使用级联网络对步骤5得到的最小包围盒图片进行轮廓关键点预测，以获取轮廓关键点坐标。优选的，26个内部关键点包括：前挡风玻璃上的四个关键点、左前头灯上的四个关键点，右前头灯上的四个关键点，左前雾灯上的四个关键点、右前雾灯上的四个关键点、进气栅上的四个关键点、左后视镜上的一个关键点和右后视镜上的一个关键点；所述13个轮廓关键点包括：前左侧轮廓上的五个关键点、前下轮廓上的三个关键点和前右侧轮廓上的五个关键点。
在本发明实施方式中，考虑姿态对车辆重识别准确率影响较大，因此先使用对抗生成网络将存在倾斜角度的车辆图进行校正，然后使用校正后的车辆图进行多任务学习并提取特征向量，该多任务学习提取包括粗粒度级别的属性特征和细粒度级别的细节特征，使用度量学习使学习的细节特征更具有区分性，以此来提高识别的准确率。该方法降低姿态对车辆重识别准确率的影响，并同时在特征提取上选取更具有区分度的特征，整体上提高重识别准确率。
图3为本发明的面向交通目标的车辆重识别的示范性整体处理流程图。基于图3所示的整体处理流程，可以得到车辆重识别的示范性整体处理装置。该车辆重识别的示范性整体处理装置包括：
(1)、图像获取模块：用于获取待检索车辆图像；
(2)、视角标注模块：用于对车辆的正脸、前侧脸2个视角信息进行标注；
(3)、关键点定位模块：用于对车辆的内部关键点和轮廓关键点进行定位；
(4)、车辆正脸图合成模块：用于接收输入的一张存在倾斜角度的前侧视角的车辆图，使用对抗生成网络将倾斜角度的车辆图进行校正，合成一张车辆正脸图；
(5)、特征提取模块：使用度量学习和分类学习，提取车辆有区别力的细粒度特征和粗粒度的属性特征；
(6)、车辆检索模块：用于对查询图与检索车辆数据库间特征向量进行相似度计算，并获取与查询的待检索车辆图片相匹配的目标车辆图。
在一种示例性实施例中，关键点定位模块包括：内部关键点预测单元：针对内部39个关键点，采用四个层级(level)网络进行检测，其中，层级1(level-1)是获得车辆正脸内部关键区域的边界框；层级2(level-2)输出是26个关键点的预测位置，起到粗定位的作用，用于给层级3(level-3)做初始化，层级3(level-3)会依据车辆正脸关键区域进行由粗到细的定位；层级4(level-4)的输入是将level-3的输出进行一定的旋转，最终将26个关键点的位置进行输出；全局轮廓关键点预测单元：使用两个层级的级联网络进行检测，层级1(level1)获得轮廓的预测框；层级2(level2)直接预测13个关键点；关键点合成单元：将使用级联CNN得到的内部关键点与轮廓关键点进行叠加，得到车辆的全部关键点。
优选的，车辆正脸图合成模块包括：内部关键区域特征提取单元：用于基于关键点定位的车辆图提取内部关键区域特征map；全局轮廓特征提取单元：用于基于关键点定位的车辆图提取全局的结构特征map；特征融合单元：用于将内部关键区域特征map和全局轮廓特征map进行融合，作为生成器的输入；生成器单元：将存在倾斜角度的车辆图的内部关键区域与正脸图的全局结构map进行合成，生成校正后的车辆正脸图；判别器单元：用于区分生成的车辆正脸图和真实车辆正脸图片，直至无法区分开合成车辆正脸图与真实车辆正脸图。
优选的，特征提取模块包括：粗粒度属性特征提取单元：使用样本图像与对应的类别标注信息训练得到的属性预测分类模型，对输入的查询图像进行属性类别预测并获取属性特征；细粒度细节特征提取单元：使用三元组输入图像以及对应标注的车辆id信息训练得到的正负约束度量学习模型，对输入的查询图像获取剔除掉属性类别信息后的细粒度特征向量。
此外，该装置还可以包括：
(7)、三元组获取模块：用于获取样本车辆图像以及与样本图像属于同一个车辆id的正样本，以及与样本不属于同一个id的负样本。
(8)、属性预测分类学习模块：使用样本车辆以及标注的属性信息，包括928中车型信息以及13种颜色信息，用于训练神经网络，获得预测分支模型，包括卷积神经网络提取样本特征向量，多层全连接网络进行卷积计算，使用softmax交叉熵损失函数，使得所述样本属性特征与所标注的属性类别间距离尽可能小，网络训练完成后可用于属性预测分析。
(9)、正负约束度量学习模块：使用上述三元组作为输入，使用triplet损失函数进行度量学习，使得样本与正样本之间的距离尽可能小，样本与负样本之间的距离尽可能大。
(10)反馈模块：由于类别预测分类学习的收敛速度快于正负约束度量学习，因此反馈模块用于将度量学习学习到的细节信息中剔除分类学习学习到的属性信息，使得度量学习学习到的细粒度特征更具有区分性。
图4A为本发明的车辆倾斜角度示意图。图4B为本发明的车辆视角信息预测模型的示意图。图5A为本发明的车辆内部关键点标注示意图。图5B为本发明的车辆轮廓关键点标注示意图。图5C为本发明的车辆关键点定位模型的示意图。图6A为本发明的车辆正脸图像合成模型的第一示意图。图6B为本发明的车辆正脸图像合成模型的第二示意图。图7为本发明的车辆特征学习网络模型示意图。图8为本发明的车辆检索模块细节图。
在一种示例性实施例中，车辆检索模块包括：相似度计算模块：对输入的查询图像经过训练好的属性分类预测模型和正负约束相似度学习度量模型得到对应的视觉特征，使用欧氏距离表征相似度，用于查询图像与检索数据库图像的匹配性对比；图像查找模块：按照上述模块计算所得的用于表示相似度的欧氏距离对检索数据库里的图像进行排名，欧氏距离越小，代表相似度越高，通过排名获得相似度高的图像，从而获取与查询图像同属于一个id的目标图像。
基于图1所示的整体流程，对本发明的具体步骤进行阐述：
步骤1：首先使用图像采集系统将监控视频下的车辆使用车辆检测算法进行提取，将提取到的车辆图像存储车辆图像数据库中，同时将车辆图像对应的车型、颜色、车牌信息和摄像头位置存入车辆属性数据库。从车辆图像数据库中选取经监控摄像头采集的待检索的车辆图像。
步骤2：使用视角信息预测模型进行视角信息的标注，其中卷积神经网络模型使用已经预训练过的图片分类网络VGG，调整output大小，本例为2，对应的不同视角信息正脸、前侧脸，分别对应标注为0与1，使用交叉熵损失函数，最终得分最高的为预测到的视角信息，将视角信息保存到对应图片的车辆属性数据库中。
步骤3：使用训练好的车辆定位模块对选取的检索图像进行定位，输出关键点的坐标位置信息。
步骤4：将使用关键点定位后的车辆图片使用车辆正脸图合成模型进行车辆图片的校正，将前侧面的图片转为前正脸图，即车辆正脸化。
步骤5：对校正后的车辆图进行特征提取，先经过卷积神经网络，该网络包括输入层、卷积层和池化层。输入层为输入的待检索的车辆图像，卷积层用于使用权重参数对输入图像进行卷积计算，池化层用于对卷积层输出的图像特征进行降维处理。在该卷积神经网络的最后一个池化层输出4096维特征向量，后分为两个分支，对应两个全连接层，通过对特征向量进行卷积计算，分别得到2048维特征向量，其中一支使用分类学习进行属性分类，另一支用于细粒度特征学习。并在两分支网络中间加入反馈学习，从细粒度特征中剔除属性特征，最终得到300维细粒度特征。
步骤6：参照以上步骤对车辆图像数据库的图像提取车辆的2348维视觉特征，使用欧氏距离表征图像间的相似度，欧氏距离越小，代表相似度越高，选择相似度高的检索图像作为目标图像，从属性数据库中查找该图像对应的车牌信息，若与查询图像的车牌相同，则找到了与查询图像属于统一身份的车辆，实现了以车搜车。
该方法可用于交管部门快速查询指定车辆在其他场景下的车辆图，减少交管人员的工作量，此外，该方法准确率较高，简单易行，检索效率较高。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
本发明还提供了一种机器可读的存储介质，存储用于使一机器执行如本申请所述方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施方式中任一实施方式的功能。
用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机或云上下载程序代码。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，而并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方案或变更，如特征的组合、分割或重复，均应包含在本发明的保护范围之内。

Claims (6)

1.一种面向交通目标的车辆重识别方法，其特征在于，该方法包括：
获取待识别车辆的图像，所述图像中的待识别车辆在车辆侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；
基于预先训练好的视角标注模型对所述图像进行分类，当分类结果为正脸图像时，提取所述图像的特征以作为第一特征；当分类结果为前侧脸图像时，基于预先训练好的车辆关键点定位模型对前侧脸图像执行关键点定位，并使用对抗生成网络将执行关键点定位后的前侧脸图像校正为正脸图像，并提取所述正脸图的特征以作为第一特征；
基于所述第一特征与数据库中车辆图像的相似度计算，确定出待识别车辆的重识别图像，其中该数据库的每张车辆图像在加入数据库之前，预先通过视角标注模型进行分类，若分类结果为前侧脸，则通过车辆校正模型校正为正脸，然后加入到数据库；若分类结果为正脸，则直接加入数据库中；该方法还预先包括：
通过级联网络对作为训练数据的车辆图像进行内部关键点标注和轮廓关键点标注；
基于内部关键点标注后和轮廓关键点标注后的车辆图像，训练出包含内部关键点标注子模型和轮廓关键点标注子模型的所述车辆关键点定位模型；
其中训练出内部关键点标注子模型的过程包括：
步骤1：每输入一张26个内部关键点标注后和13个轮廓关键点标注后的车辆图像，通过级联网络预测出包含26个内部关键点的、具有左上角坐标和右下角坐标的最小包围盒；
步骤2：对于通过步骤1获得的最小包围盒进行粗定位，使用级联网络进行预测以得到26个内部关键点的粗定位坐标值；
步骤3：对步骤2得到的26个内部关键点的粗定位坐标值进行细定位，具体包括：使用步骤2得到的26个内部关键点的粗定位坐标值对该内部关键点标注后和轮廓关键点标注后的车辆图像进行裁剪以获取主要组件，分开训练和预测所述主要组件以得到各个主要组件的关键点坐标；基于各个主要组件的关键点坐标计算各主要组件的旋转角度，并将各主要组件摆正；
步骤4：基于步骤3输出的各主要组件摆正后的车辆图像，利用级联网络进行预测以获取各主要组件的内部关键点坐标；
其中训练出轮廓关键点标注子模型的过程包括：
步骤5：每输入一张内部关键点标注后和轮廓关键点标注后的车辆图像，通过级联网络预测出包含轮廓关键点的最小包围盒；
步骤6：使用级联网络对步骤5得到的最小包围盒图片进行轮廓关键点预测，以获取轮廓关键点坐标。
2.根据权利要求1所述的面向交通目标的车辆重识别方法，其特征在于，该方法还预先包括：
选取包括车辆的正脸和前侧脸的车辆数据集，该数据集中车辆的侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；
从所述车辆数据集中选出预定比例的车辆图片，按照正脸和前侧脸进行人工标注，其中倾斜角度在[70°-90°]之间的标记为正脸，夹角在[20°-70°)范围内的标记为前侧脸；
针对人工标注完成后的所述预定比例的车辆图片，基于分类模型进行训练，以得到所述视角标注模型。
3.根据权利要求1所述的面向交通目标的车辆重识别方法，其特征在于，所述26个内部关键点包括：
前挡风玻璃上的四个关键点：具体包括前挡风玻璃左上角、左下角、右上角、右下角四个边界关键点；
左前头灯上的四个关键点：具体包括左前头灯左上角、左下角、右上角、右下角四个边界关键点；
右前头灯上的四个关键点：具体包括右前头灯左上角、左下角、右上角、右下角四个边界关键点；
左前雾灯上的四个关键点：具体包括左前雾灯左上角、左下角、右上角、右下角四个边界关键点；
右前雾灯上的四个关键点：具体包括右前雾灯左上角、左下角、右上角、右下角四个边界关键点；
进气栅上的四个关键点：具体包括进气栅左上角、左下角、右上角、右下角四个边界关键点；
左后视镜上的一个关键点和右后视镜上的一个关键点：分别为左视镜靠近车体一侧的边界上位于中间的关键点和右视镜靠近车体一侧的边界上位于中间的关键点；
所述13个轮廓关键点包括：
前左侧轮廓上的五个关键点：具体包括车辆图片上车顶左上角边界关键点、左后轮关键点、左视镜最外侧关键点、左前轮两个关键点；
前下轮廓上的三个关键点：具体包括车体下边界左下角、中间、右下角三个关键点；以及
前右侧轮廓上的五个关键点：具体包括车辆图片上车顶右上角边界关键点、右后轮关键点、右视镜最外侧关键点、右前轮两个关键点。
4.一种面向交通目标的车辆重识别装置，其特征在于，该装置包括：
图像获取模块，用于获取待识别车辆的图像，所述图像中的待识别车辆在车辆侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；
特征提取模块，用于基于预先训练好的视角标注模型对所述图像进行分类，当分类结果为正脸图像时，提取所述图像的特征以作为第一特征；当分类结果为前侧脸图像时，基于预先训练好的车辆关键点定位模型对前侧脸图像执行关键点定位，并使用对抗生成网络将执行关键点定位后的前侧脸图像校正为正脸图像，并提取所述正脸图的特征以作为第一特征；
确定模块，用于基于所述第一特征与数据库中车辆图像的相似度计算，确定出待识别车辆的重识别图像，其中该数据库的每张车辆图像在加入数据库之前，预先通过视角标注模型进行分类，若分类结果为前侧脸，则通过车辆校正模型校正为正脸，然后加入到数据库；若分类结果为正脸，则直接加入数据库中；
车辆关键点定位模型训练模块，用于通过级联网络对作为训练数据的车辆图像进行内部关键点标注和轮廓关键点标注；基于内部关键点标注后和轮廓关键点标注后的车辆图像，训练出包含内部关键点标注子模型和轮廓关键点标注子模型的所述车辆关键点定位模型；
其中训练出内部关键点标注子模型的过程包括：
步骤1：每输入一张26个内部关键点标注后和13个轮廓关键点标注后的车辆图像，通过级联网络预测出包含26个内部关键点的、具有左上角坐标和右下角坐标的最小包围盒；
步骤2：对于通过步骤1获得的最小包围盒进行粗定位，使用级联网络进行预测以得到26个内部关键点的粗定位坐标值；
步骤3：对步骤2得到的26个内部关键点的粗定位坐标值进行细定位，具体包括：使用步骤2得到的26个内部关键点的粗定位坐标值对该内部关键点标注后和轮廓关键点标注后的车辆图像进行裁剪以获取主要组件，分开训练和预测所述主要组件以得到各个主要组件的关键点坐标；基于各个主要组件的关键点坐标计算各主要组件的旋转角度，并将各主要组件摆正；
步骤4：基于步骤3输出的各主要组件摆正后的车辆图像，利用级联网络进行预测以获取各主要组件的内部关键点坐标；
其中训练出轮廓关键点标注子模型的过程包括：
步骤5：每输入一张内部关键点标注后和轮廓关键点标注后的车辆图像，通过级联网络预测出包含轮廓关键点的最小包围盒；
步骤6：使用级联网络对步骤5得到的最小包围盒图片进行轮廓关键点预测，以获取轮廓关键点坐标。
5.根据权利要求4所述的面向交通目标的车辆重识别装置，其特征在于，还包括：
视角标注模型训练模块，用于选取包括车辆的正脸和前侧脸的车辆数据集，该数据集中车辆的侧面下边界与水平线之间具有倾斜角度，所述倾斜角度的取值范围为[20°-90°]；从所述车辆数据集中选出预定比例的车辆图片，按照正脸和前侧脸进行人工标注，其中倾斜角度在[70°-90°]之间的标记为正脸，夹角在[20°-70°)范围内的标记为前侧脸；针对人工标注完成后的所述预定比例的车辆图片，基于分类模型进行训练，以得到所述视角标注模型。
6.根据权利要求4所述的面向交通目标的车辆重识别装置，其特征在于，所述26个内部关键点包括：
前挡风玻璃上的四个关键点：具体包括前挡风玻璃左上角、左下角、右上角、右下角四个边界关键点；
左前头灯上的四个关键点：具体包括左前头灯左上角、左下角、右上角、右下角四个边界关键点；
右前头灯上的四个关键点：具体包括右前头灯左上角、左下角、右上角、右下角四个边界关键点；
左前雾灯上的四个关键点：具体包括左前雾灯左上角、左下角、右上角、右下角四个边界关键点；
右前雾灯上的四个关键点：具体包括右前雾灯左上角、左下角、右上角、右下角四个边界关键点；
进气栅上的四个关键点：具体包括进气栅左上角、左下角、右上角、右下角四个边界关键点；
左后视镜上的一个关键点和右后视镜上的一个关键点：分别为左视镜靠近车体一侧的边界上位于中间的关键点和右视镜靠近车体一侧的边界上位于中间的关键点；
所述13个轮廓关键点包括：
前左侧轮廓上的五个关键点：具体包括车辆图片上车顶左上角边界关键点，左后轮关键点、左视镜最外侧关键点、左前轮两个关键点；
前下轮廓上的三个关键点：具体包括车体下边界左下角、中间、右下角三个关键点；以及
前右侧轮廓上的五个关键点：具体包括车辆图片上车顶右上角边界关键点，右后轮关键点、右视镜最外侧关键点、右前轮两个关键点。
CN201910026346.1A 2019-01-11 2019-01-11 一种面向交通目标的车辆重识别方法和装置 Active CN111435421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910026346.1A CN111435421B (zh) 2019-01-11 2019-01-11 一种面向交通目标的车辆重识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910026346.1A CN111435421B (zh) 2019-01-11 2019-01-11 一种面向交通目标的车辆重识别方法和装置

Publications (2)

Publication Number Publication Date
CN111435421A CN111435421A (zh) 2020-07-21
CN111435421B true CN111435421B (zh) 2023-12-19

Family

ID=71580558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910026346.1A Active CN111435421B (zh) 2019-01-11 2019-01-11 一种面向交通目标的车辆重识别方法和装置

Country Status (1)

Country Link
CN (1) CN111435421B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200834A (zh) * 2020-09-18 2021-01-08 广东芯盾微电子科技有限公司 一种基于车辆关键点轨迹的倒车判断方法、系统及介质
CN112509041B (zh) * 2020-11-25 2024-05-03 杭州自动桌信息技术有限公司 一种基于停车场的车辆定位方法、系统和存储介质
CN112509152A (zh) * 2020-12-17 2021-03-16 重庆实唯信息技术有限公司 一种基于ar技术的看车方法、系统、设备及可读介质
CN113361464B (zh) * 2021-06-30 2022-07-12 重庆交通大学 一种基于多粒度特征分割的车辆重识别方法
CN115641729B (zh) * 2022-12-07 2023-09-22 创辉达设计股份有限公司 一种高速行驶车辆信息抽取方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084204A1 (zh) * 2015-11-19 2017-05-26 广州新节奏智能科技有限公司 一种二维视频流中的人体骨骼点追踪方法及系统
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017084204A1 (zh) * 2015-11-19 2017-05-26 广州新节奏智能科技有限公司 一种二维视频流中的人体骨骼点追踪方法及系统
CN108446609A (zh) * 2018-03-02 2018-08-24 南京邮电大学 一种基于生成对抗网络的多角度面部表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于均匀LBP和稀疏编码的人脸识别算法;董文彧;冯瑞;郭跃飞;;计算机应用与软件(第01期);全文 *

Also Published As

Publication number Publication date
CN111435421A (zh) 2020-07-21

Similar Documents

Publication Publication Date Title
CN111435421B (zh) 一种面向交通目标的车辆重识别方法和装置
Uzkent et al. Aerial vehicle tracking by adaptive fusion of hyperspectral likelihood maps
Gurghian et al. Deeplanes: End-to-end lane position estimation using deep neural networksa
CN109063768B (zh) 车辆重识别方法、装置及系统
Yu et al. Automated extraction of urban road facilities using mobile laser scanning data
CN111652934B (zh) 定位方法及地图构建方法、装置、设备、存储介质
Garcia-Fidalgo et al. Vision-based topological mapping and localization methods: A survey
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
EP2054855B1 (en) Automatic classification of objects within images
Zheng et al. Recognizing street lighting poles from mobile LiDAR data
Romdhane et al. An improved traffic signs recognition and tracking method for driver assistance system
JP2016018538A (ja) 画像認識装置、方法及びプログラム
CN111104867A (zh) 基于部件分割的识别模型训练、车辆重识别方法及装置
CN110930456A (zh) 基于pcl点云库的钣金零件的三维立体识别及定位方法
Mousavian et al. Semantic image based geolocation given a map
Xu et al. Separation of wood and foliage for trees from ground point clouds using a novel least-cost path model
CN111383286B (zh) 定位方法、装置、电子设备及可读存储介质
CN110399828B (zh) 一种基于多角度的深度卷积神经网络的车辆再识别方法
Gong et al. A two-level framework for place recognition with 3D LiDAR based on spatial relation graph
CN115620090A (zh) 模型训练方法、低照度目标重识别方法和装置、终端设备
Hazelhoff et al. Exploiting street-level panoramic images for large-scale automated surveying of traffic signs
CN116704490B (zh) 车牌识别方法、装置和计算机设备
Tsintotas et al. Visual place recognition for simultaneous localization and mapping
Shi et al. Dense semantic 3D map based long-term visual localization with hybrid features
Abdi et al. In-vehicle augmented reality TSR to improve driving safety and enhance the driver’s experience

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant