CN112541460B - 一种车辆再识别方法及系统 - Google Patents

一种车辆再识别方法及系统 Download PDF

Info

Publication number
CN112541460B
CN112541460B CN202011519253.1A CN202011519253A CN112541460B CN 112541460 B CN112541460 B CN 112541460B CN 202011519253 A CN202011519253 A CN 202011519253A CN 112541460 B CN112541460 B CN 112541460B
Authority
CN
China
Prior art keywords
vehicle
network
identification
vehicle type
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011519253.1A
Other languages
English (en)
Other versions
CN112541460A (zh
Inventor
吕蕾
庞辰
韩润
吕晨
张桂娟
刘弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Normal University
Original Assignee
Shandong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Normal University filed Critical Shandong Normal University
Priority to CN202011519253.1A priority Critical patent/CN112541460B/zh
Publication of CN112541460A publication Critical patent/CN112541460A/zh
Application granted granted Critical
Publication of CN112541460B publication Critical patent/CN112541460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本公开提供了一种车辆再识别方法及系统，包括：根据每种车型的三维模型进行角度旋转得到每个角度的图片，提取每种车型的关键点信息和车型的外轮廓信息，并计算旋转角度；将每种车型的关键点信息、车型的外轮廓信息以及旋转角度输入车辆再识别模型中，得到训练好的车辆再识别模型；将待测车辆的图片或视频输入到训练好的车辆再识别模型中，输出待测车辆车型。

Description

一种车辆再识别方法及系统
技术领域
本公开属于计算机视觉领域，具体涉及一种车辆再识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
交通摄像头的广泛部署为物流，运输和智慧城市等应用提供了视频分析的可能，这种分析中较为关键的问题就是跨摄像机关联目标。尽管行人和车辆都是智慧城市应用中常见的对象，但近年来，对行人重识别的关注度较高。这是因为在行人重识别方面，拥有大量经过注释的行人数据，以及计算机视觉对人脸以及身体方面的研究已经较为成熟。与行人重识别相比，车辆的重识别更具挑战性。具体表现为摄像头的位置不同会产生光照变化、视角变化以及分辨率的差异，从而导致同一辆车在不同的视角下产生自身差别或者不同车辆因型号相同形成类间相似。此外，尽管车牌从一定程度上能够辅助识别车辆，但是由于相互遮挡，视点倾斜或者图像分辨率过低等原因，难以从监控视频中识别车牌，并且车牌也存在一些隐私问题。
随着深度神经网络在计算机视觉领域的广泛应用，提升车辆再识别的准确率也成为了近年来计算机视觉方向的一个热门话题。
在实现本公开的过程中，发明人发现现有技术中存在以下技术问题：
基于传感器或者人工设计特征的方法复杂度比较高且识别率较低；利用多维度信息的方法对车辆特殊外观比较敏感，但是易受视角和光照变化的影响；基于度量学习的方法识别率较高，对难样本的识别效率也比较好，但是训练时间比较长；还有一些学者利用特征学习或者距离度量学习去训练深度神经网络，但这类方法在车辆再识别方面取得的效果远不如行人重识别。
当前效果较好的一种方法(PAMTRI模型)是姿态感知多任务学习网络。通过这个网络注意到车辆的属性例如：颜色，类型等与通过姿态表示表达的可变形模型有很大的关联性。就将通过姿态估计网络得到的关键点，热图等信息与车辆的颜色和类型信息进行结合，然后将他们分别送到三个独立的分支中进行学习，最终取得了较高的重识别率。
发明内容
本公开为了解决上述问题，提出了一种车辆再识别方法及系统，本公开考虑包括颜色、类型等这些不会随着视点的变化发生变化的信息以外，同时将随着角度变化而发生变化的车辆外观形状也作为辅助进行重识别的一个有效信息。由于监控的角度是多样的，因此获取到的图片中车辆的角度也是多样的。如果选择对车辆进行3D建模，就可以从任意的角度进行比对。因此，我们提供了一种车辆再识别方法，其能够精准、有效的对视频监控中拍摄到的车辆进行再识别，解决形状和外观对视点的依赖性、车辆外观的相似性较高等问题。
根据一些实施例，本公开采用如下技术方案：
第一方面，本公开提供了一种车辆再识别方法；
一种车辆再识别方法，包括：
根据每种车型的三维模型进行角度旋转得到每个角度的图片，提取每种车型的关键点信息和车型的外轮廓信息，并计算旋转角度；
将每种车型的关键点信息、车型的外轮廓信息以及旋转角度输入车辆再识别模型中，得到训练好的车辆再识别模型；
将待测车辆的图片或视频输入到训练好的车辆再识别模型中，输出待测车辆车型。
第二方面，本公开提供了一种车辆再识别系统；
一种车辆再识别系统，包括：
特征提取模块，其被配置为：根据每种车型的三维模型进行角度旋转得到每个角度的图片，提取每种车型的关键点信息和车型的外轮廓信息，并计算旋转角度；
模型训练模块，其被配置为：将每种车型的关键点信息、车型的外轮廓信息以及旋转角度输入车辆再识别模型中，得到训练好的车辆再识别模型；
输出模块，其被配置为：将待测车辆的图片或视频输入到训练好的车辆再识别模型中，输出待测车辆车型。
第三方面本公开还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的车辆再识别方法。
第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的车辆再识别方法。
第六方面，本申请还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面的方法。
与现有技术相比，本公开的有益效果为：
本公开能够精准、有效的对视频监控中拍摄到的车辆进行再识别，解决形状和外观对视点的依赖性、车辆外观的相似性较高等问题。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1是本公开的车辆再识别方法的流程图；
图2是本公开利用unity得到的车辆3D建模效果图；
图3是本公开关键点和区域外轮廓获取的网络图；
图4是本公开HRNet的网络结构图；
图5是本公开多任务多分支网络结构图；
图6是本公开基于3D模型进行车辆再识别方法的流程图。
具体实施方式：
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种车辆再识别方法；
如图1所示，一种车辆再识别方法，包括：
根据每种车型的三维模型进行角度旋转得到每个角度的图片，提取每种车型的关键点信息和车型的外轮廓信息，并计算旋转角度；
将每种车型的关键点信息、车型的外轮廓信息以及旋转角度输入车辆再识别模型中，得到训练好的车辆再识别模型；
将待测车辆的图片或视频输入到训练好的车辆再识别模型中，输出待测车辆车型。
其中，首先需要建立每一种车型的三维模型。
示例的，可以采用Unity 3D软件对搜集到的每一种车型的车辆进行3D建模，也可以通过由3D扫描设备获取；例如通过激光雷达获取车辆的3D模型。应当注意的是不管是采用Unity 3D软件还是激光雷达其所获取的车辆3D模型应当满足，同一种车型的车辆使用同一个模型。
三维模型被用于车辆的数字三维模型，三维模型可以是动态的模型。术语“动态的”表示车辆三维模型是依据缩放等级来再生的。不同的缩放等级可对应于车辆三维模型数据的不同分辨率。例如，具有高分辨率的三维车辆模型能够表示出车辆的具体纹路，而低分辨率仅能够表示出车辆的颜色、轮廓。
根据每种车型的三维模型进行角度旋转得到每个角度的图片，具体而言，根据每一种三维模型进行旋转，每旋转一个角度记录该角度下三维模型的二维图片。
示例的，如图2所示，对每一种3D模型旋转的角度没有要求，例如可以是等角度旋转，也可以是随机角度的旋转。不管是等角度还是随机角度的旋转，每旋转一个角度都需要记录该角度下车辆3D模型的2D图。
具体的，计算车辆的旋转角度是以车辆的中心点为原点坐标，以汽车左右的对称轴为x轴，汽车前后的对称轴为y轴建立3维坐标系。当左右方向上对称轴在x轴上时。表示车辆的旋转角度为0，计算旋转角度时相当于计算汽车左右方向上的对称轴与x轴的夹角。
作为一个或多个实施例，车辆再识别模型训练的过程包括：
图6是基于3D模型进行车辆再识别方法的流程图，结合图1，如图1、6所示
如图3所示，步骤1：将车型的关键点信息、车型的外轮廓信息以及旋转角度输入到多任务多分支网络中，得到颜色特征矩阵、重识别特征矩阵以及车型类型特征矩阵；
其中，图5是多任务多分支网络结构图，如图5所示，多任务多分支网络(3D Multi-task and Multi-bran Net)中引导网络注意与视点相关的一些表示。最后一个级联连的特征向量被送到三个分支进行多任务的学习，包括一个用于再识别的分支，两个用于颜色和类型的分支。
步骤2：计算颜色特征矩阵、重识别特征矩阵以及车型类型特征矩阵的总损失值；
颜色特征矩阵、重识别特征矩阵以及车型类型特征矩阵的总损失值实际上体现了车辆再识别模型的识别准确性，根据总损失值的越小，说明车辆再识别模型的识别准确性越高。
步骤3：根据总损失值优化车辆再识别模型的权重值，判断当前计算的总损失值与上一次计算的总损失值之间的差值是否小于等于设定的阈值；若是，则令车辆再识别模型记住此时的权重值；若否，则重复步骤1-2；
权重值体现了车辆再识别模型的识别准确性，为了提高车辆再识别模型识别的准确性，需要对车辆再识别模型进行训练。这里的权重值相当于损失函数里的λcolorλtype，将这两个值设置的远小于1，案例中可以选择这两个值都等于0.125，这是因为有相同颜色和相同类型的车可能不属于同一个车型。然后通过损失函数对网络参数θ不断的调整，当损失函数达到最小的时候，就停止调整。通过颜色特征矩阵、重识别特征矩阵以及车型类型特征矩阵的损失值不断地循环修正车辆再识别模型的权重值，从而提高车辆再识别模型的准确性。
示例的，本实施例采用将当前计算的总损失值与上一次计算的总损失值之间的差值是否小于等于设定的阈值，作为判断车辆再识别模型是否训练好的标准。本实施例选用的阈值为0.1，若当前计算的总损失值与上一次计算的总损失值之间的差值大于0.1，那么说明车辆再识别模型的识别精度没有达到要求，需要继续优化车辆再识别模型的权重值；重复步骤2-3的过程。若当前计算的总损失值与上一次计算的总损失值之间的差值小于等于0.1，说明车辆再识别模型的识别精度没有达到要求，令车辆再识别模型记住当前的权重值。上述设定的阈值仅是本公开的一种实施情况，不应该作为本公开范围的限制条件。
骤5：输出训练好的车辆再识别模型。
作为一个或多个实施例，多任务多分支网络包括多任务网络和多分支网络；
所述多任务网络是指具有多个执行不同任务的分支网络，包括：通过对比车辆的外轮廓信息进行车辆再识别的分支、进行颜色的判别的分支以及进行类型判别的分支中的至少两个分支；每个分支执行不同的任务。需要说明的是，除了车辆的外轮廓信息、颜色信息、车型类型信息以外，如果其他因素也能够起到对车辆识别效果，也应该属于公开的保护范围。
所述多分支网络是指将整个主干网络分成多个并列的分支，包括：接收不同旋转角度范围图片的至少两个分支。
示例的，可以包括四个分支，分支1接收旋转角度为0-90度的图片，分支2接收旋转角度为90-180度的图片，分支3接收180-270度的图片，分支4接收270-360度的图片，然后分别进行不同角度上的计算。也可包括六个分支，分支1接收旋转角度为0-60度的图片，分支2接收旋转角度为60-120度的图片，分支3接收旋转角度为120-180度的图片，分支4接收旋转角度为180-240度的图片，分支5接收旋转角度为240-300度的图片，分支6接收旋转角度为300-360度的图片。本领域技术人员应当清楚，分为四个分支与六个分支只是本公开的两种实施例，而不应当作为本公开的限定条件，只有分支的个数大于等于2，都应该属于本公开的保护范围。
多任务多分支网络的实施过程为：将来自姿态估计的所有反馈图和原始RGB通道堆叠在一起输入，形成新图像。该网络在主干卷积神经网络的第一层增加了其他输入通道，在输入RGB通道的同时将来自姿态估计的反馈图也进行输入。当为RGB通道使用与训练的权重时，新通道将使用高斯随机权重进行初始化。车辆外轮廓标注图为网络提供了有关车辆形状的额外信息，因此可以提取到一些有关于视点的一些特征信息。在每一个分支中，我们将从每一层中得到的特征图进行充分利用，所有的先前层的特征图都用作输入，其自身的特征图用作后续层的输入。这种方法减轻了消失梯度的问题，增强了特征传播，鼓励了特征重用，并且也减少了参数的数量。
具体的，根据不同的旋转角度进入不同的网络中进行训练；此时可以同时进行多个不同旋转角度的图片进行训练，训练后输出的特征与车辆的关键点信息和轮廓信息进行结合，最后级联的特征向量被送到三个单独的分支进行多任务的学习，包括一个车辆再识别的分支和两个用于颜色和类型分类的分支。我们的网络最终使用的损失函数是三个任务的综合损失。对于车辆再识别，我们采用的是三重损失与交叉熵损失结合起来，共同利用距离度量学习和身份分类，公式如下：
LID＝λhtriLhtri(a,p,n)+λxentLxent(y,y')
其中，Lhtri(a,p,n)表示三重损失，a表示一个锚框(anchor)，p表示一个位置，n表示负样本，λhtri，λeent表示正则化因子，三重损失的表达公式为：
Lhtri(a,p,n)＝max([margin+max(Dap)-min(Dan)],0)
其中，Dap表示离锚框最远的正样本与锚框的距离，Dan表示离锚框最远的负样本与锚框的距离。Lxent(y,y')是交叉熵损失：
Figure BDA0002848425430000101
其中，y表示ground-truth，y'表示的估计量，N表示类的种类。
对于属性分类的其他两个子任务，我们利用交叉熵损失：
Lcolor＝Lxent(ycolor,y'color)
Ltype＝Lxent(ytype,y'type)
最后的损失是所有任务的加权组合：
L(θ,X)＝LID+λcolorLcolor+λtypeLtype
其中，X＝{(xi,yi)}表示该网络的输入，θ表示网络的参数。
对于每个车辆的图像，从最后一个FC层提取1024维特征向量。使用欧几里得距离比较每对查询和测试图像中的特征，以确定它们的相似性。
作为一个或多个实施例，所述根据每种车型的三维模型进行角度旋转得到每个角度的图片，提取每种车型的关键点信息和车型的外轮廓信息，包括：
对每一种车型的三维模型进行旋转，每旋转一个角度记录该角度下三维模型的图片；
将每种车型每个角度的图片输入高分辨率网络中进行训练，输出带有关键点和外轮廓的车辆模型，提取车型的关键点信息和车型的外轮廓信息。
作为一个或多个实施例，所述高分辨率网络以并行的方式连接高分辨率到低分辨率的子网，所述高分辨率网络采用步长为3*3的卷积做下采样，然后将不同分辨率的图片进行融合。融合方式是先进行上采样或者下采样进行特征图的分辨率统一，进行特征图的相加，得到关键点和车辆轮廓信息。
具体的，图4是HRNet的网络结构图，如图4所示，将这些2D图输入到高分辨率网络(HRNet)中进行训练，输出带有关键点的模型和车辆的外轮廓表示。
由于HRNet只能处理规则的2D数据，因此将3D模型旋转各个角度得到的2D数据可以直接输入至HRNet网络中，这样就能得到高度抽象特征，HRNet的特征提取和融合能力可以得到更具判别能力的表征车辆关键点与外轮廓的深度特征，把关键点信息和外轮廓信息输入到多任务多分支网络能够提升3D车辆目标检测的性能，提高输出预测车辆的准确性。
作为一个或多个实施例，所述将待测车辆的图片或视频输入到训练好的车辆再识别模型之前，还包括采用欧几里得距离比较待测车辆的图片或视频的特征值与存储的车型图像的特征值的相似性，提高提高车辆再识别模型的识别准确性。
作为一个或多个实施例，旋转角度的判定是以车辆的中心为原点，车辆的中轴线为x轴，正视车头的方向为正方向进行逆时针或者顺时针旋转，对于给定的每张图片都进行相同方式的角度计算。
其中，旋转角度的判定是以车辆的中心点为原点，车辆的中轴线为x轴，正视车头的方向为正方向进行逆时针或者顺时针旋转。然后对于给定的每张图片都进行相同方式的角度计算。其用途是得到计算的角度后，就可以将图片有选择的进入负责不同角度匹配的网络中去。
旋转角度的判定是以车辆的中心点为原点，车辆的中轴线为x轴，正视车头的方向为正方向进行逆时针旋转。也可以以车辆的中心点为原点，车辆的中轴线为x轴，正视车头的方向为正方向进行顺时针旋转。对于旋转的角度在此没有具体的限定。
实施例二
本实施例提供了一种车辆再识别系统，
一种车辆再识别系统，包括：
特征提取模块，其被配置为：根据每种车型的三维模型进行角度旋转得到每个角度的图片，提取每种车型的关键点信息和车型的外轮廓信息，并计算旋转角度；
模型训练模块，其被配置为：将每种车型的关键点信息、车型的外轮廓信息以及旋转角度输入车辆再识别模型中，得到训练好的车辆再识别模型；
输出模块，其被配置为：将待测车辆的图片或视频输入到训练好的车辆再识别模型中，输出待测车辆车型。
此处需要说明的是，上述特征提取模块、模型训练模块和输出模块对应于实施一中的具体步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
本实施例还提供了一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的车辆再识别方法。
实施例四
本实施例还提供了一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述实施例一所述的车辆再识别方法。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (8)

1.一种车辆再识别方法，其特征在于，包括：
根据每种车型的三维模型进行角度旋转得到每个角度的图片，提取每种车型的关键点信息和车型的外轮廓信息，并计算旋转角度；
将每种车型的关键点信息、车型的外轮廓信息以及旋转角度输入车辆再识别模型中，得到训练好的车辆再识别模型；
将待测车辆的图片或视频输入到训练好的车辆再识别模型中，输出待测车辆车型；
所述车辆再识别模型训练的过程包括：
步骤1：将车型的关键点信息、车型的外轮廓信息以及旋转角度输入到多任务多分支网络中，得到颜色特征矩阵、重识别特征矩阵以及车型类型特征矩阵；
步骤2：计算颜色特征矩阵、重识别特征矩阵以及车型类型特征矩阵的总损失值；
步骤3：根据总损失值优化车辆再识别模型的权重值，判断当前计算的总损失值与上一次计算的总损失值之间的差值是否小于等于设定的阈值；若是，则令车辆再识别模型记住此时的权重值；若否，则重复步骤2-3；
步骤4：输出训练好的车辆再识别模型；
所述多任务多分支网络包括多任务网络和多分支网络，
所述多任务网络是指具有多个执行不同任务的分支网络，包括：通过对比车辆的外轮廓信息进行车辆再识别的分支、进行颜色的判别的分支以及进行类型判别的分支中的至少两个分支；
所述多分支网络是指将整个主干网络分成多个并列的分支，包括：接收不同旋转角度范围图片的至少两个分支。
2.根据权利要求1所述的车辆再识别方法，其特征在于，所述根据每种车型的三维模型进行角度旋转得到每个角度的图片，提取每种车型的关键点信息和车型的外轮廓信息，包括：
对每一种车型的三维模型进行旋转，每旋转一个角度记录该角度下三维模型的图片；
将每种车型每个角度的图片输入高分辨率网络中进行训练，输出带有关键点和外轮廓的车辆模型，提取车型的关键点信息和车型的外轮廓信息。
3.根据权利要求2所述的车辆再识别方法，其特征在于，所述高分辨率网络以并行的方式连接高分辨率到低分辨率的子网，所述高分辨率网络采用步长为3*3的卷积做下采样，然后将不同分辨率的图片进行融合。
4.根据权利要求1所述的车辆再识别方法，其特征在于，所述将待测车辆的图片或视频输入到训练好的车辆再识别模型之前，还包括采用欧几里得距离比较待测车辆的图片或视频的特征值与存储的车型图像的特征值的相似性。
5.根据权利要求1所述的车辆再识别方法，其特征在于，旋转角度的判定是以车辆的中心为原点，车辆的中轴线为x轴，正视车头的方向为正方向进行逆时针或者顺时针旋转，对于给定的每张图片都进行相同方式的角度计算。
6.一种车辆再识别系统，其特征在于，包括：
特征提取模块，其被配置为：根据每种车型的三维模型进行角度旋转得到每个角度的图片，提取每种车型的关键点信息和车型的外轮廓信息，并计算旋转角度；
模型训练模块，其被配置为：将每种车型的关键点信息、车型的外轮廓信息以及旋转角度输入车辆再识别模型中，得到训练好的车辆再识别模型；
输出模块，其被配置为：将待测车辆的图片或视频输入到训练好的车辆再识别模型中，输出待测车辆车型；
所述车辆再识别模型训练的过程包括：
步骤1：将车型的关键点信息、车型的外轮廓信息以及旋转角度输入到多任务多分支网络中，得到颜色特征矩阵、重识别特征矩阵以及车型类型特征矩阵；
步骤2：计算颜色特征矩阵、重识别特征矩阵以及车型类型特征矩阵的总损失值；
步骤3：根据总损失值优化车辆再识别模型的权重值，判断当前计算的总损失值与上一次计算的总损失值之间的差值是否小于等于设定的阈值；若是，则令车辆再识别模型记住此时的权重值；若否，则重复步骤2-3；
步骤4：输出训练好的车辆再识别模型；
所述多任务多分支网络包括多任务网络和多分支网络，
所述多任务网络是指具有多个执行不同任务的分支网络，包括：通过对比车辆的外轮廓信息进行车辆再识别的分支、进行颜色的判别的分支以及进行类型判别的分支中的至少两个分支；
所述多分支网络是指将整个主干网络分成多个并列的分支，包括：接收不同旋转角度范围图片的至少两个分支。
7.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-5任一项所述的车辆再识别方法。
8.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-5任一项所述的车辆再识别方法。
CN202011519253.1A 2020-12-21 2020-12-21 一种车辆再识别方法及系统 Active CN112541460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011519253.1A CN112541460B (zh) 2020-12-21 2020-12-21 一种车辆再识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011519253.1A CN112541460B (zh) 2020-12-21 2020-12-21 一种车辆再识别方法及系统

Publications (2)

Publication Number Publication Date
CN112541460A CN112541460A (zh) 2021-03-23
CN112541460B true CN112541460B (zh) 2022-05-13

Family

ID=75019360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011519253.1A Active CN112541460B (zh) 2020-12-21 2020-12-21 一种车辆再识别方法及系统

Country Status (1)

Country Link
CN (1) CN112541460B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113823112B (zh) * 2021-07-31 2023-01-03 浙江慧享信息科技有限公司 一种基于3d投影的园区车位预定辅助系统及辅助方法
CN113793413A (zh) * 2021-08-13 2021-12-14 北京迈格威科技有限公司 三维重建方法、装置、电子设备及存储介质
CN113743359B (zh) * 2021-09-16 2024-02-02 重庆紫光华山智安科技有限公司 车辆重识别方法、模型训练方法及相关装置
CN115661342B (zh) * 2022-10-17 2023-07-28 上海信宝博通电子商务有限公司 针对车辆损伤点位的显示方法、装置及计算机可读介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177098A (zh) * 2013-03-19 2013-06-26 浙江大学 一种基于手绘图的三维模型检索的方法
CN108647640A (zh) * 2018-05-10 2018-10-12 王逸人 人脸识别的方法及电子设备
CN210428489U (zh) * 2019-11-01 2020-04-28 广东毓秀科技有限公司 人重识别系统的三维调节机架

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8212812B2 (en) * 2007-05-21 2012-07-03 Siemens Corporation Active shape model for vehicle modeling and re-identification
CN108717723B (zh) * 2018-04-19 2019-06-11 浙江大学 一种基于草图实现形状保持的树木变形动画方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177098A (zh) * 2013-03-19 2013-06-26 浙江大学 一种基于手绘图的三维模型检索的方法
CN108647640A (zh) * 2018-05-10 2018-10-12 王逸人 人脸识别的方法及电子设备
CN210428489U (zh) * 2019-11-01 2020-04-28 广东毓秀科技有限公司 人重识别系统的三维调节机架

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PAMTRI: Pose-Aware Multi-Task Learning for Vehicle Re-Identification;Zheng Tang, et al.;《arxiv》;20200502;全文 *
基于形变模型的多角度三维人脸实时重建;陈国军 等;《图学学报》;20190912;全文 *

Also Published As

Publication number Publication date
CN112541460A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN112541460B (zh) 一种车辆再识别方法及系统
US10733755B2 (en) Learning geometric differentials for matching 3D models to objects in a 2D image
Chen et al. Disparity-based multiscale fusion network for transportation detection
CN111612008B (zh) 基于卷积网络的图像分割方法
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
Su et al. Global localization of a mobile robot using lidar and visual features
Biasutti et al. Lu-net: An efficient network for 3d lidar point cloud semantic segmentation based on end-to-end-learned 3d features and u-net
CN107329962B (zh) 图像检索数据库生成方法、增强现实的方法及装置
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
CN113095152B (zh) 一种基于回归的车道线检测方法及系统
Wang et al. Bev-lanedet: An efficient 3d lane detection based on virtual camera via key-points
CN115661767A (zh) 一种基于卷积神经网络的图像前方车辆目标识别方法
Gählert et al. Single-shot 3d detection of vehicles from monocular rgb images via geometrically constrained keypoints in real-time
CN115294355A (zh) 一种空间感知增强的单阶段无锚框三维目标检测方法及系统
CN115410181A (zh) 双头解耦对齐的全场景目标检测方法、系统、装置及介质
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
Zhu et al. A review of 6d object pose estimation
Zhang et al. Road marking segmentation based on siamese attention module and maximum stable external region
CN113436239A (zh) 一种基于深度信息估计的单目图像三维目标检测方法
Wang et al. Object detection algorithm based on improved Yolov3-tiny network in traffic scenes
CN112668662A (zh) 基于改进YOLOv3网络的野外山林环境目标检测方法
Nakamura et al. Few-shot adaptive object detection with cross-domain cutmix
CN117037119A (zh) 基于改进YOLOv8的道路目标检测方法及系统
Liu et al. Find small objects in UAV images by feature mining and attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant