CN109034086A - 车辆重识别方法、装置及系统 - Google Patents

车辆重识别方法、装置及系统 Download PDF

Info

Publication number
CN109034086A
CN109034086A CN201810882627.2A CN201810882627A CN109034086A CN 109034086 A CN109034086 A CN 109034086A CN 201810882627 A CN201810882627 A CN 201810882627A CN 109034086 A CN109034086 A CN 109034086A
Authority
CN
China
Prior art keywords
vehicle
convolutional neural
pictures
neural networks
fusion feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810882627.2A
Other languages
English (en)
Other versions
CN109034086B (zh
Inventor
周啸辰
金昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810882627.2A priority Critical patent/CN109034086B/zh
Publication of CN109034086A publication Critical patent/CN109034086A/zh
Application granted granted Critical
Publication of CN109034086B publication Critical patent/CN109034086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种车辆重识别方法、装置及系统,涉及车辆识别技术领域,该方法包括:获取待识别的一组车辆图片;对于每个车辆图片,分别提取车辆图片包括的车辆的方向特征和车辆的车辆特征向量;将方向特征与车辆特征向量合并为该车辆的融合特征信息;对各个车辆的融合特征信息进行重识别,确定出相同的车辆。本发明提供的车辆重识别方法、装置及系统,通过将车辆的方向特征和车辆特征进行融合的方式,在很大程度上提高了车辆重识别的正确率,进而提高了识别效率。

Description

车辆重识别方法、装置及系统
技术领域
本发明涉及车辆识别的技术领域,尤其是涉及一种车辆重识别方法、装置及系统。
背景技术
在视频结构化的诸多应用中,车辆的分析是重要的一环,特别是车辆检索、追踪等技术,在安防领域有着至关重要的意义。
车辆重识别,也称为Vehicle Re-identification,简称Reid,指用一张车辆图像,去图像库或者视频库中找到该辆车。例如,在刑侦应用中,需要根据一张图像在城市中庞大的摄像头网络中找到该车。
目前,现有技术中对车辆重识别的过程,通常采用将所有的车辆图片全部作为数据集送入神经网络中进行训练,导致识别的效率和识别的正确率较低,难以满足车辆重识别的要求。
针对上述车辆重识别的效率,以及识别正确率较低的技术问题,目前尚未提出有效的解决方式。
发明内容
有鉴于此,本发明的目的在于提供一种车辆重识别方法、装置及系统,以缓解上述车辆重识别的效率,以及识别正确率较低的技术问题。
第一方面,本发明实施例提供了一种车辆重识别方法,该方法包括:获取待识别的一组车辆图片;对于每个车辆图片,分别提取车辆图片包括的车辆的方向特征和车辆的车辆特征向量;将方向特征与车辆特征向量合并为该车辆的融合特征信息;对各个车辆的融合特征信息进行重识别,确定出相同的车辆。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,上述分别提取车辆图片包括的车辆的方向特征和该车辆的车辆特征向量的步骤包括:将每个车辆图片输入至神经网络,其中,神经网络为端对端神经网络,包括第一卷积神经网络、方向分类网络和第二卷积神经网络;通过第一卷积神经网络对车辆图片进行初步特征提取,生成初步特征信息;将初步特征信息输入至方向分类网络,提取车辆图片包括的车辆的方向特征;以及,将初步特征信息输入至第二卷积神经网络,提取车辆的车辆特征向量。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,上述对各个车辆的融合特征信息进行重识别,确定出相同的车辆的步骤包括:将融合特征信息输入至第三卷积神经网络,对融合特征信息进行精炼;根据精炼后的融合特征信息进行重识别,以确定出相同的车辆
结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,上述将方向特征与车辆特征向量合并为车辆的融合特征信息的步骤包括:获取合并函数,通过合并函数对方向特征和车辆特征向量进行合并,生成车辆的融合特征信息;其中,融合特征信息为特征向量形式的信息。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,上述方法还包括:获取标准车辆图片;采用分布训练的方式,通过标准车辆图片对端对端神经网络进行训练,其中,标准车辆图片包括表示方向特征的方向标签和车辆的标识码;分布训练的方式依次包括第一训练阶段和第二分布阶段,第一训练阶段为对方向分类网络进行训练的阶段,第二训练阶段为对第一卷积神经网络、第二卷积神经网络和第三卷积神经网络中的一种或多种进行训练的阶段。
第二方面,本发明实施例还提供了一种车辆重识别装置,该装置包括:获取模块,用于获取待识别的一组车辆图片;提取模块,用于对于每个车辆图片,分别提取车辆图片包括的车辆的方向特征和车辆的车辆特征向量;合并模块,用于将方向特征与车辆特征向量合并为车辆的融合特征信息;重识别模块,用于对各个车辆的融合特征信息进行重识别,确定出相同的车辆。
结合第二方面,本发明实施例提供了第二方面的第一种可能的实施方式,其中,上述提取模块用于:将每个车辆图片输入至神经网络,其中,神经网络为端对端神经网络,包括第一卷积神经网络、方向分类网络和第二卷积神经网络;通过第一卷积神经网络对车辆图片进行初步特征提取,生成初步特征信息;将初步特征信息输入至方向分类网络,提取车辆图片包括的车辆的方向特征;以及,将初步特征信息输入至第二卷积神经网络,提取车辆的车辆特征向量。
结合第二方面,本发明实施例提供了第二方面的第二种可能的实施方式,其中,所示重识别模块用于:将融合特征信息输入至第三卷积神经网络,对融合特征信息进行精炼;根据精炼后的融合特征信息进行重识别,以确定出相同的车辆。
第三方面,本发明实施例还提供了一种车辆重识别系统,包括存储器以及处理器,所述存储器用于存储支持所述处理器执行上述第一方面所述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
第四方面,本发明实施例还提供了一种计算机存储介质,用于存储计算机程序指令,当计算机执行所述计算机程序指令时,执行如上述第一方面所述的方法。
本发明实施例带来了以下有益效果:
本发明实施例提供的一种车辆重识别方法、装置及系统,能够获取待识别的一组车辆图片,对于每个车辆图片分别提取该车辆的方向特征和车辆特征向量,并将方向特征和车辆特征向量合并为车辆的融合特征信息,进而通过融合特征信息对车辆进行重识别,以确定出相同的车辆,上述将车辆的方向特征和车辆特征进行融合的方式,进一步缩小了车辆重识别的比对范围,在同方向上减小了类内距离,扩大类间了距离,让车辆在相同姿态的情况下更容易进行匹配,大幅度降低类似车辆之间的误识率,提高了识别效率。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种车辆重识别方法的流程图;
图2为本发明实施例提供的另一种车辆重识别方法的流程图;
图3为本发明实施例提供的一种端对端神经网络的结构示意图;
图4为本发明实施例提供的一种车辆重识别装置的结构示意图;
图5为本发明实施例提供的一种车辆重识别系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前,在对车辆进行重识别时,通常将所有车辆图片不分方向的全部作为数据集送入神经网络进行训练,难以针对不同方向的相同车辆进行识别,导致相似的相同方向不同车辆鉴别时误识率较高。基于此,本发明实施例提供了一种车辆重识别方法、装置及系统,可以提高车辆重识别的正确率。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种车辆重识别方法进行详细介绍。
在一种实施方式中,本发明实施例提供了一种车辆重识别方法,如图1所示的一种车辆重识别方法的流程图,该方法包括以下步骤:
步骤S102,获取待识别的一组车辆图片;
具体实现时,在该步骤中获取的一组车辆图片,通常是图片库或者视频库中大量的待识别的车辆图片,每个车辆图片上均包含有车辆,该组车辆图片中,可以包括多个车辆的车辆图片,以及多个方向的车辆图片。
步骤S104,对于每个车辆图片,分别提取该车辆图片包括的车辆的方向特征和车辆的车辆特征向量;
其中,车辆的方向特征,可以是该车辆图片中显示的车辆的方向,如车辆的正面(对应的图片是车头图片)、背面(对应的图片是车尾图片)以及侧面等,其中,侧面对应的图片,可以是车辆的左前方图片、左后方图片、右前方图片或者右后方图片等等,具体划分情况可以根据实际使用情况进行划分,本发明实施例对此不进行限制。
进一步,车辆特征向量通常指通过神经网络从车辆图片中提取出的特征向量,如数字形式的特征向量等。
步骤S106,将方向特征与车辆特征向量合并为车辆的融合特征信息;
通常,方向特征也可以用代码的形式进行标识,如车辆正面(车头)用1标识,车辆背面(车尾)用0标识,其他方向的特征,也可以用其他数字代替。
此时,合并后的车辆的融合特征信息包含了车辆方向,以及车辆特征在内的多个特征,有效地将车辆姿态与车辆特征进行了融合。
步骤S108,对各个车辆的融合特征信息进行重识别,确定出相同的车辆。
该重识别的过程,可以在大量待识别的车辆图片中识别出属于同一辆汽车的图片,以便于进行车辆的后续检索和追踪。
本发明实施例提供的一种车辆重识别方法,能够获取待识别的一组车辆图片,对于每个车辆图片分别提取该车辆的方向特征和车辆特征向量,并将方向特征和车辆特征向量合并为车辆的融合特征信息,进而通过融合特征信息对车辆进行重识别,以确定出相同的车辆,上述将车辆的方向特征和车辆特征进行融合的方式,进一步缩小了车辆重识别的比对范围,在同方向上减小了类内距离,扩大类间了距离,让车辆在相同姿态的情况下更容易进行匹配,大幅度降低类似车辆之间的误识率,提高了识别效率。
考虑到神经网络在计算机视觉领域中取得了很大成果,因此,上述对于每个车辆图片提取车辆的方向特征和车辆特征向量的过程,可以通过神经网络实现,具体地,上述分别提取车辆图片包括的车辆的方向特征和车辆的车辆特征向量的步骤可以包括以下过程:将每个车辆图片输入至神经网络,通过神经网络提取车辆图片包括的车辆的方向特征和车辆的车辆特征向量。
通常,上述神经网络可以是卷积神经网络,卷积神经网络(Convolutional NeuralNetwork,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于图片处理有出色表现。
具体地,本发明实施例中所述的神经网络为端对端神经网络,包括第一卷积神经网络、方向分类网络和第二卷积神经网络,其主要思想是:将前一个神经网络的输出结果作为下一个神经网络的输入结果,进行进一步的特征提取。基于此,在图1所示方法的基础上,本发明实施例提供了另一种车辆重识别方法,如图2所示的另一种车辆重识别方法的流程图,包括以下步骤:
步骤S202,获取待识别的一组车辆图片;
步骤S204,对于每个车辆图片,通过第一卷积神经网络对车辆图片进行初步特征提取,生成初步特征信息;
在该步骤中,第一卷积神经网络可以是特征提取的卷积神经网络,对每个车辆图片进行特征的初步提取。
步骤S206,将初步特征信息输入至方向分类网络,提取车辆图片包括的车辆的方向特征;
步骤S208,将初步特征信息输入至第二卷积神经网络,提取车辆的车辆特征向量;
上述步骤S206和步骤S208的过程,是对车辆图片的进一步处理,具体实现时,方向分类网络(Direction Classification Network)可以是基于卷积神经网络CNN的方向分类网络,执行对车辆图片进行方向分类的处理过程,并生成当前车辆图片包括的车辆的方向特征;第二卷积神经网络通常也是特征提取的神经网络,对步骤S204中提取的初步特征进行进一步的特征提取。
应当理解,上述步骤S206和步骤S208的处理过程,并不表示对处理顺序的限定,在实际使用时,可以先执行步骤S206的过程,进行方向特征的提取,然后再进行车辆特征向量的提取。进一步,还可以先进行车辆特征向量的提取,再执行分类的过程,具体可以根据实际情况进行设置,本发明实施例对此不进行限制。
当提取出方向特征和车辆特征向量之后,可以继续执行下述步骤,进行特征的合并,以及车辆重识别的过程。
步骤S210,获取合并函数,通过合并函数对方向特征和车辆特征向量进行合并,生成车辆的融合特征信息;
其中,融合特征信息为特征向量形式的信息。
具体实现时,该合并函数,可以看成是拼接函数,上述通过合并函数对方向特征和车辆特征向量进行合并的过程可以采用拼接的方式实现,以对对方向特征和车辆特征向量进行拼接。
例如,方向特征用向量的形式标识,其包含的元素为表示车辆方向的代码,进一步,其车辆特征向量也是是一组包含车辆特征的代码的向量,此时,合并的过程可以看作是对两个向量的合并,即,将两个向量包含的元素进行拼接,组成一个新的向量,其包含的元素既有方向特征的元素,也有车辆特征的元素。
当对每一个车辆图片合并完成后,此时,可以得出包含每个车辆图片的融合特征信息的向量。
步骤S212,对各个车辆的融合特征信息进行重识别,确定出相同的车辆。
为了提高重识别的正确率,在实际使用时,还可以将上述融合特征信息输入至第三卷积神经网络,对融合特征信息进行精炼;再根据精炼后的融合特征信息进行重识别,以确定出相同的车辆。通常,该第三卷积神经网络也是特征提取的神经网络,以对上述融合特征信息进行进一步的特征提取,并利用卷积层再投影的方式生成车辆特征。
进一步,上述步骤中的重识别过程,可以通过相似度的计算过程实现,具体地,可以包括以下过程:
(1)获取每个车辆的融合特征信息,计算融合特征信息的相似度;
(2)将超过预先设置的相似度阈值的融合特征信息对应的车辆设置为相同的车辆。
具体实现时,上述计算融合特征信息的相似度的过程,可以通过表示融合特征信息的向量进行,具体地,对于上述步骤中得出的每个表示融合特征信息的向量,可以在向量空间内计算向量之间的距离,通过向量之间的距离来评估向量之间的相似度,并将超过预先设置的相似度阈值的融合特征信息对应的车辆设置为相同的车辆。
为了便于对上述重识别过程进行理解,图3示出了一种端对端神经网络的结构示意图,基于该端对端神经网络,上述车辆重识别方法包括以下过程:
(1)将图片输入至第一卷积神经网络中,通过第一卷积神经网络进行特征初步提取。
(2)将初步提取后的特征分为两支,分别进入分支网络,其中一支为方向分类网络(Direction Classification Network),目的是生成车辆图片包含的车辆的方向特征;另一支通过第二卷积神经网络对第一卷积神经网络提取的初步特征信息进行进一步提取,提取车辆的车辆特征向量。
通常,对于分类网络,多利用损失函数来对分类任务进行监督,如,利用softmax和交叉熵来进行损失函数的计算等等,并确认方向分类是否准确。
(3)将方向特征和车辆的融合特征信息进行合并,具体地,可以利用拼接的方式进行合并,对于合并后得到的车辆的融合特征信息,可以进一步输入至第三卷积神经网络进行再投影,进一步对车辆的融合特征信息进行精炼。
例如,在步骤(1)中,第一卷积神经网络进行特征初步提取,可以提取出车辆某个方向上的特征,在步骤(2)中,通过方向分类网络确定出该车辆的方向为车辆的正面,并且,第二卷积神经网络提取出的是该车辆的中下部特征,在步骤(3)中可以进一步精炼提取出车牌号的特征等等,进一步缩小了车辆重识别的比对范围,便于对车辆进行匹配。
在实际使用时,对于图3所示的端对端神经网络,在进行车辆重识别之前,以及在车辆重识别过程中,都需要对该端对端神经网络进行训练,以满足车辆重识别的要求。
考虑到车辆重识别的问题是一个较为简单的二分类问题,而车辆重识别问题本身训练相对复杂,因此,对于图3所示的端对端神经网络,如果两支网络(方向分类网络和特征提取网络)同时训练,会导致方向分类网络过拟合。因此训练过程需要使用一定策略,在训练初期首先完成方向分类网络的训练。等方向分类网络训练完成后,关闭该分支网络的反传,仅用提取出来的特征与图片的特征进行融合。之后再对车辆图片特征提取的网络进行训练,如第一卷积神经网络、第二卷积神经网络或者第三卷积神经网络等,进行训练,最终生成合并后的端对端神经网络。
在使用和测试阶段,仅需要提供车辆图片,就可以利用方向分类网络获得车辆的方向,并自动与当前车辆的特征融合,生成新的特征。
与其他深度学习模型不同的是,本发明实施例可以针对不同的车辆姿态,如车辆方向进行针对优化,通过提取出的方向特征与初步的车辆特征融合,进一步缩小了比对范围,在同方向上减小类内距离,扩大类间距离,让车辆在相同方向姿态的情况下更容易进行匹配。
具体地,训练过程通常包括以下步骤:
(1)获取标准车辆图片;
(2)采用分布训练的方式,通过标准车辆图片对端对端神经网络进行训练。
其中,标准车辆图片包括表示方向特征的方向标签和车辆的标识码;分布训练的方式依次包括第一训练阶段和第二分布阶段,第一训练阶段为对方向分类网络进行训练的阶段,第二训练阶段为对第一卷积神经网络、第二卷积神经网络和第三卷积神经网络中的一种或多种进行训练的阶段。
具体实现时,对于第三卷积神经网络,可以计算其损失函数,如计算Triplet Loss损失函数等,以便于对第三卷积神经网络进行较小差异性的训练。
进一步,还可以通过全连接层对前面多次卷积后得到的抽象化的融合特征信息进行整合,并进行归一化,对各种分类情况都输出一个概率,以便于分类器可以根据全连接层得到的概率进行分类。具体实现时,上述损失函数的计算过程,以及对神经网络进行训练的过程可以参考相关资料实现,本发明实施例对此不进行限制。
基于上述实施方式提供的车辆重识别方法,本发明实施例还提供了一种车辆重识别装置,如图4所示的一种车辆重识别装置的结构示意图,该装置包括以下结构:
获取模块40,用于获取待识别的一组车辆图片;
提取模块42,用于对于每个车辆图片,分别提取车辆图片包括的车辆的方向特征和车辆的车辆特征向量;
合并模块44,用于将方向特征与车辆特征向量合并为车辆的融合特征信息;
重识别模块46,用于对各个车辆的融合特征信息进行重识别,确定出相同的车辆。
具体实现时,上述提取模块用于:将每个车辆图片输入至神经网络,其中,神经网络为端对端神经网络,包括第一卷积神经网络、方向分类网络和第二卷积神经网络;通过第一卷积神经网络对车辆图片进行初步特征提取,生成初步特征信息;将初步特征信息输入至方向分类网络,提取车辆图片包括的车辆的方向特征;以及,将初步特征信息输入至第二卷积神经网络,提取车辆的车辆特征向量。
进一步,上述重识别模块用于:将融合特征信息输入至第三卷积神经网络,对融合特征信息进行精炼;根据精炼后的融合特征信息进行重识别,以确定出相同的车辆。
本发明实施例提供的车辆重识别装置,与上述实施例提供的车辆重识别方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
本发明实施例还提供了一种车辆重识别系统,该包括存储器以及处理器,所述存储器用于存储支持所述处理器执行上述实施例所述的车辆重识别方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
本发明实施例还提供了一种计算机存储介质,用于存储计算机程序指令,当计算机执行所述计算机程序指令时,执行上述实施例所述的车辆重识别方法。
参见图5,本发明实施例还提供了一种车辆重识别系统的结构示意图,包括:处理器500,存储器501,总线502和通信接口503,处理器500、通信接口503和存储器501通过总线502连接;处理器500用于执行存储器501中存储的可执行模块,例如计算机程序。其中,存储器501可能包含高速随机存取存储器(RAM,RandomAccess Memory),也可能还包括非不稳定的存储器(non-volatilememory),例如至少一个磁盘存储器。通过至少一个通信接口503(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。总线502可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。其中,存储器501用于存储程序,处理器500在接收到执行指令后,执行程序,前述本发明实施例任一实施例揭示的车辆重识别装置所执行的方法可以应用于处理器500中,或者由处理器500实现。处理器500可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器500中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器500可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501,处理器500读取存储器501中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的车辆重识别方法、装置及系统的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种车辆重识别方法,其特征在于,所述方法包括:
获取待识别的一组车辆图片;
对于每个所述车辆图片,分别提取所述车辆图片包括的车辆的方向特征和所述车辆的车辆特征向量;
将所述方向特征与所述车辆特征向量合并为所述车辆的融合特征信息;
对各个所述车辆的融合特征信息进行重识别,确定出相同的车辆。
2.根据权利要求1所述的方法,其特征在于,所述分别提取所述车辆图片包括的车辆的方向特征和所述车辆的车辆特征向量的步骤包括:
将每个所述车辆图片输入至神经网络,其中,所述神经网络为端对端神经网络,包括第一卷积神经网络、方向分类网络和第二卷积神经网络;
通过所述第一卷积神经网络对所述车辆图片进行初步特征提取,生成初步特征信息;
将所述初步特征信息输入至所述方向分类网络,提取所述车辆图片包括的车辆的方向特征;以及,
将所述初步特征信息输入至第二卷积神经网络,提取所述车辆的车辆特征向量。
3.根据权利要求1所述的方法,其特征在于,所述对各个所述车辆的融合特征信息进行重识别,确定出相同的车辆的步骤包括:
将所述融合特征信息输入至第三卷积神经网络,对所述融合特征信息进行精炼;
根据精炼后的融合特征信息进行重识别,以确定出相同的车辆。
4.根据权利要求1所述的方法,其特征在于,所述将所述方向特征与所述车辆特征向量合并为所述车辆的融合特征信息的步骤包括:
获取合并函数,通过所述合并函数对所述方向特征和所述车辆特征向量进行合并,生成所述车辆的融合特征信息;
其中,所述融合特征信息为向量形式的信息。
5.根据权利要求3所述的方法,其特征在于,所述方法还包括:
获取标准车辆图片;
采用分布训练的方式,通过所述标准车辆图片对所述端对端神经网络进行训练,其中,所述标准车辆图片包括表示方向特征的方向标签和所述车辆的标识码;所述分布训练的方式依次包括第一训练阶段和第二分布阶段,所述第一训练阶段为对所述方向分类网络进行训练的阶段,所述第二训练阶段为对所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络中的一种或多种进行训练的阶段。
6.一种车辆重识别装置,其特征在于,所述装置包括:
获取模块,用于获取待识别的一组车辆图片;
提取模块,用于对于每个所述车辆图片,分别提取所述车辆图片包括的车辆的方向特征和所述车辆的车辆特征向量;
合并模块,用于将所述方向特征与所述车辆特征向量合并为所述车辆的融合特征信息;
重识别模块,用于对各个所述车辆的融合特征信息进行重识别,确定出相同的车辆。
7.根据权利要求6所述的装置,其特征在于,所述提取模块用于:
将每个所述车辆图片输入至神经网络,其中,所述神经网络为端对端神经网络,包括第一卷积神经网络、方向分类网络和第二卷积神经网络;
通过所述第一卷积神经网络对所述车辆图片进行初步特征提取,生成初步特征信息;
将所述初步特征信息输入至所述方向分类网络,提取所述车辆图片包括的车辆的方向特征;以及,
将所述初步特征信息输入至第二卷积神经网络,提取所述车辆的车辆特征向量。
8.根据权利要求6所述的装置,其特征在于,所述重识别模块用于:
将所述融合特征信息输入至第三卷积神经网络,对所述融合特征信息进行精炼;
根据精炼后的融合特征信息进行重识别,以确定出相同的车辆。
9.一种车辆重识别系统,其特征在于,包括存储器以及处理器,所述存储器用于存储支持所述处理器执行权利要求1~5任一项所述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
10.一种计算机存储介质,其特征在于,用于存储计算机程序指令,当计算机执行所述计算机程序指令时,执行如权利要求1-5任一项所述的方法。
CN201810882627.2A 2018-08-03 2018-08-03 车辆重识别方法、装置及系统 Active CN109034086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810882627.2A CN109034086B (zh) 2018-08-03 2018-08-03 车辆重识别方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810882627.2A CN109034086B (zh) 2018-08-03 2018-08-03 车辆重识别方法、装置及系统

Publications (2)

Publication Number Publication Date
CN109034086A true CN109034086A (zh) 2018-12-18
CN109034086B CN109034086B (zh) 2021-03-23

Family

ID=64649455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810882627.2A Active CN109034086B (zh) 2018-08-03 2018-08-03 车辆重识别方法、装置及系统

Country Status (1)

Country Link
CN (1) CN109034086B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948587A (zh) * 2019-03-29 2019-06-28 清华大学 基于高判别力特征挖掘的车辆再识别方法及装置
CN110414514A (zh) * 2019-07-31 2019-11-05 北京字节跳动网络技术有限公司 图像处理方法及装置
CN110795580A (zh) * 2019-10-23 2020-02-14 武汉理工大学 基于时空约束模型优化的车辆重识别方法
CN111461026A (zh) * 2020-04-02 2020-07-28 北京爱笔科技有限公司 车辆姿态识别方法、停车场内车辆状态的检测方法及装置
CN112214631A (zh) * 2020-10-19 2021-01-12 山东建筑大学 方向信息指导的车辆重识别检索重排序方法及系统
CN112733578A (zh) * 2019-10-28 2021-04-30 普天信息技术有限公司 车辆重识别方法及系统
CN113743359A (zh) * 2021-09-16 2021-12-03 重庆紫光华山智安科技有限公司 车辆重识别方法、模型训练方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615998A (zh) * 2015-02-15 2015-05-13 武汉大学 一种基于多视角的车辆检索方法
CN104680795A (zh) * 2015-02-28 2015-06-03 武汉烽火众智数字技术有限责任公司 一种基于局部区域特征的车型识别方法和装置
CN106257490A (zh) * 2016-07-20 2016-12-28 乐视控股(北京)有限公司 检测行驶车辆信息的方法及系统
CN108229474A (zh) * 2017-12-29 2018-06-29 北京旷视科技有限公司 车牌识别方法、装置及电子设备
CN108319907A (zh) * 2018-01-26 2018-07-24 腾讯科技(深圳)有限公司 一种车辆识别方法、装置和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104615998A (zh) * 2015-02-15 2015-05-13 武汉大学 一种基于多视角的车辆检索方法
CN104680795A (zh) * 2015-02-28 2015-06-03 武汉烽火众智数字技术有限责任公司 一种基于局部区域特征的车型识别方法和装置
CN106257490A (zh) * 2016-07-20 2016-12-28 乐视控股(北京)有限公司 检测行驶车辆信息的方法及系统
CN108229474A (zh) * 2017-12-29 2018-06-29 北京旷视科技有限公司 车牌识别方法、装置及电子设备
CN108319907A (zh) * 2018-01-26 2018-07-24 腾讯科技(深圳)有限公司 一种车辆识别方法、装置和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YI ZHOU AND LING SHAO: "Viewpoint-aware Attentive Multi-view Inference for Vehicle Re-identification", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YI ZHOU 等: "Vehicle Re-Identification by Deep Hidden Multi-View Inference", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948587A (zh) * 2019-03-29 2019-06-28 清华大学 基于高判别力特征挖掘的车辆再识别方法及装置
CN110414514A (zh) * 2019-07-31 2019-11-05 北京字节跳动网络技术有限公司 图像处理方法及装置
CN110414514B (zh) * 2019-07-31 2021-12-07 北京字节跳动网络技术有限公司 图像处理方法及装置
CN110795580A (zh) * 2019-10-23 2020-02-14 武汉理工大学 基于时空约束模型优化的车辆重识别方法
CN110795580B (zh) * 2019-10-23 2023-12-08 武汉理工大学 基于时空约束模型优化的车辆重识别方法
CN112733578A (zh) * 2019-10-28 2021-04-30 普天信息技术有限公司 车辆重识别方法及系统
CN112733578B (zh) * 2019-10-28 2024-05-24 普天信息技术有限公司 车辆重识别方法及系统
CN111461026B (zh) * 2020-04-02 2024-03-12 北京爱笔科技有限公司 车辆姿态识别方法、停车场内车辆状态的检测方法及装置
CN111461026A (zh) * 2020-04-02 2020-07-28 北京爱笔科技有限公司 车辆姿态识别方法、停车场内车辆状态的检测方法及装置
CN112214631A (zh) * 2020-10-19 2021-01-12 山东建筑大学 方向信息指导的车辆重识别检索重排序方法及系统
CN112214631B (zh) * 2020-10-19 2024-02-27 山东建筑大学 方向信息指导的车辆重识别检索重排序方法及系统
CN113743359A (zh) * 2021-09-16 2021-12-03 重庆紫光华山智安科技有限公司 车辆重识别方法、模型训练方法及相关装置
CN113743359B (zh) * 2021-09-16 2024-02-02 重庆紫光华山智安科技有限公司 车辆重识别方法、模型训练方法及相关装置

Also Published As

Publication number Publication date
CN109034086B (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN109034086A (zh) 车辆重识别方法、装置及系统
Li et al. A deep learning-based hybrid framework for object detection and recognition in autonomous driving
CN109359696B (zh) 一种车款识别方法、系统及存储介质
CN109426801B (zh) 一种车道线实例检测方法和装置
CN110378235B (zh) 一种模糊人脸图像识别方法、装置及终端设备
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN112380921A (zh) 一种基于车联网的道路检测方法
CN107944450B (zh) 一种车牌识别方法及装置
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN110263786B (zh) 一种基于特征维度融合的道路多目标识别系统及方法
CN108229474A (zh) 车牌识别方法、装置及电子设备
CN106845487A (zh) 一种端到端的车牌识别方法
CN104200228B (zh) 一种安全带识别方法与系统
CN109840883B (zh) 一种训练物体识别神经网络的方法、装置及计算设备
CN110378278B (zh) 神经网络的训练方法、对象搜索方法、装置以及电子设备
CN111738036B (zh) 图像处理方法、装置、设备及存储介质
CN115937655B (zh) 多阶特征交互的目标检测模型及其构建方法、装置及应用
CN104615986A (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
CN109492640A (zh) 车牌识别方法、装置及计算机可读存储介质
CN111241964A (zh) 目标检测模型的训练方法、装置、电子设备和存储介质
CN114861842B (zh) 少样本目标检测方法、装置和电子设备
US20070223785A1 (en) Image processor and method
CN110826457A (zh) 一种复杂场景下的车辆检测方法及装置
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
CN112288701A (zh) 一种智慧交通图像检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant