CN113743359B - 车辆重识别方法、模型训练方法及相关装置 - Google Patents

车辆重识别方法、模型训练方法及相关装置 Download PDF

Info

Publication number
CN113743359B
CN113743359B CN202111087135.2A CN202111087135A CN113743359B CN 113743359 B CN113743359 B CN 113743359B CN 202111087135 A CN202111087135 A CN 202111087135A CN 113743359 B CN113743359 B CN 113743359B
Authority
CN
China
Prior art keywords
vehicle
model
sub
identification
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111087135.2A
Other languages
English (en)
Other versions
CN113743359A (zh
Inventor
周茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202111087135.2A priority Critical patent/CN113743359B/zh
Publication of CN113743359A publication Critical patent/CN113743359A/zh
Application granted granted Critical
Publication of CN113743359B publication Critical patent/CN113743359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明提供的车辆重识别方法、模型训练方法及相关装置,方法包括:将待识别车辆的图像输入训练后的车辆重识别模型中,获得待识别车辆对应的特征向量;其中,车辆重识别模型至少包括姿态信息监督子模型,姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;将特征向量与多张比对图像进行匹配,获得目标图像,并将待识别车辆确定为目标图像中的车辆,其中,目标图像为比对图库中的至少一张比对图像。本发明提供的车辆识别方法,可以更加全面、准确匹配到目标车辆,从而可以确定待识别车辆的车辆信息。

Description

车辆重识别方法、模型训练方法及相关装置
技术领域
本发明涉及车辆重识别技术领域,具体而言,涉及一种车辆重识别方法、模型训练方法及相关装置。
背景技术
近年来,智慧城市和智慧交通发展迅速,车辆是智慧交通的组成部分,车辆重识别是智慧交通的核心技术之一。即给定一个查询的车辆图像,车辆重识别旨在通过多个非重叠的摄像机检索到同一车辆的所有图像。
常用的车辆重识别方法利用模型提取车辆特征,进而进行车辆特征匹配来重识别车辆,但往往不能匹配到不同角度、不同姿态的车辆,存在匹配结果不全面、不准确的缺陷。
发明内容
本发明的目的之一在于提供一种车辆重识别方法、模型训练方法及相关装置,用以更加全面、准确的进行识别车辆。
本发明的技术方案可以这样实现:
第一方面,本发明提供一种车辆重识别方法,比对图库包括多张比对图像;所述方法包括:将待识别车辆的图像输入训练后的车辆重识别模型中,获得所述待识别车辆对应的特征向量;其中,所述车辆重识别模型至少包括姿态信息监督子模型,所述姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;将所述特征向量与所述多张比对图像进行匹配,获得目标图像,并将所述待识别车辆确定为所述目标图像中的车辆,其中,所述目标图像为所述比对图库中的至少一张比对图像。
第二方面,本发明提供一种车辆重识别模型的训练方法,所述方法包括:根据姿态信息监督子模型、车辆标识监督子模型和特征提取子模型,构建初始的车辆重识别模型;其中,所述姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;所述车辆标识监督子模型用于根据车辆标识对车辆进行分类;将多张训练图像输入至所述特征提取子模型,获得每张所述训练图像对应的车辆特征;其中,每张所述训练图像具有车辆标识标签和姿态标签;将所述车辆特征分别输入至所述姿态信息监督子模型和所述车辆标识监督子模型进行训练;当所述车辆标识监督子模型预测的车辆标识与所述车辆标识标签之间的损失函数收敛,且所述姿态信息监督子模型预测的姿态信息与所述车辆标签之间的损失函数收敛时,获得所述训练后的车辆重识别模型。
第三方面,本发明提供一种车辆重识别装置,比对图库包括多张比对图像;包括:特征提取模块,用于将待识别车辆的图像输入训练后的车辆重识别模型中,获得所述待识别车辆对应的特征向量;其中,所述车辆重识别模型至少包括姿态信息监督子模型,所述姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;识别模块,用于将所述特征向量与所述多张比对图像进行匹配,获得目标图像,并将所述待识别车辆确定为所述目标图像中的车辆。
可选地,车辆重识别装置还包括监督模块,用于:根据所述姿态信息监督子模型、车辆标识监督子模型和特征提取子模型,构建初始的车辆重识别模型;将多张训练图像输入至所述特征提取子模型,获得每张所述训练图像对应的车辆特征;其中,每张所述训练图像具有车辆标识标签和姿态标签;将所述车辆特征分别输入至所述姿态信息监督子模型和所述车辆标识监督子模型进行训练;当所述车辆标识监督子模型预测的车辆标识与所述车辆标识标签之间的损失函数收敛,且所述姿态信息监督子模型预测的姿态信息与所述车辆标签之间的损失函数收敛时,获得所述训练后的车辆重识别模型。
第四方面,本发明提供一种车辆重识别模型训练装置,包括:构建模块,用于根据姿态信息监督子模型、车辆标识监督子模型和特征提取子模型,构建初始的车辆重识别模型;其中,所述姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;所述车辆标识监督子模型用于根据车辆标识对车辆进行分类;特征提取模块,用于将多张训练图像输入至所述特征提取子模型,获得每张所述训练图像对应的车辆特征;其中,每张所述训练图像具有车辆标识标签和姿态标签;监督模块,用于将所述车辆特征分别输入至所述姿态信息监督子模型和所述车辆标识监督子模型进行训练;当所述车辆标识监督子模型预测的车辆标识与所述车辆标识标签之间的损失函数收敛,且所述姿态信息监督子模型预测的姿态信息与所述车辆标签之间的损失函数收敛时,获得所述训练后的车辆重识别模型。
第五方面,本发明提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现第一方面所述的车辆重识别方法或第二方面所述的训练方法。
第六方面,本发明提供一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的车辆重识别方法或第二方面所述的训练方法。
本发明提供一种车辆重识别方法、模型训练方法及相关装置,方法包括:将待识别车辆的图像输入训练后的车辆重识别模型中,获得待识别车辆对应的特征向量;其中,车辆重识别模型至少包括姿态信息监督子模型,姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;将特征向量与多张比对图像进行匹配,获得目标图像,并将待识别车辆确定为目标图像中的车辆,其中,目标图像为比对图库中的至少一张比对图像。本发明实施例提供的车辆识别方法,用到的车辆重识别模型包含了姿态信息监督子模型,使得车辆重识别模型在训练阶段已经学习到更多的车姿信息,因此可以准确提取车辆特征,尤其是车辆的姿态特征,并基于提取到的车辆特征从比对图库中进行目标图像匹配,从而可以更加全面、准确匹配到目标车辆,从而可以确定待识别车辆的车辆信息。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的车辆重识别方法的应用环境;
图2为本发明实施例提供的车辆重识别模型的训练方法的示意性流程图;
图3为本发明实施例提供的一种车辆重识别模型的结构示意图;
图4为本发明实施例提供的车辆重识别方法的示意性流程图;
图5为本发明实施例提供的步骤S402的一种实现方式的示意性流程图;
图6为本申请实施例提供的车辆重识别装置的功能模块图;
图7为本申请实施例提供的车辆重识别模型训练装置的功能模块图;
图8为本申请实施例提供的一种电子设备的方框示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,或者是该发明产品使用时惯常摆放的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,若出现术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
需要说明的是,在不冲突的情况下,本发明的实施例中的特征可以相互结合。
行人重识别,也称车辆再识别,是利用计算机视觉技术判断车辆图像或者视频序列中是否存在特定车辆的技术。给定一个监控车辆图像,检索跨设备下的该车辆图像。旨在弥补目前固定的摄像头的视觉局限,并可与车辆识别/车辆跟踪技术相结合,可广泛应用于智能视频监控、智能安保等领域。
目前基于计算机视觉的方法广泛应用在车辆重识别的等安防领域,并在真实的交通监控系统中,车辆重识别可以用来对目标车辆进行精确的跟踪、定位和检索,起到一定的监管刑侦作用。
请参见图1,图1为本发明实施例提供的车辆重识别方法的应用环境,其中包括:该应用环境中可以包括网络10、服务器20、至少一种监控设备30,例如,监控设备30-1、监控设备30-2……监控设备30-N,以及比对图库40。
其中:网络10可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
服务器20可以但不限于是一台服务器或若干台服务器组成的服务器集群或云计算中心。本申请实施例提供的车辆重识别方法可以应用在服务器20上。
在一些可能的实施例中,服务器20可以将来自监控设备30采集的图像存储至比对图库40中,还可以将比对图库40中存储的各种类型的车辆图像或者读取出来进行特征比对。
在另一些可能的实施例中,服务器20还可以具有机器学习能力,可以作为本申请实施例中车辆重识别模型的训练设备,或者,服务器20还可以作为本申请实施例中车辆重识别模型的部署设备,用于提取待识别车辆的图像特征,进而执行特征比对,识别待识别车辆信息的相应操作。
监控设备30,可以用于采集监控范围内的图像,并通过网络10将采集的图像发送给服务器20。示例性地,监控设备30可以但不限于部署在汽车站、火车站、飞机场、道路等公共场景中,可以但不限于是:摄像头、摄像机、录像机等。
比对图库40,用于维护各种类型的车辆图像,这些车辆图像可以来自监控设备30,还可以来自其他具有采集功能的电子设备,或者是随机合成的图像。本申请不做限定。
在本申请实施例中,比对图库40中的车辆图像可以作为比对图像,用于和待识别车辆的图像进行特征比对,从而识别待识别车辆的信息,因此,在比对图库40中,各种比对图像的标识信息(例如ID信息)、形状信息、颜色信息、车牌信息等等均是已知的,可以用一个特征向量进行表示。
本申请中示出的监控设备30、服务器20和比对图库40旨在表示本申请的技术方案涉及的监控设备、服务器以及存储系统的操作。对单个服务器和存储系统加以详述至少为了说明方便,而非暗示对服务器的数量、类型或是位置等具有限制。应当注意,如果向图示环境中添加附加模块或从其中去除个别模块,不会改变本申请的示例实施例的底层概念。另外,虽然为了方便说明而在图1中示出了从比对图库40到服务器20的双向箭头,但本领域技术人员可以理解的是,上述图像数据的收发也是需要通过网络10实现的。
还需要说明的是,本申请实施例不仅适用于监控场景,任何图像采集装置采集的视频均可以执行本申请实施例提供的方法识别。
继续以图1所示的应用环境为例,现有技术中,车辆跟踪和识别,有时候车牌看不到,需要车牌重识别。目前的车辆重识别,主要是基于不同摄像头采集的图像,通常在使用这些数据的时候,没有使用车辆的角度、车姿等信息,但是考虑到车辆在不同时刻的角度差异较大,并且在车辆行驶过程中,姿态变化比较大,对提取特征影响很大,若不参考车辆的角度、车姿等信息可能会匹配不到具有不同姿态和角度的相同车辆,匹配结果不全面,从而降低了车辆识别的准确性。
为了解决上述技术问题,本发明实施例首先提供了一种改进的车辆重识别模型,与现有的车辆重识别模型不同的是,本发明实施例中的车辆重识别模型具有姿态信息监督子模块,可以用于分类出具有不同姿态信息的同一个车辆。
下面先介绍本发明实施例提供的车辆重识别模型的训练方法,请参见图2,图2为本发明实施例提供的车辆重识别模型的训练方法的示意性流程图。需要说明的是,本发明实施例提供的训练方法可以应用于图1所示的服务器20中,还可以应用于其他具有机器学习能力的电子设备上,此处不作限定。该训练方法可以包括:
S201:根据姿态信息监督子模型、车辆标识监督子模型和特征提取子模型,构建初始的车辆重识别模型。
其中,姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;车辆标识监督子模型用于根据车辆标识对车辆进行分类。特征提取子模型可以用于提取训练图像的车辆特征,包括但不限于:车型特征、颜色特征、车牌和姿态特征等。
例如,假设车辆标识(例如ID)为N类,而每辆车又分为三类姿态,则姿态信息监督子模型可以基于3N类姿态信息进行分类,而车辆标识监督子模型则基于N类ID进行分类,从而使得特征提取子模型能学习到更多的车姿信息。
S202:将多张训练图像输入至特征提取子模型,获得每张训练图像对应的车辆特征。
其中,每张训练图像具有车辆标识标签和姿态标签。
在一些可能的实施方式中,训练图像主要来源于真实场景和网络上公开的车辆重识别数据集,其中真实场景下采用不同角度的摄像头在十字路口的电警和卡口采集的真实数据,角度多样化,包括车头、车尾和侧身。网络上公开的数据有VeRi776、VehicleID、VERI-Wild、N-CARS和PKU-VD等等。
获得训练图像后,可以人工标记每张训练图像的车辆标识标签和姿态标签,进而将标记后的训练图像输入初始的车辆重识别模型。
在人工标记过程中,可以为不同车辆分配不同ID,为同一辆车分配同一个ID,针对车姿,根据收集的各种角度的车辆数据,可以将这些车辆根据拍摄角度分为三类,并打上不同的车姿标签。例如,车头-0、车尾-1、侧身-2。
S203:将车辆特征分别输入至姿态信息监督子模型和车辆标识监督子模型进行训练。
在一种可能的实施方式中,可以根据预先设置的训练策略来进行模型训练,例如,可以将初始学习率设定为1e-3,学习策略采用step方式,每隔50个epoch下降一次学习率,每次下降的倍率设定为0.1。用户可以根据自己的需求自定义训练策略。
S204:当车辆标识监督子模型预测的车辆标识与车辆标识标签之间的损失函数收敛,且姿态信息监督子模型预测的姿态信息与车辆标签之间的损失函数收敛时,获得训练后的车辆重识别模型。
本发明实施例提供的车辆重识别模型的训练方法,在构建初始的车辆重识别模型过程中增加了姿态信息监督子模型,从而使得训练后的车辆重识别模型能学习到更多的车姿信息,可以根据姿态信息分类出具有不同姿态信息的同一车辆,在模型应用阶段可以避免出现匹配结果不全面,导致识别不准确的问题。
针对上述步骤S201,本发明实施例提供了一种构建初始的车辆重识别模型的实现方式,即可以在现有技术中Resnet101-ibn-a+标识(ID)分支的网络结构上,构建一个姿态信息监督子模型(可以看做是姿态(pose)分支),其中,Resnet101-ibn-a作为车辆识别模型的主干网络,可以看作是一个特征提取子模型,ID分支可以看作是一个车辆标识监督子模型。在一种可能的实施方式中,构建的初始车辆重识别模型可以如图3所示,图3为本发明实施例提供的一种车辆重识别模型的结构示意图。
如图3所示,训练图像可以是P*K张,其中,P表征车辆种类,也就是ID数量,K表征每个ID对应的车辆具有K张图像。姿态信息监督子模型和车辆标识监督子模型可以采用相似的网络结构,即均可采用类似深度卷积网络BNNeck的网络结构,BNNeck的网络结构可以包括:确定模型阶段(inference stage)、BN(Batch Normalization,批量归一化)层和FC(Fully CoNNected,全连接层)层,BN层可以大幅提高模型训练速度。FC层的损失函数采用Arcface loss,能提升类内紧凑性和类间分离性。
首先,请参见图3中的特征提取子模型,即主干网络Resnet101-IBN-a,可以设置下采样指标last stride为1,然后Resnet101-IBN-a的第四阶段可以获得的训练图像的特征图,然后再采用全局平均池化(GAP)获得特征图对应的高维特征向量,进而使用降维模块将该特征向量的维数进行降维,使用得到的低维特征向量作为全局特征向量。
其次,请参见图3结构中的车辆标识监督子模型,即车辆标识信息损失(ID loss)分支,Resnet101-IBN-a主干网络得到的特征向量特征ft(以下简称features ft)后,将features ft输入到ID loss分支,由ID loss分支再对ft进行Soft margin triplet loss,Soft margin triplet loss可以学习难例样本,减小类内距离并增加类间距离,其中可以通过调节margin超参来学习难例样本的特征信息。
上述features ft通过ID loss分支进行归一化处理,其采用的BNNeck网络结构可加速triplet loss的收敛,同时也能消除FC层的偏差(biases)。进而通过BN layer生成特征fi(以下简称feature fi),其中,feature fi中包含预测的车辆标识,进而可以根据预测的车辆标识和真实车辆标识计算车辆标识信息的损失。
同时,主干网络得到的特征向量features ft还输入姿态信息监督子模型,即姿态信息损失(Pose loss)分支,在Pose loss分支中,使用车辆的车姿作为额外的监督信息,处理过程与上述ID loss分支相似,此处不再赘述,最终生成的feature fi包含预测的姿态信息,进而可以根据预测的姿态信息和真实姿态信息计算姿态信息信息的损失。
最后,当ID loss分支和Pose loss分支中的损失函数均处于收敛状态时,则表明车辆识别模型训练完成,可以用来进行车辆重识别。
在一种可能的实施方式中,为了验证本发明提出的结构的有效性,本发明还在VehicleID数据集进行了消融分析,即针对上述Resnet101-ibn-a+ID分支的网络模型(简称Baseline)与本发明实施例构建的Resnet101-ibn-a+ID分支+pose分支的网络模型(简称带Pose分支),采用网上的测试集VehicleID,对比效果如表1所示,本发明实施例构建的Resnet101-ibn-a+ID分支+pose分支的网络模型的测试集比Resnet101-ibn-a+ID分支的网络模型的mAP提高了1个点左右,且在topk上均有一定的提升。
表1
VehicleID mAP top1 top3 top5 top10
Baseline 0.9492 0.9772 0.9870 0.9901 0.9938
Pose分支 0.9594 0.9908 0.9946 0.9962 0.9975
可选地,考虑到车辆重识别过程中,车辆的尺寸不一致,有大车检索小车和小车检索大车,车辆图片主要存在尺度、颜色等差异性,因此,在获得训练图像之后,还可以对训练图像做各类数据增强,如图像缩放、随机噪声、随机裁剪、随机颜色、随机擦除等方法。使用这些数据增强来增加数据的多样性,这些预处理能在训练阶段使每个id的训练图像更加多样化,能增加最后不同大小、角度的车辆匹配率,使模型增加鲁棒。
例如,请继续参见图3,将P*K张训练图像输入到特征提取子模型之前,先对每张训练图像进行随机擦除(Random Erasing)处理,使每个id的训练图像更加多样化,能增加最后不同大小、角度的车辆匹配率,使模型增加鲁棒。
需要说明的是,在一种实现方式中,上述车辆重识别模型的训练方法可以是预先训练好的模型,可以部署在用于执行车辆重识别方法的电子设备上,当需要进行车辆重识别操作时,可以直接使用;在另一种实现方式中,当需要进行车辆重识别操作时,用于执行车辆重识别方法的电子设备可以先执行上述训练方法获得训练后的车辆重识别模型,进而执行车辆重识别操作。
基于上述训练后的车辆重识别模型,本发明实施例还提供了一种车辆重识别方法,请参见图4,图4为本发明实施例提供的车辆重识别方法的示意性流程图。需要说明的是,该车辆重识别方法可以应用于图1所示的服务器20上,该方法可以包括:
S401:将待识别车辆的图像输入训练后的车辆重识别模型中,获得待识别车辆对应的特征向量。
其中,车辆重识别模型至少包括姿态信息监督子模型,姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆。
在一些可能的实施方式中,上述待识别车辆的图像可以来自图1中的监控设备30。
在另一些可能的实施方式,待识别车辆的图像还可以主要来源于真实场景和网络上公开的车辆重识别数据集。
S402:将特征向量与多张比对图像进行匹配,获得目标图像,并将待识别车辆确定为目标图像中的车辆,其中,目标图像为比对图库中的至少一张比对图像。
本申请实施例中,比对图库用于维护多张各种类型的车辆的比对图像,这些车辆图像可以来自监控设备30,还可以来自其他具有采集功能的电子设备,或者是随机合成的图像。本申请不做限定。在比对图库中,各种比对图像的标识信息(例如ID信息)、形状信息、颜色信息、车牌信息等均是已知的,可以用一个特征向量进行表示。
本发明实施例提供的车辆识别方法,用到的车辆重识别模型是上述内容阐述的改进的车辆重识别模型,由于车辆重识别模型在训练阶段已经学习到更多的车姿信息,因此可以准确提取车辆特征,尤其是车辆的姿态特征,并基于提取到的车辆特征从比对图库中进行目标图像匹配,从而可以更加全面、准确匹配到目标车辆,从而可以确定待识别车辆的车辆信息。
可选地,在一种实现方式中,当用于执行车辆重识别方法的电子设备具有机器学习能力,可以在上述步骤S401之前,执行上述训练方法获得训练后的车辆重识别模型,此处不再赘述,进而利用训练后的车辆重识别模型执行步骤S401和步骤S402,实现车辆识别。
可选地,下面还给出中确定待识别车辆对应的目标车辆的实现方式,请参见图5,图5为本发明实施例提供的步骤S402的一种实现方式的示意性流程图,步骤S402可以包括:
S402-1:根据每张比对图像的比对特征向量,确定特征向量与每张比对图像的相似度。
S402-2:将最大相似度对应的比对图像确定为目标图像,并将待识别车辆确定为目标图像中的车辆。
本实施例中,上述的相似度可以但不限于是余弦相似度、欧式距离等。
通过上述匹配方式,可以准确识别出待识别车辆对应的目标车辆,从而确定待识别车辆的车辆信息,为车辆跟踪、定位等提供了有力支撑。
为了实现上述车辆重识别方法中的各个步骤以实现相应的技术效果,本申请实施例提供的车辆重识别装置可以在硬件设备或者以软件模块的形式实现中执行,当车辆重识别装置以软件模块的形式实现时,本申请实施例还提供一种车辆重识别模型训练装置,请参见图6,图6为本申请实施例提供的车辆重识别模型训练装置的功能模块图,该车辆重识别装置600可以包括:
特征提取模块610,用于将待识别车辆的图像输入训练后的车辆重识别模型中,获得所述待识别车辆对应的特征向量;其中,所述车辆重识别模型至少包括姿态信息监督子模型,所述姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;
识别模块620,用于将所述特征向量与所述多张比对图像进行匹配,获得目标图像,并将所述待识别车辆确定为所述目标图像中的车辆。
可选地,车辆重识别装置600还可以包括监督模块,用于:根据所述姿态信息监督子模型、车辆标识监督子模型和特征提取子模型,构建初始的车辆重识别模型;将多张训练图像输入至所述特征提取子模型,获得每张所述训练图像对应的车辆特征;其中,每张所述训练图像具有车辆标识标签和姿态标签;将所述车辆特征分别输入至所述姿态信息监督子模型和所述车辆标识监督子模型进行训练;当所述车辆标识监督子模型预测的车辆标识与所述车辆标识标签之间的损失函数收敛,且所述姿态信息监督子模型预测的姿态信息与所述车辆标签之间的损失函数收敛时,获得所述训练后的车辆重识别模型。
可选地,上述监督模块,还用于对所述多张训练图像进行数据增强预处理。
可选地,识别模块620,具体用于:根据每张所述比对图像的比对特征向量,确定所述特征向量与每张所比对图像的相似度;将最大相似度对应的比对图像确定为所述目标图像,并将所述待识别车辆确定为所述目标图像中的车辆。
为了实现上述车辆重识别模型训练方法中的各个步骤以实现相应的技术效果,本申请实施例提供的车辆重识别模型训练装置可以在硬件设备或者以软件模块的形式实现中执行,当车辆重识别模型训练装置以软件模块的形式实现时,本申请实施例还提供一种车辆重识别模型训练装置,请参见图7,图7为本申请实施例提供的车辆重识别模型训练装置的功能模块图,该车辆重识别模型训练装置700可以包括:
构建模块710,用于根据姿态信息监督子模型、车辆标识监督子模型和特征提取子模型,构建初始的车辆重识别模型;其中,所述姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;所述车辆标识监督子模型用于根据车辆标识对车辆进行分类;
特征提取模块720,用于将多张训练图像输入至所述特征提取子模型,获得每张所述训练图像对应的车辆特征;其中,每张所述训练图像具有车辆标识标签和姿态标签;
监督模块730,用于将所述车辆特征分别输入至所述姿态信息监督子模型和所述车辆标识监督子模型进行训练;当所述车辆标识监督子模型预测的车辆标识与所述车辆标识标签之间的损失函数收敛,且所述姿态信息监督子模型预测的姿态信息与所述车辆标签之间的损失函数收敛时,获得所述训练后的车辆重识别模型。
可选地,该车辆重识别模型训练装置700还可以包括预处理模块,用于对多张训练图像进行数据增强预处理。
本申请实施例还提供了一种电子设备,该电子设备可以如图1所示的服务器20,或者是其他有数据处理功能的终端,本申请不做限定。
如图8,图8为本申请实施例提供的一种电子设备的方框示意图。该电子设备80包括通信接口801、处理器802和存储器803。该处理器802、存储器803和通信接口801相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器803可用于存储软件程序及模块,如本申请实施例所提供的车辆重识别模型训练方法或者车辆重识别方法对应的程序指令/模块,处理器802通过执行存储在存储器803内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口801可用于与其他节点设备进行信令或数据的通信。在本申请中该电子设备80可以具有多个通信接口801。
其中,存储器803可以是但不限于,随机存取存储器(RandomAccess Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器802可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
可选地,当车辆重识别模型训练装置700或者车辆重识别装置600以软件模块的形式实现时,各个功能模块可以软件或固件(Firmware)的形式存储于存储器中或固化于该电子设备80的操作系统(Operating System,OS)中,并可由电子设备80中的处理器802执行。同时,执行上述模块所需的数据、程序的代码等可以存储在存储器803中。
本申请实施例还提供一种可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前述实施方式中任一项的车辆重识别模型训练方法或者车辆重识别方法。该计算机可读存储介质可以是,但不限于,U盘、移动硬盘、ROM、RAM、PROM、EPROM、EEPROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种车辆重识别方法,其特征在于,比对图库包括多张比对图像;所述方法包括:
将待识别车辆的图像输入训练后的车辆重识别模型中,获得所述待识别车辆对应的特征向量;
其中,所述车辆重识别模型至少包括姿态信息监督子模型和车辆标识监督子模型,所述姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;所述车辆标识监督子模型用于根据车辆标识对车辆进行分类;
将所述特征向量与所述多张比对图像进行匹配,获得目标图像,并将所述待识别车辆确定为所述目标图像中的车辆,其中,所述目标图像为所述比对图库中的至少一张比对图像;
在将待识别车辆的图像输入训练后的车辆重识别模型中之前,所述方法还包括:
根据所述姿态信息监督子模型、车辆标识监督子模型和特征提取子模型,构建初始的车辆重识别模型;
将多张训练图像输入至所述特征提取子模型,获得每张所述训练图像对应的车辆特征;其中,每张所述训练图像具有车辆标识标签和姿态标签;所述特征提取子模型的下采样指标为1,所述特征提取子模型获得训练图像的特征图后,采用全局平均池化获得所述特征图对应的高维特征向量,进而使用降维模块将所述高维特征向量的维数进行降维,使用得到的低维特征向量作为全局特征向量;
将所述车辆特征分别输入至所述姿态信息监督子模型和所述车辆标识监督子模型进行训练;其中,所述特征提取子模型得到的特征向量特征输入到车辆标识监督子模型中后,所述车辆标识监督子模型对所述特征向量进行归一化处理,然后根据由归一化处理后的所述特征向量生成的包含车辆标识的特征,计算Soft margin triplet loss,所述Softmargin triplet loss用于学习难例样本,减小类内距离并增加类间距离;所述特征提取子模型得到的特征向量输入到姿态信息监督子模型中后,所述姿态信息监督子模型对所述特征向量进行归一化处理,然后根据由归一化处理后的所述特征向量生成的包含预测的姿态信息的特征,计算姿态信息的损失;
当所述车辆标识监督子模型预测的车辆标识与所述车辆标识标签之间的损失函数收敛,且所述姿态信息监督子模型预测的姿态信息与所述车辆标识标签之间的损失函数收敛时,获得所述训练后的车辆重识别模型。
2.根据权利要求1所述的车辆重识别方法,其特征在于,在将多张训练图像输入至所述特征提取子模型之前,所述方法还包括:
对所述多张训练图像进行数据增强预处理。
3.根据权利要求1所述的车辆重识别方法,其特征在于,将所述特征向量与所述多张比对图像进行匹配,获得目标图像,并将所述待识别车辆确定为所述目标图像中的车辆,包括:
根据每张所述比对图像的比对特征向量,确定所述特征向量与每张所比对图像的相似度;
将最大相似度对应的比对图像确定为所述目标图像,并将所述待识别车辆确定为所述目标图像中的车辆。
4.一种车辆重识别模型的训练方法,其特征在于,所述方法包括:
根据姿态信息监督子模型、车辆标识监督子模型和特征提取子模型,构建初始的车辆重识别模型;
其中,所述姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;所述车辆标识监督子模型用于根据车辆标识对车辆进行分类;
将多张训练图像输入至所述特征提取子模型,获得每张所述训练图像对应的车辆特征;其中,每张所述训练图像具有车辆标识标签和姿态标签;所述特征提取子模型设置下采样指标为1,获得的训练图像的特征图后,采用全局平均池化获得所述特征图对应的高维特征向量,进而使用降维模块将所述特征向量的维数进行降维,使用得到的低维特征向量作为全局特征向量;
将所述车辆特征分别输入至所述姿态信息监督子模型和所述车辆标识监督子模型进行训练;其中,所述特征提取子模型得到的特征向量特征输入到车辆标识监督子模型中后,所述车辆标识监督子模型对所述特征向量进行归一化处理,然后根据由归一化处理后的所述特征向量生成的包含车辆标识的特征,计算Soft margin triplet loss,所述Softmargin triplet loss用于学习难例样本,减小类内距离并增加类间距离;所述特征提取子模型得到的特征向量输入到姿态信息监督子模型中后,所述姿态信息监督子模型对所述特征向量进行归一化处理,然后由归一化处理后的所述特征向量生成的包含预测的姿态信息的特征,计算姿态信息的损失;
当所述车辆标识监督子模型预测的车辆标识与所述车辆标识标签之间的损失函数收敛,且所述姿态信息监督子模型预测的姿态信息与所述车辆标识标签之间的损失函数收敛时,获得训练后的车辆重识别模型。
5.一种车辆重识别装置,其特征在于,比对图库包括多张比对图像;包括:
特征提取模块,用于将待识别车辆的图像输入训练后的车辆重识别模型中,获得所述待识别车辆对应的特征向量;其中,所述车辆重识别模型至少包括姿态信息监督子模型和车辆标识监督子模型,所述姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;所述车辆标识监督子模型用于根据车辆标识对车辆进行分类;
识别模块,用于将所述特征向量与所述多张比对图像进行匹配,获得目标图像,并将所述待识别车辆确定为所述目标图像中的车辆;
监督模块,用于:
根据所述姿态信息监督子模型、车辆标识监督子模型和特征提取子模型,构建初始的车辆重识别模型;
将多张训练图像输入至所述特征提取子模型,获得每张所述训练图像对应的车辆特征;其中,每张所述训练图像具有车辆标识标签和姿态标签;所述特征提取子模型设置下采样指标为1,获得的训练图像的特征图后,采用全局平均池化获得所述特征图对应的高维特征向量,进而使用降维模块将所述特征向量的维数进行降维,使用得到的低维特征向量作为全局特征向量;
将所述车辆特征分别输入至所述姿态信息监督子模型和所述车辆标识监督子模型进行训练;其中,所述特征提取子模型得到的特征向量特征输入到车辆标识监督子模型中后,所述车辆标识监督子模型对所述特征向量进行归一化处理,然后根据由归一化处理后的所述特征向量生成的包含车辆标识的特征,计算Soft margin triplet loss,所述Softmargin triplet loss用于学习难例样本,减小类内距离并增加类间距离;所述特征提取子模型得到的特征向量输入到姿态信息监督子模型中,所述姿态信息监督子模型对所述特征向量进行归一化处理,然后根据由归一化处理后的所述特征向量生成的包含预测的姿态信息的特征,计算姿态信息的损失;
当所述车辆标识监督子模型预测的车辆标识与所述车辆标识标签之间的损失函数收敛,且所述姿态信息监督子模型预测的姿态信息与所述姿态标签之间的损失函数收敛时,获得所述训练后的车辆重识别模型。
6.一种车辆重识别模型训练装置,其特征在于,包括:
构建模块,用于根据姿态信息监督子模型、车辆标识监督子模型和特征提取子模型,构建初始的车辆重识别模型;其中,所述姿态信息监督子模型用于根据姿态信息分类出具有不同姿态的相同车辆;所述车辆标识监督子模型用于根据车辆标识对车辆进行分类;
特征提取模块,用于将多张训练图像输入至所述特征提取子模型,获得每张所述训练图像对应的车辆特征;其中,每张所述训练图像具有车辆标识标签和姿态标签;所述特征提取子模型设置下采样指标为1,获得的训练图像的特征图后,采用全局平均池化获得所述特征图对应的高维特征向量,进而使用降维模块将所述特征向量的维数进行降维,使用得到的低维特征向量作为全局特征向量;
监督模块,用于将所述车辆特征分别输入至所述姿态信息监督子模型和所述车辆标识监督子模型进行训练;其中,所述特征提取子模型得到的特征向量特征输入到车辆标识监督子模型中后,所述车辆标识监督子模型对所述特征向量进行归一化处理,然后根据由归一化处理后的所述特征向量生成的包含车辆标识的特征,计算Soft margin tripletloss,所述Soft margin triplet loss用于学习难例样本,减小类内距离并增加类间距离;所述特征提取子模型得到的特征向量输入到姿态信息监督子模型中后,所述姿态信息监督子模型对所述特征向量进行归一化处理,然后根据由归一化处理后的所述特征向量生成的包含预测的姿态信息的特征,计算姿态信息的损失;当所述车辆标识监督子模型预测的车辆标识与所述车辆标识标签之间的损失函数收敛,且所述姿态信息监督子模型预测的姿态信息与所述姿态标签之间的损失函数收敛时,获得训练后的车辆重识别模型。
7.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现权利要求1至3任一项所述的车辆重识别方法或权利要求4所述的车辆重识别模型训练方法。
8.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的车辆重识别方法或权利要求4所述的车辆重识别模型训练方法。
CN202111087135.2A 2021-09-16 2021-09-16 车辆重识别方法、模型训练方法及相关装置 Active CN113743359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111087135.2A CN113743359B (zh) 2021-09-16 2021-09-16 车辆重识别方法、模型训练方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111087135.2A CN113743359B (zh) 2021-09-16 2021-09-16 车辆重识别方法、模型训练方法及相关装置

Publications (2)

Publication Number Publication Date
CN113743359A CN113743359A (zh) 2021-12-03
CN113743359B true CN113743359B (zh) 2024-02-02

Family

ID=78739336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111087135.2A Active CN113743359B (zh) 2021-09-16 2021-09-16 车辆重识别方法、模型训练方法及相关装置

Country Status (1)

Country Link
CN (1) CN113743359B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067286A (zh) * 2022-01-18 2022-02-18 松立控股集团股份有限公司 基于序列化可形变注意力机制的高位相机车辆重识别方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109034086A (zh) * 2018-08-03 2018-12-18 北京旷视科技有限公司 车辆重识别方法、装置及系统
CN109063768A (zh) * 2018-08-01 2018-12-21 北京旷视科技有限公司 车辆重识别方法、装置及系统
CN109214315A (zh) * 2018-08-21 2019-01-15 北京深瞐科技有限公司 人车跨镜头追踪方法及装置
CN110021172A (zh) * 2019-05-06 2019-07-16 北京英泰智科技股份有限公司 一种车辆全要素特征采集方法和系统
CN110795580A (zh) * 2019-10-23 2020-02-14 武汉理工大学 基于时空约束模型优化的车辆重识别方法
CN111667001A (zh) * 2020-06-05 2020-09-15 平安科技(深圳)有限公司 目标重识别方法、装置、计算机设备和存储介质
CN112541460A (zh) * 2020-12-21 2021-03-23 山东师范大学 一种车辆再识别方法及系统
CN112669277A (zh) * 2020-12-25 2021-04-16 浙江大华技术股份有限公司 一种车辆关联方法,计算机设备以及装置
CN113177518A (zh) * 2021-05-24 2021-07-27 西安建筑科技大学 一种利用弱监督区域推荐的车辆重识别方法
CN113255601A (zh) * 2021-06-29 2021-08-13 深圳市安软科技股份有限公司 一种车辆重识别模型的训练方法、系统及相关设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11537817B2 (en) * 2018-10-18 2022-12-27 Deepnorth Inc. Semi-supervised person re-identification using multi-view clustering

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063768A (zh) * 2018-08-01 2018-12-21 北京旷视科技有限公司 车辆重识别方法、装置及系统
CN109034086A (zh) * 2018-08-03 2018-12-18 北京旷视科技有限公司 车辆重识别方法、装置及系统
CN109214315A (zh) * 2018-08-21 2019-01-15 北京深瞐科技有限公司 人车跨镜头追踪方法及装置
CN110021172A (zh) * 2019-05-06 2019-07-16 北京英泰智科技股份有限公司 一种车辆全要素特征采集方法和系统
CN110795580A (zh) * 2019-10-23 2020-02-14 武汉理工大学 基于时空约束模型优化的车辆重识别方法
CN111667001A (zh) * 2020-06-05 2020-09-15 平安科技(深圳)有限公司 目标重识别方法、装置、计算机设备和存储介质
CN112541460A (zh) * 2020-12-21 2021-03-23 山东师范大学 一种车辆再识别方法及系统
CN112669277A (zh) * 2020-12-25 2021-04-16 浙江大华技术股份有限公司 一种车辆关联方法,计算机设备以及装置
CN113177518A (zh) * 2021-05-24 2021-07-27 西安建筑科技大学 一种利用弱监督区域推荐的车辆重识别方法
CN113255601A (zh) * 2021-06-29 2021-08-13 深圳市安软科技股份有限公司 一种车辆重识别模型的训练方法、系统及相关设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Robust Vehicle Re-identification via Rigid Structure Prior;Minyue Jiang et al.;《2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)》;4021-4028 *
VOC-ReID: Vehicle Re-identification based on Vehicle-Orientation-Camera;Xiangyu Zhu et al.;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)》;2566-2573 *
基于车载视觉的行人检测及行为识别;刘源;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》(第1期);C035-395 *
结合ViBe算法改进与Triplet-ResNet网络实现行人重识别;杨金华等;《计算机应用研究》;第37卷(第S1期);329-330+342 *

Also Published As

Publication number Publication date
CN113743359A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Khaliq et al. A holistic visual place recognition approach using lightweight cnns for significant viewpoint and appearance changes
Psyllos et al. Vehicle logo recognition using a sift-based enhanced matching scheme
US8798357B2 (en) Image-based localization
US8467570B2 (en) Tracking system with fused motion and object detection
CN110765954A (zh) 一种车辆重识别方法、设备及存储装置
CN112016401A (zh) 基于跨模态行人重识别方法及装置
CN111078946A (zh) 一种基于多目标区域特征聚合的卡口车辆检索方法及系统
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
CN108304852B (zh) 道路路段类型的确定方法、装置以及存储介质、电子装置
CN112434566A (zh) 客流统计方法、装置、电子设备及存储介质
CN113743359B (zh) 车辆重识别方法、模型训练方法及相关装置
CN114088099A (zh) 基于已知地图的语义重定位方法、装置、电子设备及介质
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
CN114168768A (zh) 图像检索方法及相关设备
Špaňhel et al. Vehicle fine-grained recognition based on convolutional neural networks for real-world applications
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN113505716B (zh) 静脉识别模型的训练方法、静脉图像的识别方法及装置
CN111008210B (zh) 商品识别方法、装置、编解码器及存储装置
CN111709377B (zh) 特征提取方法、目标重识别方法、装置及电子设备
CN114155489A (zh) 一种多设备协同的无人机飞手检测方法、设备及存储介质
CN114255321A (zh) 采集宠物鼻纹的方法、装置、存储介质及电子设备
Shih et al. A robust object verification algorithm using aligned chamfer history image
CN116052220B (zh) 行人重识别方法、装置、设备及介质
CN114882525B (zh) 基于模态特定记忆网络的跨模态行人重识别方法
CN113449714B (zh) 一种用于儿童游乐场地的识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant