CN113627477B - 车辆多属性识别方法及系统 - Google Patents

车辆多属性识别方法及系统 Download PDF

Info

Publication number
CN113627477B
CN113627477B CN202110771219.1A CN202110771219A CN113627477B CN 113627477 B CN113627477 B CN 113627477B CN 202110771219 A CN202110771219 A CN 202110771219A CN 113627477 B CN113627477 B CN 113627477B
Authority
CN
China
Prior art keywords
attribute
attention
vehicle
model
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110771219.1A
Other languages
English (en)
Other versions
CN113627477A (zh
Inventor
李开
邹复好
方皓成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Meitong Technology Co ltd
Original Assignee
Wuhan Meitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Meitong Technology Co ltd filed Critical Wuhan Meitong Technology Co ltd
Priority to CN202110771219.1A priority Critical patent/CN113627477B/zh
Publication of CN113627477A publication Critical patent/CN113627477A/zh
Application granted granted Critical
Publication of CN113627477B publication Critical patent/CN113627477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种车辆多属性识别方法及系统，该方法包括：创建多个单属性识别模型，每个所述单属性识别模型用于对车辆的一种属性进行识别；采用所述单属性识别模型对收集的样本车辆图像进行预标注，并基于预标注的所述样本车辆图像进行模型训练，获取训练好的多属性识别模型；采用所述多属性识别模型对待识别车辆图像进行识别，获取所述多属性识别模型输出的识别结果，所述识别结果包括多个车辆属性。本发明实施例使用开源数据进行单任务模型训练，完成真实场景采集数据的预标注功能，降低人工标注数据负担；使用统一框架完成车辆多种属性识别，简化属性识别结构，降低计算开销，提升车辆信息识别效率。

Description

车辆多属性识别方法及系统
技术领域
本发明涉及图像识别领域，更具体地，涉及一种车辆多属性识别方法及系统。
背景技术
随着机器学习，深度学习的广泛应用，人工智能技术在生产生活中扮演着越来越重要的角色，其涉及的图像识别、图像处理、语音识别及自然语言处理技术等不断涌现新的科研技术成果，如今仍具有重要的分析与研究价值。
一般，利用拍摄的监控图像可以辅助交管部门对道路车辆进行管理，早期道路车辆密度小，更多使用车牌信息对道路车辆进行标识。虽然车牌识别是最简单确认车辆身份的方法，但随着车辆数据增长，车型及场景复杂度增大，单独依靠车牌很难对车辆进行识别，因此需要更多维度的车辆信息，例如车辆的车型、品牌型号和颜色等，实现机动车辆的多维度数据分析、多特征查询、分类检索和交叉比对等重要功能。目前，很多车辆多属性识别方法使用经典网络对车辆图像进行分类学习，其中：
基于卷积网络设计，主要进行图像特征提取。对于计算机来说，图像仅作为数字化RGB图像，并不能从中得到预测信息。因此，基于图像的RGB信息进行建模十分重要，目的是从复杂信息中取关键信息用于后续预测任务。卷积网络使用卷积核对图像进行处理，提取图像抽象信息，用于后续特征学习与分类。基于卷积网络进行特征学习虽然能够提取优质的图像信息，但其提取了整张图像的特征，包括环境背景及其他目标等非属性相关信息，这些特征信息反而会降低后续属性识别的精度。
基于特定功能目标设计，用于单任务单输出模式。单任务输出模式可以在特征提取过程中，充分提取目标特征信息，实现准确的特征分类。但是，如果对于同一目标不同属性识别任务，其提取特征均为同一目标特征信息，使用三组网络提取三次特征浪费了系统计算资源。
发明内容
为了解决上述问题，本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的车辆多属性识别方法及系统。
根据本发明实施例的第一方面，提供一种车辆多属性识别方法，该方法包括：创建多个单属性识别模型，每个所述单属性识别模型用于对车辆的一种属性进行识别；采用所述单属性识别模型对收集的样本车辆图像进行预标注，并基于预标注的所述样本车辆图像进行模型训练，获取训练好的多属性识别模型；采用所述多属性识别模型对待识别车辆图像进行识别，获取所述多属性识别模型输出的识别结果，所述识别结果包括多个车辆属性。
根据本发明实施例第二方面，提供了一种车辆多属性识别系统，该系统包括：创建模块，用于创建多个单属性识别模型，每个所述单属性识别模型用于对车辆的一种属性进行识别；标注模块，用于采用所述单属性识别模型对收集的样本车辆图像进行预标注，并基于预标注的所述样本车辆图像进行模型训练，获取训练好的多属性识别模型；识别模块，用于采用所述多属性识别模型对待识别车辆图像进行识别，获取所述多属性识别模型输出的识别结果，所述识别结果包括多个车辆属性。
根据本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的车辆多属性识别方法。
根据本发明实施例的第四方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面的各种可能的实现方式中任一种可能的实现方式所提供的车辆多属性识别方法。
本发明实施例提供的车辆多属性识别方法及系统，与现有的技术相比具有以下优点：使用开源数据进行单任务模型训练，完成真实场景采集数据的预标注功能，降低人工标注数据负担；使用统一框架完成车辆多种属性识别，简化属性识别结构，降低计算开销，提升车辆信息识别效率；使用了注意力机制进行图像特征学习，优化特征表现形式，提升细粒度属性识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1为本发明另一实施例提供的车辆多属性识别方法的流程示意图；
图2为本发明实施例提供的采集开源数据集的车辆图像；
图3为本发明实施例提供的采集实际场景下的车辆图像；
图4为本发明实施例提供的车辆姿态颜色关注车辆区域热力图；
图5为本发明实施例提供的车辆品牌型号关注车辆区域热力图；
图6为本发明实施例提供的识别车辆图像多属性信息输出结果；
图7为本发明实施例提供的车辆多属性识别方法的流程示意图；
图8为本发明实施例提供的车辆多属性识别系统的结构示意图；
图9为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对现有技术中存在的上述问题，本发明实施例提供一种车辆多属性识别方法，参见图1和7，该方法包括但不限于如下步骤：
步骤101、创建多个单属性识别模型，每个所述单属性识别模型用于对车辆的一种属性进行识别。
具体地，首先，收集车辆属性识别相关的多种开源数据集，每种所述开源数据集包括包含一种属性标签的数据集。接着，基于搭建的单属性学习网络，分别使用对应有不同属性标签的数据集对所述学习网络进行模型训练，获得用于对所述属性进行识别的单属性识别模型。其中，开源数据集包括包含车辆姿态属性标签的第一数据集和包含车辆颜色标签的第二数据集；相应地，所述单属性识别模型包括用于对车辆姿态属性进行识别的第一单属性识别模型和用于对车辆颜色进行识别的第二单属性识别模型。
本实施例中，首先，收集车辆属性识别相关的开源数据集，包括包含车辆姿态属性标签的CompCars数据集，包含车辆颜色标签的VeRI数据集。然后，基于VGG16搭建两个单任务学习网络，分别用于车辆姿态和颜色识别模型训练。
应当说明的是，实际场景中搜集的数据为非标签数据，不能直接用于网络模型的训练，可通过两种方式对数据进行标注。一种为人工直接标注，精度高但效率低；另一种是借助预训练模型对数据先进行预标注，再人工对判定度低的数据进行重标注，效率相对较高。
由于实际场景的数据量大，为提升标注工作的工作效率，使用单任务网络对部分属性标签进行预标注。以VGG-16作为主干网络，设计两种图像分类模型，使用开源数据训练，分别完成车辆的颜色，姿态识别，实现训练样本预标注。
步骤102、采用所述单属性识别模型对收集的样本车辆图像进行预标注，并基于预标注的所述样本车辆图像进行模型训练，获取训练好的多属性识别模型。
具体地，本步骤中，使用CompCars数据集训练车辆姿态单任务识别网络，使用VeRI数据集训练车辆颜色单任务识别网络。得到的两种属性模型可对车辆图像的颜色姿态进行预测。两个属性模型可实现对图像的预标注任务，使用颜色识别模型预测车辆图像颜色，使用姿态识别模型预测车辆图像姿态。
在一种可能的实施例方式中，采用所述单属性识别模型对收集的样本车辆图像进行预标注之前，还包括：收集不同环境条件下的视频数据，所述环境条件包括地点、时段、天气、视角和光照中的至少一种；获取所述视频数据中的所述样本车辆图像。
具体地，首先，在不同街道，以不同时段、不同天气、不同视角、不同光照条件下拍摄视频，每段持续时间不少于10小时。对收集的视频数据进行抽帧并截取出图片中车辆图像，保证总数量不少于80万张；然后，随机选取25％数据作为训练样本。
应当说明的是，真实场景数据最能反映车辆属性识别技术的应用环境，为了使训练的识别模型具有良好的泛化性，需要广泛收集不同场景下的真实场景数据。对于同一数据采集地点，不同拍摄视角、时段、天气等场景可以增强模型的抗干扰性，提升模型鲁棒性。
在一种可能的实施例方式中，基于预标注的所述样本车辆图像进行模型训练，包括：对所述样本车辆图像进行另一种属性标签的人工标注；基于预标注的所述样本车辆图像和/或所述人工标注的所述样本车辆图像进行模型训练。
在一种可能的实施例方式中，所述另一种属性标签包括车辆品牌。
具体地，可对数据进行车辆品牌型号人工标注。
另外，使用训练好的车辆颜色姿态单属性模型对数据进行颜色、姿态属性标注。之后进行人工筛查，对明显错误的预标注标签进行修改。最终训练样本数据拥有颜色、姿态、品牌型号三种属性标签。
基于上述实施例的内容，在一种可能的实施例方式中，所述基于预标注的所述样本车辆图像进行模型训练，包括：搭建多属性模型特征提取网络；采用单层卷积搭建两个注意力模块，并使用卷积核对特征进行卷积运算，获取各特征图各区域对识别任务的贡献度，得到注意力区域；使用注意力图组结合提取的图像特征得到区域注意力特征；搭建多组全连接网络，每一组所述全连接网络用于对一种属性进行特征分类。
具体地，搭建多任务识别卷积网路以及训练卷积网络可进一步包括如下步骤：
(1)使用ResNet-50搭建多任务识别模型特征提取网络。ResNet用于对输入图像进行特征提取。该模型定义为Res(·)，表示ResNet特征提取过程，该阶段有f＝Res(x)。其中x定义为输入图像，f定义为提取的特征。
(2)使用单层卷积搭建两个注意力模块，使用1×1卷积核对特征进行卷积运算，计算各特征图各区域对识别任务的贡献度，得到注意力区域。两个注意力模块分别命名为Attention1和Attention2。注意力模块对特征进行计算，得到两个注意力图组，该阶段表示为A1＝Attention1(f)和A2＝Attention2(f)，A1和A2表示两个注意力图组。
(3)使用注意力图组结合提取的图像特征得到区域注意力特征。该阶段使用注意力图组中的每一张注意力图同特征进行哈德曼矩阵乘法，表示为这里每组注意力图共有m张。将所有合并得到完整区域特征fA。由于使用了两个注意力图组，因此生成两个区域特征和
(4)搭建三组全连接网络，分别用于特征分类，命名为FC1、FC2和FC3。其中FC1将注意力特征分为5类，表示为车辆的5种姿态，分别为正面、背面、侧面、前侧面及后侧面；FC2将注意力特征分为8类，分别表示车辆黑色、蓝色、棕色、银色、红色、白色及黄色；FC3将注意力特征分为N类，表示不同品牌型号的车辆。FC1和FC2对进行分类，FC3对进行分类，有
(5)P1、P2和P3为概率序列，表示各个类别下预测属性标签的概率，有Pk＝{p1,p2,…,pnk}，其中k∈{1,2,3}，nk表示第k个属性标签的数量，车辆姿态标签数量为5，颜色标签数量为8，品牌型号标签数量为n。对于这组概率序列，满足
(6)构建模型训练损失函数。使用交叉熵进行分类损失计算，表示为其中，y1、y2、y3分别表示车辆姿态、颜色及品牌型号的真实标签。
(7)设置训练参数。根据模型训练的硬件环境，对学习率，BatchSize等参数进行设置。
(8)使用标注好的车辆多属性数据对模型进行训练。将用于训练的车辆图像调整为448*448，根据训练参数对网络进行迭代训练，直到Loss值下降到稳定值。
应当说明的是，传统经典卷积网络通常完成一组分类任务，为了控制模型运算时间及部署资源开销，使用分支设计完成单输入多输出模型。本发明实施例使用ResNet对车辆图像进行特征提取，提取的深度特征将用于车辆颜色、姿态及品牌型号属性分类。
本发明实施例引入两个注意力模块分别对提取的全局特征进行处理。注意力模块一方面可以强化对特征图中具有判别性区域的学习，一方面可以减少背景等噪音因素干扰。参照图4和图5，车辆颜色和姿态学习关注车体框架及外壳区域，车辆品牌型号学习关注车辆的头部、车标、车灯及轮胎等区域。使用注意力模块后，特征学习过程会根据属性分类需求对关键区域进行对焦，强化区域性特征学习。同时，注意力模块关注目标属性相关区域，降低网络对背景区域特征的学习，提升网络鲁棒性和抗干扰能力。
引入注意力机制对于车辆品牌型号属性学习尤为重要。车辆品牌型号属于细粒度属性，其标签数量大，区分度要求高，传统基于全局特征的学习方法不能达到很好的效果，因此需要使用注意力模块对特征学习进行优化。
步骤103、采用所述多属性识别模型对待识别车辆图像进行识别，获取所述多属性识别模型输出的识别结果，所述识别结果包括多个车辆属性。
具体地，使用训练好的多属性识别模型进行车辆属性识别。将车辆图像输入至多任务学习网络，完成P1、P2和P3三个值预测。P1、P2和P3均为概率序列，取概率值最高的索引值作为识别结果，有dk＝argmax(Pk)，k∈{1,2,3}。argmax(·)表示获取概率序列最大值元素的序号。根据dk查询标签字典，获得车辆图像多属性识别结果。将识别结果打印在图像中，得到识别结果，如图6所示。
应当说明的是，本发明实施例训练的模型可用于实际场景，将道路拍摄的车辆图像进行尺寸调整，之后送入卷积网络进行属性预测。网络得到三组预测概率序列，根据标签字典及预测概率最大值得到属性结果，完成识别任务。
本发明实施例提供的车辆多属性识别方法，与现有的技术相比具有以下优点：使用开源数据进行单任务模型训练，完成真实场景采集数据的预标注功能，降低人工标注数据负担；使用统一框架完成车辆多种属性识别，简化属性识别结构，降低计算开销，提升车辆信息识别效率；使用了注意力机制进行图像特征学习，优化特征表现形式，提升细粒度属性识别精度。
在一种可能的实施例方式中，本发明实施例提供了一种车辆多属性识别系统，该车辆多属性识别系统用于执行上述方法实施例中的车辆多属性识别方法。参见图8，该系统包括：创建模块301，用于创建多个单属性识别模型，每个所述单属性识别模型用于对车辆的一种属性进行识别；标注模块302，用于采用所述单属性识别模型对收集的样本车辆图像进行预标注，并基于预标注的所述样本车辆图像进行模型训练，获取训练好的多属性识别模型；识别模块303，用于采用所述多属性识别模型对待识别车辆图像进行识别，获取所述多属性识别模型输出的识别结果，所述识别结果包括多个车辆属性。
本发明实施例提供了一种电子设备，如图9所示，该设备包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503上并可在处理器501上运行的计算机程序，以执行上述各实施例提供的车辆多属性识别方法，例如包括：创建多个单属性识别模型，每个所述单属性识别模型用于对车辆的一种属性进行识别；采用所述单属性识别模型对收集的样本车辆图像进行预标注，并基于预标注的所述样本车辆图像进行模型训练，获取训练好的多属性识别模型；采用所述多属性识别模型对待识别车辆图像进行识别，获取所述多属性识别模型输出的识别结果，所述识别结果包括多个车辆属性。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的车辆多属性识别方法，例如包括：创建多个单属性识别模型，每个所述单属性识别模型用于对车辆的一种属性进行识别；采用所述单属性识别模型对收集的样本车辆图像进行预标注，并基于预标注的所述样本车辆图像进行模型训练，获取训练好的多属性识别模型；采用所述多属性识别模型对待识别车辆图像进行识别，获取所述多属性识别模型输出的识别结果，所述识别结果包括多个车辆属性。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (8)

1.一种车辆多属性识别方法，其特征在于，包括：
创建多个单属性识别模型，每个所述单属性识别模型用于对车辆的一种属性进行识别；
采用所述单属性识别模型对收集的样本车辆图像进行预标注，并基于预标注的所述样本车辆图像进行模型训练，获取训练好的多属性识别模型；
采用所述多属性识别模型对待识别车辆图像进行识别，获取所述多属性识别模型输出的识别结果，所述识别结果包括多个车辆属性；
所述创建多个单属性识别模型，包括：
收集车辆属性识别相关的多种开源数据集，每种所述开源数据集包括包含一种属性标签的数据集；
基于搭建的单属性学习网络，分别使用对应有不同属性标签的数据集对所述学习网络进行模型训练，获得用于对所述属性进行识别的单属性识别模型；
所述基于预标注的所述样本车辆图像进行模型训练，包括：
搭建多属性模型特征提取网络；
采用单层卷积搭建两个注意力模块，并使用卷积核对特征进行卷积运算，获取各特征图各区域对识别任务的贡献度，得到注意力区域；
使用注意力图组结合提取的图像特征得到区域注意力特征；
搭建多组全连接网络，每一组所述全连接网络用于对一种属性进行特征分类；
其中，所述搭建多属性模型特征提取网络，包括：
使用ResNet-50搭建多任务识别模型特征提取网络，ResNet用于对输入图像进行特征提取，该模型定义为Res(·)，表示ResNet特征提取过程，该阶段有f＝Res(x)，其中x定义为输入图像，f定义为提取的特征；
所述采用单层卷积搭建两个注意力模块，包括：
使用1×1卷积核对特征进行卷积运算，计算各特征图各区域对识别任务的贡献度，得到注意力区域，两个注意力模块分别命名为Attention1和Attention2，注意力模块对特征进行计算，得到两个注意力图组，该阶段表示为A1＝Attention1(f)和A2＝Attention2(f)，A1和A2表示两个注意力图组；
所述使用注意力图组结合提取的图像特征得到区域注意力特征，包括：
使用注意力图组中的每一张注意力图同特征进行哈德曼矩阵乘法，表示为这里每组注意力图共有m张，将所有合并得到完整区域特征fA，由于使用了两个注意力图组，因此生成两个区域特征和
所述搭建多组全连接网络，每一组所述全连接网络用于对一种属性进行特征分类，包括：
搭建三组全连接网络，分别用于特征分类，命名为FC1、FC2和FC3，其中FC1将注意力特征分为5类，表示为车辆的5种姿态，分别为正面、背面、侧面、前侧面及后侧面；FC2将注意力特征分为8类，分别表示车辆黑色、蓝色、棕色、银色、红色、白色及黄色；FC3将注意力特征分为N类，表示不同品牌型号的车辆，FC1和FC2对进行分类，FC3对进行分类。
2.根据权利要求1所述的方法，其特征在于，所述开源数据集包括包含车辆姿态属性标签的第一数据集和包含车辆颜色标签的第二数据集；
相应地，所述单属性识别模型包括用于对车辆姿态属性进行识别的第一单属性识别模型和用于对车辆颜色进行识别的第二单属性识别模型。
3.根据权利要求1所述的方法，其特征在于，采用所述单属性识别模型对收集的样本车辆图像进行预标注之前，还包括：
收集不同环境条件下的视频数据，所述环境条件包括地点、时段、天气、视角和光照中的至少一种；
获取所述视频数据中的所述样本车辆图像。
4.根据权利要求3所述的方法，其特征在于，基于预标注的所述样本车辆图像进行模型训练，包括：
对所述样本车辆图像进行另一种属性标签的人工标注；
基于预标注的所述样本车辆图像和/或所述人工标注的所述样本车辆图像进行模型训练。
5.根据权利要求4所述的方法，其特征在于，所述另一种属性标签包括车辆品牌。
6.一种车辆多属性识别系统，其特征在于，包括：
创建模块，用于创建多个单属性识别模型，每个所述单属性识别模型用于对车辆的一种属性进行识别；
标注模块，用于采用所述单属性识别模型对收集的样本车辆图像进行预标注，并基于预标注的所述样本车辆图像进行模型训练，获取训练好的多属性识别模型；
识别模块，用于采用所述多属性识别模型对待识别车辆图像进行识别，获取所述多属性识别模型输出的识别结果，所述识别结果包括多个车辆属性；
所述创建模块，还用于收集车辆属性识别相关的多种开源数据集，每种所述开源数据集包括包含一种属性标签的数据集；
所述创建模块，还用于基于搭建的单属性学习网络，分别使用对应有不同属性标签的数据集对所述学习网络进行模型训练，获得用于对所述属性进行识别的单属性识别模型；
所述基于预标注的所述样本车辆图像进行模型训练，包括：
搭建多属性模型特征提取网络；
采用单层卷积搭建两个注意力模块，并使用卷积核对特征进行卷积运算，获取各特征图各区域对识别任务的贡献度，得到注意力区域；
使用注意力图组结合提取的图像特征得到区域注意力特征；
搭建多组全连接网络，每一组所述全连接网络用于对一种属性进行特征分类；
其中，所述搭建多属性模型特征提取网络，包括：
使用ResNet-50搭建多任务识别模型特征提取网络，ResNet用于对输入图像进行特征提取，该模型定义为Res(·)，表示ResNet特征提取过程，该阶段有f＝Res(x)，其中x定义为输入图像，f定义为提取的特征；
所述采用单层卷积搭建两个注意力模块，包括：
使用1×1卷积核对特征进行卷积运算，计算各特征图各区域对识别任务的贡献度，得到注意力区域，两个注意力模块分别命名为Attetion1和Attetion2，注意力模块对特征进行计算，得到两个注意力图组，该阶段表示为A1＝Attention1(f)和A2＝Attention2(f)，A1和A2表示两个注意力图组；
所述使用注意力图组结合提取的图像特征得到区域注意力特征，包括：
使用注意力图组中的每一张注意力图同特征进行哈德曼矩阵乘法，表示为这里每组注意力图共有m张，将所有合并得到完整区域特征fA，由于使用了两个注意力图组，因此生成两个区域特征和
所述搭建多组全连接网络，每一组所述全连接网络用于对一种属性进行特征分类，包括：
搭建三组全连接网络，分别用于特征分类，命名为FC1、FC2和FC3，其中FC1将注意力特征分为5类，表示为车辆的5种姿态，分别为正面、背面、侧面、前侧面及后侧面；FC2将注意力特征分为8类，分别表示车辆黑色、蓝色、棕色、银色、红色、白色及黄色；FC3将注意力特征分为N类，表示不同品牌型号的车辆，FC1和FC2对进行分类，FC3对进行分类。
7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述车辆多属性识别方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述车辆多属性识别方法的步骤。
CN202110771219.1A 2021-07-07 2021-07-07 车辆多属性识别方法及系统 Active CN113627477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110771219.1A CN113627477B (zh) 2021-07-07 2021-07-07 车辆多属性识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110771219.1A CN113627477B (zh) 2021-07-07 2021-07-07 车辆多属性识别方法及系统

Publications (2)

Publication Number Publication Date
CN113627477A CN113627477A (zh) 2021-11-09
CN113627477B true CN113627477B (zh) 2024-08-09

Family

ID=78379291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110771219.1A Active CN113627477B (zh) 2021-07-07 2021-07-07 车辆多属性识别方法及系统

Country Status (1)

Country Link
CN (1) CN113627477B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963238A (zh) * 2021-12-22 2022-01-21 深圳佑驾创新科技有限公司 多任务感知识别模型的构建方法以及多任务感知识别方法
CN115131768A (zh) * 2022-04-29 2022-09-30 浙江大华技术股份有限公司 车辆属性识别网络的训练方法、车辆属性识别方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569856A (zh) * 2018-08-24 2019-12-13 阿里巴巴集团控股有限公司 样本标注方法及装置、损伤类别的识别方法及装置
CN112434683A (zh) * 2021-01-27 2021-03-02 中国科学院自动化研究所 基于注意力机制的行人属性识别方法、系统、装置
CN112862856A (zh) * 2019-11-27 2021-05-28 深圳市丰驰顺行信息技术有限公司 违停车辆的识别方法、装置、设备及计算机可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296785B1 (en) * 2017-07-24 2019-05-21 State Farm Mutual Automobile Insurance Company Apparatuses, systems, and methods for vehicle operator gesture recognition and transmission of related gesture data
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN110334743B (zh) * 2019-06-10 2021-05-04 浙江大学 一种基于卷积长短时记忆网络的渐进迁移学习方法
CN110400015B (zh) * 2019-07-25 2023-05-23 腾讯科技（深圳）有限公司 一种时间估计方法及其装置、设备
CN110543841A (zh) * 2019-08-21 2019-12-06 中科视语(北京)科技有限公司 行人重识别方法、系统、电子设备及介质
CN111079602B (zh) * 2019-12-06 2024-02-09 长沙千视通智能科技有限公司 基于多尺度区域特征约束的车辆细粒度识别方法及装置
CN111079640B (zh) * 2019-12-09 2022-03-29 合肥工业大学 一种基于自动扩增样本的车型识别方法及系统
CN111291812B (zh) * 2020-02-11 2023-10-17 浙江大华技术股份有限公司 属性类别的获取方法及装置、存储介质、电子装置
CN111597870B (zh) * 2020-03-26 2022-05-03 中国电子科技集团公司第五十二研究所 一种基于注意力机制与多任务学习的人体属性识别方法
CN111754784B (zh) * 2020-06-23 2022-05-24 高新兴科技集团股份有限公司 基于注意力机制的多层网络的车辆主子品牌识别方法
CN111898431B (zh) * 2020-06-24 2022-07-26 南京邮电大学 一种基于注意力机制部件遮挡的行人再识别方法
CN111914911B (zh) * 2020-07-16 2022-04-08 桂林电子科技大学 一种基于改进深度相对距离学习模型的车辆再识别方法
CN111881958B (zh) * 2020-07-17 2024-01-19 上海东普信息科技有限公司 车牌分类识别方法、装置、设备及存储介质
CN112418261B (zh) * 2020-09-17 2022-05-03 电子科技大学 一种基于先验原型注意力机制的人体图像多属性分类方法
CN112383824A (zh) * 2020-10-10 2021-02-19 网宿科技股份有限公司 视频广告过滤方法、设备及存储介质
CN112270174B (zh) * 2020-11-10 2022-04-29 清华大学深圳国际研究生院 一种谣言检测方法及计算机可读存储介质
CN112259228B (zh) * 2020-11-12 2023-06-02 湖北理工学院 一种动态注意力网络非负矩阵分解的抑郁症筛选方法
CN112508078B (zh) * 2020-12-02 2024-06-14 携程旅游信息技术（上海）有限公司 图像多任务多标签识别方法、系统、设备及介质
CN112465827B (zh) * 2020-12-09 2022-07-26 北京航空航天大学 一种基于逐类卷积操作的轮廓感知多器官分割网络构建方法
CN112580569B (zh) * 2020-12-25 2023-06-09 山东旗帜信息有限公司 一种基于多维特征的车辆重识别方法及装置
CN112949565B (zh) * 2021-03-25 2022-06-03 重庆邮电大学 基于注意力机制的单样本部分遮挡人脸识别方法及系统
CN112966673B (zh) * 2021-05-19 2021-07-23 南京视察者智能科技有限公司 一种行人重识别模型的构建方法及行人重识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569856A (zh) * 2018-08-24 2019-12-13 阿里巴巴集团控股有限公司 样本标注方法及装置、损伤类别的识别方法及装置
CN112862856A (zh) * 2019-11-27 2021-05-28 深圳市丰驰顺行信息技术有限公司 违停车辆的识别方法、装置、设备及计算机可读存储介质
CN112434683A (zh) * 2021-01-27 2021-03-02 中国科学院自动化研究所 基于注意力机制的行人属性识别方法、系统、装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"基于Faster R-CNN的车辆多属性识别";阮航等;《计算机技术与发展》;20181031;第28卷(第10期);第131页第2.2节和第132-133页第3节 *
"基于深度学习的车辆识别系统关键技术研究";方皓成;《中国优秀硕士学位论文全文数据库》;20230131(第1期);第1-96页 *

Also Published As

Publication number Publication date
CN113627477A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN109902806B (zh) 基于卷积神经网络的噪声图像目标边界框确定方法
CN108197326B (zh) 一种车辆检索方法及装置、电子设备、存储介质
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和系统
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN107239730B (zh) 智能汽车交通标志识别的四元数深度神经网络模型方法
CN110033007B (zh) 基于深度姿态预估和多特征融合的行人衣着属性识别方法
CN111767927A (zh) 一种基于全卷积网络的轻量级车牌识别方法及系统
Bhunia et al. Text recognition in scene image and video frame using color channel selection
CN110163069B (zh) 用于辅助驾驶的车道线检测方法
CN106845487A (zh) 一种端到端的车牌识别方法
CN105956626A (zh) 基于深度学习的对车牌位置不敏感的车牌识别方法
CN106650690A (zh) 基于深度卷积‑反卷积神经网络的夜视图像场景识别方法
CN108647595B (zh) 基于多属性深度特征的车辆重识别方法
CN113627477B (zh) 车辆多属性识别方法及系统
CN112990282B (zh) 一种细粒度小样本图像的分类方法及装置
Alshamsi et al. Real time facial expression recognition app development on mobile phones
CN108416795B (zh) 基于排序池化融合空间特征的视频动作识别方法
CN113177528B (zh) 基于多任务学习策略训练网络模型的车牌识别方法及系统
CN112364791B (zh) 一种基于生成对抗网络的行人重识别方法和系统
CN109993806A (zh) 一种颜色识别方法、装置及电子设备
Sathya et al. Perspective vehicle license plate transformation using deep neural network on genesis of CPNet
CN115100469A (zh) 一种基于分割算法的目标属性识别方法、训练方法和装置
CN118230354A (zh) 一种基于改进YOLOv5的复杂场景下手语识别方法
CN111401360B (zh) 优化车牌检测模型的方法及系统、车牌检测方法及系统
CN111914772A (zh) 识别年龄的方法、年龄识别模型的训练方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant