CN112966709B - 一种基于深度学习的精细车型识别方法及系统 - Google Patents

一种基于深度学习的精细车型识别方法及系统 Download PDF

Info

Publication number
CN112966709B
CN112966709B CN202110112292.8A CN202110112292A CN112966709B CN 112966709 B CN112966709 B CN 112966709B CN 202110112292 A CN202110112292 A CN 202110112292A CN 112966709 B CN112966709 B CN 112966709B
Authority
CN
China
Prior art keywords
vehicle
image
training
network
vehicle type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110112292.8A
Other languages
English (en)
Other versions
CN112966709A (zh
Inventor
汪洋旭
廖欢
张招亮
刘后标
唐文杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronics Import And Export Co ltd
Original Assignee
China Electronics Import And Export Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronics Import And Export Co ltd filed Critical China Electronics Import And Export Co ltd
Priority to CN202110112292.8A priority Critical patent/CN112966709B/zh
Publication of CN112966709A publication Critical patent/CN112966709A/zh
Application granted granted Critical
Publication of CN112966709B publication Critical patent/CN112966709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的精细车型识别方法及系统。该方法从车辆视频流数据中抽取视频帧，检测视频帧中的车辆并提取车辆图像；将车辆图像输入训练完成的引入注意力训练机制的深度卷积神经网络，输出精细车型识别结果。所述深度卷积神经网络包括主干特征提取网络、特征表达层、注意力特征提取分支网络、分类损失层；训练过程包括车型正常‑随机打乱图像对训练、多元组车辆图像对训练；使用的损失函数包括Softmax分类损失、多元组分类损失、分支网络重构损失。本发明基于注意力机制能够自主学习不同车型间的区分性特征，能够有效提升现有基于深度学习方法的车型识别模型的车型识别准确率，实现针对大量实际车型的精细车型识别需求。

Description

一种基于深度学习的精细车型识别方法及系统
技术领域
本发明属于信息技术、车型识别技术领域，具体涉及一种基于深度学习的精细车型识别方法及系统。
背景技术
随着国民经济的飞速发展和城市规模的不断扩大，到2019年中国汽车持有数量已经达到3.4亿辆，且汽车拥有量超过百万的城市数量正不断增加。目前，仅依靠车牌识别已不能满足智慧城市、智慧交通、智能安防等领域对车辆智能感知的需要。车型精细识别能够基于车辆外观属性对车辆所属具体车型进行快速、准确判断，对于健身智能交通、安全城市具有重要意义。
传统车型识别方法存在对车型识别精度不高的问题，无法适应实际应用场景中对数千种具体车型的精细识别需求。例如：传统机器学习方法，如贝叶斯算法、支持向量机算法、决策树分类等，需要人工提取和选择车辆外观属性特征，特征工程工作量大且人工干涉多，需要大量先验经验，且算法模型泛化能力低下，难适应实际应用场景，识别准确率低。现有的深度学习方法，基于主流识别网络训练分类模型，如VGG，GoogleNet，ResNet等，提取车辆图像特征，训练车型识别网络；缺点是随着车型数量增加，模型难以学习到区分相似车型的细粒度特征，识别准确率受限，难以满足对车型精细识别要求。
发明内容
本发明提供一种基于深度学习的精细车型识别方法及系统，可以针对现实场景中存在的海量车型进行较准确的精细识别，针对解决的技术问题是：传统机器学习方法对车型识别准确率不高，现有深度学习方法对相似车型识别准确率受限等问题。
本发明采用的技术方案如下：
一种基于深度学习的精细车型识别方法，包括以下步骤：
从车辆视频流数据中抽取视频帧，检测视频帧中的车辆并提取车辆图像；
将车辆图像输入训练完成的引入注意力训练机制的深度卷积神经网络，输出精细车型识别结果。
进一步地，所述引入注意力训练机制的深度卷积神经网络包括：主干特征提取网络，特征表达层，注意力特征提取分支网络，分类损失层；主干特征提取网络连接特征表达层，特征表达层分别连接注意力特征提取分支网络和分类损失层；
所述主干特征提取网络用于自动从输入车辆图像提取识别特征用于分类器分类；
所述注意力特征提取分支网络用于在训练过程中修正主干特征提取网络学习到的图像特征，使其注意力集中于对车型鉴别有实际帮助的图像块，增强对相似车型的识别能力；
所述特征表达层用于对主干特征提取网络提取的车辆特征的进一步提取表达；
所述分类损失层用于根据网络最终的输出特征对图像进行分类，以及在训练过程中进行损失计算和梯度回传。
进一步地，所述引入注意力训练机制的深度卷积神经网络，其训练过程包括：车型正常-随机打乱图像对训练，多元组车辆图像对训练；
所述车型正常-随机打乱图像对训练用于训练注意力特征提取分支网络，每次输入车辆原始图像及其对应随机打乱图像组成的训练图像对，该图像对用于训练注意力特征提取分支网络使其学习对鉴别原图像有效的局部图像块信息，从而使注意力特征提取分支网络提取的特征具有更强的车型外观细节识别能力；
所述多元组车辆图像对训练用于在训练车型分类任务过程中对车型进行更精细的车辆图像对划分以增加类间区分度，在Softmax分类损失基础上利用车型类别的层次结构构建多元组分类损失来指导监督神经网络的训练。
进一步地，所述多元组车辆图像对训练，包括：对车型数据分别进行不同粒度的分组，粗粒度分组针对车型大类对数据进行划分，精细分组针对不同品牌-车型-年款对车型数据进行精细划分；通过使用多元组分类损失进行训练，使得不同类型车辆损失>相同类型不同品牌年款车辆损失>相同类型相同品牌年款车辆损失，从而学习语义信息更丰富的特征表示，增强网络模型对不同车型间的识别能力。
进一步地，所述引入注意力训练机制的深度卷积神经网络，其训练过程使用的损失函数包括：Softmax分类损失，多元组分类损失，分支网络重构损失；
所述Softmax分类损失使用交叉熵损失计算；
所述多元组分类损失其构建方式为：que,pos为同属于相同品牌相同年款的车型图像，que,neg1为属于相同类型但不同品牌年款的车型图像，que,neg2为属于不同类型的车型图像，四元组损失基于que与pos,neg1,neg2间图像相似性依次降低原则构建，训练时传入网络<que,pos,neg1,neg2>四元图像组且使得不同类型车辆图像距离大于相同类型不同品牌年款车辆距离，且相同类型不同品牌年款车辆距离大于相同类型相同品牌年款车辆距离；
所述分支网络重构损失基于车型正常-随机打乱图像对构建，使用打乱后的图像块排列顺序作为监督目标训练注意力特征提取分支网络的特征，损失函数使用交叉熵损失计算。
一种上述方法的基于深度学习的精细车型识别系统，其包括：
车辆检测模块，用于从车辆视频流数据中抽取视频帧，检测视频帧中的车辆并提取车辆图像；
车型识别模块，用于将车辆图像输入训练完成的引入注意力训练机制的深度卷积神经网络，输出精细车型识别结果。
本发明的有益效果如下：
本发明提出的一种基于深度卷积神经网络的车型精细识别方法和系统，基于注意力机制能够自主学习不同车型间的区分性特征，能够有效提升现有基于深度学习方法的车型识别模型的车型识别准确率，实现针对大量实际车型的精细车型识别需求；集成的精细车型识别系统方便快速部署和应用。
附图说明
图1是引入注意力训练机制的的深度卷积神经网络架构图。
图2是车型正常-随机打乱图像对训练示意图。
图3是多元组车辆图像对训练示意图。
图4是各损失函数示意图。
图5是精细车型识别系统的模块构成及工作流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。
本发明的主要内容包括：
1.提供一种引入注意力训练机制(引入注意力学习分支)的深度卷积神经网络架构用于精细车型识别，其包括：主干特征提取网络，特征表达层，注意力特征提取分支网络，分类损失层等；
2.提供一种用于训练精细车型识别网络的模型训练方法，其包括：车型正常-随机打乱图像对训练，用于训练注意力分支，增强模型对车型外观细节特征的识别能力；多元组车辆图像对训练，用于学习语义信息更丰富的特征表示，增强模型对不同车型间的识别能力；
3.构建了一种精细车型识别系统，其包括：车辆检测模块，车型识别模块等。
本发明的一种引入注意力训练机制的深度卷积神经网络架构，如图1所示，包括：主干特征提取网络，特征表达层，注意力特征提取分支网络，分类损失层：
所述主干特征提取网络可以选用现有任意高精度分类识别网络，如：VGG，GoogleNet，ResNet等，用于自动从输入车辆图像提取识别特征用于分类器分类。其通常包括：卷积层，池化层及其变种，激活函数层，全连接层等；
所述注意力特征提取分支网络作为分支附加在上述主干特征提取网络之上，用于在训练过程中修正主干特征提取网络学习到的图像特征，使其“注意力”集中于对车型鉴别有实际帮助的图像块(对应于不同车辆区域，如：车标，车灯等)，增强对相似车型的识别能力。其包括：卷积层，池化层，分支网络重构损失层；
所述特征表达层用于对主干特征提取网络提取的车辆特征的进一步提取表达，其包括：卷积层，池化层；
所述分类损失层用于根据网络最终的输出特征对图像进行分类，以及训练过程中进行损失计算和梯度回传。
本发明的一种用于训练精细车型识别网络的多元组训练方法，包括：车型正常-随机打乱图像对训练，多元组车辆图像对训练，以及对应损失函数设计。
上述车型正常-随机打乱图像对训练方法用于训练注意力特征提取分支网络，该方法每次输入车辆原始图像及其对应随机打乱图像组成的训练图像对，该图像对用于训练注意力特征提取分支网络使其学习对鉴别原图像有效的局部图像块(如：车灯，车标等图像块)信息，从而使注意力特征提取分支网络提取的特征具有更强的车型外观细节识别能力。如图2所示：原始输入图像划分为3x3图像块并随机打乱输入网络，其原始顺序记录为S＝<1,2,3,4,5,6,7,8,9>，打乱后顺序记录为T＝<3,7,1,8,2,5,9,4,6>，注意力特征提取分支网络用于学习由原始顺序S到乱序顺序T之间的特征映射，使模型注意力集中于对鉴别车型图像有效的图像块，并通过梯度反向传播优化精细车型识别网络特征。
上述多元组车辆图像对训练的目标在于训练车型分类任务过程中对车型进行更精细的车辆图像对(车辆图像对称为pair)划分以增加类间区分度，在传统Softmax分类损失基础上利用车型类别的层次结构构建更细致的多元组分类损失来指导监督神经网络的训练。如图3所示：对车型数据分别进行不同粒度的分组，粗粒度分组针对车型大类对数据进行划分，如：卡车，suv，巴士，轿车，摩托车等；精细分组针对不同品牌-车型-年款对车型数据进行精细划分。网络通过使用多元组分类损失函数训练，使得不同类型车辆损失>相同类型不同品牌年款车辆损失>相同类型相同品牌年款车辆损失，学习语义信息更丰富的特征表示，增强模型对不同车型间的识别能力。
本发明的用于训练精细车型识别网络的多元组训练方法在使用多元组车辆图像对训练的基础上结合正常-随机打乱图像对训练方式，用于学习对车型有区分度的特征表达以增强网络整体识别能力，并设计了对应的损失函数。
上述损失函数包括：Softmax分类损失，多元组分类损失，分支网络重构损失，如图4所示。所述Softmax分类损失其使用交叉熵损失计算。所述多元组分类损失其构建方式为：que,pos为同属于相同品牌相同年款的车型图像，que,neg1为属于相同类型但不同品牌年款的车型图像，que,neg2为属于不同类型的车型图像，四元组损失基于que与pos,neg1,neg2间图像相似性依次降低原则构建，训练时传入网络<que,pos,neg1,neg2>四元图像组且使得不同类型车辆图像距离大于相同类型不同品牌年款车辆距离，且相同类型不同品牌年款车辆距离大于相同类型相同品牌年款车辆距离。所述分支网络重构损失基于车型正常-随机打乱图像对构建，输入原始图像s训练主干特征提取网络，同时输入打乱图像t训练注意力特征提取分支网络，两者共享主干特征提取网络。使用打乱后图像块排列顺序T，如<3,7,1,8,2,5,9,4,6>作为监督目标训练注意力特征提取分支网络的特征，损失函数使用交叉熵损失计算。
本发明的一种精细车型识别系统，如图5所示，包括：车辆检测模块，车型识别模块。
所述车辆检测模块包括：视频帧抽取算法从车辆视频流数据中抽取视频图像帧用于车辆检测；车辆检测模块使用YOLO目标检测算法检测视频帧中车辆并提取车辆区域图像；随后对车辆图像进行后处理操作，如：尺寸变换，亮度变换等；处理后车辆图像传入车型识别模块进行识别。
所述车型识别模块使用上述引入注意力训练机制的深度卷积神经网络架构及多元组训练方法训练，其接收车辆检测模块输出的车辆图像进行识别并输出车型识别结果。
本发明的一个实施例中，所述一种基于深度学习的精细车型识别方法包括以下步骤：
1.对已有车型数据库中车型图像进行精细标注，每张车辆图像标注其细分车型(品牌-型号-年款)及其粗分车型(轿车，卡车，巴士，SUV，MPV，工程车辆，摩托车，人力车)形成车型训练数据集。
2.划分网络训练用多元组对，其具体过程为：
1>对当前选择车辆图像que，根据步骤1中数据标注信息分别选取与其相同细分车型任意车辆图像记为pos，选取与其相同粗分车型不同细分车型任意车辆图像记为neg1，选取与其不同粗分类型任意车辆图像记为neg2，上述过程组成四元组样本对<que，pos，neg1，neg2>；
2>在1>基础上对所选四元组<que，pos，neg1，neg2>对应车辆图像做随机分块打乱，其对应打乱后图像记为<que-r，pos-r，neg1-r，neg2-r>，将<que，pos，neg1，neg2>与<que-r，pos-r，neg1-r，neg2-r>合并作为训练样本对，其为一个八元组对。
上述随机分块打乱的具体过程为：根据图像输入大小将其划分为NxN网格，将网格中图像块随机打乱位置并组成新图像。
3.使用多元组对进行车型识别网络训练，其具体过程为：
1>所述多元组<que，pos，neg1，neg2，que-r，pos-r，neg1-r，neg2-r>输入网络，其中所有样本数据流通过主干网络进行前向计算并在Softmax分类器层根据损失函数计算误差并进行梯度反向传播；
2>特别地，<que-r，pos-r，neg1-r，neg2-r>打乱后图像样本数据流还通过分支网络进行前向计算，并在分支网络重构损失层使用其打乱后实际图像块排列顺序进行监督训练并进行梯度方向传播；
3>特别地，<que，pos，neg1，neg2>对应图像数据流还在中间的特征表达层使用四元组损失函数进行监督训练并进行梯度回传。
上述主干网络包括图1中的主干特征提取网络，特征表达层，分类损失层(Softmax分类器层)；上述主干特征提取网络可以选用现有任意高精度分类识别网络，如：VGG，GoogleNet，ResNet50/100等不做赘述；上述中间特征表达层包括：卷积层，池化层，BN层。
上述分支网络即图1中的注意力特征提取分支网络，包括：卷积层、BN层，其通过多层卷积操作将中间特征表达层输出的大小为MxM特征图映射为大小为NxN特征图，分支网络输出特征图大小与图像分块打乱过程中的NxN网格大小对应以便监督训练。
上述分支网络监督训练的具体过程为：使用打乱后实际图像块排列顺序(如：3x3网格对应<3,7,1,8,2,5,9,4,6>)监督分支网络实际输出特征(如：3x3维特征)训练，分支网络重构损失的损失函数采用交叉熵函数。
上述四元组损失函数使用特征间的平均误差绝对值计算，多元损失约束条件为：不同类型车辆损失>相同类型不同品牌年款车辆损失>相同类型相同品牌年款车辆损失。
4.通过反向传播算法持续训练直至网络收敛，收敛条件为：1>网络总损失足够小；2>网络实时测试车型精细分类准确率足够高。
特别地，可根据实际情况对步骤3中1>、2>、3>对应的损失函数进行加权。
上述训练完成后可将网络模型及参数打包为车型识别参数模型供系统调用。
本发明的一个实施例中，所述精细车型识别系统采用以下步骤进行车型识别：
1.分析视频流提取视频帧图像用于车辆检测；
2.使用YOLO系列目标检测算法实时检测视频帧中目标车辆并推送车辆图像；
3.车辆图像后处理，包括：图像减均值并处以方差、图像尺寸变换等；
4.处理后图像输入训练好的车型识别网络进行车型识别；
5.输出车型识别结果并推送至终端显示。
基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。
基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。
以上公开的本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (4)

1.一种基于深度学习的精细车型识别方法，其特征在于，包括以下步骤：
从车辆视频流数据中抽取视频帧，检测视频帧中的车辆并提取车辆图像；
将车辆图像输入训练完成的引入注意力训练机制的深度卷积神经网络，输出精细车型识别结果；
所述引入注意力训练机制的深度卷积神经网络包括：主干特征提取网络，特征表达层，注意力特征提取分支网络，分类损失层；主干特征提取网络连接特征表达层，特征表达层分别连接注意力特征提取分支网络和分类损失层；
所述主干特征提取网络用于自动从输入车辆图像提取识别特征用于分类器分类；
所述注意力特征提取分支网络用于在训练过程中修正主干特征提取网络学习到的图像特征，使其注意力集中于对车型鉴别有实际帮助的图像块，增强对相似车型的识别能力；
所述特征表达层用于对主干特征提取网络提取的车辆特征的进一步提取表达；
所述分类损失层用于根据网络最终的输出特征对图像进行分类，以及在训练过程中进行损失计算和梯度回传；
所述引入注意力训练机制的深度卷积神经网络，其训练过程包括：车型正常-随机打乱图像对训练，多元组车辆图像对训练；
所述车型正常-随机打乱图像对训练用于训练注意力特征提取分支网络，每次输入车辆原始图像及其对应随机打乱图像组成的训练图像对，该图像对用于训练注意力特征提取分支网络使其学习对鉴别原图像有效的局部图像块信息，从而使注意力特征提取分支网络提取的特征具有更强的车型外观细节识别能力；其中随机打乱的具体过程为：根据图像输入大小将其划分为网格，将网格中图像块随机打乱位置并组成新图像，即得到随机打乱图像；所述注意力特征提取分支网络输出的特征图大小与图像分块打乱过程中的网格大小对应以便监督训练；所述注意力特征提取分支网络用于学习由原始顺序S到乱序顺序T之间的特征映射，使模型注意力集中于对鉴别车型图像有效的图像块，并通过梯度反向传播优化精细车型识别网络特征；
所述多元组车辆图像对训练用于在训练车型分类任务过程中对车型进行更精细的车辆图像对划分以增加类间区分度，在Softmax分类损失基础上利用车型类别的层次结构构建多元组分类损失来指导监督神经网络的训练；
所述多元组车辆图像对训练，包括：对车型数据分别进行不同粒度的分组，粗粒度分组针对车型大类对数据进行划分，精细分组针对不同品牌-车型-年款对车型数据进行精细划分；通过使用多元组分类损失进行训练，使得不同类型车辆损失>相同类型不同品牌年款车辆损失>相同类型相同品牌年款车辆损失，从而学习语义信息更丰富的特征表示，增强网络模型对不同车型间的识别能力；
所述引入注意力训练机制的深度卷积神经网络，其训练过程使用的损失函数包括：Softmax分类损失，多元组分类损失，分支网络重构损失；
所述Softmax分类损失使用交叉熵损失计算；
所述多元组分类损失其构建方式为：que,pos为同属于相同品牌相同年款的车型图像，que,neg1为属于相同类型但不同品牌年款的车型图像，que,neg2为属于不同类型的车型图像，四元组损失基于que与pos,neg1,neg2间图像相似性依次降低原则构建，训练时传入网络<que,pos,neg1,neg2>四元图像组且使得不同类型车辆图像距离大于相同类型不同品牌年款车辆距离，且相同类型不同品牌年款车辆距离大于相同类型相同品牌年款车辆距离；
所述分支网络重构损失基于车型正常-随机打乱图像对构建，使用打乱后的图像块排列顺序作为监督目标训练注意力特征提取分支网络的特征，损失函数使用交叉熵损失计算。
2.一种采用权利要求1所述方法的基于深度学习的精细车型识别系统，其特征在于，包括：
车辆检测模块，用于从车辆视频流数据中抽取视频帧，检测视频帧中的车辆并提取车辆图像；
车型识别模块，用于将车辆图像输入训练完成的引入注意力训练机制的深度卷积神经网络，输出精细车型识别结果。
3.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1所述方法的指令。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1所述的方法。
CN202110112292.8A 2021-01-27 2021-01-27 一种基于深度学习的精细车型识别方法及系统 Active CN112966709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110112292.8A CN112966709B (zh) 2021-01-27 2021-01-27 一种基于深度学习的精细车型识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110112292.8A CN112966709B (zh) 2021-01-27 2021-01-27 一种基于深度学习的精细车型识别方法及系统

Publications (2)

Publication Number Publication Date
CN112966709A CN112966709A (zh) 2021-06-15
CN112966709B true CN112966709B (zh) 2022-09-23

Family

ID=76273303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110112292.8A Active CN112966709B (zh) 2021-01-27 2021-01-27 一种基于深度学习的精细车型识别方法及系统

Country Status (1)

Country Link
CN (1) CN112966709B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343881A (zh) * 2021-06-21 2021-09-03 浪潮云信息技术股份公司 基于深度学习的车辆品牌型号细粒度分类系统及方法
CN113536971A (zh) * 2021-06-28 2021-10-22 中科苏州智能计算技术研究院 一种基于增量学习的目标检测方法
CN113657409A (zh) * 2021-08-16 2021-11-16 平安科技（深圳）有限公司 车辆损失检测方法、装置、电子设备及存储介质
CN115063786A (zh) * 2022-08-18 2022-09-16 松立控股集团股份有限公司 一种高位远景模糊车牌检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090429A (zh) * 2017-12-08 2018-05-29 浙江捷尚视觉科技股份有限公司 一种分级前脸卡口车型识别方法
CN112016591A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 一种图像识别模型的训练方法及图像识别方法
CN112257601A (zh) * 2020-10-22 2021-01-22 福州大学 基于弱监督学习的数据增强网络的细粒度车辆识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951207B (zh) * 2020-08-25 2022-06-14 福州大学 基于深度增强学习和语义损失的图像质量增强方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090429A (zh) * 2017-12-08 2018-05-29 浙江捷尚视觉科技股份有限公司 一种分级前脸卡口车型识别方法
CN112016591A (zh) * 2020-08-04 2020-12-01 杰创智能科技股份有限公司 一种图像识别模型的训练方法及图像识别方法
CN112257601A (zh) * 2020-10-22 2021-01-22 福州大学 基于弱监督学习的数据增强网络的细粒度车辆识别方法

Also Published As

Publication number Publication date
CN112966709A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112966709B (zh) 一种基于深度学习的精细车型识别方法及系统
WO2022083784A1 (zh) 一种基于车联网的道路检测方法
CN104077613B (zh) 一种基于级联多级卷积神经网络的人群密度估计方法
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN110348384B (zh) 一种基于特征融合的小目标车辆属性识别方法
Rani et al. Object detection and recognition using contour based edge detection and fast R-CNN
Mao et al. Finding every car: a traffic surveillance multi-scale vehicle object detection method
CN105930402A (zh) 基于卷积神经网络的视频检索方法及系统
CN113688652A (zh) 一种异常驾驶行为的处理方法和装置
CN109993138A (zh) 一种车牌检测与识别方法及装置
Tang et al. Integrated feature pyramid network with feature aggregation for traffic sign detection
CN107315998A (zh) 基于车道线的车辆种类划分方法和系统
Chen et al. An effective approach of vehicle detection using deep learning
Pei et al. Localized traffic sign detection with multi-scale deconvolution networks
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
CN115171074A (zh) 一种基于多尺度yolo算法的车辆目标识别方法
Yuan et al. Multi-level object detection by multi-sensor perception of traffic scenes
Zhang et al. Multi-scale vehicle logo detector
Wang et al. CDFF: a fast and highly accurate method for recognizing traffic signs
Cheng et al. License plate recognition via deep convolutional neural network
Li et al. Incremental learning of infrared vehicle detection method based on SSD
CN116863418A (zh) 一种基于CA_MixNet的道路限行车辆种属划分方法
Jing et al. Lightweight Vehicle Detection Based on Improved Yolox-nano.
Feng et al. Embedded YOLO: A Real‐Time Object Detector for Small Intelligent Trajectory Cars
CN113378722B (zh) 基于3d卷积和多级语义信息融合的行为识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant