CN110334572A - 一种多角度下车型精细识别方法 - Google Patents

一种多角度下车型精细识别方法 Download PDF

Info

Publication number
CN110334572A
CN110334572A CN201910269429.3A CN201910269429A CN110334572A CN 110334572 A CN110334572 A CN 110334572A CN 201910269429 A CN201910269429 A CN 201910269429A CN 110334572 A CN110334572 A CN 110334572A
Authority
CN
China
Prior art keywords
vehicle
network
angle
cnn
recognition methods
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910269429.3A
Other languages
English (en)
Other versions
CN110334572B (zh
Inventor
刘虎
周野
袁家斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201910269429.3A priority Critical patent/CN110334572B/zh
Publication of CN110334572A publication Critical patent/CN110334572A/zh
Application granted granted Critical
Publication of CN110334572B publication Critical patent/CN110334572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多角度下车型精细识别方法。针对外界环境因素的影响，本发明采用基于ResNet‑50的SSD车辆目标检测框架对图像中的车辆目标进行检测并定位，降低外界环境因素对车型识别的干扰；针对多视角情况下车辆产生尺度形变的问题，本发明对B‑CNN的不同卷积层的特征进行了多尺度融合，提高特征表达能力，并且引入中心损失，对车辆图像在特征空间内加以约束，有效地引导网络学习使得类内距离小、类间距离大的特征。

Description

一种多角度下车型精细识别方法
技术领域
本发明属于图像分类技术领域，特别涉及了一种车辆图像分类方法。
背景技术
汽车是人类现代文明史上最重大的发明之一，随着我国社会经济的快速发展，人口规模的不断扩大以及城市化进程的加速，我国的汽车保有量也在不断提高。2018年7月6日，公安部交通管理局发布的数据显示，截至6月底，全国机动车保有量达了3.19亿辆，其中私家车保有量达1.8亿辆，并且保持持续快速增长的态势。汽车保有量在不断提高的同时，许多交通问题也随之而来，且日益突出，例如套牌车问题、违法停车问题、违章调头问题、交通拥堵问题等。此外，公安部门在打击有关车辆的违法行动中时，仍然需要使用人力的方式在海量的车辆图片数据库中检索可疑车辆，效率十分低下。为了解决这些问题，需要更加高效、便捷、智能的方式进行交通管理，智能交通系统应运而生。互联网技术、云计算技术及计算机视觉的高速发展同时也促进了智能交通系统的快速发展。
车型精细识别正是智能交通系统的核心技术。所谓的车型精细识别指的是对车辆的品牌、型号、年代的识别，是属于细粒度图像分类的一种。随着人工智能和智能交通系统的发展，车型识别有着越来越多的应用场景。首先，在智慧商业领域，车型精细识别技术可实现保险理赔、汽车美容维修、充电管理、检测验车等过程的智能，提高商业运作的便捷和高效；其次，在智慧停车领域，人车精细化识别技术可实现停车场缴费、无人值守缴费、无感支付、停车位感知、停车场诱导等操作，提高停车场管理效率，降低停车场管理成本。由此可见，对车型的识别已经不局限于单个角度。
目前，多角度下车型识别主要有以下两个难点：
1、在现实场景中，不仅车辆的自身外观复杂多变，再加上不同场景中光照、背景等外界环境因素的影响，进一步增加了车型的识别难度。
2、多视角情况下导致车辆出现一定的尺度变化和形变，很难找到有效且稳定的视觉特征进行准确识别。并且，同一类型的车由于拍摄角度不同，可能出现类内距大于类间距的情况，从而导致车型被误识别。
发明内容
为了解决上述背景技术提出的技术问题，本发明提出了一种多角度下车型精细识别方法。
为了实现上述技术目的，本发明的技术方案为：
一种多角度下车型精细识别方法，包括以下步骤：
(1)建立并训练车辆检测模型；所述车辆检测模型包括ResNet-50网络和SSD目标检测网络，将ResNet-50网络作为SSD目标检测网络的前置网络；
(2)建立并训练多角度下车型分类器；所述多角度下车型分类器采用多尺度B-CNN网络，该多尺度B-CNN网络是将B-CNN网络的子网络B中每一个卷积模块的输出与最后一个卷积模块的输出进行融合；
(3)将测试图像输入训练好的车辆检测模型中，得到车辆检测结果；将车辆检测结果输入训练好的多角度下车型分类器，得到车型识别结果。
进一步地，在步骤(1)中，采用迁移学习的方法对ResNet-50网络进行预训练，并将ImageNet数据集下的权重模型作为车辆检测模型的初始权重模型。
进一步地，在步骤所述(2)中，所述多尺度B-CNN网络的融合过程如下：
(a)将B-CNN网络的子网络B中的Conv1_x、Conv2_x、Conv3_x的输出通过卷积得到长为14，宽为14，通道数为512的张量；
(b)将步骤(a)得到的张量以及Conv4_x的输出张量分别与Conv5_x的输出张量进行内积操作；
(c)将步骤(b)得到的向量进行拼接，得到的结果即为融合后的特征向量。
进一步地，在步骤(2)中，采用中心损失与Softmax损失联合学习的策略，联合学习的损失函数如下：
Lfinal＝Lsoftmax+λLcentor
上式中，Lfinal为联合学习的损失函数，Lsoftmax为Softmax损失函数，Lcentor为中心损失函数；λ为一个超参数，表示两个损失函数间的调节系数，其取值范围为(0,1)，设定λ的目标是增大类间距离的同时减小类内距离。
进一步地，λ的取值范围为[0.01,0.1]。
采用上述技术方案带来的有益效果：
本发明采用基于ResNet-50的SSD车辆目标检测框架对图像中的车辆目标进行检测并定位，降低了外界环境因素对车型识别的干扰。本发明对传统B-CNN进行改进，对B-CNN的不同卷积层的特征进行了多尺度融合，提高特征表达能力。同时，本发明采用了基于中心损失与Softmax联合学习的策略，在Softmax基础上分别对训练集每个类别在特征空间维护一个类中心，训练过程新增加样本时，网络会约束样本的分类中心距离，从而提高多角度情况下的车型识别的能力。
附图说明
图1是本发明的流程图；
图2是本发明中基于ResNet-50的SSD车辆检测模型图；
图3是本发明中MS-B-CNN网络结构。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
本发明针对背景技术所述的外界环境及多角度下车辆产生形变对车型精细识别产生影响的两大难点，分为两个部分：基于ResNet-50的SSD的车辆目标检测和基于MS-B-CNN的多角度下车型精细识别，本发明的整体流程如图1所示。
1、基于ResNet-50的SSD的车辆目标检测
随着网络深度的增加，卷积神经网络的识别的精度会随之提高，但是过深的网络会增加模型训练难度，本发明选取ResNet-50作为SSD的前置网络。图2展示了改进后的检测框架。在本实施例中，采用在ImageNet数据集上预训练的权重模型作为SSD检测框架的初始权重模型，利用迁移学习的特性，从而降低模型训练的资源和时间。利用基于ResNet-50的SSD车辆检测模型对图像中的车辆目标进行检测与定位，降低了复杂背景对分类的干扰。
2、基于MS-B-CNN的多角度下车型精细识别
本发明在传统B-CNN网络基础上进行改进，提出了多尺度B-CNN(Multi Scale B-CNN，MS-B-CNN)。MS-B-CNN对不同卷积层的特征进行了多尺度融合，提高特征表达能力。此外，本发明还采用了基于中心损失与Softmax联合学习的策略，在Softmax基础上分别对训练集每个类别在特征空间维护一个类中心，训练过程新增加样本时，网络会约束样本的分类中心距离，提高多角度情况下的车型识别的能力。图3为MS-B-CNN网络结构图。
接下来就MS-B-CNN中的基于中心损失与Softmax联合学习的策略和多尺度融合再做具体说明：
(1)基于中心损失与Softmax联合学习的策略
经典B-CNN中用的损失函数正是Softmax损失，Softmax层的输出是一个向量，表示输入图像属于每一类的概率，这个向量所有元素的和为1。在车型识别问题中，假设有k个车型，那么Softmax的输出是一个k维向量。对于m个样本，其中，W1,W2,....,Wk为网络模型的参数，本发明采用中心损失与Softmax损失联合学习的方式，在增大类间距离的同时减小类内距离，使其获得的特征具有更强的识别能力，那么网络的最终目标函数形式可以表示为：
Lfinal＝Lsoftmax+λLcentor
其中，λ是一个超参数，为两个损失函数间的调节系数。λ越小，类内差异占整个目标函数的比重就越小；λ越大，类内差异占整个目标函数的比重就越大，生成的特征就会具有明显的内聚性。在本实施例中，λ的优选范围为(0.01,0.1)
(2)多尺度特征融合
本发明对B-CNN中的负责特征提取的子网络B(VGG16)进行了改进，将最后一层卷积的输出与前面卷积模块中最后一个卷积层的输出做内积，以此达到融合不同层次的特征的目的。VGG16由5个卷积模块组成，但需要值得注意的是，在传统的VGG16中，Conv5_x模块的最后一层是最大化池化层，本发明将其省去，直接将Conv5_x最后一个卷积层的输出与其他卷积模块的最后一个卷积层的输出进行融合，即Conv5_3输的三维向量出分别于Conv1_2，Conv2_2，Conv3_3，Conv4_3输出的三维向量分别做内积。
通过实验将MS-B-CNN的分类结果和普通B-CNN的分类结果进行对比，发现平均正确率和平均召回率两个指标均有所提升，从而证明了本发明采用的多尺度融合方法的有效性。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (5)

1.一种多角度下车型精细识别方法，其特征在于，包括以下步骤：
(1)建立并训练车辆检测模型；所述车辆检测模型包括ResNet-50网络和SSD目标检测网络，将ResNet-50网络作为SSD目标检测网络的前置网络；
(2)建立并训练多角度下车型分类器；所述多角度下车型分类器采用多尺度B-CNN网络，该多尺度B-CNN网络是将B-CNN网络的子网络B中每一个卷积模块的输出与最后一个卷积模块的输出进行融合；
(3)将测试图像输入训练好的车辆检测模型中，得到车辆检测结果；将车辆检测结果输入训练好的多角度下车型分类器，得到车型识别结果。
2.根据权利要求1所述多角度下车型精细识别方法，其特征在于，在步骤(1)中，采用迁移学习的方法对ResNet-50网络进行预训练，并将ImageNet数据集下的权重模型作为车辆检测模型的初始权重模型。
3.根据权利要求1所述多角度下车型精细识别方法，其特征在于，在步骤所述(2)中，所述多尺度B-CNN网络的融合过程如下：
(a)将B-CNN网络的子网络B中的Conv1_x、Conv2_x、Conv3_x的输出通过卷积得到长为14，宽为14，通道数为512的张量；
(b)将步骤(a)得到的张量以及Conv4_x的输出张量分别与Conv5_x的输出张量进行内积操作；
(c)将步骤(b)得到的向量进行拼接，得到的结果即为融合后的特征向量。
4.根据权利要求1所述多角度下车型精细识别方法，其特征在于，在步骤(2)中，采用中心损失与Softmax损失联合学习的策略，联合学习的损失函数如下：
Lfinal＝Lsoftmax+λLcentor
上式中，Lfinal为联合学习的损失函数，Lsoftmax为Softmax损失函数，Lcentor为中心损失函数；λ为一个超参数，表示两个损失函数间的调节系数，其取值范围为(0,1)，设定λ的目标是增大类间距离的同时减小类内距离。
5.根据权利要求4所述多角度下车型精细识别方法，其特征在于，λ的取值范围为[0.01,0.1]。
CN201910269429.3A 2019-04-04 2019-04-04 一种多角度下车型精细识别方法 Active CN110334572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910269429.3A CN110334572B (zh) 2019-04-04 2019-04-04 一种多角度下车型精细识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910269429.3A CN110334572B (zh) 2019-04-04 2019-04-04 一种多角度下车型精细识别方法

Publications (2)

Publication Number Publication Date
CN110334572A true CN110334572A (zh) 2019-10-15
CN110334572B CN110334572B (zh) 2021-07-13

Family

ID=68139253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910269429.3A Active CN110334572B (zh) 2019-04-04 2019-04-04 一种多角度下车型精细识别方法

Country Status (1)

Country Link
CN (1) CN110334572B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991349A (zh) * 2019-12-05 2020-04-10 中国科学院重庆绿色智能技术研究院 一种基于度量学习的轻量级车辆属性识别方法
CN111079851A (zh) * 2019-12-27 2020-04-28 常熟理工学院 基于强化学习和双线性卷积网络的车型识别方法
CN112837541A (zh) * 2020-12-31 2021-05-25 遵义师范学院 基于改进ssd的智能交通车流量管理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108875803A (zh) * 2018-05-30 2018-11-23 长安大学 一种基于视频图像的危化品运输车辆检测与识别方法
CN108960015A (zh) * 2017-05-24 2018-12-07 优信拍（北京）信息科技有限公司 一种基于深度学习的车系自动识别方法及装置
CN109492674A (zh) * 2018-10-19 2019-03-19 北京京东尚科信息技术有限公司 用于目标检测的ssd框架的生成方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108960015A (zh) * 2017-05-24 2018-12-07 优信拍（北京）信息科技有限公司 一种基于深度学习的车系自动识别方法及装置
CN108549926A (zh) * 2018-03-09 2018-09-18 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN108875803A (zh) * 2018-05-30 2018-11-23 长安大学 一种基于视频图像的危化品运输车辆检测与识别方法
CN109492674A (zh) * 2018-10-19 2019-03-19 北京京东尚科信息技术有限公司 用于目标检测的ssd框架的生成方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QINGHE ZHENG等: "A Bilinear Multi-Scale Convolutional Neural", 《IAENG INTERNATIONAL JOURNAL OF COMPUTER SCIENCE》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991349A (zh) * 2019-12-05 2020-04-10 中国科学院重庆绿色智能技术研究院 一种基于度量学习的轻量级车辆属性识别方法
CN110991349B (zh) * 2019-12-05 2023-02-10 中国科学院重庆绿色智能技术研究院 一种基于度量学习的轻量级车辆属性识别方法
CN111079851A (zh) * 2019-12-27 2020-04-28 常熟理工学院 基于强化学习和双线性卷积网络的车型识别方法
CN111079851B (zh) * 2019-12-27 2020-09-18 常熟理工学院 基于强化学习和双线性卷积网络的车型识别方法
CN112837541A (zh) * 2020-12-31 2021-05-25 遵义师范学院 基于改进ssd的智能交通车流量管理方法
CN112837541B (zh) * 2020-12-31 2022-04-29 遵义师范学院 基于改进ssd的智能交通车流量管理方法

Also Published As

Publication number Publication date
CN110334572B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
CN110111335B (zh) 一种自适应对抗学习的城市交通场景语义分割方法及系统
CN111695448B (zh) 一种基于视觉传感器的路侧车辆识别方法
CN103578119B (zh) 基于超像素的Codebook动态场景中目标检测方法
CN110097109A (zh) 一种基于深度学习的道路环境障碍物检测系统及方法
CN105740906B (zh) 一种基于深度学习的车辆多属性联合分析方法
CN107633220A (zh) 一种基于卷积神经网络的车辆前方目标识别方法
CN110188705A (zh) 一种适用于车载系统的远距离交通标志检测识别方法
CN107169421A (zh) 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN105956626A (zh) 基于深度学习的对车牌位置不敏感的车牌识别方法
CN110188807A (zh) 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法
CN106845487A (zh) 一种端到端的车牌识别方法
CN107315998B (zh) 基于车道线的车辆种类划分方法和系统
CN112069868A (zh) 一种基于卷积神经网络的无人机实时车辆检测方法
CN109190444A (zh) 一种基于视频的收费车道车辆特征识别系统的实现方法
CN110334572A (zh) 一种多角度下车型精细识别方法
CN107832835A (zh) 一种卷积神经网络的轻量化方法及装置
CN107133974A (zh) 高斯背景建模与循环神经网络相结合的车型分类方法
CN110222769A (zh) 一种基于YOLOV3-tiny的改进目标检测方法
Wang et al. A novel deep learning‐based single shot multibox detector model for object detection in optical remote sensing images
CN103679205B (zh) 基于阴影假设和分层hog对称特征验证的前车检测方法
CN113420607A (zh) 无人机多尺度目标检测识别方法
CN109635784A (zh) 基于改进的卷积神经网络的交通标志识别方法
CN112487862A (zh) 基于改进EfficientDet模型的车库行人检测方法
CN111027505B (zh) 一种基于显著性检测的分层多目标跟踪方法
CN108694408A (zh) 一种基于深度稀疏滤波卷积神经网络的驾驶行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant