CN111444972A - 一种基于深度学习的分级车辆目标检测方法 - Google Patents

一种基于深度学习的分级车辆目标检测方法 Download PDF

Info

Publication number
CN111444972A
CN111444972A CN202010246119.2A CN202010246119A CN111444972A CN 111444972 A CN111444972 A CN 111444972A CN 202010246119 A CN202010246119 A CN 202010246119A CN 111444972 A CN111444972 A CN 111444972A
Authority
CN
China
Prior art keywords
detection
target
vehicle
image
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010246119.2A
Other languages
English (en)
Other versions
CN111444972B (zh
Inventor
贺迪龙
林焕凯
王祥雪
李大成
黄仝宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN202010246119.2A priority Critical patent/CN111444972B/zh
Publication of CN111444972A publication Critical patent/CN111444972A/zh
Application granted granted Critical
Publication of CN111444972B publication Critical patent/CN111444972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于车辆检测技术领域，具体涉及一种基于深度学习的分级车辆目标检测方法，包括步骤：S1：图像输入进来之后，首先采用一级检测检测器对图像所有需要检测目标进行检测；S2：经过一级检测之后，判断检测到的目标类别，如果目标为四轮车，则将四轮车图像裁剪出来后进行二级检测；如果一级检测检测到的目标不为四轮车，则直接输出检测到目标的位置和类别信息；S3:对从一级检测裁剪出来的图像进行二级检测；S4：经过一二级检测之后，输出一二级检测中目标的位置信息与类别信息；本发明通过采用分级检测技术对车辆目标进行检测，降低车窗、车脸的误检率，提升车牌检测的召回率。

Description

一种基于深度学习的分级车辆目标检测方法
技术领域
本发明属于车辆检测技术领域，具体涉及一种基于深度学习的分级车辆目标检测方法。
背景技术
在车辆目标检测任务中，检测器需要能够准确地检测到车辆目标，包括车身、车窗、车脸以及车牌。传统的车辆目标检测方法采用单级检测的方式，即采用单级检测器检出上述车身、车窗、车脸以及车牌等目标。在卡口单车道和多车道场景下，由于车辆目标较多，车辆倾斜角较大，且由于检测场景中背景较为复杂，导致车窗、车脸、车牌和背景之间的误检较多。另外，由于车牌目标较小，导致在单级检测过程中车牌目标的漏检情况严重。结合上述因素，导致在传统单级车辆目标检测中检测效果不理想。采用分级检测方法对车辆目标进行检测时，将车窗、车脸、车牌目标从一级检测中剥离出来，在二级检测中对车窗、车脸、车牌进行检测。采用分级检测时，首先由于一级检测无需检测车窗、车脸、车牌目标，只需对车辆目标进行检测，在一级检测中会大量减少车窗、车脸、车牌的误检和漏检现象。其次，由于在一级检测目标类别减少，可以针对一级检测模型进行优化，降低一级检测模型所占资源。对比单级检测与分级检测，它们所占用的资源和计算速度类似，但是分级检测检测效果明显好于单级检测的效果。
在现有的单级车辆目标检测方法中，检测器不仅要对目标车辆进行检测，还需要检测出车辆目标中的车窗、车脸和车牌。由于车窗、车脸和车牌目标的特性，现有车辆目标单级检测容易造成车窗、车脸与背景之间的误检，也容易造成车牌的漏检。其次，在训练单级目标检测模型时，为了克服误检漏检造成的训练难于收敛的问题，需要设计更加复杂的深度学习模型提取车辆，从而增加模型的复杂度和资源开销。当前车辆目标单级检测方案中存在的问题如下：
a)车窗、车脸与背景之间的误检情况严重；
b)车牌小目标漏检情况严重；
c)为了降低上述情况，单级车辆目标检测器模型复杂度高，从而增加系统资源开销。
发明内容
为了解决现有技术中存在的技术缺陷，本发明设计了一种基于深度学习的分级车辆目标检测方法。其改进之处在于在车辆单车道或多车道场景下应用分级车辆面积表检测方法改进现有的车辆目标单级检测方法，能够有效提高车辆目标检测准确率和召回率。
本发明通过以下技术方案实现：
一种基于深度学习的分级车辆目标检测方法，其包括步骤：
S1：输入图像，采用由Tiny-DSOD检测器组成的一级检测模块对图像所需检测的目标进行一级检测；
S2：经过一级检测之后，判断检测到的目标类别；
S3:如果目标为四轮车，将基于一级检测模块裁剪得到的四轮车图像进行二级检测；其中，二级检测由ZF-SSD检测模型组成的二级检测模块实现；
S4：输出二级检测中目标的位置信息与类别信息。
进一步地，在步骤S1中，将图像输入至一级检测模块后，包括步骤：
S11：先经过6等卷积层提取特征，在提取特征的过程中，不断对图像进行下采样和逐元素相加操作；
S12：再经过5层卷积层对特征图进行上采样和逐元素相加操作，获得输入图像的高层特征；
S13：经过所有特征提取操作之后，选取卷积层8、9、10、11的特征图进行目标位置和类别信息的预测。
进一步地，所述二级检测包括：输入裁剪后的图像经过连续6层特征卷积层提取特征；选取卷积层2、4、6输出的特征图用来预测检测目标的位置和类别信息。
进一步地，所述一级检测中所需检测的目标主要包括：四轮车、二轮车、三轮车以及侧身车。
进一步地，二级检测模块主要负责车窗、车脸以及车牌的检测；二级检测中获得的位置信息包括车窗、车脸以及车牌位置。
进一步地，在步骤S2之后还包括步骤S5：如果目标不是四轮车，则直接输出一级检测中目标的位置信息与类别信息。
一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现分级车辆目标检测方法的步骤。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现分级车辆目标检测方法的步骤。
与现有技术相比，本发明至少具有下述的有益效果或优点：用分级检测技术对车辆目标进行检测，降低车窗、车脸的误检率，提升车牌检测的召回率；缓解车牌目标的漏检情况；解决单级检测中由于模型复杂度高导致的系统资源开销过大的情况。
附图说明
以下将结合附图对本发明做进一步详细说明；
图1为分级检测总体流程图；
图2为一级检测模块结构图；
图3为二级检测模块结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对车辆目标检测提出了一个新的目标检测方案。方案由两部分组成。首先是由Tiny-DSOD检测器组成的一级检测模块。该模块负责对输入图像进行车辆检测，主要检测四轮车、二轮车、三轮车和侧身车。其次是由ZF-SSD检测模型组成的二级检测模块。该模块主要负责车窗、车脸以及车牌的检测。
本方案中分级检测的总体流程如图1所示。其主要处理流程如下：S1：图像输入进来之后，首先采用一级检测检测器对图像所有需要检测目标进行检测。需要检测的目标主要包括：四轮车、二轮车、三轮车以及侧身车(无法看见完整的车前脸或者后脸的完整信息)。S2：经过一级检测之后，判断检测到的目标类别，如果目标为四轮车，则将四轮车图像裁剪出来后进行二级检测；如果一级检测检测到的目标不为四轮车，则直接输出检测到目标的位置和类别信息。S3:对从一级检测裁剪出来的图像进行二级检测，检出车窗、车脸以及车牌。S4：经过一二级检测之后，输出一二级检测中目标的位置信息与类别信息。
图2所示为本专利中一级检测模块的总体结构图。输入图像在输入进一级检测模块之后，首先经过6等卷积层提取特征。在提取特征的过程中，不断对图像进行下采样和逐元素相加操作。在经过6层卷积操作之后，再经过5层卷积层对特征图进行上采样和逐元素相加操作，获得输入图像的高层特征。在整个提取特征的过程中，前层卷积层的输出传到后层并与后层特征图进行逐元素相加操作，能够使得后层卷积操作能够有效利用前层的特征图信息。经过所有特征提取操作之后，选取卷积层8、9、10、11的特征图进行目标位置和类别信息的预测。
图3所示为二级检测模块结构图。一级检测检测出四轮车以后，裁剪出车身图输入到二级检测模块。输入图像经过连续6层特征卷积层提取特征。之后将卷积层2、4、6输出的特征图用来预测检测目标的位置和类别信息。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现分级车辆目标检测方法的步骤。
本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现分级车辆目标检测方法的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的分级车辆目标检测方法，其特征在于，包括步骤：
S1：输入图像，采用由Tiny-DSOD检测器组成的一级检测模块对图像所需检测的目标进行一级检测；
S2：经过一级检测之后，判断检测到的目标类别；
S3:如果目标为四轮车，将基于一级检测模块裁剪得到的四轮车图像进行二级检测；其中，二级检测由ZF-SSD检测模型组成的二级检测模块实现；
S4：输出二级检测中目标的位置信息与类别信息。
2.根据权利要求1所述的一种基于深度学习的分级车辆目标检测方法，其特征在于，在步骤S1中，将图像输入至一级检测模块后，包括步骤：
S11：先经过6等卷积层提取特征，在提取特征的过程中，不断对图像进行下采样和逐元素相加操作；
S12：再经过5层卷积层对特征图进行上采样和逐元素相加操作，获得输入图像的高层特征；
S13：经过所有特征提取操作之后，选取卷积层8、9、10、11的特征图进行目标位置和类别信息的预测。
3.根据权利要求1所述的一种基于深度学习的分级车辆目标检测方法，其特征在于，所述二级检测包括：输入裁剪后的图像经过连续6层特征卷积层提取特征；选取卷积层2、4、6输出的特征图用来预测检测目标的位置和类别信息。
4.根据权利要求1所述的一种基于深度学习的分级车辆目标检测方法，其特征在于，所述一级检测中所需检测的目标主要包括：四轮车、二轮车、三轮车以及侧身车。
5.根据权利要求1所述的一种基于深度学习的分级车辆目标检测方法，其特征在于，二级检测模块主要负责车窗、车脸以及车牌的检测；二级检测中获得的位置信息包括车窗、车脸以及车牌位置。
6.根据权利要求1所述的一种基于深度学习的分级车辆目标检测方法，其特征在于，在步骤S2之后还包括步骤S5：如果目标不是四轮车，则直接输出一级检测中目标的位置信息与类别信息。
7.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-6任一所述的分级车辆目标检测方法的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现权利要求1-6任一所述的分级车辆目标检测方法的步骤。
CN202010246119.2A 2020-03-31 2020-03-31 一种基于深度学习的分级车辆目标检测方法 Active CN111444972B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010246119.2A CN111444972B (zh) 2020-03-31 2020-03-31 一种基于深度学习的分级车辆目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010246119.2A CN111444972B (zh) 2020-03-31 2020-03-31 一种基于深度学习的分级车辆目标检测方法

Publications (2)

Publication Number Publication Date
CN111444972A true CN111444972A (zh) 2020-07-24
CN111444972B CN111444972B (zh) 2023-06-30

Family

ID=71649499

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010246119.2A Active CN111444972B (zh) 2020-03-31 2020-03-31 一种基于深度学习的分级车辆目标检测方法

Country Status (1)

Country Link
CN (1) CN111444972B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883911A (zh) * 2021-03-17 2021-06-01 高新兴科技集团股份有限公司 一种无牌车辆判别方法、装置以及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109002807A (zh) * 2018-07-27 2018-12-14 重庆大学 一种基于ssd神经网络的驾驶场景车辆检测方法
CN109657689A (zh) * 2018-12-07 2019-04-19 高新兴科技集团股份有限公司 一种基于深度学习的车辆关键点的提取方法、装置和设备
CN109960993A (zh) * 2017-12-26 2019-07-02 同方威视科技江苏有限公司 车辆安全检测系统及方法、电子设备、存储介质
CN110287847A (zh) * 2019-06-19 2019-09-27 长安大学 基于Alexnet-CLbpSurf多特征融合的车辆分级检索方法
CN110751185A (zh) * 2019-09-26 2020-02-04 高新兴科技集团股份有限公司 目标检测模型的训练方法和装置
CN110909742A (zh) * 2019-11-19 2020-03-24 上海眼控科技股份有限公司 车牌检测方法、系统、平台和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109960993A (zh) * 2017-12-26 2019-07-02 同方威视科技江苏有限公司 车辆安全检测系统及方法、电子设备、存储介质
CN109002807A (zh) * 2018-07-27 2018-12-14 重庆大学 一种基于ssd神经网络的驾驶场景车辆检测方法
CN109657689A (zh) * 2018-12-07 2019-04-19 高新兴科技集团股份有限公司 一种基于深度学习的车辆关键点的提取方法、装置和设备
CN110287847A (zh) * 2019-06-19 2019-09-27 长安大学 基于Alexnet-CLbpSurf多特征融合的车辆分级检索方法
CN110751185A (zh) * 2019-09-26 2020-02-04 高新兴科技集团股份有限公司 目标检测模型的训练方法和装置
CN110909742A (zh) * 2019-11-19 2020-03-24 上海眼控科技股份有限公司 车牌检测方法、系统、平台和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AI算法札记: "Tiny-DSOD:Lightweight Object Detection for Resource-Restricted Usages", 《HTTPS://BLOG.CSDN.NET/WEIXIN_41278720/ARTICLE/DETAILS/83050824》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112883911A (zh) * 2021-03-17 2021-06-01 高新兴科技集团股份有限公司 一种无牌车辆判别方法、装置以及电子设备

Also Published As

Publication number Publication date
CN111444972B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
US11783594B2 (en) Method of segmenting pedestrians in roadside image by using convolutional network fusing features at different scales
CN104992145B (zh) 一种矩采样车道跟踪检测方法
CN106647776A (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
CN111209780A (zh) 车道线属性检测方法、装置、电子设备及可读存储介质
CN104517111A (zh) 车道线检测方法、系统、车道偏离预警方法及系统
KR20210080459A (ko) 차선 검출방법, 장치, 전자장치 및 가독 저장 매체
WO2023024516A1 (zh) 一种碰撞预警的方法、装置、电子设备及存储介质
CN106934374B (zh) 一种雾霾场景中交通标识牌的识别方法及系统
CN106257490A (zh) 检测行驶车辆信息的方法及系统
CN108960074B (zh) 基于深度学习的小尺寸行人目标检测方法
CN110458050B (zh) 基于车载视频的车辆切入检测方法及装置
CN112990065A (zh) 一种基于优化的YOLOv5模型的车辆分类检测方法
CN105426863A (zh) 检测车道线的方法和装置
CN111444972B (zh) 一种基于深度学习的分级车辆目标检测方法
CN104268859A (zh) 一种用于夜间车道线检测的图像预处理方法
CN111873800B (zh) 一种基于车载输入法的驾驶安全提示方法、装置以及设备
CN116563801A (zh) 交通事故检测方法、装置、电子设备和介质
Qie et al. Recognition of occluded pedestrians from the driver's perspective for extending sight distance and ensuring driving safety at signal-free intersections
Yu et al. An Improved YOLO for Road and Vehicle Target Detection Model
CN114429621A (zh) 一种基于ufsa算法改进的车道线智能检测方法
CN113743226A (zh) 一种日间前车灯语识别及预警方法及系统
CN110334608B (zh) 一种车载图像的实时交通限速标志识别方法
CN112597917B (zh) 一种基于深度学习的车辆停车检测方法
WO2023103204A1 (zh) 一种基于两阶段的车辆违规变道识别方法
JP7538300B2 (ja) 自動運転車のオブジェクト認識率の改善方法およびその装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant