CN113963230A - 一种基于深度学习的车位检测方法 - Google Patents

一种基于深度学习的车位检测方法 Download PDF

Info

Publication number
CN113963230A
CN113963230A CN202111176323.2A CN202111176323A CN113963230A CN 113963230 A CN113963230 A CN 113963230A CN 202111176323 A CN202111176323 A CN 202111176323A CN 113963230 A CN113963230 A CN 113963230A
Authority
CN
China
Prior art keywords
layer
parking space
space detection
cnn
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111176323.2A
Other languages
English (en)
Inventor
黄晨
屠媛
孙晓强
蔡英凤
陈龙
戴一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN202111176323.2A priority Critical patent/CN113963230A/zh
Publication of CN113963230A publication Critical patent/CN113963230A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的车位检测方法，搭建基于深度学习的Faster R‑CNN车位检测模型以及训练该车位检测模型，Faster R‑CNN车位检测模型包括卷积层、RPN网络层和RoI池化层；卷积层用于进行特征提取，获取特征层；RPN网络包括分类层和回归层；分类层从特征层提取出候选区域，并判断候选区域是否包含目标，如果存在目标，则利用回归层，调整候选区域所在的位置和大小；RoI池化层将RPN网络层得到的候选区域作为候选框映射到卷积层，继续分类并进一步调整候选区域位置和大小，直到获得最准确的候选区域；通过对Faster R‑CNN车位检测模型进行训练及测试，完成对Faster R‑CNN车位检测模型的搭建。利用所构造的Faster R‑CNN车位检测模型，能在图像信息复杂的情况下完成对车位的高准确率检测。

Description

一种基于深度学习的车位检测方法
技术领域
本发明属于智能驾驶以及自动泊车技术领域，尤其涉及一种基于深度学习的车位检测方法
背景技术
随着国民经济水平的提高，我国汽车总量不断增加，这样不仅导致道路上的交通拥堵成为常态，同时对于驾驶员本身而言，停车成为难题。因此智能驾驶应运而生，尤其是自动泊车技术的出现解决了大部分的停车问题。目前，自动泊车技术主要分为基于雷达的自动泊车和基于摄像头的自动泊车两种技术，其中，基于雷达的自动泊车主要依靠感应器来测量与周边物体距离，然后传给中央处理器并做出相应决策，但若在空旷的环境下就难以实现准确泊车。而基于摄像头的自动泊车可以不借助外物信息，只需通过摄像头采集图片，并计算得出最优的泊车路径。
目前，很多车辆搭载先进的360度全景环视系统，通过摄像头获取车辆周围图像并处理成全景鸟瞰图，使得驾驶员全方位获取行车环境。但是环视系统在采集图像信息时，容易受其他复杂信息的影响，导致车位无法检测和定位。
发明内容
为了解决现有技术中存在的不足，本发明提出了一种基于深度学习的车位检测方法，利用所构造的Faster R-CNN车位检测模型，能在图像信息非常复杂的情况下完成对车位的高准确率检测。
本发明所采用的技术方案如下：
一种基于深度学习的车位检测方法，包括如下步骤：
步骤1，图像数据采集以及预处理；基于预处理后的图像数据制作训练样本和测试样本；
步骤2，搭建基于深度学习的Faster R-CNN车位检测模型以及训练该车位检测模型，Faster R-CNN车位检测模型包括卷积层、RPN网络层和RoI池化层；所述卷积层用于进行特征提取，获取特征层；所述RPN网络包括分类层和回归层；所述分类层从特征层提取出候选区域，并判断候选区域是否包含目标，如果存在目标，则利用回归层，调整候选区域所在的位置和大小；所述RoI池化层将RPN网络层得到的候选区域作为候选框映射到卷积层，继续分类并进一步调整候选区域位置和大小，直到获得最准确的候选区域即车位；
利用训练样本对所构建的Faster R-CNN车位检测模型进行训练，并利用测试样本对该模型进行测试，完成对Faster R-CNN车位检测模型的搭建。
进一步，所述卷积层是由50至101层ResNet残差网络构成。
进一步，所述卷积层是由101层ResNet残差网络构成。
进一步，以平均精确度均值mAP作所构建的Faster R-CNN车位检测模型的评价指标。
进一步，图像数据的预处理包括对图片进行筛选、标注和封装的处理。
进一步，采用labelimg软件标注出图片中的具体车位。
进一步，利用TensorFlow-Slim软件分别对训练样本和测试样本进行封装，目的是为了满足训练模型的输入格式要求。
进一步，利用360度环视图像采集系统拍摄不同场景和光照条件下的车位。
本发明的有益效果：
本申请所提出的一种基于深度学习的车位检测方法，利用所搭建的Faster R-CNN车位检测模型，首先利用360度全景环视系统采集图片，并使用这些图片制作了训练样本和测试样本，之后分别搭建了两个基于深度学习的车位检测模型，使用制作好的训练样本对其完成训练，训练好的两个检测模型在测试数据数据集上分别获得较高的mAP值(平均正确率)，结果表明该模型不仅可以用于光照良好的情况，而且对包含大量阴影、环境信息复杂的图像也可以实现准确检测，另外，即使在夜间，光照极差的条件下，也能完成检测。
另外在本申请中，采用50至101层ResNet残差网络作为卷积层网络结构，可以有效解决因为卷积层网络深度变大而导致的训练和测试错误率上升。同时残差网络层数越大，提取车位的准确率越高。
附图说明
图1为检测系统流程图；
图2为图像筛选结果图；
图3为车位标注图；
图4为Faster R-CNN模型结构；
图5为两种模型的mAP值变化曲线；(a)是50ResNet残差网络构成的Faster R-CNN车位检测模型的mAP值变化曲线，(b)是50ResNet残差网络构成的Faster R-CNN车位检测模型的mAP值变化曲线；
图6为大量阴影、环境信息复杂下场景下的车位检测效果图；
图7为夜间光照极差下的场景车位检测效果图；
图8为RPN模型示意图；
图9为ResNet残差网络模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
如图1所示，本发明提出一种基于深度学习的车位检测方法，具体过程如下：
步骤1，图像数据采集以及制作训练样本和测试样本。利用360度环视图像采集系统进行原始图像的采集，并对图片进行筛选、标注和封装，具体过程如下：
S1.1，利用360度环视图像采集系统拍摄不同场景和光照条件下的车位，并对拍摄的图片进行筛选；由于环视系统是动态拍摄，拍摄时可能会产生一些模糊的图片，所以对所采集图片的清晰度进行筛选，总共提取了1300张有效图片。如图2所示，拍摄约有数万张的车位图片。
S1.2，对所选的1300张有效图片进行标注获得标注图片。采用labelimg软件，标注出图片中的具体车位，如图3中的方框。针对标注后的标注图片，按照7:3的比例分配样本，选择其中2000张标注图片作为训练样本，剩余的标注图片作为车位检测模型的测试样本，利用TensorFlow-Slim软件分别对训练样本和测试样本进行封装，目的是为了满足训练模型的输入格式要求，图3为车位标注示意图。
步骤2，搭建基于深度学习的车位检测模型以及训练该车位检测模型，过程如下：
S2.1，搭建基于深度学习的车位检测模型，称为Faster R-CNN车位检测模型。Faster R-CNN车位检测模型如图4所示，包括卷积层、RPN网络层和RoI池化层；其中卷积层包括特征层，RPN网络包括分类层和回归层。将经过车位标注后的图像直接输入至卷积层进行特征提取，获取特征层；如图8，然后利用RPN网络中的分类层从特征层提取出候选区域，接着判断候选区域是否包含目标，如果存在目标，则利用RPN网络的回归层，调整候选区域(即目标框)所在的位置和大小。最后利用RoI池化层，将RPN网络层得到的目标框作为候选区域映射到卷积层，继续分类并进一步调整候选区域的位置和大小，直到获得最准确的候选区域即车位。
传统R-CNN模型先使用区域提名获取候选区域，然后再输入到卷积神经网络的步骤，而本申请所设计的Faster R-CNN模型直接将原始图像输入到卷积神经网络进行特征提取。解决重复计算的问题，这种改进节省了大量的卷积操作，从而使得检测的速度得到提升，能够满足图像实时监测的要求；相比较于传统的模型，Faster R-CNN模型不仅在训练和测试的速度上有很大的提升，而且耗时短，同时能够对图像进行实时检测。
更具体的，如图9卷积层是由50至101层ResNet残差网络构成。在本申请中，采用50至101层ResNet残差网络作为卷积层网络结构，可以有效解决因为卷积层网络深度变大而导致的训练和测试错误率上升。同时残差网络层数越大，提取车位的准确率越高。本申请选用50-101层ResNet作为Faste R-CNN车位检测模型的特征提取层的网络结构，不仅可以提高训练和测试准确率，还可以提高测试和训练速度，即提高实时和准确检测图像的能力。
S2.2，利用训练样本对所构建的Faster R-CNN车位检测模型进行训练，并利用测试样本对该模型进行测试，完成对Faster R-CNN车位检测模型的搭建。
通过该深度学习车位检测模型，分别对使用50层ResNet作为特征提取网络的Faster R-CNN车位检测模型和使用101层ResNet作为特征提取网络的Faster R-CNN车位检测模型进行训练，模型完成训练后，对检测结果进行对比分析，选择检测效果更好的模型作为车位检测的最终模型。结果分析，利用步骤1中所标注的训练样本对101层ResNet作为特征提取网络的Faster R-CNN模型层进行了30万步的模型训练，与此同时，利用标注的测试样本进行测试，以此记录模型训练时的变化情况，以平均精确度均值(mAP)作为评价指标。其中，AP为单个标签平均精确率，P为精确率和R为召回率，精确率和召回率的计算式如下：
Figure BDA0003295209870000041
Figure BDA0003295209870000042
式中：TP和FP分别表示正确和错误预测出样本的数量；TP和FN分别表示正确预测出正样本和负样本的数量
在此基础上，完成101层ResNet作为特征提取网络的Faster R-CNN模型进行训练，结果分别如图5中(a)和(b)所示，表明更深层的车位检测模型效果更佳，即使用101层ResNet作为特征提取网络的Faster R-CNN模型来进行最后的车位检测。
在本实施例中，通过搭建深度学习软硬件平台用于对Faster R-CNN车位检测模型的训练，首先选择TensorFlow作为深度学习的软件开发环境，实现网络的搭建、训练、识别。其次，由于搭建检测模型训练时会生成大量数据，促使内存不足，影响模型训练，故使用NVIDIA显卡作为硬件平台，可以缩短训练时间。
结合附图6和7所示的大量阴影、环境信息复杂下场景下的车位检测效果图和夜间光照极差下的场景车位检测效果图，检测结果表明，本发明设计的一种基于深度学习车位检测系统，不仅可以用于光照良好的场景，而且对于昏暗环境以及存在大量阴影的场景，也可以实现非常好的检测效果。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的车位检测方法，其特征在于，包括如下步骤：
步骤1，图像数据采集以及预处理；基于预处理后的图像数据制作训练样本和测试样本；
步骤2，搭建基于深度学习的Faster R-CNN车位检测模型以及训练该车位检测模型，Faster R-CNN车位检测模型包括卷积层、RPN网络层和RoI池化层；所述卷积层用于进行特征提取，获取特征层；所述RPN网络包括分类层和回归层；所述分类层从特征层提取出候选区域，并判断候选区域是否包含目标，如果存在目标，则利用回归层，调整候选区域所在的位置和大小；所述RoI池化层将RPN网络层得到的候选区域作为候选框映射到卷积层，继续分类并进一步调整候选区域位置和大小，直到获得最准确的候选区域即车位；
利用训练样本对所构建的Faster R-CNN车位检测模型进行训练，并利用测试样本对该模型进行测试，完成对Faster R-CNN车位检测模型的搭建。
2.根据权利要求1所述的一种基于深度学习的车位检测方法，其特征在于，所述卷积层是由50至101层ResNet残差网络构成。
3.根据权利要求1所述的一种基于深度学习的车位检测方法，其特征在于，所述卷积层是由101层ResNet残差网络构成。
4.根据权利要求1所述的一种基于深度学习的车位检测方法，其特征在于，以平均精确度均值mAP作所构建的Faster R-CNN车位检测模型的评价指标。
5.根据权利要求1所述的一种基于深度学习的车位检测方法，其特征在于，图像数据的预处理包括对图片进行筛选、标注和封装的处理。
6.根据权利要求5所述的一种基于深度学习的车位检测方法，其特征在于，采用labelimg软件标注出图片中的具体车位。
7.根据权利要求5所述的一种基于深度学习的车位检测方法，其特征在于，利用TensorFlow-Slim软件分别对训练样本和测试样本进行封装，目的是为了满足训练模型的输入格式要求。
8.根据权利要求1所述的一种基于深度学习的车位检测方法，其特征在于，利用360度环视图像采集系统拍摄不同场景和光照条件下的车位。
CN202111176323.2A 2021-10-09 2021-10-09 一种基于深度学习的车位检测方法 Pending CN113963230A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111176323.2A CN113963230A (zh) 2021-10-09 2021-10-09 一种基于深度学习的车位检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111176323.2A CN113963230A (zh) 2021-10-09 2021-10-09 一种基于深度学习的车位检测方法

Publications (1)

Publication Number Publication Date
CN113963230A true CN113963230A (zh) 2022-01-21

Family

ID=79463428

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111176323.2A Pending CN113963230A (zh) 2021-10-09 2021-10-09 一种基于深度学习的车位检测方法

Country Status (1)

Country Link
CN (1) CN113963230A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032856A1 (de) * 2022-08-12 2024-02-15 Continental Autonomous Mobility Germany GmbH Verfahren zur bestimmung einer parklücke und einer zielposition eines fahrzeugs in der parklücke

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032856A1 (de) * 2022-08-12 2024-02-15 Continental Autonomous Mobility Germany GmbH Verfahren zur bestimmung einer parklücke und einer zielposition eines fahrzeugs in der parklücke

Similar Documents

Publication Publication Date Title
CN106096561B (zh) 基于图像块深度学习特征的红外行人检测方法
CN109033950B (zh) 基于多特征融合级联深度模型的车辆违停检测方法
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN111783590A (zh) 一种基于度量学习的多类别小目标检测方法
CN105574550A (zh) 一种车辆识别方法及装置
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN114596316A (zh) 一种基于语义分割的道路图像细节抓取方法
CN114972177A (zh) 道路病害识别管理方法、装置及智能终端
CN115147644A (zh) 图像描述模型的训练和描述方法、系统、设备及存储介质
CN116740758A (zh) 一种防止误判的鸟类图像识别方法及系统
CN110458019B (zh) 稀缺认知样本条件下的排除倒影干扰的水面目标检测方法
CN116596875A (zh) 晶圆缺陷检测方法、装置、电子设备及存储介质
CN113963230A (zh) 一种基于深度学习的车位检测方法
CN114549970A (zh) 融合全局细粒度信息的夜间小目标果实检测方法及系统
CN116228756B (zh) 一种自动驾驶中相机坏点的检测方法及检测系统
CN113361528A (zh) 一种多尺度目标检测方法及系统
CN110765900B (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN117011756A (zh) 一种基于迁移学习方法的视频雨量反演方法
CN116682101A (zh) 车牌号码识别方法以及系统
CN116205879A (zh) 一种基于无人机图像及深度学习的小麦倒伏面积估算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination