CN113076904A - 一种基于深度学习的室外停车场空余车位检测方法 - Google Patents

一种基于深度学习的室外停车场空余车位检测方法 Download PDF

Info

Publication number
CN113076904A
CN113076904A CN202110403803.1A CN202110403803A CN113076904A CN 113076904 A CN113076904 A CN 113076904A CN 202110403803 A CN202110403803 A CN 202110403803A CN 113076904 A CN113076904 A CN 113076904A
Authority
CN
China
Prior art keywords
convolution
line
parking
network model
parking spaces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110403803.1A
Other languages
English (en)
Other versions
CN113076904B (zh
Inventor
杜启亮
向照夷
田联房
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Original Assignee
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Zhuhai Institute of Modern Industrial Innovation of South China University of Technology filed Critical South China University of Technology SCUT
Priority to CN202110403803.1A priority Critical patent/CN113076904B/zh
Publication of CN113076904A publication Critical patent/CN113076904A/zh
Application granted granted Critical
Publication of CN113076904B publication Critical patent/CN113076904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的室外停车场空余车位检测方法，通过位于停车场上方的高空摄像头采集图片，对PSPNet网络模型改进用于提取图像中的车位线，通过直线检测及轮廓提取，并结合相应的车位线填补方法获得图像中所有车位的位置，改进YOLOv3网络模型以检测图像中的所有车辆，并记录其位置，将车位与车辆进行匈牙利匹配，根据车位是否匹配成功以及匹配成功双方之间的距离判断该车位是否被占用，进而统计出图像中空余车位的数量。本发明可以准确判定室外停车场空余车位的数量和位置，且鲁棒性较强，方便车主寻找车位进行停车。

Description

一种基于深度学习的室外停车场空余车位检测方法
技术领域
本发明涉及室外停车场空余车位检测的技术领域，尤其是指一种基于深度学习的室外停车场空余车位检测方法。
背景技术
如今随着生活水平的提高，车辆的使用越来越广泛，交通不断便利，乘车出行已成人们首先的交通方式，尤其对于车站、商场等人流量密集区域，通常需要下车徒步行走，因此必须将车停到停车场，若不知道停车场内是否有空位就直接进入，势必会浪费大量时间，而现有车位统计方式大都在入口处设立，逐个检测进入车辆进行计数，并与实现设定好的总车位数对比确定空余车位数，检测设备造价较高，且只能得到空余车位的数量，无法得出空余车位的位置信息，还需要车主进入逐个查找，效率较低。而现有的一些使用高空摄像头检测空余车位的方法，需要手动标定好每个车位在图像中的位置信息，逐个检测每个车位状态，如果摄像机的位置或者角度发生变化就需要重新标定，较为繁琐，适应性不强。
综合以上论述，发明一种可以统计并定位空余车位的基于深度学习的室外停车场空余车位检测方法具有较高的实际应用价值。
发明内容
本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的室外停车场空余车位检测方法，该方法对高空摄像头拍摄的停车场图像分别进行车位检测和车辆检测，通过车位与车辆的位置信息进行空余车位判定，该方法在不同环境、摄像机不同安装角度和位置的情况下均可以达到较好的检测效果，适应力强。该方法可以检测出停车场内的空余车位数量并定位出空余车位位置，供车主自主择优选择车位。
为实现上述目的，本发明所提供的技术方案为：一种基于深度学习的室外停车场空余车位检测方法，包括以下步骤：
1)通过安置于停车场上方的高空摄像机采集图像，并对采集到的图像进行标注，标记图中的车位线和车辆，以制作语义分割数据集和目标检测数据集；
2)将所有数据集均划分为训练集和验证集，并对训练集进行数据扩增，训练集用于训练网络模型，验证集用于选取最优的模型参数；
3)使用训练集对语义分割网络模型和目标检测网络模型进行训练，并根据验证集选取最佳语义分割网络模型和目标检测网络模型；其中，使用的语义分割网络模型为改进后的PSPNet网络模型，使用的目标检测网络模型为改进后的YOLOv3网络模型；所述PSPNet网络模型的改进是将主干网络中除第一层卷积之外的所有卷积及空间池化模块的卷积替换为深度可分离卷积，其网络输出层使用多个空洞卷积替换单一的传统卷积；所述YOLOv3网络模型的改进是将主干网络中的卷积替换为深度可分离卷积，并改用交并比GIOU损失，统一大、小目标的定位偏差尺度；
4)应用步骤3)选取的最佳语义分割网络模型进行车位线检测，获得车位线的二值掩摸图，检测二值掩膜图中的所有直线，并进行非极大值抑制滤除重叠严重且短的线段，生成只包含直线的二值直线图；
5)对步骤4)得到的二值直线图中的所有直线进行重新融合，通过自定义线段距离，找出外侧车位线被遮挡部分的两侧线段，并以此补全外侧车位线，得到补全后的二值直线图；
6)查找出补全后的二值直线图中所有的内封闭轮廓，对所有轮廓进行合理性判断并处理得到最终轮廓，计算每个轮廓的中心坐标，作为每个停车位的坐标位置并记录；
7)应用步骤3)选取的最佳目标检测网络模型进行车辆检测，记录图中所有的车辆位置信息，将所有停车位位置和车辆位置进行匹配，并判断是否为空余车位，统计空余车位数量及位置。
在步骤1)中，将采集到的图像中的车位线标注为前景，其余部分视为背景，制作出包含语义信息的二值掩膜图，作为语义分割数据集，用于训练语义分割网络模型；同时，将图像中的车辆进行标注，记录所有车辆在图像中的大小和位置信息，作为目标检测数据集，用于训练目标检测网络模型。
在步骤2)中，将所有数据集按比例划分为训练集和验证集，对于所有训练集，改变整幅图像的对比度、饱和度和色调，加入随机噪声，增强训练数据的多样性，提高模型的泛化能力；针对语义分割数据集，对图像和对应的二值掩摸图同时进行相同的剪切和仿射变换处理得到新的训练数据，该处理自动调整二值掩摸图与原图相匹配，无需人工重新标注。
在步骤3)中，所述PSPNet网络模型的改进部分情况具体如下：
将主干网络中除第一层卷积之外的所有卷积及空间池化模块的卷积替换为深度可分离卷积降低网络参数量，以提高前向推导的速度，提高实时性能，深度可分离卷积将传统的单个卷积核分为两个独立的卷积核：分离卷积和逐点卷积；分离卷积将特征图不同通道分离开分别进行卷积操作，逐点卷积对不同特征图上相同像素点进行卷积操作，提取不同特征图之间的关系；使用的深度可分离卷积(DCSM)结构包含：分离卷积层、BN层、Mish激活函数、逐点卷积层、BN层和Mish激活函数；
网络输出层使用多个空洞卷积替换单一的传统卷积，在增加少量参数的情况下，使预测结果中的每个位置充分综合全局信息，提高分割精度，空洞卷积与传统卷积相比，参数量相同，但感受野更大，不同扩张系数的空洞卷积组合能够提取特征图中的多尺度信息；改进后的网络输出层包含：多个不同扩张系数的3×3空洞卷积、BN层、Mish激活函数、concat层和1×1卷积层，其中，每个空洞卷积各接一个BN层和Mish激活函数，负责提取一个尺度范围的特征；concat层为特征融合层，将不同空洞卷积生成的特征图按通道拼接；再通过1×1卷积层将包含不同尺度信息的特征图进行融合得到单通道的语义分割图。
在步骤3)中，改进后的YOLOv3网络模型针对坐标损失对于大目标和小目标在训练过程中的差异性，对损失函数中的坐标损失进行改进，原本损失函数计算预测输出的检测框和实际目标的位置框坐标间的欧氏距离偏差，即中心坐标及宽高之间的欧式距离，使得大目标框的坐标损失值大于小目标的坐标损失值，不利于对小目标的定位，为此，改用交并比GIOU损失，统一大、小目标的定位偏差尺度；同时，为提高检测实时性将主干网络中的卷积替换为深度可分离卷积，减少参数量。
在步骤3)中，改进后的PSPNet网络模型和改进后的YOLOv3网络模型训练参数为：总迭代次数为20000，Batch设置为4，使用Adam优化器，初始学习率为0.001，正则化系数为0.001，并且每迭代100次，计算验证集上的准确率，当准确率达到80％时换成SGD优化器，若准确率达到95％以上且比上一次保存的模型的验证集准确率高时，则保存当前模型，在训练结束后，选取最后一次保存的模型作为最终模型。
在步骤4)中，将待检测图像输入训练好的改进后的PSPNet网络模型，获得车位线作为前景的二值掩膜图，采用霍夫变换直线检测算法将二值掩膜图中的所有直线段检测出来，并将线段长度作为非极大值抑制算法的评分标准，对于位置及斜率都靠近的线段只保留最长的线段，将保留的线段全部画在与二值掩摸图同样大小的二值直线图中，该二值直线图能够描绘出停车场内车位的轮廓信息。
在步骤5)中，计算二值直线图中两两线段之间的距离，利用距离靠近的线段拟合出一条新的线段，将外侧车位线遮挡部分补全，其中，自定义线段距离由线段之间的夹角和端点距离共同决定，具体计算方法为：记两线段m、n的左右端点的横纵坐标分别为
Figure BDA0003021407770000051
记线段a的i端点和线段b的j端点之间的向量
Figure BDA0003021407770000052
Figure BDA0003021407770000053
Figure BDA0003021407770000054
为b线段的j端点的横纵坐标，
Figure BDA0003021407770000055
为a线段的i端点的横纵坐标；其中点P1 m、P1 n距离最近，即
Figure BDA0003021407770000056
Figure BDA0003021407770000057
为向量
Figure BDA0003021407770000058
的模，向量
Figure BDA0003021407770000059
与线段c的k端点和线段d的l端点之间的向量
Figure BDA00030214077700000510
的夹角
Figure BDA00030214077700000511
若
Figure BDA00030214077700000512
存在小于或等于90°的情况，则视线段n在m的一侧，m、n两线段之间的距离
Figure BDA00030214077700000513
θthr为角度阈值，inf为无穷大，若n不在m的一侧，则Dmn＝inf，若Dmn大于距离阈值Dthr，则直接连接P1 m、P1 n两端点填补遮挡区域的车位线，否则不连接，从而得到补全后的二值直线图。
在步骤6)中，使用OpenCV库中的findcontours函数寻找出补全后的二值直线图中的所有内轮廓初步确定每个车位的轮廓信息，在部分车位处由于停车不规范导致内侧车位线遮挡，对应的内轮廓面积大，令第p个内轮廓Cp的面积为Mp，距离其最近的四个内轮廓中面积最小的内轮廓
Figure BDA00030214077700000514
面积为
Figure BDA00030214077700000515
由
Figure BDA00030214077700000516
计算得到当前内轮廓包含了K个车位，其中[·]为向下取整，计算Cp与
Figure BDA0003021407770000061
的最小外接矩形Bp和
Figure BDA0003021407770000062
Bp与
Figure BDA0003021407770000063
差别最大的边视为车位线被遮挡所致，将Bp的该边及对边等距离分为K段，并对应连接，将Bp分为K个车位，对每个车位的四个角点坐标求均值得到车位的位置。
在步骤7)中，将待测图像输入训练好的改进后的YOLOv3网络模型，获得图中所有的车辆位置信息，使用匈牙利匹配算法，以车位与车辆之间的距离作为优化矩阵，实现二者之间的匹配，对于未匹配成功的车位或者匹配成功但车位与车辆之间的距离大于距离阈值的视为该车位空闲，若匹配成功且车位与车辆之间的距离小于距离阈值则视为该车位以被占，进而统计出图像中所有的空闲车位及空闲车位的位置，供车主快速找到空余车位。
本发明与现有技术相比，具有如下优点与有益效果：
1、采用深度学习语义分割进行车位线的检测，对恶劣天气、不同季节及不同光照的环境下均有较好的分割效果。
2、直线检测结合轮廓检测及判定，可以有效解决由车辆停车不规范车位线遮挡导致的检测失误问题，自动填补出缺失车位的合理位置，避免车位漏检情况的发生。
3、采用深度学习目标检测对车辆进行检测，在环境发生较大变化情况下，仍然可以对车辆进行有效检测。
4、车位检测与车辆检测分开进行并匹配判断空余车位，在统计空余车位数量的同时，还可以确定空余车位的位置，方便车主选择最优车位停车。
5、利用车位线的掩膜信息，并结合车位线的补全及估计策略提取车位位置，可以有效运用于侧方停车及倒库停车的长方形停车位、平行四边形停车位检测，适用范围较广。
附图说明
图1为本发明方法逻辑流程示意图。
图2为改进后的PSPNet网络模型结构图。
图3为深度可分离卷积的结构图。
图4为网络输出层的结构图。
图5为改进后的YOLOv3网络模型结构图。
图6为IOU计算示意图。
图7为车位线遮挡示意图之一。
图8为车位线遮挡示意图之二。
图9为车位线遮挡示意图之三。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
如图1所示，本实施例所提供的基于深度学习的室外停车场空余车位检测方法，其具体情况如下：
步骤1：通过安置于停车场上方的高空摄像机采集图像，并对采集到的图像进行标注，使用Labelme软件对采集图像中的车位线进行掩膜标注，对其中的车辆进行位置标注，获得对应的json格式的标签文件，标注文件包括图像中车位线的掩膜标签及车辆的位置信息，其中掩膜标签作为语义分割数据集用于训练语义分割网络模型提取车位线，位置标签作为目标检测数据集用于训练目标检测网络模型提取车辆。
步骤2：将所有数据集按比例划分为训练集和验证集，对于所有训练集，改变整幅图像的对比度，饱和度，色调，加入随机噪声等，增强训练数据的多样性，提高模型的泛化能力，针对语义分割数据集，对图像和对应的二值掩摸图同时进行相同的剪切，仿射变换等处理得到新的训练数据，该处理自动调整二值掩摸图与原图相匹配，无需人工重新标注，其中，训练集用于训练网络模型，验证集用于选取最优的模型参数。
步骤3：使用pytorch库构建改进后的PSPNet网络模型和改进后的YOLOv3网络模型：
改进后的PSPNet网络模型结构如图2所示，用于提取车位线，网络首先通过一个基网络提取出图像中的特征图F，其大小为S×S；然后对特征图分别进行多个尺度的池化操作获得不同分辨率下的特征图，并连接卷积层将各特征图通道压缩为1；将各尺度特征图进行上采样(upsample)至S×S大小，并与特征图F通过concat操作进行通道叠加；最后接空洞卷积模块将图像压缩为单通道的掩膜图，作为语义分割图，图中每个位置的像素值代表该位置为车位线的置信度，并通过置信度阈值将图像二值化，车位线为前景其余为背景，其中：
将主干网络中除第一层卷积之外的所有卷积及空间池化模块的卷积替换为深度可分离卷积(DSCM)降低网络参数量，以提高前向推导的速度，提高实时性能，使用的深度可分离卷积结构如图3所示，由分离卷积层、BN层、Mish激活函数、逐点卷积层、BN层、Mish激活函数组成，分离卷积层将特征图不同通道分离开分别进行卷积操作，逐点卷积层对不同特征图上相同像素点进行卷积操作，提取不同特征图之间的关系；
网络输出层使用多个空洞卷积替换单一的传统卷积，在增加少量参数的情况下，使预测结果中的每个位置充分综合全局信息，提高分割精度，空洞卷积与传统卷积相比，参数量相同，但感受野更大，不同扩张系数的空洞卷积组合能够提取特征图中的多尺度信息；改进后的网络输出层结构如图4所示，由多个不同扩张系数的3×3空洞卷积、BN层、Mish激活函数、concat层、1×1卷积层组成，扩张系数代表相邻卷积元素之间的距离，为1则为普通的卷积核，每个空洞卷积各接一个BN层和Mish激活函数，负责提取一个尺度范围的特征；concat层为特征融合层，将不同空洞卷积生成的特征图按通道拼接；再通过1×1卷积层将包含不同尺度信息的特征图进行融合得到单通道的语义分割图。
改进后的YOLOv3网络模型结构如图5所示，用于检测车辆位置，其中的卷积全部以深度可分离卷积替代，改进后的YOLOv3网络模型首先通过特征提取网络darknet获得输入图像的多尺度特征图，分别在三个不同尺度下进行类别和位置预测，提高对多尺度物体的检测效果，类别预测部分包含两个特征图，一个为车辆类另一个为背景类，特征图的每个像素值代表为该类的置信度，而位置预测部分在每个位置的像素值代表当前预设框的偏移量，通过置信度阈值保留车辆存在可能性高的位置，并由位置预测部分计算车辆位置信息，由于最后的检测结果有多个检测框重叠，因此以分类置信度为标准，进行非极大值抑制，对于重叠的检测框只保留置信度最大的那一个，最终获得图像中的所有车辆信息。其中：
为提升对小目标的检测效果，对损失函数的坐标损失进行改进，不使用中心坐标和宽高损失来评价定位精确度，而使用交并比IOU来评价定位精确度。参照图6所示，Pr为预测框，Gt为真实框，Z为Pr和Gt的并集，则IOU的计算方法如式(1)所示：
Figure BDA0003021407770000091
IOU的值域范围为[0,1]，对于在对大目标训练和小目标训练时，其定位损失值与目标大小无关联性，而是关注其与预测框的交并比大小，不会使得大目标的定位损失影响模型对于小目标的定位，从而在训练中提升网络对小目标的训练效果。
但当锚盒与实际目标的IOU为0时，会使得损失为0，无法进行反向传播修正参数，故而可以使用GIOU作为损失函数，其计算方法如式(2)所示：
Figure BDA0003021407770000101
在Pr、Gt重叠度低时，会导致Z增大，从而使得GIOU值减小，而两个矩形框不重合时，GIOU为一个非常小的值，依然可以计算GIOU。而当Pr、Gt重叠度高时，GIOU值接近于IOU值。
步骤4：使用语义分割训练数据集和目标检测训练数据集分别训练改进后的PSPNet网络模型和改进后的YOLOv3网络模型训练参数为：总迭代次数为20000，Batch设置为4，使用Adam优化器，初始学习率为0.001，正则化系数为0.001，并且每迭代100次，计算验证集上的准确率，当准确率达到80％时换成SGD优化器，若准确率达到95％以上且比上一次保存的模型的验证集准确率高时，则保存当前模型，在训练结束后，选取最后一次保存的模型作为最终模型。
步骤5：实际运用时，将待检测图像输入训练好的改进后的PSPNet网络模型，获得车位线作为前景的二值掩膜图，采用霍夫变换直线检测算法将二值掩膜图中的所有直线段检测出来，并将线段长度作为非极大值抑制算法的评分标准，对于位置及斜率都靠近的线段只保留最长的线段，将保留的线段全部画在与二值掩摸图同样大小的二值直线图中，该二值直线图可以描绘出停车场内车位的轮廓信息。
步骤6：针对停车不规范等问题导致的车位线被遮挡而检测不全的情况，采取相应的处理策略：
6.1)针对内侧车位线和外侧车位线均未被遮挡的情况，使用OpenCV库中的findcontours函数寻找出二值直线图中的所有内轮廓，每个内轮廓视为一个车位，并以内轮廓的中心位置作为该车位的实际位置。
6.2)针对外侧车位线被遮挡，内侧车位线未被遮挡的情况，如图7所示，虚线为车辆遮挡部分，对所有的线段进行重新融合，计算二值直线图中两两线段之间的距离，利用距离靠近的线段拟合出一条新的线段，将外侧车位线遮挡部分补全，其中，自定义线段距离由线段之间的夹角和端点距离共同决定，具体计算方法为：
记两线段m，n的左右端点的横纵坐标分别为
Figure BDA0003021407770000111
Figure BDA0003021407770000112
记线段a的i端点和线段b的j端点之间的向量
Figure BDA0003021407770000113
Figure BDA0003021407770000114
为b线段的j端点的横纵坐标，
Figure BDA0003021407770000115
为a线段的i端点的横纵坐标；其中点P1 m,P1 n距离最近，即
Figure BDA0003021407770000116
Figure BDA0003021407770000117
为向量
Figure BDA0003021407770000118
的模，向量
Figure BDA0003021407770000119
与线段c的k端点和线段d的l端点之间的向量
Figure BDA00030214077700001110
的夹角
Figure BDA00030214077700001111
若
Figure BDA00030214077700001112
存在小于等于90°的情况，则视线段n在m的一侧，m，n两线段之间的距离
Figure BDA00030214077700001113
θthr为角度阈值，inf为无穷大，若n不在m的一侧，则Dmn＝inf，若Dmn大于距离阈值Dthr，则直接连接P1 m,P1 n两端点填补遮挡区域的车位线，否则不连接，从而得到补全后的二值直线图，再使用步骤6.1)方法获得车位的位置。
6.3)针对内侧车位线被遮挡，外侧车位线未被遮挡的情况，如图8所示，该情况下对应车位的内轮廓面积较大，因此可以与周围轮廓进行对比确定该处轮廓是否合理，令第p个内轮廓Cp的面积为Mp，距离其最近的四个内轮廓中面积最小的内轮廓
Figure BDA0003021407770000121
面积为
Figure BDA0003021407770000122
由
Figure BDA0003021407770000123
计算得到当前内轮廓包含了K个车位，其中[·]为向下取整，计算Cp与
Figure BDA0003021407770000124
的最小外接矩形Bp和
Figure BDA0003021407770000125
Bp与
Figure BDA0003021407770000126
差别最大的边视为车位线被遮挡所致，将Bp的该边及对边等距离分为K段，并对应连接，将Bp分为K个车位，对每个车位的四个角点坐标求均值得到车位的位置。
6.4)针对内侧车位线和外侧车位线均被遮挡的情况，如图9所示，首先利用步骤6.2)进行直线融合，将外侧车位线补全，然后利用步骤6.3)对各个内轮廓的合理性进行判断，并将不合理的内轮廓进行拆分，从而求出被遮挡车位的位置。
步骤7：将待测图像输入训练好的改进后的YOLOv3网络模型，获得图中所有的车辆位置信息，使用匈牙利匹配算法，以车位与车辆之间的距离作为优化矩阵，实现二者之间的匹配，对于未匹配成功的车位或者匹配成功但车位与车辆之间的距离大于距离阈值的视为该车位空闲，若匹配成功且车位与车辆之间的距离小于距离阈值则视为该车位以被占，进而统计出图像中所有的空闲车位及空闲车位的位置，供车主快速找到空余车位。
综上所述，在采用以上方案，本发明为室外停车场空余车位检测提供了新的方法，采用深度学习、传统图像处理算法实现了对停车场车位及车辆的检测和定位，统计出空余车位的数量和位置，具有实际推广价值，值得推广。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于深度学习的室外停车场空余车位检测方法，其特征在于，包括以下步骤：
1)通过安置于停车场上方的高空摄像机采集图像，并对采集到的图像进行标注，标记图中的车位线和车辆，以制作语义分割数据集和目标检测数据集；
2)将所有数据集均划分为训练集和验证集，并对训练集进行数据扩增，训练集用于训练网络模型，验证集用于选取最优的模型参数；
3)使用训练集对语义分割网络模型和目标检测网络模型进行训练，并根据验证集选取最佳语义分割网络模型和目标检测网络模型；其中，使用的语义分割网络模型为改进后的PSPNet网络模型，使用的目标检测网络模型为改进后的YOLOv3网络模型；所述PSPNet网络模型的改进是将主干网络中除第一层卷积之外的所有卷积及空间池化模块的卷积替换为深度可分离卷积，其网络输出层使用多个空洞卷积替换单一的传统卷积；所述YOLOv3网络模型的改进是将主干网络中的卷积替换为深度可分离卷积，并改用交并比GIOU损失，统一大、小目标的定位偏差尺度；
4)应用步骤3)选取的最佳语义分割网络模型进行车位线检测，获得车位线的二值掩摸图，检测二值掩膜图中的所有直线，并进行非极大值抑制滤除重叠严重且短的线段，生成只包含直线的二值直线图；
5)对步骤4)得到的二值直线图中的所有直线进行重新融合，通过自定义线段距离，找出外侧车位线被遮挡部分的两侧线段，并以此补全外侧车位线，得到补全后的二值直线图；
6)查找出补全后的二值直线图中所有的内封闭轮廓，对所有轮廓进行合理性判断并处理得到最终轮廓，计算每个轮廓的中心坐标，作为每个停车位的坐标位置并记录；
7)应用步骤3)选取的最佳目标检测网络模型进行车辆检测，记录图中所有的车辆位置信息，将所有停车位位置和车辆位置进行匹配，并判断是否为空余车位，统计空余车位数量及位置。
2.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤1)中，将采集到的图像中的车位线标注为前景，其余部分视为背景，制作出包含语义信息的二值掩膜图，作为语义分割数据集，用于训练语义分割网络模型；同时，将图像中的车辆进行标注，记录所有车辆在图像中的大小和位置信息，作为目标检测数据集，用于训练目标检测网络模型。
3.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤2)中，将所有数据集按比例划分为训练集和验证集，对于所有训练集，改变整幅图像的对比度、饱和度和色调，加入随机噪声，增强训练数据的多样性，提高模型的泛化能力；针对语义分割数据集，对图像和对应的二值掩摸图同时进行相同的剪切和仿射变换处理得到新的训练数据，该处理自动调整二值掩摸图与原图相匹配，无需人工重新标注。
4.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤3)中，所述PSPNet网络模型的改进部分情况具体如下：
将主干网络中除第一层卷积之外的所有卷积及空间池化模块的卷积替换为深度可分离卷积降低网络参数量，以提高前向推导的速度，提高实时性能，深度可分离卷积将传统的单个卷积核分为两个独立的卷积核：分离卷积和逐点卷积；分离卷积将特征图不同通道分离开分别进行卷积操作，逐点卷积对不同特征图上相同像素点进行卷积操作，提取不同特征图之间的关系；使用的深度可分离卷积结构包含：分离卷积层、BN层、Mish激活函数、逐点卷积层、BN层和Mish激活函数；
网络输出层使用多个空洞卷积替换单一的传统卷积，在增加少量参数的情况下，使预测结果中的每个位置充分综合全局信息，提高分割精度，空洞卷积与传统卷积相比，参数量相同，但感受野更大，不同扩张系数的空洞卷积组合能够提取特征图中的多尺度信息；改进后的网络输出层包含：多个不同扩张系数的3×3空洞卷积、BN层、Mish激活函数、concat层和1×1卷积层，其中，每个空洞卷积各接一个BN层和Mish激活函数，负责提取一个尺度范围的特征；concat层为特征融合层，将不同空洞卷积生成的特征图按通道拼接；再通过1×1卷积层将包含不同尺度信息的特征图进行融合得到单通道的语义分割图。
5.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤3)中，改进后的YOLOv3网络模型针对坐标损失对于大目标和小目标在训练过程中的差异性，对损失函数中的坐标损失进行改进，原本损失函数计算预测输出的检测框和实际目标的位置框坐标间的欧氏距离偏差，即中心坐标及宽高之间的欧式距离，使得大目标框的坐标损失值大于小目标的坐标损失值，不利于对小目标的定位，为此，改用交并比GIOU损失，统一大、小目标的定位偏差尺度；同时，为提高检测实时性将主干网络中的卷积替换为深度可分离卷积，减少参数量。
6.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤3)中，改进后的PSPNet网络模型和改进后的YOLOv3网络模型训练参数为：总迭代次数为20000，Batch设置为4，使用Adam优化器，初始学习率为0.001，正则化系数为0.001，并且每迭代100次，计算验证集上的准确率，当准确率达到80％时换成SGD优化器，若准确率达到95％以上且比上一次保存的模型的验证集准确率高时，则保存当前模型，在训练结束后，选取最后一次保存的模型作为最终模型。
7.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤4)中，将待检测图像输入训练好的改进后的PSPNet网络模型，获得车位线作为前景的二值掩膜图，采用霍夫变换直线检测算法将二值掩膜图中的所有直线段检测出来，并将线段长度作为非极大值抑制算法的评分标准，对于位置及斜率都靠近的线段只保留最长的线段，将保留的线段全部画在与二值掩摸图同样大小的二值直线图中，该二值直线图能够描绘出停车场内车位的轮廓信息。
8.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤5)中，计算二值直线图中两两线段之间的距离，利用距离靠近的线段拟合出一条新的线段，将外侧车位线遮挡部分补全，其中，自定义线段距离由线段之间的夹角和端点距离共同决定，具体计算方法为：记两线段m、n的左右端点的横纵坐标分别为
Figure FDA0003021407760000041
Figure FDA0003021407760000042
记线段a的i端点和线段b的j端点之间的向量
Figure FDA0003021407760000043
Figure FDA0003021407760000044
Figure FDA0003021407760000045
为b线段的j端点的横纵坐标，
Figure FDA0003021407760000046
为a线段的i端点的横纵坐标；其中点P1 m、P1 n距离最近，即
Figure FDA0003021407760000047
Figure FDA0003021407760000048
为向量
Figure FDA0003021407760000049
的模，向量
Figure FDA00030214077600000410
与线段c的k端点和线段d的l端点之间的向量
Figure FDA00030214077600000411
的夹角
Figure FDA00030214077600000412
若
Figure FDA00030214077600000413
存在小于或等于90°的情况，则视线段n在m的一侧，m、n两线段之间的距离
Figure FDA00030214077600000414
θthr为角度阈值，inf为无穷大，若n不在m的一侧，则Dmn＝inf，若Dmn大于距离阈值Dthr，则直接连接P1 m、P1 n两端点填补遮挡区域的车位线，否则不连接，从而得到补全后的二值直线图。
9.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤6)中，使用OpenCV库中的findcontours函数寻找出补全后的二值直线图中的所有内轮廓初步确定每个车位的轮廓信息，在部分车位处由于停车不规范导致内侧车位线遮挡，对应的内轮廓面积大，令第p个内轮廓Cp的面积为Mp，距离其最近的四个内轮廓中面积最小的内轮廓
Figure FDA0003021407760000051
面积为
Figure FDA0003021407760000052
由
Figure FDA0003021407760000053
计算得到当前内轮廓包含了K个车位，其中[·]为向下取整，计算Cp与
Figure FDA0003021407760000054
的最小外接矩形Bp和
Figure FDA0003021407760000055
Bp与
Figure FDA0003021407760000056
差别最大的边视为车位线被遮挡所致，将Bp的该边及对边等距离分为K段，并对应连接，将Bp分为K个车位，对每个车位的四个角点坐标求均值得到车位的位置。
10.根据权利要求1所述的一种基于深度学习的室外停车场空余车位检测方法，其特征在于：在步骤7)中，将待测图像输入训练好的改进后的YOLOv3网络模型，获得图中所有的车辆位置信息，使用匈牙利匹配算法，以车位与车辆之间的距离作为优化矩阵，实现二者之间的匹配，对于未匹配成功的车位或者匹配成功但车位与车辆之间的距离大于距离阈值的视为该车位空闲，若匹配成功且车位与车辆之间的距离小于距离阈值则视为该车位以被占，进而统计出图像中所有的空闲车位及空闲车位的位置，供车主快速找到空余车位。
CN202110403803.1A 2021-04-15 2021-04-15 一种基于深度学习的室外停车场空余车位检测方法 Active CN113076904B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110403803.1A CN113076904B (zh) 2021-04-15 2021-04-15 一种基于深度学习的室外停车场空余车位检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110403803.1A CN113076904B (zh) 2021-04-15 2021-04-15 一种基于深度学习的室外停车场空余车位检测方法

Publications (2)

Publication Number Publication Date
CN113076904A true CN113076904A (zh) 2021-07-06
CN113076904B CN113076904B (zh) 2022-11-29

Family

ID=76617774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110403803.1A Active CN113076904B (zh) 2021-04-15 2021-04-15 一种基于深度学习的室外停车场空余车位检测方法

Country Status (1)

Country Link
CN (1) CN113076904B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436114A (zh) * 2021-07-26 2021-09-24 北京富通东方科技有限公司 一种面向医学图像的数据增强方法
CN113705380A (zh) * 2021-08-11 2021-11-26 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
CN114111815A (zh) * 2021-11-01 2022-03-01 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114220188A (zh) * 2021-12-27 2022-03-22 上海高德威智能交通系统有限公司 一种车位巡检方法、装置及设备
CN114267180A (zh) * 2022-03-03 2022-04-01 科大天工智能装备技术（天津）有限公司 一种基于计算机视觉的停车管理方法及系统
CN114724107A (zh) * 2022-03-21 2022-07-08 北京卓视智通科技有限责任公司 一种图像检测方法、装置、设备及介质
CN114972170A (zh) * 2022-03-31 2022-08-30 华南理工大学 一种基于鱼眼相机的密集场景下抗遮挡的物体检测方法
CN115345321A (zh) * 2022-10-19 2022-11-15 小米汽车科技有限公司 数据增广方法、装置、电子设备及存储介质
TWI802958B (zh) * 2021-08-13 2023-05-21 國立陽明交通大學 停車場空位偵測方法及系統

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550277A (zh) * 2018-06-04 2018-09-18 济南浪潮高新科技投资发展有限公司 一种基于图像深度学习的停车位识别及查询方法
CN110188817A (zh) * 2019-05-28 2019-08-30 厦门大学 一种基于深度学习的实时高性能街景图像语义分割方法
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
WO2020171550A1 (en) * 2019-02-18 2020-08-27 Samsung Electronics Co., Ltd. Image processing method and apparatus, electronic device and computer readable storage medium
CN112365514A (zh) * 2020-12-09 2021-02-12 辽宁科技大学 基于改进PSPNet的语义分割方法
CN112634276A (zh) * 2020-12-08 2021-04-09 西安理工大学 一种基于多尺度视觉特征提取的轻量级语义分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108550277A (zh) * 2018-06-04 2018-09-18 济南浪潮高新科技投资发展有限公司 一种基于图像深度学习的停车位识别及查询方法
WO2020171550A1 (en) * 2019-02-18 2020-08-27 Samsung Electronics Co., Ltd. Image processing method and apparatus, electronic device and computer readable storage medium
US20220108542A1 (en) * 2019-02-18 2022-04-07 Samsung Electronics Co., Ltd. Image processing method and apparatus, electronic device and computer readable storage medium
CN110188817A (zh) * 2019-05-28 2019-08-30 厦门大学 一种基于深度学习的实时高性能街景图像语义分割方法
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
CN112634276A (zh) * 2020-12-08 2021-04-09 西安理工大学 一种基于多尺度视觉特征提取的轻量级语义分割方法
CN112365514A (zh) * 2020-12-09 2021-02-12 辽宁科技大学 基于改进PSPNet的语义分割方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
段敬雅 等: "基于YOLOv2的船舶目标检测分类算法", 《计算机工程与设计》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113436114A (zh) * 2021-07-26 2021-09-24 北京富通东方科技有限公司 一种面向医学图像的数据增强方法
CN113705380A (zh) * 2021-08-11 2021-11-26 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
CN113705380B (zh) * 2021-08-11 2023-08-01 北京百度网讯科技有限公司 雾天的目标检测方法、装置、电子设备以及存储介质
TWI802958B (zh) * 2021-08-13 2023-05-21 國立陽明交通大學 停車場空位偵測方法及系統
CN114111815B (zh) * 2021-11-01 2023-02-03 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114111815A (zh) * 2021-11-01 2022-03-01 广州小鹏自动驾驶科技有限公司 一种地图数据的处理方法和装置
CN114220188A (zh) * 2021-12-27 2022-03-22 上海高德威智能交通系统有限公司 一种车位巡检方法、装置及设备
CN114220188B (zh) * 2021-12-27 2024-07-23 上海高德威智能交通系统有限公司 一种车位巡检方法、装置及设备
CN114267180A (zh) * 2022-03-03 2022-04-01 科大天工智能装备技术（天津）有限公司 一种基于计算机视觉的停车管理方法及系统
CN114724107A (zh) * 2022-03-21 2022-07-08 北京卓视智通科技有限责任公司 一种图像检测方法、装置、设备及介质
CN114724107B (zh) * 2022-03-21 2023-09-01 北京卓视智通科技有限责任公司 一种图像检测方法、装置、设备及介质
CN114972170A (zh) * 2022-03-31 2022-08-30 华南理工大学 一种基于鱼眼相机的密集场景下抗遮挡的物体检测方法
CN114972170B (zh) * 2022-03-31 2024-05-14 华南理工大学 一种基于鱼眼相机的密集场景下抗遮挡的物体检测方法
CN115345321A (zh) * 2022-10-19 2022-11-15 小米汽车科技有限公司 数据增广方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113076904B (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN113076904B (zh) 一种基于深度学习的室外停车场空余车位检测方法
CN111368687B (zh) 一种基于目标检测和语义分割的人行道车辆违停检测方法
EP3806064B1 (en) Method and apparatus for detecting parking space usage condition, electronic device, and storage medium
CN109871776B (zh) 全天候车道线偏离的预警方法
CN115717894A (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN108647664B (zh) 一种基于环视图像的车道线检测方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN113029185B (zh) 众包式高精度地图更新中道路标线变化检测方法及系统
CN112488046A (zh) 一种基于无人机高分辨率影像的车道线提取方法
CN114898296A (zh) 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN113313031B (zh) 一种基于深度学习的车道线检测和车辆横向定位方法
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
CN111539907A (zh) 用于目标检测的图像处理方法及装置
CN113362394A (zh) 一种基于视觉语义分割技术的车辆实时定位方法
CN116152342A (zh) 一种基于梯度的路牌配准定位方法
CN111476890A (zh) 一种基于影像的三维场景重建中移动车辆的修复方法
CN112817006A (zh) 一种车载智能道路病害检测方法及系统
CN104282157A (zh) 一种用于交通信号控制的干线视频流量检测方法
WO2022142827A1 (zh) 占道信息确定方法和装置
CN112950954B (zh) 一种基于高位摄像头的智能停车车牌识别方法
US20230266469A1 (en) System and method for detecting road intersection on point cloud height map
CN114550094A (zh) 一种三轮车流量统计和载人判断的方法及系统
CN114882205A (zh) 基于注意力机制的目标检测方法
CN110809088A (zh) 一种基于手机app的交通事故拍照方法及系统
Huang Roadside camera calibration and its application in length-based vehicle classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant