CN114842447A - 一种基于卷积神经网络的车位快速识别方法 - Google Patents

一种基于卷积神经网络的车位快速识别方法 Download PDF

Info

Publication number
CN114842447A
CN114842447A CN202210486042.5A CN202210486042A CN114842447A CN 114842447 A CN114842447 A CN 114842447A CN 202210486042 A CN202210486042 A CN 202210486042A CN 114842447 A CN114842447 A CN 114842447A
Authority
CN
China
Prior art keywords
parking space
network
convolutional neural
neural network
angular points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210486042.5A
Other languages
English (en)
Inventor
彭育辉
马中原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202210486042.5A priority Critical patent/CN114842447A/zh
Publication of CN114842447A publication Critical patent/CN114842447A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于卷积神经网络的车位快速识别方法，包括如下步骤：S1、通过广角摄像头采集车位图像，通过逆透视变换将车位图像转换成俯视图；S2、通过Ghost卷积、深度可分离卷积等构建轻量化的车位检测网络；S3、通过卷积神经网络同时预测车位角点、入口线和分隔线方位；S4、根据网络预测结果对车位角点进行配对，推理出完整车位。应用本技术方案构建轻量化深度学习卷积神经网络预测车位角点、入口线和分隔线方位，利用入口线和车位角点的位置关系配对车位角点，并确定车位方位，进而推断出完整车位。

Description

一种基于卷积神经网络的车位快速识别方法
技术领域
本发明涉及汽车自动驾驶技术领域，特别是一种基于卷积神经网络的车位快速识别方法。
背景技术
近年来，随着我国汽车工业的迅速发展和人民生活水平的不断提高，城市的汽车数量在不断增加，停车难的问题越来越突出。得益于计算机技术的飞速发展，车辆自动驾驶技术也得到了长足的进步，其中自动泊车功能在一定程度上解决了停车难问题，得到了用户们的喜爱。在自动泊车技术中，最先需要解决的是泊车位的检测、定位。目前国内外已有多种方法可以实现泊车位的检测，包括超声波雷达、激光测距仪、地感线圈、激光雷达、计算机视觉等。除计算机视觉外，其他方法功能较为单一，维护困难，安装困难且成本较高。
对于视觉的车位检测方法，前人已有不少探索：Zhang等人在“Vision-basedparking-slot detection:A DCNN-based approach and a large-scale benchmarkdataset”中，提出一种基于深度学习的车位检测方法DeepPS，首先利用YOLOv2检测车位角点，然后通过局部图像分类网络和模板匹配获取车位类型和车位方向，该方法能有效检测出各种车位，但检测效率较低。Jiang等人在“Detection of Parking Slots Based onMask R-CNN”中，使用语义分割方法检测车位，利用Mask R-CNN检测车位角点，并生成掩码，然后利用线段检测等后处理方法提取、组合车位线来推断车位。Li等人在“Vacant parkingslot detection in the around view image based on deep learning”中，应用YOLOv3检测车位槽头和角点，然后利用先验几何信息推断出车位，但该方法需要复杂的基于规则的方案来推断车位方向，并且检测过程计算较为复杂，难以用于工程实践。
发明内容
有鉴于此，本发明的目的在于提供一种基于卷积神经网络的车位快速识别方法，构建了轻量化深度学习卷积神经网络预测车位角点、入口线和分隔线方位，利用入口线和车位角点的位置关系配对车位角点，并确定车位方位，进而推断出完整车位。
为实现上述目的，本发明采用如下技术方案：一种基于卷积神经网络的车位快速识别方法，包括如下步骤：
S1、通过广角摄像头采集车位图像，通过逆透视变换将车位图像转换成俯视图；
S2、通过Ghost卷积、深度可分离卷积等构建轻量化的车位检测网络；
S3、通过卷积神经网络同时预测车位角点、入口线和分隔线方位；
S4、根据网络预测结果对车位角点进行配对，推理出完整车位。
在一较佳的实施例中：在步骤S1中，首先对广角的摄像头获取的图像进行去畸变处理，然后通过逆透视变换得到车位俯视图，根据真实世界标识物的物理信息设计该俯视图的长宽比例和尺寸，实现像素坐标到真实世界坐标的映射关系，并采集多种环境下的俯视车位图像。
在一较佳的实施例中：在步骤S2中，通过Ghost卷积堆叠构成GhostBottleneck模块，并引入ECA注意力机制组成ECA-GhostBottleneck模块，在不增加网络参数量和计算量的情况下提高网络检测效果；再组合ECA-GhostBottleneck模块和残差边构成ECA-GhostC3模块用于车位特征提取；同时嵌入深度可分离卷积用于调整特征图的尺度。
在一较佳的实施例中：根据检测目标的尺度大小，共设置两个尺度的检测输出层。
在一较佳的实施例中：在步骤S3中，添加分隔线方位回归分支，通过网络直接输出车位方位；并根据预测目标制作网络训练数据集；完成网络训练后，网络输出的特征图通道数m可由下式表示：
m＝(5+nc+o)na
式中，nc＝2为检测类别数；na＝3，为Grid Cell的锚框数量；网络输出特征图通道数m＝(5+2+2)×3＝27。
在一较佳的实施例中：在定位车位角点和入口线目标框方面，使用α-IoU作为损失函数；在目标分类和置信度方面使用交叉熵作为损失函数；在分隔线方位回归分支方面使用Smooth L1作为损失函数；
Figure BDA0003629183310000031
Figure BDA0003629183310000032
式中，O为网络预测值与真实值的偏差，LossOrientation为网络的分隔线方位回归分支的损失函数，K×K表示输入车位图像被划分为的网格数，i表示第i个网格，
Figure BDA0003629183310000033
为方位预测值，
Figure BDA0003629183310000034
和
Figure BDA0003629183310000035
为标签真实值，并使用sigmoid函数对其激活。
在一较佳的实施例中：在步骤S4中，根据预测结果中的车位角点和入口线之间的位置关系实现角点的配对，并根据与配对角点相连的分隔线方位确定车位方位。
在一较佳的实施例中：在匹配车位角点后，根据两角点间的距离确定车位类型，再由先验的不同类型车位的深度推断出完整车位。
与现有技术相比，本发明具有以下有益效果：
1、本发明提供的基于卷积神经网络的车位快速识别方法，能自动地为泊车系统提供精确的车位位置信息。
2、通过Ghost卷积、深度可分离卷积等构建轻量化的车位检测网络，与主流目标检测网络相比，大幅度减少了计算量和参数量，降低了对硬件计算资源的依赖。
3、在网络中添加车位分隔线方位回归分支，避免了复杂的后处理阶段，根据网络预测结果可直接推断出完整车位信息。
附图说明
图1为本发明优选实施例的车位识别流程图；
图2为本发明优选实施例的典型车位类型示意图；
图3为本发明优选实施例的车位识别网络结构图；
图4为本发明优选实施例的构建车位识别网络所用的模块图；
图5为本发明优选实施例的车位识别网络的预测元素图；
图6为本发明优选实施例的完整车位推理示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
一种基于卷积神经网络的车位快速识别方法，参考图1至6，包括如下步骤：
S1、通过广角摄像头采集车位图像，通过逆透视变换将车位图像转换成俯视图；
S2、通过Ghost卷积、深度可分离卷积等构建轻量化的车位检测网络；
S3、通过卷积神经网络同时预测车位角点、入口线和分隔线方位；
S4、根据网络预测结果对车位角点进行配对，推理出完整车位。
具体来说，在步骤S1中，首先对广角的摄像头获取的图像进行去畸变处理，然后通过逆透视变换得到车位俯视图，根据真实世界标识物的物理信息设计该俯视图的长宽比例和尺寸，实现像素坐标到真实世界坐标的映射关系，并采集多种环境下的俯视车位图像。
在步骤S2中，通过Ghost卷积堆叠构成GhostBottleneck模块，并在GhostBottleneck模块中引入ECA注意力机制组成ECA-GhostBottleneck模块，在不增加网络参数量和计算量的情况下提高网络检测效果；再组合ECA-GhostBottleneck模块和残差边构成ECA-GhostC3模块用于车位特征提取；同时嵌入深度可分离卷积用于调整特征图的尺度。最终构建出轻量化的车位检测网络如图3所示；Ghost卷积、ECA-GhostBottleneck、ECA-GhostC3的构成如图4所示，网络参数量为2.25×106，计算量为4.5GFLOPs，远低于常见的目标检测网络。
根据检测目标的尺度大小，共设置两个尺度的检测输出层。
在步骤S3中，除了用于检测车位角点和入口线的目标检测分支外，还添加了分隔线方位回归分支，通过网络直接输出车位方位；并根据预测目标制作网络训练数据集；完成网络训练后，，网络预测输出的元素如图5所示，其中Cx、Cy代表预测框的中心，W、H代表预测框的宽和高，P0代表物体置信度，P1、P2分别代表预测类别概率，Ox、Oy代表预测的方位信息。网络输出的特征图通道数m可由下式表示：
m＝(5+nc+o)na
式中，nc＝2为检测类别数；na＝3，为Grid Cell的锚框数量；网络输出特征图通道数m＝(5+2+2)×3＝27。
在定位车位角点和入口线目标框方面，使用α-IoU作为损失函数，以达到更高的定位精度；在目标分类和置信度方面使用交叉熵作为损失函数；在分隔线方位回归分支方面使用Smooth L1作为损失函数；
Figure BDA0003629183310000061
Figure BDA0003629183310000062
式中，O为网络预测值与真实值的偏差，LossOrientation为网络的分隔线方位回归分支的损失函数，K×K表示输入车位图像被划分为的网格数，i表示第i个网格，
Figure BDA0003629183310000063
为方位预测值，
Figure BDA0003629183310000064
和
Figure BDA0003629183310000065
为标签真实值，并使用sigmoid函数对其激活。
在步骤S4中，根据预测结果中的车位角点和入口线之间的位置关系实现角点的配对，并根据与配对角点相连的分隔线方位确定车位方位。
在匹配车位角点后，根据两角点间的距离确定车位类型，再由先验的不同类型车位的深度推断出完整车位，如图6所示，其中m1和m2是成功配对的车位角点，m3和m4是车位的另两个不可见角点，本发明提出的快速车位识别方法在NVIDIA GTX1080Ti显卡上可达到161.3FPS，满足自动泊车系统对实时性的要求。

Claims (8)

1.一种基于卷积神经网络的车位快速识别方法，其特征在于，包括如下步骤：
S1、通过广角摄像头采集车位图像，通过逆透视变换将车位图像转换成俯视图；
S2、通过Ghost卷积、深度可分离卷积等构建轻量化的车位检测网络；
S3、通过卷积神经网络同时预测车位角点、入口线和分隔线方位；
S4、根据网络预测结果对车位角点进行配对，推理出完整车位。
2.根据权利要求1所述的一种基于卷积神经网络的车位快速识别方法，其特征在于：在步骤S1中，首先对广角的摄像头获取的图像进行去畸变处理，然后通过逆透视变换得到车位俯视图，根据真实世界标识物的物理信息设计该俯视图的长宽比例和尺寸，实现像素坐标到真实世界坐标的映射关系，并采集多种环境下的俯视车位图像。
3.根据权利要求1所述的一种基于卷积神经网络的车位快速识别方法，其特征在于：在步骤S2中，通过Ghost卷积堆叠构成GhostBottleneck模块，并引入ECA注意力机制组成ECA-GhostBottleneck模块，在不增加网络参数量和计算量的情况下提高网络检测效果；再组合ECA-GhostBottleneck模块和残差边构成ECA-GhostC3模块用于车位特征提取；同时嵌入深度可分离卷积用于调整特征图的尺度。
4.根据权利要求3所述的一种基于卷积神经网络的车位快速识别方法，其特征在于：根据检测目标的尺度大小，共设置两个尺度的检测输出层。
5.根据权利要求1所述的一种基于卷积神经网络的车位快速识别方法，其特征在于：在步骤S3中，添加分隔线方位回归分支，通过网络直接输出车位方位；并根据预测目标制作网络训练数据集；完成网络训练后，网络输出的特征图通道数m由下式表示：
m＝(5+nc+o)na
式中，nc＝2为检测类别数；na＝3，为Grid Cell的锚框数量；网络输出特征图通道数m＝(5+2+2)×3＝27。
6.根据权利要求5所述的一种基于卷积神经网络的车位快速识别方法，其特征在于：在定位车位角点和入口线目标框方面，使用α-IoU作为损失函数；在目标分类和置信度方面使用交叉熵作为损失函数；在分隔线方位回归分支方面使用Smooth L1作为损失函数；
Figure FDA0003629183300000021
Figure FDA0003629183300000022
式中，O为网络预测值与真实值的偏差，LossOrientation为网络的分隔线方位回归分支的损失函数，K×K表示输入车位图像被划分为的网格数，i表示第i个网格，
Figure FDA0003629183300000023
为方位预测值，
Figure FDA0003629183300000024
和
Figure FDA0003629183300000025
为标签真实值，并使用sigmoid函数对其激活。
7.根据权利要求1所述的一种基于卷积神经网络的车位快速识别方法，其特征在于：在步骤S4中，根据预测结果中的车位角点和入口线之间的位置关系实现角点的配对，并根据与配对角点相连的分隔线方位确定车位方位。
8.根据权利要求7所述的一种基于卷积神经网络的车位快速识别方法，其特征在于：在匹配车位角点后，根据两角点间的距离确定车位类型，再由先验的不同类型车位的深度推断出完整车位。
CN202210486042.5A 2022-05-06 2022-05-06 一种基于卷积神经网络的车位快速识别方法 Pending CN114842447A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210486042.5A CN114842447A (zh) 2022-05-06 2022-05-06 一种基于卷积神经网络的车位快速识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210486042.5A CN114842447A (zh) 2022-05-06 2022-05-06 一种基于卷积神经网络的车位快速识别方法

Publications (1)

Publication Number Publication Date
CN114842447A true CN114842447A (zh) 2022-08-02

Family

ID=82568122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210486042.5A Pending CN114842447A (zh) 2022-05-06 2022-05-06 一种基于卷积神经网络的车位快速识别方法

Country Status (1)

Country Link
CN (1) CN114842447A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152716A (zh) * 2023-09-13 2023-12-01 哈尔滨理工大学 一种考虑方向入口线和辅助标记点的停车位检测方法
WO2024032856A1 (de) * 2022-08-12 2024-02-15 Continental Autonomous Mobility Germany GmbH Verfahren zur bestimmung einer parklücke und einer zielposition eines fahrzeugs in der parklücke

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024032856A1 (de) * 2022-08-12 2024-02-15 Continental Autonomous Mobility Germany GmbH Verfahren zur bestimmung einer parklücke und einer zielposition eines fahrzeugs in der parklücke
CN117152716A (zh) * 2023-09-13 2023-12-01 哈尔滨理工大学 一种考虑方向入口线和辅助标记点的停车位检测方法
CN117152716B (zh) * 2023-09-13 2024-04-02 哈尔滨理工大学 一种考虑方向入口线和辅助标记点的停车位检测方法

Similar Documents

Publication Publication Date Title
Li et al. Springrobot: A prototype autonomous vehicle and its algorithms for lane detection
CN113673420B (zh) 一种基于全局特征感知的目标检测方法及系统
CN114842447A (zh) 一种基于卷积神经网络的车位快速识别方法
CN112907602B (zh) 一种基于改进k-近邻算法的三维场景点云分割方法
CN109948707B (zh) 模型训练方法、装置、终端及存储介质
CN110766723B (zh) 一种基于颜色直方图相似性的无人机目标跟踪方法及系统
CN104036523A (zh) 一种基于SURF特征的改进Mean Shift的目标跟踪方法
CN112232139B (zh) 一种基于Yolo v4与Tof算法相结合的避障方法
CN114387265A (zh) 一种基于添加注意力模块的无锚框检测、跟踪统一方法
CN113095152A (zh) 一种基于回归的车道线检测方法及系统
CN112396036A (zh) 一种结合空间变换网络和多尺度特征提取的遮挡行人重识别方法
CN113406659A (zh) 一种基于激光雷达信息的移动机器人位置重识别方法
CN115497122A (zh) 遮挡行人重识别方法、装置、设备和计算机可存储介质
CN114926796A (zh) 一种基于新式混合注意力模块的弯道检测方法
CN112084895A (zh) 一种基于深度学习的行人重识别方法
CN111354016A (zh) 基于深度学习和差异值哈希的无人机舰船跟踪方法及系统
CN114155489A (zh) 一种多设备协同的无人机飞手检测方法、设备及存储介质
CN113486723A (zh) 一种高效的车辆再辨识方法和装置
CN112528994A (zh) 一种自由角度车牌检测方法、车牌识别方法和识别系统
WO2015027649A1 (zh) 一种多尺度模型车辆检测方法
Zhou et al. Obstacle detection for unmanned surface vehicles by fusion refinement network
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
Liu et al. Notice of retraction: Sharp curve lane detection for autonomous driving
CN113836251A (zh) 一种认知地图构建方法、装置、设备及介质
Rasyidy et al. A Framework for Road Boundary Detection based on Camera-LIDAR Fusion in World Coordinate System and Its Performance Evaluation Using Carla Simulator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination