CN114445798A - 一种基于深度学习的城市道路停车位识别方法及系统 - Google Patents

一种基于深度学习的城市道路停车位识别方法及系统 Download PDF

Info

Publication number
CN114445798A
CN114445798A CN202111654507.5A CN202111654507A CN114445798A CN 114445798 A CN114445798 A CN 114445798A CN 202111654507 A CN202111654507 A CN 202111654507A CN 114445798 A CN114445798 A CN 114445798A
Authority
CN
China
Prior art keywords
parking space
parking
road
mode
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111654507.5A
Other languages
English (en)
Inventor
邹海鑫
刘松龄
叶健龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Easa Guangzhou Intelligent Technology Co ltd
Shenzhen Institute of Information Technology
Original Assignee
Easa Guangzhou Intelligent Technology Co ltd
Shenzhen Institute of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Easa Guangzhou Intelligent Technology Co ltd, Shenzhen Institute of Information Technology filed Critical Easa Guangzhou Intelligent Technology Co ltd
Priority to CN202111654507.5A priority Critical patent/CN114445798A/zh
Publication of CN114445798A publication Critical patent/CN114445798A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及汽车的技术领域，更具体地，涉及一种基于深度学习的城市道路停车位识别方法及系统。一种基于深度学习的城市道路停车位识别方法，其中，包括以下步骤：首先确定停车位检测模式；停车位检测模式分为两种，分别是常规停车位寻找模式和路肩临时停靠模式；所述的常规停车位寻找模式通过识别停车线，超声波雷达测距，交通对象识别多种感知功能，结合停车空间计算，计算每一个潜在可供停车位置的停车空间；所述的路肩临时停靠模式通过扫描视野盲区，并给出交通对象的位置，对于距离较近的目标会进行避让操作；在路肩临时停车时，扫描附近的交通标志，从而判断该路段是否允许临时停车。本发明解决不够规范的停车位被浪费和临时停靠需求的问题。

Description

一种基于深度学习的城市道路停车位识别方法及系统
技术领域
本发明涉及汽车的技术领域，更具体地，涉及一种基于深度学习的城市道路停车位识别方法及系统。
背景技术
目前行业内的自动泊车技术，以及停车位识别技术，都是基于轨迹规划，轨迹跟踪，或者车位线识别。然而，随着城市道路车辆增多，城市路况日益复杂，以及驾驶员的驾驶水平参差不齐，很多车辆的停车操作并没有保证规范和安全。很多车辆停车时因为上述情况，或者城市交通设施不完善的路况，并没有严格按照车位线来进行停车动作。如果自动驾驶车辆还按照规范的停车位识别方式，检测到符合要求的车位才进行自动泊车操作的话，将会导致大量本能够停车但又不够规范的停车位被浪费掉，也会造成驾驶员时间上的浪费。
另外，网约车的兴起一方面促进了公共交通的发展，另一方面也带来了很多安全隐患。许多网约车司机为了节省时间，会将车辆停到较为危险的禁停路段载客或停靠，从而造成交通拥堵或者交通事故的发生。
发明内容
本发明旨在至少在一定程度上解决上述技术问题，提供一种基于深度学习的城市道路停车位识别方法及系统，一方面解决大量不够规范的停车位被浪费的问题，另外也能够解决日益增多的网约车司机的临时停靠需求，从而最大化的减少因为不规范停车行为造成的交通事故或交通拥堵的发生。
本发明的技术方案是：一种基于深度学习的城市道路停车位识别方法，其中，包括以下步骤：
首先确定停车位检测模式；
停车位检测模式分为两种，分别是常规停车位寻找模式和路肩临时停靠模式；
所述的常规停车位寻找模式通过识别停车线，超声波雷达测距，交通对象识别多种感知功能，结合停车空间计算，计算每一个潜在可供停车位置的停车空间；
所述的路肩临时停靠模式通过扫描视野盲区，并给出交通对象的位置，对于距离较近的目标会进行避让操作；在路肩临时停车时，扫描附近的交通标志，从而判断该路段是否允许临时停车。
进一步的，所述的常规停车位寻找模式包括以下步骤，
S1.通过环视摄像头采集信息；
S2.语义分割算法进行车位线检测，判断能否检测到完整停车线，若能进行步骤S3，若不能进行步骤S4；
S3.通过行业通用停车位识别方法，驾驶员进行泊车动作或自动泊车动作；
S4.通过图像分类算法，根据残缺车位线判断车位类型，再进行步骤S5；
S5.目标检测算法识别车辆以及障碍物，再进行步骤S6；
S6.对附近车辆进行方向识别，超声波雷达测距，对附近障碍物进行体积检测，整合信息后进行停车空间计算；再进行步骤S7；
S7.判断该区域是否能够停车，若是驾驶员进行泊车动作或自动泊车动作；若否下达车辆前进指令，再返回步骤S1。
具体的，所述的语义分割算法进行车位线检测具体包括将车位线检测任务分解成语义分割和聚类两个部分；语义分割部分负责对输入图像的像素进行二分类，判断像素属于车道线还是背景；嵌入分支负责对像素进行嵌入式表示，最终结果经过聚类结合为实例分割结果。
进一步的，所述的步骤S4中，如果识别到的车位线信息不足以确定停车位置，导致无法识别到完整车位线，通过车位标记点的定位方式，且定位方式为圆形描述符；
采用一个单阶段轻量化目标检测网络完成停车位顶点的回归，整个单阶段轻量化目标检测网络ghostnet+FPN特征金字塔+解码预测部分组成；ghostNet的核心思想分为两个部分，第一部分为利用1x1卷积获得输入特征的必要特征浓缩，第二部分为利用深度可分离卷积获得特征浓缩的相似特征图。
进一步的，所述的第二部分的FPN特征金字塔用于加强特征提取，从ghostnet中提取出三个有效特征层，用于FPN特征金字塔的构建；三个特征层分别位于主干部分的中层，中下层和底层；位于底层的特征层经过卷积后，利用解码预测部分获得结果，一部分利用上采样与中下层特征进行结合；结合后的特征层再次进行卷积处理，处理完后利用解码预测部分获得结果，一部分用于进行上采样后与最后的特征层进行结合，进行卷积处理后输出预测结果；
经过第二部分获得了三个加强后的特征，解码预测部分经过一次3*3卷积和1*1卷积，完成特征整合与通道数调整；然后每一个特征层将图像分成长宽对应的网格，每个网格中心建立多个圆形描述子，网络对这些圆形描述子进行预测，判断其中是否包含车位线顶点，以及车位线顶点的位置与对应的种类；预测结果包含中心点坐标，以及圆形描述子半径，和分类结果。
具体的，所述的步骤S6中，对附近障碍物进行体积检测，通过视觉传感器采集到的图片信息，通过轻量化目标检测网络yolox-s识别常见障碍物，并根据类别估算真实体积；若目标检测算法无法判断障碍物类型，则由超声波雷达进行距离判断，通过超声波雷达返回的距离信息，结合障碍物在图片上的大小，进行坐标定位以及体积的估算。
进一步的，所述的路肩临时停靠模式包括以下步骤：
S1.通过环视摄像头采集信息；
S2.语义分割算法进行路肩检测；
S3.环视摄像头检测禁停标识；
S4.判断能否检测到禁停标识，若能下达更换路段指令，返回步骤S1；若不能检测到禁停标识，进行步骤S5；
S5.环视摄像头检测侧后方来车；
S6.判断侧后方是否有来车，若是下达减速避让指令，返回步骤S5；若侧后方没有来车，进行路肩临时泊车动作。
具体的，所述的步骤S2中，具体为，通过基于深度学习的语义分割算法，对路面信息进行识别，识别路肩所在位置；结合车道线识别算法lanenet，下达变道指令，驾驶员可以通过自动变道系统或是手动变道，令车辆在最靠近路肩的车道上行驶。
路肩临时停靠模式还包括基于yolox-s的轻量化目标检测算法，yolox-s算法为开源算法yolox用于小型设备的轻量化版本，用于计划停靠路段的交通标志识别；通过环视摄像头以及前视摄像头采集周边环境信息，再将图片输入进深度学习模型，输出是交通标志以及交通对象的类型与坐标。
具体的，一种基于深度学习的城市道路停车位识别系统，其中，应用所述的基于深度学习的城市道路停车位识别方法，包括四个模块，分别为车位线识别模块，车辆及障碍物检测模块，停车空间计算模块，路肩临时停车判断模块，所述的车位线识别模块、车辆及障碍物检测模块、停车空间计算模块协同工作，路肩临时停车判断模块用于车辆临时停靠时独立运行。
与现有技术相比，有益效果是：
本发明针对于常规停车场景，如果出现未标识停车空间或车位线被遮挡的停车空间，原有技术方案会直接略过，而本发明提供的技术方案会通过识别停车线，超声波雷达测距，交通对象识别多种感知功能，结合停车空间计算模块，计算每一个潜在可供停车位置的停车空间，能够大大减少资源的浪费，也能够大大节省寻找车位的时间。
本发明针对于路肩临时停车场景，网约车驾驶员会出现因为不熟悉道路或未看到标志将车停在禁停路段，或者忽视视野盲区在临时停车变道时造成交通事故。本发明提供的技术方案可以通过环视摄像头扫描视野盲区，并给出交通对象的位置，对于距离较近的目标会进行避让操作。此外，在路肩临时停车时，会扫描附近的交通标志，从而判断该路段是否允许临时停车。
附图说明
图1是本发明整体流程示意图。
图2是本发明常规停车位寻找模式流程示意图。
图3是本发明超声波雷达测距流程示意图。
图4是本发明停车空间判断的平行情形示意图。
图5是本发明停车空间判断的垂直情形示意图。
图6是本发明路肩临时停靠模式流程示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1-6所示，一种基于深度学习的城市道路停车位识别方法，其中，包括以下步骤：
首先确定停车位检测模式；
停车位检测模式分为两种，分别是常规停车位寻找模式和路肩临时停靠模式；
所述的常规停车位寻找模式通过识别停车线，超声波雷达测距，交通对象识别多种感知功能，结合停车空间计算，计算每一个潜在可供停车位置的停车空间；
所述的路肩临时停靠模式通过扫描视野盲区，并给出交通对象的位置，对于距离较近的目标会进行避让操作；在路肩临时停车时，扫描附近的交通标志，从而判断该路段是否允许临时停车。
本实施例中，提供了一种停车位识别方法，通过多传感器的融合与深度学习算法，对不规范的停车位进行能否满足安全停车条件的判断，还能够寻找适合网约车临时停靠的位置。一方面解决大量不够规范的停车位被浪费的问题，另外也能够解决日益增多的网约车司机的临时停靠需求，从而最大化的减少因为不规范停车行为造成的交通事故或交通拥堵的发生。
具体的，常规停车位寻找模式包括以下步骤，
S1.通过环视摄像头采集信息；
S2.语义分割算法进行车位线检测，判断能否检测到完整停车线，若能进行步骤S3，若不能进行步骤S4；
S3.通过行业通用停车位识别方法，驾驶员进行泊车动作或自动泊车动作；
S4.通过图像分类算法，根据残缺车位线判断车位类型，再进行步骤S5；
S5.目标检测算法识别车辆以及障碍物，再进行步骤S6；
S6.对附近车辆进行方向识别，超声波雷达测距，对附近障碍物进行体积检测，整合信息后进行停车空间计算；再进行步骤S7；
S7.判断该区域是否能够停车，若是驾驶员进行泊车动作或自动泊车动作；若否下达车辆前进指令，再返回步骤S1。
其中，语义分割算法实现车位线检测具体如下：
停车位线识别的设计思路来源于车道线检测。这一部分采用开源车道线算法lanenet，将车道线检测任务分解成语义分割和聚类两个部分。语义分割部分负责对输入图像的像素进行二分类，判断像素属于车道线还是背景。嵌入分支负责对像素进行嵌入式表示，最终结果经过聚类结合为实例分割结果。
嵌入式分支网络H-Net结构，用于车道线曲线拟合。通过自己训练的模型来对车位线进行检测与分割，输入结果为RGB图片，输出结果为二值化的车位线图片，从而判断车位线是否完整。
如果车位线完整，则方法与常规的停车位寻找方法相同，这里不做赘述，本发明着重介绍的是当停车线不够完整时，需要借助于部分停车线与环境内的其他信息去判断停车空间是否足够。
针对于车位线信息不完整的情况：
很多驾驶员在停车时因为技术不达标或者操作不规范，并没有严格按照车位线来进行停车动作，或者城市交通设施不完善没有停车线标识，导致某些情况下停车位并没有完整的停车先做引导。
当车位线信息不够完整时，需要借助于其他信息来完成停车空间的计算与判断。其中包括利用部分车位线与车位顶点判断车位类型，通过附近车辆进行停车方式识别，超声波雷达测距，以及利用视觉传感器进行障碍物目标检测。
其中，非典型停车位的识别方式：
车位线检测功能，尝试得到车位线的图片。这种方式是基于线的车位识别方式，在车位线被遮挡或者光照性弱等情况会出现无法识别的问题。
如果识别到的车位线信息不足以确定停车位置，导致无法识别到完整车位线，则采用以下通过车位标记点来确定停车位类型，方向与位置。通过车位标记点的定位方式目前有三种可选方案，分别为方向描述符，矩形描述符，和圆形描述符。其中圆形描述符更加稳定，有更好提取常见模式的能力，并且具有更好的旋转鲁棒性。提供的圆形描述符的技术思路来实现对于车位标记点的识别。
轻量化网络ghostnet做了一定程度的改进，放弃两阶段的检测方式，而是采用一个单阶段轻量化目标检测网络完成停车位顶点的回归，从而保证实时性并且降低算力需求。
整个单阶段目标网络由轻量级网络ghostnet+FPN特征金字塔+解码预测部分组成。GhostNet的核心思想分为两个部分，第一部分为利用1x1卷积获得输入特征的必要特征浓缩，第二部分为利用深度可分离卷积获得特征浓缩的相似特征图。
第二部分的FPN特征金字塔用于加强特征提取，从ghostnet中提取出三个有效特征层，用于FPN特征金字塔的构建。三个特征层分别位于主干部分的中层，中下层和底层。位于底层的特征层经过卷积后，利用解码预测部分获得结果，一部分利用上采样与中下层特征进行结合。结合后的特征层再次进行卷积处理，处理完后利用解码预测部分获得结果，一部分用于进行上采样后与最后的特征层进行结合，进行卷积处理后输出预测结果。
经过第二部分获得了三个加强后的特征，解码预测部分经过一次3*3卷积和1*1卷积，完成特征整合与通道数调整。然后每一个特征层将图像分成长宽对应的网格，每个网格中心建立多个圆形描述子，网络对这些圆形描述子进行预测，判断其中是否包含车位线顶点，以及车位线顶点的位置与对应的种类。预测结果包含中心点坐标，以及圆形描述子半径，和分类结果。
得到顶点的准确位置和类型后，结合部分车位线，就可以通过传统计算机视觉算法，对车位线边缘轮廓进行补全，从而进一步判断停车位的方向。
前后车辆停车方式判断：
通过环视摄像头，利用轻量化目标检测算法yolox-s检测目标区域前后车辆。
Yolox的网络结构与YOLOV4非常类似，先进行主干网络的特征提取，在通过FPN特征金字塔加强特征提取，最后通过YOLOHEAD进行结果的预测与解码。
在YoloX中，利用SimOTA方法进行动态的正样本数量分配，提供了一种更好的正样本分配方式，具体分为以下几个步骤：
1、计算每个真实框和当前特征点预测框的重合程度。
2、计算将重合度最高的十个预测框与真实框的IOU加起来求得每个真实框的k，也就代表每个真实框有k个特征点与之对应。
3、计算每个真实框和当前特征点预测框的种类预测准确度。
4、判断真实框的中心是否落在了特征点的一定半径内。
5、计算Cost代价矩阵。
6、将Cost最低的k个点作为该真实框的正样本。
整个YOLOX网络的训练过程的损失函数由以下三个方面决定：Reg部分特征点的回归参数判断、Obj部分为特征点是否包含物体判断、Cls部分为特征点包含的物体的种类为。
1、Reg部分，由第三部分可知道每个真实框对应的特征点，获取到每个框对应的特征点后，取出该特征点的预测框，利用真实框和预测框计算IOU损失，作为Reg部分的Loss组成。
2、Obj部分，由第三部分可知道每个真实框对应的特征点，所有真实框对应的特征点都是正样本，剩余的特征点均为负样本，根据正负样本和特征点的是否包含物体的预测结果计算交叉熵损失，作为Obj部分的Loss组成。
3、Cls部分，由第三部分可知道每个真实框对应的特征点，获取到每个框对应的特征点后，取出该特征点的种类预测结果，根据真实框的种类和特征点的种类预测结果计算交叉熵损失，作为Cls部分的Loss组成。
利用YOLOX-S算法，截取预测后的车辆图片后判断车辆停靠方式。再通过计算机视觉中的canny算子获得车辆轮廓并识别车辆偏转角度。
Canny的目标是找到一个最优的边缘检测算法，最优边缘检测的含义是：
(1)最优检测：算法能够尽可能多地标识出图像中的实际边缘，漏检真实边缘的概率和误检非边缘的概率都尽可能小；
(2)最优定位准则：检测到的边缘点的位置距离实际边缘点的位置最近，或者是由于噪声影响引起检测出的边缘偏离物体的真实边缘的程度最小；
(3)检测点与边缘点一一对应：算子检测的边缘点与实际边缘点应该是一一对应。
为了满足这些要求Canny使用了变分法(calculus of variations)，这是一种寻找优化特定功能的函数的方法。最优检测使用四个指数函数项表示，但是它非常近似于高斯函数的一阶导数。
Canny边缘检测的效果是很显著的。相比普通的梯度算法大大抑制了噪声引起的伪边缘，而且是边缘细化，易于后续处理。对于对比度较低的图像，通过调节参数，Canny算法也能有很好的效果。停车空间判断就是根据这些车辆的停靠方式与角度确定自身在停车位内的停车方式与角度，并计算在此停靠方式下的最大安全停车空间。
随后进行超声波雷达测距，结合基于概率框架的单目视觉SLAM算法构建停车空间坐标系：
超声波发射器向某一方向发射超声波,同时开始计时,超声波在空气中传播,途中碰到障碍物就立即返回,超声波接收器收到反射波就立即停止计时。超声波在空气中的传播速度为340m/s,根据计时器记录的时间t,就可以计算出发射点距障碍物的距离s,即:s＝340t/2
基于概率框架的单目视觉SLAM在给定了从初始时刻到当前时刻的控制输入以及观测数据的条件下，构建一个联合后验概率密度函数来描述摄像机姿态和地图特征的空间位置。通过递归的贝叶斯滤波方法对此概率密度函数加以估计，从而实现摄像机SLAM。
该算法使用扩展卡尔曼滤波EKF实现。扩展卡尔曼滤波EKF的状态转移方程和观测方程为：
θk＝f(θk-1)+sk (1)
zk＝h(θk)+vk (2)
如图3所示，本方法采用的方案为一种基于扩展卡尔曼滤波的实时单目SLAM系统--MonoSLAM。
通过单目相机恢复快速通过未知场景时的3D轨迹的实时算法，此方法的核心是，在概率框架下在线创建稀疏但persistent的地图。包括主动(active)建图和测量、使用针对相机平滑运动的通用运动模型以及单目特征初始化和特征方位估计的解决方法。
通过单目视觉SLAM建图确定当前车辆在目标停车空间下的坐标，按照和其他车辆相同停车方式，结合超声波雷达测距，确定停车空间的最大可用面积。
最后利用多传感器进行障碍物检测：通过视觉传感器采集到的图片信息,通过轻量化目标检测网络yolox-s识别常见障碍物，并根据类别估算真实体积。若目标检测算法无法判断障碍物类型，则由超声波雷达进行距离判断，通过超声波雷达返回的距离信息，结合障碍物在图片上的大小，进行坐标定位以及体积的估算。
如果目标区域完全没有停车线标识，跳过非典型停车位的识别方式，结合前后车辆停车方式判断、超声波雷达测距、利用多传感器进行障碍物检测进行停车空间计算。
停车空间判断：通过语义分割算法实现车位线检测，可以得到停车位类型，周围车辆停车方式，停车空间最大可用面积，停车空间内是否有障碍物。我们可以计算可供安全停车的空间。
如图4所示，针对于平行情况，标准情形，侧边停放车辆一致直线摆放。
安全停车长度L的计算公式(无障碍物)为：
L＝(前后车最大距离-泊出安全距离*)2，若L大于等于车身长度，则可以完成停车操作，L小于车身长度则该区域不能用于停车。
若存在障碍物：
L＝(障碍物到车辆的纵向最大距离-泊出安全距离*2)，若L大于等于车身长度，则可以完成停车操作，L小于车身长度则改区域不能用于停车。
如图5所示，针对垂直情形，侧边停放车辆一致直线摆放。
针对于垂直情况，安全停车长度L的计算公式(无障碍物)为：
L＝(左右车最大距离-开门安全距离*2)，若L大于等于车身宽度，则可以完成停车操作，L小于车身宽度则该区域不能用于停车。
若存在障碍物，则L的计算公式为：
L＝(障碍物到车辆的横向最大距离-开门安全距离*2)，若L大于等于车身宽度，则可以完成停车操作，L小于车身宽度则该区域不能用于停车。
如图6所示，路肩临时停靠模式，用于解决出租车，网约车驾驶员的载客与停靠需求，以及突发情况的临时泊车需求，从而避免因为不规范临时停靠导致的交通拥堵及交通事故的发生。
路肩临时停靠模式包括以下步骤：
S1.通过环视摄像头采集信息；
S2.语义分割算法进行路肩检测；
S3.环视摄像头检测禁停标识；
S4.判断能否检测到禁停标识，若能下达更换路段指令，返回步骤S1；若不能检测到禁停标识，进行步骤S5；
S5.环视摄像头检测侧后方来车；
S6.判断侧后方是否有来车，若是下达减速避让指令，返回步骤S5；若侧后方没有来车，进行路肩临时泊车动作。
识别路肩的语义分割算法：
通过基于深度学习的语义分割算法，对路面信息进行识别，识别路肩所在位置。结合车道线识别算法lanenet，下达变道指令，驾驶员可以通过目前较为成熟的自动变道系统或是手动变道，令车辆在最靠近路肩的车道上行驶。具体如语义分割算法实现车位线检测部分的内容。
基于yolox-s的轻量化目标检测算法：
yolox-s算法为开源算法yolox用于小型设备的轻量化版本，用于计划停靠路段的交通标志识别。通过环视摄像头以及前视摄像头采集周边环境信息，再将图片输入进深度学习模型，输出是交通标志以及交通对象的类型与坐标。
如果在车辆行进过程中，检测到禁停标志以及公交站点，标有黄色实线的路段，则返回不能在此停车的指令，控制车辆继续前进并在下一个区域寻找临时停靠点。
该算法还用于在下达停车指令前的交通对象识别以及进行变道操作时的交通对象识别。将摄像头采集到的图片输入进深度学习模型，输出是交通对象的类型以及坐标。如果车辆侧后方一定距离内出现车辆，或是侧方有行人等情况，则进行避让操作。等待其经过后再下达泊车指令。
本发明针对于目前行业内的停车方式对于标识的需求过高，以及没有考虑到因部分驾驶员技术不达标或操作失误出现停车不规范的问题，提供一种替代解决方案。针对于停车线被遮挡，不清晰或未标识等情况，结合周边环境可供参考的部分信息即可完成停车位置的指定以及停车空间的判断。
针对目前日益增加的网约车以及出租车，为避免不规范临时停车带来的交通拥堵或交通事故的发生，提供了一种合法合规且安全的停车位置规划。
一种基于深度学习的城市道路停车位识别系统，应用所述的基于深度学习的城市道路停车位识别方法，包括四个模块，分别为车位线识别模块，车辆及障碍物检测模块，停车空间计算模块，路肩临时停车判断模块，所述的车位线识别模块、车辆及障碍物检测模块、停车空间计算模块协同工作，路肩临时停车判断模块用于车辆临时停靠时独立运行。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于深度学习的城市道路停车位识别方法，其特征在于，包括以下步骤：
首先确定停车位检测模式；
停车位检测模式分为两种，分别是常规停车位寻找模式和路肩临时停靠模式；
所述的常规停车位寻找模式通过识别停车线，超声波雷达测距，交通对象识别多种感知功能，结合停车空间计算，计算每一个潜在可供停车位置的停车空间；
所述的路肩临时停靠模式通过扫描视野盲区，并给出交通对象的位置，对于距离较近的目标会进行避让操作；在路肩临时停车时，扫描附近的交通标志，从而判断该路段是否允许临时停车。
2.根据权利要求1所述的一种基于深度学习的城市道路停车位识别方法，其特征在于：所述的常规停车位寻找模式包括以下步骤，
S1.通过环视摄像头采集信息；
S2.语义分割算法进行车位线检测，判断能否检测到完整停车线，若能进行步骤S3，若不能进行步骤S4；
S3.通过行业通用停车位识别方法，驾驶员进行泊车动作或自动泊车动作；
S4.通过图像分类算法，根据残缺车位线判断车位类型，再进行步骤S5；
S5.目标检测算法识别车辆以及障碍物，再进行步骤S6；
S6.对附近车辆进行方向识别，超声波雷达测距，对附近障碍物进行体积检测，整合信息后进行停车空间计算；再进行步骤S7；
S7.判断该区域是否能够停车，若是驾驶员进行泊车动作或自动泊车动作；若否下达车辆前进指令，再返回步骤S1。
3.根据权利要求2所述的一种基于深度学习的城市道路停车位识别方法，其特征在于：所述的语义分割算法进行车位线检测具体包括将车位线检测任务分解成语义分割和聚类两个部分；语义分割部分负责对输入图像的像素进行二分类，判断像素属于车道线还是背景；嵌入分支负责对像素进行嵌入式表示，最终结果经过聚类结合为实例分割结果。
4.根据权利要求2所述的一种基于深度学习的城市道路停车位识别方法，其特征在于：所述的步骤S4中，如果识别到的车位线信息不足以确定停车位置，导致无法识别到完整车位线，通过车位标记点的定位方式，且定位方式为圆形描述符；
采用一个单阶段轻量化目标检测网络完成停车位顶点的回归，整个单阶段轻量化目标检测网络ghostnet+FPN特征金字塔+解码预测部分组成；ghostNet的核心思想分为两个部分，第一部分为利用1x1卷积获得输入特征的必要特征浓缩，第二部分为利用深度可分离卷积获得特征浓缩的相似特征图。
5.根据权利要求4所述的一种基于深度学习的城市道路停车位识别方法，其特征在于：所述的第二部分的FPN特征金字塔用于加强特征提取，从ghostnet中提取出三个有效特征层，用于FPN特征金字塔的构建；三个特征层分别位于主干部分的中层，中下层和底层；位于底层的特征层经过卷积后，利用解码预测部分获得结果，一部分利用上采样与中下层特征进行结合；结合后的特征层再次进行卷积处理，处理完后利用解码预测部分获得结果，一部分用于进行上采样后与最后的特征层进行结合，进行卷积处理后输出预测结果；
经过第二部分获得了三个加强后的特征，解码预测部分经过一次3*3卷积和1*1卷积，完成特征整合与通道数调整；然后每一个特征层将图像分成长宽对应的网格，每个网格中心建立多个圆形描述子，网络对这些圆形描述子进行预测，判断其中是否包含车位线顶点，以及车位线顶点的位置与对应的种类；预测结果包含中心点坐标，以及圆形描述子半径，和分类结果。
6.根据权利要求2所述的一种基于深度学习的城市道路停车位识别方法，其特征在于：所述的步骤S6中，对附近障碍物进行体积检测，通过视觉传感器采集到的图片信息，通过轻量化目标检测网络yolox-s识别常见障碍物，并根据类别估算真实体积；若目标检测算法无法判断障碍物类型，则由超声波雷达进行距离判断，通过超声波雷达返回的距离信息，结合障碍物在图片上的大小，进行坐标定位以及体积的估算。
7.根据权利要求1所述的一种基于深度学习的城市道路停车位识别方法，其特征在于：所述的路肩临时停靠模式包括以下步骤：
S1.通过环视摄像头采集信息；
S2.语义分割算法进行路肩检测；
S3.环视摄像头检测禁停标识；
S4.判断能否检测到禁停标识，若能下达更换路段指令，返回步骤S1；若不能检测到禁停标识，进行步骤S5；
S5.环视摄像头检测侧后方来车；
S6.判断侧后方是否有来车，若是下达减速避让指令，返回步骤S5；若侧后方没有来车，进行路肩临时泊车动作。
8.根据权利要求7所述的一种基于深度学习的城市道路停车位识别方法，其特征在于：所述的步骤S2中，具体为，通过基于深度学习的语义分割算法，对路面信息进行识别，识别路肩所在位置；结合车道线识别算法lanenet，下达变道指令，驾驶员可以通过自动变道系统或是手动变道，令车辆在最靠近路肩的车道上行驶。
9.根据权利要求8所述的一种基于深度学习的城市道路停车位识别方法，其特征在于：路肩临时停靠模式还包括基于yolox-s的轻量化目标检测算法，yolox-s算法为开源算法yolox用于小型设备的轻量化版本，用于计划停靠路段的交通标志识别；通过环视摄像头以及前视摄像头采集周边环境信息，再将图片输入进深度学习模型，输出是交通标志以及交通对象的类型与坐标。
10.一种基于深度学习的城市道路停车位识别系统，其特征在于，应用权利要求9所述的基于深度学习的城市道路停车位识别方法，包括四个模块，分别为车位线识别模块，车辆及障碍物检测模块，停车空间计算模块，路肩临时停车判断模块，所述的车位线识别模块、车辆及障碍物检测模块、停车空间计算模块协同工作，路肩临时停车判断模块用于车辆临时停靠时独立运行。
CN202111654507.5A 2021-12-30 2021-12-30 一种基于深度学习的城市道路停车位识别方法及系统 Pending CN114445798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111654507.5A CN114445798A (zh) 2021-12-30 2021-12-30 一种基于深度学习的城市道路停车位识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111654507.5A CN114445798A (zh) 2021-12-30 2021-12-30 一种基于深度学习的城市道路停车位识别方法及系统

Publications (1)

Publication Number Publication Date
CN114445798A true CN114445798A (zh) 2022-05-06

Family

ID=81366420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111654507.5A Pending CN114445798A (zh) 2021-12-30 2021-12-30 一种基于深度学习的城市道路停车位识别方法及系统

Country Status (1)

Country Link
CN (1) CN114445798A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708560A (zh) * 2022-06-06 2022-07-05 科大天工智能装备技术（天津）有限公司 一种基于yolox算法的违章停车检测方法及系统
CN116612458A (zh) * 2023-05-30 2023-08-18 易飒(广州)智能科技有限公司 基于深度学习的泊车路径确定方法与系统
CN116612458B (zh) * 2023-05-30 2024-06-04 易飒(广州)智能科技有限公司 基于深度学习的泊车路径确定方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708040A (zh) * 2016-12-09 2017-05-24 重庆长安汽车股份有限公司 自动驾驶系统的传感器模块、自动驾驶系统及方法
CN111198385A (zh) * 2019-12-26 2020-05-26 北京旷视机器人技术有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111291650A (zh) * 2020-01-21 2020-06-16 北京百度网讯科技有限公司 自动泊车辅助的方法及装置
CN111986506A (zh) * 2020-07-20 2020-11-24 苏州易航远智智能科技有限公司 基于多视觉系统的机械式停车位泊车方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106708040A (zh) * 2016-12-09 2017-05-24 重庆长安汽车股份有限公司 自动驾驶系统的传感器模块、自动驾驶系统及方法
CN111198385A (zh) * 2019-12-26 2020-05-26 北京旷视机器人技术有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN111291650A (zh) * 2020-01-21 2020-06-16 北京百度网讯科技有限公司 自动泊车辅助的方法及装置
CN111986506A (zh) * 2020-07-20 2020-11-24 苏州易航远智智能科技有限公司 基于多视觉系统的机械式停车位泊车方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DAVY NEVEN ET AL.: "《Towards End-to-End Lane Detection: an Instance Segmentation Approach》", 《HTTPS://ARXIV.ORG/PDF/1802.05591.PDF》 *
KAI HAN ET AL.: "《GhostNet: More Features From Cheap Operations》", 《2020 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
ZIZHANG WU ET AL.: "《PSDet: Efficient and Universal Parking Slot Detection》", 《2020 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV)》 *
张茂于: "《产业专利分析报告 第58册 自动驾驶》", 30 June 2017, 北京：知识产权出版社 *
董洪义: "《深度学习之PyTorch物体检测实战》", 31 January 2020, 北京：机械工业出版社 *
马伟: "《基于机器视觉的泊车位检测关键技术研究》", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708560A (zh) * 2022-06-06 2022-07-05 科大天工智能装备技术（天津）有限公司 一种基于yolox算法的违章停车检测方法及系统
CN114708560B (zh) * 2022-06-06 2022-08-09 科大天工智能装备技术（天津）有限公司 一种基于yolox算法的违章停车检测方法及系统
CN116612458A (zh) * 2023-05-30 2023-08-18 易飒(广州)智能科技有限公司 基于深度学习的泊车路径确定方法与系统
CN116612458B (zh) * 2023-05-30 2024-06-04 易飒(广州)智能科技有限公司 基于深度学习的泊车路径确定方法与系统

Similar Documents

Publication Publication Date Title
CN110689761B (zh) 一种自动泊车方法
CN111081064B (zh) 一种车载以太网的自动泊车系统及自动代客泊车方法
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
CN110362077B (zh) 无人驾驶车辆紧急避险决策系统、方法及介质
CN111874006B (zh) 路线规划处理方法和装置
CN103105174B (zh) 一种基于ar增强现实技术的车载实景安全导航方法
Suhr et al. Sensor fusion-based vacant parking slot detection and tracking
CN106647776B (zh) 车辆变道趋势的判断方法、判断装置和计算机存储介质
US20190258876A1 (en) Providing information-rich map semantics to navigation metric map
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
CN107341454A (zh) 一种场景中障碍物的检测方法及装置、电子设备
CN111595357B (zh) 可视化界面的显示方法、装置、电子设备和存储介质
CN112967283B (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN106683530A (zh) 一种基于三维激光视觉和高精度车道模型的计算机评判系统和方法
CN114898296A (zh) 基于毫米波雷达与视觉融合的公交车道占用检测方法
CN110610153A (zh) 一种用于自动驾驶的车道识别方法及系统
CN112389419B (zh) 识别停车位的方法和停车辅助系统
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN114454875A (zh) 一种基于强化学习的城市道路自动泊车方法及系统
CN114445798A (zh) 一种基于深度学习的城市道路停车位识别方法及系统
KR101850794B1 (ko) 주차 지원 장치 및 방법
Jung et al. Intelligent Hybrid Fusion Algorithm with Vision Patterns for Generation of Precise Digital Road Maps in Self-driving Vehicles.
Álvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control
CN116563801A (zh) 交通事故检测方法、装置、电子设备和介质
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination