CN110348407A - 一种泊车位检测方法 - Google Patents

一种泊车位检测方法 Download PDF

Info

Publication number
CN110348407A
CN110348407A CN201910640508.0A CN201910640508A CN110348407A CN 110348407 A CN110348407 A CN 110348407A CN 201910640508 A CN201910640508 A CN 201910640508A CN 110348407 A CN110348407 A CN 110348407A
Authority
CN
China
Prior art keywords
mark point
parking
image
bearing mark
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910640508.0A
Other languages
English (en)
Inventor
张�林
黄君豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201910640508.0A priority Critical patent/CN110348407A/zh
Publication of CN110348407A publication Critical patent/CN110348407A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种泊车位检测方法,包括以下步骤:(1)获取车辆周围的信息作为输入;(2)在步骤(1)所获取的输入上使用DMPR‑PS进行方向标记点检测;(3)通过步骤(2)获取的方向标记点实现车位推断。通过实验证实,本发明的算法提出的方向标记点有效提高了车位判断的精度和准确性,满足实际应用中对车位图像分析的实时性。本发明的作用为自动驾驶领域的自动泊车场景中关键步骤,给出车位在车辆坐标系中的精确位置和泊车入口。实现在没有附加基础设施的基础上,也可以由车辆自身的摄像头,检测车位的位置。

Description

一种泊车位检测方法
技术领域
本发明属于智能驾驶的辅助泊车领域,涉及车位检测方法,尤其是基于视觉机器学习的车位检测方法。
背景技术
自动停车系统是自主驾驶的最后一步,是无人驾驶系统的重要组成部分,引起了众多研究者的兴趣。在开发这种系统的过程中,如何利用车内传感器正确地检测和定位停车位是设计的关键问题之一。解决这个问题的方法分为两类:基于空间的自由方法和基于视觉的方法。
基于自由空间的方法通过识别相邻车辆之间的足够空间来指定目标停车位置。在这些方法中使用了各种测距传感器,如超声波传感器、激光扫描仪、短程雷达等。然而,自由空间方法有一个内在的缺点,即它们依赖已正确停驻的车辆作为参考。换言之,这些主动装置无法在附近没有车辆的开阔区域工作。为了克服这一缺点,越来越多的研究者将注意力转向基于视觉的方法,期望找到一个更通用、更强大的解决方案。而不是识别一个自由空间,一个基于视觉的主动检测停车位标记定位停车位。停车位标志是在地面上画的线形标志,用于指示有效的停车位。因此,检测停车位标志来定位停车位比识别自由空间更为合理,更符合人类驾驶员的感知。因此,基于视觉的停车位检测研究受到了研究者的广泛关注。
在这些基于视觉的停车位检测方法中,有些方法,需要在交互界面上手动操作以检测某个停车位。这些方法的主要缺点是它们没有完全自动化。完全自动化的方法可以分类为基于行的方法和基于点的方法。
基于线的方法基于标记线检测。通常,它们首先检测图像中的边缘并排除异常值,然后使用最小二乘法预测标记线的方程。当标线准备好后,分析其几何关系,识别出入口线和分隔线,然后根据它们的方程确定停车位。这些方法中开发了多种边缘检测方法,包括Sobel滤波器、Canny边缘检测器、分段神经网络和锥形帽滤波器。他们还使用各种异常值排除技术,例如类似于Hough Transform的投票策略、Ransac(Random Sampling Consensus)和自定义的线聚类算法。
基于点的方法主要是标记点的检测。它们首先检测图像中的标记点,然后针对每对标记点,使用不同的方法来确定是否形成停车位入口线以及停车位的方向。Suhr和Jung使用Harris角检测器检测标记点的角,并使用模板匹配技术确定标记点的形状和方向。然后,根据上述信息推断出停车位的位置。李等。利用增强决策树来检测标记点,然后应用高斯线滤波器来寻找停车位的入口线并确定它们的方向。最近,张等人提出了一种基于CNN(卷积神经网络)的Approach,即DeepPS。它首先使用CNN检测标记点,然后使用另一个CNN对由标记点对确定的局部图像模式进行分类。张等的实验表明,DeepPS优于所有基于低层次特征的方法,也证实了CNN在解决这个问题上的有效性。
发明内容
本发明的目的在于提供辅助泊车技术方案,尤其是针对感知部分所存在的困难,提供一种泊车位检测算法,基于机器学习,从图像中检测出车位,并返回该车位的位置信息。
为达到上述目的,本发明的解决方案是:
提出了方向标记点,并设计了DMPR算法对方向标记点进行检测,此算法的输入是一个环视图像,输出是S*S*N的特征图,指出输入的环视图像切分的每个栅格中是否存在方向标记点以及方向标记点的特征。
所述方向标记点,指的是能够描述周围标记线形状的标记点,其记录了以标记点为中心和其邻域特征的pattern(模式)。方向标记点由下面6个特征组成:特征一,方向标记点x坐标;特征二,方向标记点y坐标;特征三,方向标记点的形状;特征四,方向标记点的方向角正弦值sinθ;特征五,方向标记点的余弦值cosθ;特征六,方向标记点落在该栅格中的可能性C。
此外,本发明还提出了将方向标记点分成5种类型,两两组合成方向标记点对,并根据其类型推断入口线的形状和朝向的停车位推断方法。
一种泊车位检测方法,包括以下步骤:
(1)获取车辆周围的信息作为输入;
(2)在步骤(1)所获取的输入上使用DMPR-PS(parking-slot detection methodusing directional marking-point regression)进行标记点检测;
(3)通过步骤(2)获取的标记点实现车位推断。
进一步,步骤(1)中,所述输入是车辆周围的环视图像;
优选的,采用机器学习算法加以实现;优选的,包括以下步骤:
(a)、将所获取的输入中划分为S*S的栅格,使用CNN(卷积神经网络)对每个栅格提取N维特征,组成S*S*N维特征图;(b)、检测出候选方向标记点的位置;(c)、根据候选方向标记点对推断车位的位置和朝向。
步骤(a)中所述的N维特征包括:特征一,方向标记点x坐标;特征二,方向标记点y坐标;特征三,方向标记点的形状;特征四,方向标记点的方向角正弦值sinθ;特征五,方向标记点的余弦值cosθ;特征六,方向标记点落在该栅格中的可能性C;优选的,最终得到六层特征图像,每层特征图像长宽均为图像的长宽,一层对应一种图像特征。
步骤(b)中,对S*S*N的特征图使用DMPR(directional marking-pointregression),然后在CNN的反向传播过程中,对落入S×S图像栅格中相应单元的方向标记点进行回归以对S*S*N特征图中的每个N维矢量进行赋值;
优选的,所述的算法在CNN中使用DMPR-PS算法预先训练完成,进一步使用DMPR-PS中的parking-slot inference算法和训练得到的方向标记点来检测停车位。
步骤(c)中,第一步(i),根据距离筛选方向标记点;第二步(ii)检测剩余的方向标记点对能否形成车位线。
优选的,步骤(c)(i)中,将方向标记点两两组合形成方向标记点对,并根据其坐标计算方向标记点对之间的欧氏距离;根据标记点对距离对其进行过滤;两点间距离过窄或是两点间连线有第三点穿过的标记点对需要被剔除。标记点对间距离作为先验知识从训练集中统计出来,如水平车位线间的距离最大为6.67米,最小为3.88米;而垂直车位线间距离最大为2.12米,最小为3.32米。
优选的,步骤(c)(ii)中,判断剩余的方向标记点对是否满足车位线形成条件,即判断方向标记点对是否在图6所示的16种标记点对组合中;若满足,则将其作为候选方向标记点对;否则,剔除该标记点对。
所述方向标记点,指的是能够描述周围标记线形状的标记点,其记录了以标记点为中心和其邻域特征的pattern;通过DMPR-PS算法来检测方向标记点,此算法的输入是一个局部图块,输出是一个6维特征,指出输入的局部图块包含标记点的概率,标记点的位置、形状和朝向。
数据集方面,采用了开源的环视图像数据集ps2.0来训练数据,由于ps2.0中不提供标记点的形状和方向,因此数据集手动标注了每张图像中标记点的形状和朝向信息。处理数据集的方法是将数据集中的每张图像每次旋转5度直到该图像回到原来的位置。
检测到候选标记点对后,按照以下方式推断出合理的车位:
给定两个检测到的标记点P1和P2,接下来需要判断从P1指向P2的有向线段是不是一个合理的车位入口线;步骤一,的长度需要符合先验知识中的车库入口线长度约束范围,同时剔除线段中存在另一个点P3步骤二,每个标记点都可以归类于五类标记点中的一类,其中五类标记点两两配对一共能够组成16种有效的车位线,符合上述条件的两个标记点,才被判定为入口线的候选项。
所述输入是可以清楚、无死角地显示车辆四周的环视图像;优选的,采用鸟瞰图视频流,优选的,所述鸟瞰图是由车辆前后左右的鱼眼摄像头视频流,经过去畸变和逆透视变换,模仿顶视图拼接而成的无透视无畸变的图像。
在不同的停车场景光照情况存在差异的情况下,训练样本中的彩色环视图像以及在测试阶段输入的彩色环视图像都需要先被转化成灰度图像。
由于采用了上述技术方案,本发明具有以下有益效果:本发明利用机器学习的技术,检测车位检测问题中的视觉特征,并使算法做到稳定高效,能够适应场景变化。
本发明的算法能准确地判断出环视图像中的车位位置,并且能做到符合实时性的算法效率。本发明的作用为自动驾驶领域的自动泊车场景中关键步骤,可给出车位在车辆坐标系中的精确位置,实现在没有附加基础设施的基础上,也可以由车辆自身的摄像头,检测车位的位置。
附图说明
图1A所示为本发明中所述的车位方向标记点,在平行车位中的位置。
图1B所示为本发明中所述的车位方向标记点的第一种形状:T形。
图1C所示为本发明中所述的车位方向标记点的第二种形状:L形。
图2所示为本发明中使用的卷积神经网络的配置。
图3所示为展示了本发明标记点检测过程中的主要步骤流程的框图。
图4所示为距离不当的标记点对的示意图。
图5所示为方向标记点对的类别及组合情况示意图。
图6所示为形成有效车位线的16种标记点对组合。
具体实施方式
以下结合附图及实施例对本发明进一步加以说明。
本发明的解决方案是:
(1)获取输入;输入是由任何形式获取的鸟瞰图视频流,本发明的鸟瞰图是由车辆前后左右的鱼眼摄像头视频流,经过去畸变,和逆透视变换,模仿顶视图拼接而成的无透视无畸变的图像,可以清楚地无死角地显示车辆四周,故又称环视图像,以下皆称为环视;
(2)标记点检测;本发明的输入是环视,在环视图像上进行标记点检测。首先将环视图像划分为S*S的栅格,然后使用CNN提取每个栅格的特征。对S*S*N的特征图使用DMPR,然后在CNN的反向传播过程中,对落入S×S图像栅格中相应单元的方向标记点进行回归以对S×S×N特征图中的每个N维矢量进行赋值,判断该栅格是否存在标记点和获取标记点的位置;
(3)车位推断;任取两个检测获得的方向标记点,根据两点间的距离和是否有第三点穿过两点间连线筛选标记点对,求得车位朝向,并且剔除两点连线穿过其他有效车位点的点对。每个标记点都可以归类于五类标记点中的一类,其中五类标记点两两配对一共能够组成16种有效的车位线,符合上述条件的两个标记点,才被判定为入口线的候选项。
本发明的设计可以同时满足检测垂直车位和平行车位的需要。本发明通过检测方向标记点,求得入口线的位置。本检测算法分为两个阶段,第一步,检测标记点,第二步,根据检测到的标记点推断车位位置。
下面具体介绍每个环节具体内容:
一、标记点检测
方向标记点,指的是能够描述周围标记线形状的标记点,其记录了以标记点为中心和其邻域特征的pattern;如图1A、图1B、图1C所示,圈出了本发明中所述的方向标记点在车位标志线中的位置和形状。
本发明通过一个算法(DMPR)来检测方向标记点,此算法的输入是一个环视图像,输出是S*S*N的特征图,指出输入的环视图像切分的每个栅格中是否存在方向标记点以及方向标记点的特征。
此外,本发明还提出了将方向标记点分成5种类型(如图5所示),两两组合成方向标记点对,并根据其类型推断入口线的形状和朝向(如图6所示)的停车位推断方法。
数据集方面,采用了开源的环视图像数据集ps2.0来训练数据,由于ps2.0中不提供标记点的形状和方向,因此数据集手动标注了每张图像中标记点的形状和朝向信息。处理数据集的方法是将数据集中的每张图像每次旋转5度直到该图像回到原来的位置。
需要强调的是,对于车位检测问题,色度(chrominance)信息是不稳定的,因为在不同的停车场景光照情况也有显著差异。所以训练样本中的彩色环视图像需要先被转化至灰度图像。同样地,在测试阶段输入的彩色环视图像也需要先被转化成灰度图像。
在训练抽取方向标记点特征的CNN模型之前,特征、损失函数和神经网络结构模型需要被确定。特征方面,本发明用到六种特征;损失函数方面,本发明将损失函数定义为预测与基本事实之间的平方误差之和;神经网络结构方面,本发明构建的CNN(结构如图2所示)以一个1×1的压缩卷积和一个3×3的扩展卷积的瓶颈块作为网络的基本构建块,最终输出张量为6×16×16。
特征的选择如下:
特征一是方向标记点的x坐标。
特征二是方向标记点的y坐标。
特征三是方向标记点的形状。定义如图1B和图1C所示。
特征四为方向标记点的方向角θ的正弦值sinθ。
特征五为方向标记点的方向角θ的余弦值cosθ。
特征六为方向标记点落在该栅格内的可能性C。
给定输入环视图像I,DMPR将I划分成一个S×S图像网格,并使用CNN从I中提取一个S×S×N特征图。然后在反向传播过程中,对S×S×N特征图中的每个N维矢量进行分配,以对落入S×S图像网格中相应单元的方向标记点进行回归。
损失函数定义如下:
其中下标i表示S×S图像中的栅格索引,用^标注的符号代表了与预测结果对应的基本事实。运算符表示标记点是否属于单元格i,这意味着当标记点落入该栅格中时,会惩罚单元格i的标记点属性错误。
训练阶段的具体实现过程如下:
给定一个环绕视图图像i,DMPR将i划分成一个S×S图像网格,并使用CNN从i中提取一个S×S×N特征图。然后在反向传播过程中,分配S×S×N特征图中的每个N维矢量,对落入S×S图像网格中相应单元的方向标记点进行回归。
在本发明的模型中,n维向量实际上由6个元素组成:cx、cy、s、cosθ、s inθ和confidence C。confidence预测标记点落入网格单元的概率。(cx,cy)预测标记点相对于网格单元边界的位置。S预测方向标记点的形状。本发明的模型不是直接预测θ,而是预测θ的两个三角值、cosθ和sinθ,因为后者在实现上更为稳健。根据cosθ和sinθ,可以直接推导θ。
在定义回归目标的情况下,损失函数被定义为预测与基本事实之间的平方误差之和,其表达式如下:
其中下标i表示S×S图像中的栅格索引,用^标注的符号代表了与预测结果对应的基本事实。运算符表示标记点是否属于单元格i,这意味着当标记点落入该栅格中时,会惩罚单元格i的标记点属性错误。
DMPR中使用的神经网络的结构设计主要遵循当前目标检测框架的建议以及该领域的常识。图2显示了这种神经网络的配置。以一个1×1的压缩卷积和一个3×3的扩展卷积的瓶颈块作为网络的基本构建块。
最终输出张量为6×16×16,是根据本发明的任务要求设计的。首先,如上所述,S×S网格中每个网格单元有六个预测,因此通道尺寸为6。其次,本发明回归模型的一个前提是,在S×S网格中,最多有一个标记点落入一个单元格中。如果一个以上的标记点落在同一个网格中,神经网络就无法在6维向量中预测这两个标记点。因此,s的值应该足够大,以防止两个标记点落在同一个单元格中。S也不应该设置得太大;否则,它将使DMPR的计算代价很高。通过检查ps2.0训练集中的示例,本发明在实现中设置了s=16。
具体算法的流程,已在图3中展示。
二、车位推测
通过检测定向标记点并施加非最大抑制,可以从检测到的标记点推断出停车位。推理过程包括两个步骤:根据距离进行不适当的标记点对过滤,根据形状和方向进行方向标记点对。在定向标记点对之前,需要过滤不适当的标记点对。首先,一对标记点的距离应满足距离约束。例如,在图4中,P1和P2是一对检测到的标记点。但很明显,它们并没有形成一个有效的入口线,因为它们之间的空间太窄,汽车不能停在里面。为了排除这种情况,首先得到了两个入口线距离范围,分别对应于垂直停车位和平行停车位。然后将它们用作距离约束,过滤出距离不合适的标记点对。第二,需要过滤出通过第三点的标记点对。在图4中,对于标记点P2和P4,尽管它们的方向和形状满足入口线的有效情况之一,但它们不构成有效的入口线,因为它们不相邻。本发明可以通过检查它们形成的入口线上是否有第三个标记点来排除这些无效案例。对于标记点P2和P4,第三个点P3位于P2和P4之间,因此它们不能形成有效的入口线。
过滤掉不合适的标记点对后,确定剩余的标记点对是否符合停车位入口线的有效情况之一。如图5所示,对于形成入口线的一对标记点(a,b),两个标记点可分为5种情况,如图5其中的(1)~(5)所示。然后,对于这5个标记点,有16个组合,其中两个标记点形成有效的入口线。这16个组合对应于图6所示的16个有效的入口线案例。因此,对于每个标记点对,本发明首先通过比较形状和方向来确定这两个标记点是否属于5个标记点案例中的一个,然后确定这两个标记点的组合是否符合16个有效的入口线案例中的一个。如果这两个条件都满足,本发明可以认为这两个标记点构成了一个有效的入口线,并且可以确定一个有序的标记点对。这样就可以最终找到该入口线对应的停车位。
以下结合具体实验对本发明及其有益效果进一步加以说明:
实验设置:
在训练之前,使用图像旋转增强训练集。对于每个样本,本发明每次旋转图像和标签5度以生成新样本,直到图像回到其原始位置。在训练期间,本发明使用10-4作为初始学习率的Adam优化器。本发明在Nvidia Titan XP上对网络工作进行了训练,批量为24个,共12个迭代。
1)标记点检测评价实验:
在本发明中,标记点检测是关键步骤,本试验在测试集上进行了方向标记点检测的评价。采用以下评价指标
如上定义,定向标记点表示为P={x,y,s,θ},而(x,y)表示标记点的位置,s表示标记点图案的形状,θ表示图案方向的角度坐标(度)。
假设Pt={xt,yt,st,θt}是标记的基本事实方向标记点,Pd={xd,yd,sd,θd}是检测点。本发明定义了以下条件:
||(xt-xd,yt-yd)||2<10
td|<30or2π-|θtd|<30
st=sd
如果满足上述条件,本发明认为Pt被正确的检测到了,Pd为真阳性。
在本发明的实验设置中,真阳性数为4510,假阴性数为19,假阳性数为20。因此,准确率为99.56%,召回率为99.58%。
2)车位检测评价实验:
在本实验中,评估了各种停车位检测方法的整体效能。对测试集进行了评估,并以精确召回率作为性能指标。除DMPR-PS外,还评估了该领域几种代表性方法的性能,包括Wang等人的方法、Hamda等人的方法、PSD_L和DeepPS。
停车位检测问题可以表述为一对有序的标记点对的检测。将停车位表示为S={o,d},而o和d表示有序标记点对中的两个点。对于每个标记的基本真值St={ot,dt},如果有一个检测的停车位Sd={od,dd}满足||ot-od||2<10并且||dt-dd||2<10,本发明认为St被正确的检测到,Sd是真阳性。比较结果如下表所示:
调整所有竞争方法的参数,使其在测试集上的准确率大于98%。结果汇总在表2中。从表2可以看出,当以高精度率操作时,本发明的方法优于所有其他方法,精度率为99.42%,召回率为99.37%。
另外还测量了在Nvidia Titan XP上使用pytorch实现的方法的速度。本发明的方法处理一个图像帧的平均时间约为12毫秒。它比另一种基于DCNN的方法DeepPS快30%,该方法在Nvidia Titan XP上测试了约17毫秒。
上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改,并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此,本发明不限于上述实施例,本领域技术人员根据本发明的揭示,不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (18)

1.一种泊车位检测方法,其特征在于,包括以下步骤:通过DMPR算法对方向标记点进行检测,所述算法的输入是一个环视图像,输出是S×S×N的特征图,指出输入的环视图像切分的每个栅格中是否存在方向标记点以及方向标记点的特征;
所述方向标记点,指的是能够描述周围标记线形状的标记点,其记录了以标记点为中心和其邻域特征的pattern。
2.根据权利要求1所述的泊车位检测方法,其特征在于:所述方向标记点包括以下6个特征:特征一,方向标记点x坐标;特征二,方向标记点y坐标;特征三,方向标记点的形状;特征四,方向标记点的方向角正弦值sinθ;特征五,方向标记点的余弦值cosθ;特征六,方向标记点落在该栅格中的可能性C。
3.根据权利要求1所述的泊车位检测方法,其特征在于,包括以下步骤:
(1)获取车辆周围的信息作为输入;
(2)在步骤(1)所获取的输入上使用DMPR-PS进行方向标记点检测;
(3)通过步骤(2)获取的方向标记点实现车位推断。
4.根据权利要求3所述的泊车位检测方法,其特征在于,步骤(1)中,所述输入是车辆周围的环视图像。
5.根据权利要求3所述的泊车位检测方法,其特征在于,采用机器学习算法加以实现;包括以下步骤:
(a)、将所获取的输入中划分为S×S的栅格,使用CNN对每个栅格提取一个方向标记点及其特征;
(b)、检测出候选方向标记点的位置;
(c)、根据候选方向标记点推断车位的位置和朝向。
6.根据权利要求5所述的泊车位检测方法,其特征在于,步骤(a)中提取的所述特征包括:特征一,方向标记点x坐标;特征二,方向标记点y坐标;特征三,方向标记点的形状;特征四,方向标记点的方向角正弦值sinθ;特征五,方向标记点的余弦值cosθ;特征六,方向标记点落在该栅格中的可能性C;最终得到六层特征图像,每层特征图像长宽均为图像的长宽,一层对应一种图像特征。
7.根据权利要求5所述的泊车位检测方法,其特征在于:步骤(b)中,对S×S×N的特征图使用DMPR,然后在CNN的反向传播过程中,对落入S×S图像栅格中相应单元的方向标记点进行回归以对S×S×N特征图中的每个N维矢量进行赋值,判断该栅格是否存在标记点。
8.根据权利要求5所述的泊车位检测方法,其特征在于:所述的算法在CNN中使用DMPR-PS算法预先训练完成,进一步使用DMPR-PS中的parking-slot inference算法和训练得到的方向标记点来检测停车位。
9.根据权利要求5所述的泊车位检测方法,其特征在于:步骤(c)中,第一步(i),根据距离筛选方向标记点;第二步(ii)检测剩余的方向标记点对能否形成车位线。
10.根据权利要求9所述的泊车位检测方法,其特征在于:第一步(i)中,将方向标记点两两组合形成方向标记点对,并根据其坐标计算方向标记点对之间的欧氏距离;根据距离对方向标记点对进行过滤,两点间距离过窄或是两点间连线有第三点穿过的标记点对需要被剔除;
步骤(c)第二步(ii)中,剩余的方向标记点对是否满足车位线形成条件。
11.根据权利要求5所述的泊车位检测方法,其特征在于,所述算法的输入是一个局部图块,输出是一个6维特征,指出输入的局部图块包含标记点的概率,标记点的位置、形状和朝向。
12.根据权利要求1所述的泊车位检测方法,其特征在于:数据集方面,采用开源的环视图像数据集ps2.0来训练数据;数据集手动标注了每张图像中标记点的形状和朝向信息。
13.根据权利要求1所述的泊车位检测方法,其特征在于:处理数据集的方法是将数据集中的每张图像每次旋转5度直到该图像回到原来的位置。
14.根据权利要求1所述的泊车位检测方法,其特征在于,检测到方向标记点后,按照以下方式推断出合理的车位:
给定两个检测到的标记点P1和P2,接下来需要判断从P1指向P2的有向线段是不是一个合理的车位入口线;步骤一,的长度需要符合先验知识中的车库入口线长度约束范围,同时剔除线段中存在另一个点P3步骤二,每个标记点都可以归类于五类标记点中的一类,其中五类标记点两两配对一共能够组成16种有效的车位线,符合上述条件的两个标记点,才被判定为入口线的候选项。
15.根据权利要求1所述的泊车位检测方法,其特征在于:所述输入是能够清楚、无死角地显示车辆四周的环视图像;优选的,采用鸟瞰图视频流;优选的,所述鸟瞰图是由车辆前后左右的鱼眼摄像头视频流,经过去畸变和逆透视变换,模仿顶视图拼接而成的无透视无畸变的图像。
16.根据权利要求1所述的泊车位检测方法,其特征在于:所述输入采用鸟瞰图视频流。
17.根据权利要求16所述的泊车位检测方法,其特征在于:所述鸟瞰图是由车辆前后左右的鱼眼摄像头视频流,经过去畸变和逆透视变换,模仿顶视图拼接而成的无透视无畸变的图像。
18.根据权利要求1所述的泊车位检测方法,其特征在于:在不同的停车场景光照情况存在差异的情况下,需要先将训练样本中的彩色环视图像以及在测试阶段输入的彩色环视图像都转化成灰度图像。
CN201910640508.0A 2019-07-16 2019-07-16 一种泊车位检测方法 Pending CN110348407A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910640508.0A CN110348407A (zh) 2019-07-16 2019-07-16 一种泊车位检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910640508.0A CN110348407A (zh) 2019-07-16 2019-07-16 一种泊车位检测方法

Publications (1)

Publication Number Publication Date
CN110348407A true CN110348407A (zh) 2019-10-18

Family

ID=68176535

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910640508.0A Pending CN110348407A (zh) 2019-07-16 2019-07-16 一种泊车位检测方法

Country Status (1)

Country Link
CN (1) CN110348407A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766136A (zh) * 2021-01-14 2021-05-07 华南理工大学 一种基于深度学习的空间车位检测方法
CN117152716A (zh) * 2023-09-13 2023-12-01 哈尔滨理工大学 一种考虑方向入口线和辅助标记点的停车位检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886080A (zh) * 2017-11-23 2018-04-06 同济大学 一种泊车位检测方法
CN108108689A (zh) * 2017-12-18 2018-06-01 北京工业大学 一种智能停车车位检测方法
CN108875911A (zh) * 2018-05-25 2018-11-23 同济大学 一种泊车位检测方法
CN109817013A (zh) * 2018-12-19 2019-05-28 新大陆数字技术股份有限公司 基于视频流的停车位状态识别方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886080A (zh) * 2017-11-23 2018-04-06 同济大学 一种泊车位检测方法
CN108108689A (zh) * 2017-12-18 2018-06-01 北京工业大学 一种智能停车车位检测方法
CN108875911A (zh) * 2018-05-25 2018-11-23 同济大学 一种泊车位检测方法
CN109817013A (zh) * 2018-12-19 2019-05-28 新大陆数字技术股份有限公司 基于视频流的停车位状态识别方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUNHAO HUANG; LIN ZHANG; YING SHEN,ET AL.: "《DMPR-PS: A Novel Approach for Parking-Slot Detection Using Directional Marking-Point Regression》", 《2019 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112766136A (zh) * 2021-01-14 2021-05-07 华南理工大学 一种基于深度学习的空间车位检测方法
CN112766136B (zh) * 2021-01-14 2024-03-19 华南理工大学 一种基于深度学习的空间车位检测方法
CN117152716A (zh) * 2023-09-13 2023-12-01 哈尔滨理工大学 一种考虑方向入口线和辅助标记点的停车位检测方法
CN117152716B (zh) * 2023-09-13 2024-04-02 哈尔滨理工大学 一种考虑方向入口线和辅助标记点的停车位检测方法

Similar Documents

Publication Publication Date Title
CN108875911B (zh) 一种泊车位检测方法
CN107886080A (zh) 一种泊车位检测方法
CN104392212B (zh) 一种基于视觉的道路信息检测及前方车辆识别方法
CN113255481B (zh) 一种基于无人巡逻车的人群状态检测方法
Li et al. Springrobot: A prototype autonomous vehicle and its algorithms for lane detection
CN101929867B (zh) 使用道路模型的畅通路径检测
Wu et al. Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement
CN106326893A (zh) 一种基于区域辨别的车辆颜色识别方法
CN110148196A (zh) 一种图像处理方法、装置以及相关设备
CN109543600A (zh) 一种实现可行驶区域检测方法及系统和应用
CN109460709A (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
CN112508985B (zh) 一种基于语义分割的slam回环检测改进方法
CN109583415A (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
DE102009050492A1 (de) Detektion eines freien Pfads unter Verwendung eines segmentierungsbasierten Verfahrens
CN101944176A (zh) 存在交通设施标识的更优畅通路径检测
CN110826412B (zh) 高速公路能见度检测系统和方法
CN110188606A (zh) 基于高光谱成像的车道识别方法、装置及电子设备
CN106446785A (zh) 基于双目视觉的可行道路检测方法
CN106295605A (zh) 红绿灯检测与识别方法
CN109255279A (zh) 一种交通标志检测识别的方法及系统
CN109409191A (zh) 一种基于机器学习的斑马线车辆避让检测方法及系统
CN110348407A (zh) 一种泊车位检测方法
CN111931683A (zh) 图像识别方法、装置及计算机可读存储介质
CN117284663B (zh) 一种园林垃圾的处理系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191018