CN110852313B - 一种车位检测方法 - Google Patents

一种车位检测方法 Download PDF

Info

Publication number
CN110852313B
CN110852313B CN202010040018.XA CN202010040018A CN110852313B CN 110852313 B CN110852313 B CN 110852313B CN 202010040018 A CN202010040018 A CN 202010040018A CN 110852313 B CN110852313 B CN 110852313B
Authority
CN
China
Prior art keywords
parking space
parking
centrality
parking spaces
spaces
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010040018.XA
Other languages
English (en)
Other versions
CN110852313A (zh
Inventor
袁施薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motovis Technology Shanghai Co ltd
Original Assignee
Motovis Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motovis Technology Shanghai Co ltd filed Critical Motovis Technology Shanghai Co ltd
Priority to CN202010040018.XA priority Critical patent/CN110852313B/zh
Publication of CN110852313A publication Critical patent/CN110852313A/zh
Application granted granted Critical
Publication of CN110852313B publication Critical patent/CN110852313B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种车位检测方法，包括下述步骤：步骤a：获取车辆四周的所有车位的鸟瞰图；步骤b：对所述鸟瞰图中的每个车位标注四个顶点，并定义车位四个顶点的顺序；步骤c：建立车位检测模型，步骤d：进行模型训练，获得训练好的车位检测模型；以及步骤e：将待测鸟瞰图送入所述训练好的车位检测模型中进行车位检测，获得车位类别、车位位置以及其中心性，从而获得最终车位。本发明具有如下有益效果：在同样达到实时的基础上，本发明方法一步直接检测出车位，不需要根据预设规则进行匹配和推断，因而本发明方法更加直接有效，且适用更多类型的车位。

Description

一种车位检测方法
技术领域
本发明涉及机器视觉领域，尤其涉及一种车位检测方法。
背景技术
现阶段，人工智能技术不断成熟，自动驾驶和辅助驾驶技术也被广泛地研发和商用，而广大用户也有着对辅助泊车和自动泊车的迫切需求。除了在道路上行驶以外，车辆还需驶入相应的停车位，这就需要对车辆附近的车位有精确地定位，才能规划好泊车路线，安全准确地泊出车。大部分现有车辆都会配备全景式监控影像系统，可以通过车载视觉系统建立鸟瞰图，从而在该鸟瞰图上对附近车位进行定位，以便后续控制模块控制车辆驶入用户想要的车位。
使用车载设备进行车位检测的方法中，视觉方法同时具备价格较为低廉以及信息较为丰富的特点，成为最为广泛应用的方法。现有的方法基本可以分为基于标记点的车位检测和基于车位线的车位检测，具体来说，就是先检测标记点或车位线的位置，再进行车位判断。此外，还有同时检测车位标记点和车位线的方法，以及其他top-down的方法。但是，现有的方法存在计算复杂、需要借助辅助信息来判断车位、适用范围小和精度低等缺点。借助辅助信息的情况，例如有些方法通过检测边上的障碍车，辅助判断待检车位；还有些方法会加上雷达、停车场车位图等信息作为辅助信息。
发明内容
针对现有技术的上述缺陷，本发明提出了一种车位检测方法。
本发明的一种车位检测方法，包括如下步骤：
步骤a：获取车辆四周的所有车位的鸟瞰图；
步骤b：对所述鸟瞰图中的每个车位标注四个顶点，并定义车位四个顶点的顺序， 所述鸟瞰图中车位的四个顶点标记为
Figure 662213DEST_PATH_IMAGE002
；
步骤c：根据标注顶点后的所述鸟瞰图建立车位检测模型，包括如下步骤：
步骤c1：对标注顶点后的所述鸟瞰图提取图片特征层，所述特征层记为F，其长宽记为W,H；
步骤c2：根据所述图片特征层F，分别预测W*H个像素点上车位的类别、有车位的情况下该车位的位置以及该车位的中心性，所述车位的类别包括可停车位、不可停车位和无车位，所述车位的位置是该车位的各标记点与被预测的像素点之间的距离向量；
步骤c3：根据上述预测结果和预期值，获得对应的损失函数；
步骤d：将所述损失函数相加，并进行模型训练，获得训练好的车位检测模型；以及
步骤e：将待测鸟瞰图送入所述训练好的车位检测模型中进行车位检测，获得车位类别、车位位置以及其中心性，并基于检测结果获得车位。
优选地，步骤a中，所述鸟瞰图由车辆四周的四张鱼眼图进行拼接、并将该车辆的俯视图贴在拼接后的鱼眼图中心而形成。
优选地，步骤b中，所述车位四个顶点的顺序为：左前方、右前方、右后方、左后方。
优选地，步骤c1和c2中，通过backbone和ASPP模块对所述鸟瞰图提取图片特征层F，并根据图片特征层F通过FCOS Head 模块获得预测结果。
优选地，步骤c2中，所述中心性的公式如下：
Figure 766304DEST_PATH_IMAGE004
其中，
Figure 546041DEST_PATH_IMAGE006
上述公式中，c表示中心性，∏表示连续求积运算，p(x,y)表示被预测的像素点，(x,y)表示该车位上某个像素点的坐标，u,v表示车位相邻两个顶点的坐标，均为二维向量，linek(u, v)表示第k条车位线，该车位线由车位的相邻两个顶点u,v构成， d表示像素点p(x,y)到车位线linek(u, v)的距离，psa表示某个车位上的所有像素点，|u-v|表示向量的模，|(u-v)*(u-p(x,y))|表示两个向量内积的绝对值。
优选地，步骤c3中，对车位类别，选用BCEloss函数，
Figure 878933DEST_PATH_IMAGE007
其中，Lcls表示车位类别的损失函数，E表示求平均，x，y表示特征图上每个像素点的坐标，cl表示像素点对应的类别标签，pcl表示对该像素点类别的预测；
对于车位位置，选用smooth L1 loss函数，
Figure 693305DEST_PATH_IMAGE009
其中，Lreg表示车位顶点回归的损失函数，pr表示回归的预测，t表示回归点的位置标签；
对于中心性，选用BCEloss函数，
Figure 515768DEST_PATH_IMAGE011
其中，Lctn表示车位中心性的损失函数， E表示求平均，x，y表示特征图上每个像素点的坐标，ct表示像素点对应的中心性标签，pct表示对该像素点的中心性的预测。
优选地，步骤e中，使用NMS方法过滤出车位，包括：
步骤e1：比较车位类别中三个类别的置信度，过滤掉无车位类别的点；
步骤e2：将剩下的点的置信度乘以其对应的中心性，得到最终该点的车位置信度 的值：
Figure 969752DEST_PATH_IMAGE013
，这里，c表示中心性，x，y表示被预测的像素点的坐标，
Figure 168652DEST_PATH_IMAGE015
表示在该像素点位置（x,y）上最终的车位置信度，
Figure 775214DEST_PATH_IMAGE016
表示该像素点预测 的类别置信度。
步骤e3：将剩下的车位的集合记录为S，用非极大抑制NMS方法来过滤该集合S。
优选地，步骤e3进一步包括：
a)从大到小排序S中车位的置信度，选取S中置信度最大的车位ps，过滤掉S中剩下车位与最大车位ps的Iou大于第一阈值的车位，其中Iou为重叠率；
b)循环a中的步骤，直到S中所有车位的置信度都小于第二预定阈值，获得所有的车位的位置、类别和中心性。
优选地，进一步包括车位优化的步骤f：
通过检测车位的入口标记点及其方向来进行车位优化，和/或通过分割所述车位鸟瞰图上各像素点是否属于非车位线、入口线或车位边线来进行车位优化。
本发明具有如下有益效果：
1、同样达到实时的基础上，本发明方法直接一步检测出车位，而不是如传统方法先检查点和线，然后利用人工制定的规则对有限类型的车位进行推断，本发明方法避开了人工规则和分步推断，因此更直接有效。
2、本发明方法适用更多类型的车位，包括但不限于垂直、平行、斜向车位、转角处车位和封闭车位等。相比通过点、线推断车位的方法中复杂的推断规则，本发明直接检测车位，用4个标记点来表示一个车位信息，可以表示所有类型的车位，且能够对遮盖车位进行推断。
3、本发明还可以检测或分割鸟瞰图上的点线信息，进一步校准和优化已检测到的车位。
附图说明
图1是本发明的一个实施例的车位检测方法的流程图。
图2的（a）-（e）是本发明定义车位顶点的示意图。
图3是本发明的一个实施例的车位检测模型结构的示意图。
具体实施方式
下面通过实施例对本发明作进一步说明，其目的仅在于更好地理解本发明的研究内容而非限制本发明的保护范围。
如图1所示为本发明的一个实施例的车位检测方法的流程图，包括下述步骤a~e。
步骤a：获取车辆四周的所有车位的鸟瞰图。所述鸟瞰图由车辆四周的四张鱼眼图进行拼接、并将该车辆的俯视图贴在拼接后的鱼眼图中心而形成。
步骤b：对所述鸟瞰图中的每个车位标注四个顶点，并定义车位四个顶点的顺序。 所述车位四个顶点的顺序为：左前方（1）、右前方（2）、右后方（3）、左后方（4），以车位出入口 为前方方向。所述鸟瞰图中车位的四个顶点标记为
Figure 768578DEST_PATH_IMAGE018
。图2中分别示 出了（a）垂直车位、（b）斜向车位、（c）水平车位、（d）转弯处车位、（e）封闭车位的标注情况。
步骤c：根据标注顶点后的所述鸟瞰图建立车位检测模型，进一步包括如下步骤c1~c3。
步骤c1：对标注顶点后的所述鸟瞰图提取图片特征层。所述特征层记为F，其长宽记为W,H。
该步骤中，通过backbone模块和ASPP模块提取图片特征层。Backbone 是深度学习中神经网络用于提取特征的模块，它的输出是特征层F(features)。Backbone模块可以使用resnet系列，mobilenet系列，shufflenet或xception等网络结构。其中，resnet、mobilenet、shufflenet、xception均为backbone模块的一种，可以相互替代，它们的模型大小和花费时间不同。接着，使用Deeplabv3+的结构，采用例如ASPP模块进一步提取特征，得到最终的特征层（新特征层）。Deeplabv3+是一种已提出的分割模型，可以提取更好的特征。ASPP 是提取特征模块中一种提高特征提取的技巧。
步骤c2：根据所述图片特征层F，分别预测H*W个像素点上车位的类别、有车位的情况下该车位的位置以及该车位的中心性。所述车位的类别包括可停车位、不可停车位和无车位，即B*3*H*W，这里，B 表示鸟瞰图批量大小，数字“3”表示3种类别。所述车位的位置是该车位的各标记点与被预测的向像素点之间的距离向量，即B*8*H*W，这里数字“8”表示：4个标记点，每个标记点为一个2维向量。
步骤c2中，所述中心性即B*1*H*W。中心性的公式如下：
Figure 522907DEST_PATH_IMAGE020
其中，
Figure 438081DEST_PATH_IMAGE022
上述公式中，c表示中心性，∏表示连续求积运算，p(x,y)表示被预测的像素点，(x,y)表示该车位上某个像素点的坐标，u,v表示车位相邻两个顶点的坐标，均为二维向量，linek(u, v)表示第k条车位线，该车位线由车位的相邻两个顶点u,v构成， d表示像素点p(x,y)到车位线linek(u, v)的距离，psa表示某个车位上的所有像素点，|u-v|表示向量的模，|(u-v)*(u-p(x,y))|表示两个向量内积的绝对值。
本步骤中，通过FCOS head检测方法进行预测。FCOS Head是一种将提取的特征转化成最终预测结果的模块。例如，对于分类任务，head就输出一个分类结果。本发明的任务是车位检测，则针对每一个特征点预测车位位置、类别和中心性。FCOS head是一种新提出的单阶段的head类型，可以端对端地得到检测结果。
步骤c3：根据上述预测结果和预期值（预期值是基于人工标注的数据和预测内容的定义而计算得到的），获得对应的损失函数。
具体地，步骤c3中，对车位类别，选用BCE loss函数，
Figure 961466DEST_PATH_IMAGE007
其中，Lcls表示车位类别的损失函数，E表示求平均，x，y表示特征图上每个像素点的坐标，cl表示像素点对应的类别标签（即类别的预期值），pcl表示对该像素点类别的预测。BCE loss（binary crossentropy Loss）是二分类交叉熵损失函数，是一种损失函数形式。
对于车位位置，选用smooth L1 loss函数，
Figure 328993DEST_PATH_IMAGE023
其中，Lreg表示车位顶点回归的损失函数，pr表示回归的预测（即步骤c2中预测得到的车位位置），t表示回归点的位置标签（即车位位置的预期值）。Smooth L1 loss是光滑L1损失函数。L1Loss物理含义是两个像素点之间的直线距离。Smooth是将这个函数变成一个分段函数。
对于中心性，选用BCE loss函数，
Figure 570619DEST_PATH_IMAGE024
其中，Lctn表示车位中心性的损失函数，E表示求平均，x，y表示特征图上每个像素点的坐标，ct表示像素点对应的中心性标签，pct表示对该像素点的中心性的预测。
本发明通过上述步骤建立了车位检测模型，该模型的总体结构如图3所示。图3中的主干网络即backbone模块，空洞卷积空间金字塔池化模块即ASPP模块，全卷积单阶段检测头即FCOS head模块，B 表示鸟瞰图批量大小即一批图片的数量，H,W表示特征层的长宽。图3中，矩形框表示模型模块，平行四边形框表示数据。
接着是模型训练的过程，即步骤d：将所述损失函数相加，并进行模型训练，获得训练好的车位检测模型。建立模型之后，其参数是未优化的，本发明中使用梯度反传的方式离线训练模型。离线训练是在实际场合使用模型之前，把模型的参数固定下来。可以通过让模型的输出值（预测得到的数据）和预期值（标注）更接近，迭代地优化该模型。这个接近的度量方法就是上面定义的L函数。
接下来是利用训练好的模型进行实际车位检测的过程，即步骤e：将待测鸟瞰图送入所述训练好的车位检测模型中进行车位检测，获得车位类别、车位位置以及其中心性，并根据检测结果过滤出有效车位。所述待测鸟瞰图也是通过例如步骤a和步骤b而获得。
步骤e中，使用NMS方法过滤出有效车位。由于中心性经过非线性函数sigmoid函 数，而类别也是经过softmax函数，其值域均在0-1之间。Sigmoid函数是非极性双曲函数，
Figure 845742DEST_PATH_IMAGE025
，值域是0-1，常用于表示置信度，通常用于多类多类别分类。Softmax函数是 柔性最大值传输函数，值域也是0-1，常用于表示置信度，通常用于多类单类别分类。因此可 以使用NMS方法过滤出有效车位，进一步具体包括：
步骤e1：比较车位类别中三个类别的置信度，过滤掉无车位类别的点；
步骤e2：将剩下的点的置信度乘以其对应的中心性，得到最终该点的车位置信度 的值：
Figure 676164DEST_PATH_IMAGE026
，这里c表示中心性，x，y表示被预测的像素点的坐标，
Figure 11330DEST_PATH_IMAGE027
表 示该像素点上最终的置信度，
Figure 677935DEST_PATH_IMAGE028
表示该像素点上每个类别的置信度。
步骤e3：将剩下的车位的集合记录为S，用非极大抑制NMS方法来过滤该集合S。具体包括：a) 反向（从小到大）排序集合S中车位的最终置信度，选取S中置信度最大的车位ps，过滤掉集合S中剩下车位与ps的Iou大于第一预定阈值的车位，该第一预定阈值可以取0~1，优选0.5。其中Iou为重叠率；b)循环a中的步骤，直到S中所有车位的置信度都小于第二预定阈值，该第二预定阈值可以取0~1，优选0.5。从而获得所有有效车位的车位位置、类别和中心性。这里，重叠率Iou（intersection over union）是测量在特定数据集中检测相应物体准确度的一个标准。具体来说，为两个检测框之间的面积重叠率。Iou = 交集/并集。
以下结合具体实施例对本发明的有益效果进行说明：
下表示出了在同济开源的数据集ps2.0上利用各个方法进行车位检测的检测结果的精确率和召回率，本实施例使用resnet50 作为主干网络。
Figure 756749DEST_PATH_IMAGE029
Figure 254727DEST_PATH_IMAGE030
本发明的精确率达到99.08%，召回率达到99.40%，可见通过本发明方法进行车位检测，可获得较高的精确率和召回率。
其中，精确率=TP/TP+FP ,召回率=TP/TP+FN。TP（True Positive）表示将正类预测为正类数，FP（False Positive）表示将负类预测为正类数（即误报），FN（False Negative）表示将正类预测为负类数（即漏报）。
本发明进一步包括车位优化的步骤f，即通过检测车位入口处的两个标记点及其方向进行车位优化，和/或通过分割所述车位鸟瞰图上各像素点是否属于非车位线、入口线或车位边线来进行车位优化。
下面详细说明检测车位入口处的两个标记点及其方向。具体地，在backbone和ASPP提取的特征层之后，加上一个新的分支，即车位入口处的两个标记点及其方向，该标记点的方向就是入口处的两个标记点分别指向后面两个点的方向向量，该分支的输出层的大小是B*3*H*W。其中B*1*H*W为入口处标记点的特征层分割（这里的分割和前文步骤c2中的检测是类似的）。B*2*H*W为对应的入口处标记点的方向预测。即对于每一个像素点，得到一个3维向量[x, y, z]，其中x表示是不是入口标记点，y，z表示如果这个点是入口标记点的情况下它的方向。B表示一批图片的个数，H，W是图片的像素值。B*3*H*W是这个分支的预测结果。
进一步进行车位优化。在得到了入口标记点在分割图上的位置后，和预测得到（回归）的入口标记点进行比较，即通过预定的权重将预测得到（回归）的入口标记点和分割图上的入口标记点相加（加权和），得到一个更精准的入口点。权重是超参，可根据实际应用调整，要求权重和是1。
点的分割会比回归更加精准，这是任务本身性质决定的。因为回归任务回归的是到该像素点的距离，而分割任务是对像素点本身进行分割，因此信息更多会更加精准。
此外，由于本发明也得到了入口标记点的指向信息，如果车位标记点有一定的遮挡，可以根据车位的平行四边形的特性，推断车位四个标记点的位置。
下面详细说明通过分割所述车位鸟瞰图上各像素点是否属于非车位线、入口线或车位边线来进行车位优化。具体地，在backbone和ASPP之后的特征层之后，加入了一个新的分割分支，即分割鸟瞰图上各像素点是否属于非车位线、入口线或车位边线，此分支的输出大小为 B*3*H*W，这是一个4维张量。其中，对每一个像素点，得到一个三维向量[x, y, z]，这里x, y, z分别表示这个像素点是属于非车位线、入口线或车位边线的概率。这里，入口线是车位入口所在的直线，车位边线是车位上除入口线之外的其他边线。
由于得到了车位的入口线，如果是两个入口标记点的中间有车位入口线的分割，可以进一步确认该车位的存在；反之则会削弱这个车位的置信度。因此可以在这个更新过后的置信度上，进一步判断车位的准确性。此外，对于漏检的车位，也可以根据点线信息补充检测得到从而降低漏检率。
显然，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围。

Claims (8)

1.一种车位检测方法，其特征在于，包括下述步骤：
步骤a：获取车辆四周的所有车位的鸟瞰图；
步骤b：对所述鸟瞰图中的每个车位标注四个顶点，并定义车位四个顶点的顺序，所述 鸟瞰图中车位的四个顶点标记为
Figure 849835DEST_PATH_IMAGE002
；
步骤c：根据标注顶点后的所述鸟瞰图建立车位检测模型，包括如下步骤：
步骤c1：对标注顶点后的所述鸟瞰图提取图片特征层，所述特征层记为F，其长宽记为W,H；
步骤c2：根据所述图片特征层F，分别预测W*H个像素点上车位的类别、有车位的情况下该车位的位置以及该车位的中心性，所述车位的类别包括可停车位、不可停车位和无车位，所述车位的位置是该车位的各标记点与被预测的像素点之间的距离向量；
步骤c3：根据步骤c2中获得的预测结果和事先计算得到的预期值，获得对应的损失函数；
步骤d：将所述损失函数相加，并进行模型训练，获得训练好的车位检测模型；以及
步骤e：将待测鸟瞰图送入所述训练好的车位检测模型中进行车位检测，获得车位类别、车位位置以及其中心性，并基于检测结果获得车位，
步骤c2中，所述中心性的公式如下：
Figure 766975DEST_PATH_IMAGE004
其中，
Figure 733663DEST_PATH_IMAGE006
上述公式中，c表示中心性，∏表示连续求积运算，p(x,y)表示被预测的像素点，(x,y)表示该车位上某个像素点的坐标，u,v表示车位相邻两个顶点的坐标，均为二维向量，linek(u, v)表示第k条车位线，该车位线由车位的相邻两个顶点u,v构成， d表示像素点p(x,y)到车位线linek(u, v)的距离，psa表示某个车位上的所有像素点，|u-v|表示向量的模，|(u-v)*(u-p(x,y))|表示两个向量内积的绝对值。
2.根据权利要求1所述的方法，其特征在于，步骤a中，所述鸟瞰图由车辆四周的四张鱼眼图进行拼接、并将该车辆的俯视图贴在拼接后的鱼眼图的中心而形成。
3.根据权利要求1所述的方法，其特征在于，步骤b中，所述车位四个顶点的顺序为：左前方、右前方、右后方、左后方。
4.根据权利要求1所述的方法，其特征在于，步骤c1和c2中，通过backbone和ASPP模块对所述鸟瞰图提取图片特征层F，并根据图片特征层F通过FCOS Head 模块获得预测结果。
5.根据权利要求1所述的方法，其特征在于，
步骤c3中，对车位类别，选用BCEloss函数，
Figure 128872DEST_PATH_IMAGE008
其中，Lcls表示车位类别的损失函数，E表示求平均，x，y表示特征图上每个像素点的坐标，cl表示像素点对应的类别预期值，pcl表示对该像素点类别的预测；
对于车位位置，选用smooth L1 loss函数，
Figure 943244DEST_PATH_IMAGE010
其中，Lreg表示车位顶点回归的损失函数，pr表示回归的预测，t表示回归点的位置标签；
对于中心性，选用BCEloss函数，
Figure 703390DEST_PATH_IMAGE012
其中，Lctn表示车位中心性的损失函数，E表示求平均，x，y表示特征图上每个像素点的坐标，ct表示像素点对应的中心性标签，pct表示对该像素点的中心性的预测。
6.根据权利要求1所述的方法，其特征在于，步骤e中，使用NMS方法过滤出车位，包括：
步骤e1：比较车位类别中三个类别的置信度，过滤掉无车位类别的点；
步骤e2：将剩下的点的置信度乘以其对应的中心性，得到最终该点的车位置信度的值：
Figure 970423DEST_PATH_IMAGE014
，这里，c表示中心性，x，y表示被预测的像素点的坐标，
Figure 359204DEST_PATH_IMAGE016
表示在该像素点位置（x,y）上最终的车位置信度，
Figure 28083DEST_PATH_IMAGE018
表示该像素点预测的类 别置信度；
步骤e3：将剩下的车位的集合记录为S，用非极大抑制NMS方法来过滤该集合S。
7.根据权利要求6所述的方法，其特征在于，步骤e3进一步包括：
a)从大到小排序S中车位的置信度，选取S中置信度最大的车位ps，过滤掉S中剩下车位与最大车位ps的Iou大于第一阈值的车位，其中Iou为重叠率；
b)循环a中的步骤，直到S中所有车位的置信度都小于第二预定阈值，获得所有的车位的位置、类别和中心性。
8.根据权利要求1所述的方法，其特征在于，进一步包括车位优化的步骤f：
通过检测车位的入口标记点及其方向来进行车位优化，和/或通过分割所述车位鸟瞰图上各像素点是否属于非车位线、入口线或车位边线来进行车位优化。
CN202010040018.XA 2020-01-15 2020-01-15 一种车位检测方法 Active CN110852313B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010040018.XA CN110852313B (zh) 2020-01-15 2020-01-15 一种车位检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010040018.XA CN110852313B (zh) 2020-01-15 2020-01-15 一种车位检测方法

Publications (2)

Publication Number Publication Date
CN110852313A CN110852313A (zh) 2020-02-28
CN110852313B true CN110852313B (zh) 2020-04-17

Family

ID=69610722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010040018.XA Active CN110852313B (zh) 2020-01-15 2020-01-15 一种车位检测方法

Country Status (1)

Country Link
CN (1) CN110852313B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112298168B (zh) * 2020-11-06 2022-04-22 北京罗克维尔斯科技有限公司 一种车位检测方法及装置、自动泊车方法及装置
CN113807210B (zh) * 2021-08-31 2023-09-15 西安理工大学 一种基于金字塔切分注意力模块的遥感图像语义分割方法
CN113538523B (zh) * 2021-09-17 2021-12-31 魔视智能科技(上海)有限公司 车位检测跟踪方法、电子设备及车辆
CN116310390B (zh) * 2023-05-17 2023-08-18 上海仙工智能科技有限公司 一种空心目标的视觉检测方法及系统、库位管理系统
CN117152716B (zh) * 2023-09-13 2024-04-02 哈尔滨理工大学 一种考虑方向入口线和辅助标记点的停车位检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107844A (ja) * 2003-09-30 2005-04-21 Denso Corp 駐車場誘導システム
JP2013116696A (ja) * 2011-12-05 2013-06-13 Clarion Co Ltd 駐車支援装置
CN109034211A (zh) * 2018-07-04 2018-12-18 广州市捷众智能科技有限公司 一种基于机器学习的车位状态检测方法
CN109697860A (zh) * 2017-10-20 2019-04-30 上海欧菲智能车联科技有限公司 车位检测和跟踪系统及方法及车辆
CN109785354A (zh) * 2018-12-20 2019-05-21 江苏大学 一种基于背景光照去除和联通区域的车位检测方法
CN110473428A (zh) * 2019-09-18 2019-11-19 珠海格力电器股份有限公司 一种智能停车方法、设备和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107844A (ja) * 2003-09-30 2005-04-21 Denso Corp 駐車場誘導システム
JP2013116696A (ja) * 2011-12-05 2013-06-13 Clarion Co Ltd 駐車支援装置
CN109697860A (zh) * 2017-10-20 2019-04-30 上海欧菲智能车联科技有限公司 车位检测和跟踪系统及方法及车辆
CN109034211A (zh) * 2018-07-04 2018-12-18 广州市捷众智能科技有限公司 一种基于机器学习的车位状态检测方法
CN109785354A (zh) * 2018-12-20 2019-05-21 江苏大学 一种基于背景光照去除和联通区域的车位检测方法
CN110473428A (zh) * 2019-09-18 2019-11-19 珠海格力电器股份有限公司 一种智能停车方法、设备和系统

Also Published As

Publication number Publication date
CN110852313A (zh) 2020-02-28

Similar Documents

Publication Publication Date Title
CN110852313B (zh) 一种车位检测方法
CN104318258B (zh) 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
Fang et al. Road-sign detection and tracking
WO2022141910A1 (zh) 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法
US8379928B2 (en) Obstacle detection procedure for motor vehicle
CN107576960A (zh) 视觉雷达时空信息融合的目标检测方法及系统
Guo et al. Robust road detection and tracking in challenging scenarios based on Markov random fields with unsupervised learning
CN109543600A (zh) 一种实现可行驶区域检测方法及系统和应用
WO2020062433A1 (zh) 一种神经网络模型训练及通用接地线的检测方法
CN112329623A (zh) 雾天能见度检测与能见度安全等级划分预警方法
CN103413308A (zh) 一种障碍物检测方法和装置
Houben et al. On-vehicle video-based parking lot recognition with fisheye optics
Nassu et al. Rail extraction for driver support in railways
CN110379168A (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN111259796A (zh) 一种基于图像几何特征的车道线检测方法
CN109101932A (zh) 基于目标检测的多任务及临近信息融合的深度学习算法
Huang et al. Robust lane marking detection under different road conditions
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN113255553B (zh) 一种基于振动信息监督的可持续学习方法
CN112666573B (zh) 一种矿区卸载区车后方挡土墙及障碍物的检测方法
CN117392638A (zh) 一种服务于机器人场景的开放物体类别感知方法及装置
CN111950524A (zh) 一种基于双目视觉和rtk的果园局部稀疏建图方法和系统
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
Ho et al. Localization on freeways using the horizon line signature
CN116259042A (zh) 基于图注意力的环视图像停车位检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant