CN112836633A - 停车位检测方法以及停车位检测系统 - Google Patents

停车位检测方法以及停车位检测系统 Download PDF

Info

Publication number
CN112836633A
CN112836633A CN202110140680.7A CN202110140680A CN112836633A CN 112836633 A CN112836633 A CN 112836633A CN 202110140680 A CN202110140680 A CN 202110140680A CN 112836633 A CN112836633 A CN 112836633A
Authority
CN
China
Prior art keywords
parking space
corner
coordinate
coordinates
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110140680.7A
Other languages
English (en)
Inventor
张凯
王世婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weilai Automobile Technology Anhui Co Ltd
Original Assignee
Weilai Automobile Technology Anhui Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weilai Automobile Technology Anhui Co Ltd filed Critical Weilai Automobile Technology Anhui Co Ltd
Priority to CN202110140680.7A priority Critical patent/CN112836633A/zh
Publication of CN112836633A publication Critical patent/CN112836633A/zh
Priority to EP22153905.9A priority patent/EP4036870A1/en
Priority to US17/590,533 priority patent/US20220245952A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种停车位检测方法及其系统。该方法包括：采集车辆四周的包含一个或多个空闲及被占用车位的停车场图像；将所述停车场图像输入到神经网络模型进行图像处理，获得车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量；根据所述中心点坐标以及4个角点相对于中心点坐标的偏移量计算4个角点的第二坐标；对于所述4个角点的第二坐标，采用所4个角点的第一坐标进行修正，获得4个角点的实际坐标及实际角点概率；以及基于所述中心点坐标以及中心点概率和所述4个角点的实际坐标及实际角点概率进行车位检测。根据本发明能够精确地检测停车位。

Description

停车位检测方法以及停车位检测系统
技术领域
本发明涉及自动驾驶技术，具体地涉及一种基于停车位角点的停车位检测方法以及停车位检测系统。
背景技术
自动驾驶技术又称无人驾驶技术，是一种通过计算机系统实现无人驾驶的智能汽车技术。自动驾驶技术依靠人工智能、视觉计算、雷达、监控装置以及全球定位系统等协同工作，让计算机系统可以在没有任何人类主动的操作下，自动安全地操作车辆。
自动泊车技术是指，车辆自动泊车入位不需要人工控制。不同的自动泊车系统采用不同的方法来检测车辆周围的物体，有的是在车辆前后安装感应器，有的是在车辆上安装摄像头或者雷达来检测障碍物，车辆会检测到已停好的车辆、停车位的大小以及路边的距离，然后将车辆泊入停车位。
目前，基于雷达的自动泊车系统可以检测到两车之间的停车位，但无法处理空地上划线的车位，且雷达有时会误检测车位内的限位器导致车辆无法完全进入停车位就终止泊车。相比于基于雷达的自动泊车系统，基于视觉的停车位检测算法支持检测空地上划线的车位。
发明内容
鉴于上述问题，本发明旨在提出一种能够精确检测停车位的停车位检测方法以及停车位检测系统。
本发明一方面的停车位检测方法，其特征在于，包括：
图像采集步骤，采集车辆四周的包含一个或多个空闲及被占用车位的停车场图像；
图像处理步骤，将所述停车场图像输入到神经网络模型进行图像处理，获得车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量；
坐标计算步骤，根据所述中心点坐标以及4个角点相对于中心点坐标的偏移量计算4个角点的第二坐标；
坐标修正步骤，对于所述4个角点的第二坐标，采用所4个角点的第一坐标进行修正，获得4个角点的实际坐标及实际角点概率；以及
车位检测步骤，基于所述中心点坐标以及中心点概率和所述4个角点的实际坐标及实际角点概率进行车位检测。
可选地，在所述坐标修正步骤，对于所述4个角点的每一个角点，以该角点的第二坐标位置为中心划分预设大小的区域，在该区域中寻找该角点的第一坐标，将该第二坐标替换为寻找到的第一坐标。
可选地，在所述车位检测步骤中，基于所述中心点概率和所述4个角点的实际角点概率计算车位的最终概率。
可选地，在所述车位检测步骤中，所述中心点概率为P0，所述4个角点的修正角点的概率分别为P1、P2、P3、P4，所述车位的最终概率P为0.6 * P0 + 0.1 * （P1 + P2 + P3 +P4）。
可选地，在所述图像处理步骤，对于所述停车场图像，采用预设图片大小，通过多个卷积层及下采样层抽取图片特征，并且使用跨层连接融合低层的边缘特征和高层的语义特征，再通过上采样层恢复到所述预设图片大小，在输出层上预测车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量（X,Y,L），其中，X、Y、L分别表示X方向和Y方向以及距离。
可选地，所述输出层包含了10层所述预设图片大小的角点特征图，以及12 层所述预设图片大小的偏移量特征图，其中，所述角点特征图的前5层表示空闲车位，后5层表示被占车位，5层中每一层表示中心点和4个角点的特征，空闲车位和被占车位共享偏移量特征图，每一个角点有3个偏移量，分别表示X方向和Y方向以及距离L，共4个角点，12层特征。
本发明一方面的停车位检测系统，其特征在于，包括：
图像采集模块，用于采集车辆四周的包含一个或多个空闲及被占用车位的停车场图像；
图像处理模块，用于将所述停车场图像输入到神经网络模型进行图像处理，获得车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量；
坐标计算模块，用于根据所述中心点坐标以及4个角点相对于中心点坐标的偏移量计算4个角点的第二坐标；
坐标修正模块，用于对于所述4个角点的第二坐标采用所4个角点的第一坐标进行修正以获得4个角点的实际坐标及实际角点概率；以及
车位检测模块，用于基于所述中心点坐标以及中心点概率和所述4个角点的实际坐标及实际角点概率进行车位检测。
可选地，在所述坐标修正模块，对于所述4个角点的每一个角点，以该角点的第二坐标位置为中心划分预设大小的区域，在该区域中寻找该角点的第一坐标，将该第二坐标替换为寻找到的第一坐标。
可选地，在所述车位检测模块中，基于所述中心点概率和所述4个角点的实际角点概率计算车位的最终概率。
可选地，在所述车位检测模块中，所述中心点概率为P0，所述4个角点的修正角点分别为P1、P2、P3、P4，所述车位的最终概率P为0.6 * P0 + 0.1 * （P1 + P2 + P3 + P4）。
可选地，所述图像处理模块中，对于所述停车场图像，采用预设图片大小，通过多个卷积层及下采样层抽取图片特征，并且使用跨层连接融合低层的边缘特征和高层的语义特征，再通过上采样层恢复到所述预设图片大小，在输出层上预测车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量（X,Y,L），其中，X、Y、L分别表示X方向和Y方向以及距离。
可选地，所述输出层包含了10层所述预设图片大小的角点特征图，以及12 层所述预设图片大小的偏移量特征图，其中，所述角点特征图的前5层表示空闲车位，后5层表示被占车位，5层中每一层表示中心点和4个角点的特征，空闲车位和被占车位共享偏移量特征图，每一个角点有3个偏移量，分别表示X方向和Y方向以及距离L，共4个角点，12层特征。
本发明一方面的计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现所述的停车位检测方法。
本发明一方面的计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的停车位检测方法。
根据本发明的停车位检测方法以及停车位检测系统能够有效提高停车场中车位检出率，而且能够提高车位定位精度。
附图说明
图1是本发明一方面的停车位检测方法的流程示意图。
图2是用于预测角点的热力图的示意图。
图3是表示图像处理步骤的具体过程的示意图。
图4是坐标计算步骤的示意图。
图5是坐坐标修正步骤的示意图。
图6是本发明一方面的停车位检测系统的结构框图。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到，相同的原理可等效地应用于所有类型的停车位检测方法以及停车位检测系统，并且可以在其中实施这些相同的原理，以及任何此类变化不背离本专利申请的真实精神和范围。
而且，在下文描述中，参考了附图，这些附图图示特定的示范实施例。在不背离本发明的精神和范围的前提下可以对这些实施例进行电、机械、逻辑和结构上的更改。此外，虽然本发明的特征是结合若干实施/实施例的仅其中之一来公开的，但是如针对任何给定或可识别的功能可能是期望和/或有利的，可以将此特征与其他实施/实施例的一个或多个其他特征进行组合。因此，下文描述不应视为在限制意义上的，并且本发明的范围由所附权利要求及其等效物来定义。
诸如“具备”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元（模块）和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元（模块）和步骤的情形。
本发明的停车位检测方法的构思在于，根据从车身摄像头获取到的车辆四周的包含一个或多个空闲及被占用车位的停车场图片，将图片送入神经网络进行处理，获得中心点坐标及概率（P，X，Y）及车位4个角点的精细坐标及概率，同时获得4个角点相对中心点的坐标偏移量（方向X，Y及距离L），根据获得的中心点坐标及概率，筛选出所有空闲车位及被占用车位中心点坐标，根据获得的4个角点相对车位中心点的坐标偏移量，计算出4个角点粗略坐标，然后在每个角点周围一定范围内，匹配之前获得的4个角点的精细坐标，作为该车位4个角点的实际坐标及概率，并根据中心点坐标概率及4个角点实际坐标及概率，重新计算当前车位的概率，用于后续的重复车位过滤逻辑。
图1是本发明一方面的停车位检测方法的流程示意图。
如图1所示，本发明的停车位检测方法包括下述步骤：
图像采集步骤S100：采集车辆四周的包含一个或多个空闲及被占用车位的停车场图像；
图像处理步骤S200：将所述停车场图像输入到神经网络模型进行图像处理，获得车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量；
坐标计算步骤S300：根据所述中心点坐标以及4个角点相对于中心点坐标的偏移量计算4个角点的第二坐标；
坐标修正步骤S400：对于所述4个角点的第二坐标，采用所4个角点的第一坐标进行修正，获得4个角点的实际坐标及实际角点概率；以及
车位检测步骤S500：基于所述中心点坐标以及中心点概率和所述4个角点的实际坐标及实际角点概率进行车位检测。
接着，对于步骤S100~步骤S500进行具体说明。
在图像采集步骤S100中，可以通过车身摄像头采集车辆四周的包含一个或多个空闲及被占用车位的停车场图像。
在图像处理步骤S200中，基于热力图预测车位角点坐标，由此可以得到非常精确的车位的4个角点的第一坐标及第一角点概率、车位的中心点坐标及中心点概率、以及4个角点相对于中心点坐标的偏移量，这里“第一坐标”也称为“精细坐标”，因为其精度相对较高。
图2是用于预测角点的热力图的示意图。
如图2所示，对于每一张图片，标注人员会标注图片中所有的车位角点坐标。由于标注结果通常会存在一定的误差，比如实际的坐标和标注坐标相差几个像素，如果使用神经网络去预测这一个像素的坐标，只有这个像素为正样本，其他像素都为负样本，网络可学习的特征少，结果往往会比较差。为了解决这样的问题，在本发明的神经网络模型中，对于每一个车位角点，使用高斯分布在其周围一定范围内绘制出一系列的点云作为模型预测的结果。通过对角点坐标周围赋予一定的权值而不是仅仅只预测角点一个像素的峰值，模型可以预测出非常精确的角点坐标。
图3是表示图像处理步骤的具体过程的示意图。
如图3所示，在图像处理步骤S200，对于被输入的停车场图像，采用例如384*384的图片大小，通过多个卷积层及下采样层抽取图片特征，并且使用跨层连接融合低层的边缘特征和高层的语义特征，再通过上采样层恢复到384*384的图片大小，在输出层上预测车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量（X,Y,L），其中，X、Y、L分别表示X方向和Y方向以及距离。
其中，输出层包含了10层所述预设图片大小的角点特征图，以及12 层所述预设图片大小的偏移量特征图，其中，所述角点特征图的前5层表示空闲车位，后5层表示被占车位，5层中每一层表示中心点和4个角点的特征，空闲车位和被占车位共享偏移量特征图，每一个角点有3个偏移量，分别表示X方向和Y方向以及距离L，共4个角点，12层特征。
图4是坐标计算步骤的示意图。
通过上述图像处理步骤S200，能够得到所述中心点坐标以及4个角点相对于中心点坐标的偏移量（X,Y,L）。接着，在坐标计算步骤S300中，如图4所示，根据中心点坐标（图3中的“0”）以及4个角点相对于中心点坐标的偏移量（X,Y,L）能够计算4个角点（图3中的“1~4”）的第二坐标，这里，“第二坐标”也称为“粗略坐标”，因为其精度没有步骤S200中通过热力图得到的“精细坐标”精确。
图5是坐标修正步骤的示意图。
如图5所示，在坐标修正步骤S400中，对于在坐标计算步骤S300中计算出的4个角点中的角点坐标1的粗略坐标，在该坐标位置圈出一个预设大小的区域（即以该角点的第二坐标位置为中心划分预设大小的区域），在该区域中寻找该角点热力图获得的精细坐标（即图像处理步骤S200获得的第一坐标），将该粗略坐标替换为获取到的精细坐标，对于剩余的3个角点做类似处理，最后得到图4中的虚线所示框中的4个角点，即修正后的角点坐标。
在车位检测步骤S500中，基于中心点坐标以及中心点概率和4个角点的实际坐标进行车位检测。作为一个示例，设中心点概率为P0，4个角点的修正角点的概率分别为P1、P2、P3、P4，则车位的最终概率P为0.6 * P0 + 0.1 * （P1 + P2 + P3 + P4）。
由于图像上可能存在遮挡、车位线不清晰等各种因素，使用中心点直接回归4个角点偏移量误差较大。而如果预测角点，并将角点分组（如使用聚类算法）为独立车位，则在图中存在多个车位时，聚类结果往往不够稳定且后处理十分复杂，导致较多的车位漏检。与此相对，通过使用上述本发明的停车位检测方法，能够获取到非常精确的车位坐标，并且重新计算后的车位概率结合了中心点及4个角点的概率，可以非常准确的表示该车位为真实车位的概率，能够极大降低车位的误检及漏检。
图6是本发明一方面的停车位检测系统的结构框图。
如图6所示，本发明一方面的停车位检测系统，其特征在于，包括：
图像采集模块100，用于采集车辆四周的包含一个或多个空闲及被占用车位的停车场图像；
图像处理模块200，用于将所述停车场图像输入到神经网络模型进行图像处理，获得车位的中心点坐标以及中心点概率、4个角点的第一坐标（精细坐标）及第一角点概率、以及4个角点相对于中心点坐标的偏移量；
坐标计算模块300，用于根据所述中心点坐标以及4个角点相对于中心点坐标的偏移量计算4个角点的第二坐标（粗略坐标）；
坐标修正模块400，用于对于所述4个角点的第二坐标采用所4个角点的第一坐标进行修正以获得4个角点的实际坐标及实际角点概率；以及
车位检测模块500，用于基于所述中心点坐标以及中心点概率和所述4个角点的实际坐标及实际角点概率进行车位检测。
其中，在所述坐标修正模块400，对于所述4个角点的第二坐标的每一个，在该坐标位置圈出一个规定大小的区域，在该区域中寻找该角点的第一坐标，将该第二坐标替换为获取到的第一坐标。
其中，在所述车位检测模块500中，基于所述中心点概率和所述4个角点的实际角点概率计算车位的最终概率。作为一个示例，在所述车位检测模块500中，所述中心点概率为P0，所述4个角点的修正角点分别为P1、P2、P3、P4，所述车位的最终概率P为0.6 * P0 +0.1 * （P1 + P2 + P3 + P4）。
在图像处理模块200中，对于所述停车场图像，采用预设图片大小，通过多个卷积层及下采样层抽取图片特征，并且使用跨层连接融合低层的边缘特征和高层的语义特征，再通过上采样层恢复到所述预设图片大小，在输出层上预测车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量（X,Y,L），其中，X、Y、L分别表示X方向和Y方向以及距离。
其中，所述输出层包含了10层所述预设图片大小的角点特征图，以及12 层所述预设图片大小的偏移量特征图，其中，所述角点特征图的前5层表示空闲车位，后5层表示被占车位，5层中每一层表示中心点和4个角点的特征，空闲车位和被占车位共享偏移量特征图，每一个角点有3个偏移量，分别表示X方向和Y方向以及距离L，共4个角点，12层特征。
本发明还提供一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现上述的停车位检测方法。
本发明还提供一种计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的停车位检测方法。
如上所述，在本发明的停车位检测方法以及停车位检测系统中，通过设计了一个神经网络模型，输入带有停车位的图像，输出车位4个角点的特征图，车位中心点特征图，角点相对于中心点的坐标偏移量，以及车位是否可停状态，由此，能够带来以下技术效果：采用轻量化网络设计，可在边缘计算平台实时运行；车位检出率高，误检率低，可以作为全自动泊车的视觉感知部分，与雷达等信号融合；支持水平和垂直等常规车位及斜方砖面等非常规车位，算法鲁棒性强。
而且，根据本发明的停车位检测方法以及停车位检测系统能够有效解决以下问题：在停车场中仅依靠雷达自动泊车时车位检出率低的问题；解决了其他车位检测方法仅通过中心点和角点偏移量检测车位定位精度差的问题；支持输出车位有效性状态，对于车位上有车占用或者锥形桶、地锁等输出不可停车位。
如上所述，本发明的停车位检测方法以及停车位检测系统能够为自动泊车系统提供停车位视觉感知，提高车位检出率和角点定位精度，同时在本发明中提出了一个适用于边缘计算平台的深度学习网络，由此，实现轻量级网络设计并且车位检出率高，而且，本发明同时支持空闲车位及被占用车位的检测，可以支持自动泊车系统在UI上显示这两种车位，提供更好的显示体验。
以上例子主要说明了本发明的停车位检测方法以及停车位检测系统。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。

Claims (14)

1.一种停车位检测方法，其特征在于，包括：
图像采集步骤，采集车辆四周的包含一个或多个空闲及被占用车位的停车场图像；
图像处理步骤，将所述停车场图像输入到神经网络模型进行图像处理，获得车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量；
坐标计算步骤，根据所述中心点坐标以及4个角点相对于中心点坐标的偏移量计算4个角点的第二坐标；
坐标修正步骤，对于所述4个角点的第二坐标，采用所4个角点的第一坐标进行修正，获得4个角点的实际坐标及实际角点概率；以及
车位检测步骤，基于所述中心点坐标以及中心点概率和所述4个角点的实际坐标及实际角点概率进行车位检测。
2.如权利要求1所述的停车位检测方法，其特征在于，
在所述坐标修正步骤，对于所述4个角点的每一个角点，以该角点的第二坐标位置为中心划分预设大小的区域，在该区域中寻找该角点的第一坐标，将该第二坐标替换为寻找到的第一坐标。
3.如权利要求1所述的停车位检测方法，其特征在于，
在所述车位检测步骤中，基于所述中心点概率和所述4个角点的实际角点概率计算车位的最终概率。
4.如权利要求3所述的停车位检测方法，其特征在于，
在所述车位检测步骤中，所述中心点概率为P0，所述4个角点的修正角点的概率分别为P1、P2、P3、P4，所述车位的最终概率P为0.6 * P0 + 0.1 * （P1 + P2 + P3 + P4）。
5.如权利要求1所述的停车位检测方法，其特征在于，
在所述图像处理步骤，对于所述停车场图像，采用预设图片大小，通过多个卷积层及下采样层抽取图片特征，并且使用跨层连接融合低层的边缘特征和高层的语义特征，再通过上采样层恢复到所述预设图片大小，在输出层上预测车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量（X,Y,L），其中，X、Y、L分别表示X方向和Y方向以及距离。
6.如权利要求5所述的停车位检测方法，其特征在于，
所述输出层包含了10层所述预设图片大小的角点特征图，以及12 层所述预设图片大小的偏移量特征图，其中，所述角点特征图的前5层表示空闲车位，后5层表示被占车位，5层中每一层表示中心点和4个角点的特征，空闲车位和被占车位共享偏移量特征图，每一个角点有3个偏移量，分别表示X方向和Y方向以及距离L，共4个角点，12层特征。
7.一种停车位检测系统，其特征在于，包括：
图像采集模块，用于采集车辆四周的包含一个或多个空闲及被占用车位的停车场图像；
图像处理模块，用于将所述停车场图像输入到神经网络模型进行图像处理，获得车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量；
坐标计算模块，用于根据所述中心点坐标以及4个角点相对于中心点坐标的偏移量计算4个角点的第二坐标；
坐标修正模块，用于对于所述4个角点的第二坐标采用所4个角点的第一坐标进行修正以获得4个角点的实际坐标及实际角点概率；以及
车位检测模块，用于基于所述中心点坐标以及中心点概率和所述4个角点的实际坐标及实际角点概率进行车位检测。
8.如权利要求7所述的停车位检测系统，其特征在于，
在所述坐标修正模块，对于所述4个角点的每一个角点，以该角点的第二坐标位置为中心划分预设大小的区域，在该区域中寻找该角点的第一坐标，将该第二坐标替换为寻找到的第一坐标。
9.如权利要求7所述的停车位检测系统，其特征在于，
在所述车位检测模块中，基于所述中心点概率和所述4个角点的实际角点概率计算车位的最终概率。
10.如权利要求8所述的停车位检测系统，其特征在于，
在所述车位检测模块中，所述中心点概率为P0，所述4个角点的修正角点分别为P1、P2、P3、P4，所述车位的最终概率P为0.6 * P0 + 0.1 * （P1 + P2 + P3 + P4）。
11.如权利要求7所述的停车位检测系统，其特征在于，
所述图像处理模块中，对于所述停车场图像，采用预设图片大小，通过多个卷积层及下采样层抽取图片特征，并且使用跨层连接融合低层的边缘特征和高层的语义特征，再通过上采样层恢复到所述预设图片大小，在输出层上预测车位的中心点坐标以及中心点概率、4个角点的第一坐标及第一角点概率、以及4个角点相对于中心点坐标的偏移量（X,Y,L），其中，X、Y、L分别表示X方向和Y方向以及距离。
12.如权利要求11所述的停车位检测系统，其特征在于，
所述输出层包含了10层所述预设图片大小的角点特征图，以及12 层所述预设图片大小的偏移量特征图，其中，所述角点特征图的前5层表示空闲车位，后5层表示被占车位，5层中每一层表示中心点和4个角点的特征，空闲车位和被占车位共享偏移量特征图，每一个角点有3个偏移量，分别表示X方向和Y方向以及距离L，共4个角点，12层特征。
13.一种计算机可读介质，其上存储有计算机程序，其特征在于，
该计算机程序被处理器执行时实现权利要求1~6任意一项所述的停车位检测方法。
14.一种计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1~6任意一项所述的停车位检测方法。
CN202110140680.7A 2021-02-02 2021-02-02 停车位检测方法以及停车位检测系统 Pending CN112836633A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110140680.7A CN112836633A (zh) 2021-02-02 2021-02-02 停车位检测方法以及停车位检测系统
EP22153905.9A EP4036870A1 (en) 2021-02-02 2022-01-28 Parking spot detection method and parking spot detection system
US17/590,533 US20220245952A1 (en) 2021-02-02 2022-02-01 Parking spot detection method and parking spot detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110140680.7A CN112836633A (zh) 2021-02-02 2021-02-02 停车位检测方法以及停车位检测系统

Publications (1)

Publication Number Publication Date
CN112836633A true CN112836633A (zh) 2021-05-25

Family

ID=75931514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110140680.7A Pending CN112836633A (zh) 2021-02-02 2021-02-02 停车位检测方法以及停车位检测系统

Country Status (3)

Country Link
US (1) US20220245952A1 (zh)
EP (1) EP4036870A1 (zh)
CN (1) CN112836633A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674199A (zh) * 2021-07-06 2021-11-19 浙江大华技术股份有限公司 停车位检测方法、电子设备及存储介质
CN114495571A (zh) * 2022-04-18 2022-05-13 科大天工智能装备技术（天津）有限公司 基于跨层耦合网络的车位状态检测方法、装置及存储介质
CN114882727A (zh) * 2022-03-15 2022-08-09 深圳市德驰微视技术有限公司 基于域控制器的停车位检测方法、电子设备及存储介质
CN115148047A (zh) * 2022-07-25 2022-10-04 中汽创智科技有限公司 一种车位检测方法及装置
WO2022260803A1 (en) * 2021-06-08 2022-12-15 Microsoft Technology Licensing, Llc Target region extraction for digital content addition
WO2023226268A1 (zh) * 2022-05-23 2023-11-30 广州小鹏自动驾驶科技有限公司 泊车控制方法、泊车控制装置、车辆和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580508A (zh) * 2020-12-18 2021-03-30 蔚来汽车科技(安徽)有限公司 停车位角点修正方法以及停车位角点修正系统、车辆
US20230031425A1 (en) * 2021-08-02 2023-02-02 DUS Operating Inc, Methodology to estimate slot line direction for parking slot detection
US20240037444A1 (en) * 2022-07-29 2024-02-01 Here Global B.V. Apparatus and methods for predicting improper parking events within electric vehicle charging locations
CN115565158B (zh) * 2022-11-17 2023-05-26 广汽埃安新能源汽车股份有限公司 车位检测方法、装置、电子设备和计算机可读介质
CN116052123A (zh) * 2023-01-28 2023-05-02 广汽埃安新能源汽车股份有限公司 一种基于摄像机画面的车位检测方法、装置、车辆、设备
DE102023203479A1 (de) 2023-04-18 2024-02-29 Zf Friedrichshafen Ag System und Verfahren zur Suche einer freien Parkfläche
CN116434161B (zh) * 2023-06-13 2023-08-22 深圳云游四海信息科技有限公司 用于判断基于高位视频的停车行为是否可信的方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110598512B (zh) * 2018-06-13 2022-05-06 杭州海康威视数字技术股份有限公司 一种车位检测方法及装置
CN110348297B (zh) * 2019-05-31 2023-12-26 纵目科技（上海）股份有限公司 一种用于识别立体停车库的检测方法、系统、终端和存储介质
CN110796063B (zh) * 2019-10-24 2022-09-09 百度在线网络技术（北京）有限公司 用于检测车位的方法、装置、设备、存储介质以及车辆
CN111428616B (zh) * 2020-03-20 2023-05-23 东软睿驰汽车技术（沈阳）有限公司 一种车位检测方法、装置、设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022260803A1 (en) * 2021-06-08 2022-12-15 Microsoft Technology Licensing, Llc Target region extraction for digital content addition
CN113674199A (zh) * 2021-07-06 2021-11-19 浙江大华技术股份有限公司 停车位检测方法、电子设备及存储介质
CN114882727A (zh) * 2022-03-15 2022-08-09 深圳市德驰微视技术有限公司 基于域控制器的停车位检测方法、电子设备及存储介质
CN114882727B (zh) * 2022-03-15 2023-09-05 深圳市德驰微视技术有限公司 基于域控制器的停车位检测方法、电子设备及存储介质
CN114495571A (zh) * 2022-04-18 2022-05-13 科大天工智能装备技术（天津）有限公司 基于跨层耦合网络的车位状态检测方法、装置及存储介质
CN114495571B (zh) * 2022-04-18 2022-07-26 科大天工智能装备技术（天津）有限公司 基于跨层耦合网络的车位状态检测方法、装置及存储介质
WO2023226268A1 (zh) * 2022-05-23 2023-11-30 广州小鹏自动驾驶科技有限公司 泊车控制方法、泊车控制装置、车辆和存储介质
CN115148047A (zh) * 2022-07-25 2022-10-04 中汽创智科技有限公司 一种车位检测方法及装置
CN115148047B (zh) * 2022-07-25 2024-05-24 中汽创智科技有限公司 一种车位检测方法及装置

Also Published As

Publication number Publication date
EP4036870A1 (en) 2022-08-03
US20220245952A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
CN112836633A (zh) 停车位检测方法以及停车位检测系统
CN111337941B (zh) 一种基于稀疏激光雷达数据的动态障碍物追踪方法
JP6842520B2 (ja) 物体検出方法、装置、機器、記憶媒体及び車両
CN111551958B (zh) 一种面向矿区无人驾驶的高精地图制作方法
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
CN109887033B (zh) 定位方法及装置
CN112417926B (zh) 车位识别方法、装置、计算机设备及可读存储介质
CN111178236A (zh) 一种基于深度学习的车位检测方法
CN110587597B (zh) 一种基于激光雷达的slam闭环检测方法及检测系统
CN112740225B (zh) 一种路面要素确定方法及装置
CN111860072A (zh) 泊车控制方法、装置、计算机设备及计算机可读存储介质
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN112193241A (zh) 一种自动泊车方法
CN114943952A (zh) 多相机重叠视域下障碍物融合方法、系统、设备和介质
CN116030130A (zh) 一种动态环境下的混合语义slam方法
CN114118253A (zh) 一种基于多源数据融合的车辆检测方法及检测装置
CN113971697A (zh) 一种空地协同车辆定位定向方法
WO2021063756A1 (en) Improved trajectory estimation based on ground truth
CN113029185A (zh) 众包式高精度地图更新中道路标线变化检测方法及系统
CN115235478A (zh) 基于视觉标签和激光slam的智能汽车定位方法及系统
CN113554705A (zh) 一种变化场景下的激光雷达鲁棒定位方法
CN114783172B (zh) 一种停车场空车位识别方法及系统、计算机可读存储介质
CN117152210B (zh) 基于动态观测视场角的图像动态追踪方法及相关装置
WO2023068034A1 (ja) 画像処理装置
CN116142172A (zh) 一种基于体素坐标系的泊车方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination