CN115273028B - 一种基于全域感知的智慧停车场语义地图构建方法及系统 - Google Patents

一种基于全域感知的智慧停车场语义地图构建方法及系统 Download PDF

Info

Publication number
CN115273028B
CN115273028B CN202210834516.0A CN202210834516A CN115273028B CN 115273028 B CN115273028 B CN 115273028B CN 202210834516 A CN202210834516 A CN 202210834516A CN 115273028 B CN115273028 B CN 115273028B
Authority
CN
China
Prior art keywords
information
parking
position information
parking space
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210834516.0A
Other languages
English (en)
Other versions
CN115273028A (zh
Inventor
李骏
张新钰
王力
陈海峰
谢涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210834516.0A priority Critical patent/CN115273028B/zh
Publication of CN115273028A publication Critical patent/CN115273028A/zh
Application granted granted Critical
Publication of CN115273028B publication Critical patent/CN115273028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提出了一种基于全域感知的智慧停车场语义地图构建方法及系统，基于部署在停车场场端的激光雷达与相机实现，该方法包括：接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据；结合停车位的先验信息，根据RGB图像和点云数据进行停车位检测，得到停车位信息；采用基于相机与激光融合的三维目标检测算法，根据RGB图像和点云数据，得到车辆位置信息和行人位置信息；根据停车位信息和车辆位置信息构建栅格地图；根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。

Description

一种基于全域感知的智慧停车场语义地图构建方法及系统
技术领域
本发明属于自动驾驶技术领域，尤其涉及一种基于全域感知的智慧停车场语义地图构建方法及系统。
背景技术
快速增加的汽车保有量导致对停车场地的需求不断提高。中国当前停车位数量缺口较大，而且存在停车场利用率不高的问题，难以满足智能停车需求。从驾驶员角度出发，在车辆密集的停车场或是光线较暗的地下停车场存在较多的视野盲区，加上大量的泊车与取车人员在停车场内穿行，给停车带来了较大的安全隐患。停车场狭小的车位空间与部分车主停车不规范的情况也给驾驶员泊车带来了不小的困难。因此，众多的停车难题也在日益凸显。而随着计算机技术和传感技术的发展，各大科技型公司、初创型公司与传统整车厂、一级供应商等已经展开自动泊车技术的相关研发与落地布局。
鉴于现有的停车难，停车不安全以及停车位利用率不高等问题，智慧停车场便应运而生。智慧停车场是为了解决停车难，车位分配不规范等实际问题而提出的。所谓的智慧是指能够对车辆进行实时感知、跟踪及导航，并且能够实时获得停车位占用情况。
如今停车场建图方法普遍是基于SLAM(同时定位与地图构建)的方法，而SLAM又可以分为激光与视觉两种。常用的激光SLAM的优点是精度高，可用于进一步的路径规划，缺点是没有语义信息。而视觉SLAM具有语义信息，却易受光照影响且难以进行路径规划。
发明内容
本发明的目的在于克服现有技术的缺陷，提出了一种基于全域感知的智慧停车场语义地图构建方法及系统。
为了实现上述目的，本发明提出了一种基于全域感知的智慧停车场语义地图构建方法，基于部署在停车场场端的激光雷达与相机实现，所述方法包括：
步骤s1)接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据；
步骤s2)结合停车位的先验信息，根据RGB图像和点云数据进行停车位检测，得到停车位信息；
步骤s3)采用基于相机与激光融合的三维目标检测算法，根据RGB图像和点云数据，得到车辆位置信息和行人位置信息；
步骤s4)根据停车位信息和车辆位置信息构建栅格地图；
步骤s5)根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；
步骤s6)根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。
作为上述方法的一种改进，所述步骤s2)的停车位先验信息为点云坐标下每个停车位相对于感知设备之间的相对位置。
作为上述方法的一种改进于，所述步骤s2)包括：
根据停车位的先验信息以及车位的占用与空闲具有不同空间表示的特征，在白天光照条件满足要求时，根据RGB图像，采用轻量级的二分类网络识别停车位框的占用情况；在夜晚光照条件不满足要求时，基于点云数据的三维目标检测及图像分类结果的融合，识别停车位框的占用情况。
作为上述方法的一种改进，所述步骤s3)包括：
对相机和激光雷达进行外参标定，对相机进行内参标定；
通过标定获得的外参矩阵与内参矩阵，将点云投影为与RGB图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中；
采用基于相机与激光融合的三维目标检测算法，生成停车场内每台车辆及行人的检测框和朝向；每一个检测框由(x,y,z,l,w,h,yaw)构成，其中(x,y,z)表示该检测框的中心，(l,w,h)表示该检测框的长宽高，yaw表示检测框的朝向角度，从而得到停车场范围内的车辆位置信息和行人位置信息。
作为上述方法的一种改进，所述步骤s4)包括：
将表征车辆位置信息和行人位置信息的三维检测框转换成二维鸟瞰图，以二维检测框的长宽以及朝向生成栅格地图。
作为上述方法的一种改进，所述步骤s5)包括：
对二维检测框的输出信息进行相应的多目标跟踪，通过关联上一帧与当前帧的检测结果，为每个检测到的车辆赋予相应的ID值；
采用基于特征关联的跟踪算法，根据车辆ID值实时为进场车辆安排空闲车位，一旦车位占用，相应停车位标记为占用状态，根据停车位信息，栅格地图以及车辆位置信息采用混合A*算法进行路径规划。
作为上述方法的一种改进，所述步骤s6)的停车场语义地图包括：停车场区域的整体空间信息、停车位的位置信息及占用情况、停车场区域的车辆行人实时位置信息和车辆的泊车路径信息。
作为上述方法的一种改进，所述方法还包括基于ROS话题的订阅发布实现信息传递；具体包括：
通过基于ROS话题的订阅发布实现RGB图像和点云数据、停车位的位置信息及占用情况、车辆位置信息和行人位置信息、栅格地图以及车辆跟踪与路径规划信息的传递。
一种基于全域感知的智慧停车场语义地图构建系统，基于部署在停车场场端的激光雷达与相机实现，所述系统包括：数据接收模块、停车位检测模块、车辆行人检测模块、栅格地图构建模块、路径规划模块和语义地图构建模块；其中，
所述数据接收模块，用于接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据；
所述停车位检测模块，用于结合停车位的先验信息，根据RGB图像和点云数据进行停车位检测，得到停车位信息；
所述车辆行人检测模块，用于采用基于相机与激光融合的三维目标检测算法，根据RGB图像和点云数据，得到车辆位置信息和行人位置信息；
所述栅格地图构建模块，用于根据停车位信息和车辆位置信息构建栅格地图；
所述路径规划模块，用于根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；
所述语义地图构建模块，用于根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。
作为上述系统的一种改进，所述系统基于ROS话题的订阅发布实现信息传递；具体包括：
通过基于ROS话题的订阅发布实现RGB图像和点云数据、停车位的位置信息及占用情况、车辆位置信息和行人位置信息、栅格地图以及车辆跟踪与路径规划信息的传递。
与现有技术相比，本发明的优势在于：
1、本发明提出一种基于全域的停车场语义地图，能够基于三维目标检测构建栅格地图，跟踪车辆以及路径规划，同时语义地图还能够提供全天时的停车位的检测，相对传统的SLAM建图，耗时较少且精度高；
2、本发明提出的基于全域感知的停车场语义地图构建方法，利用激光雷达与相机融合进行三维目标检测，能够克服单一传感器的不足，提高检测的精确度；
3、关于全天时的停车位检测，本发明采用停车位先验信息与视觉检测互补的方法，克服了夜晚视觉停车位检测的困难，从而实现全天时的车位检测，为停车场语义地图增加停车位信息；
4、本发明的方法可以实现停车场的停车位分配、车辆行人三维检测跟踪及泊车路径规划导航等功能；
5、采用本发明的方法构建的语义地图方法既能提高检测精度，也能降低成本，且适应不同的环境需求。
附图说明
图1是本发明的基于全域感知的语义地图构建的整体示意图；
图2是基于全域感知的语义地图构建方法的流程图。
具体实施方式
本发明针对现有停车场智能程度的不足，主要提出一种基于全域感知的停车场语义构建方法，实现对车辆的车位分配与泊车导航。通过构建停车场语义地图，实现停车位检测、车辆行人等目标检测、跟踪、路径规划等功能，进而为自动驾驶汽车自主泊车，车位分配提供依据。图1为本发明提出的用于停车场区域下的基于全域感知的语义地图构建的整体示意图。由图1可知，智慧停车场感知系统的硬件部分包括激光雷达、相机和工控机等。
为了实现上述功能，本发明的步骤如下：
步骤1：停车位检测。基于图像的停车位检测模块能够实时进行车位检测，判断车位是否为占用或空闲状态。本发明采用基于先验停车位图像框与轻量级二分类网络结合与三维目标检测辅助的车位占用空闲分类方法。具体说来，即将停车位在图像中预先设定好，通过二分类网络识别车辆进入相应框中的状态，分为占用与空闲两种，三维目标检测模块检测得到车辆的三维框映射到图像的二维框与车位框求交并比，大于一定阈值识别为占用。将这两种判断信息结合起来，实现对停车位的高精度检测。
考虑到相机在夜晚或光照条件不好的情况下检测效果较差，而激光雷达对光线变化不敏感，因此可以融合图像和激光进行鲁棒的车位占用检测。通过使用预先获得的停车位先验信息，加上车位的占用与空闲具有不同的空间表示这一特征，则能够实现快速的车位空闲占用的判断，从而实现全天时的车位检测。
步骤2：停车场场端车辆行人三维目标检测。基于场端的检测相对于车端检测而言，具有视野开阔，遮挡少等特点，能够解决车端检测范围小，检测不足的问题。现有的自动驾驶汽车大多装备有相机与激光雷达，使用相机检测物体时，缺少距离信息且易受光照影响。而激光雷达虽然检测距离较远且能捕获位置信息，但是点云的无序和稀疏性又影响检测精度。本发明提出一种激光与相机融合的检测方法，将点云和RGB图像作为输入，数据预处理阶段将点云投影成与RGB图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中，进而弥补原始点云语义信息不足这一缺点。该检测方法充分利用了图像丰富的语义信息与点云的空间信息，提高整体检测精度的同时也提高了对小目标的检测精度。通过引入注意力机制将点云转换的距离图像与RGB图像融合，从而实现高精度，全天时的车辆行人三维目标检测。
步骤3：栅格地图构建。栅格地图具有构建简单且已保存等特点。通过构建栅格地图将停车场场端的车位信息，车辆行人信息表示出来，为自动驾驶汽车自动泊车提供依据。构建方法采用将三维检测框转换成二维鸟瞰图的形式，以二维检测框的长宽以及朝向生成栅格地图。栅格地图既具有跟踪目标检测可视化，又可以通过栅格地图的自身特性实现进一步的路径规划。
步骤4：车辆跟踪及路径规划。三维目标跟踪模块订阅检测框的输出信息进行相应的多目标跟踪，通过关联上一帧与当前帧的检测结果，为每个检测到的车辆赋予相应的ID。采用基于特征关联的跟踪算法，相对于坐标相关的跟踪方法而言，能够匹配三维特征相似的检测框，获得更稳定的跟踪效果。根据跟踪模块发布的车辆ID值实时为车辆安排空闲车位，一旦车位占用，相应停车位标记为占用状态。根据停车位检测结果，栅格地图以及车辆跟踪信息进行路径规划。
路径规划采用混合A*算法，与A*算法不同，混合A*考虑了物体运动的方向，更加适合自动驾驶汽车自主泊车的场景。
步骤5：语义地图的构建。通过以上模块获得的停车位的占用状态、车辆的实时位置、栅格地图、车辆的跟踪与路径规划构成停车场的语义地图。语义地图包含了几何和语义信息，即包括了整个停车场区域的整体空间信息，停车位的位置信息及占用情况、停车场区域的车辆行人实时位置信息、车辆的泊车路径信息，能够为车辆泊车提供充足的功能支持。
下面结合附图和实施例对本发明的技术方案进行详细的说明。
实施例1
如图2所示，本发明的实施例1提出了一种基于全域感知的智慧停车场语义地图构建方法，包括步骤如下：
步骤1：停车位检测：停车位状态的检测是智慧停车场重要的一部分，通过对停车位检测，能够获得整体车位的信息，能够对出入车辆进行车位分配，大大提高停车效率。车位检测模块实时进行车位检测，判断车位是否为占用或空闲状态，根据跟踪模块发布的车辆ID值实时为车辆安排空闲车位，一旦车位占用，相应ID则标记为占用状态。考虑到相机在夜晚检测效果很差，夜晚或光照条件不好的情况下，使用激光雷达判断车位占用情况。本发明提出一种激光与相机融合的检测方法，将点云和RGB图像作为输入，数据预处理阶段将点云投影成与RGB图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中，进而弥补原始点云语义信息不足这一缺点。该检测方法充分利用了图像丰富的语义信息与点云的空间信息，提高整体检测精度的同时也提高了对小目标的检测精度。通过引入注意力机制将点云转换的距离图像与RGB图像融合，则能够实现快速的车位空闲占用的判断，从而实现全天时的车位检测。
步骤2：停车场场端三维目标检测：为了获得车辆行人的实时位置且生成栅格地图，需要对停车场整体区域进行目标感知。首先进行相机和激光雷达传感器之间的外参标定，以及相机内参的标定。通过标定获得的外参与内参矩阵，即可将激光雷达与相机融合进行三维目标检测。将点云和RGB图像作为输入，数据预处理阶段将点云投影成与RGB图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中，进而弥补原始点云语义信息不足这一缺点。该检测方法充分利用了图像丰富的语义信息与点云的空间信息，提高整体检测精度的同时也提高了对小目标的检测精度。通过引入注意力机制将点云转换的距离图像与RGB图像融合，从而实现高精度，全天时的车辆行人三维目标检测。相对于单纯的激光检测而言，对于形状类似的物体，融合检测算法能利用图像的像素信息区分出不同物体，相对于单一的相机检测，更具有空间信息的捕获能力，且能全天时、多角度进行检测。因此，点云与相机融合检测的算法比较适合停车场场景下对于车辆与行人的检测。
通过基于相机与激光融合的三维目标检测算法，生成检测目标的检测框和朝向。每一个检测框由(x,y,z,l,w,h,yaw)这七个元素构成，其中(x,y,z)代表检测框的中心，(l,w,h)代表长宽高，yaw代表检测物体的朝向角度。
步骤3：栅格地图构建：车辆的路径规划不仅需要获得车辆的实时位置信息，还需要获得停车场区域下的障碍物信息，而停车场区域的障碍物多为移动的车辆。通过获得三维目标检测模块发布的检测框，实时将三维检测框转换成二维鸟瞰图的形式，在此基础上以二维检测框的长宽以及朝向生成动态的栅格地图，能方便停车场区域的车辆进行路径规划。
步骤4:车辆跟踪及路径规划：三维目标跟踪模块获得检测框的输出信息进行相应的多目标跟踪，关联上一帧与当前帧的检测结果，为每个检测到的车辆赋予相应的ID。采用基于特征关联的跟踪算法，相对于坐标相关的跟踪方法而言，能够匹配三维特征相似的检测框，获得更稳定的跟踪效果。再联合栅格地图模块生成的栅格地图与相应的停车位信息，为泊车车辆提供相应ID值的停车位与停车路径。
步骤5：语义地图构建：将栅格地图与车位的先验信息以及停车位检测信息、车辆跟踪与路径规划信息统一起来构成动态的停车场语义地图。采用ROS的rviz平台进行可视化，这种构建方法结构简单明了，生成的语义地图稳定且易保存，通过使用建立起来的动态停车场语义地图，实现车辆的自主泊车。通过使用本发明提出的语义地图构建方法能够在一定程度上解决现有的停车难，停车混乱等实际问题，解决自主泊车的“最后一公里”问题。
本发明提出的基于全域感知的停车场语义地图构建方法，通过感知系统对车辆实时检测，感知系统由激光雷达、相机构成。车辆的实时位置信息可以通过三维目标检测在语义地图中呈现出来。现有的停车场的感知系统多是基于视觉检测，其容易受到天气和光照的影响，例如在雨天或者是夜晚的条件下，基于图像的检测效果相对白天、晴天大打折扣。而激光雷达具有不受光照的影响，对天气也较为不敏感。利用激光雷达与相机融合进行三维目标检测，能够克服单一传感器的不足，提高检测的精确度。
实施例2
本发明的实施例2提出了一种基于全域感知的智慧停车场语义地图构建系统，基于部署在停车场场端的激光雷达与相机实现，所述系统包括：数据接收模块、停车位检测模块、车辆行人检测模块、栅格地图构建模块、路径规划模块和语义地图构建模块；具体处理方法同实施例1。其中，
所述数据接收模块，用于接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据；
所述停车位检测模块，用于结合停车位的先验信息，根据RGB图像和点云数据进行停车位检测，得到停车位信息；
所述车辆行人检测模块，用于采用基于相机与激光融合的三维目标检测算法，根据RGB图像和点云数据，得到车辆位置信息和行人位置信息；
所述栅格地图构建模块，用于根据停车位信息和车辆位置信息构建栅格地图；
所述路径规划模块，用于根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；
所述语义地图构建模块，用于根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图。
各部分模块通过ROS话题的订阅发布实现信息传递，即原始传感器发布点云与图像话题，停车位检测模块订阅点云与图像的话题并通过停车位检测模块实时发布车位位置及占用情况的话题，车辆行人检测模块订阅点云与图像话题并发布三维检测框，通过订阅三维检测框话题，栅格地图构建模块发布栅格地图信息，路径规划模块通过订阅车位信息及栅格地图信息发布车辆的规划泊车路径话题，进而构成整体的停车场语义地图。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种基于全域感知的智慧停车场语义地图构建方法，基于部署在停车场场端的激光雷达与相机实现，所述方法包括：
步骤s1)接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据；
步骤s2)结合停车位的先验信息，根据RGB图像和点云数据进行停车位检测，得到停车位信息；
步骤s3)采用基于相机与激光融合的三维目标检测算法，根据RGB图像和点云数据，得到车辆位置信息和行人位置信息；
步骤s4)根据停车位信息和车辆位置信息构建栅格地图；
步骤s5)根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；
步骤s6)根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图；
所述步骤s3)包括：
对相机和激光雷达进行外参标定，对相机进行内参标定；
通过标定获得的外参矩阵与内参矩阵，将点云投影为与RGB图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中；
采用基于相机与激光融合的三维目标检测算法，生成停车场内每台车辆及行人的检测框和朝向；每一个检测框由(x,y,z,l,w,h,yaw)构成，其中(x,y,z)表示该检测框的中心，(l,w,h)表示该检测框的长宽高，yaw表示检测框的朝向角度，从而得到停车场范围内的车辆位置信息和行人位置信息。
2.根据权利要求1所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s2)的停车位先验信息为点云坐标下每个停车位相对于感知设备之间的相对位置。
3.根据权利要求2所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s2)包括：
根据停车位的先验信息以及车位的占用与空闲具有不同空间表示的特征，在白天光照条件满足要求时，根据RGB图像，采用轻量级的二分类网络识别停车位框的占用情况；在夜晚光照条件不满足要求时，基于点云数据的三维目标检测及图像分类结果的融合，识别停车位框的占用情况。
4.根据权利要求1所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s4)包括：
将表征车辆位置信息和行人位置信息的三维检测框转换成二维鸟瞰图，以二维检测框的长宽以及朝向生成栅格地图。
5.根据权利要求4所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s5)包括：
对二维检测框的输出信息进行相应的多目标跟踪，通过关联上一帧与当前帧的检测结果，为每个检测到的车辆赋予相应的ID值；
采用基于特征关联的跟踪算法，根据车辆ID值实时为进场车辆安排空闲车位，一旦车位占用，相应停车位标记为占用状态，根据停车位信息，栅格地图以及车辆位置信息采用混合A*算法进行路径规划。
6.根据权利要求4所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述步骤s6)的停车场语义地图包括：停车场区域的整体空间信息、停车位的位置信息及占用情况、停车场区域的车辆行人实时位置信息和车辆的泊车路径信息。
7.根据权利要求4所述的基于全域感知的智慧停车场语义地图构建方法，其特征在于，所述方法还包括基于ROS话题的订阅发布实现信息传递；具体包括：
通过基于ROS话题的订阅发布实现RGB图像和点云数据、停车位的位置信息及占用情况、车辆位置信息和行人位置信息、栅格地图以及车辆跟踪与路径规划信息的传递。
8.一种基于全域感知的智慧停车场语义地图构建系统，基于部署在停车场场端的激光雷达与相机实现，其特征在于，所述系统包括：数据接收模块、停车位检测模块、车辆行人检测模块、栅格地图构建模块、路径规划模块和语义地图构建模块；其中，
所述数据接收模块，用于接收相机和激光雷达分别获取的停车场各个区域的RGB图像和点云数据；
所述停车位检测模块，用于结合停车位的先验信息，根据RGB图像和点云数据进行停车位检测，得到停车位信息；
所述车辆行人检测模块，用于采用基于相机与激光融合的三维目标检测算法，根据RGB图像和点云数据，得到车辆位置信息和行人位置信息；
所述栅格地图构建模块，用于根据停车位信息和车辆位置信息构建栅格地图；
所述路径规划模块，用于根据停车位信息、车辆位置信息和行人位置信息，采用特征关联算法进行路径规划；
所述语义地图构建模块，用于根据栅格地图、停车位的先验信息以及停车位信息、车辆跟踪与路径规划信息，构成动态的停车场语义地图；
所述车辆行人检测模块的处理过程包括：
对相机和激光雷达进行外参标定，对相机进行内参标定；
通过标定获得的外参矩阵与内参矩阵，将点云投影为与RGB图像同维度的深度图像，并通过注意力网络机制将两种信息融合，再将结果投影到原始点云中；
采用基于相机与激光融合的三维目标检测算法，生成停车场内每台车辆及行人的检测框和朝向；每一个检测框由(x,y,z,l,w,h,yaw)构成，其中(x,y,z)表示该检测框的中心，(l,w,h)表示该检测框的长宽高，yaw表示检测框的朝向角度，从而得到停车场范围内的车辆位置信息和行人位置信息。
9.根据权利要求8所述的基于全域感知的智慧停车场语义地图构建系统，其特征在于，所述系统基于ROS话题的订阅发布实现信息传递；具体包括：
通过基于ROS话题的订阅发布实现RGB图像和点云数据、停车位的位置信息及占用情况、车辆位置信息和行人位置信息、栅格地图以及车辆跟踪与路径规划信息的传递。
CN202210834516.0A 2022-07-14 2022-07-14 一种基于全域感知的智慧停车场语义地图构建方法及系统 Active CN115273028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210834516.0A CN115273028B (zh) 2022-07-14 2022-07-14 一种基于全域感知的智慧停车场语义地图构建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210834516.0A CN115273028B (zh) 2022-07-14 2022-07-14 一种基于全域感知的智慧停车场语义地图构建方法及系统

Publications (2)

Publication Number Publication Date
CN115273028A CN115273028A (zh) 2022-11-01
CN115273028B true CN115273028B (zh) 2023-05-12

Family

ID=83764316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210834516.0A Active CN115273028B (zh) 2022-07-14 2022-07-14 一种基于全域感知的智慧停车场语义地图构建方法及系统

Country Status (1)

Country Link
CN (1) CN115273028B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116167536B (zh) * 2022-12-07 2023-08-04 江苏巨楷科技发展有限公司 一种基于时间段学习优化的智慧停车管理方法
CN115979270A (zh) * 2022-12-27 2023-04-18 国广顺能(上海)能源科技有限公司 基于车库场景内导航点与车位号自动绑定的导航控制系统
CN116310390B (zh) * 2023-05-17 2023-08-18 上海仙工智能科技有限公司 一种空心目标的视觉检测方法及系统、库位管理系统
CN117649779A (zh) * 2023-10-29 2024-03-05 柳州市广恒科技有限公司 一种基于ar技术的停车管理方法及系统
CN117590371B (zh) * 2024-01-18 2024-03-29 上海几何伙伴智能驾驶有限公司 基于4d毫米波成像雷达实现全局车位状态检测的方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110466502B (zh) * 2018-05-11 2020-12-08 广州汽车集团股份有限公司 一种代客泊车方法和装置
CN109186586B (zh) * 2018-08-23 2022-03-18 北京理工大学 一种面向动态泊车环境的同时定位及混合地图构建方法
JP7065410B2 (ja) * 2018-09-28 2022-05-12 パナソニックＩｐマネジメント株式会社 空き駐車スペース検知装置および空き駐車スペース検知方法
CN109131318B (zh) * 2018-10-19 2020-03-27 清华大学 一种基于拓扑地图的自主泊车路径协调方法
CN112102646B (zh) * 2019-06-17 2021-12-31 北京初速度科技有限公司 一种泊车定位中的停车场入口定位方法、装置及车载终端
US11999372B2 (en) * 2019-09-12 2024-06-04 Motional Ad Llc Operation of an autonomous vehicle based on availability of navigational information
CN113450591A (zh) * 2020-03-25 2021-09-28 阿里巴巴集团控股有限公司 停车场找车方法、停车位置确定方法、系统和相关设备
CN111753036B (zh) * 2020-06-19 2024-04-16 重庆大学 一种基于栅格地图的智能车库地图构建方法
CN112793564B (zh) * 2021-02-07 2022-07-22 杨东杰 一种基于全景鸟瞰图和深度学习的自主泊车辅助系统
CN113744560B (zh) * 2021-09-15 2023-05-05 厦门科拓通讯技术股份有限公司 停车场自动泊车方法、装置、服务器和机器可读存储介质
CN113903011B (zh) * 2021-10-26 2024-06-11 江苏大学 一种适用于室内停车场的语义地图构建及定位方法

Also Published As

Publication number Publication date
CN115273028A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN115273028B (zh) 一种基于全域感知的智慧停车场语义地图构建方法及系统
Han et al. Research on road environmental sense method of intelligent vehicle based on tracking check
Hirabayashi et al. Traffic light recognition using high-definition map features
CN110531376B (zh) 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN117441113A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
KR102195164B1 (ko) 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법
CN106324618B (zh) 实现基于激光雷达检测车道线系统的方法
US20160252905A1 (en) Real-time active emergency vehicle detection
CN113085896B (zh) 一种现代有轨清洁车辅助自动驾驶系统及方法
Jiang et al. Target detection algorithm based on MMW radar and camera fusion
Wang et al. Ips300+: a challenging multi-modal data sets for intersection perception system
US20230264715A1 (en) Puddle occupancy grid for autonomous vehicles
Busch et al. Lumpi: The leibniz university multi-perspective intersection dataset
CN110780287A (zh) 基于单目相机的测距方法及测距系统
Lim et al. Implementation of semantic segmentation for road and lane detection on an autonomous ground vehicle with LIDAR
CN110850394A (zh) 一种自动驾驶激光雷达强度标定方法
CN114821526A (zh) 基于4d毫米波雷达点云的障碍物三维边框检测方法
CN111323767A (zh) 一种夜间无人车障碍物检测系统与方法
CN113378647B (zh) 基于三维点云的实时轨道障碍物检测方法
CN109859235B (zh) 一种夜间移动车灯跟踪检测系统、方法及设备
US12002359B2 (en) Communication method for vehicle dispatch system, vehicle dispatch system, and communication device
CN113884090A (zh) 智能平台车环境感知系统及其数据融合方法
CN103453890A (zh) 一种基于尾灯检测的夜间车距测量方法
CN112562061A (zh) 一种基于激光雷达图像的驾驶视觉增强的系统及方法
Li et al. Composition and application of current advanced driving assistance system: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant