CN112581612A - 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统 - Google Patents

基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统 Download PDF

Info

Publication number
CN112581612A
CN112581612A CN202011283586.9A CN202011283586A CN112581612A CN 112581612 A CN112581612 A CN 112581612A CN 202011283586 A CN202011283586 A CN 202011283586A CN 112581612 A CN112581612 A CN 112581612A
Authority
CN
China
Prior art keywords
vehicle
map
grid
coordinate system
around
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011283586.9A
Other languages
English (en)
Other versions
CN112581612B (zh
Inventor
王艳明
姚明江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SAIC Volkswagen Automotive Co Ltd
Original Assignee
SAIC Volkswagen Automotive Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SAIC Volkswagen Automotive Co Ltd filed Critical SAIC Volkswagen Automotive Co Ltd
Priority to CN202011283586.9A priority Critical patent/CN112581612B/zh
Publication of CN112581612A publication Critical patent/CN112581612A/zh
Application granted granted Critical
Publication of CN112581612B publication Critical patent/CN112581612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Graphics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于激光雷达和环视摄像头融合的车载栅格地图生成方法，其设置若干个激光雷达和环视摄像头对车辆周围环境感知，其包括步骤：获得环视摄像头t1时刻采集的图像，从中提取出可行驶区域，并二值化得到二值化的可行驶区域；将各环视摄像头对应的二值化的可行驶区域投影到车辆坐标系下，得到车辆鸟瞰图；将鸟瞰图车辆周围的预设范围栅格化，得到MapCam和Maskcam，并将其转换到世界坐标系下；获得激光雷达采集的t2时刻的激光点云数据，并均外参归一化到车辆坐标系下，得到车辆周围的点云数据；将预设范围内点云数据栅格化，去除地面点云，得到障碍物点云；基于障碍物点云，获得Maplidar和Masklidar，并将其转换到世界坐标系下；得到融合的栅格地图Mapfusion。

Description

基于激光雷达和环视摄像头融合的车载栅格地图生成方法及 系统
技术领域
本发明涉及一种地图生成方法及系统，尤其涉及一种车载栅格地图生成方法及系统。
背景技术
近年来，随着无人驾驶技术的快速发展，无人车应用在日常生活中的可能性也越来越大。在无人驾驶汽车技术领域，针对不用的应用场景可分为低速和高速两大场景，高速场景一般定义在高速或者城市快速路，自动驾驶汽车周边环境的交通参与物类别有限，一般仅局限于车辆或者特殊标志物如锥形桶等，环境感知传感器如雷达和摄像头等提供的目标级别信息即可满足对环境感知的需求。而在低速场景中，由于环境较为复杂，无法预知道路中会出现何种物体，因此仅使用目标级别的感知信息无法满足对特殊场景的感知需求。
因此，栅格图的使用可以有效的表述车辆可以行驶与禁止行驶的区域，具有重要意义。栅格图将车身周围的特定区域划分成空间距离相等的网格，每个网格可以通过概率的形式描述网格被占用的概率，如0表示网格可以行驶，1表示网格被障碍物占用，而其他值表示网格被占用的概率。
基于激光传感器的栅格图生成方式可以有效的提取激光传感器感知的可行驶区域，但由于一般激光雷达的安装位置以及安装角度的原因，会不可避免地导致车身周围产生较大距离的盲区。而环视摄像头对车身周围8m范围内的区域具有较好的感知效果，可以有效减少车身周围的盲区。
基于此，本发明期望获得一种基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统，其通过环视摄像头与激光雷达融合的方式，可以有效提升自动驾驶车辆对栅格地图的感知精度，解决栅格地图生成中的盲区问题。
发明内容
本发明的目的之一在于提供一种基于激光雷达和环视摄像头融合的车载栅格地图生成方法，该车载栅格地图生成方法通过多传感器在时间和空间维度的融合，可以有效提升自动驾驶车辆对栅格地图的感知精度，解决栅格地图生成中的盲区问题，其具有良好的推广前景和应用价值。
为了实现上述目的，本发明提出了一种基于激光雷达和环视摄像头融合的车载栅格地图生成方法，其设置若干个激光雷达和若干个环视摄像头，以对车辆环境周围360°的环境进行感知，该车载栅格地图生成方法包括步骤：
100：获得若干个环视摄像头采集的t1时刻的图像，并通过语义分割方法从该图像中提取出可行驶区域，将其二值化并得到二值化的可行驶区域；
200：将每一个环视摄像头对应的二值化的可行驶区域投影到车辆坐标系下，得到车辆周围360°的鸟瞰图；
300：将鸟瞰图中车辆周围的预设范围栅格化，以得到表征障碍物信息的环视摄像头栅格地图MapCam以及其对应的感知范围地图Maskcam；
400：将环视摄像头栅格地图MapCam以及其对应的感知范围地图Maskcam转换到世界坐标系下；
500：获得若干个激光雷达采集的t2时刻的激光点云数据，将每个激光雷达感知的点云数据均外参归一化到车辆坐标系下，得到车辆周围360°的点云数据；
600：将车辆周围的预设范围内的点云数据栅格化，去除地面点云，得到障碍物点云；
700：基于障碍物点云，获得表征障碍物信息的激光雷达栅格地图Maplidar以及其对应的感知范围地图Masklidar；
800：将激光雷达栅格地图Maplidar以及其对应的感知范围地图Masklidar转换到世界坐标系下；
900：基于转换到世界坐标系下的环视摄像头栅格地图MapCam、转换到世界坐标系下的激光雷达栅格地图Maplidar以及获取的高精地图MapHD得到融合的栅格地图Mapfusion。
需要说明的是，虽然本文中采用了序号100,200,300等对步骤流程进行标号，但是该标号只是为了实现描述各步骤的便利性，其并不限定步骤的先后次序。
进一步地，在本发明所述的车载栅格地图生成方法中，在步骤100中，采用基于深度学习的语义分割方法提取可行驶区域。
进一步地，在本发明所述的车载栅格地图生成方法中，步骤100还包括：对语义分割后的图像进行后处理，以使可行驶区域连续，并消除包括空洞在内的感知误差。
在上述技术方案中，由于图像质量和光照的原因经常会导致语义分割后的图像存在空洞和不连续的现象，即部分像素无法准确得到其对应的语义标签。因此，在某些实施方式中，可以对上述语义分割后的图像进行后处理以使可行驶区域连续，并消除包括空洞在内的感知误差。
进一步地，在本发明所述的车载栅格地图生成方法中，所述车辆坐标系为车辆后轴中点坐标系。
进一步地，在本发明所述的车载栅格地图生成方法中，步骤900还包括将融合的栅格地图Mapfusion从世界坐标系转换回车辆坐标系中。
进一步地，在本发明所述的车载栅格地图生成方法中，在步骤900中：
如果高精地图内的栅格为障碍物栅格，则融合的栅格地图Mapfusion中的相应栅格也为障碍物栅格；
如果高精地图内的栅格的属性为未被占用，则基于转换到世界坐标系下的环视摄像头栅格地图MapCam、转换到世界坐标系下的激光雷达栅格地图Maplidar进行融合：
a.如果栅格只被环视摄像头或者激光雷达可见，则融合的栅格地图Mapfusion中的相应栅格为障碍物栅格的概率为可见的环视摄像头或者激光雷达感知的相应栅格为障碍物栅格的概率；
b.如果栅格被环视摄像头或者激光雷达均可见，则采用指数融合的方式计算融合的栅格地图Mapfusion中的相应栅格为障碍物栅格的概率：Mapfusion(x,y)＝exp(log(Mapcam(xc,yc))+log(Maplidar(xl,yl)))，其中Mapcam(xc,yc)为环视摄像头栅格地图中障碍物栅格的概率，Maplidar(xl,yl)为激光雷达栅格地图中障碍物栅格的概率，Mapfusion(x,y)为融合的栅格地图Mapfusion中的相应栅格为障碍物栅格的概率。
进一步地，在本发明所述的车载栅格地图生成方法中，步骤900还包括：对于处于激光雷达和环视摄像头盲区的栅格，则其为障碍物栅格的概率被赋值为0.5。
相应地，本发明的另一目的在于提供一种基于激光雷达和环视摄像头融合的车载栅格地图生成系统，该车载栅格地图生成系统可以用于实施本发明上述的车载栅格地图生成方法。
为了实现上述目的，本发明提出了一种基于激光雷达和环视摄像头融合的车载栅格地图生成系统，其包括设置在车辆上的若干个激光雷达和若干个环视摄像头，以及处理模块，其中所述处理模块执行下列步骤：
100：获得若干个环视摄像头采集的t1时刻的图像，并通过语义分割方法从该图像中提取出可行驶区域，将其二值化并得到二值化的可行驶区域；
200：将每一个环视摄像头对应的二值化的可行驶区域投影到车辆坐标系下，得到车辆周围360°的鸟瞰图；
300：将鸟瞰图中车辆周围的预设范围栅格化，以得到表征障碍物信息的环视摄像头栅格地图MapCam以及其对应的感知范围地图Maskcam；
400：将环视摄像头栅格地图MapCam以及其对应的感知范围地图Maskcam转换到世界坐标系下；
500：获得若干个激光雷达采集的t2时刻的激光点云数据，将每个激光雷达感知的点云数据均外参归一化到车辆坐标系下，得到车辆周围360°的点云数据；
600：将车辆周围的预设范围内的点云数据栅格化，去除地面点云，得到障碍物点云；
700：基于障碍物点云，获得表征障碍物信息的激光雷达栅格地图Maplidar以及其对应的感知范围地图Masklidar；
800：将激光雷达栅格地图Maplidar以及其对应的感知范围地图Masklidar转换到世界坐标系下；
900：基于转换到世界坐标系下的环视摄像头栅格地图MapCam、转换到世界坐标系下的激光雷达栅格地图Maplidar以及获取的高精地图MapHD得到融合的栅格地图Mapfusion。
进一步地，在本发明所述的车载栅格地图生成系统中，所述步骤100还包括：对语义分割后的图像进行后处理，以使可行驶区域连续，并消除包括空洞在内的感知误差。
进一步地，在本发明所述的车载栅格地图生成系统中，所述步骤900还包括将融合的栅格地图Mapfusion从世界坐标系转换回车辆坐标系中。
本发明所述的基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统相较于现有技术具有如下所述的优点和有益效果：
本发明所述的基于激光雷达和环视摄像头融合的车载栅格地图生成方法通过多传感器在时间和空间维度的融合，可以有效提升自动驾驶车辆对栅格地图的感知精度，解决栅格地图生成中的盲区问题，其具有良好的推广前景和应用价值。
相应地，本发明所述的基于激光雷达和环视摄像头融合的车载栅格地图生成系统可以用于实施本发明上述的车载栅格地图生成方法，其同样具有上述的优点以及有益效果。
附图说明
图1示意性地显示了本发明所述的车载栅格地图生成方法在一种实施方式下的步骤流程图。
具体实施方式
下面将结合说明书附图和具体的实施例对本发明所述的基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统做进一步的解释和说明，然而该解释和说明并不对本发明的技术方案构成不当限定。
在本发明中，本发明公开了一种基于激光雷达和环视摄像头融合的车载栅格地图生成系统，该车载栅格地图生成系统可以用于实施本发明的车载栅格地图生成方法。
需要说明的是，在本发明所述的车载栅格地图生成系统中，包括设置在车辆上的若干个激光雷达和若干个环视摄像头，以及处理模块。其中所述处理模块可以用于执行本发明所述的车载栅格地图生成方法。
图1示意性地显示了本发明所述的车载栅格地图生成方法在一种实施方式下的步骤流程图。
在本发明所述的车载栅格地图生成方法中，需要通过设置若干个激光雷达和若干个环视摄像头，以实现对车辆环境周围360°的环境进行感知。假设在t1时刻环视摄像头采集到环视图像，t2时刻激光雷达采集到激光点云数据，则在本实施方式中，本发明所述的车载栅格地图生成方法可以包括以下步骤：
100：获得若干个环视摄像头采集的t1时刻的图像，并通过语义分割方法从该图像中提取出可行驶区域，将其二值化并得到二值化的可行驶区域；
200：将每一个环视摄像头对应的二值化的可行驶区域投影到车辆坐标系下，得到车辆周围360°的鸟瞰图；
300：将鸟瞰图中车辆周围的预设范围栅格化，以得到表征障碍物信息的环视摄像头栅格地图MapCam以及其对应的感知范围地图Maskcam；
400：将环视摄像头栅格地图MapCam以及其对应的感知范围地图Maskcam转换到世界坐标系下；
500：获得若干个激光雷达采集的t2时刻的激光点云数据，将每个激光雷达感知的点云数据均外参归一化到车辆坐标系下，得到车辆周围360°的点云数据；
600：将车辆周围的预设范围内的点云数据栅格化，去除地面点云，得到障碍物点云；
700：基于障碍物点云，获得表征障碍物信息的激光雷达栅格地图Maplidar以及其对应的感知范围地图Masklidar；
800：将激光雷达栅格地图Maplidar以及其对应的感知范围地图Masklidar转换到世界坐标系下；
900：基于转换到世界坐标系下的环视摄像头栅格地图MapCam、转换到世界坐标系下的激光雷达栅格地图Maplidar以及获取的高精地图MapHD得到融合的栅格地图Mapfusion。
继续参考图1可以看出，在本发明所述的车载栅格地图生成方法中，上述步骤500并不是紧接着步骤400后发生；相应地，本发明所述的车载栅格地图生成方法中，步骤500-步骤800中的操作与步骤100-步骤400彼此之间并不存在前后顺序关系，其可以是并列同时进行的。
为了更好地说明本发明所述的车载栅格地图生成方法的优越性，以图1所示的实施方式为例，对本发明所述的车载栅格地图生成方法进行进一步说明。
在本实施方式中，本发明可以采用多个视场角(FOV)为110°的低线束激光雷达布置在车辆不同位置，实现对车辆环境周围360°的环境感知。此外，本发明同时采用了四个视场角(FOV)为180°的鱼眼摄像头布置在车辆不同位置，以实现对车身近距离360°的感知效果。
需要说明的是，在本发明所述的步骤100中，若四个鱼眼摄像头采集的t1时刻的图像可以通过语义分割方法提取出可行驶区域，并经过二值化得到二值化的可行驶区域。其中，基于深度学习的语义分割方法是目前普遍使用的检测地面可行驶区域的理论方法。
常用的语义分割方法包括FCN(Fully Convolutional Networks)，SegNet等，其输入为每个鱼眼摄像头所采集的彩色图像，输出为与输入图像同等分辨率的语义分割图，其每个像素代表其对应的彩色图像中目标所属的标签，例如：所有地面区域的像素点通过分割网络后输出的像素标签均为“0”，其余非地面可行驶区域的像素标签赋值为“1”。
此外，需要注意的是，由于图像质量和光照的原因经常会导致经深度网络分割后所得到的语义图像存在空洞和不连续的现象，即部分像素无法准确得到其对应的语义标签。因此，在本实施方式中，还需要对上述语义分割后的图像进行后处理操作。常用的后处理方式主要包括：形态学处理，如腐蚀、膨胀等，其可以有效消除空洞的现象。
在本实施方式中，操作本发明所述的步骤100时，需要分别对每个鱼眼摄像头的原始图像进行语义分割以及后处理，从而得到关于可行驶区域的二值化图像。其中，可行驶区域的像素标签值可以为“0”，不可行驶区域的像素标签值可以为“1”。而后，通过鱼眼摄像头的内外参数可以将每一个鱼眼摄像头对应的二值化的可行驶区域投影到车辆坐标系下，得到车辆周围360°的鸟瞰图，实现对车辆周围360°近距离的监控。其中，在本实施方式中，本发明所述的车辆坐标系选取为车辆后轴中点坐标系。
此外，在本实施方式中，在本发明所述车载栅格地图生成方法的步骤300中可以将车辆周围8m*8m预设范围内的可行驶区域进行10cm*10cm的栅格化，并统计每个栅格内像素标签值为0的像素个数占栅格内所有像素个数的比即为栅格是否被占用的概率。对8m*8m预设范围内的所有栅格计算其被占用的概率则得到表征障碍物信息的鱼眼摄像头栅格地图MapCam。同样的，也可以建立对应的感知范围地图Maskcam。其中，当Maskcam(x,y)＝1时，表示位置(x,y)上的点位于传感器感知范围内，而当Maskcam(x,y)＝0时，则表示位置(x,y)上的点处于盲区范围内。根据车辆的实时定位，可以将鱼眼摄像头栅格地图MapCam以及其对应的感知范围地图Maskcam转换到世界坐标系下。
另外，在本实施方式中，在车辆的不同位置布置了多个视场角(FOV)为110°的低线束激光雷达，以实现对车辆环境周围360°的环境感知，并在t2时刻采集到激光点云数据。
需要说明的是，本发明所述车载栅格地图生成方法的步骤500中，通过对雷达外参的标定可以得到每个激光雷达到车辆后轴中点的外参变换关系[Ri,Ti]，其中Ri为第i个雷达坐标系到车辆后轴中点坐标系的旋转矩阵，Ti为平移矩阵。
由此，在本实施方式中，对于第i个激光雷达采集的激光点云数据p(x,y,z)可以将其转换到车辆后轴中点坐标系下的点云坐标p′＝Ri*p+Ti。将每个激光雷达感知采集的点云数据均通过外参归一化到车辆后轴中点坐标系下，既可以得到车身周围360°的点云数据。
相应地，在本发明所述的步骤600中，可以将车辆周围的预设范围内的点云数据栅格化，去除地面点云，以得到障碍物点云。在本实施方式中，可以基于栅格的可行驶区域检测方法将车身前后左右30m范围设定为预设范围，并且该预设范围内的点云数据按照10cm*10cm的栅格进行划分，针对落在每个小栅格内的点云通过RANSIC的方式进行地面拟合。
假设某个网格内有m个点pi(xi,yi,zi)则随机抽样出n个高度小于预定阈值的地面点进行拟合a*xi+b*yi+c*zi+d＝0，得到(a,b,c,d)四个参数后遍历栅格区域内的每个点到平面的距离，则高于平面15cm的点视为障碍物点，统计每个栅格内障碍物点个数占栅格内所有点云个数的比即为栅格是否被占用的概率。对30m*30m范围内的所有栅格计算其被占用的概率则得到表征障碍物信息的激光雷达栅格地图Maplidar。
需要注意的是，在本实施方式中，虽然若干个低线束激光雷达可以覆盖车身周围360°的感知，但由于每个低线束激光雷达的视场角(FOV)为110°，其在靠近车辆的近处仍然存在一定范围的盲区，在后续的多种传感器栅格图融合时仍需考虑每个激光雷达的可视范围。因此，在本发明所述的步骤700中，还需要建立感知范围地图Masklidar，其中当Masklidar(x,y)＝1时表示位置(x,y)上的点位于激光雷达感知范围内，而当Masklidar(x,y)＝0时，则表示处于位置(x,y)上的点位于激光雷达感知盲区范围内。而后，根据车辆的实时定位，需要将激光雷达栅格地图Maplidar以及其对应的感知范围地图Masklidar从车辆后轴中点坐标系投影转换到世界坐标系下。
综上，在本实施方式中，本发明所述的车载栅格地图生成方法在步骤400和步骤800中已经获得了转换到世界坐标系下的鱼眼摄像头栅格地图MapCam和激光雷达栅格地图Maplidar。在本发明所述的步骤900中，可以基于转换到世界坐标系下的鱼眼摄像头栅格地图MapCam、转换到世界坐标系下的激光雷达栅格地图Maplidar和现有技术常规获取的高精地图MapHD，得到融合的栅格地图Mapfusion，其具体如下所述：
如果高精地图内的栅格为障碍物栅格，则融合的栅格地图Mapfusion中的相应栅格也为障碍物栅格；
如果高精地图内的栅格的属性为未被占用，则基于转换到世界坐标系下的鱼眼摄像头栅格地图MapCam和激光雷达栅格地图Maplidar进行融合：
a.如果栅格只被鱼眼摄像头或者激光雷达可见，则融合的栅格地图Mapfusion中的相应栅格为障碍物栅格的概率为可见的鱼眼摄像头或者激光雷达感知的相应栅格为障碍物栅格的概率
b.如果栅格被鱼眼摄像头或者激光雷达均可见，则采用指数融合的方式计算融合的栅格地图Mapfusion中的相应栅格为障碍物栅格的概率：Mapfusion(x,y)＝exp(log(Mapcam(xc,yc))+log(Maplidar(xl,yl)))，其中Mapcam(xc,yc)为环视摄像头栅格地图中障碍物栅格的概率，Maplidar(xl,yl)为激光雷达栅格地图中障碍物栅格的概率，Mapfusion(x,y)为融合的栅格地图Mapfusion中的相应栅格为障碍物栅格的概率。
需要说明的是，在本实施方式中，对于处于激光雷达和鱼眼摄像头盲区的栅格，其为障碍物栅格的概率被赋值为0.5。此外，需要注意的是，在得到融合的栅格地图Mapfusion后，还可以将融合的栅格地图Mapfusion从世界坐标系转换回车辆坐标系中。
综上所述可以看出，本发明所述的基于激光雷达和环视摄像头融合的车载栅格地图生成方法通过多传感器在时间和空间维度的融合，可以有效提升自动驾驶车辆对栅格地图的感知精度，解决栅格地图生成中的盲区问题，其具有良好的推广前景和应用价值。
相应地，本发明所述的基于激光雷达和环视摄像头融合的车载栅格地图生成系统可以用于实施本发明上述的车载栅格地图生成方法，其同样具有上述的优点以及有益效果。
需要说明的是，本发明保护范围中现有技术部分并不局限于本申请文件所给出的实施例，所有不与本发明的方案相矛盾的现有技术，包括但不局限于在先专利文献、在先公开出版物，在先公开使用等等，都可纳入本发明的保护范围。
此外，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
还需要注意的是，以上所列举的实施例仅为本发明具体实施例。显然本发明不局限于以上实施例，随之做出的类似变化或变形是本领域技术人员能从本发明公开的内容直接得出或者很容易便联想到的，均应属于本发明的保护范围。

Claims (10)

1.一种基于激光雷达和环视摄像头融合的车载栅格地图生成方法，其特征在于，设置若干个激光雷达和若干个环视摄像头，以对车辆环境周围360°的环境进行感知，所述车载栅格地图生成方法包括步骤：
100：获得若干个环视摄像头采集的t1时刻的图像，并通过语义分割方法从该图像中提取出可行驶区域，将其二值化并得到二值化的可行驶区域；
200：将每一个环视摄像头对应的二值化的可行驶区域投影到车辆坐标系下，得到车辆周围360°的鸟瞰图；
300：将鸟瞰图中车辆周围的预设范围栅格化，以得到表征障碍物信息的环视摄像头栅格地图MapCam以及其对应的感知范围地图Maskcam；
400：将环视摄像头栅格地图MapCam以及其对应的感知范围地图Maskcam转换到世界坐标系下；
500：获得若干个激光雷达采集的t2时刻的激光点云数据，将每个激光雷达感知的点云数据均外参归一化到车辆坐标系下，得到车辆周围360°的点云数据；
600：将车辆周围的预设范围内的点云数据栅格化，去除地面点云，得到障碍物点云；
700：基于障碍物点云，获得表征障碍物信息的激光雷达栅格地图Maplidar以及其对应的感知范围地图Masklidar；
800：将激光雷达栅格地图Maplidar以及其对应的感知范围地图Masklidar转换到世界坐标系下；
900：基于转换到世界坐标系下的环视摄像头栅格地图MapCam、转换到世界坐标系下的激光雷达栅格地图Maplidar以及获取的高精地图MapHD得到融合的栅格地图Mapfusion。
2.如权利要求1所述的车载栅格地图生成方法，其特征在于，在步骤100中，采用基于深度学习的语义分割方法提取可行驶区域。
3.如权利要求2所述的车载栅格地图生成方法，其特征在于，步骤100还包括：对语义分割后的图像进行后处理，以使可行驶区域连续，并消除包括空洞在内的感知误差。
4.如权利要求1所述的车载栅格地图生成方法，其特征在于，所述车辆坐标系为车辆后轴中点坐标系。
5.如权利要求1所述的车载栅格地图生成方法，其特征在于，步骤900还包括将融合的栅格地图Mapfusion从世界坐标系转换回车辆坐标系中。
6.如权利要求5所述的车载栅格地图生成方法，其特征在于，在步骤900中：
如果高精地图内的栅格为障碍物栅格，则融合的栅格地图Mapfusion中的相应栅格也为障碍物栅格；
如果高精地图内的栅格的属性为未被占用，则基于转换到世界坐标系下的环视摄像头栅格地图MapCam、转换到世界坐标系下的激光雷达栅格地图Maplidar进行融合：
a.如果栅格只被环视摄像头或者激光雷达可见，则融合的栅格地图Mapfusion中的相应栅格为障碍物栅格的概率为可见的环视摄像头或者激光雷达感知的相应栅格为障碍物栅格的概率；
b.如果栅格被环视摄像头或者激光雷达均可见，则采用指数融合的方式计算融合的栅格地图Mapfusion中的相应栅格为障碍物栅格的概率：Mapfusion(x,y)＝exp(log(Mapcam(xc,yc))+log(Maplidar(xl,yl)))，其中Mapcam(xc,yc)为环视摄像头栅格地图中障碍物栅格的概率，Maplidar(xl,yl)为激光雷达栅格地图中障碍物栅格的概率，Mapfusion(x,y)为融合的栅格地图Mapfusion中的相应栅格为障碍物栅格的概率。
7.如权利要求6所述的车载栅格地图生成方法，其特征在于，步骤900还包括：对于处于激光雷达和环视摄像头盲区的栅格，则其为障碍物栅格的概率被赋值为0.5。
8.一种基于激光雷达和环视摄像头融合的车载栅格地图生成系统，其特征在于，包括设置在车辆上的若干个激光雷达和若干个环视摄像头，以及处理模块，其中所述处理模块执行下列步骤：
100：获得若干个环视摄像头采集的t1时刻的图像，并通过语义分割方法从该图像中提取出可行驶区域，将其二值化并得到二值化的可行驶区域；
200：将每一个环视摄像头对应的二值化的可行驶区域投影到车辆坐标系下，得到车辆周围360°的鸟瞰图；
300：将鸟瞰图中车辆周围的预设范围栅格化，以得到表征障碍物信息的环视摄像头栅格地图MapCam以及其对应的感知范围地图Maskcam；
400：将环视摄像头栅格地图MapCam以及其对应的感知范围地图Maskcam转换到世界坐标系下；
500：获得若干个激光雷达采集的t2时刻的激光点云数据，将每个激光雷达感知的点云数据均外参归一化到车辆坐标系下，得到车辆周围360°的点云数据；
600：将车辆周围的预设范围内的点云数据栅格化，去除地面点云，得到障碍物点云；
700：基于障碍物点云，获得表征障碍物信息的激光雷达栅格地图Maplidar以及其对应的感知范围地图Masklidar；
800：将激光雷达栅格地图Maplidar以及其对应的感知范围地图Masklidar转换到世界坐标系下；
900：基于转换到世界坐标系下的环视摄像头栅格地图MapCam、转换到世界坐标系下的激光雷达栅格地图Maplidar以及获取的高精地图MapHD得到融合的栅格地图Mapfusion。
9.如权利要求8所述的车载栅格地图生成系统，其特征在于，步骤100还包括：对语义分割后的图像进行后处理，以使可行驶区域连续，并消除包括空洞在内的感知误差。
10.如权利要求8所述的车载栅格地图生成系统，其特征在于，步骤900还包括将融合的栅格地图Mapfusion从世界坐标系转换回车辆坐标系中。
CN202011283586.9A 2020-11-17 2020-11-17 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统 Active CN112581612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011283586.9A CN112581612B (zh) 2020-11-17 2020-11-17 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011283586.9A CN112581612B (zh) 2020-11-17 2020-11-17 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统

Publications (2)

Publication Number Publication Date
CN112581612A true CN112581612A (zh) 2021-03-30
CN112581612B CN112581612B (zh) 2022-11-01

Family

ID=75122612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011283586.9A Active CN112581612B (zh) 2020-11-17 2020-11-17 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统

Country Status (1)

Country Link
CN (1) CN112581612B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093221A (zh) * 2021-03-31 2021-07-09 东软睿驰汽车技术（沈阳）有限公司 占据栅格地图的生成方法及装置
CN113434788A (zh) * 2021-07-07 2021-09-24 北京经纬恒润科技股份有限公司 建图方法、装置、电子设备及车辆
CN113721248A (zh) * 2021-08-30 2021-11-30 浙江吉利控股集团有限公司 一种基于多源异构传感器的融合定位方法及系统
CN113870337A (zh) * 2021-09-30 2021-12-31 中国矿业大学(北京) 一种基于极坐标栅格与平面拟合的地面点云分割方法
CN113920735A (zh) * 2021-10-21 2022-01-11 中国第一汽车股份有限公司 一种信息融合方法、装置、电子设备及存储介质
CN114212106A (zh) * 2021-12-17 2022-03-22 东软睿驰汽车技术（沈阳）有限公司 一种车辆的可行驶区域内安全概率的确定方法及装置
CN114312812A (zh) * 2022-03-04 2022-04-12 国汽智控(北京)科技有限公司 基于动态感知的车辆控制方法、装置及电子设备
CN115164919A (zh) * 2022-09-07 2022-10-11 北京中科慧眼科技有限公司 基于双目相机的空间可行驶区域地图构建方法及装置
CN116434183A (zh) * 2023-03-08 2023-07-14 之江实验室 一种基于多点云协同融合的道路静态环境描述方法
CN116758518A (zh) * 2023-08-22 2023-09-15 安徽蔚来智驾科技有限公司 环境感知方法、计算机设备、计算机可读存储介质及车辆
CN117232539A (zh) * 2023-11-16 2023-12-15 山东新坐标智能装备有限公司 基于激光雷达的轻量化环境感知地图构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176185A (zh) * 2011-12-26 2013-06-26 上海汽车集团股份有限公司 用于检测道路障碍物的方法及系统
CN110175576A (zh) * 2019-05-29 2019-08-27 电子科技大学 一种结合激光点云数据的行驶车辆视觉检测方法
WO2019244060A1 (en) * 2018-06-22 2019-12-26 MAGNETI MARELLI S.p.A. Method for vehicle environment mapping, corresponding system, vehicle and computer program product
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103176185A (zh) * 2011-12-26 2013-06-26 上海汽车集团股份有限公司 用于检测道路障碍物的方法及系统
WO2019244060A1 (en) * 2018-06-22 2019-12-26 MAGNETI MARELLI S.p.A. Method for vehicle environment mapping, corresponding system, vehicle and computer program product
CN110175576A (zh) * 2019-05-29 2019-08-27 电子科技大学 一种结合激光点云数据的行驶车辆视觉检测方法
CN111369439A (zh) * 2020-02-29 2020-07-03 华南理工大学 基于环视的自动泊车车位识别全景环视图像实时拼接方法
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张恒等: "激光雷达与深度相机融合的SLAM技术研究", 《机械工程师》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093221A (zh) * 2021-03-31 2021-07-09 东软睿驰汽车技术（沈阳）有限公司 占据栅格地图的生成方法及装置
CN113434788A (zh) * 2021-07-07 2021-09-24 北京经纬恒润科技股份有限公司 建图方法、装置、电子设备及车辆
CN113434788B (zh) * 2021-07-07 2024-05-07 北京经纬恒润科技股份有限公司 建图方法、装置、电子设备及车辆
CN113721248A (zh) * 2021-08-30 2021-11-30 浙江吉利控股集团有限公司 一种基于多源异构传感器的融合定位方法及系统
CN113721248B (zh) * 2021-08-30 2024-05-14 浙江吉利控股集团有限公司 一种基于多源异构传感器的融合定位方法及系统
CN113870337A (zh) * 2021-09-30 2021-12-31 中国矿业大学(北京) 一种基于极坐标栅格与平面拟合的地面点云分割方法
CN113920735B (zh) * 2021-10-21 2022-11-15 中国第一汽车股份有限公司 一种信息融合方法、装置、电子设备及存储介质
CN113920735A (zh) * 2021-10-21 2022-01-11 中国第一汽车股份有限公司 一种信息融合方法、装置、电子设备及存储介质
CN114212106B (zh) * 2021-12-17 2023-10-10 东软睿驰汽车技术（沈阳）有限公司 一种车辆的可行驶区域内安全概率的确定方法及装置
CN114212106A (zh) * 2021-12-17 2022-03-22 东软睿驰汽车技术（沈阳）有限公司 一种车辆的可行驶区域内安全概率的确定方法及装置
CN114312812A (zh) * 2022-03-04 2022-04-12 国汽智控(北京)科技有限公司 基于动态感知的车辆控制方法、装置及电子设备
CN115164919A (zh) * 2022-09-07 2022-10-11 北京中科慧眼科技有限公司 基于双目相机的空间可行驶区域地图构建方法及装置
CN115164919B (zh) * 2022-09-07 2022-12-13 北京中科慧眼科技有限公司 基于双目相机的空间可行驶区域地图构建方法及装置
CN116434183A (zh) * 2023-03-08 2023-07-14 之江实验室 一种基于多点云协同融合的道路静态环境描述方法
CN116434183B (zh) * 2023-03-08 2023-11-14 之江实验室 一种基于多点云协同融合的道路静态环境描述方法
CN116758518A (zh) * 2023-08-22 2023-09-15 安徽蔚来智驾科技有限公司 环境感知方法、计算机设备、计算机可读存储介质及车辆
CN116758518B (zh) * 2023-08-22 2023-12-01 安徽蔚来智驾科技有限公司 环境感知方法、计算机设备、计算机可读存储介质及车辆
CN117232539A (zh) * 2023-11-16 2023-12-15 山东新坐标智能装备有限公司 基于激光雷达的轻量化环境感知地图构建方法
CN117232539B (zh) * 2023-11-16 2024-02-27 苏州新坐标智能装备有限公司 基于激光雷达的轻量化环境感知地图构建方法

Also Published As

Publication number Publication date
CN112581612B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN112581612B (zh) 基于激光雷达和环视摄像头融合的车载栅格地图生成方法及系统
CN114708585B (zh) 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN117441113A (zh) 一种面向车路协同的感知信息融合表征及目标检测方法
CN112740225B (zh) 一种路面要素确定方法及装置
CN110298311B (zh) 路面积水检测方法及装置
CN115273028B (zh) 一种基于全域感知的智慧停车场语义地图构建方法及系统
CN114782729A (zh) 一种基于激光雷达与视觉融合的实时目标检测方法
CN113989766A (zh) 道路边缘检测方法、应用于车辆的道路边缘检测设备
DE112021006101T5 (de) Systeme und Verfahren zur Objektdetektion mit LiDAR-Dekorrelation
CN113985405A (zh) 障碍物检测方法、应用于车辆的障碍物检测设备
CN115372990A (zh) 一种高精度语义地图的建图方法、装置和无人车
CN115457358A (zh) 一种图像与点云的融合的处理方法、装置和无人车
CN114295139A (zh) 一种协同感知定位方法及系统
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
Song et al. Automatic detection and classification of road, car, and pedestrian using binocular cameras in traffic scenes with a common framework
Engelhardt et al. Occupancy grids generation using deep radar network for autonomous driving
CN114639115A (zh) 一种人体关键点与激光雷达融合的3d行人检测方法
CN112578405B (zh) 一种基于激光雷达点云数据去除地面的方法及系统
Wang et al. Lane detection algorithm based on temporal–spatial information matching and fusion
CN113624223B (zh) 一种室内停车场地图构建方法及装置
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
CN116794650A (zh) 一种毫米波雷达与摄像头数据融合的目标检测方法和装置
CN116453205A (zh) 一种营运车辆滞站揽客行为识别方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant