CN115144868A - 一种适用于端到端自动驾驶的感知及导航定位融合的方法 - Google Patents

一种适用于端到端自动驾驶的感知及导航定位融合的方法 Download PDF

Info

Publication number
CN115144868A
CN115144868A CN202210738876.0A CN202210738876A CN115144868A CN 115144868 A CN115144868 A CN 115144868A CN 202210738876 A CN202210738876 A CN 202210738876A CN 115144868 A CN115144868 A CN 115144868A
Authority
CN
China
Prior art keywords
information
grid
lane
fusion
filling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210738876.0A
Other languages
English (en)
Inventor
陈林昱
邓胜
陈彩凤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Juwan Technology Research Co ltd
Original Assignee
Guangzhou Juwan Technology Research Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Juwan Technology Research Co ltd filed Critical Guangzhou Juwan Technology Research Co ltd
Priority to CN202210738876.0A priority Critical patent/CN115144868A/zh
Publication of CN115144868A publication Critical patent/CN115144868A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种适用于端到端自动驾驶的感知及导航定位融合的方法，该方法的具体步骤包括：获取当前行驶路况的信息，进行俯视投影和栅格化处理，输出栅格图，将视觉识别的车道信息和交通信号灯信息叠加到栅格图中，再将导航信息融合到栅格图中，基于车道信息、交通信号灯信息和导航信息对栅格图进行重构处理，在栅格图中填充对应栅格值，获得多信息融合栅格图。本发明对原始图像进行栅格化处理，提高其融合度和能有效防止有用信息的丢失，可以保留较为原始的感知信息，同时将导航定位等信息进行融合和将无用的道路信息过滤掉，适用于后续神经网络的学习和训练，提高自动驾驶规划决策的准确性。

Description

一种适用于端到端自动驾驶的感知及导航定位融合的方法
技术领域
本发明涉及感知信息融合处理技术领域，具体涉及一种适用于端到端自动驾驶的感知及导航定位融合的方法。
背景技术
自动驾驶需要获取实时的行驶环境信息，具体来说包括行人、车辆的位置和速度，可行驶区域，交通规则等，自动驾驶车的感知模块通过融合多种传感器数据来获取这些信息，同时，自动驾驶还需高精度地图和定位的配合，一般使用GPS和IMU的组合惯导来完成高精定位功能。
用于端到端自动驾驶的感知信息，如果不经过融合，直接使用原始图像和点云，一方面融合难度较高，另一方面可能存在有用信息的丢失，影响端到端自动驾驶神经网络的表现效果，因此，亟需一种能够实现既可以保留较为原始的感知信息，同时将导航定位等信息进行融合的技术。
发明内容
为了克服现有技术存在的缺陷与不足，本发明提供一种适用于端到端自动驾驶的感知及导航定位融合的方法，本发明对原始图像进行栅格化处理，可以提高其融合度和防止有用信息的丢失，能够保留较为原始的感知信息，同时将导航定位等信息进行融合，得到具备丰富信息的感知融合输入，并且将无用的道路信息过滤掉，适用于后续神经网络的学习和训练，提高自动驾驶规划决策的准确性。
本发明的第二目的在于提供一种适用于端到端自动驾驶的感知及导航定位融合的系统。
本发明的第三目的在于提供一种计算机可读存储介质。
本发明的第四目的在于提供一种计算设备。
为了达到上述目的，本发明采用以下技术方案：
本发明提供一种适用于端到端自动驾驶的感知及导航定位融合的方法，包括下述步骤：
获取激光点云数据，将激光点云数据参数归一化到车辆坐标系下，得到车辆周围的点云数据，将车辆周围的预设范围内的点云数据栅格化，去除地面点云，投影得到鸟瞰图；
鸟瞰图中设置填充单元格，当检测到障碍物点云信息则在填充单元格内填入第一栅格值，检测为底色时则填入第二栅格值，形成栅格图；
将视觉识别到的车道信息进行坐标转换，转换为车辆坐标系下的坐标，在栅格图上车道信息的车辆坐标位置点处改变栅格值，若检测到车辆坐标位置点处有点云信息则不改变栅格值，维持点云信息对应的栅格值；
通过导航和定位信息获得车辆所处的位置信息和行驶信息，将栅格图上的当前车道收缩到应驶入车道，将当前车道与应驶入车道之外的区域填充为栅格障碍物，得到多信息融合栅格图。
作为优选的技术方案，还包括交通信号灯信息融合步骤，具体包括：
在栅格图中选取多个单元格，预设各个单元格分别对应交通信号灯的颜色标识，识别当前交通信号灯的颜色信息，并在对应单元格中填入栅格值。
作为优选的技术方案，还包括停止线区域过滤步骤，具体包括：
当检测到当前车道前方为停止线，且交通信号灯信息为停止指示状态时，停止线之外的区域填充为栅格障碍物。
作为优选的技术方案，所述将栅格图上的当前车道收缩到应驶入车道，所述收缩方式采用直线或曲线连接。
为了达到上述第二目的，本发明采用以下技术方案：
一种适用于端到端自动驾驶的感知及导航定位融合的系统，包括：激光雷达、摄像头、栅格化处理模块、栅格填充模块、视觉叠加模块、导航模块、融合重构模块；
所述激光雷达用于激光点云数据，所述摄像头用于采集车道信息和交通信号灯信息；
所述栅格化处理模块用于将激光点云数据参数归一化到车辆坐标系下，得到车辆周围的点云数据，将车辆周围的预设范围内的点云数据栅格化，去除地面点云，投影得到鸟瞰图；
所述栅格填充模块用于在鸟瞰图中设置填充单元格，当检测到障碍物点云信息则在填充单元格内填入第一栅格值，检测为底色时则填入第二栅格值，形成栅格图；
所述视觉叠加模块用于将视觉识别到的车道信息进行坐标转换，转换为车辆坐标系下的坐标，在栅格图上车道信息的车辆坐标位置点处改变栅格值，若检测到车辆坐标位置点处有点云信息则不改变栅格值，维持点云信息对应的栅格值；
所述导航模块用于获取导航和定位信息；
所述融合重构模块用于通过导航和定位信息获得车辆所处的位置信息和行驶信息，将栅格图上的当前车道收缩到应驶入车道，将当前车道与应驶入车道之外的区域填充为栅格障碍物，得到多信息融合栅格图。
作为优选的技术方案，还设有交通信号灯信息融合模块，所述交通信号灯信息融合模块用于融合交通信号灯信息，具体包括：
在栅格图中选取多个单元格，预设各个单元格分别对应交通信号灯的颜色标识，识别当前交通信号灯的颜色信息，并在对应单元格中填入栅格值。
作为优选的技术方案，还设有停止线区域过滤模块，所述停止线区域过滤模块用于过滤停止线外无用区域，具体包括：
当检测到当前车道前方为停止线，且交通信号灯信息为停止指示状态时，停止线之外的区域填充为栅格障碍物。
作为优选的技术方案，所述将栅格图上的当前车道收缩到应驶入车道，所述收缩方式采用直线或曲线连接。
为了达到上述第三目的，本发明采用以下技术方案：
一种计算机可读存储介质，存储有程序，所述程序被处理器执行时实现如上述适用于端到端自动驾驶的感知及导航定位融合的方法。
为了达到上述第四目的，本发明采用以下技术方案：
一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述适用于端到端自动驾驶的感知及导航定位融合的方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)本发明采用激光雷达获取图像后输出栅格图，对于获取到的车况信息、障碍物信息、车道线信息、红绿灯信息以及定位和导航信息通过转换，在栅格图采用不同的栅格图数值进行填充，使各个信息融合后得到辨识度高且清晰图像，通过该方法处理的后的多信息融合栅格图，可以将杂乱的道路信息规整化，可以保留更多有用的原始传感器信息，有利于后续神经网络模块的训练和学习，提高自动驾驶后续决策规划和控制的准确性。
(2)本发明通过导航以及交通规则与感知融合，通过融合重构对各个信息进行优化，对各个信息采用不用栅格图数值填充，并有效过滤掉无用信息，有利于神经网络的关注度更加集中，提高后续神经网络预测精确度。
(3)本发明在鸟瞰图中设置填充单元格，基于点云信息的填入栅格值，底色和障碍物分别用两个对比度最高的数值来表示，可明显直观显示障碍物和路况在栅格图中的情况。
附图说明
图1为本发明适用于端到端自动驾驶的感知及导航定位融合的方法的流程示意图；
图2为本发明车道线收缩到应驶入车道的示意图；
图3为本发明叠加车道线的点云栅格图；
图4为本发明停止线区域处理示意图；
图5为本发明适用于端到端自动驾驶的感知及导航定位融合的系统架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本实施例提供一种适用于端到端自动驾驶的感知及导航定位融合的方法，包括下述步骤：
S1：激光雷达获取当前行驶路况的信息，将该信息进行俯视投影和栅格化处理，基于点云信息填入栅格值，输出栅格图；
获得若干个激光雷达采集的激光点云数据，将每个激光雷达感知的点云数据参数归一化到车辆坐标系下，得到车辆周围360°的点云数据；将车辆周围的预设范围内的点云数据栅格化，去除地面点云，投影得到鸟瞰图；
鸟瞰图中设置填充单元格，若判定有点云信息则在填充单元格内填入第一栅格值，若判定为底色则填入第二栅格值，由此形成栅格图，其中，第一栅格值和第二栅格值采用两个对比度最高的数值。
在本实施例中，激光雷达获取当前行驶路况的信息包括实时路况图、障碍物等，信息处理过程为基于当前行驶信息激光雷达获取车身周边信息的点云图，去除地面信息，投影形成鸟瞰图后可按照20cm*20cm的大小作为一个单元格，如果有点云信息则填入栅格值，由此形成栅格图，本实施例中采用栅格图大小为512*512，选取栅格图左上角为坐标轴原点(0,0)，车辆所处位置为图像中像素点为(256,411)，栅格图使用车辆坐标系，覆盖车前80m、车后及左右各50m的信息。栅格图中点云信息的栅格值按数值255填入，无点云信息则以0填入。其中，栅格图中数值对应像素的值，底色和障碍物分别用0和255两个对比度最高的数值来表示，可明显直观显示障碍物和路况在栅格图中的情况。
S2：将视觉识别的车道信息和交通信号灯信息叠加到栅格图中；
在本实施例中，车道线的提取是基于图像的语义分割实现的。将图像进行分割，分割为64*64的格子，使用deeplabv3网络对图像进行语义分割训练，判断每个格子是否有车道线，提取有车道线的格子，对图像上的相关格子做聚类，并经过合适的后处理，通过二次曲线拟合，在图像上拟合出车道线，将图像上的车道线，经过坐标转换，对应到栅格图上，在栅格图上相应区域填充车道线数值。
在本实施例中，将视觉识别的车道线、停止线等信息，通过坐标转换，叠加进栅格图中。具体做法为：通过摄像头的内外参标定，将摄像头获取的坐标轴转化为图像的坐标轴，可以得到视觉识别结果相对于摄像头的相对位置信息，经过坐标转换，将车道线和停止线的坐标转换为车辆坐标系下的坐标。与栅格图中坐标轴和单元格对应填充，在栅格图上车道线和停止线的车辆坐标位置点处，以设置的数值进行填充，设置的数据范围值取0-255之间，在100-150之间的效果最为明显，本实施例优选数值100填充，若该位置已有点云信息，则以点云信息为准，不改变该栅格数值；
优选地，还设有交通信号灯信息融合模块，交通信号灯信息融合模块用于融合交通信号灯信息，例如可在栅格图左上角，即(0,0)(0,1)(0,2)位置以三个单元格的数值(也可随机选取多个单元格数值)标识出当前红绿灯状态，，三个栅格分别代表红黄绿三种状态，识别出红绿灯的颜色信息，在相应颜色的坐标填入数值100；当然，也可随机选取多个单元格填入数值，提高辨识度。
S3：将导航信息融合到栅格图中，基于车道信息、交通信号灯信息和导航信息对栅格图进行重构处理，在栅格图中填充对应栅格值，得到适用于神经网络的多信息融合栅格图；
在本实施例中，通过在栅格图中填充数值，栅格图进行融合后，呈现出图像有像素即为重构后的数据。
在本实施例中，通过定位和导航，将栅格图中对于本车决策规划无用的信息做过滤处理。例如，无用信息可包括但不限于：导航信息中不包含的车道(例：左转路口时，直行和右转车道为无用信息)、红灯时停止线之外的信息等，将无用区域的栅格值改填为255，即填充处理为障碍物信息。
具体做法为：通过导航和定位信息，可以得到车辆所处的具体车道以及航向角。由导航信息可以得知，在前方路口或者匝道处，车辆应驶入的车道。按照导航信息的指引，在路口或匝道前50m，将栅格图上的当前车道收缩到应驶入车道，收缩方式为通过直线或曲线连接。
如图2所示，收缩线使用直线连接，斜率为与当前车道线夹角45度，在当前车道与应驶入车道之外的区域，全部以255数值填充，即填充为障碍物。
如图3所示，得到叠加了车道线的点云栅格图，1和2为两条车道，如果根据导航，1为要行驶的车道，2为无用车道，那么可以将2车道区域的信息全部填255。
如图4所示，如果前方为停止线，且红绿灯信号显示为红灯亮，则将停止线之外的区域填充为255。
最后呈现的为将无用的道路信息过滤掉(填充为栅格障碍物的形式)的栅格化图像，该图像后续将用于端到端神经网络的训练和学习。因为本申请处理后的图像更加精简(过滤掉了无用区域)，所以更加适合端到端神经网络的训练和学习，并且在各个信息融合过程中，栅格图中数值对应像素的值分别用0和255两个对比度最高的数值来表示，使得处理后的图像更加清晰准确，对于获取到的车况信息、障碍物信息、车道线信息、红绿灯信息以及定位和导航信息通过转换，在栅格图采用不同的栅格图数值进行填充，使各个信息融合后得到辨识度高且清晰图像。通过融合重构对各个信息进行优化，对各个信息采用不用栅格图数值填充，方便后续神经网络训练，有利于决策规划。
实施例2
如图5所示，本实施例提供一种适用于端到端自动驾驶的感知及导航定位融合的系统，包括：激光雷达、摄像头、栅格化处理模块、栅格填充模块、视觉叠加模块、导航模块、融合重构模块；
在本实施例中，激光雷达用于激光点云数据，所述摄像头用于采集车道信息和交通信号灯信息；
在本实施例中，栅格化处理模块用于将激光点云数据参数归一化到车辆坐标系下，得到车辆周围的点云数据，将车辆周围的预设范围内的点云数据栅格化，去除地面点云，投影得到鸟瞰图；
在本实施例中，栅格填充模块用于在鸟瞰图中设置填充单元格，当检测到障碍物点云信息则在填充单元格内填入第一栅格值，检测为底色时则填入第二栅格值，形成栅格图；
在本实施例中，视觉叠加模块用于将视觉识别到的车道信息进行坐标转换，转换为车辆坐标系下的坐标，在栅格图上车道信息的车辆坐标位置点处改变栅格值，检测到车辆坐标位置点处有点云信息则不改变栅格值，维持点云信息对应的栅格值；
在本实施例中，导航模块用于获取导航和定位信息；
在本实施例中，融合重构模块用于通过导航和定位信息获得车辆所处的位置信息和行驶信息，将栅格图上的当前车道收缩到应驶入车道，将当前车道与应驶入车道之外的区域填充为栅格障碍物，得到多信息融合栅格图。
实施例3
本实施例提供一种存储介质，存储介质可以是ROM、RAM、磁盘、光盘等储存介质，该存储介质存储有一个或多个程序，程序被处理器执行时，实现实施例1的适用于端到端自动驾驶的感知及导航定位融合的方法。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
实施例4
本实施例提供一种计算设备，该计算设备可以是台式电脑、笔记本电脑、智能手机、PDA手持终端、平板电脑或其他具有显示功能的终端设备，该计算设备包括处理器和存储器，存储器存储有一个或多个程序，处理器执行存储器存储的程序时，实现实施例1的适用于端到端自动驾驶的感知及导航定位融合的方法。
综上，本发明对原始图像进行栅格化处理，提高其融合度和防止有用信息的丢失，能够保留较为原始的感知信息，同时将导航定位等信息进行融合，得到具备丰富信息的感知融合输入，并且将无用的道路信息过滤掉，适用于后续神经网络的学习和训练，提高自动驾驶规划决策的准确性。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种适用于端到端自动驾驶的感知及导航定位融合的方法，其特征在于，包括下述步骤：
获取激光点云数据，将激光点云数据参数归一化到车辆坐标系下，得到车辆周围的点云数据，将车辆周围的预设范围内的点云数据栅格化，去除地面点云，投影得到鸟瞰图；
鸟瞰图中设置填充单元格，当检测到障碍物点云信息则在填充单元格内填入第一栅格值，检测为底色时则填入第二栅格值，形成栅格图；
将视觉识别到的车道信息进行坐标转换，转换为车辆坐标系下的坐标，在栅格图上车道信息的车辆坐标位置点处改变栅格值，检测到车辆坐标位置点处有点云信息则不改变栅格值，维持点云信息对应的栅格值；
通过导航和定位信息获得车辆所处的位置信息和行驶信息，将栅格图上的当前车道收缩到应驶入车道，将当前车道与应驶入车道之外的区域填充为栅格障碍物，得到多信息融合栅格图。
2.根据权利要求1所述的适用于端到端自动驾驶的感知及导航定位融合的方法，其特征在于，还包括交通信号灯信息融合步骤，具体包括：
在栅格图中选取多个单元格，预设各个单元格分别对应交通信号灯的颜色标识，识别当前交通信号灯的颜色信息，并在对应单元格中填入栅格值。
3.根据权利要求2所述的适用于端到端自动驾驶的感知及导航定位融合的方法，其特征在于，还包括停止线区域过滤步骤，具体包括：
当检测到当前车道前方为停止线，且交通信号灯信息为停止指示状态时，停止线之外的区域填充为栅格障碍物。
4.根据权利要求1-3任一项所述的适用于端到端自动驾驶的感知及导航定位融合的方法，其特征在于，所述将栅格图上的当前车道收缩到应驶入车道，所述收缩方式采用直线或曲线连接。
5.一种适用于端到端自动驾驶的感知及导航定位融合的系统，其特征在于，包括：激光雷达、摄像头、栅格化处理模块、栅格填充模块、视觉叠加模块、导航模块、融合重构模块；
所述激光雷达用于激光点云数据，所述摄像头用于采集车道信息和交通信号灯信息；
所述栅格化处理模块用于将激光点云数据参数归一化到车辆坐标系下，得到车辆周围的点云数据，将车辆周围的预设范围内的点云数据栅格化，去除地面点云，投影得到鸟瞰图；
所述栅格填充模块用于在鸟瞰图中设置填充单元格，当检测到障碍物点云信息则在填充单元格内填入第一栅格值，检测为底色时则填入第二栅格值，形成栅格图；
所述视觉叠加模块用于将视觉识别到的车道信息进行坐标转换，转换为车辆坐标系下的坐标，在栅格图上车道信息的车辆坐标位置点处改变栅格值，若检测到车辆坐标位置点处有点云信息则不改变栅格值，维持点云信息对应的栅格值；
所述导航模块用于获取导航和定位信息；
所述融合重构模块用于通过导航和定位信息获得车辆所处的位置信息和行驶信息，将栅格图上的当前车道收缩到应驶入车道，将当前车道与应驶入车道之外的区域填充为栅格障碍物，得到多信息融合栅格图。
6.根据权利要求5所述的适用于端到端自动驾驶的感知及导航定位融合的系统，其特征在于，还设有交通信号灯信息融合模块，所述交通信号灯信息融合模块用于融合交通信号灯信息，具体包括：
在栅格图中选取多个单元格，预设各个单元格分别对应交通信号灯的颜色标识，识别当前交通信号灯的颜色信息，并在对应单元格中填入栅格值。
7.根据权利要求5所述的适用于端到端自动驾驶的感知及导航定位融合的系统，其特征在于，还设有停止线区域过滤模块，所述停止线区域过滤模块用于过滤停止线外无用区域，具体包括：
当检测到当前车道前方为停止线，且交通信号灯信息为停止指示状态时，停止线之外的区域填充为栅格障碍物。
8.根据权利要求5-7任一项所述的适用于端到端自动驾驶的感知及导航定位融合的系统，其特征在于，所述将栅格图上的当前车道收缩到应驶入车道，所述收缩方式采用直线或曲线连接。
9.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-4任一项所述适用于端到端自动驾驶的感知及导航定位融合的方法。
10.一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现如权利要求1-4任一项所述适用于端到端自动驾驶的感知及导航定位融合的方法。
CN202210738876.0A 2022-06-27 2022-06-27 一种适用于端到端自动驾驶的感知及导航定位融合的方法 Pending CN115144868A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210738876.0A CN115144868A (zh) 2022-06-27 2022-06-27 一种适用于端到端自动驾驶的感知及导航定位融合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210738876.0A CN115144868A (zh) 2022-06-27 2022-06-27 一种适用于端到端自动驾驶的感知及导航定位融合的方法

Publications (1)

Publication Number Publication Date
CN115144868A true CN115144868A (zh) 2022-10-04

Family

ID=83409201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210738876.0A Pending CN115144868A (zh) 2022-06-27 2022-06-27 一种适用于端到端自动驾驶的感知及导航定位融合的方法

Country Status (1)

Country Link
CN (1) CN115144868A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012805A (zh) * 2023-03-24 2023-04-25 深圳佑驾创新科技有限公司 目标感知方法、装置、计算机设备、存储介质和程序产品
CN116659523A (zh) * 2023-05-17 2023-08-29 深圳市保臻社区服务科技有限公司 一种基于社区进入车辆的位置自动定位方法及装置
CN116758518A (zh) * 2023-08-22 2023-09-15 安徽蔚来智驾科技有限公司 环境感知方法、计算机设备、计算机可读存储介质及车辆

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012805A (zh) * 2023-03-24 2023-04-25 深圳佑驾创新科技有限公司 目标感知方法、装置、计算机设备、存储介质和程序产品
CN116012805B (zh) * 2023-03-24 2023-08-29 深圳佑驾创新科技有限公司 目标感知方法、装置、计算机设备、存储介质
CN116659523A (zh) * 2023-05-17 2023-08-29 深圳市保臻社区服务科技有限公司 一种基于社区进入车辆的位置自动定位方法及装置
CN116758518A (zh) * 2023-08-22 2023-09-15 安徽蔚来智驾科技有限公司 环境感知方法、计算机设备、计算机可读存储介质及车辆
CN116758518B (zh) * 2023-08-22 2023-12-01 安徽蔚来智驾科技有限公司 环境感知方法、计算机设备、计算机可读存储介质及车辆

Similar Documents

Publication Publication Date Title
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
US10817731B2 (en) Image-based pedestrian detection
CN115144868A (zh) 一种适用于端到端自动驾驶的感知及导航定位融合的方法
CN109470254B (zh) 地图车道线的生成方法、装置、系统及存储介质
CN111874006B (zh) 路线规划处理方法和装置
CN112880693A (zh) 地图生成方法、定位方法、装置、设备及存储介质
EP3624002A2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN110298311B (zh) 路面积水检测方法及装置
CN114485698B (zh) 一种交叉路口引导线生成方法及系统
CN112740225A (zh) 一种路面要素确定方法及装置
CN115372990A (zh) 一种高精度语义地图的建图方法、装置和无人车
CN111144315A (zh) 目标检测方法、装置、电子设备和可读存储介质
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
WO2023179028A1 (zh) 一种图像处理方法、装置、设备及存储介质
CN114694115A (zh) 一种道路障碍物检测方法、装置、设备及存储介质
CN116997771A (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
CN115205803A (zh) 自动驾驶环境感知方法、介质及车辆
CN116052124A (zh) 多相机生成局部地图模板理解加强目标检测方法及系统
CN117437512A (zh) 一种目标检测方法、装置、设备及可读存储介质
CN110223223A (zh) 街道扫描方法、装置及扫描仪
CN117671644A (zh) 标识牌检测方法、装置以及车辆
CN115965682B (zh) 一种车辆可通行区域确定方法、装置及计算机设备
CN116452911A (zh) 目标检测模型训练方法及装置、目标检测方法及装置
Eraqi et al. Static free space detection with laser scanner using occupancy grid maps
CN116142172A (zh) 一种基于体素坐标系的泊车方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination