CN113420687A - 可行驶区域的获取方法、装置和车辆 - Google Patents

可行驶区域的获取方法、装置和车辆 Download PDF

Info

Publication number
CN113420687A
CN113420687A CN202110732086.7A CN202110732086A CN113420687A CN 113420687 A CN113420687 A CN 113420687A CN 202110732086 A CN202110732086 A CN 202110732086A CN 113420687 A CN113420687 A CN 113420687A
Authority
CN
China
Prior art keywords
obstacle
road surface
point cloud
neural network
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110732086.7A
Other languages
English (en)
Inventor
罗衡荣
贺志国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sany Special Vehicle Co Ltd
Original Assignee
Sany Special Vehicle Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sany Special Vehicle Co Ltd filed Critical Sany Special Vehicle Co Ltd
Priority to CN202110732086.7A priority Critical patent/CN113420687A/zh
Publication of CN113420687A publication Critical patent/CN113420687A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种可行驶区域的获取方法、装置和车辆。可行驶区域的获取方法，包括获取周围环境的第一点云数据和第一图像数据；对第一点云数据和第一图像数据进行数据处理，得到处理后的第二点云数据和第二图像数据；基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息；对障碍物信息和路面区域信息进行结果融合，得到融合后的障碍物信息和路面区域信息；基于融合后的障碍物信息和路面区域信息，获取可行驶区域。本发明的技术方案通过神经网络模型可以识别路面上的障碍物，进一步提升可行驶区域检测结果的准确性，保证车辆行驶安全。

Description

可行驶区域的获取方法、装置和车辆
技术领域
本发明涉及驾驶技术领域，具体而言，涉及一种可行驶区域的获取方法、装置和车辆。
背景技术
无人驾驶系统一般包括感知、定位、规划、控制等模块，感知模块的任务就是检测车辆周围环境中的障碍物如车辆、行人等，输出可通行区域，为路径规划等后续任务提供依据。对于城市道路，道路结构变化频率低，依靠高精度地图，只要实时检测路面上的障碍物，就能输出车辆可通行区域。相反，矿区道路大多为非结构化道路，路面经常出现变化，高精度地图可能更新不及时，除了需要识别路面上的障碍物之外，还要提取道路区域，两者结合才能输出车辆可通行区域。另外，矿区道路上很可能存在落石，矿区车辆作业时还会面临粉尘大等恶劣工况，这些都是矿区场景区别于城市道路场景的特点。现有主流的基于激光或摄像头的感知方案，在遇到粉尘工况时，点云数据、图像数据的质量都会受很大影响，很可能导致感知算法失效，无法输出可靠的可通行区域检测结果。
发明内容
本发明旨在解决上述技术问题的至少之一。
为此，本发明的第一目的在于提供一种可行驶区域的获取方法。
本发明的第二目的在于提供一种可行驶区域的获取装置。
本发明的第三目的在于提供一种车辆。
为实现本发明的第一目的，本发明的技术方案提供了一种可行驶区域的获取方法，包括：获取周围环境的第一点云数据和第一图像数据；对第一点云数据和第一图像数据进行数据处理，得到处理后的第二点云数据和第二图像数据；基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息；对障碍物信息和路面区域信息进行结果融合，得到融合后的障碍物信息和路面区域信息；基于融合后的障碍物信息和路面区域信息，获取可行驶区域。
本技术方案通过神经网络模型进可以预识别路面上的障碍物，进一步提升可行驶区域检测结果的准确性，保证车辆行驶安全。
另外，本发明提供的技术方案还可以具有如下附加技术特征：
上述技术方案中，获取周围环境的第一点云数据和第一图像数据，具体包括：获取激光雷达采集的周围环境的第一点云数据；获取摄像头采集的周围环境的第一图像数据。
本技术方案中，摄像头可以为红外摄像头，采用激光雷达和红外摄像头，进行矿区道路可行驶区域检测方法，可适用于矿区粉尘等恶劣工况下无人驾驶系统对车辆周围环境感知的需求，提升无人驾驶系统的鲁棒性和安全性。
上述任一技术方案中，在获取激光雷达采集的周围环境的第一点云数据之前，还包括：标定摄像头的内参；标定摄像头到车身坐标系的外参；标定激光雷达到车身坐标系的外参；通过车身坐标系转换得到激光雷达与摄像头之间的外参。
本技术方案中，在应用激光雷达和摄像头之前，分别对其进行标定，通过标定，提高激光雷达和摄像头获取数据的准确性，进而提高得到的可行驶区域的精度。
上述任一技术方案中，对第一点云数据和第一图像数据进行数据处理，得到处理后的第二点云数据和第二图像数据，具体包括：对第一点云数据进行无效值滤除、去掉感兴趣距离范围内数值、异常值滤波和/或数据降采样，得到处理后的第二点云数据；对第二图像数据进行零均值归一化和/或尺寸缩放，得到处理后的第二图像数据。
本技术方案通过对获取的第一点云数据、第一点云数据进行数据处理，可以有效去除异常数据，保留有效数据，提高最终可行驶区域的准确性。
上述任一技术方案中，基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括：将第二点云数据、第二图像数据输入至第一神经网络模型，第一神经网络模型进行预测，输出三维障碍物信息和路面区域信息；其中，至少一个神经网络模型包括第一神经网络模型，三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航线角和/或障碍物置信度，路面区域信息包括点云类别、路面点云索引和/或路面点云置信度。
本技术方案通过神经网络模型进行障碍物信息和路面区域信息的预测，预测结果准确性高。
上述任一技术方案中，基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括：将第二点云数据、第二图像数据输入至第二神经网络模型，第二神经网络模型进行预测，输出三维障碍物信息；将第二点云数据、第二图像数据输入至第三神经网络模型，第三神经网络模型进行预测，输出路面区域信息；其中，至少一个神经网络模型包括第二神经网络模型和第三神经网络模型，三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航线角和/或障碍物置信度，路面区域信息包括点云类别、路面点云索引和/或路面点云置信度。
本技术方案通过神经网络模型进行障碍物信息和路面区域信息的预测，预测结果准确性高。
上述任一技术方案中，基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括：将第二点云数据输入至第四神经网络模型，第四神经网络模型进行预测，输出三维障碍物信息和路面区域信息；将第二图像数据输入至第五神经网络模型，第五神经网络模型进行预测，输出二维障碍物信息和路面掩码图像，将路面掩码图像转换为路面区域信息；其中，至少一个神经网络模型包括第四神经网络模型和第五神经网络模型，三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航线角和/或障碍物置信度，路面区域信息包括点云类别、路面点云索引和/或路面点云置信度，二维障碍物信息包括障碍物类别、障碍物像素坐标、障碍物像素尺寸、障碍物距离和/或障碍物置信度，路面掩码图像包括二值图像或概率分布图。
本技术方案通过神经网络模型进行障碍物信息和路面区域信息的预测，预测结果准确性高。
上述任一技术方案中，基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括：将第二点云数据输入至第六神经网络模型，第六神经网络模型进行预测，输出三维障碍物信息；将第二点云数据输入至第七神经网络模型，第七神经网络模型进行预测，输出路面区域信息；将第二图像数据输入至第八神经网络模型，第八神经网络模型进行预测，输出二维障碍物信息；将第二图像数据输入至第九神经网络模型，第九神经网络模型进行预测，输出路面掩码图像，将路面掩码图像转换为路面区域信息；其中，至少一个神经网络模型包括第六神经网络模型、第七神经网络模型、第八神经网络模型和第九神经网络模型，三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航线角和/或障碍物置信度，路面区域信息包括点云类别、路面点云索引和/或路面点云置信度，二维障碍物信息包括障碍物类别、障碍物像素坐标、障碍物像素尺寸、障碍物距离和/或障碍物置信度，路面掩码图像包括二值图像或概率分布图。
本技术方案通过神经网络模型进行障碍物信息和路面区域信息的预测，预测结果准确性高。
上述任一技术方案中，对障碍物信息和路面区域信息进行结果融合，具体包括：将基于第二点云数据，经过至少一个神经网络模型预测得出的障碍物信息和/或路面区域信息，设定为第一权重；将基于第二图像数据，经过至少一个神经网络模型预测得出的障碍物信息和/或路面区域信息，设定为第二权重；基于第一权重和第二权重，对全部的障碍物信息和路面区域信息进行融合，得到融合后的障碍物信息和路面区域信息。
本技术方案根据工况，设置不同的权重值，对激光雷达和红外摄像头的数据进行融合，可以适应不同的环境，应用范围更广，得到的可行驶区域精度高。
上述任一技术方案中，基于融合后的障碍物信息和路面区域信息，获取可行驶区域，具体包括：基于融合后的障碍物信息和路面区域信息，将路面点云去掉障碍物包含的点云，剩余区域为可行驶区域。
本技术方案将路面点云中对应障碍物的区域去掉，得到可行驶区域，方法简单，可行性高，最终获取的结果准确性好。
上述任一技术方案中，基于融合后的障碍物信息和路面区域信息，将路面点云去掉障碍物包含的点云，剩余区域为可行驶区域，具体包括：基于融合后的障碍物信息和路面区域信息拟合可行驶区域的边界线，通过边界线表征可行驶区域；或将路面区域进行栅格划分，每个栅格设有被障碍物占据的信息，通过未被占据的栅格集合表征可行驶区域。
本技术方案给出了两种可行驶区域的获取方法，可以根据实际工况进行选择，灵活度高。
为实现本发明的第二目的，本发明的技术方案提供了一种可行驶区域的获取装置，包括：第一获取模块、处理模块、预测模块、融合模块和第二获取模块；第一获取模块获取周围环境的第一点云数据和第一图像数据；处理模块对第一点云数据和第一图像数据进行数据处理，得到处理后的第二点云数据和第二图像数据；预测模块基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息；融合模块对障碍物信息和路面区域信息进行结果融合，得到融合后的障碍物信息和路面区域信息；第二获取模块基于融合后的障碍物信息和路面区域信息，获取可行驶区域。
本技术方案通过神经网络模型可以识别路面上的障碍物，进一步提升可行驶区域检测结果的准确性，保证车辆行驶安全。
为实现本发明的第三目的，本发明的技术方案提供了一种车辆，包括：车体和可行驶区域的获取装置；可行驶区域的获取装置位于车体上；其中，可行驶区域的获取装置实现上述任一技术方案的可行驶区域的获取方法的步骤。
本技术方案提供的车辆实现如本发明任一技术方案的可行驶区域的获取方法的步骤，因而其具有如本发明任一技术方案的可行驶区域的获取方法的全部有益效果，在此不再赘述。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的可行驶区域的获取方法流程图之一；
图2为根据本发明一个实施例的可行驶区域的获取方法流程图之二；
图3为根据本发明一个实施例的可行驶区域的获取方法流程图之三；
图4为根据本发明一个实施例的可行驶区域的获取方法流程图之四；
图5为根据本发明一个实施例的可行驶区域的获取方法流程图之五；
图6为根据本发明一个实施例的可行驶区域的获取方法流程图之六；
图7为根据本发明一个实施例的可行驶区域的获取方法流程图之七；
图8为根据本发明一个实施例的可行驶区域的获取方法流程图之八；
图9为根据本发明一个实施例的可行驶区域的获取方法流程图之九；
图10为根据本发明一个实施例的可行驶区域的获取方法流程图之十；
图11为根据本发明一个实施例的可行驶区域的获取方法流程图之十一；
图12为根据本发明一个实施例的可行驶区域的获取方法流程图之十二；
图13为根据本发明一个实施例的可行驶区域的获取装置示意框图；
图14为根据本发明一个实施例的车辆装置示意框图；
图15为根据本发明一个实施例的可行驶区域的获取方法流程图之十三；
图16为根据本发明一个实施例的神经网络模型示意框图之一；
图17为根据本发明一个实施例的神经网络模型示意框图之二；
图18为根据本发明一个实施例的神经网络模型示意框图之三；
图19为根据本发明一个实施例的神经网络模型示意框图之四。
其中，图13至图19中附图标记与部件名称之间的对应关系为：
100，400：可行驶区域的获取装置，110：第一获取模块，120：处理模块，130：预测模块，140：融合模块，150：第二获取模块；160：第一神经网络模型，162：第二神经网络模型，164：第三神经网络模型，166：第四神经网络模型，168：第五神经网络模型，170：第六神经网络模型，172：第七神经网络模型，174：第八神经网络模型，176：第九神经网络模型，300：车辆，310：车体。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
下面参照图1至图19描述本发明一些实施例的可行驶区域的获取方法、装置和车辆。
相关技术的一种矿山道路的边界线及可行驶区域检测方法及系统，利用激光雷达，通过点云聚类和边界线拟合方法，实现对矿山道路可行驶区域的检测。相关技术存在以下问题：
(1)采用激光雷达，在粉尘、雨天等恶劣工况，会发生失效。
(2)通过检测地面、拟合道路边界线的方法输出可行驶区域，没有识别路面障碍物，准确性低。
(3)采用点云聚类、边界线拟合等传统点云处理算法来检测地面，方法鲁棒性低。
综上，本实施例的目的在于解决以上问题的至少之一。
实施例1：
如图1所示，本实施例提供了一种可行驶区域的获取方法，包括以下步骤：
步骤S102，获取周围环境的第一点云数据和第一图像数据；
步骤S104，对第一点云数据和第一图像数据进行数据处理，得到处理后的第二点云数据和第二图像数据；
步骤S106，基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息；
步骤S108，对障碍物信息和路面区域信息进行结果融合，得到融合后的障碍物信息和路面区域信息；
步骤S110，基于融合后的障碍物信息和路面区域信息，获取可行驶区域。
本实施例中，采集周围环境的第一点云数据和第一图像数据，然后对第一点云数据和第一图像数据进行数据处理，数据处理可以有效去除异常数据，保留有效数据，提高最终获取结果的准确性。
本实施例中，通过至少一个神经网络模型进行预测，得到基于第二点云数据和第二图像数据对应输出的障碍物信息和路面区域信息，然后在对障碍物信息和路面区域信息进行结果融合，通过对基于第二点云数据和第二图像数据预测得到的障碍物信息和路面区域信息进行融合，可以有效解决粉尘、雨天等恶劣工况下激光雷达失效，第二点云数据准确率低的问题。
本实施例中，通过神经网络模型可以识别路面上的障碍物，进一步提升可行驶区域检测结果的准确性，保证车辆行驶安全。
本实施例中，基于深度神经网络的方法，对点云数据进行路面分割任务，最终得到可行驶区域，方法鲁棒性好。
本实施例中，第一图像数据可以为红外摄像头采集的红外摄像头的图像数据，红外摄像头具有感知功能，能够适用粉尘、雨天等恶劣工况，提高无人驾驶系统的安全性。
实施例2：
如图2所示，本实施例提供了一种可行驶区域的获取方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：
获取周围环境的第一点云数据和第一图像数据，具体包括以下步骤：
步骤S202，获取激光雷达采集的周围环境的第一点云数据；
步骤S204，获取摄像头采集的周围环境的第一图像数据。
本实施例中，摄像头可以为红外摄像头，采用激光雷达和红外摄像头，进行矿区道路可行驶区域检测方法，可适用于矿区粉尘等恶劣工况下无人驾驶系统对车辆周围环境感知的需求，提升无人驾驶系统的鲁棒性和安全性。
本实施例中，激光雷达和红外摄像头安装在车辆上，举例而言，激光雷达可以安装在车辆顶端，也可以安装在车头前面中间位置，根据车辆具体情况进行位置选择与安装，降低施工难度，提升美观性。激光雷达的数量根据工况可以进行设定，安装多个激光雷达可以减少探测盲区，提高精度。红外摄像头可以安装在激光雷达的旁边，红外摄像头和激光雷达视角尽可能重叠，红外摄像头的数量根据工况可以进行设定，安装多个红外摄像头可以减少探测盲区，提高准确度。
实施例3：
如图3所示，本实施例提供了一种可行驶区域的获取方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：
在获取激光雷达采集的周围环境的第一点云数据之前，还包括以下步骤：
步骤S302，标定摄像头的内参；
步骤S304，标定摄像头到车身坐标系的外参；
步骤S306，标定激光雷达到车身坐标系的外参；
步骤S308，通过车身坐标系转换得到激光雷达与摄像头之间的外参。
红外摄像头与激光雷达均需要进行参数标定。
进一步地，可以通过棋盘格标定法对红外摄像头的内参进行标定，其中，标定板可以定制，需要棋盘格角点在红外图像中清晰可见，然后，标定红外摄像头到车身坐标系的外参，平移部分通过测量获取，旋转部分通过借助车道线等参照物进行标定。
进一步地，标定激光雷达到车身坐标系的外参，外参中平移部分通过测量获取，外参中的旋转部分通过求取平面法向量获取。
进一步地，将红外摄像头、激光雷达相对车身坐标系的转换都标定之后，激光雷达和红外摄像头之间的外参基于车身坐标系转换可以得到。
本实施例中，在应用激光雷达和摄像头之前，分别对其进行标定，通过标定，提高激光雷达和摄像头获取数据的准确性，进而提高得到的可行驶区域的精度。
实施例4：
如图4所示，本实施例提供了一种可行驶区域的获取方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：
对第一点云数据和第一图像数据进行数据处理，得到处理后的第二点云数据和第二图像数据，具体包括以下步骤：
步骤S402，对第一点云数据进行无效值滤除、去掉感兴趣距离范围内数值、异常值滤波和/或数据降采样，得到处理后的第二点云数据；
步骤S404，对第一图像数据进行零均值归一化和/或尺寸缩放，得到处理后的第二图像数据。
本实施例对第一点云数据的处理中，举例而言，感兴趣距离范围可以设置为本车前面100m和本车左、右各10m以内。
本实施例通过对获取的第一点云数据、第一点云数据进行数据处理，可以有效去除异常数据，保留有效数据，提高最终可行驶区域的准确性。
实施例5：
如图5所示，本实施例提供了一种可行驶区域的获取方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：
基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括以下步骤：
步骤S502，将第二点云数据、第二图像数据输入至第一神经网络模型，第一神经网络模型进行预测，输出三维障碍物信息和路面区域信息。
其中，至少一个神经网络模型包括第一神经网络模型，三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航线角和/或障碍物置信度，路面区域信息包括点云类别、路面点云索引和/或路面点云置信度。
本实施例中，将第二点云数据、第二图像数据同时输入至第一神经网络模型，第一神经网络模型同时预测输出三维障碍物信息和路面区域信息，其中，障碍物类别可以为车辆、行人和/或落石等，障碍物位置坐标可以是障碍物中心点的三维坐标，也可以是能反映障碍物位置信息的其他形式。
本实施例中的第一神经网络模型在使用之前，采集数据并人工标注后，进行模型训练，人工标注即标注出点云数据、图像数据与对应的三维障碍物信息和路面区域信息，训练好的第一神经网络模型即可根据输入进行输出结果预测。
本实施例通过神经网络模型进行障碍物信息和路面区域信息的预测，预测结果准确性高。
实施例6：
如图6所示，本实施例提供了一种可行驶区域的获取方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：
基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括以下步骤：
步骤S602，将第二点云数据、第二图像数据输入至第二神经网络模型，第二神经网络模型进行预测，输出三维障碍物信息；
步骤S604，将第二点云数据、第二图像数据输入至第三神经网络模型，第三神经网络模型进行预测，输出路面区域信息。
其中，至少一个神经网络模型包括第二神经网络模型和第三神经网络模型，三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航线角和/或障碍物置信度，路面区域信息包括点云类别、路面点云索引和/或路面点云置信度。
本实施例中，将第二点云数据、第二图像数据同时输入至两个神经网络模型，即第二神经网络模型和第三神经网络模型，第二神经网络模型预测输出三维障碍物信息，第三神经网络模型预测输出路面区域信息，其中，障碍物类别可以为车辆、行人和/或落石等，障碍物位置坐标可以是障碍物中心点的三维坐标，也可以是能反映障碍物位置信息的其他形式。
本实施例中的第二神经网络模型和第三神经网络模型在使用之前，采集并人工标注后，进行模型训练，对于第二神经网络模型训练数据的标注即标注出点云数据与对应的三维障碍物信息，对于第三神经网络模型训练数据的标注即标注出为图像数据与对应的路面区域信息，训练好的第二神经网络模型和第三神经网络模型即可根据输入进行输出结果预测。
本实施例通过神经网络模型进行障碍物信息和路面区域信息的预测，预测结果准确性高。
实施例7：
如图7所示，本实施例提供了一种可行驶区域的获取方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：
基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括以下步骤：
步骤S702，将第二点云数据输入至第四神经网络模型，第四神经网络模型进行预测，输出三维障碍物信息和路面区域信息；
步骤S704，将第二图像数据输入至第五神经网络模型，第五神经网络模型进行预测，输出二维障碍物信息和路面掩码图像，将路面掩码图像转换为路面区域信息。
其中，至少一个神经网络模型包括第四神经网络模型和第五神经网络模型，三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航线角和/或障碍物置信度，路面区域信息包括点云类别、路面点云索引和/或路面点云置信度，二维障碍物信息包括障碍物类别、障碍物像素坐标、障碍物像素尺寸、障碍物距离和/或障碍物置信度，路面掩码图像包括二值图像或概率分布图。
本实施例中，将第二点云数据输入第四神经网络模型，第四神经网络模型输出三维障碍物信息和路面区域信息，其中，障碍物类别可以为车辆、行人和/或落石等，障碍物位置坐标可以是障碍物中心点的三维坐标，也可以是能反映障碍物位置信息的其他形式。将第二图像数据输入第五神经网络模型，第五神经网络模型输出二维障碍物信息和路面掩码图像，二维障碍物信息中障碍物类别可谓车辆、行人、落石等，障碍物像素坐标可以是障碍物中心点的像素坐标，也可以是能反映障碍物位置信息的其他形式。
本实施例中的第四神经网络模型和第五神经网络模型在使用之前，采集数据并人工标注后，进行模型训练，对于第四神经网络模型训练数据的标注即标注出点云数据与对应的三维障碍物信息和路面区域信息，对于第五神经网络模型训练数据的标注即标注出图像数据与对应的二维障碍物信息和路面掩码图像，训练好的第四神经网络模型和第五神经网络模型即可根据输入进行输出结果预测。
本实施例通过神经网络模型进行障碍物信息和路面区域信息的预测，预测结果准确性高。
实施例8：
如图8所示，本实施例提供了一种可行驶区域的获取方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：
基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括以下步骤：
步骤S802，将第二点云数据输入至第六神经网络模型，第六神经网络模型进行预测，输出三维障碍物信息；
步骤S804，将第二点云数据输入至第七神经网络模型，第七神经网络模型进行预测，输出路面区域信息；
步骤S806，将第二图像数据输入至第八神经网络模型，第八神经网络模型进行预测，输出二维障碍物信息；
步骤S808，将第二图像数据输入至第九神经网络模型，第九神经网络模型进行预测，输出路面掩码图像，将路面掩码图像转换为路面区域信息。
其中，至少一个神经网络模型包括第六神经网络模型、第七神经网络模型、第八神经网络模型和第九神经网络模型，三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航线角和/或障碍物置信度，路面区域信息包括点云类别、路面点云索引和/或路面点云置信度，二维障碍物信息包括障碍物类别、障碍物像素坐标、障碍物像素尺寸、障碍物距离和/或障碍物置信度，路面掩码图像包括二值图像或概率分布图。
本实施例中，将第二点云数据输入第六神经网络模型和第七神经网络模型，第六神经网络模型输出三维障碍物信息，第七神经网络模型输出路面区域信息，其中，障碍物类别可以为车辆、行人和/或落石等，障碍物位置坐标可以是障碍物中心点的三维坐标，也可以是能反映障碍物位置信息的其他形式。将第二图像数据输入第八神经网络模型和第九神经网络模型，第八神经网络模型输出二维障碍物信息，第九神经网络模型输出路面掩码图像，二维障碍物信息中障碍物类别可谓车辆、行人、落石等，障碍物像素坐标可以是障碍物中心点的像素坐标，也可以是能反映障碍物位置信息的其他形式。
本实施例中的第六神经网络模型、第七神经网络模型、第八神经网络模型和第九神经网络模型在使用之前，采集数据并人工标注后，进行模型训练，对于第六神经网络模型训练数据的标注即标注出点云数据与对应的三维障碍物信息，对于第七神经网络模型训练数据的标注即标注出点云数据与对应的路面区域信息，对于第八神经网络模型训练数据的标注即标注出图像数据与对应的二维障碍物信息，对于第九神经网络模型训练数据的标注即标注出图像数据与对应的路面掩码图像，训练好的第六神经网络模型、第七神经网络模型、第八神经网络模型和第九神经网络模型即可根据输入进行输出结果预测。
本实施例通过神经网络模型进行障碍物信息和路面区域信息的预测，预测结果准确性高。
实施例9：
如图9所示，本实施例提供了一种可行驶区域的获取方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：
对障碍物信息和路面区域信息进行结果融合，具体包括以下步骤：
步骤S902，将基于第二点云数据，经过至少一个神经网络模型预测得出的障碍物信息和/或路面区域信息，设定为第一权重；
步骤S904，将基于第二图像数据，经过至少一个神经网络模型预测得出的障碍物信息和/或路面区域信息，设定为第二权重；
步骤S906，基于第一权重和第二权重，对全部的障碍物信息和路面区域信息进行融合，得到融合后的障碍物信息和路面区域信息。
本实施例中，基于标定好的激光雷达和红外摄像头之间的外参，可以对激光点云数据预测输出结果和红外摄像头数据预测输出结果进行匹配、关联，并且基于置信度对不同传感器输出结果进行融合。
进一步地，在正常工况下，激光点云数据、红外摄像头数据预测输出的结果置信度都比较高，此时，设定第一权重大于第二权重。
进一步地，在非正常工况下，例如粉尘、雨天等恶劣工况下，激光点云数据预测输出的结果置信度较低，红外摄像头数据预测输出的结果置信度较高，此时，设定第一权重小于第二权重。
本实施例根据工况，设置不同的权重值，对激光雷达和红外摄像头的数据进行融合，可以适应不同的环境，应用范围更广，得到的可行驶区域精度高。
实施例10：
如图10所示，本实施例提供了一种可行驶区域的获取方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：
基于融合后的障碍物信息和路面区域信息，获取可行驶区域，具体包括以下步骤：
步骤S1002，基于融合后的障碍物信息和路面区域信息，将路面点云去掉障碍物包含的点云，剩余区域为可行驶区域。
本实施例将路面点云中对应障碍物的区域去掉，得到可行驶区域，方法简单，可行性高，最终获取的结果准确性好。
实施例11：
如图11、图12所示，本实施例提供了一种可行驶区域的获取方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：
基于融合后的障碍物信息和路面区域信息，将路面点云去掉障碍物包含的点云，剩余区域为可行驶区域，具体包括以下步骤：
步骤S1102，基于融合后的障碍物信息和路面区域信息拟合可行驶区域的边界线，通过边界线表征可行驶区域；或
步骤S1202，将路面区域进行栅格划分，每个栅格设有被障碍物占据的信息，通过未被占据的栅格集合表征可行驶区域。
本实施例给出了两种可行驶区域的获取方法，可以根据实际工况进行选择，灵活度高。
实施例12：
如图13所示，本实施例提供了一种可行驶区域的获取装置100，包括：第一获取模块110、处理模块120、预测模块130、融合模块140和第二获取模块150；第一获取模块110获取周围环境的第一点云数据和第一图像数据；处理模块120对第一点云数据和第一图像数据进行数据处理，得到处理后的第二点云数据和第二图像数据；预测模块130基于第二点云数据和第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息；融合模块140对障碍物信息和路面区域信息进行结果融合，得到融合后的障碍物信息和路面区域信息；第二获取模块150基于融合后的障碍物信息和路面区域信息，获取可行驶区域。
本实施例中，第一获取模块110采集周围环境的第一点云数据和第一图像数据，处理模块120对第一点云数据和第一图像数据进行数据处理，数据处理可以有效去除异常数据，保留有效数据，提高最终获取结果的准确性。
本实施例中，预测模块130通过至少一个神经网络模型进行预测，得到基于第二点云数据和第二图像数据对应输出的障碍物信息和路面区域信息，融合模块140在对障碍物信息和路面区域信息进行结果融合，通过对基于第二点云数据和第二图像数据预测得到的障碍物信息和路面区域信息进行融合，可以有效解决粉尘、雨天等恶劣工况下激光雷达失效，第二点云数据准确率低的问题。
本实施例中，预测模块130通过神经网络模型进可以预识别路面上的障碍物，进一步提升可行驶区域检测结果的准确性，保证车辆行驶安全。
本实施例中，预测模块130基于深度神经网络，对点云数据进行路面分割任务，最终得到可行驶区域，方法鲁棒性好。
本实施例中，第一图像数据可以为红外摄像头采集的红外摄像头的图像数据，红外摄像头具有感知功能，能够适用粉尘、雨天等恶劣工况，提高无人驾驶系统的安全性。
实施例13：
如图14所示，本实施例提供了一种车辆300，包括：车体310和可行驶区域的获取装置400；可行驶区域的获取装置400位于车体310上；其中，可行驶区域的获取装置400实现上述任一实施例的可行驶区域的获取方法的步骤。
具体实施例：
为解决矿区道路可行驶区域检测任务遇到的道路非结构化、高粉尘问题，本实施例提出一种可行驶区域的获取方法(即基于激光雷达和红外摄像头的矿区场景可行驶区域检测方法)。技术方案包括：对激光雷达、红外摄像头分别进行标定，并对激光雷达和红外摄像头之间的外参进行标定；获取激光雷达扫描的环境点云数据和红外摄像头拍摄的环境图像数据；对点云数据、红外图像数据分别进行预处理；将预处理之后的点云数据、红外图像数据输入神经网络模型，输出障碍物信息、路面区域信息；根据标定的激光雷达、红外摄像头之间的外参，对激光雷达数据处理结果和红外摄像头数据处理结果进行融合，输出融合后的障碍物信息、路面区域信息；根据路面区域信息和障碍物信息，计算可行驶区域。
如图15所示，本实施例的一种可行驶区域的获取方法，采用激光雷达和红外摄像头，具体包括：
步骤S1302，传感器标定。
红外摄像头的内参标定通过棋盘格标定法完成，红外摄像头采用的标定板需要特别制作，使得棋盘格角点在红外图像中清晰可见；红外摄像头到车身坐标系的外参标定，其中平移部分可以通过测量得到，外参中的旋转部分需要借助车道线等参照物来标定。激光雷达可以标定其到车身坐标系的外参，外参中平移部分可以通过测量得到，外参中的旋转部分可以通过求取平面法向量获得。将红外摄像头、激光雷达相对车身坐标系的转换都标定之后，激光雷达和红外摄像头之间的外参就可以基于车身坐标系转换得到。
步骤S1304，获取车辆周围环境的激光点云数据和红外摄像头数据。
通过在车上安装激光雷达来获取环境点云数据，通过在车上安装红外摄像头来拍摄环境图像数据。激光雷达，可以安装在车辆顶端，也可以安装在车头前面中间位置，结合安装实施难度和美观性而定；可以只安装1个激光雷达，也可以安装多个激光雷达，一般通过安装多个激光雷达来减少探测盲区；激光雷达可以采用机械式激光雷达，也可以采用固态激光雷达，或者其他类型的激光雷达，只要能输出点云数据就行。红外摄像头，一般安装在激光雷达旁边，使红外摄像头和激光雷达视角重叠区域尽可能大；可以只安装1个红外摄像头，也可以安装多个红外摄像头，一般通过安装多个红外摄像头来减少探测盲区。
步骤S1306，数据预处理。
对激光点云数据的预处理包括滤除无效值，去掉感兴趣距离范围内的值，异常值滤波，数据降采样等处理中的一种或多种；其中，感兴趣距离范围设置的一种实施是设置本车前面100m和本车左、右各10m以内的范围为感兴趣距离范围。对红外图像数据的预处理包括零均值归一化，尺寸缩放等处理中的一种或多种。
步骤S1308，预测输出障碍物信息和路面区域信息。
障碍物检测和路面分割。将预处理之后的点云数据、红外图像数据输入到神经网络模型，预测输出障碍物信息和路面区域信息。
(1)一种实施样例是将点云数据、红外图像数据同时输入一个神经网络模型，同时预测输出3D障碍物信息、路面区域信息，如图16所示，第二点云数据和第二图像数据输入至第一神经网络模型160，第一神经网络模型160输出三维障碍物信息和路面区域信息。3D障碍物信息(三维障碍物信息)包括障碍物类别(车辆、行人、落石等)、障碍物位置坐标、障碍物尺寸、障碍物航线角、障碍物置信度等信息中的一种或者多种，其中障碍物位置坐标可以是障碍物中心点的三维坐标，也可以是能反映障碍物位置信息的其他形式。路面区域信息包括点云类别、路面点云索引、路面点云置信度等信息中的一种或者多种。
(2)一种实施样例是将点云数据、红外图像数据同时输入两个神经网络模型，一个神经网络模型预测输出3D障碍物信息，如图17所示，第二点云数据和第二图像数据同时输入至第二神经网络模型162和第三神经网络模型164，第二神经网络模型162输出三维障碍物信息，第三神经网络模型164输出路面区域信息，3D障碍物信息同(1)中障碍物信息，一个神经网络模型输出路面区域信息，路面区域信息同(1)中路面区域信息。
(3)一种实施样例是将点云数据输入一个神经网络模型，将红外图像数据输入另一个神经网络模型，如图18所示，第二点云数据输入至第四神经网络模型166，第四神经网络模型166输出三维障碍物信息和路面区域信息，第二图像数据输入至第五神经网络模型168，第五神经网络模型168输出二维障碍物信息和路面掩码图像。处理点云数据的神经网络输出3D障碍物信息和路面区域信息，3D障碍物信息同(1)中3D障碍物信息，路面区域信息同(1)中路面区域信息。处理红外摄像头数据的神经网络输出2D障碍物信息(二维障碍物信息)和路面掩码图像；2D障碍物信息包括障碍物类别(车辆、行人、落石等)、障碍物像素坐标、障碍物像素尺寸、障碍物距离、障碍物置信度等信息中的一种或者多种，其中障碍物像素坐标可以是障碍物中心点的像素坐标，也可以是能反映障碍物位置信息的其他形式；路面掩码图像的形式可以是二值图像，也可以说是概率分布图，通过红外摄像头标定参数，可以将掩码图像转换成(1)中路面区域信息。
(4)一种实施样例是将点云数据输入两个神经网络模型，将红外图像数据输入另外两个神经网络模型，如图19所示，第二点云数据输入至第六神经网络模型170，得到三维障碍物信息，第二点云数据输入至第七神经网络模型172，得到路面区域信息，第二图像数据输入至第八神经网络模型174，得到二维障碍物信息，第二图像数据输入至第九神经网络模型176，得到路面掩码图像。处理点云数据的神经网络输出3D障碍物信息和路面区域信息，3D障碍物信息同(1)中3D障碍物信息，路面区域信息同(1)中路面区域信息。处理红外摄像头数据的神经网络输出2D障碍物信息和路面掩码图像；2D障碍物信息包括障碍物类别、障碍物像素坐标、障碍物像素尺寸、障碍物置信度等信息中的一种或者多种，其中障碍物像素坐标可以是障碍物中心点的像素坐标，也可以是能反映障碍物位置信息的其他形式；路面掩码图像的形式可以是二值图像，也可以是概率分布图。
步骤S1310，激光雷达和红外摄像头感知结果融合。
基于标定好的激光雷达和红外摄像头之间的外参，可以对激光点云数据预测输出结果和红外摄像头数据预测输出结果进行匹配、关联，并且基于置信度对不同传感器输出结果进行融合。
其中，一种实施样例是正常工况下，激光点云数据、红外摄像头数据预测输出的结果置信度都比较高，此时融合会对激光雷达感知结果赋予很大的权重，最终的障碍物信息和路面信息以激光雷达感知为主。
其中，另一种实施样例是粉尘、雨天等恶劣工况下，激光点云数据预测输出的结果置信度较低，红外摄像头数据预测输出的结果置信度较高，此时融合会对红外摄像头感知结果赋予很大的权重，最终的障碍物信息和路面信息以红外摄像头感知为主。
步骤S1312，可行驶区域计算。
通过步骤S1310中输出的障碍物信息、路面信息，将路面点云去掉障碍物包含的点云，剩余区域就是可行驶区域。
其中，一种实施样例是拟合可行驶区域的边界线，作为可行驶区域的表征。
其中，另一种实施样例是将路面区域进行栅格划分，每个栅格包含是否被障碍物占据的信息比如障碍物占据概率，未被占据的栅格集合即为可行驶区域。
综上，本发明实施例的有益效果为：
1.本实施例中，第一图像数据可以为红外摄像头采集的红外摄像头的图像数据，红外摄像头具有感知功能，能够适用粉尘、雨天等恶劣工况，提高无人驾驶系统的安全性。本实施例中，采集周围环境的第一点云数据和第一图像数据，然后对第一点云数据和第一图像数据进行数据处理，数据处理可以有效去除异常数据，保留有效数据，提高最终获取结果的准确性。
2.本实施例中，通过至少一个神经网络模型进行预测，得到基于第二点云数据和第二图像数据对应输出的障碍物信息和路面区域信息，然后在对障碍物信息和路面区域信息进行结果融合，通过对基于第二点云数据和第二图像数据预测得到的障碍物信息和路面区域信息进行融合，可以有效解决粉尘、雨天等恶劣工况下激光雷达失效，第二点云数据准确率低的问题。
3.本实施例中，基于深度神经网络的方法，对点云数据进行路面分割任务，最终得到可行驶区域，方法鲁棒性好。通过神经网络模型进可以预识别路面上的障碍物，进一步提升可行驶区域检测结果的准确性，保证车辆行驶安全。
在本发明中，术语“第一”、“第二”、“第三”仅用于描述的目的，而不能理解为指示或暗示相对重要性；术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的描述中，需要理解的是，术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作，因此，不能理解为对本发明的限制。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种可行驶区域的获取方法，其特征在于，包括：
获取周围环境的第一点云数据和第一图像数据；
对所述第一点云数据和所述第一图像数据进行数据处理，得到处理后的第二点云数据和第二图像数据；
基于所述第二点云数据和所述第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息；
对所述障碍物信息和所述路面区域信息进行结果融合，得到融合后的所述障碍物信息和所述路面区域信息；
基于融合后的所述障碍物信息和所述路面区域信息，获取可行驶区域。
2.根据权利要求1所述的可行驶区域的获取方法，其特征在于，所述获取周围环境的第一点云数据和第一图像数据，具体包括：
获取激光雷达采集的周围环境的所述第一点云数据；
获取红外摄像头采集的周围环境的所述第一图像数据。
3.根据权利要求2所述的可行驶区域的获取方法，其特征在于，在所述获取激光雷达采集的周围环境的所述第一点云数据之前，还包括：
标定所述摄像头的内参；
标定所述摄像头到车身坐标系的外参；
标定所述激光雷达到所述车身坐标系的外参；
通过所述车身坐标系转换得到所述激光雷达与所述摄像头之间的外参。
4.根据权利要求1所述的可行驶区域的获取方法，其特征在于，所述对所述第一点云数据和所述第一图像数据进行数据处理，得到处理后的第二点云数据和第二图像数据，具体包括：
对所述第一点云数据进行无效值滤除、去掉感兴趣距离范围内数值、异常值滤波和/或数据降采样，得到处理后的所述第二点云数据；
对所述第二图像数据进行零均值归一化和/或尺寸缩放，得到处理后的所述第二图像数据。
5.根据权利要求1所述的可行驶区域的获取方法，其特征在于，所述基于所述第二点云数据和所述第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括：
将所述第二点云数据、所述第二图像数据输入至第一神经网络模型，所述第一神经网络模型进行预测，输出三维障碍物信息和所述路面区域信息；
其中，所述至少一个神经网络模型包括第一神经网络模型，所述三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航向角和/或障碍物置信度，所述路面区域信息包括点云类别、路面点云索引和/或路面点云置信度。
6.根据权利要求1所述的可行驶区域的获取方法，其特征在于，所述基于所述第二点云数据和所述第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括：
将所述第二点云数据、所述第二图像数据输入至第二神经网络模型，所述第二神经网络模型进行预测，输出三维障碍物信息；
将所述第二点云数据、所述第二图像数据输入至第三神经网络模型，所述第三神经网络模型进行预测，输出所述路面区域信息；
其中，所述至少一个神经网络模型包括所述第二神经网络模型和所述第三神经网络模型，所述三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航向角和/或障碍物置信度，所述路面区域信息包括点云类别、路面点云索引和/或路面点云置信度。
7.根据权利要求1所述的可行驶区域的获取方法，其特征在于，所述基于所述第二点云数据和所述第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括：
将所述第二点云数据输入至第四神经网络模型，所述第四神经网络模型进行预测，输出三维障碍物信息和所述路面区域信息；
将所述第二图像数据输入至第五神经网络模型，所述第五神经网络模型进行预测，输出二维障碍物信息和路面掩码图像，将所述路面掩码图像转换为所述路面区域信息；
其中，所述至少一个神经网络模型包括所述第四神经网络模型和所述第五神经网络模型，所述三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航向角和/或障碍物置信度，所述路面区域信息包括点云类别、路面点云索引和/或路面点云置信度，所述二维障碍物信息包括障碍物类别、障碍物像素坐标、障碍物像素尺寸、障碍物距离和/或障碍物置信度，所述路面掩码图像包括二值图像或概率分布图。
8.根据权利要求1所述的可行驶区域的获取方法，其特征在于，所述基于所述第二点云数据和所述第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，具体包括：
将所述第二点云数据输入至第六神经网络模型，所述第六神经网络模型进行预测，输出三维障碍物信息；
将所述第二点云数据输入至第七神经网络模型，所述第七神经网络模型进行预测，输出所述路面区域信息；
将所述第二图像数据输入至第八神经网络模型，所述第八神经网络模型进行预测，输出二维障碍物信息；
将所述第二图像数据输入至第九神经网络模型，所述第九神经网络模型进行预测，输出路面掩码图像，将所述路面掩码图像转换为所述路面区域信息；
其中，所述至少一个神经网络模型包括所述第六神经网络模型、所述第七神经网络模型、所述第八神经网络模型和所述第九神经网络模型，所述三维障碍物信息包括障碍物类别、障碍物位置坐标、障碍物尺寸、障碍物航向角和/或障碍物置信度，所述路面区域信息包括点云类别、路面点云索引和/或路面点云置信度，所述二维障碍物信息包括障碍物类别、障碍物像素坐标、障碍物像素尺寸、障碍物距离和/或障碍物置信度，所述路面掩码图像包括二值图像或概率分布图。
9.根据权利要求1至8中任一项所述的可行驶区域的获取方法，其特征在于，所述对所述障碍物信息和所述路面区域信息进行结果融合，具体包括：
将基于所述第二点云数据，经过所述至少一个神经网络模型预测得出的所述障碍物信息和/或所述路面区域信息，设定为第一权重；
将基于所述第二图像数据，经过所述至少一个神经网络模型预测得出的所述障碍物信息和/或所述路面区域信息，设定为第二权重；
基于所述第一权重和所述第二权重，对全部的所述障碍物信息和所述路面区域信息进行融合，得到融合后的所述障碍物信息和所述路面区域信息。
10.根据权利要求1至8中任一项所述的可行驶区域的获取方法，其特征在于，所述基于融合后的所述障碍物信息和所述路面区域信息，获取可行驶区域，具体包括：
基于融合后的所述障碍物信息和所述路面区域信息，将路面点云去掉障碍物包含的点云，剩余区域为所述可行驶区域。
11.根据权利要求10所述的可行驶区域的获取方法，其特征在于，所述基于融合后的所述障碍物信息和所述路面区域信息，将路面点云去掉障碍物包含的点云，剩余区域为所述可行驶区域，具体包括：
基于融合后的所述障碍物信息和所述路面区域信息拟合可行驶区域的边界线，通过边界线表征所述可行驶区域；或
将路面区域进行栅格划分，每个栅格设有被障碍物占据的信息，通过未被占据的栅格集合表征所述可行驶区域。
12.一种可行驶区域的获取装置(100)，其特征在于，包括：
第一获取模块(110)，所述第一获取模块(110)获取周围环境的第一点云数据和第一图像数据；
处理模块(120)，所述处理模块(120)对所述第一点云数据和所述第一图像数据进行数据处理，得到处理后的第二点云数据和第二图像数据；
预测模块(130)，所述预测模块(130)基于所述第二点云数据和所述第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息；
融合模块(140)，所述融合模块(140)对所述障碍物信息和所述路面区域信息进行结果融合，得到融合后的所述障碍物信息和所述路面区域信息；
第二获取模块(150)，所述第二获取模块(150)基于融合后的所述障碍物信息和所述路面区域信息，获取可行驶区域。
13.一种车辆(300)，其特征在于，包括：
车体(310)；
可行驶区域的获取装置(400)，所述可行驶区域的获取装置(400)位于所述车体(310)上；
其中，所述可行驶区域的获取装置(400)获取周围环境的第一点云数据和第一图像数据，对所述第一点云数据和所述第一图像数据进行数据处理，得到处理后的第二点云数据和第二图像数据，基于所述第二点云数据和所述第二图像数据，通过至少一个神经网络模型进行预测，输出障碍物信息和路面区域信息，对所述障碍物信息和所述路面区域信息进行结果融合，得到融合后的所述障碍物信息和所述路面区域信息，基于融合后的所述障碍物信息和所述路面区域信息，获取可行驶区域。
CN202110732086.7A 2021-06-29 2021-06-29 可行驶区域的获取方法、装置和车辆 Pending CN113420687A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110732086.7A CN113420687A (zh) 2021-06-29 2021-06-29 可行驶区域的获取方法、装置和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110732086.7A CN113420687A (zh) 2021-06-29 2021-06-29 可行驶区域的获取方法、装置和车辆

Publications (1)

Publication Number Publication Date
CN113420687A true CN113420687A (zh) 2021-09-21

Family

ID=77717246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110732086.7A Pending CN113420687A (zh) 2021-06-29 2021-06-29 可行驶区域的获取方法、装置和车辆

Country Status (1)

Country Link
CN (1) CN113420687A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445415A (zh) * 2021-12-14 2022-05-06 中国科学院深圳先进技术研究院 可行驶区域的分割方法以及相关装置
CN115453570A (zh) * 2022-09-13 2022-12-09 北京踏歌智行科技有限公司 一种多特征融合的矿区粉尘滤除方法
CN115469312A (zh) * 2022-09-15 2022-12-13 重庆长安汽车股份有限公司 车辆的可通行区域检测方法、装置、电子设备及存储介质
CN115877405A (zh) * 2023-01-31 2023-03-31 小米汽车科技有限公司 可行驶区域的检测方法、装置及车辆
CN116052122A (zh) * 2023-01-28 2023-05-02 广汽埃安新能源汽车股份有限公司 一种可行驶空间的检测方法、装置、电子设备及存储介质
CN116922448A (zh) * 2023-09-06 2023-10-24 湖南大学无锡智能控制研究院 用于高铁白车身转运机器人的环境感知方法、装置及系统
CN116985803A (zh) * 2023-09-26 2023-11-03 赛奎鹰智能装备(威海)有限责任公司 电动滑板车速度自适应控制系统及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100017060A1 (en) * 2008-07-18 2010-01-21 Gm Global Technology Operations, Inc. Road-edge detection
CN107256636A (zh) * 2017-06-29 2017-10-17 段晓辉 一种融合激光扫描与视频技术的交通流获取方法
CN109212555A (zh) * 2018-10-12 2019-01-15 合肥中科智驰科技有限公司 基于三维激光雷达的可通行区域检测方法
US20190056748A1 (en) * 2017-08-18 2019-02-21 Wipro Limited Method, System, and Device for Guiding Autonomous Vehicles Based on Dynamic Extraction of Road Region
CN110096059A (zh) * 2019-04-25 2019-08-06 杭州飞步科技有限公司 自动驾驶方法、装置、设备及存储介质
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN110516564A (zh) * 2019-08-06 2019-11-29 深兰科技（上海）有限公司 路面检测方法和装置
CN111353969A (zh) * 2018-12-20 2020-06-30 长沙智能驾驶研究院有限公司 道路可行驶区域的确定方法、装置及计算机设备
CN112418236A (zh) * 2020-11-24 2021-02-26 重庆邮电大学 一种基于多任务神经网络的汽车可行驶区域规划方法
CN112444258A (zh) * 2019-09-05 2021-03-05 华为技术有限公司 可行驶区域判定的方法、智能驾驶系统和智能汽车
CN112526520A (zh) * 2019-08-29 2021-03-19 中车株洲电力机车研究所有限公司 一种行人及障碍物提示系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100017060A1 (en) * 2008-07-18 2010-01-21 Gm Global Technology Operations, Inc. Road-edge detection
CN107256636A (zh) * 2017-06-29 2017-10-17 段晓辉 一种融合激光扫描与视频技术的交通流获取方法
US20190056748A1 (en) * 2017-08-18 2019-02-21 Wipro Limited Method, System, and Device for Guiding Autonomous Vehicles Based on Dynamic Extraction of Road Region
CN109212555A (zh) * 2018-10-12 2019-01-15 合肥中科智驰科技有限公司 基于三维激光雷达的可通行区域检测方法
CN111353969A (zh) * 2018-12-20 2020-06-30 长沙智能驾驶研究院有限公司 道路可行驶区域的确定方法、装置及计算机设备
CN110096059A (zh) * 2019-04-25 2019-08-06 杭州飞步科技有限公司 自动驾驶方法、装置、设备及存储介质
CN110363820A (zh) * 2019-06-28 2019-10-22 东南大学 一种基于激光雷达、图像前融合的目标检测方法
CN110516564A (zh) * 2019-08-06 2019-11-29 深兰科技（上海）有限公司 路面检测方法和装置
CN112526520A (zh) * 2019-08-29 2021-03-19 中车株洲电力机车研究所有限公司 一种行人及障碍物提示系统
CN112444258A (zh) * 2019-09-05 2021-03-05 华为技术有限公司 可行驶区域判定的方法、智能驾驶系统和智能汽车
CN112418236A (zh) * 2020-11-24 2021-02-26 重庆邮电大学 一种基于多任务神经网络的汽车可行驶区域规划方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZIYI LIU 等: "Detecting Drivable Area for Self-driving Cars:An Unsupervised Approach", 《ARXIV：1705.00451V1》 *
任国亭 等: "基于支持向量机的激光雷达可通行区域检测", 《计算机应用》 *
时公涛 等: "基于协方差矩阵的双通道SAR图像域地面慢动目标检测算法的性能对比研究", 《信号处理》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114445415A (zh) * 2021-12-14 2022-05-06 中国科学院深圳先进技术研究院 可行驶区域的分割方法以及相关装置
CN115453570A (zh) * 2022-09-13 2022-12-09 北京踏歌智行科技有限公司 一种多特征融合的矿区粉尘滤除方法
CN115469312A (zh) * 2022-09-15 2022-12-13 重庆长安汽车股份有限公司 车辆的可通行区域检测方法、装置、电子设备及存储介质
CN116052122A (zh) * 2023-01-28 2023-05-02 广汽埃安新能源汽车股份有限公司 一种可行驶空间的检测方法、装置、电子设备及存储介质
CN115877405A (zh) * 2023-01-31 2023-03-31 小米汽车科技有限公司 可行驶区域的检测方法、装置及车辆
CN116922448A (zh) * 2023-09-06 2023-10-24 湖南大学无锡智能控制研究院 用于高铁白车身转运机器人的环境感知方法、装置及系统
CN116922448B (zh) * 2023-09-06 2024-01-02 湖南大学无锡智能控制研究院 用于高铁白车身转运机器人的环境感知方法、装置及系统
CN116985803A (zh) * 2023-09-26 2023-11-03 赛奎鹰智能装备(威海)有限责任公司 电动滑板车速度自适应控制系统及方法
CN116985803B (zh) * 2023-09-26 2023-12-29 赛奎鹰智能装备(威海)有限责任公司 电动滑板车速度自适应控制系统及方法

Similar Documents

Publication Publication Date Title
CN113420687A (zh) 可行驶区域的获取方法、装置和车辆
CN114842438B (zh) 用于自动驾驶汽车的地形检测方法、系统及可读存储介质
CN111551958B (zh) 一种面向矿区无人驾驶的高精地图制作方法
CN103176185B (zh) 用于检测道路障碍物的方法及系统
CN107161141B (zh) 无人驾驶汽车系统及汽车
US9652980B2 (en) Enhanced clear path detection in the presence of traffic infrastructure indicator
Zhao et al. On-road vehicle trajectory collection and scene-based lane change analysis: Part i
US8699754B2 (en) Clear path detection through road modeling
CN111208839B (zh) 一种实时感知信息与自动驾驶地图的融合方法及系统
CN111583337A (zh) 一种基于多传感器融合的全方位障碍物检测方法
CN108073170A (zh) 用于自主车辆的自动化协同驾驶控制
CN112740225B (zh) 一种路面要素确定方法及装置
CN103413313A (zh) 基于电力机器人的双目视觉导航系统及方法
US12125269B2 (en) Sensor fusion
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN111323027A (zh) 一种基于激光雷达与环视相机融合制作高精度地图方法及装置
CN113085838A (zh) 一种基于多传感器融合的车位检测方法和系统
CN113537046A (zh) 基于检测车辆轨迹大数据的地图车道线标注方法及系统
CN111506069B (zh) 一种全天候全地面起重机障碍识别系统及方法
CN116912786A (zh) 一种基于车路协同的智能网联汽车多模态融合检测方法
CN118411517A (zh) 一种针对汇流区交通道路的数字孪生方法及装置
CN117387647A (zh) 融合车载传感器数据与道路传感器数据的道路规划方法
Tarel et al. 3d road environment modeling applied to visibility mapping: an experimental comparison
Charbonnier et al. On the diagnostic of road pathway visibility
Dai et al. Roadside Edge Sensed and Fused Three-dimensional Localization using Camera and LiDAR

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination