CN110378174A

CN110378174A - 道路线提取方法和装置

Info

Publication number: CN110378174A
Application number: CN201810909428.6A
Authority: CN
Inventors: 刘冬冬; 赫桂望
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Jingdong Shangke Information Technology Co Ltd
Current assignee: Beijing Jingdong three hundred and sixty degree e-commerce Co.,Ltd.
Priority date: 2018-08-10
Filing date: 2018-08-10
Publication date: 2019-10-25

Abstract

本发明公开了一种道路线提取方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：融合图像数据和点云数据，获得彩色点云数据；基于所述彩色点云数据，生成具有多个维度的二维特征图像；基于预设的道路线语义分割模型，提取所述二维特征图像上的道路线，以识别道路。该实施方式能够提取完整的道路信息，提高了准确率，提取方式稳健，适用复杂的道路场景，适用范围广。

Description

道路线提取方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种道路线提取方法和装置。

背景技术

近年来，以车辆为搭载平台集成GPS、激光扫描仪和相机等多种传感器。在传感器同步控制的基础上，能获取城市街道的三维点云数据和图像纹理信息，为道路信息快速获取、更新及三维道路环境自动提取开辟了新途径。

目前，道路提取的方法大多是从不同的单一数据源中分析道路特征，并制定不同规则来提取道路线。例如以下几种方法：(1)基于规则的方法分析道路特征，直接从3维点云中提取道路线；(2)将3维点云转换为2维图像，从图像上基于规则提取道路线；(3)基于视觉多特征的方法，直接从图像中提取道路线。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

(1)数据源单一，不同数据源所表达特征信息不同，基于特定规则不能提取完整的道路信息；

(2)基于特征规划的方式提取道路线，受到不同场景复杂度和相似特征影响，提取方式不稳健，效果较差。

发明内容

有鉴于此，本发明实施例提供一种道路线提取方法和装置，能够提取完整的道路信息，提高了准确率，提取方式稳健，适用复杂的道路场景，适用范围广。

为实现上述目的，根据本发明实施例的一个方面，提供了一种道路线提取方法，包括：融合图像数据和点云数据，获得彩色点云数据；基于所述彩色点云数据，生成具有多个维度的二维特征图像；基于预设的道路线语义分割模型，提取所述二维特征图像上的道路线，以识别道路。

可选地，融合图像数据和点云数据，获得彩色点云数据包括：根据相机传感器与激光雷达之间的外参数，将同一时刻下的点云数据投影到图像上，以确定与点云数据对应的像素位置；确定与点云数据对应的像素位置的颜色信息；融合点云数据和与该点云数据对应的像素位置的颜色信息，获得彩色点云数据。

可选地，基于所述彩色点云数据，生成具有多个维度的二维特征图像包括：计算点云密度，确定平均点间距；将所述平均点间距作为空间尺度，创建二维网格，以将所述彩色点云数据投影到所述二维网格中；基于落入每个网格内的所有彩色点云，确定每个网格所代表的多个维度的特征，以生成具有多个维度的二维特征图像。

可选地，基于落入每个网格内的所有彩色点云，确定每个网格所代表的多个维度的特征包括：对于每一网格，确定落入所述网格内的所有彩色点云的特征信息，其中，所述特征信息包括颜色信息、强度信息、高度信息和梯度信息；分别确定所述颜色信息，强度信息、高度信息和梯度信息的平均值；将颜色信息的平均值作为所述网格所代表的颜色特征、将所述强度信息的平均值作为所述网格所代表的强度特征、将所述高度信息的平均值作为所述网格所代表的高度特征以及将所述梯度信息的平均值作为所述网格所代表的梯度特征，以确定每个网格所代表的多个维度的特征。

可选地，确定落入所述网格内的所有彩色点云的特征信息包括：确定落入所述网格内的所有彩色点云的高度信息；将所述高度信息做Sobel算子卷积计算，获得梯度信息。

可选地，所述预设的道路线语义分割模型根据如下过程获得：人工标注预设的二维特征图像上的道路线，获得标注样本特征图像；基于所述标注样本特征图像和卷积神经网络，训练图像语义分割模型；对所述图像语义分割模型进行优化，将优化后的图像语义分割模型作为预设的道路线语义分割模型。

为实现上述目的，根据本发明实施例的另一方面，提供了一种道路线提取装置，包括：融合模块，用于融合图像数据和点云数据，获得彩色点云数据；特征图像生成模块，用于基于所述彩色点云数据，生成具有多个维度的二维特征图像；道路线提取模块，用于基于预设的道路线语义分割模型，提取所述二维特征图像上的道路线。

可选地，所述融合模块还用于：根据相机传感器与激光雷达之间的外参数，将同一时刻下的点云数据投影到图像上，以确定与点云数据对应的像素位置；确定与点云数据对应的像素位置的颜色信息；融合点云数据和与该点云数据对应的像素位置的颜色信息，获得彩色点云数据。

可选地，所述特征图像生成模块还用于：计算所述彩色点云密度，确定平均点间距；将所述平均点间距作为空间尺度，创建二维网格，以将所述彩色点云数据投影到所述二维网格中；基于落入每个网格内的所有彩色点云，确定每个网格所代表的多个维度的特征，以生成具有多个维度的二维特征图像。

可选地，所述特征图像生成模块还用于：对于每一网格，确定落入所述网格内的所有彩色点云的特征信息其中，所述特征信息包括颜色信息、强度信息、高度信息和梯度信息；分别确定所述颜色信息，强度信息、高度信息和梯度信息的平均值；将颜色信息的平均值作为所述网格所代表的颜色特征、将所述强度信息的平均值作为所述网格所代表的强度特征、将所述高度信息的平均值作为所述网格所代表的高度特征以及将所述梯度信息的平均值作为所述网格所代表的梯度特征，以确定每个网格所代表的多个维度的特征。

可选地，所述特征图像生成模块还用于：确定落入所述网格内的所有彩色点云的高度信息；将所述高度信息做Sobel算子卷积计算，获得梯度信息。

可选地，所述装置还包括分割模型训练模块，用于：人工标注预设的二维特征图像上的道路线，获得标注样本特征图像；基于所述标注样本特征图像和卷积神经网络，训练图像语义分割模型；对所述图像语义分割模型进行优化，将优化后的图像语义分割模型作为预设的道路线语义分割模型。

为实现上述目的，根据本发明实施例的再一方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例的道路线提取方法。

为实现上述目的，根据本发明实施例的又一方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明实施例的道路线提取方法。

上述发明中的一个实施例具有如下优点或有益效果：因为采用融合图像数据和点云数据，生成彩色点云数据；将彩色点云数据生成多个维度的特征图像；基于道路线语义分割提取道路线的技术手段，所以能够提取完整的道路信息，提高了准确率，提取方式稳健，适用复杂的道路场景，适用范围广。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的道路线提取方法的主要流程的示意图；

图2是本发明实施例的道路线提取方法中的生成彩色点云数据的主要流程的示意图；

图3是本发明实施例的道路线提取方法中的生成二维特征图像的主要流程的示意图；

图4是本发明实施例的道路线提取方法中的训练道路线语义分割模型的主要流程的示意图；

图5是根据本发明实施例的道路线提取装置的主要模块的示意图；

图6是本发明实施例可以应用于其中的示例性系统架构图；

图7是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的道路线提取方法的主要流程的示意图，如图1所示，该方法包括：

步骤S101：融合图像数据和点云数据，获得彩色点云数据；

步骤S102：基于所述彩色点云数据，生成具有多个维度的二维特征图像；

步骤S103：基于预设的道路线语义分割模型，提取所述二维特征图像上的道路线，以识别道路。

本发明实施例的道路线提取方法可以应用于车载扫描系统中，在车载扫描系统中集成多种传感器如激光雷达(Lidar)和相机传感器等，可同时获取多种数据源如图像和激光点云等，其中，激光点云也称为点云，是利用激光雷达在同一空间参考系下获取物体表面每个采样点的空间坐标，得到的是一系列表达目标空间分布和目标表面特性的海量点的集合，这个点集合就称之为点云。根据激光测量原理得到的点云包括三维坐标和激光反射强度。

对于步骤S101，可以通过硬件同步触发装置同步触发相机传感器和激光雷达，并记录每个图像所对应的单帧或多帧雷达坐标下的点云数据，然后融合同一时刻下的图像和点云数据，获得彩色点云数据。

具体的，如图2所示，可以根据如下过程融合同一时刻下的图像和点云数据：

根据相机传感器与激光雷达之间的外参数，将同一时刻下的点云数据投影到图像上，以确定与点云数据对应的像素位置；

确定与点云数据对应的像素位置的颜色信息；

融合点云数据和与该点云数据对应的像素位置的颜色信息，获得彩色点云数据。

在融合同一时刻下的图像和点云数据之前，需要标定相机传感器和激光雷达之间的外参数。相机传感器与激光雷达之间的外参数为雷达坐标系与相机坐标系之间的相对变换关系，即坐标旋转矩阵和平移矩阵。标定外参数的过程实质上是求解雷达坐标系与相机坐标系之间的相对变换关系，即坐标旋转矩阵和平移矩阵。作为具体的示例，标定的过程可以如下：建立一个简易标定场(一块刚性的标定板)，将车载扫描系统在标定板周围密集拍摄十几张图像，同时获得相对应的点云数据，分别寻找标定板在图像和点云数据中的位置，计算相机坐标系下和雷达坐标系下的标定板的平面方程，求解约束方程获取相机坐标系与雷达坐标系之间的相对变换关系，即外参数。该外参数包含位置和姿态等6自由度参数。姿态是指欧拉角，即Roll(横摆角，可以用R表示)、Pitch(俯仰角，可以用P表示)和Yaw(航向角，可以用Y表示)。位置是指XYZ坐标。

然后，依据时间同步信息，获取雷达坐标系下单帧或多帧点云数据所对应的图像数据。

依据相机传感器与激光雷达之间的外参数，将同一时刻雷达坐标系下的点云数据投影到相机坐标系下的图像上，计算图像上对应的像素位置。

从图像上对应的像素位置，获取RGB颜色信息。融合相对应的RGB颜色信息和点云数据，生成彩色点云数据。其中，RGB颜色信息包括RGB值。RGB色彩模式(red、green、blue，红绿蓝)是工业界的一种颜色标准，是通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。

作为具体的示例，可以根据下式(1)将同一时刻下的点云数据投影到图像上：

其中，

表示雷达坐标系下t时刻点坐标；表示变换到相机坐标系下点坐标，即像素位置；表示由外参数欧拉角Roll、Pitch和Yaw生成的旋转矩阵；表示外参数偏移量。

对于步骤S102，如图3所示，可以根据如下过程生成具有多个维度的二维特征图像：

计算点云密度，确定平均点间距；

将所述平均点间距作为空间尺度，创建二维网格，以将所述彩色点云数据投影到所述二维网格中；

基于落入每个网格内的所有彩色点云，确定每个网格所代表的多个维度的特征，以生成具有多个维度的二维特征图像。

具体的，可以将彩色点云数据投影到等间距格网组成的平面上，确定被投影格网的个数，根据单个格网的面积确定点云数据所覆盖的平面的面积，由该面积和点的个数确定点云密度。平均点间距是指点与点之间的平均距离，根据点云密度确定。更具体的，如下式(2)所示：

其中，d表示平均点间距，s表示点云密度。

作为具体的示例，假设彩色点云数据中共包含4×10⁴个点，彩色点云数据所覆盖的平面面积为4㎡，则点云密度为1×10⁴/㎡，平均点间距为0.01m。

在确定平均点间距之后，将平均点间距作为空间尺度，创建二维网格，其中，二维网格是将彩色点云数据所表达的范围划分为空间二维网格。将彩色点云数据投影到二维网格中，创建数据结构以记录落入每个网格的点的索引信息(例如索引号)。具体的，可以使用链表记录。根据记录的索引信息可以快速查询海量点云数据，提升处理效率。在其他可选实施例中，依据平均点间距创建二维格网索引，二维格网索引既是将彩色点云数据所表达的范围划分为空间二维网格，又记录着落入每个格网中的点云索引。

然后，将创建的二维格网转换为二维特征图像，即将每个网格看作是一个图像像素，将二维格网虚拟化为特征图像。每个网格所代表的像素值，由落入网格内的所有彩色点云所表达的特征信息计算，即每个网格所代表的多个维度的特征由落入网格内所有的彩色点云所表达的特征信息计算，其中，彩色点云所表达的特征信息包括RGB颜色信息、强度信息、高度信息和梯度信息，RGB颜色信息在步骤S101中获取了，点云数据的属性包括强度信息和高度信息，根据高度信息可以计算得到梯度信息。具体的，将高度信息做Sobel算子卷积计算，获得梯度信息。因此，可以根据落入网格的所有彩色点云的RGB颜色信息生成RGB颜色特征图，可以根据落入网格的所有彩色点云的强度信息生成强度特征图，可以根据落入网格的所有彩色点云的高度信息生成高度特征图，可以根据落入网格的所有彩色点云的梯度信息生成梯度特征图或由高度特征图做Sobel算子卷积计算获得梯度特征图。RGB颜色特征图、强度特征图、高度特征图和梯度特征图构成多个维度的二维特征图像。更具体的，将所述RGB颜色信息的平均值作为所述网格所代表的颜色特征、将所述强度信息的平均值作为所述网格所代表的强度特征、将所述高度信息的平均值作为所述网格所代表的高度特征以及将所述梯度信息的平均值作为所述网格所代表的梯度特征，以确定每个网格所代表的多个维度的特征。

其中，Sobel算子是像素图像边缘检测中最重要的算子之一，在机器学习、数字媒体、计算机视觉等信息科技领域起着举足轻重的作用。在技术上，它是一个离散的一阶差分算子，用来计算图像亮度函数的一阶梯度之近似值。在图像的任何一点使用此算子，将会产生该点对应的梯度矢量或是其法矢量。可以根据如下公式计算梯度特征图或梯度信息：

A表示高度特征图或高度信息，Gx表示x方向梯度算子，Gy表示y方向梯度算子，G表示梯度特征图或梯度信息。

对于步骤S103，如图4所示，可以根据如下过程获得预设的道路线语义分割模型：

人工标注预设的二维特征图像上的道路线，获得标注样本特征图像；

基于所述标注样本特征图像和卷积神经网络，训练图像语义分割模型；

对所述图像语义分割模型进行优化，将优化后的图像语义分割模型作为预设的道路线语义分割模型。

在本实施例中，可以针对不同场景的彩色点云数据，利用训练的图像语义分割模型提取道路线，将提取结果进行人工修正，将人工修正的道路线结果继续加入道路线模型中，进行模型优化，最终优化后的图像语义分割模型作为预设的道路线语义分割模型。

本发明实施例的道路线提取方法，融合图像数据和点云数据，生成彩色点云数据；将彩色点云数据生成多个维度的特征图像；基于道路线语义分割提取道路线，能够提取完整的道路信息，提高了准确率，提取方式稳健，适用复杂的道路场景，适用范围广。

图5是根据本发明实施例的道路线提取装置500的主要模块的示意图，如图5所示，该装置500包括：

融合模块501，用于融合图像数据和点云数据，获得彩色点云数据；

特征图像生成模块502，用于基于所述彩色点云数据，生成具有多个维度的二维特征图像；

道路线提取模块503，用于基于预设的道路线语义分割模型，提取所述二维特征图像上的道路线。

可选地，所述融合模块501还用于：

确定与点云数据对应的像素位置的颜色信息；

可选地，所述特征图像生成模块502还用于：

计算点云密度，确定平均点间距；

可选地，所述特征图像生成模块502还用于：

对于每一网格，确定落入所述网格内的所有彩色点云的特征信息其中，所述特征信息包括颜色信息，强度信息、高度信息和梯度信息；

分别确定所述颜色信息、强度信息、高度信息和梯度信息的平均值；

将颜色信息的平均值作为所述网格所代表的颜色特征、将所述强度信息的平均值作为所述网格所代表的强度特征、将所述高度信息的平均值作为所述网格所代表的高度特征以及将所述梯度信息的平均值作为所述网格所代表的梯度特征，以确定每个网格所代表的多个维度的特征。

可选地，所述特征图像生成模块502还用于：

确定落入所述网格内的所有彩色点云的高度信息；

将所述高度信息做Sobel算子卷积计算，获得梯度信息。

可选地，所述装置500还包括分割模型训练模块，用于：

本发明实施例的道路线提取装置，融合图像数据和点云数据，生成彩色点云数据；将彩色点云数据生成多个维度的特征图像；基于道路线语义分割提取道路线，能够提取完整的道路信息，提高了准确率，提取方式稳健，适用范围广。

上述装置可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

图6示出了可以应用本发明实施例的道路线提取方法或道路线提取装置的示例性系统架构600。

如图6所示，系统架构600可以包括终端设备601、602、603，网络604和服务器605。网络604用以在终端设备601、602、603和服务器605之间提供通信链路的介质。网络604可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备601、602、603通过网络604与服务器605交互，以接收或发送消息等。终端设备601、602、603上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备601、602、603可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器605可以是提供各种服务的服务器，例如对用户利用终端设备601、602、603所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息)反馈给终端设备。

需要说明的是，本发明实施例所提供的道路线提取方法一般由服务器605执行，相应地，道路线提取装置一般设置于服务器605中。

应该理解，图6中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图7，其示出了适于用来实现本发明实施例的终端设备的计算机系统700的结构示意图。图7示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

融合图像数据和点云数据，获得彩色点云数据；

基于所述彩色点云数据，生成具有多个维度的二维特征图像；

基于预设的道路线语义分割模型，提取所述二维特征图像上的道路线，以识别道路。

本发明实施例的技术方案，融合图像数据和点云数据，生成彩色点云数据；将彩色点云数据生成多个维度的特征图像；基于道路线语义分割提取道路线，能够提取完整的道路信息，提高了准确率，提取方式稳健，适用范围广。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims

1.一种道路线提取方法，其特征在于，包括：

融合图像数据和点云数据，获得彩色点云数据；

基于预设的道路线语义分割模型，提取所述二维特征图像上的道路线。

2.根据权利要求1所述的方法，其特征在于，融合图像数据和点云数据，获得彩色点云数据包括：

确定与点云数据对应的像素位置的颜色信息；

3.根据权利要求1所述的方法，其特征在于，基于所述彩色点云数据，生成具有多个维度的二维特征图像包括：

计算点云密度，确定平均点间距；

4.根据权利要求3所述的方法，其特征在于，基于落入每个网格内的所有彩色点云，确定每个网格所代表的多个维度的特征包括：

对于每一网格，确定落入所述网格内的所有彩色点云的特征信息，其中，所述特征信息包括颜色信息，强度信息、高度信息和梯度信息；

5.根据权利要求4所述的方法，其特征在于，确定落入所述网格内的所有彩色点云的特征信息包括：

确定落入所述网格内的所有彩色点云的高度信息；

将所述高度信息做Sobel算子卷积计算，获得梯度信息。

6.根据权利要求1所述的方法，其特征在于，所述预设的道路线语义分割模型根据如下过程获得：

7.一种道路线提取装置，其特征在于，包括：

融合模块，用于融合图像数据和点云数据，获得彩色点云数据；

特征图像生成模块，用于基于所述彩色点云数据，生成具有多个维度的二维特征图像；

道路线提取模块，用于基于预设的道路线语义分割模型，提取所述二维特征图像上的道路线。

8.根据权利要求7所述的装置，其特征在于，融合图像数据和点云数据所述融合模块还用于：

确定与点云数据对应的像素位置的颜色信息；

9.根据权利要求7所述的装置，其特征在于，所述特征图像生成模块还用于：

计算点云密度，确定平均点间距；

10.根据权利要求9所述的装置，其特征在于，所述特征图像生成模块还用于：

11.根据权利要求10所述的装置，其特征在于，所述特征图像生成模块还用于：

确定落入所述网格内的所有彩色点云的高度信息；

将所述高度信息做Sobel算子卷积计算，获得梯度信息。

12.根据权利要求7所述的装置，其特征在于，所述装置还包括分割模型训练模块，用于：

13.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。