CN113495278A - 用于增强点云数据的方法和装置 - Google Patents

Abstract

本发明公开了用于增强点云数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：包括：获取位于相同产品上的低线雷达和能形成360度RGB图像的RGB相机所输出的低线雷达数据和相机数据；和分别基于所获取的所述低线雷达数据和所述相机数据得到低线雷达矩阵和相机矩阵，并且以通过拼接所述低线雷达矩阵与所述相机矩阵所得到的拼接矩阵为输入，结合预先训练好的语义分割算法，计算输出矩阵，从而输出点云数据得以增强的所述伪高线雷达点云数据；其中，所述伪高线雷达点云数据是相当于线数比所述低线雷达高的高线雷达的点云数据。该实施方式使得低线雷达的点云数据能够增强到与高线雷达的点云数据匹配的效果，实现了价格和性能的平衡。

Description

用于增强点云数据的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于增强点云数据的方法和装置。

背景技术

近年来，随着科技的发展的需求的增加，自动驾驶技术高速发展。为了实现自动驾驶，必须在车辆上设置能够感知周围环境从而能够实现自动驾驶的传感器。作为这种用于感知车辆的周围环境的传感器，由于激光雷达具有精度高、探测距离较远而且能够准确获取物体的三维信息且稳定性高的优点，因此激光雷达已经存在大量应用。

激光雷达能非常详细的获得一个实时的三维点云数据，包括目标的三维坐标、距离、方位角、反射激光的强度、激光编码、时间等等，常用的有单线雷达、4线雷达、16线雷达、32线雷达、64线雷达、128线雷达。激光雷达的线数越多，雷达点云越稠密，从而对于车辆周围环境的感知越精确并且感知的距离越远。

目前，考虑到成本，大多数普通车辆的自动驾驶采用的是16线雷达，然而，由于16线雷达所产生的实时点云比较稀疏，因此并不能够非常清楚地看清车辆周围环境。当然，通过采用比16线雷达更高阶的64线雷达或者128线雷达，即可以获取更加稠密的实时点云，从而能够获得更加清楚精确的车辆周围环境。然而，64线雷达或128线雷达的价格非常的昂贵，对于常规使用是不现实的。

因此，在现有技术中，存在以低成本获得可以媲美64线雷达或128线雷达的环境感测效果的需求。

发明内容

有鉴于此，本发明实施例提供一种用于增强点云数据的方法和装置，其能够实现与128线雷达基本相当的环境感测效果，但是使用成本远远低于128线雷达。

为实现上述目的，根据本发明实施例的第一方面，一种用于增强点云数据的方法，包括：获取位于相同产品上的低线雷达和能形成360度RGB图像的RGB相机所输出的低线雷达数据和相机数据；和分别基于所获取的所述低线雷达数据和所述相机数据得到低线雷达矩阵和相机矩阵，并且以通过拼接所述低线雷达矩阵与所述相机矩阵所得到的拼接矩阵为输入，结合预先训练好的语义分割算法，计算输出矩阵，从而输出点云数据得以增强的所述伪高线雷达点云数据；其中，所述伪高线雷达点云数据是相当于线数比所述低线雷达高的高线雷达的点云数据。

优选地，在所述第一方面的用于增强点云数据的方法中，在计算所述输出矩阵时，通过将强度非0的点转化为雷达点，得到并输出点云数据得以增强的所述伪高线雷达点云数据。

优选地，在所述第一方面的用于增强点云数据的方法中，还包括对RGB相机的内参标定和外参标定。

优选地，在所述第一方面的用于增强点云数据的方法中，所述相机矩阵通过利用相机内参标定对由所述RGB相机所采集到的图像进行内参校正而得到，表示为：Mrgb＝(M,N,3)，其中M,N为像素；所述低线雷达矩阵通过利用相机外参标定将由所述低线雷达所采集的数据通过三维空间坐标系变换而变换为像素坐标而得到，表示为M1＝(M,N,4)，其中，M和N为像素，并且所述拼接矩阵为所述相机矩阵Mrgb与所述低线雷达矩阵M1的拼接，表示为Mrgb1＝(M,N,7)。

优选地，在所述第一方面的用于增强点云数据的方法中，所述预先训练好的语义分割算法通过如下步骤获得：采集位于相同的采集用产品上的所述低线雷达、所述RGB相机以及所述高线雷达所输出的低线雷达数据、相机数据和高线雷达数据，得到所述拼接矩阵Mrgb1，并且还通过利用所述外参标定将所述高线雷达数据通过三维空间坐标系变换而变换为像素坐标而得到高线雷达矩阵，表示为M2＝(M,N,4)，其中，M和N为像素；以所述拼接矩阵Mrgb1为输入且高线雷达矩阵M2为输出的真值，训练所述语义分割算法。

优选地，在所述第一方面的用于增强点云数据的方法中，其特征在于，所述低线雷达和所述高线雷达选自4线雷达、8线雷达、16线雷达、32线雷达、64线雷达和128线雷达。

另外，根据本发明实施例的第二方面提供了一种用于增强点云数据的装置，包括：低线雷达；能形成360度RGB图像的RGB相机；存储单元，其存储预先训练好的语义分割算法；以及用于输出伪高线雷达点云数据的输出单元，所述伪高线雷达点云数据是相当于线数比所述低线雷达高的高线雷达的点云数据，其中，所述输出单元以通过拼接所述低线雷达的低线雷达矩阵与所述RGB相机的相机矩阵所得到的拼接矩阵为输入，结合所述预先训练好的语义分割算法，计算输出矩阵，并输出点云数据得以增强的所述伪高线雷达点云数据。

优选地，在所述第二方面的用于增强点云数据的装置中，所述输出单元在计算所述输出矩阵时，使得通过将强度非0的点转化为雷达点，输出点云数据得以增强的所述伪高线雷达点云数据。

优选地，在所述第二方面的用于增强点云数据的装置中，其特征在于，所述低线雷达和所述高线雷达选自4线雷达、8线雷达、16线雷达、32线雷达、64线雷达和128线雷达。

另外，本发明的实施例的第三方面还提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上面第一方面的方法。

另外，本发明的实施例的第四方面还提供了一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现上面第一方面的方法。

上述发明中的各方面具有如下优点或有益效果：因为能够基于例如16线雷达的低线雷达和RGB相机的结合利用预先训练好的语义分割算法来获得点云数据得以增强的例如伪128线雷达点云数据的伪高线雷达点云数据，所以能够增强低线雷达的点云数据，获得高线雷达的点云数据的效果，克服了现有技术中的低线雷达点云数据稀疏而高线雷达价格昂贵的技术问题，进而达到能够以低成本获得增强的点云数据从而提高激光雷达的性能的技术效果。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的用于增强点云数据的方法的主要流程的示意图；

图2是根据本发明实施例的拼接矩阵的步骤的流程图；

图3是根据本发明实施例的训练语义分割算法的步骤的流程图；

图4是根据本发明实施例的用于增强点云数据的装置的主要模块的示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

低线雷达例如16线雷达的点云数据稀疏，为了增强点云数据的密度从而提升激光雷达的性能，采用了本实施例中的方法和装置，其能够以低成本实现点云数据的增强，获得例如128线雷达的高线雷达的点云数据效果。

在以下说明中，低线雷达以16线雷达为例，但是也可以是4线雷达；高线雷达以128线雷达为例，但是也可以是32线雷达、64线雷达或128线雷达。需要注意的是，低线雷达和高线雷达不限于上述，只要存在雷达线束的高低之分即可，例如，也可以是低线雷达为64线雷达而高线雷达为128线雷达的情况。

图1是根据本发明实施例的用于增强点云数据的方法的主要流程的示意图，如图1所示，其主要包括两个步骤S01和S02。

在步骤S01中，获取在同一产品例如运营车辆上安装的16线雷达以及能形成360度RGB图像的RGB相机所输出的16线雷达数据和RGB相机数据；在步骤S02中，分别基于16线雷达数据和RGB相机数据得到16线雷达矩阵和RGB相机矩阵，并且以通过拼接16线雷达的16线雷达矩阵与RGB相机的相机矩阵所得到的拼接矩阵为输入，结合预先训练好的语义分割算法，计算输出矩阵，从而输出点云数据得以增强的所述伪128线雷达点云数据。

在步骤S02中提到的拼接矩阵以及语义分割算法分别在图2和图3中图示。下面，将更加详细地描述。

为了预先语义分割算法，可以预先在采集用产品例如采集车辆上安装16线雷达、128线雷达和能形成360度RGB图像的RGB相机(步骤S211)。据此，可以分别得到对应于16线雷达、128线雷达和RGB相机的16线雷达点云数据、128线雷达点云数据和RGB相机图像数据。

在此，16线雷达、128线雷达可以是市售的激光雷达，例如Velodyne公司生产的16线雷达和128线激光雷达，其能够进行360度的激光扫描，生成相对应的激光点云数据。RGB相机可以是市售的普通相机，由于RGB相机的拍摄角度一般在90-120度之间，因此为了保证RGB相机能覆盖360度，需要在采集车辆上安装多个RGB相机，使得安装拼接后的多个RGB相机能够生成360度的RGB图像。

此外，进行16线雷达，128线雷达和360度RGB图片的标定。具体，可以包括对于相机的内参标定和外参标定。通过相机的内参标定，能够进行相机数据的校正和坐标系转换；通过相机外参标定，能够进行后续步骤中的相机坐标系和雷达坐标系的转换。

在安装了16线雷达、128线雷达以及能形成360度RGB图像的RGB相机后，即能够分别采集由16线雷达、128线雷达以及RGB相机对于环境的探测数据或拍摄数据。此过程需要采集千万级别以上的数据，即千万级别以上的RGB图片的张数和点云的张数。

此后，将16线雷达的点云数据和128线雷达的点云数据均投影到RGB图像的像素坐标系，从而使得16线雷达、128线雷达和RGB相机的采集数据均处于像素坐标系并分别得到16线雷达矩阵、128线雷达矩阵和相机矩阵。

更具体地，基于之前对RGB相机的标定数据，更具体地是相机内参标定数据，能够将相机所采集得到的IMG格式的图片进行内参校正，得到与RGB相机对应的RGB相机矩阵，表示为：Mrgb＝(M,N,3)，其中M,N为像素，3是RGB相机的三个通道。换句话说，通过相机内参标定，实现相机从世界坐标系向像素坐标系转换的过程，即实现坐标系→相机坐标系→像平面坐标系→像素坐标系，经过这样的逐级转换，拍摄物体在现实空间中的坐标即转换为在图像中的像素坐标。这种转换方法可以由公知的针孔相机模型来实现。

同时，除了将RGB相机的IMG图片转换为像素坐标从而生成RGB相机矩阵Mrgb＝(M,N,3)之外(步骤S201)，还将16线雷达所采集的点云数据通过三维空间坐标系变换而变换为像素坐标，从而得到16线雷达矩阵，表示为M16＝(M,N,4)(步骤S202)；并且将128线雷达所采集的点云数据通过三维空间坐标系变换而变换为像素坐标，从而得到128线雷达矩阵，表示为M128＝(M,N,4)，其中，M和N为像素。

更具体地，雷达采集的数据为一系列的点(x,y,z,I)，其中，x,y,z为三维坐标，I为强度。将三维点云数据通过相机的外参矩阵转换到相机坐标系，然后运用针孔相机模型把相机坐标系下的三维点云投影到图像坐标系并离散化到像素坐标系。换句话说，将雷达点转换到相机坐标的过程，是一个三维空间坐标系变换的过程。雷达到相机的外参矩阵(在步骤S201中的标定步骤中得到)为一个4*4的变换矩阵M，代表了平移和旋转；用(x,y,z,I)矩阵乘M，完成雷达点转换到相机坐标的变换过程，得到(x1,y1,z1,I)，其中的x1和y1就是雷达点的3D坐标对应的图片的像素坐标。

例如，假设16线雷达或128线雷达上的一点投影到360度RGB坐标系下的(10,10)位置，则矩阵中的(10,10,0)，(10,10,1)，(10,10,2)，(10,10,3)分别是雷达点的x，y，z坐标和强度。另外，假定a,b是M16和M128中的坐标，如果(a,b)点不对应任何雷达点，则设置算式(a,b,3)＝0，代表此处没有对应雷达点。

至此，得到了RGB相机矩阵Mrgb、16线雷达矩阵M16以及128线雷达矩阵M128，并且通过拼接RGB相机矩阵Mrgb和16线雷达矩阵M16，形成两者的拼接矩阵，表示为Mrgb16＝(M,N,7)(步骤S212)。

接下来，以16线雷达矩阵M16和RBG相机的相机矩阵Mrgb的拼接Mrgb16作为输入，128线雷达矩阵M128为输出的真值，训练语义分割算法(步骤S213)。因此，得到训练好的语义分割算法。

此处所提到的语义分割是一种典型的计算机视觉问题，其涉及将一些原始数据作为输入并将它们转换为具有突出显示的感兴趣区域的掩模。在计算机视觉中，语义分割的任务是是分割图像或者点云，区分出不同的分割物。当使用语义分割时，它将图像或点云划分为语义上有意义的部分，然后在语义上将每个部分标记为预定义的类之一。识别出不同点云或图像数据内的物体。目前，语义分割的算法有多种，根本发明，可以采用任何的语义分割算法，例如，可以采用U-NET语义分割算法。

语义分割算法的输入为一个矩阵(M，N，C1)，输出也为一个矩阵(M，N，C2)，M和N不会变，C1和C2有可能不一样，表示为Out＝F(input)。不同的语义分割算法采用不同的F，最常见的F为一系列卷积操作。训练F需要提供真值GT，GT也为一个矩阵。计算Out和GT的平均误差作为Loss，并通过反向传播训练F。

因此，基于上面的已经预先训练好的语义分割算法以及所得到的拼接矩阵，能够实现由16线雷达和RGB相机来生成伪128线雷达点云数据，从而增强点云数据。

更具体地，在运营车辆上，安装16线雷达和能够得到360度拍摄数据的RGB相机从而得到对应的16线雷达数据和RGB相机数据，并且基于16线雷达数据和RGB相机数据得到16线雷达的16线雷达矩阵M16，以16线雷达的所述16线雷达矩阵M16为输入，结合在存储单元中存储的之前已经训练好的语义分割算法，输出伪128线雷达点云数据，更具体地，将所输出的输出矩阵中强度非0的点，转化为雷达点，得到伪128线雷达点云数据。

由此，在运营车辆上，只需要设置成本较低的16线雷达和RGB相机。尽管16线雷达的点云密度比较稀疏，但是，经过预先存储的已经精准地训练好了语义分割算法，因此，能够通过16线雷达和RGB相机的数据为输入结合训练好的语义分割算法既能够生成伪128线雷达点云数据，从而增强了点云数据，实现了基本匹配128线雷达的点云数据的效果。

根据本实施例的用于增强点云数据的方法，仅在采集车辆上安装昂贵的128线雷达，在运营车辆上仅使用成本较低16线雷达，并且通过与RBG相机相结合来生成伪128线雷达点云数据，从而使得16线雷达的点云数据能够增强到与128线雷达的点云数据匹配的效果，实现了价格和性能的平衡。此外，该方法并不仅限于车辆使用，也可以才其它有相同需求的产品上使用。

本发明的实施例还提供了图4所示的用于增强点云数据的装置。如图4所示，用于增强点云数据的装置200包括16线雷达201、能形成360度RGB图像的RGB相机202、能够存储训练好的语义分割算法的存储单元203以及能够计算和输出伪128线雷达点云数据的输出单元204。

16线雷达201和RBG相机202即上文提到的16线雷达与RGB相机。16线雷达201和RBG相机202安装在运营车辆上，并且能够得到两者的拼接矩阵。存储单元203安装在运营车辆上，通过图3的流程图而训练好的语义分割算法可以存储在存储单元203中。输出单元204安装在运营车辆上，以通过拼接矩阵为输入，结合存储单元203中所存储的预先训练好的语义分割算法，计算输出矩阵，并输出点云数据得以增强的所述伪128线雷达点云数据。具体，通过将强度非0的点转化为雷达点，输出点云数据得以增强的所述伪128线雷达点云数据

存储在存储单元203中的预先训练好的语义分割算法可以通过在采集车辆上设置16线雷达、RBG相机以及128线雷达并且结合图3中的流程图而得到。

根据本实施例的用于增强点云数据的装置，仅在采集车辆上安装昂贵的128线雷达，在运营车辆上仅使用成本较低16线雷达，并且通过与RBG相机相结合来生成伪128线雷达点云数据，从而使得16线雷达的点云数据能够增强到与128线雷达的点云数据匹配的效果，实现了价格和性能的平衡。

图5示出了可以应用本发明实施例的点云数据增强方法和点云数据增强装置的示例性系统架构300。

如图5所示，系统架构300可以包括终端设备301、302、303，网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备301、302、303通过网络304与服务器305交互，以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器305可以是提供各种服务的服务器，例如对用户利用终端设备301、302、303所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的点云数据增强方法一般由服务器305执行，相应地，点云数据增强装置一般设置于服务器305中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：

在产品上安装所述低线雷达以及能形成360度RGB图像的RGB相机；

以通过拼接所述低线雷达的低线雷达矩阵与所述RGB相机的相机矩阵所得到的拼接矩阵为输入，结合预先训练好的语义分割算法，计算输出矩阵，从而输出点云数据得以增强的所述伪高线雷达点云数据。

根据本发明实施例的电子设备和可读存储介质，仅在采集车辆上安装昂贵的128线雷达，在运营车辆上仅使用成本较低16线雷达，并且通过与RBG相机相结合来生成伪128线雷达点云数据，从而使得16线雷达的点云数据能够增强到与128线雷达的点云数据匹配的效果，实现了价格和性能的平衡。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (11)

1.一种用于增强点云数据的方法，其特征在于，所述方法包括：

获取位于相同产品上的低线雷达和能形成360度RGB图像的RGB相机所输出的低线雷达数据和相机数据；和

分别基于所获取的所述低线雷达数据和所述相机数据得到低线雷达矩阵和相机矩阵，并且以通过拼接所述低线雷达的低线雷达矩阵与所述RGB相机的相机矩阵所得到的拼接矩阵为输入，结合预先训练好的语义分割算法，计算输出矩阵，从而输出点云数据得以增强的所述伪高线雷达点云数据；其中，所述伪高线雷达点云数据是相当于线数比所述低线雷达高的高线雷达的点云数据。

2.根据权利要求1所述的用于增强点云数据的方法，其特征在于，

在计算所述输出矩阵时，通过将强度非0的点转化为雷达点，得到并输出点云数据得以增强的所述伪高线雷达点云数据。

3.根据权利要求1或2所述的用于增强点云数据的方法，其特征在于，

所述方法还包括对RGB相机的内参标定和外参标定。

4.根据权利要求3所述的用于增强点云数据的方法，其特征在于，

所述相机矩阵通过利用所述内参标定对由所述RGB相机所采集到的图像进行内参校正而得到，表示为：Mrgb＝(M,N,3)，其中M,N为像素；

所述低线雷达矩阵通过利用所述外参标定将由所述低线雷达所采集的数据通过三维空间坐标系变换而变换为像素坐标而得到，表示为M1＝(M,N,4)，其中，M和N为像素，并且

所述拼接矩阵通过拼接所述相机矩阵Mrgb与所述低线雷达矩阵M1而得到，表示为Mrgb1＝(M,N,7)。

5.根据权利要求4所述的用于增强点云数据的方法，其特征在于，所述预先训练好的语义分割算法通过如下步骤获得：

采集位于相同的采集用产品上的所述低线雷达、所述RGB相机以及所述高线雷达所输出的低线雷达数据、相机数据和高线雷达数据，

得到所述拼接矩阵Mrgb1，并且还通过利用所述外参标定将所述高线雷达数据通过三维空间坐标系变换而变换为像素坐标而得到高线雷达矩阵，表示为M2＝(M,N,4)，其中，M和N为像素，

以所述拼接矩阵Mrgb1为输入且高线雷达矩阵M2为输出的真值，训练所述语义分割算法。

6.根据权利要求1或2所述的用于增强点云数据的方法，其特征在于，所述低线雷达和所述高线雷达选自4线雷达、8线雷达、16线雷达、32线雷达、64线雷达和128线雷达。

7.一种用于增强点云数据的装置，其特征在于，包括：

低线雷达；

能形成360度RGB图像的RGB相机；

存储单元，其存储预先训练好的语义分割算法；以及

用于输出伪高线雷达点云数据的输出单元，所述伪高线雷达点云数据是相当于线数比所述低线雷达高的高线雷达的点云数据，

其中，所述输出单元以通过拼接所述低线雷达的低线雷达矩阵与所述RGB相机的相机矩阵所得到的拼接矩阵为输入，结合所述预先训练好的语义分割算法，计算输出矩阵，并输出点云数据得以增强的所述伪高线雷达点云数据。

8.据权利要求7所述的用于增强点云数据的装置，其特征在于，

所述输出单元在计算所述输出矩阵时，使得通过将强度非0的点转化为雷达点，输出点云数据得以增强的所述伪高线雷达点云数据。

9.根据权利要求7或8所述的用于增强点云数据的方法，其特征在于，所述低线雷达和所述高线雷达选自4线雷达、8线雷达、16线雷达、32线雷达、64线雷达和128线雷达。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。

Images