CN113610143B - 一种点云噪点的分类方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种点云噪点的分类方法、装置、设备及存储介质，该方法包括：获取激光雷达采集的原始点云数据，原始点云数据包括多个类别的噪点；按照噪点的属性从原始点云数据中提取目标点云数据；将目标点云数据转换为目标特征图；将目标特征图输入预设的特征分类模型中，得到不同类别下的噪点。由粗到精的特征提取方式能保证噪点尽可能的落入特征提取的范围、不遗漏噪点，还能在利用点云特征精细化转化为特征图的过程中缩小后续对噪点进行分类分割的搜索范围，将目标点云数据转换为目标特征图可以进一步提高对每个点的特征进行提取的精度，再利用特征分类模型对目标特征图按照特征的类别进行分类，能更精细化的确定不同类别下的噪点。

Description

一种点云噪点的分类方法、装置、设备及存储介质

技术领域

本发明实施例涉及点云分类技术，尤其涉及一种点云噪点的分类方法、装置、设备及存储介质。

背景技术

在自动驾驶领域，激光雷达传感器作为无人驾驶系统中用于获取外界环境信息的主要设备，激光雷达所采集的点云数据是无人驾驶系统较为依赖的传感数据来源。

但是，由于激光雷达容易受到多种机制影响，其采集的点云数据中往往包含较多的噪点，这些噪点容易干扰系统对环境的检测，易造成误检或形状估计错误，影响行车安全。再者，噪点的出现机制较复杂，目前通用的点云分割方法无法针对噪点产生的特殊机制进行系统分析，缺乏对噪点进行针对性的分类和去除，去噪效果不佳。

发明内容

本发明提供一种点云噪点的分类方法、装置、设备及存储介质，能够解决现有技术无法对点云数据中的噪点进行精确分类、去噪效果不佳的技术问题。

第一方面，本发明实施例提供了一种点云噪点的分类方法，所述方法包括：

获取激光雷达采集的原始点云数据，所述原始点云数据包括多个类别的噪点；

按照所述噪点的属性从所述原始点云数据中提取目标点云数据；

将所述目标点云数据转换为目标特征图；

将所述目标特征图输入预设的特征分类模型中，得到不同所述类别下的噪点。

第二方面，本发明实施例还提供了一种点云噪点的分类装置，所述装置包括：

数据获取模块，用于获取激光雷达采集的原始点云数据，所述原始点云数据包括多个类别的噪点；

数据提取模块，用于按照所述噪点的属性从所述原始点云数据中提取目标点云数据；

特征转换模块，用于将所述目标点云数据转换为目标特征图；

噪点分类模块，用于将所述目标特征图输入预设的特征分类模型中，得到不同所述类别下的噪点。

第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的点云噪点的分类方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的点云噪点的分类方法。

本发明通过获取激光雷达采集的原始点云数据，原始点云数据包括多个类别的噪点；按照噪点的属性从原始点云数据中提取目标点云数据；将目标点云数据转换为目标特征图；将目标特征图输入预设的特征分类模型中，得到不同类别下的噪点。上述技术方案能够解决现有技术无法对点云数据中的噪点进行精确分类、去噪效果不佳的技术问题；按照噪点的属性从原始点云数据中提取目标点云数据，可以粗略的将原始点云数据按照噪点的特性进行分类和重组，再将目标点云数据转换为目标特征图，可以将已经包含在目标点云数据中的噪点特性更为精确的映射到目标特征图中，使得目标特征图可以包含更为细化的噪点特征，由粗到精的特征提取方式既能保证噪点尽可能的落入特征提取的范围、不遗漏噪点，又能够在利用点云特征精细化转化为特征图的过程中缩小后续对噪点按照特征进行分类分割的搜索范围，将目标点云数据转换为目标特征图可以进一步提高对每个点的特征进行提取的精度，再利用特征分类模型对目标特征图按照特征的类别进行分类，能更精细化的确定不同类别下的噪点。

附图说明

图1为本发明实施例提供的无人驾驶车辆的结构示意图；

图2为本发明实施例一提供的一种点云噪点的分类方法的流程图；

图3为本发明实施例二提供的一种点云噪点的分类方法的流程图；

图4为本发明实施例二提供的一种对点云数据进行特征提取的结构示意图；

图5为本发明实施例二提供的一种特征分类模型的结构示意图；

图6为本发明实施例三提供的一种点云噪点的分类装置的结构示意图；

图7为本发明实施例四提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

参见图1，示出了可以应用本发明实施例中点云噪点的分类方法、点云噪点的分类装置的实施例的无人驾驶车辆100。

如图1所示，无人驾驶车辆100可以包括驾驶控制设备101，车身总线102，ECU(Electronic Control Unit，电子控制单元)103、ECU 104、ECU 105，传感器106、传感器107、传感器108和执行器件109、执行器件110、执行器件111。

驾驶控制设备(又称为车载大脑)101负责整个无人驾驶车辆100的总体智能控制。驾驶控制设备101可以是单独设置的控制器，例如可编程逻辑控制器(ProgrammableLogicController，PLC)、单片机、工业控制机等；也可以是由其他具有输入/输出端口，并具有运算控制功能的电子器件组成的设备；还可以是安装有车辆驾驶控制类应用的计算机设备。驾驶控制设备可以对从车身总线102上接收到的各个ECU发来的数据和/或各个传感器发来的数据进行分析处理，作出相应的决策，并将决策对应的指令发送到车身总线。

车身总线102可以是用于连接驾驶控制设备101，ECU 103、ECU 104、ECU105，传感器106、传感器107、传感器108以及无人驾驶车辆100的其他未示出的设备的总线。由于CAN(Controller AreaNetwork，控制器局域网络)总线的高性能和可靠性已被广泛认同，因此目前机动车中常用的车身总线为CAN总线。当然，可以理解的是车身总线也可以是其他类型的总线。

车身总线102可以将驾驶控制设备101发出的指令发送给ECU 103、ECU 104、ECU105，ECU 103、ECU 104、ECU 105再将上述指令进行分析处理后发给相应的执行器件执行。

传感器106、传感器107、传感器108包括但不限于激光雷达、相机，等等。

需要说明的是，本发明实施例所提供的点云噪点的分类方法可以由驾驶控制设备101执行，相应地，点云噪点的分类装置一般设置于驾驶控制设备101中。

应该理解，图1中的无人驾驶车辆、驾驶控制设备、车身总线、ECU、执行器件和传感器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的无人驾驶车辆、驾驶控制设备、车身总线、ECU和传感器。

实施例一

图2为本发明实施例一提供的一种点云噪点的分类方法的流程图，本实施例可适用于对点云中的噪点进行分类的情况，该方法可以由点云噪点的分类装置来执行，该点云噪点的分类装置可以由软件和/或硬件实现，可配置在计算机设备中，例如，无人驾驶车辆、机器人、无人飞行器等无人设备，以及，服务器、个人电脑等计算设备，等等，该方法具体包括如下步骤：

S110、获取激光雷达采集的原始点云数据。

激光雷达作为无人驾驶领域常用的传感器，是一种使用激光对物体进行探测和测距的设备，其传感器内部具有一种旋转结构，能够每秒钟向环境发送数百万光脉冲，输出点云数据。

本实施例中的原始点云数据是指由激光雷达对周围环境进行检测而生成的原始的点云数据，可以理解为激光雷达发出的信号照射到物体表面时，物体所反射的携带方位、距离等信息的反射信号；原始点云数据的计量单位可以以帧来计量，每帧原始点云数据可以包括物体反射表面多个点在某一时刻在激光雷达坐标系下的空间位置信息和与物体材质相关的多个点的反射强度信息，该空间位置信息可以用坐标表示，该反射强度信息可以用反射率表示。本实施例中的原始点云数据可以为单帧原始点云数据，也可以为多帧原始点云数据，本实施例对原始点云数据的具体帧数不作限定，视实际应用情况而定。

由于激光雷达在实际应用中容易受到多种机制的影响，例如天气的变化、环境中路面的变化、障碍物材质的变化等，导致其采集的原始点云数据中往往包含较多的噪点，且这些噪点因为成因不同、会存在多种类别，即本实施例中的原始点云数据包括多个类别的噪点。

S120、按照噪点的属性从原始点云数据中提取目标点云数据。

由于原始点云数据中包括多个类别的噪点，则可以按照不同类别的噪点的成因机制确定噪点的属性，再按照噪点的属性从原始点云数据中提取有助于识别、区分不同类型噪点的点云数据作为目标点云数据。基于噪点的成因机制，可以确定噪点的属性包括但不限于点云中每个点的反射率、点云中每个点的空间位置、点云中邻域点之间的距离，等等，本实施例对此不做具体限定。

S130、将目标点云数据转换为目标特征图。

在本实施例的一个示例中，基于噪点的属性确定目标点云数据之后，可以通过神经网络学习的方式将目标点云数据转换为目标特征图，在具体实现中，可以通过获取包含噪点属性的点云样本数据，利用点云样本数据训练预设的神经网络，将训练完成的神经网络对目标点云数据进行特征提取，生成目标特征图，该目标特征图包括噪点的属性信息。在另一个示例中，还可以通过对目标点云数据按照点云的空间位置、反射率等特征进行不同类别下的特征提取，将所提取的特征映射为像素点，将所有的像素点汇聚生成目标特征图。在又一个示例中，可以从俯视角度将目标点云数据中的点转化为一个个柱体(Pillar)，利用包含点的柱体构成伪图片数据，采用二维卷积的方式对伪图片数据提取目标候选区域，确定每个目标候选区域中的点云特征，生成目标特征图。本实施例对将目标点云数据转换为目标特征图的具体实现过程不作限定。

S140、将目标特征图输入预设的特征分类模型中，得到不同类别下的噪点。本实施例中，预设的特征分类模型是指用于对包含有噪点属性的目标特征图进行特征提取、按照特征进行噪点分类的模型，该模型可以基于一些常用的神经网络训练得到，也可以通过对一些常用的神经网络进行改进、对改进后的网络进行训练得到，本实施例对此不作限定。例如，该特征分类模型可以选择卷积神经网络CNN(Convolutional Neural Networks)、循环神经网络RNN(Recurrent Neural Network)、区域卷积神经网络R-CNN(Region with CNNFeature)、Faster R-CNN(Faster Region with CNN Feature)等模型的任意一个模型进行改进和训练得到，本实施例对此不作限定。

在一种实现方式中，在确定目标特征图之后，可以利用目标特征图中所包含的噪点的属性信息制作用于训练特征分类模型的样本集，通过样本集对特征分类模型进行训练，训练特征分类模型对样本集中标注的噪点的属性信息进行精确提取和分类的能力，直到特征分类模型满足预设的模型收敛条件，则确定特征分类模型训练完成，此时将目标特征图输入预设的特征分类模型中，可以得到不同类别下的噪点。

在一个示例中，当安装有激光雷达的无人驾驶车在行驶环境中遭遇洒水车或路边喷水时，在道路湿滑或脏污的情况下，运动车辆轮胎卷起的水或粉尘，均容易导致车载中的激光雷达探测环境信息时对没有真实障碍物的地方也生成点云数据，即产生一种类型的噪点，为了便于描述，在本实施例中将该类型的噪点称为第一类噪点。通过分析可知，第一类噪点的特点在于反射率较低，且形貌在短时间内有较显著的变化，和真实障碍物稳定的形貌有所区别。因此，确定第一类噪点的属性为反射率低、且在短时间内表征的形貌有显著变化，则可以参考以下步骤来识别原始点云数据中的第一类噪点：首先，按照原始点云数据中每个点的反射率的高低数值，将反射率低于预设的阈值的点从原始点云数据中提取出来作为第一类目标点云数据；针对多帧原始点云数据均能分别提取得到与第一类噪点的属性对应的多帧第一类目标点云数据；其次，将获取到的多帧第一类目标点云数据按照同一时间点进行坐标对齐，例如，以某一帧第一类目标点云数据的坐标系为基础坐标系，将其他帧第一类目标点云数据均转换到该基础坐标系下，完成不同时刻下得到的多帧第一类目标点云数据在同一时刻下同一坐标系下的对齐，然后可以将多帧对齐后的第一类目标点云数据进行融合，得到融合信息，基于融合信息来识别第一类噪点。其中，将多帧对齐后的第一类目标点云数据进行融合，得到融合信息，基于融合信息来识别第一类噪点的具体步骤则可以通过神经网络模型对点云数据进行特征提取的方式来实现，例如可以将多帧对齐后的第一类目标点云数据输入训练完成后的神经网络中，通过该神经网络提取多帧融合信息，得到包含多帧融合信息的目标特征图，再通过特征分类模型对该目标特征图进行分类识别，得到第一类噪点。

当恶劣天气出现时，激光雷达的表面易脏污或存在雨水，在表面较脏、有水膜覆盖的情况下，由激光雷达所射出的激光会发散；因此在车载环境中激光雷达若遇到高反射率的物体(或称高反射板)，则会在探测高反射率的物体的周围形成一圈本不应该存在、却由于激光发散而产生的噪点，为了便于描述，在本实施例中将上述成因机制下产生的噪点称为第二类噪点。通过分析可以确定第二类噪点的属性，即第二类噪点也具有较低的反射强度(低反射率)，但和第一类噪点不同的是，它的形状十分规整，一般是复刻高反射率的物体本身的形状，随时间不变化，所以即使加上多帧点云数据的融合信息后仍然无法很好的识别。但由于第二类噪点是围绕在高反射率的物体的周围生成的，第二类噪点所围绕的点云数据(即表征高反射率的物体)具有高反射率的特性，因此，在本实施例中，可以借助原始点云数据中具有高反射率的点来对第二类噪点进行识别。在具体实现中，可以按照原始点云数据中每个点的反射率的高低数值，将反射率高于预设的阈值的点从原始点云数据中提取出来作为第二类目标点云数据；对第二类目标点云数据标记每个点的空间坐标，基于所有点的空间坐标可以在空间位置上从原始点云数据中确定被具有高反射率特性的点云所围绕的低反射率的点作为第二类噪点，具体的，可以通过神经网络学习的方式对具有空间坐标信息的原始点云数据提取空间坐标信息，同时通过神经网络学习的方式对第二类目标点云数据提取高反射率信息，可以利用同一个神经网络同时对原始点云数据和第二类目标点云数据分别提取特征，该特征可以包括空间坐标信息和高反射率信息，将得到的特征转换为目标特征图，将该目标特征图输入预设的特征分类模型中，可以得到第二类噪点和其他正常的点。

当激光雷达所处的场景内存在光滑表面的物体(常见的如车辆玻璃)时，激光雷达所发射的激光可能发生多次反射，多次反射将造成激光雷达将本在A处的障碍物错误地认为在B处，进而形成噪点，为了便于描述，在本实施例中将上述成因机制下产生的噪点称为第三类噪点。通过分析可以确定第三类噪点的形状十分规则，随时间很少变化，且通常反射率也很高，比较难以识别。为了处理第三类噪点，在本实施例中，可以显性的考虑激光雷达的位置和由激光雷达所产生的点云数据中每个点的遮挡/反射关系，利用点的先验位置信息来识别第三类噪点。

在本实施例中，原始点云数据可以包括第一类噪点、第二类噪点和第三类噪点；本实施例可以通过上述方式从原始点云数据中同时识别得到第一类噪点、第二类噪点和第三类噪点，按照噪点的成因机制确定噪点的属性，基于噪点的属性确定与各个类别的噪点对应的目标点云数据，对目标点云数据提取特征信息得到与各个类别的噪点对应的特征图，将所有特征图叠加为目标特征图，再基于目标特征图同时分类出第一类噪点、第二类噪点和第三类噪点，即能保证不同类别的噪点的特征提取的准确性，又能加快后续同时对三种类型噪点进行分类的速度，提高分类的效率和精度。

本实施例通过获取激光雷达采集的原始点云数据，原始点云数据包括多个类别的噪点；按照噪点的属性从原始点云数据中提取目标点云数据；将目标点云数据转换为目标特征图；将目标特征图输入预设的特征分类模型中，得到不同类别下的噪点。上述技术方案能够解决现有技术无法对点云数据中的噪点进行精确分类、去噪效果不佳的技术问题；按照噪点的属性从原始点云数据中提取目标点云数据，可以粗略的将原始点云数据按照噪点的特性进行分类和重组，再将目标点云数据转换为目标特征图，可以将已经包含在目标点云数据中的噪点特性更为精确的映射到目标特征图中，使得目标特征图可以包含更为细化的噪点特征，由粗到精的特征提取方式既能保证噪点尽可能的落入特征提取的范围、不遗漏噪点，又能够在利用点云特征精细化转化为特征图的过程中缩小后续对噪点按照特征进行分类分割的搜索范围，将目标点云数据转换为目标特征图可以进一步提高对每个点的特征进行提取的精度，再利用特征分类模型对目标特征图按照特征的类别进行分类，能更精细化的确定不同类别下的噪点。

实施例二

图3为本发明实施例二提供的一种点云噪点的分类方法的流程图，本实施例以前述实施例为基础，对点云噪点的分类方法进行了进一步的细化，该方法具体包括如下步骤：

S210、获取激光雷达采集的原始点云数据。

S220、获取原始点云数据中每个点的反射率。

S230、确定原始点云数据中每个点在激光雷达的坐标系下的空间位置。

在本实施例中，空间位置可以是原始点云数据中每个点在激光雷达的坐标系下的坐标，该坐标可以是三维欧式坐标(x，y，z)，也可以是以激光雷达所在位置为球心所构建的球坐标系下的经纬度(经度角和纬度角)，本实施例对此不作具体限定。

S240、基于反射率和空间位置从原始点云数据中提取目标点云数据。

在本实施例的一种实现方式中，目标点云数据可以包括第一目标点云数据和第二目标点云数据，S240可以包括如下具体步骤：

S2401、从原始点云数据中提取反射率高于预设的阈值的点，得到第一目标点云数据。

由于原始点云数据中大部分噪点具有异常的反射率的属性，有的噪点反射率高，有的噪点在特定区域中反射率低，为了后续对具有低反射率的噪点进行提取以及精准划分出具有高反射率的噪点的具体类别，因此可以先从原始点云数据中提取反射率高于预设的阈值(即高反射率)的点构建第一目标点云数据。需要说明的是，第一目标点云数据中的每个点都包含有反射率(intensity)和三维空间坐标(x，y，z),即每个点都具有至少4个特征。

S2402、基于空间位置确定原始点云数据与第一目标点云数据之间的关联关系。

本实施例中，确定具有高反射率的点所构成的第一目标点云数据之后，基于空间位置确定原始点云数据与第一目标点云数据之间的关联关系可以是确定原始点云数据中每一个点与具有高反射率特性的第一目标点云数据中某一个点之间的关联关系，该关联关系可以是建立在点与点之间的反射率特性上的关系，也可以是建立在点与点之间的空间位置上的关系，还可以是建立在点与点之间的反射率以及空间位置两者特征结合的关系。本实施例中所指的关联关系可以表征原始点云数据中每个点与第一目标点云数据之间的关系为正相关还是不相关，该关联关系的确定能够便于后续对噪点的提取和精确分类。

在一个示例中，可以针对原始点云数据中的每一个点，基于每一个点的空间位置判断当前点是否存在遮挡点，若基于空间位置确定当前点在激光雷达的坐标系下存在遮挡点，则计算遮挡点与当前点之间的第一距离；在第一目标点云数据中查询是否存在目标点与遮挡点之间的第二距离等于第一距离；若存在目标点与遮挡点之间的第二距离等于第一距离，则确定当前点与第一目标点云数据之间的关联关系为正相关；若不存在目标点与遮挡点之间的第二距离等于第一距离，则确定当前点与第一目标点云数据之间的关联关系为不相关。

在上述示例中，还包括：针对原始点云数据中的每一个点，若当前点在激光雷达的坐标系下不存在遮挡点，则确定当前点与第一目标点云数据之间的关联关系为不相关。

S2403、在原始点云数据中标识关联关系，得到第二目标点云数据。

在本实施例中，当确定原始点云数据中每个点与第一目标点云数据之间的关联关系后，针对每个点，将当前点的关联关系转化为关联特征，若确定当前点的关联关系为正相关，则将当前点的关联特征标记为1；若确定当前点的关联关系为不相关，则将当前点的关联特征标记为0；遍历原始点云数据中每个点，对每个点标识该点的关联关系，以确定每个点都带有各自的关联特征，将标识有关联特征的点构建第二目标点云数据，第二目标点云数据中点的总数量与原始点云数据中点的总数量相同；还应当说明的是，第二目标点云数据中的每个点不仅具有关联特征(0或1)，还具有反射率(intensity)和三维空间坐标(x，y，z)至少4个特征，即第二目标点云数据中的每个点均包含有关联特征、反射率、x坐标、y坐标、z坐标共5个特征，这些特征可以用于后续区分噪点的操作。

为了使得本领域技术人员更加容易理解S240，下面列举个具体的示例来说明S240中所阐述的技术内容。

在一个示例中，每一帧原始点云数据包含N个点，每个点包括x,y,z,intensity 4个特征。

根据每个点的反射率，从原始点云数据中提取反射率高于预设的阈值的点，得到只包含高反射率点的第一目标点云数据Cloud_1，共M个点(M<＝N)，每个点有4个特征x,y,z,intensity。

以激光雷达所在的位置为坐标原点，建立球坐标，确定原始点云数据中的每个点在球坐标上的位置。对于原始点云数据中的每一个点A，如果其在球坐标系下被点B遮挡(即A、B两点具有同样的经度角和纬度角)，则寻找点A在第一目标点云数据Cloud_1中是否存在一个点C，满足点B与点C之间的距离(相当于本实施例中的第二距离)等于点B与点A之间的距离(相当于本实施例中的第一距离)，即在第一目标点云数据Cloud_1中查询是否存在目标点C与遮挡点B之间的第二距离等于遮挡点B与当前点A之间的第一距离。如果第一目标点云数据Cloud_1中存在这样的目标点C，则确定点A与第一目标点云数据之间的关联关系为正相关，标记点A的关联特征(association)为数值1；如果第一目标点云数据Cloud_1中不存在目标点C，则确定点A与第一目标点云数据之间的关联关系为不相关，标记点A的关联特征(association)为数值0。如果对于当前点A，其在球坐标系下未被遮挡，则确定点A与第一目标点云数据之间的关联关系为不相关，标记点A的关联特征为数值0。统计原始点云数据中所有标记过关联特征的点，得到第二目标点云数据Cloud_2,共N个点，其中每个点有5个特征x,y,z,intensity,association。

S250、将目标点云数据转换为目标特征图。

在本实施例中，目标点云数据可以包括第一目标点云数据和第二目标点云数据，当确定第一目标点云数据和第二目标点云数据后，可以分别对第一目标点云数据和第二目标点云数据进行特征提取，以生成目标特征图。在具体实现中，如图4所示，可以利用Point-Pillar模型分别对第一目标点云数据和第二目标点云数据进行特征提取，得到与第一目标点云数据对应的第一特征图、与第二目标点云数据对应的第二特征图，将第一特征图与第二特征图按照各自的特征维度进行叠加，得到最终的目标特征图。需要说明的是，使用Point-Pillar模型对点云数据进行特征提取可以最优的平衡特征的检测速度和精度，Point-Pillar模型的主要思想是将三维的点云转成二维的伪图像，使用二维卷积对伪图像进行端到端的目标检测，在具体实现中，Point-Pillar模型能将点云数据中的每个点转化成一个个的Pillar(柱体)，从而构成伪图像，再采用模型中SSD的网络结构对伪图像进行特征预测和提取，最终得到目标特征图。

在本实施例中，S250可以包括如下具体步骤：

S2501、对第一目标点云数据提取表征反射率的特征，得到第一特征图。

在具体实现中，可以利用Point-Pillar模型将第一目标点云数据转化为第一特征图，其中，可以通过PointNet模型对第一目标点云数据升维，在每个点的空间柱体内利用最大池化法提取特征，最终将从第一目标点云数据中提取到的表征反射率的特征构建第一特征图。

S2502、对第二目标点云数据提取表征空间位置关系的特征，得到第二特征图。

在具体实现中，可以利用Point-Pillar模型将第二目标点云数据转化为第二特征图，其中，可以通过PointNet模型对第二目标点云数据升维，在每个点的空间柱体内利用最大池化法提取特征，最终将从第二目标点云数据中提取到的表征空间位置关系的特征构建第二特征图。

在本实施例的具体实现中，PointNet模型能够帮助筛选出稠密的空间柱体(Pillar)构建伪图像，利于Point-Pillar模型对伪图像进行卷积，提高特征检测的精度。

S2503、将第一特征图与第二特征图结合，得到目标特征图。

通过Point-Pillar模型输出的第一特征图与第二特征图一般以张量的形式呈现，可以分别确定第一特征图与第二特征图各自张量的维度，将两者张量按照匹配的维度进行对应数值的叠加，得到目标特征图。

S260、确定预设的特征分类模型。

在本实施例中，预设的特征分类模型可以通过如下方式确定：选择由多个神经网络构成的初始模型，多个神经网络可以包括用于特征提取的神经网络、用于特征融合的神经网络；确定预先制作的包含噪点和点云数据的样本集，使用样本集对该初始模型进行训练，直到该初始模型满足预设的收敛条件(例如参数收敛到预设的阈值、训练总次数达到最大次数、损失值满足预设的阈值等)，则确定该初始模型训练完成，将训练完成后的初始模型作为特征分类模型。

S270、通过特征分类模型从目标特征图中提取不同尺度下的特征，将不同尺度下的特征进行融合，将融合后的特征映射到原始点云数据中，得到不同类别下的噪点。

在本实施例的一种实现方式中，如图5所示，特征分类模型包括残差网络、特征金字塔网络和循环神经网络；S270可以包括如下具体步骤：

S2701、将目标特征图输入残差网络中，得到多层感受野下的特征。

本实施例中的残差网络又称Resnet，残差网络会对每层网络的输入做一个参考比对，学习形成残差函数，这种残差函数更容易优化，能使网络层数大大加深，而特征的等级会随着网络深度的增加而变高，即能得到多个层次下的不同特征。在具体实现中，将目标特征图输入残差网络中，残差网络包括多个残差块，每个残差块都是通过多层的网络拟合残差函数以确定输入与输出之间的残差，多个残差块级联的过程中可以实现对目标特征图进行不同尺度的变换(例如尺度的缩减、尺度的倍增)，从而得到多层感受野下的特征。其中，感受野(Receptive Field)是指神经网络中每一层输出的特征图(feature map)上的像素点在输入图像上映射的区域大小。即可以理解为特征图上的一个点对应输入图像的一块区域。

S2702、将多层感受野下的特征输入特征金字塔网络中，得到多尺度特征。

在本实施例中，特征金字塔网络又称FPN(Feature Pyramid Networks)，FPN主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，能够大幅度提升小物体检测的性能。

由于多层感受野下的特征已经包含不同尺度的特征，将多层感受野下的特征输入特征金字塔网络中，特征金字塔网络FPN包括多个网络层，在特征进行前向传播的过程中(自下而上的过程)，可以提取前向传播过程中每一层网络层生成的特征，再通过将高层的特征进行上采样，将上采样后的高层的特征与低层的特征进行自顶向下的连接，且每一层都进行一次高低层的特征融合，直到自顶向下的遍历过程完成，最终输出多尺度特征。

S2703、通过循环神经网络对多个多尺度特征进行融合，得到融合特征。

循环神经网络又称RNN(Recurrent Neural Network)，即一个序列当前的输出与前面的输出也有关，具体的表现形式为：网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

在本实施例中，按照所述噪点的属性从每一帧原始点云数据中提取得到每一帧对应的目标点云数据，将每一帧目标点云数据转换为单帧的目标特征图，将单帧的目标特征图输入特征分类模型中的Resnet和FPN，会得到单个多尺度特征，可以理解的是，每一帧目标特征图能够得到一个多尺度特征，若将多帧目标特征图分别输入特征分类模型中的Resnet和FPN，则可以得到多个多尺度特征；再者，由于原始点云数据可以为多帧的原始点云数据，每一帧原始点云数据最终都能得到一个多尺度特征，利用循环神经网络的特性，可以实现对多个多尺度特征的融合，即能够实现对多帧原始点云数据的信息进行融合，最终得到融合特征，该融合特征有助于实现噪点的分类。

S2704、将融合特征映射到原始点云数据中，得到不同类别下的噪点。

为了从融合特征中获取不同类别下的噪点，本实施例中的特征分类模型还包括全连接层，融合特征包括多个子特征；在具体实现中，可以将融合特征中的每个子特征分配到原始点云数据中的每一个点上；通过全连接层将所有子特征变换为对应类别的分数；按照分数确定原始点云数据中每一个点的分类结果，基于该分类结果可以确定不同类别下的噪点和其他点，最终得到不同类别下的噪点。

实施例三

图6为本发明实施例三提供的一种点云噪点的分类装置的结构框图，该装置可由软件和\或硬件来实现。该装置包括：数据获取模块601、数据提取模块602、特征转换模块603和噪点分类模块604，其中，

数据获取模块601，用于获取激光雷达采集的原始点云数据，所述原始点云数据包括多个类别的噪点；

数据提取模块602，用于按照所述噪点的属性从所述原始点云数据中提取目标点云数据；

特征转换模块603，用于将所述目标点云数据转换为目标特征图；

噪点分类模块604，用于将所述目标特征图输入预设的特征分类模型中，得到不同所述类别下的噪点。

在本发明的一个实施例中，所述噪点的属性包括反射率和空间位置；所述数据提取模块602包括:

反射率获取子模块，用于获取所述原始点云数据中每个点的反射率；

空间位置获取子模块，用于确定所述原始点云数据中每个点在所述激光雷达的坐标系下的空间位置；

目标点云数据提取子模块，用于基于所述反射率和所述空间位置从所述原始点云数据中提取目标点云数据。

在本发明的一个实施例中，所述目标点云数据包括第一目标点云数据和第二目标点云数据；所述目标点云数据提取子模块包括:

第一目标点云确定单元，用于从所述原始点云数据中提取所述反射率高于预设的阈值的点，得到第一目标点云数据；

关联关系确定单元，用于基于所述空间位置确定所述原始点云数据与所述第一目标点云数据之间的关联关系；

第二目标点云确定单元，用于在所述原始点云数据中标识所述关联关系，得到第二目标点云数据。

在本发明的一个实施例中，所述关联关系确定单元包括:

距离计算子单元，用于针对所述原始点云数据中的每一个点，若基于所述空间位置确定当前点在所述激光雷达的坐标系下存在遮挡点，则计算所述遮挡点与所述当前点之间的第一距离；

距离判断子单元，用于在所述第一目标点云数据中查询是否存在目标点与所述遮挡点之间的第二距离等于所述第一距离；

正相关关系确定子单元，用于若存在所述目标点与所述遮挡点之间的第二距离等于所述第一距离，则确定所述当前点与所述第一目标点云数据之间的关联关系为正相关；

不相关关系确定子单元，用于若不存在所述目标点与所述遮挡点之间的第二距离等于所述第一距离，则确定所述当前点与所述第一目标点云数据之间的关联关系为不相关。

在本发明的一个实施例中，所述关联关系确定单元还包括:

不遮挡不相关确定子单元，用于针对所述原始点云数据中的每一个点，若当前点在所述激光雷达的坐标系下不存在遮挡点，则确定所述当前点与所述第一目标点云数据之间的关联关系为不相关。

在本发明的一个实施例中，所述目标点云数据包括第一目标点云数据和第二目标点云数据；所述特征转换模块603包括:

第一特征图确定子模块，用于对所述第一目标点云数据提取表征反射率的特征，得到第一特征图；

第二特征图确定子模块，用于对所述第二目标点云数据提取表征空间位置关系的特征，得到第二特征图；

目标特征图确定子模块，用于将所述第一特征图与所述第二特征图结合，得到目标特征图。

在本发明的一个实施例中，所述噪点分类模块604包括:

分类模型确定子模块，用于确定预设的特征分类模型；

噪点分类子模块，用于通过所述特征分类模型从所述目标特征图中提取不同尺度下的特征，将不同尺度下的特征进行融合，将融合后的特征映射到所述原始点云数据中，得到不同所述类别下的噪点。

在本发明的一个实施例中，所述特征分类模型包括残差网络、特征金字塔网络和循环神经网络；所述噪点分类子模块包括:

残差网络处理单元，用于将所述目标特征图输入所述残差网络中，得到多层感受野下的特征；

特征金字塔网络处理单元，用于将所述多层感受野下的特征输入所述特征金字塔网络中，得到多尺度特征；

融合特定确定单元，用于通过所述循环神经网络对多个所述多尺度特征进行融合，得到融合特征；

噪点分类单元，用于将所述融合特征映射到所述原始点云数据中，得到不同类别下的噪点。

在本发明的一个实施例中，所述特征分类模型还包括全连接层，所述融合特征包括多个子特征；所述噪点分类单元包括:

特征分配子单元，用于将所述融合特征中的每个所述子特征分配到所述原始点云数据中的每一个点上；

特征变换子单元，用于通过所述全连接层将所有所述子特征变换为对应所述类别的分数；

分类确定子单元，用于按照所述分数确定所述原始点云数据中每一个点的分类结果，得到不同所述类别下的噪点。

本发明实施例所提供的点云噪点的分类装置可执行本发明任意实施例所提供的点云噪点的分类方法，具备执行方法相应的功能模块和有益效果。

实施例四

图7为本发明实施例四提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括处理器700、存储器710、输入装置720和输出装置730；计算机设备中处理器700的数量可以是一个或多个，图7中以一个处理器700为例；计算机设备中的处理器700、存储器710、输入装置720和输出装置730可以通过总线或其他方式连接，图7中以通过总线连接为例。

存储器710作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的点云噪点的分类方法对应的程序指令/模块(例如，点云噪点的分类装置中的数据获取模块601、数据提取模块602、特征转换模块603和噪点分类模块604)。处理器700通过运行存储在存储器710中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的点云噪点的分类方法。

存储器710可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器710可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器710可进一步包括相对于处理器700远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置720可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置730可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种点云噪点的分类方法，该方法包括：

获取激光雷达采集的原始点云数据，所述原始点云数据包括多个类别的噪点；

按照所述噪点的属性从所述原始点云数据中提取目标点云数据；

将所述目标点云数据转换为目标特征图；

将所述目标特征图输入预设的特征分类模型中，得到不同所述类别下的噪点。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的点云噪点的分类方法中的相关操作.

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述点云噪点的分类装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种点云噪点的分类方法，其特征在于，包括：

获取激光雷达采集的原始点云数据，所述原始点云数据包括多个类别的噪点；

按照所述噪点的属性从所述原始点云数据中提取目标点云数据；

将所述目标点云数据转换为目标特征图；

将所述目标特征图输入预设的特征分类模型中，得到不同所述类别下的噪点。

2.根据权利要求1所述的方法，其特征在于，所述噪点的属性包括反射率和空间位置；所述按照噪点的属性从所述原始点云数据中提取目标点云数据，包括:

获取所述原始点云数据中每个点的反射率；

确定所述原始点云数据中每个点在所述激光雷达的坐标系下的空间位置；

基于所述反射率和所述空间位置从所述原始点云数据中提取目标点云数据。

3.根据权利要求2所述的方法，其特征在于，所述目标点云数据包括第一目标点云数据和第二目标点云数据；所述基于所述反射率和所述空间位置从所述原始点云数据中提取目标点云数据，包括：

从所述原始点云数据中提取所述反射率高于预设的阈值的点，得到第一目标点云数据；

基于所述空间位置确定所述原始点云数据与所述第一目标点云数据之间的关联关系；

在所述原始点云数据中标识所述关联关系，得到第二目标点云数据。

4.根据权利要求3所述的方法，其特征在于，所述基于所述空间位置确定所述原始点云数据与所述第一目标点云数据之间的关联关系，包括：

针对所述原始点云数据中的每一个点，若基于所述空间位置确定当前点在所述激光雷达的坐标系下存在遮挡点，则计算所述遮挡点与所述当前点之间的第一距离；

在所述第一目标点云数据中查询是否存在目标点与所述遮挡点之间的第二距离等于所述第一距离；

若存在所述目标点与所述遮挡点之间的第二距离等于所述第一距离，则确定所述当前点与所述第一目标点云数据之间的关联关系为正相关；

若不存在所述目标点与所述遮挡点之间的第二距离等于所述第一距离，则确定所述当前点与所述第一目标点云数据之间的关联关系为不相关。

5.根据权利要求4所述的方法，其特征在于，所述基于所述空间位置确定所述原始点云数据与所述第一目标点云数据之间的关联关系，还包括：

针对所述原始点云数据中的每一个点，若当前点在所述激光雷达的坐标系下不存在遮挡点，则确定所述当前点与所述第一目标点云数据之间的关联关系为不相关。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述目标点云数据包括第一目标点云数据和第二目标点云数据；所述将所述目标点云数据转换为目标特征图，包括：

对所述第一目标点云数据提取表征反射率的特征，得到第一特征图；

对所述第二目标点云数据提取表征空间位置关系的特征，得到第二特征图；

将所述第一特征图与所述第二特征图结合，得到目标特征图。

7.根据权利要求1-5任一项所述的方法，其特征在于，所述将所述目标特征图输入预设的特征分类模型中，得到不同所述类别下的噪点，包括：

确定预设的特征分类模型；

通过所述特征分类模型从所述目标特征图中提取不同尺度下的特征，将不同尺度下的特征进行融合，将融合后的特征映射到所述原始点云数据中，得到不同所述类别下的噪点。

8.根据权利要求7所述的方法，其特征在于，所述特征分类模型包括残差网络、特征金字塔网络和循环神经网络；所述通过所述特征分类模型从所述目标特征图中提取不同尺度下的特征，将不同尺度下的特征进行融合，将融合后的特征映射到所述原始点云数据中，得到不同所述类别下的噪点，包括：

将所述目标特征图输入所述残差网络中，得到多层感受野下的特征；

将所述多层感受野下的特征输入所述特征金字塔网络中，得到多尺度特征；

通过所述循环神经网络对多个所述多尺度特征进行融合，得到融合特征；

将所述融合特征映射到所述原始点云数据中，得到不同类别下的噪点。

9.根据权利要求8所述的方法，其特征在于，所述特征分类模型还包括全连接层，所述融合特征包括多个子特征；所述将所述融合特征映射到所述原始点云数据中，得到不同所述类别下的噪点，包括：

将所述融合特征中的每个所述子特征分配到所述原始点云数据中的每一个点上；

通过所述全连接层将所有所述子特征变换为对应所述类别的分数；

按照所述分数确定所述原始点云数据中每一个点的分类结果，得到不同所述类别下的噪点。

10.一种点云噪点的分类装置，其特征在于，包括：

数据获取模块，用于获取激光雷达采集的原始点云数据，所述原始点云数据包括多个类别的噪点；

数据提取模块，用于按照所述噪点的属性从所述原始点云数据中提取目标点云数据；

特征转换模块，用于将所述目标点云数据转换为目标特征图；

噪点分类模块，用于将所述目标特征图输入预设的特征分类模型中，得到不同所述类别下的噪点。

11.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的点云噪点的分类方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的点云噪点的分类方法。

Images