CN113762413B - 点云数据与图像数据融合方法及存储介质 - Google Patents

Abstract

本申请是关于一种点云数据与图像数据融合方法及存储介质。该方法包括：建立点云数据和图像数据的映射关系；获取所述点云数据中识别为第一类别的点云集合；获取所述图像数据中识别为第一类别的像素集合；若所述第一类别的点云集合中的点云与所述第一类别的像素集合中的像素互为映射，则得到具有互为映射的点云作为采样点云；对类别信息为目标类别的所述采样点云拟合。本申请提供的点云数据与图像数据融合方法及存储介质，有效增加对路沿的识别精度，提高环境感知的鲁棒性。

Description

点云数据与图像数据融合方法及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种点云数据与图像数据融合方法及存储介质。

背景技术

随着人工智能、自动驾驶等技术的发展，车路一体化技术也越来越成熟。自动驾驶车辆通过车辆上的人工智能开工至系统、监控装置、定位系统、激光雷达等协同工作，实现对车辆的精准控制。但是，基于现实中道路中的路况较为复杂，尤其在路面坡度起伏较大。或道路区域与非道路区域的高度差不明显，或道路区靠近非道路区在路面坡度起伏较大的情况存在凸起或凹坑时，很容易出现路沿和路面局部的点被错误分类导致的误识别问题，影响自动驾驶。

发明内容

为解决或部分解决相关技术中存在的问题，本申请提供一种点云数据与图像数据融合方法及存储介质，该点云数据与图像数据融合方法及存储介质能够有效增加对路沿的识别精度，提高环境感知的鲁棒性。

本申请第一方面提供一种点云数据与图像数据融合方法，包括：

建立点云数据和图像数据的映射关系；

获取所述点云数据中识别为第一类别的点云集合；

获取所述图像数据中识别为第一类别的像素集合；

若所述第一类别的点云集合中的点云与所述第一类别的像素集合中的像素互为映射，则得到具有互为映射的点云作为采样点云；

对类别信息为目标类别的所述采样点云拟合。

在一种实施方式中，所述获取所述图像数据中识别为第一类别的像素集合，包括：

利用语义分割获取所述图像数据中第一类别的像素集合。

在一种实施方式中，所述利用语义分割获取所述图像数据中第一类别的像素集合，包括：

获取包含第一类别的像素训练集；

对所述图像数据语义分割，得到包含所有类别的像素；

基于所述像素训练集与所述包含所有类别的像素比对，得到第一类别的像素集合。

在一种实施方式中，所述获取所述点云数据中识别为第一类别的点云集合，包括：

利用道路异常检测方式检测所述点云数据，获取所述点云数据中第一类别的点云集合。

在一种实施方式中，所述第一类别为路面和/或路沿。

在一种实施方式中，所述若所述第一类别的点云集合中的点云与所述第一类别的像素集合中的像素互为映射，则得到具有互为映射的点云作为采样点云，包括：

按照所述映射关系将所述第一类别的点云集合转换为所述图像数据中的像素，得到第一像素集合；

将所述第一像素集合与所述第一类别的像素集合结合求交集，得到采样像素；

基于所述映射关系将所述采样像素转换至所述点云数据，得到所述采样点云。

在一种实施方式中，所述若所述第一类别的点云集合中的点云与所述第一类别的像素集合中的像素互为映射，则得到具有互为映射的点云作为采样点云，包括：

按照所述映射关系将所述第一类别的像素集合转换为所述点云数据中的点云，得到第一点云集合；

将所述第一点云集合与所述第一类别的点云集合结合求交集，得到采样点云。

在一种实施方式中，基于所述映射关系，保留所述点云数据和图像数据中共有的点云和像素，所述点云和所述像素一一对应。

在一种实施方式中，所述对类别信息为目标类别的所述采样点云拟合，包括：

采用随机采样一致性算法对所述采样点云中为目标类别的采样点云拟合。

本申请第二方面提供一种存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。

本申请提供的技术方案可以包括以下有益效果：

本申请实施例提供的点云数据与图像数据融合方法，包括：建立点云数据和图像数据的映射关系；获取所述点云数据中识别为第一类别的点云集合；获取所述图像数据中识别为第一类别的像素集合；若所述第一类别的点云集合中的点云与所述第一类别的像素集合中的像素互为映射，则得到具有互为映射的点云作为采样点云；对类别信息为目标类别的所述采样点云拟合。通过将点云数据和图像数据建立的映射关系能够将点云和像素对应，并在得到采样点云前，先通过将点云和像素分别滤除第一类别外其他点，再求交集融合的方式，能够有效排除路面起伏较大、路面和路沿高度差不明显等情况下点云和像素中一者存在误识别的情况。以通过在点云数据和图像数据融合的过程前或过程中进行初滤除和二次滤除的方式有效增加了对路沿的识别精度，提高环境感知的鲁棒性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1是本申请实施例示出的点云数据与图像数据融合方法第一流程示意图；

图2是本申请实施例示出的点云数据与图像数据融合方法第二流程示意图；

图3是本申请实施例示出的点云数据与图像数据融合方法第三流程示意图；

图4是本申请实施例示出的点云数据与图像数据融合方法第四流程示意图。

具体实施方式

下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

相关技术中，自动驾驶车辆在通过监控系统、雷达进行识别以达到车路一体化时，一般是通过激光雷达采集点云数据和对应设置摄像头采集图像数据，然后基于点云数据进行平面拟合，以达到识别目的。点云数据(point cloud data)，是指在一个三维坐标系统中的一组向量的集合，扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。

自动驾驶车辆在道路上行驶时，需要对道路上的道路区域和非道路区域进行识别判断，以控制车辆能够在道路区域行驶而不至跑偏。一般情况下，道路区域为不包含其他车辆用于行驶的路面，非道路区域与路面之间通过路沿分隔，只要识别到道路上的路面和路沿的相关信息，即可控制车辆在路面行驶而不至越过路沿冲至非道路区域。因此，所获取的路面和路沿的识别精度对自动驾驶有着重要意义。

在平坦的结构化道路中，一般采用点云数据进行平面拟合等传统分割算法，但是由于路沿较为低矮，一般为10厘米左右，而激光雷达获得的点云数据中点云较为稀疏，并缺乏语义信息，路沿检测的精度较低。而且在路面坡度起伏较大，和/或，路面和路沿的高度差不明显(如小于10厘米)的道路中，就更加大了路面和路沿识别的难度，容易造成误识别的情况，影响自动驾驶。

针对上述问题，本申请提供了一种点云数据和图像数据融合方法，以能够有效增加对路沿的识别精度，提高环境感知的鲁棒性。

以下结合附图详细描述本申请实施例的技术方案。

图1是本申请实施例示出的点云数据和图像数据融合方法第一流程示意图。

参见图1，该方法包括：

S101、建立点云数据和图像数据的映射关系。

S102、获取所述点云数据中识别为第一类别的点云集合。

S103、获取所述图像数据中识别为第一类别的像素集合。

S104、若所述第一类别的点云集合中的点云与所述第一类别的像素集合中的像素互为映射，则得到具有互为映射的点云作为采样点云。

S105、对类别信息为目标类别的所述采样点云拟合。

本申请实施例中，在车辆行驶过程，可以通过激光雷达和摄像头采集车辆外部的信息，获得点云数据和图像数据，以其中某一时刻获取到的点云数据和图像数据为例，在该时刻的点云数据和图像数据对应，为该时刻车辆所在视野范围内的三维图像和平面图像，后续所提及到的点云数据和图像数据均为获取的同一时刻的三维图像和平面图像，不再单独强调。

对于所获取的点云数据，由于点云数据中的点云较为稀疏，在选取目标类别的点云时，所选取的准确性和精度较低，所以需要将点云与图像数据结合再根据点云与图片上对应物体的重合度判断，此种方式只能保证物体类别识别的准确性，不能保证识别的精度，且效率较低。

建立点云数据和图像数据的映射关系。例如可以通过激光雷达和相机的联合标定的方式得到点云数据和图像数据中点云和像素的对应关系。以通过具有映射关系的点云找到在图像数据中对应的像素，这样，在对点云或像素进行类别标注时，无需通过人工比对图像，能够通过不同点云和像素的映射关系直接通过点云找到像素或通过像素找到点云，提高所需获取的类别的精度，且效率较高。

在一种实施例中，点云数据和图像数据的联合标定包括：利用棋盘格标定板的四个角点和平面法向量建立点云和像素中的对应关系，并求得激光雷达坐标系与像素坐标系的转换矩阵。其中，点云数据中的点云对应位于激光雷达坐标系中，图像数据中的像素位于像素坐标系中，在进行联合标定时，选取棋盘格标定板，并标记出方形棋盘格标定板位于四个角的角点，再利用其平面法向量，将三维坐标系中的点云通过投影至棋盘格标定板对应的点，再转换至像素坐标系中，选取与点云重合的像素，即可以理解为点云和像素具有映射关系，并得到了激光雷达坐标系与像素坐标系的转换矩阵。通过此种联合标定使得点云和像素之间产生对应关系，其具体的标定过程即点云转换的中间步骤可以选用常规的实现方式，在此不做赘述。本实施例中所采用的联合标定中，利用了标记板的四个角点和平面法向量在图像数据和点云数据中的对应关系而求得激光雷达坐标系和像素坐标系的转换矩阵，而使得在标定过程中的精度更高，四个角点相较于标定板中心点等其他位置的点的选取作为基准更简单、便于识别，而所得到的转换关系更为准确。

可选地，点云数据和图像数据的联合标定的具体实现手段也可以为基于棋盘格标定板的如坐标系原点、某一边角点等其他方式进行的标定，只要能够得到点云和像素的对应关系，并得到激光雷达坐标系与像素坐标系的转换矩阵即可，在此不做具体限定。

对于点云数据和图像数据，在将两者中的点云和像素建立映射关系后，基于映射关系，可以仅保留点云数据和图像数据中共有的点云和像素，每一个点云在图像数据中均具有对应的像素，使得点云和像素一一对应。可以理解的是，点云和像素一一对应并不限定于一个点云对应一个像素，也可能是多个点云对应一个像素，在此不再赘述。

获取点云数据中识别为第一类别的点云集合。对点云数据进行识别处理，获得包含多个点云的点云图像，且点云图像中的点云至少部分被标记有对应的类别信息。在具有不同类别信息的点云中，选取标记为第一类别的所有点云，作为第一类别的点云集合。通过在点云数据中过滤掉明显与所需获取的类别差距较大的点云，限定为第一类别框架内的点云，降低了后续融合的难度，提高融合精度。

而在获取点云数据中识别为第一类别的点云集合时，可以辅助利用道路异常检测方式检测点云数据，获取点云数据中第一类别的点云集合。具体地，获取的点云数据可以为预先去除地面中车辆后的点云数据。利用道路异常检测方式检测点云数据具体可以理解为，将点云数据识别生成点云图像，根据点云图像中的扫描线与假设道路环境特征为理想状态下所获取的点云图时的理想扫描线进行逐一对比，判断扫描线是否发生偏移，且根据偏移的距离大小对其进行标记。结合道路异常检测的标记结果与识别点云数据时标记的类别信息比较，判断点云数据所识别的类别信息是否存在误识别、漏识别等情况，在选取最终识别为第一类别的所有点云作为第一类别的点云集合。

例如，所获取的点云数据中包括低矮灌木、飞鸟、坡度比较陡、路面和路沿高度差较小、路面靠近路沿的位置存在凸起或凹陷等的一种或多种情况时，直接通过点云进行识别时，所得到的类别信息中可能会将路沿、低矮灌木、飞鸟、凸起或凹陷中的一者或多者归为同一个类别。而通过增加道路异常检测方式检测点云图，使得扫描出来的多个扫描线与理想的点云图的理想扫描线对比，根据偏移距离等得到的点云与具有识别类别信息的点云比较，得到更为准确的具有类别信息的点云集合。可以理解的是，以路面中的凸起为例，当道路异常检测的检测方式检测到路面靠近路沿的位置存在凸起，而将凸起标记为异常，当对点云数据进行类别信息的识别时，有可能将凸起与路沿共同识别为路沿，结合凸起的异常标记，可以将凸起的误识别过滤，得到精度较高的路沿点云。

在此需要强调的是，对于利用道路异常检测方式检测点云数据时，道路异常检测的方式可以存在多种不同的实现手段，且检测方法较为常见，只是将该检测方式结合运用在本申请中而用于将点云数据中初步将明显属于不需要类别的点云进行滤除，得到第一类别的点云集合，且由于提前能够初步滤除干扰点云，获得的第一类别的点云集合精度更高。对于道路异常检测在点云数据中的具体实现方式在此不做详细说明。

获取图像数据中识别为第一类别的像素集合。对图像数据进行识别处理，获取包含多个像素的像素图像，且像素图像中的像素至少部分被标记有对应的类别信息。在具有不同类别信息的像素中，选取标记为第一类别的所有像素，作为第一类别的像素集合。以将图像数据中的像素经过滤限定为第一类别框架内的像素，降低了后续融合的难度，提高融合精度。

而在获取图像数据中识别为第一类别的像素集合时，可以利用语义分割获取图像数据中第一类别的像素集合。具体地，语义分割从分割方法上至少可以包括基于区域的语义分割、全卷积网络语义分割、弱监督语义分割等。在对图像数据进行语义分割时，可以采用不同的语义分割方法实现，而为了能够得到更为准确分割后的像素对应的类别信息，可以采用基于区域的语义分割，即根据目标检测结果进行语义分割，其具体实现方法在此不做赘述。

可选地，利用语义分割获取图像数据中第一类别的像素集合具体可以包括：

S1031、获取包含第一类别的像素训练集；

S1032、对图像数据语义分割，得到包含所有类别的像素；

S1033、基于像素训练集与包含所有类别的像素比对，得到第一类别的像素集合。

对于所获取的包含第一类别的像素训练集可以为对点云数据经过上述道路异常检测之后建立的训练集，也可以为自行根据路况自行训练的像素训练集，还可以为利用原有的训练模型，而无需完全重新训练，以加快收敛速度、节约时间。例如，在利用原有的训练模型时，可以使用Mask R-CNN预训练模型，在预训练模型的基础上利用自定义的类COCO数据集(Common Objects in Context)进行微调，然后自定义的数据集在输入网络之前也可以进行一些图像增强的操作，从而得到所需的像素训练集。其中，Mask R-CNN是基于FasterR-CNN改造而来的，是为目标实例分割而开发的灵活框架。Faster R-CNN用于预测图像中潜在的目标框和分类得分，而Mask R-CNN在此基础上加了一个额外的分支，用于预测每个实例的分割mask，它为给定图像中的目标的每个实例生成边界框和分割掩模，具体实现方式不做详细说明。

具体地，对图像数据语义分割，得到包含所有类别的像素。将图像数据进行语义分割，分割后的二维图像由多个像素的点组成，且每个像素被标记为识别的相应类别标签。例如，包含路面、路沿、低矮灌木、飞鸟等类别的图像数据中，利用语义分割进行处理时，所得到的像素对应分别标记有路面、路沿等对应的类别标签，且图像中不同的类别以不同的颜色标记。

基于像素训练集与包含所有类别的像素比对，得到第一类别的像素集合。例如道路坡度较陡且从图像视角看到飞鸟处于陡坡上方边缘接触位置或陡坡的路面内的极端情况下，存在飞鸟和路面两个明显不属于同一类别但是由于错位等原因造成基于语义分割后被误识别为同一类别，进而影响识别精度。因此，在对图像数据语义分割后，可以利用训练集，将训练集中预存的类别信息与语义分割后的类别标记进行比对，例如，训练集中存在具有道路坡度较陡的情况下路面和飞鸟类别信息的标签，选取该数据与语义分割后的像素进行对比，则能够确认语义分割后的类别标记的准确性，对误识别的类别信息进行修订，从而使得第一类别的像素集合中的像素选取更为准确。

在一些实施例中，所获取的点云数据和图像数据为同一时刻对应的数据，且为车辆行驶中包括道路的外部环境数据，所对应的类别信息可以包括树、路面、路沿、飞鸟、路牌等类别，而我们的目的是要通过识别更精准的路沿信息以控制车辆自动驾驶的稳定性，所以，第一类别可以为路面和/或路沿。

以下以第一类别为路面和路沿，目标类别为路沿为例，对点云数据与图像数据融合方法做更为详细的介绍。

若第一类别的点云集合中的点云与第一类别的像素集合中的像素互为映射，则得到具有互为映射的点云作为采样点云。基于所获取的第一类别的点云集合和第一类别的像素集合，将两者进行比对，判断点云和像素是否互为映射关系，若是，则选取点云作为采样点云，否则，滤除。

可以理解的是，对于最终要获取的采样点云前，上述获取第一类别的点云集合、获取第一类别的像素集合、判断两个集合的映射关系的具体实现手段并不限于以此步骤顺序操作实现。即实现的手段是多样的，以下列举一种具体实施方式说明本申请中得到采样点云的具体实现方式，但并不限于此。

参见图3，是本申请实施例示出的点云数据与图像数据融合方法第三流程示意图。

在一种实施例中，获取采样点云的方法包括：

S10401、按照映射关系将第一类别的点云集合转换为图像数据中的像素，得到第一像素集合。

S10402、将第一像素集合与第一类别的像素结合求交集，得到采样像素。

S10403、基于映射关系将采样像素转换至点云数据，得到采样点云。

在上述步骤中，可以先分别获取第一类别的点云集合和第一类别的像素集合，对于所获取的第一类别的点云集合和第一类别的像素集合，可以分别采用上述实施例中的对应手段实现，而对于所获取到的第一类别的点云集合中，由于点云较为稀疏，对于点云图像中类别高度差异比较明显的类别区分更为准确，图像数据中的像素点相比点云更为密集，对于高度差不太明显的类别更容易识别到，所以，“第一类别的点云集合”与“第一类别的像素集合”虽然同属于第一类别，但是其中的点云和像素中有可能存在由于误识别、错识别被标记为第一类别。例如，所建立映射关系的点云数据和图像数据中的类别信息包括路面、路沿、飞鸟、标牌等，在识别点云数据时，如果道路坡度起伏较小、路沿和路面高度差不明显示时，路沿和路面可能只能被识别为路面，而在获取第一类别为路面和/或路沿的点云时，可能点云集合的所有点云的第一类别只为路面。而对于点云数据对应的图像数据中，识别图像数据时，在此种情况下，高度差不明显的路沿和路面能够被区分，所以像素集合中的像素的第一类别里有路沿和路面。

基于两个第一类别存在差异的点云集合和像素集合，由于通过点云数据能够预先排除高度差比较明显的类别信息的点云，所以可以先通过识别点云数据的方式对点云数据进行初过滤，框选出第一类别的点云作为点云集合，这样可以排除高度差明显的其他类别的点云，避免其他类别的点云在映射得到较为密集的像素时，作为干扰像素影响第一类别像素的选取，而存在被误识别为第一类别的像素的情况。所以，通过此种先获取第一类别的点云集合、再将第一类别的点云集合转换为图像数据中的像素，得到第一像素集合的方式，对高度差比较明显的类别信息的点云或图像进行初过滤，从而降低了后续融合的难度和识别的精度。

在对点云数据初过滤且基于映射关系得到第一像素集合后，也因为排除了高度差比较明显的飞鸟、路牌等类别像素，第一像素集合中可能仅包含高度差不太明显的路面和路沿或路面上凸起、凹陷等被点云标记为同一类别如路面的类别信息。所以，需要将第一像素集合中的像素与图像数据中识别为第一类别的像素集合中的像素结合对比求交集，得到采样像素，并基于映射关系将采样像素转换至点云数据，得到采样点云。

具体地，若点云数据中的点云标记为路面，则转换为第一像素集合中的像素标记为路面，而与其互为映射关系的第一类别的像素集合中的像素标记为路沿，则选取作为采样点云并更正类别信息为路沿；若两组中互为映射关系的点云、像素均标记为路面，则选取该点云作为采样点云并将类别信息保存为路面；若在对点云数据进行识别时采用了道路异常检测的方式检测过点云数据，那么路面上凸起、路沿可能被标记出来且路沿、凸起等高度差不明显的可能被标记为异常共同被标记为路沿的类别信息，使得原本属于路面的类别信息的点云被标记为路沿，而这些点云转换成第一像素集合中的像素后，与图像数据中第一类别的像素集合中的像素进行对比，第一像素集合中属于路面的凸起像素标记为路沿，在图像数据中的像素被标记为路面、这种情况下，两者对比判断时，两者均为路面、路沿为采样点云的类别信息不变，若两者不同时，将采样点云的类别信息更正，以图像数据中的类别信息标记为准，从而得到识别精度较高的采样点云。

可选地，由于分别获取点云集合和像素集合可能存在第一类别的差异，我们也可以先通过对图像数据处理，再通过图像数据处理的结果根据映射关系转换至点云数据，获取第一类别的点云集合。

具体地，直接基于图像数据进行像素的初过滤可以包括，对图像数据进行识别。例如，采用语义分割得到包含多个具有不同类别信息的像素的图像，该图像中的像素类别信息可以包括路面、路沿、飞鸟、标牌等类别信息。当图像数据中的道路坡度较陡的情况下，路面和飞鸟在错位图的视觉效果下连接位置有可能存在平滑过渡的情况，使得在点云中高度差别较大的飞鸟和路面在图像中形成平滑过渡没有高度差的情况，这样在语义分割后飞鸟的部分像素有可能被误识别为路面，所以在选取第一类别的像素集合时，像素集合中存在部分被误识别为路面的像素点。

参见图4，基于上述所得到的第一类别的像素集合，获取采样点云的方法包括：

S10421、按照映射关系将第一类别的像素集合转换为点云数据中的点云，得到第一点云集合。

S10422、将第一点云集合与第一类别的点云集合求交集，得到采样点云。

具体的，根据图像数据进行初过滤得到的第一类别的像素集合，将其根据映射关系转换为点云数据的点云，得到第一点云集合。而通过点云数据进行处理的点云中，飞鸟和路面被标记为了不同的类别，所得到的第一类别的点云集合中不包含飞鸟的点云，所得到的第一点云集合中的点云由于第一类别的像素集合中对飞鸟对应的像素点误识别为路面，所对应的第一点云集合中存在误识别的飞鸟对应的点云。为了能够过滤掉第一点云集合中误识别的点云，可以将第一点云集合的点云与点云数据的点云进行结合对比求交集，当两者均为路面的类别标记时，保存点云作为采样点云；当点云数据中的点云为飞鸟，第一点云集合中的点云为路面，证明第一点云集合中的飞鸟被误识别为了路面，将类别信息更正为飞鸟；当对点云数据处理中包括道路异常检测的步骤时，点云数据的点云中凸起等与路沿均被标记为了路沿，当两者均为路沿时，直接输出作为采样点云，而仅有一者为路沿时，则采样点云的类别信息更正，以图像数据中的类别信息标记为准，从而得到识别精度较高的采样点云。

可以理解的是，所建立的点云数据和图像数据的映射关系可以在获取点云集合、像素集合的步骤前、中、后进行，在此不做具体限定。例如，可以仅选取第一类别的点云集合中的点云与图像数据中的所有像素或包含第一类别部分的像素建立映射关系，这样能够节约建立映射关系的难度和速度，无需对明显能排除的干扰信息进行冗余计算。

对类别信息为目标类别的采样点云拟合。利用映射关系将第一类别的点云或像素最终转换至点云数据中，所得到的点云即为采样点云，该采样点云经过在点云数据和/或图像数据中的点的初步滤除后，过滤掉了一些可能存在误识别、错识别的点，使得所得到的采样点云精度更高。基于初过滤得到的采样点云，再通过对其进行拟合的方式，对采样点云进行二次过滤，以将路面和路沿进行分割，确保所得到的路沿的点云精度更高。例如，当第一类别为路面和路沿时，所得到的采样点云的类别信息为路面和路沿，而为了得到精确的路沿数据，故目标类别为路沿。而由于点云较为稀疏，路面和路沿交界位置的点云的类别可能存在误识别或错识别，所以，为了能够将路沿和路面的点云精确分割，在对路沿的点云进行拟合时，可以采用随机采样一致性算法对采样点云中为路沿标签的采样点云拟合，以过滤掉不属于路沿的杂点，提高所得到的路沿点云的精度。

可选地，对于采样点云的拟合也可以采用其他能够实现的手段，对于对采样点云进行拟合的具体实现方法在此不做赘述。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

本申请还可以实施为一种存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当可执行代码(或计算机程序、或计算机指令代码)被电子设备(或电子设备、服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种点云数据与图像数据融合方法，其特征在于，包括：

建立点云数据和图像数据的映射关系；

获取所述点云数据中识别为第一类别的点云集合；

获取所述图像数据中识别为第一类别的像素集合；

若所述第一类别的点云集合中的点云与所述第一类别的像素集合中的像素互为映射，则得到具有互为映射的点云作为采样点云；

对类别信息为目标类别的所述采样点云拟合；所述目标类别为路沿；

所述若所述第一类别的点云集合中的点云与所述第一类别的像素集合中的像素互为映射，则得到具有互为映射的点云作为采样点云，包括：

按照所述映射关系将所述第一类别的点云集合转换为所述图像数据中的像素，得到第一像素集合；

将所述第一像素集合与所述第一类别的像素集合结合求交集，得到采样像素；

基于所述映射关系将所述采样像素转换至所述点云数据，得到所述采样点云。

2.根据权利要求1所述的方法，其特征在于，所述获取所述图像数据中识别为第一类别的像素集合，包括：

利用语义分割获取所述图像数据中第一类别的像素集合。

3.根据权利要求2所述的方法，其特征在于，所述利用语义分割获取所述图像数据中第一类别的像素集合，包括：

获取包含第一类别的像素训练集；

对所述图像数据语义分割，得到包含所有类别的像素；

基于所述像素训练集与所述包含所有类别的像素比对，得到第一类别的像素集合。

4.根据权利要求1所述的方法，其特征在于，所述获取所述点云数据中识别为第一类别的点云集合，包括：

利用道路异常检测方式检测所述点云数据，获取所述点云数据中第一类别的点云集合。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述第一类别为路面和/或路沿。

6.根据权利要求1所述的方法，其特征在于，所述若所述第一类别的点云集合中的点云与所述第一类别的像素集合中的像素互为映射，则得到具有互为映射的点云作为采样点云，包括：

按照所述映射关系将所述第一类别的像素集合转换为所述点云数据中的点云，得到第一点云集合；

将所述第一点云集合与所述第一类别的点云集合结合求交集，得到采样点云。

7.根据权利要求1所述的方法，其特征在于，基于所述映射关系，保留所述点云数据和图像数据中共有的点云和像素，所述点云和所述像素一一对应。

8.根据权利要求1所述的方法，其特征在于：所述对类别信息为目标类别的所述采样点云拟合，包括：

采用随机采样一致性算法对所述采样点云中为所述目标类别的采样点云拟合。

9.一种存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-8中任一项所述的方法。