CN115661014A - 一种点云数据处理方法、装置和电子设备、存储介质 - Google Patents

Abstract

本申请公开了一种点云数据处理方法、装置和电子设备、存储介质。所述方法包括：通过相机获取图像以及通过激光雷达获取原始点云，所述原始点云与所述图像时空同步；获取所述图像中每个目标物体的区域，在每个目标物体的区域内生成多个虚拟点，利用所述原始点云的深度信息获取每个虚拟点对应的深度信息；将获取到深度信息的所述虚拟点与所述原始点云融合，得到融合点云。本申请的技术方案能有效解决远距离小物体的点云稀疏问题，提升激光雷达对远距离物体的感知能力。

Description

一种点云数据处理方法、装置和电子设备、存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种点云数据处理方法、装置和电子设备、存储介质。

背景技术

近年来，随着汽车数量的增加，交通拥堵问题、交通中的安全问题越来越突显。为了提高通行效率、增加安全性，并将驾驶员从疲劳的驾驶工作中解放出来，自动驾驶进入了大众的视野。自动驾驶技术依靠计算机视觉、雷达、监控装置和全球定位系统等协同合作，让机动车辆可以在不需要人类主动操作下，实现自动驾驶。

自动驾驶场景中通常使用激光雷达来获取自动驾驶车辆周围的三维(ThreeDimensional，3D)信息，以实现3D目标的检测。一般来说，3D目标的检测精度与激光雷达所提供的原始点云密切相关。但是由于激光雷达在远距离受到遮挡或者扫描能力不足的影响，会导致远距离的障碍物点云稀疏，对远距离物体的感知能力较差，尤其是远距离小物体。

发明内容

基于现有技术中存在的上述问题，本申请实施例提供了一种点云数据处理方法、装置和电子设备、存储介质，以解决激光雷达对远距离物体感知能力不足的问题。

本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种点云数据处理方法，所述方法包括：

通过相机获取图像以及通过激光雷达获取原始点云，所述原始点云与所述图像时空同步；

获取所述图像中每个目标物体的区域，在每个目标物体的区域内生成多个虚拟点，利用所述原始点云的深度信息获取每个虚拟点对应的深度信息；

将获取到深度信息的所述虚拟点与所述原始点云融合，得到融合点云。

可选地，所述利用所述原始点云的深度信息获取每个虚拟点对应的深度信息，包括：

获取每个虚拟点对应的原始点云；

根据每个虚拟点对应的原始点云的深度信息，获得每个虚拟点对应的深度信息。

可选地，所述获取每个虚拟点对应的原始点云，包括：

获取所述激光雷达与所述相机之间的标定参数；

根据所述标定参数将所述原始点云投影到所述图像上，得到所述原始点云在所述图像上的投影点；

在每个目标物体的区域内获取该区域内每个虚拟点对应的投影点；

根据每个虚拟点对应的投影点得到每个虚拟点对应的原始点云。

可选地，所述在每个目标物体的区域内获取该区域内每个虚拟点对应的投影点，包括：

获取每个虚拟点对应的预设距离；

将所述目标物体的区域内与所述虚拟点的相对距离小于所述预设距离的投影点确定为该虚拟点对应的投影点。

可选地，所述将获取到深度信息的所述虚拟点与所述原始点云融合，得到融合点云，包括：

根据所述激光雷达与所述相机之间的标定参数，将所有虚拟点投影到所述原始点云中，得到虚拟点云；

将所述虚拟点云和所述原始点云融合得到所述融合点云。

可选地，所述获取所述图像中每个目标物体的区域，包括：

利用2D实例分割模型对所述图像进行目标分割，得到每个目标物体的掩码图像。

可选地，在得到融合点云之后，还包括：

利用预设障碍物检测模型对所述融合点云进行障碍物检测，得到障碍物信息。

第二方面，本申请实施例还提供一种点云数据处理装置，所述装置包括：

获取单元，用于通过相机获取图像以及通过激光雷达获取原始点云，所述原始点云与所述图像时空同步；

虚拟单元，用于获取所述图像中每个目标物体的区域，在每个目标物体的区域内生成多个虚拟点，利用所述原始点云的深度信息获取每个虚拟点对应的深度信息；

融合单元，用于将获取到深度信息的所述虚拟点与所述原始点云融合，得到融合点云。

第三方面，本申请实施例还提供一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述点云数据处理方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述点云数据处理方法。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例获取时空同步的图像和原始点云，对获取到的图像进行目标检测，得到每个目标物体的区域，由于属于同一目标物体的点的前景深度信息相差不大，因此本申请在每个目标物体的区域内生成多个虚拟点，通过原始点云的深度信息补全每个虚拟点的深度信息，将补全深度信息后的虚拟点与原始点云进行融合，能够得到更加稠密的融合点云，解决远距离小物体的点云稀疏问题，提升激光雷达对远距离物体的感知能力。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例中一种点云数据处理方法的流程示意图；

图2为本申请实施例中示出的街景图像示意图；

图3为本申请实施例中示出的原始点云在图像中的投影点的分布示意图；

图4为本申请实施例中示出的每个目标物体的区域内虚拟点以及投影点的分布示意图；

图5为本申请实施例中示出的融合点云示意图；

图6为本申请实施例中示出的基于融合点云的障碍物检测结果示意图；

图7为本申请实施例中示出的一种点云数据处理装置的结构示意图；

图8为本申请实施例中一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

本申请实施例提供的点云数据处理方法的执行主体可以是路侧传感器系统，或者路侧单元(Road Side Unit，简记为RSU)，或者是车端传感器系统、车端控制器，或者是集成该路侧传感器系统或路侧单元的规划系统或控制系统，或者是集成该车端传感器系统或车端控制器的自动驾驶系统。该方法的执行主体也可以是软件或者硬件。请参考图1，图1以执行主体为路侧单元为例，对本申请实施例提供的一种点云数据处理方法进行介绍。如图1所示，本申请实施例提供的一种点云数据处理方法可以包括以下步骤S110至步骤S130：

步骤S110，通过相机获取图像以及通过激光雷达获取原始点云，所述原始点云与所述图像时空同步。

其中，时空同步是指时间同步和空间同步。路侧设备可以在第一时刻获取图像，例如路侧设备可以第一时刻调用路侧设备中安装的相机应用，从而调用路侧设备的相机，获取相机采集到的图像。这里的图像一般是指如图2所示的街景图像。

路侧设备可以在第二时刻调用激光雷达，获取原始点云。其中第一时刻和第二时刻可以相同或者不同。也就是说，路侧设备通过相机采集图像和通过激光雷达获取原始点云可以均是在第一时刻进行的，即路侧设备通过相机获取图像和通过激光雷达获取原始点云是同步进行的。

在一些可能的实现方式中，相机和激光雷达可以接受同步开关的控制同步执行图像获取和原始点云获取步骤。或者，以基于相同的时间戳(Time Stamp)同步执行图像获取和原始点云获取步骤。时间戳通常是一个字符序列，时间戳可以唯一地标识某一时刻。或者，相机和激光雷达可以基于其他同步方式执行图像获取和原始点云获取步骤，本申请实施例不限定同步方式。

或者，相机采集图像和激光雷达采集原始点云的时刻可以是不同的，一般情况下，相机的工作频率与激光雷达的工作频率不同，可以基于事先标定好的参数，控制相机与激光雷进行异步数据采集，得到时间同步的图像和原始点云。

需要说明的是，本申请的相机和激光雷达具有相同的可视区域，例如当相机和激光雷达为安装在同一路侧杆上的路侧传感器，或者为安装在同一自动驾驶车辆上的车载传感器时，两者能够对同一目标场景进行数据采集，即相机与激光雷达能够同时对同一目标进行数据采集，实现图像与原始点云的空间同步。本申请中的相机和激光雷达在安装过程中实现了传感器之间的相对外参标定，基于标定参数可以得到图像和原始点云之间的坐标转换关系，实现原始点云与像素点的对应。

步骤S120，获取所述图像中每个目标物体的区域，在每个目标物体的区域内生成多个虚拟点，利用所述原始点云的深度信息获取每个虚拟点对应的深度信息。

路侧设备在获取到的图像后，还对图像中的目标进行检测，得到目标检测结果，目标检测结果包括目标物体的区域。

考虑到属于同一目标物体中的点，其前景深度不会相差很大，因此本申请在每个目标物体的区域范围内生成多个虚拟点，利用每个虚拟点周围的原始点云的深度信息对该虚拟点的深度信息进行补全，当将这些补全深度信息的虚拟点反投影到原始点云中时，这些虚拟点形成了新的点云集合，将由虚拟点组成的点云集合与原始点云融合，能够得到更加稠密的融合点云。

步骤S130，将获取到深度信息的所述虚拟点与所述原始点云融合，得到融合点云。

如图1所示的点云数据处理方法可知，本实施例获取时空同步和空间不同的图像和原始点云，对获取到的图像进行目标检测，得到每个目标物体的区域，由于属于同一目标物体的点的前景深度信息相差不大，因此本申请在每个目标物体的区域内生成多个虚拟点，通过原始点云的深度信息补全每个虚拟点的深度信息，将补全深度信息后的虚拟点与原始点云进行融合，能够得到更加稠密的融合点云，有效解决远距离小物体的点云稀疏问题，提升激光雷达对远距离物体感知能力。

在本申请的一些实施例中，可以利用2D实例分割模型对所述图像进行目标分割，得到每个目标物体的掩码图像，掩码图像又称为Mask图像。

实例分割是目标检测与语义分割的结合，先在图像中将目标检测出来，然后对每个像素打上标签。本申请的2D实例分割模型可以采用自上而下的语义分割方法，也可以采用自下而上的检测方法。

假设本申请通过相机获取到RGB图像，利用事先构建好的2D实例分割模型对RGB图像进行实例分割，得到RGB图像的实例分割结果，实例分割结果包括目标框，每个目标框的置信度和每个目标物体对应的Mask信息，Mask信息包括通过像素值代表目标框内每个像素点所属类别的置信度，例如像素值为1表明该像素点属于前景，像素值为0表明该像素点属于背景。

在得到图像中每个目标物体的区域之后，可以在每个目标物体的区域内生成多个虚拟点，例如在每个目标物体的Mask图像中随机采样K个像素点作为虚拟点。

为便于稠密化远距离小物体的点云，在本申请的一些可能实现方案中，获取每个目标物体的区域内每个像素点的像素类型，像素类型包括前景和背景；随机选取每个目标物体的区域内的K个前景像素点作为虚拟点。

在本申请的一些实施例中，所述利用所述原始点云的深度信息获取每个虚拟点对应的深度信息，包括：

获取每个虚拟点对应的原始点云；

根据每个虚拟点对应的原始点云的深度信息，获得每个虚拟点对应的深度信息。

例如根据每个虚拟点周围最近的几个原始点云的投影点的深度信息插值出该虚拟点的深度信息，经过最近邻插值处理，可以得到每个虚拟点的深度信息。

在本实施例的一些可能的实现方式中，所述获取每个虚拟点对应的原始点云，包括：

获取所述激光雷达与所述相机之间的标定参数；根据所述标定参数将所述原始点云投影到所述图像上，得到所述原始点云在所述图像上的投影点；在每个目标物体的区域内获取该区域内每个虚拟点对应的投影点；根据每个虚拟点对应的投影点得到每个虚拟点对应的原始点云。

举例来说，假设t1与t2分别为激光雷达和相机获取原始点云和RGB图像的时刻，T_{(rgb←lidar)}是从激光雷达到相机坐标系的转换矩阵，T_(t1←t2)为t2和t1之间的时空变换矩阵，表明t1时刻采集的原始点云与t2时刻采集的RGB图像为时间同步数据，p_rgb为相机的内参，那么从激光雷达到相机坐标系的转换关系为：

假设原始点云坐标为P1(x,y,z)，原始点云在RGB图像上的投影点的像素坐标为P2(u,v,1)，则两者的转换关系如下：

基于上述转换关系，可以将原始点云投影到图像上，得到投影点，然后根据每个目标物体的Mask信息，可以确定出位于每个目标物体的区域内的投影点。如图3所示，黑色投影点属于箱式货车，而其他灰色投影点属于其他目标物体。

对于同一目标物体上的点，相互距离越近，其前景深度的差异越小。因此，在一些可选实施例中，还获取每个虚拟点对应的预设距离，将所述目标物体的区域内与所述虚拟点的相对距离小于所述预设距离的投影点确定为该虚拟点对应的投影点。

本实施例可以预先根据目标物体的类别、目标物体与激光雷达的距离等信息设定每个目标物体对应的预设距离，例如与激光雷达的距离越近、目标物体的尺寸越大，设置该目标物体对应的预设距离越小；反之，与激光雷达的距离越远、目标物体的尺寸越小，设置该目标物体对应的预设距离越大，以保证远距离的小物体能够得到足够数量的投影点，而近距离的大物体能够保证虚拟点的深度信息的准确性。

本申请在每个目标物体的区域内生成多个虚拟点，这里虚拟点的数量可以根据目标物体所对应的像素点总数进行设置，例如目标物体的区域内包括N个像素点，则可以根据预设的像素点数量比值确定出虚拟点的数量，以根据合适数量的虚拟点生成虚拟点云。

如图4所示，在箱式货车的区域内随机生成12个虚拟点，根据每个虚拟点周围最近的几个原始点云的投影点的深度信息插值出该虚拟点的深度信息，经过最近邻插值处理，可以得到每个虚拟点的深度信息。

在得到所有虚拟点的深度信息之后，可以将虚拟点与所述原始点云机进行融合，例如根据所述激光雷达与所述相机之间的标定参数，将所有虚拟点投影到所述原始点云中，得到虚拟点云；将所述虚拟点云和所述原始点云融合得到如图5所示的融合点云。

对于激光雷达来说，在采集远距离小物体时，所得到的点数较少，通常只有几个。例如图3中的小轿车只有两个点，这种情况下，仅仅基于原始点云是很难检测出目标物体的。但在上述情形中，基于本申请的上述实施例可以得到稠密化的融合点云，远距离的小物体能够构被建出更多的点，这样在利用预设障碍物检测模型对所述融合点云进行障碍物检测，如图6所示，能够得到更为准确的障碍物信息，这里障碍物信息例如包括障碍物的位置、维度、类别、偏航角等信息。

这里预设障碍物检测模型可以是基于神经网络构建出的障碍物检测模型，本申请不限定神经网络的结构形式，本领域技术人员可以灵活设置。

本申请实施例还提供了一种点云数据处理装置700，如图7所示，提供了本申请实施例中一种点云数据处理装置的结构示意图，所述装置700包括：获取单元710，虚拟单元720和融合单元730，其中：

获取单元710，用于通过相机获取图像以及通过激光雷达获取原始点云，所述原始点云与所述图像时空同步；

虚拟单元720，用于获取所述图像中每个目标物体的区域，在每个目标物体的区域内生成多个虚拟点，利用所述原始点云的深度信息获取每个虚拟点对应的深度信息；

融合单元730，用于将获取到深度信息的所述虚拟点与所述原始点云融合，得到融合点云。

在本申请的一个实施例中，虚拟单元720包括第一计算模块和第二计算模块；

第一计算模块，用于获取每个虚拟点对应的原始点云；

第二计算模块，用于根据每个虚拟点对应的原始点云的深度信息，获得每个虚拟点对应的深度信息。

在本申请的一个实施例中，第一计算模块，具体用于获取所述激光雷达与所述相机之间的标定参数；根据所述标定参数将所述原始点云投影到所述图像上，得到所述原始点云在所述图像上的投影点；在每个目标物体的区域内获取该区域内每个虚拟点对应的投影点；根据每个虚拟点对应的投影点得到每个虚拟点对应的原始点云。

在本申请的一个实施例中，第一计算模块，进一步用于获取每个虚拟点对应的预设距离；将所述目标物体的区域内与所述虚拟点的相对距离小于所述预设距离的投影点确定为该虚拟点对应的投影点。

在本申请的一个实施例中，融合单元730，还用于根据所述激光雷达与所述相机之间的标定参数，将所有虚拟点投影到所述原始点云中，得到虚拟点云；将所述虚拟点云和所述原始点云融合得到所述融合点云。

在本申请的一个实施例中，虚拟单元720还包括目标检测模块；

目标检测模块，用于利用2D实例分割模型对所述图像进行目标分割，得到每个目标物体的掩码图像。

在本申请的一个实施例中，装置700还包括障碍物检测单元；

障碍物检测单元，用于利用预设障碍物检测模型对所述融合点云进行障碍物检测，得到障碍物信息。

能够理解，上述点云数据处理装置，能够实现前述实施例中提供的点云数据处理方法的各个步骤，关于点云数据处理方法的相关阐释均适用于点云数据处理装置，此处不再赘述。

图8是本申请的一个实施例电子设备的结构示意图。请参考图8，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成点云数据处理装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

通过相机获取图像以及通过激光雷达获取原始点云，所述原始点云与所述图像时空同步；

获取所述图像中每个目标物体的区域，在每个目标物体的区域内生成多个虚拟点，利用所述原始点云的深度信息获取每个虚拟点对应的深度信息；

将获取到深度信息的所述虚拟点与所述原始点云融合，得到融合点云。

上述如本申请图1所示实施例揭示的点云数据处理装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述点云数据处理方法的步骤。

该电子设备还可执行图1中点云数据处理装置执行的方法，并实现点云数据处理装置在图1所示实施例的功能，本申请实施例在此不再赘述。

本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中点云数据处理装置执行的方法，并具体用于执行：

通过相机获取图像以及通过激光雷达获取原始点云，所述原始点云与所述图像时空同步；

获取所述图像中每个目标物体的区域，在每个目标物体的区域内生成多个虚拟点，利用所述原始点云的深度信息获取每个虚拟点对应的深度信息；

将获取到深度信息的所述虚拟点与所述原始点云融合，得到融合点云。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种点云数据处理方法，其特征在于，所述方法包括：

通过相机获取图像以及通过激光雷达获取原始点云，所述原始点云与所述图像时空同步；

获取所述图像中每个目标物体的区域，在每个目标物体的区域内生成多个虚拟点，利用所述原始点云的深度信息获取每个虚拟点对应的深度信息；

将获取到深度信息的所述虚拟点与所述原始点云融合，得到融合点云。

2.如权利要求1所述方法，其特征在于，所述利用所述原始点云的深度信息获取每个虚拟点对应的深度信息，包括：

获取每个虚拟点对应的原始点云；

根据每个虚拟点对应的原始点云的深度信息，获得每个虚拟点对应的深度信息。

3.如权利要求2所述方法，其特征在于，所述获取每个虚拟点对应的原始点云，包括：

获取所述激光雷达与所述相机之间的标定参数；

根据所述标定参数将所述原始点云投影到所述图像上，得到所述原始点云在所述图像上的投影点；

在每个目标物体的区域内获取该区域内每个虚拟点对应的投影点；

根据每个虚拟点对应的投影点得到每个虚拟点对应的原始点云。

4.如权利要求3所述方法，其特征在于，所述在每个目标物体的区域内获取该区域内每个虚拟点对应的投影点，包括：

获取每个虚拟点对应的预设距离；

将所述目标物体的区域内与所述虚拟点的相对距离小于所述预设距离的投影点确定为该虚拟点对应的投影点。

5.如权利要求1所述方法，其特征在于，所述将获取到深度信息的所述虚拟点与所述原始点云融合，得到融合点云，包括：

根据所述激光雷达与所述相机之间的标定参数，将所有虚拟点投影到所述原始点云中，得到虚拟点云；

将所述虚拟点云和所述原始点云融合得到所述融合点云。

6.如权利要求1所述方法，其特征在于，所述获取所述图像中每个目标物体的区域，包括：

利用2D实例分割模型对所述图像进行目标分割，得到每个目标物体的掩码图像。

7.如权利要求1～6任一项所述方法，其特征在于，在得到融合点云之后，还包括：

利用预设障碍物检测模型对所述融合点云进行障碍物检测，得到障碍物信息。

8.一种点云数据处理装置，其特征在于，所述装置包括：

获取单元，用于通过相机获取图像以及通过激光雷达获取原始点云，所述原始点云与所述图像时空同步；

虚拟单元，用于获取所述图像中每个目标物体的区域，在每个目标物体的区域内生成多个虚拟点，利用所述原始点云的深度信息获取每个虚拟点对应的深度信息；

融合单元，用于将获取到深度信息的所述虚拟点与所述原始点云融合，得到融合点云。

9.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行权利要求1～7之任一所述点云数据处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1～7之任一所述点云数据处理方法。

Images