CN117034579A - 点云数据生成方法、装置、设备及存储介质 - Google Patents

Abstract

本申请涉及一种点云数据生成方法、装置、设备及存储介质，涉及汽车技术领域。该方法包括：点云数据生成装置获取仿真系统中目标视角对应的第一全景深度图，目标视角为在仿真系统中模拟真实环境下车辆所部署的激光雷达的视角；并根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的仿真参数。进一步的，点云数据生成装置根据第一全景深度图以及特征图，生成目标视角对应的点云数据。由此，实现在仿真环境下模拟激光雷达生成的点云数据。

Description

点云数据生成方法、装置、设备及存储介质

技术领域

本申请涉及汽车技术领域，尤其涉及自动驾驶技术领域，具体涉及一种点云数据生成方法、装置、设备及存储介质。

背景技术

随着自动驾驶技术的发展，准确的识别车辆周围的环境和物体变得愈发的重要。在自动驾驶算法中，激光雷达与其他传感器(如摄像头、雷达和超声波传感器)相结合，提供了多模态感知。各种传感器的数据融合可以帮助自动驾驶系统更准确地检测、跟踪和预测周围物体的运动。

在自动驾驶算法进行实车运行之前，通常会在仿真系统里进行测试。因此，仿真系统里各个传感器的准确性会极大地影响仿真测试的准确性，相关技术中，激光雷达通过发射激光脉冲并测量反射回来的时间来计算物体与传感器之间的距离，在仿真系统里通常是通过Ray Casting(光线投射)来模拟这一过程。但由于仿真系统里的材质、环境无法做到与真实世界完全对应，导致难以还原出激光雷达的扫描结果，进而对自动驾驶算法的测试造成影响。

发明内容

本申请的目的之一在于提供一种点云数据生成方法、装置、设备及存储介质，用于实现在仿真环境下模拟激光雷达生成的点云数据。

为了实现上述目的，本申请采用的技术方案如下：

根据本申请涉及的第一方面，提供一种点云数据生成方法，包括：点云数据生成装置获取仿真系统中目标视角对应的第一全景深度图，目标视角为在仿真系统中模拟真实环境下车辆所部署的激光雷达的视角；并将第一全景深度图以及目标视角对应的特征图输入目标模型，生成目标视角对应的特征图，特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的仿真参数。进一步的，点云数据生成装置根据第一全景深度图以及特征图，生成目标视角对应的点云数据。

根据上述技术手段，本申请提供的点云数据生成方法，首先在仿真系统中，获取与真实环境下所部署的激光雷达的视角相同的目标视角，并获取目标视角的第一全景深度图。进一步的，根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，以实现根据第一全景深度图和特征图，生成目标视角对应的点云数据，相当于仿真环境下激光雷达所采集到的点云数据，以实现跳过仿真激光雷达采集数据，直接根据全景深度图中包括的对象的信息，生成点云数据，消除真实环境与仿真系统的材质差异，保障自动驾驶算法测试的所需数据的准确性。

在一种可能的实施方式中，特征图包括入射角特征图、反射系数特征图、第一运动矢量特征图以及第二运动矢量特征图中的至少一个；入射角特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的入射角，反射系数特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的反射系数，第一运动矢量特征图包括的特征数据用于指示第一全景深度图所包括的像素点在第一时刻对应的速度，第二运动矢量特征图包括的特征数据用于指示第一全景深度图所包括的像素点在第二时刻对应的速度，第二时刻为第一时刻之后的时刻。

在一种可能的实施方式中，在特征图包括入射角特征图的情况下，根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，包括：根据目标视角对应的位置以及对象的位置仿真参数，确定对象的入射角数据，对象的入射角数据用于表征从目标视角对应的位置发出的激光打到对象上的入射角；根据对象的入射角数据以及第一全景深度图的像素坐标系，生成目标视角对应的入射角特征图，入射角特征图中的每个特征数据基于像素坐标标识。

根据上述技术手段，本申请提供了一种生成入射角特征图的实现方式，为后续生成目标视角对应的点云数据提供了数据支持。

在一种可能的实施方式中，在特征图包括反射系数特征图的情况下，根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，包括：根据对象的材质仿真参数，确定对象的反射系数；根据对象的反射系数以及第一全景深度图的像素坐标系，生成目标视角对应的反射系数特征图，反射系数特征图中的每个特征数据基于像素坐标标识。

根据上述技术手段，本申请提供了一种生成反射系数特征图的实现方式，为后续生成目标视角对应的点云数据提供了数据支持。

在一种可能的实施方式中，在特征图包括第一运动矢量特征图的情况下，根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，包括：根据对象在第一时刻的速度仿真参数，以及第一全景深度图的像素坐标系，生成目标视角对应的第一运动矢量特征图，第一运动矢量特征图中的每个特征数据基于像素坐标标识。

根据上述技术手段，本申请提供了一种第一运动矢量特征图的实现方式，为后续生成目标视角对应的点云数据提供了数据支持。

在一种可能的实施方式中，在特征图包括第二运动矢量特征图的情况下，根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，包括：根据对象在第二时刻的速度仿真参数，以及第一全景深度图的像素坐标系，生成目标视角对应的第二运动矢量特征图，第二运动矢量特征图中的每个特征数据基于像素坐标标识。

根据上述技术手段，本申请提供了一种第二运动矢量特征图的实现方式，为后续生成目标视角对应的点云数据提供了数据支持。

在一种可能的实施方式中，上述将第一全景深度图以及目标视角对应的特征图输入目标模型，生成目标视角对应的点云数据，包括：将第一全景深度图以及目标视角对应的特征图输入目标模型，得到目标视角对应的点云的强度信息和深度信息；并根据目标视角对应的点云强度信息和深度信息，生成目标视角对应的点云数据。

根据上述技术手段，本申请提供了一种根据第一全景深度图以及特征图，生成目标视角对应的点云数据的实现方式，实现了在不模拟激光雷达的基础上，模拟激光雷达采集到的点云数据。

在一种可能的实施方式中，上述点云数据生成方法还包括：获取目标车辆在第一场景下的运行数据，第一场景为真实环境下的场景，运行数据包括目标车辆的行驶数据以及目标车辆的激光雷达采集到的真实点云数据；确定仿真车辆在第二场景下以目标车辆的行驶数据行驶，生成的第二全景深度图以及特征图，第二场景为第一场景的仿真场景；将第二全景深度图以及特征图作为特征，将真实点云数据作为标签，对预设神经网络进行训练，得到目标模型。

根据上述技术手段，本申请提供的点云数据生成方法中，通过在与真实环境相同的仿真场景下得到模型训练特征，基于真实环境下得到的模型训练标签，对预设神经网络进行训练，以实现能够在仿真场景下模拟激光雷达采集到的点云数据。

根据本申请提供的第二方面，提供一种点云数据生成装置，包括获取单元以及生成单元。获取单元，用于获取仿真系统中目标视角对应的第一全景深度图，目标视角为在仿真系统中模拟真实环境下车辆所部署的激光雷达的视角。生成单元，用于根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的仿真参数。生成单元，还用于将第一全景深度图以及目标视角对应的特征图输入目标模型，生成目标视角对应的点云数据。

在一种可能的实施方式中，上述特征图包括入射角特征图、反射系数特征图、第一运动矢量特征图以及第二运动矢量特征图中的至少一个；入射角特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的入射角，反射系数特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的反射系数，第一运动矢量特征图包括的特征数据用于指示第一全景深度图所包括的像素点在第一时刻对应的速度，第二运动矢量特征图包括的特征数据用于指示第一全景深度图所包括的像素点在第二时刻对应的速度，第二时刻为第一时刻之后的时刻。

在一种可能的实施方式中，上述点云数据生成装置还包括确定单元，在特征图包括入射角特征图的情况下，确定单元，用于根据目标视角对应的位置以及对象的位置仿真参数，确定对象的入射角数据，对象的入射角数据用于表征从目标视角对应的位置发出的激光打到对象上的入射角。生成单元，具体用于根据对象的入射角数据以及第一全景深度图的像素坐标系，生成目标视角对应的入射角特征图，入射角特征图中的每个特征数据基于像素坐标标识。

在一种可能的实施方式中，在特征图包括反射系数特征图的情况下，确定单元，还用于根据对象的材质仿真参数，确定对象的反射系数。生成单元，具体用于根据对象的反射系数以及第一全景深度图的像素坐标系，生成目标视角对应的反射系数特征图，反射系数特征图中的每个特征数据基于像素坐标标识。

在一种可能的实施方式中，在特征图包括第一运动矢量特征图的情况下，生成单元，具体用于根据对象在第一时刻的速度仿真参数，以及第一全景深度图的像素坐标系，生成目标视角对应的第一运动矢量特征图，第一运动矢量特征图中的每个特征数据基于像素坐标标识。

在一种可能的实施方式中，在特征图包括第二运动矢量特征图的情况下，生成单元，具体用于根据对象在第二时刻的速度仿真参数，以及第一全景深度图的像素坐标系，生成目标视角对应的第二运动矢量特征图，第二运动矢量特征图中的每个特征数据基于像素坐标标识。

在一种可能的实施方式中，上述点云数据生成装置还包括处理单元。处理单元，用于将第一全景深度图以及目标视角对应的特征图输入目标模型，得到目标视角对应的点云的强度信息和深度信息。生成单元，具体用于根据目标视角对应的点云强度信息和深度信息，生成目标视角对应的点云数据。

在一种可能的实施方式中，获取单元，还用于获取目标车辆在第一场景下的运行数据，第一场景为真实环境下的场景，运行数据包括目标车辆的行驶数据以及目标车辆的激光雷达采集到的真实点云数据。确定单元，还用于确定仿真车辆在第二场景下以目标车辆的行驶数据行驶，生成的第二全景深度图以及特征图，第二场景为第一场景的仿真场景。处理单元，还用于将第二全景深度图以及特征图作为特征，将真实点云数据作为标签，对预设神经网络进行训练，得到目标模型，目标模型用于基于仿真环境下获取的全景深度图以及特征图，模拟激光雷达生成的点云数据。

根据本申请提供的第三方面，提供一种点云数据生成设备。点云数据生成设备包括存储器和处理器，存储器和处理器耦合；存储器用于存储计算机程序代码，计算机程序代码包括计算机指令；当处理器执行计算机指令时，点云数据生成设备执行上述第一方面及其任一种可能的实施方式提供的点云数据生成方法。

根据本申请提供的第四方面，提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在点云数据生成设备上运行时，使得点云数据生成设备执行上述第一方面及其任一种可能的实施方式提供的点云数据生成方法。

根据本申请提供的第五方面，提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令在在点云数据生成设备上运行时，使得点云数据生成设备执行上述第一方面及其任一种可能的实施方式提供的点云数据生成方法。

由此，本申请的上述技术特征具有以下有益效果：

(1)本申请提供的点云数据生成方法，首先在仿真系统中，获取与真实环境下所部署的激光雷达的视角相同的目标视角，并获取目标视角的第一全景深度图。进一步的，根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，以实现根据第一全景深度图和特征图，生成目标视角对应的点云数据，相当于仿真环境下激光雷达所采集到的点云数据，以实现跳过仿真激光雷达采集数据，直接根据全景深度图中包括的对象的信息，生成点云数据，消除真实环境与仿真系统的材质差异，保障自动驾驶算法测试的所需数据的准确性。

(2)本申请提供的点云数据生成方法中，通过在与真实环境相同的仿真场景下得到模型训练特征，基于真实环境下得到的模型训练标签，对预设神经网络进行训练，以实现能够在仿真场景下模拟激光雷达采集到的点云数据。

(3)本申请提供的点云数据生成方法中，基于真实激光雷达生成的点云数据进行训练得到的目标模型，能够在仿真激光雷达生成点云数据时，更好的模拟激光雷达在玻璃等透光材质的透射效果。

(4)本申请提供的点云数据生成方法中，在训练过程中，若真实激光雷达为多次回波的激光雷达，则基于多次回波的激光雷达生成的点云数据进行训练得到的目标模型，能够在仿真多次回波激光雷达生成点云数据时，更好的模拟多次镜面反射和透射效果。

需要说明的是，第二方面至第五方面中的任一种实现方式所带来的技术效果可参见第一方面中对应实现方式所带来的技术效果，此处不再赘述。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

图1是根据一示例性实施例示出的一种点云数据生成系统的结构示意图；

图2是根据一示例性实施例示出的一种点云数据生成方法的流程图；

图3是根据一示例性实施例示出的又一种点云数据生成方法的流程图；

图4是根据一示例性实施例示出的又一种点云数据生成方法的流程图；

图5是根据一示例性实施例示出的一种点云数据生成装置的框图；

图6是根据一示例性实施例示出的一种点云数据生成设备的框图。

具体实施方式

以下将参照附图和优选实施例来说明本申请的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本申请，而不是为了限制本申请的保护范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在实施例的描述中，除非另有说明，“/”表示“或”的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。此外，“至少一个”“多个”是指两个或两个以上。“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

在自动驾驶算法进行实车运行之前，通常会在仿真系统里进行测试。因此，仿真系统里各个传感器的准确性会极大地影响仿真测试的准确性，相关技术中，激光雷达通过发射激光脉冲并测量反射回来的时间来计算物体与传感器之间的距离，在仿真系统里通常是通过Ray Casting(光线投射)来模拟这一过程。但由于仿真系统里的材质、环境无法做到与真实世界完全对应，导致难以还原出激光雷达的扫描结果，进而对自动驾驶算法的测试造成影响。

为了解决上述问题，本申请提出一种点云数据生成方法、装置、设备及存储介质，点云数据生成装置获取仿真系统中目标视角对应的第一全景深度图，目标视角为在仿真系统中模拟真实环境下车辆所部署的激光雷达的视角；并根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的仿真参数。进一步的，点云数据生成装置根据第一全景深度图以及特征图，生成目标视角对应的点云数据。

这样一来，本申请提供的点云数据生成方法中，首先在仿真系统中，获取与真实环境下所部署的激光雷达的视角相同的目标视角，并获取目标视角的第一全景深度图。进一步的，根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，以实现根据第一全景深度图和特征图，生成目标视角对应的点云数据，相当于仿真环境下激光雷达所采集到的点云数据，以实现跳过仿真激光雷达采集数据，直接根据全景深度图中包括的对象的信息，生成点云数据，消除真实环境与仿真系统的材质差异，保障自动驾驶算法测试的所需数据的准确性。

图1示出一种点云数据生成系统，本申请实施例提供的点云数据生成方法可以适用于如图1所示的点云数据生成系统，用于实现在仿真环境下模拟激光雷达生成的点云数据。如图1所示，点云数据生成系统10中包括点云数据生成装置11、仿真系统12以及服务器13。

其中，点云数据生成装置11分别与仿真系统12以及服务器13连接，上述连接关系中，可以采用有线方式连接，也可以采用无线方式连接，本申请实施例对此不作限定。

点云数据生成装置11可以用于在仿真系统中，获取目标视角对应的第一全景深度图。

其中，目标时间用于在仿真系统中模拟真实环境下车辆所部署的激光雷达的视角。

点云数据生成装置11还可以用于根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图。

其中，特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的仿真参数。

点云数据生成装置11还可以用于根据第一全景深度图以及特征图，生成目标视角对应的点云数据。

仿真系统12可以为点云数据生成系统10的运维人员，基于真实环境采集到的环境数据、对象数据、车辆行驶数据等，部署的用于进行车辆仿真自动驾驶测试的系统。

服务器13可以用于存储点云数据生成装置11生成的点云数据，还可以用于存储仿真系统12的仿真参数，还可以用于存储采集到的真实环境下的数据。

图2是根据一些示例性实施例示出的一种点云数据生成方法的流程示意图。在一些实施例中，上述点云数据生成方法可以应用到如图1所示的点云数据生成系统10中的点云数据生成装置11。以下，本申请实施例以点云数据生成方法应用于点云数据生成装置11为例，对上述点云数据生成方法进行说明。

如图2所示，本申请实施例提供的点云数据生成方法，包括下述S201-S203。

S201、点云数据生成装置获取仿真系统中目标视角对应的第一全景深度图。

其中，目标视角为在仿真系统中模拟真实环境下车辆所部署的激光雷达的视角。

作为一种可能的实现方式，点云数据生成装置基于预先建立好的仿真系统，在仿真系统中模拟真实环境的激光雷达位置，采用与真实环境下激光雷达的视角相同的目标视角，以在渲染管线里渲染三维模型的方式生成第一全景深度图。

需要说明的，仿真系统的仿真环境基于真实环境下的场景预先进行布置，其中部署有多个对象，包括建筑、植被、车辆、行人、路面、标识牌以及交通灯等，为了提高仿真环境的真实感，基于各个对象在真实环境下的材质和纹理，为仿真环境下的对象赋予相应的材质和纹理；并且，为各个对象赋予了与真实环境相同的运动方向和速度，以保障后续获取到的点云数据的准确性。

需要说明的，点云数据生成装置获取到的目标视角对应的第一全景深度图中，垂直视角与激光雷达的垂直视角相同，水平视角为360度的全景视角。

可以理解的，通过以与真实环境下车辆所部署的激光雷达相同视角的目标视角，实现在仿真系统中的拍摄目标视角下的场景，获取第一全景深度图，能够将激光雷达所扫描到的对象全部包含在第一全景深度图中，以保障后续过程中所生成的点云数据的完整性。

S202、点云数据生成装置根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图。

其中，特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的仿真参数。

作为一种可能的实现方式，点云数据生成装置确定第一全景图像深度图中各个像素点对应的对象，以及对应对象的仿真参数。进一步的，点云数据生成装置确定第一全景深度图中每个像素点在像素坐标系中的像素坐标。最后，点云数据生成装置根据每个像素点对应仿真参数以及像素坐标，生成目标视角对应的特征图。

需要说明的，特征图的一种表现形式可以为二维数组，二维数组的行数为第一全景深度图中纵向像素坐标的最大值，二维数组的列数为第一全景深度图中横向像素坐标的最大值。其中，二维数组中每个元素存储该元素对应像素点，对应的仿真参数，得到与目标视角对应的特征图。

在一些实施例中，特征图包括入射角特征图、反射系数特征图、第一运动矢量特征图以及第二运动矢量特征图中的至少一个。

其中，入射角特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的入射角，反射系数特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的反射系数，第一运动矢量特征图包括的特征数据用于指示第一全景深度图所包括的像素点在第一时刻对应的速度，第二运动矢量特征图包括的特征数据用于指示第一全景深度图所包括的像素点在第二时刻对应的速度，第二时刻为第一时刻之后的时刻。

在一种示例中，在特征图为入射角特征图的情况下，点云数据生成装置根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，包括：

点云数据生成装置根据目标视角对应的位置以及对象的位置仿真参数，确定对象的入射角数据，对象的入射角数据用于表征从目标视角对应的位置发出的激光打到对象上的入射角；并根据对象的入射角数据以及第一全景深度图的像素坐标系，生成目标视角对应的入射角特征图，入射角特征图中的每个特征数据基于像素坐标标识。

作为一种可能的实现方式，点云数据生成装置根据目标视角对应的位置，以及对象的位置仿真参数，确定目标视角对应的位置到对象的位置的方向向量，进一步获取对象在仿真环境下的对象表面的法向量，进而根据方向向量以及法向量，确定对象的入射角数据。进一步的，点云数据生成装置根据对象在第一全景深度图中对应的像素点的像素坐标，将入射角数据填入二维数组中相应的元素，在对第一全景深度图中的所有像素点对应的二维数组中的元素都进行特征数据填充后，得到目标视角对应的入射角特征图。

在另一种示例中，在特征图为反射系数特征图的情况下，点云数据生成装置根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，包括：

点云数据生成装置根据对象的材质仿真参数，确定对象的反射系数；并根据对象的反射系数以及第一全景深度图的像素坐标系，生成目标视角对应的反射系数特征图，反射系数特征图中的每个特征数据基于像素坐标标识。

作为一种可能的实现方式，点云数据生成装置根据对象的材质仿真参数，以及材质与反射系数的映射关系，确定该对象的反射系数。进一步的，点云数据生成装置根据对象在第一全景深度图中对应的像素点的像素坐标，将对象的反射系数填入二维数组中相应的元素，在对第一全景深度图中的所有像素点对应的二维数组中的元素都进行特征数据填充后，得到目标视角对应的反射系数特征图。

需要说明的，反射系数用于表征该材质对于激光雷达发射出的激光的反射率，材质与反射系数的映射关系可以由点云数据生成系统的运维人员，预先在点云数据生成装置中设置，本申请实施例对此不作具体限定。

在一些实施例中，一些对象的材质并不是完全相同的，例如，植被存在树干、树叶、花等不同的材质，车辆存在金属以及塑料等不同的材质，路面存在硬化路面以及土地等材质。故在点云数据生成装置确定每个像素点对应的对象的反射系数时，根据第一像素点对应在对象的位置，确定该位置所赋予的材质，进而根据该位置所赋予的材质确定第一像素点对应的反射系数，以使得确定到的反射系数特征图更加准确。

在另一种示例中，在特征图包括第一运动矢量特征图的情况下，点云数据生成装置根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，包括：

点云数据生成装置根据对象在第一时刻的速度仿真参数，以及第一全景深度图的像素坐标系，生成目标视角对应的第一运动矢量特征图，第一运动矢量特征图中的每个特征数据基于像素坐标标识。

作为一种可能的实现方式，点云数据生成装置根据对象在第一全景深度图中对应的像素点的像素坐标，将对象在第一时刻的速度填入二维数组中相应的元素，在对第一全景深度图中的所有像素点对应的二维数组中的元素都进行特征数据填充后，得到目标视角对应的第一运动矢量特征图。

在一些实施例中，一些对象各个部位在第一时刻的速度并不是完全相同的，例如在植被的树干速度为0的情况下，树叶的速度不为0，或者树干树叶都存在速度，但由于材质的不同，导致两者被配置的速度仿真参数也不同。故点云数据生成装置首先确定第一全景深度图中第一像素点所对应的对象的部位，进而根据该对象的部位所配置的在第一时刻的速度仿真参数，确定第一像素点对应的在第一时刻的速度，以使得确定到的第一运动矢量特征图更加准确。

在另一种示例中，在特征图为第二运动矢量特征图的情况下，点云数据生成装置根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，包括：

点云数据生成装置根据对象在第二时刻的速度仿真参数，以及第一全景深度图的像素坐标系，生成目标视角对应的第二运动矢量特征图，第二运动矢量特征图中的每个特征数据基于像素坐标标识。

需要说明的，点云数据生成装置生成第二运动矢量特征图具体实现方式，可以参照上述实施例中生成第一运动矢量特征图的实现方式，将对象在第一时刻的速度更换为第二时刻的速度即可，此处不再进行赘述。

S203、点云数据生成装置将第一全景深度图以及目标视角对应的特征图输入目标模型，生成目标视角对应的点云数据。

作为一种可能的实现方式，点云数据生成装置基于上述步骤S201中获取到的第一全景深度图，以及步骤S202中生成的特征图，基于第一全景深度图中每个像素点对应的特征数据，按照激光雷达对采集到的数据的处理方式，生成目标视角对应的点云数据。

作为另外一种可能的实现方式，点云数据生成装置基于上述步骤S201中获取到的第一全景深度图以及步骤S202中生成的目标视角对应的特征图，输入到目标模型中，得到目标视角对应的点云的强度信息和深度信息。进一步的，点云数据生成装置基于目标视角对应的点云强度信息和深度信息，将点云的强度信息和深度信息进行组合，生成目标视角对应的点云数据。

需要说明的，目标模型用于基于输入的与目标视角对应的全景深度图以及特征图，生成并输出与目标视角对应的点云数据，具体对于目标模型的训练，可以参照本申请实施例的后续记载。

在一些实施例中，点云数据生成装置在生成目标视角对应的点云数据后，基于预设格式进行存储，例如，预设格式可以为.pcb等格式。

可以理解的，本申请上述实施例提供的点云数据生成方法中，首先在仿真系统中，获取与真实环境下所部署的激光雷达的视角相同的目标视角，并获取目标视角的第一全景深度图。进一步的，根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，以实现根据第一全景深度图和特征图，生成目标视角对应的点云数据，相当于仿真环境下激光雷达所采集到的点云数据，以实现跳过仿真激光雷达采集数据，直接根据全景深度图中包括的对象的信息，生成点云数据，消除真实环境与仿真系统的材质差异，保障自动驾驶算法测试的所需数据的准确性。并且，由于目标模型是基于真实激光雷达生成的点云数据进行训练得到的，实现了更好的模拟激光雷达在玻璃等透光材质的透射效果。

在一种设计中，为了得到目标模型，本申请实施例提供的点云数据生成方法，如图3所示，还包括S301-S303。

S301、点云数据生成装置获取目标车辆在第一场景下的运行数据。

其中，第一场景为真实环境下的场景，运行数据包括目标车辆的行驶数据以及目标车辆的激光雷达采集到的真实点云数据。

作为一种可能的实现方式，目标车辆上部署有激光雷达，目标车辆在行驶过程中，通过车机向服务器上报通过激光雷达采集到的真实点云数据，以及在行驶过程中的行驶数据。

相应的，点云数据生成装置从服务器基于目标车辆的标识，获取目标车辆上报的运行数据，得到目标车辆的行驶数据以及真实点云数据。

S302、点云数据生成装置确定仿真车辆在第二场景下以目标车辆的行驶数据行驶，生成的第二全景深度图以及特征图。

其中，第二场景为第一场景的仿真场景。

作为一种可能的实现方式，点云数据生成装置在第二场景下，按照如上述步骤S201所示的实现方式，获取仿真车辆以目标车辆的行驶数据行驶得到的第二全景深度图，并按照如上述步骤S202所示的实现方式，生成在仿真车辆以目标车辆的行驶数据行驶的情况下，与仿真车辆的目标视角对应的特征图。

需要说明的，点云数据生成装置生成第二全景深度图以及特征图的具体实现方式，可以参照本申请上述实施例步骤S201、S202的记载，此处不再进行赘述。

在一些实施例中，第二场景可以由点云数据生成系统的运维人员搭建，供点云数据生成装置调用。其中，获取目标车辆在第一场景下运行时，车辆上多个摄像头传感器拍摄到的第一场景的图片，以及目标车辆上的激光雷达采集到的点云数据，获取第一场景中的多个对象。进一步的，点云数据生成系统的运维人员，根据第一场景的图片，以及第一场景中多个对象的点云数据，搭建第二场景。

示例性的，第二场景的搭建过程包括：对多个对象进行建模，得到多个对象的三维模型。进一步的，根据多个对象在真实环境下的材质以及纹理，对多个对象的三维模型赋予材质以及纹理。进一步的，根据多个对象在真实环境下的运动情况，多个对象配置与真实环境下相同的运动方向以及速度。

S303、点云数据生成装置将第二全景深度图以及特征图作为特征，将真实点云数据作为标签，对预设神经网络进行训练，得到目标模型。

作为一种可能的实现方式，点云数据生成装置基于特征第二全景深度图和特征图，以及标签真实点云数据，对预设神经网络进行有监督训练，生成目标模型。

需要说明的，在对预设神经网络进行训练的过程中，为了保障目标模型的准确性，基于多组第二全景深度图、特征图以及真实点云数据，对预设神经网络进行训练。

其中，预设神经网络可以由点云数据生成系统的运维人员预先在点云数据生成装置中设置，示例性的，预设神经网络可以为卷积神经网络(convolutional neuralnetwork，CNN)，至少包括两组卷积核，且每组卷积核中存在五个卷积核，通过向下采样实现获取第二全景深度图和特征图的深层信息，进而通过向上采样，得到点云的强度信息和深度信息。

在一些实施例中，预设神经网络的输入数据为通道数为5的二维数组，输出数据为通道数为2的二维数组。输入数据包括第二全景深度图、入射角特征图、反射系数特征图、第一运动矢量特征图以及第二运动矢量特征图；输出数据为点云的强度和点云的深度。

在一些实施例中，点云数据生成装置在预设神经网络输出点云的强度和点云的深度后，组合得到训练点云数据。并进一步的，确定训练点云数据以及真实点云数据的交叉熵，在交叉熵小于预设交叉熵的情况下，输出训练点云数据。

在一些实施例中，若目标车辆所部署的激光雷达为多次回波激光雷达，则基于多次回波激光雷达采集到的点云数据作为标签，训练目标模型。这样一来，能够使得在通过目标模型仿真多次回波激光雷达生成点云数据时，更好的模拟多次镜面反射和透射效果。

可以理解的，本申请上述实施例提供的点云数据生成方法中，通过在与真实环境相同的仿真场景下得到模型训练特征，基于真实环境下得到的模型训练标签，对预设神经网络进行训练，以实现能够在仿真场景下模拟激光雷达采集到的点云数据。

在一种设计中，结合本申请上述实施例，本申请实施例提供的点云数据生成方法，如图4所示，包括S401-S404。

S401、点云数据生成装置获取真实场景下目标车辆的运行数据。

S402、点云数据生成装置获取仿真场景下仿真车辆对应的全景深度图。

S403、点云数据生成装置基于全景深度图，生成与全景深度图对应的入射角特征图、反射系数特征图、第一运动矢量特征图以及第二运动矢量特征图。

S404、点云数据生成装置训练预设神经网络，得到目标模型。

其中，点云数据生成装置将全景深度图、入射角特征图、反射系数特征图、第一运动矢量特征图、第二运动矢量特征图以及真实点云数据输入预设神经网络，对预设神经网络进行训练。

需要说明的，上述步骤S401-S404中记载的点云数据生成方法的具体实现方式，可以参照本申请上述实施例中的记载，此处不再进行赘述。

上述主要从方法的角度对本申请实施例提供的方案进行了介绍。为了实现上述功能，点云数据生成装置或点云数据生成设备包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法，示例性的对点云数据生成装置或点云数据生成设备进行功能模块的划分，例如，点云数据生成装置或点云数据生成设备可以包括对应各个功能划分的各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图5为本申请实施例提供的一种点云数据生成装置的结构示意图。该点云数据生成装置用于执行上述点云数据生成方法。如图5所示，该点云数据生成装置50包括获取单元501以及生成单元502。

获取单元501，用于获取仿真系统中目标视角对应的第一全景深度图，目标视角为在仿真系统中模拟真实环境下车辆所部署的激光雷达的视角。

生成单元502，用于根据第一全景深度图中对象的仿真参数以及第一全景深度图，生成目标视角对应的特征图，特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的仿真参数。

生成单元502，还用于根据第一全景深度图以及特征图，生成目标视角对应的点云数据。

可选的，上述特征图包括入射角特征图、反射系数特征图、第一运动矢量特征图以及第二运动矢量特征图中的至少一个；入射角特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的入射角，反射系数特征图包括的特征数据用于指示第一全景深度图所包括的像素点对应的反射系数，第一运动矢量特征图包括的特征数据用于指示第一全景深度图所包括的像素点在第一时刻对应的速度，第二运动矢量特征图包括的特征数据用于指示第一全景深度图所包括的像素点在第二时刻对应的速度，第二时刻为第一时刻之后的时刻。

可选的，上述点云数据生成装置50还包括确定单元503，在特征图包括入射角特征图的情况下，确定单元503，用于根据目标视角对应的位置以及对象的位置仿真参数，确定对象的入射角数据，对象的入射角数据用于表征从目标视角对应的位置发出的激光打到对象上的入射角。

生成单元502，具体用于根据对象的入射角数据以及第一全景深度图的像素坐标系，生成目标视角对应的入射角特征图，入射角特征图中的每个特征数据基于像素坐标标识。

可选的，在特征图包括反射系数特征图的情况下，确定单元503，还用于根据对象的材质仿真参数，确定对象的反射系数。

生成单元502，具体用于根据对象的反射系数以及第一全景深度图的像素坐标系，生成目标视角对应的反射系数特征图，反射系数特征图中的每个特征数据基于像素坐标标识。

可选的，在特征图包括第一运动矢量特征图的情况下，生成单元502，具体用于根据对象在第一时刻的速度仿真参数，以及第一全景深度图的像素坐标系，生成目标视角对应的第一运动矢量特征图，第一运动矢量特征图中的每个特征数据基于像素坐标标识。

可选的，在特征图包括第二运动矢量特征图的情况下，生成单元502，具体用于根据对象在第二时刻的速度仿真参数，以及第一全景深度图的像素坐标系，生成目标视角对应的第二运动矢量特征图，第二运动矢量特征图中的每个特征数据基于像素坐标标识。

可选的，上述点云数据生成装置50还包括处理单元504。

处理单元504，用于将第一全景深度图以及目标视角对应的特征图输入目标模型，得到目标视角对应的点云的强度信息和深度信息。

生成单元502，具体用于根据目标视角对应的点云强度信息和深度信息，生成目标视角对应的点云数据。

可选的，获取单元501，还用于获取目标车辆在第一场景下的运行数据，第一场景为真实环境下的场景，运行数据包括目标车辆的行驶数据以及目标车辆的激光雷达采集到的真实点云数据。

确定单元503，还用于确定仿真车辆在第二场景下以目标车辆的行驶数据行驶，生成的第二全景深度图以及特征图，第二场景为第一场景的仿真场景。

处理单元504，还用于将第二全景深度图以及特征图作为特征，将真实点云数据作为标签，对预设神经网络进行训练，得到目标模型。

图6是根据一示例性实施例示出的一种点云数据生成设备的框图。如图6所示，点云数据生成设备60包括但不限于：处理器601和存储器602。

其中，上述的存储器602，用于存储上述处理器601的可执行指令。可以理解的是，上述处理器601被配置为执行指令，以实现上述实施例中的点云数据生成方法。

需要说明的是，本领域技术人员可以理解，图6中示出的点云数据生成设备结构并不构成对点云数据生成设备的限定，点云数据生成设备可以包括比图6所示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

处理器601是点云数据生成设备的控制中心，利用各种接口和线路连接整个点云数据生成设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行点云数据生成设备的各种功能和处理数据，从而对点云数据生成设备进行整体监控。处理器601可包括一个或多个处理单元。可选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。

存储器602可用于存储软件程序以及各种数据。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能模块所需的应用程序(比如确定单元、处理单元等)等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器602，上述指令可由点云数据生成设备60的处理器601执行以实现上述实施例中的点云数据生成方法。

在实际实现时，图5中的获取单元501、生成单元502、确定单元503，以及处理单元504的功能均可以由图6中的处理器601调用存储器602中存储的计算机程序实现。其具体的执行过程可参考上实施例中的点云数据生成方法部分的描述，这里不再赘述。

可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存储存储器(Random Access Memory，RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，本申请实施例还提供了一种包括一条或多条指令的计算机程序产品，该一条或多条指令可以由点云数据生成设备的处理器601执行以完成上述实施例中的点云数据生成方法。

需要说明的是，上述计算机可读存储介质中的指令或计算机程序产品中的一条或多条指令被点云数据生成设备的处理器执行时实现上述点云数据生成方法实施例的各个过程，且能达到与上述点云数据生成方法相同的技术效果，为避免重复，这里不再赘述。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全分类部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全分类部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全分类部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全分类部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种点云数据生成方法，其特征在于，所述方法包括：

获取仿真系统中目标视角对应的第一全景深度图，所述目标视角为在所述仿真系统中模拟真实环境下车辆所部署的激光雷达的视角；

根据所述第一全景深度图中对象的仿真参数以及所述第一全景深度图，生成所述目标视角对应的特征图，所述特征图包括的特征数据用于指示所述第一全景深度图所包括的像素点对应的仿真参数；

将所述第一全景深度图以及所述目标视角对应的特征图输入目标模型，生成所述目标视角对应的点云数据。

2.根据权利要求1所述的点云数据生成方法，其特征在于，所述特征图包括入射角特征图、反射系数特征图、第一运动矢量特征图以及第二运动矢量特征图中的至少一个；所述入射角特征图包括的特征数据用于指示所述第一全景深度图所包括的像素点对应的入射角，所述反射系数特征图包括的特征数据用于指示所述第一全景深度图所包括的像素点对应的反射系数，所述第一运动矢量特征图包括的特征数据用于指示所述第一全景深度图所包括的像素点在第一时刻对应的速度，所述第二运动矢量特征图包括的特征数据用于指示所述第一全景深度图所包括的像素点在第二时刻对应的速度，所述第二时刻为所述第一时刻之后的时刻。

3.根据权利要求2所述的点云数据生成方法，其特征在于，在所述特征图包括入射角特征图的情况下，所述根据所述第一全景深度图中对象的仿真参数以及所述第一全景深度图，生成所述目标视角对应的特征图，包括：

根据所述目标视角对应的位置以及所述对象的位置仿真参数，确定所述对象的入射角数据，所述对象的入射角数据用于表征从所述目标视角对应的位置发出的激光打到所述对象上的入射角；

根据所述对象的入射角数据以及所述第一全景深度图的像素坐标系，生成所述目标视角对应的所述入射角特征图，所述入射角特征图中的每个特征数据基于像素坐标标识。

4.根据权利要求2所述的点云数据生成方法，其特征在于，在所述特征图包括反射系数特征图的情况下，所述根据所述第一全景深度图中对象的仿真参数以及所述第一全景深度图，生成所述目标视角对应的特征图，包括：

根据所述对象的材质仿真参数，确定所述对象的反射系数；

根据所述对象的反射系数以及所述第一全景深度图的像素坐标系，生成所述目标视角对应的所述反射系数特征图，所述反射系数特征图中的每个特征数据基于像素坐标标识。

5.根据权利要求2所述的点云数据生成方法，其特征在于，在所述特征图包括第一运动矢量特征图的情况下，所述根据所述第一全景深度图中对象的仿真参数以及所述第一全景深度图，生成所述目标视角对应的特征图，包括：

根据所述对象在所述第一时刻的速度仿真参数，以及所述第一全景深度图的像素坐标系，生成所述目标视角对应的所述第一运动矢量特征图，所述第一运动矢量特征图中的每个特征数据基于像素坐标标识。

6.根据权利要求2所述的点云数据生成方法，其特征在于，在所述特征图包括第二运动矢量特征图的情况下，所述根据所述第一全景深度图中对象的仿真参数以及所述第一全景深度图，生成所述目标视角对应的特征图，包括：

根据所述对象在所述第二时刻的速度仿真参数，以及所述第一全景深度图的像素坐标系，生成所述目标视角对应的所述第二运动矢量特征图，所述第二运动矢量特征图中的每个特征数据基于像素坐标标识。

7.根据权利要求1-6中任意一项所述的点云数据生成方法，其特征在于，所述将所述第一全景深度图以及所述目标视角对应的特征图输入目标模型，生成所述目标视角对应的点云数据，包括：

将所述第一全景深度图以及所述目标视角对应的特征图输入所述目标模型，得到所述目标视角对应的点云的强度信息和深度信息；

根据所述目标视角对应的点云强度信息和深度信息，生成所述目标视角对应的点云数据。

8.根据权利要求7所述的点云数据生成方法，其特征在于，所述方法还包括：

获取目标车辆在第一场景下的运行数据，所述第一场景为真实环境下的场景，所述运行数据包括所述目标车辆的行驶数据以及所述目标车辆的激光雷达采集到的真实点云数据；

确定仿真车辆在第二场景下以所述目标车辆的行驶数据行驶，生成的第二全景深度图以及特征图，所述第二场景为所述第一场景的仿真场景；

将所述第二全景深度图以及特征图作为特征，将所述真实点云数据作为标签，对预设神经网络进行训练，得到所述目标模型。

9.一种点云数据生成装置，其特征在于，包括获取单元以及生成单元；

所述获取单元，用于获取仿真系统中目标视角对应的第一全景深度图，所述目标视角为在所述仿真系统中模拟真实环境下车辆所部署的激光雷达的视角；

所述生成单元，用于将所述第一全景深度图以及所述目标视角对应的特征图输入目标模型，生成所述目标视角对应的特征图，所述特征图包括的特征数据用于指示所述第一全景深度图所包括的像素点对应的仿真参数；

所述生成单元，还用于根据所述第一全景深度图以及所述特征图，生成所述目标视角对应的点云数据。

10.根据权利要求9所述的点云数据生成装置，其特征在于，所述点云数据生成装置还包括确定单元以及处理单元；

所述获取单元，还用于获取目标车辆在第一场景下的运行数据，所述第一场景为真实环境下的场景，所述运行数据包括所述目标车辆的行驶数据以及所述目标车辆的激光雷达采集到的真实点云数据；

所述确定单元，用于确定仿真车辆在第二场景下以所述目标车辆的行驶数据行驶，生成的第二全景深度图以及特征图，所述第二场景为所述第一场景的仿真场景；

所述处理单元，用于将所述第二全景深度图以及特征图作为特征，将所述真实点云数据作为标签，对预设神经网络进行训练，得到目标模型，所述目标模型用于基于仿真环境下获取的全景深度图以及特征图，模拟激光雷达生成的点云数据。

11.一种点云数据生成设备，其特征在于，包括存储器和处理器；

所述存储器和所述处理器耦合；

所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；

当所述处理器执行所述计算机指令时，所述点云数据生成设备执行如权利要求1-8中任意一项所述的点云数据生成方法。

12.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令在点云数据生成设备上运行时，使得所述点云数据生成设备执行如权利要求1-8中任意一项所述的点云数据生成方法。