CN114663598A - 三维建模方法、装置和存储介质 - Google Patents

Abstract

本申请涉及一种三维建模方法、装置和存储介质。上述方法包括：获取针对行车区域采集的多帧原始点云数据；行车区域包括多个对象；接收对象的感知结果，并根据感知结果，从多帧原始点云数据中确定出目标对象、以及目标对象对应的多帧点云数据；对多帧点云数据进行累积处理，得到累积后的待处理点云数据；对待处理点云进行点云配准处理，得到配准后的目标点云数据；根据目标点云数据对目标对象进行三维建模。采用本方法能够提高三维模型的重建效率并保证模型真实性。

Description

三维建模方法、装置和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种三维建模方法、装置和存储介质。

背景技术

随着计算机技术的发展，三维模型重建技术在自动驾驶等领域扮演着重要角色，通过对道路场景中目标对象进行三维仿真建模，可获得真实的自动驾驶测试场景。

目前，现有的建模方法通常先采用人工编辑的方式建立多个CAD模型，再基于多个CAD模型对目标对象的三维仿真模型进行重建。由于通过人工编辑方式来建立模型的过程会花费大量时间，且对于不同的目标对象需要创建多个不同的CAD模型，因此，如何高效地对目标对象进行三维建模是本申请需要解决的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高建模效率的三维建模方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种三维建模方法。所述方法包括：

获取针对行车区域采集的多帧原始点云数据；所述行车区域包括多个对象；

接收所述对象的感知结果，并根据所述感知结果，从所述多帧原始点云数据中确定出目标对象、以及所述目标对象对应的多帧点云数据；

对所述多帧点云数据进行累积处理，得到累积后的待处理点云数据；

对所述待处理点云进行点云配准处理，得到配准后的目标点云数据；

根据所述目标点云数据对所述目标对象进行三维建模。

在一个实施例中，所述感知结果包括检测框和置信度；所述根据所述感知结果，从所述多帧原始点云数据中确定出目标对象、以及所述目标对象对应的多帧点云数据，包括：根据所述对象的检测框的置信度，从所述原始点云数据所包括的对象中筛选出目标对象；针对多帧原始点云数据中的每帧原始点云数据，均根据所述目标对象的检测框，对所述当前帧原始点云数据进行分割处理，得到所述目标对象对应的当前帧点云数据。

在一个实施例中，在根据所述目标对象的检测框，对所述当前帧原始点云数据进行分割处理，得到所述目标对象对应的当前帧点云数据之前，上述方法还包括：以所述行车区域的数据采集位置为基准，建立激光雷达坐标系；以所述目标对象的检测框位置为基准，建立世界坐标系；确定所述激光雷达坐标系与所述世界坐标系之间的参数转换矩阵；根据所述参数转换矩阵，将所述原始点云数据和所述目标对象的检测框转换到同一坐标系下；所述根据所述目标对象的检测框，对所述当前帧原始点云数据进行分割处理，得到所述目标对象对应的当前帧点云数据，包括：针对所述目标对象的多个检测框中的每个检测框，均根据所述目标对象的当前检测框，对同一坐标系下的所述当前帧原始点云数据进行分割处理，得到所述目标对象对应的当前帧点云数据。

在一个实施例中，对所述多帧点云数据进行累积处理，得到累积后的待处理点云数据，包括：确定目标累积位置；对于多帧点云数据中的每帧点云数据，均基于目标累积位置确定与当前帧点云数据相对应的坐标转换矩阵；通过所述坐标转换矩阵，将所述当前帧点云数据所对应的点云坐标转换至目标累积位置所对应的目标区域处，得到所述当前帧点云数据对应的当前帧待处理点云数据。

在一个实施例中，在对所述多帧点云数据进行累积处理，得到累积后的待处理点云数据之后，上述方法还包括：对所述待处理点云数据进行检测识别，确定所述目标对象的结构类型；当结构类型为轴对称类型时，确定所述目标对象的对称轴参数；根据所述对称轴参数，对所述目标对象的待处理点云数据进行镜像处理，得到与待处理点云数据相对应的镜像点云数据；通过所述镜像点云数据，对所述待处理点云数据中缺失的空白点云数据进行填充，得到填充后的待处理点云数据。

在一个实施例中，所述对所述待处理点云进行点云配准处理，得到配准后的目标点云数据，包括：确定多帧待处理点云数据中的当前帧待处理点云数据；确定与所述当前帧待处理点云数据相邻的相邻点云数据；对当前待处理点云数据与所述相邻点云数据进行相似度判断；当相似度大于或等于相似度阈值时，将所述当前待处理点云数据与所述相邻点云数据进行点云配准处理，得到目标点云数据；将目标点云数据作为新的当前帧待处理点云数据，并返回确定与当前帧待处理点云数据相邻的相邻点云数据的步骤继续执行，直至所述多帧待处理点云数据中的每帧待处理点云数据与所述相邻点云数据配准完毕。

在一个实施例中，在所述对所述待处理点云进行点云配准处理，得到配准后的目标点云数据之后，所述方法还包括：确定所述目标点云数据中的异常点云数据，并对所述目标点云数据进行异常点云过滤处理，得到首次过滤后的目标点云数据；确定首次过滤后的所述目标点云数据的第一法向量和拟合平面；通过所述拟合平面对所述第一法向量进行平滑过滤处理，得到再次过滤后的目标点云数据。

在一个实施例中，根据所述目标点云数据对所述目标对象进行三维建模，包括：确定所述目标对象对应的指示函数和所述目标点云数据的第二法向量；基于所述指示函数、所述目标点云数据和所述目标点云数据的第二法向量，对所述目标对象进行表面估计，得到表面估计结果；根据所述表面估计结果提取目标对象的三维等值面，并根据所述三维等值面对所述目标对象进行三维建模。

第二方面，本申请还提供了一种三维建模装置。所述装置包括：

点云获取模块，用于获取针对行车区域采集的多帧原始点云数据；所述行车区域包括多个对象；

点云处理模块，用于接收所述对象的感知结果，并根据所述感知结果，从所述多帧原始点云数据中确定出目标对象、以及所述目标对象对应的多帧点云数据；对所述多帧点云数据进行累积处理，得到累积后的待处理点云数据；对所述待处理点云进行点云配准处理，得到配准后的目标点云数据；

点云建模模块，用于根据所述目标点云数据对所述目标对象进行三维建模。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取针对行车区域采集的多帧原始点云数据；所述行车区域包括多个对象；

接收所述对象的感知结果，并根据所述感知结果，从所述多帧原始点云数据中确定出目标对象、以及所述目标对象对应的多帧点云数据；

对所述多帧点云数据进行累积处理，得到累积后的待处理点云数据；

对所述待处理点云进行点云配准处理，得到配准后的目标点云数据；

根据所述目标点云数据对所述目标对象进行三维建模。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取针对行车区域采集的多帧原始点云数据；所述行车区域包括多个对象；

接收所述对象的感知结果，并根据所述感知结果，从所述多帧原始点云数据中确定出目标对象、以及所述目标对象对应的多帧点云数据；

对所述多帧点云数据进行累积处理，得到累积后的待处理点云数据；

对所述待处理点云进行点云配准处理，得到配准后的目标点云数据；

根据所述目标点云数据对所述目标对象进行三维建模。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取针对行车区域采集的多帧原始点云数据；所述行车区域包括多个对象；

接收所述对象的感知结果，并根据所述感知结果，从所述多帧原始点云数据中确定出目标对象、以及所述目标对象对应的多帧点云数据；

对所述多帧点云数据进行累积处理，得到累积后的待处理点云数据；

对所述待处理点云进行点云配准处理，得到配准后的目标点云数据；

根据所述目标点云数据对所述目标对象进行三维建模。

上述三维建模方法、装置、计算机设备、存储介质和计算机程序产品，通过获取针对行车区域采集的多帧原始点云数据，并接收对象的感知结果，从而根据感知结果，从多帧原始点云数据中确定出目标对象、以及目标对象对应的多帧点云数据；通过对多帧点云数据进行累积处理，得到累积后的待处理点云数据，进而对待处理点云进行点云配准处理，得到配准后的目标点云数据，如此，便可基于目标点云数据对目标对象进行三维建模。由于本申请是在对多帧点云数据进行处理，得到目标点云数据后，自动基于目标点云数据来对目标对象进行三维建模的，因此，相较于传统通过人工编辑方式来建立模型的方式，本申请可自动完成目标对象的三维建模，从而大大提高了三维建模的效率。同时，由于是将点云数据进行累积处理、点云配准处理之后所形成的目标点云数据作为建模数据，因此还提高了通过目标点云数据进行三维模型重建的准确性。

此外，三维模型重建的建模数据来源于记录的真实点云数据，保证了所建模型的真实性，并减小了仿真数据与真实数据之间的差异，进而保证后续将三维模型用于自动驾驶等其他算法模块开发与测试的可靠性。

附图说明

图1为一个实施例中三维建模方法的应用环境图；

图2为一个实施例中三维建模方法的流程示意图；

图3为一个实施例中行车区域的场景效果图；

图4为一个实施例中多帧点云数据的效果图；

图5为一个实施例中目标点云数据的效果图；

图6为另一个实施例中三维建模方法的流程示意图；

图7为一个实施例中三维建模装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的三维建模方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可获取针对行车区域中采集的多帧原始点云数据和行车区域中多个对象的感知结果，并将多帧原始点云数据和感知结果发送至服务器104。服务器104对接收到的和感知结果和多帧原始点云数据进行处理，可得到目标点云数据，服务器104根据目标点云数据对目标对象进行三维建模，并将三维建模的结果发送至终端102，以使终端102对目标对象的三维模型进行展示。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、智能车载设备、平板电脑、物联网设备和便携式可穿戴设备，服务器104可用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种三维建模方法，以该方法应用于计算机设备为例进行说明，该计算机设备可为图1中的终端或服务器。三维建模方法包括以下步骤：

步骤202，获取针对行车区域采集的多帧原始点云数据；行车区域包括多个对象。

其中，点云数据是指通过传感器得到的对象外观表面的点数据集合，例如传感器可以是一种激光雷达、毫米波雷达或超声波雷达等；原始点云数据中包含有行车区域中的各种对象的点云数据，例如，行驶车辆、行人、建筑物、车道线、街道围栏等的点云数据等。

具体地，当用户需要对行车区域中的行驶车辆进行三维建模时，用户可通过触发激光雷达按照预设的扫描频率来对行车区域进行扫描，例如，预设扫描频率为10Hz，得到每个扫描频率各自对应的一帧原始点云数据，并将采集到的每帧原始点云数据输入至计算机设备中。如图3所示，图3为扫描形成的行车区域的场景效果图。

在一个实施例中，可通过行车区域中的主车车辆对其他行驶车辆进行点云数据采集，其中，主车车辆可为一种配备有传感器和自动驾驶系统的车辆，当主车车辆在路上行驶时，会通过传感器记录周围环境、并通过感知模块对周围环境的对象进行识别，并将传感器获取的原始点云数据和识别后的对象感知结果存储在数据库中，例如，存储至主车车辆的车载硬盘中。

步骤204，接收对象的感知结果，并根据感知结果，从多帧原始点云数据中确定出目标对象、以及目标对象对应的多帧点云数据。

具体地，计算机设备通过预先训练好的感知算法，对每帧原始点云数据中的对象进行感知识别，分别得到每个对象各自对应的感知结果。其中，参考图3所示，感知结果可为一种检测框。计算机设备根据感知结果可确定用户需要进行三维建模的目标对象，如将检测框的预测概率达到概率阈值的对象作为目标对象，其中，目标对象可为行驶车辆。计算设备根据感知结果可对多帧原始点云数据进行分割处理，得到目标对象对应的多帧点云数据，也即将行驶车辆对应的点云数据从中原始点云数据提取出来，示例性如图4所示，图4为分割后形成的多帧点云数据效果图。

在一个实施例中，进行感知识别可为一种线下处理过程，也即将也每帧原始点云数据传输至控制端后，再进行感知识别；也可为一种线上处理过程，也即通过直接启动主车车辆中的感知算法模块，进行线上感知处理。容易理解的，当通过行驶中的主车车辆进行线上感知处理时，每个对象各自对应的检测框数量与各对象在主车车辆的视界范围内的出现时长有关。

在一个实施例中，计算机设备根据目标对象的检测框，对原始点云数据进行分割处理，也可为对目标对象的点云数据进行去除，仅留下行车区域的背景环境所对应的背景点云数据。计算机设备对背景环境所对应的每帧背景点云数据进行融合处理，得到融合后的背景点云数据，并通过融合后的背景点云数据对背景环境建立地图模型。

在一个实施例中，计算机设备响应于用户的选择操作，确定在自动驾驶仿真测试时需要测试的目标对象，并将目标对象的三维模型与背景环境的地图模型进行组合，从而建立目标对象的真实行驶仿真环境。

本实施例中，根据目标对象的检测框对原始点云数据进行分割处理后，使得后续既能对行车区域中的目标对象进行建立三维模型，也能对行车区域中的背景环境建立地图模型，也能根据实际用户对自动驾驶仿真测试时所需要的场景，将目标对象的三维模型与背景环境的地图模型进行组合，更体现了仿真测试的真实性。

步骤206，对多帧点云数据进行累积处理，得到累积后的待处理点云数据。

其中，由于行车区域中目标对象为行驶状态，当激光雷达对目标对象进行多次扫描时，会使目标对象的每帧点云数据产生一种运动畸变，也即每帧点云数据不在同一坐标下，因此需要将每帧点云数据进行累积处理，也即将不同坐标下的每帧点云数据进行坐标配准。

在一个实施例中，对多帧点云数据进行累积处理，得到累积后的待处理点云数据，包括：确定目标累积位置；对于多帧点云数据中的每帧点云数据，均基于目标累积位置确定与当前帧点云数据相对应的坐标转换矩阵；通过坐标转换矩阵，将当前帧点云数据所对应的点云坐标转换至目标累积位置所对应的目标区域处，得到当前帧点云数据对应的当前帧待处理点云数据。

其中，目标累积位置可为任意一帧点云数据所对应的检测框区域，也可为用户自定义的行车区域中的其他检测框区域。

具体地，计算机设备确定每帧点云数据对应的目标累积位置，并基于目标累积位置确定与每帧点云数据各自对应的坐标转换矩阵；容易理解的，每帧点云数据产生的运动畸变不同，所对应的坐标转换矩阵并不相同。计算机设备将对每帧点云数据分别进行累积处理，使得每帧点云数据均转换到目标累积位置所对应的目标区域下，也即将每帧点云数据的点云坐标与各自对应的坐标转换矩阵相乘，得到位于目标区域下的每帧待处理点云数据的点云坐标。

本实施例中，通过将每帧点云数据均转换到目标累积位置所对应的目标区域下，完成了对目标对象的点云数据的初步累计，使得后续能对待处理点云数据进行点云配准处理。

步骤208，对待处理点云进行点云配准处理，得到配准后的目标点云数据。

其中，点云配准处理为一种在对每帧待处理点云数据进行精准匹配，并将匹配好的多帧待处理点云数据融合成一帧目标点云数据的过程。

具体地，计算机设备根据待处理点云数据的点云特征，确定相邻两帧待处理点云数据之间的相似度，进而根据相邻两帧待处理点云数据之间的相似度，对待处理点云进行点云配准处理，其中，两帧待处理点云数据之间的点云特征越相似，相似度就越高。当相似度大于等于相似度阈值时，则利用点云配准算法进行点云配准来提高点云累计的精确度；当相似度小于相似度阈值时，则相邻两帧之间可能发生了遮挡，从而造成相邻两帧之间差异较大，因此，该相邻两帧之间可跳过点云配准处理的步骤。

在一个实施例中，以连续10帧待处理点云数据为例，通过分别计算相邻两帧之间的相似度来进行点云配准处理，假设车辆在行驶过程中，由于捕获第5帧以及第6帧时发生了物体遮挡，因而造成第5帧与第6帧之间的相似度小于相似度阈值，而前5帧中的每相邻两帧之间的相似度均大于相似度阈值，后5帧中的每相邻两帧之间的相似度均大于相似度阈值，因此，首先对前5帧的待处理点云进行点云配准处理，当完成第4帧待处理点云和第5帧待处理点云之间的点云配准处理后，跳过第5帧待处理点云和第6帧待处理点云之间的点云配准处理的步骤，继续以第6帧为新的起始帧完成后5帧的点云配准处理。最后再对前5帧的点云配准处理结果和后5帧的点云配准处理结果进行一次点云配准处理判断。经过点云配准处理后得到的目标点云数据如图5所示，图5为融合处理后的目标点云数据的效果图。

在一个实施例中，对相邻两帧待处理点云数据进行精准匹配的方法可为一种点云配准算法，例如迭代最近点算法。

在一个实施例中，当相邻两帧待处理点云数据之间的相似度远远小于相似度阈值时，此时可认为目标对象存在遮挡情况，物体点云在经过点云累积和点云配准处理后形状仍然不完整，可通过预先训练好的对象点云模型对待处理点云数据进行形状补齐。

步骤210，根据目标点云数据对目标对象进行三维建模。

其中，三维建模的方法可包括区域扩张重建法、基于隐式重建法和基于统计学重建法等。计算机设备通过泊松算法对非结构化的目标点云数据进行三维建模，得到目标对象的三维结构模型，其中，三维结构模型可为一种三角形网络模型。

上述三维建模方法中，通过获取针对行车区域采集的多帧原始点云数据，并接收对象的感知结果，从而根据感知结果，从多帧原始点云数据中确定出目标对象、以及目标对象对应的多帧点云数据；通过对多帧点云数据进行累积处理，得到累积后的待处理点云数据，进而对待处理点云进行点云配准处理，得到配准后的目标点云数据，如此，便可基于目标点云数据对目标对象进行三维建模。由于本申请是在对多帧点云数据进行处理，得到目标点云数据后，自动基于目标点云数据来对目标对象进行三维建模的，因此，相较于传统通过人工编辑方式来建立模型的方式，本申请可自动完成目标对象的三维建模，从而大大提高了三维建模的效率。同时，由于是将点云数据进行累积处理、点云配准处理之后所形成的目标点云数据作为建模数据，因此还提高了通过目标点云数据进行三维模型重建的准确性。

在一个实施例中，感知结果包括检测框和置信度；根据感知结果，从多帧原始点云数据中确定出目标对象、以及目标对象对应的多帧点云数据获取针对行车区域中的目标对象采集的多帧点云数据，包括：根据对象的检测框的置信度，从原始点云数据所包括的对象中筛选出目标对象；针对多帧原始点云数据中的每帧原始点云数据，均根据目标对象的检测框对当前帧原始点云数据进行分割处理，得到目标对象对应的当前帧点云数据。

其中，检测框为行车区域中各个对象的一种感知结果，包括对象在行车区域的中心点坐标位置、检测框的边长和检测框绕坐标轴的旋转角等，置信度表示通过感知算法来识别检测框内包含某类对象的一种预测概率。其中，原始点云数据的帧数通常与每个对象各自对应的检测框数量相同。

具体地，计算机设备根据预设的置信度阈值，对每个对象各自对应的置信度进行判断，在当前对象的置信度大于置信度阈值时，将当前对象作为目标对象，也即目标对象可以为多个。计算机设备针对多帧原始点云数据中的每帧原始点云数据，也即针对目标对象对应的多个检测框中的每个检测框，均确定当前检测框在当前帧原始点云数据中所框选的点云，并将所框选的点云从当前帧原始点云数据中分割出来，得到目标对象对应的当前帧点云数据。

在一个实施例中，计算机设备可确定每帧原始点云数据各自对应的多个检测框的检测框标识，其中，相同对象所对应的检测框标识相同。也即通过训练好的感知算法将每个对象各自对应的检测框标注相同的检测框标识。

本实施例中，在根据对象的检测框的置信度筛选出目标对象后，通过可根据目标对象的检测框对原始点云数据进行分割处理，得到目标对象对应的点云数据，如此便可将目标对象与行车区域的场景环境准确的分割开来，并且由于筛选出的目标对象可以为多个，使得后续能同时批量建立多个三维模型，提高了自动驾驶环境仿真的灵活性。同时，由于采集原始点云数据来源于行车区域的真实环境，使得处理后的目标对象对应的点云数据有较好的真实性。

在一个实施例中，在根据目标对象的检测框，对当前帧原始点云数据进行分割处理，得到目标对象对应的当前帧点云数据之前，方法还包括：以行车区域的数据采集位置为基准，建立激光雷达坐标系；以目标对象的检测框位置为基准，建立世界坐标系；确定激光雷达坐标系与世界坐标系之间的参数转换矩阵；根据参数转换矩阵，将原始点云数据和目标对象的检测框转换到同一坐标系下；根据目标对象的检测框，对当前帧原始点云数据进行分割处理，得到目标对象对应的当前帧点云数据，包括：针对目标对象的多个检测框中的每个检测框，均根据目标对象的当前检测框，对同一坐标系下的当前帧原始点云数据进行分割处理，得到目标对象对应的当前帧点云数据。

其中，原始点云数据是在激光雷达所建立的激光雷达坐标系下采集的，而目标对象的检测框是在世界坐标系下识别的，因此，需要将原始点云数据和目标对象的检测框转换到同一坐标系下。

具体地，计算机设备获取激光雷达坐标系与世界坐标系之间的参数转换矩阵，其中，参数转换矩阵可通过预先完成的标定过程得到。根据参数转换矩阵，便可将原始点云数据和目标对象的检测框转换到同一坐标系下，其中，通常将原始点云数据和目标对象的检测框转换到世界坐标系下。计算机设备针对目标对象的多个检测框中的每个检测框，均根据目标对象的当前检测框，对同一坐标系下的当前帧原始点云数据进行分割处理，也即确定当前检测框在当前原始点云数据中所框选的点云，并将所框选的点云从当前帧原始点云数据中分割出来，得到目标对象对应的当前帧点云数据。

本实施例中，通过将原始点云数据和目标对象的检测框转换到同一坐标系下，再根据目标对象的检测框对原始点云数据进行分割处理后，便能更准确地得到目标对象的点云数据。

在一个实施例中，在对多帧点云数据进行累积处理，得到累积后的待处理点云数据之后，上述方法还包括：对待处理点云数据进行检测识别，确定目标对象的结构类型；当结构类型为轴对称类型时，确定目标对象的对称轴参数；根据对称轴参数，对目标对象的待处理点云数据进行镜像处理，得到与待处理点云数据相对应的镜像点云数据；通过镜像点云数据，对待处理点云数据中缺失的空白点云数据进行填充，得到填充后的待处理点云数据。

其中，检测识别为一种对目标对象进行语义识别的方式，通过语义识别可确定目标对象是车辆、行人还是建筑物、结构类型是否为轴对称类型等。

具体地，计算机设备通过对待处理点云数据进行检测识别，确定目标对象的结构类型，当此时的目标对象为车辆时，可确定出目标对象为轴对称类型。计算机设备根据目标对象的检测框，确定对称轴参数，也即将从车辆头部至尾部延伸的点云所分布的中线作为对称轴，并根据对称轴在检测框的位置信息，确定目标对象的对称轴参数。

进一步的，计算机设备以对称轴参数为基准，将目标对象的待处理点云数据划分为左侧待处理点云数据和右侧待处理点云数据，根据对称轴参数将左侧待处理点云数据进行镜像处理，得到与左侧待处理点云数据相对应的右侧镜像点云数据。计算机设备通过右侧镜像点云数据，对右侧待处理点云数据中缺失的空白点云数据进行填充，得到填充后的右侧待处理点云数据。同理，可得到填充后的左侧待处理点云数据。

例如，若左侧待处理点云数据包括点云A、点云B、点云D，右侧待处理点云数据包括点云A、点云C、点云D，通过对左侧待处理点云数据进行镜像处理，得到右侧镜像点云数据包括点云A1、点云B1、点云D1；通过右侧镜像点云数据，对右侧待处理点云数据中缺失的空白点云数据进行填充，得到右侧待处理点云数据包括点云A、点云B1、点云C、点云D。

在一个实施例中，检测识别方法可为一种点云语义分割，通过给点云赋予特定的语义标签，来确定行车区域中的目标对象的类型。

本实施例中，通过确定目标对象的对称轴参数，进而对目标对象的待处理点云数据进行镜像处理，稳定又精准的还原了目标对象的点云数据，避免了在只能获取到目标对象单侧、不完整点云数据时，影响后续三维重建的效果。

在一个实施例中，对待处理点云进行点云配准处理，得到配准后的目标点云数据，包括：确定多帧待处理点云数据中的当前帧待处理点云数据；确定与当前帧待处理点云数据相邻的相邻点云数据；对当前待处理点云数据与相邻点云数据进行相似度判断；当相似度大于或等于相似度阈值时，将当前待处理点云数据与相邻点云数据进行点云配准处理，得到目标点云数据；将目标点云数据作为新的当前帧待处理点云数据，并返回确定与当前帧待处理点云数据相邻的相邻点云数据的步骤继续执行，直至多帧待处理点云数据中的每帧待处理点云数据与相邻点云数据配准完毕。

其中，相似度通过两帧待处理点云数据之间的点云特征来确定，例如，点云特征包括点云特征值、回波强度、高程差等。

具体地，计算机设备从多帧待处理点云数据中确定出当前帧待处理点云数据和当前帧待处理点云数据相邻的相邻点云数据，其中，相邻点云数据可为至多两帧数据，通常由激光雷达前一次扫描频率和后一次扫描频率分别得到。计算机设备根据当前待处理点云数据与相邻点云数据各自对应的点云特征进行相似度判断，也即当前待处理点云数据与相邻点云数据之间的点云特征越相似，相似度就越高。当相似度大于或等于相似度阈值时，计算机设备将当前待处理点云数据与相邻点云数据进行点云配准处理，得到目标点云数据，也即将相邻两帧数据融合成一帧目标点云数据。计算机设备将目标点云数据作为新的当前帧待处理点云数据，并返回确定与当前帧待处理点云数据相邻的相邻点云数据的步骤继续执行，直至每帧待处理点云数据与相邻点云数据融合完毕。

本实施例中，通过对相邻两帧待处理点云数据进行相似度判断，进而将相似度大于或等于相似度阈值的相邻两帧待处理点云数据进行点云匹配处理，最后得到一帧精准的目标点云数据，确保了后续三维建模的准确性。

在一个实施例中，在对待处理点云进行点云配准处理，得到配准后的目标点云数据之后，上述方法包括：确定目标点云数据中的异常点云数据，并对目标点云数据进行异常点云过滤处理，得到首次过滤后的目标点云数据；确定首次过滤后的目标点云数据的第一法向量和拟合平面；通过拟合平面对第一法向量进行平滑过滤处理，得到再次过滤后的目标点云数据。

其中，为方便理解，此处将融合点云数据视作由多个点云组成的集合，将异常点云数据视作多个异常云组成的集合；拟合平面为在确定每个点云的K近邻后，再通过最小二乘法拟合一个平面。

具体地，计算机设备根据目标点云数据中每个点云之间的邻域特征，确定出异常点云，也即确定每个点云周边设定范围内相邻点云的个数，若当前点云的相邻点云的个数少于设定阈值，则认为当前点云为异常点云，综合多个异常点云便得到异常点云数据。计算机设备根据确定出的异常点云数据，对标点云数据进行异常点云过滤处理，得到首次过滤后的目标点云数据。计算机设备针对首次过滤后的目标点云数据中的每个点云，均确定当前点云对应的第一法向量和拟合平面，并通过拟合平面确定当前点云的第一拟合法向量，其中，拟合平面可通过最小二乘法算法得到。计算机设备通过当前点云的第一拟合法向量对相对应的第一法向量进行修正，并将当前点云沿着修正后的第一法向量方向投影到对应的拟合平面上，也即通过拟合平面对第一法向量进行平滑过滤处理，得到再次过滤后的目标点云数据。

在一个实施例中，计算机设备通过对每个点云的邻域进行统计分析，也即通过计算每个点云与相邻点云的平均距离，得到一个高斯分布统计，针对每个点云均可得一个均值和一个标准差，若当前点云的标准差大于预设范围，则可将当前点云视作异常点云。

本实施例中，通过先对目标点云数据进行异常点云过滤处理，得到去除了异常点云的目标点云数据后，再对目标点云数据进行平滑过滤处理，得到再次过滤后的目标点云数据，从而减小了后续模型重建的计算量，提高了三维模型重建的速度，也使得通过目标点云数据对三维模型重建更准确。

在一个实施例中，根据目标点云数据对目标对象进行三维建模，包括：确定目标对象对应的指示函数和目标点云数据的第二法向量；基于指示函数、目标点云数据和目标点云数据的第二法向量，对目标对象进行表面估计，得到表面估计结果；根据表面估计结果提取目标对象的三维等值面，并根据三维等值面对目标对象进行三维建模。

其中，指示函数为通过泊松算法创建的对目标对象表面进行估计的函数。

具体地，计算机设备将目标对象的三维建模转换成一个空间泊松问题，并确定目标点云数据的第二法向量、以及通过隐式拟合的方式确定目标对象对应的指示函数。计算机设备基于指示函数、目标点云数据和目标点云数据的第二法向量，对目标对象进行表面估计，得到表面估计结果，其中，目标点云数据表示目标对象表面的位置，第二法向量表示目标对象表面的内外方向。计算机设备根据表面估计结果提取目标对象的三维等值面，并根据三维等值面重建一个无缝的三角逼近，最后得到重建好的三维模型。

本实施例中，通过采用泊松算法可对目标对象进行表面估计，最后根据表面估计结果可快速得到准确的三维模型。

在一个实施例中，如图6所示，图6为另一个实施例中三维建模方法的流程示意图。S601：计算机设备获取行车区域采集的每帧原始点云数据和每帧原始点云数据各自对应的目标对象的感知结果，也即目标对象的检测框；S602：将每帧原始点云数据和对应的目标对象的检测框转换到同一坐标系下；S603：根据目标对象的检测框对原始点云数据进行分割处理，得到目标对象对应的点云数据；S604：将每帧点云数据进行累积处理，得到待处理点云数据；S605：确定目标对象的结构类型是否为轴对称类型，若是则执行S606，若否则执行S607；S606：对目标对象的待处理点云数据进行镜像处理，完成对待处理点云数据中的空白点云数据的填充，得到填充后的待处理点云数据；S607：确定相邻两帧待处理点云数据之间的相似度，若相似度大于或等于相似度阈值则执行S608，若相似度小于相似度阈值则执行S609；S608：对相邻两帧待处理点云数据进行点云配准处理，得到目标点云数据；S609：对目标点云数据进行点云过滤处理，包括异常点云过滤处理、平滑融合点云数据等，得到过滤后的目标点云数据；S610：根据目标点云数据对目标对象进行三维模型的表面重建；S611：根据三维模型的表面重建的重建结果得到目标对象的三维模型。

本实施例中，通过在对多帧点云数据进行处理，得到目标点云数据后，便可基于目标点云数据完成目标对象的三维建模，大大提高了三维建模的效率。同时，由于是将点云数据进行累积处理、点云配准处理之后所形成的目标点云数据作为建模数据，因此还提高了通过目标点云数据进行三维模型重建的准确性与真实性。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的三维建模方法的三维建模装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个三维建模装置实施例中的具体限定可以参见上文中对于三维建模方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种三维建模装置700，包括：点云获取模块702、点云处理模块704和点云建模模块706，其中：

点云获取模块702，用于获取针对行车区域采集的多帧原始点云数据；行车区域包括多个对象。

点云处理模块704，用于接收对象的感知结果，并根据感知结果，从多帧原始点云数据中确定出目标对象、以及目标对象对应的多帧点云数据；对多帧点云数据进行累积处理，得到累积后的待处理点云数据；对待处理点云进行点云配准处理，得到配准后的目标点云数据。

点云建模模块706，用于根据目标点云数据对目标对象进行三维建模。

在一个实施例中，感知结果包括检测框和置信度，点云处理模块704还包括分割处理模块7041，用于根据对象的检测框的置信度，从原始点云数据所包括的对象中筛选出目标对象；针对多帧原始点云数据中的每帧原始点云数据，均根据目标对象的检测框，对当前帧原始点云数据进行分割处理，得到目标对象对应的当前帧点云数据。

在一个实施例中，三维建模装置700还包括坐标转换模块708，用于以行车区域的数据采集位置为基准，建立激光雷达坐标系；以目标对象的检测框位置为基准，建立世界坐标系；确定激光雷达坐标系与世界坐标系之间的参数转换矩阵；根据参数转换矩阵，将原始点云数据和目标对象的检测框转换到同一坐标系下；根据目标对象的检测框，对当前帧原始点云数据进行分割处理，得到目标对象对应的当前帧点云数据，包括：针对目标对象的多个检测框中的每个检测框，均根据目标对象的当前检测框，对同一坐标系下的当前帧原始点云数据进行分割处理，得到目标对象对应的当前帧点云数据。

在一个实施例中，点云处理模块704还包括累积处理模块7042，用于确定目标累积位置；对于多帧点云数据中的每帧点云数据，均基于目标累积位置确定与当前帧点云数据相对应的坐标转换矩阵；通过坐标转换矩阵，将当前帧点云数据所对应的点云坐标转换至目标累积位置所对应的目标区域处，得到当前帧点云数据对应的当前帧待处理点云数据。

在一个实施例中，点云处理模块704还包括镜像处理模块7043，用于对待处理点云数据进行检测识别，确定目标对象的结构类型；当结构类型为轴对称类型时，确定目标对象的对称轴参数；根据对称轴参数，对目标对象的待处理点云数据进行镜像处理，得到与待处理点云数据相对应的镜像点云数据；通过镜像点云数据，对待处理点云数据中缺失的空白点云数据进行填充，得到填充后的待处理点云数据。

在一个实施例中，点云处理模块704还包括配准处理模块7044，用于确定多帧待处理点云数据中的当前帧待处理点云数据；确定与当前帧待处理点云数据相邻的相邻点云数据；对当前待处理点云数据与相邻点云数据进行相似度判断；当相似度大于或等于相似度阈值时，将当前待处理点云数据与相邻点云数据进行点云配准处理，得到目标点云数据；将目标点云数据作为新的当前帧待处理点云数据，并返回确定与当前帧待处理点云数据相邻的相邻点云数据的步骤继续执行，直至多帧待处理点云数据中的每帧待处理点云数据与相邻点云数据配准完毕。

在一个实施例中，点云处理模块704还包括过滤处理模块7045，用于确定目标点云数据中的异常点云数据，并对目标点云数据进行异常点云过滤处理，得到首次过滤后的目标点云数据；确定首次过滤后的目标点云数据的第一法向量和拟合平面；通过拟合平面对第一法向量进行平滑过滤处理，得到再次过滤后的目标点云数据。

在一个实施例中，点云建模模块706，还用于确定目标对象对应的指示函数和目标点云数据的第二法向量；基于指示函数、目标点云数据和目标点云数据的第二法向量，对目标对象进行表面估计，得到表面估计结果；根据表面估计结果提取目标对象的三维等值面，并根据三维等值面对目标对象进行三维建模。

上述三维建模装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O)、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种三维建模方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。相机的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该相机执行上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(FerroelectricRandom Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(StaticRandom Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种三维建模方法，其特征在于，所述方法包括：

获取针对行车区域采集的多帧原始点云数据；所述行车区域包括多个对象；

接收所述对象的感知结果，并根据所述感知结果，从所述多帧原始点云数据中确定出目标对象、以及所述目标对象对应的多帧点云数据；

对所述多帧点云数据进行累积处理，得到累积后的待处理点云数据；

对所述待处理点云进行点云配准处理，得到配准后的目标点云数据；

根据所述目标点云数据对所述目标对象进行三维建模。

2.根据权利要求1所述的方法，其特征在于，所述感知结果包括检测框和置信度；所述根据所述感知结果，从所述多帧原始点云数据中确定出目标对象、以及所述目标对象对应的多帧点云数据，包括：

根据所述对象的置信度，从所述原始点云数据所包括的对象中筛选出目标对象；

针对多帧原始点云数据中的每帧原始点云数据，均根据所述目标对象的检测框，对所述当前帧原始点云数据进行分割处理，得到所述目标对象对应的当前帧点云数据。

3.根据权利要求2所述的方法，其特征在于，在所述根据所述目标对象的检测框，对所述当前帧原始点云数据进行分割处理，得到所述目标对象对应的当前帧点云数据之前，所述方法还包括：

以所述行车区域的数据采集位置为基准，建立激光雷达坐标系；

以所述目标对象的检测框位置为基准，建立世界坐标系；

确定所述激光雷达坐标系与所述世界坐标系之间的参数转换矩阵；

根据所述参数转换矩阵，将所述原始点云数据和所述目标对象的检测框转换到同一坐标系下；

所述根据所述目标对象的检测框，对所述当前帧原始点云数据进行分割处理，得到所述目标对象对应的当前帧点云数据，包括：

针对所述目标对象的多个检测框中的每个检测框，均根据所述目标对象的当前检测框，对同一坐标系下的当前帧原始点云数据进行分割处理，得到所述目标对象对应的当前帧点云数据。

4.根据权利要求1所述的方法，其特征在于，所述对所述多帧点云数据进行累积处理，得到累积后的待处理点云数据，包括：

确定目标累积位置；

对于多帧点云数据中的每帧点云数据，均基于所述目标累积位置确定与当前帧点云数据相对应的坐标转换矩阵；

通过所述坐标转换矩阵，将所述当前帧点云数据所对应的点云坐标转换至目标累积位置所对应的目标区域处，得到所述当前帧点云数据对应的当前帧待处理点云数据。

5.根据权利要求1所述的方法，其特征在于，在对所述多帧点云数据进行累积处理，得到累积后的待处理点云数据之后，所述方法还包括：

对所述待处理点云数据进行检测识别，确定所述目标对象的结构类型；

当所述结构类型为轴对称类型时，确定所述目标对象的对称轴参数；

根据所述对称轴参数，对所述目标对象的待处理点云数据进行镜像处理，得到与所述待处理点云数据相对应的镜像点云数据；

通过所述镜像点云数据，对所述待处理点云数据中缺失的空白点云数据进行填充，得到填充后的待处理点云数据。

6.根据权利要求1所述的方法，其特征在于，所述对所述待处理点云进行点云配准处理，得到配准后的目标点云数据，包括：

确定多帧待处理点云数据中的当前帧待处理点云数据；

确定与所述当前帧待处理点云数据相邻的相邻点云数据；

对所述当前待处理点云数据与所述相邻点云数据进行相似度判断；

当所述相似度大于或等于相似度阈值时，将所述当前待处理点云数据与所述相邻点云数据进行点云配准处理，得到目标点云数据；

将所述目标点云数据作为新的当前帧待处理点云数据，并返回确定与所述当前帧待处理点云数据相邻的相邻点云数据的步骤继续执行，直至所述多帧待处理点云数据中的每帧待处理点云数据与所述相邻点云数据配准完毕。

7.根据权利要求1所述的方法，其特征在于，在所述对所述待处理点云进行点云配准处理，得到配准后的目标点云数据之后，所述方法还包括：

确定所述目标点云数据中的异常点云数据，并对所述目标点云数据进行异常点云过滤处理，得到首次过滤后的目标点云数据；

确定首次过滤后的所述目标点云数据的第一法向量和拟合平面；

通过所述拟合平面对所述第一法向量进行平滑过滤处理，得到再次过滤后的目标点云数据。

8.根据权利要求7所述的方法，其特征在于，所述根据所述目标点云数据对所述目标对象进行三维建模，包括：

确定所述目标对象对应的指示函数和所述目标点云数据的第二法向量；

基于所述指示函数、所述目标点云数据和所述目标点云数据的第二法向量，对所述目标对象进行表面估计，得到表面估计结果；

根据所述表面估计结果提取所述目标对象的三维等值面，并根据所述三维等值面对所述目标对象进行三维建模。

9.一种三维建模装置，其特征在于，所述装置包括：

点云获取模块，用于获取针对行车区域采集的多帧原始点云数据；所述行车区域包括多个对象；

点云处理模块，用于接收所述对象的感知结果，并根据所述感知结果，从所述多帧原始点云数据中确定出目标对象、以及所述目标对象对应的多帧点云数据；对所述多帧点云数据进行累积处理，得到累积后的待处理点云数据；对所述待处理点云进行点云配准处理，得到配准后的目标点云数据；

点云建模模块，用于根据所述目标点云数据对所述目标对象进行三维建模。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

Images