CN115937442A - 基于隐式神经表达的路面重建方法、车辆及存储介质 - Google Patents

Abstract

本发明涉及自动驾驶技术领域，具体提供一种基于隐式神经表达的路面重建方法、车辆及存储介质，旨在解决现有的路面重建方法的路面重建精度较低的技术问题。为此目的，本发明的路面重建方法包括：获取路面上至少一个二维坐标点；利用第一隐式神经网络获取二维坐标点对应的高度值；基于二维坐标点和二维坐标点对应的高度值分别确定二维坐标点对应的语义信息和颜色信息；基于高度值、语义信息和颜色信息对路面进行三维场景重建。如此，提高了路面重建的精度和完整度。

Description

基于隐式神经表达的路面重建方法、车辆及存储介质

技术领域

本发明涉及自动驾驶技术领域，具体提供一种基于隐式神经表达的路面重建方法、车辆及存储介质。

背景技术

目前，如何准确地重建一个路面，并且自动识别路面上的元素，在自动驾驶中是一个重要且有意义的问题。重建完的路面可以用于辅助标注。如果是带有语义的重建，那么就可以应用到自动标注应用中。

现有的重建方法主要分为点云重建和NeRF重建两种方式。点云重建包括激光点云重建或者视觉MVS重建，这一类方法输出格式是点云。点云的稠密度无法达到100％，存在不同程度的孔洞、缝隙的问题。同时，点云上是一群3D点的集合，点和点之间都是彼此独立的，缺乏全局约束，对于噪点无法很好消除。NeRF是近几年兴起的方法，但是NeRF方法依然存在很大问题。首先NeRF是基于体素渲染的方式来生成图像，它的几何很差甚至基本不可用，使得3D空间的标注不完整。同时现在的NeRF方案对于大场景来说都要训练几十个小时以上，方法并不实用。

相应地，本领域需要一种新的基于隐式神经表达的路面重建方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决上述技术问题。本发明提供了一种基于隐式神经表达的路面重建方法、车辆及存储介质。

在第一方面，本发明提供一种基于隐式神经表达的路面重建方法，所述方法包括：获取路面上至少一个二维坐标点；利用第一隐式神经网络获取所述二维坐标点对应的高度值；基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义信息和颜色信息；基于所述高度值、所述语义信息和所述颜色信息对所述路面进行三维场景重建。

在一个实施方式中，基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义信息和颜色信息，包括：基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义概率向量和颜色特征向量；基于所述语义概率向量确定所述二维坐标点对应的语义信息；基于所述颜色特征向量确定所述二维坐标点对应的颜色信息。

在一个实施方式中，基于所述二维坐标点和所述二维坐标点对应的高度值确定所述二维坐标点对应的语义概率向量，包括：基于每一帧的相机位姿获取所述二维坐标点对应的2D图像；将所述坐标点结合所述高度值得到的三维坐标点投影到所述2D图像，得到初始语义概率向量；基于所述2D图像的语义标签值和所述初始语义概率向量确定所述二维坐标点对应的语义概率向量。

在一个实施方式中，基于所述二维坐标点和所述二维坐标点对应的高度值确定所述二维坐标点对应的颜色特征向量，包括：于每一帧的相机位姿获取所述二维坐标点对应的2D图像；将所述坐标点结合所述高度值得到的三维坐标点投影到所述2D图像，得到初始颜色特征向量；基于所述2D图像的颜色标签值和所述初始颜色特征向量确定所述二维坐标点对应的颜色特征向量。

在一个实施方式中，基于所述语义概率向量确定所述二维坐标点对应的语义信息，包括：将所述语义概率向量中最大元素对应的类别作为所述语义信息。

在一个实施方式中，基于所述颜色特征向量确定所述二维坐标点对应的颜色信息，包括：将所述颜色特征向量和相机ID的编码进行合并，并将合并后得到的特征向量输入第二隐式神经网络，得到所述二维坐标点对应的颜色信息。

在一个实施方式中，所述第一隐式神经网络或所述第二隐式神经网络为全连接神经网络。

在一个实施方式中，将所述二维坐标点对应的语义信息投影到相机拍摄的图像上，得到路面的语义标注结果。

在第二方面，提供一种车辆，该车辆包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行前述任一项所述的基于隐式神经表达的路面重建方法。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行前述任一项所述的基于隐式神经表达的路面重建方法。

本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：

本发明中的基于隐式神经表达的路面重建方法，首先获取路面上至少一个二维坐标点，并利用第一隐式神经网络获取所述二维坐标点对应的高度值；之后基于二维坐标点和二维坐标点的高度值分别确定二维坐标点对应的语义信息和颜色信息；最后基于所述高度值、语义信息和颜色信息对路面进行三维场景重建。如此，获得了精确地语义信息和颜色信息，提高了路面重建的精度，实现了高完整度和高精度的路面重建。

附图说明

参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：

图1是根据本发明的一个实施例的基于隐式神经表达的路面重建方法的主要步骤流程示意图；

图2(a)是一个实施例中采用MPL网络获取路面元素的示意图；

图2(b)是一个实施例中基于隐式神经表达的路面重建方法获取路面元素的示意图；

图3是一个实施例中基于隐式神经表达的路面重建方法的完整流程示意图；

图4是一个实施例中路面标注后的示意图；

图5是一个实施例中车辆的结构示意图。

具体实施方式

下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。

目前，现有的重建方法主要分为点云重建和NeRF重建两种方式。点云重建包括激光点云重建或者视觉MVS重建，这一类方法输出格式是点云。点云的稠密度无法达到100％，存在不同程度的孔洞、缝隙的问题。同时，点云上是一群3D点的集合，点和点之间都是彼此独立的，缺乏全局约束，对于噪点无法很好消除。NeRF是近几年兴起的方法，但是NeRF方法依然存在很大问题。首先NeRF是基于体素渲染的方式来生成图像，它的几何很差甚至基本不可用，使得3D空间的标注不完整。同时现在的NeRF方案对于大场景来说都要训练几十个小时以上，方法并不实用。

为此，本申请提供了一种基于隐式神经表达的路面重建方法、车辆及存储介质，首先获取路面上至少一个二维坐标点，并利用第一隐式神经网络获取所述二维坐标点对应的高度值；之后基于二维坐标点和二维坐标点的高度值分别确定二维坐标点对应的语义信息和颜色信息；最后基于所述高度值、语义信息和颜色信息对路面进行三维场景重建。如此，获得了精确地语义信息和颜色信息，提高了路面重建的精度，实现了高完整度和高精度的路面重建。

参阅附图1，图1是根据本发明的一个实施例的基于隐式神经表达的路面重建方法的主要步骤流程示意图。

如图1所示，本发明实施例中的基于隐式神经表达的路面重建方法主要包括下列步骤S101-步骤S104。

步骤S101：获取路面上至少一个二维坐标点(x,y)。

步骤S102：利用第一隐式神经网络获取所述二维坐标点对应的高度值。

具体来说，将二维坐标点(x,y)输入第一隐式神经网络，即可得到所述二维坐标点(x,y)对应的高度值z。

在一个具体实施方式中，所述第一隐式神经网络为全连接神经网络(MLPS)，但不限于此，第一隐式神经网络还可以是其他的隐式神经网络，只要其能够获得所述二维坐标点对应的高度值即可。

在一个实施例中，以全连接神经网络(MLPS)作为第一隐式神经网络的示例对该步骤进行详细说明。

对于高度值来说，路面的高度起伏是一个非常缓慢、低频的变化，因此用全连接神经网络(MLPs)来获取路面的高度是可行的。具体地，将路面上的激光雷达点云来作为监督信息，尽管监督信息是稀疏的，但是由于MLP具备连续的特点，即使没有监督信号的地方也可以获取较为准确的高度值。除此之外，由于MLP的参数是对整个空间的隐式表达，即使监督信息中存在噪声，也会在训练过程中被平滑掉。因此，通过全连接神经网络(MLPs)能够获得精确地路面高度值。

和高度值不同，路面的颜色信息和语义信息是一个高频信息，会随着坐标的变化而频繁、剧烈变化。比如马路上的斑马线，就是一个黑白连续交替变化的区域。除此之外，前文所提到的MLP是一个全局函数，它表示的是对整个道路场景的描述。对于一个几百米以上的自动驾驶道路来说，一条只有10cm宽的车道线属于非常细节的内容。用MLP很难兼顾到细节区域，往往会产生过度平滑(over-smooth)的结果，如图2(a)所示，而这些细节对于自动驾驶来讲又是至关重要的。因此本申请采用基于隐式神经表达的路面重建方法，其获取的语义信息效果图如图2(b)所示。

步骤S103：基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义信息和颜色信息。

在一个具体实施方式中，基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义信息和颜色信息，包括：基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义概率向量和颜色特征向量；基于所述语义概率向量确定所述二维坐标点对应的语义信息；基于所述颜色特征向量确定所述二维坐标点对应的颜色信息。

在一个实施例中，在获得所述二维坐标点对应的语义概率向量和颜色特征向量之后，可以将其存储在2D网格，其中2D网格为二维矩阵，具体是将真实路面通过比例尺的线性变化划分为网格。

在一个具体实施方式中，基于所述二维坐标点和所述二维坐标点对应的高度值确定所述二维坐标点对应的语义概率向量，包括：基于每一帧的相机位姿获取所述二维坐标点对应的2D图像；将所述坐标点结合所述高度值得到的三维坐标点投影到所述2D图像，得到初始语义概率向量；基于所述2D图像的语义标签值和所述初始语义概率向量确定所述二维坐标点对应的语义概率向量。

示例性的，以至少一个相机拍摄的图像为例，预先将所述相机拍摄的图像输入训练好的第一神经网络以进行语义分割，得到语义分割结果，此处的语义分割结果即为所述语义标签值。其中语义分割结果具体包括人行道、车道线、路沿等，但不限于此。

对于路面上的二维坐标点(x,y)，由于拍摄该点的相机位姿是确定的，因此能够基于每一帧的相机位姿获取到所有相机拍摄的包含该二维坐标点(x,y)的2D图像，接着将由(x,y)结合高度值z得到的三维坐标点投影到所述2D图像上，在2D图像上与所述三维坐标点对应的语义概率向量即为初始语义概率向量。其次，基于所述2D图像的语义标签值和所述初始语义概率向量计算第一损失函数，并对所述第一损失函数求导即可得到所述二维坐标点对应的语义概率向量，并将其存储至2D网格中的对应位置中。如此，每个网格中存储一个N*1的语义特征向量，表示为N个语义类别的概率。

在一个实施例中，交叉熵损失函数可以作为所述第一损失函数的示例，但不限于此。

在一个实施例中，在训练过程中，网格的大小和分辨率保持不变，还可以根据梯度下降法对每个网格中存储的语义特征向量进行更新。

对于颜色信息来说，比较简单的情况是每个网络中直接存储这个该坐标的颜色值，通过多视角拍摄的照片颜色来对颜色值进行更新。但是常见的自动驾驶装置中，往往采用环视相机的硬件配置，相机和相机之间的色温、曝光都是不一致的，例如三种不同相机分别有着不同的色温，直接用颜色值来表示是不合理的。因此，可通过下述方式获取二维坐标点对应的颜色特征向量并将其存储至2D网格中。

在一个具体实施方式中，基于所述二维坐标点和所述二维坐标点对应的高度值确定所述二维坐标点对应的颜色特征向量，包括：基于每一帧的相机位姿获取所述二维坐标点对应的2D图像；将所述坐标点结合所述高度值得到的三维坐标点投影到所述2D图像，得到初始颜色特征向量；基于所述2D图像的颜色标签值和所述初始颜色特征向量确定所述二维坐标点对应的颜色特征向量。

颜色标签值即为所述三维坐标值投影到2D图像上对应像素点的R、G、B值。

具体地，对于路面上的二维坐标点(x,y)，由于拍摄该点的相机位姿是确定的，因此能够基于每一帧的相机位姿获取到所有相机拍摄的包含该二维坐标点(x,y)的2D图像，接着将由(x,y)结合高度值z得到的三维坐标点投影到所述2D图像上，在2D图像上与所述三维坐标点对应的颜色概率向量即为初始颜色概率向量。其次，基于所述2D图像的颜色标签值和所述初始颜色概率向量计算第二损失函数，并对所述第二损失函数求导即可得到所述二维坐标点对应的颜色概率向量并将其存储至2D网格中的对应位置中。

在一个实施例中，交叉熵损失函数可以作为所述第二损失函数的示例，但不限于此。

在一个实施例中，在训练过程中，网格的大小和分辨率保持不变，还可以根据梯度下降法对每个网格中存储的颜色特征向量进行更新。

在一个具体实施方式中，基于所述语义概率向量确定所述二维坐标点对应的语义信息，包括：将所述语义概率向量中最大元素对应的类别作为所述语义信息。

具体地，由于语义概率向量是一个N*1的向量，表示为N个语义类别的概率，因此直接将所述语义概率向量中数值最大的元素对应的类别作为所述二维坐标点对应的语义信息即可。

在一个具体实施方式中，基于所述颜色特征向量确定所述二维坐标点对应的颜色信息，包括：将所述颜色特征向量和相机ID的编码进行合并，并将合并后得到的特征向量输入第二隐式神经网络，得到所述二维坐标点对应的颜色信息。

具体地，对每个相机进行编码，以使得每个相机对应一个编码进行合并。在确定所述二维坐标点对应的颜色信息的过程中，以任一相机拍摄的图像作为监督信息。将所述颜色特征向量与所述任一相机的ID编码合并后的向量输入第二隐式神经网络，即可得到所述二维坐标点对应的颜色信息。尽管监督信息是稀疏的，但是由于MLP具备连续的特点，即使没有监督信号的地方也可以计算出较为准确的颜色值。

在一个具体实施方式中，所述第二隐式神经网络为全连接神经网络。具体地，浅层的全连接神经网络可以作为第二隐式神经网络的一个示例，但不限于此，第二隐式神经网络还可以是能够预测路面上的任意一个二维坐标点对应的颜色信息的其他隐式神经网络。

步骤S104：基于所述高度值、所述语义信息和所述颜色信息对所述路面进行三维场景重建。

基于上述步骤S101-步骤S104，首先获取路面上至少一个二维坐标点，并利用第一隐式神经网络获取所述二维坐标点对应的高度值；之后基于二维坐标点和二维坐标点的高度值分别确定二维坐标点对应的语义信息和颜色信息；最后基于所述高度值、语义信息和颜色信息对路面进行三维场景重建。如此，获得了精确地语义信息和颜色信息，提高了路面重建的精度，实现了高完整度和高精度的路面重建。

在一个实施例中，具体如图3所示，将路面上的至少一个二维坐标点(x,y)输入第一隐式神经网络，即可得到所述二维坐标点的高度值。之后根据所述二维坐标点以及所述二维坐标点对应的高度值确定所述二维坐标点对应的语义概率向量和颜色特征向量并存储在2D网格。其次，取出网格中存储的所述二维坐标点的颜色特征向量颜色，并将其与相机ID编码合并后输入第二隐式神经网络，即可得到所述二维坐标点对应的颜色信息。以及取出网格中存储的所述二维坐标点的语义特征向量，并将所述语义特征向量中数值最大的元素对应的类型作为所述二维坐标点对应的语义信息。如此，采用隐式和显示结合的方法，对于语义信息和颜色信息的处理效果更高，同时网络的训练时间更短，最终获得精度较高的高度值、颜色信息和语义信息，从而实现高精度的路面重建效果。

在一个具体实施方式中，所述方法还包括：将所述二维坐标点对应的语义信息投影到相机拍摄的图像上，得到路面的语义标注结果。

具体地，基于前述实施例已经获得了路边上任意一个二维坐标点(x,y)对应的高度值z，以及语义信息，例如车道线、路沿等。对于每一个(x,y)，第一隐式神经网络预测一个z，就可以得到一个3D点，将这个3D点投影回各个相机的图像上，即可得到路面上连续一致的稠密标注结果，其中一致性是指同一个物体的标注在视频序列前后帧，以及不同相机的图像中保持一致。在一个实施例中，如图4所示，将语义信息投影回各个相机，就可以形成准确地车道线分割。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。

本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

进一步，本发明还提供了一种车辆。在根据本发明的一个车辆实施例中，如图5所示，车辆包括处理器51和存储装置52，存储装置可以被配置成存储执行上述方法实施例的基于隐式神经表达的路面重建方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的基于隐式神经表达的路面重建方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。

进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的基于隐式神经表达的路面重建方法的程序，该程序可以由处理器加载并运行以实现上述基于隐式神经表达的路面重建方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种基于隐式神经表达的路面重建方法，其特征在于，所述方法包括：

获取路面上至少一个二维坐标点；

利用第一隐式神经网络获取所述二维坐标点对应的高度值；

基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义信息和颜色信息；

基于所述高度值、所述语义信息和所述颜色信息对所述路面进行三维场景重建。

2.根据权利要求1所述的基于隐式神经表达的路面重建方法，其特征在于，基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义信息和颜色信息，包括：

基于所述二维坐标点和所述二维坐标点对应的高度值分别确定所述二维坐标点对应的语义概率向量和颜色特征向量；

基于所述语义概率向量确定所述二维坐标点对应的语义信息；

基于所述颜色特征向量确定所述二维坐标点对应的颜色信息。

3.根据权利要求2所述的基于隐式神经表达的路面重建方法，其特征在于，基于所述二维坐标点和所述二维坐标点对应的高度值确定所述二维坐标点对应的语义概率向量，包括：

基于每一帧的相机位姿获取所述二维坐标点对应的2D图像；

将所述坐标点结合所述高度值得到的三维坐标点投影到所述2D图像，得到初始语义概率向量；

基于所述2D图像的语义标签值和所述初始语义概率向量确定所述二维坐标点对应的语义概率向量。

4.根据权利要求2所述的基于隐式神经表达的路面重建方法，其特征在于，基于所述二维坐标点和所述二维坐标点对应的高度值确定所述二维坐标点对应的颜色特征向量，包括：

基于每一帧的相机位姿获取所述二维坐标点对应的2D图像；

将所述坐标点结合所述高度值得到的三维坐标点投影到所述2D图像，得到初始颜色特征向量；

基于所述2D图像的颜色标签值和所述初始颜色特征向量确定所述二维坐标点对应的颜色特征向量。

5.根据权利要求2所述的基于隐式神经表达的路面重建方法，其特征在于，基于所述语义概率向量确定所述二维坐标点对应的语义信息，包括：将所述语义概率向量中最大元素对应的类别作为所述语义信息。

6.根据权利要求2所述的基于隐式神经表达的路面重建方法，其特征在于，基于所述颜色特征向量确定所述二维坐标点对应的颜色信息，包括：将所述颜色特征向量和相机ID的编码进行合并，并将合并后得到的特征向量输入第二隐式神经网络，得到所述二维坐标点对应的颜色信息。

7.根据权利要求6所述的基于隐式神经表达的路面重建方法，其特征在于，所述第一隐式神经网络或所述第二隐式神经网络为全连接神经网络。

8.根据权利要求1所述的基于隐式神经表达的路面重建方法，其特征在于，所述方法还包括：将所述二维坐标点对应的语义信息投影到相机拍摄的图像上，得到路面的语义标注结果。

9.一种车辆，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的基于隐式神经表达的路面重建方法。

10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的基于隐式神经表达的路面重建方法。

Images