CN117292349A - 确定路面高度的方法、装置、计算机设备及存储介质 - Google Patents

确定路面高度的方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN117292349A
CN117292349A CN202311559624.2A CN202311559624A CN117292349A CN 117292349 A CN117292349 A CN 117292349A CN 202311559624 A CN202311559624 A CN 202311559624A CN 117292349 A CN117292349 A CN 117292349A
Authority
CN
China
Prior art keywords
road surface
target
track
determining
grid vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311559624.2A
Other languages
English (en)
Other versions
CN117292349B (zh
Inventor
胡兰
张如高
虞正华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Vision Intelligent Technology Wuhan Co ltd
Original Assignee
Magic Vision Intelligent Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Vision Intelligent Technology Wuhan Co ltd filed Critical Magic Vision Intelligent Technology Wuhan Co ltd
Priority to CN202311559624.2A priority Critical patent/CN117292349B/zh
Publication of CN117292349A publication Critical patent/CN117292349A/zh
Application granted granted Critical
Publication of CN117292349B publication Critical patent/CN117292349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及三维重建技术领域，公开了确定路面高度的方法、装置、计算机设备及存储介质，包括：获取多帧图像和预设路面宽度。基于多帧图像，获取目标轨迹。基于预设路面宽度和目标轨迹中每个轨迹点的路面坐标，确定路面重建范围。基于预配置的网格大小，对路面重建范围的三维空间进行网格化，得到路面重建范围的多个网格。基于每个轨迹点的路面坐标，确定每两个相邻轨迹点之间的距离。基于距离和预设路面宽度，确定每两个相邻轨迹点之间的覆盖路面范围。在路面重建范围的多个网格中选取覆盖路面范围涵盖的多个网格。将目标轨迹点对应的路面高度确定为覆盖路面范围涵盖的每个网格顶点的路面高度。本发明可以提高构建的路面三维模型的准确性。

Description

确定路面高度的方法、装置、计算机设备及存储介质
技术领域
本发明涉及三维重建技术领域，具体涉及确定路面高度的方法、装置、计算机设备及存储介质。
背景技术
在三维场景重建技术领域，对整个场景进行重建时，一般会将三维场景重建算法进行解耦，分为地上物重建和地面重建。
在进行地面重建时，地面重建算法一般会假设地面是平的。但实际上，大多数地面都是有起伏的。因此，通过该地面重建算法进行地面重建，得到的路面三维模型的准确性较低。
发明内容
有鉴于此，本发明提供了一种确定路面高度的方法、装置、计算机设备及存储介质，以解决三维重建的路面三维模型的准确性较低的问题。
第一方面，本发明提供了一种确定路面高度的方法，所述方法包括：
获取目标车辆在目标路面行驶过程中拍摄的多帧图像，以及预设路面宽度；
基于所述多帧图像，获取目标轨迹，其中，所述目标轨迹中包括多个轨迹点分别对应的轨迹坐标以及多个轨迹点分别对应的路面高度，所述轨迹坐标用以指示所述目标车辆在与所述目标路面对应的参考坐标系中的路面坐标；
基于所述预设路面宽度和所述目标轨迹中每个轨迹点对应的路面坐标，确定与所述目标路面对应的路面重建范围；
基于预配置的网格大小，对所述路面重建范围对应的三维空间进行网格化，得到所述路面重建范围对应的多个网格；
基于所述目标轨迹中每个轨迹点对应的所述路面坐标，确定每两个相邻轨迹点之间的距离；
基于所述每两个相邻轨迹点之间的距离和所述预设路面宽度，确定每两个相邻轨迹点之间的覆盖路面范围；
在所述路面重建范围对应的多个网格中选取所述覆盖路面范围所涵盖的多个网格；
将第一组相邻的两个轨迹点中目标轨迹点对应的路面高度确定为第一组相邻的两个轨迹点所对应的覆盖路面范围涵盖的多个网格中每个网格顶点的路面高度，其中，所述第一组相邻的两个轨迹点为所述目标轨迹中任一组相邻的两个轨迹点，所述目标轨迹点为所述第一组相邻的两个轨迹点中的第一个轨迹点。
本发明提供了一种确定路面高度的方法，具有如下优点：
由于路面高低起伏不平，如果将路面对应的多个网格中每个网格顶点的路面高度都确定为零，则导致构建的路面三维重建模型不准确。因此，通过目标车辆在目标路面行驶过程中拍摄的图像生成目标轨迹，目标轨迹中的每个点对应目标车辆在目标路面所属的参考坐标系中的位姿，即路面坐标和路面高度。进而，通过对路面重建范围对应的多个网格和覆盖路面范围对应的多个网格进行比对，可以确定出路面重建范围对应的多个网格中每个网格顶点的路面高度。这样，考虑到了路面的起伏情况，可以提高构建路面三维重建模型的准确性。
在一种可选的实施方式中，所述基于所述预设路面宽度和所述目标轨迹中每个轨迹点对应的路面坐标，确定与所述目标路面对应的路面重建范围，包括：
基于所述预设路面宽度和所述目标轨迹中每个轨迹点的路面坐标，得到所述目标路面对应的轨迹点云，以及所述轨迹点云中每个轨迹点的路面坐标；
基于所述轨迹点云中每个轨迹点的路面坐标，确定所述路面重建范围。
具体地，由于路面的整体形状可能并不是规则的，如果直接按规则形状确定路面重建范围，可能导致确定出的路面重建范围过大或过小，过大会导致后续进行模型重建时，占用处理资源较多，导致模型重建效率较低，过小会导致部分关键信息遗漏。因此，通过目标轨迹中每个轨迹点的路面坐标和预设路面宽度确定路面重建范围，可以考虑到目标路面的实际情况，可以提高构建路面三维重建模型的准确性。
在一种可选的实施方式中，所述路面重建范围对应的多个网格中每个网格顶点还包括色彩值和语义类别，所述方法还包括：
基于所述多帧图像，获取每一帧图像对应的相机位姿和相机配置信息，其中，所述多帧图像中每帧图像与所述目标轨迹中的一个轨迹点相对应；
对于所述多帧图像中的第一帧图像，基于所述第一帧图像对应的所述相机位姿、所述相机配置信息，以及轨迹点，确定所述第一帧图像中每个像素在所述参考坐标系下的方位向量，其中，所述第一帧图像为所述多帧图像中的任一帧图像；
当存在至少一帧图像中的像素在所述参考坐标系下的方位向量与所述路面重建范围对应的多个网格中任一个网格存在交点时，在当前迭代周期内，基于所述交点对应的网格中每一个网格顶点的色彩值和预配置的插值算法，确定所述交点的预测色彩值；
将距离所述交点最近的网格顶点的语义类别确定为所述交点的预测语义类别；
基于所述预测色彩值、所述预测语义类别、所述交点对应的像素在其所属图像中的真实色彩值和真实语义类别，确定第一损失值；
基于预设的梯度算法和所述预测色彩值，对所述路面重建范围对应的多个网格中每个网格顶点的色彩值进行更新，以及基于预设的梯度算法和所述预测语义类别，对所述路面重建范围对应的多个网格中每个网格顶点的语义类别进行更新；
当确定所述第一损失值满足收敛条件时，停止迭代过程；
或者，当确定所述第一损失值未满足收敛条件时，进入下一迭代周期，重新对所述重建范围对应的多个网格中每个网格顶点的色彩值和语义类别进行更新。
具体地，由于图像中包括每个像素的色彩值信息，并且，对图像进行语义分割也可以得到该图像中每个像素的语义类别。因此，通过网格和像素的比对，可以确定出路面重建范围对应的多个网格中每个网格顶点的色彩值和语义类别。进一步，结合每个网格顶点的路面坐标、路面高度、色彩值和语义类别，进行路面的三维模型重建，可以得到较为准确的路面的三维重建模型。
在一种可选的实施方式中，所述对于所述多帧图像中的第一帧图像，基于所述第一帧图像对应的所述相机位姿、所述相机配置信息，以及轨迹点，确定所述第一帧图像中每个像素在所述参考坐标系下的方位向量，包括：
对于所述多帧图像中的第一帧图像，基于所述第一帧图像对应的相机位姿和轨迹点，确定所述第一帧图像对应的坐标系转换参数；
基于所述第一帧图像对应的相机配置信息，确定所述第一帧图像中每个像素在其所属的相机坐标系下的方位向量；
基于所述第一帧图像对应的坐标系转换参数，对所述第一帧图像中的每个像素在其所属的相机坐标系下的方位向量进行坐标转换，得到所述第一帧图像中的每个像素在所述参考坐标系下的方位向量。
具体地，由于图像对应的是相机坐标系，路面重建范围对应的多个网格是在参考坐标系下，而在后续处理中需要对图像中的像素和路面重建范围的网格进行匹配。因此，需要将图像转换到参考坐标系下，为每个网格顶点确定色彩值和语义类别。进一步，可以得到带有色彩信息和语义信息的路面的三维重建模型，这样的三维重建模型更符合实际情况，更准确。
在一种可选的实施方式中，所述基于所述预测色彩值、所述预测语义类别、所述交点对应的像素在其所属图像中的真实色彩值和真实语义类别，确定第一损失值，包括：
基于所述预测色彩值、所述交点对应的像素在至少一帧图像中的真实色彩值和第一损失函数，确定第二损失值；
基于所述预测语义类别和所述交点对应的像素在至少一帧图像中的真实语义类别和第二损失函数，确定第三损失值；
基于预获取的每个像素的语义分割质量，确定语义类别权重值；
基于所述第二损失值、所述第三损失值、所述语义类别权重值和第三损失函数，确定第一损失值。
具体地，由于图像中每个像素的色彩值就是实际的色彩值，而图像中每个像素的语义类别是通过语义分割算法确定出的，即像素的语义类别与现实也存在一定误差。因此，对于第三损失值来说，可以根据语义分割的质量来确定语义类别权重值。这样，可以确定出较为准确的损失值。
在一种可选的实施方式中，所述第三损失函数采用如下表达式：
L=loss_rgb +w2·loss_sem……（1）
其中，L为所述第一损失值，loss_rgb为所述第二损失值，w2为所述语义类别权重值，loss_sem为所述第三损失值。
具体地，由于图像中每个像素的语义类别是通过语义分割算法确定出的，即像素的语义类别与现实也存在一定误差。因此，在计算损失值的时候，以语义类别权重值指示该误差，可以确定出较为准确的损失值。
在一种可选的实施方式中，所述方法还包括：
获取目标语义类别；
从所述路面重建范围对应的多个网格中，选取语义类别为所述目标语义类别的网格顶点，构成首轮稠密操作对应的目标网格顶点集合；
基于所述首轮稠密操作对应的目标网格顶点集合中每个网格顶点的路面坐标和路面高度，对所述首轮稠密操作对应的目标网格顶点集合中每个网格顶点分别进行稠密操作，获取首轮稠密操作对应的稠密网格顶点集合；
对所述首轮稠密操作对应的目标网格顶点集合和所述稠密网格顶点集合进行融合，得到首轮稠密操作对应的第一采样点集合；
基于首轮稠密操作对应的预设采样数量，对所述第一采样集合中的网格顶点进行采样，得到下一轮稠密操作对应的网格顶点集合；
在非首轮稠密操作中，基于上一轮的目标网格顶点集合中每个网格顶点对应的路面坐标和路面高度，对上一轮的所述目标网格顶点集合中的每个网格顶点进行稠密操作，得到本轮对应的稠密网格顶点集合；
对所述本轮稠密操作对应的目标网格顶点集合和所述本轮对应的所述稠密网格顶点集合进行融合，得到本轮稠密操作对应的采样点集合；
当本轮稠密操作对应的操作次数等于预设操作次数时，对本轮稠密操作对应的采样点集合进行采样操作，获取目标网格顶点集合；
将所述目标网格顶点集合与所述路面重建范围对应的多个网格进行合并，再进行三角化处理，得到稠密化后的所述路面重建范围对应的多个网格，稠密化后的所述路面重建范围对应的多个网格构成所述目标路面的三维重建模型。
具体地，由于有些语义类别需要重点关注（即目标语义类别），相应的网格顶点需要更多，以构建更精细的网格。因此，通过对目标语义类别的网格顶点进行多轮稠密操作，可以精细化目标语义类别的网格。进一步，使得构建的路面的三维重建模型准确性更高。
第二方面，本发明提供了一种确定路面高度的装置，所述装置包括：
获取模块，用于获取目标车辆在目标路面行驶过程中拍摄的多帧图像，以及预设路面宽度；基于所述多帧图像，获取目标轨迹，其中，所述目标轨迹中包括多个轨迹点分别对应的轨迹坐标以及多个轨迹点分别对应的路面高度，所述轨迹坐标用以指示所述目标车辆在与所述目标路面对应的参考坐标系中的路面坐标；
确定模块，用于基于所述预设路面宽度和所述目标轨迹中每个轨迹点对应的路面坐标，确定与所述目标路面对应的路面重建范围；
网格化模块，用于基于预配置的网格大小，对所述路面重建范围对应的三维空间进行网格化，得到所述路面重建范围对应的多个网格；
所述确定模块，用于基于所述目标轨迹中每个轨迹点对应的所述路面坐标，确定每两个相邻轨迹点之间的距离；基于所述每两个相邻轨迹点之间的距离和所述预设路面宽度，确定每两个相邻轨迹点之间的覆盖路面范围；
选取模块，用于在所述路面重建范围对应的多个网格中选取所述覆盖路面范围所涵盖的多个网格；
所述确定模块，用于将第一组相邻的两个轨迹点中目标轨迹点对应的路面高度确定为第一组相邻的两个轨迹点所对应的覆盖路面范围涵盖的多个网格中每个网格顶点的路面高度，其中，所述第一组相邻的两个轨迹点为所述目标轨迹中任一组相邻的两个轨迹点，所述目标轨迹点为所述第一组相邻的两个轨迹点中的第一个轨迹点。
第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的确定路面高度的方法。
第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的确定路面高度的方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以基于这些附图获得其他的附图。
图1是基于本发明实施例的确定路面高度的方法的流程示意图；
图2是基于本发明实施例的另一确定路面高度的方法的流程示意图；
图3是基于本发明实施例的更新色彩值和语义类别的方法的流程示意图；
图4是基于本发明实施例的确定像素的方位向量的方法的流程示意图；
图5是基于本发明实施例的确定损失值的方法的流程示意图；
图6是基于本发明实施例的稠密网格顶点的方法的流程示意图；
图7是基于本发明实施例的构建目标路面的三维重建模型的方法的流程示意图；
图8是基于本发明实施例的确定路面高度的装置的结构框图；
图9是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在自动驾驶技术中，通常分为感知、定位和控制等模块。感知模块在采集到环境数据后，通过三维重建网络模型进行三维重建，并将重建的场景三维模型输出至定位、控制等其他模块，以进行后续处理。对于场景的三维重建，一般会将场景分为地上物和地面分别进行三维重建。例如，对汽车行驶路面的三维重建。
本发明实施例提供了一种确定路面高度的方法，通过车辆的行驶轨迹确定网格顶点的路面高度，以提高三维重建模型的准确性。
基于本发明实施例，提供了一种确定路面高度的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种确定路面高度的方法，可用于计算机设备，计算机设备可以是终端和服务器等，例如，台式电脑、平板电脑等。计算机设备上可以配置有三维重建模型，用于实现本方法。图1是基于本发明实施例的确定路面高度的方法的流程图，如图1所示，该流程包括如下步骤：
步骤S101，获取目标车辆在目标路面行驶过程中拍摄的多帧图像，以及预设路面宽度。
其中，目标车辆可配置有至少一个相机，至少一个相机中可以包括前视相机和环视相机等。多帧图像中的每一帧图像可以是由至少一个相机中的同一个相机拍摄的图像，例如，前视相机。或者，多帧图像中的每一帧图像也可以是不同相机拍摄的图像融合后的图像。
在实施中，目标车辆在目标路面行驶的过程中，目标车辆上配置的相机可以基于预配置的指令拍摄图像，并传输至计算机设备。计算机设备可以对拍摄的多帧图像进行存储，以进行后续处理。在对目标路面进行三维重建时，技术人员可以根据经验对目标路面的宽度进行预估，得到预设路面宽度（目标路面的预设路面宽度大于实际路面宽度），并输入至计算机设备。例如，实际路面宽度是10米，预设路面宽度可以是12米。
步骤S102，基于多帧图像，获取目标轨迹。
其中，目标轨迹中包括多个轨迹点分别对应的轨迹坐标以及多个轨迹点分别对应的路面高度，轨迹坐标用以指示目标车辆在与目标路面对应的参考坐标系中的路面坐标。参考坐标系可以进行任意设置，本实施例以下述情况为例进行说明：目标轨迹中的第一个轨迹点可以是在参考坐标系的坐标原点上，参考坐标系的x轴在目标路面的宽度方向上，y轴在目标路面的延伸方向上。
在实施中，计算机设备可以将多帧图像输入到轨迹生成算法中，得到目标轨迹。例如，轨迹生成算法可以是即时定位与地图构建（Simultaneous Localization andMapping，SLAM）算法。
步骤S103，基于预设路面宽度和目标轨迹中每个轨迹点对应的路面坐标，确定与目标路面对应的路面重建范围。
在实施中，计算机设备可以根据目标轨迹中轨迹点的最小y坐标值和最大y坐标值，确定y方向的重建范围，根据预设路面宽度和每个轨迹点的x坐标值，确定x方向的重建范围，进一步，可以根据x方向的重建范围和y方向的重建范围，确定路面重建范围。例如，路面重建范围可以是[x_min，x_max]和[y_min, y_max]所覆盖的范围。
步骤S104，基于预配置的网格大小，对路面重建范围对应的三维空间进行网格化，得到路面重建范围对应的多个网格。
其中，预配置的网格大小可以用网格的边长进行表示，网格的边长可以是0.1米。
在实施中，计算机设备可以根据预配置的网格大小，对路面重建范围对应的三维空间进行网格化，得到路面重建范围对应的多个网格。例如，路面重建范围对应的多个网格的数量可以是int（（x_max-x_min）/0.1) • int（（y_max-y_min）/0.1)。
步骤S105，基于目标轨迹中每个轨迹点对应的路面坐标，确定每两个相邻轨迹点之间的距离。
在实施中，对于每两个相邻轨迹点，计算机设备可以将这两个相邻轨迹点的路面坐标中的y轴坐标值的差值绝对值，确定为这两个相邻轨迹点之间的距离。
步骤S106，基于每两个相邻轨迹点之间的距离和预设路面宽度，确定每两个相邻轨迹点之间的覆盖路面范围。
在实施中，对于每两个相邻轨迹点，计算机设备可以将这两个相邻轨迹点之间的距离和预设路面宽度的乘积，确定为这两个相邻轨迹点之间的覆盖路面范围，并确定覆盖路面范围对应的坐标范围。例如，坐标范围可以为[x1，x2]和[y1，y2]。所有的相邻轨迹点之间的覆盖路面范围可以组成路面重建范围。
步骤S107，在路面重建范围对应的多个网格中选取覆盖路面范围所涵盖的多个网格。
在实施中，计算机设备可以根据覆盖路面范围对应的坐标范围，确定坐标在坐标范围之内的网格顶点，这些网格顶点对应的网格构成了覆盖路面范围所涵盖的多个网格。
步骤S108，将第一组相邻的两个轨迹点中目标轨迹点对应的路面高度确定为第一组相邻的两个轨迹点所对应的覆盖路面范围涵盖的多个网格中每个网格顶点的路面高度。
其中，第一组相邻的两个轨迹点为目标轨迹中任一组相邻的两个轨迹点，目标轨迹点为第一组相邻的两个轨迹点中的第一个轨迹点。
在实施中，对于第一组相邻的两个轨迹点，计算机设备可以将目标轨迹点路面高度，确定为第一组相邻的两个轨迹点所对应的覆盖路面范围涵盖的多个网格中每个网格顶点的路面高度。这样，可以得到路面重建范围对应的多个网格中每个网格顶点的路面高度。
本实施例提供的确定路面高度的方法，由于路面高低起伏不平，如果将路面对应的多个网格中每个网格顶点的路面高度都确定为零，则导致构建的路面三维重建模型不准确。因此，通过目标车辆在目标路面行驶过程中拍摄的图像生成目标轨迹，目标轨迹中的每个点对应目标车辆在目标路面所属的参考坐标系中的位姿，即路面坐标和路面高度。进而，通过对路面重建范围对应的多个网格和覆盖路面范围对应的多个网格进行比对，可以确定出路面重建范围对应的多个网格中每个网格顶点的路面高度。这样，考虑到了路面的起伏情况，可以提高构建路面三维重建模型的准确性。
在本实施例中提供了一种确定路面高度的方法，可用于计算机设备，计算机设备可以是终端和服务器等，例如，台式电脑、平板电脑等。计算机设备上可以配置有三维重建模型，用于实现本方法。图2是基于本发明实施例的确定路面高度的方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取目标车辆在目标路面行驶过程中拍摄的多帧图像，以及预设路面宽度。
详细请参见图1所示实施例的步骤S101，在此不再赘述。
步骤S202，基于多帧图像，获取目标轨迹。
详细请参见图1所示实施例的步骤S102，在此不再赘述。
步骤S203，基于预设路面宽度和目标轨迹中每个轨迹点对应的路面坐标，确定与目标路面对应的路面重建范围。
具体地，上述步骤S203包括：
步骤S2031，基于预设路面宽度和目标轨迹中每个轨迹点的路面坐标，得到目标路面对应的轨迹点云，以及轨迹点云中每个轨迹点的路面坐标。
在实施中，计算机设备可以根据以目标轨迹中每个轨迹点的路面坐标为中心，以预设路面宽度为边界，在目标路面的宽度方向上进行撒点，得到目标路面对应的轨迹点云，以及轨迹点云中每个轨迹点的路面坐标。以一个轨迹点为例对该过程进行具体说明：参考坐标系的x轴在目标路面的宽度方向上，y轴在目标路面的延伸方向上。对于每个轨迹点的路面坐标，可以根据预设路面宽度和该轨迹点的x坐标值，得到多个x坐标值，根据这多个x坐标值和该轨迹点的y坐标值，可以得到多个轨迹点云。例如，该轨迹点的x坐标值为0，y坐标值5，预设路面宽度为12米，可以得到两个x坐标值分别为-6和6，进一步，两个轨迹点云的路面坐标分别为（-6，5）和（6，5）。
步骤S2032，基于轨迹点云中每个轨迹点的路面坐标，确定路面重建范围。
在实施中，计算机设备可以根据每个轨迹点的路面坐标，确定出目标路面边界的轨迹点。边界的轨迹点连线可以构成路面重建范围。
步骤S204，基于预配置的网格大小，对路面重建范围对应的三维空间进行网格化，得到路面重建范围对应的多个网格。
步骤S205，基于目标轨迹中每个轨迹点对应的路面坐标，确定每两个相邻轨迹点之间的距离。
步骤S206，基于每两个相邻轨迹点之间的距离和预设路面宽度，确定每两个相邻轨迹点之间的覆盖路面范围。
步骤S207，在路面重建范围对应的多个网格中选取覆盖路面范围所涵盖的多个网格。
步骤S208，将第一组相邻的两个轨迹点中目标轨迹点对应的路面高度确定为第一组相邻的两个轨迹点所对应的覆盖路面范围涵盖的多个网格中每个网格顶点的路面高度。
步骤S204到步骤S208详细请参见图1所示实施例的步骤S104到步骤S108，在此不再赘述。
本实施例提供的确定路面高度的方法，由于路面的整体形状可能并不是规则的，如果直接按规则确定路面重建范围，可能导致确定出的路面重建范围过大或过小，过大会导致后续进行模型重建时，占用处理资源较多，导致模型重建效率较低，过小会导致部分关键信息遗漏。因此，通过目标轨迹中每个轨迹点的路面坐标和预设路面宽度确定路面重建范围，可以考虑到目标路面的实际情况，可以提高构建路面三维重建模型的准确性。
在三维重建过程中，色彩值和语义类别可以表示路面的关键信息。因此，在进行三维重建的过程中，除了如图1所示的流程中确定每个网格顶点的路面坐标和路面高度外，还可以为每个网格顶点确定其色彩值和语义类别。在本实施例中提供了一种更新色彩值和语义类别的方法，可用于计算机设备，计算机设备可以是终端和服务器等，例如，台式电脑、平板电脑等。计算机设备上可以配置有三维重建模型，用于实现本方法。图3是基于本发明实施例更新色彩值和语义类别的方法的流程图，如图3所示，该流程包括如下步骤：
步骤S301，基于多帧图像，获取每一帧图像对应的相机位姿和相机配置信息。
其中，多帧图像中每帧图像与目标轨迹中的一个轨迹点相对应。相机位姿即相机外参，可以表示相机拍摄图像时的位置、角度等信息。相机配置信息即相机内参，可以表示相机拍摄图像时焦距、像素间距等信息。
在实施中，计算机设备可以获取拍摄每帧图像时相机的位姿和配置信息。进一步，可以将分别将每帧图像输入到语义分割模型中，得到每帧图像中每个像素的语义类别和语义分割质量。语义分割模型可以是深度网络模型，例如，（Visual Geometry Group，VGG）视觉几何组模型、（Residual Neural Network，Resnet）残差网络模型等。
本实施例中使用的是N+1语义类别， N表示关注的语义信息，例如路面、车道线、行车线、箭头、斑马线等，1表示背景，即路面相关场景之外的其他场景（例如，前方车辆等）。语义类别通过N+1位的二值（即“0”或“1”）进行表示，即技术人员预先规定了每一位二值所对应的语义类别，例如，第一位对应路面，第二位对应车道线，第三位对应箭头等等，当某个像素的第一位为“1”，其他位都为“0”，表示该像素为路面对应的像素。
步骤S302，对于多帧图像中的第一帧图像，基于第一帧图像对应的相机位姿、相机配置信息，以及轨迹点，确定第一帧图像中每个像素在参考坐标系下的方位向量。
其中，第一帧图像为多帧图像中的任一帧图像。
上述步骤S302的具体步骤可以如图4所示，包括：
对于多帧图像中的第一帧图像，基于第一帧图像对应的相机位姿和轨迹点，确定第一帧图像对应的坐标系转换参数；
基于第一帧图像对应的相机配置信息，确定第一帧图像中每个像素在其所属的相机坐标系下的方位向量；
基于第一帧图像对应的坐标系转换参数，对第一帧图像中的每个像素在其所属的相机坐标系下的方位向量进行坐标转换，得到第一帧图像中的每个像素在参考坐标系下的方位向量。
步骤S3021，对于多帧图像中的第一帧图像，基于第一帧图像对应的相机位姿和轨迹点，确定第一帧图像对应的坐标系转换参数。
其中，坐标系转换参数可以是坐标转换矩阵，该坐标变换矩阵可以包括旋转角度和平移距离等信息。
在实施中，由于图像对应的是相机坐标系，路面重建范围对应的多个网格是在参考坐标系下，而在后续处理中需要根据图像确定出路面重建范围对应的多个网格中每个网格顶点的色彩值和语义类别，因此，需要将图像转换到参考坐标系下。相机位姿可以表示相机相对于目标车辆的位置，轨迹点的路面坐标可以表示目标车辆相对于目标路面的位置，进一步，通过相机位姿和轨迹点的路面坐标可以确定出相机相对于目标路面的位置（坐标系转换参数），也即确定出每一帧图像从相机坐标系到参考坐标系的变换。
步骤S3022，基于第一帧图像对应的相机配置信息，确定第一帧图像中每个像素在其所属的相机坐标系下的方位向量。
在实施中，计算机设备可以根据每一帧图像对应的相机配置信息，对该图像中的每个像素进行投影变换，得到每个像素在其所属的相机坐标系下的方位向量。
步骤S3023，基于第一帧图像对应的坐标系转换参数，对第一帧图像中的每个像素在其所属的相机坐标系下的方位向量进行坐标转换，得到第一帧图像中的每个像素在参考坐标系下的方位向量。
在实施中，对于每一帧图像，计算机设备可以根据该图像对应的坐标系转换参数，对该图像中的每个像素在其所属的相机坐标系下的方位向量进行平移和/或旋转变换，得到每个像素在参考坐标系下的方位向量。
步骤S303，当存在至少一帧图像中的像素在参考坐标系下的方位向量与路面重建范围对应的多个网格中任一个网格存在交点时，在当前迭代周期内，基于交点对应的网格中每一个网格顶点的色彩值和预配置的插值算法，确定交点的预测色彩值。
其中，色彩值可以是（Red Green Blue，RGB）红绿蓝色彩值，包括红色光色彩值、绿色光色彩值和蓝色光色彩值。
在实施中，计算机设备可以确定是否存在至少一帧图像中的像素在参考坐标系下的方位向量与路面重建范围对应的多个网格中任一个网格存在交点，当确定存在至少一帧图像中的像素在参考坐标系下的方位向量与路面重建范围对应的多个网格中任一个网格存在交点时，说明该交点对应的像素和该交点所在的网格对应目标路面的同一个位置。
在当前迭代周期内，计算机设备可以确定该交点对应的网格顶点的色彩值和路面坐标、以及交点的坐标，输入到预配置的插值算法中，得到该交点的预测色彩值。
步骤S304，将距离交点最近的网格顶点的语义类别确定为交点的预测语义类别。
在实施中，计算机设备可以计算交点与其所在网格的每个网格顶点的距离，进一步，将距离交点最近的网格顶点的语义类别确定为交点的预测语义类别。
步骤S305，基于预测色彩值、预测语义类别、交点对应的像素在其所属图像中的真实色彩值和真实语义类别，确定第一损失值。
上述步骤S305的具体步骤可以如图5所示，包括：
步骤S3051，基于预测色彩值、交点对应的像素在至少一帧图像中的真实色彩值和第一损失函数，确定第二损失值。
其中，第一损失函数可以采用L1范数或者L2范数。
在实施中，由于图像中包括该图像中的每个像素的真实色彩值，且对应路面同一网格可能对应多个像素，这多个像素在不同的图像中。因此，每个交点对应的真实色彩值存在多个。当交点对应的真实色彩值仅有一个时，即可将该真实色彩值和预测色彩值的差值绝对值确定为该交点对应的损失值。当交点对应的真实色彩值有多个时，可以确定出每个真实色彩值和预测色彩值的差值绝对值，进一步，再计算将这些差值绝对值的均值确定为该交点对应的损失值。最后，对每个交点对应的损失值进行求和或求平均，得到第二损失值。
步骤S3052，基于预测语义类别和交点对应的像素在至少一帧图像中的真实语义类别和第二损失函数，确定第三损失值。
其中，第二损失函数可以采用二元交叉熵（Binary Cross Entropy)损失函数。
在实施中，由于图像中包括该图像中的每个像素的真实语义类别，且路面重建范围中的一个网格可能对应多个像素，这多个像素在不同的图像中。因此，每个交点对应的真实语义类别存在多个。当交点对应的真实语义类别仅有一个时，可以根据真实语义类别和预测语义类别的差异，确定该交点对应的损失值。当交点对应的真实色彩值有多个时，可以根据每个真实语义类别和预测语义类别的差异，确定该交点对应的损失值。最后，对每个交点对应的损失值进行求和或求平均，得到第三损失值。
步骤S3053，基于预获取的每个像素的语义分割质量，确定语义类别权重值。
在实施中，计算机设备可以根据每个像素的语义分割质量，确定总的语义分割质量。语义分割质量与语义类别权重值成正比。
步骤S3054，基于第二损失值、第三损失值、语义类别权重值和第三损失函数，确定第一损失值。
第三损失函数采用如下表达式：
L=loss_rgb +w2•loss_sem……（1）
其中，L为第一损失值，loss_rgb为第二损失值，w2为语义类别权重值，loss_sem为第三损失值。
步骤S306，基于预设的梯度算法和预测色彩值，对路面重建范围对应的多个网格中每个网格顶点的色彩值进行更新，以及基于预设的梯度算法和预测语义类别，对路面重建范围对应的多个网格中每个网格顶点的语义类别进行更新。
在实施中，计算机设备可以根据预设的梯度算法和每个交点对应的预测色彩值，对路面重建范围对应的多个网格中每个网格顶点的色彩值进行更新。计算机设备可以根据预设的梯度算法和每个交点对应的预测语义类别，对路面重建范围对应的多个网格中每个网格顶点的语义类别进行更新。
步骤S307，当确定第一损失值满足收敛条件时，停止迭代过程。
在实施中，当计算机设备确定连续n次迭代过程输出的第一损失值的变化在预设范围内之后（即真实值和预测值之间的差异趋于稳定），确定满足收敛条件。其中，n为预设次数。或者，当计算机设备确定本轮迭代过程输出的第一损失值小于或等于预设阈值时，确定满足收敛条件。
步骤S308，当确定第一损失值未满足收敛条件时，进入下一迭代周期，重新对重建范围对应的多个网格中每个网格顶点的色彩值和语义类别进行更新。
在实施中，当计算机设备确定本轮迭代过程输出的第一损失值大于预设阈值时，进入下一迭代周期，重复上述的步骤S303到步骤S308。
本实施例提供的更新色彩值和语义类别的方法，由于图像中包括每个像素的色彩值信息，并且，对图像进行语义分割也可以得到该图像中每个像素的语义类别。因此，通过网格和像素的比对，可以确定出路面重建范围对应的多个网格中每个网格顶点的色彩值和语义类别。进一步，结合每个网格顶点的路面坐标、路面高度、色彩值和语义类别，进行路面的三维模型重建，可以得到较为准确的路面的三维重建模型。
在更新完每个网格顶点的色彩值和语义类别之后，可以更进一步地对网格顶点进行稠密操作，得到更精细的路面网格。因此，在本实施例中提供了一种稠密网格顶点的方法，可用于计算机设备，计算机设备可以是终端和服务器等，例如，台式电脑、平板电脑等。计算机设备上可以配置有三维重建模型，用于实现本方法。图6是基于本发明实施例的稠密网格顶点的方法的流程图，如图6所示，该流程包括如下步骤：
步骤S601，获取目标语义类别。
在实施中，技术人员可以在计算机设备上输入目标语义类别。当计算机设备检测到该输出操作对应的操作指令时，即可从操作指令中获取目标语义类别。例如，目标语义类别可以是箭头。
步骤S602，基于目标语义类别，从路面重建范围对应的多个网格中，选取语义类别为目标语义类别的网格顶点，构成首轮稠密操作对应的目标网格顶点集合。
在实施中，计算机设备可以对路面重建范围对应的多个网格中每个网格顶点的语义类别与目标语义类别进行对比，确定出语义类别为目标语义类别的网格顶点。进一步，计算机设备将语义类别为目标语义类别的网格顶点确定为首轮稠密操作对应的目标网格顶点集合。
步骤S603，基于首轮稠密操作对应的目标网格顶点集合中每个网格顶点的路面坐标和路面高度，对首轮稠密操作对应的目标网格顶点集合中每个网格顶点分别进行稠密操作，获取首轮稠密操作对应的稠密网格顶点集合。
在实施中，对于目标网格顶点中的每个网格顶点，计算机设备可以根据该网格顶点的路面高度，确定该网格顶点对应的切面，在该切面上，对该网格顶点的路面坐标增加预设扰动，得到新的坐标点。这些新的坐标点构成了稠密网格顶点集合。例如，该网格顶点的路面坐标为（x，y），预设扰动可以包括Δx和Δy，新的坐标点可以为（x+Δx，y）、（x，y+Δy）、（x-Δx，y）、（x，y-Δy）等等。另外，新的坐标点的色彩值可以和该网格顶点的色彩值相同，新的坐标点的语义类别可以和该网格顶点的语义类别相同。
步骤S604，对首轮稠密操作对应的目标网格顶点集合和稠密网格顶点集合进行融合，得到首轮稠密操作对应的第一采样点集合。
步骤S605，基于首轮稠密操作对应的预设采样数量，对第一采样集合中的网格顶点进行采样，得到下一轮稠密操作对应的网格顶点集合。
在实施中，计算机设备在第一采样点集合中采样预设采样数量的网格顶点，得到下一轮稠密操作对应的网格顶点。
步骤S606，在非首轮稠密操作中，基于上一轮的目标网格顶点集合中每个网格顶点对应的路面坐标和路面高度，对上一轮的目标网格顶点集合中的每个网格顶点进行稠密操作，得到本轮对应的稠密网格顶点集合。
本步骤和上述的步骤S603的具体处理类似，此处不再赘述。
步骤S607，对本轮稠密操作对应的目标网格顶点集合和本轮对应的稠密网格顶点集合进行融合，得到本轮稠密操作对应的采样点集合。
本步骤和上述的步骤S604的具体处理类似，此处不再赘述。
步骤S608，当本轮稠密操作对应的操作次数等于预设操作次数时，对本轮稠密操作对应的采样点集合进行采样操作，获取目标网格顶点集合。
在实施中，计算机设备可以在每进行完成一次稠密操作后，对稠密操作次数进行加一，直到稠密操作次数等于预设操作次数时，对本轮稠密操作对应的采样点集合进行采样操作，得到目标网格顶点集合。
步骤S609，将目标网格顶点集合与路面重建范围对应的多个网格进行合并，再进行三角化处理，得到稠密化后的路面重建范围对应的多个网格，稠密化后的路面重建范围对应的多个网格构成目标路面的三维重建模型。
在实施中，计算机设备可以对最后一次稠密操作之后采用得到的目标网格顶点集合中的网格顶点，与原有的路面重建范围对应的多个网格进行合并，得到合并后的多个网格。进一步，计算机设备可以通过预设的三角化算法对合并后的多个网格进行三角化，得到稠密化后的路面重建范围对应的多个网格。
在一些可能的实现方式中，在得到稠密化后的路面重建范围对应的多个网格后，可以再次进行步骤S304到步骤S308的处理。如图7所示，步骤S304到步骤S308为第一循环，步骤S602到步骤S609为第二循环，第一循环和第二循环构成第三循环。这样通过不停地循环处理，可以得到更准确的目标路面的三维重建模型。
本实施例提供的稠密网格顶点的方法，由于有些语义类别需要重点关注（即目标语义类别），相应的网格顶点需要更多，以构建更精细的网格。因此，通过对目标语义类别的网格顶点进行多轮稠密操作，可以精细化目标语义类别的网格。进一步，使得构建的路面的三维重建模型准确性更高。
在本实施例中还提供了一种确定路面高度的装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种确定路面高度的装置，如图8所示，包括：
获取模块801，用于获取目标车辆在目标路面行驶过程中拍摄的多帧图像，以及预设路面宽度；基于多帧图像，获取目标轨迹，其中，目标轨迹中包括多个轨迹点分别对应的轨迹坐标以及多个轨迹点分别对应的路面高度，轨迹坐标用以指示目标车辆在与目标路面对应的参考坐标系中的路面坐标；
确定模块802，用于基于预设路面宽度和目标轨迹中每个轨迹点对应的路面坐标，确定与目标路面对应的路面重建范围；
网格化模块803，用于基于预配置的网格大小，对路面重建范围对应的三维空间进行网格化，得到路面重建范围对应的多个网格；
确定模块802，用于基于目标轨迹中每个轨迹点对应的路面坐标，确定每两个相邻轨迹点之间的距离；基于每两个相邻轨迹点之间的距离和预设路面宽度，确定每两个相邻轨迹点之间的覆盖路面范围；
选取模块804，用于在路面重建范围对应的多个网格中选取覆盖路面范围所涵盖的多个网格；
确定模块802，用于将第一组相邻的两个轨迹点中目标轨迹点对应的路面高度确定为第一组相邻的两个轨迹点所对应的覆盖路面范围涵盖的多个网格中每个网格顶点的路面高度，其中，第一组相邻的两个轨迹点为目标轨迹中任一组相邻的两个轨迹点，目标轨迹点为第一组相邻的两个轨迹点中的第一个轨迹点。
在一种可选的实施方式中，确定模块802，用于：
基于预设路面宽度和目标轨迹中每个轨迹点的路面坐标，得到目标路面对应的轨迹点云，以及轨迹点云中每个轨迹点的路面坐标；
基于轨迹点云中每个轨迹点的路面坐标，确定路面重建范围。
在一种可选的实施方式中，路面重建范围对应的多个网格中每个网格顶点还包括色彩值和语义类别，获取模块801，还用于基于多帧图像，获取每一帧图像对应的相机位姿和相机配置信息，其中，多帧图像中每帧图像与目标轨迹中的一个轨迹点相对应；
确定模块802，还用于对于多帧图像中的第一帧图像，基于第一帧图像对应的相机位姿、相机配置信息，以及轨迹点，确定第一帧图像中每个像素在参考坐标系下的方位向量，其中，第一帧图像为多帧图像中的任一帧图像；当存在至少一帧图像中的像素在参考坐标系下的方位向量与路面重建范围对应的多个网格中任一个网格存在交点时，在当前迭代周期内，基于交点对应的网格中每一个网格顶点的色彩值和预配置的插值算法，确定交点的预测色彩值；将距离交点最近的网格顶点的语义类别确定为交点的预测语义类别；基于预测色彩值、预测语义类别、交点对应的像素在其所属图像中的真实色彩值和真实语义类别，确定第一损失值；基于预设的梯度算法和预测色彩值，对路面重建范围对应的多个网格中每个网格顶点的色彩值进行更新，以及基于预设的梯度算法和预测语义类别，对路面重建范围对应的多个网格中每个网格顶点的语义类别进行更新；当确定第一损失值满足收敛条件时，停止迭代过程；或者，当确定第一损失值未满足收敛条件时，进入下一迭代周期，重新对重建范围对应的多个网格中每个网格顶点的色彩值和语义类别进行更新。
在一种可选的实施方式中，确定模块802，用于：
对于多帧图像中的第一帧图像，基于第一帧图像对应的相机位姿和轨迹点，确定第一帧图像对应的坐标系转换参数；
基于第一帧图像对应的相机配置信息，确定第一帧图像中每个像素在其所属的相机坐标系下的方位向量；
基于第一帧图像对应的坐标系转换参数，对第一帧图像中的每个像素在其所属的相机坐标系下的方位向量进行坐标转换，得到第一帧图像中的每个像素在参考坐标系下的方位向量。
在一种可选的实施方式中，确定模块802，用于：
基于预测色彩值、交点对应的像素在至少一帧图像中的真实色彩值和第一损失函数，确定第二损失值；
基于预测语义类别和交点对应的像素在至少一帧图像中的真实语义类别和第二损失函数，确定第三损失值；
基于预获取的每个像素的语义分割质量，确定语义类别权重值；
基于第二损失值、第三损失值、语义类别权重值和第三损失函数，确定第一损失值。
在一种可选的实施方式中，第三损失函数采用如下表达式：
L=loss_rgb +w2•loss_sem……（1）
其中，L为第一损失值，loss_rgb为第二损失值，w2为语义类别权重值，loss_sem为第三损失值。
在一种可选的实施方式中，该装置还包括稠密模块805：
获取模块801，用于获取目标语义类别；
稠密模块805，用于从路面重建范围对应的多个网格中，选取语义类别为目标语义类别的网格顶点，构成首轮稠密操作对应的目标网格顶点集合；用于基于首轮稠密操作对应的目标网格顶点集合中每个网格顶点的路面坐标和路面高度，对首轮稠密操作对应的目标网格顶点集合中每个网格顶点分别进行稠密操作，获取首轮稠密操作对应的稠密网格顶点集合；对首轮稠密操作对应的目标网格顶点集合和稠密网格顶点集合进行融合，得到首轮稠密操作对应的第一采样点集合；基于首轮稠密操作对应的预设采样数量，对第一采样集合中的网格顶点进行采样，得到下一轮稠密操作对应的网格顶点集合；在非首轮稠密操作中，基于上一轮的目标网格顶点集合中每个网格顶点对应的路面坐标和路面高度，对上一轮的目标网格顶点集合中的每个网格顶点进行稠密操作，得到本轮对应的稠密网格顶点集合；用于对本轮稠密操作对应的目标网格顶点集合和本轮对应的稠密网格顶点集合进行融合，得到本轮稠密操作对应的采样点集合；当本轮稠密操作对应的操作次数等于预设操作次数时，对本轮稠密操作对应的采样点集合进行采样操作，获取目标网格顶点集合；将目标网格顶点集合与路面重建范围对应的多个网格进行合并，再进行三角化处理，得到稠密化后的路面重建范围对应的多个网格，稠密化后的路面重建范围对应的多个网格构成目标路面的三维重建模型。
上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本实施例中的确定路面高度的装置是以功能单元的形式来呈现，这里的单元是指ASIC（Application Specific Integrated Circuit，专用集成电路）电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
本发明实施例还提供一种计算机设备，具有上述图8所示的确定路面高度的装置。
请参阅图9，图9是本发明可选实施例提供的一种计算机设备的结构示意图，如图9所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者基于需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器10为例。
处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
其中，所述存储器20存储有可由至少一个处理器10执行的指令，以使所述至少一个处理器10执行实现上述实施例示出的方法。
存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储基于计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接，图9中以通过总线连接为例。
输入装置30可接收输入的数字或字符信息，以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮等。输出装置40可以包括显示设备等。上述显示设备包括但不限于液晶显示器，发光二极管，显示器和等离子体显示器。在一些可选的实施方式中，显示设备可以是触摸屏。
本发明实施例还提供了一种计算机可读存储介质，上述基于本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种确定路面高度的方法，其特征在于，所述方法包括：
获取目标车辆在目标路面行驶过程中拍摄的多帧图像，以及预设路面宽度；
基于所述多帧图像，获取目标轨迹，其中，所述目标轨迹中包括多个轨迹点分别对应的轨迹坐标以及多个轨迹点分别对应的路面高度，所述轨迹坐标用以指示所述目标车辆在与所述目标路面对应的参考坐标系中的路面坐标；
基于所述预设路面宽度和所述目标轨迹中每个轨迹点对应的路面坐标，确定与所述目标路面对应的路面重建范围；
基于预配置的网格大小，对所述路面重建范围对应的三维空间进行网格化，得到所述路面重建范围对应的多个网格；
基于所述目标轨迹中每个轨迹点对应的所述路面坐标，确定每两个相邻轨迹点之间的距离；
基于所述每两个相邻轨迹点之间的距离和所述预设路面宽度，确定每两个相邻轨迹点之间的覆盖路面范围；
在所述路面重建范围对应的多个网格中选取所述覆盖路面范围所涵盖的多个网格；
将第一组相邻的两个轨迹点中目标轨迹点对应的路面高度确定为第一组相邻的两个轨迹点所对应的覆盖路面范围涵盖的多个网格中每个网格顶点的路面高度，其中，所述第一组相邻的两个轨迹点为所述目标轨迹中任一组相邻的两个轨迹点，所述目标轨迹点为所述第一组相邻的两个轨迹点中的第一个轨迹点。
2.根据权利要求1所述的方法，其特征在于，所述基于所述预设路面宽度和所述目标轨迹中每个轨迹点对应的路面坐标，确定与所述目标路面对应的路面重建范围，包括：
基于所述预设路面宽度和所述目标轨迹中每个轨迹点的路面坐标，得到所述目标路面对应的轨迹点云，以及所述轨迹点云中每个轨迹点的路面坐标；
基于所述轨迹点云中每个轨迹点的路面坐标，确定所述路面重建范围。
3.根据权利要求2所述的方法，其特征在于，所述路面重建范围对应的多个网格中每个网格顶点还包括色彩值和语义类别，所述方法还包括：
基于所述多帧图像，获取每一帧图像对应的相机位姿和相机配置信息，其中，所述多帧图像中每帧图像与所述目标轨迹中的一个轨迹点相对应；
对于所述多帧图像中的第一帧图像，基于所述第一帧图像对应的所述相机位姿、所述相机配置信息，以及轨迹点，确定所述第一帧图像中每个像素在所述参考坐标系下的方位向量，其中，所述第一帧图像为所述多帧图像中的任一帧图像；
当存在至少一帧图像中的像素在所述参考坐标系下的方位向量与所述路面重建范围对应的多个网格中任一个网格存在交点时，在当前迭代周期内，基于所述交点对应的网格中每一个网格顶点的色彩值和预配置的插值算法，确定所述交点的预测色彩值；
将距离所述交点最近的网格顶点的语义类别确定为所述交点的预测语义类别；
基于所述预测色彩值、所述预测语义类别、所述交点对应的像素在其所属图像中的真实色彩值和真实语义类别，确定第一损失值；
基于预设的梯度算法和所述预测色彩值，对所述路面重建范围对应的多个网格中每个网格顶点的色彩值进行更新，以及基于预设的梯度算法和所述预测语义类别，对所述路面重建范围对应的多个网格中每个网格顶点的语义类别进行更新；
当确定所述第一损失值满足收敛条件时，停止迭代过程；
或者，当确定所述第一损失值未满足收敛条件时，进入下一迭代周期，重新对所述重建范围对应的多个网格中每个网格顶点的色彩值和语义类别进行更新。
4.根据权利要求3所述的方法，其特征在于，所述对于所述多帧图像中的第一帧图像，基于所述第一帧图像对应的所述相机位姿、所述相机配置信息，以及轨迹点，确定所述第一帧图像中每个像素在所述参考坐标系下的方位向量，包括：
对于所述多帧图像中的第一帧图像，基于所述第一帧图像对应的相机位姿和轨迹点，确定所述第一帧图像对应的坐标系转换参数；
基于所述第一帧图像对应的相机配置信息，确定所述第一帧图像中每个像素在其所属的相机坐标系下的方位向量；
基于所述第一帧图像对应的坐标系转换参数，对所述第一帧图像中的每个像素在其所属的相机坐标系下的方位向量进行坐标转换，得到所述第一帧图像中的每个像素在所述参考坐标系下的方位向量。
5.根据权利要求3所述的方法，其特征在于，所述基于所述预测色彩值、所述预测语义类别、所述交点对应的像素在其所属图像中的真实色彩值和真实语义类别，确定第一损失值，包括：
基于所述预测色彩值、所述交点对应的像素在至少一帧图像中的真实色彩值和第一损失函数，确定第二损失值；
基于所述预测语义类别和所述交点对应的像素在至少一帧图像中的真实语义类别和第二损失函数，确定第三损失值；
基于预获取的每个像素的语义分割质量，确定语义类别权重值；
基于所述第二损失值、所述第三损失值、所述语义类别权重值和第三损失函数，确定第一损失值。
6.根据权利要求5所述的方法，其特征在于，所述第三损失函数采用如下表达式：
L=loss_rgb +w2·loss_sem……（1）
其中，L为所述第一损失值，loss_rgb为所述第二损失值，w2为所述语义类别权重值，loss_sem为所述第三损失值。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
获取目标语义类别；
从所述路面重建范围对应的多个网格中，选取语义类别为所述目标语义类别的网格顶点，构成首轮稠密操作对应的目标网格顶点集合；
基于所述首轮稠密操作对应的目标网格顶点集合中每个网格顶点的路面坐标和路面高度，对所述首轮稠密操作对应的目标网格顶点集合中每个网格顶点分别进行稠密操作，获取首轮稠密操作对应的稠密网格顶点集合；
对所述首轮稠密操作对应的目标网格顶点集合和所述稠密网格顶点集合进行融合，得到首轮稠密操作对应的第一采样点集合；
基于首轮稠密操作对应的预设采样数量，对所述第一采样集合中的网格顶点进行采样，得到下一轮稠密操作对应的网格顶点集合；
在非首轮稠密操作中，基于上一轮的目标网格顶点集合中每个网格顶点对应的路面坐标和路面高度，对上一轮的所述目标网格顶点集合中的每个网格顶点进行稠密操作，得到本轮对应的稠密网格顶点集合；
对所述本轮稠密操作对应的目标网格顶点集合和所述本轮对应的所述稠密网格顶点集合进行融合，得到本轮稠密操作对应的采样点集合；
当本轮稠密操作对应的操作次数等于预设操作次数时，对本轮稠密操作对应的采样点集合进行采样操作，获取目标网格顶点集合；
将所述目标网格顶点集合与所述路面重建范围对应的多个网格进行合并，再进行三角化处理，得到稠密化后的所述路面重建范围对应的多个网格，稠密化后的所述路面重建范围对应的多个网格构成所述目标路面的三维重建模型。
8.一种确定路面高度的装置，其特征在于，所述装置包括：
获取模块，用于获取目标车辆在目标路面行驶过程中拍摄的多帧图像，以及预设路面宽度；基于所述多帧图像，获取目标轨迹，其中，所述目标轨迹中包括多个轨迹点分别对应的轨迹坐标以及多个轨迹点分别对应的路面高度，所述轨迹坐标用以指示所述目标车辆在与所述目标路面对应的参考坐标系中的路面坐标；
确定模块，用于基于所述预设路面宽度和所述目标轨迹中每个轨迹点对应的路面坐标，确定与所述目标路面对应的路面重建范围；
网格化模块，用于基于预配置的网格大小，对所述路面重建范围对应的三维空间进行网格化，得到所述路面重建范围对应的多个网格；
所述确定模块，用于基于所述目标轨迹中每个轨迹点对应的所述路面坐标，确定每两个相邻轨迹点之间的距离；基于所述每两个相邻轨迹点之间的距离和所述预设路面宽度，确定每两个相邻轨迹点之间的覆盖路面范围；
选取模块，用于在所述路面重建范围对应的多个网格中选取所述覆盖路面范围所涵盖的多个网格；
所述确定模块，用于将第一组相邻的两个轨迹点中目标轨迹点对应的路面高度确定为第一组相邻的两个轨迹点所对应的覆盖路面范围涵盖的多个网格中每个网格顶点的路面高度，其中，所述第一组相邻的两个轨迹点为所述目标轨迹中任一组相邻的两个轨迹点，所述目标轨迹点为所述第一组相邻的两个轨迹点中的第一个轨迹点。
9.一种计算机设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的确定路面高度的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的确定路面高度的方法。
CN202311559624.2A 2023-11-22 2023-11-22 确定路面高度的方法、装置、计算机设备及存储介质 Active CN117292349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311559624.2A CN117292349B (zh) 2023-11-22 2023-11-22 确定路面高度的方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311559624.2A CN117292349B (zh) 2023-11-22 2023-11-22 确定路面高度的方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN117292349A true CN117292349A (zh) 2023-12-26
CN117292349B CN117292349B (zh) 2024-04-12

Family

ID=89253788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311559624.2A Active CN117292349B (zh) 2023-11-22 2023-11-22 确定路面高度的方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN117292349B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150371095A1 (en) * 2013-02-19 2015-12-24 Conti Temic Microelectronic Gmbh Method and Apparatus for Determining a Road Condition
CN108335337A (zh) * 2017-01-20 2018-07-27 高德软件有限公司 一种正射影像图的生成方法及装置
CN115937442A (zh) * 2022-11-17 2023-04-07 安徽蔚来智驾科技有限公司 基于隐式神经表达的路面重建方法、车辆及存储介质
US20230135088A1 (en) * 2021-10-28 2023-05-04 Nvidia Corporation 3d surface reconstruction with point cloud densification using deep neural networks for autonomous systems and applications
CN116229446A (zh) * 2023-03-10 2023-06-06 武汉四维图新科技有限公司 路面文字识别的处理方法、装置及介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150371095A1 (en) * 2013-02-19 2015-12-24 Conti Temic Microelectronic Gmbh Method and Apparatus for Determining a Road Condition
CN108335337A (zh) * 2017-01-20 2018-07-27 高德软件有限公司 一种正射影像图的生成方法及装置
US20230135088A1 (en) * 2021-10-28 2023-05-04 Nvidia Corporation 3d surface reconstruction with point cloud densification using deep neural networks for autonomous systems and applications
CN115937442A (zh) * 2022-11-17 2023-04-07 安徽蔚来智驾科技有限公司 基于隐式神经表达的路面重建方法、车辆及存储介质
CN116229446A (zh) * 2023-03-10 2023-06-06 武汉四维图新科技有限公司 路面文字识别的处理方法、装置及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟棉卿: "基于移动激光雷达数据的路面状况检测方法研究", 《中国优秀博硕士学位论文全文数据库(博士)》, no. 06, pages 1 - 165 *

Also Published As

Publication number Publication date
CN117292349B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN106940704B (zh) 一种基于栅格地图的定位方法及装置
CN108665536B (zh) 三维与实景数据可视化方法、装置与计算机可读存储介质
CN110427917B (zh) 用于检测关键点的方法和装置
CN115082639B (zh) 图像生成方法、装置、电子设备和存储介质
CN112132829A (zh) 车辆信息的检测方法、装置、电子设备和存储介质
CN111640180B (zh) 一种三维重建方法、装置及终端设备
US9437034B1 (en) Multiview texturing for three-dimensional models
CN111739167B (zh) 3d人头重建方法、装置、设备和介质
CN113359782B (zh) 一种融合lidar点云与图像数据的无人机自主选址降落方法
CN109979013B (zh) 三维人脸贴图方法及终端设备
CN114758337B (zh) 一种语义实例重建方法、装置、设备及介质
CN112717414B (zh) 游戏场景编辑方法、装置、电子设备以及存储介质
Özbay et al. A voxelize structured refinement method for registration of point clouds from Kinect sensors
Manni et al. Snap2cad: 3D indoor environment reconstruction for AR/VR applications using a smartphone device
CN114299236A (zh) 倾斜摄影测量空地融合实景建模方法、装置、产品及介质
CN111161398B (zh) 一种图像生成方法、装置、设备及存储介质
CN115294268A (zh) 一种物体的三维模型重建方法及电子设备
CN117197388A (zh) 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及系统
CN113421217A (zh) 可行驶区域检测方法和装置
CN111369680A (zh) 生成建筑物的三维图像的方法及装置
CN117292349B (zh) 确定路面高度的方法、装置、计算机设备及存储介质
CN110378948B (zh) 3d模型重建方法、装置及电子设备
CN114758087B (zh) 一种城市信息模型的构建方法及装置
CN114170367B (zh) 无限视距椎状热图渲染的方法、装置、存储介质和设备
Kim et al. Real-time stereo matching using extended binary weighted aggregation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant