CN114332189A - 一种高精地图构建方法、装置、存储介质及电子设备 - Google Patents

Abstract

本说明书公开了一种高精地图构建方法、装置、存储介质及电子设备，本说明书实施例中根据双目图像中目标图像对应的参考深度图以及目标图像中物体类别的识别结果，确定目标图像中每个像素点对应的标准深度区间。其中，物体类别包括静态物和动态物。根据每个像素点对应的标准深度区间，对每个点云点映射到目标图像上得到的深度值进行过滤，得到目标图像中静态物对应的深度图，根据深度图，构建高精地图。此方法中，根据每个像素点的标准深度区间，对每个像素点上动态物点云点映射的深度值进行过滤，得到静态物点云点映射的深度值，这样可以避免映射到同一像素点上的动态物点云点与静态物点云点重叠的问题，从而提高深度图中深度值的准确性。

Description

一种高精地图构建方法、装置、存储介质及电子设备

技术领域

本说明书涉及无人驾驶领域，尤其涉及一种高精地图构建方法、装置、存储介质及电子设备。

背景技术

在高精地图构建过程中，根据每个目标物与视觉传感器之间的距离，构建深度图是非常重要的。其中，深度图中目标物与视觉传感器之间的距离的准确度越高，构建的高精地图的精度越高。

现有技术中，在构建深度图时，可以通过激光雷达获取每帧点云，同时，通过单目视觉传感器获取目标图像。然后，将获取到的多帧点云进行融合，并通过人工标定的外参矩阵，将融合后的多帧点云映射到目标图像上，得到目标图像对应的深度图。其中，深度图可以表示目标图像中的目标物与视觉传感器之间的距离。

在将多帧点云映射到目标图像上时，多帧点云中静态物的点云与动态物的点云映射到目标图像上，目标图像上的同一像素点可能存在静态物的点云与动态物的点云重叠的情况，导致多帧点云映射所得到的深度图中每个像素点对应的深度值的不准确。

发明内容

本说明书实施例提供一种高精地图构建方法、装置、存储介质及电子设备，以部分解决上述现有技术存在的问题。

本说明书实施例采用下述技术方案：

本说明书提供的一种高精地图构建方法，包括：

获取点云以及所述点云对应的双目图像，并将所述双目图像中的任一图像作为目标图像；

根据基于所述双目图像中的其他图像所确定出的所述目标图像对应的参考深度图，以及对所述目标图像中涉及各物体进行物体类别识别的识别结果，确定所述目标图像中每个像素点对应的标准深度区间，其中，所述物体类别包括：静态物和动态物；

根据确定出的所述目标图像中每个像素点对应的标准深度区间，对将所述点云中的每个点云点向所述目标图像进行深度映射所得到的每个像素点的深度值进行过滤，得到所述目标图像中涉及的静态物所对应的深度图；

根据所述深度图，构建高精地图。

可选地，获取所述点云对应的双目图像，具体包括：

通过双目视觉传感器，获取双目图像，并将所述双目图像中的一个图像作为原始目标图像，以及将所述双目图像中的另一个图像作为原始非目标图像；

对所述原始目标图像与所述原始非目标图像进行立体校正，得到目标图像和非目标图像。

可选地，根据基于所述双目图像中的其他图像所确定出的所述目标图像对应的参考深度图，以及对所述目标图像中涉及各物体进行物体类别识别的识别结果，确定所述目标图像中每个像素点对应的标准深度区间，具体包括：

将所述目标图像与非目标图像进行匹配，得到所述目标图像对应的参考深度图，其中，所述非目标图像与所述目标图像是基于双目视觉传感器同一时刻采集的双目图像；

对所述目标图像中包含的各物体的图像进行识别，识别出所述目标图像中包含不同物体类别的图像所对应的像素点；

根据所述目标图像中每个像素点对应的物体类别以及所述参考深度图中每个像素点对应的深度值，确定所述目标图像中每个像素点对应的标准深度区间。

可选地，将所述目标图像与非目标图像进行匹配，得到所述目标图像对应的参考深度图，具体包括：

将所述目标图像与所述非目标图像输入预先训练的第一深度预测模型中，以通过所述第一深度预测模型，基于所述目标图像与所述非目标图像之间像素点的匹配关系，得到所述目标图像对应的参考深度图。

可选地，训练所述第一深度预测模型，具体包括：

通过双目视觉传感器，获取双目图像样本，将所述双目图像样本中的一个图像样本作为目标图像样本，以及另一个作为非目标图像样本，并获取所述目标图像样本相匹配的点云，作为目标点云；

将所述目标图像样本和所述非目标图像样本输入待训练的所述第一深度预测模型中，以通过所述第一深度预测模型，基于所述目标图像样本与所述非目标图像样本之间像素点的匹配关系，得到所述目标图像样本对应的待优化参考深度图；

根据所述待优化参考深度图像中每个像素点对应的深度值以及所述目标图像样本中每个像素点对应的深度误差范围，确定所述目标图像样本中每个像素点对应的待优化深度区间；

根据所述目标图像样本中每个像素点对应的待优化深度区间，对将所述目标点云中的每个点云点向所述目标图像样本进行深度映射所得到的每个像素点的深度值进行过滤，得到所述目标图像样本对应的待优化真值深度图，并将所述待优化真值深度图作为所述第一深度预测模型的标签；以所述待优化参考深度图与所述待优化真值深度图之间差异最小化，以及所述目标图像样本中每个像素点对应的深度误差范围逐渐减小为训练目标，对所述第一深度预测模型进行迭代训练。

可选地，根据所述目标图像中每个像素点对应的物体类别以及所述参考深度图中每个像素点对应的深度值，确定所述目标图像中每个像素点对应的标准深度区间，具体包括：

针对所述目标图像中每个像素点，从所述参考深度图中确定出与该像素点对应的像素点的深度值，作为该像素点对应的参考深度值；

根据该像素点对应的物体类别、该像素点对应的参考深度值以及预设的深度误差范围，确定该像素点对应的标准深度区间。

可选地，获取目标图像，具体包括：

通过双目视觉传感器，获取双目图像，并将所述双目图像中的一个图像作为目标图像；

根据所述深度图，构建高精地图，具体包括：

通过单目视觉传感器，获取多帧图像样本，并从所述多帧图像样本确定出与所述目标图像相匹配的图像，作为匹配图像，以及从所述多帧图像样本中确定出包含有所述匹配图像的若干帧连续图像样本；

将所述若干帧连续图像样本输入待训练的第二深度预测模型中，以通过所述待训练的第二深度预测模型输出所述匹配图像对应的待优化预测深度图；

以所述待优化预测深度图与所述深度图之间的差异最小化为训练目标，对所述第二深度预测模型进行训练，并通过训练后的第二深度预测模型，以及所述单目视觉传感器采集的多帧图像，构建高精地图。

本说明书提供的一种高精地图构建装置，包括：

获取模块，用于获取点云以及所述点云对应的双目图像，并将所述双目图像中的任一图像作为目标图像；

确定模块，用于根据基于所述双目图像中的其他图像所确定出的所述目标图像对应的参考深度图，以及对所述目标图像中涉及各物体进行物体类别识别的识别结果，确定所述目标图像中每个像素点对应的标准深度区间，其中，所述物体类别包括：静态物和动态物；

过滤模块，用于根据确定出的所述目标图像中每个像素点对应的标准深度区间，对将所述点云中的每个点云点向所述目标图像进行深度映射所得到的每个像素点的深度值进行过滤，得到所述目标图像中涉及的静态物所对应的深度图；

建图模块，用于根据所述深度图，构建高精地图。

本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的高精地图构建方法。

本说明书提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述的高精地图构建方法。

本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：

本说明书实施例中根据双目图像中的目标图像对应的参考深度图以及目标图像中物体类别的识别结果，确定目标图像中每个像素点对应的标准深度区间。其中，物体类别包括静态物和动态物。然后，根据每个像素点对应的标准深度区间，对每个点云点映射到目标图像上得到的深度值进行过滤，得到目标图像中静态物对应的深度图，根据深度图，构建高精地图。在此方法中，根据静态物和动态物对应的像素点的标准深度区间，对每个像素点上动态物点云点映射的深度值进行过滤，得到静态物点云点映射的深度值，这样，可以避免映射到同一像素点上的动态物点云点与静态物点云点重叠的问题，从而提高深度图中深度值的准确性，并提高精地图构建精度。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书实施例提供的高精地图构建方法的流程示意图；

图2为本说明书实施例提供的获取静态物的深度图过程的示意图；

图3为本说明书实施例提供的迭代训练第一深度预测模型过程的示意图；

图4为本说明书实施例提供的高精地图构建装置结构示意图；

图5为本说明书实施例提供的电子设备的结构示意图。

具体实施方式

本说明书提供的高精地图构建方法旨在根据双目图像中目标图像对应的参考深度图以及目标图像中物体类别的识别结果，确定目标图像中每个像素点对应的标准深度区间。然后，根据每个像素点对应的标准深度区间，对同一像素点上对应不同的点云点映射的深度值进行过滤，得到静态物的点云点映射的深度值。最后，根据每个像素点对应的静态物的点云点映射的深度值，构建深度图。这样构建的深度图中只保留了静态物的点云点映射的深度值。

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书实施例提供的高精地图构建方法的流程示意图，包括：

S100：获取点云以及所述点云对应的双目图像，并将所述双目图像中的任一图像作为目标图像。

在本说明书实施例中，可以通过安装在无人设备上的激光雷达和图像传感器获取无人设备预设范围内的环境信息，然后，对采集到的环境信息进行处理，构建深度图，再基于深度图构建高精地图，即，图1所示的高精地图构建方法可以应用于无人设备，也可以应用于控制无人设备的服务器。其中，本说明书中的无人设备可包括无人车和无人机，所述的无人设备可用于物流配送领域，既包括外卖、配送等即时配送领域，也包括其他非即时配送领域。

在本说明书实施例中，通过激光雷达获取多帧点云，并通过图像传感器获取多帧图像。其中，图像传感器可以是单目视觉传感器、双目视觉传感器等。当图像传感器为双目视觉传感器时，可以通过双目视觉传感器获取同一时刻采集的双目图像，也可以通过双目视觉传感器获取不同时刻采集的双目图像，其中，双目图像之间的相似度大于预设阈值。

在本说明书实施例中，可以从多帧图像中选择一个图像作为目标图像，当图像传感器为双目视觉传感器时，也就是，从双目图像选择一个图像作为目标图像。然后，从多帧点云中选择出与目标图像采集时间相匹配的至少一个点云帧。为了使点云更加稠密，可以从多帧点云中选择与目标图像采集时刻相匹配的多个点云帧。与目标图像采集时刻相匹配的点云可以是以目标图像采集时刻为中心，与目标图像采集时刻连续的时刻所组成的时间段内所采集的点云。

比如：从多帧图像中选择出第5s采集的图像，作为目标图像。然后，从多帧点云中选择出采集时间处于第4s到第6s之间的多个点云帧。

在构建深度图时，通常利用静态物的点云映射到目标图像上，得到目标图像中包含静态物的图像中像素点对应的深度值，从而构建目标图像对应的深度图。而通过激光雷达获取的点云中包含动态物的点云和静态物的点云，所以，需要对获取到的点云进行动态物点云点过滤。

S102：根据基于所述双目图像中的其他图像所确定出的所述目标图像对应的参考深度图，以及对所述目标图像中涉及各物体进行物体类别识别的识别结果，确定所述目标图像中每个像素点对应的标准深度区间，其中，所述物体类别包括：静态物和动态物。

在本说明书实施例中，在获取到目标图像和与目标图像采集时刻相匹配的多帧点云之后，为了滤除多帧点云中的动态物的点云点，可以确定目标图像中每个像素点对应的标准深度区间。针对每个像素点，当每个点云点映射到该像素点上时，可以根据该像素点对应的标准深度区间，对每个点云点进行过滤。

其中，确定目标图像中每个像素点对应的标准深度区间的方法可以包括：可以根据基于双目图像中的其他图像所确定出的目标图像对应的参考深度图，以及对目标图像中涉及各物体进行物体类别识别的识别结果，确定目标图像中每个像素点对应的标准深度区间，其中，所述物体类别包括：静态物和动态物。双目图像可以是通过双目视觉传感器所获取的。双目图像中的其他图像可以是除目标图像之外，双目图像中的另一个图像，该图像可以是与目标图像同一时刻采集的图像，也可以是与目标图像的采集时刻不同的图像。

具体的，当图像传感器为双目视觉传感器时，可以通过双目视觉传感器获取的目标图像和非目标图像。其中，非目标图像与目标图像是基于双目视觉传感器同一时刻采集的双目图像。

然后，将获取到的目标图像与非目标图像进行匹配，得到目标图像对应的参考深度图，其中，参考深度图中每个像素点的深度值作为参考深度值。同时，对目标图像中包含各物体的图像进行识别，识别出目标图像中包含不同物体类别的图像所对应的像素点。

最后，根据目标图像中每个像素点对应的物体类别以及参考深度图中每个像素点对应的参考深度值，确定目标图像中每个像素点对应的标准深度区间。也就是，确定目标图像中动态物像素点对应的标准深度区间以及静态物像素点对应的标准深度区间。其中，对目标图像中包含各物体的图像进行识别的方法可以是对目标图像进行语义分割。

在确定目标图像中每个像素点对应的标准深度区间且当图像传感器为单目视觉传感器时，可以将获取到的除目标图像之外的多帧图像与目标图像进行特征点匹配，确定多帧图像与目标图像中相匹配的像素点。针对目标图像中相匹配的每个像素点，根据图像传感器采集多帧图像时的位姿以及图像传感器采集目标图像时的位姿，确定该像素点处于目标图像和多帧图像时所对应的深度值。根据与目标图像采集时刻相匹配的多帧图像中该像素点对应的深度值以及目标图像中该像素点对应的深度值，确定目标图像中该像素点对应的标准深度区间。

S104：根据确定出的所述目标图像中每个像素点对应的标准深度区间，对将所述点云中的每个点云点向所述目标图像进行深度映射所得到的每个像素点的深度值进行过滤，得到所述目标图像中涉及的静态物所对应的深度图。

在本说明书实施例中，在确定目标图像中每个像素点对应的标准深度区间之后，可以对多帧点云中每个点云点映射到像素点的深度值进行过滤，即，滤除动态物点云点映射得到的深度值，保留静态物点云点映射得到的深度值。

具体的，在多帧点云进行映射的过程中，基于目标图像中每个像素点确定出的标准深度区间，对多帧点云中每个点云点向目标图像进行深度映射所得到的深度值进行过滤，得到目标图像中涉及静态物所对应的深度图。

进一步，针对多帧点云中每个点云点，将该点云点映射到目标图像上，从目标图像中确定出与该点云点对应的像素点，作为指定像素点。然后，根据该点云点映射到该指定像素点上所对应的深度值以及该指定像素点对应的标准深度区间，判断该点云点映射所得到的深度值是否处于该指定像素点对应的标准深度区间。若是，保留该点云点映射到指定像素点上所得到的深度值；若不是，滤除该点云点映射到指定像素点上所得到的深度值。其中，目标图像上的每个像素点可以对应多个点云点。

然后，针对目标图像中的每个像素点，确定与该像素点对应的经过滤除后的多个点云点所映射的多个深度值，从多个深度值中选择最小的深度值作为该像素点对应的深度值。根据每个像素点对应的深度值，构建目标图像对应的深度图。

对点云映射到目标图像上的深度值滤除时，针对目标图像中的每个像素点对应的标准深度区间，若该像素点的物体类别为静态物，该像素点对应的标准深度区间为闭合区间。当点云映射到该像素点上时，保留处于该像素点的标准深度区间内的点云映射所得到的深度值，滤除处于该像素点的标准深度区间外的点云映射所得到的深度值。

若该像素点的物体类别为动态物，该像素点对应的标准深度区间为开区间。当点云映射到该像素点上时，保留大于该像素点的标准深度区间中的最小深度值的点云映射所得到的深度值，滤除小于该像素点的标准深度区间的最小深度值的点云映射所得到的深度值。

比如：若目标图像中静态物的像素点1的标准深度区间为[4，6]，在初始滤除后点云映射到目标图像的过程中，若初始滤除后点云中的动态物点云点a和静态物点云点b均映射到目标图像中的像素点1上，动态物点云点a映射所得到的深度值为3，静态物点云点b映射所得到的深度值为5，则根据像素点1的标准深度区间，保留处于标准深度区间的深度值。也就是，保留静态物点云点b映射所得到的深度值，滤除动态物点云点b映射所得到的深度值。

S106：根据所述深度图，构建高精地图。

在本说明书实施例中，在确定目标图像涉及的静态物所对应的深度图之后，可以根据目标图像对应的深度图中每个像素点的深度值以及图像传感器采集目标图像时的位姿，确定目标图像中涉及的静态物在世界坐标系下的三维信息。根据目标图像中涉及的静态物的三维信息，构建高精地图。

通过上述图1所示的方法可见，本说明书根据双目图像中的目标图像对应的参考深度图以及目标图像中物体类别的识别结果，确定目标图像中每个像素点对应的标准深度区间。其中，物体类别包括静态物和动态物。然后，根据每个像素点对应的标准深度区间，对每个点云点映射到目标图像上得到的深度值进行过滤，得到目标图像中静态物对应的深度图，根据深度图，构建高精地图。在此方法中，根据静态物和动态物对应的像素点的标准深度区间，对每个像素点上动态物点云点映射的深度值进行过滤，得到静态物点云点映射的深度值，这样，可以避免映射到同一像素点上的动态物点云点与静态物点云点重叠的问题，从而提高深度图中深度值的准确性，并提高精地图构建精度。

进一步的，在如图1所示的步骤S100中，在获取到目标图像和与目标图像采集时刻相匹配的多帧点云之后，可以先对多帧点云进行动态物的点云点进行初始过滤。

具体的，可以先将多帧点云进行融合，得到点云集合。将点云集合中同一物体的点云进行聚类，并检测聚类后的各物体的点云对应的物体类别。根据每个物体类别对应的点云，对动态物的物体的点云点进行初始滤除，得到初始滤除后点云。其中，物体类别可以包括：动态物和静态物。

除了上述对动态物的点云点进行滤除的方法之外，还可以针对每帧点云，将该帧点云输入预先训练的动态物滤除模型，通过动态物滤除模型，对该帧点云中的动态物的点云点进行初始滤除，得到初始滤除后点云。

其中，对动态物滤除模型进行有监督训练：将多帧点云样本输入待训练的动态物滤除模型，通过动态物滤除模型对点云帧中的动态物点云点进行滤除，得到待优化滤除后点云，以待优化滤除后点云与标注的真实滤除后点云之间的差异最小化，对动态物滤除模型进行训练。

在对多帧点云中的动态物点云点进行初始滤除后，可能并不能将多帧点云中的动态物点云点完全滤除，所以，可以在初始滤除后点云映射到目标图像上的过程中，可以根据目标图像中每个像素点对应的标准深度区间，对将初始滤除后点云中的每个点云点向目标图像进行深度映射所得到的每个像素点的深度值进行过滤，得到目标图像中涉及的静态物所对应的深度图，即，对动态物点云点再次进行过滤，从而保证初始滤除后点云中的动态物点云点完全滤除，这样，可以避免动态物点云点与静态物点云点映射到目标图像上的同一像素点上。

在如图1所示的步骤S102中，为了提高目标图像与非目标图像之间匹配精度，可以通过双目视觉传感器获取双目图像，一个图像作为原始目标图像，另一个图像作为原始非目标图像。然后，对原始目标图像与原始非目标图像进行立体校正，得到目标图像和非目标图像。其中，立体校正就是将目标图像与非目标图像校正成共面行对准。

立体校正的过程依次为：消除畸变、双目校正、图像裁剪。也就是，根据原始目标图像和原始非目标图像各自对应的外参，对原始目标图像与原始非目标图像进行旋转，使原始目标图像与原始非目标图像共面行对准。然后，裁剪点旋转导致的无效图像区域，得到目标图像与非目标图像。

在对目标图像和非目标图像进行匹配时，可以采用模板匹配、特征匹配、立体匹配算法等。

以采用立体匹配算法为例，可以将目标图像与非目标图像输入预先训练的第一深度预测模型中，以通过第一深度预测模型，基于目标图像与非目标图像之间像素点的匹配关系，得到目标图像对应的参考深度图。其中，第一深度预测模型可以是立体匹配模型。

采集立体匹配算法(模型)对目标图像与非目标图像进行匹配时，针对目标图像中的每个像素点，根据所有预估视差值，通过匹配代价算法计算非目标图像中每个像素点与该像素点之间的代价值，并根据该像素点对应的代价值生成视差空间图。匹配代价算法可以是互信息算法、rank变换、BT算法等。然后，通过代价聚合算法，得到该像素点处于指定预估视差值时所对应的累积代价。通过“胜者为王”策略，在视差搜索范围内选择累积代价最优的点作为该像素点的匹配像素点，并将匹配像素点与该像素点之间的预估视差值，作为该像素点对应的视差值。最后，根据该像素点对应的视差值，确定该像素点对应的深度值。根据目标图像中每个像素点对应的深度值，确定目标图像对应的深度图，作为参考深度图。

在得到目标图像对应的参考深度图之后，可以针对目标图像中每个像素点，从参考深度图中确定出与该像素点对应的像素点的深度值，作为该像素点对应的参考深度值。根据该像素点对应的物体类别、该像素点对应的参考深度值以及预设的深度误差范围，确定该像素点对应的标准深度区间。其中，深度误差范围可以针对所属不同物体类别的像素点设置不同的深度误差范围。深度误差范围可以是人为基于经验设置的。

具体的，针对目标图像中的每个像素点，若该像素点所属的物体类别为静态物，可以根据该像素点对应的参考深度值以及基于静态物所设置的第一深度误差范围，对该像素点对应的参考深度值进行调整，得到最小深度值和最大深度值，并根据最小深度值和最大深度值，确定该像素点对应的标准深度区间。

比如：该像素点对应的参考深度值为5，第一深度误差范围为1，则该像素点对应的标准深度区间为[4，6]。

若该像素点所属的物体类别为动态物，可以根据该像素点对应的参考深度值以及基于动态物所设置的第二深度误差范围，对该像素点对应的参考深度值进行调整，得到动态物点云点映射的深度值和静态物点云点映射的深度值之间的分界深度值。其中，第二深度误差范围可以是第一深度预测模型经过迭代训练后所确定的深度误差范围。

在所属动态物的点云点映射的深度值情况下，该像素点对应的分界深度值为动态物点云点映射到该像素点上的最大深度值；在所属静态物的点云点映射的深度值情况下，该像素点对应的分界深度值为静态物点云点映射到该像素点上的最小深度值。即，若映射到该像素点上的深度值小于分界深度值，则确定映射到该像素点上的点云点为动态物点云点；若映射到该像素点上的深度值不小于分界深度值，则确定映射到该像素点上的点云点为静态物点云点。因为，本说明书中需要保留静态物点云点的映射深度值，所以，该像素点对应的标准深度区间为不小于分界深度值的深度范围。

比如：该像素点对应的参考深度值为5，第二深度误差范围为2，则该像素点对应的标准深度区间为[7，+∞)。

在根据目标图像中每个像素点对应的标准深度区间，对多帧点云映射到目标图像中每个像素点过程中所得到的深度值进行过滤，得到静态物点云点映射到目标图像上的深度值，根据静态物点云点映射到目标图像上的深度值，构建保留静态物对应的深度值的深度图，即，目标图像对应的深度图。

其中，当目标图像与非目标图像是原始目标图像与原始非目标图像经过立体校正后得到的时，可以根据原始目标图像与原始非目标图像立体校正后所确定的旋转矩阵(即，外参和内参)，将多帧点云映射到目标图像中。

基于上述对采用双目视觉算法预测的参考深度图像对多帧点云进行过滤，得到保留静态物的深度图的描述，本说明书实施例中提供构建静态物的深度图的示意图，如图2所示。

另外，对第一深度预测模型进行训练时，通过双目视觉传感器，获取双目图像样本，将所述双目图像样本中的一个图像样本作为原始目标图像样本，以及另一个作为原始非目标图像样本，并获取所述原始目标图像样本相匹配的点云，作为目标点云。然后，将原始目标图像样本与原始非目标图像样本进行立体校正，得到目标图像样本和非目标图像样本以及校正后内参和外参。再将目标图像样本和非目标图像样本输入待训练的第一深度预测模型中，以通过第一深度预测模型，基于目标图像样本与非目标图像样本之间像素点的匹配关系，得到目标图像样本对应的待优化参考深度图。根据待优化参考深度图像中每个像素点对应的深度值以及目标图像样本中每个像素点对应的深度误差范围，确定目标图像样本中每个像素点对应的待优化深度区间。根据目标图像样本中每个像素点对应的待优化深度区间，对根据校正后的内参和外参将目标点云中的每个点云点向目标图像样本进行深度映射所得到的每个像素点的深度值进行过滤，得到目标图像样本对应的待优化真值深度图，并将待优化真值深度图作为第一深度预测模型的标签。最后，以待优化参考深度图与待优化真值深度图之间差异最小化，以及目标图像样本中每个像素点对应的深度误差范围逐渐减小为训练目标，对第一深度预测模型进行迭代训练。其中，第一深度预测模型训练过程中所确定的深度误差范围不区分动态物和静态物，即，深度误差范围适用于所有目标点云映射到目标图像样本上的深度值。

基于对第一深度预测模型进行的迭代训练，使第一深度预测模型输出的待优化参考深度图与目标点云映射得到的待优化真值深度图的精度越来越高。

另外，基于上述对第一深度预测模型的迭代训练的描述，本说明书实施例提供第一深度预测模型迭代训练过程的示意图，如图3所示。

在构建目标图像对应的深度图之后，可以直接根据目标图像对应的深度图构建高精地图，也可以将目标图像对应的深度图作为预测深度图的单目视觉算法中的标签，再由单目视觉算法预测的深度图构建高精地图。

对单目视觉算法进行训练：通过单目视觉传感器，获取多帧图像样本，并从多帧图像样本确定出与目标图像相匹配的图像，作为匹配图像，以及从多帧图像样本中确定出包含有匹配图像的若干帧连续图像样本。其中，匹配图像与目标图像中图像内容相同。

将若干帧连续图像样本输入待训练的第二深度预测模型中，以通过待训练的第二深度预测模型输出匹配图像对应的待优化预测深度图。以待优化预测深度图与目标图像对应的深度图之间的差异最小化为训练目标，对第二深度预测模型进行训练，并通过训练后的第二深度预测模型，以及单目视觉传感器采集的多帧图像，构建高精地图。其中，第二深度预测模型可以是CNN卷积神经网络。

以上为本说明书实施例提供的高精地图构建方法，基于同样的思路，本说明书还提供了相应的装置、存储介质和电子设备。

图4为本说明书实施例提供的一种高精地图构建装置的结构示意图，所述装置包括：

获取模块401，用于获取点云以及所述点云对应的双目图像，并将所述双目图像中的任一图像作为目标图像；

确定模块402，用于根据基于所述双目图像中的其他图像所确定出的所述目标图像对应的参考深度图，以及对所述目标图像中涉及各物体进行物体类别识别的识别结果，确定所述目标图像中每个像素点对应的标准深度区间，其中，所述物体类别包括：静态物和动态物；

过滤模块403，用于根据确定出的所述目标图像中每个像素点对应的标准深度区间，对将所述点云中的每个点云点向所述目标图像进行深度映射所得到的每个像素点的深度值进行过滤，得到所述目标图像中涉及的静态物所对应的深度图；

建图模块404，用于根据所述深度图，构建高精地图。

可选地，所述获取模块401具体用于，通过双目视觉传感器，获取双目图像，并将所述双目图像中的一个图像作为原始目标图像，以及将所述双目图像中的另一个图像作为原始非目标图像；对所述原始目标图像与所述原始非目标图像进行立体校正，得到目标图像和非目标图像。

可选地，所述确定模块402具体用于，将获取到的所述目标图像与非目标图像进行匹配，得到所述目标图像对应的参考深度图，其中，所述非目标图像与所述目标图像是基于双目视觉传感器同一时刻采集的双目图像；对所述目标图像中包含各物体的图像进行识别，识别出所述目标图像中包含不同物体类别的图像所对应的像素点；根据所述目标图像中每个像素点对应的物体类别以及所述参考深度图中每个像素点对应的深度值，确定所述目标图像中每个像素点对应的标准深度区间。

可选地，所述确定模块402具体用于，将所述目标图像与所述非目标图像输入预先训练的第一深度预测模型中，以通过所述第一深度预测模型，基于所述目标图像与所述非目标图像之间像素点的匹配关系，得到所述目标图像对应的参考深度图。

可选地，所述确定模块402具体用于，通过双目视觉传感器，获取双目图像样本，将所述双目图像样本中的一个图像样本作为目标图像样本，以及另一个作为非目标图像样本，并获取所述目标图像样本相匹配的点云，作为目标点云；将所述目标图像样本和所述非目标图像样本输入待训练的所述第一深度预测模型中，以通过所述第一深度预测模型，基于所述目标图像样本与所述非目标图像样本之间像素点的匹配关系，得到所述目标图像样本对应的待优化参考深度图；根据所述待优化参考深度图像中每个像素点对应的深度值以及所述目标图像样本中每个像素点对应的深度误差范围，确定所述目标图像样本中每个像素点对应的待优化深度区间；根据所述目标图像样本中每个像素点对应的待优化深度区间，对将所述目标点云中的每个点云点向所述目标图像样本进行深度映射所得到的每个像素点的深度值进行过滤，得到所述目标图像样本对应的待优化真值深度图，并将所述待优化真值深度图作为所述第一深度预测模型的标签；以所述待优化参考深度图与所述待优化真值深度图之间差异最小化，以及所述目标图像样本中每个像素点对应的深度误差范围逐渐减小为训练目标，对所述第一深度预测模型进行迭代训练。

可选地，所述确定模块402具体用于，针对所述目标图像中每个像素点，从所述参考深度图中确定出与该像素点对应的像素点的深度值，作为该像素点对应的参考深度值；根据该像素点对应的物体类别、该像素点对应的参考深度值以及预设的深度误差范围，确定该像素点对应的标准深度区间。

可选地，所述建图模块404具体用于，通过单目视觉传感器，获取多帧图像样本，并从所述多帧图像样本确定出与所述目标图像相匹配的图像，作为匹配图像，以及从所述多帧图像样本中确定出包含有所述匹配图像的若干帧连续图像样本；将所述若干帧连续图像样本输入待训练的第二深度预测模型中，以通过所述待训练的第二深度预测模型输出所述匹配图像对应的待优化预测深度图；以所述待优化预测深度图与所述深度图之间的差异最小化为训练目标，对所述第二深度预测模型进行训练，并通过训练后的第二深度预测模型，以及所述单目视觉传感器采集的多帧图像，构建高精地图。

本说明书还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可用于执行上述图1提供的高精地图构建方法。

基于图1所示的高精地图构建方法，本说明书实施例还提供了图5所示的电子设备的结构示意图。如图5，在硬件层面，该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的高精地图构建方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种高精地图构建方法，其特征在于，包括：

获取点云以及所述点云对应的双目图像，并将所述双目图像中的任一图像作为目标图像；

根据基于所述双目图像中的其他图像所确定出的所述目标图像对应的参考深度图，以及对所述目标图像中涉及各物体进行物体类别识别的识别结果，确定所述目标图像中每个像素点对应的标准深度区间，其中，所述物体类别包括：静态物和动态物；

根据确定出的所述目标图像中每个像素点对应的标准深度区间，对将所述点云中的每个点云点向所述目标图像进行深度映射所得到的每个像素点的深度值进行过滤，得到所述目标图像中涉及的静态物所对应的深度图；

根据所述深度图，构建高精地图。

2.如权利要求1所述的方法，其特征在于，获取所述点云对应的双目图像，具体包括：

通过双目视觉传感器，获取双目图像，并将所述双目图像中的一个图像作为原始目标图像，以及将所述双目图像中的另一个图像作为原始非目标图像；

对所述原始目标图像与所述原始非目标图像进行立体校正，得到目标图像和非目标图像。

3.如权利要求2所述的方法，其特征在于，根据基于所述双目图像中的其他图像所确定出的所述目标图像对应的参考深度图，以及对所述目标图像中涉及各物体进行物体类别识别的识别结果，确定所述目标图像中每个像素点对应的标准深度区间，具体包括：

将所述目标图像与非目标图像进行匹配，得到所述目标图像对应的参考深度图，其中，所述非目标图像与所述目标图像是基于双目视觉传感器同一时刻采集的双目图像；

对所述目标图像中包含各物体的图像进行识别，识别出所述目标图像中包含不同物体类别的图像所对应的像素点；

根据所述目标图像中每个像素点对应的物体类别以及所述参考深度图中每个像素点对应的深度值，确定所述目标图像中每个像素点对应的标准深度区间。

4.如权利要求3所述的方法，其特征在于，将所述目标图像与非目标图像进行匹配，得到所述目标图像对应的参考深度图，具体包括：

将所述目标图像与所述非目标图像输入预先训练的第一深度预测模型中，以通过所述第一深度预测模型，基于所述目标图像与所述非目标图像之间像素点的匹配关系，得到所述目标图像对应的参考深度图。

5.如权利要求4所述的方法，其特征在于，训练所述第一深度预测模型，具体包括：

通过双目视觉传感器，获取双目图像样本，将所述双目图像样本中的一个图像样本作为目标图像样本，以及另一个作为非目标图像样本，并获取所述目标图像样本相匹配的点云，作为目标点云；

将所述目标图像样本和所述非目标图像样本输入待训练的所述第一深度预测模型中，以通过所述第一深度预测模型，基于所述目标图像样本与所述非目标图像样本之间像素点的匹配关系，得到所述目标图像样本对应的待优化参考深度图；

根据所述待优化参考深度图像中每个像素点对应的深度值以及所述目标图像样本中每个像素点对应的深度误差范围，确定所述目标图像样本中每个像素点对应的待优化深度区间；

根据所述目标图像样本中每个像素点对应的待优化深度区间，对将所述目标点云中的每个点云点向所述目标图像样本进行深度映射所得到的每个像素点的深度值进行过滤，得到所述目标图像样本对应的待优化真值深度图，并将所述待优化真值深度图作为所述第一深度预测模型的标签；以所述待优化参考深度图与所述待优化真值深度图之间差异最小化，以及所述目标图像样本中每个像素点对应的深度误差范围逐渐减小为训练目标，对所述第一深度预测模型进行迭代训练。

6.如权利要求3所述的方法，其特征在于，根据所述目标图像中每个像素点对应的物体类别以及所述参考深度图中每个像素点对应的深度值，确定所述目标图像中每个像素点对应的标准深度区间，具体包括：

针对所述目标图像中每个像素点，从所述参考深度图中确定出与该像素点对应的像素点的深度值，作为该像素点对应的参考深度值；

根据该像素点对应的物体类别、该像素点对应的参考深度值以及预设的深度误差范围，确定该像素点对应的标准深度区间。

7.如权利要求1所述的方法，其特征在于，根据所述深度图，构建高精地图，具体包括：

通过单目视觉传感器，获取多帧图像样本，并从所述多帧图像样本确定出与所述目标图像相匹配的图像，作为匹配图像，以及从所述多帧图像样本中确定出包含有所述匹配图像的若干帧连续图像样本；

将所述若干帧连续图像样本输入待训练的第二深度预测模型中，以通过所述待训练的第二深度预测模型输出所述匹配图像对应的待优化预测深度图；

以所述待优化预测深度图与所述深度图之间的差异最小化为训练目标，对所述第二深度预测模型进行训练，并通过训练后的第二深度预测模型，以及所述单目视觉传感器采集的多帧图像，构建高精地图。

8.一种高精地图构建装置，其特征在于，包括：

获取模块，用于获取点云以及所述点云对应的双目图像，并将所述双目图像中的任一图像作为目标图像；

确定模块，用于根据基于所述双目图像中的其他图像所确定出的所述目标图像对应的参考深度图，以及对所述目标图像中涉及各物体进行物体类别识别的识别结果，确定所述目标图像中每个像素点对应的标准深度区间，其中，所述物体类别包括：静态物和动态物；

过滤模块，用于根据确定出的所述目标图像中每个像素点对应的标准深度区间，对将所述点云中的每个点云点向所述目标图像进行深度映射所得到的每个像素点的深度值进行过滤，得到所述目标图像中涉及的静态物所对应的深度图；

建图模块，用于根据所述深度图，构建高精地图。

9.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-7任一项所述的方法。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-7任一项所述的方法。

Images