CN114419180A - 重构高精地图的方法、装置和电子设备 - Google Patents

Abstract

本申请涉及了一种重构高精地图的方法、装置和电子设备。该重构高精地图的方法包括：获取图像信息以及当前位置信息，图像信息是通过搭载于移动平台上的传感器获取的，并且包括观测对象的图像；将当前位置信息和图像信息的局部区域在高精地图中进行匹配，得到高精地图中与观测对象对应的目标对象；将观测对象的模型作为高精地图中的目标对象的模型，以重构高精地图。本申请能够提升高精地图中对象的精准度。

Description

重构高精地图的方法、装置和电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种重构高精地图的方法、装置和电子设备。

背景技术

随着自动驾驶技术的发展，对高精地图的需求越来越多。

然而，申请人发现相关技术中构建的高精地图的精准度还有待进一步提升。

发明内容

为至少部分地解决相关技术中存在的问题，本申请提供一种重构高精地图的方法、装置和电子设备，能够有效提升重构后的高精地图的精准度。

本申请的第一个方面提供了一种重构高精地图的方法，包括：获取图像信息以及当前位置信息，图像信息是通过搭载于移动平台上的传感器获取的，并且包括观测对象的图像；将当前位置信息和图像信息的局部区域在高精地图中进行匹配，得到高精地图中与观测对象对应的目标对象；将观测对象的模型作为高精地图中的目标对象的模型，以重构高精地图。

根据本申请的某些实施例，将当前位置信息和图像信息的局部区域在高精地图中进行匹配，得到高精地图中与观测对象对应的目标对象，包括：确定至少一个观测对象的图像各自在图像信息中的第一位置信息；基于第一映射关系确定高精地图中的与第一位置信息和当前位置信息对应的第二位置信息；基于第二位置信息确定高精地图中的目标对象。

根据本申请的某些实施例，确定至少一个观测对象的图像各自在图像信息中的第一位置信息，包括：对于获取的多帧图像信息中的每一帧，对当前帧的图像信息进行图像识别，得到至少一个观测对象的图像各自在图像信息中的图像区域信息；至少基于当前帧的指定个数的相邻帧中至少一个观测对象的图像区域信息之间的差异，确定至少一个观测对象各自的深度信息。

根据本申请的某些实施例，将观测对象的模型作为高精地图中的目标对象的模型，包括：基于第二位置信息在高精地图中生成与至少一个观测对象各自的模型对应的目标模型。

根据本申请的某些实施例，上述方法还可以包括：基于至少一个观测对象的图像各自在图像信息中的图像区域信息，以及至少一个观测对象各自的深度信息，构建至少一个观测对象各自的模型。相应地，基于第二位置信息在高精地图中生成与至少一个观测对象各自的模型对应的目标模型，包括：对于二维的目标对象，基于至少一个观测对象的图像各自在图像信息中的图像区域信息，在与第二位置信息对应的位置处进行贴纹理处理，生成目标模型；对于三维的目标对象，通过使用构建的至少一个观测对象各自的模型，在与第二位置信息对应的位置处进行三维模型渲染，生成目标模型。

根据本申请的某些实施例，对当前帧的图像信息进行图像识别，得到至少一个观测对象的图像各自在图像信息中的图像区域信息，包括：利用图像识别模型处理当前帧的图像信息，得到至少一个观测对象的图像各自在图像信息中的图像区域信息，其中，图像识别模型包括至少两个通道，至少两个通道中的各通道分别以不同的尺度进行图像识别。

根据本申请的某些实施例，至少基于当前帧的指定个数的相邻帧中至少一个观测对象的图像区域信息之间的差异，确定至少一个观测对象各自的深度信息，包括：基于同步定位与建图方式处理当前帧以及指定个数的相邻帧中至少一个观测对象的图像区域信息，得到至少一个观测对象的图像区域信息之间的差异；基于至少一个观测对象的图像区域信息之间的差异确定至少一个观测对象各自的深度信息。

本申请的第二方面提供了一种重构高精地图的装置，包括：信息获取模块、目标对象获得模块和高精地图重构模块。其中，信息获取模块用于获取图像信息以及当前位置信息，图像信息是通过搭载于移动平台上的传感器获取的，并且包括观测对象的图像；目标对象获得模块用于将当前位置信息和图像信息的局部区域在高精地图中进行匹配，得到高精地图中与观测对象对应的目标对象；高精地图重构模块用于将观测对象的模型作为高精地图中的目标对象的模型，以重构高精地图。

本申请的第三方面提供了一种电子设备，包括：处理器；存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使得处理器执行上述方法。

本申请的第四方面还提供了一种计算机可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行上述方法。

本申请的第五方面还提供了一种计算机程序产品，包括可执行代码，可执行代码被处理器执行时实现上述方法。

本申请提供的重构高精地图的方法、装置和电子设备，将移动平台采集的图像信息和图像采集位置在高精地图中进行匹配，得到与图像信息中各观测对象对应的高精地图中的目标对象，这样便于基于图像信息中观测对象的图像信息对目标对象进行重构，进而实现对高精地图的重构，提升高精地图的精准度。

此外，通过图像识别方式得到的观测对象，其结构、尺寸信息等更加丰富，有助于在高精地图中构建更加精细的模板对象的模型。

此外，基于图像识别和同步定位与建图方式来确定观测对象的结构信息，有效降低了通过矢量数据确定观测对象的数据融合等的复杂度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

通过结合附图对本申请示例性实施方式进行更详细地描述，本申请的以及其它目的、特征和优势将变得更加明显，其中，在本申请示例性实施方式中，相同的参考标号通常代表相同部件。

图1示意性示出了根据本申请实施例的可以应用重构高精地图的方法、装置和电子设备的一种示例性系统架构；

图2示意性示出了根据本申请实施例的重构高精地图的方法的流程图；

图3示意性示出了根据本申请实施例的重构高精地图的设备的结构示意图；

图4示意性示出了根据本申请实施例的一种高精地图的示意图；

图5示意性示出了根据本申请实施例的一种局部重构后的高精地图的示意图；

图6示意性示出了根据本申请实施例的高精地图中的第二位置信息的示意图；

图7示意性示出了根据本申请实施例的图像识别模型的结构示意图；

图8示意性示出了根据本申请实施例的确定深度信息的示意图；

图9示意性示出了根据本申请实施例的重构高精地图的装置的方框图；

图10示意性示出了根据本申请实施例的一种电子设备的方框图。

具体实施方式

下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式，然而应该理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本申请更加透彻和完整，并且能够将本申请的范围完整地传达给本领域的技术人员。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

应当理解，尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多的该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

自动驾驶，如高速自主导航驾驶(Navigation Guided Pilot，简称NGP)的核心是高精地图和高精定位。

高精地图属于电子地图的一种，具体属于第三代电子导航的范畴。

第一代电子导航，呈现方式主要是2D平面地图，需要将各城市的地图数据下载至本地，路径规划通过本地芯片进行计算后得出结果。可以完成A点至B的行程，但是计算逻辑可以仅考虑距离以及道路属性(如国道、省道、环路、收费高速等)。

第二代电子导航，是已被广泛使用的电子地图导航。在第二代电子导航技术中，导航设备开始联网，并且逐步引入大数据和云计算技术。同样由A点前往B点，导航所考虑的问题越来越多，道路是否拥堵、选择最短距离还是时间最短的路线，都在考虑范围之内。而且随着地图精度的提升，在通过岔道口时，导航还可以进一步弹出道路图像和引导路线。

第三代电子导航，是基于高精地图的导航。高精地图将会更多地配套使用在车辆的自动驾驶功能上。相关技术中主流自动驾驶功能大多是L2级别的。例如，车辆由车头前置的摄像头和毫米波雷达来确认车辆的正前方的可通行区域内是否有车辆。如果有车辆，则在安全制动距离内跟车。如果没有车辆，则加速到设置的循航速度。相关技术中依靠非高精地图无法完成此项功能，非高精地图坐标精度大约在5-10米左右。高精地图的绝对精度可以在亚米级，如10厘米左右，而且横向的相对精度往往还要更高。高精地图不仅有高精度的坐标，同时还有准确的道路形状，并且每个车道的坡度、曲率、航向、高程，侧倾的数据也都包含在内。

另外，每条车道和车道之间的车道线是虚线、实线还是双黄线、线的颜色、道路的隔离带、甚至道路上的箭头、文字的内容，所在位置都会有描述。此外，为了便于实现自动驾驶的考虑，诸如每条车道的限速，推荐速度也可以一并提供。高精地图中的人行横道、道路沿线的看板、隔离带、限速标志、红绿灯、路边的电话停等，这类可以统称为交通参与物的绝对地理坐标，物理尺寸以及他们的特质特性等也都会出现在高精地图的数据中。

然而，这些物质特性的描述还是比较笼统，如哪个坐标范围内设置有红绿灯、路灯等，但是红绿灯、路灯等的具体形状描述地还不够精准，可以参见图6所示。

本申请实施例将移动平台采集的图像信息和图像采集位置在高精地图中进行匹配，确定与高精地图中的目标对象对应的对象图像信息，这样便于至少基于对象图像信息对目标对象进行重构，进而实现对高精地图的重构，提升高精地图的精准度。

以下将通过图1至图10对本申请实施例的一种重构高精地图的方法、装置和电子设备进行详细描述。

图1示意性示出了根据本申请实施例的可以应用重构高精地图的方法、装置和电子设备的一种示例性系统架构。需要注意的是，图1所示的架构仅为可以应用本申请实施例的系统架构的示例，以帮助本领域技术人员理解本申请的技术内容，但并不意味着本申请实施例不可以用于其他设备、系统、环境或场景。

参见图1，根据该实施例的系统架构100可以包括移动设备101、102、103，网络104和云端105。网络104用以在移动设备101、102、103和云端105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用移动设备101、102、103通过网络104与其他可移动设备和云端105进行交互，以接收或发送信息等，如发送图像识别请求、深度信息请求和接收模型结构和模型参数、图像识别结果、深度信息等。移动设备101、102、103可以安装有各种通讯客户端应用，例如，车机应用、导航应用、自动/辅助驾驶应用、网页浏览器应用、数据库类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等应用等。需要说明的是，图像识别、深度计算等操作可以在本地执行，也可以在云端执行。

移动设备101、102、103包括但不限于汽车、机器人、平板电脑、膝上型便携计算机等等可以支持上网、人机交互等功能的电子设备。

云端105可以接收图像识别请求、深度信息请求等，还可以发送图像识别结果、深度信息、对象模型、智能导航、路况信息等给移动设备101、102、103。例如，云端105可以为后台管理服务器、服务器集群、车联网等。

需要说明的是，移动设备、网络和云端的服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的可移动设备、网络和云端。

图2示意性示出了根据本申请实施例的重构高精地图的方法的流程图。

如图2所示，该实施例提供了一种重构高精地图的方法，该方法包括操作S210～操作S230，具体如下。

在操作S210中，获取图像信息以及当前位置信息，图像信息是通过搭载于移动平台上的传感器获取的，并且包括观测对象的图像。

在本实施例中，可以通过移动平台进行图像信息采集，在进行图像信息采集的过程中，还可以记录采集各帧图像的时间信息。其中，移动平台包括但不限于：安装有拍摄装置的车辆、机器人、船只、飞行器等。

传感器包括但不限于图像传感器、红外传感器、位置传感器、雷达等。

当前位置信息可以是基于实时差分定位(Real-time kinematic，简称RTK)技术来确定的。具体地，可以通过GPS定位和/或北斗定位等方式获取定位信息，并利用RTK技术得到高精度定位信息。

图3示意性示出了根据本申请实施例的重构高精地图的设备的结构示意图

参见图3，用于采集高精地图数据的车辆10上可以搭载有拍摄装置20和定位装置30。需要说明的是，在车辆10顶部的拍摄装置20内，除了广角摄像头以外，内部还可以设置有陀螺仪等设备用来侦测道路坡度、曲率、航向、高程，侧倾等数据。

相关技术中可以利用采集的信息绘制成矢量地图，再经过一系列的精度叠加处理后得到高精地图。

需要说明的是，除了图3所示的车辆采集信息的方式之外，还可以通过无人机采集信息的方式来制作高精地图。

在操作S220中，将当前位置信息和图像信息的局部区域在高精地图中进行匹配，得到高精地图中与观测对象对应的目标对象。

在本实施例中，高精地图可以是预先构建好的。高精地图可以分为三个图层：地图图层，保存道路的结构化信息，这部分信息定义了车道线、交通标志、交通规则信息等。定位图层，保存了原始的点云地图，提取出一些特征如电线杆、建筑物、交通标志等，用来做点云匹配定位。动态图层，实时动态地更新一些信息如：当前路况、实时交通规则、前方车祸等。本申请可以对地图图层和定位图层进行重构。

其中，高精地图的构建过程可以包括：地图采集、点云地图制作、地图标注和地图存储四个步骤。例如，地图采集过程可以是由装备有雷达、拍摄装置、定位设备、惯性测量单元(Inertial Measurement Unit，简称IMU)等传感器的数据采集车采集完成的，采集车可以参考图3所示。点云地图制作过程可以通过点云拼接等方式来生成三维模型。地图标注过程是在点云地图的基础上，标注出车道线信息、交通标志信息、红绿灯信息等，得出道路的结构化信息。地图存储过程主要是把标注好的信息保存为固定的格式。

本实施例中的局部区域可以是与置信度较高的识别结果对应的图像所在区域。例如，采集的图像中包括多个对象，不同的对象距离拍摄装置的距离可能相差较大，与拍摄装置相距过大的对象所在图像区域或者图像尺寸过小的图像区域，无法得到置信度较高的识别结果。为了保证重构的高精地图的精准度，可以仅对与置信度高对应的局部区域进行地图重构。置信度的阈值可以根据专家经验或者重构效果等进行设定。此外，为了降低重构高精地图对计算资源的消耗，可以针对预设区域的图像进行地图重构过程。例如，拍摄的图像中的上、下、左、右四个区域中出现的观测对象距离拍摄装置较近的概率比较大，可以将上、下、左、右四个区域作为局部区域。

在某些实施例中，局部区域包括但不限于：采集的图像的四周区域、占据图像较大比例的对象的图像区域、距离拍摄装置较近对象的图像区域等。

例如，对于地面元素(比如地面上的各种线)，可以分别以视频中最下端识别某类元素消失(出现)，为该类别元素地图重构的结束(开始)，并同时记录该时间点的当前位置信息(如位置坐标)。

例如，对于建筑物、绿化带等路边两侧的元素，可以分别以视频中左右两端识别某类元素消失(出现)，为该类别元素地图重构的结束(开始)，并同时记录该时间点的当前位置信息。

例如，对于红绿灯、路中的路牌等在路面上方的元素，可以分别以视频中最上端识别某类元素消失(出现)，为该类别元素地图重构的结束(开始)，并同时记录该时间点的当前位置信息。

在操作S230中，将观测对象的模型作为高精地图中的目标对象的模型，以重构高精地图。

在本实施例中，在从图像中识别出对象后，就可以得到对象的图像，该图像中包括更多的细节信息，使得能够对高精地图中的对象进行重构。

由于雷达采集的点云数据比较稀疏导致高精地图中对象的细致结构无法较好地被表达出来。

图4示意性示出了根据本申请实施例的一种高精地图的示意图。

参见图4，图4的高精地图中被虚线框所框住的红绿灯，结构细节缺失，例如，红绿灯的横向和纵向灯杆的尺寸信息、灯座的尺寸信息、有几个灯、各灯的颜色等。本实施例中，能够借助采集的红绿灯的图像来重构高精地图中的红绿灯模型。

图5示意性示出了根据本申请实施例的一种局部重构后的高精地图的示意图。

参见图5，基于采集的图像信息中红绿灯的图像，可以计算出该红绿灯的灯杆的尺寸、灯壳的尺寸、并且可以从图像信息中得出灯的个数、颜色等信息。因此，可以基于这些信息构建红绿灯模型的模型，该构建的模型的细节表现能力远高于基于雷达采集的点云数据构建的模型的细节表现能力。

需要说明的是，图5中仅对红绿灯进行重构，仅为示例性举例，在此不做限定。例如，还可以对路边的建筑物、树木等进行重构。

此外，图5中的模型可以是对预先构建好的模型进行调整后所生成的模型。例如，灯杆可以是一个或者多个圆柱形模型构建的。红绿灯的灯体部分可以由灯壳模型和至少一个灯模型构建而成。例如，灯壳部分可以是立方体、圆柱体等。灯模型可以是球形模型或者灯泡模型等，这样便于快捷地构建与传感器观测到的红绿灯的结构相似、尺寸相似的红绿灯模型。

其中，模型构建的过程可以是模型尺寸调整和模型组装的过程，具体可以采用多种相关技术，在此不做限定。

以下对匹配过程进行示例性说明。

在某些实施例中，将当前位置信息和图像信息的局部区域在高精地图中进行匹配，得到高精地图中与观测对象对应的目标对象可以包括如下操作。

首先，确定至少一个观测对象的图像各自在图像信息中的第一位置信息。其中，第一位置信息可以是图像中的坐标信息，如(x1，y1)等。观测对象的图像可以占据一个区域，该区域可以通过多个坐标进行表示，如告示牌等图像的四边形区域可以通过四个顶点进行表示。

然后，基于第一映射关系确定高精地图中的与第一位置信息和当前位置信息对应的第二位置信息。具体地，可以基于当前位置信息确定高精度地图中与汽车行驶方向相垂直的某个截面，然后基于第一位置从该截面中确定对应的位置，如该截面中的某个区域。其中，第一映射关系可以是通过标定、坐标转换等方式来确定的。例如，当将拍摄装置固定在汽车的具体位置之后，就可以通过对拍摄位置以及拍摄的图像中的目标对象的第一位置信息和高精地图中的目标对象的第二位置信息进行标定。

接着，基于第二位置信息确定高精地图中的目标对象。这样就可以确定某个区域对应的目标对象。

图6示意性示出了根据本申请实施例的高精地图中的第二位置信息的示意图。

参见图6，重构前的高精地图中，道路边上的路灯可以采用一个竖线进行表示，该竖线的位置可以通过至少两个坐标进行表示，如坐标1(x1，y1，z1)和坐标2(x2，y2，z2)。第一位置信息为(x3，y3)，如果基于第一映射关系进行坐标转换后，与坐标1匹配成功(如两个坐标之间相差小于预设范围)，则可以确定路灯是目标对象。

在某些实施例中，拍摄装置可以拍摄视频信息，对于获取的视频信息中的多帧图像信息中的每一帧，确定至少一个观测对象的图像各自在图像信息中的第一位置信息可以包括如下操作。

首先，对当前帧的图像信息进行图像识别，得到至少一个观测对象的图像各自在图像信息中的图像区域信息。其中，进行图像识别时可以采用多种相关技术。如可以采用多种分类模型进行图像识别。例如，AlexNet、VGG19、ResNet_152、InceptionV4、DenseNet等。

然后，至少基于当前帧的指定个数的相邻帧中至少一个观测对象的图像区域信息之间的差异，确定至少一个观测对象各自的深度信息。由于拍摄装置与观测对象之间的距离发生改变时，拍摄装置拍摄的观测对象的图像会发生改变，两者之间的变化规律可以通过标定等方式来确定。这样就可以基于标定的比例等基于拍摄装置的移动距离和观测对象的图像的该变量确定拍摄对象的深度信息。

在某些实施例中，将观测对象的模型作为高精地图中的目标对象的模型可以包括如下操作，基于第二位置信息在高精地图中生成与至少一个观测对象各自的模型对应的目标模型。参见图5所示，可以在识别出观测对象包括路灯之后，可以基于路灯的识别结果(如路灯杆的图像中的尺寸信息(其可以换算为高精地图中的尺寸信息)、灯的数量信息、灯的颜色信息、灯的尺寸信息等)，来构建路灯的立体(3D)模型，有效提升高精地图中对目标对象的细节信息的表达能力。

在某些实施例中，上述方法还可以包括如下操作。基于至少一个观测对象的图像各自在图像信息中的图像区域信息，以及至少一个观测对象各自的深度信息，构建至少一个观测对象各自的模型。这样构建的观测对象的模型与高精地图更加相适配。

相应地，基于第二位置信息在高精地图中生成与至少一个观测对象各自的模型对应的目标模型可以包括如下操作。

例如，对于二维的目标对象，基于至少一个观测对象的图像各自在图像信息中的图像区域信息，在与第二位置信息对应的位置处进行贴纹理处理，生成目标模型。例如，对于二维对象可以贴纹理绘制。纹理可以是从图像数据库中匹配得到的，如广告牌存在对应的纹理图像。纹理可以基于预设规则生成的，如单色的图像。

例如，对于三维的目标对象，通过使用构建的至少一个观测对象各自的模型，在与第二位置信息对应的位置处进行三维模型渲染，生成目标模型。其中，三维的对象可以使用已有的三维模型进行渲染。可以采用多种模型渲染方式，在此不做限定。

在某些实施例中，对当前帧的图像信息进行图像识别，得到至少一个观测对象的图像各自在图像信息中的图像区域信息可以包括如下操作，利用图像识别模型处理当前帧的图像信息，得到至少一个观测对象的图像各自在图像信息中的图像区域信息，其中，图像识别模型包括至少两个通道，至少两个通道中的各通道分别以不同的尺度进行图像识别。

其中，为了提升模型从图像中提取出多层次对象的分类信息(如针对红绿灯的图像的分类信息包括但不限于：红绿灯、灯杆、灯壳、灯等分类信息)，可以提取不同深度的特征。

图7示意性示出了根据本申请实施例的图像识别模型的结构示意图。

参见图7，在进行特征提取过程中，可以分别通过三个通道特征提取，如第一通道的卷积核(cov)的尺寸可以为3×3，通道数是256。第二通道的卷积核的尺寸可以为5×5，通道数是256。第三通道的卷积核的尺寸可以为1×1，通道数是256。

图7中符号“×”表示拼接(concat)，符号“+”表示加(add)。类别数可以是预先设定的数目，这样防止过度分类或者分类不够多。激活函数可以采用Softmax。

需要说明的是，对输入图片进行两次卷积运算(作用提取主干特征，这里两次卷积不做固定，只为了说明，还可以进行更多次或者更少次卷积)后，使用不同大小的卷积核分别进行卷积，不同大小的卷积核有不同的感受野大小，大卷积核可以提取到大的目标的特征，小感受野提取小目标的特征。

Concat作用：将经过不同卷积核输出的特征图(feature map)类型的特征进行拼接，得到融合之后的特征。之后进行conv 1x1操作，这样的好处是能够有效的混合每一分支feature map中的有效信息。

图7中残差结构是借鉴了残差的思想。在第三分支经过conv 1x1和conv 5x5得到的结果add到第一，第二分支混合特征feature map上。这样的好处是能够防止混合信息在正向传播过程中，主干信息的变形，有效的保证特征提取的正确性。同时也丰富了网络模型的表征能力(因为不同的分支，有不同的作用，在进行concat或者add时，网络会不断的调整每一分支的参数，使得网络表征能力更好)。

图7所示的网络结构在应用到高精地图重构的场景中可以具有如下所示的有点。

例如，采用不同的卷积核，对特征图进行卷积，能够使模型关注不同大小的目标对象，如可以从红绿灯中进一步提取出灯杆、灯壳、灯等更精细的结构，有助于提升建模的精准度。

例如，通过融合不同的特征图，使得模型表达能力更丰富，提取的特征更利于模型的收敛。

例如，使用残差的思想，保证模型在正向传播的时候，主要信息不变形。

在某些实施例中，至少基于当前帧的指定个数的相邻帧中至少一个观测对象的图像区域信息之间的差异，确定至少一个观测对象各自的深度信息可以包括如下操作。

首先，基于同步定位与建图(Simultaneous Localization And Mapping，简称SLAM)方式处理当前帧以及指定个数的相邻帧中至少一个观测对象的图像区域信息，得到至少一个观测对象的图像区域信息之间的差异。

然后，基于至少一个观测对象的图像区域信息之间的差异确定至少一个观测对象各自的深度信息。

其中，SLAM问题可以描述为:机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。

整个SLAM大概可以分为前端和后端，前端相当于VO(视觉里程计)，研究帧与帧之间变换关系。首先提取每帧图像特征点，利用相邻帧图像，进行特征点匹配，然后利用RANSAC去除大噪声，接着进行匹配，得到一个位姿(pose)信息(如位置和姿态)。此外，还可以利用惯性测量单元(Inertial measurement unit，简称IMU)提供的姿态信息进行滤波融合。

基于图的SLAM，通常以关键帧(keyframe)为基础，建立多个节点和节点之间的相对变换关系，比如仿射变换矩阵，并不断地进行关键节点的维护，保证图的容量，在保证精度的同时，降低了计算量。

图8示意性示出了根据本申请实施例的确定深度信息的示意图。

参见图8，世界坐标系可以包括x坐标轴、y坐标轴和z坐标轴。其中，世界坐标系中的观测对象(如六面体)在拍摄的图像中占据的区域(如x1和y1所示)，可以如图8的上图的虚线框所示。当拍摄装置在世界坐标系中相对于观测对象的坐标发生改变时(如红绿灯没有改变位置，随着车辆的移动，拍摄装置相对于红绿灯更近了)，则拍摄的图像中的观测对象的图像占据的区域，可以如图8的下图的虚线框所示。可以看出图像占据的区域的尺寸(如x2和y2所示)发生了改变。此时，可以基于标定的图像尺寸变化率(量)与世界坐标系中相对距离(如标定物和拍摄装置之间的距离)变化率(量)之间的对应关系，以及拍摄装置的位移距离，来解算与图8所示的尺寸变化率(量)对应的深度信息。其中，位移距离和相对距离可以通过两帧之间的时间差和车辆移动速度来确定。标定的过程可以如下所示：使用摄像装置拍摄具有指定深度信息的对象(如观测对象在沿着镜头的光轴方向的尺寸为指定深度信息)，当拍摄装置从位置1移动到位置2时(移动距离为L)，确定拍摄的图像中观测对象的图像尺寸变化率(量)。多次重复上述过程，或者采用具有不同深度信息的观测对象，就可以标定得到上述第一映射关系。

需要说明的是，图8中所示的x1，y1和x2，y2仅为示例性示出，不能理解为对本申请技术方案的限定。例如，还可以针对观测对象的某个边(或最大尺寸等)在图像中的长度变化，来解算观测对象的深度信息。

本申请的另一方面还提供了一种重构高精地图的装置。

图9示意性示出了根据本申请实施例的重构高精地图的装置的方框图。

参见图9，该重构高精地图的装置900可以包括：信息获取模块910、目标对象获得模块920和高精地图重构模块930。

信息获取模块910用于获取图像信息以及当前位置信息，图像信息是通过搭载于移动平台上的传感器获取的，并且包括观测对象的图像。

目标对象获得模块920用于将当前位置信息和图像信息的局部区域在高精地图中进行匹配，得到高精地图中与观测对象对应的目标对象。

高精地图重构模块930用于将观测对象的模型作为高精地图中的目标对象的模型，以重构高精地图。

在某些实施例中，目标对象获得模块920包括：第一位置信息确定单元、第二位置信息确定单元和目标对象确定单元。

其中，第一位置信息确定单元，用于确定至少一个观测对象的图像各自在图像信息中的第一位置信息。

第二位置信息确定单元，用于基于第一映射关系确定高精地图中的与第一位置信息和当前位置信息对应的第二位置信息。

目标对象确定单元，用于基于第二位置信息确定高精地图中的目标对象。

在某些实施例中，第一位置信息确定单元包括：图像识别子单元和深度信息确定子单元。

其中，图像识别子单元用于对当前帧的图像信息进行图像识别，得到至少一个观测对象的图像各自在图像信息中的图像区域信息；

深度信息确定子单元用于至少基于当前帧的指定个数的相邻帧中至少一个观测对象的图像区域信息之间的差异，确定至少一个观测对象各自的深度信息。

在某些实施例中，高精地图重构模块930具体用于基于第二位置信息在高精地图中生成与至少一个观测对象各自的模型对应的目标模型。

在某些实施例中，装置900还可以包括：观测对象模型构建模块。

观测对象模型构建模块用于基于至少一个观测对象的图像各自在图像信息中的图像区域信息，以及至少一个观测对象各自的深度信息，构建至少一个观测对象各自的模型。

相应地，高精地图重构模块930可以包括：第一目标模型生成单元和第二目标模型生成单元。

其中，第一目标模型生成单元，用于对于二维的目标对象，基于至少一个观测对象的图像各自在图像信息中的图像区域信息，在与第二位置信息对应的位置处进行贴纹理处理，生成目标模型。

第二目标模型生成单元，用于对于三维的目标对象，通过使用构建的至少一个观测对象各自的模型，在与第二位置信息对应的位置处进行三维模型渲染，生成目标模型。

在某些实施例中，图像识别子单元具体用于利用图像识别模型处理当前帧的图像信息，得到至少一个观测对象的图像各自在图像信息中的图像区域信息，其中，图像识别模型包括至少两个通道，至少两个通道中的各通道分别以不同的尺度进行图像识别。

在某些实施例中，深度信息确定子单元具体用于实现：基于同步定位与建图方式处理当前帧以及指定个数的相邻帧中至少一个观测对象的图像区域信息，得到至少一个观测对象的图像区域信息之间的差异；基于至少一个观测对象的图像区域信息之间的差异确定至少一个观测对象各自的深度信息。

关于上述实施例中的装置900，其中各个模块、单元、子单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。

本申请的另一方面还提供了一种电子设备。

图10示意性示出了根据本申请实施例的一种电子设备的方框图。

参见图10，电子设备1000包括存储器1010和处理器1020。

处理器1020可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(例如DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器1010可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的方法中的部分或全部。

此外，根据本申请的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。

或者，本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质)，其上存储有可执行代码(或计算机程序或计算机指令代码)，当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时，使处理器执行根据本申请的上述方法的各个步骤的部分或全部。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种重构高精地图的方法，其特征在于，包括：

获取图像信息以及当前位置信息，所述图像信息是通过搭载于移动平台上的传感器获取的，并且包括观测对象的图像；

将所述当前位置信息和所述图像信息的局部区域在高精地图中进行匹配，得到所述高精地图中与所述观测对象对应的目标对象；

将所述观测对象的模型作为所述高精地图中的目标对象的模型，以重构所述高精地图。

2.根据权利要求1所述的方法，其特征在于，所述将所述当前位置信息和所述图像信息的局部区域在高精地图中进行匹配，得到所述高精地图中与所述观测对象对应的目标对象，包括：

确定至少一个所述观测对象的图像各自在所述图像信息中的第一位置信息；

基于第一映射关系确定所述高精地图中的与所述第一位置信息和所述当前位置信息对应的第二位置信息；

基于所述第二位置信息确定所述高精地图中的目标对象。

3.根据权利要求2所述的方法，其特征在于，所述确定至少一个所述观测对象的图像各自在所述图像信息中的第一位置信息，包括：对于获取的多帧图像信息中的每一帧，

对当前帧的图像信息进行图像识别，得到至少一个所述观测对象的图像各自在所述图像信息中的图像区域信息；

至少基于所述当前帧的指定个数的相邻帧中至少一个所述观测对象的图像区域信息之间的差异，确定至少一个所述观测对象各自的深度信息。

4.根据权利要求3所述的方法，其特征在于，所述将所述观测对象的模型作为所述高精地图中的目标对象的模型，包括：

基于所述第二位置信息在所述高精地图中生成与至少一个所述观测对象各自的模型对应的目标模型。

5.根据权利要求4所述的方法，其特征在于，还包括：

基于至少一个所述观测对象的图像各自在所述图像信息中的图像区域信息，以及至少一个所述观测对象各自的深度信息，构建至少一个所述观测对象各自的模型；

所述基于所述第二位置信息在所述高精地图中生成与至少一个所述观测对象各自的模型对应的目标模型，包括：

对于二维的目标对象，基于至少一个所述观测对象的图像各自在所述图像信息中的图像区域信息，在与所述第二位置信息对应的位置处进行贴纹理处理，生成所述目标模型；

对于三维的目标对象，通过使用构建的至少一个所述观测对象各自的模型，在与所述第二位置信息对应的位置处进行三维模型渲染，生成所述目标模型。

6.根据权利要求3所述的方法，其特征在于，所述对当前帧的图像信息进行图像识别，得到至少一个所述观测对象的图像各自在所述图像信息中的图像区域信息，包括：

利用图像识别模型处理所述当前帧的图像信息，得到至少一个所述观测对象的图像各自在所述图像信息中的图像区域信息，其中，所述图像识别模型包括至少两个通道，所述至少两个通道中的各通道分别以不同的尺度进行图像识别。

7.根据权利要求3所述的方法，其特征在于，所述至少基于所述当前帧的指定个数的相邻帧中至少一个所述观测对象的图像区域信息之间的差异，确定至少一个所述观测对象各自的深度信息，包括：

基于同步定位与建图方式处理所述当前帧以及指定个数的相邻帧中至少一个所述观测对象的图像区域信息，得到至少一个所述观测对象的图像区域信息之间的差异；

基于至少一个所述观测对象的图像区域信息之间的差异确定至少一个所述观测对象各自的深度信息。

8.一种重构高精地图的装置，其特征在于，包括：

信息获取模块，用于获取图像信息以及当前位置信息，所述图像信息是通过搭载于移动平台上的传感器获取的，并且包括观测对象的图像；

目标对象获得模块，用于将所述当前位置信息和所述图像信息的局部区域在高精地图中进行匹配，得到所述高精地图中与所述观测对象对应的目标对象；

高精地图重构模块，用于将所述观测对象的模型作为所述高精地图中的目标对象的模型，以重构所述高精地图。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行根据权利要求1-7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1-7中任一项所述的方法。

Images