CN111795703B - 地图构建方法、装置、存储介质及移动设备 - Google Patents

Abstract

本申请公开了一种地图构建方法、装置、存储介质及移动设备。该方法可以包括获取图像数据和位置数据，所述图像数据和所述位置数据相互关联；从所述图像数据获取路面切片数据和标志牌切片数据；根据所述图像数据和所述位置数据获取移动设备的多个姿态点，将每一姿态点连结形成所述移动设备的姿态轨迹；基于所述姿态轨迹，将所述路面切片数据和所述标志牌切片数据进行融合，构建地图。本申请可以简化地图构建的复杂度。

Description

地图构建方法、装置、存储介质及移动设备

技术领域

本申请涉及电子技术领域，特别涉及一种地图构建方法、装置、存储介质及移动设备。

背景技术

随着人工智能技术和计算机技术的发展，自动驾驶技术日渐成熟。而高精地图是自动驾驶技术领域的核心技术之一。高精地图的发展直接影响自动驾驶的安全性和精准度，是自动驾驶落地的关键技术节点。

现有的高精地图建模方案一般使用激光雷达、毫米波雷达、全高清摄像头等传感器，然后通过SLAM技术对传感器检测到的信息进行融合处理。该方案需要安装精度高的传感器设备，系统结构复杂。

发明内容

本申请实施例提供一种地图构建方法、装置、存储介质及移动设备，可以简化地图构建的复杂度。

本申请实施例提供一种地图构建方法，包括：

获取图像数据和位置数据，所述图像数据和所述位置数据相互关联；

从所述图像数据获取路面切片数据和标志牌切片数据，用于形成地图切片数据；

根据所述图像数据和所述位置数据获取移动设备的多个姿态点，将每一姿态点连结形成所述移动设备的姿态轨迹；

基于所述姿态轨迹，将所述路面切片数据和所述标志牌切片数据进行融合，构建地图。

本申请实施例还提供一种地图构建装置，包括：

图像采集模块，用于采集图像数据；

位置采集模块，用于采集位置数据，所述位置数据和所述图像数据相互关联；

图像识别模块，用于从所述图像数据获取路面切片数据和标志牌切片数据以形成地图切片数据；

同步定位与建图模块，用于根据所述图像数据和所述位置数据获取移动设备的多个姿态点，将每一姿态点连结形成所述移动设备的姿态轨迹；

以及地图建模模块，用于基于所述姿态轨迹，将所述路面切片数据和所述标志牌切片数据进行融合，构建地图。

本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，实现上述本申请实施例提供地图构建方法。

本申请实施例还提供一种移动设备，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序实现上述本申请实施例提供地图构建方法。

本申请的地图构建方法、装置、存储介质及移动设备，所述地图构建方法可以利用移动设备的传感器采集外部图像数据和与图像数据相互关联的位置数据，根据图像数据和位置数据获取移动设备的姿态轨迹，结合路面切片数据和标志牌切片数据，构建高精地图，可以简化地图构建的复杂度。

附图说明

图1为本申请实施例提供的地图构建方法的应用场景示意图。

图2为本申请实施例提供的地图构建方法的第一种流程示意图。

图3为本申请实施例第一种流程示意图中的移动终端的结构示意图。

图4为本申请实施例提供的地图构建方法的第二种流程示意图。

图5为本申请实施例提供的地图构建方法的第三种流程示意图。

图6为本申请实施例提供的地图构建方法的第四种流程示意图。

图7为本申请实施例提供的地图构建装置的第一种结构示意图。

图8为本申请实施例提供的地图构建装置的第二种结构示意图。

图9为本申请实施例提供的地图构建装置的第三种结构示意图。

图10为本申请实施例提供的地图构建装置的第四种结构示意图。

图11为本申请实施例提供的移动设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。

参考图1，图1为本申请实施例提供的地图构建方法的应用场景示意图。所述地图构建方法可应用于移动设备。所述移动设备中设置有全景感知架构。所述全景感知架构为移动设备中用于实现所述地图构建方法的硬件和软件的集成。

其中，全景感知架构包括信息感知层、数据处理层、特征抽取层、情景建模层以及智能服务层。

信息感知层用于获取移动设备自身的信息或者外部环境中的信息。所述信息感知层可以包括多个传感器。例如，所述信息感知层包括距离传感器、磁场传感器、光线传感器、加速度传感器、指纹传感器、霍尔传感器、位置传感器、陀螺仪、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。

其中，距离传感器可以用于检测移动设备与外部物体之间的距离。磁场传感器可以用于检测移动设备所处环境的磁场信息。光线传感器可以用于检测移动设备所处环境的光线信息。加速度传感器可以用于检测移动设备的加速度数据。指纹传感器可以用于采集用户的指纹信息。霍尔传感器是根据霍尔效应制作的一种磁场传感器，可以用于实现移动设备的自动控制。位置传感器可以用于检测移动设备当前所处的地理位置。陀螺仪可以用于检测移动设备在各个方向上的角速度。惯性传感器可以用于检测移动设备的运动数据。姿态感应器可以用于感应移动设备的姿态信息。气压计可以用于检测电子设备所处环境的气压。心率传感器可以用于检测用户的心率信息。

数据处理层用于对信息感知层获取到的数据进行处理。例如，数据处理层可以对信息感知层获取到的数据进行数据清理、数据集成、数据变换、数据归约等处理。

其中，数据清理是指对信息感知层获取到的大量数据进行清理，以剔除无效数据和重复数据。数据集成是指将信息感知层获取到的多个单维度数据集成到一个更高或者更抽象的维度，以对多个单维度的数据进行综合处理。数据变换是指对信息感知层获取到的数据进行数据类型的转换或者格式的转换等，以使变换后的数据满足处理的需求。数据归约是指在尽可能保持数据原貌的前提下，最大限度的精简数据量。

特征抽取层用于对数据处理层处理后的数据进行特征抽取，以提取所述数据中包括的特征。提取到的特征可以反映出电子设备自身的状态或者用户的状态或者电子设备所处环境的环境状态等。

其中，特征抽取层可以通过过滤法、包装法、集成法等方法来提取特征或者对提取到的特征进行处理。

过滤法是指对提取到的特征进行过滤，以删除冗余的特征数据。包装法用于对提取到的特征进行筛选。集成法是指将多种特征提取方法集成到一起，以构建一种更加高效、更加准确的特征提取方法，用于提取特征。

情景建模层用于根据特征抽取层提取到的特征来构建模型，所得到的模型可以用于表示移动设备的状态或者用户的状态或者环境状态等。例如，情景建模层可以根据特征抽取层提取到的特征来构建关键值模型、模式标识模型、图模型、实体联系模型、面向对象模型等。

智能服务层用于根据情景建模层所构建的模型为用户提供智能化的服务。例如，智能服务层可以为用户提供基础应用服务，可以为移动设备进行系统智能优化，还可以为用户提供个性化智能服务。

此外，全景感知架构中还可以包括多种算法，每一种算法都可以用于对数据进行分析处理，所述多种算法可以构成算法库。例如，所述算法库中可以包括马尔科夫算法、隐含狄里克雷分布算法、贝叶斯分类算法、支持向量机、K均值聚类算法、K近邻算法、条件随机场、残差网络、长短期记忆网络、卷积神经网络、循环神经网络等算法。

本申请实施例提供一种地图构建方法，所述地图构建方法可以应用于移动设备中。所述移动设备可以是具有移动功能的电子设备，诸如汽车、无人机、飞机或移动机器人；也可以是移动终端与可移动的设备连接形成，移动终端可以是智能手机、平板电脑、笔记本、桌面计算设备、可穿戴设备诸如眼镜、头盔、电子手链、电子项链等设备。可移动的设备可以是车辆、无人机、飞机或移动机器人，车辆可以是自行车、摩托车或汽车。

参考图2，图2为本申请实施例提供的地图构建方法的第一种流程示意图。

110，获取图像数据和位置数据，所述图像数据和所述位置数据相互关联。

本实施例的移动设备由移动终端搭载到可移动的设备组成。所述移动终端可以通过上述全进感知架构中的信息感知层采集移动设备外部的图像数据和所述移动设备的位置数据，所述图像数据与所述位置数据相互关联。

请参阅图3，移动终端300可以包括处理器301、存储器302、摄像头组件303和传感器组件304，其中，处理器301分别与存储器302、摄像头组件303和传感器组件304电性连接。处理器301是移动终端300的控制中心，利用各种接口和线路连接整个移动终端300的各个部分，通过运行或调用存储在存储器302内的计算机程序，以及调用存储在存储器302内的数据，执行移动终端的各种功能和处理数据。摄像头组件303可用于获取移动设备外部的图像数据，所述摄像头组件303可以包括普通摄像头、广角摄像头和长焦摄像头。所述传感器组件304用于采集移动终端自身的信息或者用户的信息或者外部环境信息，所述传感器组件304包括加速度传感器、陀螺仪、磁场传感器和位置传感器，所述加速度传感器用于采集移动设备的加速度数据，所述陀螺仪用于采集移动设备的角速度数据，所述磁场传感器用于采集移动设备的轴数据以识别所述移动设备的方位，所述位置传感器用于采集移动设备的定位数据以识别所述移动设备在三维空间的位置。需要说明的是，所述传感器组件304还可以包括距离传感器、光线传感器、指纹传感器、霍尔传感器、位置传感器、惯性传感器、姿态感应器、气压计、心率传感器等多个传感器。所述移动终端300还可以包括显示屏、电池等器件。

例如，将移动终端300搭载到汽车上形成移动设备。所述汽车前端可以设置一个移动终端接入设备，可以将移动终端300插到所述移动终端接入设备上，该移动终端接入设备可以将移动终端300固定在汽车前段挡风玻璃前面，并通过内置的车辆控制通讯协议联通汽车的中央控制系统。所述车辆控制通讯协议由汽车制造商提供，移动终端接入设备作为联通移动终端和车辆控制系统的中间桥梁。移动终端300通过摄像头组件303采集汽车行驶过程中的外部图像数据，利用传感器组件304来获取汽车行驶过程中的每一图像数据对应的每一位置数据，所述每一图像数据与所述每一位置数据相互关联，即摄像头组件303在采集每一帧图像数据时，传感器组件304同时采集与每一帧图像数据对应的每一位置数据。

120，从所述图像数据获取路面切片数据和标志牌切片数据，用于形成地图切片数据。

移动终端300利用上述全进感知架构中的信息感知层的特征抽取层对所述图像数据的每一帧图像进行特征抽取，以从每一帧图像中抽取出路面数据和标志牌数据。从相邻多帧图像数据中的多个路面数据获取一个路面切片，多个路面切片集合形成路面切片数据。相邻多帧图像数据中的多个标志牌数据获取一个标志牌切片，多个标志牌切片集合形成标志牌切片数据。每一路面切片和每一标志牌切片融合形成每一地图切片，所述多个地图切片集合形成地图切片数据。

130，根据所述图像数据和所述位置数据获取移动设备的多个姿态点，将每一姿态点连结形成所述移动设备的姿态轨迹。

本实施例的移动终端300利用同步定位与建图算法进行处理，以获取移动设备的姿态轨迹。所述同步定位与建图算法包括特征提取操作、跟踪操作、局部建图操作以及闭环检测操作，以实现地图重用、回环检测以及重新定位的功能。

特征提取操作：利用特征提取算法对图像数据中的每一帧图像进行特征提取，并进行初始化；

跟踪操作：初始化成功之后，进入跟踪操作。该操作在得到新的帧时，与已有的相邻关键帧和局部地图进行2d到2d的匹配和2d到3d的匹配。通过两种方式来获得更为准确的姿态跟踪。最后判断是否将当前帧加入关键帧队列。

局部建图操作：局部建图操作从跟踪队列中获取关键帧，在获取到关键帧时，系统会计算该帧的词袋描述，用来为后面的匹配和闭环检测做好准备，然后利用相邻关键帧的匹配关系三角化生成新的地图3d点。在这个过程中，当新生成的3d点与已有3d点重合，采用3d点融合的步骤来处理地图融合，融合结束之后进行地图外点的剔除和局部地图的光束平差法(Bundle Adjustment)优化。

闭环检测操作：只要有关键帧的插入，就会触发闭环检测操作。通过在局部建图操作中对关键帧的词袋描述，计算当前帧和相关联关键帧的变换矩阵，并对当前帧和相关联关键帧的相似性做出排序。如果当前帧和某一帧的相似度高于预先设定的阈值，就做一次关键帧融合，并以此来优化相邻关键帧的姿态。

本实施例利用同步定位与建图算法，根据获取的图像数据和位置数据，实现地图重用、回环检测以及重新定位的功能。在利用同步定位与建图算法时，后端主要采用光束平差法(Bundle Adjustment)进行优化，内部包含了一个轻量级的定位模型，实现利用视觉里程计(Visual Odometer)追踪未建图区域，并与地图点匹配实现零漂移定位。最终得到移动终端的姿态轨迹和稀疏地图信息。

需要说明的是，同步定位与建图算法可以是ORB-SLAM算法、SIFT-SLAM算法、SURF-SLAM算法或FAST-SLAM算法。

140，基于所述姿态轨迹，将所述路面切片数据和所述标志牌切片数据进行融合，构建地图。

移动终端300根据所述姿态轨迹为中心线，获取与姿态轨迹中的每一姿态点所对应的路面切片和标志牌切片，将每一路面切片和每一标志牌切片融合形成多个地图切片，根据多个地图切片利用切片地图金字塔模型构建出高精地图。

本申请实施例中的地图构建方法可以应用在图1中的全景感知架构中。本申请实施例可以通过全景感知架构中的信息感知层获取数据，诸如通过摄像头组件获取图像数据，以及通过位置传感器、陀螺仪等获取位置数据。可以通过数据处理层对信息感知层获取到的数据进行数据处理，诸如对所述图像数据和所述位置数据进行处理以删除冗余数据。可以通过特征抽取层进行特征抽取诸如特征抽取层可以从所述图像数据中抽取出特征数据诸如路面数据或标志牌数据。可以通过算法库中的算法对数据进行处理诸如可以通过SLAM算法对所述图像数据和所述位置数据进行处理，以得到移动设备的姿态轨迹。可以通过情景建模层对特征抽取层所得到的数据进行模型构建，诸如情景建模层可以分别对所述路面数据和标志牌切片数据进行训练以得到路面切片数据和标志牌切片数据，并基于所述姿态轨迹，对路面切片数据和标志牌切片数据进行建模，以得到高精地图模型。移动设备诸如智能手机可以通过所述高精地图模型中获知当前的道路情况，诸如可以获知车道线情况、标志牌情况、路灯情况等。可通过智能服务层利用所述高精地图模型为用户提供智能化服务，诸如高精地图可以在用户启动智能驾驶或自动驾驶时，帮助车辆识别路面的标志牌、车道线等信息，以提高智能驾驶或自动驾驶的准确性和安全性，降低事故发生概率。

在一些实施例中，参考图4，图4为本申请实施例提供的地图构建方法的第二种流程示意图。

所述获取图像数据和位置数据，所述图像数据和所述位置数据相互关联的步骤包括：

111，通过第一图像采集单元采集第一图像，所述第一图像包括车道线数据；

112，通过第二图像采集单元采集第二图像，所述第二图像包括路延数据，所述车道线数据和所述路延数据相互关联形成路面数据；

113，通过第三图像采集单元采集第三图像，所述第三图像包括标志牌数据；

114，获取位置数据，将所述位置数据和所述图像数据相互关联，所述图像数据包括第一图像、第二图像和第三图像。

例如，第一图像采集单元可以为移动终端的普通摄像头，移动终端利用所述普通摄像头采集汽车行驶过程中的第一图像，所述第一图像包括车道线数据。所述车道线数据包括车道线、导流带、人行横道线和停止线中的一种或几种。移动终端对所述第一图像进行识别，以识别出车道线数据。诸如，所述移动终端可以通过霍夫变换算法从所述第一图像中识别出线段信息，再利用混合高斯模型和跟踪算法对所述线段信息进行识别，以识别出车道线数据。

第二图像采集单元可以为移动终端的广角摄像头，移动终端利用所述广角摄像头采集汽车行驶过程中的第二图像，所述第二图像包括路延数据。所述路延数据包括路牙、栏杆、地面上的标志及其符号和数字中的一种或几种。移动终端对所述第二图像进行识别，以识别出路延数据。诸如，所述移动终端可以利用上述步骤识别出来的车道线数据，向第二图像搜索符合车道线的混合高斯模型的扩展线段，如果搜索到所述扩展线段，则根据所述扩展线段识别出路牙，利用所述路牙确定地图的边界。移动终端还可以利用深度卷积神经网络或者其他传统的图像识别算法从所述第二图像中识别出栏杆、地面上的标志及其符号和数字。

由于车道线数据和路延数据均属于路面数据，所以将所述车道线数据和所述路延数据根据时间戳一一关联后，将所述车道线数据和所述路延数据组合在一起形成路面数据，并进行存储。

第三图像采集单元可以为移动终端的长焦摄像头，移动终端利用所述长焦摄像头采集汽车行驶过程中的第三图像，所述第三图像包括标志牌数据。所述标志牌数据包括警告标志牌、禁令标志牌、指示标志牌、指路标志牌、旅游区标志牌、道路施工安全标志牌和限速标志牌中的一种或几种。移动终端对所述第三图像进行识别，以识别出标志牌数据。诸如，移动终端可以利用深度卷积神经网络从所述第三图像中确定每一标志牌的位置，再使用文字识别算法对所述每一标志牌的内容进行识别，以识别出标志牌数据。

在一些实施例中，所述图像数据还包括冗余数据，所述冗余数据包括过往行人、过往车辆或过往动物，过往行人、过往车辆或过往动物等属于常见的移动物体，不属于路面数据。当移动终端从所述图像数据中检测到所述冗余数据时，则将所述冗余数据进行提取存储为冗余点云数据，并将所述冗余数据从所述图像数据中删除。

例如，利用移动终端分别从所述第一图像、所述第二图像和所述第三图像中进行识别，当识别到行人、车辆或动物等冗余数据时，则从所述第一图像、所述第二图像和所述第三图像中进行提取存储为冗余点云数据，并将所述冗余数据分别从所述第一图像、所述第二图像和所述第三图像中删除。

诸如，移动终端可以利用深度卷积神经网络或者其他传统的图像识别算法分别从所述第一图像、所述第二图像和所述第三图像中识别出冗余数据，将所述冗余数据提取存储为冗余点云数据，并将所述冗余数据分别从所述第一图像、所述第二图像和所述第三图像进行删除。

在一些实施例中，参考图5，图5为本申请实施例提供的地图构建方法的第三种流程示意图。

其中，所述图像数据包括第一时间戳，所述位置数据包括第二时间戳，所述图像数据和所述位置数据相互关联包括以下步骤：

101，获取移动设备外部的图像数据和所述移动设备的位置数据；

102，分别获取所述图像数据的每一帧图像的第一时间戳和所述位置数据的每一位置数据的第二时间戳；

103，根据所述第一时间戳和所述第二时间戳，将每一帧图像数据和每一帧位置数据进行时间对齐处理，以获取时间同步的图像数据和位置数据；

诸如，某一帧图像的采集的时间是2019年1月31日08时08秒08分，移动终端根据该采集时间获取对应的某一帧图像的第一时间戳，并根据第一时间戳，找到与第一时间戳的采集时间相同的第二时间戳，并根据所述第二时间戳获取目标位置数据，把采集时间相同的每一图像数据与每一位置数据进行一一对应，以实现数据同步。

移动终端将所述时间同步的图像数据和位置数据同步传输到移动终端的系统底层。系统底层是指在移动终端的安卓系统底层或IOS系统底层。移动终端通过系统架构层获取得到图像数据和位置数据后，直接在移动终端的系统底层对所述图像数据和所述位置数据进行时间同步。

在一些实施例中，参考图6，图6为本申请实施例提供的地图构建方法的第四种流程示意图。

其中，120，所述从所述图像数据获取路面切片数据和标志牌切片数据步骤包括：

121，从所述图像数据中选取与预设姿态点对应的目标图像数据；

122，获取与所述目标图像数据相邻的预设个数的图像数据；

123，从所述目标图像数据和所述目标图像数据相邻的图像数据中获取多个路面数据和多个标志牌数据；

124，从所述多个路面数据和所述多个标志牌数据提取最大概率的路面数据和最大概率的标志牌数据，以获得路面切片数据和标志牌切片数据。

例如，移动终端可以从姿态轨迹中任意选取一姿态点作为预设姿态点，并获取该预设姿态点对应的时间戳；基于预设姿态点的时间戳，从图像数据中获取与该时间戳对应的目标图像数据，并获取与目标图像数据相邻的M帧图像数据；从目标图像数据和图像数据中识别出多个路面数据和多个标志牌数据；采用统计学方法从所述多个路面数据和所述多个标志牌数据中，筛选出最大概率的路面数据和最大概率的标志牌数据；根据所述最大概率的路面数据和所述最大概率的标志牌数据分别形成路面切片和标志牌切片。

基于姿态轨迹的所有姿态点，移动终端从所述图像数据中获取多个路面切片和多个标志牌切片；将多个路面切片集合形成路面切片数据，多个标志牌切片集合形成标志牌切片数据。

诸如，预设姿态点对应的时间戳为t，利用时间戳t从图像数据中找到时间戳同为t的目标图像数据，并找到与该目标图像数据最邻近的6帧图像，假设时间单位阈值为i，则获取的图像数据分别为t-12i，t-8i，t-4i，t，t+4i，t+8i，t+12i等7个时间戳所对应的7个图像数据，从上述7个图像数据中获取7个路面数据和7个标志牌数据。

由于不同的时间戳识别得到的路面数据和标志牌数据有些许差异，因此本实施例采用统计学方法选择概率最高的路面数据和标志牌数据作为时间戳t的路面数据和标志牌数据。诸如，分别将所述7个路面数据和所述7个标志牌数据进行合并，采用统计学方法从所述7个路面数据和所述7个标志牌数据中筛选出最大概率的路面数据和最大概率的标志牌数据，以得到时间戳为t的路面切片和时间戳为t的标志牌切片，将所述路面切片和所述标志牌切片进行融合，形成时间戳为t的地图切片。

移动终端利用上述方法对所有的图像数据进行处理，以获得路面切片数据和标志牌切片数据，所述路面切片数据和所述标志牌切片数据分别包含多个路面切片和多个标志牌切片。

分别获取路面切片数据和标志牌切片数据的时间戳，根据路面切片数据和标志牌切片数据的时间戳，将所述路面切片数据的每一路面切片和所述标志牌切片数据的每一标志牌切片进行关联。将每一路面切片和与关联的每一标志牌切片进行融合，形成地图切片数据，根据所述地图切片数据利用切片地图金字塔模型构建与所述姿态轨迹相对应的高精地图。

在一些实施例中，为了避免数据漂移和数据误差，需要图像数据和位置数据具备回环过程。本实施例的所述图像数据包括起点图像数据和终点图像数据，所述起点图像的获取位置与所述终点图像的获取位置相同；所述位置数据包括起点位置数据和终点位置数据，所述起点位置数据与所述起点图像数据对应，所述终点位置数据与所述终点图像数据对应。

例如，汽车从起始点最右侧的车道开始驾驶，通过一段时间的路线行驶后(诸如100公里)，回到起始点的位置，完成驾驶回环动作，接入到汽车上的移动终端获取从起始点驾驶一段路程后回到起始点这一行驶过程的所有图像数据和与所述图像数据对应的所有位置数据。其中移动终端在起始点分别获取了两个图像数据和两个位置数据，分别为起点图像数据、终点图像数据、起点位置数据和终点位置数据。汽车在起始点出发时，在起始点获取的图像数据和位置数据分别为起点图像数据和起点位置数据；汽车驾驶一段路程后回到起始点时，在起始点获取图像数据和位置数据分别为终点图像数据和终点位置数据。移动终端可以根据同一位置获取的图像数据和位置数据，对移动终端的姿态轨迹进行调整，以避免数据漂移和数据误差。

本实施例还提供一种地图构建装置，所述地图构建装置可以集成在移动设备中。所述移动设备可以是具有移动功能的电子设备，诸如汽车、无人机、飞机或移动机器人；也可以是移动终端与可移动的设备连接形成，移动终端可以是智能手机、平板电脑、笔记本、桌面计算设备、可穿戴设备诸如眼镜、头盔、电子手链、电子项链等设备。可移动的设备可以是车辆、无人机、飞机或移动机器人，车辆可以是自行车、摩托车或汽车。

参考图7，图7为本实施例提供的地图构建装置的第一种结构示意图。其中，所述地图构建装置200包括图像采集模块210、位置采集模块220、图像识别模块230、同步定位与建图模块240、和地图建模模块250。

图像采集模块210，用于采集图像数据。

本实施例的移动设备由移动终端搭载到可移动的设备组成。所述移动终端设置有图像采集模块210，所述图像采集模块210可以通过上述全进感知架构中的信息感知层采集移动设备外部的图像数据。

位置采集模块220，用于采集位置数据，所述位置数据和所述图像数据相互关联；

所述移动终端设置有位置采集模块220，所述位置采集模块220可以通过上述全进感知架构中的信息感知层采集移动设备的位置数据。图像采集模块210采集的图像数据与位置采集模块220采集的位置数据一一关联。

例如，将移动终端300搭载到汽车上形成移动设备。所述汽车前端设置有一个移动终端接入设备，可以将移动终端插到所述移动终端接入设备上，该移动终端接入设备可以将移动终端固定在汽车前段挡风玻璃前面，并通过内置的车辆控制通讯协议联通汽车的中央控制系统。所述车辆控制通讯协议由汽车制造商提供，移动终端接入设备作为联通移动终端和车辆控制系统的中间桥梁。移动终端的通过图像采集模块210采集汽车行驶过程中的外部图像数据；通过位置采集模块220来获取汽车行驶过程中的位置数据，所述图像数据与所述位置数据对应，即图像采集模块210在采集每一帧图像数据时，位置采集模块220同时采集与每一帧图像数据对应的每一位置数据。

图像识别模块230，用于从所述图像数据获取路面切片数据和标志牌切片数据，所述路面切片数据和所述标志牌切片数据用于形成地图切片数据；

其中，图像识别模块230可以利用上述全进感知架构中的信息感知层的特征抽取层对所述图像数据的每一帧图像进行特征抽取，以从每一帧图像中抽取出路面数据和标志牌数据。从相邻多帧图像数据中的多个路面数据获取一个路面切片，多个路面切片集合形成路面切片数据。相邻多帧图像数据中的多个标志牌数据获取一个标志牌切片，多个标志牌切片集合形成标志牌切片数据。每一路面切片和每一标志牌切片融合形成每一地图切片，所述多个地图切片集合形成地图切片数据。

同步定位与建图模块240，用于根据所述图像数据和所述位置数据获取移动设备的多个姿态点，将每一姿态点连结形成所述移动设备的姿态轨迹。

本实施例的同步定位与建图模块240利用同步定位与建图算法进行处理，以获取移动设备的姿态轨迹。所述同步定位与建图算法包括特征提取操作、跟踪操作、局部建图操作以及闭环检测操作，实现地图重用、回环检测以及重新定位的功能。

特征提取操作：利用特征提取算法对图像数据中的每一帧图像进行特征提取，并进行初始化；

跟踪操作：初始化成功之后，进入跟踪操作。该操作在得到新的帧时，与已有的相邻关键帧和局部地图进行2d到2d的匹配和2d到3d的匹配。通过两种方式来获得更为准确的姿态跟踪。最后判断是否将当前帧加入关键帧队列。

局部建图操作：局部构图操作从跟踪队列中获取关键帧，在获取到关键帧时，系统会计算该帧的词袋描述，用来为后面的匹配和闭环检测做好准备，然后利用相邻关键帧的匹配关系三角化生成新的地图3d点。在这个过程中，当新生成的3d点与已有3d点重合，采用3d点融合的步骤来处理地图融合，融合结束之后进行地图外点的剔除和局部地图的光束平差法(Bundle Adjustment)优化。

闭环检测操作：只要有关键帧的插入，就会触发闭环检测操作。通过在局部构图操作中对关键帧的词袋描述，计算当前帧和相关联关键帧的变换矩阵，并对当前帧和相关联关键帧的相似性做出排序。如果当前帧和某一帧的相似度高于预先设定的阈值，就做一次关键帧融合，并以此来优化相邻关键帧的姿态。

本实施例利用同步定位与建图算法，根据获取的图像数据和位置数据，实现地图重用、回环检测以及重新定位的功能。在利用同步定位与建图算法时，后端主要采用光束平差法(Bundle Adjustment)进行优化，内部包含了一个轻量级的定位模型，实现利用视觉里程计(Visual odometer)追踪未建图区域，并与地图点匹配实现零漂移定位。最终得到移动终端的姿态轨迹和稀疏地图信息。

需要说明的是，同步定位与建图算法可以是ORB-SLAM算法、SIFT-SLAM算法、SURF-SLAM算法或FAST-SLAM算法。

地图建模模块250，用于基于所述姿态轨迹，将所述路面切片数据和所述标志牌切片数据进行融合，构建地图。

其中，地图建模模块250可以根据移动终端的姿态轨迹为中心线，获取与姿态轨迹中的每一姿态点所对应的路面切片和标志牌切片，将每一路面切片和每一标志牌切片融合形成多个地图切片，根据多个地图切片利用切片地图金字塔模型构建出高精地图。

在一些实施例中，参考图8，图8为本申请实施例提供的地图构建装置的第二种结构示意图。所述图像采集模块210包括第一图像采集单元211、第二图像采集单元212、第三图像采集单元213。所述第一图像采集单元211用于采集第一图像，所述第一图像包括车道线数据。所述第二图像采集单元212用于采集第二图像，所述第二图像包括路延数据。所述第三图像采集单元213用于采集第三图像，所述第三图像包括标志牌数据。

所述图像识别模块230包括第一图像识别单元231、第二图像识别单元232和第三图像识别单元233。所述第一图像识别单元231用于从所述第一图像中识别出车道线数据；所述第二图像识别单元232用于从所述第二图像中识别出路延数据；所述第三图像识别单元233用于从所述第三图像中识别出标志牌数据。

其中，第一图像采集单元231可以为移动终端的普通摄像头，移动终端利用所述普通摄像头采集汽车行驶过程中的第一图像，所述第一图像包括车道线数据。所述车道线数据包括车道线、导流带、人行横道线和停止线中的一种或几种。移动终端利用第一图像识别单元231对所述第一图像进行识别，以识别出车道线数据。诸如，所述第一图像识别单元231可以通过霍夫变换算法从所述第一图像中识别出线段信息，再利用混合高斯模型和跟踪算法对所述线段信息进行识别，以识别出车道线数据。

第二图像采集单元232可以为移动终端的广角摄像头，移动终端利用所述广角摄像头采集汽车行驶过程中的第二图像，所述第二图像包括路延数据。所述路延数据包括路牙、栏杆、地面上的标志及其符号和数字中的一种或几种。移动终端利用第二图像识别单元232对所述第二图像进行识别，以识别出路延数据。诸如，所述第二图像识别单元232可以利用上述步骤识别出来的车道线数据，向第二图像搜索符合车道线的混合高斯模型的扩展线段，如果搜索到所述扩展线段，则根据所述扩展线段识别出路牙，利用所述路牙确定地图的边界。第二图像识别单元232还可以利用深度卷积神经网络或者其他传统的图像识别算法从所述第二图像中识别出栏杆、地面上的标志及其符号和数字。

由于车道线数据和路延数据均属于路面数据，所以将所述车道线数据和所述路延数据根据时间戳一一关联后，将所述车道线数据和所述路延数据组合在一起形成路面数据，并进行存储。

第三图像识别单元233可以为移动终端的长焦摄像头，移动终端利用所述长焦摄像头采集汽车行驶过程中的第三图像，所述第三图像包括标志牌数据。所述标志牌数据包括警告标志牌、禁令标志牌、指示标志牌、指路标志牌、旅游区标志牌、道路施工安全标志牌和限速标志牌中的一种或几种。利用第三图像识别单元233对所述第三图像进行识别，以识别出标志牌数据。诸如，所述第三图像识别单元233可以利用深度卷积神经网络从所述第三图像中确定每一标志牌的位置，再使用文字识别算法对所述每一标志牌的内容进行识别，以识别出标志牌数据。

图像识别单元230还用于从所述图像数据中获取路面切片数据和标志牌切片数据，所述路面切片数据和所述标志牌切片数据用于形成地图切片数据。

例如，移动终端通过图像识别单元230可以从姿态轨迹中任意选取一姿态点作为预设姿态点，并获取该预设姿态点对应的时间戳；基于预设姿态点的时间戳，从图像数据中获取与该时间戳对应目标图像数据，并获取与目标图像数据相邻的M帧图像数据；从目标图像数据和图像数据中识别出多个路面数据和多个标志牌数据；采用统计学方法从所述多个路面数据和所述多个标志牌数据中，筛选出最大概率的路面数据和最大概率的标志牌数据；根据所述最大概率的路面数据和所述最大概率的标志牌数据分别形成路面切片和标志牌切片。

基于姿态轨迹的所有姿态点，从所述图像数据中获取多个路面切片和多个标志牌切片；将多个路面切片集合形成路面切片数据，多个标志牌切片集合形成标志牌切片数据。

诸如，预设姿态点对应的时间戳为t，利用时间戳t从图像数据中找到时间戳同为t的目标图像数据，并找到与该目标图像数据最邻近的6帧图像，假设时间单位阈值为i，则获取的图像数据分别为t-12i，t-8i，t-4i，t，t+4i，t+8i，t+12i等7个时间戳所对应的7个图像数据，从上述7个图像数据中获取7个路面数据和7个标志牌数据。

由于不同的时间戳识别得到的路面数据和标志牌数据有些许差异，因此本实施例采用统计学方法选择概率最高的路面数据和标志牌数据作为时间戳t的路面数据和标志牌数据。诸如，分别将所述7个路面数据和所述7个标志牌数据进行合并，采用统计学方法从所述7个路面数据和所述7个标志牌数据中筛选出最大概率的路面数据和最大概率的标志牌数据，以得到时间戳为t的路面切片和时间戳为t的标志牌切片，将所述路面切片和所述标志牌切片进行融合，形成时间戳为t的地图切片。

移动终端利用上述方法对所有的图像数据进行处理，以获得路面切片数据和标志牌切片数据，所述路面切片数据和所述标志牌切片数据分别包含多个路面切片和多个标志牌切片。

移动终端分别获取路面切片数据和标志牌切片数据的时间戳，根据路面切片数据和标志牌切片数据的时间戳，将所述路面切片数据的每一路面切片和所述标志牌切片数据的每一标志牌切片进行关联。将每一路面切片和与关联的每一标志牌切片进行融合，形成地图切片数据，根据所述地图切片数据利用切片地图金字塔模型构建与所述姿态轨迹相对应的高精地图。

在一些实施例中，参考图9，图9为本实施例提供的地图构建装置的第三种结构示意图。

所述地图构建装置还包括时间同步模块260，所述时间同步模块260用于所述图像数据的每一帧图像与所述位置数据的每一位置数据进行相互关联。所述图像数据中的每一帧图像包括第一时间戳，所述位置数据中的每一位置数据包括第二时间戳，所述时间同步模块260用于执行以下步骤：

分别获取每一帧图像的第一时间戳和每一位置数据的第二时间戳；

根据所述第一时间戳和所述第二时间戳，将获取时间相同的每一帧图像数据和每一帧位置数据进行对齐处理，以获取时间同步的图像数据和位置数据。

诸如，某一帧图像的采集的时间是2019年1月31日08时08秒08分，移动终端根据该采集时间获取对应的某一帧图像的第一时间戳，并根据第一时间戳，找到与第一时间戳的采集时间相同的第二时间戳，并根据所述第二时间戳获取目标位置数据，把采集时间相同的每一图像数据与每一位置数据进行一一关联，以实现数据同步，将所述时间同步的图像数据和位置数据同步传输到移动终端的系统底层。

移动终端将所述时间同步的图像数据和位置数据同步传输到移动终端的系统底层。系统底层是指在移动终端的安卓系统底层或IOS系统底层。移动终端通过系统架构层获取得到图像数据和位置数据后，直接在移动终端的系统底层对所述图像数据和所述位置数据进行时间同步。

在一些实施例中，参考图10，图10为本实施例提供的地图构建装置的第三种结构示意图。

所述地图构建装置还包括冗余数据提取与删除模块270，用于当移动终端从所述图像数据中检测到冗余数据时，则将所述冗余数据进行提取存储为冗余点云数据，并将所述冗余数据从所述图像数据中删除。所述冗余数据包括过往行人、过往车辆或过往动物，过往行人、过往车辆或过往动物等属于常见的移动物体，不属于路面数据。

例如，采用上述实施例中的第一图像识别单元231、第二图像识别单元232和第三图像识别单元233分别从所述第一图像、所述第二图像和所述第三图像中进行识别，当识别到行人、车辆或动物等冗余数据时，则从所述第一图像、所述第二图像和所述第三图像中进行提取存储为冗余点云数据，并将所述冗余数据分别从所述第一图像、所述第二图像和所述第三图像中删除。

诸如，第一图像识别单元231、第二图像识别单元232和第三图像识别单元233可以利用深度卷积神经网络或者其他传统的图像识别算法分别从所述第一图像、所述第二图像和所述第三图像中识别出冗余数据，冗余数据提取与删除模块270将所述冗余数据提取存储为冗余点云数据，并将所述冗余数据分别从所述第一图像、所述第二图像和所述第三图像进行删除。

本申请实施例还提供一种移动设备。所述移动设备可以是具有移动功能的电子设备，诸如汽车、无人机、飞机或移动机器人；也可以是电子设备与可移动的设备连接形成，电子设备可以是智能手机、平板电脑、笔记本、桌面计算设备、可穿戴设备诸如眼镜、头盔、电子手链、电子项链、电子衣物等设备。可移动的设备可以是车辆、无人机、飞机或移动机器人，车辆可以是自行车、摩托车或汽车。

参考图11，图11为本申请实施例提供的移动设备的结构示意图。

其中，移动设备400包括处理器301和存储器302。其中，处理器301与存储器302电性连接。

处理器301是电子设备300的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器302内的计算机程序，以及调用存储在存储器301内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。

在本实施例中，移动设备400中的处理器301会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而实现本申请所有实施例的地图构建方法。

在一些实施例中，移动设备400还可以包括摄像头组件和传感器组件，其中，摄像头组件可以包括普通摄像头、广角摄像头和长焦摄像头，所述摄像头组件与处理器301电性连接，用于采集图像数据。所述传感器组件与处理器301电性连接，用于采集位置数据。传感器组件可以包括加速度传感器、陀螺仪、磁场传感器和位置传感器，所述加速度传感器用于采集移动设备的加速度数据，所述陀螺仪用于采集移动设备的角速度数据，所述磁场传感器用于采集移动设备的轴数据以识别所述移动设备的方位，所述位置传感器用于采集移动设备的定位数据以识别所述移动设备在三维空间的位置。

其中，所述图像数据和所述位置数据存储在所述存储器302中，所述处理器301对运行存储在存储器302中的计算机程序对所述图像数据和所述位置数据进行处理，实现地图重用、回环检测以及重新定位的功能，以获得所述移动设备的姿态轨迹。处理器301从所述图像数据获取路面切片数据和标志牌切片数据，并基于所述移动设备的姿态轨迹，将所述图像数据中的路面切片数据和所述图像数据中的标志牌切片数据进行融合，以构建地图。

本实施例中的各个功能模块可以全部集成在一个处理系统中，也可以是各个功能模块单独物理存在，也可以是两个或两个以上功能模块集成在一个处理系统中。上述集成的系统既可以采用硬件的形式实现，可以采用软件功能模块的形式实现。如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

以上对本申请实施例所提供的地图构建方法、装置、移动终端、存储介质及移动设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种地图构建方法，其特征在于，包括：

获取图像数据和位置数据，所述图像数据和所述位置数据相互关联；

根据所述图像数据和所述位置数据获取移动设备的多个姿态点，将每一姿态点连结形成所述移动设备的姿态轨迹；

从所述图像数据中选取与预设姿态点对应的目标图像数据；

获取与所述目标图像数据相邻的预设个数的图像数据；

从所述目标图像数据和所述目标图像数据相邻的图像数据中获取多个路面数据和多个标志牌数据；

从所述多个路面数据和所述标志牌数据提取最大概率的路面数据和最大概率的标志牌数据，以获得路面切片数据和标志牌切片数据，用于形成地图切片数据；

基于所述姿态轨迹，将所述路面切片数据和所述标志牌切片数据进行融合，构建地图。

2.根据权利要求1所述的地图构建方法，还包括：

采用同步定位与建图算法对所述图像数据和所述位置数据进行处理，获取移动设备的多个姿态点。

3.根据权利要求1所述的地图构建方法，还包括：

通过第一图像采集单元采集第一图像，所述第一图像包括车道线数据；

通过第二图像采集单元采集第二图像，所述第二图像包括路延数据，所述车道线数据和所述路延数据相互关联形成路面数据；

通过第三图像采集单元采集第三图像，所述第三图像包括标志牌数据。

4.根据权利要求3所述的地图构建方法，还包括：

检测所述图像数据中的冗余数据；

将所述冗余数据作为冗余点云数据存储，并将所述冗余数据从所述图像数据中删除。

5.根据权利要求1至4任一项所述的地图构建方法，所述图像数据包括第一时间戳，所述位置数据包括第二时间戳；所述获取图像数据和位置数据，所述图像数据和所述位置数据相互关联包括：

获取图像数据、位置数据、所述图像数据的第一时间戳和所述位置数据对应的第二时间戳；

根据所述第一时间戳和所述第二时间戳，将所述图像数据的每一帧图像与所述位置数据的每一位置数据相互关联。

6.根据权利要求1-4任一项所述的地图构建方法，所述图像数据包括起点图像数据和终点图像数据，所述起点图像数据的获取位置与所述终点图像数据的获取位置相同；所述位置数据包括起点位置数据和终点位置数据，所述起点位置数据与所述起点图像数据相互关联，所述终点位置数据与所述终点图像数据相互关联。

7.一种地图构建装置，其特征在于，包括：

图像采集模块，用于采集图像数据；

位置采集模块，用于采集位置数据，所述位置数据和所述图像数据相互关联；

同步定位与建图模块，用于根据所述图像数据和所述位置数据获取移动设备的多个姿态点，将每一姿态点连结形成所述移动设备的姿态轨迹；

图像识别模块，用于从所述图像数据中选取与预设姿态点对应的目标图像数据；获取与所述目标图像数据相邻的预设个数的图像数据；从所述目标图像数据和所述目标图像数据相邻的图像数据中获取多个路面数据和多个标志牌数据；从所述多个路面数据和所述标志牌数据提取最大概率的路面数据和最大概率的标志牌数据，以获得路面切片数据和标志牌切片数据，用于形成地图切片数据；

地图建模模块，用于基于所述姿态轨迹，将所述路面切片数据和所述标志牌切片数据进行融合，构建地图。

8.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，实现如权利要求1至6中的任意一项所述的地图构建方法。

9.一种移动设备，其特征在于，包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序实现如权利要求1至6任一项所述的地图构建方法。

10.一种移动设备，其特征在于，包括：

摄像头组件，用于采集图像数据；

传感器组件，用于获取与所述图像数据相关联的位置数据；

存储器，用于存储所述图像数据和所述位置数据；

处理器，所述处理器分别与所述摄像头组件、所述传感器组件和所述存储器电性连接，并对所述图像数据和所述位置数据进行处理，以获得所述移动设备的姿态轨迹；

所述处理器基于所述姿态轨迹，将所述图像数据中的路面切片数据和所述图像数据中的标志牌切片数据进行融合，以构建地图，所述路面切片数据和所述图像数据为从从所述图像数据中选取的与预设姿态点对应的目标图像数据和与所述目标图像数据相邻的预设个数的图像数据中获取的多个路面数据和多个标志牌数据中提取的最大概率的路面数据和最大概率的标志牌数据。

11.根据权利要求10所述的移动设备，所述传感器组件包括：

加速度传感器，用于采集所述移动设备的加速度数据；

陀螺仪，用于采集所述移动设备的角速度数据；

磁场传感器，用于采集轴数据，以识别所述移动设备的方位；

位置传感器，用于采集定位数据，以识别所述移动设备在三维空间的位置。

Images