CN108401461B - 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品 - Google Patents

Abstract

三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品，所述方法包括获取视觉定位装置的位姿信息，并标定视觉定位装置与单线激光雷达之间的位姿关系，根据视觉定位装置的位姿信息和位姿关系，计算出单线激光雷达的位姿信息，根据单线激光雷达的位姿信息，将单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到有序三维点云。方案通过视觉定位方式准确获取位置信息，并结合单线激光雷达获取点云数据的方式，能够获取到准确的三维地图。另外还提供了渲染和网格化处理，得到带有颜色及可平面化的三维地图。

Description

三维建图方法、装置、系统、云端平台、电子设备和计算机程序 产品

技术领域

本申请涉及地图重建技术领域，特别涉及三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品。

背景技术

三维地图重建是将三维场景处理成适于计算机表示和理解的数学模型，它是计算机对三维空间环境进行处理、操作和分析的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。

移动平台首先需要对本身所处的位置进行定位，然后将不同位置处获取的三维地图模型拼接起来，达到实时三维建图的目的。因此，实时定位和三维场景重建是三维建图的两个关键技术。目前，高精度移动定位和三维重构有两种主要方式，基于激光雷达和基于视觉的定位重建。

基于机器视觉的三维重建方法，可用于机器人实时建图、三维地图重建、地形地貌构建等产品中。目前基于视觉的三维重建方法有三种：基于单/双目视觉三维重建，基于深度相机的三维重建，基于激光雷达的三维重建。

基于单/双目视觉三维重建方法，利用视差进行三维重建，单目重建利用单个摄像头运动过程中，不同位置拍摄相同场景产生的视差进行重建，双目视觉重建则是提前标定双目摄像头位置关系，利用双目视差进行重建。单/双目三维重建需要对不同位置的图像进行匹配，该方法计算较为复杂，需要使用GPU等计算设备，在CPU或者移动平台上难以满足实时重建需求。另外，该方法受现实场景现实纹理光亮影响较大，三维重建质量较差。

基于深度相机的三维重建方法，利用结构光编码、TOF(Time of Flight，是深度摄像头的一种)等原理直接获取三维信息，但是该方法适应能力较差，在室外环境下无法达到满意效果，而且基于深度传感器的三维建图大多需要处理大量的点云信息，造成资源的过度利用。

基于激光雷达的三维重建方法，目前大多使用多线三维激光雷达，设备较为昂贵，成本高，而基于单线激光雷达的三维重建，大多使用一个自旋转装置，不停转动单线逐点扫描的激光获取三维空间点云，这种方式对环境适应较差。

发明内容

本实施例提供了一种三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品，将视觉定位方法和单线激光雷达运动重建结合起来，利用视觉定位的灵活性，使用单线激光雷达运动产生稳定三维点云的特性，有效实现室内外场景的在线实时重建。本实施例环境适应性强，且计算复杂度不高，有效提高了三维场景重建的实用性和鲁棒性。

第一方面，本实施例提供了一种三维建图方法，所述方法包括：

利用视觉定位装置进行定位，得到所述视觉定位装置的位姿信息；

标定所述视觉定位装置与单线激光雷达之间的位姿关系，根据所述视觉定位装置的位姿信息和所述位姿关系，计算出所述单线激光雷达的位姿信息；

根据所述单线激光雷达的位姿信息，将所述单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到三维地图。

第二方面，本实施例提供了一种三维建图装置，所述装置包括：定位单元、计算单元和三维重建单元；

所述定位单元，用于利用视觉定位装置进行定位，得到所述视觉定位装置的位姿信息；

所述计算单元，用于标定所述视觉定位装置与单线激光雷达之间的位姿关系，根据所述视觉定位装置的位姿信息和所述位姿关系，计算出所述单线激光雷达的位姿信息；

所述三维重建单元，用于根据所述单线激光雷达的位姿信息，将所述单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到三维地图。

第三方面，本实施例提供了一种三维建图系统，所述系统包括：视觉定位装置和至少两个单线激光雷达；

所述视觉定位装置位于所述系统中心，生成位姿信息；

所述单线激光雷达位于所述视觉定位装置的两侧，处于同一水平面上，通过向四周扫描，在不同位置采集激光三维点云，并根据标定与所述视觉定位装置之间的位姿变化关系，将所述激光三维点云映射到同一基准坐标系下，得到三维地图。

第四方面，本公开文本实施例提供了一种云端平台，所述云端平台包括上述三维建图装置，存储三维建图装置上传的三维地图。

第五方面，本实施例提供了一种电子设备，所述电子设备包括：通信设备，存储器，一个或多个处理器；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行任一上述三维建图方法中各个步骤的指令。

第六方面，本实施例提供了一种与电子设备结合使用的计算机程序产品，所述计算机程序产品包括内嵌于计算机可读的存储介质中的计算机程序，所述计算机程序包括用于使所述电子设备执行任一上述三维建图方法中的各个步骤的指令。

有益效果如下：

本实施例将视觉定位的灵活性，结合单线激光雷达运动产生稳定三维点云的特性，进行三维建图，能够应用在运动环境中，对环境要求不高，该方法可以应用于机器人领域、虚拟现实领域、增强现实领域三维环境地图的构建。

本公开文本利用单线激光雷达运动产生地图三维轮廓，可适用于室内外各种复杂不确定的场景，对光线强度和环境纹理性无关，且单线激光雷达获取三维空间场景的点云的方式成本较低；另外方案可在CPU上实现实时的三维场景重建，计算复杂度低；利用视觉定位原理实时对运动位置进行定位的方式，三维建图系统不止可以安装在运动小车上，也可以安装于背包或使用手持式扫描，操作非常灵活方便。

附图说明

下面将参照附图描述本申请的具体实施例，其中：

图1为本实施例中的三维建图系统结构示意图；

图2为本实施例中的三维建图系统的另一结构示意图；

图3为本实施例中的单线激光雷达扫描示意图；

图4为本实施例中的三维建图方法流程图；

图5为本实施例中的三维建图装置结构示意图；

图6为本实施例中的一种电子设备的结构示意图。

具体实施方式

为了使本公开文本中的技术方案及优点更加清楚明白，以下结合附图对本公开文本的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本公开文本的一部分实施例，而不是所有实施例的穷举。并且，在不冲突的情况下，本公开文本中的实施例及实施例中的特征可以互相结合。

发明人在发明过程中注意到：

基于单线激光雷达的三维重建，使用单线激光雷达进行定位的方式，对环境适应较差，无法应用在凹凸不平的环境中，使用自旋转装置不停转动单线逐点扫描的激光获取三维空间点云的方式，在装置快速运动时造成重建误差。

基于此，本公开文本提供了一种三维建图方法，基于视觉定位装置进行定位，结合单线激光雷达运动产生稳定三维点云的特点，进行三维建图，能够应用在室内外场景中。

本公开文本提供的一种三维建图方法，该方法应用于图1所示的三维建图系统中，该系统包括一个视觉定位装置和至少两个单线激光雷达；

视觉定位装置位于系统中心，生成视觉定位装置的位姿信息；

单线激光雷达位于视觉定位装置的两侧，处于同一水平面上，通过向四周扫描，在不同位置采集激光三维点云，并根据标定与所述视觉定位装置之间的位姿变化关系，将所述多片激光三维点云映射到同一基准坐标系下，得到三维地图。

另外，为了对系统产生的三维地图增加颜色，本系统还包括至少两个全景相机，全景相机位于视觉定位装置的两侧，处于同一水平面上，获取环境图像的颜色信息，根据标定全景相机与单线激光雷达之间的位姿关系，对所述三维地图进行颜色渲染。

本公开文本提供的一种具体实现方式，如图2所示，该单线激光雷达包括第一单线激光雷达102和第二单线激光雷达103，全景相机包括第一全景相机104和第二全景相机105；

第一单线激光雷达102与第一全景相机104位于第一平面，

第二单线激光雷达103与第二全景相机105位于第二平面，

第一平面与第二平面均与视觉定位装置101所在的平面形成夹角。

实际应用中，该夹角在135至165度范围内，分别重建左前方右前方的场景，若超出该范围，会带来重建场景的漏缺或过度重合，造成资源的浪费，影响重建效果。

具体的，第一单线激光雷达102和第一全景相机104为一组，扫描右前方场景，进行三维建图，第一单线激光雷达102向四周扫描，如图3所示的单线激光雷达扫描示意图，第一全景相机104记录激光雷达扫描到的点云的颜色信息，对激光雷达扫描的地图进行颜色渲染，提高建图的逼真度；第一单线激光雷达103和第一全景相机105为一组，扫描左前方场景；视觉定位装置101位于系统中心，根据前方场景信息，进行实时定位。

本公开文本中，三维建图系统是一个整体，可根据不同的场景该系统安装到相应的运动小车或者人体背包上，使用较为灵活。

对于单线激光雷达，本公开文本根据飞行时间，获取一个扫描平面上阻挡物的距离信息。根据这一属性，将激光雷达扫描平面垂直地平面放置，以此获得扫描平面上四周物体的位置，然后通过激光雷达的运动恢复激光雷达通过的三维空间模型。

其中，视觉定位装置可以为单目摄像机或双目摄像机，也可以为惯性导航单元与单目摄像机或双目摄像机的结合。

下面结合图4，具体说明本公开文本的三维建图方法，具体包括：

步骤201：利用视觉定位装置进行定位，得到视觉定位装置的位姿信息；

该步骤中，利用视觉定位装置获取环境图像，利用视觉里程计的方法得到所述视觉定位装置的位姿信息，或将视觉定位单元与惯性导航单元相结合，得到视觉定位装置的位姿信息。

具体的，本公开文本中可以基于现实场景中的局部特征点进行图像匹配定位，或者使用直接匹配法得到视觉定位装置的位姿信息，也可以将惯性导航单元与视觉定位单元进行融合，得到视觉定位装置的位姿信息，其中，对于将惯性导航单元与视觉定位单元进行融合的方式分为两种：紧耦合和松耦合。

其中，基于局部特征点得到所述视觉定位装置的位姿信息的方式，包括：

根据环境图像某帧确定当前帧中目标的搜索区域，提取出搜索区域的局部特征点；将搜索区域的局部特征点与上一帧中目标的局部特征点进行匹配，得到匹配成功的特征点；对匹配成功的特征点进行自适应跟踪，得到所述视觉定位装置的位姿信息；另外通过图像的相似性，实现移动定位的重定位和回环检测功能，增强位置跟踪的稳定性和定位精度。

对于局部特征，一般使用ORB(Oriented fast and rotated brief)特征点提取和描述。ORB特征是一种快速特征点提取和描述的方法，该方法是在FAST(Feature fromaccelerated segment test)特征点提取和BRIEF(Binary robust independentelementary features)特征点描述的基础上改进优化而来。

其中，使用直接匹配法得到视觉定位装置的位姿信息的方式包括：

获取视觉定位装置当前帧图像及初始位姿信息，将当前帧图像与上一帧图像建立光度误差函数，对光度误差函数进行非线性优化求解，得到优化后的位姿信息，该优化后的位姿信息即为视觉定位装置的位姿信息。

基于直接法的视觉定位方法是利用图像像素的亮度信息，来估计相机运动，实际应用中，直接法可以采用稀疏直接法，半稠密直接法或稠密直接法，本申请具体采用哪种直接法不做限定。

其中，利用惯性导航单元与视觉定位单元进行融合，得到视觉定位装置的位姿信息的方法，分为紧耦合方式和松耦合方式。

紧耦合：获取视觉定位单元采集的环境图像中的图像特征，及惯性导航单元得到的视觉定位单元的位姿信息和速度信息，将图像特征与位姿信息和速度信息进行非线性优化，得到优化后的位姿信息，为视觉定位装置的位姿信息，紧耦合方式能够实现较高精度和鲁棒性的位姿估计。

松耦合：惯性导航单元动态计算视觉定位装置的运动增量，利用视觉定位单元定位得到视觉定位装置的第一位姿信息；计算第一位姿信息的多信息融合滤波的第一增益矩阵，及运动增量的多信息融合滤波的第二增益矩阵，利用多信息融合滤波对第一增益矩阵和第二增益矩阵进行融合，得到视觉定位装置的位姿信息。其中，该多信息融合滤波可以为卡尔曼滤波，可以是粒子滤波等。

步骤202：标定视觉定位装置与单线激光雷达之间的位姿关系，计算得到单线激光雷达的位姿信息；

该步骤中，标定视觉定位装置与单线激光雷达之间的位姿关系，根据视觉定位装置的位姿信息和位姿关系，计算出单线激光雷达的位姿信息。

具体的，将视觉定位装置与单线激光雷达所在的三维坐标系之间的位姿进行标定，可以在单线激光雷达扫描平面定义x，y轴，并且遵循右手坐标系规则，建立z轴，在步骤201进行视觉定位得到视觉定位装置的运动变化位置后，可以根据标定结果，得到单线激光雷达的位姿信息。

该步骤中，标定了视觉定位装置与单线激光雷达之间的位姿关系，因步骤201已经得到视觉定位装置的位姿信息，那么可以根据标定关系计算得到单线激光雷达的位姿信息。

步骤203：利用单线激光雷达获取激光点云数据；

三维建图中，需要处理大量的点云信息，本方案利用单线激光雷达获取不同位置处的点云数据，并结合单线激光雷达的位姿信息，构建三维场景下的三维点云。

步骤204：将不同位置采集的激光三维点云进行处理，得到三维地图；

该步骤中，具体根据单线激光雷达的位姿信息和每个位姿下获取的点云数据，将单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到有序三维点云。

其中，步骤201中视觉定位方式得到三维建图系统的运动参数，根据步骤202的标定关系，计算出单线激光雷达的位置变换参数，从而能够结合视觉定位的精确运动参数，将不同位置得到的激光三维点云，映射到同一基准坐标系下，形成有序三维点云。

至此，本公开文本能够构建出三维建图，而该三维图中没有颜色，为了增加颜色，及减少三维点云的冗余性，下面对三维点云进行渲染，并进行网格化处理。

步骤205：对三维点云地图进行渲染处理得到真彩三维地图；

获取到三维点云，构建出三维图形后，因激光雷达获取的点云是没有真实颜色信息的，因此该步骤使用全景相机获取外部场景的颜色信息，为构建的三维图形增加颜色信息。

该步骤具体包括：利用全景相机采集环境图像的颜色信息，标定全景相机与单线激光雷达之间的位姿关系，将全景相机的颜色信息映射到三维地图，对三维地图的颜色进行渲染，得到真彩三维地图。

步骤206：对渲染后的真彩三维地图或三维地图进行网格化处理，得到网格化的三维地图。

其中，该步骤206与步骤205没有先后顺序，可以先进行网格化处理，再对三维点云地图增加颜色，也可以先对三维点云进行颜色渲染再进行网格化处理，颜色渲染与网格化处理操作，均是为三维图像的优化处理措施。

因三维点云的信息量比较冗余，本步骤将点云进行网格化，得到网格化的三维地图。将点云视为一个巨大的网格，找出其在三维物空间中各坐标轴的极值，根据分割次数a，将X、Y、Z轴切分成3a个区间，整个巨大网格会被分为2的2a次方格子网格，每一个子网格皆有编号。

本公开文本利用视觉定位装置先进行定位，通过标定视觉定位装置与单线激光雷达的位姿关系，得到单线激光雷达的位姿信息，结合单线激光雷达采集的点云数据，拼接点云得到三维地图，在此基础上，还对三维地图进行渲染和网格化处理，使得构建的三维地图具有颜色属性，而网格化操作更利于推出目标点的坐标。

基于同一发明构思，本实施例提供了一种三维建图装置，该三维建图装置解决问题的原理与三维建图方法相似，因此该三维建图装置的实现装置实施可以参见三维建图方法的实施，重复之处不再赘述。

参见图5，三维建图装置，包括定位单元301、计算单元302和三维重建单元303：

定位单元301，用于利用视觉定位装置进行定位，得到视觉定位装置的位姿信息；

计算单元302，用于标定视觉定位装置与单线激光雷达之间的位姿关系，根据视觉定位装置的位姿信息和位姿关系，计算出单线激光雷达的位姿信息；

三维重建单元303，用于根据单线激光雷达的位姿信息，将单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到三维地图。

其中，对于定位单元可以采用四种定位实现方式，定位单元包括第一定位单元、第二定位单元、第三定位单元或第四定位单元：

第一定位单元，根据图像灰度信息，利用特征点匹配或直接法匹配得到视觉定位装置的位姿信息；

第二定位单元，获取视觉定位装置当前帧图像及初始位姿信息，将当前帧图像与上一帧图像建立光度误差函数，对光度误差函数进行非线性优化求解，得到优化后的位姿信息，该优化后的位姿信息即为视觉定位装置的位姿信息；

第三定位单元，获取视觉定位单元采集的环境图像中的图像特征，及惯性导航单元得到的视觉定位单元的位姿信息和速度信息，将图像特征与位姿信息和速度信息进行非线性优化，得到优化后的位姿信息，该优化后的位姿信息即为视觉定位装置的位姿信息；

第四定位单元，利用惯性导航单元动态计算视觉定位装置的运动增量，利用视觉定位单元定位得到视觉定位装置的第一位姿信息，将第一位姿信息和运动增量进行融合，得到视觉定位装置的位姿信息。

具体的，对于第一定位单元，包括提取子单元和定位子单元，具体包括：

提取子单元，提取采集的环境图像中的局部特征点；

定位子单元，确实该环境图像的当前帧中目标的搜索区域，提取搜索区域的局部特征点，将搜索区域的局部特征点与上一帧中目标的局部特征点进行匹配，得到匹配成功的特征点，对匹配成功的特征点进行自适应跟踪，得到视觉定位装置的位姿信息。

具体的，对于第二定位单元包括第一计算子单元、第二计算子单元和融合子单元；

第一计算子单元，利用惯性导航单元动态计算视觉定位装置的运动增量，利用视觉定位单元定位得到视觉定位装置的第一位姿信息；

第二计算子单元，计算第一位姿信息的多信息融合滤波的第一增益矩阵，及计算运动增量的多信息融合滤波的第二增益矩阵；

融合子单元，利用多信息融合滤波对第一增益矩阵和第二增益矩阵进行融合，得到视觉定位装置的位姿信息。

优选的，该装置还包括渲染单元，使用全景相机获取环境图像的颜色信息，标定所述全景相机与单线激光雷达之间的位姿关系，将所述全景相机的颜色信息映射到所述三维地图，所述三维地图的颜色进行渲染，得到真彩三维地图。

优选的，装置还包括网格化单元，用于对所述渲染单元得到的真彩三维地图中的点云进行网格化处理，得到网格化的三维地图，或对三维重建单元得到的有序三维点云进行网格化处理，得到网格化的三维地图。

本公开文本利用定位单元先进行定位处理，通过标定视觉定位装置与单线激光雷达的位姿关系，得到单线激光雷达的位姿信息，结合单线激光雷达采集的点云数据，拼接点云得到三维地图。在此基础上，还对三维地图进行渲染和网格化处理，使得构建的三维地图具有颜色属性，及网格化操作利于推出目标点的坐标。

再一方面，基于同一发明构思，本公开文本实施例提供了一种云端平台，该云端平台包括上述实施例中任意一种三维建图装置，存储该三维建图装置上传的三维地图。

该云端平台还包括处理装置，对三维建图装置上传的三维地图进行处理。

其中，该处理操作包括存储该三维地图，可以将不同三维建图装置上报的三维地图存储到不同云存储空间，或将不同三维建图装置上报的三维地图存储到一个云存储空间，而根据不同区域的三维建图装置上报的三维地图存储到不同的云存储空间。

另外，该处理操作还包括对多个该三维地图进行拼接，得到较大的三维地图，如，可以结合同一区域内不同三维建图装置上报的多个三维地图，对多个三维地图进行拼接，形成较大区域内的三维建图。

再一方面，本实施例还提供了一种电子设备，由于其原理与提示信息确定方法相似，因此其实施可以参见方法的实施，重复之处不再赘述。如图6所示，电子设备600包括：通信设备601，存储器602，一个或多个处理器603；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行任一上述三维建图方法中各个步骤的指令。

其中，该电子设备为机器人。

再一方面，本实施例还提供了一种与电子设备结合使用的计算机程序产品，所述计算机程序产品包括内嵌于计算机可读的存储介质中的计算机程序，所述计算机程序包括用于使所述电子设备执行任一上述三维建图方法中的各个步骤的指令。

为了描述的方便，以上所述装置的各部分以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

Claims (17)

1.一种三维建图方法，其特征在于，所述方法包括：

利用视觉定位装置进行定位，得到所述视觉定位装置的位姿信息；

标定所述视觉定位装置与至少两个单线激光雷达之间的位姿关系，根据所述视觉定位装置的位姿信息和所述位姿关系，计算出每个单线激光雷达的位姿信息，所述单线激光雷达位于视觉定位装置的两侧，处于同一水平面上；

根据所述每个单线激光雷达的位姿信息，将所述每个单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到三维地图；

对所述三维地图进行网格化处理，得到网格化的三维地图。

2.根据权利要求1所述的方法，其特征在于，所述得到三维地图之后，所述方法还包括：

使用全景相机获取环境图像的颜色信息；

标定所述全景相机与所述单线激光雷达之间的位姿关系，将所述全景相机的颜色信息映射到所述三维地图，对所述三维地图的颜色进行渲染，得到真彩三维地图。

3.根据权利要求1-2任一所述的方法，其特征在于，所述得到视觉定位装置的位姿信息，具体包括：

提取采集的环境图像中的局部特征点，基于所述局部特征点得到所述视觉定位装置的位姿信息，或，

获取所述视觉定位装置当前帧图像及初始位姿信息，将所述当前帧图像与上一帧图像建立光度误差函数，对所述光度误差函数进行非线性优化求解，得到优化后的位姿信息，为所述视觉定位装置的位姿信息，或，

获取视觉定位单元采集的环境图像中的图像特征，及惯性导航单元得到的所述视觉定位单元的位姿信息和速度信息，将所述图像特征与所述位姿信息和速度信息进行非线性优化，得到优化后的位姿信息，为所述视觉定位装置的位姿信息，或，

利用惯性导航单元动态计算所述视觉定位装置的运动增量，利用视觉定位单元定位得到所述视觉定位装置的第一位姿信息，将所述第一位姿信息和所述运动增量进行融合，得到所述视觉定位装置的位姿信息。

4.根据权利要求3所述的方法，其特征在于，所述基于所述局部特征点得到所述视觉定位装置的位姿信息，具体包括：

确定环境图像的当前帧中目标的搜索区域，提取所述搜索区域的局部特征点；

将所述搜索区域的局部特征点与上一帧中目标的局部特征点进行匹配，得到匹配成功的特征点；

对所述匹配成功的特征点进行自适应跟踪，得到所述视觉定位装置的位姿信息。

5.根据权利要求3所述的方法，其特征在于，所述将所述第一位姿信息和所述运动增量进行融合，得到所述视觉定位装置的位姿信息，具体包括：

计算所述第一位姿信息的多信息融合滤波的第一增益矩阵，及所述运动增量的多信息融合滤波的第二增益矩阵，利用多信息融合滤波对所述第一增益矩阵和所述第二增益矩阵进行融合，得到所述视觉定位装置的位姿信息。

6.一种三维建图装置，其特征在于，所述装置包括：定位单元、计算单元、三维重建单元和网格化单元；

所述定位单元，用于利用视觉定位装置进行定位，得到所述视觉定位装置的位姿信息；

所述计算单元，用于标定所述视觉定位装置与至少两个单线激光雷达之间的位姿关系，根据所述视觉定位装置的位姿信息和所述位姿关系，计算出每个单线激光雷达的位姿信息，所述单线激光雷达位于视觉定位装置的两侧，处于同一水平面上；

所述三维重建单元，用于根据所述每个单线激光雷达的位姿信息，将所述每个单线激光雷达在不同位置采集的激光三维点云，映射到同一基准坐标系下，得到三维地图；

所述网格化单元，用于对所述三维地图进行网格化处理，得到网格化的三维地图。

7.根据权利要求6所述的装置，其特征在于，所述装置包括渲染单元，使用全景相机获取环境图像的颜色信息，标定所述全景相机与所述单线激光雷达之间的位姿关系，将所述全景相机的颜色信息映射到所述三维地图，渲染所述三维地图的颜色，得到真彩三维地图。

8.根据权利要求6-7任一权利要求所述的装置，其特征在于，所述定位单元包括第一定位单元、第二定位单元、第三定位单元或第四定位单元：

所述第一定位单元，提取采集的环境图像中的局部特征点，基于所述局部特征点得到所述视觉定位装置的位姿信息；

所述第二定位单元，获取所述视觉定位装置当前帧图像及初始位姿信息，将所述当前帧图像与上一帧图像建立光度误差函数，对所述光度误差函数进行非线性优化求解，得到优化后的位姿信息，为所述视觉定位装置的位姿信息；

所述第三定位单元，获取视觉定位单元采集的环境图像中的图像特征，及惯性导航单元得到的所述视觉定位单元的位姿信息和速度信息，将所述图像特征与所述位姿信息和速度信息进行非线性优化，得到优化后的位姿信息，为所述视觉定位装置的位姿信息；

所述第四定位单元，利用惯性导航单元动态计算所述视觉定位装置的运动增量，利用视觉定位单元定位得到所述视觉定位装置的第一位姿信息，将所述第一位姿信息和所述运动增量进行融合，得到所述视觉定位装置的位姿信息。

9.根据权利要求8所述的装置，其特征在于，所述第一定位单元包括提取子单元和定位子单元，具体包括：

所述提取子单元，提取采集的环境图像中的局部特征点；

所述定位子单元，确定所述环境图像的当前帧中目标的搜索区域，提取所述搜索区域的局部特征点，将所述搜索区域的局部特征点与上一帧中目标的局部特征点进行匹配，得到匹配成功的特征点，对所述匹配成功的特征点进行自适应跟踪，得到所述视觉定位装置的位姿信息。

10.根据权利要求8所述的装置，其特征在于，所述第四定位单元包括第一计算子单元、第二计算子单元和融合子单元；

所述第一计算子单元，利用惯性导航单元动态计算所述视觉定位装置的运动增量，利用视觉定位单元定位得到所述视觉定位装置的第一位姿信息；

所述第二计算子单元，计算所述第一位姿信息的多信息融合滤波的第一增益矩阵，及计算所述运动增量的多信息融合滤波的第二增益矩阵；

所述融合子单元，利用多信息融合滤波对所述第一增益矩阵和所述第二增益矩阵进行融合，得到所述视觉定位装置的位姿信息。

11.一种三维建图系统，其特征在于，所述系统包括：视觉定位装置和至少两个单线激光雷达；

所述视觉定位装置位于所述系统中心，生成位姿信息；

所述单线激光雷达位于所述视觉定位装置的两侧，处于同一水平面上，通过向四周扫描，在不同位置采集激光三维点云，并根据标定与所述视觉定位装置之间的位姿变化关系，将所述激光三维点云映射到同一基准坐标系下，得到三维地图。

12.根据权利要求11所述的系统，其特征在于，所述系统还包括至少两个全景相机，位于所述视觉定位装置的两侧，处于同一水平面上，获取环境图像的颜色信息，根据标定与所述单线激光雷达之间的位姿关系，对所述三维地图进行颜色渲染。

13.根据权利要求12所述的系统，其特征在于，所述单线激光雷达包括第一单线激光雷达和第二单线激光雷达，所述全景相机包括第一全景相机和第二全景相机；

所述第一单线激光雷达与所述第一全景相机位于第一平面，

所述第二单线激光雷达与所述第二全景相机位于第二平面，

所述第一平面与所述第二平面均与所述视觉定位装置所在的平面形成夹角。

14.根据权利要求11-12任一所述的系统，其特征在于，所述系统置于运动小车或者人体背包中。

15.一种云端平台，其特征在于，所述云端平台包括如权利要求6-10任一所述的三维建图装置，存储所述三维建图装置上传的三维地图。

16.一种电子设备，其特征在于，所述电子设备包括：

通信设备，存储器，一个或多个处理器；以及一个或多个模块，所述一个或多个模块被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述一个或多个模块包括用于执行权利要求1-5任一项所述三维建图方法中各个步骤的指令。

17.根据权利要求16所述的电子设备，其特征在于，所述电子设备为机器人。

Images