CN112461210A - 一种空地协同建筑测绘机器人系统及其测绘方法 - Google Patents

Abstract

本发明公开了一种空地协同建筑测绘机器人系统及其测绘方法，包括空中无人机、地面移动机器人和服务器终端，空中无人机携带有第一激光雷达、第一IMU、双目鱼眼相机、第一彩色相机、第一处理器，通过空中无人机建立建筑物基于其顶面及高处立面的第一局部点云模型；地面移动机器人携带有第二激光雷达、第二IMU、第二彩色相机、第二处理器，通过地面移动机器人建立建筑物基于其底部的第二局部点云模型；服务器终端通过无线通讯模块分别与空中无人机和地面移动机器人连接，在服务器终端完成第一局部点云模型和第二局部点云模型的融合，生成完整的建筑物点云模型。本发明在提高建模完整性的同时，还具有精度准、效率高的优点。

Description

一种空地协同建筑测绘机器人系统及其测绘方法

技术领域

本发明属于机器人感知技术领域，具体涉及一种空地协同建筑测绘机器人系统及其测绘方法。

背景技术

近年来，随着数字城市、古建筑数字化保护、建筑施工数字化管理、建筑虚拟漫游等新需求的出现，传统二维平面图纸已经没有办法满足这些需求，三维模型具有直观性与完整性，能够反映出复杂的建筑结构与建筑空间、位置、纹理信息。如何能够高效自动化地建立建筑物真实的三维模型成为亟待解决的科学与工程问题。

目前，建筑测绘主流的方案可以分为激光扫描方案与倾斜摄影方案。其中激光扫描多采用地面式激光扫描仪完成，操作人员需要事先确定好不同站点位置用以架设激光扫描仪，在数据采集完成后使用相关设备厂商提供的专业软件进行点云配准生成完整的建筑模型。这种方法建模精度较高，误差主要来源于后期的配准误差，但是整个流程需要大量人工操作，建模周期较长，且整套软硬件设备十分昂贵(以法如Focus3D 120为例，高达上百万人民币)，大大限制了其应用场景。同时，由于传感器本身比较笨重，只适用于建筑物内部与底部的测绘建模，无法得到建筑物顶面信息和高处立面信息，因此建筑模型的完整性较差。

倾斜摄影方法通过空中无人机搭载相机拍摄多角度建筑影像，采用运动恢复结构与立体匹配技术生成建筑物稠密点云模型，最后经过网格化和纹理映射得到较为逼真的建筑三维模型。这是一种直接从二维图像恢复出三维模型的方法，操作简单，设备成本低，适用于大规模的城市建模，但是，受视角以及立体匹配算法精度的影响，整体重建精度较差，建筑细节信息几乎无法恢复，并且数据处理包括上千张高清图像，耗时较长，对于稍大规模的建筑物，一次建模过程仅是数据处理就需要数十小时完成。

综上，如何提供一种建模完整性好、精度准、效率高的空地协同建筑测绘机器人系统及其测绘方法，成了本领域技术人员亟需解决的技术问题。

发明内容

针对现有建筑三维重建方法自动化程度低、场景不完整的问题，本发明提出一种空地协同建筑测绘机器人系统及其测绘方法，结合了多传感器融合技术与双机协作定位建图技术，利用地面移动机器人和空中无人机的运动特点，解决了目前主流方案在建筑测绘中存在的建模完整性差、精度差、效率低等问题。

本发明的目的之一通过以下技术方案实现：提供一种空地协同建筑测绘机器人系统，包括空中无人机、地面移动机器人和服务器终端，其中：

所述空中无人机用于建筑物空中测绘，携带有第一激光雷达、第一IMU、双目鱼眼相机、第一彩色相机、第一处理器，所述空中无人机通过双目鱼眼相机、第一彩色相机与第一激光雷达获取建筑物顶面及高处立面的空间信息与纹理信息；

所述地面移动机器人用于建筑物地面测绘，携带有第二激光雷达、第二IMU、第二彩色相机、第二处理器，所述地面移动机器人通过第二彩色相机与第二激光雷达获取建筑物底部的空间信息与纹理信息；

所述服务器终端通过无线通讯模块分别与空中无人机和地面移动机器人连接，用于接收空中无人机以及地面移动机器人建模的空间信息与纹理信息，在服务器终端构建完整的建筑物点云模型。

本发明的目的之二通过以下技术方案实现：提供一种应用其上所述的空地协同建筑测绘机器人系统的测绘方法，包括以下步骤：

S1、通过空中无人机建立建筑物基于其顶面及高处立面的第一局部点云模型，完成建筑物空中测绘；

S2、通过地面移动机器人建立建筑物基于其底部的第二局部点云模型，完成建筑物地面测绘；

S3、在服务器终端接收来自空中无人机与地面移动机器人的信息，对第一局部点云模型和第二局部点云模型进行融合，生成完整的建筑物点云模型。

作为进一步的改进，所述步骤S1具体表现为：空中无人机通过融合图像数据与第一IMU数据构成前端视觉惯性里程计，输出高频低精度的空中无人机位姿估计，且该输出的空中无人机位姿估计作为初值用于后续对第一激光数据姿态的初始估计，再通过点云配准生成较高精度的第一局部点云地图，最终使用空中无人机携带的第一彩色相机对生成的第一局部点云地图进行色彩映射生成第一局部彩色点云地图，作为第一局部点云模型，其中，图像数据、第一IMU数据和激第一激光数据分别通过双目鱼眼相机、第一IMU和第一激光雷达获取。

作为进一步的改进，所述空中无人机完成建筑物空中测绘的具体步骤包括：

S11、第一处理器读取双目鱼眼相机采集的左目鱼眼图像和右目鱼眼图像，在左目鱼眼图像中提取FAST角点，通过基于图像金字塔的LK光流算法在右目鱼眼图像中对左目中提取到的FAST角点进行跟踪，对于成功跟踪的FAST角点进行三角化求取该FAST角点的深度信息，同时使用EPnP算法对后续输入的左目鱼眼图像进行跟踪，求取相机姿态；

S12、建立一个滑动窗口，当跟踪到的FAST角点数量低于一定阈值时，即重新进行三角化，并判断为关键帧，将其插入到滑动窗口中；

S13、对输入的第一IMU数据使用中值积分进行积分，在相邻关键帧之间得到IMU预积分值，并对滑动窗口内的关键帧，通过关键帧位姿变换与IMU预积分值构成的残差以及光束平差，构建代价函数，使用LM算法进行非线性优化，到优化后的相机姿态；

S14、双目鱼眼相机以20HZ输出空中无人机的姿态信息，对读取到的第一激光数据，通过线性插值得到激光点采集时刻空中无人机姿态，对获取的激光点进行畸变校正；

S15、通过前端视觉惯性里程计输出的姿态将新进的激光数据加入到已有第一局部点云地图中，并提取6个线特征与4个面特征，与第一局部点云地图中的线、面特征进行匹配，使用点到线、点到面构成残差对点云姿态进行优化，通过将点云投影至第一彩色相机采集的图像进行色彩映射，生成第一局部彩色点云地图。

作为进一步的改进，所述步骤S2具体表现为：地面移动机器人通过第二激光雷达和第二IMU分别获取第二激光数据与第二IMU数据，并根据第二激光数据与第二IMU数据对自身进行定位，同时建立第二局部点云地图，通过将第二局部点云地图投影至第二彩色相机采集的图像进行色彩映射，生成第二局部彩色点云地图，作为第二局部点云模型。

作为进一步的改进，所述地面移动机器人完成建筑物地面测绘的具体步骤包括：

S21、第二处理器读取第二激光数据与第二IMU数据，通过对输入的第二IMU数据使用中值积分进行积分，获取帧间的速度与角速度信息，通过线性插值对第二激光数据进行畸变校正，同时估计第二激光数据的初始姿态；

S22、将一帧的第二激光数据均匀划分为6个区域，在每个区域内提取20个线特征点与8个面特征点；

S23、将该帧第二激光数据与第二局部点云地图中的线、面特征进行匹配，使用点到线、点到面构成残差对点云姿态进行优化，通过将点云投影至第二彩色相机采集的图像进行色彩映射，生成第二局部彩色点云地图。

作为进一步的改进，所述步骤S3具体表现为：服务器终端接收来自空中无人机与地面移动机器人的图像数据、轨迹数据、局部点云地图数据，通过回环检测计算空中无人机与地面移动机器人的相对位姿，作为局部模型配准的初值，再通过精配准方法生成最终融合的完整的建筑物点云模型。

作为进一步的改进，服务器终端生成完整的建筑物点云模型的具体步骤包括：

S31、接收空中无人机与地面移动机器人发送回来的彩色图像信息以及对应时刻的姿态信息，在彩色图像上提取ORB特征；

S32、将地面移动机器人发送的彩色图像对应的ORB特征存入词袋模型中，作为词袋数据集以供查找；对空中无人机发送的彩色图像使用大小为6的滑动窗口进行保存，其中新加入的彩色图像相距窗口中上一帧彩色图像对应姿态距离应大于0.1m，窗口装满后，最旧时刻的帧从窗口中剔除；

S33、对窗口内的最新帧特征，在词袋数据集中进行查找，一旦有相似帧，在一定处理后，即可认为发生回环，并计算此时空中无人机与地面移动机器人之间的位姿变换，即可得到，第一局部点云地图与第二局部点云地图之间的相对变换；

S34、通过步骤S33产生的初始位姿估计，对第一局部点云地图与第二局部点云地图之间的局部点云进行姿态变换，然后进一步使用trimmed-ICP算法对点云进行精配准，得到完整的建筑物点云模型。

作为进一步的改进，所述步骤S33的具体步骤为：

步骤a：当词袋相似度大于一定阈值时，初步认为产生回环，通过对滑动窗口内最新帧图像与匹配的地面移动机器人端图像，进行特征匹配，基于RANSAC算法使用基础矩阵进行外点剔除，当内点数小于一定阈值时，认为回环失败，跳出本步骤；否则，生成一系列匹配点。

步骤b：基于已生成的匹配点，在滑动窗口内的其他图像中寻找对应的匹配点，并使用滑动窗口内的彩色图像对特征进行三角化，当三角化成功的点数小于一定阈值时，认为回环失败，跳出本步骤；否则，进入步骤c；

步骤c：基于成功三角化的空间点，对地面移动机器人端彩色图像使用EPNP算法进行匹配，得到机器人端彩色图像相对于空中无人机图像的姿态，进而求得第一局部点云地图与第二局部点云地图之间的变换矩阵；

步骤d：将步骤c得到变换矩阵存入一个缓存中，基于回环的一致性，对缓存中所有的结果使用RANSAC算法进行估计，剔除错误回环；

步骤e：对于步骤d得到的一致的回环，通过SVD算法对多次回环结果进行加权平均，最终输出第一局部点云地图与第二局部点云地图之间的变换矩阵。

本发明提供的一种空地协同建筑测绘机器人系统及其测绘方法，包括空中无人机、地面移动机器人和服务器终端，空中无人机携带有第一激光雷达、第一IMU、双目鱼眼相机、第一彩色相机、第一处理器，通过空中无人机建立建筑物基于其顶面及高处立面的第一局部点云模型，完成建筑物空中测绘；地面移动机器人携带有第二激光雷达、第二IMU、第二彩色相机、第二处理器，通过地面移动机器人建立建筑物基于其底部的第二局部点云模型，完成建筑物地面测绘；服务器终端通过无线通讯模块分别与空中无人机和地面移动机器人连接，在服务器终端接收来自空中无人机与地面移动机器人的信息，对第一局部点云模型和第二局部点云模型进行融合，生成完整的建筑物点云模型。相比现有技术，本发明结合了多传感器融合技术与地面移动机器人和空中无人机双机协作定位建图技术，在提高建模完整性的同时、还具有精度准、效率高的优点。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明一种空地协同建筑测绘机器人系统的结构示意图。

图2是本发明一种空地协同建筑测绘机器人系统的测绘方法一实施例的流程图。

图3是本发明一种空地协同建筑测绘机器人系统的测绘方法另一实施例的流程图。

图4是本发明空中无人机建图的算法框架图。

图5是本发明空中无人机建图的流程图。

图6是本发明地面移动机器人建图的流程图。

图7是本发明服务器终端融合算法的流程图。

具体实施方式

为了使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施例对本发明作进一步详细的描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

如图1所示，本发明提供了一种空地协同建筑测绘机器人系统，包括空中无人机1、地面移动机器人2和服务器终端3，其中：空中无人机1用于建筑物空中测绘，携带有第一激光雷达、第一IMU(Inertial Measurement Unit，惯性测量单元)、双目鱼眼相机、第一彩色相机、第一处理器；地面移动机器人2用于建筑物地面测绘，携带有第二激光雷达、第二IMU、第二彩色相机、第二处理器；服务器终端3通过无线通讯模块分别与空中无人机1和地面移动机器人2连接。优选地，第一激光雷达为固态激光雷达，第二激光雷达为16线激光雷达，第一处理器和第二处理器均为高性能嵌入式处理器。本发明中空中无人机1通过双目鱼眼相机、第一彩色相机与第一激光雷达获取建筑物顶面及高处立面的空间信息与纹理信息，地面移动机器人2通过第二彩色相机与第二激光雷达获取建筑物底部的空间信息与纹理信息，服务器终端3接收空中无人机1以及地面移动机器人2建模的空间信息与纹理信息，在服务器终端3构建完整的建筑物点云模。需要说明的是，空间信息与纹理信息为图像数据、轨迹数据和局部点云地图数据。

如图2所示，本发明提供了一种空地协同建筑测绘机器人系统的测绘方法，包括以下步骤：S1、通过空中无人机1建立建筑物基于其顶面及高处立面的第一局部点云模型，完成建筑物空中测绘；S2、通过地面移动机器人2建立建筑物基于其底部的第二局部点云模型，完成建筑物地面测绘；S3、在服务器终端3接收来自空中无人机1与地面移动机器人2的信息，对第一局部点云模型和第二局部点云模型进行融合，生成完整的建筑物点云模型。

在进一步的技术方案中，结合图3、图4所示，上述空地协同建筑测绘机器人系统的测绘方法具体表现为：空中无人机1端通过融合图像数据与第一IMU数据构成前端视觉惯性里程计，输出高频低精度的空中无人机1位姿估计，且该输出的空中无人机1位姿作为初值用于后续对第一激光数据姿态的初始估计，再通过点云配准生成较高精度的第一局部点云地图，最终使用空中无人机1携带的第一彩色相机对生成的第一局部点云地图进行色彩映射生成第一局部彩色点云地图，作为第一局部点云模型，其中，图像数据、第一IMU数据和第一激光数据分别通过双目鱼眼相机、第一IMU和第一激光雷达获取。地面机器人端通过多线激光数据与IMU数据对自身进行定位，同时建立局部地图模型，最终使用携带的第二彩色相机对生成的点云地图进行色彩映射生成第二局部彩色点云地图，作为第二局部点云模型。服务器端分别接收来自空中无人机1与地面移动机器人2的图像数据、轨迹数据、局部点云地图数据，通过回环检测计算空中无人机1与地面移动机器人2的相对位姿，作为局部模型配准的初值，再通过精配准方法生成最终融合的完整的建筑物点云模型。需要说明的是，第二激光数据为16线激光雷达发射的多线激光数据。

如图5所示，空中无人机1完成建筑物空中测绘的具体步骤包括：

S11、第一处理器读取双目鱼眼相机采集的左目鱼眼图像和右目鱼眼图像，在左目鱼眼图像中提取FAST角点，通过基于图像金字塔的LK光流算法(Lucas–Kanade光流算法)在右目鱼眼图像中对左目中提取到的FAST角点进行跟踪，对于成功跟踪的FAST角点进行三角化求取该FAST角点的深度信息，同时使用EPnP(efficientperspective-n-point)算法对后续输入的左目鱼眼图像进行跟踪，求取相机姿态；

S12、建立一个滑动窗口，当跟踪到的FAST角点数量低于一定阈值时，即重新进行三角化，并判断为关键帧，将其插入到滑动窗口中；

S13、对输入的第一IMU数据使用中值积分进行积分，在相邻关键帧之间得到IMU的预积分值，并对滑动窗口内的关键帧，通过关键帧位姿变换与IMU预积分值构成的残差以及光束平差，构建代价函数，使用LM算法(Levenberg-Marquarelt算法，列文伯格-马夸尔特算法)进行非线性优化，到优化后的相机姿态；

S14、双目鱼眼相机以20HZ输出空中无人机1的姿态信息，对读取到的第一激光数据，通过线性插值得到激光点采集时刻空中无人机1姿态，对获取的激光点进行畸变校正。

S15、通过前端视觉惯性里程计输出的姿态将新进的激光数据加入到已有第一局部点云地图中，并提取6个线特征与4个面特征，与第一局部点云地图中的线、面特征进行匹配，使用点到线、点到面构成残差对点云姿态进行优化，通过将点云投影至第一彩色相机采集的图像进行色彩映射，生成第一局部彩色点云地图。

如图6所示，地面移动机器人2完成建筑物地面测绘的具体步骤包括：

S21、第二处理器读取第二激光数据与第二IMU数据，通过对输入的第二IMU数据使用中值积分进行积分，获取帧间的速度与角速度信息，通过线性插值对第二激光数据进行畸变校正，同时估计第二激光数据的初始姿态；

S22、将一帧的第二激光数据均匀划分为6个区域，在每个区域内提取20个线特征点与8个面特征点；

S23、将该帧第二激光数据与第二局部点云地图中的线、面特征进行匹配，使用点到线、点到面构成残差对点云姿态进行优化，通过将点云投影至第二彩色相机采集的图像进行色彩映射，生成第二局部彩色点云地图。

作本发明的优选实施例，如图7所示，服务器终端3生成完整的建筑物点云模型的具体步骤包括：

S31、接收空中无人机1与地面移动机器人2发送回来的彩色图像信息以及对应时刻的姿态信息，在彩色图像上提取ORB(Oriented Fast and Rotated Brief)特征；

S32、将地面移动机器人2发送的彩色图像对应的ORB特征存入词袋模型中，作为词袋数据集以供查找；对空中无人机1发送的彩色图像使用大小为6的滑动窗口进行保存，其中新加入的彩色图像相距窗口中上一帧彩色图像对应姿态距离应大于0.1m，窗口装满后，最旧时刻的帧从窗口中剔除；

S33、对窗口内的最新帧特征，在词袋数据集中进行查找，一旦有相似帧，在一定处理后，即可认为发生回环，并计算此时空中无人机1与地面移动机器人2之间的位姿变换，即可得到，第一局部点云地图与第二局部点云地图之间的相对变换；

优选地，步骤S33的具体步骤为：

步骤a：当词袋相似度大于一定阈值时，初步认为产生回环，通过对滑动窗口内最新帧图像与匹配的地面移动机器人端图像，进行特征匹配，基于RANSAC算法使用基础矩阵进行外点剔除，当内点数小于一定阈值时，认为回环失败，跳出本步骤；否则，生成一系列匹配点。

步骤b：基于已生成的匹配点，在滑动窗口内的其他图像中寻找对应的匹配点，并使用滑动窗口内的彩色图像对特征进行三角化，当三角化成功的点数小于一定阈值时，认为回环失败，跳出本步骤；否则，进入步骤c；

步骤c：基于成功三角化的空间点，对地面移动机器人端彩色图像使用EPNP算法进行匹配，得到机器人端彩色图像相对于空中无人机1图像的姿态，进而求得第一局部点云地图与第二局部点云地图之间的变换矩阵；

步骤d：将步骤c得到变换矩阵存入一个缓存中，基于回环的一致性，对缓存中所有的结果使用RANSAC(RANdom SAmple Consensus,随机抽样一致)算法进行估计，剔除错误回环；

步骤e：对于步骤d得到的一致的回环，通过SVD(奇异值分解)算法对多次回环结果进行加权平均，最终输出第一局部点云地图与第二局部点云地图之间的变换矩阵。

S34、通过步骤S33产生的初始位姿估计，对第一局部点云地图与第二局部点云地图之间的局部点云进行姿态变换，然后进一步使用trimmed-ICP算法对点云进行精配准，得到完整的建筑物点云模型。

与现有技术相比，本发明的优点在于：

(1)场景适应性强

以SLAM(Simultaneous LocalizationAnd Mapping，同步定位与地图构建)技术为核心，克服传统测绘中对GNSS(Global Navigation Satellite System，全球导航卫星系统)信号的依赖，对于室内及卫星信号弱的区域有更强的适应性，具有更广泛的应用场景，同时以空中无人机1和地面移动机器人2作为作业平台提高了建筑测绘过程中的自动化程度。

(2)建立模型完整

本发明充分利用空中无人机1与地面移动机器人2的运动特点，解决常用测绘方法场景不完整的问题，在实现空地协作建图的过程中，采用集中式结构，通过回环检测与PnP方法在服务器终端3实时实现空、地点云的融合。

(3)建模效率高

根据不同传感器本身数据及工作环境特点，在地面端使用第二激光雷达融合第二IMU进行定位，同时通过融合图像数据解决第二激光雷达信息无纹理的缺点，在空中无人机1使用图像融合第一IMU进行定位，提高测绘精度，融合第二激光雷达的数据实现实时建模。

上面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，不能理解为对本发明保护范围的限制。

总之，本发明虽然列举了上述优选实施方式，但是应该说明，虽然本领域的技术人员可以进行各种变化和改型，除非这样的变化和改型偏离了本发明的范围，否则都应该包括在本发明的保护范围内。

Claims (9)

1.一种空地协同建筑测绘机器人系统，其特征在于，包括空中无人机、地面移动机器人和服务器终端，其中：

所述空中无人机用于建筑物空中测绘，携带有第一激光雷达、第一IMU、双目鱼眼相机、第一彩色相机、第一处理器，所述空中无人机通过双目鱼眼相机、第一彩色相机与第一激光雷达获取建筑物顶面及高处立面的空间信息与纹理信息；

所述地面移动机器人用于建筑物地面测绘，携带有第二激光雷达、第二IMU、第二彩色相机、第二处理器，所述地面移动机器人通过第二彩色相机与第二激光雷达获取建筑物底部的空间信息与纹理信息；

所述服务器终端通过无线通讯模块分别与空中无人机和地面移动机器人连接，用于接收空中无人机以及地面移动机器人建模的空间信息与纹理信息，在服务器终端构建完整的建筑物点云模型。

2.一种应用权利要求1所述的空地协同建筑测绘机器人系统的测绘方法，其特征在于，包括以下步骤：

S1、通过空中无人机建立建筑物基于其顶面及高处立面的第一局部点云模型，完成建筑物空中测绘；

S2、通过地面移动机器人建立建筑物基于其底部的第二局部点云模型，完成建筑物地面测绘；

S3、在服务器终端接收来自空中无人机与地面移动机器人的信息，对第一局部点云模型和第二局部点云模型进行融合，生成完整的建筑物点云模型。

3.根据权利要求2所述的测绘方法，其特征在于，所述步骤S1具体表现为：空中无人机通过融合图像数据与第一IMU数据构成前端视觉惯性里程计，输出高频低精度的空中无人机位姿估计，且该输出的空中无人机位姿估计作为初值用于后续对第一激光数据姿态的初始估计，再通过点云配准生成较高精度的第一局部点云地图，最终使用空中无人机携带的第一彩色相机对生成的第一局部点云地图进行色彩映射生成第一局部彩色点云地图，作为第一局部点云模型，其中，图像数据、第一IMU数据和第一激光数据分别通过双目鱼眼相机、第一IMU和第一激光雷达获取。

4.根据权利要求3所述的测绘方法，其特征在于，所述空中无人机完成建筑物空中测绘的具体步骤包括：

S11、第一处理器读取双目鱼眼相机采集的左目鱼眼图像和右目鱼眼图像，在左目鱼眼图像中提取FAST角点，通过基于图像金字塔的LK光流算法在右目鱼眼图像中对左目中提取到的FAST角点进行跟踪，对于成功跟踪的FAST角点进行三角化求取该FAST角点的深度信息，同时使用EPnP算法对后续输入的左目鱼眼图像进行跟踪，求取相机姿态；

S12、建立一个滑动窗口，当跟踪到的FAST角点数量低于一定阈值时，即重新进行三角化，并判断为关键帧，将其插入到滑动窗口中；

S13、对输入的第一IMU数据使用中值积分进行积分，在相邻关键帧之间得到IMU预积分值，并对滑动窗口内的关键帧，通过关键帧位姿变换与IMU预积分值构成的残差以及光束平差，构建代价函数，使用LM算法进行非线性优化，到优化后的相机姿态；

S14、双目鱼眼相机以20HZ输出空中无人机的姿态信息，对读取到的第一激光数据，通过线性插值得到激光点采集时刻空中无人机姿态，对获取的激光点进行畸变校正；

S15、通过前端视觉惯性里程计输出的姿态将新进的激光数据加入到已有第一局部点云地图中，并提取6个线特征与4个面特征，与第一局部点云地图中的线、面特征进行匹配，使用点到线、点到面构成残差对点云姿态进行优化，通过将点云投影至第一彩色相机采集的图像进行色彩映射，生成第一局部彩色点云地图。

5.根据权利要求1所述的测绘方法，其特征在于，所述步骤S2具体表现为：地面移动机器人通过第二激光雷达和第二IMU分别获取第二激光数据与第二IMU数据，并根据第二激光数据与第二IMU数据对自身进行定位，同时建立第二局部点云地图，通过将第二局部点云地图投影至第二彩色相机采集的图像进行色彩映射，生成第二局部彩色点云地图，作为第二局部点云模型。

6.根据权利要求5所述的测绘方法，其特征在于，所述地面移动机器人完成建筑物地面测绘的具体步骤包括：

S21、第二处理器读取第二激光数据与第二IMU数据，通过对输入的第二IMU数据使用中值积分进行积分，获取帧间的速度与角速度信息，通过线性插值对第二激光数据进行畸变校正，同时估计第二激光数据的初始姿态；

S22、将一帧的第二激光数据均匀划分为6个区域，在每个区域内提取20个线特征点与8个面特征点；

S23、将该帧第二激光数据与第二局部点云地图中的线、面特征进行匹配，使用点到线、点到面构成残差对点云姿态进行优化，通过将点云投影至第二彩色相机采集的图像进行色彩映射，生成第二局部彩色点云地图。

7.根据权利要求1所述的测绘方法，其特征在于，所述步骤S3具体表现为：服务器终端分别接收来自空中无人机与地面移动机器人的图像数据、轨迹数据、局部点云地图数据，通过回环检测计算空中无人机与地面移动机器人的相对位姿，作为局部模型配准的初值，再通过精配准方法生成最终融合的完整的建筑物点云模型。

8.根据权利要求7所述的测绘方法，其特征在于，服务器终端生成完整的建筑物点云模型的具体步骤包括：

S31、接收空中无人机与地面移动机器人发送回来的彩色图像信息以及对应时刻的姿态信息，在彩色图像上提取ORB特征；

S32、将地面移动机器人发送的彩色图像对应的ORB特征存入词袋模型中，作为词袋数据集以供查找；对空中无人机发送的彩色图像使用大小为6的滑动窗口进行保存，其中新加入的彩色图像相距窗口中上一帧彩色图像对应姿态距离应大于0.1m，窗口装满后，最旧时刻的帧从窗口中剔除；

S33、对窗口内的最新帧特征，在词袋数据集中进行查找，一旦有相似帧，在一定处理后，即可认为发生回环，并计算此时空中无人机与地面移动机器人之间的位姿变换，即可得到，第一局部点云地图与第二局部点云地图之间的相对变换；

S34、通过步骤S33产生的初始位姿估计，对第一局部点云地图与第二局部点云地图之间的局部点云进行姿态变换，然后进一步使用trimmed-ICP算法对点云进行精配准，得到完整的建筑物点云模型。

9.根据权利要求8所述的测绘方法，其特征在于，所述步骤S33的具体步骤为：

步骤a：当词袋相似度大于一定阈值时，初步认为产生回环，通过对滑动窗口内最新帧图像与匹配的地面移动机器人端图像，进行特征匹配，基于RANSAC算法使用基础矩阵进行外点剔除，当内点数小于一定阈值时，认为回环失败，跳出本步骤；否则，生成一系列匹配点。

步骤b：基于已生成的匹配点，在滑动窗口内的其他图像中寻找对应的匹配点，并使用滑动窗口内的彩色图像对特征进行三角化，当三角化成功的点数小于一定阈值时，认为回环失败，跳出本步骤；否则，进入步骤c；

步骤c：基于成功三角化的空间点，对地面移动机器人端彩色图像使用EPNP算法进行匹配，得到机器人端彩色图像相对于空中无人机图像的姿态，进而求得第一局部点云地图与第二局部点云地图之间的变换矩阵；

步骤d：将步骤c得到变换矩阵存入一个缓存中，基于回环的一致性，对缓存中所有的结果使用RANSAC算法进行估计，剔除错误回环；

步骤e：对于步骤d得到的一致的回环，通过SVD算法对多次回环结果进行加权平均，最终输出第一局部点云地图与第二局部点云地图之间的变换矩阵。

Images