CN109708622A - 基于Pixhawk利用无人机对建筑物进行三维建模的方法 - Google Patents

Abstract

本发明涉及一种基于Pixhawk利用无人机对建筑物进行三维建模的方法。基于Pixhawk飞控，检测三轴角速率及三轴加速度信息，计算出无人机的横滚及俯仰角度；检测无人机飞行方向前是否有障碍物阻挡，计算出相应距离，以实时调整无人机的飞行器姿态和高度；获得无人机实时地理位置信息；根据无人机航向参数与无人机所要飞行的目标航向进行分析，通过预先设定的偏移距离查看GPS移动距离，每当经纬度变化达到预先设定值时，调整相机云台并启动相机拍照；从而证拍摄照片的航向重叠率以及相机倾斜角。本发明方法解决了三维建模中的纹理映射和曲面平滑伴随着的几何修复过程的问题，并在几何结构修复的同时提高从倾斜影像中提取纹理的速度。

Description

基于Pixhawk利用无人机对建筑物进行三维建模的方法

技术领域

本发明涉及一种基于Pixhawk利用无人机对建筑物进行三维建模的方法。

背景技术

目前，三维地形，建筑建模的数据来源多采用卫星遥感影像数据和常规有人机航空遥感影像数据，这些技术获取遥感资料虽然已较为成熟，但是在高效性、实时性、准确性和分辨率等方面还存在一定程度的不足，目前我国多数市中心繁华地段，古建筑群，复杂地形缺乏最新的遥感测绘资源来为城市管理者、研究机构等提供技术支持。其中卫星遥感影像数据存在周期长、时效难以保证的问题，数据采集实时性较差且易受云层的影响；有人驾驶飞机的普通航空遥感方法可获取较高分辨率的影像，但受我国严格的空域管制和气候等因素制约，对时间要求紧迫的监测任务较难保障，且成本较高。

随着信息技术及航空摄影测量技术的飞速发展，低空无人机遥感测绘及自动建模技术不仅具有机动快速、使用成本低、地形环境适应性强、安全风险小等技术特点，而且可以获取目标物形体、材质、环境等多方面的高精度影像数据，可以便利地制作传统村落所处空间的大比例尺地形图，并快速识别、重建地表建筑物的三维空间模型。

无人机倾斜摄影实景建模技术（简称“实景建模技术”）是近年国际测绘遥感领域发展起来的一项高新技术，主要原理为通过在飞行平台上搭载一台或多台倾斜摄影相机，同时从垂直、倾斜等不同的角度采集影像，通过专业软件进行解析空中三角测量、几何校正、同名点匹配、区域网联合平差等处理，最后将平差后的数据（三个坐标信息及三个方向角信息）赋予每张倾斜影像，使得他们具有在虚拟三维空间中的位置和姿态数据，合成高精度三维模型。

倾斜影像即可进行实时量测，每张斜片上的每个像素对应真实的地理坐标位置。能有效的辅助投标勘探、土方计算、进度汇报、辅助场布等工作。

目前使用的计算机的内存是8GB DDR4 2133MHz ，显卡是NVIDIA Geforce 940MX，在使用Agisoft PhotoScan Pro 1.27 软件对所拍摄的照片进行分析处理时需要在瞬间提供大量内存空间，并且对于显卡的要求很高。最好使用服务器类型的主机对图片计算密集点云，纹理的分析。

采用小型无人机利用相机摄影的方法对地面建筑或部分地形进行计算分析。对于建筑物内部或在照明条件不良时，无人机所拍摄的影片会产生大量噪点对后期的图像处理和数据分析带来误差，当发生这种情况时需要人工测绘加以辅助，以提高无人机解析信息的精度，提高测控的可靠性。

通过分析三维建筑模型建设现状和模型成果的缺陷可知，现状三维城市模型需要改进的方面有：

1) 几何修复：对破洞进行修补，凸包抹平并还原，删除飞面等碎部。

2) 细部整饰：重要地物和标志物的三维模型整饰或替换。

3) 纹理修补：替换和修补不均匀纹理、清晰度不够的纹理等。

实际上，纹理映射和曲面平滑始终伴随着几何修复的过程，如何在几何结构修复的同时提高从倾斜影像中提取纹理的速度，是目前主要的问题之一。

现有的相关专利2016108241772 ，三维地图建模表层轮廓快速联动渲染方法，且目的在于借助三维地图建模、云计算、数学反向推演模型、无人机和智能化贴片等技术，实现高效联动的三维建模表层渲染，真实地呈现三维地图表层纹理特征；此方法能够通过建立数学模型，自动批量生成最佳的无人机拍摄点，避免了人工选择的位置偏移，在保障获取三维地图建模表层渲染图片的质量的同时，还有效地提高了工作的连贯性，节约了大量的人力物力等资源。然而且并未解决上述提出的在三维建模中的纹理映射和曲面平滑伴随着的几何修复的过程，以及如何在几何结构修复的同时提高从倾斜影像中提取纹理的速度的问题。

发明内容

本发明的目的在于提供一种基于Pixhawk利用无人机对建筑物进行三维建模的方法，

为实现上述目的，本发明的技术方案是：一种基于Pixhawk利用无人机对建筑物进行三维建模的方法，包括如下步骤，

步骤S1、基于Pixhawk飞控，检测三轴角速率及三轴加速度信息，计算出无人机的横滚及俯仰角度；

步骤S2、检测无人机飞行方向前是否有障碍物阻挡，若有，计算出相应距离，以实时调整无人机的飞行器姿态和高度；

步骤S3、获得无人机实时地理位置信息，记录高清相机摄影时无人机所处的的经纬度，并跟随所拍摄图片的信息一同记录到储存器中；

步骤S4、根据无人机航向参数与无人机所要飞行的目标航向进行分析，通过预先设定的偏移距离查看GPS移动距离，每当经纬度变化达到预先设定值时，调整相机云台并启动相机拍照；从而证拍摄照片的航向重叠率以及相机倾斜角。

在本发明一实施例中，所述步骤S4中，通过Mission Planner 对航点进行初步规划获得无人机航向参数与无人机所要飞行的目标航向，具体如下：

（1）对于单航点：

在实景三维模型中地面点上选取一点从而确定航点的平面位置，根据被测物的三维模型的高度设置该航点的航高、相机拍摄时的俯仰角、机头转向角；

（2）对于航线段：

首先在实景三维模型上选取两航点，两航点之间设置为一条航线段；若两航点之间无需插值航点，则根据被测物的三维模型的高度设置该航点的航高、相机拍摄时的俯仰角、机头转向角；若需要插值航点，则插值航点采用根据航点的数量、两个航点间改变航点的动作参数进行均匀的设置，或者分别设置每个插值航点的动作参数。

在本发明一实施例中，根据已知航点的飞行距离与航向，确定下一航点经纬度的方式如下，

当已知GPS航点P_g＝（λ，φ，h），航向ξ，需要飞行距离D时，为了计算下一个GPS航点P_g,n＝（λ_n，φ_n，h _n），首先需要把P_g＝（λ，φ，h）转换成ECEF坐标P_e,ref＝（X_e,ref，Y_e,ref，Z_e,ref），航向是NED坐标系下的表述，在NED坐标系下一个航点的坐标为P_n＝（Dcosξ，Dsinξ，-h），将它转换成ECEF坐标系下的一个点；

利用式

便可求出ECEF坐标系下的下一个航点坐标P_e,n＝（X_e,n，Y_e,n，Z_e,n），最后利用下式：

可求得P_g,n＝（λ_n，φ_n，h_n）．由此便能够精确地解出任意已知飞行距离与航向的下一航点经纬度。

在本发明一实施例中，所述步骤S1中，采用L3GD20H 16 bit陀螺芯片及LSM303D14 bit加速度/磁场芯片，检测三轴角速率及三轴加速度信息。

在本发明一实施例中，所述步骤S2中，采用光流传感器以及超声波传感器检测无人机飞行方向前是否有障碍物阻挡；并通过32 bit STM32 F427Cortex M4芯片计算无人机实时调整飞行器姿态和高度。

在本发明一实施例中，所述步骤S3中，通过GPS模块获得无人机实时地理位置信息以及高清相机摄影时无人机所处的的经纬度。

相较于现有技术，本发明具有以下有益效果：

（1）使用Pixhawk飞控搭配高清相机进行拍摄可以通过计算机QGroundControl进行实时监测，在无人机发生意外或想人为停止飞行时更方便快捷；

（2）根据已拍摄的图像对接下来拍摄方案中没有拍摄到的建筑物或地面通过三轴云台调节相机角度，对图像进行补充。保证了后期建模素材的可靠性及丰富性；

（3）无人机具有快速航测反应能力、突出的时效性和性价比、建模等优势，在小区域和地面环境复杂地区有明显优势。如今，无人机航测技术完全可以达到1:1000国家航空摄影测量规范的要求。

（4）航测无人机由于其应用已久，相关技术已经比较成熟，相比于多旋翼和直升机固定翼在航测方面优势明显，配合差分GPS技术可以满足大范围的航测任务需求，和载人机相比成本优势明显。

附图说明

图1为本发明航点规划流程图。

图2为本发明使用photoscan建模流程图。

图3为点云图。

图4为密集点云图。

图5为网格图。

图6为纹理图。

图7为生成建筑信息模型（bim）。

图8为建立DEM。

图9为高度图。

图10为摄像机角度偏差分析。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

本发明的一种基于Pixhawk利用无人机对建筑物进行三维建模的方法，包括如下步骤，

步骤S1、基于Pixhawk飞控，检测三轴角速率及三轴加速度信息，计算出无人机的横滚及俯仰角度；

步骤S2、检测无人机飞行方向前是否有障碍物阻挡，若有，计算出相应距离，以实时调整无人机的飞行器姿态和高度；

步骤S3、获得无人机实时地理位置信息，记录高清相机摄影时无人机所处的的经纬度，并跟随所拍摄图片的信息一同记录到储存器中；

步骤S4、根据无人机航向参数与无人机所要飞行的目标航向进行分析，通过预先设定的偏移距离查看GPS移动距离，每当经纬度变化达到预先设定值时，调整相机云台并启动相机拍照；从而证拍摄照片的航向重叠率以及相机倾斜角。

所述步骤S4中，通过Mission Planner 对航点进行初步规划获得无人机航向参数与无人机所要飞行的目标航向，具体如下：

（1）对于单航点：

在实景三维模型中地面点上选取一点从而确定航点的平面位置，根据被测物的三维模型的高度设置该航点的航高、相机拍摄时的俯仰角、机头转向角；

（2）对于航线段：

首先在实景三维模型上选取两航点，两航点之间设置为一条航线段；若两航点之间无需插值航点，则根据被测物的三维模型的高度设置该航点的航高、相机拍摄时的俯仰角、机头转向角；若需要插值航点，则插值航点采用根据航点的数量、两个航点间改变航点的动作参数进行均匀的设置，或者分别设置每个插值航点的动作参数。

根据已知航点的飞行距离与航向，确定下一航点经纬度的方式如下，

当已知GPS航点P_g＝（λ，φ，h），航向ξ，需要飞行距离D时，为了计算下一个GPS航点P_g,n＝（λ_n，φ_n，h _n），首先需要把P_g＝（λ，φ，h）转换成ECEF坐标P_e,ref＝（X_e,ref，Y_e,ref，Z_e,ref），航向是NED坐标系下的表述，在NED坐标系下一个航点的坐标为P_n＝（Dcosξ，Dsinξ，-h），将它转换成ECEF坐标系下的一个点；

利用式

便可求出ECEF坐标系下的下一个航点坐标P_e,n＝（X_e,n，Y_e,n，Z_e,n），最后利用下式：

可求得P_g,n＝（λ_n，φ_n，h_n）．由此便能够精确地解出任意已知飞行距离与航向的下一航点经纬度。

所述步骤S1中，采用L3GD20H 16 bit陀螺芯片及LSM303D 14 bit加速度/磁场芯片，检测三轴角速率及三轴加速度信息。

所述步骤S2中，采用光流传感器以及超声波传感器检测无人机飞行方向前是否有障碍物阻挡；并通过32 bit STM32 F427Cortex M4芯片计算无人机实时调整飞行器姿态和高度。

所述步骤S3中，通过GPS模块获得无人机实时地理位置信息以及高清相机摄影时无人机所处的的经纬度。

以下为本发明的一具体实现实例。

本发明基于Pixhawk利用无人机对建筑物进行三维建模的方法采用如下步骤保证拍摄照片的航向重叠率以及相机倾斜角：

（1）基于Pixhawk飞控，采用L3GD20H 16 bit陀螺芯片及LSM303D 14 bit加速度/磁场芯片，检测三轴角速率及三轴加速度信息，并将之解算出无人机的横滚及俯仰角度；

（2）采用光流传感器以及超声波传感器检测无人机飞行方向前是否有障碍物阻挡，计算出相应距离，通过32 bit STM32 F427Cortex M4 核心实时调整飞行器姿态和高度；

（3）采集GPS模块所获得的地理位置信息，记录高清相机摄影时无人机所处的的经纬度，并跟随所拍摄图片的信息一同记录到储存器中；

（4）把解算出的无人机航向参数与无人机所要飞行的目标航向进行分析，通过预先设定的偏移距离查看GPS移动距离，每当经纬度变化达到预先设定值时，调整相机云台并启动相机拍照。

1.利用Mission Planner 对航点进行初步规划并对规划范围进行航拍，为下一步的三维建模提供处理数据。如图1所示。

（1）单航点设计

在实景三维模型中地面点上选取一点从而确定航点的平面位置，根据被测物的三维模型的高度设置该航点的航高、相机拍摄时的俯仰角、机头转向角（一般小型多旋翼无人机以正北方向作为零度方向从而设置机头转向角）以及在执行完一张影像的拍照后是否还要执行其他动作（在某一个航点处根据不同的拍摄角度拍摄多张影像）。

（2）航线段设计

首先在实景三维模型上选取两航点，两航点之间设置为一条航线段。因一条航线段内可能需要插入多个航点以确保影像的重叠度或距离相距过远时需要在两个航点的航线段中多布设航点以满足拍照需求，因此在这部分功能中设置是否需要插值航点的功能。若不需要在选中的两个之间插入航点则在选中两个航点后分别输入对应的拍照动作参数即可；若需要插值航点，本文提出两种插值的航点的动作设置的方案，一种是根据航点的数量、两个航点间改变航点的动作参数（俯仰角、机头转向角、航高等）进行均匀的设置，另一种则分别设置每个插值航点的动作参数。若均匀插值航点参数，则在输入该段起始点航点和该段终止点航点参数后求两个航点的差值分别计算到插值航点的参数并赋值。

（3）修改航线

选择并设置完成所有的航点及航线后，根据实际需要对已经设置的航线进行路线修改（增补或删减路线）、无人机飞行路线执行的先后顺序或路线又或其他因素对已有路线的修改。若需要在一条航线内增加航点，则需要在修改航线的基础上调用航线段设计的功能。

（4）串连航点

根据设置完成的所有航点的位置以及逻辑顺序关系对所有的航点进行串连，当遇到修改过的航点以及增加的航点或航线段，则以就近和航高由低至高的原则进行串连航点。航点的起点和终点一般可以设置为第一个航点设置的位置，或者单独设置起飞点和降落点，同时还要判断起飞点／降落点与航点之间是否有障碍物的遮挡。

（5）显示飞行器拍照范围

为实现通过在模型上计算每个航点及其所设计的拍照参数下所能拍照的范围，需根据航点的位置以及拍照设计的参数（航高、俯仰角、机头转向角等）计算单张影像在模型上所能可视的范围，并在模型上进行显示。

上述过程涉及的航点计算的解决方法

当已知GPS航点P_g＝（λ，φ，h），航向ξ，需要飞行距离D时，为了计算下一个GPS航点P_g,n＝（λ_n，φ_n，h _n），首先需要把P_g＝（λ，φ，h）转换成ECEF坐标P_e,ref＝（X_e,ref，Y_e,ref，Z_e,ref），航向是NED坐标系下的表述，在NED坐标系下一个航点的坐标为P_n＝（Dcosξ，Dsinξ，-h），将它转换成ECEF坐标系下的一个点；

利用式

便可求出ECEF坐标系下的下一个航点坐标P_e,n＝（X_e,n，Y_e,n，Z_e,n），最后利用下式：

可求得P_g,n＝（λ_n，φ_n，h_n）．由此便能够精确地解出任意已知飞行距离与航向的下一航点经纬度。

2.利用Agisoft PhotoScan Pro 1.27 软件对相关图片进行三维建模的处理，如图2所示

基于PIX4DMAPPER、Smart3D、Oracle、SQLServer等具备空间拓扑关系的智能建模软件和数据库，可以全自动、快速、专业精度地处理无人机数据和航空影像。无需专业知识、无需人工干预、无需IMU数据，即可将数千张影像快速制作成专业精确的二维地图、自动生成GOOGLE瓦片、带纹理的三维模型、正摄矫正与镶嵌结果、DSM、DEM、DOM和精度报告。

1）Agisoft PhotoScan Pro 1.27软件的优点有

（1）空中三角测量

（2）生成多边形Mesh网模型(普通/彩色纹理)

（3）设置坐标系统

（4）生成真实坐标的数字高程模型(DEM)

（5）生成真实坐标的正射影像

2）工作流程如下：

（1）打开Agisoft PhotoScan Pro 1.27之后新建工作组

（2）在菜单栏里新建工程项目

（3）导入以及拍摄好的高清图片（注意照片重叠度）

（4）在工作流程中对齐照片

（5）建立点云。让计算机初步计算出相关主要控制点的位置以及颜色分布，如图3所示。

（6）之后建立密集点云。这时以及可以看出所拍摄内容的大致形状，如图4所示。

（7）生成网格，如图5所示。

（8）生成纹理，如图6所示。

（9）建立平铺模型，如图7所示。

（10）建立DEM，如图8所示。在数字高程模型里可以对三维模型的相对高度进行快速分析，从而可以应用于小范围类似古村落，对决策者提供相应信息。并且根据Pixhawk中飞控获取到的GPS信息对坐标点和经纬度都有着关键性的作用。

（11）建立orthomosaic，如图9所示。

（12）导出相关格式的文件，方便后期的查看并且对数据资料进行二次分析。

根据计算机计算出的点云以及生成的高程数字模型，可以反向推出相机的俯仰角度以及在空中由于GPS获取的卫星数太少而引起的偏航。图10是根据Photoscan软件通过反推算法计算出的无人机姿态偏移图。

总结；

利用Pixhawk飞控结合QGroundControl在无人机倾斜摄影测量中的多视影像密集匹配算法是目前数字影像匹配较为复杂的。由于它包含较多的数据源，特别是多视影像，所以在匹配过程中需要考虑匹配时间。速度和可靠性等问题。无人机倾斜摄影测量另一个难点是倾斜3D模型的建立。传统的3D模型建立，如CAD技术、航空摄影测量技术，它们利用2维信息建立3D立方体，其纹理是依靠专门的3D软件如3DMAX等进行人工粘贴，其工作量较大，生产成本也高。倾斜模型的构建技术也是借助于专门的系统软件进行建模的，但它生成的三维模型是基于影像纹理的高分辨率倾斜摄影影像，具有真实的纹理，因此，建立的3D模型更为真实。而且速度快。

传统的3D建模技术建立的立体模型具有可量测性，但是要达到大比例尺测绘的测量精度是比较难的。而无人机倾斜摄影测量技术建立的3D模型，通过最新的研究表明，它是可以达到测绘级的精度。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (6)

1.一种基于Pixhawk利用无人机对建筑物进行三维建模的方法，其特征在于：包括如下步骤，

步骤S1、基于Pixhawk飞控，检测三轴角速率及三轴加速度信息，计算出无人机的横滚及俯仰角度；

步骤S2、检测无人机飞行方向前是否有障碍物阻挡，若有，计算出相应距离，以实时调整无人机的飞行器姿态和高度；

步骤S3、获得无人机实时地理位置信息，记录高清相机摄影时无人机所处的的经纬度，并跟随所拍摄图片的信息一同记录到储存器中；

步骤S4、根据无人机航向参数与无人机所要飞行的目标航向进行分析，通过预先设定的偏移距离查看GPS移动距离，每当经纬度变化达到预先设定值时，调整相机云台并启动相机拍照；从而证拍摄照片的航向重叠率以及相机倾斜角。

2.根据权利要求1所述的一种基于Pixhawk利用无人机对建筑物进行三维建模的方法，其特征在于：所述步骤S4中，通过Mission Planner 对航点进行初步规划获得无人机航向参数与无人机所要飞行的目标航向，具体如下：

（1）对于单航点：

在实景三维模型中地面点上选取一点从而确定航点的平面位置，根据被测物的三维模型的高度设置该航点的航高、相机拍摄时的俯仰角、机头转向角；

（2）对于航线段：

首先在实景三维模型上选取两航点，两航点之间设置为一条航线段；若两航点之间无需插值航点，则根据被测物的三维模型的高度设置该航点的航高、相机拍摄时的俯仰角、机头转向角；若需要插值航点，则插值航点采用根据航点的数量、两个航点间改变航点的动作参数进行均匀的设置，或者分别设置每个插值航点的动作参数。

3.根据权利要求2所述的一种基于Pixhawk利用无人机对建筑物进行三维建模的方法，其特征在于：根据已知航点的飞行距离与航向，确定下一航点经纬度的方式如下，

当已知GPS航点P_g＝（λ，φ，h），航向ξ，需要飞行距离D时，为了计算下一个GPS航点P_g,n＝（λ_n，φ_n，h _n），首先需要把P_g＝（λ，φ，h）转换成ECEF坐标P_e,ref＝（X_e,ref，Y_e,ref，Z_e,ref），航向是NED坐标系下的表述，在NED坐标系下一个航点的坐标为P_n＝（Dcosξ，Dsinξ，-h），将它转换成ECEF坐标系下的一个点；

利用式

便可求出ECEF坐标系下的下一个航点坐标P_e,n＝（X_e,n，Y_e,n，Z_e,n），最后利用下式：

可求得P_g,n＝（λ_n，φ_n，h_n）．由此便能够精确地解出任意已知飞行距离与航向的下一航点经纬度。

4.根据权利要求1所述的一种基于Pixhawk利用无人机对建筑物进行三维建模的方法，其特征在于：所述步骤S1中，采用L3GD20H 16 bit陀螺芯片及LSM303D 14 bit加速度/磁场芯片，检测三轴角速率及三轴加速度信息。

5.根据权利要求1所述的一种基于Pixhawk利用无人机对建筑物进行三维建模的方法，其特征在于：所述步骤S2中，采用光流传感器以及超声波传感器检测无人机飞行方向前是否有障碍物阻挡；并通过32 bit STM32 F427Cortex M4芯片计算无人机实时调整飞行器姿态和高度。

6.根据权利要求1所述的一种基于Pixhawk利用无人机对建筑物进行三维建模的方法，其特征在于：所述步骤S3中，通过GPS模块获得无人机实时地理位置信息以及高清相机摄影时无人机所处的的经纬度。