CN114299236A - 倾斜摄影测量空地融合实景建模方法、装置、产品及介质 - Google Patents

Abstract

本发明公开了一种倾斜摄影测量空地融合实景建模方法、装置、产品及介质，以倾斜无人机、低空无人机、地面相机按照一定规则获取影像数据，并通过融合计算方法进行融合计算，既满足空三融合计算条件，又保证了外业作业时间高效，同时建模效果与精度得到大大提升，构建的三维模型具有画面级别纹理与像素级别精细度。本发明的方法具有可行性强、纹理效果逼真、精细程度高的特点，可为工程规划、设计、展示、三维模拟等应用提供可靠真实的测绘地理信息资料。

Description

倾斜摄影测量空地融合实景建模方法、装置、产品及介质

技术领域

本发明涉及三维实景建模领域，特别是一种倾斜摄影测量空地融合实景建模方法、装置、产品及介质。

背景技术

目前，随着三维技术软硬件的不断提升，实景三维建模在工程领域得到不断应用，最为突出的就是倾斜摄影测量三维实景建模技术。利用无人机平台搭载五镜头倾斜相机通过规划航线获得地面各种地物不同角度影像数据，通过一定的测量数据处理方法，快速、高效、准确的获得地表实景三维模型，广泛应用于三维建模、三维展示、城市规划、工程测量等领域。

倾斜摄影测量所建三维实景模型具有纹理丰富、真实、视觉效果好、坐标精度高等优势，是还原城市实景风貌，记录关键时空点城市现状，构建具有空间地理信息坐标的实景三维模型的有效方法。与传统人工建模相比，具有高效、真实、全面等诸多优势。可广泛应用于各个领域。

无人机倾斜摄影测量三维建模当下已经广泛应用，但是普遍存在一个实际问题就是倾斜摄影测量在建筑密集区域或无人机拍摄受作业环境限制，导致建筑物外立面、建筑物房檐等位置存在遮挡、分辨率差等情况，造成获取的倾斜影像数据构建的三维模型纹理不清晰、分辨率及精度都不够，所建模型效果受作业环境与多因素限制而效果不理想、纹理缺失、精度不够等情况。

现有方法绝大部分是常规的倾斜摄影测量三维建模方法，能满足大面积大场景三维建模需求，局部重点区域及兴趣区域精细化程度不够。现有的空地融合建模方法极少，有的也是需要在墙面或者地面布设一部分影像控制点来达到融合的目的，这样在兴趣区域较大时或者外业条件不允许时，地面拍摄的影像分辨率与倾斜无人机拍摄的影像分辨率差别过大时，现有方法不可行，同时在一些重点工作区域造成一定的不良环保影响。CN111540048A公开了一种基于空地融合的精细化实景三维建模方法，通过无人机倾斜摄影测量的数据与车载近景摄影测量的数据进行融合建模，但是该文献无法确保通过其方案一定可以融合建模，无法保证建模精度。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种倾斜摄影测量空地融合实景建模方法、装置、产品及介质，提高建模精度。

为解决上述技术问题，本发明所采用的技术方案是：一种倾斜摄影测量空地融合实景建模方法，包括以下步骤：

获取倾斜无人机拍摄的影像数据对应的空三计算(即空中三角测量计算)结果、低空无人机航拍的影像数据对应的空三计算结果和地面相机拍摄的影像数据对应的空三计算结果；

融合倾斜无人机拍摄的影像数据对应的空三计算结果和低空无人机航拍的影像数据对应的空三计算结果，获得第一融合结果；

将所述第一融合结果与所述地面相机拍摄的影像数据对应的空三计算结果融合，获得第二融合结果；

利用所述第二融合结果重建实景三维模型。

本发明中，低空是指距离地面高度3～50米的空间区域。

通过大量实践研究发现，现有技术空地融合建模精度不高或者不稳定的原因，是未考虑空地融合不同数据源之间分辨率差别较大，导致无法利用建模软件实现自动建模，现有技术需要大量的人工外业补测工作，才能在一定程度上提高建模精度。本发明利用低空无人机航拍获得影像数据，将倾斜无人机拍摄的影像数据通过低空无人机航拍的影像数据与地面相机拍摄获得的影像数据平滑融合起来，使得建模软件可以利用融合后的数据自动完成建模过程，无需人工外业补测工作记得获得高精度的空地融合实景模型。

本发明的方法在有无外业像控点工作时均可以实施，无像控点时可以将各步骤中模型或空三计算的坐标系统一至无人机POS坐标系；有像控点时也可在每一步骤中的空三计算中加入对应的像控点坐标再进行空三计算，故本发明的方法更适用于多样的外业作业方式中。

本发明中，倾斜无人机航拍与低空无人机手动航拍缺一不可。一方面倾斜无人机能获取测区或任务区全貌数据，而低空无人机手动获取有效建模数据的话工作量会成倍增长；另一方面低空无人机所拍摄影像能作为倾斜无人机与地面相机获取的影像分辨率的一个过渡，分辨率差别太大，空地融合过程计算机无法自动识别像素差别过大的同一点，从而无法融合。

本发明中，获取地面相机拍摄的影像数据对应的空三计算结果的具体实现过程包括：地面相机连续拍摄目标区域的影像数据，在每个拍摄点上，以地面相机曝光点为圆心，以水平旋转的方式拍摄目标区域，每个拍摄点上相邻拍摄影像的重叠度不小于50％，相邻拍摄点之间获取的影像重叠度不小于50％；对地面相机拍摄的影像数据进行空三计算，获得地面相机拍摄的影像数据对应的空三计算结果。

倾斜摄影测量的普遍规定是大于75％航向、大于50％旁向；CCC用户手册中提示：航向大于80％、旁向50％。本发明鉴于数据量及建模精度两种因素考虑，结合实际工程经验考虑重叠度在航向旁向优于50％时既不影响建模效果，也不会因为重叠度过大而导致数据量巨大。

获取低空无人机航拍的影像数据对应的空三计算结果的具体实现过程包括：规划一层航线，利用无人机在该航线上对目标区域进行连续拍摄，对连续拍摄获得的影像数据进行空三计算，获得低空无人机航拍的影像数据对应的空三计算结果；或者，在目标区域内规划多层航线，利用无人机对目标区域进行连续拍摄，每层航线内相邻拍摄影像的重叠度不小于50％，相邻两层航线间的影像重叠度不小于50％；对每一层航线对应的影像数据进行空三计算，获得低空无人机航拍的多层影像数据对应的空三计算结果。

第一融合结果的获取过程包括：

在规划一层航线的情况下，将倾斜无人机拍摄的影像数据对应的空三计算结果和低空无人机航拍的影像数据对应的空三计算结果进行融合空三计算，得到第一融合结果；

在规划多层航线的情况下，将倾斜无人机拍摄的影像数据对应的空三计算结果与低空无人机航拍的多层影像数据对应的空三计算结果中分辨率最低的空三计算结果进行融合空三计算，得到第一初步融合结果；

将第一初步融合结果与低空无人机航拍的多层影像数据对应的空三计算结果中分辨率次低的空三计算结果进行融合空三计算，得到第二初步融合结果；

依此类推，直至融合完低空无人机航拍的多层影像数据对应的所有空三计算结果，得到第一融合结果。

本发明利用倾斜无人机获取影像所建的初步模型具有地理坐标信息，通过在模型上拾取坐标点作为地面相机拍摄影像的控制点，参与地面相机影像数据的第二次空三计算中，能很好地将地面相机影像数据的相对空三成果拉入到无人机拍摄影像数据的同一坐标系中，克服了现有技术中无法将坐标偏离较大的两组空三成果进行融合计算的缺陷。

所述第二融合结果的具体获取过程包括：

利用所述倾斜无人机拍摄的影像数据对应的空三计算结果建立三维模型，从所述三维模型中选取若干特征坐标点，且所选取的若干特征坐标点同时为地面相机拍摄到的点；所述三维模型的坐标系与倾斜无人机获取的影像位置定位数据坐标系，即POS数据坐标系一致；

将所述若干特征坐标点的坐标值以像控控制点的方式加入地面相机拍摄的影像数据对应的空三计算结果中，再次对加入特征坐标点的地面相机拍摄的影像数据对应的空三计算结果进行空三计算，得到带坐标信息的空三计算结果；

将所述带坐标信息的空三计算结果与所述第一融合结果进行空地融合空三计算，得到第二融合结果。

所述倾斜无人机拍摄的影像数据的分辨率为所述低空无人机拍摄的影像数据的分辨率的1～10倍；所述低空无人机拍摄的影像数据的分辨率与所述地面相机拍摄的影像数据的分辨率的1～10倍。

所述低空无人机拍摄的影像数据的分辨率为所述倾斜无人机拍摄的影像数据的分辨率的1～5倍；所述地面相机拍摄的影像数据的分辨率与所述低空无人机拍摄的影像数据的分辨率的1～5倍。

实际情况中，两类相邻数据源分辨率通常超过5倍，现有技术中加上再多的像控连接点软件都将无法自动建模，因为像素像元的差异化太大，从而需要大量的外业返工作业，故现有技术无法获得较好的融合建模方式。本发明考虑了上述问题，利用低空无人机拍摄的影像数据实现数据源的过渡，从而可以很好地将三类数据源融合，得到高精度的融合模型。

本发明还提供了一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序；所述处理器执行所述计算机程序，以实现本发明所述方法的步骤。

本发明还提供了一种计算机程序产品，包括计算机程序/指令；该计算机程序/指令被处理器执行时实现本发明所述方法的步骤。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序/指令；所述计算机程序/指令被处理器执行时实现本发明所述方法的步骤。

与现有技术相比，本发明所具有的有益效果为：本发明以倾斜无人机、低空无人机、地面相机按照一定规则获取影像数据，并通过融合计算方法进行融合计算，既满足空三融合计算条件，又保证了外业作业时间高效，同时建模效果与精度得到大大提升，构建的三维模型具有画面级别纹理与像素级别精细度。本发明的方法具有可行性强、纹理效果逼真、精细程度高的特点，可为工程规划、设计、展示、三维模拟等应用提供可靠真实的测绘地理信息资料。本发明加入了低空无人机航拍的数据，更符合融合建模过程中多源数据应用场景，解决了现有技术中对两类数据源影像进行融合建模不能保证数据能够融合建模的问题。

附图说明

图1为本发明倾斜摄影测量空地融合实景建模方法流程图；

图2为倾斜无人机按规划航线获得影像数据利用POS信息进行空三计算结果；

图3为低空无人机航拍影像利用POS信息空三计算结果；

图4为地面相机拍摄数据不带位置信息相对定位初步空三结果；

图5为地面相机拍摄数据不带位置信息相对定位初步空三结果局部放大；

图6为从步骤A中生成的倾斜模型上拾取坐标点；

图7空地融合方法获得空三计算结果；

图8为倾斜无人机影像所建三维实景模型局部图；

图9为空地融合方法所构建三维实景模型局部图。

具体实施方式

本发明提出一种可免除外业像控点的方式进行空地融和建模方法，能避免传统倾斜摄影三维建模的不足，同时也适用于实际工程项目建设工期需求，具有操作简单可行、建模精度高、真纹理等特点，可为工程项目规划设计、三维建模、GIS平台建设应用等提供可靠精准的地理信息三维实景模型资料。

本发明实施例包括以下步骤：

步骤A.倾斜无人机根据规划航线获取影像数据，该过程同时获取了影像位置定位数据(简称POS数据)；利用软件(例：ContextCapture Center、Photoscan等)进行空三计算，并建立三维模型，模型坐标系与POS坐标系一致；

步骤B.地面相机拍摄目标区域连续的影像数据，拍摄方式为人工步行间隔式拍摄，拍摄过程中每个步行停留点为一组相机曝光点，每个停留点上以相机曝光点为圆心水平旋转方式拍摄目标区域，该停留点上相邻拍摄影像的重叠度保证在50％以上，同时前后停留点间所拍摄影像的最大重叠度必须在50％以上，利用软件进行地面部分空三计算，使得所拍要素空三计算结果连续不间断；

步骤C.在步骤A中所建模型中选取特征坐标点若干，选取规则为保证步骤B中获取的影像拍摄到对应特征坐标点；并将坐标点的坐标值以像控控制点的方式加入步骤B空三计算结果中，再次进行空三计算，得到带坐标信息的空三计算结果；

步骤D.低空无人机航拍影像数据，该过程为人工手动操控小型旋翼无人机对目标区域进行连续拍摄，若目标区域复杂可模拟倾斜无人机航线规划方式多层航线进行，保证每层航线内相邻拍摄影像的重叠度在50％以上，相邻两层手动飞行航线间的影像重叠度也在50％以上，将拍摄的影像数据进行空三计算，获得连续空三计算结果；

步骤E.将步骤A中空三计算结果与步骤D中空三计算结果进行融合空三计算(融合空三计算可参见CN111540048A)，获得初步融合空三计算结果；

步骤F.将步骤C中带坐标信息的空三计算结果与步骤E中初步融合空三计算结果进行空地融合空三计算，获得空地融合空三计算结果，并利用软件进行模型重建，获得最终高精度实景三维模型。

步骤A中，利用倾斜无人机搭载五镜头倾斜相机通过相应软件对整个建模区域根据具体地形与要求进行航线规划。通常情况下保证航高、航向重叠度、旁向重叠度、续航里程等几项重要参数正确，其中航高反应的所拍摄地物的平均分辨率(此处用数值Re表示分辨率，即相机成像每个像元所代表的地面尺寸，单位常为m/像素、cm/像素、mm/像素)。根据规划好的航线进行常规倾斜摄影测量外业作业，将获得的影像数据与无人机POS数据导入到倾斜摄影测量空三建模软件CCC中进行空三计算(图2)并建立三维模型(图8)，模型坐标系与POS坐标系一致。

步骤B中，地面相机为人工方式操作，对测区内重点关注的建筑物外立面、特征地物、街道原貌等区域进行手动拍摄。拍摄的方式为人工步行间隔式拍摄，图4、图5为地面相机的空三结果。拍摄过程中每个步行停留点为一组相机曝光点，每个停留点上以相机曝光点为圆心，采用水平旋转方式拍摄目标区域，每个停留点上相邻拍摄影像的重叠度保证在50％以上，同时前后停留点间所拍摄影像的最大重叠度必须在50％以上，即两相邻最近曝光点间最近的两张影像的重叠度也在50％以上，分辨率控制在Re/100至Re/10之间(一般为Re/25至Re/5之间合适)。利用软件进行地面影像数据空三计算，使得所拍要素空三计算结果连续不间断，若出现不连续间断情况需要现场按规则及时补拍。该步骤的关键在于地面拍摄过程需要保证一定的重叠度，这需要根据具体情况与具体硬件来确定拍摄点与所拍摄目标的间隔距离，一般控制在5-20m之间较为合适。

步骤C中，在步骤A中所建模型中选取特征坐标点若干，如图6，坐标点坐标系与步骤A中模型坐标系一致，选取规则为保证步骤B中获取的影像拍摄到对应特征坐标点。并将坐标点的坐标值以像控控制点的方式加入步骤B的空三计算结果中，再次进行空三计算，得到带坐标信息的空三计算结果，此时地面影像的坐标系被刚性带入到与倾斜无人机所拍摄影像的坐标系一致，满足融合计算的基本要求。但目前地面所拍摄影像与倾斜无人机所获取影像分辨率差别较大，无法达到直接融合计算空三的目的。

步骤D中，低空无人机航拍影像数据，该过程为人工手动操控小型旋翼无人机对目标区域进行连续拍摄，分辨率控制在Re/10至Re之间(一般控制在Re/5至Re之间合适)，若目标区域复杂可模拟倾斜无人机航线规划方式多层航线进行，保证每层航线内相邻拍摄影像的重叠度在50％以上，相邻两层手动飞行航线间的影像重叠度也在50％以上，将拍摄的影像数据进行空三计算，获得连续空三计算结果，如图3。该步骤为获得倾斜无人机与地面相机所拍摄影像分辨率过度的影像数据，便于融合计算。

步骤E中，将步骤A中空三计算结果与步骤D中空三计算结果进行融合空三计算，获得初步融合空三计算结果。

步骤F中，将步骤C中带坐标信息的空三计算结果与步骤E中初步融合空三计算结果进行空地融合空三计算，获得空地融合空三计算结果，并利用软件进行模型重建，获得最终高精度实景三维模型。此步骤中空地融合空三计算能通过，一方面是因为步骤E中倾斜无人机数据引入了低空无人机影像数据进行了分辨率过度的空三计算结果，另一方面是由于步骤C中地面影像坐标系已经统一至倾斜无人机拍摄影像坐标系。

通过以上步骤后可以得到多源数据空地融合计算后的空三结果，如图7，这个结果既保证了建模区域的整体性又满足重点区域融合了高精度低空无人机与地面相机所拍摄的高分辨率影像数据，获得空地融合空三计算结果是本发明方法得到的关键性结果。

本发明在无像控点作业的情况下可用，因为所有影像数据坐标系都统一地纳入了倾斜无人机所获取的POS坐标系中，即使整体位置的绝对坐标精度不够，但是整体的相对位置统一，这也能构建空地融合实景三维模型。

若项目有具体绝对坐标精度要求，也可以将外业测设的像控点坐标加入到实施步骤中的每一空三计算中，不影响本发明具体实施。

步骤A与步骤D，步骤D与步骤B中所获取的倾斜无人机影像与低空无人机影像分辨率数据差别以及低空无人机影像与地面相机影像分辨率数值差别均控制在10倍以内(一般控制在1-5倍之间)，且步骤D中低空无人机手动拍摄影像数据是倾斜无人机与地面相机所拍摄影像分辨率的一个过渡，不能缺少，不然不同数据源数据分辨率差异过大，计算机软件在空三计算时无法直接融合。

对空地融合空三计算结果进行最终的建模计算，便可以获得本发明方法的空地融合高精度实景三维模型数据，如图9所示。

Claims (10)

1.一种倾斜摄影测量空地融合实景建模方法，其特征在于，包括以下步骤：

获取倾斜无人机拍摄的影像数据对应的空三计算结果、低空无人机航拍的影像数据对应的空三计算结果和地面相机拍摄的影像数据对应的空三计算结果；

融合倾斜无人机拍摄的影像数据对应的空三计算结果和低空无人机航拍的影像数据对应的空三计算结果，获得第一融合结果；

将所述第一融合结果与所述地面相机拍摄的影像数据对应的空三计算结果融合，获得第二融合结果；

利用所述第二融合结果重建实景三维模型。

2.根据权利要求1所述的倾斜摄影测量空地融合实景建模方法，其特征在于，获取地面相机拍摄的影像数据对应的空三计算结果的具体实现过程包括：地面相机连续拍摄目标区域的影像数据，在每个拍摄点上，以地面相机曝光点为圆心，以水平旋转的方式拍摄目标区域，每个拍摄点上相邻拍摄影像的重叠度不小于50％，相邻拍摄点之间获取的影像重叠度不小于50％；对地面相机拍摄的影像数据进行空三计算，获得地面相机拍摄的影像数据对应的空三计算结果；优选地，所述拍摄点与目标区域的距离为5-20m。

3.根据权利要求1所述的倾斜摄影测量空地融合实景建模方法，其特征在于，获取低空无人机航拍的影像数据对应的空三计算结果的具体实现过程包括：规划一层航线，利用无人机在该航线上对目标区域进行连续拍摄，对连续拍摄获得的影像数据进行空三计算，获得低空无人机航拍的影像数据对应的空三计算结果；或者，在目标区域内规划多层航线，利用无人机对目标区域进行连续拍摄，

每层航线内相邻拍摄影像的重叠度不小于50％，相邻两层航线间的影像重叠度不小于50％；对每一层航线对应的影像数据进行空三计算，获得低空无人机航拍的多层影像数据对应的空三计算结果。

4.根据权利要求3所述的倾斜摄影测量空地融合实景建模方法，其特征在于，第一融合结果的获取过程包括：

在规划一层航线的情况下，将倾斜无人机拍摄的影像数据对应的空三计算结果和低空无人机航拍的影像数据对应的空三计算结果进行融合空三计算，得到第一融合结果；

在规划多层航线的情况下，将倾斜无人机拍摄的影像数据对应的空三计算结果与低空无人机航拍的多层影像数据对应的空三计算结果中分辨率最低的空三计算结果进行融合空三计算，得到第一初步融合结果；

将第一初步融合结果与低空无人机航拍的多层影像数据对应的空三计算结果中分辨率次低的空三计算结果进行融合空三计算，得到第二初步融合结果；

依此类推，直至融合完低空无人机航拍的多层影像数据对应的所有空三计算结果，得到第一融合结果。

5.根据权利要求1所述的倾斜摄影测量空地融合实景建模方法，其特征在于，所述第二融合结果的具体获取过程包括：

利用所述倾斜无人机拍摄的影像数据对应的空三计算结果建立三维模型，从所述三维模型中选取若干特征坐标点，且所选取的若干特征坐标点同时为地面相机拍摄到的点；所述三维模型的坐标系与倾斜无人机获取的影像位置定位数据坐标系，即POS数据坐标系一致；

将所述若干特征坐标点的坐标值以像控控制点的方式加入地面相机拍摄的影像数据对应的空三计算结果中，再次对加入特征坐标点的地面相机拍摄的影像数据对应的空三计算结果进行空三计算，得到带坐标信息的空三计算结果；

将所述带坐标信息的空三计算结果与所述第一融合结果进行空地融合空三计算，得到第二融合结果。

6.根据权利要求1所述的倾斜摄影测量空地融合实景建模方法，其特征在于，所述倾斜无人机拍摄的影像数据的分辨率为所述低空无人机拍摄的影像数据的分辨率的1～10倍；所述低空无人机拍摄的影像数据的分辨率与所述地面相机拍摄的影像数据的分辨率的1～10倍。

7.根据权利要求6所述的倾斜摄影测量空地融合实景建模方法，其特征在于，所述倾斜无人机拍摄的影像数据的分辨率为所述低空无人机拍摄的影像数据的分辨率的1～5倍；所述低空无人机拍摄的影像数据的分辨率与所述地面相机拍摄的影像数据的分辨率的1～5倍。

8.一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序；其特征在于，所述处理器执行所述计算机程序，以实现权利要求1～7之一所述方法的步骤。

9.一种计算机程序产品，包括计算机程序/指令；其特征在于，该计算机程序/指令被处理器执行时实现权利要求1～7之一所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序/指令；其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1～7之一所述方法的步骤。

Images