CN108344397A - 基于倾斜摄影技术的自动化建模方法、系统及其辅助装置 - Google Patents

Abstract

本申请提供了一种基于倾斜摄影技术的自动化建模方法、系统及其辅助装置，所述方法包括：根据预设航线高度和重叠度信息规划针对航测兴趣区域的最短航线；检测所述无人机及其倾斜摄影装置在根据所述航线进行航测时的设备状态信息；根据所述设备状态信息筛选测绘遗漏区域，重新规划航线并执行航测过程，直至获得的有效航测数据覆盖所述航测兴趣区域；对所述航测数据进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。本申请通过上述手段，可有效解决现有技术因设备间彼此不知道对方的工作状态而导致的操作流程复杂、智能化程度不高的问题。

Description

基于倾斜摄影技术的自动化建模方法、系统及其辅助装置

技术领域

本申请涉及勘察建模技术领域，特别地，涉及一种能够简化传统倾斜摄影系统建模流程的自动化建模方法、系统及其辅助装置。

背景技术

三维地层结构模型的出现，能整体直观的体现工程区域地层分布情况、单一地层的均匀性分布、是否有地层缺失和夹层分布等，对于工程性质重要的地层的分布尤为重要，可以为勘察设计人员、建筑设计人员以及其他相关人员提供全方位的地层分布概况。

作为目前最有效率的三维建模数据获取技术，倾斜摄影技术主要通过在摄影平台上搭载多台倾斜摄影相机，同时从多角度采集数据，建立的三维模型在嵌入准确的地理信息的同时还能够获得高分辨率的顶面和侧面信息。无人机倾斜摄影系统是以无人机为飞行平台并以多视角倾斜摄影相机为任务设备的数据采集系统，目前该系统硬件系统以能同时进行一组垂直、四组倾斜的图像采集的五镜头相机为主。其主要技术特点如下：

1) 在进行倾斜摄影数据采集时，无人机飞行时高度较低，航线设计可采用多种重叠组组合，能够得到丰富真实的影像表达内容，包括多视角、高覆盖率和高分辨率的下视影像和侧视影像数据。

2) 在数据采集方面利用航空摄影大规模成图的特点，加上模型生产方面从倾斜影像批量提取及贴纹理的方式，能够有效地降低城市三维建模的时间和人力成本。

上述以无人机载具加装倾斜摄影的测绘系统与传统测绘手段相比具有多种优势，应用前景开阔，但主要存在两方面的缺点，一是从航拍到建模整个流程较为复杂，需要受过培训的专业人员进行操作，各环节均需要按照流程按部就班，自动化程度不高；其二是目前的倾斜摄影系统中，相机与无人机载具之间基本只有固定式连接，没有直接数据交互，设备间相互独立彼此不知道对方的状态，智能化程度不高。

发明内容

本申请提供一种基于倾斜摄影技术的自动化建模方法、系统及其辅助装置，用于解决现有无人机倾斜摄影系统的组成设备间彼此不知道对方的工作状态、智能化程度不高的问题。

本申请公开的一种基于倾斜摄影技术的自动化建模方法，执行所述方法的系统包括无人机以及搭载在无人机上的倾斜摄影装置，所述方法包括：根据预设航线高度和重叠度信息规划针对航测兴趣区域的最短航线；检测所述无人机及其倾斜摄影装置在根据所述航线进行航测时的设备状态信息；根据所述设备状态信息筛选测绘遗漏区域，重新规划航线并执行航测过程，直至获得的有效航测数据覆盖所述航测兴趣区域；对所述航测数据进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

优选地，所述航测兴趣区域由用户在电子地图上绘制；所述航线包括多段，根据所述无人机的续航时间划分。

优选地，所述系统还包括计算机；所述航线规划过程在计算机上完成，生成的航线信息以有线或无线方式传送至无人机。

优选地，在所述无人机根据所述航线进行航测之前，还包括：对非量测的倾斜摄影装置进行检校，获取摄影装置的内方位元素信息，作为后续生成三维测绘模型的基础。

优选地，在所述无人机根据所述航线进行航测之前，还包括：对无人机及其倾斜摄影装置进行航测开始前的常规检查，检查项目包括电池电量、各传感器信号和定位定向系统数据信息。

本申请公开的一种基于倾斜摄影技术的自动化建模辅助装置，包括微处理器、存储介质以及存储在存储介质上并可在微处理器上执行的第一计算机程序；所述辅助装置搭载在无人机上，所述微处理器执行所述第一计算机程序时实现以下步骤：接收计算机根据预设航线高度和重叠度信息规划生成的针对航测兴趣区域的最短航线；检测所述无人机及其倾斜摄影装置在根据所述航线进行航测时的设备状态信息；根据所述设备状态信息筛选测绘遗漏区域，重新规划航线并执行航测过程，直至获得的有效航测数据覆盖所述航测兴趣区域；将所述航测数据发送至计算机进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

本申请公开的一种基于倾斜摄影技术的自动化建模系统，包括计算机、无人机、搭载在无人机上的倾斜摄影装置、以及上述的辅助装置；所述计算机包括CPU、存储器以及存储在存储器上并可在CPU上执行的第三计算机程序；所述CPU执行所述第三计算机程序时实现以下步骤：根据预设航线高度和重叠度信息规划生成针对航测兴趣区域的最短航线，发送至所述辅助装置；接收所述倾斜摄影装置获取的航测数据，进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

本申请公开的一种基于倾斜摄影技术的自动化建模辅助装置，包括微处理器、存储介质以及存储在存储介质上并可在微处理器上执行的第二计算机程序；所述辅助装置搭载在无人机上，所述微处理器执行所述第二计算机程序时实现以下步骤：根据预设航线高度和重叠度信息规划针对航测兴趣区域的最短航线；检测所述无人机及其倾斜摄影装置在根据所述航线进行航测时的设备状态信息；根据所述设备状态信息筛选测绘遗漏区域，重新规划航线并执行航测过程，直至获得的有效航测数据覆盖所述航测兴趣区域；对所述航测数据进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

本申请公开的一种基于倾斜摄影技术的自动化建模系统，包括无人机、搭载在无人机上的倾斜摄影装置、以及上述的辅助装置。

本申请还公开了一种在其上记录有用于执行上述方法的程序的存储介质。

与现有技术相比，本申请通过规划针对航测兴趣区域（ROI，Region of Interest）的最短航线，动态获取无人机及其倾斜摄影装置在航测过程中的设备状态，在航测过程中因“丢片”或其他原因导致的原始信息遗漏/不可用情况发生时，能够自动筛选航测遗漏区域并重新规划航线，实现倾斜摄影测绘技术流程的自动化智能处理，较大程度地简化了系统的操作难度，可有效解决现有技术因设备间彼此不知道对方的工作状态而导致的操作流程复杂、智能化程度不高的问题。

附图说明

附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请基于倾斜摄影技术的自动化建模方法第一实施例的流程图；

图2为本申请基于倾斜摄影技术的自动化建模方法第二实施例的流程图；

图3为本申请基于倾斜摄影技术的自动化建模系统第一实施例的结构示意图；

图4为本申请基于倾斜摄影技术的自动化建模系统第二实施例的结构示意图；

图5为图1所示的方法实施例中最短航线规划示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。术语“包括”、“包含”及类似术语应该被理解为是开放性的术语，即“包括/包含但不限于”。术语“基于”是“至少部分地基于”。术语“一实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。

参照图1，示出了本申请基于倾斜摄影技术的自动化建模方法第一实施例的流程，执行所述方法的系统包括计算机、无人机以及搭载在无人机上的倾斜摄影装置，无人机上设置有以无线或有线方式分别与无人机和倾斜摄影装置连接的辅助装置。本优选实施例方法具体包括：

S101：计算机根据预设航线高度和重叠度信息规划生成针对航测兴趣区域的最短航线，并发送至无人机上的辅助装置。

具体实施时，可以在设定好航线高度和重叠度等信息后，接收用户在电子地图上绘制框图的形式圈中的需要航测的规划区域，然后根据设置的参数以航线最短为目标自动规划航线，规划区域及规划航线形式如图5所示。其中，支持按照续航时间分配多段航线，允许无人机多次完成测绘任务。生成的航线信息以无线或有线方式传送至无人机上的辅助装置；例如，可以采用能够被无人机和辅助装置识别的航线文件格式。

S103：辅助装置接收上述航线信息，检测所述无人机及其倾斜摄影装置在根据所述航线进行航测时的设备状态信息。

无人机收到上述航线信息后，根据航线信息飞行，带动倾斜摄影装置获取航测数据。其中的辅助装置可根据航线文件内容标定需要测绘的区域和系统各设备的参数，通过丰富的硬件接口和/或无线通信方式与无人机、倾斜摄影装置进行通讯（支持多种主流的协议），获取无人机及其搭载的倾斜摄影装置的设备状态、定位定向系统（POS，PositionOrientation System）信息和日志信息，确保无人机航测过程中设备的正常协作运行，并检查规划区域的完成度。

S105：根据上述设备状态信息筛选航测遗漏区域，重新规划航线并执行航测过程，直至获得的有效航测数据覆盖所述航测兴趣区域。

本次航线完成后，自动生成工作报告供测绘人员了解航测过程的更多细节，当辅助装置监测到倾斜摄影设备存在“丢片”或其他原因导致原始信息遗漏、不可用的情况发生时，自动筛选测绘遗漏区域以便重新规划后补充航测。

S107：计算机接收所述倾斜摄影装置获得的航测数据，对所述航测数据进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

具体实施时，可以在航测结束后，若航测过程无误，规划的ROI区域已经全覆盖，则可对从倾斜摄影装置导出的原始航测数据进行影像纠正、纹理特征匹配、逐像素级的密集匹配、空三测量和坐标转换等处理，最终根据需要生成数字表面模型（DSM，DigitalSurface Model）、数字高程模型（DEM，Digital Elevation Model）、数字正射影像图（DOM，Digital Orthophoto Map）等多种可视测绘模型。

其中，对于影像纠正，因为涉及的数据包括海量多视数据、物方连续的数字高程模型和大量离散分布粒度差异明显的地物对象，所以具有数据密集和计算密集特点。为进一步解决上述问题，本优选实施例中的真正射影像纠正主要包括提取物方和像方的语义信息、建立同名点对应关系、建立全局优化采样策略、联合纠正和整体匀光处理等五个步骤。物方语义信息的提取主要采用轮廓提取、面片拟合、屋顶重建等方法，像方语义信息的提取主要采用多视影像上通过影像分割、边缘提取和纹理聚类方法。

对于特征匹配和密集匹配，由于多视影像具有地物几何变形大、覆盖范围大、分辨率高且变化大等特点，仅通过一种匹配基元或匹配策略不能更好的完成匹配工作，难以获取建模需要的同名点。为进一步解决上述问题，本申请利用识别多视影像的特征来通过对多视影像的特征的搜索和识别，将将二维的数据转变为三维的数据，并设置不同权重的影响因子来进行分类和重构，获取建筑物的侧面结构和建筑物屋顶的高度和轮廓等三维建模所需的信息。

对于空三测量，由于多视影像数据下视影像数据和倾斜影像数据存在相互遮挡的关系和影像间的几何变形，所以传统的空三测量系统不能满足要求，本申请采用多视影像联合平差的方式予以解决，具体包括：首先为得到较好的同名点匹配结果，需要利用粗到精的金字塔匹配策略结合影像外方位元素在每级影像上进行同名点自动匹配和自由网光束法平差，然后通过联合解算连接点和连接线、控制点坐标、全球定位系统（GPS，GlobalPositioning System）/惯性测量单元（IMU，Inertial Measurement Unit）辅助数据的多视影像自检校区域网平差的误差方程确保平差结果的精度。

对于能够最真实地表达地面起伏情况的数字表面模型，在生产过程中，为了解决多视影像倾斜影像的变形大、阴影和遮挡等问题，需要利用并行算法进行高效率的特征匹配和逐像素级的密集匹配，然后进行滤波和融合处理，从而获得统一的高精度和高分辨率的DSM。

在进一步的优选实施例中，为进一步提高后续三维建模的处理速度和精度，在步骤S103之前，还包括：

S102-1：对非量测的倾斜摄影装置进行检校，获取摄影装置的内方位元素信息，作为后续生成三维测绘模型的基础。

具体实施时，可采用布郎畸变模型及纯平液晶显示屏（LCD，Liquid CrystalDisplay）相机检校法，以便快速取得可靠的检校参数。

在另一优选实施例中，为进一步提高航测效率，确保无人机本身运行正常，还可以在航测之前进行常规性检查，具体实现时，在步骤S103之前，还包括：

S102-2：对无人机及其倾斜摄影装置进行航测开始前的常规检查，检查项目包括电池电量、各传感器信号和定位定向系统数据信息。

另外，在航测过程后，还可以根据此前运行过程中的各类监控数据和异常数据，生成对此次航测任务的评价报告，指出此次航测数据是否可用，以及存在的问题，用于保证所生成的三维模型的准确性。

参照图2，示出了本申请基于倾斜摄影技术的自动化建模方法第二实施例的流程，与上述第一方法实施例的区别在于，执行本方法实施例的系统不配置计算机，所有软件方法都在无人机的辅助装置上运行。本优选实施例方法具体包括：

S201：根据预设航线高度和重叠度信息，规划针对航测兴趣区域的最短航线。

S203：检测所述无人机及其倾斜摄影装置在根据所述航线进行航测时的设备状态信息。

S205：根据上述设备状态信息筛选航测遗漏区域，重新规划航线并执行航测过程，直至获得的有效航测数据覆盖所述航测兴趣区域。

S207：对所述航测数据进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

对于前述的各方法实施例，为了描述简单，故将其都表述为一系列的动作组合，但是本领域的技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为根据本申请，某些步骤可以采用其他顺序或同时执行；其次，本领域技术人员也应该知悉，上述方法实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

本申请还公开了一种在其上记录有用于执行上述方法的程序的存储介质。所述存储介质包括配置为以计算机（以计算机为例）可读的形式存储或传送信息的任何机制。例如，存储介质包括只读存储器（ROM）、随机存取存储器（RAM）、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号（例如，载波、红外信号、数字信号等）等。

参照图3，示出了本申请基于倾斜摄影技术的自动化建模系统第一实施例的结构框图，包括计算机33、无人机30、搭载在无人机上的倾斜摄影装置31和辅助装置32；其中：

辅助装置32具体包括微处理器、存储介质以及存储在存储介质上并可在微处理器上执行的第一计算机程序；所述辅助装置搭载在无人机上，所述微处理器执行所述第一计算机程序时实现以下步骤：

S321：接收计算机33根据预设航线高度和重叠度信息规划生成的针对航测兴趣区域的最短航线；

S322：检测所述无人机30及其倾斜摄影装置31在根据所述航线进行航测时的设备状态信息；

S323：根据所述设备状态信息筛选测绘遗漏区域，重新规划航线并执行航测过程，直至获得的有效航测数据覆盖所述航测兴趣区域；

S324：将所述航测数据发送至计算机33进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

计算机33具体包括CPU、存储器以及存储在存储器上并可在CPU上执行的第三计算机程序；所述CPU执行所述第三计算机程序时实现以下步骤：

S331：根据预设航线高度和重叠度信息规划生成针对航测兴趣区域的最短航线，发送至所述辅助装置32；

S332：接收所述倾斜摄影装置31获取的航测数据，进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

具体实施时，辅助装置32可以采用嵌入式设备，配置嵌入式操作系统，支持现有主流的通信协议和数据解析，实现对倾斜摄影装置的状态检测与控制；辅助装置32可以使用无人机的电池供电，具有外壳。计算机33可配置Windows平台的可视化操作软件界面，通过串口设备与辅助装置32和倾斜摄影装置31之间传输数据和指令。

参照图4，示出了本申请基于倾斜摄影技术的自动化建模系统第二实施例的结构框图，包括无人机40、搭载在无人机上的倾斜摄影装置41和辅助装置42；其中：

辅助装置42具体包括微处理器、存储介质以及存储在存储介质上并可在微处理器上执行的第二计算机程序；所述微处理器执行所述第二计算机程序时实现以下步骤：

S421：根据预设航线高度和重叠度信息规划针对航测兴趣区域的最短航线；

S422：检测所述无人机及其倾斜摄影装置在根据所述航线进行航测时的设备状态信息；

S423：根据所述设备状态信息筛选测绘遗漏区域，重新规划航线并执行航测过程，直至获得的有效航测数据覆盖所述航测兴趣区域；

S424：对所述航测数据进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于本申请的装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于倾斜摄影技术的自动化建模方法，其特征在于，执行所述方法的系统包括无人机以及搭载在无人机上的倾斜摄影装置，所述方法包括：

根据预设航线高度和重叠度信息规划针对航测兴趣区域的最短航线；

检测所述无人机及其倾斜摄影装置在根据所述航线进行航测时的设备状态信息；

根据所述设备状态信息筛选测绘遗漏区域，重新规划航线并执行航测过程，直至获得的有效航测数据覆盖所述航测兴趣区域；

对所述航测数据进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

2.根据权利要求1所述的自动化建模方法，其特征在于，

所述航测兴趣区域由用户在电子地图上绘制；

所述航线包括多段，根据所述无人机的续航时间划分。

3.根据权利要求1或2所述的自动化建模方法，其特征在于，所述系统还包括计算机；

所述航线规划过程在计算机上完成，生成的航线信息以有线或无线方式传送至无人机。

4.根据权利要求1所述的自动化建模方法，其特征在于，在所述无人机根据所述航线进行航测之前，还包括：

对非量测的倾斜摄影装置进行检校，获取摄影装置的内方位元素信息，作为后续生成三维测绘模型的基础。

5.根据权利要求1所述的自动化建模方法，其特征在于，在所述无人机根据所述航线进行航测之前，还包括：

对无人机及其倾斜摄影装置进行航测开始前的常规检查，检查项目包括电池电量、各传感器信号和定位定向系统数据信息。

6.一种基于倾斜摄影技术的自动化建模辅助装置，包括微处理器、存储介质以及存储在存储介质上并可在微处理器上执行的第一计算机程序；所述辅助装置搭载在无人机上，其特征在于，所述微处理器执行所述第一计算机程序时实现以下步骤：

接收计算机根据预设航线高度和重叠度信息规划生成的针对航测兴趣区域的最短航线；

检测所述无人机及其倾斜摄影装置在根据所述航线进行航测时的设备状态信息；

根据所述设备状态信息筛选测绘遗漏区域，重新规划航线并执行航测过程，直至获得的有效航测数据覆盖所述航测兴趣区域；

将所述航测数据发送至计算机进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

7.一种基于倾斜摄影技术的自动化建模辅助装置，包括微处理器、存储介质以及存储在存储介质上并可在微处理器上执行的第二计算机程序；所述辅助装置搭载在无人机上，其特征在于，所述微处理器执行所述第二计算机程序时实现以下步骤：

根据预设航线高度和重叠度信息规划针对航测兴趣区域的最短航线；

检测所述无人机及其倾斜摄影装置在根据所述航线进行航测时的设备状态信息；

根据所述设备状态信息筛选测绘遗漏区域，重新规划航线并执行航测过程，直至获得的有效航测数据覆盖所述航测兴趣区域；

对所述航测数据进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

8.一种基于倾斜摄影技术的自动化建模系统，其特征在于，包括计算机、无人机、搭载在无人机上的倾斜摄影装置、以及权利要求6所述的辅助装置；

所述计算机包括CPU、存储器以及存储在存储器上并可在CPU上执行的第三计算机程序；所述CPU执行所述第三计算机程序时实现以下步骤：

根据预设航线高度和重叠度信息规划生成针对航测兴趣区域的最短航线，发送至所述辅助装置；

接收所述倾斜摄影装置获取的航测数据，进行影像纠正、纹理特征匹配、逐像素级的密集匹配和空三测量，生成三维测绘模型。

9.一种基于倾斜摄影技术的自动化建模系统，其特征在于，包括无人机、搭载在无人机上的倾斜摄影装置、以及权利要求7所述的辅助装置。

10.一种存储介质，其特征在于，所述存储介质存储有用于执行权利要求1~5任一所述的方法的程序。