CN107251055B

CN107251055B - 走廊捕获

Info

Publication number: CN107251055B
Application number: CN201680009454.2A
Authority: CN
Inventors: 安德鲁·米林; 拉塞尔·艾伦·罗杰斯; 保罗·拉普斯顿
Original assignee: Nearmap Australia Pty Ltd
Current assignee: Nearmap Australia Pty Ltd
Priority date: 2015-02-10
Filing date: 2016-01-18
Publication date: 2020-07-28
Anticipated expiration: 2036-01-18
Also published as: CA2975758C; EP3256990B1; CA2975758A1; WO2016127205A1; JP6698670B2; CN107251055A; ES2804898T3; US20160229555A1; EP3256990A4; JP2018511509A; AU2016218934B2; AU2016218934A1; EP3256990A1; US9824290B2

Abstract

一种创建走廊区域的正射拼接的方法，该走廊区域至少部分地由走廊路径描述，该方法包括使航空器沿着近似走廊路径的主飞行线路飞行并捕获一系列的主图像；使航空器沿着基本平行于走廊路径的次要飞行线路飞行并捕获一系列的次要图像；在主图像和次要图像中识别与公共地面点相对应的公共特征；经由光束调整和从公共地面点中估计与每个主图像相关联的外部取向以及与每个地面点相关联的三维位置；使用外部取向中的至少一些和三维地面点位置中的至少一些对主图像中的至少一些进行正射校正；以及将正射校正的主图像合并以创建正射拼接。

Description

走廊捕获

发明领域

本发明涉及走廊正射拼接(orthomosaics)的有效和准确的创建。

背景

正射照片的准确地理参考的拼接图(被称为正射拼接)正在成为传统图片地图的流行替代品，因为它们可以从航空照片自动创建，并且因为它们显示了地面上的实际有用的细节。

在文献中很好地描述了从航空照片创建准确的正射拼接。例如，参见Wolf等人的“Elements of Photogrammetry with Application in GIS”的第四版和“Manual ofPhotogrammetry”第六版(美国摄影测量和遥感学会(ASPRS))。

正射拼接的创建需要系统地捕获感兴趣区域的重叠航空照片，以确保感兴趣区域的完整覆盖，并确保图像中有足够的冗余以允许精确的光束调整、正射校正和光控的取向(alignment of the photos)。

光束调整是通过其改善对地面点和相机姿态进行冗余估计的过程。现代光束调整在Triggs等人的“Bundle Adjustment-Modern Synthesis”中进行详细描述。

光束调整可以在手动识别的地面点的位置上操作，或者越来越多地在重叠的照片之间自动匹配的自动识别的地面特征的位置上操作。

重叠的航空照片通常通过在感兴趣区域上以蛇形模式导航测量航空器来捕获。测量航空器载有航空相机系统，并且蛇形飞行模式确保由相机系统捕获的照片沿着飞行模式内的飞行线路和相邻飞行线路之间的飞行线重叠。

包含铁路径，高速公路，电力线，河流，河渠，海岸线和其他狭窄曲折特征的走廊往往特别引人关注。然而，传统的基于区域的航空测量技术对于捕获走廊是次优的。

发明概述

在第一方面中，本发明提供了一种创建走廊区域的正射拼接的方法，该走廊区域至少部分地由走廊路径描述，该方法包括：沿着主飞行线路飞行航空器，该主飞行线路包括一系列的主飞行线路段，每个主飞行线路段近似于走廊路径的至少一部分；在沿着每个主飞行线路段飞行期间且经由通过航空器携带的航空相机系统捕获一系列的主图像，每个主图像至少部分地与序列中的其后续主图像重叠；沿着次要飞行线路飞行航空器，次要飞行线路包括一系列的次要飞行线路段，每个次要飞行线路段基本上平行于走廊路径的至少一部分；在沿着每个次要飞行线路段飞行期间并经由通过航空器携带的航空相机系统捕获一系列的次要图像，次要图像中的至少一些与主图像中的至少一些重叠；在多个主图像和次要图像中识别与公共地面点相对应的公共特征；经由光束调整和根据公共地面点估计与每个主图像相关联的外部取向和与每个地面点相关联的三维位置；使用外部取向中的至少一些和三维地面点位置中的至少一些对主图像中的至少一些进行正射校正；以及将正射校正的主图像合并以创建正射拼接。

航空器可以沿着每个主飞行线路段基本上水平飞行，并且可以沿着每个主飞行线路段和其后续主飞行线路段之间的回转转弯(go-around turn)飞行，该转弯具有大于180度的角度。

航空器可以沿着每个次要飞行线路段和其后续次要飞行线路段之间的转弯飞行，该转弯具有小于90度的角度。

航空相机系统可以包括用于捕获基本上垂直的图像的至少一个垂直相机。

航空相机系统可以包括用于捕获基本上偏斜的图像的至少一个偏斜相机。

主图像和次要图像可以包括垂直图像和偏斜图像。

主图像可以包括垂直图像，并且次要图像可以包括偏斜图像。

航空相机系统可以包括用于捕获概览图像的至少一个概览相机和用于捕获细节图像的多个细节相机，每个细节图像具有比至少一个概览图像更高的分辨率，细节图像中的至少一些可以与概览图像中的一些重叠，并且主图像可以包括概览图像和细节图像。

次要图像可以包括概览图像和细节图像。

次要飞行线路可以是弯曲的并且包括倾斜转弯。

附图简述

图1显示了感兴趣的走廊路径。

图2显示了由折线近似的走廊路径以及由多边形近似的走廊区域。

图3显示了与感兴趣的相交区域结合的走廊。

图4显示了基于区域的航空测量的蛇形飞行模式。

图5显示了将航空相机系统的幅宽(swath width)与其角视场和地平面以上的高度相关联的图示和方程式。

图6显示了利用一系列的测量路径段来覆盖感兴趣的走廊区域的方法。

图7显示了利用一系列的测量路径段来覆盖感兴趣的走廊区域的另一种方法。

图8显示了使用更宽的测量路径段来覆盖感兴趣的相交区域。

图9显示了使用两组飞行线路覆盖的感兴趣的走廊区域。

图10显示了使用较小数量的具有更宽的幅宽的飞行线路覆盖的感兴趣的走廊区域。

图11显示了用于精确性目的使用用于捕获走廊的主图像的主飞行线路以及用于捕获走廊的次要图像的次要飞行线路。

图12显示了测量航空器在平面飞行的同时捕获走廊的垂直图像。

图13显示了测量航空器在倾斜飞行的同时捕获走廊的垂直图像。

图14显示了测量航空器捕获走廊的垂直和偏斜图像二者。

图15显示了覆盖走廊路径的具有倾斜转弯的飞行路径。

图16显示了将倾斜航空器的垂直成像偏移与其高度、倾斜角、速度和转弯半径相关的图示和方程式。

图17显示了双分辨率V5-300HyperCamera航空相机系统。

图18显示了双分辨率航空相机系统的概览视场和重叠的细节视场。

图19显示了携带双分辨率航空相机系统的Cessna 208航空器的前视图，以及产生的细节视场的概览和聚合。

图20显示了携带双分辨率航空相机系统的Cessna 208航空器的侧视图，以及产生的细节视场的概览和聚合。

图21显示了双分辨率航空相机系统的三次连续拍摄的重叠视场。

图22显示了相邻飞行线路中的双分辨率航空相机系统的重叠视场。

图23显示了用于诸如HyperCamera的航空相机系统的电力和控制系统的框图。

图24显示了用于从航空照片中有效地创建正射拼接的处理流程。

图25显示了用于从双分辨率航空照片中有效地创建正射拼接的处理流程。

参考数字的列表

100 走廊路径。

102 近似走廊路径的折线。

104 折线顶点。

106 近似走廊形状的多边形。

108 感兴趣的相交区域。

110 基于区域的感兴趣区域。

112 飞行线路。

114 连续飞行线路之间的转向。

120 测量路径段。

122 测量路径段片(swath)。

124 关于感兴趣的相交区域的更宽的测量路径段片。

126 连续飞行线路段之间的回转。

128 飞行线路段。

130 主飞行线路段。

132 次要飞行线路段。

134 连续飞行线路段之间的平缓转弯。

136 聚合行迹。

140 垂直成像视场。

142 偏斜成像视场。

150 地面。

152 地面上的走廊中心线。

154 弯曲的飞行路径。

156 倾斜角。

158 倾斜偏移。

160 细节视场。

164 纵向细节视场。

170 概览视场。

172 侧向概览视场。

174 纵向概览视场。

180 聚合细节视场。

182 横向聚合细节视场。

212 航空器地板上的相机孔。

220 飞行方向。

230 航空测量航空器。

300 计算机。

302 飞行员显示器。

304 惯性测量单元(IMU)。

306 全球导航卫星系统(GNSS)接收机。

308 模数转换器(ADC)。

310 相机控制单元(CCU)。

320 电池单元。

322 航空器辅助动力。

324 地面动力装置(GPU)。

326 DC-DC转换器。

330 角运动补偿(AMC)装置。

340 相机。

350 航空相机系统。

352 双分辨率航空相机系统。

400 细节照片。

402 概览照片。

404 正射拼接。

410 匹配特征步骤。

412 解决姿势和位置步骤。

414 正射校正摄影步骤。

416 混合正射照片步骤。

优选实施例的详细描述

感兴趣的走廊区域(以下简称为“走廊”)通常由沿着任意路径100的陆地带组成，如图1所示。走廊可以沿着物理结构，诸如铁路径或河流。走廊的长度通常远大于走廊的宽度。

走廊的宽度通常可以沿路径变化，但是许多走廊应用固定宽度。出于在本说明书中的说明性目的，通常仅示出固定宽度走廊。

走廊可以是连续的或不连续的，并且走廊可以包括多个较小的路径，诸如环路或叉路。出于在本说明书中的说明性目的，仅示出了连续的无分叉走廊。

如图2所示，走廊路径可以由折线102近似得到，折线102由连续顶点104之间的一系列的直线段组成。折线被构造成使得从路径到折线的最大垂直距离在限定的公差内。对于期望的走廊宽度，折线顶点104可以垂直于路径偏移以获得围绕走廊的多边形106的顶点。通过调整公差以及由此的顶点的数量，折线和多边形可以以任意精度近似走廊路径和走廊区域。期望的走廊宽度通常被扩展以适应折线公差，即，以确保多边形106围绕期望的走廊区域。

也可以经由一个或更多个形状(例如，多边形)直接界定走廊，而不是经由路径明确地界定走廊。

走廊可以与没有被走廊边界完全包围的感兴趣区域108相交，诸如与高速公路相邻的城镇。走廊测量区域于是可以由走廊边界和感兴趣区域的边界的联合来界定，如图3所示。

当捕获传统的扩展测量区域110时，如图4所示，测量航空器通常遵循蛇形飞行模式。飞行计划由多个由横向偏移分开的平行飞行线路112组成。每个飞行线路指定起始和终止位置和高度。航空器从起点到终点以直线行进。在飞行线路的末端处，航空器执行180度转弯114，以沿着由下一个飞行线路的起始和终止位置指定的横向间隔的平行路径返回。

飞行线路的位置和数量由多个参数计算，包括测量边界、飞行高度、地面高程、相机系统视场以及所需的正向重叠和侧面重叠。

传统的航空测量飞行计划在文献中有很好的描述。例如参见美国专利第6,711,475号(Murphy)，该专利的内容通过引用并入本文。

计算飞行线路的位置和数量的另一个因素是在测量边界处的应变距离。应变距离被添加到测量边界以扩大捕获面积。这允许由于测量边缘附近的航空器俯仰、偏航或滚动中的湍流或变化而导致的不均匀的图像捕获，并确保在测量区域内完全覆盖。

图5显示了携带航空相机系统350的测量航空器230。该图示和方程式将航空相机系统350的幅宽(w)258(即，其中其视场与地面150相交)与其角度视场(β)250和地平面上的高度(a)254相关联。

对于走廊捕获，飞行计划生成将对于传统测量捕获的飞行线路计算方法与使用成本最小化过程将多个测量路径段拟合到走廊测量区域的附加过程相结合。

首先，传统的测量飞行计划计算用于确定捕获走廊测量的宽度所需的平行飞行线路的最小数量。飞行计划计算包括添加到走廊宽度的应变距离，以确保完整的图像覆盖。对于高的高度测量或窄的走廊路径，可以用单个飞行线路捕获整个走廊宽度，即，如果走廊宽度包含在相机系统的幅宽258内。对于较低的高度测量或较宽的走廊，可能需要多条飞行线路才能捕获整个走廊宽度。

飞行计划过程基于相机系统的幅宽258和所需的横向重叠来计算对于一组相邻飞行线路的聚合幅宽。从聚合幅宽中减去添加到走廊测量宽度的应变，以确定对于走廊飞行计划的可用幅宽。

其次，走廊测量区域被划分为多个线性测量路径段。每个路径段的宽度由聚合幅宽确定。每个路径段的长度和取向由走廊路径的方向和变化确定。对于具有扩展直边段的走廊路径(例如，铁路径)，测量可以能够被细分为少量的长的路径段。对于曲折的走廊测量路径(例如，河流)，测量可能需要细分为更大数量的短的路径段。路径段可以在任何方向上定向，并且可以以任意角度相交。

期望的是最小化由航空器飞行的路径段的数量，因为测量航空器可能需要执行回转转弯以从一个路径段的末端行进到下一个路径段的开始。

存在用于将测量细分为路径段的许多方法。一种在图6中示出的简单的方法从走廊的一端处开始，并在走廊路径的方向上创建了路径段120。当测量边界不再包含在可用片122内时，路径段被终止。在这一点上，新的路径段120在走廊路径的方向上的这一点上开始，并重复该过程，直到到达走廊的末端。

另一种在图7中示出的方法使用成本最小化来减少路径段120的数量。通过在与走廊路径100垂直偏离的点处开始路径段120并改变路径段取向，与上述简单方法相比，通常可以实现更长的路径段。该最小化过程找到对于每个路径段的最佳路径起始位置和取向。

另一种方法使用成本最小化来最大化路径段120的长度。该方法找到对于走廊路径的最长可能的路径段。该方法然后找到下一个最长的路径段。该过程一直持续到整个走廊被包含在路径段内。

另一种方法直接从走廊折线102的直线段导出路径段120。

为了确保走廊测量区域106的完整覆盖，由于路径段以任意角度的交叉和应用于测量边界的应变，必须调整每个路径段的起点和终点。每个路径段的长度增加应变值以增加相邻路径段之间的重叠，并确保走廊测量边缘附近的区域被路径段交叉处的图像完全捕获。

每个路径段的飞行线路的数量不限于由飞行计划计算所计算出的飞行线路的最小数量。增加飞行线路的数量可以增加可用的幅宽，这通常会减少捕获测量图像所需的路径段的数量。

增加飞行线路的数量在其中路径分割创建了大量的短的路径段的情况下(例如，当捕获蜿蜒的河流时)也是有益的。

当走廊测量路径的宽度不是恒定的时，增加飞行线路的数量也是有益的，这允许用更少的飞行线路捕获细的走廊段，并且用较大数量的飞行线路捕获更宽的走廊段。

当捕获与感兴趣的相交区域108(例如，与高速公路相邻的城镇)组合的走廊测量路径时，增加飞行线路的数量也是有益的，如在图8种所示，其中使用较宽的路径段124来捕获感兴趣的相交区域108。

飞行计划被生成以绘制航空器航行的路径，使得捕获到所有路径段的所有飞行线路。

图9显示了用于覆盖走廊区域106的两组平行的飞行线路段128。这里，路径段120(未示出)直接从走廊路径折线102的直线段导出。

首先，飞行计划创建过程创建飞行线路段128的有序列表。在路径段120包含多个飞行线路的情况下，每个路径段120内的飞行线路段128可以顺序地飞行以完成每个段120。可选地，走廊长度可以被多次飞行，其中飞行计划在沿着走廊的一个方向上指定每个路径段120一个飞行线路段128，之后是在每个路径段120中飞行第二飞行线路段128的返回路径，诸如此类直到捕获了完整的走廊宽度。

其次，创建连续飞行线路段128之间的路径。这指定了飞行员应该从一个飞行线路段128的末端行进到下一个飞行线路段128的起始处的路径。飞行员也可被允许自由地在连续的飞行线路段128之间航行。随着连续的飞行线路段128可以以任意角度相交，所需的转弯可以用方位上小的变化来实现，或者可以通过回转126来实现，其中航空器进行任何直到360度的转弯以将其本身对准下一个飞行线路段128。连续的飞行线路段128可以相交或者可以相隔一段距离。

航空相机系统350的幅宽258随着视场角250的增加以及随着高度254的增加而增加。图10显示了用于覆盖走廊区域106的两个更小的平行组的飞行线路段128，假设与图9中相比的更高的高度操作和/或更宽角度的成像，即具有较宽的聚合幅宽136。

为了创建关于测量区域的完整的航空正射拼接，测量边界内的每个点都必须被相机系统捕获。这通常通过使用允许航空器在相邻捕获图像之间的偏航、俯仰和滚动的变化的重叠来实现。

重叠也用于改善正射拼接与现有的正射拼接或测量地面特征的对准。通过从多个角度对地面上的相同点进行成像来改善对准，允许以更高的精度计算相机系统的位置和取向。

通常，增加特定方向上的重叠改善了在相同方向上的正射拼接对准。增加前向重叠提高了飞行路径的方向上的对准。增加旁向重叠改善了在垂直于飞行路径的方向上的对准。

在每个路径段用单个飞行线路捕获的走廊的情况下，仅在前向方向上存在重叠。旁向重叠的缺失可能导致正射拼接与地面特征的未对准。在这种情况下，未对准误差向量通常在与走廊路径垂直的方向上。

通常，每个测量路径段120应该捕获至少两个或更多个平行的飞行线路段128，以便能够以精确对准生成对地面特征的正射拼接。

对于具有窄宽度的走廊测量路径，每路径段120捕获两条平行的飞行线路段128可导致在走廊测量边界外的重要区域的捕获。

以下方法优化了采用精确对准捕获窄走廊测量路径的图像的过程。该方法使用具有不同计划特性的两条飞行线路，称为主飞行线路和次要飞行线路。

主飞行线路被捕获用于正射拼接生成的目的，并且需要完全覆盖走廊测量路径。

次要飞行线路被捕获用于与主飞行线路的旁向重叠的目的，并且与主飞行线路平行并横向偏移地飞行。不需要连续的旁向重叠来实现正射拼接对准。如果每个次要飞行线路与其平行主飞行线路的长度的大部分重叠，则实现对准。

通过首先用单个飞行线路配置来计划走廊测量路径，生成用于主飞行线路和次要飞行线路的飞行计划。单个主飞行线路通常遵循走廊路径100(或走廊路径折线102)。其次，平行于主飞行线路段且与其横向偏移的次要飞行线路段被添加到飞行计划中。

由于次要飞行线路不需要完全覆盖，因此飞行计划可以允许“自由飞行”在次要飞行线路段上的走廊长度，其中航空器直接从一个飞行线路段转弯到下一个飞行线路段。这使得次要飞行线路能够被捕获，而不需要捕获每个次要飞行线路段的完整长度所需的回转126。如下面进一步讨论的，次要飞行线路也可以沿着具有倾斜转弯的弯曲飞行路径来飞行。

图11显示了主飞行线路，其包括用于覆盖走廊区域106的一系列的主飞行线路段130以次要飞行线路，其包括用于为精确目的提供重叠的一系列的次要飞行线路段132。主飞行线路段130通常通过回转126连接。次要飞行线路段132通常通过可以自由飞行的转弯134连接。

当使用双分辨率航空相机系统352时，如下面更详细地讨论的，由于概览图像提供了飞行线路之间的最大重叠，因此相机系统可以被配置为仅捕获沿着次要飞行线路的概览图像。

次要飞行路径可能会在主飞行线路以后的大量时间(例如，如果方便的话，数天或数周之后)被捕获。这样允许在多个地点之间运送航空器的同时捕获长长的走廊。

当使用双分辨率航空相机系统352时，可以使用概览和细节相机来捕获次要飞行线路，从而允许在次要飞行线路的视场内生成正射拼接。这在次要飞行线路重叠的区域中产生了更宽的正射拼接，而在走廊路径段交叉处产生较窄的正射拼接。

用于捕获走廊的另一种方法可用于包含具有宽的横向视场的相机系统的航空器，例如通过多个相机捕获垂直图像、左偏斜图像和/或右偏斜图像来实现。捕获垂直和偏斜图像的航空相机系统在美国专利第8,497,905号和第8,675,068号(Nixon)中描述，其内容通过交叉引用并入本文。

飞行计划使用在连续飞行线路段128之间的转弯沿着飞行线路绘制飞行路径，而不使用回转126从一条飞行线路转向下一条飞行线路。航空器遵循飞行路径直接从一个段到另一个段，倾斜航空器以进行转弯。飞行线路段被计划使得倾斜角度小于偏斜相机的视场的极限。

正射拼接生成过程使用最靠近天底点的图像。当水平飞行时，垂直指向相机是天底，如图12所示。当航空器正在倾斜时，左或右偏斜图像最接近天底，并用于正射拼接生成，如图13所示。

数字高程模型(DEM)是正射拼接生成过程的常见伴随产物。可以通过计算测量区域内每个点的高程来创建DEM。可以通过将点定位在包含该点的多个图像中来计算在该点处的高程。如果该点存在于三个或更多个图像中，则其高程可以使用相机的内部和外部取向进行三角测量。

当每个点从不同角度在大量图像中被捕获时，可以以更高的精度计算点高程。这是通过使用前向和旁向重叠来实现的。

在利用主飞行线路和次要飞行线路进行走廊捕获的情况下，只有部分的测量区域可能包含用旁向重叠捕获的图像。

增加包含旁向重叠的图像区域的方法是从次要飞行线路中捕获偏斜图像。如图14所示，偏斜图像由指向主飞行线路图像的中心的成像系统捕获。

另外，从次要飞行线路捕获的图像可以用于生成走廊测量区域的偏斜正射拼接。

用于捕获走廊的另一方法使用基于走廊路径100的弯曲的飞行路径154，如图15所示。

弯曲的飞行路径可以在任何给定点处朝向走廊路径100的曲率中心偏移，以考虑由航空器的倾斜引起的偏移(d)158。如图16中的图示和方程式所示，偏移(d)158与地平面之上的高度(a)254、倾斜角(θ)156、航空器速度(v)、倾斜半径(r)和重力(g)相关。最初假设倾斜半径(r)是走廊路径100的半径(在任何给定点处)，可以迭代地得到最终倾斜半径(r)和倾斜角(θ)156。

即使在飞行弯曲的飞行路径154时，如果走廊包含急转弯，则飞行员也可以像往常一样执行回转126。

任何合适的航空相机系统350可用于走廊捕获。

用于准确的光束调整的足够的冗余通常指示选择至少60％的纵向(前向)重叠(即，在沿着飞行线路的连续照片之间)以及至少40％的横向(旁向)重叠(即，在相邻飞行线路上的照片之间)。这通常被称为60/40重叠。

选择的重叠确定所需的飞行时间和捕获的照片数量(并随后处理)。因此，在飞行时间和处理时间方面，高重叠是昂贵的，并且重叠的实际选择代表成本和正正射拼接精度之间的折衷。

使用双分辨率或多分辨率相机系统352提供了一种在不牺牲精度的情况下减少重叠的强大方式。在美国专利第8,497,905号和第8,675,068号(Nixon)中描述了多分辨率航空照片的捕获和处理，其内容通过交叉引用并入本文。多分辨率的照片集允许从较低分辨率的概览照片之间的重叠导出正射拼接精度，而正射拼接的细节来源于较高分辨率的细节照片。

美国专利第8,497,905号和第8,675,068号(Nixon)描述了可附接到包括多分辨率垂直和偏斜航空成像系统的小航空器的外部相机吊舱的系列。美国专利申请第14/310,523号(Tarlinton)和第14/478,380号(Lapstun)(其内容通过引用并入本文)描述了适用于部署在具有标准的相机孔中的多分辨率航空相机系统的HyperCamera^TM系列。

图17显示了双分辨率V5-300HyperCamera航空相机系统352，其包括一个广角概览相机和五个窄角度细节相机，可部署在具有标准(例如，20英寸直径)相机孔212的大多数测量航空器的座舱或驾驶室中。

图18显示了HyperCamera装置的细节相机和概览相机的三维视场160和170在地平面上的投影。它示出了细节视场160如何在垂直于飞行方向220的方向上重叠。

图19显示了携带双分辨率航空相机系统的Cessna 208测量航空器230的正视图，并且显示了相机系统352的横向概览视场172以及相机系统352的聚合的横向细节视场182。聚合的横向细节视场182是五个单独重叠的横向细节视场162的聚合。

图20显示了携带HyperCamera的Cessna 208测量航空器230的侧视图，并且显示了相机系统352的纵向概览视场174以及相机系统352的纵向细节视场164。

图17显示了在飞行方向220上的重叠的概览视场170和三个连续拍摄的聚合的细节视场180。聚合的细节视场180是五个单独重叠的横向细节视场160的聚合。在图中所示的相机拍摄速率(即，由纵向重叠所暗示的)处，聚合的细节视场180在纵向上重叠大约20％，而概览视场170在纵向上重叠大约85％。

图18显示了来自相邻的飞行线路的两个拍摄(即，在相反方向220上飞行)的重叠的概览视场170和聚合的细节视场180。在图中所示的飞行线路间距处，聚合的细节视场180在横向上重叠在20％和25％之间，而概览视场170在横向上重叠大约40％。

如前所述，传统的单分辨率航空测量通常以60/40重叠(即，60％前向(或纵向)重叠)和40％旁向(或横向)重叠的方式操作。利用如图21和图22中所示操作的多分辨率HyperCamera，概览照片以好于85/40重叠来捕获，而细节照片通常以只有20/20重叠或更少的重叠来捕获。

图23显示了用于诸如双分辨率HyperCamera系统352的航空相机系统350的电力和控制系统的框图。相机340由计算机300经由一组模数转换器308(ADC)控制。

计算机300使用一个或更多个全球导航卫星系统(GNSS)接收机304来实时监测测量航空器230的位置和速度。GNSS接收机可以与各种基于空间的卫星导航系统兼容，包括全球定位系统(GPS)、GLONASS，伽利略和北斗。

计算机300根据存储的飞行计划和航空器的实时位置和速度，经由ADC 308向相机340提供精确定时的启动信号以触发相机曝光。如果相机340包含自动对焦机构，则计算机300还向每个这样的相机提供聚焦信号以在曝光之前触发自动对焦。

计算机300可以以相同的速率启动相机340。可选地，计算机300可以以与细节相机不同的速率(即，更高速率或更低速率)启动双分辨率系统的概览相机，以在连续的概览照片之间实现不同的重叠(即，更高的重叠或更低的重叠)，而与连续细节照片之间的重叠无关。计算机300可以同时启动相机，或者它可以错开启动的定时，例如以纵向实现照片的不同对准，或者降低峰值功率消耗。

飞行计划描述了构成测量的每条飞行线路，并且需要沿着每条飞行线路的标称相机启动速率，以确保在连续拍摄之间保持必要的重叠。启动速率对航空器下方的地形高程敏感，即地面越高，需要越高的启动速率。其根据航空器的实际地面速度来通过计算机300进行调整，航空器的实际地面速度可能会由于风和飞行员对航空器的操作而与其标称速度不同。

计算机300还使用飞行计划和实时GNSS位置来经由飞行员显示器302来引导飞行员沿着每个飞行线路。

如图23所示，来自GNSS接收机的位置数据可选地用来自惯性测量单元306(IMU)的取向信息来增强。这允许计算机300向飞行员提供关于飞行员遵循飞行计划的接近程度的增强反馈。在没有IMU 306的情况下，GNSS接收机直接连接到计算机300。

计算机存储每次拍摄的GNSS位置(以及可选地IMU取向，如果IMU306存在的话)。这在照片的后续处理中被使用以产生精确的正射拼接。

一个或更多个可选的角运动补偿(AMC)装置330响应于由IMU 306报告的取向，校正相机的取向，使得它们随着时间维持一致的指向方向，而不管航空器在飞行期间的滚动、俯仰或偏航。这确保了捕获的照片可以用于创建没有间隙的照片拼接，同时允许连续拍摄之间和相邻飞行线路之间的重叠被最小化。

AMC 330可以由在其上安装了相机340的具有两个或三个旋转轴线(即，滚动和俯仰；或滚动、俯仰和偏航)的平台组成。市场上可用的AMC平台包括来自Leica Geosystems的PAV系列。

可选地，AMC 330可以包括每个相机(或相机组)的光路中的一个或更多个光束转向机构，由此通过光束转向来校正相机的指示方向。

随着飞行高度增加和/或地面采样距离(GSD)减小，角运动补偿变得越来越重要。

航空器的前向运动造成的运动模糊等于航空器的速度乘以相机的曝光时间。一旦运动模糊成为GSD的很大一部分(或超过GSD)，则GSD则变得有助于提供前向运动补偿(FMC)机构以减少或消除运动模糊。FMC可以以多种方式来提供，包括平移或旋转相机的光轴(通过移动图像传感器或中间镜或相机本身)，或通过图像传感器中的像素的相邻行的时间延迟积分(TDI)。FMC可以经由AMC装置提供。

每个相机340可以在本地存储其拍摄，例如在可移动闪存中。这消除了对于在相机系统中的集中式储存器的需要，以及对于在相机和集中式储存器之间需要高带宽数据通信信道的需要。可选地，相机系统可以包括集中式储存器(未示出)。

每个拍摄的GNSS位置可以传送到每个相机340，以允许相机用其GNSS位置来标记每张照片。

相机340由电池单元320供电。电池单元320提供高于所有连接的组件所需的电压的电压，例如在24V和28V之间，并且经由DC-DC转换器326提供每个连接的组件的电压需求。例如，尼康D800相机需要小于10V。额外的DC-DC转换器326还提供适当的电压来为计算机300、飞行员显示器302、GNSS接收机304、IMU 306和AMC 330供电。为了清楚起见，图23中省略了这些电力连接。

电池单元320包含两个12V或14V电池或单个24V或28V电池。它包含充电电路，其允许它从具有合适的辅助电源322的航空器进行涓流充电，从而允许其始终保持充电。它也可以从地面动力装置324(GPU)在地面上充电。

ADC 308和DC-DC转换器326可以容纳在相机控制单元310(CCU)中。这可以另外包括允许计算机300控制ADC的USB接口。

向相机340提供电力的DC-DC转换器326可以位于CCU 310中或者更靠近配电箱150中的相机。

由相机系统350拍摄的照片旨在无缝地拼到正射拼接中，并且图24显示了用于根据由一个或更多个细节相机340捕获的细节照片400有效创建正射拼接的过程流程。

如果相机系统350是双分辨率(或多分辨率)相机系统352，则过程流程如图25所示还使用来自一个或更多个概览相机340的概览照片402。

该过程由四个主要步骤构成：(1)特征在照片400(和可选的402)的每一个中自动地检测并在照片之间进行匹配(步骤410)；光束调整用于迭代地细化每个特征的真实世界三维位置的初始估计，以及与每个照片相关联的相机姿态(三维位置和取向)和相机校准(焦距和径向变形等)(在步骤412处)；每个细节照片400根据其相机姿态和地形高程数据进行正射校正(在步骤414处)；并且正射校正的照片(正射图像)被混合以形成最终的正射拼接404(在步骤416处)。

在单分辨率系统中，正射拼接404的精度来源于细节照片400之间的常规高重叠，并且正射拼接404中的细节也来自细节照片400。

在双分辨率系统中，正射拼接404的精度来源于较低分辨率的概览照片402之间的高重叠，而正射拼接404中的细节来自较高分辨率的细节照片400。

正射拼接通常存储为图像金字塔，即，在其内部不同(二进制)缩放级别被预计算以用于在任意缩放级别处的快速访问。通过低通滤波和子采样从较高的缩放级别生成金字塔中的较低缩放级别，从而可以从细节分辨率的正射拼接中生成整个金字塔。作为替代，较低的缩放级别可以根据从概览照片402创建的正射拼接中生成，在这种情况下，概览照片402也如上所述对于细节照片400进行正射校正和混合。

通过光束调整过程(在步骤412处)随后细化的每张照片的相机姿态的初始估计来自每张照片的GNSS位置以及其IMU派生的取向(如果可用)。

用于正射校正(在步骤414处)细节照片400的地形数据可以基于从光束调整获得的3D特征位置(在步骤412处)，或者可以是来自其他地方(诸如来自LiDAR航空测量)的地形数据。

自动检测到的地面特征可以用手动识别的地面点来增强，每个地面点可以具有准确的被测量的现实世界的位置(并且然后被称为地面控制点)。

已经参照多个优选实施例描述了本发明。本领域普通技术人员将认识到，本发明的多个替代实施例存在，并且本发明的范围仅受所附权利要求限制。

在整个本说明书和随附的权利要求中，除非上下文另有要求，否则措辞“包括(comprise)”以及变型诸如“包括(comprises)”或“包括(comprising)”将被理解为暗示包括陈述的整数或整数的组或步骤但不排除任何其他的整数或整数的组或步骤。

在本说明书中提到的任何现有的出版物(或来源于其的信息)或提到的已知的内容不被视为并且应当不被视为对现有的出版物(或来源于其的信息)或已知的内容形成本说明书涉及的尝试的领域中的公知常识的一部分的承认或允许或任何形式的暗示。

Claims

1.一种创建走廊区域(106)的正射拼接的方法，所述走廊区域由沿着任意路径(100)的陆地带或水带组成，所述走廊区域具有大于宽度的长度，沿着所述任意路径(100)的所述宽度不必是恒定的，所述任意路径部分地由走廊路径折线(102)描述，所述走廊路径折线(102)不是直的，所述方法包括：

(a)使航空器沿主飞行线路飞行，所述主飞行线路包括一系列的直的主飞行线路段(130)，其中，所述航空器沿每个主飞行线路段(130)基本上水平飞行，每个主飞行线路段(130)不与其紧邻的前一个飞行线路段对准并且不与其紧邻的前一个飞行线路段平行，每个主飞行线路段(130)近似所述走廊路径折线(102)的一部分；

(b)在沿着每个主飞行线路段(130)飞行期间且经由通过所述航空器携带的航空相机系统(350)来捕获一系列的主图像，在所述系列中的每个主图像至少部分地与其前一个主图像重叠；

(c)使所述航空器沿着次要飞行线路飞行，所述次要飞行线路包括一系列的次要飞行线路段(132)，每个次要飞行线路段(132)基本上平行于各自的主飞行线路段(130)并从各自的主飞行线路段(130)横向偏移；

(d)在沿着每个次要飞行线路段(132)飞行期间且经由通过所述航空器携带的所述航空相机系统(350)来捕获一系列的次要图像，所述次要图像中的至少一些与所述主图像中的至少一些重叠；

(e)在多个所述主图像和次要图像中识别(410)与公共地面点相对应的公共特征；

(f)经由光束调整和从所述公共地面点中估计(412)与每个主图像相关联的外部取向和与每个地面点相关联的三维位置；

(g)使用所述外部取向中的至少一些和所述三维位置中的至少一些对所述主图像中的至少一些进行正射校正(414)；以及

(h)合并(416)正射校正的主图像以创建所述正射拼接(404)。

2.根据权利要求1所述的方法，其中，所述航空器沿着每个主飞行线路段(130)和其后继主飞行线路段之间的回转(126)转弯飞行，所述转弯具有大于180度的角度。

3.根据权利要求1所述的方法，其中，所述航空器沿着每个次要飞行线路段(132)和其后继次要飞行线路段之间的转弯飞行，所述转弯具有小于90度的角度。

4.根据权利要求1至3中任一项所述的方法，其中，所述航空相机系统(350)包括用于捕获基本上垂直图像的至少一个垂直相机。

5.根据权利要求4所述的方法，其中，所述航空相机系统(350)包括用于捕获基本上偏斜图像的至少一个偏斜相机。

6.根据权利要求5所述的方法，其中，所述主图像和次要图像包括垂直图像和偏斜图像。

7.根据权利要求5所述的方法，其中，所述主图像包括垂直图像，并且所述次要图像包括偏斜图像。

8.根据权利要求1-3和5-7中任一项所述的方法，其中，所述航空相机系统(350)包括用于捕获概览图像的至少一个概览相机和用于捕获细节图像的多个细节相机，每个细节图像具有比所述概览图像更高的分辨率，所述细节图像中的至少一些与所述概览图像中的一些重叠，所述主图像包括概览图像和细节图像。

9.根据权利要求4所述的方法，其中，所述航空相机系统(350)包括用于捕获概览图像的至少一个概览相机和用于捕获细节图像的多个细节相机，每个细节图像具有比所述概览图像更高的分辨率，所述细节图像中的至少一些与所述概览图像中的一些重叠，所述主图像包括概览图像和细节图像。

10.根据权利要求8所述的方法，其中，所述次要图像包括概览图像和细节图像。

11.根据权利要求9所述的方法，其中，所述次要图像包括概览图像和细节图像。

12.根据权利要求1-3、5-7和9-11中任一项所述的方法，其中，所述次要飞行线路至少部分地是弯曲的并且包括倾斜转弯。

13.根据权利要求4所述的方法，其中，所述次要飞行线路至少部分地是弯曲的并且包括倾斜转弯。

14.根据权利要求8所述的方法，其中，所述次要飞行线路至少部分地是弯曲的并且包括倾斜转弯。