CN114636405A - 飞行器传感器系统同步 - Google Patents

飞行器传感器系统同步 Download PDF

Info

Publication number
CN114636405A
CN114636405A CN202111515523.6A CN202111515523A CN114636405A CN 114636405 A CN114636405 A CN 114636405A CN 202111515523 A CN202111515523 A CN 202111515523A CN 114636405 A CN114636405 A CN 114636405A
Authority
CN
China
Prior art keywords
aircraft
altitude
keypoint
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111515523.6A
Other languages
English (en)
Inventor
J·A·L·图拉巴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aurora Flight Sciences Corp
Original Assignee
Aurora Flight Sciences Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aurora Flight Sciences Corp filed Critical Aurora Flight Sciences Corp
Publication of CN114636405A publication Critical patent/CN114636405A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0043—Traffic management of multiple aircrafts from the ground
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/30—Interpretation of pictures by triangulation
    • G01C11/34—Aerial triangulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G01C5/06—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels by using barometric means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/04—Control of altitude or depth
    • G05D1/042—Control of altitude or depth specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Abstract

本申请题为“飞行器传感器系统同步”。本申请公开了用于操作航空成像系统(200)的方法、设备、系统和计算机程序产品(1222)。第一飞行器(204)的第一高度(226)由计算机系统(210)使用由第一飞行器(204)在飞行期间生成的关键点(220)的第一图像(212)和立体深度三角测量(224)来确定。由计算机系统(210)将第一高度(226)与由第二飞行器(206)确定的第二飞行器(206)的第二高度(230)进行比较，以形成比较结果(232)。第一高度(226)和第二高度(230)之间的偏移量(238)由计算机系统(210)使用该比较结果(232)来确定。基于偏移量(238)调整第一高度(226)或第二高度(230)中的至少一个。获得来自在第一高度(226)处的第一飞行器(204)和来自在第二高度(230)处的第二飞行器(206)的地区的多个图像。

Description

飞行器传感器系统同步
技术领域
本公开总体上涉及飞行器，并且特别涉及用于以提高的精确度协调多个飞行器的操作的方法、设备和系统。
背景技术
摄影测量法是使用摄影术进行测量。摄影测量法在勘测和测绘中使用图像来测量对象之间的距离。例如，摄影测量法可用于在地形图上绘制等高线。摄影测量法也可用于创建环境的三维模型的点云模型。例如，可以根据田地中的农作物、公园、城市街区、体育场、地形或其他感兴趣对象的照片来生成点云模型。
带有相机系统的飞行器可以飞过一个地区，诸如公园、有农作物的田地、城市或其他地区。飞行器生成该地区的图像，在该地区的图像中存在重叠。重叠区域中的特征被用来准确地进行三角测量并且识别图像中的关键点作为生成模型的过程的一部分。
使用摄影测量法对地区进行测量的该过程是耗时的。该过程涉及从飞行器下载图像并且处理数据以生成该地区的点云。这种类型的地区测绘可能比期望的更耗时。
因此，期望具有一种方法和设备，其考虑到上面讨论的至少一些问题以及其他可能的问题。例如，期望具有一种方法和设备，其克服生成数据以勘测和测绘地区的技术问题。
发明内容
本公开的一个实施例提供了一种航空成像系统，其包括计算机系统和计算机系统中的控制器。控制器被配置为使用由第一飞行器生成的关键点的第一图像和立体深度三角测量来确定第一飞行器的第一高度。控制器被配置为将第一高度与通过使用由第二飞行器生成的关键点的第二图像的立体深度三角测量和由第二飞行器中的传感器系统进行的测量中的至少一个确定的第二飞行器的第二高度进行比较，以形成比较结果。控制器被配置为使用该比较结果来确定为第一飞行器确定的第一高度与由第二飞行器测量的第二高度之间的偏移量。
本公开的另一个实施例提供了一种航空成像系统，其包括第一相机系统、高度传感器系统和用于飞行器的控制器。第一相机系统由第一飞行器携带，并在第一飞行器的飞行期间生成第一图像。高度传感器系统由第一飞行器携带，并为第一飞行器提供第一高度。控制器被配置为使用与第一飞行器相关联的第一相机系统在第一飞行器的飞行期间生成的关键点的第一图像和立体深度三角测量，确定从第一飞行器到关键点的第一距离。控制器被配置为从第二飞行器接收从第二飞行器到关键点的第二距离和为第二飞行器测量的第二高度。控制器被配置为将从第一飞行器到关键点的第一距离和第一高度与从第二飞行器到关键点的第二距离和第二高度进行比较，以形成比较结果。控制器被配置为使用该比较结果来确定第一飞行器的第一高度和第二飞行器的第二高度之间的偏移量，其中该偏移量被用于调整第一飞行器的高度。
本公开的另一个实施例提供了一种用于操作航空成像系统的方法。由计算机系统使用由第一飞行器在第一飞行器的飞行期间生成的关键点的第一图像和立体深度三角测量来确定第一飞行器的第一高度。由计算机系统将第一高度与由第二飞行器确定的第二飞行器的第二高度进行比较，以形成比较结果。由计算机系统使用该比较结果来确定第一高度和第二高度之间的偏移量。由计算机系统基于该偏移量来调整第一高度或第二高度中的至少一个。由计算机系统从处于第一高度的第一飞行器并从处于第二高度的第二飞行器获得地区的多个图像。
本公开的另一个实施例提供了一种用于操作航空成像系统的计算机程序产品。该计算机程序产品包括计算机可读存储介质，其具有存储在该计算机可读存储介质上的第一程序代码、第二程序代码和第三程序代码。程序代码可由计算机系统执行，以使计算机系统使用由第一飞行器在第一飞行器的飞行期间生成的关键点的第一图像和立体深度三角测量，确定从第一飞行器到关键点的第一距离。第二程序代码可由计算机系统执行，以使计算机系统将从第一飞行器到关键点的第一距离和由第一飞行器测量的第一飞行器的第一高度与从第二飞行器到关键点的第二距离和由第二飞行器测量的第二飞行器的第二高度进行比较，以形成比较结果。第三程序代码可由计算机系统执行，以使计算机系统使用该比较结果来确定第一飞行器的第一高度和由第二飞行器测量的第二高度之间的偏移量，其中该偏移量被用于调整第一飞行器的高度。
特征和功能可以在本公开的各种实施例中独立实现，或者可以在其他的实施例中进行组合，其中进一步的细节可以参考以下描述和附图看出。
附图说明
所附权利要求中阐述了说明性实施例的据信是新颖特征的特性。然而，说明性实施例以及其优选的使用方式、进一步的目标和特征将在结合附图阅读时参考对本公开的说明性实施例的以下详细描述得到最好的理解，其中：
图1是根据说明性实施例的由航空成像系统进行的图像生成的图解；
图2是根据说明性实施例的成像环境的图示；
图3是根据说明性实施例的飞行器的框图的图示；
图4是根据说明性实施例的飞行器系统的框图的图示；
图5是根据说明性实施例的使用图像进行的三角测量的图示；
图6是根据说明性实施例的用于操作航空成像系统的过程的流程图的图示；
图7是根据说明性实施例的用于使用偏移量执行动作的过程的流程图的图示；
图8是根据说明性实施例的用于识别到关键点的距离的过程的流程图的图示；
图9是根据说明性实施例的由飞行器执行以生成用于操作航空成像系统的信息的过程的流程图的图示；
图10是根据说明性实施例的用于操作航空成像系统的过程的流程图的图示；
图11是根据说明性实施例的用于操作航空成像系统的过程的流程图的另一个图示；以及
图12是根据说明性实施例的数据处理系统的框图的图示。
具体实施方式
说明性实施例认识并考虑到一个或多个不同的考量。例如，说明性实施例认识并考虑到，通过使飞行器在更高的高度飞行，使得相机系统在被测绘地区中生成更大面积的图像，可以减少飞行时间量。然而，说明性实施例认识并考虑到，尽管为该地区生成数据所需的时间被减少，但数据的分辨率也会降低。
说明性实施例认识并考虑到，单个飞行器可能需要几个小时来覆盖被测绘地区中的区域。这些图像的后期处理在飞行后下载图像时执行。因此，飞行器执行多次飞行从而为一个地区生成图像时，可能存在多个数据集。说明性实施例还认识并考虑到，来自一次飞行的数据集中的图像可能需要几个小时来处理。此外，说明性实施例还认识并考虑到，一旦数据集被处理，数据集就会被拼接在一起并被重新处理。因此，说明性实施例认识并考虑到，处理和完善数据集以产生该地区的可接受的点云可能需要数天时间。
说明性实施例认识并考虑到，另一个解决方案可能涉及使用具有相机系统的多个飞行器飞过一个地区并为该地区生成图像。说明性实施例认识并考虑到，使用多个飞行器可以减少飞行时间。然而，说明性实施例认识并考虑到，在多个飞行器生成该地区的图像时，可能存在误差，其增加了从图像生成准确的点云的难度。
说明性实施例认识并考虑到，传感器误差可能降低点云的准确度，并增加从图像创建点云所需的时间。例如，说明性实施例认识并考虑到，多个飞行器可能在彼此不同的高度飞行。因此，从多个飞行器生成的图像的拼接可能更难以准确地形成，并且需要比期望更多的时间。
说明性实施例认识并考虑到可以考虑高度的差异。说明性实施例认识并考虑到，当由飞行器生成的地区的图像在不同高度生成时，知道飞行器在生成图像时的高度对于准确地将图像拼接在一起并形成点云是重要的。说明性实施例认识并考虑到，用于确定当前飞行器(诸如，UAS)的高度的传感器在处理来自无人驾驶航空(UAS)的图像以生成点云方面的准确度低于期望。
例如，说明性实施例认识并考虑到，气压高度传感器可能不如期望的那样准确。例如，温度、气压或两者的变化可能发生在一个地区的不同区域中。因此，应用该地区的模式的不同UAS可能获得不同的高度读数，即使UAS在同一高度飞行。说明性实施例认识并考虑到，当飞行器在不同高度飞行时，该问题会复杂化。
作为另一个示例，说明性实施例认识并考虑到，飞行器中的全球定位系统(GPS)单元也可能不如预期的那样精确。当UAS飞过一个地区的不同区域以生成图像时，云层和其他环境因素可能以影响由全球定位系统单元或UAS确定的高度的准确度的方式改变信号强度。
因此，说明性实施例提供了一种用于在确定多个飞行器之间的高度时减小误差的方法、设备和系统。在说明性示例中，相机系统可被用于使多个飞行器同步。例如，相机系统可被用于在多个飞行器飞过关键特征时生成关键特征的图像，并生成包含关键特征的图像。
在一个说明性示例中，使用由第一飞行器在第一飞行器的飞行期间生成的关键点的第一图像和由第一飞行器测量的第一飞行器的第一高度来确定从第一飞行器到关键点的第一距离。将从第一飞行器到关键点的第一距离和针对关键点的第一飞行器的第一高度与从第二飞行器到关键点的第二距离和第二飞行器的第二高度进行比较，以形成比较结果。使用该比较结果来确定第一飞行器的第一高度和由第二飞行器测量的第二高度之间的偏移量。该偏移量被用于调整第一飞行器的高度。
在说明性示例中，以多种不同方式使用该偏移量。例如，该偏移量可被用于调整两个飞行器中的一个的高度。在另一个说明性示例中，偏移量可被用于调整由第一飞行器或第二飞行器中的至少一个拍摄的图像的元数据中的高度。可以使用偏移量来执行这些和其他动作。此外，可以根据特别的任务来多次确定该偏移量。
现在参考附图并且特别参考图1，其根据说明性实施例描绘了由航空成像系统进行的图像生成的图解。在该说明性示例中，航空成像系统包括无人驾驶航空器100和无人驾驶航空器102。
如所描绘的，无人驾驶航空器100和无人驾驶航空器102是航空成像系统103的一部分，并且可以进行操作以生成感兴趣对象104的图像。在该说明性示例中，感兴趣对象104是地区或陆地区域。在另一个说明性示例中，感兴趣对象104可以是建筑物、水坝或一些其他合适的感兴趣对象。
在该说明性示例中，无人驾驶航空器100沿飞行路径106行进，并且无人驾驶航空器102沿飞行路径108行进，以生成感兴趣对象104或感兴趣对象104的至少一部分的图像。如所描绘的，飞行路径106导致无人驾驶航空器100飞过感兴趣地区104的一部分。飞行路径108导致无人驾驶航空器102飞过感兴趣对象104的另一部分。
如所描绘的，无人驾驶航空器100和无人驾驶航空器102在沿飞行路径106和飞行路径108的每个航点110(诸如航点112和航点114)处生成图像。
如所描绘的，由无人驾驶航空器100在航点112处生成的图像和由无人驾驶航空器102在航点114处生成的图像重叠，其中这些图像中的重叠包括关键点122。在该说明性示例中，关键点122是可用于考虑无人驾驶航空器100和无人驾驶航空器102的高度差异的关键点。
例如，可能期望无人驾驶航空器100和无人驾驶航空器102在这些无人驾驶航空器飞过感兴趣对象104时在同一高度的航点110处生成图像。然而，由无人驾驶航空器100和无人驾驶航空器102测量的高度可能具有误差，使得即使这些无人驾驶航空器可能被命令在同一高度飞行，但它们实际上可能在不同的高度飞行。这些误差可能是由用于测量高度的传感器的不准确导致的，诸如校准误差。此类误差可能导致用于生成对象或陆地区域的点云的数据集的不准确。如果数据集中的图像具有不正确的高度，则组合那些数据集以形成点云将导致点云具有不准确性。
在该说明性示例中，可以识别不同的高度，使得可以考虑到实际高度的误差。例如，差值(也被称为偏移量)可被用于调整无人驾驶航空器100的高度，使得无人驾驶航空器100和无人驾驶航空器102在同一高度飞行。在另一个示例中，可以基于无人驾驶航空器100和无人驾驶航空器102之间的高度差的偏移量，在无人驾驶航空器100和无人驾驶航空器102两者中都进行调整。
因此，偏移量可被用于校准无人驾驶航空器100和无人驾驶航空器102中的至少一个的高度传感器。在该描绘的示例中，由这些无人驾驶航空器中的一个或两个测量的高度可能有误差，导致两个航空器在期望同一高度时在不同高度飞行。因此，由这些无人驾驶航空器生成的图像可被用来识别实际高度。
例如，无人驾驶航空器100可以生成关键点122的两个或更多个图像。无人驾驶航空器100可以在航点112和航点114处生成的图像中识别关键点122的存在。在该示例中，可以在航点112处生成第一图像，并且可以在航点114处生成第二图像。无人驾驶航空器100可以使用这些图像确定从航点112到关键点122的第一距离。
在该示例中，关键点122可以是对象或对象中的特征。关键点122可以是具有可用作参考点的尺寸的任何对象或对象中的特征。在一个示例中，关键点122可以是由像素或捕获同一关键点的一组像素的中心来表示的对象或特征。在该示例中，第一距离可以使用立体深度三角测量或某种其他合适的技术来确定。
此外，无人驾驶航空器100可以使用与无人驾驶航空器100相关联的气压高度传感器来测量无人驾驶航空器100的第一高度。可以在航点112处进行该测量。
在该所描绘示例中，无人驾驶航空器102也识别由无人驾驶航空器102在航点114处生成的图像中的关键点122。无人驾驶航空器102使用由无人驾驶航空器102生成的图像和立体深度三角测量来确定从航点114到关键点122的第二距离。在该说明性示例中，无人驾驶航空器102可以测量无人驾驶航空器102在航点114处的第二高度。可以使用与无人驾驶航空器100相关联的气压高度传感器测量第二高度。
如所描绘的，无人驾驶航空器102将第二距离传输到无人驾驶航空器100。此外，无人驾驶航空器102将由无人驾驶航空器102测量的无人驾驶航空器102的第二高度传输到无人驾驶航空器100。
然后，无人驾驶航空器100可以使用从每个无人驾驶航空器到关键点122的距离和由每个无人驾驶航空器测量的高度来确定偏移量。在另一个说明性示例中，可以使用图像来计算高度，以用于确定使用无人驾驶航空器100和无人驾驶航空器102中的气压高度传感器测量的高度之间的偏移量。
然后，该偏移量可由无人驾驶航空器100或无人驾驶航空器102中的至少一个使用以进行高度调整。可以针对无人驾驶航空器中的一个或两个飞行的高度进行该调整。可以针对为图像生成的元数据中记录的高度进行该调整，或者该调整可以用来校准高度传感器。
如本文中所用，短语“……中的至少一个”在与项目列表一起使用时，意味着可以使用所列项目中的一个或多个的不同组合，并且可能仅需要列表中的每个项目中的一个。换句话说，“……中的至少一个”意味着可以使用来自列表的任何项目组合和项目数量，但不需要列表中的所有项目。该项目可以是特别的对象、事物或类别。
例如但非限制地，“项目A、项目B或项目C中的至少一个”可以包括项目A、项目A和项目B，或者项目B。该示例也可以包括项目A、项目B和项目C，或者项目B和项目C。当然，这些项目的任何组合都可以存在。在一些说明性示例中，“至少一个”可以是例如但不限于：两个项目A；一个项目B；以及十个项目C；四个项目B和七个项目C；或者其他合适的组合。
图1中的该示例的图示并不意味着限制其中可以实施其他说明性示例的方式。在另一个说明性示例中，飞行路径106和飞行路径108可以在相同航点处生成图像，其中这些图像包含关键点122。可以附加于或替代关键点122使用其他关键点来确定偏移量。在无人驾驶航空器100和无人驾驶航空器102生成感兴趣对象104的图像的任务期间，可以不止一次地确定偏移量。例如，可以选择飞行路径106和飞行路径108，使得由这些无人驾驶航空器生成的图像包括位于感兴趣对象104中的其他关键点。在其他说明性示例中，无人驾驶航空器可以在感兴趣对象104之外飞行，以生成包括用于确定偏移量的关键点的图像。作为另一个示例，在确定偏移量时对图像的处理可以在不同于无人驾驶航空器中的一个或两个的其他位置处执行。例如，可以使用远程数据处理系统、云服务或远离无人驾驶航空器的一些其他部件来执行该处理。
现在参考图2，其根据说明性实施例描绘了成像环境的图示。在该说明性示例中，航空成像系统103是成像环境202中的航空成像系统200的一种实施方式的示例。
如所描绘的，航空成像系统200包括第一飞行器204，并且可以包括第二飞行器206。第一飞行器204和第二飞行器206选自飞机、无人驾驶航空系统、无人驾驶航空器、无人机、旋翼机、航天器或一些其他合适类型的飞行器中的至少一种。如所描绘的，第一飞行器204和第二飞行器206可以是相同或不同类型的飞行器。
如所描绘的，计算机系统210中的控制器208被配置为控制第一飞行器204或第二飞行器206中的至少一个的操作。
控制器208可以以软件、硬件、固件或其组合来实施。当使用软件时，由控制器208执行的操作可以在被配置为以在硬件(诸如处理器单元)上运行的程序代码来实施。当使用固件时，由控制器208执行的操作可以以程序代码和数据来实施，并存储在永久性存储器中以在处理器单元上运行。当采用硬件时，硬件可以包括进行操作以执行控制器208中的操作的电路。
在说明性示例中，硬件可以采取选自电路系统、集成电路、专用集成电路(ASIC)、可编程逻辑装置或被配置为执行若干操作的一些其他合适类型的硬件中的至少一种的形式。对于可编程逻辑装置，该装置可被配置为执行若干操作。该装置可以在以后被重新配置，或者可以被永久性地配置为执行若干操作。可编程逻辑装置包括例如可编程逻辑阵列、可编程阵列逻辑、现场可编程逻辑阵列、现场可编程门阵列，以及其他合适的硬件装置。此外，该过程可以在与无机部件集成的有机部件中实施，并且可以完全由有机部件(不包括人类)组成。例如，该过程可以作为有机半导体中的电路来实施。
计算机系统216是物理硬件系统并包括一个或多个数据处理系统。当计算机系统216中存在多于一个数据处理系统时，那些数据处理系统使用通信介质彼此进行通信。通信介质可以是网络。数据处理系统可以选自以下各项中的至少一种：计算机、服务器计算机、平板计算机或一些其他合适的数据处理系统。
如所描绘的，第一飞行器204生成第一图像212，并且第二飞行器206生成第二图像214。第一图像212可以由第一飞行器204携带的第一相机系统216生成。第二图像214可以由第二飞行器206携带的第二相机系统218生成。这些相机系统中的每一个都是物理硬件系统并且可以包括软件。这些相机系统可以包括能够生成图像的一个或多个相机或传感器。相机可以选自以下各项中的至少一种：可见光相机、红外相机、紫外传感器、可见光传感器、近红外传感器、短波红外传感器、中波红外传感器、长波红外(LWIR)传感器、辐射热计、光电相机、红外传感器、热传感器或某种其他合适类型的传感器。
控制器208可以识别由第一飞行器204携带的第一相机系统216生成的第一图像212中的关键点220。关键点220可以是以下各项中的一种：陆地区域、山、塔、建筑物、湖、水坝、塔、标志物、图案、甚高频(VHF)全向范围(VOR)天线，或某种其他合适的物理对象。
可以以若干不同的方式进行对关键点220的识别。例如，控制器208可以使用人工智能系统244或各种图像处理技术中的至少一种来识别第一图像212和第二图像214中的关键点220。
人工智能系统244是具有智能行为的系统，并且其可以基于人脑的功能。人工智能系统244可以包括人工神经网络、认知系统、贝叶斯网络、模糊逻辑、专家系统、自然语言系统或某种其他合适的系统中的至少一种。机器学习被用于训练人工智能系统244。机器学习涉及将数据输入到过程中，并允许该过程调整和改善人工智能系统244的功能。
人工智能系统244中的机器学习模型是一种无需明确编程就可以学习的人工智能模型。机器学习模型可以基于输入到机器学习模型中的训练数据来学习。机器学习模型可以使用各种类型的机器学习算法来学习。机器学习算法包括监督学习、无监督学习、特征学习、稀疏字典学习、异常检测、关联规则或其他类型的学习算法中的至少一种。机器学习模型的示例包括人工神经网络、决策树、支持向量机、贝叶斯网络、遗传算法，以及其他类型的模型。这些机器学习模型可以使用数据进行训练，并处理额外的数据以提供期望的输出。
如所描绘的，控制器208可以使用由第一飞行器204在第一飞行器204的飞行期间生成的关键点220的第一图像212和立体深度三角测量224确定从第一飞行器204到关键点220的第一距离222。在该示例中，使用关键点220的图像执行的立体深度三角测量224也被称为图像三角测量225。
在该说明性示例中，立体深度三角测量224是使用立体分析的三角测量过程。这种类型的三角测量过程可以基于对象的多个图像(诸如从不同的视角或位置拍摄的关键点220)来确定到图像中的对象的距离。
在该示例中，第一距离222是从第一飞行器204到关键点220的距离。更具体地说，第一距离222是从第一飞行器204中的成像装置到关键点220。例如，第一距离222可以使用立体深度三角测量224来确定，该立体深度三角测量是使用针对第一图像212中的关键点220的第一像素223来执行的。第二距离228可以使用立体深度三角测量224来确定，该立体深度三角测量是使用针对第二图像214中的关键点220的第二像素229来执行的。可以使用控制器208进行这种确定。在确定第一距离222时，该距离可以相对于第一飞行器204在拍摄多个第一图像212中的第一图像和第二图像的地方之间的位置处确定。第一距离222是使用第一图像和第二图像确定的。
在说明性示例中，第一像素223和第二像素229可以针对关键点220的一个或多个尺度或特征。例如，当关键点220是山时，在图像中识别的像素可以针对山底中的像素、直到山的高度的像素或山中的其他属性中的至少一种。作为另一示例，当关键点220是十字路口时，像素可以针对十字路口的宽度。当关键点220是碟形卫星天线时，像素可以是跨越碟形卫星天线的直径的像素线。
如所描绘的，控制器208可以将从第一飞行器204到关键点220的第一距离222和由第一飞行器204测量的第一飞行器204的第一高度226与从第二飞行器206到关键点220的第二距离228和由第二飞行器206测量的第二飞行器206的第二高度230进行比较，以形成比较结果232。这些值的比率可被用于确定第一高度226和第二高度230之间的偏移量238。第一距离222和第二距离228被认为是正确的。
在该说明性示例中，第一高度226是由第一飞行器204使用第一飞行器204中的第一高度传感器系统234测量的。在该说明性示例中，第二高度230可以由第二飞行器206中的第二高度传感器系统236测量。高度传感器系统可以包括气压传感器、全球定位系统(GPS)接收器或某种其他合适类型的传感器中的至少一种。
在该说明性示例中，控制器208可以使用比较结果232确定由第一飞行器204测量的第一飞行器204的第一高度226与由第二飞行器206测量的第二高度230之间的偏移量。在该说明性示例中，偏移量238被用于调整第一飞行器204或第二飞行器206中的至少一个的高度。
如所描绘的，控制器208可以使用偏移量238来执行一组动作242。该组动作242可以选自以下各项中的至少一个：调整从由第一飞行器204和第二飞行器206生成的环境图像中得到的点云中的点的高度信息；执行针对第一飞行器204和第二飞行器206的任务；控制第一飞行器204和第二飞行器206；使测量第一飞行器204和第二飞行器206中的高度的传感器系统同步；协调第一飞行器204和第二飞行器206的路线；使第一飞行器204和第二飞行器206飞行的高度同步；协调第一飞行器204和第二飞行器206在编队中的飞行；或其他合适的动作。在调整针对这些点的高度信息时，可以调整为这些点记录的高度，使得从由不同飞行器生成的不同数据集生成的点云中的点的坐标正确对准。
如本文所用，在指代项目时使用的“一组”是指一个或多个项目。例如，“一组动作242”是动作242中的一个或多个。
在一个说明性示例中，存在克服了生成数据以勘测和测绘地区的技术问题的一个或多个技术方案。因此，一个或多个技术方案可以提供如下技术效果，即在生成数据(诸如图像)的两个或更多个飞行器之间实现对应的高度。以这种方式，当生成数据集的两个或更多个飞行器之间的高度可被调整为具有同一高度时，可以更快速地执行这些数据集的处理。可以使用偏移量来调整飞行器实际飞行的高度。此外，说明性示例也可用于调整在由飞行器生成的图像的元数据中存储的高度。
通过使用说明性示例确定两个或更多个飞行器之间的高度测量结果的校正，可以以更高的效率和准确度执行其他类型的任务。例如，精确飞行(诸如使用无人机进行空中表演)可以以无人机之间的较小公差距离来执行，这些无人机使用说明性示例确定两个或更多个无人机之间的测量结果之间的偏移量来相对于彼此进行编队飞行或机动飞行。使用说明性示例可以更准确地执行这些和其他任务。
在一个说明性示例中，偏移量238的识别可被用于多个飞行器207执行任务的过程中，其中呈图像形式的数据集由多个飞行器207中的多个飞行器生成。例如，第一飞行器204和第二飞行器206可以生成图像。除了这两个飞行器之外，多个飞行器207中的一个或多个飞行器也可以进行操作以生成图像。
然后可以处理包含由多个飞行器207生成的图像的数据集。此外，多个飞行器207中的至少一个的高度可以被校正，使得可以提高处理图像的准确度。例如，图像可以被处理以生成点云。通过多个飞行器207中的一个或多个飞行器的校正高度，与目前的技术相比，对象的点云中的准确度可以被改善。来自多个飞行器207中的每个飞行器的每组图像可以被处理以生成对象的多个点云。该对象可以是例如田地、陆地区域、树、建筑物或某种其他合适的对象。这些点云可以被组合以形成该对象的单个点云。通过点云的高度校正，为该对象生成的单个点云可以具有期望的准确度。
计算机系统210可以被配置为使用软件、硬件、固件或其组合来执行不同的说明性示例中描述的步骤、操作或动作中的至少一个。因此，计算机系统210作为专用计算机系统进行操作，其中计算机系统210中的控制器208使得能够以所期望的性能水平操作航空成像系统。特别地，与目前可用的没有控制器208的通用计算机系统相比，控制器208将计算机系统210转变成专用计算机系统。
图2中对航空成像环境的图示并不意味着对可以实施说明性实施例的方式进行物理或架构限制。除了图示的部件之外，还可以使用其他部件，或者取代图示的部件。一些部件可能是不必要的。而且，呈现这些框以图示一些功能部件。当在说明性实施例中实施时，这些框中的一个或多个可以被组合、分割，或者组合并分割成不同的框。
例如，控制器208和计算机系统210被示出为在第一飞行器204和第二飞行器206的外部。在说明性示例中，计算机系统210和控制器208可以位于第一飞行器204中。在另一个说明性示例中，计算机系统210和控制器208可以分布在第一飞行器204和第二飞行器206中。换句话说，不同的数据处理系统中的控制器208和计算机系统210可以分布在航空成像系统200中的飞行器中。
在另一个说明性示例中，控制器208和计算机系统210可以处于第一飞行器204和第二飞行器206的远程位置处，或者分布在选自远程位置、第一飞行器204或第二飞行器206中的至少一个的位置处。该远程位置可以是例如地面站或另一个飞行器。
此外，附加于或替代第一飞行器204和第二飞行器206的一个或多个飞行器可以是航空成像系统200的一部分。这些飞行器在不同的示例中可以具有相同类型或不同类型。
图3是根据说明性实施例描绘的飞行器的框图。在该图中，飞行器300示出了可用于实施图2中的第一飞行器204和第二飞行器206的部件的示例。
在该说明性示例中，飞行器300包括机架(airframe)301、电子装置302、推进系统304和转向系统306。机架301是用于飞行器300的机械结构。机架301可以包括例如机身、底架、机翼、起落架和其他物理结构。在该说明性示例中，机架301携带电子装置302、推进系统304和转向系统306。
电子装置302具有若干不同的部件。如所描绘的，电子装置302包括传感器系统308、通信系统310和飞行控制系统312。
在该说明性示例中，传感器系统308包括若干不同的部件。如所描绘的，传感器系统308包括高度传感器系统314、相机系统318和其他合适的传感器。
高度传感器系统314是物理传感器系统并且可以包括软件。高度传感器系统314是可用来实施图2中的第一高度传感器系统234和第二高度传感器系统236的高度传感器系统的示例。高度传感器系统314进行操作以测量飞行器300的高度。例如，高度传感器系统314可以包括气压高度计、全球定位系统(GPS)接收器，或者可测量飞行器300的高度的其他合适类型的传感器。
如所描绘的，相机系统318是可以包括软件的物理系统。相机系统318是可用来实施图2中的第一相机系统216和第二相机系统218的相机系统的示例。相机系统318可以包括可见光相机、红外相机或某种其他合适类型的相机中的至少一种。
可以包括在传感器系统308中的其他类型的传感器的示例是陀螺仪、加速度计、攻角(AoA)叶片或其他合适类型的传感器中的至少一种。传感器系统308中的这些和其他传感器与飞行控制系统312进行通信。由传感器系统308生成的信息可以被飞行控制系统312用来控制飞行器300的操作，并沿着飞行路线对飞行器300进行导航。
如所描绘的，推进系统304是生成力来移动飞行器300的物理系统。在说明性示例中，该力采取推力的形式。推进系统304可以包括喷气发动机、涡扇发动机、涡桨发动机、冲压发动机、旋翼系统、电力推进、混合动力推进或可以为飞行器300生成推力的某种其他合适的发动机或推进装置中的至少一种。
在该说明性示例中，转向系统306可以被配置为在飞行路径上使飞行器300转向以到达目标。转向系统306可以自主操作或在有人控制的情况下操作。在该说明性示例中，转向系统306响应于来自飞行控制系统312中的飞行控制器324的信号，该系统可以采用反馈或其他控制系统来沿着飞行路径引导飞行器300。
如所描绘的，通信系统310是物理装置，并且可以是例如无线收发器和天线。通信系统310可以与远程计算机系统交换信息。通信系统310可以进行操作以发送和接收信息到远程位置，诸如另一个飞行器或地面站。
如所描绘的，飞行控制系统312可以基于从导航系统的部件接收到的信号，为飞行器300确定一个或多个飞行路径以到达期望的位置。飞行控制系统312可以计算、生成并发送导航命令(诸如数据信号)至转向系统306，以引导飞行器300沿飞行路径飞行。
在该说明性示例中，飞行控制系统312包括若干部件。如所描绘的，飞行控制系统312包括地图系统322、飞行控制器324、处理器单元316和存储器326。
如所描绘的，地图系统322可以是基于地图的飞行控制系统的一部分，该系统提供关于地区内的自然特征和人工特征的位置信息。地图系统322可以与飞行控制系统312中的其他部件进行通信，以支持飞行器300的导航。虽然该功能可以包括为计算航线提供地图信息，但该功能也可以包括独立的导航能力。
例如，地图系统322可以提供基于地图的导航系统，其存储包括一个或多个对象的操作环境的地图。基于地图的导航系统可以耦合到相机，并被配置为通过将存储的对象与可见环境进行比较来确定航空器的位置，这可以在没有全球定位系统(GPS)数据或其他位置信息的情况下提供位置数据。
在该说明性示例中，处理器单元316是物理装置，并且可以与地图系统322、飞行控制系统312、传感器系统308、推进系统304或转向系统306以及可能存在于飞行器300中的其他各种部件、系统和子系统中的至少一个进行通信。处理器单元316可以是计算机系统(诸如图2中的计算机系统210)中的内部处理器，以支持各种功能，诸如导航功能或图像处理功能。处理器单元316可以被配置为控制飞行器300的地图系统322、飞行控制系统312、传感器系统308、推进系统304或转向系统306中的至少一个的操作。
如所描绘的，处理器单元316可以执行处理和计算功能，以支持导航、识别关键点、确定到关键点的距离、确定到由高度传感器系统314测量的高度的偏移量，或其他合适功能中的至少一个。处理器单元316可以包括多个不同的处理器，其进行协作以执行本文中描述的图2中的控制器208的操作。例如，飞行器300中的内部处理器控制飞行器300的操作，而分配给控制器208的另一个处理器控制识别图像中的关键点，使用图像确定到关键点的距离，将飞行器300的第一距离和第一高度与第二飞行器的第二距离和第二高度进行比较以形成比较结果，确定第一高度和第二高度之间的偏移量，并使用该偏移量执行一个或多个动作。
飞行控制器324可以进行操作以控制飞行器300中的部件，诸如飞行控制系统312、传感器系统308、推进系统304或转向系统306。飞行控制器324与处理器单元316、飞行器300、飞行控制系统312、传感器系统308、转向系统306以及本文中描述的装置和系统的其他各种部件进行通信。
如所描绘的，飞行控制器324可以包括任何硬件、软件或其某种组合，用于控制本文中描述的飞行器300和飞行控制系统312中的各种部件，包括但不限于微处理器、微控制器、专用集成电路、可编程门阵列和任何其他数字和/或模拟部件及其组合，以及用于传达控制信号、驱动信号、电源信号、传感器信号和其他合适类型信号的输入和输出。
在该说明性示例中，存储器326是物理装置，并且可以包括本地存储器或远程存储装置，其为飞行控制系统312存储数据日志，包括但不限于图像、确定的距离、关键点的识别、关键点的位置、高度以及由传感器系统308生成的飞行器状态信息。可以存储在存储器326中的其他信息包括取向、速度、飞行路径、转向规格、全球定位系统坐标、传感器读数和其他合适信息中的至少一种。在该示例中，存储在存储器326中的信息可由处理器单元316或飞行控制器324中的至少一个访问。
虽然在图3中示出了部件的特别布置，但在其他说明性示例中，部件的布置可能有所不同。例如，传感器系统308中的传感器可以位于飞行器300中或该飞行器上。此外，传感器系统308、飞行控制系统312或通信系统310中的至少一个可以共享部件，诸如存储器、传感器、处理器或控制器。此外，传感器系统308中的一个或多个传感器可以可移除地耦合到飞行器300，或者该模块中的部件可以以任何期望的方式集成到用于飞行器300的机架301中。
飞行控制系统312也可以包括上面描述为电子装置302的一部分的部件，以及传感器系统308中的其他传感器。作为另一个示例，其他传感器还可以包括其他飞行仪表、处理电路系统、通信电路系统、包括相机和其他传感器的光学系统，这些传感器对于无人驾驶航空系统或其他自主或手动驾驶的飞行器的操作是必要或有用的。因此，各种部件的布置可以按照设计者或操作者的期望进行配置，并因此不应限于本文中描述或示出的特别示例。
图4是根据说明性实施例的飞行器系统的框图的图示。在该图中，飞行器系统400示出了可以在图2中的第一飞行器204或第二飞行器206中的至少一个中实施的部件的示例。
如图所示，飞行器系统400包括与存储器装置428、飞行控制器426、无线收发器432和导航系统442中的至少一个通信地耦合的飞行器处理器424。飞行器处理器424可被配置为至少部分地基于存储到存储器装置428(例如，硬盘驱动器、闪存等)的指令(例如，软件)和一个或多个数据库来执行一个或多个操作。飞行器系统400可进一步包括其他期望的部件，诸如与天线434耦合的无线收发器432，以在飞行器系统400和远程装置438之间传送数据。在说明性示例中，远程装置438可以是人机界面，或另一个便携式电子装置，诸如智能手机、平板计算机和膝上计算机，或在诸如基站等位置处的控制器。例如，飞行器系统400也可以经由无线收发器432与另一个飞行器进行通信，由此促进协作操作。
在某些方面，飞行器系统400可以通过网络436与远程装置438和/或另一个飞行器传送数据(经处理的数据、未处理的数据等)。在某些方面，无线收发器432可被配置为使用一种或多种无线标准(诸如，蓝牙(例如，从2.4GHz至2.485GHz的工业、科学和医疗(ISM)频带中的短波长超高频(UHF)无线电波)、近场通信(NFC)、Wi-Fi(例如，电气和电子工程师学会(IEEE)的802.11标准)等)进行通信。远程装置438可以促进对飞行器系统400及其(多个)有效载荷(包括ISR有效载荷440)的监测和/或控制。
飞行器处理器424可以可操作地耦合到飞行控制器426，以响应于经由无线收发器432来自操作员、自动驾驶仪、导航系统442或其他高层系统的命令，控制致动器430(例如，控制诸如可移动飞行控制表面中的至少一个的任何飞行表面的移动和锁定的那些致动器)、经由电子速度控制器(ESC)415的电动马达404、经由电子速度控制器(ESC)416的电动马达406、经由电子速度控制器(ESC)417的电动马达408，或经由发动机控制器422的发动机418)中的各种装置的操作。在某些方面，飞行器处理器424和飞行控制器426可以被集成到单个部件或电路中。在操作中，飞行控制器426可以在飞行的各个阶段期间经由ESC 416或发动机控制器422(视情况而定)动态地(即，实时或接近实时地)和独立地调整推力，以控制图2中第一飞行器204或第二飞行器206的滚转、俯仰或偏航。当使用具有旋翼叶片(例如，螺旋桨)的旋翼时，飞行控制器426可以改变旋翼的每分钟转数(RPM)和/或在期望时改变旋翼叶片的间距。例如，可以通过调整从电源(例如，电池箱或电池组)经由ESC 416供应给每个电动马达的电力来控制电动马达408。
飞行器处理器424可以可操作地耦合到导航系统442，该导航系统442可包括与INS442b和/或IMU 442c通信地耦合的GPS 442a，INS 442b和/或IMU 442c可包括一个或多个陀螺仪和加速计。GPS 442a给出绝对无漂移的位置值，该位置值可用于重置INS解或者可通过使用数学算法诸如卡尔曼滤波与该INS解混合。导航系统442尤其可将惯性稳定数据传送到飞行器处理器424。
为了收集数据和/或监测区域，飞行控制系统312可以配备有额外的传感器410，诸如ISR有效载荷440，其包括例如相机440a(例如，用于记录或捕获图像和/或视频的光学仪器，包括光检测和测距(LiDAR)装置)、音频装置440b(例如，麦克风、回声定位传感器等)以及其他传感器440c中的一个或多个，以促进ISR功能并提供ISR数据(例如，照片、视频、音频、传感器测量结果等)。ISR有效载荷440可操作地耦合到飞行器处理器424，以促进ISR有效载荷440与飞行器处理器424之间的ISR数据(传感器数据)的通信。ISR数据可用于对飞行器系统400进行导航和/或以其他方式控制飞行器系统400。在某些方面，ISR有效载荷440可以经由万向节系统可旋转地和枢转地耦合到例如机架(或另一结构部件，诸如旋翼梁或机翼)的底表面，以使ISR有效载荷440能够更容易地向下取向以监测下方和/或地面上的对象。数据可以被动态地或定期地从飞行器系统400通过网络436经由无线收发器432传送到远程装置438，或被存储到存储器装置428以用于以后访问或处理。
现在参考图5，其根据说明性实施例描绘了使用图像的三角测量的图示。在该说明性示例中，三角测量类似于立体三角测量，其中图像由成像系统在不同的位置处拍摄。在该示例中不需要立体相机系统。
如所描绘的，第一图像是由飞行器在第一位置500处拍摄的，并且第二图像是由飞行器在第二位置502处拍摄的。在所描绘的示例中，这些图像类似于由立体成像系统拍摄的右图像和左图像。
如所描绘的，这两个图像由飞行器在飞行平面504上拍摄。飞行平面504是飞行器在飞行平面504上的线505的方向上行进的平面。这些图像包括地面平面508上的关键点506。
这些图像可被用于执行三角测量，以确定从点512到地面上的关键点506的距离Z510。距离Z 510是从点到线的距离。该距离是从给定点到线上任何一点的最短距离。因此，测量的距离垂直于线。
在该说明性示例中，图像平面514是通过在第一位置500和第二位置502处拍摄的图像的焦距的平面。在所描绘的示例中，焦距f 516是飞行器的成像系统在点512处的焦距。图像平面514与飞行平面504以成像系统的焦距f516分开。在该示例中，点XL522和点XR524是图像平面514上的点。距离Di 515是图像平面514上的点XL522和点XR524之间的距离。
如所描绘的，距离h 530是该示例中的高度，其是从飞行平面504到地面的距离。如图所示，d 532是从关键点506到距离h 530的距离。如图5所示，该距离是从给定点(关键点506)到线上任何点的最短距离，即距离h 530。在说明性示例中，可以基于相机系统的分辨率外推像素到像素距离来确定d 532。
在该示例中，从点512到关键点506的距离Z 510可以被称为深度。距离Z510可以按以下公式计算：
Z＝hf/Di
其中Z是距离Z 510，h是距离h530，f是焦距f 516，并且Di是距离Di 515。有了Z，就可以按以下公式求解距离h 530：
Z2＝d2h2。
因此，测量的高度可以与计算的高度(即h 530)进行比较。该比较可以用来确定偏移量。然后该偏移量可被用来校准飞行器中测量高度的传感器。该类型的距离确定和校准可以由一组飞行器中的每个飞行器来执行。
在另一个说明性示例中，来自第一飞行器的测量高度可能与计算高度匹配，并且第二飞行器的测量高度可能与计算高度不匹配。在此情况下，第二飞行器的测量高度可以被校正，使得执行操作时所处的高度是两个飞行器的预期高度。在另一个示例中，与计算高度相比，两个测量高度都可能不正确。在此情况下，可以为两个飞行器识别偏移量并将其用于校准或校正飞行器的高度。
在另一个说明性示例中，第一飞行器计算到关键点的第一距离Z1，并测量第一高度ma1。第二飞行器可以计算到关键点的第二距离Z2，并测量第二高度ma2。为了校准的目的，可以假定测量高度中的一个(诸如ma1)是正确的。测量高度与到关键点的距离的比率可被用于确定偏移量。例如，ma2＝Z2ma1/z1，其中ma2是偏移量。
接下来转到图6，其根据说明性实施例描绘了用于操作航空成像系统的过程的流程图。图6中的过程可以以硬件、软件或两者来实施。当以软件实施时，该过程可以采取程序代码的形式，该程序代码由位于一个或多个计算机系统中的一个或多个硬件装置中的一个或多个处理器单元运行。例如，该过程可以在图2中的计算机系统210中的控制器208中实施。在该示例中，计算机系统210中的控制器208可以位于第一飞行器、第二飞行器、远程位置或某一其他飞行器或航空器中的至少一个中。
该过程开始于使用由第一飞行器在第一飞行器的飞行期间生成的关键点的第一图像和立体深度三角测量，确定从第一飞行器到关键点的第一距离(操作600)。操作600可以使用对象辨识过程来确定关键点，这些对象辨识过程可以使用人工智能系统、机器学习模型、计算机视觉系统、遗传算法、解释树或其他合适的技术或过程中的至少一种来实施。
该过程将从第一飞行器到关键点的第一距离和由第一飞行器测量的第一飞行器的第一高度与从第二飞行器到关键点的第二距离和由第二飞行器测量的第二飞行器的第二高度进行比较，以形成比较结果(操作602)。
该过程使用比较结果来确定第一飞行器的第一高度和由第二飞行器测量的第二高度之间的偏移量(操作604)。此后，该过程终止。该偏移量可被用于调整第一飞行器的高度。可以通过调整第一飞行器的飞行高度来进行该调整。在另一个示例中，可以在与由第一飞行器生成的图像相关联的元数据中调整高度。
接下来转到图7，其根据说明性实施例描绘了用于使用偏移量来执行动作的过程的流程图的图示。该流程图示出了可以在图6中描绘的流程图中的过程中执行的额外操作。
该过程开始于使用偏移量来执行一组动作(操作700)。该操作在图6中的操作604中识别偏移量之后执行。此后，该过程终止。
在该说明性示例中，在操作700中执行的该组动作选自以下各项中的至少一个：调整源自于由第一飞行器和第二飞行器生成的环境图像的点云中的点的高度信息；控制第一飞行器和第二飞行器的任务；协调第一飞行器和第二飞行器的路线；使第一飞行器和第二飞行器的飞行高度同步；协调第一飞行器和第二飞行器在编队中的飞行；或其他合适的动作。
接下来参考图8，其根据说明性实施例描绘了用于识别到关键点的距离的过程的流程图。该图中示出的过程是可执行图6中的操作600的一种方式的示例。
该过程开始于识别图像中的关键点(操作800)。在该示例中，至少两个图像被用于该判断。这些图像中的每个图像在不同的位置处生成。
该过程为图像中的关键点识别像素(操作802)。这些像素可以针对关键点的一个或多个特征。例如，这些像素可以是沿关键点的底部或侧面的像素线。在另一个示例中，像素可以是关键点中的区域的周界。
该过程使用为图像中的关键点识别的像素执行立体深度三角测量(操作804)。此后，该过程终止。操作804的结果是从飞行器到关键点的距离。
现在转到图9，其根据说明性实施例描绘了由飞行器执行以生成用于操作航空成像系统的信息的过程的流程图。图9中的过程可以以硬件、软件或两者来实施。当以软件实施时，该过程可以采取程序代码的形式，这些程序代码由位于一个或多个计算机系统中的一个或多个硬件装置中的一个或多个处理器单元运行。例如，该过程可以在图2中的第二飞行器206中实施。例如，控制器208和计算机系统210可以被分布成使得一些操作在第二飞行器206中执行。
图9中的过程可以使用为两个飞行器确定或获知的参数来执行。这些参数包括焦距、视场、图像传感器尺度、像素计数、纬度、经度、速度、高度、航空器取向和相机取向。如上文关于图5所描述的，这些参数可被用于执行三角测量。例如，立体三角测量中的焦距和立体三角测量中的变量被用于从一对图像计算到诸如地标的点的距离。
视场被用于确定诸如地标的给定点是否将在多个图像中可见。如果视场是已知的，那么就可以预测将被捕获的地面上的区域。该参数可被用来为将捕获重叠的图像的两个飞行器设定路线。
图像传感器尺度和像素计数是可用于计算图5中的点XL522和点XR524的值。图像传感器的尺度被用来为关键点确定距中心线的角度距离。
该过程开始于生成图像(操作900)。该过程在图像中识别地面上的关键特征(操作902)。在操作902中，关键特征在图像中的两个或更多个图像中被发现。关键特征可以采取多种不同的形式。例如，关键特征可以是路标、物体或由人类操作者在地面上铺设的图案。
该过程测量图像中的关键特征的像素长度(操作904)。关键特征中的像素长度可以是恒定的，或可以在逐个图像之间变化。
该过程用关键点的两个连续图像执行立体深度三角测量，以确定从飞行器到关键点的距离(操作906)。在操作906中，立体深度三角测量也可以使用由飞行器测量的高度。
该过程将关键特征的位置、关键特征的身份、关键特征的距离以及为第二飞行器测量的高度传输到第一飞行器，该第一飞行器也将使用这些位置生成图像(操作908)。此后，该过程终止。
现在转到图10，其根据说明性实施例描绘了用于操作航空成像系统的过程的流程图的图示。图10中的过程可以以硬件、软件或两者来实施。当以软件实施时，该过程可以采取程序代码的形式，该程序代码由位于一个或多个计算机系统中的一个或多个硬件装置中的一个或多个处理器单元运行。例如，该过程可以在图2中的第一飞行器204中实施。例如，计算机系统210中的控制器208可以被分布成使得一些操作在第一飞行器204中执行。
该过程开始于接收关键特征的位置、关键特征的身份、关键特征的距离以及为第二飞行器测量的高度(操作1000)。从第二飞行器接收到的信息被用在用于确定由第一飞行器测量的高度的偏移量的过程中。换句话说，两个飞行器在测量结果中可能具有同一高度，但实际高度可能不同。该信息被用来基于飞行器的高度的测量结果确定该飞行器的实际高度之间的偏移量。在一个说明性示例中，偏移量假定第一飞行器的测量值是正确的高度，并且第二飞行器具有应该被调整的误差。
然后，该过程生成在从第二飞行器接收到的位置处识别的关键特征的图像(操作1002)。在操作1002中，这些图像可以在第一飞行器飞到足够接近关键点的位置以生成关键点的图像时生成。在一个说明性示例中，到该位置的该飞行可以是预定飞行路径的一部分。在另一个说明性示例中，第一飞行器可以改变飞行路径以生成关键点的图像。
该过程使用由第一飞行器生成的图像对关键点执行立体深度三角测量(操作1004)。在操作1004中，通过执行立体深度三角测量来确定第一飞行器到关键点的第一距离。
该过程确定第一飞行器到关键点的第一距离与由第一飞行器测量的高度的第一比率(操作1006)。该过程确定第二飞行器到关键点的第二距离与为第二飞行器测量的高度的第二比率(操作1008)。该过程比较第一比率和第二比率以确定第一飞行器的第一高度和第二飞行器的第二高度之间的偏移量(操作1010)。例如，在操作1010中，该比率可以是如下所示：
Figure BDA0003406792940000211
其中ha＝无人机A的相机传感器覆盖的关键点中的特征的像素数；hb＝无人机B的相机传感器覆盖的关键点中的特征的像素数；ia＝无人机A计算的高度；ib＝无人机B测量的高度。以这种方式，可以确定ib＝无人机B测量高度与ia＝无人机A计算高度的偏移量。
该过程调整第一飞行器的高度，使得高度比率与第二飞行器的那些高度比率匹配(操作1012)。此后，该过程终止。作为该过程的结果，两个飞行器具有相同的测量高度。该过程并不意味着高度一定是实际的，并且都有相同的误差或不准确度。
接下来转到图11，其根据说明性实施例描绘了用于操作航空成像系统的过程的流程图。图11中的过程可以以硬件、软件或两者来实施。当以软件实施时，该过程可以采取程序代码的形式，该程序代码由位于一个或多个计算机系统中的一个或多个硬件装置中的一个或多个处理器单元运行。例如，该过程可以在图2中的航空成像系统200中的计算机系统210中的控制器208中实施。在该示例中，计算机系统210中的控制器208可以位于第一飞行器、第二飞行器、远程位置或一些其他飞行器或航空器中的至少一个中。
该过程开始于使用由第一飞行器生成的关键点的第一图像和立体深度三角测量，确定第一飞行器到关键点的高度(操作1100)。该过程将通过使用第一图像的立体深度三角测量为第一飞行器确定的第一高度与通过使用由第二飞行器生成的关键点的第二图像的立体深度三角测量和由第二飞行器中的传感器系统进行的测量中的一个为第二飞行器确定的第二高度进行比较，以形成比较结果(操作1102)。
该过程使用该比较结果来确定为第一飞行器确定的第一高度和由第二飞行器测量的第二高度之间的偏移量(操作1104)。此后，该过程终止。
在操作1104中确定的偏移量可被用于执行一组动作。该组动作可以选自以下各项中的至少一个：调整源自于由第一飞行器和第二飞行器生成的环境图像的点云中的点的高度信息；控制第一飞行器和第二飞行器的任务；协调第一飞行器和第二飞行器的路线；使第一飞行器和第二飞行器的飞行高度同步；使测量第一飞行器和第二飞行器的高度的传感器系统同步；协调第一飞行器和第二飞行器的编队飞行；或其他合适的动作。
不同的所描绘实施例中的流程图和框图示出了说明性实施例中的设备和方法的一些可能实施方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以代表模块、区段、功能或操作或步骤中的一部分中的至少一个。例如，框中的一个或多个可以被实施为程序代码、硬件或程序代码和硬件的组合。当以硬件来实施时，硬件可以例如采取制造或配置为执行流程图或框图中的一个或多个操作的集成电路的形式。当实施为程序代码和硬件的组合时，实施方式可以采取固件的形式。流程图或框图中的每个框可以使用执行不同操作的专用硬件系统来实施或者使用专用硬件和由专用硬件运行的程序代码的组合来实施。
在说明性实施例的一些可替代实施方式中，框中指出的一个或多个功能可能不按图中指出的顺序出现。例如，在一些情况下，连续示出的两个框可以基本上同时执行，或者框有时可以按相反的顺序执行，这取决于所涉及的功能。而且，除了流程图或框图中的图示框之外，可以添加其他框。
现在转到图12，其根据说明性实施例描绘了数据处理系统的框图的图示。数据处理系统1200可用于实施图2中的计算机系统210。在该说明性示例中，数据处理系统1200包括通信框架1202，该通信框架1202在处理器单元1204、存储器1206、永久性存储设备1208、通信单元1210、输入/输出(I/O)单元1212和显示器1214之间提供通信。在该示例中，通信框架1202采取总线系统的形式。
处理器单元1204用于执行可加载到存储器1206中的软件的指令。处理器单元1204包括一个或多个处理器。例如，处理器单元1204可以选自以下各项中的至少一个：多核处理器、中央处理单元(CPU)、图形处理单元(GPU)、物理处理单元(PPU)、数字信号处理器(DSP)、网络处理器或某种其他合适类型的处理器。此外，处理器单元1204可以使用一个或多个异构处理器系统来实施，在该异构处理器系统中，主处理器与次级处理器存在于单个芯片上。作为另一个说明性示例，处理器单元1204可以是对称多处理器系统，该对称多处理器系统在单个芯片上包含同一类型的多个处理器。
存储器1206和永久性存储设备1208是存储装置1216的示例。存储装置是能够存储信息(例如但非限制地，临时地、永久地或既临时也永久地存储数据、功能形式的程序代码或其他合适信息中的至少一种)的任何硬件。存储装置1216在这些说明性示例中也可以被称为计算机可读存储装置。在这些示例中，存储器1206可以是例如随机存取存储器或任何其他合适的易失性或非易失性存储装置。永久性存储设备1208可以采取各种形式，这取决于特别的实施方式。
例如，永久性存储设备1208可以包含一个或多个部件或装置。例如，永久性存储设备1208可以是硬盘驱动器、固态驱动器(SSD)、闪存、可重写光盘、可重写磁带，或上述各项的某种组合。永久性存储设备1208所使用的介质也可以是可移除的。例如，可移除的硬盘驱动器可被用于永久性存储设备1208。
在这些说明性示例中，通信单元1210提供与其他数据处理系统或装置的通信。在这些说明性示例中，通信单元1210是网络接口卡。
输入/输出单元1212允许与可连接到数据处理系统1200的其他装置进行数据输入和输出。例如，输入/输出单元1212可以通过键盘、鼠标或某种其他合适的输入装置中的至少一个来为用户输入提供连接。此外，输入/输出单元1212可以将输出发送到打印机。显示器1214提供了向用户显示信息的机构。
用于操作系统、应用程序或程序中的至少一个的指令可以位于存储装置1216中，这些存储装置通过通信框架1202与处理器单元1204通信。不同实施例的过程可以由处理器单元1204使用计算机实施的指令来执行，这些指令可以位于存储器(诸如存储器1206)中。
这些指令被称为程序代码、计算机可用程序代码或计算机可读程序代码，其可由处理器单元1204中的处理器读取并执行。不同实施例中的程序代码可以体现在不同的物理或计算机可读存储介质(诸如存储器1206或永久性存储设备1208)上。
程序代码1218以功能形式位于计算机可读介质1220上，该计算机可读介质是可选择性地移除的，并且可以被加载到数据处理系统1200上或转移到该数据处理系统，以便由处理器单元1204执行。程序代码1218和计算机可读介质1220在这些说明性示例中形成计算机程序产品1222。在说明性示例中，计算机可读介质1220是计算机可读存储介质1224。
在这些说明性示例中，计算机可读存储介质1224是用于存储程序代码1218的物理或有形存储装置，而不是传播或传输程序代码1218的介质。如本文中所用，计算机可读存储介质1224不应被理解为是短暂信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，经过光缆的光脉冲)，或通过电线传输的电信号，如本文中所用，不应被理解为是短暂信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，经过光缆的光脉冲)，或通过电线传输的电信号。
可替代地，可以使用计算机可读信号介质将程序代码1218转移到数据处理系统1200。该计算机可读信号介质可以是例如含有程序代码1218的传播数据信号。例如，计算机可读信号介质可以是电磁信号、光信号或任何其他合适类型的信号中的至少一种。这些信号可以通过连接件(诸如无线连接、光缆、同轴电缆、电线或任何其他合适类型的连接件)来传输。
此外，如本文中所用，“计算机可读介质1220”可以是单数或复数的。例如，程序代码1218可以以单个存储装置或系统的形式位于计算机可读介质1220中。在另一个示例中，程序代码1218可以位于分布在多个数据处理系统中的计算机可读介质1220中。换句话说，程序代码1218中的一些指令可以位于一个数据处理系统中，而程序代码1218中的其他指令可以位于一个数据处理系统中。例如，程序代码1218中的一部分可以位于服务器计算机中的计算机可读介质1220中，而程序代码1218中的另一部分可以位于处在一组客户端计算机中的计算机可读介质1220中。
为数据处理系统1200示出的不同部件并不意味着对可实现不同实施例的方式提供架构限制。在一些说明性示例中，部件中的一个或多个可以并入另一个部件或以其他方式形成另一个部件的一部分。例如，在一些说明性示例中，存储器1206或其一些部分可以并入处理器单元1204中。不同的说明性实施例可以在数据处理系统中实施，该数据处理系统包括附加于或替代为数据处理系统1200示出的那些部件的部件。图12所示的其他部件可以根据所示的说明性示例而变化。不同的实施例可以使用能够运行程序代码1218的任何硬件装置或系统来实现。
因此，说明性示例提供了一种用于操作航空成像系统的方法、设备、系统和计算机程序产品。由计算机系统使用由第一飞行器在第一飞行器的飞行期间生成的关键点的第一图像和立体深度三角测量来确定从第一飞行器到关键点的第一距离。由计算机系统将从第一飞行器到关键点的第一距离和由第一飞行器测量的第一飞行器的第一高度与从第二飞行器到关键点的第二距离和由第二飞行器测量的第二飞行器的第二高度进行比较，以形成比较结果。由计算机系统使用该比较结果来确定第一飞行器的第一高度和由第二飞行器测量的第二高度之间的偏移量，其中该偏移量被用来调整第一飞行器的高度。
通过确定偏移量，可以对第一飞行器或第二飞行器中的至少一个进行高度调整，以更准确地或较少使用处理资源执行各种任务。例如，借助于彼此更密切相关的高度，不同飞行器之间生成的图像和数据集可以被更快地处理，以生成感兴趣对象的点云。在其他说明性示例中，可以调整高度，使得可以更准确地执行精确飞行或其他任务，并提高安全性。
对不同的说明性实施例的描述是为了说明和描述的目的而提出的，并且不旨在是排他的或局限于所公开的形式的实施例。不同的说明性示例描述了执行动作或操作的部件。在说明性实施例中，部件可以被配置为执行所描述的动作或操作。例如，部件可以具有用于结构的配置或设计，该配置或设计为部件提供执行说明性示例中描述为由该部件执行的动作或操作的能力。此外，在本文中使用术语“包括”、“包含”、“具有”、“含有”及其变体的情况下，此类术语旨在以类似于术语“包括”的方式作为开放的过渡词是包含式的，而不排除任何额外的或其他要素。
此外，本公开包括根据以下条款的实施例。
条款1.一种航空成像系统(200)，其包括：
计算机系统(210)；以及
在计算机系统(210)中的控制器(208)，其中控制器(208)被配置为：
使用由第一飞行器(204)生成的关键点(220)的第一图像(212)和立体深度三角测量(224)来确定第一飞行器(204)的第一高度(226)；
将第一高度(226)与第二高度(230)进行比较，以形成比较结果(232)，所述第二高度(230)是通过使用由第二飞行器(206)生成的关键点(220)的第二图像(214)的立体深度三角测量(224)和由所述第二飞行器(206)中的传感器系统(308)进行的测量中的一个为第二飞行器(206)确定的；
以及
使用比较结果(232)来确定为第一飞行器(204)确定的第一高度(226)
与由第二飞行器(206)测量的第二高度(230)之间的偏移量(238)。
条款2.根据条款1所述的航空成像系统(200)，其中控制器(208)被配置为使用偏移量(238)来执行一组动作(242)。
条款3.根据条款2所述的航空成像系统(200)，其中所述组动作(242)选自以下各项中的至少一个：调整源自于由第一飞行器(204)和第二飞行器(206)生成的环境的图像的点云中的点的高度信息；控制第一飞行器(204)和第二飞行器(206)的任务；协调第一飞行器(204)和第二飞行器(206)的路线；使第一飞行器(204)和第二飞行器(206)的飞行高度同步；使测量第一飞行器(204)和第二飞行器(206)的高度的传感器系统同步；或协调第一飞行器(204)和第二飞行器(206)的编队飞行。
条款4.根据任一项前述条款所述的航空成像系统(200)，其中控制器(208)被配置为在由与第一飞行器(204)相关联的第一相机系统(216)生成的第一图像(212)中识别关键点(220)。
条款5.根据任一项前述条款所述的航空成像系统(200)，其中使用第一图像(212)或第二图像(214)中的关键点(220)的像素执行立体深度三角测量(224)。
条款6.根据任一项前述条款所述的航空成像系统(200)，其中第一飞行器(204)和第二飞行器(206)选自飞机、无人驾驶航空系统、无人驾驶航空器、无人机、旋翼机或航天器中的至少一种。
条款7.根据任一项前述条款所述的航空成像系统(200)，其中关键点(220)是陆地区域、山、塔、建筑物、湖、水坝、标志物、图案和VOR天线中的一种。
条款8.一种航空成像系统(200)，其包括：
由第一飞行器(204)携带的第一相机系统(216)，其中第一相机系统(216)在第一飞行器(204)的飞行期间生成第一图像(212)；
由第一飞行器(204)携带的高度传感器系统(234、314)，其中高度传感器系统(234、314)测量第一飞行器(204)的第一高度(226)；以及用于第一飞行器(204)的控制器(208)，其中控制器(208)被配置为：
使用由与第一飞行器(204)相关联的第一相机系统(216)在第一飞行器(204)的飞行期间生成的关键点(220)的第一图像(212)和立体深度三角测量(224)，确定从第一飞行器(204)到关键点(220)的第一距离(222)；
从第二飞行器(206)接收从第二飞行器(206)到关键点(220)的第二距离(228)和为第二飞行器(206)测量的第二高度(230)；
将从第一飞行器(204)到关键点(220)的第一距离(222)和第一高度(226)与从第二飞行器(206)到关键点(220)的第二距离(228)和第二高度(230)进行比较，以形成比较结果(232)；以及
使用比较结果(232)确定第一飞行器(204)的第一高度(226)和第二飞行器(206)的第二高度(230)之间的偏移量(238)，其中偏移量(238)被用于调整第一飞行器(204)的高度。
条款9.根据条款8所述的航空成像系统(200)，进一步包括：
使用偏移量(238)来执行一组动作(242)。
条款10.根据条款9所述的航空成像系统(200)，其中该组动作(242)选自以下各项中的至少一个：调整源自于由第一飞行器(204)和第二飞行器(206)生成的环境的图像的点云中的点的高度信息；控制第一飞行器(204)和第二飞行器(206)的任务；协调第一飞行器(204)和第二飞行器(206)的路线；使第一飞行器(204)和第二飞行器(206)的飞行高度同步；使测量第一飞行器(204)和第二飞行器(206)的高度的传感器系统同步；或协调第一飞行器(204)和第二飞行器(206)的编队飞行。
条款11.根据条款8至10中任一项所述的航空成像系统(200)，进一步包括：
在由第一相机系统(216)生成的第一图像(212)中识别关键点(220)。
条款12.根据条款8至11中任一项所述的航空成像系统(200)，其中使用利用第一图像(212)中的关键点(220)的第一像素(223)执行的立体深度三角测量(224)来确定第一距离(222)，并且使用利用第二图像(214)中的关键点(220)的第二像素(229)执行的立体深度三角测量(224)来确定第二距离(228)。
条款13.根据条款8至12中任一项所述的航空成像系统(200)，其中高度传感器系统(234、314)包括气压传感器或全球定位系统接收器中的至少一种。
条款14.一种用于操作航空成像系统(200)的方法，该方法包括：
由计算机系统(210)使用由第一飞行器(204)在第一飞行器(204)的飞行期间生成的关键点(220)的第一图像(212)和立体深度三角测量(224)，确定(600)第一飞行器(204)的第一高度(226)；
由计算机系统(210)将第一高度(226)与由第二飞行器(206)确定的第二飞行器(206)的第二高度(230)进行比较(602)，以形成比较结果(232)；
由计算机系统(210)使用该比较结果(232)确定第一高度(226)和第二高度(230)之间的偏移量(238)；
由计算机系统(210)基于偏移量(238)调整第一高度(226)或第二高度(230)中的至少一个；以及
由计算机系统(210)从在第一高度(226)处的第一飞行器(204)和在第二高度(230)处的第二飞行器(206)获得地区的多个图像。
条款15.根据条款14所述的方法，进一步包括：
由计算机系统(210)使用偏移量(238)执行(700)一组动作(242)。
条款16.根据条款15所述的方法，其中该组动作(242)选自以下各项中的至少一个：调整源自于由第一飞行器(204)和第二飞行器(206)生成的环境的图像的点云中的点的高度信息；控制第一飞行器(204)和第二飞行器(206)的任务；协调第一飞行器(204)和第二飞行器(206)的路线；使第一飞行器(204)和第二飞行器(206)的飞行高度同步；使测量第一飞行器(204)和第二飞行器(206)的高度的传感器系统同步；或协调第一飞行器(204)和第二飞行器(206)的编队飞行。
条款17.根据条款14至16中任一项所述的方法，进一步包括：
由计算机系统(210)识别由与第一飞行器(204)相关联的第一相机系统(216)生成的第一图像(212)中的关键点(220)。
条款18.根据条款14至17中任一项所述的方法，其中第二高度(230)使用利用由第二飞行器(206)生成的关键点(220)的第二图像(214)执行的立体深度三角测量(224)来确定。
条款19.根据条款14至18中任一项所述的方法，其中第二高度(230)使用与第二飞行器(206)相关联的高度传感器系统(236、314)来确定。
条款20.根据条款14至19中任一项所述的方法，其中第一飞行器(204)和第二飞行器(206)选自飞机、无人驾驶航空系统、无人驾驶航空器、无人机、旋翼机或航天器中的至少一种。
条款21.一种用于操作航空成像系统(200)的计算机程序产品(1222)，该计算机程序产品包括：
计算机可读存储介质(1224)；
第一程序代码，其被存储在计算机可读存储介质上，可由计算机系统(210)执行，以使计算机系统(210)使用由第一飞行器(204)在第一飞行器(204)的飞行期间生成的关键点(220)的第一图像(212)和立体深度三角测量(224)，确定从第一飞行器(204)到关键点(220)的第一距离(222)；
第二程序代码，其被存储在计算机可读存储介质上，可由计算机系统(210)执行，以使计算机系统(210)将从第一飞行器(204)到关键点(220)的第一距离(222)和由第一飞行器(204)测量的第一飞行器(204)的第一高度(226)与从第二飞行器(206)到关键点(220)的第二距离(228)和由第二飞行器(206)测量的第二飞行器(206)的第二高度(230)进行比较，以形成比较结果(232)；以及
第三程序代码，其被存储在计算机可读存储介质上，可由计算机系统(210)执行，以使计算机系统(210)使用比较结果(232)来确定第一飞行器(204)的第一高度(226)和由第二飞行器(206)测量的第二高度(230)之间的偏移量(238)，其中偏移量(238)被用于调整第一飞行器(204)的高度。
对于本领域普通技术人员来说，许多修改和变化将是显而易见的。此外，与其他期望的实施例相比，不同的说明性实施例可以提供不同的特征。选择和描述所选择的一个或多个实施例以便最好地解释实施例的原理、实际应用，并使本领域普通技术人员能够理解具有适合于所设想的特别用途的各种修改的各种实施例的公开内容。

Claims (14)

1.一种航空成像系统(200)，其包括：
由第一飞行器(204)携带的第一相机系统(216)，其中所述第一相机系统(216)在所述第一飞行器(204)的飞行期间生成第一图像(212)；
由所述第一飞行器(204)携带的高度传感器系统(234、314)，其中所述高度传感器系统(234、314)测量所述第一飞行器(204)的第一高度(226)；以及
用于所述第一飞行器(204)的控制器(208)，其中所述控制器(208)被配置为：
使用由与所述第一飞行器(204)相关联的所述第一相机系统(216)在所述第一飞行器(204)的所述飞行期间生成的关键点(220)的所述第一图像(212)和立体深度三角测量(224)，确定从所述第一飞行器(204)到所述关键点(220)的第一距离(222)；
从第二飞行器(206)接收从所述第二飞行器(206)到所述关键点(220)的第二距离(228)和为所述第二飞行器(206)测量的第二高度(230)；
将从所述第一飞行器(204)到所述关键点(220)的所述第一距离(222)和第一高度(226)与从所述第二飞行器(206)到所述关键点(220)的所述第二距离(228)和所述第二高度(230)进行比较，以形成比较结果(232)；以及
使用所述比较结果(232)来确定所述第一飞行器(204)的所述第一高度(226)和所述第二飞行器(206)的所述第二高度(230)之间的偏移量(238)，其中所述偏移量(238)被用于调整所述第一飞行器(204)的高度。
2.根据权利要求1所述的航空成像系统(200)，进一步包括：
使用所述偏移量(238)来执行一组动作(242)。
3.根据权利要求2所述的航空成像系统(200)，其中所述一组动作(242)选自以下各项中的至少一个：调整源自于由所述第一飞行器(204)和所述第二飞行器(206)生成的环境的图像的点云中的点的高度信息；控制所述第一飞行器(204)和所述第二飞行器(206)的任务；协调所述第一飞行器(204)和所述第二飞行器(206)的路线；使所述第一飞行器(204)和所述第二飞行器(206)的飞行高度同步；使所述第一飞行器(204)和所述第二飞行器(206)中的测量高度的传感器系统同步；或者协调所述第一飞行器(204)和所述第二飞行器(206)的编队飞行。
4.根据权利要求1至3中任一项所述的航空成像系统(200)，进一步包括：
在由所述第一相机系统(216)生成的所述第一图像(212)中识别所述关键点(220)。
5.根据权利要求1至3中任一项所述的航空成像系统(200)，其中所述第一距离(222)使用利用所述第一图像(212)中的所述关键点(220)的第一像素(223)执行的立体深度三角测量(224)来确定，并且所述第二距离(228)使用利用所述第二图像(214)中的所述关键点(220)的第二像素(229)执行的立体深度三角测量(224)来确定。
6.根据权利要求1至3中任一项所述的航空成像系统(200)，其中所述高度传感器系统(234、314)包括气压传感器或全球定位系统接收器中的至少一个。
7.一种用于操作航空成像系统(200)的方法，所述方法包括：
由计算机系统(210)使用由第一飞行器(204)在所述第一飞行器(204)的飞行期间生成的关键点(220)的第一图像(212)和立体深度三角测量(224)，确定(600)所述第一飞行器(204)的第一高度(226)；
由所述计算机系统(210)将所述第一高度(226)与由第二飞行器(206)确定的所述第二飞行器(206)的第二高度(230)进行比较(602)，以形成比较结果(232)；
由所述计算机系统(210)使用所述比较结果(232)来确定所述第一高度(226)和所述第二高度(230)之间的偏移量(238)；
由所述计算机系统(210)基于所述偏移量(238)调整所述第一高度(226)或所述第二高度(230)中的至少一个；以及
由所述计算机系统(210)从在所述第一高度(226)处的所述第一飞行器(204)和在所述第二高度(230)处的所述第二飞行器(206)获得地区的多个图像。
8.根据权利要求7所述的方法，进一步包括：
由所述计算机系统(210)使用所述偏移量(238)执行(700)一组动作(242)。
9.根据权利要求8所述的方法，其中所述一组动作(242)选自以下各项中的至少一个：调整源自于由所述第一飞行器(204)和所述第二飞行器(206)生成的环境的图像的点云中的点的高度信息；控制所述第一飞行器(204)和所述第二飞行器(206)的任务；协调所述第一飞行器(204)和所述第二飞行器(206)的路线；使所述第一飞行器(204)和所述第二飞行器(206)的飞行高度同步；使所述第一飞行器(204)和所述第二飞行器(206)中的测量高度的传感器系统同步；或者协调所述第一飞行器(204)和所述第二飞行器(206)的编队飞行。
10.根据权利要求7至9中任一项所述的方法，进一步包括：
由所述计算机系统(210)识别由与所述第一飞行器(204)相关联的第一相机系统(216)生成的所述第一图像(212)中的所述关键点(220)。
11.根据权利要求7至9中任一项所述的方法，其中所述第二高度(230)使用利用由所述第二飞行器(206)生成的所述关键点(220)的所述第二图像(214)执行的立体深度三角测量(224)来确定。
12.根据权利要求7至9中任一项所述的方法，其中所述第二高度(230)使用与所述第二飞行器(206)相关联的高度传感器系统(236、314)来确定。
13.根据权利要求7至9中任一项所述的方法，其中所述第一飞行器(204)和所述第二飞行器(206)选自飞机、无人驾驶航空系统、无人驾驶航空器、无人机、旋翼机或航天器中的至少一种。
14.一种用于操作航空成像系统(200)的计算机程序产品(1222)，所述计算机程序产品包括：
计算机可读存储介质(1224)；
存储在所述计算机可读存储介质上的第一程序代码，所述第一程序代码能够由计算机系统(210)执行，以使所述计算机系统(210)使用由第一飞行器(204)在所述第一飞行器(204)的飞行期间生成的关键点(220)的第一图像(212)和立体深度三角测量(224)，确定从所述第一飞行器(204)到所述关键点(220)的第一距离(222)；
存储在所述计算机可读存储介质上的第二程序代码，所述第二程序代码能够由所述计算机系统(210)执行，以使所述计算机系统(210)将从所述第一飞行器(204)到所述关键点(220)的所述第一距离(222)和由所述第一飞行器(204)测量的所述第一飞行器(204)的第一高度(226)与从第二飞行器(206)到所述关键点(220)的第二距离(228)和由所述第二飞行器(206)测量的所述第二飞行器(206)的第二高度(230)进行比较，以形成比较结果(232)；以及
存储在所述计算机可读存储介质上的第三程序代码，所述第三程序代码能够由所述计算机系统(210)执行，以使所述计算机系统(210)使用所述比较结果(232)确定所述第一飞行器(204)的所述第一高度(226)和所述第二飞行器(206)的所述第二高度(230)之间的偏移量(238)，其中所述偏移量(238)被用于调整所述第一飞行器(204)的高度。
CN202111515523.6A 2020-12-16 2021-12-13 飞行器传感器系统同步 Pending CN114636405A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063126450P 2020-12-16 2020-12-16
US63/126,450 2020-12-16

Publications (1)

Publication Number Publication Date
CN114636405A true CN114636405A (zh) 2022-06-17

Family

ID=78845057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111515523.6A Pending CN114636405A (zh) 2020-12-16 2021-12-13 飞行器传感器系统同步

Country Status (6)

Country Link
US (1) US20220189318A1 (zh)
EP (1) EP4015993B1 (zh)
JP (1) JP2022095569A (zh)
KR (1) KR20220086479A (zh)
CN (1) CN114636405A (zh)
AU (1) AU2021273629A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115265504A (zh) * 2022-08-01 2022-11-01 中图测绘技术(杭州)有限公司 一种三维地形测绘方法、系统及终端设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11784710B2 (en) * 2022-03-10 2023-10-10 The Aerospace Corporation Satellite orientation system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2720029A (en) * 1952-09-22 1955-10-11 Fairchild Aerial Surveys Inc Photogrammetric apparatus
US11423791B2 (en) * 2018-01-05 2022-08-23 Gopro, Inc. Adaptive object detection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115265504A (zh) * 2022-08-01 2022-11-01 中图测绘技术(杭州)有限公司 一种三维地形测绘方法、系统及终端设备
CN115265504B (zh) * 2022-08-01 2024-04-02 中图测绘技术(杭州)有限公司 一种三维地形测绘方法、系统及终端设备

Also Published As

Publication number Publication date
JP2022095569A (ja) 2022-06-28
US20220189318A1 (en) 2022-06-16
EP4015993A1 (en) 2022-06-22
EP4015993B1 (en) 2024-03-13
AU2021273629A1 (en) 2022-06-30
KR20220086479A (ko) 2022-06-23

Similar Documents

Publication Publication Date Title
US10914590B2 (en) Methods and systems for determining a state of an unmanned aerial vehicle
US10565732B2 (en) Sensor fusion using inertial and image sensors
EP3158293B1 (en) Sensor fusion using inertial and image sensors
US11015956B2 (en) System and method for automatic sensor calibration
EP3158417B1 (en) Sensor fusion using inertial and image sensors
Kong et al. Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system
EP3158411B1 (en) Sensor fusion using inertial and image sensors
CN108351649B (zh) 用于控制可移动物体的方法和设备
EP4015993B1 (en) Aircraft sensor system synchronization
Martinez et al. UAS point cloud accuracy assessment using structure from motion–based photogrammetry and PPK georeferencing technique for building surveying applications
RU2687008C2 (ru) Способ установления плановой траектории полета транспортного средства возле цели (варианты), вычислительное устройство (варианты)
US20220377261A1 (en) Real-time thermal camera based odometry and navigation systems and methods
EP3916356A1 (en) Global positioning denied navigation
Kong et al. A ground-based multi-sensor system for autonomous landing of a fixed wing UAV
Tahar et al. A new approach on production of slope map using autonomous unmanned aerial vehicle
Pei et al. Methods for monitoring and controlling multi-rotor micro-UAVs position and orientation based on LabVIEW
Small Aggieair: towards low-cost cooperative multispectral remote sensing using small unmanned aircraft systems
US20240094726A1 (en) Verifying flight system calibration and performing automated navigation actions
US20230030222A1 (en) Operating modes and video processing for mobile platforms
Mancar Autonomous landing of a VTOL UAV on a ship deck moving on standing wavy sea using camera and laser range finder
Popov et al. Orientation Method of Ultralight UAV with a Rare Update of Its Location Data
Sethuramasamyraja et al. Development of Unmanned Aerial Vehicle Systems for Terrain Mapping and Geospatial Data Management
Coppaa et al. Autonomous model helicopter for mobile mapping applications: first results

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination