CN109417596B - 多传感器图像稳定技术 - Google Patents

Abstract

一种飞行器，可以包括诸如数码相机的第一传感器，所述第一传感器具有镜头或其他部件，所述镜头或其他部件包括安装到其的第二传感器。使用所述第二传感器捕获的信息或数据(诸如数字图像)可以用于确定或预测所述镜头的运动，所述运动可以包括平移和/或旋转运动的分量。一旦确定或预测了所述镜头的所述运动，这样的运动就可以用于根据光学或数字稳定技术使使用所述第一传感器捕获的信息或数据(诸如数字图像)稳定。在所述第一传感器和所述第二传感器的操作同步的情况下，所述第二传感器的运动可以基于由其捕获的信息或数据来建模，并且被输入到所述第一传感器。

Description

多传感器图像稳定技术

背景技术

在飞行器的飞行操作期间使用成像装置或其他传感器是越来越普遍的。特别地，无人驾驶飞行器或UAV很多情况下配备有一个或多个成像装置，诸如数码相机、测距相机、深度传感器、红外传感器或可以检测、捕获和/或处理可见光或不可见光的其他系统。在飞行器配备有一个或多个成像装置的情况下，此类装置可以用于飞行器的任何数量的操作或应用中，并且用于任何目的。例如，成像装置可以用于捕获成像数据，诸如静止或运动图像以及任何相关联的音频信号或元数据(例如，地理标记或日期或时间戳)，以有助于飞行器的安全操作，诸如机动或控制，包括但不限于避免碰撞。替代地，当飞行器用于拍摄大的或不同的区域，或者地面摄影师或基于地面的摄影器材不能容易地接近的角度的区域时，飞行器上所搭载的成像装置可以用于监督或监视应用。

在空中操作期间，飞行器通常经受多种不同性质和程度的力。例如，飞行器可能经受由在飞行中的飞行器上方、下方和周围流动的空气产生的力，包括推力、升力、剪切力或阻力。另外，飞行器也可能例如由于飞行器上的旋转马达或其他机械，或者由于在飞行期间可能共振或振荡的飞行器的一个或多个方面而经受具有变化强度或变化频谱的噪声或振动。飞行器还可能经受由各种空中或基于地面的物体的撞击产生的力。

当飞行器在飞行期间经受这种力时，由在其上操作的任何成像装置捕获的成像数据的质量可能因此受到影响。通常，当成像装置在成像装置运动的同时捕获成像数据时，可以根据一种或多种物理或数字处理技术来稳定或校正成像数据。在成像装置在飞行中搭载在飞行器上的情况下此类技术本质上是复杂的，然而，特别是在成像装置的视场不包括固定参考点的情况下，由成像装置捕获的成像数据的稳定性可以基于所述参考点。

附图说明

图1A至图1E是根据本公开的实施例的被配置为执行多传感器图像稳定技术的一个飞行器的方面的视图。

图2是根据本公开的实施例的用于执行多传感器图像稳定技术的一个系统的框图。

图3是根据本公开的实施例的用于多传感器图像稳定的一个过程的流程图。

图4是根据本公开的实施例的被配置为执行多传感器图像稳定技术的一个飞行器的方面的视图。

图5是根据本公开的实施例的用于多传感器图像稳定的一个过程的流程图。

图6A至图6B是根据本公开的实施例的被配置为执行多传感器图像稳定技术的一个飞行器的方面的视图。

具体实施方式

如下文更详细地阐述的，本公开涉及图像稳定技术，所述图像稳定技术利用多个传感器来修改一个或多个图像，或者使使用一个传感器捕获的一系列图像稳定。更具体地，本公开的系统和方法涉及具有镜头、镜头模块或其他光学部件的成像装置，诸如数码相机，其中成像装置或其他传感器安装在其一个或多个外表面上。例如，在一个实施例中，飞行器可以配备有主(例如，基本上向前定向的)成像装置，所述主成像装置具有镜头或镜头模块、次(例如，基本上向下定向的)成像装置或安装在其下侧上的其他传感器。根据本公开的一个或多个实施例，主成像装置和次成像装置可以被配置为同时捕获成像数据。在正常操作期间，操作次成像装置以在次成像装置的在飞行器下方延伸的视场内捕获关于飞行器在其之上行进的地面地形的成像数据。同时，主成像装置可以与次成像装置同步操作，以捕获在飞行器前方延伸的视场内的成像数据。主成像装置的视场可包括一个或多个结构、障碍物、障碍区、动物、其他飞行器或一个或多个其他物体。

在一些实施例中，可以实时或近实时地处理由次成像装置捕获的包括或描述飞行器下方的地面地形的特征的成像数据，以便确定表示次成像装置所联接的主成像装置的平移和/或旋转运动的函数、矢量或另一个度量。使用这样的函数、矢量或度量，可以相应地修改由主成像装置捕获的成像数据，以便由于飞行器的平移和/或旋转运动而使成像数据稳定，所述平移和/或旋转运动本身使用由次成像装置捕获的成像数据来确定。

参考图1A至图1E，示出了被配置为执行多传感器图像稳定技术的飞行器110。图1A是飞行中的飞行器110的透视图，并且图1B是飞行中的飞行器110的侧视图。如图1A和图1B所示，飞行器110包括框架120，所述框架120具有多个马达130-1、130-2、130-3、130-4和安装到其的主成像装置140。马达130-1、130-2、130-3、130-4耦接到螺旋桨132-1、132-2、132-3、132-4，每个螺旋桨被配置为在动力作用下围绕基本上相对于框架120垂直的轴线旋转，从而在操作期间在飞行器110上产生升力。主成像装置140包括镜头(或镜头模块) 142，所述镜头142具有安装到其的次成像装置150，例如，在镜头142的下侧。如图1B所示，主成像装置140的镜头142在相对于框架120的基本上向前方向上对准，而次成像装置150的镜头(或镜头模块) 152在相对于框架120的基本上向下方向上对准。

参考图1C，分别由主成像装置140和次成像装置150同时捕获成像数据。主成像装置140从飞行器110的向前方向捕获包括主图像14-1、14-2、14-3、14-4序列的主成像数据14-n，并且次成像装置150捕获包括从飞行器110的向下方向捕获的次图像15-1、15-2、15-3、15-4序列的次成像数据15-n。如图1C所示，序列14-n中的主图像14-1、14-2、14-3、14-4中的每一个被锐聚焦，但相对于彼此不正确地对准，例如，由于在操作期间飞行器110的振动或其他运动所致。同样地，序列15-n中的次图像15-1、15-2、15-3、15-4中的每一个被锐聚焦，但也相对于彼此不正确地对准。

根据本公开，可以使用由第二传感器捕获的信息或数据来使使用第一传感器捕获的成像数据稳定，所述第二传感器物理地联接到第一传感器的一个或多个部分。例如，由于图1A和图1B的次成像装置150安装到主成像装置140的镜头142，因此次成像装置150在次成像数据15-n的捕获期间经历的任何平移和/或旋转运动与主成像装置140在主成像数据14-n的捕获期间经历的平移和/或旋转运动相同。在可以使用由其捕获的信息或数据对第二传感器的运动建模的情况下，可以基于第二传感器的建模运动来调整由第一传感器捕获的成像数据。

如图1D所示，使用次成像装置150捕获的次成像数据15-n可以被提供给计算装置112 (例如，具有在其上运行的一个或多个处理器的服务器或其他计算装置或机器)，以便根据一种或多种图像稳定技术进行处理。计算装置112可以提供在飞行器110上、外部物理位置中或一个或多个备用或虚拟位置中，例如，基于“云”的环境中。如图1D中还示出的，在未修改的状态下，次成像数据15-n的流看起来模糊，因为当捕获到次图像15-1、15-2、15-3、15-4中的每一个时，大幅锐化的次图像15-1、15-2、15-3、15-4中的每一个由于飞行器110的运动而相对于彼此未对准。计算装置112可以根据一种或多种电子图像稳定技术来处理次成像数据15-n。例如，计算装置112可以标识出次图像15-1、15-2、15-3、15-4中的一个或多个内的一个或多个参考点，并且利用此类参考点或锚定点在次图像15-1、15-2、15-3、15-4内的存在来使一个或多个这样的参考点或锚定点相对于彼此稳定或对准。由于次成像装置150在向下方向上对准，因此可以合理地期望次成像装置150在飞行器110的所有或大部分飞行操作期间包括视场内的地面地形。可以识别出次成像数据15内的地面地形上的多个参考点或锚定点中的任一个并将其用于确定或预测次成像装置150的运动并且限定成像数据15-n的稳定集15’-n，例如，使得相应的次图像15-1、15-2、15-3、15-4相对于彼此正确地对准。一旦确定或预测了次成像装置150的运动，大幅锐化的图像15-1、15-2、15-3、15-4中的每一个可以通过计算装置112、基于所确定或所预测的运动相对于彼此正确地对准，使得稳定的次成像数据15’-n的流看起来清楚。

如图1D中还示出的，计算装置112可以确定或预测次成像装置150的运动的随时间推移的一个或多个方面，包括但不限于与次成像装置150的偏航有关的函数或矢量，或ψ(t)；与次成像装置150的俯仰有关的函数或矢量，或θ(t)；或与次成像装置150的滚转有关的函数或矢量，或ϕ(t)。如上所述，由于次成像装置150联接到主成像装置140，因此可以推断，次成像装置150的运动的确定或预测也对应于主成像装置140的运动。

随后，次成像装置150的运动的确定或预测方面以及因此主成像装置140的运动可用于使先前、同时或随后使用主成像装置140捕获的成像数据稳定。如图1E所示，对应于主成像装置140的偏航ψ(t)、俯仰θ(t)或滚转ϕ(t)的函数或矢量被提供给计算装置112并且用于以数字方式改变由其捕获的主成像数据14-n，并相应地限定主成像数据14-n的稳定集14’-n。替代地，偏航函数ψ(t)、俯仰函数θ(t)或滚转函数ϕ(t)可用于实时或近实时地修改主成像装置140的操作，诸如通过使用一个或多个电动马达或陀螺仪修改一个或多个部件(诸如镜头模块)的操作或相对位置或取向，以便例如通过改变在镜头与图像传感器之间穿过的光路径来以光学方式使使用主成像装置140捕获的成像数据稳定。

可以使用诸如数码相机、深度传感器或测距相机的一个或多个成像装置来捕获呈视觉成像数据或深度成像数据形式的成像数据。此类装置通常可以通过以下方式进行操作：捕获从物体反射的光，并且随后计算一个或多个定量值或将所述一个或多个定量值分配给反射光的各方面(例如像素)，基于此类值生成输出，并且将此类值存储在一个或多个数据存储区中。数码相机可以包括一个或多个传感器，所述一个或多个传感器具有与其相关联的一个或多个滤光器，并且此类传感器可以检测关于与反射光的一种或多种基色(例如，红色、绿色或蓝色)相对应的反射光的任何数量的像素的各方面的信息，或距光从其反射的物体的距离。此类传感器可以生成包括此类信息的数据文件，并且将此类数据文件存储在一个或多个机载的或可访问的数据存储区(例如，硬盘驱动器或其他类似的部件)中，或者存储在一个或多个可移除数据存储区(例如，闪存存储器装置)中。替代地，此类数据文件可以显示在一个或多个广播或闭路电视网络上，或者通过作为互联网的计算机网络显示。

存储在一个或多个数据存储区中的成像数据文件可以被打印在纸张上、呈现在一个或多个计算机显示器上或者经受一个或多个分析，诸如以识别出其中表达的项目。此类数据文件可以任何数量的格式存储，包括但不限于.JPEG或.JPG文件或图形交换格式(或“.GIF”)、位图(或“.BMP”)、便携式网络图形(或“.PNG”)、标记图像文件格式(或“.TIFF”)文件、音频视频交错(或“.AVI”)、QuickTime(或“.MOV”)、运动图像专家组(或“.MPG”、“.MPEG”或“.MP4”)或Windows媒体视频(或“.WMV”)文件。

如果反射光在装置的视场内，则可以由成像装置捕获或检测反射光，所述视场被定义为随装置内的传感器与镜头之间的距离(即，焦距)以及装置的位置和装置镜头的角取向而变化。因此，在物体出现在景深内，或者在视场内的清晰度和焦点足够锐化的距离的情况下，成像装置可以使用其一个或多个传感器捕获从任何类型的物体反射到足够高分辨率的光，并且将关于反射光的信息存储在一个或多个数据文件中。

许多成像装置还包括用于修改它们相应的视场或取向的特征。例如，数码相机可以被配置在固定位置中，或者被配置成具有固定焦距(例如，定焦镜头)或角取向。替代地，成像装置可以包括一个或多个致动特征或机动特征，以用于通过使传感器与镜头(例如，光学变焦镜头或数字变焦镜头)之间的距离发生变化，使成像装置的位置发生变化，或者使限定角取向的角度中的一个或多个发生变化来调节成像装置的位置，或用于调节焦距(例如，使成像装置变焦)或角取向(例如，滚转角、俯仰角或偏航角)。

例如，成像装置可以硬安装到支撑件或安装件，所述支撑件或安装件将装置保持在相对于一个、两个或三个轴的固定配置或角度。然而，替代地，成像装置可以具备一个或多个马达和/或控制器，以用于手动地或自动地操作一个或多个部件，或者用于重新定向装置的轴线或方向，即，通过使装置摇摄或倾斜。使成像装置摇摄可以引起水平平面内或围绕垂直轴线(例如，偏航)的旋转，而使成像装置倾斜可以引起垂直平面内或围绕水平轴线(例如，俯仰)的旋转。另外，成像装置可以围绕其旋转轴线，并且在垂直于旋转轴线且基本上平行于装置的视场的平面内滚转或旋转。

此外，一些现代成像装置可以数字方式或电子方式调节在视场中识别的图像，经受一个或多个物理和操作约束。例如，数码相机可以实际地拉伸或压缩图像的像素，以便聚焦或加宽数码相机的视场，并且还转换视场内的图像的一个或多个部分。具有光学可调焦距或取向轴的成像装置通常被称为摇摄-倾斜-变焦(或“PTZ”)成像装置，而具有以数字方式或以电子方式可调节的变焦或平移特征的成像装置通常被称为电子PTZ(或“ePTZ”)成像装置。

可以任意种方式从数据中提取关于在成像数据中表达的特征或对象的信息和/或数据，包括特征或对象的颜色、纹理或轮廓。例如，可以根据一个或多个标准(例如，RGB(“红-绿-蓝”)颜色模型)来确定和量化数字图像中的像素或像素组的颜色，其中，像素中的红色、绿色或蓝色部分以值的范围为0至255的三个对应数字或十六进制模型表达，其中像素的颜色以六字符代码表达，其中每个字符的范围可为十六。颜色也可以根据六字符十六进制模型或#NNNNNN来表示，其中每个字符N具有十六位数的范围(即，数字0至9和字母A至F)。十六进制模型的前两个字符NN是指颜色中所包含的红色部分，而后两个字符NN是指颜色中所包含的绿色部分，而最后两个字符NN是指颜色中所包含的蓝色部分。例如，白色和黑色分别根据十六进制模型表达为#FFFFFF和＃000000，而彩色糖果苹果红表达为＃D61123。可以根据本公开利用用于量化图像或照片内的颜色或颜色方案的任何手段或模型。此外，可以使用一种或多种基于计算机的方法来识别在数字图像中表达的对象的纹理或特征，诸如通过识别图像的区域或区段内的强度的变化，或者通过限定图像的对应于特定表面的区域。

此外，可以使用一个或多个算法或机器学习工具来识别在静止或运动数字图像中表达的对象或对象的部分的边缘、外形、轮廓、颜色、纹理、剪影(silhouettes)、形状或其他特性。对象或对象的部分可以是静止的或运动的，并且可以在单个有限的时间段或在一个或多个时段或持续时间内被识别。此类算法或工具可以用于尽可能接近地并且以最小化噪音和中断的方式标识并标记数字图像内的转变(例如，对象或其部分的边缘、外形、轮廓、颜色、纹理、剪影、形状或其他特性)，而不会产生错误的转变。根据本公开可以利用以便标识出数字图像中的对象或其部分的特性的一些检测算法或技术包括但不限于，Canny边缘检测器或算法；Sobel算子、算法或滤光器；Kayyali算子；罗伯茨边缘检测算法；Prewitt算子；Frei-Chen方法；或者相关领域的普通技术人员可能已知的任何其他算法或技术。

图像稳定有时被描述为通过消除此类图像内的对象的表观运动(例如，由于振动、跟踪错误、大气中的微分折射或任何其他因素所致的运动)的影响来改善图像质量的一个或多个过程。在大多数情况下，在成像数据中表达的对象要么实际上不在运动中，要么实际上处于稳定和/或可预测的运动中。图像稳定技术旨在生成具有比使用成像装置最初捕获的成像数据更高锐度以及更高对比度和分辨率的成像数据。

当使用任何类型的成像装置捕获任何类型的成像数据时，可能导致表观运动。例如，当以低快门速度或使用具有相对长焦距的镜头捕获这样的成像数据时，由于少量相机抖动或运动，可以在成像数据内观察到表观运动。替代地，当相机被剧烈摇动时，甚至在短时段内，甚至在高快门速度下或者在相机的特征是具有相对短焦距的镜头的情况下，也可以在成像数据内观察到表观运动。

当前，可以根据一种或多种稳定技术来使成像数据稳定，包括但不限于图像配准或图像匹配技术。在数字或电子图像稳定中，算法可以用于估计与参考点、锚定点、边缘图案或出现在捕获的成像数据内的其他可标识特征(例如，使用成像装置捕获的图像序列)相关联的运动矢量。例如，在基于特征的图像匹配技术中，在每个图像中识别出一组基本上突出的锚定点并且将其彼此匹配，并且可以基于相应点对的对应关系计算从第一图像到第二图像(和后续图像)的变换。在基于区域的图像匹配技术中，图像中的每个像素或图像中的相当大部分像素被一个或多个算法考虑以基于相似性标准评估相应图像或一系列图像之间的一组可能的变换。相应地选择得分最高或评分最高的变换。

通过识别图像中的一个或多个显著特征(例如参考点、锚定点、边缘图案或其他可标识特征)，并且跟踪多个图像中的此类显著特征，可以将显著特征用作锚定点以抵消相对于此类显著特征的所有扰动。例如，在一些数字稳定技术中，位于图像边界之外的图像像素可以用作运动的缓冲器，并且关于此类像素的信息可以用于将图像从一帧移位到另一帧，以便平衡掉平移或旋转运动的影响并且限定稳定视频图像流，诸如通过使在不同时间段或通过不同传感器和/或从不同视角收集的相同场景的两个或更多个帧对准。在其他数字稳定技术中，图像信号之间的相关性可用于使图像序列稳定，例如，通过检测并跟踪相应图像内的特征。

在光学图像稳定中，可以使用诸如陀螺仪或加速度计的一个或多个传感器来检测并测量成像装置的运动(例如，平移和/或旋转运动，包括但不限于振动)。可以将来自此类传感器的读数提供给机电致动器，以用于操纵镜头、图像传感器或光链内的其他部件，以便通过改变光路来补偿所检测和所测量的运动。

在成像装置安装到操作机器和/或与操作机器一起操作的情况下，与噪声、振动或其他不利影响相关联的问题尤其严重。例如，当飞行器配备有一个或多个成像装置(诸如数码相机)以供在飞行操作期间使用时，此类成像装置通常经受由噪声、振动、流体流动、冲击、撞击或其他来源引起的运动。因此，确定或估计成像装置的运动有助于使使用成像装置捕获的成像数据稳定。如上所述，通常可以基于捕获的成像数据的部分(例如，捕获的成像数据内的参考点、锚定点、边缘或其他特征)来确定或估计运动。一旦确定或估计了成像装置的运动，可以数字方式使由成像装置捕获的成像数据稳定，或者可以修改成像装置的操作来以光学方式使随后由其捕获的成像数据稳定。

在飞行器的操作期间，成像装置可用于许多关键任务功能，包括但不限于引导、控制、监督、防撞或其他应用。然而，当在操作飞行器上提供的成像装置以基本上向前看、向上看或横向取向对准时，成像装置的视场很多情况下不包括基于地面的地形或可充当参考点、锚定点或其他可靠的视觉基准的任何其他特征，从这些特征中可以导出成像装置的运动，并且可以稳定使用成像装置捕获的成像数据。在这方面，由关键任务成像装置捕获的成像数据通常可以不用于确定成像装置的运动。因此，这种成像数据通常可以不用于稳定自身，或者通过数字或光学稳定技术使随后由成像装置捕获的图像稳定。

本公开的系统和方法涉及利用多个传感器以便获得并稳定成像数据的图像稳定技术(例如，图像配准、图像匹配或其他技术)。在一些实施例中，具有镜头(或镜头模块)或其他结构的第一成像装置可以包括安装到镜头或结构的第二传感器。可以处理使用第二传感器捕获的数据，以便确定或预测第一成像装置的镜头或结构的运动水平(例如，平移和/或旋转)。随后，可以基于所确定的或预测的运动水平来稳定使用第一成像装置捕获的成像数据，其可以相对于一个或多个函数或矢量来表达。第二传感器可以是成像装置(例如，不仅是数码相机，而且是测距相机、深度传感器、红外传感器、超声成像装置或X射线成像装置)，所述成像装置可以被定向为包括视场内的地面地形，并且可以识别出地面地形的部分并将其用于相应地估计第二传感器的运动。替代地，第二传感器可以是陀螺仪、加速度计或其他类似装置，从所述装置可以确定或估计第二传感器的运动，并且因此可以确定第一成像装置的运动。由于第二传感器物理地联接到第一成像装置的镜头或其他结构，因此第二传感器的运动可以被认为等同于第一成像装置的运动，并且可以用于通过光学或数字稳定技术或以任何其他方式使使用第一成像装置捕获的成像数据稳定。

在一些实施例中，飞行器可以包括主成像装置，所述主成像装置专用于一个或多个关键任务功能，诸如引导、控制、监督、防撞或其他功能。诸如次成像装置的次传感器可以安装到主成像装置的镜头(或镜头模块)。主成像装置可以向前取向或以任何其他相关取向操作，包括但不限于不包括其相应视场内的任何地面地形或基于地面的结构的取向。次成像装置可以向下取向或以任何其他相关取向操作，包括但不限于将规则地或一致地包括其相应视场的至少一部分内或其整个相应视场内的地面地形或其他基于地面的结构的取向。因此，由次成像装置捕获的成像数据可用于确定或预测主成像装置的镜头的运动水平，并且所确定或所预测的运动水平可用于例如通过光学或数字稳定技术来使由主成像装置捕获的成像数据稳定。

在一些实施例中，主成像装置可以是高质量、高分辨率数码相机，其被提供用于执行一个或多个关键任务功能，诸如引导、控制、监督、防撞或其他应用。在一些实施例中，主成像装置的镜头(或镜头模块)或其他光学元件可以装备有一个或多个次成像装置或以其他方式与其相关联，所述次成像装置的尺寸和/或质量与通常在以下各项内提供的数码相机相似：膝上型计算机、平板计算机、智能电话或其他移动装置，包括但不限于具有以下各项的自动聚焦相机：任何数量(例如，八百万至四千八百万像素)或尺寸(例如，大约一微米)的像素传感器、任何相对光圈或焦距，或任何数量的镜头、滤光器或被配置为捕获静止或运动图像以及任何相关联的音频信号或元数据(例如，地理标记或日期或时间戳)的其他部件。一个或多个次成像装置可以任何方式联接到主成像装置的镜头或光学元件，诸如通过将次成像装置粘附或粘贴到镜头或光学元件、将次成像装置嵌入在镜头或光学元件的表面内或以任何其他方式进行联接。

在一些实施例中，主成像装置可以被配置为以第一帧速率捕获图像，所述第一帧速率可以至少部分地基于一个或多个应用来选择，主成像装置被提供用于所述一个或多个应用，并且在主成像装置的一个或多个操作约束内或经受主成像装置的一个或多个操作约束。一个或多个次成像装置可以联接到主成像装置的镜头或镜头模块的外表面，并且被配置为以第二帧速率捕获图像，所述第二帧速率可以至少部分地基于表示主成像装置的平移和/或旋转运动的函数、矢量或其他度量的期望的准确度或精确度来选择。例如，第二帧速率可以基本上高于第一帧速率，以便优化由此确定的函数、矢量或运动度量的准确度或精度。

参考图2，示出了根据本公开的实施例的用于执行多传感器图像稳定技术的一个系统200的部件的框图。图2的系统200包括通过网络280彼此连接的飞行器210和数据处理系统270，所述网络280可以全部或部分地包括互联网。除非另有说明，否则图2所示的用数字“2”开头的附图标记指示与具有图1A至图1E所示的用数字“1”开头的附图标记的部件或特征相似的部件或特征。

飞行器210包括处理器212、存储器214和收发器216、控制系统220、多个推进马达230-1、230-2...230-n、主成像装置240以及次成像装置250。

处理器212可以被配置为执行任何类型或形式的计算功能，包括但不限于执行一个或多个图像处理算法或技术。例如，处理器212可以控制飞行器210和其上的一个或多个基于计算机的部件的操作的任何方面，所述部件包括但不限于控制系统220、推进马达230-1、230-2. . .230-n、主成像装置240或次成像装置250。例如，处理器212可以控制控制系统220的操作，以用于生成用于进行飞行器210的部件的操作的指令，例如用于操作推进马达230-1、230-2. . .230-n中的一个或多个或飞行器210的任何其他方面，包括但不限于控制表面、灯或在其上提供的有效负载操纵设备(未示出)。控制系统220可以通过网络280与处理器212和/或与一个或多个其他计算装置或机器(未示出)相关联，并且可以通过网络280、通过发送和接收数字数据来与数据处理系统270或一个或多个其他计算机装置或机器(未示出)进行通信。飞行器210还包括一个或多个存储器或存储部件214 (诸如数据库或数据存储区)，以用于存储任何类型的信息或数据，例如用于操作飞行器210的指令或在飞行器210的操作期间捕获的信息或数据。

处理器212可以是包括一个处理器的单处理器系统或包括若干处理器(例如，两个、四个、八个或另一个合适的数量)的多处理器系统，并且可能能够执行指令。例如，在一些实施例中，处理器212可以是实现多个指令集架构(ISA)中任何一种架构的通用或嵌入式处理器，所述架构诸如x86、PowerPC、SPARC或MIPS ISA或任何其他合适的ISA。在处理器212是多处理器系统的情况下，多处理器系统内的每个处理器可以操作相同的ISA或不同的ISA。

处理器212根据需要可以被提供作为一个或多个其他系统的一部分或者可以进一步被配置为操作所述一个或多个其他系统，诸如电子速度控件、电源、导航系统和/或用于与物品接合或释放物品的有效负载接合控制器。例如，处理器212可以被配置为通过以下方式引起或控制推进马达230-1、230-2. . . 230-n中的一个或多个、主成像装置240或次成像装置250的操作：诸如通过引起推进马达230-1、230-2. . . 230-n中的一个或多个以期望速度操作，以便沿着所确定或所期望的飞行路径引导飞行器210；通过引起主成像装置240或次成像装置250捕获成像数据；或者通过操作一个或多个控制表面、灯、有效负载操纵设备或在其上提供的任何其他部件。

另外，存储器214可以被配置为存储可由处理器212访问或处理器212可访问的可执行指令、飞行路径、飞行控制参数和/或其他数据项。储存器214可使用任何合适储存器技术来实施，所述储存器技术诸如静态随机存取储存器(SRAM)、同步动态RAM (SDRAM)、非易失性/快闪型储存器或任何其他类型的储存器。在一些实施例中，可以经由收发器216例如通过传输介质或信号(诸如电信号、电磁信号或数字信号，其可以经由诸如有线和/或无线链路的通信介质传送)接收或发送程序指令、飞行路径、飞行控制参数和/或其他数据项。

收发器216可以被配置为使得飞行器210能够通过一个或多个有线或无线装置进行通信，例如，诸如通用串行总线(或“USB”)或光纤电缆的有线技术或诸如Bluetooth®或任何无线保真(或“WiFi”)协议的标准无线协议，诸如通过网络280或直连。收发器216还可以包括一个或多个输入/输出(或“I/O”)接口、网络接口和/或输入/输出装置或者与之通信，并且可以被配置为允许在飞行器210的一个或多个部件之间交换信息或数据，或经由网络280到达一个或多个其他计算机装置或系统(例如，其他飞行器，未示出)。例如，在一些实施例中，收发器216可以被配置为协调处理器212与一个或多个机载或外部计算机装置或部件之间的I/O流量。收发器216可以执行任何必要的协议、定时或其他数据变换，以便将数据信号从适合于由一个部件使用的第一格式转换成适合于由另一个部件使用的第二格式。在一些实施例中，收发器216可以包括对于通过各种类型的外围总线附接的装置的支持，所述外围总线例如外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变型。在一些其他实施例中，收发器216的功能可以分成两个或更多个单独部件，或者直接并入到处理器212中。

推进马达230-1、230-2. . . 230-n可以是能够生成一个或多个螺旋桨或其他部件的足够旋转速度以向飞行器210和任何接合的有效负载提供升力和/或推力并且由此在空中运输接合的有效负载的任何类型或形式的马达(例如，电动的、汽油动力的或任何其他类型的马达)。例如，推进马达230-1、230-2 . . . 230-n中的一个或多个可以是无刷直流(DC)马达，诸如外转子无刷马达或内转子无刷马达。飞行器210可以包括任何一种任何数量的此类推进马达230-1、230-2 . . . 230-n。例如，推进马达230-1、230-2 . . . 230-n中的一个或多个可以被对准或配置为专门向飞行器210提供升力，而推进马达230-1、230-2 .. .230-n中的一个或多个可以被对准或配置为专门向飞行器210提供推力。替代地，推进马达230-1、230-2 . . . 230-n中的一个或多个根据需要可以被对准或配置为向飞行器210提供升力和推力。例如，推进马达230-1、230-2 . . . 230-n可以其取向固定在飞行器210上，或者被配置为改变它们相应的方向，例如倾斜旋翼航空器。此外，推进马达230-1、230-2. . . 230-n可以被对准或配置为以不同的容量或额定值操作，或以不同的速度操作，或者耦接到具有不同尺寸和形状的螺旋桨。

主成像装置240和次成像装置250可以是任何形式的光学记录装置，其可以用于拍摄或以其他方式记录在飞行器210的操作期间遇到的结构、设施、地形或任何其他元件的成像数据，或者用于任何其他目的。如图2所示，主成像装置240包括镜头(或镜头模块) 242，并且次成像装置250包括镜头252。如上所讨论，次成像装置250以任何对准或取向(例如，其中主成像装置240以基本上向前取向对准并且其中次成像装置250以基本上向下取向对准)安装或物理联接到主成像装置240的镜头242，使得镜头242的任何平移和/或旋转运动可以被认为基本上等同于次成像装置250的平移和/或旋转运动。

除镜头242和镜头252之外，主成像装置240和/或次成像装置250还可以包括一个或多个传感器、存储器或存储部件或处理器，并且此类传感器、存储器或存储部件或处理器还可以包括一个或多个光敏表面、滤光器、芯片、电极、时钟、板、定时器或任何其他相关特征(未示出)。在飞行器210的操作期间，主成像装置240和/或次成像装置250可以捕获呈任何种类或形式的一个或多个静止或运动图像的成像数据以及任何相关的音频信号或其他信息，并且可以耦接到处理器212、存储器214和/或收发器216，或者通过有线或无线连接(所述有线或无线连接可以是专用的或包括内部网络(未示出)的全部或部分)彼此耦接，和/或被适配成或以其他方式配置为与数据处理系统270通信，或者通过网络280与一个或多个其他计算机装置通信。尽管图2的飞行器210包括对应于一个主成像装置240的单个框和对应于一个次成像装置250的单个框，但相关领域的普通技术人员将认识到，可以根据本公开提供任何数量或类型的主成像装置或次成像装置，包括但不限于数码相机、深度传感器或测距相机、红外相机、射线照相的相机或其他光学传感器。

除主成像装置240和次成像装置250之外，飞行器210还可以包括用于控制或有助于飞行器210的操作的任何数量的其他传感器、部件或其他特征，包括但不限于用于确定飞行器210正在其中操作或可预期操作的环境的一个或多个属性(包括外在信息或数据或内在信息或数据)的一个或多个环境或操作传感器。例如，飞行器210可以包括一个或多个全球定位系统(“GPS”)接收器或传感器、罗盘、速度计、高度计、温度计、气压计、湿度计、陀螺仪、空气监测传感器(例如，氧气、臭氧、氢气、一氧化碳或二氧化碳传感器)、臭氧监测器、pH传感器、磁异常探测器、金属探测器、辐射传感器(例如盖革计数器、中子探测器、阿尔法探测器)、姿态指示器、深度计、加速度计或声音传感器(例如，麦克风、压电传感器、振动传感器或用于检测并记录来自一个或多个方向的声能的其他换能器)。

数据处理系统270包括一个或多个物理计算机服务器272，所述物理计算机服务器272具有与其相关联的多个数据库274以及为任何特定或一般目的而提供的一个或多个计算机处理器276。例如，图2的数据处理系统270可以独立地提供，用于接收、分析或存储从飞行器210接收的成像数据或其他信息或数据的专用目的，或者替代地，结合一个或多个物理虚拟服务提供，被配置为接收、分析或存储此类成像数据或其他信息或数据以及一个或多个其他功能。服务器272可以连接到数据库274和处理器276或以其他方式与数据库274和处理器276通信。数据库274可以出于任何目的存储任何类型的信息或数据，包括但不限于声学信号、与成像数据有关的信息或数据或关于环境条件、操作特性或位置的信息或数据。服务器272和/或计算机处理器276还可以通过数字数据的发送和接收连接到网络280或以其他方式与网络280通信，如线278所指示。例如，数据处理系统270可以包括具有经由网络280接收信息或数据(诸如媒体文件，例如从飞行器210或从彼此或从一个或多个其他外部计算机系统(未示出)接收的媒体文件)并将其存储在一个或多个数据存储区中的能力或容量的任何设施、站或位置。在一些实施例中，可以在物理位置中提供数据处理系统270。在其他此类实施例中，数据处理系统270可以被提供在一个或多个替代或虚拟位置中，例如，在基于“云”的环境中。在其他实施例中，数据处理系统270可以提供在一个或多个飞行器上，包括但不限于飞行器210。

网络280可以是任何有线网络、无线网络或其组合，并且可以全部或部分地包括互联网。此外，网络280可以是个人局域网、局域网、广域网、电缆网络、卫星网络、蜂窝电话网络或其组合。网络280还可以是可能由各种不同方操作的链接网络中的公共可访问网络(诸如互联网)。在一些实施例中，网络280可以是专用或半专用网络，诸如公司或大学内联网。网络280可以包括一个或多个无线网络，诸如全球移动通信系统(GSM)网络、码分多址(CDMA)网络、长期演进(LTE)网络或某种其他类型的无线网络。用于经由互联网或任何其他前述类型的通信网络进行通信的协议和部件对于计算机通信的本领域技术人员来说是众所周知的，并且因此不在本文中加以更详细的描述。

本文所描述的计算机、服务器、装置等具有必要的电子器件、软件、存储器、存储装置、数据库、固件、逻辑/状态机、微处理器、通信链路、显示器或其他视觉或音频用户接口、打印装置以及任何其他输入/输出接口，以提供本文所描述的任何功能或服务和/或实现本文所描述的结果。此外，相关领域的普通技术人员将认识到，此类计算机、服务器、装置等的用户可以操作键盘、小键盘、鼠标、触控笔、触摸屏或其他装置(未示出)或方法以与计算机、服务器、装置等交互，或“选择”项目、链接、节点、集线器或本公开的任何其他方面。

飞行器210和/或数据处理系统270可以使用任何支持web的或互联网应用程序或特征或包括电子邮件或其他消息传递技术的任何其他客户端-服务器应用程序或特征来诸如通过短消息或多媒体消息服务(SMS或MMS)文本消息连接到网络280，或者彼此通信。例如，飞行器210可以适于以同步或异步消息的形式将信息或数据实时地或近实时地或者在一个或多个离线过程中经由网络280传输到数据处理系统270或任何其他计算机装置(例如，传输到一个或多个其他飞行器)。相关领域的普通技术人员将认识到，飞行器210或数据处理系统270可以操作能够通过网络通信的多个计算装置中的任何计算装置或由其操作，包括但不限于机顶盒、个人数字助理、数字媒体播放器、网垫、膝上型计算机、台式计算机、电子书阅读器等。用于在此类装置之间提供通信的协议和部件对于计算机通信领域的技术人员来说是众所周知的，并且本文不需要更详细地描述。

本文所描述的数据和/或计算机可执行指令、程序、固件、软件等(本文也称为“计算机可执行”部件)可以存储在计算机可读介质上，所述计算机可读介质在计算机或诸如处理器212或处理器276的计算机部件或由飞行器210或数据处理系统270(例如，由一个或多个其他飞行器)利用的任何其他计算机或控制系统内或可由其访问，并且具有指令序列，所述指令序列在由处理器(例如，中央处理单元或“CPU”)执行时致使处理器执行本文所描述的功能、服务和/或方法的全部或一部分。可以使用与计算机可读介质相关联的驱动机构(诸如软盘驱动器、CD-ROM驱动器、DVD-ROM驱动器、网络接口等，或经由外部连接)将此类计算机可执行指令、程序、软件等加载到一个或多个计算机的存储器中。

本公开的系统和方法的一些实施例还可以作为计算机可执行程序产品提供，所述计算机可执行程序产品包括其上存储有指令(呈压缩或未压缩形式)的非暂时性机器可读存储介质，所述指令可以用于编程计算机(或其他电子装置)以执行本文所描述的过程或方法。本公开的机器可读存储介质可以包括但不限于硬盘驱动器、软盘、光盘、CD-ROM、DVD、ROM、RAM、可擦除可编程ROM(“EPROM”)、电可擦除可编程 ROM(“EEPROM”)、闪存存储器、磁卡或光卡、固态存储器装置或可适用于存储电子指令的其他类型的介质/机器可读介质。此外，实施例还可以作为计算机可执行程序产品提供，所述计算机可执行程序产品包括暂时性机器可读信号(呈压缩或未压缩形式)。无论是否使用载波调制的机器可读信号的示例可以包括但不限于托管或运行计算机程序的计算机系统或机器可被配置为访问的信号或包括可通过互联网或其他网络下载的信号。

如上所讨论，根据本公开的实施例，可以使用由联接到第一成像装置的镜头或其他光学元件的第二成像装置捕获的成像数据来处理由具有镜头(或镜头模块)或在飞行器上操作的其他光学元件的第一成像装置捕获的成像数据并使其稳定。参考图3，示出了根据本公开的实施例的用于多传感器图像稳定的一个过程的流程图300。在框310处，在飞行器上提供的向前看成像装置与安装到向前看成像装置的镜头的向下看飞行器的操作在飞行器在飞行时是同步的。例如，向下看成像装置可以是比向前看成像装置小得多的成像装置，并且可以安装到向前看成像装置的镜头的下侧，使得向下看成像装置在向前看成像装置和向下看成像装置两者的操作期间优选地将地面地形或其他固定特征保持在其视场的至少一部分内。成像装置可以被配置为对由其捕获的每个帧进行时间戳，或者可以相同的时间、并且以相同的帧速率或者以相似的帧速率(诸如在向前看成像装置的帧速率是向下看成像装置的帧速率的整数倍的情况下)开始捕获成像数据，使得在由向前看成像装置捕获帧的同时由向下看成像装置捕获帧。

在框320处，向前看成像装置在飞行器飞行时捕获第一成像数据。例如，向前看成像装置可以被对准以捕获在飞行器前方的视场内的静止或运动图像，例如，搜索可能代表飞行器的碰撞危险的对象(诸如建筑物或其他结构、植物生命、飞行动物或其他飞行器)、识别任何标记或路点、执行监督或监视，或用于任何其他目的。在框330处，向下看成像装置在飞行器飞行时捕获第二成像数据。例如，向下看成像装置可以是比向前看成像装置小得多的成像装置，并且可以安装到向前看成像装置的镜头模块的下侧，使得向下看成像装置在向前看成像装置和向下看成像装置两者的操作期间优选地将地面地形或其他固定特征保持在其视场的至少一部分内。

在框340处，处理由向下看成像装置捕获的第二成像数据，以导出向前看成像装置的镜头(向下看成像装置安装到所述镜头)的平移和/或旋转运动。例如，可以根据一种或多种算法或技术处理第二成像数据，以通过以下方式从中导出向下看成像装置的平移和/或旋转运动：诸如通过标识一个或多个基于地面的参考点、锚定点、第二成像数据内的边缘或其他特征，并且通过跟踪第二成像数据的一系列帧内的此类点、边缘或其他特征的运动。从第二成像数据标识的运动可以是平移的(例如，沿垂直、水平和/或横向轴线的运动)或旋转的(例如，围绕此类轴线的偏航、俯仰或滚转)或平移和旋转运动的组合，并且可以用一个或多个矢量或函数表示。

在框350处，使用从第二成像数据导出的镜头的平移和/或旋转运动来使由向前看成像装置捕获的第一成像数据稳定。例如，使用表示从第二成像数据导出的运动的函数或矢量，第一成像数据的帧可以例如根据一个或多个图像配准、图像匹配或其他图像稳定技术逐帧移位，以便平衡掉平移或旋转运动的影响，并且限定稳定的视频图像流。替代地，可以在光学图像稳定技术中利用从第二成像数据导出的镜头的运动的函数或矢量，例如，以操纵成像装置的光学链内的镜头、图像传感器或其他部件，以便补偿运动。

在框360处，将稳定的第一成像数据存储在数据存储区中，例如，在飞行器上、在外部物理位置中或在一个或多个替代或虚拟位置中，例如，在“基于云”的环境中，从数据存储区可以调用稳定的第一成像数据并将所述稳定的第一成像数据用于任何目的。在框370处，确定飞行器是否已完成其操作。如果飞行器尚未完成其操作，则过程返回到框320，其中向前看成像装置捕获第一成像数据，向下看成像装置捕获第二成像数据，并且第二成像数据被连续处理以基于使用向下看成像装置捕获的成像数据来确定向前看成像装置的镜头的平移和/或旋转运动。如果飞行器已完成其操作，则过程结束。

参考图4，示出了具有主成像装置440和次成像装置450的飞行器410的部分。除非另有说明，否则图4所示的用数字“4”开头的附图标记指示与具有图2所示的用数字“2”开头的或图1A至图1E所示的用数字“1”开头的附图标记的部件或特征相似的部件或特征。

如图4所示，主成像装置440包括镜头模块442，并且次成像装置450包括镜头452。次成像装置450安装到主成像装置440的镜头模块442的下侧，使得主成像装置440和次成像装置450的视场以相对于彼此的正常或垂直对准提供。因此，除了在以反向对准操作飞行器410的情况下，或者在极端滚转或其他倾斜飞行期间，次成像装置450的视场可以合理地预期为包括所述视场的全部或一部分内的地面地形。因此，可以处理使用次成像装置450捕获的成像数据，以确定或预测次成像装置450，以及因此主成像装置440沿着或围绕一个或多个取向轴线的运动。

例如，如图4所示，可以处理使用次成像装置450捕获的成像数据以确定或预测分别沿x、y或z轴的速度函数或矢量V _x(t)、V _y(t)或V _z(t)，并且可以使用此类函数或矢量中的一个或多个来表达次成像装置450的平移运动。同样地，可以处理使用次成像装置450捕获的成像数据以确定或预测用于分别对应于次成像装置450关于x、y或z轴的偏航、俯仰或滚转的函数或矢量ψ(t)、θ(t) 或ϕ(t)，并且可以使用此类函数或矢量中的一个或多个来表达次成像装置450的旋转运动。一旦基于由次成像装置450捕获的成像数据确定或预测次成像装置450的平移和/或旋转运动，这种平移和/或旋转运动可以与主成像装置440相关联，并且用于使由主成像装置440捕获的成像数据稳定。

如上所讨论，根据本公开的实施例，可以基于由物理联接到第一移动装置的镜头(或镜头模块)或其他光学元件的第二传感器(诸如另一成像装置)捕获的信息或数据来对第一成像装置的运动进行建模。由于第二传感器联接到第一成像装置的镜头或其他光学元件，因此使用第二传感器捕获的信息或数据可用于确定或预测第一成像装置的镜头或其他光学元件的运动。使用所确定或所预测的第一成像装置的镜头或其他光学元件的运动，可以例如根据一种或多种光学或数字稳定技术来使由第一成像装置捕获的成像数据稳定。

参考图5，示出了根据本公开的实施例的用于多传感器图像稳定的一个过程的流程图500。在框510处，主成像装置在飞行器的任务期间以第一帧速率捕获主图像。例如，可以捕获主图像以便引导飞行器的安全操作，用于执行一个或多个区域的监督或监视，或用于任何其他目的。在一些实施例中，主成像装置可被配置有关于飞行器的行进方向或飞行器的标准对准的基本向前的视场。在一些其他实施例中，主成像装置可被配置有在另一方向上或沿另一轴线对准的视场。

在框520处，安装到主成像装置的次成像装置在飞行器的任务期间以第二帧速率捕获次图像。例如，在一些实施例中，次成像装置可以安装到主成像装置的镜头或其他部件，例如，安装到镜头模块的下侧。以这种方式将次成像装置安装到主成像装置的镜头或其他部件(例如，以基本上向下的方向)将确保在大多数情况下，使用次成像装置捕获的成像数据将包括次成像装置的全部或大部分视场内的地面地形。在一些实施例中，次成像装置和主成像装置可以相对于彼此以正常取向安装，从而导致(在一些实施例中)次成像装置的基本向下取向和主成像装置的基本向前取向。在一些实施例中，第二帧速率可以等于第一帧速率。在一些其他实施例中，第二帧速率可以小于第一帧速率。在其他实施例中，第二帧速率可以超过第一帧速率。替代地，不需要是成像装置(例如，陀螺仪或加速度计)的第二传感器可以安装到主成像装置并且操作以在飞行器的任务期间以相对于主成像装置的第一帧速率的第二速率捕获信息或数据；此类信息或数据也可用于确定或预测主成像装置的运动。

在框530处，将增量时间变量t设置为t ₀。在框540处，在时间t处使用时间t之前和之后的预定数量的次图像帧对主成像装置的运动进行建模。例如，对于给定时间，可以处理在时间t之前和之后使用次成像装置捕获的任何数量的图像以标识使用次成像装置捕获的图像内的一个或多个基于地面的参考点、锚定点、边缘或其他特征。可以在任何基础上选择或确定使用次成像装置捕获的预定数量的图像，包括但不限于主成像装置或次成像装置的帧速率、使用飞行器的任务或应用、飞行器运动的可变性或主要成像装置的使用目的(例如，引导、监督、防撞或任何其他目的)。

例如，在使用相对大量的次图像帧来对主成像装置的运动进行建模的情况下，表示这种运动的函数或矢量可以更平滑或者经受更低水平的可变性，并且可以相应地选择次成像装置的第二帧速率。相反地，在使用相对较少数量的次图像帧来对主成像装置的运动进行建模的情况下，表示这种运动的函数或矢量可以识别或表示拐点的快速变化或运动的其他变化。在一些实施例中，在时间t之前和之后由次成像装置捕获的一个、两个或三个(或更多个)图像可用于在时间t处对主成像装置的运动进行建模。替代地，在时间t处由次成像装置捕获的单个图像可用于在时间t(例如，实时或近实时地)对主成像装置的运动进行建模。

在框550处，使用从次成像数据导出的主成像装置的建模运动来调节在时间t处由主成像装置捕获的主图像帧。例如，使用在时间t之前和之后从次成像装置捕获的次图像导出的平移或旋转运动的函数或矢量，可以移位或以其他方式调节由主成像装置捕获的成像数据，以便平衡掉运动的影响，由此产生使用主成像装置捕获的稳定图像或稳定视频图像流。在框560处，在时间t处由主成像装置捕获的经调节的主图像帧可以存储在至少一个数据存储区中，所述至少一个数据存储区保持在飞行器上、在外部物理位置中或在一个或多个替代或虚拟位置中，例如，在“基于云”的环境中。经调节的主图像帧可以被调用并用于任何目的。

在框570处，确定飞行器的任务是否已经完成。可以基于飞行器的物理位置、飞行器的状态或由其承载的任何有效负载或任何其他相关因素，或者在通过网络接收一个或多个信号或指令后来确定任务的状态。如果飞行器的任务尚未完成，则过程前进到框580，其中增量时间变量t的值被设置为t + 1，然后返回到框540。基于使用次成像装置捕获的图像的主成像装置的运动的建模以及使用主成像装置捕获的图像的调节可以连续地继续直到飞行器的任务已经完成。然而，如果飞行器的任务已经完成，则过程结束。

图6A和图6B示出根据本公开的一个实施例的基于使用安装到主成像装置的镜头、镜头模块或其他部件的次传感器(例如，次成像装置)捕获的信息或数据的主成像装置的运动的建模。参考图6A和图6B，示出根据本公开的实施例的被配置为执行多传感器图像稳定技术的一个飞行器610的方面的视图。除非另有说明，否则图6A和图6B所示的用数字“6”开头的附图标记指示与具有图4所示的用数字“4”开头的、图2所示的用数字“2”开头的或图1A至图1E所示的用数字“1”开头的附图标记的部件或特征相似的部件或特征。

如图6A和图6B所示，飞行器610包括主成像装置640和次成像装置650。次成像装置650安装到主成像装置640的镜头模块的下侧。将主成像装置640对准以捕获多个主图像64-0、64-1、64-2、64-3等，并将此类图像提供给服务器612或具有一个或多个数据存储区的其他计算机装置。服务器612或其他计算机装置可以提供在飞行器610上、在外部物理位置中或在一个或多个备用或虚拟位置中，例如，在基于“云”的环境中。也将次成像装置650对准以捕获多个次图像65-0、65-1、65-2、65-3等，并将此类图像提供给服务器612或其他计算机装置。主成像装置640和次成像装置650可以被配置为以同步的相同帧速率捕获图像，使得同时捕获的主图像和次图像在诸如图6A中示出。替代地，主成像装置640和次成像装置650可以被配置为以不同的帧速率捕获图像。在一些实施例中，次成像装置650可以被配置为以比主成像装置640更高的帧速率(例如，以更快的速率)捕获图像。还如图6A所示，主成像装置640具有在基本上向前方向上对准的视场，而次成像装置650具有在基本向下方向上对准的视场。因此，次图像65-0、65-1、65-2、65-3等各自包括基于地面的地形或其中的其他特征。

如上所讨论，主成像装置640的运动可以基于使用次成像装置650捕获的信息或数据(例如，多个次图像65-0、65-1、65-2、65-3等)来建模。例如，可以使用在给定时间之前和之后使用次成像装置650捕获的预定数量的次图像65-0、65-1、65-2、65-3等来在给定时间处对主成像装置640进行建模，并且相应地在给定时间处使使用主成像装置640捕获的成像数据稳定。

如图6B所示，在时间t _(i-3)、t _(i-2)、t _(i-1)、t _(i)、t _(i+1)、t _(i+2)、t _(i+3)处捕获的多个次图像65-(i-3)、65-(i-2)、65-(i-1)、65-(i)、65-(i+1)、65-(i+2)、65-(i+3)可以分别用于在时间t _i 处通过以下方式对主成像装置640的运动进行建模：例如，通过相应地导出主成像装置640的作为时间的函数的向前速度函数V _x(t)、垂直速度函数V _y(t)、横向速度函数V _z(t)、偏航函数ψ(t)、俯仰函数θ(t)和/或滚转函数ϕ(t)。随后，向前速度函数V _x(t)、垂直速度函数V _y(t)、横向速度函数V _z(t)、偏航函数ψ(t)、俯仰函数θ(t)或滚转函数ϕ(t)在时域t _(i-3)≤ t ≤ t _(i+3)内的值相应地可以用于修改在时间t _i 处捕获的主图像64-i。例如，稳定的主图像64’-i可以通过以这样的方式单独或共同调节主图像64-i的位置、对准或取向来由在时间t _i 处捕获的主图像64-i 形成，所述方式说明如由相应函数V _x(t)、V _y(t)、V _z(t)、ψ(t)、θ(t)和/或ϕ(t)建模的飞行器610的运动。可以相同的方式导出一组或一系列稳定的主图像，并且此类稳定的主图像流将显得清楚，因为每个稳定的主图像将相对于彼此正确地对准。

本文公开的一些实现方式可以包括一种无人驾驶飞行器，其具有：框架；主成像装置，所述主成像装置联接到框架，其中主成像装置包括主镜头模块；次成像装置，所述次成像装置联接到主镜头模块的外表面，其中次成像装置包括次镜头模块；以及控制单元，所述控制单元具有至少一个计算机处理器。计算机处理器可以被配置为至少：致使多个主图像由主成像装置捕获；致使多个次图像由次成像装置捕获；至少部分地基于多个次图像来定义表示次成像装置的运动的至少一个矢量；并且至少部分地基于表示次成像装置的运动的至少一个矢量来使多个主图像中的至少一个稳定。

可选地，计算机处理器可以进一步被配置为至少：识别次图像中的第一个中的至少一个显著特征；并且识别次图像中的第二个中的至少一个显著特征，其中至少部分地基于次图像中的第一个中的至少一个显著特征和次图像中的第二个中的至少一个显著特征来定义表示次成像装置的运动的至少一个矢量。可选地，至少一个矢量可以表示次成像装置的偏航、俯仰或滚转中的至少一个。可选地，主成像装置可以在飞行时以基本上向前取向对准，并且次成像装置可以在飞行时以基本上向下取向对准。

本文公开的一些实现方式可以包括一种方法，其包括：通过第一传感器在飞行器的操作期间捕获第一数据，其中第一传感器安装到飞行器；通过第二传感器在飞行器的操作期间捕获第二数据，其中第二传感器安装到第一传感器的至少一部分；至少部分地基于第二数据，由至少一个计算机处理器确定表示第一传感器的运动的至少一个矢量；以及至少部分地基于至少一个矢量，由至少一个计算机处理器修改第一数据；以及将所修改的第一数据存储在至少一个数据存储区中。

可选地，第一传感器可以是具有第一镜头的第一成像装置，第二传感器可以是联接到第一镜头的外表面的第二成像装置，第一数据可以是由第一成像装置捕获的第一成像数据，第二数据可以是由第二成像装置捕获的第二成像数据，并且至少部分地基于至少一个矢量修改第一数据可以包括：由至少一个计算机处理器使第一成像数据稳定。可选地，第一成像数据可以包括第一图像和第二图像，并且使第一成像数据稳定可以包括：识别第一图像内的多个锚定点中的至少一个；识别第二图像内的多个锚定点中的至少一个；计算从第一图像到第二图像的变换；以及至少部分地基于所述变换修改第一图像或第二图像中的至少一个。可选地，第一成像装置可以在操作期间相对于飞行器的行进方向以基本上向前取向对准，第二成像装置可以嵌入在第一镜头的下侧，并且第二成像装置可以在操作期间相对于飞行器的行进方向以基本上向下取向对准。

可选地，第一成像数据可以包括多个第一图像，第二成像数据可以包括多个第二图像，并且至少部分地基于第二数据确定表示第一传感器的运动的至少一个矢量可以包括：至少部分地基于多个第二图像的第一子集确定第一矢量，其中第一子集包括在第一时间之前捕获的预定数量的多个第二图像和在第一时间之后捕获的预定数量的多个第二图像；识别在第一时间处捕获的多个第一图像中的第一个；以及至少部分地基于第一矢量使多个第一图像中的第一个稳定。可选地，至少部分地基于第二数据确定表示第一传感器的运动的至少一个矢量还可以包括：至少部分地基于多个第二图像的第二子集确定第二矢量，其中第二子集包括在第二时间之前捕获的预定数量的多个第二图像和在第二时间之后捕获的预定数量的多个第二图像；识别在第二时间处捕获的多个第一图像中的第二个；以及至少部分地基于第二矢量使多个第二图像中的一个稳定。

可选地，第二成像数据可以包括多个第二图像，并且至少部分地基于第二数据确定表示第一传感器的运动的至少一个矢量可以包括：由至少一个计算机处理器识别在第一时间处捕获的多个第二图像中的第一个中的至少一个显著特征的至少第一位置；由至少一个计算机处理器识别在第二时间处捕获的多个第二图像中的第二个中的至少一个显著特征的至少第二位置；以及至少部分地基于第一位置、第二位置、第一时间和第二时间来确定至少一个矢量。可选地，所述方法还可以包括：至少部分地基于至少一个矢量重新定位第一镜头；以及由第一成像装置在飞行器的操作期间捕获第三数据。可选地，确定表示第一传感器的运动的至少一个矢量可以包括：至少部分地基于第二成像数据来确定第一成像装置的向前速度、垂直速度或横向速度中的至少一个。可选地，确定表示第一传感器的运动的至少一个矢量可以包括：至少部分地基于第二成像数据来确定第一传感器的偏航函数、俯仰函数或滚转函数中的至少一个。

可选地，第一传感器可以是被配置为以第一分辨率水平捕获成像数据的第一数码相机，第二传感器可以是被配置为以第二分辨率水平捕获成像数据的第二数码相机，并且第一分辨率水平可大于第二分辨率水平。可选地，第一传感器可以是第一数码相机，并且第二传感器可以是第二数码相机、陀螺仪或加速度计中的一个。

本文公开的一些实现方式可以包括一种成像装置，其包括：第一镜头；第二镜头，所述第二镜头联接到第一镜头，其中第二镜头基本上垂直于第一镜头对准；数据存储区；以及至少一个计算机处理器。计算机处理器可以被配置为至少使用第一镜头捕获至少第一图像；至少部分地基于至少第一图像确定第二镜头的运动；使用第二镜头捕获多个图像，其中多个图像包括第二图像和第三图像；至少部分地基于第一镜头的运动，使第二图像相对于至少第三图像稳定；并且将多个图像流存储在数据存储区中，其中图像流包括稳定的第二图像和第三图像。可选地，第一图像可以是使用第一镜头捕获的多个图像中的一个，并且至少一个计算机处理器可以进一步被配置为至少：至少部分地基于使用第一镜头捕获的多个第一图像来导出第二镜头的运动的模型；确定在第一时间处对应于第二镜头的建模运动的矢量；确定在第一时间处使用第二镜头捕获第二图像；并且至少部分地基于在第一时间处对应于第二镜头的运动的矢量来修改第二图像。

可选地，至少一个计算机处理器可以进一步被配置为至少：选择使用第一镜头捕获的多个图像中的第一预定数量，其中在第一时间之前捕获多个中的第一预定数量中的每一个；选择使用第一镜头捕获的多个图像中的第二预定数量，其中在第一时间之后捕获多个图像中的第一预定数量中的每一个；并且至少部分地基于使用第一镜头捕获的多个图像中的第一预定数量和使用第一镜头捕获的多个第一图像中的第二预定数量来确定在第一时间处对应于第二镜头的运动的矢量。可选地，矢量可以表示以下各项中的至少一个：向前速度函数；垂直速度函数；横向速度函数；偏航函数；俯仰函数；或滚转函数。

尽管本文已使用用于实施本公开的系统和方法的示例性技术、部件和/或过程来描述本发明，但本领域的技术人员应了解其他技术、部件和/或过程，或者可以使用或执行本文所描述的技术、部件和/或过程的其他组合和序列，其实现本文所描述的相同功能和/或结果，并且包括在本公开的范围内。

用于捕获可从其确定或预测次传感器的运动的信息或数据的次传感器可以是任何类型的传感器，不仅包括成像装置，而且包括陀螺仪、加速度计或用于确定或预测运动的任何其他装置。在一些实施例中，次传感器可以是相较于次成像装置所粘贴的主成像装置具有更低质量的传感器或图像处理器或更少数量的像素(或像素额定值)、更小的光圈或更低的锐度水平的次成像装置。在一些其他实施例中，主成像装置以及与其联接的次成像装置可以具有相同的规格或质量水平。此外，具有安装到其的一个或多个次传感器的主传感器可以提供在飞行器上(诸如固定在适当位置或旋转的延伸部或附属物上，或者可以移动或旋转的延伸部或附属物上)的任何地方。

此外，在一些实施例中，“主”传感器和“次”传感器的作用或功能可在操作期间改变。例如，在具有彼此联接的两个传感器的飞行器被配置为以多种模式(例如，垂直飞行模式和水平飞行模式)操作的情况下，两个传感器中的第一个可以充当“次”传感器并且可以捕获用于使由两个传感器中的第二个捕获的信息或数据稳定的信息或数据或者在一种飞行模式下充当“主”传感器，而两个传感器中的第二个可以充当用于捕获用于使由两个传感器中的第一个捕获的信息或数据稳定的信息或数据的“次”传感器或者在另一种飞行模式下充当“主”传感器。

如本文关于飞行方向所使用的，术语“向前”或“水平”是指在基本上平行于地面(即，海平面)的方向上的飞行。如本文关于飞行方向所使用的，术语“垂直”是指在从地球中心基本上径向向外延伸的方向上的飞行。本领域的普通技术人员将认识到，飞行轨迹可以包括“向前”或“水平”飞行矢量和“垂直”飞行矢量两者的分量，并且本文公开的系统和方法可以操作，而不管与此类矢量相关联的速度或方向如何。另外，如本文关于成像装置或其他传感器的取向所使用的，术语“向前”是指传感器在飞行器以基本为零的俯仰角对准时在飞行方向上的基本上水平的取向，并且术语“向下”是指传感器在飞行器以基本为零的俯仰角对准时朝向地球的基本垂直取向。然而，以“向前”或“向下”取向对准的传感器的视场不限于水平或垂直角度。此外，虽然本文公开的传感器的一些实施例被示出或描述为彼此垂直或正交，但普通技术人员将认识到，两个或更多个传感器可以相对于彼此以任何对准方式提供，并且用于使使用一个或多个传感器捕获的图像或其他成像数据稳定。

此外，尽管本文公开的一些实施例涉及使用无人驾驶飞行器从仓库或其他类似设施向客户递送有效负载，但相关领域的普通技术人员将认识到本文公开的系统和方法不限于此，并且可以与任何类型或形式的具有固定或旋转翼的飞行器(例如，有人驾驶或无人驾驶)一起使用，以用于任何预期的工业、商业、娱乐或其他用途。

应理解，除非本文中另外明确或隐含地指示，否则关于本文中的特定实施例描述的任何特征、特性、替代或修改也可以与本文所描述的任何其他实施例一起应用、使用或结合，并且本公开的附图和详细描述旨在涵盖由所附权利要求限定的各种实施例的所有修改、等同物和替代物。此外，关于本文所描述的本公开的一种或多种方法或过程，包括但不限于图3或图5的流程图中表示的过程，呈现此类方法或过程的顺序不旨在是被解释为对要求保护的发明的任何限制，并且本文所描述的任何数量的方法或过程步骤或框可以任何顺序和/或并行组合以实现本文所描述的方法或过程。此外，本文的附图未按比例绘制。

除非另外特别说明，否则诸如“可”、“可以”、“可能”或“能够”等的条件性语言在上下文中以其他方式理解，通常旨在以允许的方式传达：某些实施例可以包括或有可能包括但不命令或要求某些特征、元件和/或步骤。以类似的方式，诸如“包括(include)”、“包括(including)”和“包括(includes)”的术语通常旨在意指“包括但不限于”。因此，此类条件性语言通常并不意图暗示特征、元件和/或步骤是一个或多个实施例以任何方式所要求的，或一个或多个实施例一定包括用于在有或没有用户输入或提示的情况下决定这些特征、元件和/或步骤被包括在任何特定实施例中或将要在任何特定实施例中执行的逻辑。

除非另外特别说明，否则诸如短语“X、Y或Z中的至少一个”或“X、Y和Z中的至少一个”的析取语言在上下文中通常应理解为用来表示项目、条款等可以是X、Y或Z或它们的任何组合(例如，X、Y和/或Z)。因此，这种析取语言通常并不意图且不应暗示某些实施例要求X中的至少一个、Y中的至少一个或Z中的至少一个均存在。

除非另外明确地说明，否则诸如“一个”(“a”或“an”)的冠词通常应被解释为包括一个或多个所描述项。因此，诸如“被配置为……的装置”的短语意图包括一个或多个所列举的装置。此类一个或多个所列举装置也可被共同地配置来执行所陈述的列举项。例如，“被配置为执行列举项A、B和C的处理器”可包括被配置为执行列举项A的第一处理器，所述第一处理器与被配置为与执行列举项B和C的第二处理器相结合地工作。

本文所使用的程度语言，诸如本文所使用的术语“约”、“大约”、“大体上”、“几乎”或“基本上”表示接近仍然执行所需功能或达到所需结果的所述值、数量或特性的值、数量或特性。例如，术语“约”、“大约”、“大体上”、“几乎”或“基本上”可以是指在所述量的少于10%内、少于5%内、少于1%内、少于0.1%内以及少于0.01%内的量。

尽管已经关于本发明的说明性实施例描述并说明了本发明，但在不脱离本公开的精神和范围的情况下，可以在其中进行前述和各种其他添加和省略。

Claims (20)

1.一种无人驾驶飞行器，其包括：

框架；

主成像装置，所述主成像装置联接到所述框架，其中所述主成像装置包括主镜头模块；

次成像装置，所述次成像装置联接到所述主镜头模块的外表面，其中所述次成像装置包括次镜头模块；以及

控制单元，所述控制单元具有至少一个计算机处理器，其被配置为至少：

致使多个主图像由所述主成像装置捕获；

致使多个次图像由所述次成像装置捕获；

至少部分地基于所述多个次图像来定义表示所述次成像装置的运动的至少一个矢量；并且

至少部分地基于表示所述次成像装置的所述运动的所述至少一个矢量来使所述多个主图像中的至少一个稳定。

2.如权利要求1所述的无人驾驶飞行器，其中所述至少一个计算机处理器进一步被配置为至少：

识别所述次图像中的第一个中的至少一个显著特征；并且

识别所述次图像中的第二个中的所述至少一个显著特征，

其中至少部分地基于所述次图像中的所述第一个中的所述至少一个显著特征和所述次图像中的所述第二个中的所述至少一个显著特征来定义表示所述次成像装置的所述运动的所述至少一个矢量。

3.如权利要求1所述的无人驾驶飞行器，其中所述至少一个矢量表示所述次成像装置的偏航、俯仰或滚转中的至少一个。

4.如权利要求1所述的无人驾驶飞行器，其中所述主成像装置在所述无人驾驶飞行器进行向前飞行操作时以向前取向对准，并且其中所述次成像装置在所述无人驾驶飞行器进行向前飞行操作时以向下取向对准。

5.如权利要求1所述的无人驾驶飞行器，其中所述至少一个计算机处理器进一步被配置为至少：

至少部分地基于所述多个次图像中的至少一些来确定所述次成像装置的所述运动，其中所述至少一个矢量至少部分地基于所述次成像装置的所述运动来定义。

6.一种用于无人驾驶飞行器的方法，其包括：

通过具有第一镜头的第一成像装置在飞行器的操作期间捕获第一成像数据，其中所述第一成像装置安装到所述飞行器；

通过具有第二镜头的第二成像装置在所述飞行器的所述操作期间捕获第二成像数据，其中所述第二成像装置安装到所述第一成像装置的至少一部分；

至少部分地基于所述第二成像数据，由至少一个计算机处理器确定表示所述第一成像装置的运动的至少一个矢量；以及

至少部分地基于所述至少一个矢量，由所述至少一个计算机处理器修改第一数据，其中修改第一成像数据包括通过所述至少一个计算机处理器使所述第一成像数据稳定；以及

将所修改的第一成像数据存储在至少一个数据存储区中。

7.如权利要求6所述的方法，其中所述第一成像数据包括第一图像和第二图像，并且其中使所述第一成像数据稳定包括：

识别第一图像内的多个锚定点中的至少一个；

识别第二图像内的多个锚定点中的至少一个；

计算从第一图像到第二图像的变换；以及

至少部分地基于所述变换来修改第一图像或第二图像中的至少一个。

8.如权利要求6所述的方法，

其中所述第一成像装置在所述操作期间相对于所述飞行器的行进方向以向前取向对准，

其中所述第二成像装置嵌入在所述第一镜头的下侧，并且

其中所述第二成像装置在所述操作期间相对于所述飞行器的所述行进方向以向下取向对准。

9.如权利要求6所述的方法，其中所述第一成像数据包括第一多个图像，

其中所述第二成像数据包括第二多个图像，并且

其中至少部分地基于所述第二成像数据确定表示所述第一成像装置的所述运动的所述至少一个矢量包括：

至少部分地基于所述第二多个图像的第一子集确定第一矢量，其中所述第一子集包括在第一时间之前捕获的预定数量的所述第二多个图像和在所述第一时间之后捕获的所述预定数量的所述第二多个图像；

识别在所述第一时间处捕获的所述第一多个图像中的第一个，其中使所述第一成像数据稳定包括：

至少部分地基于所述第一矢量使所述第一多个图像中的所述第一个稳定。

10.如权利要求9所述的方法，其中至少部分地基于所述第二成像数据确定表示所述第一成像装置的所述运动的所述至少一个矢量还包括：

至少部分地基于所述第二多个图像的第二子集确定第二矢量，其中所述第二子集包括在第二时间之前捕获的预定数量的所述第二多个图像和在所述第二时间之后捕获的所述预定数量的所述第二多个图像；

识别在所述第二时间捕获的所述第一多个图像中的第二个，其中使所述第一成像数据稳定包括：

至少部分地基于所述第二矢量使所述第一多个图像中的所述第二个稳定。

11.如权利要求6所述的方法，其中所述第二成像数据包括第二多个图像，并且

其中至少部分地基于第二成像数据确定表示所述第一成像装置的所述运动的所述至少一个矢量包括：

由所述至少一个计算机处理器识别在第一时间处捕获的所述第二多个图像中的第一个中的至少一个显著特征的至少第一位置；

由所述至少一个计算机处理器识别在第二时间处捕获的所述第二多个图像中的第二个中的所述至少一个显著特征的至少第二位置；以及

至少部分地基于所述第一位置、所述第二位置、所述第一时间和所述第二时间来确定所述至少一个矢量。

12.如权利要求6所述的方法，其还包括：

至少部分地基于所述至少一个矢量重新定位所述第一镜头；以及

在重新定位所述第一镜头之后，由所述第一成像装置在所述飞行器的所述操作期间捕获第三数据。

13.如权利要求6所述的方法，其中确定表示所述第一成像装置的所述运动的所述至少一个矢量包括：

至少部分地基于所述第二成像数据来确定所述第一成像装置的向前速度、垂直速度或横向速度中的至少一个。

14.如权利要求6所述的方法，其中确定表示所述第一成像装置的所述运动的所述至少一个矢量包括：

至少部分地基于所述第二成像数据来确定所述第一成像装置的偏航函数、俯仰函数或滚转函数中的至少一个。

15.如权利要求6所述的方法，其中所述第一成像装置被配置为以第一分辨率水平捕获成像数据，其中所述第二成像装置被配置为以第二分辨率水平捕获成像数据，并且其中所述第一分辨率水平大于所述第二分辨率水平。

16.一种成像装置，其包括：

第一镜头；

第二镜头，所述第二镜头联接到所述第一镜头，其中所述第二镜头垂直于所述第一镜头对准；

数据存储区；以及

至少一个计算机处理器，其被配置为至少：

使用所述第一镜头捕获第一多个图像，其中所述第一多个图像包括第一图像；

至少部分地基于使用所述第一镜头捕获的多个图像导出所述第二镜头的运动的模型；

至少部分地基于所述模型确定在第一时间处对应于所述第二镜头的所述运动的矢量；

使用所述第二镜头捕获第二多个图像，其中所述第二多个图像包括第二图像和第三图像；

确定所述第二图像在所述第一时间捕获；

至少部分地基于在所述第一时间处对应于所述第二镜头的所述运动的所述矢量，使所述第二图像相对于至少所述第三图像稳定；并且

将第三多个图像存储在所述数据存储区中，其中图像的流包括稳定的第二图像和第三图像。

17.如权利要求16所述的成像装置，其中所述至少一个计算机处理器进一步被配置为至少：

选择使用所述第一镜头捕获的所述多个图像中的第一预定数量，其中在所述第一时间之前捕获所述多个图像中的所述第一预定数量中的每一个；

选择使用所述第一镜头捕获的所述多个图像中的第二预定数量，其中在所述第一时间之后捕获所述多个图像中的所述第二预定数量中的每一个；

至少部分地基于使用所述第一镜头捕获的所述多个图像中的所述第一预定数量和使用所述第一镜头捕获的所述第一多个图像中的所述第二预定数量来确定在所述第一时间处对应于所述第二镜头的所述运动的所述矢量。

18.如权利要求16所述的成像装置，其中，所述矢量表示以下中的至少一个：向前速度函数；垂直速度函数；横向速度函数；偏航函数；俯仰函数；或滚转函数。

19.如权利要求16所述的成像装置，其中，所述至少一个计算机处理器进一步被配置为至少：

识别所述第一图像中的至少一个显著特征；并且

识别第四图像中的所述至少一个显著特征，其中所述第四图像是所述第一多个图像中的一个，

其中至少部分地基于所述第一图像中的所述至少一个显著特征和所述第四图像中的所述至少一个显著特征导出所述第二镜头的所述运动的所述模型。

20.如权利要求16所述的成像装置，其中所述成像装置耦合到飞行器，其中所述第一镜头沿着或平行于所述飞行器的偏航轴线对准，并且其中所述第二镜头沿着或平行于所述飞行器的滚转轴线对准。

Images