CN109715498A - 无人自主交通工具中的自适应运动滤波 - Google Patents

无人自主交通工具中的自适应运动滤波 Download PDF

Info

Publication number
CN109715498A
CN109715498A CN201780058213.1A CN201780058213A CN109715498A CN 109715498 A CN109715498 A CN 109715498A CN 201780058213 A CN201780058213 A CN 201780058213A CN 109715498 A CN109715498 A CN 109715498A
Authority
CN
China
Prior art keywords
yaw
uav
processor
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780058213.1A
Other languages
English (en)
Inventor
黄寅
L·张
X·朱
王若伟
任江涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109715498A publication Critical patent/CN109715498A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
    • B64D1/02—Dropping, ejecting, or releasing articles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U60/00—Undercarriages
    • B64U60/50—Undercarriages with landing legs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

实施例包括用于无人自主交通工具(UAV)中的自适应图像处理的设备和方法。在各种实施例中，图像传感器可以捕获图像，而所述UAV的处理器从一个或多个姿态传感器获取姿态信息。这样的信息可以包括所述UAV的相对姿态和姿态的改变。所述UAV的所述处理器可以至少部分地基于所获取的姿态信息确定UAV运动模式。所述UAV运动模式可以导致产生对偏航纠正参数的修改。所述UAV的所述处理器可以进一步至少部分地基于所确定的运动模式对所述图像执行偏航滤波。

Description

无人自主交通工具中的自适应运动滤波
相关申请
本申请要求于2016年9月23日递交的、名称为“Adaptive Motion Filtering inan Unmanned Autonomous Vehicle”的PCT申请No.PCT/CN2016/099832的优先权，以引用方式将该申请的全部内容并入本文。
背景技术
无人自主交通工具(UAV)正在被开发以用于多种多样的应用。UAV通常被装备为具有一个或多个传感器(诸如，能够捕获图像、图像的序列或者视频的相机)。然而，UAV的运动可能使产生不可接受地失真或者摇摆的图像或者视频。
图像稳定(IS)指检测和纠正由捕获图像或者视频期间的相机摇晃引入的虚假运动的过程。在最一般的意义上，虚假全局运动可以包括与预期的相机路径的任何偏离和由非预期的相机移动引入的抖动。
多种多样的机械式图像稳定机制和技术是可用的。然而，对于并入多数UAV和与多数UAV一起使用来说，这样的机制通常太重且太昂贵。
发明内容
各种实施例包括用于处理由UAV的图像传感器捕获的图像的可以在所述UAV的处理器上被实现的方法。各种实施例可以包括：由所述UAV的图像传感器捕获图像或者视频帧，从一个或多个姿态传感器获取所述UAV的姿态信息，至少部分地基于所获取的姿态信息确定UAV运动模式，以及至少部分地基于所确定的UAV运动模式对所述图像执行偏航滤波。在各种实施例中，所述姿态信息可以包括所述UAV的相对姿态和朝向以及姿态或者朝向的改变。
在一些实施例中，执行偏航滤波可以包括：计算滑动窗口上的平均偏航，计算所计算的平均偏航的标准差，至少部分地基于所计算的平均偏航和所计算的标准差确定是否超过了偏航门限，至少部分地基于对是否超过了所述偏航门限的所述确定修改偏航纠正参数，以及使用所述偏航纠正参数执行滤波器函数。其它的实施例可以进一步包括：响应于确定所述UAV运动模式为快速偏航模式，将所述偏航门限设置为35hz的频率。其它的实施例可以进一步包括：响应于确定所述UAV运动模式为盘旋模式，将所述偏航门限设置为25hz的频率。其它的实施例可以进一步包括：响应于确定超过了所述偏航门限，将偏航纠正参数递增，确定是否超过了最大偏航纠正，以及将所述偏航纠正参数设置为所述最大偏航纠正。其它的实施例可以进一步包括：响应于确定未超过所述偏航门限，将偏航纠正参数递减，确定是否超过了最小偏航纠正，以及将所述偏航纠正参数设置为所述最小偏航纠正。在一些实施例中，所述滤波器函数可以包括无限脉冲响应滤波器。
各种实施例包括一种具有成像传感器(例如，相机)、姿态传感器和处理器的UAV，所述处理器被配置为具有用于执行上面概述的方法的操作的处理器可执行指令。一些实施例包括一种具有用于执行上面概述的方法的功能的单元的UAV。一些实施例包括一种具有存储在其上的处理器可执行指令的处理器可读存储介质，所述处理器可执行指令被配置为使UAV的处理器执行上面概述的方法的操作。
附图说明
被并入本文并且构成本说明书的一部分的附图说明了示例实施例，并且与上面给出的一般描述内容和下面给出的详细描述内容一起用于解释各种实施例的特征。
图1是根据各种实施例的在通信系统内操作的UAV的系统方框图。
图2是说明根据各种实施例的UAV的部件的部件方框图。
图3A是说明根据各种实施例的UAV的图像捕获和处理系统的部件的部件方框图。
图3B说明了根据各种实施例的一个失真的图像。
图3C说明了根据各种实施例的一个经纠正的图像。
图4A和4B说明了根据各种实施例的由位于移动的平台上的图像传感器捕获的图像的图像失真。
图5A和5B说明了根据各种实施例的UAV的坐标系。
图6说明了根据各种实施例的覆盖在图像处理方案中的边界区域上的经变换的图像。
图7是说明根据各种实施例的对由UAV捕获的图像的行进行的变换的部件方框图。
图8是说明根据各种实施例的用于对由UAV的图像传感器捕获的图像进行运动滤波的实施例方法的流程图。
图9是说明根据各种实施例的用于由UAV的图像传感器进行图像跟踪的实施例方法的流程图。
具体实施方式
将参考附图详细描述各种实施例。在任何可能的地方，相同的标号将贯穿附图被用于指相同或者相似的部分。对具体的示例和实施例作出的引用是出于说明的目的的，并且不旨在限制权利要求的范围。
各种实施例包括用于处理由UAV的图像传感器捕获的图像的、可以在UAV的处理器上被实现的方法。这些实施例方法可以自适应地跟踪用于被UAV的图像传感器捕获的图像内的感兴趣的区域，而不需要物理的平衡环。各种实施例提升对使用经受纵摇、偏航和横摇的UAV中的卷帘快门型图像传感器捕获的这样的图像进行的图像处理的效率和准确度。各种实施例进一步提升按照由处在运动中的UAV捕获的图像进行的平移滤波的效率和准确度。
如本文中使用的，术语“UAV”指各种类型的无人自主交通工具中的一种类型的无人自主交通工具。UAV可以包括被配置为在没有诸如来自人类操作员或者远程计算设备的远程操作指令的情况下(即，自主地)对UAV进行操纵和/或导航的机载计算设备。替换地，机载计算设备可以被配置为在具有一些远程操作指令或者对被存储在机载计算设备的存储器中的指令的更新的情况下对UAV进行操纵和/或导航。在一些实现中，UAV可以是使用多个推进单元的推进飞行的飞行器，每个推进单元包括为UAV提供推进和/或提升力的一个或多个旋翼。UAV推进单元可以是由一种或多种类型的电源(诸如，电池、燃料电池、电动发电机、太阳能电池或者其它的电源)供电的，这些电源还可以为机载计算设备、导航部件和/或其它的机载部件供电。
UAV正在日益被装备为具有用于捕获图像和视频的图像传感器设备。被装备为将地面成像的一些UAV可能遭受飞行器的纵摇和横摇导致产生未与地平线对齐的图像的问题。进一步地，UAV的虚假运动可以使产生图像和视频中的抖动或者其它的失真。尽管多种多样的机械式图像稳定机制是可用的(例如，机械式平衡环和光学图像稳定(OIS))，但对于并入多数UAV和与多数UAV一起使用来说，这样的机制通常太重且太昂贵。
数字图像稳定(DIS)和电子图像稳定(EIS)技术可以减少或者消除对机械式图像稳定机制(诸如，平衡环)的需求。使用DIS技术的处理器可以基于图像数据(诸如，从图像到图像、或者从帧到帧的改变)对UAV的虚假运动进行估计。例如，处理器可以根据图像数据确定一项或多项图像统计数据。处理器可以例如对连续的帧进行分析以计算变换，变换在被应用于图像或者帧时，减少就前一个图像或者帧来说的运动的效果。然而，图像统计数据不能被用于容易地区分图像传感器的运动与位于图像传感器的视野中的对象的运动。此外，具体地说在移动的对象出现在图像传感器的视野中时，在图像稳定中使用图像统计数据可以导致产生额外的抖动或者摇晃。额外地，在低光或者改变的光照的条件下，可能削弱DIS性能。
为了实现EIS，UAV的处理器可以对来自UAV的传感器的传感器数据进行分析以确定UAV的虚假运动。例如，UAV的处理器可以检测UAV的朝向(例如，纵摇和横摇)、UAV的运动(例如，在三个维度上的运动加关于纵摇、横摇和偏航轴的运动)、加速度(例如，振动和抖动)和/或可以从UAV的一个或多个传感器(例如，陀螺仪和加速度计)得到的其它的信息。通过使用所估计的UAV的朝向和运动，UAV的处理器可以对图像或者视频进行处理以纠正具有由该朝向和运动产生的失真的图像。在一些实施例中，可以实时地或者在对图像或者视频的后处理中执行这样的处理。例如，UAV的处理器可以使用传感器数据来确定将在使用例如陀螺仪和加速度计的两个连续的图像或者帧之间被应用于图像传感器的输出的旋转和变换。
在EIS系统中，UAV的处理器可以基于UAV的坐标系和关于图像传感器在UAV上的安装的信息以及关于图像传感器的输出的朝向的信息对图像或者视频进行处理。
例如，UAV可以包括多种多样的机身架，并且这样的机身架的制造商可以例如在UAV的飞行控制器或者另一个处理器中使用不同的坐标系。机身架坐标系的一个示例是北-东-下(NED)。在这样的NED机身架坐标系中，沿x轴的正值指示北，沿y轴的正值指示东，以及沿x轴的正值指示下(即，朝向重力)。机身架坐标系的另一个示例是北-西-上(NWU)。在NWU机身架坐标系中，沿x轴的正值指示北，沿y轴的正值指示西，以及沿x轴的正值指示上(即，远离重力)。不同的UAV制造商和供应商可以使用不同的坐标系。
各种实施例提供用于UAV中的数字平衡环的自适应的感兴趣区域跟踪滤波器。各种实施例通过UAV测量的姿态识别UAV操作模式：盘旋或者快速偏航(即，迅速移动)。各种实施例实现基于来自滑动窗口观察相对于预定义的门限的偏航标准差的模式识别。各种实施例可以实现至少部分地基于具有自适应的系数分配的一阶无限脉冲响应(IIR)滤波器的感兴趣区域跟踪。各种实施例可以实现至少部分地基于所确定的操作模式的动态滤波器速度。
在各种实施例中，UAV的图像传感器可以捕获图像或者视频帧。UAV可以从一个或多个姿态传感器获取姿态信息。这样的姿态传感器可以包括UAV航空电子系统的加速度计和/或陀螺仪。姿态信息可以包括UAV的相对姿态(即，关于横摇、纵摇和偏航轴的朝向)和姿态的改变(即，关于横摇、纵摇和偏航轴的旋转速度)。UAV的处理器可以至少部分地基于所获取的姿态信息确定UAV运动模式。UAV运动模式可以导致产生对偏航纠正参数的修改。UAV的处理器可以进一步至少部分地基于所确定的运动模式对图像执行偏航滤波。
可以于在多种多样的通信系统100内操作的UAV内实现各种实施例，在图1中说明了通信系统100的一个示例。通信系统100可以包括UAV 102、基站104、接入点106、通信网络108和网络元件110。
基站104和接入点106可以分别通过有线的和/或无线的通信回程116和118提供用于接入通信网络108的无线通信。基站104可以包括被配置为在广域中提供无线通信的基站(例如，宏小区)以及小型小区，小型小区可以包括微小区、毫微微小区、微微小区和其它类似的网络接入点。接入点106可以包括被配置为在相对较小的区域中提供无线通信的接入点。基站和接入点的其它的示例也是可能的。
UAV 102可以通过无线通信链路112与基站104通信，以及通过无线通信链路114与接入点106通信。无线通信链路112和114可以包括多个载波信号、频率或者频带，这些载波信号、频率或者频带中的每个载波信号、频率或者频带可以包括多个逻辑信道。无线通信链路112和114可以使用一种或多种无线接入技术(RAT)。可以被用在无线通信链路中的RAT的示例包括3GPP长期演进(LTE)、3G、4G、5G、全球移动系统(GSM)、码分多址(CDMA)、宽带码分多址(WCDMA)、微波接入全球互通(WiMAX)、时分多址(TDMA)和其它的移动电话通信技术蜂窝RAT。可以被用在通信系统100内的各种无线通信链路中的一个或多个无线通信链路中的RAT的进一步的示例包括中距协议(诸如，Wi-Fi、LTE-U、LTE-直接、LAA、MuLTEfire)和相对短距的RAT(诸如，ZigBee、蓝牙和蓝牙低能量(LE))。
网络元件110可以包括网络服务器或者另一个类似的网络元件。网络元件110可以通过通信链路122与通信网络108通信。UAV 102和网络元件110可以经由通信网络108进行通信。网络元件110可以为UAV 102提供多种多样的信息(诸如，导航信息、气象信息、关于局部的空中、地面和/或海上交通的信息、移动控制指令和其它的与UAV 102的操作相关的信息、指令或者命令)。
在各种实施例中，UAV 102可以行经环境120。在UAV 102行经环境120时，UAV 102的处理器可以捕获环境120的一个方向的图像或者视频。
UAV可以包括有翼的或者旋翼机品种。图2说明了具有使用一个或多个旋翼202的旋转推进设计的一个示例UAV 200，这一个或多个旋翼202由相对应的发动机驱动以提供离地升空(或者起飞)以及其它的空中移动(例如，前向推进、上升、下降、横向移动、倾斜、旋转等)。UAV 200是作为可以使用各种实施例的UAV的一个示例被说明的，而不旨在暗示或者要求各种实施例限于旋翼机UAV。各种实施例也可以被用于有翼型UAV。进一步地，各种实施例可以同样地被用于基于陆地的自主交通工具、水上的自主交通工具和基于空间的自主交通工具。
参考图1和2，UAV 200可以是与UAV 102类似的。UAV 200可以包括一些旋翼202、机架204和起落柱206或者滑橇。机架204可以为与旋翼202相关联的发动机提供结构性支撑。起落柱206可以支持UAV 200的部件的组合的最大载荷重量(以及，在一些情况下，有效载荷)。为了易于描述和说明，省略了UAV 200的一些详细的方面(诸如，连线、机架结构互连或者其它的对于本领域的技术人员将是已知的的特征)。例如，尽管UAV 200被显示和描述为具有机架204，机架204具有一些支撑构件或者机架结构，但可以使用模制机架来构造UAV200，其中，通过模制机架来获得支撑。尽管所说明的UAV 200具有四个旋翼202，但这仅是示例性的，并且各种实施例可以包括多于或者少于四个旋翼202。
UAV 200可以进一步包括控制单元210，控制单元210可以安置被用于为UAV 200供电和控制UAV 200的操作的各种电路和设备。控制单元210可以包括处理器220、电源模块230、传感器240、有效载荷保护单元244、输出模块250、输入模块260和无线模块270。
处理器220可以被配置为具有用于控制UAV 200的行进和其它的操作(包括各种实施例的操作)的处理器可执行指令。处理器220可以包括或者被耦合到导航单元222、存储器224、陀螺仪/加速度计单元226和航空电子模块228。处理器220和/或导航单元222可以被配置为通过无线连接(例如，蜂窝数据网络)与服务器(例如，网络元件110)通信以接收在导航中有用的数据、提供实时定位报告和对数据进行评估。
航空电子模块228可以被耦合到处理器220和/或导航单元222，并且可以被配置为提供与行进控制相关的信息(诸如，海拔高度、姿态、空速、航向和导航单元222可以用于导航目的的类似信息(诸如，全球导航卫星系统(GNSS)定位更新之间的航位推测))。陀螺仪/加速度计单元226可以包括加速度计、陀螺仪、惯性传感器或者其它类似的传感器。航空电子模块228可以包括陀螺仪/加速度计单元226或者从陀螺仪/加速度计单元226接收数据，陀螺仪/加速度计单元226提供可以在导航和定位计算中被使用的与UAV 200的朝向和加速度有关的数据，以及提供在各种实施例中被用于对图像进行处理的数据。
处理器220可以进一步从诸如是图像传感器306(如图3A所示出并如下文所描述的)或者光学传感器(例如，能够感应可见光、红外线、紫外线和/或其它波长的光)这样的传感器240接收额外的信息。传感器240还可以包括射频(RF)传感器、气压计、声纳发射器/检测器、雷达发射器/检测器、麦克风或者另一个声学传感器、或者另一个可以提供可以被处理器220用于移动操作以及导航和定位计算的信息的传感器。传感器240可以包括可以提供指示何时UAV 200已经作出与表面的接触的信号的接触或者压力传感器。有效载荷保护单元244可以包括伺服电机，伺服电机驱动响应于控制单元210的抓握和释放机制和相关的控件，以响应于来自控制单元210的命令而抓握和释放有效载荷。
电源模块230可以包括可以为包括处理器220、传感器240、有效载荷保护模块244、输出模块250、输入模块260和无线模块270的各种部件提供功率的一个或多个电池。另外，电源模块230可以包括诸如是可再充电电池这样的能量存储部件。处理器220可以被配置为具有用于诸如通过使用充电控制单元执行充电控制算法来控制对电源模块230的充电(即，对所收集的能量的存储)的处理器可执行指令。替换地或者额外地，电源模块230可以被配置为对其自身的充电进行管理。处理器220可以被耦合到输出模块250，输出模块250可以输出用于管理驱动旋翼202的发动机和其它的部件的控制信号。
可以在UAV 200向目的地推进时通过控制旋翼202的各个发动机的控制来控制UAV200。处理器220可以从导航单元222接收数据，以及使用这样的数据来确定UAV 200的当前的定位和朝向以及去往目的地的合适的航线或者中间站点。在各种实施例中，导航单元222可以包括使UAV 200能够使用GNSS信号进行导航的GNSS接收机系统(例如，一个或多个全球定位系统(GPS)接收机)。替换地或者另外，导航单元222可以被装备为具有用于从无线节点(诸如，导航信标(例如，甚高频(VHF)全向测距(VOR)信标)、Wi-Fi接入点、蜂窝网络站点、无线站、远程计算设备、其它的UAV等)接收导航信标或者其它的信号的无线导航接收机。
无线模块270可以被配置为接收导航信号(诸如，来自航空导航设施等的信号)，以及将这样的信号提供给处理器220和/或导航单元222以在UAV导航中提供辅助。在各种实施例中，导航单元222可以使用从位于地面上的可识别的RF发射器(例如，AM/FM无线站、Wi-Fi接入点和蜂窝网络基站)接收的信号。
无线模块270可以包括调制解调器274和发射/接收天线272。无线模块270可以被配置为执行与多种多样的通信设备(例如，无线通信设备(WCD)290)的无线通信，无线通信设备的示例包括无线电话基站或者蜂窝塔(例如，基站104)、网络接入点(例如，接入点106)、信标、智能电话、平板型设备或者UAV 200可以与之通信的另一个计算设备(诸如，网络元件110)。处理器220经由无线模块270的调制解调器274和天线272，以及无线通信设备290可以经由发射/接收天线292，可以建立双向无线通信链路294。在一些实施例中，无线模块270可以被配置为支持与使用不同无线接入技术的不同无线通信设备的多个连接。
在各种实施例中，无线通信设备290可以通过中间接入点被连接到服务器。在一个示例中，无线通信设备290可以是UAV运营商、第三方服务(例如，包裹配送、账单结算等)的服务器或者站点通信接入点。UAV 200可以通过一个或多个中间通信链路(诸如，被耦合到广域网(例如，互联网)或者其它的通信设备的无线电话网络)与服务器通信。在一些实施例中，UAV 200可以包括和使用其它形式的无线通信(诸如，与其它的UAV的网状连接或者去往其它的信息源(例如，气球或者其它的用于收集和/或分布气象或者其它的收集信息的数据的站)的连接)。
在各种实施例中，控制单元210可以被装备为具有输入模块260，输入模块260可以被用于多种多样的应用。例如，输入模块260可以从机载相机或者传感器接收图像或者数据，或者可以从其它的部件(例如，有效载荷)接收电子信号。
尽管作为单独的部件说明了控制单元210的各种部件，但这些部件(例如，处理器220、输出模块250、无线模块270和其它的单元)中的一些或者全部部件可以一起被集成到单个设备或者模块(诸如，单片式系统模块)中。
图3A说明了根据各种实施例的UAV(例如，图1和2中的102和200)的图像捕获和处理系统300。参考图1-3A，图像捕获和处理系统300可以在UAV的硬件部件和/或软件部件中被实现，其操作可以通过UAV的一个或多个处理器(例如，处理器220等)来控制。为了实现数字图像稳定，可以根据由UAV的处理器检测的信息估计UAV的虚假运动。在图像捕获和处理系统300中说明了可以实现这样的数字图像稳定的部件的一个实施例。
图像传感器306可以捕获通过透镜304进入的图像302的光。透镜304可以包括鱼眼透镜或者另一种类似的可以被配置为提供宽的图像捕获角度的透镜。图像传感器306可以将图像数据提供给图像信号处理(ISP)单元308。感兴趣区域(ROI)选择单元312可以向ISP308提供用于选择图像数据内的感兴趣区域的数据。
ISP 308可以将图像信息和ROI选择信息提供给卷帘快门纠正、图像扭曲和剪裁单元326。鱼眼矫正单元314可以向卷帘快门纠正、图像扭曲和剪裁单元326提供信息和/或处理函数。
飞行参数单元316可以确定航空测量数据和UAV定位和朝向数据。例如，飞行参数单元316可以获取或者从UAV的一个或多个传感器(例如，传感器240)接收航空测量数据和UAV定位和朝向数据。飞行参数单元316可以将航空测量数据和UAV定位和朝向数据提供给姿势估计单元318。(“姿势”是“定位”和“朝向”的合成词)。
姿势估计单元318可以基于航空测量数据和定位和朝向数据确定UAV的定位和朝向。在一些实施例中，姿势估计单元318可以基于UAV的坐标系(例如，NED或者NWU)确定UAV的定位和朝向(例如，纵摇、横摇和偏航)。姿势估计单元318可以将所确定的UAV的定位和朝向提供给运动滤波器单元320。平移和倾斜控制单元310可以向运动滤波器单元320提供关于图像传感器306的平移和/或倾斜的数据。
运动滤波器单元320可以基于来自姿势估计单元318的定位和朝向信息和来自平移和倾斜控制单元310的平移和/或倾斜信息确定UAV的图像传感器306的物理的和/或虚拟的姿势改变。在一些实施例中，运动滤波器单元320可以随着时间的过去确定图像传感器306的物理的或者虚拟的姿势改变。在一些实施例中，运动滤波器单元320可以基于第一个图像与第二个随后的图像之间的一项或多项改变确定物理的或者虚拟的姿势改变。在一些实施例中，运动滤波器单元320可以逐帧地确定图像传感器306的物理的或者虚拟的姿势改变。运动滤波器单元可以将所确定的图像传感器306的物理的和/或虚拟的姿势改变提供给按行相机旋转计算单元322。
按行相机旋转计算单元322可以逐行地确定要对图像信息执行的旋转。按行相机旋转计算单元322可以将关于所确定的旋转的信息提供给变换矩阵计算单元324。
变换矩阵计算单元324可以确定用于在对图像进行处理时使用的变换矩阵。变换矩阵计算单元324可以将变换矩阵提供给卷帘快门纠正和扭曲单元326。
卷帘快门纠正和扭曲单元326可以对图像信息进行剪裁，对由透镜304引起的图像中的失真进行纠正，以及可以对图像信息应用变换矩阵。因此，卷帘快门纠正和扭曲单元326可以提供基于剪裁、失真纠正和/或应用变换矩阵而被纠正的图像328作为输出。在一些实施例中，经纠正的图像328可以包括具有经纠正的横向朝向或者横向旋转的图像。在一些实施例中，经纠正的图像328可以包括经稳定的视频输出。
图3B说明了根据各种实施例的失真的图像350。参考图1-3B，失真的图像350可以包括一项或多项失真(例如，直的物体的弯曲352，或者由失真标记354和356和由测试图像358指示的失真)。
图3C说明了根据各种实施例的经纠正的图像328。参考图1-3C，经纠正的图像328已经被逆时针旋转90度，并且包括对例如直的物体352和测试图像358的纠正。
图4A和4B说明了根据各种实施例的由位于移动的平台上的图像传感器306捕获的图像中的图像失真。参考图1-4B，UAV的处理器(例如，处理器220等)和UAV的硬件部件和/或软件部件可以使用UAV的图像传感器(例如，图像传感器306)捕获和处理图像或者视频。
参考图1-4A，图像402是由移动的图像传感器306捕获的，其包括被歪斜的物体404。例如，卷帘快门失真可以出现在由从图像的顶部到底部逐行地而非在一个时间点处作为单个快照记录每个帧的特定的图像传感器(例如，互补金属氧化物半导体(CMOS)图像传感器)捕获的图像以及特别是视频中。由于图像的部分是在不同的时间处被捕获的，所以图像传感器运动可以引起被称为“凝胶效应”或者“凝胶颤动”的图像失真。在图像402中说明的失真可以是由快速行经图像传感器的视野的物体或者由相机转换(例如，相机的横向或者旋转运动)引起的。另外，如由图像402中的歪斜的物体404说明的，可以使快速移动的物体失真而具有对角线歪斜。处理器可以确定为从帧的第一行遍历到最后一行所花费的时间期间的图像传感器的运动，并且处理器可以对传感器运动引起的卷帘快门失真进行纠正。
图4B说明了可以由运动传感器的纵摇和偏航引起的卷帘快门失真。图像传感器旋转(例如，由图像传感器的平台(例如，UAV)的纵摇和偏航引起的)可以由于卷帘快门而引起两个完全不同的效应。例如，帧曝光期间的偏航的改变可以使纵向行形成对角线歪斜406。另外，帧曝光期间的纵摇的改变可以改变横向行之间的间隔408，以及可以导致产生对沿图像的Y轴(例如，横向轴)的残余运动的感知。
参考图1-4B，在一些实施例中，处理器可以通过对图像或者帧内的像素的运动进行建模来纠正卷帘快门失真。例如，处理器可以将图像或者帧划分成多个子帧，以及计算用于每个子帧的仿射变换。在一些实现中，处理器可以对在时间t1-t6处捕获的像素相比于时间tf的运动进行建模。时间tf可以包括经选择的参考时间，经选择的参考时间可以是时间t1与t6之间的中点时间。在一些实施例中，时间t1可以等于帧捕获的起始时间(SOF)减曝光持续时间(图像或者帧在其期间被捕获的持续时间)的一半，以及可以根据以下方程来表示：
t1＝SOF-曝光/2 [方程1]
在一些实施例中，t6可以等于帧捕获的终止时间(EOF)减曝光持续时间的一半，以及可以根据以下方程来表示：
t6＝EOF-曝光/2 [方程2]
在一些实施例中，tf可以根据以下方程来表示：
tf＝(t1+t6)/2 [方程3]
在一些实施例中，处理器可以根据运动的最高频率(其可以作为图像捕获参数被设置)确定子帧的数量(例如，位于时间t1、t2、t3、t4、t5和t6处的子帧)。
处理器然后可以确定用于时间tf的变换(诸如，仿射变换)。处理器可以将所确定的变换410应用于每个子帧。对每个子帧应用变换用于将整个帧建模为由全局快门在时间tf处捕获的。
图5A和5B说明了根据各种实施例的UAV的机身架坐标系。参考图1-5B，UAV的处理器(例如，处理器220等)和UAV的硬件部件和/或软件部件可以(除了关于图像传感器在UAV上的安装或者朝向的信息和关于图像传感器的输出的朝向的信息之外)基于UAV的坐标系捕获和处理图像或者视频。UAV可以包括多种多样的机身架，并且这样的机身架的制造商可以例如在UAV的飞行控制器或者另一个处理器中使用不同的坐标系。
UAV并且特别是相对较小的UAV可以经历可以使UAV摇晃或者颤动的具有高的每分钟转数(RPM)(例如，10x千RPM)的旋翼旋转。因此，卷帘快门图像传感器可以捕获遭受显著的失真的图像。纠正这样的每帧非均匀的运动可以包括：将整个图像或者视频的整个帧划分成多个条带，其中，每个条带可以是一个行或者多个行。每个行可以是基于图像传感器行读取输入的，或者可以是将整个图像(或者帧)划分成具有所确定的高度和宽度的条带或者将整个图像(或者帧)划分成确定的数量的条带而不考虑高度和宽度。纠正还可以包括估计每条带的图像传感器姿势(例如，基于两个所确定的定位之间的内插)。最后，纠正可以包括应用每条带姿势(例如，变换矩阵)以纠正图像(或者帧)中的失真。
执行图像扭曲过程可能要求处理器执行逐像素读/写操作，逐像素读/写操作可能是处理器密集的，并且可能需要高的处理吞吐量和高的带宽吞吐量两者。执行复合的或者一步的操作减少对处理器和其它的处理资源的处理需求，以及减少对电池或者其它的电源的消耗。
图5A说明了北-东-下(NED)机身架坐标系的一个示例，其中，沿x轴的正值指示北，沿y轴的正值指示东，以及沿x轴的正值指示下(即，朝向重力)。
图5B说明了北-西-上(NWU)机身架坐标系的一个示例，其中，沿x轴的正值指示北，沿y轴的正值指示西，以及沿x轴的正值指示上(即，远离重力)。
参考图1-5B，UAV在3D空间内的姿态改变(即，关于横摇、纵摇和/或偏航的旋转)可以引起由UAV的图像传感器捕获的图像中的失真。关于偏航轴的姿态变由于图像传感器可能经历非故意的抖动/摇晃以及故意的偏航旋转(以使图像传感器平移的形式)两者而特别造成高可能性的图像失真。UAV的处理器可以被配置为跟踪UAV的姿态和姿态的改变，以及使用所跟踪的姿态改变来减轻产生的图像失真。
在一些实施例中，通过图像传感器捕获所捕获的信息可以被映射到矩阵K。3D空间中的点(X，Y，Z)可以基于销孔被映射到图像平面(x，y)。例如，图像传感器捕获可以被表示为：
其中，F是以像素为单位的焦距，其涉及图像分辨率、透镜焦距和相机传感器大小。
横摇旋转(即，关于横摇轴的姿态改变)可以由以下方程代表：
其中，可以通过3D分解来获取
为了对横摇旋转进行补偿，可以将横摇旋转乘以图像传感器捕获矩阵K和图像传感器捕获矩阵的逆。例如，经纠正的横摇矩阵可以由以下方程代表：
就像素而言，横摇变换矩阵(即，横摇纠正变换)可能需要横摇旋转矩阵的逆。例如，横摇变换矩阵可以由以下方程代表：
纵摇旋转(即，关于纵摇轴的姿态改变)可以由以下方程代表
其中，可以通过3D分解来获取
与横摇类似，可以通过将图像传感器捕获矩阵K和图像传感器捕获矩阵的逆与纵摇旋转矩阵相乘来对纵摇进行补偿。例如，经纠正的横摇矩阵可以由以下方程代表：
就像素而言，纵摇变换矩阵(即，纵摇纠正变换)可能需要纵摇旋转矩阵的逆。例如，纵摇变换矩阵可以由以下方程代表：
为了减轻图像失真，UAV的处理器可以使用诸如从航空电子系统接收的姿态信息来确定如何对图像进行处理以滤除失真效应。例如，UAV可以检测故意的偏航旋转，以及从非故意的偏航旋转和噪声中过滤出故意的偏航旋转。在某个点处，移动足够大以致其到达对于稳定可用的余量，并且不可以被进一步地稳定。特别是在视频中，由于稳定的视频之后跟随跳跃之后跟随平移的令人不快的效果，超过对于稳定可用的余量的移动可能变得可见。在一些实施例中，处理器可以确定并且应用平移滤波器以减轻平移的起点和终点处的这样的跳跃，以及使平移稳定。
各种实施例使能实现自适应的运动滤波器，其中，滤波的程度是基于图像“多么靠近”对于稳定可用的总余量来确定的。由于估计的变换可能在图像的不同部分处导致产生不同的移位，所以确定图像“多么靠近”图像剪裁余量可能是复杂的。因此，在一些实施例中，可以作为代替而考虑图像的全部四个角的最大移位。如果移位小于余量大小的一半，则该滤波器通过将α设置为0.001给出强的稳定。在移位偏移量超过余量大小的一半时，滤波器可以递增地捕获作为平移的移动，以及可以防止经变换的图像到达余量的终点。例如，可以人为地将参数αz递增，因为机架的净横摇平均为零是重要的，否则观察到经稍微旋转的视频。净纵摇和偏航仅导致产生有效视野的改变，并且因此可以被容忍。
平移x＝(1-α)·平移x-1+α·陀螺仪x [方程11]
陀螺仪x-有效＝陀螺仪x-平移x [方程12]
对于图像n，偏航可以被建模为故意的偏航旋转、非故意的偏航旋转和偏航噪声的组合。图像n的偏航可以由以下函数代表：
其中，是诸如来自对图像传感器的平移的故意的偏航旋转；是非故意的偏航旋转；以及ε(n)是偏航噪声。
通过获取贯穿由UAV进行的图像捕获操作的全局偏航γ(n)，以及应用自适应的无限脉冲响应滤波器(IIR)，UAV的处理器可以滤除非故意的偏航和偏航噪声。可以贯穿图像捕获操作地基于UAV的运动模式修改自适应偏航纠正参数δ。故意的偏航可以被表示为IIR滤波器函数中的全局偏航和偏航纠正参数的结果：
UAV的处理器可以贯穿图像捕获过程地通过分析当前的姿态信息对运动模式进行调整。例如，盘旋的无人机可以几乎不经历任何姿态改变，以及类似地可以经历仅少量的偏航旋转。相反，快速移动或者快速旋转的无人机可以是处在快速偏航旋转模式下的，以及可以经历更极端的姿态改变(诸如，偏航旋转)。UAV的处理器可以定期地从传感器(诸如，可以是UAV航空电子系统的一部分的陀螺仪和高度计)获取姿态(例如，偏航)信息。在一些实施例中，这样的周期可以是相对短的以实现频繁地监视姿态(例如，偏航)信息。处理器可以在UAV的姿态改变时更新偏航纠正参数的值以实现在运动模式之间的转变期间平滑地转变运动滤波器。
最大可允许偏航纠正可以被表述为UAV的处理器多么频繁地检查姿态更新的函数。例如，姿态更新计时器T(例如，2ms)可以被用于定义时间常量τ，以使得：
处理器可以使用该时间常量来计算偏航门限(例如，旋转门限)和相关联的最大偏航纠正。偏航门限u可以由以下函数代表：
例如，为0.065的δ(n)和为2ms的T导致产生为25Hz的最大偏航门限。在该频率之上，全部偏航可以作为噪声或者非故意的偏航而被滤除。
图6说明了根据各种实施例的UAV中的图像处理600。参考图1-6，UAV的处理器(例如，处理器220等)和UAV的硬件部件和/或软件部件可以使用UAV的图像传感器(例如，图像传感器306)捕获和处理图像或者视频。
由UAV的图像传感器306捕获的图像可以具有大致均匀的几何边界604。然而，这样的图像的对象可能在视觉上是歪斜的，并且需要调整或者变换以对视觉描绘进行纠正。经变换的图像可以具有不规则形状的边界602。所捕获的图像和经变换的图像这两者都很可能大于UAV处理器用于进行图像处理的门限边界606。因此，所捕获的和/或经变换的图像的仅那些位于由门限边界606定义的图像剪裁余量608内的部分将被输出以便进行显示、存储或者进一步的图像处理。
余量限制可以从由UAV捕获的视频或者图像中移除多少摇晃/抖动。如果余量非常小，则EIS可能不能够准确地和高效地移除由于余量违反而产生的摇晃/抖动。在所捕获的或者经变换的图像边界604、602的部分越过图像剪裁余量608时，余量违反发生。余量可以包括两个部分：物理余量和虚拟余量。物理余量可以由图像传感器提供，并且可以不影响视频或者图像质量。但是，虚拟余量可以是额外的余量或者缓冲器区域，并且可以导致产生图像模糊。
在启用了EIS时，UAV的处理器可以分配例如大于期望的输出图像的缓冲器。所捕获的图像包含实际图像像素数据，可以在图像处理期间对这些像素数据中的一些像素数据进行剪裁。在图像传感器306随UAV一起移动时，图像传感器306可能摇晃，并且在期望的输出边界内捕获的视野(FOV)可能移动。只要摇晃是低到适度的，处理器就可以与运动方向相逆地在输出边界内移动所捕获的图像边界604以提供稳定的图像。然而，如果摇晃/抖动足够大，则对于与运动相逆地移动所捕获的图像边界604的需求超过输出边界的周界。这被称为余量违反。不能用有效像素数据填充所捕获的图像604的位于边界之外的部分，因为有效像素位于输出边界内。因此，在余量违反发生时，不可以作出纠正，并且可以在所捕获的视频或者图像中的白的/空的空间中观察到视觉跳跃。
典型的预设物理余量可以是图像大小的10％。这在图像的全部四个边上提供5％的“半”余量。5％的“半”余量对于在涉及UAV的快速移动或者严重纵摇、偏航或者横摇的情况下稳定视频或者图像可能不够。可以引入虚拟余量以提供额外的缓冲，以及实现在可以以高的速度和在于飞行时具有大量摇晃/抖动的情况下移动的UAV中进行更准确和高效的稳定。在有相逆的运动时，取代物理余量而在虚拟余量内工作可以将所捕获的图像604的一些部分放置在输出边界之外，处理器可以不报告余量违反，以及可以继续图像处理和图像失真纠正。但由于对于输出图像的越过物理余量的部分来说不存在任何有效像素，所以伪像可能出现在这些区域中。为了防止伪像出现在输出图像中，可以应用剪裁。
图像剪裁余量608可以小于所捕获的图像604，并且因此可能需要将图像缩放到输出分辨率(例如，1080P)，并且在这样做时可能引入一些模糊。
在各种实施例中，图像的每个边上的物理余量P(通常是5％)和每个边上的虚拟余量V(通常是从2.5％-5％的)可以被用于代表余量和剪裁尺度。例如，余量和剪裁尺度可以由以下函数代表：
剪裁尺度＝1+2V [方程18]
作为平移滤波的一部分，UAV处理器可以确定何时经变换的图像边界602逼近图像剪裁余量608的边缘。可以参考所估计的图像的变换(out_points)跟踪由图像的四个角代表的四个点in_points＝(1，1)，(w，1)，(1，h)，(w，h)。参数w和h指图像帧的宽度和高度。这四个点之间的沿x和y轴两者的最大移位可以由以下函数代表：
X移位＝max(abs(out_points(：，1)-in_points(：，1))) [方程19]
Y移位＝max(abs(out_points(：，2)-in_points(：，2))) [方程20]
x移位和y移位可以被用于约束投影变换和设置平移滤波器参数。计算什么投影变换(例如，经变换的图像边界602)可以被应用于所捕获的图像604以使得角点将映射到所允许的图像剪裁余量608的边缘可能是困难的。作为代替，这可以通过计算经变换的图像边界602的角与所捕获的图像604相距的定位和检查是否这些角处在余量内来推断。如果这是真的，则经变换的图像不会与图像剪裁余量608交叉。
图7说明了根据各种实施例的UAV中的图像处理700。参考图1-7，UAV的处理器(例如，处理器220等)和UAV的硬件部件和/或软件部件可以使用UAV的图像传感器(例如，图像传感器306)捕获和处理图像或者视频。
由于行读取图像传感器捕获而被划分成子帧的图像可以具有参考横向/水平图像702歪斜的多个子帧704。所捕获的图像内的感兴趣区域706可以是由于卷帘快门失真和或UAV的纵摇、偏航、横摇而被歪曲的。通过对子帧704应用变换矩阵，可以对这些子帧进行纠正以提供在其中感兴趣区域706看起来是水平的的恒定水平的图像。
图8说明了根据各种实施例的UAV(例如，图1和2中的102、200)中的自适应图像处理的方法800。参考图1-8，方法800可以被UAV的处理器(例如，处理器220等)实现。
在方框802中，UAV的图像传感器可以捕获图像。例如，被安装或者集成在UAV中的图像传感器可以捕获图像或者视频的帧。
在方框804中，UAV的姿态传感器可以获取与UAV相关的姿态信息。姿态信息可以包括当前的姿态和姿态的改变。处理器可以直接从UAV传感器收集姿态信息，或者可以基于由位于UAV内部或者外部的一些传感器(例如，陀螺仪、高度计等)提供的信息推断姿态信息。
在确定方框806中，处理器可以确定UAV的运动模式。UAV的处理器可以对所获取的姿态信息进行分析，以及确定是否UAV处在“盘旋”模式下或者处在“快速偏航”模式下(例如，正在迅速移动或者平移)。在盘旋模式下，由于UAV尝试在空域中维持相同的相对定位，所以UAV可能经历相对小的姿态改变。然而，迅速移动或者平移的UAV由于该UAV行经具有变化的密度的气穴和遭遇风速/风向的改变而可能经历迅速的姿态改变。
在方框808中，处理器可以在执行偏航滤波期间使用对UAV运动模式进行的确定的结果。处在盘旋模式下的UAV可能经历小的偏航旋转，小的偏航旋转很可能是由于图像传感器稍微平移而故意的。相反，处在快速偏航模式下的UAV可能由于UAV为了捕获具有大的面积的图像而平移或者由于UAV迅速行经空域而经历较大程度的偏航旋转。参考图9详细讨论了确定一种运动模式相对于确定另一种运动模式的影响。
图9说明了根据各种实施例的在UAV(例如，图1和2中的102、200)中捕获的图像中的运动滤波方法900。参考图1-9，方法900可以被UAV的处理器(例如，处理器220等)实现。
在方框902中，处理器可以计算由UAV经历的平均偏航旋转。例如，处理器可以测量或者基于来自UAV的传感器(例如，陀螺仪)的数据推断偏航旋转，以及可以贯穿操作地监视偏航旋转。在一些实施例中，处理器可以在滑动窗口中在进行中对偏航旋转求平均。例如，在处理器从陀螺仪传感器接收或者获取新的偏航旋转信息时，处理器可以连续地重新计算平均偏航速率。
在方框904中，处理器可以计算平均偏航速率的标准差。在一些实施例中，处理器可以计算在其中计算平均偏航速率的每个窗口的平均值。处理器可以基于每个采样集(例如，每个窗口)的平均值计算标准差。因此，处理器可以将标准差确定为移动的值，以及可以在于采样集上重新计算平均偏航时更新标准差。
在确定方框906中，处理器可以至少部分地基于所计算的平均偏航和所计算的标准差确定是否偏航旋转超过门限。
响应于确定偏航旋转超过门限(即，确定方框906＝“是”)，处理器可以在方框908中将偏航纠正参数递增。在各种实施例中，递增可以是采用均匀的步进大小(诸如，0.001、0.0005等)的。
在确定方框910中，处理器可以确定是否超过了最大偏航纠正。最大值可以是基于UAV图像传感器306的最大被允许偏航旋转的。超过最大值的偏航旋转可能导致产生过度偏航(诸如，在UAV旋转720度时)。
响应于确定超过了最大偏航纠正(即，确定方框910＝“是”)，处理器可以在方框912中将偏航纠正参数设置为最大偏航纠正。例如，可以(例如，基于参考图5A-5B描述的旋转示例)将偏航纠正参数设置为0.05。
响应于确定未超过最大偏航纠正(即，确定方框910＝“否)，处理器可以在方框914中存储经更新的偏航纠正参数并且在执行滤波器函数时使用它。
响应于确定偏航旋转未超过门限(即，确定方框906＝“否”)，处理器可以在方框916中将偏航纠正参数递减。在各种实施例中，可以采用均匀的步进大小(诸如，0.001、0.0005等)将偏航纠正参数递减。
在确定方框918中，处理器可以确定是否超过了最小偏航纠正。最小值可以是基于UAV图像传感器306的最小被允许偏航旋转(其不可以小于0)的。
响应于确定超过了最小偏航纠正(即，确定方框918＝“是”)，处理器可以在方框920中将偏航纠正参数设置为最小偏航纠正。因此，如果偏航纠正参数被递减到小于被允许的最小偏航纠正的值，则偏航纠正参数可以被设置为最小值，并且递减被忽略。
响应于确定未超过最小偏航纠正(即，确定方框918＝“否”)，处理器可以在方框922中存储经递减的偏航纠正参数并且在执行滤波器函数时使用它。
各种实施例使UAV的处理器能够改进由UAV进行的图像捕获和处理。各种实施例还提升由UAV进行的图像捕获和处理的效率。各种实施例进一步提升由图像传感器306进行的图像捕获期间的运动滤波和感兴趣区域跟踪的准确度。各种实施例实现针对多种多样的机身架坐标系改进由UAV进行的图像捕获和处理。
仅作为用于说明权利要求的各种特征的示例提供了所说明和描述的各种实施例。然而，就任何给定的实施例所示出和描述的特征不必限于相关联的实施例，并且可以与被示出和描述的其它实施例一起被使用或者被组合在一起。进一步地，权利要求不旨在受任一个示例实施例的限制。例如，方法800和900的操作中的一个或多个操作可以被替换为方法800和900的一个或多个操作或者被与之组合在一起，并且反之亦然。
前述的方法描述和流程图是仅作为说明性的示例被提供的，并且不旨在要求或者暗示各种实施例的操作必须按照所呈现的次序被执行。如本领域的技术人员应当认识到的，前述实施例中的操作的次序可以按照任意次序被执行。诸如是“此后”、“然后”、“接下来”等这样的术语不旨在限制操作的次序；这些术语被用于引导读者通过对方法的描述。进一步地，任何例如使用冠词“一个(a)”、“一个(an)”或者“那个(the)”以单数形式对权利要求元素的引用不应当被解释为将该元素限于单数。
结合本文中公开的实施例描述的各种说明性的逻辑方框、模块、电路和算法操作可以被实现为电子硬件、计算机软件或者这两者的组合。为清楚地说明硬件与软件的该可互换性，已在上面概括地根据它们的功能描述了各种说明性的部件、方框、模块、电路和操作。这样的功能被实现为硬件还是软件取决于具体的应用和被强加于总体系统的设计约束。技术人员可以针对每个具体的应用以不同的方式实现所描述的功能，但这样的实施例决策不应当被解释为使脱离权利要求的范围。
被用于实现结合本文中公开的方面描述的各种说明性的逻辑、逻辑方框、模块和电路的硬件可以利用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑设备、分立的门或者晶体管逻辑、分立的硬件部件或者被设计为执行本文中描述的功能的其任意组合来实现或者执行。通用处理器可以是微处理器，但替换地，处理器可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以被实现为接收机智能对象的组合，例如，DSP与微处理器的组合、多个微处理器、结合DSP核心的一个或多个微处理器或者任何其它这样的配置。替换地，一些操作或者方法可以被专用于给定的功能的电路执行。
在一个或多个方面中，所描述的功能可以用硬件、软件、固件或者其任意组合来实现。如果用软件来实现，则功能可以作为非暂时性计算机可读存储介质或者非暂时性处理器可读存储介质上的一个或多个指令或者代码被存储。本文中公开的方法或者算法的操作可以被体现在可以位于非暂时性计算机可读或者处理器可读存储介质上的处理器可执行软件模块或者处理器可执行指令中。非暂时性计算机可读或者处理器可读存储介质可以是任何可以被计算机或者处理器访问的存储介质。作为示例而非限制，这样的非暂时性计算机可读或者处理器可读存储介质可以包括RAM、ROM、EEPROM、闪存、CD-ROM或者其它光盘存储装置、磁盘存储装置或者其它磁性存储智能对象或者任何其它的可以被用于存储采用指令或者数据结构的形式的期望的程序代码并且可以被计算机访问的介质。如本文中使用的磁盘和光盘包括压缩盘(CD)、激光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光盘，其中，磁盘通常磁性地复制数据，而光盘利用激光在光学上复制数据。以上各项的组合也被包括在非暂时性计算机可读和处理器可读介质的范围内。额外地，方法或者算法的操作可以作为可以被并入计算机程序产品的非暂时性处理器可读存储介质和/或计算机可读存储介质上的代码和/或指令中的一个代码和/或指令或者其任意组合或者集合存在。
提供前述的对所公开的实施例的描述以使本领域的技术人员能够制作或者使用权利要求。对这些实施例的各种修改对于本领域的技术人员将是显而易见的，并且本文中定义的一般原理可以被应用于其它的实施例，而不脱离权利要求的范围。因此，本公开内容不旨在限于本文中所示的实施例，而将符合与下面的权利要求和本文中公开的原理和新颖特征一致的最宽范围。

Claims (22)

1.一种对无人自主交通工具(UAV)中的图像进行运动滤波的方法，包括：
由与所述UAV相关联的图像传感器捕获图像；
由所述UAV的姿态传感器获取所述UAV的姿态信息；
至少部分地基于所获取的姿态信息确定UAV运动模式；以及
至少部分地基于所确定的UAV运动模式对所述图像执行偏航滤波。
2.根据权利要求1所述的方法，其中，执行偏航滤波包括：
计算滑动窗口中的平均偏航；
计算所计算的平均偏航的标准差；
至少部分地基于所计算的平均偏航和所计算的标准差确定是否超过了偏航门限；
至少部分地基于对是否超过了所述偏航门限的所述确定修改偏航纠正参数；以及
使用所述偏航纠正参数执行滤波器函数。
3.根据权利要求2所述的方法，还包括：响应于确定所述UAV运动模式为快速偏航模式，将所述偏航门限设置为35hz的频率。
4.根据权利要求2所述的方法，还包括：响应于确定所述UAV运动模式为盘旋模式，将所述偏航门限设置为25hz的频率。
5.根据权利要求2所述的方法，还包括，响应于确定超过了所述偏航门限：
将偏航纠正参数递增；
确定是否超过了最大偏航纠正；以及
将所述偏航纠正参数设置为所述最大偏航纠正。
6.根据权利要求2所述的方法，还包括，响应于确定未超过所述偏航门限：
将偏航纠正参数递减；
确定是否超过了最小偏航纠正；以及
将所述偏航纠正参数设置为所述最小偏航纠正。
7.根据权利要求2所述的方法，其中，所述滤波器函数包括无限脉冲响应滤波器。
8.一种无人自主交通工具(UAV)，包括：
图像传感器；
姿态传感器；以及
处理器，其被耦合到所述图像传感器和姿态传感器，并且被配置为具有用于执行以下操作的处理器可执行指令：
由所述图像传感器捕获图像；
由所述姿态传感器获取所述UAV的姿态信息；
至少部分地基于所获取的姿态信息确定UAV运动模式；以及
至少部分地基于所确定的UAV运动模式对所述图像执行偏航滤波。
9.根据权利要求8所述的UAV，其中，所述处理器还被配置为具有用于通过执行以下操作来执行偏航滤波的处理器可执行指令：
计算滑动窗口中的平均偏航；
计算所计算的平均偏航的标准差；
至少部分地基于所计算的平均偏航和所计算的标准差确定是否超过了偏航门限；
至少部分地基于对是否超过了所述偏航门限的所述确定修改偏航纠正参数；以及
使用所述偏航纠正参数执行滤波器函数。
10.根据权利要求9所述的UAV，其中，所述处理器还被配置为具有用于执行以下操作的处理器可执行指令：响应于确定所述UAV运动模式为快速偏航模式，将所述偏航门限设置为35hz的频率。
11.根据权利要求9所述的UAV，其中，所述处理器还被配置为具有用于执行以下操作的处理器可执行指令：响应于确定所述UAV运动模式为盘旋模式，将所述偏航门限设置为25hz的频率。
12.根据权利要求9所述的UAV，其中，响应于确定超过了所述偏航门限，所述处理器还被配置为具有用于执行以下操作的处理器可执行指令：
将偏航纠正参数递增；
确定是否超过了最大偏航纠正；以及
将所述偏航纠正参数设置为所述最大偏航纠正。
13.根据权利要求9所述的UAV，其中，响应于确定未超过所述偏航门限，所述处理器还被配置为具有用于执行以下操作的处理器可执行指令：
将偏航纠正参数递减；
确定是否超过了最小偏航纠正；以及
将所述偏航纠正参数设置为所述最小偏航纠正。
14.根据权利要求9所述的UAV，其中，所述滤波器函数包括无限脉冲响应滤波器。
15.一种无人自主交通工具(UAV)，包括：
用于捕获图像的单元；
用于获取所述UAV的姿态信息的单元；
用于至少部分地基于所获取的姿态信息确定UAV运动模式的单元；以及
用于至少部分地基于所确定的UAV运动模式对所述图像执行偏航滤波的单元。
16.一种具有存储在其上的处理器可执行指令的非暂时性处理器可读存储介质，所述处理器可执行指令被配置为使无人自主交通工具(UAV)的处理器执行包括以下操作的操作：
由与所述UAV相关联的图像传感器捕获图像；
由所述UAV的姿态传感器获取所述UAV的姿态信息；
至少部分地基于所获取的姿态信息确定UAV运动模式；以及
至少部分地基于所确定的UAV运动模式对所述图像执行偏航滤波。
17.根据权利要求16所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令还被配置为使所述UAV的所述处理器执行操作以使得执行包括以下操作的偏航滤波：
计算滑动窗口中的平均偏航；
计算所计算的平均偏航的标准差；
至少部分地基于所计算的平均偏航和所计算的标准差确定是否超过了偏航门限；
至少部分地基于对是否超过了所述偏航门限的所述确定修改偏航纠正参数；以及
使用所述偏航纠正参数执行滤波器函数。
18.根据权利要求17所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令被配置为使所述UAV的所述处理器执行还包括以下操作的操作：响应于确定所述UAV运动模式为快速偏航模式，将所述偏航门限设置为35hz的频率。
19.根据权利要求17所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令被配置为使所述UAV的所述处理器执行还包括以下操作的操作：响应于确定所述UAV运动模式为盘旋模式，将所述偏航门限设置为25hz的频率。
20.根据权利要求17所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令被配置为使所述UAV的所述处理器响应于确定超过了所述偏航门限而执行还包括以下操作的操作：
将偏航纠正参数递增；
确定是否超过了最大偏航纠正；以及
将所述偏航纠正参数设置为所述最大偏航纠正。
21.根据权利要求17所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令被配置为使所述UAV的所述处理器响应于确定未超过所述偏航门限而执行还包括以下操作的操作：
将偏航纠正参数递减；
确定是否超过了最小偏航纠正；以及
将所述偏航纠正参数设置为所述最小偏航纠正。
22.根据权利要求17所述的非暂时性处理器可读存储介质，其中，所存储的处理器可执行指令还被配置为使所述UAV的所述处理器执行操作以使得所述滤波器函数包括无限脉冲响应滤波器。
CN201780058213.1A 2016-09-23 2017-02-24 无人自主交通工具中的自适应运动滤波 Pending CN109715498A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2016/099832 2016-09-23
PCT/CN2016/099832 WO2018053786A1 (en) 2016-09-23 2016-09-23 Adaptive motion filtering in an unmanned autonomous vehicle
PCT/CN2017/074720 WO2018053994A1 (en) 2016-09-23 2017-02-24 Adaptive motion filtering in an unmanned autonomous vehicle

Publications (1)

Publication Number Publication Date
CN109715498A true CN109715498A (zh) 2019-05-03

Family

ID=61689797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780058213.1A Pending CN109715498A (zh) 2016-09-23 2017-02-24 无人自主交通工具中的自适应运动滤波

Country Status (5)

Country Link
US (1) US10873702B2 (zh)
EP (1) EP3515825A4 (zh)
CN (1) CN109715498A (zh)
BR (1) BR112019005753A2 (zh)
WO (2) WO2018053786A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208371A1 (zh) * 2020-04-14 2021-10-21 北京迈格威科技有限公司 多摄变焦控制方法、装置、电子系统及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977757B2 (en) * 2013-09-18 2021-04-13 James Brian Fry Video record receipt system and method of use
CN108205327A (zh) * 2016-12-20 2018-06-26 昊翔电能运动科技(昆山)有限公司 用于无人机的辅助操控方法和系统
CN108038820B (zh) * 2017-11-14 2021-02-02 影石创新科技股份有限公司 一种实现子弹时间拍摄效果的方法、装置及全景相机
CN113938607A (zh) * 2018-08-29 2022-01-14 深圳市大疆创新科技有限公司 电子设备的控制方法、电子设备及存储介质
US10986308B2 (en) * 2019-03-20 2021-04-20 Adobe Inc. Intelligent video reframing
CN112308783B (zh) * 2019-07-24 2024-06-28 株式会社理光 一种卷帘效应校正方法、装置及计算机可读存储介质
CN114697469B (zh) * 2022-03-15 2024-02-06 华能大理风力发电有限公司洱源分公司 适用于光伏电站的视频处理方法、装置及电子设备
CN115988317A (zh) * 2022-12-12 2023-04-18 Oppo广东移动通信有限公司 图像处理方法、装置、芯片、通信设备、及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201009586D0 (en) * 2010-06-08 2010-07-21 Dreampact Ltd Imaging apparatus and method
CN103587708A (zh) * 2013-11-14 2014-02-19 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法
US20150022678A1 (en) * 2013-07-16 2015-01-22 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
US20150298822A1 (en) * 2014-04-16 2015-10-22 Parrot Rotary-wing drone provided with a video camera delivering stabilized sequences of images
US20160105648A1 (en) * 2014-10-10 2016-04-14 Parrot Mobile appratus, in particular a rotary-wing drone, provided with a video camera delivering sequences of images dynamically corrected for the wobble effect
CN105549603A (zh) * 2015-12-07 2016-05-04 北京航空航天大学 一种多旋翼无人机的智能道路巡检控制方法
US20160219223A1 (en) * 2015-01-26 2016-07-28 Parrot Drone provided with a video camera and means for compensating for the artefacts produced at the highest roll angles

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2407226B (en) * 2003-10-18 2008-01-23 Hewlett Packard Development Co Image processing scheme
US8063940B2 (en) * 2004-05-10 2011-11-22 Hewlett-Packard Development Company, L.P. Image-stabilization systems and methods
IL165190A (en) 2004-11-14 2012-05-31 Elbit Systems Ltd System and method for stabilizing an image
US8149392B1 (en) * 2007-03-29 2012-04-03 Bae Systems Information And Electronic Systems Integration Inc. Method and apparatus for reducing handoff inaccuracies in a countermeasures system
EP2417560B1 (en) 2009-04-07 2017-11-29 Nextvision Stabilized Systems Ltd Video motion compensation and stabilization gimbaled imaging system
US8583296B2 (en) * 2011-05-21 2013-11-12 University Of Kansas Low-altitude altimeter and method
US8552350B2 (en) 2012-01-15 2013-10-08 Raytheon Company Mitigation of drift effects in secondary inertial measurements of an isolated detector assembly
US8907846B2 (en) * 2013-02-05 2014-12-09 King Fahd University Of Petroleum And Minerals Single-antenna direction finding system for multi-rotor platforms
JP6087671B2 (ja) * 2013-03-12 2017-03-01 キヤノン株式会社 撮像装置およびその制御方法
WO2014180096A1 (zh) * 2013-05-10 2014-11-13 Tian Yu 模型飞机
CN103345737B (zh) * 2013-06-04 2016-08-10 北京航空航天大学 一种基于误差补偿的uav高分辨率影像几何校正方法
JP6170395B2 (ja) 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
US9303999B2 (en) * 2013-12-30 2016-04-05 Google Technology Holdings LLC Methods and systems for determining estimation of motion of a device
CN103728981B (zh) * 2014-01-28 2016-04-20 重庆大学 一种无人机的非线性导航寻迹控制方法
US20150244938A1 (en) * 2014-02-25 2015-08-27 Stelios Petrakis Techniques for electronically adjusting video recording orientation
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US10127448B2 (en) * 2014-08-27 2018-11-13 Bae Systems Information And Electronic Systems Integration Inc. Method and system for dismount detection in low-resolution UAV imagery
CN110174903B (zh) * 2014-09-05 2023-05-09 深圳市大疆创新科技有限公司 用于在环境内控制可移动物体的系统和方法
EP3164768A1 (en) * 2014-09-30 2017-05-10 SZ DJI Technology Co., Ltd. Systems and methods for flight simulation
CN105045281A (zh) * 2015-08-13 2015-11-11 深圳一电科技有限公司 无人机飞行控制方法及装置
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201009586D0 (en) * 2010-06-08 2010-07-21 Dreampact Ltd Imaging apparatus and method
US20150022678A1 (en) * 2013-07-16 2015-01-22 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
CN103587708A (zh) * 2013-11-14 2014-02-19 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法
US20150298822A1 (en) * 2014-04-16 2015-10-22 Parrot Rotary-wing drone provided with a video camera delivering stabilized sequences of images
US20160105648A1 (en) * 2014-10-10 2016-04-14 Parrot Mobile appratus, in particular a rotary-wing drone, provided with a video camera delivering sequences of images dynamically corrected for the wobble effect
US20160219223A1 (en) * 2015-01-26 2016-07-28 Parrot Drone provided with a video camera and means for compensating for the artefacts produced at the highest roll angles
CN105549603A (zh) * 2015-12-07 2016-05-04 北京航空航天大学 一种多旋翼无人机的智能道路巡检控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021208371A1 (zh) * 2020-04-14 2021-10-21 北京迈格威科技有限公司 多摄变焦控制方法、装置、电子系统及存储介质

Also Published As

Publication number Publication date
WO2018053994A1 (en) 2018-03-29
US10873702B2 (en) 2020-12-22
EP3515825A4 (en) 2020-05-20
EP3515825A1 (en) 2019-07-31
BR112019005753A2 (pt) 2019-06-11
WO2018053786A1 (en) 2018-03-29
US20190182428A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
US10873702B2 (en) Adaptive motion filtering in an unmanned autonomous vehicle
US20210192764A1 (en) Method and system for detecting and tracking objects using characteristic points
CN110494360B (zh) 用于提供自主摄影及摄像的系统和方法
US10447912B2 (en) Systems, methods, and devices for setting camera parameters
CN109792484B (zh) 无人自主飞行器中的图像处理
WO2018053809A1 (en) Adaptive image processing in an unmanned autonomous vehicle
US11644839B2 (en) Systems and methods for generating a real-time map using a movable object
EP3123260B1 (en) Selective processing of sensor data
WO2020215188A1 (zh) 飞行航线的生成方法、控制装置及无人机系统
US9738399B2 (en) Unmanned aerial vehicle control method and unmanned aerial vehicle using same
US20190018428A1 (en) Hover control
US20210009270A1 (en) Methods and system for composing and capturing images
CN112312018B (zh) 使用自适应步长的对比度检测自动聚焦
WO2018010096A1 (en) Processing images to obtain environmental information
CN106200693A (zh) 土地调查小型无人机的云台实时控制系统及控制方法
EP3658854B1 (en) Image output adjustment in a robotic vehicle
WO2019019172A1 (en) ADAPTIVE IMAGE PROCESSING IN A ROBOTIC VEHICLE
JP2020050261A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
WO2020246261A1 (ja) 移動体、位置推定方法、およびプログラム
WO2021235265A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、飛行体、飛行体制御方法及び飛行体制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190503

WD01 Invention patent application deemed withdrawn after publication