CN109154977A - 组合深度与热信息以用于物体检测和避让 - Google Patents

组合深度与热信息以用于物体检测和避让 Download PDF

Info

Publication number
CN109154977A
CN109154977A CN201780019508.8A CN201780019508A CN109154977A CN 109154977 A CN109154977 A CN 109154977A CN 201780019508 A CN201780019508 A CN 201780019508A CN 109154977 A CN109154977 A CN 109154977A
Authority
CN
China
Prior art keywords
image
uav
camera
homoiothermy
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780019508.8A
Other languages
English (en)
Inventor
S.R.哈里斯
B.J.奥布里恩
J.J.沃森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN109154977A publication Critical patent/CN109154977A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/13—Propulsion using external fans or propellers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/194—Terrestrial scenes using hyperspectral data, i.e. more or other wavelengths than RGB

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Toys (AREA)

Abstract

描述一种用于供无人飞行器（“UAV”）用于物体检测的成像部件。如所描述，所述成像部件包括：一个或多个相机，其被配置为使用可见光获得场景的图像，所述图像被转换为深度图（例如，立体图像）；以及一个或多个其它相机，其被配置为使用红外辐射（“IR”）形成所述场景的图像或热谱图。所述深度信息和热信息被组合以基于深度信息和热信息两者来形成所述场景的表示。

Description

组合深度与热信息以用于物体检测和避让
优先权要求
本申请要求2016年3月28日提交的题为“Combining Depth and Thermal Informationfor Object Detection and Avoidance”的第15/083,153号美国专利申请的优先权，所述美国专利申请的全文以引用的方式并入本文中。
背景技术
使用具有两个或更多个螺旋桨的无人飞行器（“UAV”）越来越普遍。此类运载工具包括四旋翼直升机（例如，具有四个可旋转螺旋桨的UAV）、八旋翼直升机（例如，具有八个可旋转螺旋桨的UAV）或具有两个或更多个螺旋桨的其它垂直起落（“VTOL”）航空器。
UAV的一个好处是其在垂直和水平方向上为高度可操纵的，相对较小，并且能够航行到其它较大运载工具无法进入的受限空间中。
附图说明
参看附图陈述具体实施方式。在附图中，参考标号中的最左数字标识出现所述参考标号的图式。
图1描绘根据实现方式的无人飞行器配置的视图。
图2示出根据实现方式的可以与无人飞行器一起使用的成像部件。
图3示出根据实现方式的使用图2的成像部件的一个或多个成像装置获得的递送地点的视觉图像。
图4A示出根据实现方式的递送地点的深度图。
图4B示出根据实现方式的递送地点的热谱图。
图5是根据实现方式的从深度图和热谱图的组合产生的递送地点的深度和热表示。
图6是根据实现方式的示例性下降分析过程的流程图。
图7是根据实现方式的示例性下降过程的流程图。
图8是可以与各种实现方式一起使用的飞行器控制系统的说明性实现方式的框图。
尽管本文中借助于示例来描述实现方式，但是本领域的技术人员将认识到，所述实现方式不限于所描述的示例或附图。应当理解，附图及其详细描述不希望将实现方式限于所公开的特定形式，而是相反，希望涵盖落在如所附权利要求所界定的精神和范围内的所有修改、等效物和替代方案。本文中所使用的标题仅用于组织目的而不打算用于限制所述描述或权利要求的范围。如贯穿本申请所使用，在许可意义（即，意指有可能）而非强制性意义（即，意指必须）上使用词“可以”。类似地，词“包括（include、including和includes）”意指“包括但不限于”。另外，如本文中所使用，术语“耦接”可以指代两个或更多个部件连接在一起，无论所述连接是永久的（例如，焊接的）还是临时的（例如，螺栓连接的）、直接的还是间接的（即，通过中间件）、机械的、化学的、光学的还是电学的。此外，如本文中所使用，“水平”或“过境”飞行是指在大致平行于地面(即，海平面）的方向上行进的飞行，并且“垂直”飞行是指从地心大致径向向外行进的飞行。普通技术人员应当理解，轨迹可以包括“水平”或“过境”和“垂直”飞行向量两者的分量。
具体实施方式
本公开描述用于由无人飞行器（“UAV”）用于物体检测的成像部件。如所描述，成像部件包括：一个或多个相机，其被配置为使用可见光获得场景的图像，所述图像被转换为深度图（例如，立体图像）；以及一个或多个其它相机，其被配置为使用红外辐射（“IR”）形成场景的图像。例如，成像部件可以包括第一相机和第二相机，所述相机分开已知基线距离，使得第一相机的视野与第二相机的视野的至少一部分重叠。第一相机和第二相机被配置为使用可见光形成图像。成像部件可以同样包括在第一相机与第二相机之间近似等距的第三相机。第三相机被配置为使用红外辐射形成场景的第三图像或热谱图。
每个相机可以由单个处理部件控制并且将所形成的图像发送到单个处理部件。处理部件处理所述两个视觉图像以生成三维（“3D”）表示，诸如立体图像，其包括深度图，其中3D表示的每个像素对应于水平维度、垂直维度和深度维度。此外，处理部件将3D表示与热谱图组合以产生组合信息，所述组合信息提供表示场景的3D和热信息。组合信息的每个像素至少包括水平维度、垂直维度、深度维度和热维度。热维度可以由可见颜色（例如，红绿蓝组合）和/或其它值表示，不同颜色对应于不同热范围。
UAV控制系统可以利用组合信息来辅助物体检测和避让。例如，UAV可以使用深度信息来检测在递送地点的地面上方突出的物体，并且使用热信息来确定物体是温血物体还是非温血物体。如果物体是温血物体，则可以中止物品的递送，终止UAV的下降，和/或更改递送位置以避让所述温血物体。
在一些实现方式中，即使突出物体具有热特征，也可以确定所述物体是非温血的（例如，烤架或灯）。在确定物体是非温血后，可以保存并在进一步UAV航行期间使用所述物体的特征以检测并避让温血物体。
通过组合递送区域内的物体的深度和热信息两者，改善了对人类和/或其它动物的安全性并且减少了对温血物体的错误检测。例如，如果温血物体（诸如狗）正躺在递送地点附近，则仅使用深度信息，UAV可能仅能够确定所述物体（狗）从地面突出，但可能无法确定物体是温血的，因为所述物体是不动的。通过组合热信息与深度信息，UAV能够准确地确定物体从地面突出并且具有在与温血物体对应的范围内的热特征两者。
以类似方式，如果非温血物体（诸如椅子）在递送地点附近，则仅使用深度信息，UAV可能仅能够确定物体从地面突出，并且可能不准确地确定物体是温血物体，从而更改或中止递送。通过组合热信息与深度信息，UAV能够准确地确定椅子不具有在与温血物体对应的范围内的热特征，并且因而可以继续其下降。在一些情况下，非温血物体可以包括可能与温血物体对应的热特征，因为非温血物体排出由IR相机检测到的热量。例如，灯或BBQ可以排出由热相机检测到的热量。在此类情况下，物体被检测为从地面突出并且包括可能与温血物体对应的热特征。在此类情况下，可以在一段时间内确定物体的特征（例如，深度信息、热信息）并且将其用于确定物体是非温血物体。
图1示出根据实现方式的UAV 100的视图。如图所示，UAV 100包括周边框架104，其包括前翼120、下后翼124、上后翼122以及两个水平侧轨130-1、130-2。水平侧轨130耦接到前翼120的相对末端以及上后翼122和下后翼124的相对末端。在一些实现方式中，耦接可以具有拐角接合部，诸如左前拐角接合部131-1、右前拐角接合部131-2、左后拐角接合部131-3、右后拐角接合部131-4。在此类示例中，拐角接合部也是周边框架104的一部分。
周边框架104的部件（诸如前翼120、下后翼124、上后翼122、侧轨130-1、130-2以及拐角接合部131）可以由任何一种或多种合适材料（诸如石墨、碳纤维、铝、钛等或其任何组合）形成。在所示出的示例中，UAV 100的周边框架104的部件各自由碳纤维形成并且使用拐角接合部131在拐角处接合。可以使用多种技术来耦接周边框架104的部件。例如，如果周边框架104的部件是碳纤维，则其可以装配在一起并且使用二次键合来接合，这是本领域的技术人员已知的技术。在其它实现方式中，周边框架104的部件可以使用一个或多个附接机构（诸如螺钉、铆钉、闩锁、直角回转紧固件等）固定，或者另外以永久或可移动方式紧固在一起。
前翼120、下后翼124和上后翼122定位成三翼配置，并且当UAV正在包括水平分量的方向上移动（本文中还称为过境飞行）时，每个机翼向UAV 100提供升力。例如，所述机翼可以各自具有翼型形状，其在过境飞行期间由于气流经过机翼而造成升力。
前翼120的相对末端可以耦接到拐角接合部131，诸如左前拐角接合部131-1和右前拐角接合部131-2。在一些实现方式中，前翼可以包括一个或多个襟翼127或副翼，其可以用于单独地或与提升马达106、提升螺旋桨102、推进马达110、推进螺旋桨112和/或后翼上的其它襟翼组合地调整UAV 100的俯仰、偏航和/或横滚，如下文论述。在一些实现方式中，襟翼127还可以用作保护罩，以进一步阻碍在UAV 100外部的物体进入提升螺旋桨102。例如，当UAV 100正在垂直方向上移动或悬停时，襟翼127可以延伸以增大在提升螺旋桨102的一部分周围的保护屏障的高度。
在一些实现方式中，前翼120可以包括两对或更多对襟翼127，如图1所示。在其它实现方式中，例如，如果没有前推进马达110-1，则前翼120可以仅包括大致沿前翼120的长度延伸的单个襟翼127。如果前翼120不包括襟翼127、提升马达106和提升螺旋桨102，则后翼的推进马达110、推进螺旋桨112和/或襟翼可以用于在飞行期间控制UAV 100的俯仰、偏航和/或横滚。
下后翼124的相对末端可以耦接到拐角接合部131，例如左后拐角接合部131-3和右后拐角接合部131-4。在一些实现方式中，下后翼可以包括一个或多个襟翼123或副翼，其可以用于单独地或与提升马达106、提升螺旋桨102、推进马达110、推进螺旋桨112和/或前翼的襟翼127组合地调整UAV 100的俯仰、偏航和/或横滚。在一些实现方式中，襟翼123还可以用作保护罩，以进一步阻碍在UAV 100外部的物体进入提升螺旋桨102。例如，当UAV 100正在垂直方向上移动或悬停时，襟翼123可以延伸，类似于前翼120的前襟翼127的延伸。
在一些实现方式中，后翼124可以包括两个或更多个襟翼123，如图1所示，或者两对或更多对襟翼。在其它实现方式中，例如，如果没有安装到下后翼的后推进马达110-2，则后翼124可以仅包括大致沿下后翼124的长度延伸的单个襟翼123。在其它实现方式中，如果下后翼包括两个推进马达，则下后翼可以被配置为包括三个襟翼123，其中在下后翼124的每一末端上有一个，并且在安装到下后翼124的两个推进马达之间有一个。
上后翼122的相对末端可以耦接到拐角接合部131，例如左后拐角接合部131-3和右后拐角接合部131-4。在一些实现方式中，如同下后翼，上后翼122可以包括一个或多个襟翼或副翼，其可以用于单独地或与提升马达106、提升螺旋桨102、推进马达110、推进螺旋桨112和/或其它机翼的其它襟翼组合地调整UAV 100的俯仰、偏航和/或横滚。在一些实现方式中，襟翼还可以用作保护罩，以进一步阻碍在UAV 100外部的物体进入提升螺旋桨102。例如，当UAV 100正在垂直方向上移动或悬停时，襟翼可以延伸，类似于前翼120的前襟翼127或下后翼的襟翼123的延伸。
前翼120、下后翼124和上后翼122可以成比例地定位和定大小，以在UAV 100正在包括水平分量的方向上移动时向UAV提供稳定性。例如，下后翼124和上后翼122垂直堆叠，使得由下后翼124和上后翼122中的每一者生成的垂直升力向量靠近在一起，这可能在水平飞行期间不稳定。相比之下，前翼120纵向地与后翼分开，使得由前翼120生成的垂直升力向量与下后翼124和上后翼122的垂直升力向量一起起作用，从而提供效率、稳定化和控制。
在一些实现方式中，为了进一步增大UAV 100的稳定性和控制，一个或多个小翼121或稳定器臂也可以耦接到周边框架104并且包括作为其一部分。在相对于图1所示出的示例中，存在分别安装到左前拐角接合部131-1和右前拐角接合部131-2的下侧的两个前小翼121-1和121-2。小翼121在近似垂直于前翼120和侧轨130的向下方向上延伸。同样，还形成两个后拐角接合部131-3、131-4，并且当UAV 100正在包括水平分量的方向上移动（诸如过境飞行）时，两个后拐角接合部作为小翼进行操作，从而向UAV 100提供额外稳定性和控制。
小翼121和后拐角接合部131可以具有与UAV 100的长度、宽度和高度成比例的尺寸，并且可以基于UAV 100的近似重心来定位，以在水平飞行期间向UAV 100提供稳定性和控制。例如，在一个实现方式中，UAV 100可以从UAV 100的前部到UAV 100的后部为大约64.75英寸长并且大约60.00英寸宽。在此类配置中，前翼120具有大约60.00英寸乘以大约7.87英寸的尺寸。下后翼124具有大约60.00英寸乘以大约9.14英寸的尺寸。上后翼122具有大约60.00英寸乘以大约5.47英寸的尺寸。下后翼与上后翼之间的垂直间隔为大约21.65英寸。小翼121在与UAV的周边框架的拐角接合部处为大约6.40英寸宽，在小翼的相对末端处为大约5.91英寸宽，并且为大约23.62英寸长。后拐角接合部131-3、131-4在与下后翼124耦接的末端处为大约9.14英寸宽，在相对末端处为大约8.04英寸宽，并且为大约21.65英寸长。UAV 100的总重为大约50.00磅。
耦接到周边框架104的内部的是中央框架107。中央框架107包括毂108和马达臂105，所述马达臂105从毂108延伸并且耦接到周边框架104的内部。在这个示例中，存在单个毂108和四个马达臂105-1、105-2、105-3和105-4。每个马达臂105近似从毂108的一个拐角延伸，并且耦接或终止到周边框架的相应内部拐角中。在一些实现方式中，每个马达臂105可以耦接到周边框架104的拐角接合部131中。如同周边框架104，中央框架107可以由任何合适材料（诸如石墨、碳纤维、铝、钛等或其任何组合）形成。在这个示例中，中央框架107由碳纤维形成并且在周边框架104的拐角处的拐角接合部131处接合。将中央框架107接合到周边框架104可以使用上文所论述的用于接合周边框架104的部件的技术中的任何一者或多者来进行。
提升马达106耦接在每个马达臂105的近似中心处，使得提升马达106和对应提升螺旋桨102位于周边框架104的大致矩形形状内。在一个实现方式中，提升马达106在向下方向上安装到每个马达臂105的下侧或底侧，使得安装到提升螺旋桨102的提升马达的螺旋桨轴面向下。在其它实现方式中，如图1所示，提升马达106可以在向上方向上安装到马达臂105的顶部，使得安装到提升螺旋桨102的提升马达的螺旋桨轴面向上。在这个示例中，存在四个提升马达106-1、106-2、106-3、106-4，其各自安装到相应马达臂105-1、105-2、105-3和105-4的上侧。
在一些实现方式中，多个提升马达可以耦接到每个马达臂105。例如，尽管图1示出四旋翼直升机配置，其中每个提升马达安装到每个马达臂的顶部，但可以针对八旋翼直升机利用类似配置。例如，除了将马达106安装到每个马达臂105的上侧之外，另一个提升马达也可以安装到每个马达臂105的下侧并且在向下方向上定向。在另一个实现方式中，中央框架可以具有不同配置，例如额外马达臂。例如，八个马达臂可以在不同方向上延伸，并且提升马达可以安装到每个马达臂。
提升马达可以是任何形式的马达，其能够使用提升螺旋桨102生成足够旋转速度以提升UAV 100和任何所接合的有效载荷，从而实现有效载荷的空中运输。
安装到每个提升马达106的是提升螺旋桨102-1、102-2、102-3和102-4。提升螺旋桨102可以是任何形式的螺旋桨（例如，石墨、碳纤维）并且其大小足以提升UAV 100以及UAV100所接合的任何有效载荷，使得UAV 100能够在空中航行，例如，以将有效载荷递送到递送地点。例如，提升螺旋桨102各自可以是尺寸或直径为二十四英寸的碳纤维螺旋桨。
尽管图1的图示展示了全部具有相同大小的提升螺旋桨102，但在一些实现方式中，提升螺旋桨102中的一者或多者可以是不同大小和/或尺寸。同样，尽管这个示例包括四个提升螺旋桨102-1、102-2、102-3、102-4，但在其它实现方式中，可以利用更多或更少螺旋桨作为提升螺旋桨102。同样，在一些实现方式中，提升螺旋桨102可以定位在UAV 100上的不同位置处。另外，在本文所描述的实现方式中，另选的推进方法可以用作提升马达或推进“马达”。例如，可以使用风扇、喷气机、涡轮喷气机、涡轮风扇、喷气机引擎、内燃机等（与螺旋桨或其它装置一起）来为UAV提供升力。
除了提升马达106和提升螺旋桨102之外，UAV 100还可以包括一个或多个推进马达110和对应推进螺旋桨112。所述推进马达和推进螺旋桨可以与提升马达106和提升螺旋桨102相同或不同。例如，在一些实现方式中，推进螺旋桨可以由碳纤维形成并且为大约十八英寸长。在其它实现方式中，推进马达可以利用其它形式的推进来推进UAV。例如，风扇、喷气机、涡轮喷气机、涡轮风扇、喷气机引擎、内燃机等可以（与螺旋桨一起或与其它装置一起）用作推进马达。
推进马达和推进螺旋桨可以相对于UAV 100的周边框架104和中央框架107以大约九十度定向，并且用于增大包括水平分量的飞行的效率。例如，在过境飞行（即，包括水平分量的飞行）期间，推进马达可以忙于经由推进螺旋桨提供水平推力以水平地推进UAV 100。因此，提升马达106所使用的速度和动力可能会降低。替代地，在所选择的实现方式中，推进马达可以相对于周边框架104和中央框架107以大于或小于九十度的角度定向，以提供推力和升力的组合。
在图1所示的示例中，UAV 100包括两个推进马达110-1、110-2和对应推进螺旋桨112-1、112-2。具体地说，在所示出的示例中，存在耦接到前翼120的近似中点并且定位在其附近的前推进马达110-1。前推进马达110-1被定向为使得对应推进螺旋桨112-1定位在周边框架104内部。第二推进马达耦接到下后翼124的近似中点并且定位在其附近。后推进马达110-2被定向为使得对应推进螺旋桨112-2定位在周边框架104内部。
尽管图1所示的示例示出了具有两个推进马达110和对应推进螺旋桨112的UAV，但在其它实现方式中，可以存在更少或额外的推进马达和对应推进螺旋桨。例如，在一些实现方式中，UAV 100可以仅包括单个后推进马达110和对应推进螺旋桨112。在另一个实现方式中，可以存在安装到下后翼124的两个推进马达和对应推进螺旋桨。在此类配置中，可以包括或从UAV 100省略前推进马达110-1。同样，尽管图1中所示出的示例展示被定向以将推进螺旋桨定位在周边框架104内部的推进马达，但在其它实现方式中，推进马达110中的一者或多者可以被定向为使得对应推进螺旋桨112被定向在保护框架104外部。
在所示出的示例中，UAV还包括成像部件150，其利用万向节152耦接到UAV的框架104。下文相对于图2进一步详细论述成像部件150。万向节152可以是单轴、双轴或三轴万向节，其用于更改成像部件150的定向和/或位置。成像部件150在本文中被称为可调式成像部件，其中成像部件的定向、角度或其它位置相对于UAV 100为可调整的。在其它实现方式中，成像部件可以直接耦接到和/或并入到UAV 100的框架104中。此类成像部件150在本文中被称为固定成像部件，其中成像部件的定向、角度或其它位置相对于UAV 100为不可调整的。无论如何，出于论述的目的，固定成像部件和可调式成像部件在本文中被统称为成像部件，除非另有特别说明。
尽管图1中所示出的示例呈现耦接到UAV 100的前部的单个成像部件150，但在其它实现方式中，多个成像部件可以在UAV上的任何位置处耦接到UAV。例如，UAV可以包括耦接在每个拐角接合部131-1、131-2、131-3、131-4处的固定成像部件以及耦接到UAV的每一侧的可调式成像部件。
周边框架104通过抑制从UAV 100的侧边进入提升螺旋桨102来向UAV 100外的物体提供安全性，向UAV 100提供保护，并且增大UAV 100的结构完整性。例如，如果UAV 100正在水平地行进并且与外来物体（例如，墙、建筑物）碰撞，则UAV 100与外来物体之间的撞击将与周边框架104有关，而不是螺旋桨。同样，因为所述框架与中央框架107互连，所以来自撞击的力消散在周边框架104和中央框架107两者上。
周边框架104还提供可以安装UAV 100的一个或多个部件的表面。替代地或额外地，UAV的一个或多个部件可以安装或定位在周边框架104的所述部分的空腔内。例如，天线可以包括在周边框架的空腔中，并且用于发射和/或接收无线通信。天线可以用于Wi-Fi、卫星、近场通信（“NFC”）、蜂窝通信或任何其它形式的无线通信。诸如相机、飞行时间传感器、加速度计、倾角计、距离确定元件、万向节、全球定位系统（GPS）接收器/发射器、雷达、照明元件、扬声器和/或UAV 100的任何其它部件或者UAV控制系统（下文论述）等其它部件可以同样安装到周边框架104或安装在周边框架104中。同样，标识或反射标识符可以安装到周边框架104，以辅助标识UAV 100。
在一些实现方式中，周边框架104还可以包括可渗透材料（例如，网、筛），其在围绕中央框架、提升马达和/或提升螺旋桨的周边框架104的顶部和/或下表面上方延伸。
UAV控制系统114也安装到中央框架107。在这个示例中，UAV控制系统114安装到毂108并且封闭在保护屏障中。保护屏障可以向控制系统114提供天气保护，使得UAV 100可以在雨和/或雪中进行操作而不扰乱控制系统114。在一些实现方式中，保护屏障可以具有空气动力学形状以当UAV正在包括水平分量的方向上移动时减小阻力。保护屏障可以由任何材料形成，包括但不限于石墨-环氧树脂、凯夫拉尔（Kevlar）和/或玻璃纤维。在一些实现方式中，可以利用多种材料。例如，可以在需要发射且/或接收信号的区域中利用凯夫拉尔。
同样，UAV 100包括一个或多个动力模块。动力模块可以定位在侧轨130-1、130-2的空腔内部。在其它实现方式中，动力模块可以安装或定位在UAV的其它位置处。用于UAV的动力模块可以呈电池动力、太阳能动力、燃气动力、超级电容器、燃料电池、另选发电源或其组合的形式。例如，动力模块可以各自为6000mAh锂离子聚合物电池或聚合物锂离子（Li-poly、Li-Pol、LiPo、LIP、PLI或Lip）电池。动力模块耦接到UAV控制系统114、提升马达106、推进马达110和有效载荷接合机构（未示出）并且向其提供动力。
在一些实现方式中，所述动力模块中的一者或多者可以被配置为使得其能够在UAV着陆或飞行时自主地移除和/或使用另一个动力模块替换。例如，当UAV着陆在某个地点处时，UAV可以在将对动力模块进行再充电的地点处与充电构件接合。
如上文提到，UAV 100还可以包括有效载荷接合机构。有效载荷接合机构可以被配置为接合和脱离物品和/或保持物品的容器（有效载荷）。在这个示例中，有效载荷接合机构定位在UAV 100的框架104的毂108下方并且耦接到其。有效载荷接合机构可以具有足以牢固地接合和脱离有效载荷的任何大小。在其它实现方式中，有效载荷接合机构可以作为其中容纳物品的容器来操作。有效载荷接合机构与UAV控制系统114通信（经由有线或无线通信）并且由其控制。示例性有效载荷接合机构在2014年9月30日提交的题为“UNMANNEDAERIAL VEHICLE DELIVERY SYSTEM”的第14/502,707号共同待决专利申请中描述，其主题的全部以引用的方式并入本文中。
图2示出根据实现方式的可以与UAV（诸如上文相对于图1所论述的UAV 100）一起使用并且耦接到其的成像部件250。在这个示例中，成像部件250包括三个成像装置或相机202-1、202-2、204，其全部定位在相同平面中并且以彼此相隔限定基线距离固定到框架。任何类型的相机和/或相机配置可以与本文中所描述的实现方式一起使用。例如，所述相机中的一者或多者可以是红绿蓝（“RGB”）彩色相机（本文中还称为可见光相机）、静态相机、运动捕捉/视频相机或任何其它类型或形式的相机。在其它实现方式中，所述相机中的一者或多者可以是深度感测相机，诸如RGBz相机。在另外其它实现方式中，所述相机中的一者或多者可以是热成像或红外（IR）相机。
另外，在一些实现方式中，所述相机可以仅仅是包括镜头和图像传感器的相机模块。图像传感器可以将由相机的镜头所获得的光学图像转换为图像的数字信号或数字表示（本文中通常称为图像数据）。在一个实现方式中，图像传感器可以是能够以每秒六个帧支持至少860×480的图像分辨率的RGB传感器。图像传感器可以同样被配置为将图像数据提供给其它部件（例如，图形处理单元）以进行处理。在一些实现方式中，相机（诸如视觉相机）可以配对以提供立体图像和深度信息。立体相机可以包括一对相机模块。图像数据可以按各种格式存储，包括但不限于YUYV、RGB、RAW、.bmp、.jpeg、.gif等。
相机通过电子捕获来自物体的反射光并且向反射光的一个或多个方面（诸如像素）指派定量值来进行操作。相机可以包括一个或多个传感器，其具有与之相关联的一个或多个滤波器。相机的传感器可以捕获关于与反射光中所表达的一个或多个基色（例如，红色、绿色或蓝色）对应的反射光的任何数目的像素的信息，并且将与像素颜色相关联的值存储为图像数据和/或将图像数据发射到另一装置以进行进一步分析或再现。相机还可以被配置为确定深度信息，诸如相机与在相机的视野中的物体之间的距离。深度信息可以包括在由相机生成的图像数据中。
成像装置（诸如相机）通过捕获从物体反射的光并且通过随后计算或向反射光的各方面（例如，像素）指派一个或多个定量值、基于此类值生成输出并将此类值存储在一个或多个数据存储区中来进行操作。例如，数码相机可以包括具有与之相关联的一个或多个滤波器的一个或多个传感器，并且此类传感器可以检测关于与反射光的一个或多个基色（例如，红色、绿色或蓝色）对应的反射光的任何数目的像素的各方面的信息。此类传感器可以生成包括此类信息的数据文件，并且将此类数据文件存储在一个或多个机载或可存取数据存储区（例如，硬盘驱动器或其它类似部件）以及一个或多个可移动数据存储区（例如，闪存存储器装置）中，或者在一个或多个广播或闭路电视网络上或经由计算机网络（诸如因特网）显示。存储在一个或多个数据存储区中的数据文件可以被打印到纸上，在一个或多个计算机显示器上呈现，或者经受一个或多个分析，以便检测其中所表示的物体。
如果反射光在成像装置的视野内，则装置可以捕获或检测反射光，所述视野被定义为装置内的传感器与镜头之间的距离（即，焦距）以及装置的位置和装置镜头的角度定向的函数。因此，在物体出现在景深内或者视野内的清晰度和焦点足够明显的距离处的情况下，成像装置可以使用其一个或多个传感器以足够高的分辨度捕获反射离开任何种类的物体的光，并且将关于反射光的信息存储在一个或多个数据文件中。
使用热成像相机（诸如长距离IR相机）生成的热成像检测在红外光谱中来自物体的辐射并且产生所述辐射的图像，称为热谱图。温度高于绝对零度的所有物体均发射红外辐射。物体所发射的辐射量随温度增加，因此热成像允许人们看到所表示的场景内的温度变化。
返回到图2，这个示例中的成像部件250包括两个配对视觉相机202-1、202-2，其相对于彼此在固定位置处耦接到框架并且分开已知基线距离（d1）。所述两个视觉相机202-1、202-2具有相似视野206、208。在其它实现方式中，所述两个视觉相机可以具有不同视野。无论如何，分开所述两个视觉相机的基线距离（d1）以及相机相对于彼此的定向被布置为使得两个视野206、208的至少一部分重叠以形成有效视野210。定位在有效视野210内的物体能够由视觉相机202-1、202-2两者检测，并且由所述两个相机形成的图像将均包括有效视野210内的物体的表示。
在配对期间，对两个视觉相机202-1、202-2进行校准，使得对应于有效视野210内的部分的每个相机的像素信息被相互关联，使得来自两个配对相机的有效视野内的图像信息能够被合并，并且在知道基线距离（d1）的情况下，可以生成视野内的物体的深度信息。深度信息可以与对应像素信息相关联，以形成对应于有效视野210内的场景的深度图。在这个示例中，使用处理部件205对两个视觉相机202-1、202-2进行配对和校准。在由相机202-1、202-2中的每一者形成图像时，将所形成的视觉图像发送到处理部件205，并且处理部件205使用校准信息处理两个图像以生成有效视野210内的物体的深度信息。所得的深度信息可以与图像的像素相关联，从而提供场景内的地面上方的物体的深度或突出。
除了包括一对视觉相机202-1、202-2以用于获得对应于有效视野内的场景的深度信息之外，成像部件250包括第三相机，在这个示例中为长波IR相机204。在所示出的示例中，第三相机在第一相机202-1与第二相机202-2之间近似等距地定位。通过将IR相机204定位在第一相机202-1与第二相机202-2之间，IR相机204的视野覆盖有效视野210的至少一部分。在所示出的示例中，IR相机204的视野覆盖全部有效视野210。在其它实现方式中，第三相机可以定位在别处，只要所有三个相机具有重叠的视野并且能够相对于彼此校准。例如，成像部件可以包括彼此相邻的两个视觉相机以及仅与一个视觉相机相邻定位的长波IR相机204。在其它实现方式中，长波IR相机204可以在两个视觉相机上方或下方偏移。
当形成成像部件250时，除了校准两个视觉相机202-1、202-2以使得能够获得深度信息之外，还校准IR相机204，使得由IR相机204的视野所包含的有效视野210内的像素信息与IR相机204的像素信息相互关联。通过校准三个相机202-1、202-2、204，对应于有效视野210的来自每个相机的像素信息由处理部件205进行关联和维持。一旦校准，对应于所述三个相机202-1、202-2、204中的每一者的有效视野210内的每个像素信息包括水平维度、垂直维度、深度维度、热维度（或IR维度），以及任选地，来自可见光图像的原始像素值信息。水平维度和垂直维度针对每个像素信息保持恒定，并且跨三个相机进行校准。深度维度由处理部件205确定，并且表示由像素表示的物体相对于成像部件250的深度。热维度由处理部件从所接收的IR图像确定，并且表示如IR相机204所检测的由像素表示的物体的辐射。
在操作期间，将由三个相机202-1、202-2、204在有效视野210内获得的场景（例如，递送地点、着陆地点等）的图像提供到成像部件250的相同处理部件205。处理部件利用相关联的像素信息来处理从视觉相机202-1和202-2接收的视觉图像，以确定对应于两个图像的在有效视野中所表示的物体的深度信息。同样，处理部件205利用从IR相机204获得的IR图像来确定有效视野内的每个像素位置的IR或热表示。在一些实现方式中，处理部件可以使一系列颜色中的不同颜色和/或一系列值中的值相互关联以表示在不同范围处检测到的热辐射。例如，取决于测得IR属于的范围，处理部件205可以基于像素的测得IR来向像素指派三个不同颜色值中的一者。从处理部件将水平维度、垂直维度、深度维度和热维度提供到UAV控制系统作为表示成像部件的相机的重叠视野内的场景的组合信息。
尽管所示出的示例利用作为成像部件250的一部分的单个处理部件205，但在其它实现方式中，成像部件250可以包括多个处理部件，其联合地或独立地进行操作以生成有效视野内的每个像素的水平维度、垂直维度、深度维度和热维度。例如，第一处理部件可以处理两个视觉图像以确定深度信息，并且第二处理部件可以处理IR图像以确定热维度。在另外其它示例中，成像部件250可以不包括处理部件，并且可以将所形成的图像直接从成像部件250发送到其它部件（诸如UAV控制系统的一个或多个部件）以进行进一步处理。在又一个示例中，可以将所形成的图像和/或所确定的信息（例如，水平维度、垂直维度、深度维度和/或热维度）从UAV传输到另一个计算系统（诸如远程计算系统）以进行处理。
图3示出根据实现方式的由图2的成像部件的相机形成的场景（在这个示例中为递送地点）的可见光图像300。如图所示，在UAV在空中定位在递送地点上方时使用UAV的成像部件获得图像300。在这个示例中，场景包括多个物体，诸如桌子306、椅子307、烧烤架310、灯308、316、温血物体314（在这个示例中为狗）以及大矩形物体312。所有物体都在递送地点标识符302所在的场景内。递送地点标识符302可以用作信标或标识符，其能够由UAV检测为物品（诸如顾客从电子商务网站订购的用于UAV递送的物品）的预期递送地点。
为了在UAV下降和最终递送物品期间恰当地检测并避让物体，确定对应于成像部件的有效视野内的物体的深度信息，并且生成深度图。例如，图4A示出根据实现方式的递送地点的深度图400。如上所论述，成像部件的立体配对相机可以用于基于物体与成像部件的距离和/或物体与参考点（诸如地面区域）的距离来生成图像中所表示的物体的深度信息。如图所示，因为地面上方的许多物体的突出是相似的，所以UAV控制系统可能难以准确地确定什么是温血物体以及什么不是温血物体。例如，因为温血物体414（狗）从地面突出与椅子407相似的距离，所以每一者具有相似深度信息表示。以类似方式，桌子406和烤架410突出相似距离，并且因此具有相似深度信息。同样，灯416和大矩形物体412具有相似突出距离并且在深度图中相似地表示。最后，因为灯408充分突出于所有其它物体之上，所以其在深度图400上被独特地表示。
尽管物体的深度图辅助检测所表示的场景内的物体，但是难以从深度图评估哪些物体是温血物体，其中温血物体是要避让的，并且与将在下降期间不会移动但需要避让的非温血物体相比，如果由UAV在下降期间接触，则可能移动和/或受伤。因此，与深度信息组合的热信息有益于改善物体检测和标识。
图4B示出根据实现方式的递送地点的热谱图430。类似于深度图，基于温度的图像可以用于标识物体，其不是通过从地面的突出（或与成像部件的距离）而是根据从物体发射的辐射来标识。在这个示例中，桌子、椅子和大矩形物体不发射很多辐射，并且因此在热谱图430中相似地表示。烧烤架420（其在这个示例中处于操作中）发射大量辐射并且在热谱图400中以不同方式表示。同样，温血物体424（狗）和灯426、428也发射辐射并且在热谱图400中单独地表示。
尽管物体的热谱图辅助检测所表示的场景内的发射辐射的物体，但是难以从热谱图评估哪些物体是温血物体，其中温血物体是要避让的，并且与将不会移动但需要避让的非温血物体相比，如果由UAV在下降期间接触，则可能移动和/或受伤。例如，灯428、426和/或烧烤架420发射的辐射类似于温血动物（诸如由IR相机检测到的温血物体424）的辐射。
通过组合深度信息和热信息，改善了检测温血物体的准确性。图5表示根据实现方式的递送地点的深度和热表示500。为了辅助说明，深度信息在视觉上呈现为物体而不是影线图案。如图所示，在地面上方突出的每个物体的深度与针对每个物体确定的热信息重叠，从而针对递送地点内的每个物体提供深度信息和热信息两者。利用深度信息和热信息两者的组合，增大了区分温血物体与非温血物体的准确性。例如，桌子506、椅子507和大矩形物体512能够被确定为非温血物体，因为那些物体的热特征低于针对温血物体所预期的热特征。同样，灯508能够被确定为非温血物体，因为其充分突出在地面区域之上（例如，十五英尺），超过针对温血物体所预期的高度。
可以接着避让作为潜在温血物体的剩余物体、灯516、烧烤架510和温血物体514。替代地或额外地，可以相对于那些物体执行额外处理。例如，可以监视物体持续一段时间以评估所述物体是否移动，从而指示所述物体可能是温血的。作为另一个示例，可以进一步处理热特征以确定所述热特征对于温血物体来说是否太高。作为另一个示例，可以将物体的整体形状和热特征与代表温血物体和非温血物体的已知形状和热特征进行比较，以评估物体是温血的还是非温血的。
作为又一个示例，可以使用一个或多个物体检测算法来执行物体的一个或多个视觉图像的额外图像处理，以致力于标识或确定物体的类型。在这个示例中，通过使用深度信息和/或热信息消除许多物体，所需要的额外图像处理被减少为仅包括不能被消除的那些物体。
图6是根据实现方式的示例性下降分析过程600的流程图。这个过程以及本文所描述的每个过程可以通过本文所描述的架构或通过其它架构来实施。所述过程被示出为逻辑流程中的框集合。一些框表示能够以硬件、软件或其组合实施的操作。在软件的上下文中，框表示存储在一个或多个计算机可读介质上的计算机可执行指令，其在由一个或多个处理器执行时执行所陈述的操作。一般来说，计算机可执行指令包括执行特定功能或实施特定抽象数据类型的例程、程序、对象、部件、数据结构等。
计算机可读介质可以包括非暂时计算机可读存储介质，其可以包括硬盘驱动器、软盘、光盘、CD-ROM、DVD、只读存储器（ROM）、随机存取存储器（RAM）、EPROM、EEPROM、闪存存储器、磁卡或光卡、固态存储器装置或适合于存储电子指令的其它类型的存储介质。另外，在一些实现方式中，计算机可读介质可以包括暂时计算机可读信号（以压缩或未压缩形式）。计算机可读信号的示例（不管是否使用载波来调制）包括但不限于托管或运行计算机程序的计算机系统能够被配置以访问的信号，包括通过因特网或其它网络下载的信号。最后，描述所述操作的次序不希望被解释为限制，并且任何数目的所描述操作能够以任何次序和/或并行地组合以实施所述过程。
示例性过程600通过针对所表示的场景确定深度信息来开始，如在602中。如上所论述，可以基于形成场景的视觉图像的立体配对相机来确定深度信息或深度图。所形成的视觉图像被一起处理，并且利用相机之间的已知基线，能够基于在相关像素中表示的物体来确定那些像素的深度信息。在其它实现方式中，代替立体配对相机或除了立体配对相机之外，可以使用其它形式或类型的装置来确定深度信息。例如，诸如飞行时间（ToF）传感器、基于激光的测距仪、超声波测距仪等距离确定元件可以用于确定飞行器的范围或距离内的物体的深度信息。
除了确定深度信息之外，还确定物体的热信息，如在606中。如上所论述，热信息可以利用热成像相机来确定，所述热成像相机诸如为长波IR相机、中波IR相机、近场IR相机、光谱成像等。热信息可以被表示为场景中的物体的热特征之间的差异。例如，发射较少热能的物体可以用一种颜色或值表示，并且发射较多热能的物体可以用不同颜色或值表示。
接着使深度信息和热信息相互关联，如在606中。例如，可以校准用于形成用于确定深度信息和热信息的图像的成像部件，使得每个像素的水平维度和垂直维度或由每个相机生成的其它形式的信息与所表示的图像中的相同或相似物理位置相互关联。
最后，利用相互关联的信息，生成对应于场景的包括水平维度、垂直维度、深度维度和热维度的组合信息，如在608中。所述组合信息可以存储在数据存储区或其它形式的存储器中，以图形方式呈现，和/或以其它方式处理。
图7是根据实现方式的示例性下降过程700的流程图。可以在UAV朝向某个地点（诸如递送地点）下降期间执行所述示例性过程700。在UAV正下降时，确定是否检测到突出于地面区域之上的物体，如在702中。在一些实现方式中，仅在物体在地面区域上方突出超过限定量（例如，六英寸）的情况下才可以检测到突出。在其它实现方式中，可以根据示例性过程700检测并处理任何突出。
如果确定没有检测到突出，则如在704中那样继续UAV的下降，并且示例性过程返回到决策框702并继续。然而，如果确定检测到突出，则确定对应于所检测到的物体的热维度是否超过阈值，如在706中。阈值可以是任何温度范围，可以针对不同大小和/或形状的物体而变化，针对不同地点而变化，针对一天中的不同时间而变化，和/或出于任何其它原因而变化。在一些实现方式中，阈值可以是在所表示的信息中检测到的最低或平均热值与被确定为在地面上方突出的物体的热值之间的阈值差值。
阈值可以是高于其可以检测到温血物体的值。在其它实现方式中，不是确定对应于所检测到的物体的热特征是否超过阈值，而是确定可以在其中检测到温血物体的所表示的信息中的温度范围或高于基线值的热差值。在此类实现方式中，示例性过程700可以确定所检测到的物体的热特征是否在所确定的温度范围内。
如果确定热维度未超过阈值，则示例性过程返回到框704并继续。然而，如果确定热维度超过阈值，则确定所检测到的物体的特征是否已知，如在708中。例如，在检测到物体并将其确定为温血或非温血物体时，可以在数据存储区中维持那些物体的整体特征。整体特征可以包括物体的大小、形状、突出、热维度等。在完成相同物体的额外检测时，每当确定物体的整体特征对应于相同物体时，可以更新数据存储区并且增大置信水平。物体检测和整体特征相关性的这种反馈可以由多个UAV利用所述示例性过程和每个UAV所使用的结果作为示例性过程700的一部分来执行。例如，每当UAV机群中的UAV检测到物体并且确定所述物体是温血的还是非温血的时，那个信息可以被提供到远程计算资源，所述远程计算资源使来自机群的所有UAV的信息相互关联。在信息被相互关联时，由远程计算资源开发并维持代表所有所检测到的物体的物体特征数据存储区。那个物体特征数据存储区可以接着由机群的每个UAV提供或以其它方式利用，作为示例性过程700的一部分。
返回到图7，如果确定物体的物体特征为未知的，则在下降期间避让所述物体和/或可以终止下降以避免所检测到的物体与UAV之间的任何潜在交互，如在710中。在一些实现方式中，可以执行图像和/或物体的额外处理以致力于确定物体。例如，可以使用集中于包括物体的图像部分的一个或多个物体检测算法来处理物体的视觉图像。在其它示例中，可以监视物体持续一段时间以确定物体是否正在移动。
如果在决策框708处确定物体特征是已知的，则确定物体是否为温血物体，如在712中。如果确定物体是温血物体，则在下降期间避让物体和/或终止下降以避免所检测到的物体与UAV之间的任何潜在交互。如果确定物体不是温血物体，即，物体是非温血物体，则示例性过程700返回到框704并且UAV的下降继续。在一些实现方式中，如果检测到物体并且将其确定为非温血物体，则可以进一步确定所检测到的物体是否对UAV潜在有害并且应当以比避免接触所述物体大的距离进行避让。例如，如果确定物体具有非常高的热特征，诸如烧烤架或明火，则可以确定应当在UAV与物体之间维持最小安全距离（例如，十五英尺）。
尽管上文所讨论的示例涉及检测突出物体并且避让具有潜在对应于温血物体的热特征的那些物体，但是类似的实现方式可以用于避让作为潜在危险着陆区域的非温血物体。例如，本文所讨论的实现方式可以用于检测针对着陆和/或有效载荷递送要避让的水体（例如，水池、池塘、按摩浴缸）。不管水体是否突出于地面之上（诸如地上水池），此类检测为可能的。在物体（水体）不突出于地面之上的实现方式中，深度信息可以呈现大致平坦的地面区域，并且热信息可以指示所述物体低于场景中的其它物体的平均阈值温度（对于冷水体）或高于平均阈值温度（对于温水体）。大小、形状和热信息提供对物体是水体并且不应被用于着陆或有效载荷递送区域的指示。
图8是示出示例性UAV控制系统814的框图。在各种示例中，框图可以示出能够用于实施本文所论述的各种系统和方法和/或控制本文所描述的UAV的操作的UAV控制系统114（图1）的一个或多个方面。在所示出的实现方式中，UAV控制系统814包括一个或多个处理器802，其经由输入/输出（I/O）接口810耦接到存储器，例如，非暂时计算机可读存储介质820。UAV控制系统814还可以包括电子速度控件804（ESC）、动力供应模块806、导航系统807和/或物体检测控制器812。在一些实现方式中，导航系统807可以包括惯性测量单元（IMU）。UAV控制系统814还可以包括网络接口816以及一个或多个输入/输出装置818。
在各种实现方式中，UAV控制系统814可以是包括一个处理器802的单处理器系统或者包括若干处理器802（例如，两个、四个、八个或另一个合适数目）的多处理器系统。处理器802可以是能够执行指令的任何合适处理器。例如，在各种实现方式中，处理器802可以是通用或嵌入式处理器，其实施多种指令集架构（ISA）（诸如x86、PowerPC、SPARC或MIPS ISA，或者任何其它合适ISA）中的任一者。在多处理器系统中，每个处理器802可以通常但未必实施相同ISA。
非暂时计算机可读存储介质820可以被配置为存储处理器802能够存取的可执行指令、数据、飞行路径、飞行控制参数、物体特征和/或数据项。在各种实现方式中，非暂时计算机可读存储介质820可以使用任何合适存储器技术来实施，诸如静态随机存取存储器（SRAM）、同步动态RAM（SDRAM）、非易失性/闪存型存储器或者任何其它类型的存储器。在所示出的实现方式中，实施所需功能（诸如本文所描述的功能）的程序指令和数据被展示为存储在非暂时计算机可读存储介质820中分别作为程序指令822、数据存储824和飞行控制826。在其它实现方式中，程序指令、数据和/或飞行控制可以被接收、发送或存储在不同类型的计算机可存取介质（诸如非暂时介质）或与非暂时计算机可读存储介质820或UAV控制系统814分开的类似介质上。一般来说，非暂时计算机可读存储介质可以包括存储介质或存储器介质，诸如磁性或光学介质，例如磁盘或CD/DVD-ROM，其经由I/O接口810耦接到UAV控制系统814。经由非暂时计算机可读介质存储的程序指令和数据可以通过传输介质或信号（诸如电学、电磁或数字信号）来传输，所述传输介质或信号可以经由诸如网络和/或无线链路等通信介质来传达，诸如可以经由网络接口816来实施。
在一个实现方式中，I/O接口810可以被配置为协调处理器802、非暂时计算机可读存储介质820与任何外围装置、网络接口816或其它外围接口（诸如输入/输出装置818）之间的I/O业务。在一些实现方式中，I/O接口810可以执行任何必要协议、时序或其它数据变换以将来自一个部件（例如，非暂时计算机可读存储介质820）的数据信号转换为适于由另一个部件（例如，处理器802）使用的格式。在一些实现方式中，例如，I/O接口810可以包括对通过各种类型的外围总线（诸如外围部件互连（PCI）总线标准或通用串行总线（USB）标准的变型）附接的装置的支持。在一些实现方式中，例如，I/O接口810的功能可以被分成两个或更多个单独部件，诸如北桥和南桥。另外，在一些实现方式中，I/O接口810（诸如与非暂时计算机可读存储介质820的接口）的一些或全部功能性可以直接并入到处理器802中。
ESC 804与导航系统807通信并且调整每个提升马达和/或推进马达的旋转速度以稳定UAV并且沿所确定的飞行路径引导UAV。导航系统807可以包括GPS、室内定位系统（IPS）、IMU或其它类似系统和/或传感器，其能够用于将UAV 100导航到某个地点和/或离开某个地点。物体检测控制器812与存储器820通信，并且上文所论述的成像装置可以处理信息并确定是否存在要避让的物体和/或是否将终止下降。
网络接口816可以被配置为允许在UAV控制系统814、附接到网络的其它装置（诸如其它计算机系统（例如，远程计算资源））之间交换数据，和/或与其它UAV的UAV控制系统交换数据。例如，网络接口816可以实现包括控制系统814的UAV与在一个或多个远程计算资源上实施的UAV控制系统之间的无线通信。对于无线通信，可以利用UAV的天线或其它通信部件。作为另一个示例，网络接口816可以实现多个UAV之间的无线通信。在各种实现方式中，网络接口816可以支持经由无线通用数据网络（诸如Wi-Fi网络）的通信。例如，网络接口816可以支持经由电信网络（诸如蜂窝通信网络、卫星网络等）的通信。
输入/输出装置818可以在一些实现方式中包括一个或多个显示器、成像装置、热相机、红外传感器、飞行时间传感器、加速度计、压力传感器、天气传感器、相机、万向节、起落架等。可以存在多个输入/输出装置818，并且其由UAV控制系统814控制。这些传感器中的一者或多者可以用于协助着陆并且在飞行期间避让障碍物。
如图8所示，存储器可以包括程序指令822，其可以被配置为实施本文所描述的示例性例程和/或子例程。数据存储824可以包括用于维持可以被提供用于确定飞行路径、物体检测、着陆、标识用于脱离物品的地点、接合/脱离推进马达等的数据项的各种数据存储区。在各种实现方式中，本文中示出为包括在一个或多个数据存储区中的参数值和其它数据可以与未描述的其它信息组合或者可以按不同方式分割为更多、更少或不同数据结构。在一些实现方式中，数据存储区可以在物理上位于一个存储器中，或者可以分布在两个或更多个存储器当中。
本领域的技术人员将了解，UAV控制系统814仅仅为示例性的，并且不希望限制本公开的范围。明确地说，计算系统和装置可以包括能够执行所指示的功能的硬件或软件的任何组合。UAV控制系统814还可以连接到未示出的其它装置，或者改为可以作为独立系统进行操作。另外，由所示出的部件提供的功能性可以在一些实现方式中组合在更少部件中或分布在额外部件中。类似地，在一些实现方式中，可以不提供一些所示出的部件的功能性，和/或可以获得其它额外功能性。
本领域的技术人员还将了解，尽管各种项目被示出为在使用时存储于存储器或存储装置中，但是出于存储器管理和数据完整性的目的，这些项目或其部分可以在存储器与其它存储装置之间传送。替代地，在其它实现方式中，一些或所有软件部件可以在另一个装置上的存储器中执行并且与所示出的UAV控制系统814通信。一些或所有系统部件或数据结构还可以存储（例如，作为指令或结构化数据）在非暂时计算机可存取介质或便携式物品上以由恰当驱动器读取。在一些实现方式中，存储在与UAV控制系统814分开的计算机可存取介质上的指令可以经由通过通信介质（诸如无线链路）传达的传输介质或信号（诸如电学、电磁或数字信号）传输到UAV控制系统814。各种实现方式可以进一步包括接收、发送或在计算机可存取介质上存储根据前述描述所实施的指令和/或数据。因此，本文所描述的技术可以用其它UAV控制系统配置来实践。
本文所公开的实现方式包括UAV，其包括框架、用于在空中提升和导航UAV的多个推进机构和成像部件中的一者或多者。成像部件可以包括以下一者或多者：处于第一位置的第一相机，其中第一相机被配置为使用可见光形成场景的第一图像；处于第二位置的第二相机，其中第一位置和第二位置分开已知基线距离，其中第二相机被配置为使用可见光形成场景的第二图像；近似等距地定位在第一相机与第二相机之间的第三相机，其中第三相机被配置为使用红外辐射形成场景的第三图像；以及图像处理部件。图像处理部件可以被配置为：接收第一图像和第二图像；处理第一图像和第二图像以形成深度图，其中表示位置的每个像素包括水平维度、垂直维度和深度维度；接收第三图像；处理第三图像以针对每个对应水平维度和垂直维度确定热维度；并且生成表示场景的组合信息，其针对组合信息的每个像素包括水平维度、垂直维度、深度维度和热维度。
任选地，第一相机和第二相机可以形成立体相机对。任选地，第三相机是长波红外相机。任选地，第一相机的第一视野、第二相机的第二视野和第三相机的第三视野重叠以形成有效视野。任选地，UAV可以进一步包括控制器，所述控制器被配置为检测组合信息中所表示的物体，至少部分地基于深度维度和热维度来确定物体是否为温血物体，并且响应于确定所述物体可能是温血物体而向UAV控制系统发送指令以更改UAV的导航。
本文所公开的实现方式可以包括图像捕获设备，其包括以下一者或多者：框架；在第一位置处耦接到框架的第一图像捕获装置；在第二位置处耦接到框架的第二图像捕获装置；在第三位置处耦接到框架的第三图像捕获装置，其中第一图像捕获装置和第二图像捕获装置具有重叠视野并且被配置为使用可见光谱形成场景的图像，并且其中第三图像捕获装置被定位为使得第三图像捕获装置的视野包括所述重叠视野，并且第三图像捕获装置被配置为使用红外光谱形成场景的图像。
任选地，图像捕获设备还可以包括处理部件，其被配置为至少接收第一图像和第二图像并形成对应于场景的深度图，其中深度图的每个位置对应于垂直维度、水平维度和深度维度，并且接收第三图像并形成对应于场景的热谱图，其中热谱图的每个位置对应于垂直维度、水平维度和热维度。任选地，处理部件可以被进一步配置为组合深度图和热谱图并形成表示场景的组合信息，其中每个位置对应于水平维度、垂直维度、深度维度、热维度和原始图像信息。任选地，第一图像捕获装置、第二图像捕获装置和第三图像捕获装置可以定位在相同平面中。任选地，图像捕获设备可以耦接到无人飞行器。任选地，图像捕获设备可以耦接到无人飞行器，并且场景可以包括无人飞行器将下降到的递送地点。任选地，可以处理第一图像、第二图像和第三图像以检测有效视野内的温血物体的存在。任选地，有效视野对应于第一图像捕获装置、第二图像捕获装置和第三图像捕获装置的视野内的场景。
本文所公开的实现方式包括用于检测温血物体的方法，所述方法包括以下一者或多者：启动UAV朝向递送地点下降；获得对应于成像部件的视野内的递送地点的每个部分的位置、深度和热表示的组合信息，其中图像的每个像素包括水平维度、垂直维度、深度维度和热维度；至少部分地基于组合信息来确定视野内的物体是否对应于温血物体；以及至少部分地基于确定物体对应于温血物体来更改飞行器的下降。
任选地，确定物体对应于温血物体可以包括确定物体的热维度超过阈值。任选地，所述方法可以进一步包括确定物体的形状和物体的热维度（如组合信息所表示）对应于非温血物体，并且继续飞行器的下降。任选地，所述确定可以进一步至少部分地基于物体在限定时间段内的移动。任选地，确定物体的形状和物体的热维度对应于非温血物体可以至少部分地基于对应于非温血物体和温血物体的存储信息。所述方法可以进一步包括以下一者或多者：确定物体的形状和物体的热维度（如图像所表示）对应于温血物体；以及响应于确定物体的形状和物体的热维度对应于温血物体而更改飞行器的下降。任选地，确定物体的形状和物体的热维度对应于温血物体可以至少部分地基于对应于非温血物体和温血物体的存储信息。
虽然已经用特定于结构特征和/或方法动作的语言描述了主题，但是应理解，所附权利要求书中所限定的主题不必限于所描述的特定特征或动作。而是，特定特征和动作被公开为实施权利要求的示例性形式。

Claims (15)

1.一种无人飞行器（“UAV”），其包括：
框架；
多个推进机构，其用于在空中提升和导航所述UAV；
成像部件，其包括：
处于第一位置的第一相机，其中所述第一相机被配置为使用可见光形成场景的第一图像；
处于第二位置的第二相机，其中所述第一位置和所述第二位置分开已知基线距离，其中所述第二相机被配置为使用可见光形成所述场景的第二图像；
近似等距地定位在所述第一相机与所述第二相机之间的第三相机，其中所述第三相机被配置为使用红外辐射形成所述场景的第三图像；
图像处理部件，其被配置为至少：
接收所述第一图像和所述第二图像；
处理所述第一图像和所述第二图像以形成深度图，其中表示位置的每个像素包括水平维度、垂直维度和深度维度；
接收所述第三图像；
处理所述第三图像以针对每个对应水平维度和垂直维度确定热维度；以及
生成表示所述场景的组合信息，其针对所述组合信息的每个像素包括所述水平维度、所述垂直维度、所述深度维度和所述热维度。
2.根据权利要求1所述的UAV，其中所述第三相机是长波红外相机。
3.根据权利要求1或2中任一项所述的UAV，其中所述第一相机的第一视野、所述第二相机的第二视野和所述第三相机的第三视野重叠以形成有效视野。
4.根据权利要求1、2或3中任一项所述的UAV，其进一步包括：
控制器，其被配置为检测所述组合信息中所表示的物体；
至少部分地基于所述深度维度和所述热维度来确定所述物体是否为温血物体；以及
响应于确定所述物体可能是温血物体而向UAV控制系统发送指令以更改所述UAV的导航。
5.一种图像捕获设备，其包括：
框架；
第一图像捕获装置，其在第一位置处耦接到所述框架；
第二图像捕获装置，其在第二位置处耦接到所述框架；
第三图像捕获装置，其在第三位置处耦接到所述框架；
其中所述第一图像捕获装置和所述第二图像捕获装置具有重叠视野，并且被配置为使用可见光谱形成场景的图像；以及
其中所述第三图像捕获装置被定位为使得所述第三图像捕获装置的视野包括所述重叠视野，并且所述第三图像捕获装置被配置为使用红外光谱形成所述场景的图像。
6.根据权利要求5所述的图像捕获设备，其进一步包括：
处理部件，其被配置为：
接收所述第一图像和所述第二图像并形成对应于所述场景的深度图，其中所述深度图的每个位置对应于垂直维度、水平维度和深度维度；以及
接收所述第三图像并形成对应于所述场景的热谱图，其中所述热谱图的每个位置对应于垂直维度、水平维度和热维度。
7. 根据权利要求5或6中任一项所述的图像捕获设备，其中：
所述图像捕获设备耦接到无人飞行器；以及
所述场景包括所述无人飞行器将下降到的递送地点。
8.根据权利要求5、6或7中任一项所述的图像捕获设备，其中处理所述第一图像、所述第二图像和所述第三图像以检测有效视野内的温血物体的存在。
9.根据权利要求8所述的图像捕获设备，其中所述有效视野对应于所述第一图像捕获装置、所述第二图像捕获装置和所述第三图像捕获装置的视野内的场景。
10.一种用于检测温血物体的方法，所述方法包括：
启动无人飞行器（“UAV”）朝向递送地点下降；
获得对应于成像部件的视野内的递送地点的每个部分的位置、深度和热表示的组合信息，其中所述图像的每个像素包括水平维度、垂直维度、深度维度和热维度；
至少部分地基于所述组合信息来确定所述视野内的物体是否对应于温血物体；以及
至少部分地基于确定所述物体对应于温血物体来更改所述飞行器的下降。
11.根据权利要求10所述的方法，其中确定所述物体对应于温血物体包括确定所述物体的热维度超过阈值。
12. 根据权利要求10或11中任一项所述的方法，其进一步包括：
确定如所述组合信息所表示的所述物体的形状和所述物体的热维度对应于非温血物体；以及
继续所述飞行器的下降。
13.根据权利要求12所述的方法，其中所述确定进一步至少部分地基于所述物体在限定时间段内的移动。
14.根据权利要求12或13中任一项所述的方法，其中所述确定所述物体的所述形状和所述物体的所述热维度对应于非温血物体至少部分地基于对应于非温血物体和温血物体的存储信息。
15. 根据权利要求10、11、12、13或14中任一项所述的方法，其进一步包括：
确定如所述图像所表示的所述物体的形状和所述物体的热维度对应于温血物体；以及
响应于所述确定所述物体的所述形状和所述物体的所述热维度对应于温血物体而更改所述飞行器的下降。
CN201780019508.8A 2016-03-28 2017-03-23 组合深度与热信息以用于物体检测和避让 Pending CN109154977A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/083153 2016-03-28
US15/083,153 US9963246B2 (en) 2016-03-28 2016-03-28 Combining depth and thermal information for object detection and avoidance
PCT/US2017/023905 WO2017172489A1 (en) 2016-03-28 2017-03-23 Combining depth and thermal information for object detection and avoidance

Publications (1)

Publication Number Publication Date
CN109154977A true CN109154977A (zh) 2019-01-04

Family

ID=58530643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780019508.8A Pending CN109154977A (zh) 2016-03-28 2017-03-23 组合深度与热信息以用于物体检测和避让

Country Status (4)

Country Link
US (3) US9963246B2 (zh)
EP (1) EP3437016B1 (zh)
CN (1) CN109154977A (zh)
WO (1) WO2017172489A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111307300A (zh) * 2020-04-17 2020-06-19 镇江明润信息科技有限公司 一种红外测温传感器的温度校准装置及方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9963246B2 (en) * 2016-03-28 2018-05-08 Amazon Technologies, Inc. Combining depth and thermal information for object detection and avoidance
WO2018027338A1 (en) * 2016-08-06 2018-02-15 SZ DJI Technology Co., Ltd. Automatic terrain evaluation of landing surfaces, and associated systems and methods
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10198955B1 (en) 2016-09-08 2019-02-05 Amazon Technologies, Inc. Drone marker and landing zone verification
US10049589B1 (en) * 2016-09-08 2018-08-14 Amazon Technologies, Inc. Obstacle awareness based guidance to clear landing space
US10121117B1 (en) 2016-09-08 2018-11-06 Amazon Technologies, Inc. Drone location signature filters
EP3761135B1 (en) * 2016-09-27 2022-10-26 SZ DJI Technology Co., Ltd. System and method for controlling an unmanned vehicle in presence of a live object
US20180144645A1 (en) * 2016-11-21 2018-05-24 Wal-Mart Stores, Inc. System and method for detecting humans by an unmanned autonomous vehicle
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
EP3550261A4 (en) * 2016-12-05 2019-12-25 Panasonic Intellectual Property Management Co., Ltd. IMAGE CAPTURE DEVICE AND IMAGE CAPTURE ELEMENT USED THEREIN
US10223591B1 (en) 2017-03-30 2019-03-05 Amazon Technologies, Inc. Multi-video annotation
US10977818B2 (en) * 2017-05-19 2021-04-13 Manor Financial, Inc. Machine learning based model localization system
US11288834B2 (en) * 2017-05-23 2022-03-29 Brainlab Ag Determining the relative position between a point cloud generating camera and another camera
US10459445B2 (en) * 2017-09-28 2019-10-29 Intel IP Corporation Unmanned aerial vehicle and method for operating an unmanned aerial vehicle
US11048257B2 (en) * 2018-01-23 2021-06-29 Gopro, Inc. Relative image capture device orientation calibration
US10691943B1 (en) * 2018-01-31 2020-06-23 Amazon Technologies, Inc. Annotating images based on multi-modal sensor data
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10674063B2 (en) * 2018-06-20 2020-06-02 Amazon Technologies, Inc. Synchronizing time-of-flight cameras
WO2020000209A1 (zh) * 2018-06-26 2020-01-02 深圳市大疆创新科技有限公司 传感器组件及无人飞行器
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
CN109018389B (zh) * 2018-08-06 2020-05-26 温州如剑环保科技有限公司 应用于无人机雨天飞行的阻力减小装置
US10935987B2 (en) * 2018-08-07 2021-03-02 Reliable Robotics Corporation Landing site localization for dynamic control of an aircraft toward a landing site
US11866198B2 (en) * 2018-10-29 2024-01-09 California Institute Of Technology Long-duration, fully autonomous operation of rotorcraft unmanned aerial systems including energy replenishment
TWI697846B (zh) 2018-11-26 2020-07-01 財團法人工業技術研究院 物體辨識方法及其裝置
US11532237B2 (en) * 2019-02-28 2022-12-20 Rockwell Collins, Inc. Autonomous aircraft sensor-based positioning and navigation system using markers
US10819923B1 (en) 2019-11-19 2020-10-27 Waymo Llc Thermal imaging for self-driving cars
US20230237850A1 (en) * 2020-05-19 2023-07-27 Intelligent Security Systems Corporation Technologies for analyzing behaviors of objects or with respect to objects based on stereo imageries thereof
US11763555B2 (en) * 2021-04-22 2023-09-19 Honeywell International Inc. System and method for ground obstacle detection and database management
EP4080482A1 (en) * 2021-04-22 2022-10-26 Honeywell International Inc. System and method for obstacle detection and database management
US20230394814A1 (en) * 2022-06-01 2023-12-07 Wing Aviation Llc Stereo Abort of Unmanned Aerial Vehicle Deliveries

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及系统
GB2511863A (en) * 2013-03-15 2014-09-17 Infrared Integrated Syst Ltd Apparatus and method for multispectral imaging
CN104076817A (zh) * 2014-06-18 2014-10-01 北京计算机技术及应用研究所 一种高清视频航拍多模传感器自外感知智能导航系统及其方法
WO2015161208A1 (en) * 2014-04-18 2015-10-22 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment
CN105182983A (zh) * 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪系统
US20160026880A1 (en) * 2014-07-28 2016-01-28 Hyundai Mobis Co., Ltd. Driving assist system for vehicle and method thereof

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034759A (en) * 1989-11-28 1991-07-23 Ronald Watson Photo device
US5173710A (en) * 1991-08-15 1992-12-22 Terrapin Corporation Navigation and positioning system and method using uncoordinated beacon signals
US5499032A (en) * 1992-12-22 1996-03-12 Terrapin Corporation Navigation and positioning system and method using uncoordinated beacon signals
US5779190A (en) * 1995-11-22 1998-07-14 Northrop Grumman Corporation Portable unmanned aerial vehicle
US5774829A (en) * 1995-12-12 1998-06-30 Pinterra Corporation Navigation and positioning system and method using uncoordinated beacon signals in conjunction with an absolute positioning system
EP0816986B1 (en) * 1996-07-03 2006-09-06 Hitachi, Ltd. System for recognizing motions
US6954488B1 (en) * 1999-10-01 2005-10-11 Trimble Navigation Limited Method and apparatus for improved L2 performance in dual frequency semi-codeless GPS receivers
US20070061041A1 (en) * 2003-09-02 2007-03-15 Zweig Stephen E Mobile robot with wireless location sensing apparatus
US7818127B1 (en) * 2004-06-18 2010-10-19 Geneva Aerospace, Inc. Collision avoidance for vehicle control systems
US7724180B2 (en) * 2007-05-04 2010-05-25 Toyota Motor Corporation Radar system with an active lens for adjustable field of view
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2009158494A1 (en) * 2008-06-26 2009-12-30 Lynntech, Inc. Method of searching for a thermal target
US20100306249A1 (en) * 2009-05-27 2010-12-02 James Hill Social network systems and methods
TWI412730B (zh) * 2009-06-08 2013-10-21 Wistron Corp 用於一智慧型手持裝置之測距方法及測距裝置、辨識標的物之位置的方法及電子裝置以及辨識當前位置的方法及電子裝置
US20110181720A1 (en) * 2010-01-25 2011-07-28 Edgeworth Christopher M System, method, and computer program product for tracking mobile objects from an aerial vehicle
US9031782B1 (en) * 2012-01-23 2015-05-12 The United States Of America As Represented By The Secretary Of The Navy System to use digital cameras and other sensors in navigation
US9350954B2 (en) * 2012-03-20 2016-05-24 Crane-Cohasset Holdings, Llc Image monitoring and display from unmanned vehicle
BR112015013804B1 (pt) * 2012-12-14 2021-02-09 Bp Corporation North America Inc sistema de medição para medição tridimensional de uma estrutura submarina, método para a triangulação a laser de uma estrutura submarina e meio legível por computador não transitório codificado com instruções
US8973146B2 (en) * 2012-12-27 2015-03-03 Mcafee, Inc. Herd based scan avoidance system in a network environment
EP2941735A1 (en) * 2013-01-07 2015-11-11 BAE SYSTEMS plc Image processing
US9377366B2 (en) * 2013-07-08 2016-06-28 Pixart Imaging Inc. Navigation device including thermal sensor
CN103745458B (zh) * 2013-12-26 2015-07-29 华中科技大学 一种鲁棒的基于双目光流的空间目标旋转轴及质心估计方法
DE102014201238A1 (de) * 2014-01-23 2015-07-23 Siemens Aktiengesellschaft Verfahren und System zur Erstellung einer Vektorkarte
US9321531B1 (en) * 2014-07-08 2016-04-26 Google Inc. Bystander interaction during delivery from aerial vehicle
EP3201877B1 (en) * 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US10033924B2 (en) * 2014-10-10 2018-07-24 Iec Infrared Systems, Llc Panoramic view imaging system
US9576216B2 (en) * 2014-11-07 2017-02-21 The Boeing Company Hyperspectral resolution using three-color camera
US10499037B1 (en) * 2015-05-28 2019-12-03 Amazon Technologies, Inc. Active alignment of stereo cameras
US20160381345A1 (en) * 2015-06-29 2016-12-29 Mediatek Inc. Stereoscopic camera device and associated control method
US9958870B1 (en) * 2015-09-29 2018-05-01 Amazon Technologies, Inc. Environmental condition identification assistance for autonomous vehicles
US11475390B2 (en) * 2015-12-29 2022-10-18 Rakuten Group, Inc. Logistics system, package delivery method, and program
US20170270362A1 (en) * 2016-03-18 2017-09-21 Daqri, Llc Responsive Augmented Content
US9963246B2 (en) * 2016-03-28 2018-05-08 Amazon Technologies, Inc. Combining depth and thermal information for object detection and avoidance
US10033980B2 (en) * 2016-08-22 2018-07-24 Amazon Technologies, Inc. Determining stereo distance information using imaging devices integrated into propeller blades
US9986233B1 (en) * 2017-03-16 2018-05-29 Amazon Technologies, Inc. Camera calibration using fixed calibration targets

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102707724A (zh) * 2012-06-05 2012-10-03 清华大学 一种无人机的视觉定位与避障方法及系统
GB2511863A (en) * 2013-03-15 2014-09-17 Infrared Integrated Syst Ltd Apparatus and method for multispectral imaging
WO2015161208A1 (en) * 2014-04-18 2015-10-22 Cnh Industrial America Llc Stereo vision for sensing vehicles operating environment
CN104076817A (zh) * 2014-06-18 2014-10-01 北京计算机技术及应用研究所 一种高清视频航拍多模传感器自外感知智能导航系统及其方法
US20160026880A1 (en) * 2014-07-28 2016-01-28 Hyundai Mobis Co., Ltd. Driving assist system for vehicle and method thereof
CN105182983A (zh) * 2015-10-22 2015-12-23 深圳创想未来机器人有限公司 基于移动机器人的人脸实时跟踪方法和跟踪系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOEGNER, L. 等: ""TOWARDS PEOPLE DETECTION FROM FUSED TIME-OF-FLIGHT AND THERMAL"", 《THE INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》 *
JOHNSON, MILES J. 等: ""Integration of Thermal and Visible Imagery for Robust"", 《INFORMATION FUSION, 2008 11TH INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111307300A (zh) * 2020-04-17 2020-06-19 镇江明润信息科技有限公司 一种红外测温传感器的温度校准装置及方法
CN111307300B (zh) * 2020-04-17 2021-08-17 镇江明润信息科技有限公司 一种红外测温传感器的温度校准装置及方法

Also Published As

Publication number Publication date
US9963246B2 (en) 2018-05-08
WO2017172489A1 (en) 2017-10-05
US10364044B2 (en) 2019-07-30
US20180194489A1 (en) 2018-07-12
US20200108946A1 (en) 2020-04-09
EP3437016B1 (en) 2021-12-22
EP3437016A1 (en) 2019-02-06
US20170275023A1 (en) 2017-09-28
US11377232B2 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
CN109154977A (zh) 组合深度与热信息以用于物体检测和避让
US10871702B2 (en) Aerial vehicle descent with delivery location identifiers
AU2021245126B2 (en) Systems and methods for taking, processing, retrieving, and displaying images from unmanned aerial vehicles
CN109792513B (zh) 一种飞行器及其光学传感器配置方法
JP6718018B2 (ja) 立体画像のために選択的にペアリングされる撮像素子
US20200301015A1 (en) Systems and methods for localization
US9972212B1 (en) Unmanned aerial vehicle camera calibration as part of departure or arrival at a materials handling facility
US10302452B1 (en) Unmanned aerial vehicle sensor calibration via sensor channel
CN108698695A (zh) 飞行器的摄像机的光调节控制
CN105203084A (zh) 一种无人机3d全景视觉装置
US10220964B1 (en) Unmanned aerial vehicle sensor calibration validation before flight
Suzuki et al. Vision based localization of a small UAV for generating a large mosaic image
US10032275B1 (en) Unmanned aerial vehicle sensor calibration during flight
Garg Unmanned aerial vehicles: An introduction
CN114740900B (zh) 基于容错控制的四旋翼无人机精准降落系统及方法
Janarthanan Vision Based Navigation System Design for Unmanned Aerial Vehicles
Bhandari et al. Flight Test Results of the Collision Avoidance System for a Fixed-Wing UAS using Stereoscopic Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination