CN109564092B - 使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息 - Google Patents

使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息 Download PDF

Info

Publication number
CN109564092B
CN109564092B CN201780051631.8A CN201780051631A CN109564092B CN 109564092 B CN109564092 B CN 109564092B CN 201780051631 A CN201780051631 A CN 201780051631A CN 109564092 B CN109564092 B CN 109564092B
Authority
CN
China
Prior art keywords
image
propeller
imaging device
scene
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780051631.8A
Other languages
English (en)
Other versions
CN109564092A (zh
Inventor
S.P.博伊德
B.J.奥布里恩
J.J.沃森
S.M.维尔科克斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN109564092A publication Critical patent/CN109564092A/zh
Application granted granted Critical
Publication of CN109564092B publication Critical patent/CN109564092B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C11/00—Propellers, e.g. of ducted type; Features common to propellers and rotors for rotorcraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C11/00—Propellers, e.g. of ducted type; Features common to propellers and rotors for rotorcraft
    • B64C11/16—Blades
    • B64C11/20—Constructional features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D31/00—Power plant control systems; Arrangement of power plant control systems in aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/13—Propulsion using external fans or propellers

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

一种设置在航空载具上的螺旋桨，可以包括嵌入到所述螺旋桨的所述桨叶中的一者的表面中的数码相机或其他成像装置。所述数码相机可以在所述螺旋桨以操作速度旋转时捕获图像。可以处理由所述数码相机捕获的图像以标识其中的一个或多个物体，并且通过立体三角测量技术来确定到此类物体的范围。使用此类范围，可以限定并存储所述航空载具在其中操作的环境中的表面特征的深度图或其他模型，或者将所述深度图或其他模型用于任何目的。螺旋桨可以包括嵌入到两个或更多个桨叶中的数码相机或其他成像装置，并且还可以使用此类图像通过立体三角测量技术来确定到物体的范围。

Description

使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息
背景技术
诸如飞机、直升机或其他飞艇等很多航空载具被配置成在两个或更多个飞行模式下操作，包括向前飞行模式（或基本上水平飞行模式），其中航空载具通过在地球的至少一部分上方行进而从空间中的一个点（例如，陆基点或者替代地海基点或空基点）行进到另一点。航空载具还可以被配置成以竖直飞行模式飞行，其中航空载具在竖直或基本上竖直方向上从基本上垂直于地球的表面的一个高度行进到另一高度（例如，从陆地上、海上或空中的第一点向上或向下行进到空中的第二点，反之亦然），或者盘旋（例如，维持基本上恒定的高度），其中水平或横向位置无实质变化。航空载具还可以被配置成以向前飞行模式和竖直飞行模式两者飞行，例如，以其中航空载具的位置在水平方向和竖直方向两者上改变的混合模式飞行。通常使用一个或多个螺旋桨或者具有桨叶的装置将升力和推力施加到航空载具，所述桨叶围绕桨毂安装并连结到轴件或原动机的另一部件，所述桨叶在飞行操作期间可以每分钟数千转的角速度旋转。
航空载具（具体地包括无人航空载具或UAV）经常配备有可以用来帮助航空载具的引导或自主操作的一个或多个成像装置（诸如数码相机），以确定航空载具何时到达或经过给定位置，或者在一个或多个结构、特征、物体或人（或其他动物）的范围内，以便进行监督或监测操作或者用于任何其他目的。给航空载具配备一个或多个成像装置通常需要安装壳体、转台或者可以用于将成像装置安装到航空载具的其他结构或特征。此类结构或特征会增加航空载具的重量并且可以增加在飞行期间遇到的拖曳量或程度，由此用航空载具的操作成本交换成像装置可以提供的很多益处。
立体成像（或立体三角测量）是从使用隔开固定距离的成像装置（诸如数码相机）捕获的描绘物体的数字图像中确定到此类物体的距离或范围的过程。例如，通过处理由成像装置捕获的环境的图像对，到在两个图像中表达的点的范围（包括但不限于，与具体物体相关联的点）可以通过经由每个图像内此类点的表示找到从成像装置的相应镜头或传感器延伸的线对的虚拟交叉点来确定。如果基本上同时捕获环境的每个图像，或者如果在捕获每个图像时环境的条件基本上不改变，则在给定时间到环境内的单个点的范围可基于以下项来确定：捕获此类图像的成像装置的镜头或传感器之间的基线距离，以及当图像彼此叠加时在两个图像内表达的空间中的单个点的对应表示之间的视差或距离。可以针对在两个图像中表达的三维空间中的任何数量的点来完成此类过程，并且可以相应地限定此类点的模型，例如，点云、深度图或深度模型。在随后捕获并处理图像对以确定到此类点的范围时，可以更新此类点的模型。
附图说明
图1A至图1E是根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统的各方面的视图。
图2是根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统的框图。
图3是根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个过程的流程图。
图4A、图4B和图4C是根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统的各方面的视图。
图5A、图5B和图5C是根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统的各方面的视图。
图6是根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个过程的流程图。
图7是根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统的各方面的视图。
图8A和图8B是根据本公开的实施方案的其中集成有用于确定立体距离信息的成像装置的螺旋桨桨叶的视图。
图9A至图9D是根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统的各方面的视图。
图10A、图10B和图10C是根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统的各方面的视图。
具体实施方式
如下文更详细地阐述，本公开涉及确定从操作的航空载具到一个或多个物体的范围或距离。更具体地，本文中公开的系统和方法涉及使用已经集成到一个或多个操作螺旋桨的桨叶中的成像装置（例如，数码相机）来确定立体距离信息。所述成像装置可以是数码相机（例如，黑白相机、灰度相机或彩色相机）或者用于捕获和解译从一个或多个物体反射的光的任何其他装置。在一些实施方案中，成像装置可以嵌入、安装或以其他方式集成到用于向航空载具提供升力或推力的螺旋桨的桨叶的表面中，其中成像装置设置在距螺旋桨的桨毂的预定距离（例如，固定半径）处。当螺旋桨桨叶以操作角速度（例如，每分钟数千转或更多）旋转时，可以使用成像装置在螺旋桨桨叶处于第一角取向的情况下捕获第一图像，并且在螺旋桨桨叶处于第二角取向的情况下可以捕获第二图像。第一图像和第二图像可以相对于彼此对准，并且可以根据一种或多种立体测距算法或技术来确定到每个图像中表达的物体的范围。
在螺旋桨桨叶的操作角速度足够高的情况下，集成到螺旋桨桨叶中的单个成像装置可以通过在一转眼的工夫内从空间中的第一位置摆动到空间中的第二位置而充当两个成像装置，并且由成像装置在第一位置捕获的第一图像和由成像装置在第二位置捕获的第二图像可以被确定为基本上同时捕获。例如，在螺旋桨的桨叶的第一角取向与桨叶的第二角取向分开大约一百八十度（180°），例如反方向角的情况下，可以使用等于螺旋桨的桨毂与嵌入到桨叶中的成像装置之间的预定距离或半径两倍的基线距离或间隔来计算到在每个图像中表达的物体的范围。在其他实施方案中，成像装置可以集成到螺旋桨的相同桨叶中，或者集成到螺旋桨的桨叶中的两者或更多者中、在距桨毂的相同或不同半径处。由此类装置在此类螺旋桨的旋转期间捕获的图像可以相对于彼此对准，并且可以使用立体三角测量，例如使用一种或多种基于计算机的立体测距算法或技术来确定到此类图像中的每一者中表达的物体的范围。
参考图1A至图1E，示出根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的系统。如图1A所示，航空载具110包括控制中心120、多个马达130-1、130-2、130-3、130-4，以及多个螺旋桨140-1、140-2、140-3、140-4，其中螺旋桨140-1、140-2、140-3、140-4中的每一者可旋转地联接到马达130-1、130-2、130-3、130-4中的一者。螺旋桨140-4包括桨毂142-4、第一桨叶144-4和第二桨叶146-4，其中成像装置150集成到第一桨叶144-4的下侧中、在距桨毂142-4的半径r处。如图1A所示，第一桨叶144-4在时间t 1处以角度θ1对准。
如图1B所示，航空载具110在螺旋桨140-4旋转（例如，在马达130-4的动力下）时捕获图像10-1，并且其中成像装置150在时间t 1处基本上向下取向，因为第一桨叶144-4以角度θ1对准。例如，成像装置150可以被配置成捕获成像装置150在其中操作的区域中的基于地面特征（例如，结构、车辆或其他机器、植物或动物生命）或者可接近航空载具110或位于航空载具110附近的空中元素（例如，鸟类、其他航空载具或任何其他空中物体）的彩色或灰度图像。
如图1C所示，第一桨叶144-4已经完成一转的一半并且在时间t 2以角度θ2对准。例如，在螺旋桨140-4以大约每分钟三千转（3000 rpm）的操作角速度旋转的情况下，第一桨叶144-4将在六千分之一分钟（1/6000 min）或一百分之一秒（0.01 sec）的经过时间（例如，t 2– t 1）内从角度θ1旋转到角度θ2。如图1D所示，在螺旋桨140-4旋转时并且在第一桨叶144-4以角度θ2对准的情况下，航空载具110在时间t 2捕获图像10-2，其中成像装置150基本上向下取向。可以通过将图像10-2旋转角度θ2与角度θ1之差Δθ或θ2 - θ1来获得与图像10-1一致的旋转图像10-2’。
如上文论述，由集成到螺旋桨的表面中的一个或多个成像装置捕获的图像对可以共同对准并经受一个或多个立体测距分析，以便确定到在两个图像中表达的任何数量的点的范围。例如，到环境内的在每个图像中出现的多个点的范围可以组合以形成所述环境的点云、深度图或者三维轮廓的另一表示。如图1E所示，可以将图像10-1和旋转图像10-2’提供到计算机装置112以便处理。计算机装置112可以驻留在航空载具110上或在一个或多个外部位置中，包括具有一个或多个服务器或者其他计算机装置的基于地面或基于“云”的设施、驻留在一个或多个其他航空载具（未示出）上的设施，或者在任何其他位置的设施。计算机装置112可以将由成像装置150在分开一转眼工夫的时间t 1和t 2处捕获的图像10-1、10-2’的特征融合在一起，并且确定图像10-1中表达的哪些点对应于旋转图像10-2’中表达的点。到对应于此类特征的点的距离可以根据立体测距算法或技术进行确定并且存储在一个或多个数据存储设备中，或者将所述距离用于任何目的，包括但不限于导航、引导、监督或防止碰撞。
例如，如图1E所示，可以生成到与在图像10-1和旋转图像10-2’中表达的航空载具110下方的特征对应的区域的平均或标称范围以及与此类范围相关联的容差的深度图15并且存储在一个或多个数据存储设备中。图1E的深度图15包括到以下区域的范围：对应于第一汽车的区域15-1（例如，大约一百一十九英尺）、对应于第一汽车在其上行进的街道的区域15-2（例如，大约一百二十二又二分之一英尺）、对应于街道上的第二汽车的区域15-3（例如，大约一百一十八英尺）、对应于住处的区域15-4（例如大约一百零一英尺）、对应于树的区域15-5（例如，大约八十六英尺）、对应于宠物的区域15-6（例如，大约一百二十二英尺），以及大体上对应于未被住处、树或宠物占据或覆盖的地面区的区域15-7（例如，大约一百二十四英尺）。深度图15可以用于任何目的，包括但不限于识别可以容纳航空载具110的一个或多个尺寸的适当地大、平坦且坚固的着陆地点。
因此，本公开的系统和方法涉及使用集成到操作的航空载具上的螺旋桨桨叶中的成像装置来确定立体距离信息。螺旋桨可以包括围绕桨毂安装的任何数量的桨叶（例如，两个桨叶，诸如图1A至图1D的螺旋桨140-4，以及三个、四个或更多个桨叶），所述桨毂被配置成接纳与马达相关联的传动装置的桅杆或轴件，并且将通过马达而围绕桅杆或轴件以期望的角速度旋转，以便向航空载具提供升力或推力。任何数量的桨叶可以包括集成在其中的任何数量的成像装置，例如，嵌入到图1A至图1D的桨叶144-4中的单个成像装置150，或者任何数量的其他成像装置。
根据本公开，集成到操作螺旋桨的桨叶中的成像装置以及由此类成像装置捕获的图像可以用来根据任何数量的立体测距算法或技术而确定立体距离信息。可以任何形式生成或存储来自此类算法或技术的输出，并且将所述输出用于任何目的。例如，在一些实施方案中，根据立体测距算法或技术确定到环境中的物体或特征的距离可以聚集到识别或表示到此类物体或特征的标称或平均距离以及与此类距离相关联的容差的深度图中，诸如图1E的深度图15。
在一些其他实施方案中，可以生成环境的点云或其他三维表示并且存储在一个或多个数据文件中。点云可以用像素级分辨率表示出现在一对图像中的两者中的点中的每一者的位置。旋转螺旋桨桨叶的高速可靠地重复性质使得能够以高速率捕获关于到此类点的范围的数据，由此使得能够在短暂的时间段内在仅捕获许多图像之后明显地缩小与此类位置相关联的容差或置信水平。
根据本公开，成像装置可以任何方式集成到螺旋桨的桨叶中，例如，通过将成像装置嵌入到桨叶中，或者通过将成像装置粘附到桨叶的表面。集成到此类桨叶中的成像装置可以具有垂直于此类桨叶的表面或者以任何其他角度或取向对准的视野或取向轴线。在一些实施方案中，成像装置可以具有可调整的视野或取向轴线，例如，通过用于调整成像装置的焦距或角取向的一个或多个致动或机动化特征。另外，成像装置可以在距螺旋桨的桨毂的任何半径处集成到螺旋桨的桨叶中。类似地，具有集成到螺旋桨中的一个或多个成像装置的航空载具还可以包括集成到航空载具的取向固定的部分中的一个或多个附加成像装置，例如，集成到机身或者航空载具的其他非旋转部分，并且此类成像装置可以与集成式成像装置协作地用于测距应用。
可以使用诸如数码相机的一个或多个成像装置来捕获成像数据（例如，视觉成像数据）。此类装置通常可以通过以下操作来操作：捕获从物体反射的光并且随后计算或分配反射光的各方面（例如像素）的一个或多个数量值；基于此类值生成输出并且将此类值存储在一个或多个数据存储设备中。数码相机可以包括一个或多个传感器，所述传感器具有与之相关联的一个或多个滤波器，并且此类传感器可以检测关于与反射光的一个或多个基色（例如，红色、绿色或蓝色）对应的反射光的任何数量像素的各方面的信息。此类传感器可以生成包括此类信息的数据文件，例如，数字图像，并且将此类数据文件存储在一个或多个机载或可访问数据存储设备（例如，硬盘驱动器或其他类似部件）以及一个或多个可移动数据存储设备（例如，闪存装置）中，或者在一个或多个广播或闭路电视网络上或通过如互联网的计算机网络显示。
数字图像是通常布置成阵列的像素的集合，所述集合限定一个或多个物体、背景或者场景的其他特征的光学形成的复制品并且可以存储在数据文件中。在视觉图像中，像素中的每一者表示或识别与此类物体、背景或特征的一部分相关联的颜色或其他光条件。例如，黑白视觉图像包括用于以二进制方式（例如，黑色或白色）表示像素的光条件的单个位，而灰度视觉图像可以用多个位来表示光条件（例如，用于以黑白的百分比或份额来限定灰色调的二至八个位），并且彩色视觉图像可以包括对应于多个基色（例如，红色、绿色或蓝色）中的每一者的位组，并且位组可以共同地表示与像素相关联的颜色。深度图像也是限定一个或多个物体、背景或者场景的其他特征的光学形成的复制品的像素集合，并且也可以存储在数据文件中。然而，不同于视觉图像的像素，深度图像的像素中的每一者并不表示或识别此类物体、背景或特征的光条件或颜色，而是表示到物体、背景或特征的距离。例如，深度图像的像素可以表示捕获深度图像的成像装置的传感器（例如，深度相机或范围传感器）与对应像素的相应物体、背景或特征之间的距离。
存储在一个或多个数据存储设备中的成像数据文件可以印刷到纸上、呈现在一个或多个计算机显示器上，或者经受一个或多个分析，诸如以识别其中表达的物项。此类数据文件可以任何数量的格式存储，包括但不限于.JPEG或.JPG文件或者图形交换格式（或“.GIF”）、位图（或“.BMP”）、便携式网络图形（或“.PNG”）、标记图像文件格式（或“.TIFF”）文件、音频视频交错（或“.AVI”）、QuickTime（或“.MOV”）、运动图像专家组（或“.MPG”、“.MPEG”或“.MP4”）或Windows媒体视频（或“.WMV”）文件。
如果反射光在装置的视野内，则反射光可以被成像装置捕获或检测，所述视野被定义为随装置内的传感器与镜头之间的距离（即，焦距）以及装置的位置和装置的镜头的角取向而变。因此，在物体出现在景深内或者清晰度和焦点足够清晰的视野内的距离的情况下，成像装置可以使用其一个或多个传感器以足够高的分辨率程度捕获从任何一种物体反射的光，并且将关于发射光的信息存储在一个或多个数据文件中。
很多成像装置还包括用于更改它们相应的视野或取向的手动或自动特征。例如，数码相机可以被配置在固定位置，或者具有固定焦距（例如，定焦镜头）或角取向。替代地，成像装置可以包括一个或多个致动或机动特征，所述特征用于调整成像装置的位置或用于通过致使传感器与镜头（例如，光学变焦镜头或数字变焦镜头）之间的距离变化、成像装置的位置变化或者限定角取向的角度中的一者或多者变化来调整焦距（例如，使成像装置变焦）或角取向（例如，侧倾角、桨距角或偏航角）。
例如，成像装置可以硬安装到使装置相对于一个、两个或三个轴线维持在固定配置或角度的支撑件或安装件。替代地，然而，成像装置可以具有用于手动地或自动地操作部件中的一者或多者或者用于重新取向装置的轴线或方向（即，通过使装置摇摆或俯仰）的一个或多个马达和/或控制器。使成像装置摇摆可以导致在水平面内或围绕竖直轴线的旋转（例如，偏航），而使成像装置俯仰可以导致在竖直平面内或围绕水平轴线的旋转（例如，倾斜）。另外，成像装置可以围绕它的旋转轴线并且在垂直于所述旋转轴线且基本上垂直于装置的视野的平面内摆动或旋转。
一些现代的成像装置可以数字地或电子地调整在视野中识别的图像、受到一个或多个物理和操作限制。例如，数码相机实际上可以拉伸或压缩图像的像素以便使数码相机的视野聚焦或加宽，并且还在视野内平移图像的一个或多个部分。具有光学可调整的焦距或取向轴线的成像装置通常被称为摇摆-俯仰-变焦（或“PTZ”）成像装置，而具有数字或电子可调整的变焦或平移特征的成像装置通常被称为电子PTZ（或“ePTZ”）成像装置。
关于用成像数据（包括特征或物体的颜色、纹理或轮廓）表达的特征或物体的信息和/或数据可以采用任何数量的方式从所述数据中提取。例如，数字图像中的像素或像素组的颜色可以根据一个或多个标准来确定和量化，例如，RGB（“红绿蓝”）颜色模型，其中用值在0至255的范围内的三个对应数表达像素中的红色、绿色或蓝色的部分，或者十六进制模型，其中用六字符代码表达像素的颜色，其中字符中的每一者可以具有十六的范围。颜色也可以根据六字符十六进制模型或#NNNNNN来表达，其中字符N中的每一者具有十六个数位的范围（即，数字0至9和字母A至F）。十六进制模型中的前两个字符NN是指颜色中含有的红色的部分，而中间两个字符NN是指颜色中含有的绿色的部分，并且后两个字符NN是指颜色中含有的蓝色的部分。例如，白色和黑色根据十六进制模型分别表达为#FFFFFF和#000000，而糖果苹果红表达为#31314A。根据本公开，可以使用用于量化图像或照片内的颜色或颜色模式的任何方式或模型。此外，可以使用一种或多种基于计算机的方法来识别数字图像中表达的物体的纹理或特征，诸如通过识别图像的区域或扇区内的强度的变化，或者通过限定对应于具体表面的图像的区域。
此外，可以使用一种或多种算法或机器学习工具来识别静态或动态数字图像中表达的物体或物体的部分的边缘、轮廓、外形、颜色、纹理、剪影、形状或其他特性。所述物体或物体的部分可以是静止或运动的，并且可以在单个有限的时间段时间或者在一个或多个时段或持续时间内识别。此类算法或工具可以涉及尽可能相关地并且以最小化噪声和破坏且不产生伪转变的方式标识和标记数字图像内的转变（例如，物体或其部分的边缘、轮廓、外形、颜色、纹理、剪影、形状或其他特性）。根据本公开可以用来标识数字图像中的物体或其部分的特性的一些检测算法或技术包括但不限于Canny边缘检测器或算法；Sobel算子、算法或滤波器；Kayyali算子、Roberts边缘检测算法；Prewitt算子；Frei-Chen方法；或者相关领域的一般技术人员可能已知的任何其他算法或技术。
如上文论述，本公开的系统和方法涉及使用集成到操作的航空载具上的螺旋桨桨叶中的成像装置来确定立体距离信息。由此类成像装置捕获的图像可以根据一种或多种立体测距算法或技术进行处理。尽管通过使用此类算法或技术从动态环境中确定深度信息通常需要使用分开基线距离的至少两个成像装置，并且基本上同时从此类成像装置捕获成像数据，但在一些实施方案中，本公开的系统和方法可以使用由嵌入在螺旋桨桨叶中的单个成像装置捕获的成像数据进行立体测距。成像装置可以在螺旋桨桨叶处于不同取向时捕获成像数据，由此依赖于航空载具的螺旋桨的通常高旋转速度而立刻将成像装置有效地置于两个地方。
例如，可以在大约每秒数百帧（fps）的帧速率下捕获图像并且嵌入到以大约每分钟数千转（rpm）的角速度旋转的螺旋桨桨叶的表面中的成像装置可以在螺旋桨处于不同取向时捕获清晰的图像，并且处理此类图像以作出关于在两个图像中表达的任何物体的深度确定。具体地，在成像装置可以被配置成在螺旋桨处于分开大约一百八十度或180°或者彼此相反的取向时捕获图像的情况下，可以处理基线距离或间隔（例如，成像装置距螺旋桨的桨毂的半径的两倍）、视差（例如，每个图像中的公共点之间的距离）、成像装置的焦距以及相应图像的内容，以便确定到两个图像中表达的物体中的每一者的范围并且相应地限定环境的深度图、深度模型或另一深度图像。
到由成像装置（例如，数码相机）捕获的一对立体图像中表示的物体的距离（或者深度或范围），所述成像装置具有至少部分地重叠的视野。对于出现在两个图像中的每个物体的每个点，从相应成像装置的相应镜头、镜头模块或其他传感器延伸穿过每个图像中的物体的点的表示的线实际上将在与所述点在三维空间中的实际位置对应的地点处相交。通过使用传统几何原理和性质，例如，相似三角形的性质，以及诸如成像装置之间的基线距离或间隔、相应图像内的点之间的视差和相应成像装置的焦距等已知或可知变量，可以相应地确定交点的坐标。
由于航空载具的螺旋桨通常以每分钟数千转的角速度旋转，因此将单个成像装置嵌入到螺旋桨桨叶中（例如，嵌入到螺旋桨的表面中）使得能够由单个成像装置在已知位置且在给定时间捕获立体图像。为了从一对图像中确定立体距离信息，必须在图像中的第二个图像中识别在图像中的第一个图像内可见的每个表面点，并且必须知道捕获每个图像的成像装置的几何位置。两个立体图像内的公共点的表示有时被称为核点或者此类核点的共轭对，并且视差被定义为在两个图像叠加时共轭核点对之间的距离。
在空间中的点出现在两个图像中（例如，作为核点）的情况下，由图像内的相应核点的位置和空间中的点的实际位置限定的平面被称为核面。图像随后可以基于它们的内容共同对准，例如，沿着对应于核面与相应图像平面或它们的相应核线的交叉点的线。在图像已经基于它们的内容对准之后，可以通过对从成像装置的镜头、镜头模块或其他传感器延伸穿过成像平面内的相应图像中的点的表示的线进行三角测量来确定物体的实际位置。此类线的交叉点对应于点的实际位置，并且可以基于这个实际位置相应地确定到所述点的距离。立体测距算法和技术可以用来确定到出现在两个图像中的点中的每一者的范围或距离，并且此类范围或距离可以用来限定其中提供物体的环境的点云、深度图或另一三维模型。深度模型可以存储在数据文件（例如，深度图像）中或用于任何目的，包括但不限于导航、引导、监督或防止碰撞。
因此，立体测距算法和技术要求确定图像对中的每一者中的核点的对应关系，其中核点中的每一者对应于三维空间中的公共点。当从场景的一对图像中的每一者中识别核点的多个对应关系时，可以确定共轭核点对中的每一者的视差，并且如果已知关于场景的各方面的信息，例如，诸如基线距离或间隔、成像装置的焦距以及其他等几何参数，则可以相应地重建模拟场景的三维结构的此类视差的图。
存在用于确定场景的图像对中表达的点的现实世界位置和用于基于此类位置来生成此类场景的深度图、点云或其他三维表示的许多基于计算机的立体测距算法和技术。此类算法或技术可以帮助执行校准、对应和/或重建功能。例如，开源计算机视觉（或“OpenCV”）库包括涉及确定距图像对的距离或范围的许多基于计算机的算法或其他编程功能。类似地，用MATLAB语言编程的许多其他立体测距算法或技术是公开的。基于计算机的算法或技术也可从许多其他来源获得。
成像装置可以集成到水平地或竖直地对准的螺旋桨中，例如，在向前或尾部取向上或者在向上或向下取向上或者以可能是相对或绝对的任何其他取向或角度对准。在一些实施方案中，两个或更多个数码相机可以集成到螺旋桨中，在相同桨叶中或在不同桨叶中。数码相机可以是同类的（例如，在功能上等效或具有相同能力）或者替代地异类的（例如，具有不同能力），并且可以在多个计算中处理由此类相机捕获的用于确定深度的立体图像。在一些实施方案中，航空载具可以包括集成到旋转螺旋桨的桨叶中并且也安装到航空载具的非旋转特征的一个或多个成像装置。由成像装置中的每一者捕获的图像可以用于立体测距目的，例如，通过确定此类成像装置之间的基线距离或间隔、此类图像内的物体的视差以及相应成像装置的焦距来实现。
参考图2，示出根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统200的框图。图2的系统200包括通过网络280彼此连接的航空载具210和数据处理系统270，所述网络可以完全或部分地包括互联网。除非另外注明，否则图2中示出的数字“2”之后的附图标记指示与具有图1A至图1E中示出的数字“1”之后的附图标记的部件或特征类似的部件或特征。
航空载具210包括处理器212、存储器214和收发器216。航空载具210还包括控制系统220、多个推进马达230-1、230-2、……、230-n、多个螺旋桨240-1、240-2、……、240-n，以及多个成像装置250-1、250-2、……、250-n。
处理器212可以被配置成执行任何类型或形式的计算功能，包括但不限于执行一种或多种机器学习算法或技术。例如，处理器212可以控制航空载具210及其上的一个或多个基于计算机的部件的操作的任何方面，所述部件包括但不限于推进马达230-1、230-2、……、230-n、螺旋桨240-1、240-2、……、240-n，以及成像装置250-1、250-2、……、250-n。例如，处理器212可以控制一个或多个控制系统或模块（诸如，控制系统220）的操作，以生成指令来执行推进马达230-1、230-2、……、230-n、螺旋桨240-1、240-2、……、240-n以及成像装置250-1、250-2、……、250-n中的一者或多者的操作。此类控制系统或模块可以与一个或多个其他计算装置或机器相关联，并且可以经由网络280通过发送和接收数字信号而与数据处理系统270或者一个或多个其他计算机装置（未示出）。
处理器212可以是包括一个处理器的单处理器系统，或者包括若干个处理器（例如，两个、四个、八个或另一合适的数量）的多处理器系统，并且也许能够执行指令。例如，在一些实施方案中，处理器212可以是实施许多指令集架构（ISA）中的任一者的通用或嵌入式处理器，所述指令集架构诸如x86、PowerPC、SPARC或MIPS ISA，或者任何其他合适的ISA。在处理器212是多处理器系统的情况下，多处理器系统内的处理器中的每一者可以操作相同ISA或不同ISA。
另外，航空载具210还包括用于存储任何类型的信息或数据的一个或多个存储器或存储部件214（诸如，数据库或数据存储设备），例如，用于操作航空载具210的指令，或者在航空载具210的操作期间捕获的信息或数据。存储器214可以被配置成存储可执行指令、飞行路径、飞行控制参数和/或可由处理器212访问的其他数据项。存储器214可以使用任何合适的存储器技术来实现，诸如静态随机存取存储器（SRAM）、同步动态RAM（SDRAM）、非易失性/快闪型存储器，或者任何其他类型的存储器。在一些实施方案中，可以经由收发器216例如通过传输介质或诸如电信号、电磁信号或数字信号等信号来接收或发送程序指令、飞行路径、飞行控制参数和/或其他数据项，所述信号可以经由诸如有线和/或无线链路等通信介质来传送。
收发器216可以被配置成使得航空载具210能够通过一种或多种有线或无线方式进行通信，例如，诸如通用串行总线（或“USB”）或光缆等有线技术，或者诸如Bluetooth®或任何无线保真（或“WiFi”）协议等标准无线协议，诸如通过网络280或直接通信。收发器216还可以包括一些或多个输入/输出（或“I/O”）接口、网络接口和/或输入/输出装置或者与它们通信，并且可以被配置成允许在航空载具210的部件中的一者或多者之间交换信息或数据，或者经由网络280将信息或数据交换到一个或多个其他计算机装置或系统（例如，其他航空载具，未示出）。例如，在一些实施方案中，收发器216可以被配置成协调处理器212与一个或多个机载或外部计算机装置或部件之间的I/O业务。收发器216可以执行任何必要的协议、定时或其他数据转换，以便将数据信号从适合于一个部件使用的第一格式转换成适合于另一部件使用的第二格式。在一些实施方案中，收发器216可以包括支持通过各种类型的外围总线附接的装置，例如，外围部件互连（PCI）总线标准或通用串行总线（USB）标准的变体。在一些其他实施方案中，收发器216的功能可以分成两个或更多个单独部件，或者与处理器212集成。
控制系统220可以包括一个或多个电子变速器、电源、导航系统和/或用于控制航空载具210的操作并用于根据需要而与物品接合或释放物品的有效载荷接合控制器。例如，控制系统220可以被配置成致使或控制推进马达230-1、230-2、……、230-n、螺旋桨240-1、240-2、……、240-n以及成像装置250-1、250-2、……、250-n中的一者或多者的操作，诸如致使推进马达230-1、230-2、……、230-n中的一者或多者使螺旋桨240-1、240-2、……、240-n以期望速度旋转，以便沿着确定或期望的飞行路径引导航空载具210，并且致使成像装置250-1、250-2、……、250-n中的一者或多者捕获任何成像数据（例如，静态或动态图像）以及任何相关联的音频数据和/或元数据。控制系统220还可以控制航空载具210的其他方面，包括但不限于一个或多个控制表面（未示出）的操作，诸如机翼、方向舵、副翼、升降舵、襟翼、制动器、缝翼或期望范围内的其他特征；或者一个或多个接合系统（未示出）与一个或多个物品的接合或释放。在一些实施方案中，控制系统220可以与处理器212、存储器214和/或收发器216中的一者或多者集成。
推进马达230-1、230-2、……、230-n可以是能够产生一个或多个螺旋桨或者其他部件的足够旋转速度的任何类型或形式的马达（例如，电动、汽油发动或任何其他类型的马达），以向航空载具210和由此接合的任何有效载荷提供升力和/或推力，以便航空运输由此接合的有效载荷。例如，推进马达230-1、230-2、……、230-n中的一者或多者可以是无刷直流（DC）马达，诸如外转式无刷马达或内转式无刷马达。
航空载具210可以包括任何数量的任何种类的此类推进马达230-1、230-2、……、230-n。例如，推进马达230-1、230-2、……、230-n中的一者或多者可以对准或被配置成仅仅向航空载具210提供升力，而推进马达230-1、230-2、……、230-n中的一者或多者可以对准或被配置成仅仅向航空载具210提供推力。替代地，推进马达230-1、230-2、……、230-n中的一者或多者可以对准或被配置成根据需要而向航空载具210提供升力和推力。例如，推进马达230-1、230-2、……、230-n在航空载具210上的取向可以固定，或者被配置成改变它们相应的取向，例如，倾斜旋翼飞机。此外，推进马达230-1、230-2、……、230-n可以对准或被配置成在不同能力或额定值下或以不同速度操作，或者联接到具有不同大小和形状的螺旋桨。
螺旋桨240-1、240-2、……、240-n可以是具有连结到桨毂或凸台的多个成形桨叶的任何转子或可旋转系统。螺旋桨240-1、240-2、……、240-n中的每一者可旋转地安装到与推进马达230-1、230-2、……、230-n中的相应一者相关联的桅杆或轴件并且被配置成在流体内旋转时产生推力。螺旋桨240-1、240-2、……、240-n中的每一者可以包括任何数量的桨叶，并且可以本质上是定桨距、可调桨距或变桨距。此外，螺旋桨240-1、240-2、……、240-n中的一者或多者可以任何方式镶边或加护罩。在一些实施方案中，螺旋桨240-1、240-2、……、240-n中的一者或多者可以被配置成围绕竖直轴线旋转，并且相应地在竖直方向上（例如，向上）提供推力。在一些其他实施方案中，螺旋桨240-1、240-2、……、240-n中的一者或多者可以被配置成围绕水平轴线旋转，并且相应地在水平方向上（例如，向前）提供推力。在另外的其他实施方案中，螺旋桨240-1、240-2、……、240-n中的一者或多者可以被配置成围绕既不水平也不竖直的轴线旋转，并且相应地在对应于此类轴线的方向上提供推力。
成像装置250-1、250-2、……、250-n可以是嵌入到相应螺旋桨240-1、240-2、……、240-n的表面中的任何形式的光学记录装置，并且可以用来拍照或以其他方式记录结构、设施、地形或者在航空载具210的操作期间遇到的任何其他元素的成像数据，或者用于任何其他目的。成像装置250-1、250-2、……、250-n可以包括一个或多个传感器、存储器或存储部件以及处理器，并且此类传感器、存储器部件或者处理器还可以包括一个或多个光敏表面、滤波器、芯片、电极、时钟、板、定时器或者任何其他相关特征（未示出）。此类成像装置250-1、250-2、……、250-n可以在航空载具210的操作期间以任何种类或形式的一个或多个静态或动态图像的形式捕获成像数据，以及任何相关音频信号或其他信息，包括但不限于当集成有此类成像装置250-1、250-2、……、250-n的螺旋桨240-1、240-2、……、240-n中的一者或多者以操作速度旋转时。
成像装置250-1、250-2、……、250-n可以通过可能专用或包括内部网络（未示出）的全部或一部分的有线或无线连接而与处理器212和/或控制系统220通信，或者彼此通信。另外，成像装置250-1、250-2、……、250-n可以适配或以其他方式配置成通过网络280与数据处理系统270通信。尽管图2的螺旋桨240-1、240-2、……、240-n中的每一者包括对应于成像装置250-1、250-2、……、250-n中的一者的单个框，但相关领域的一般技术人员将认识到，根据本公开，可以在螺旋桨240-1、240-2、……、240-n的任何数量的桨叶中提供任何数量或类型的成像装置，包括但不限于数码相机、深度传感器或范围相机、红外相机、射线照相相机，或者其他光学传感器。
除了成像装置250-1、250-2、……、250-n外，航空载具210还可以包括用于控制或帮助航空载具210的操作的任何数量的其他传感器、部件或其他特征，包括但不限于用于确定航空载具210在其中操作或可能预期在其中操作的环境的一个或多个属性（包括外来信息或数据或者内在信息或数据）的一个或多个环境或操作传感器。例如，航空载具210可以包括一个或多个全球定位系统（“GPS”）接收器或传感器、罗盘、速度计、高度计、温度计、气压计、湿度计、陀螺仪、空气监测传感器（例如，氧气、臭氧、氢气、一氧化碳或二氧化碳传感器）、臭氧检测器、pH传感器、磁异常检测器、金属检测器、辐射传感器（例如，盖革计数器、中子检测器、α检测器）、姿态指示器、深度计、加速计，或者声音传感器（例如，麦克风、压电传感器、振动传感器或者用于检测和记录来自一个或多个方向的声能的其他换能器）。
数字处理系统270包括一个或多个物理计算机服务器272，所述物理计算机服务器具有一个或多个计算机处理器274和与之相关联的任何数量的数据存储设备276（例如，数据库），并且提供用于任何具体或通用目的。例如，图2的数据处理系统270可以独立地提供用于接收、分析或存储从航空载具210接收的成像数据或者其他信息或数据的专用目的，或者替代地，与被配置成接收、分析或存储此类成像数据或者其他信息或数据的一个或多个物理或虚拟服务结合提供，以及用于一个或多个其他功能。服务器272可以连接到处理器274和数据存储设备276,或以其他方式与其通信，所述数据存储设备可以存储任何类型的信息或数据，包括但不限于与成像数据相关的声学信号、信息或数据，或者关于环境条件、操作特性或位置的信息或数据，以用于任何目的。服务器272和/或计算机处理器274还可以通过发送和接收数字数据而连接到网络280或以其他方式与其通信，如线278所示。例如，数据处理系统270可以包括有能力或容量来接收信息或数据（诸如，媒体文件）并将其存储在一个或多个数据存储设备中的任何设施、站或位置，所述信息或数据是例如经由网络280从航空载具210、或从彼此或者从一个或多个其他外部计算机系统（未示出）接收的媒体文件。在一些实施方案中，数据处理系统270可以设置在物理位置。在其他此类实施方案中，数据处理系统270可以设置在一个或多个备选或虚拟位置，例如，在基于“云”的环境中。在其他实施方案中，数据处理系统270可以设置在一个或多个航空载具上，包括但不限于航空载具210。
网络280可以是任何有线网络、无线网络或其组合，并且可以整个地或部分地包括互联网。此外，网络280可以是个域网、局域网、广域网、电缆网络、卫星网络、蜂窝电话网或者它们的组合。网络280还可以是可能由各个不同方操作的链接网络的可公开访问网络，诸如互联网。在一些实施方案中，网络280可以是私有或半私有网络，诸如，公司内部网或校园内部网。网络280可以包括一个或多个无线网络，诸如全球移动通信系统（GSM）网络、码分多址（CDMA）网络、长期演进（LTE）网络，或者某一其他类型的无线网络。计算机通信领域的技术人员众所周知经由网络或任何其他上述类型的通信网络进行通信的协议和部件，并且因此无需在本文中更详细地描述。
本文中描述的计算机、服务器、装置等具有必要的电子设备、软件、存储器、存储设备、数据库、固件、逻辑/状态机、微处理器、通信链路、显示器或者其他可视或声音用户界面、打印装置，以及任何其他输入/输出接口，以便提供本文中描述的功能或服务中的任一者和/或实现本文中描述的结果。另外，相关领域的一般技术人员将认识到，此类计算机、服务器、装置等的用户可以操作键盘、小键盘、鼠标、触笔、触摸屏或者其他装置（未示出）或方法来与计算机、服务器、装置等交互，或者“选择”项目、链接、节点、中心或本公开的任何其他方面。
航空载具210和/或数据处理系统270可以使用任何支持网络功能的或互联网应用程序或特征，或者任何其他客户-服务器应用程序或特征，包括电子邮件或其他消息传递技术，以便连接到互联网280或者彼此通信，诸如，通过短消息服务（SMS）或多媒体消息服务（MMS）文本消息来实现。例如，航空载具210可以适合经由网络280以同步或异步消息的形式将信息或数据传输到数据处理系统270或者实时地或近实时地或在一个或多个离线进程中传输到任何其他计算机装置（例如，传输到一个或多个其他航空载具）。相关领域的一般技术人员将认识到，航空载具210或数据处理系统270可以操作能够通过网络进行通信的任何数量的计算装置中的任一者或由其操作，包括但不限于机顶盒、个人数字助理、数字媒体播放器、连网板、膝上型计算机、台式计算机、电子书阅读器等等。计算机通信领域的技术人员众所周知用于提供此类装置之间的通信的协议和部件，并且无需在本文中更详细地描述。
本文中描述的数据和/或计算机可执行指令、程序、固件、软件等（在本文中也称为“计算机可执行”部件）可以存储在计算机可读介质上，所述计算机可读介质在计算机或计算机部件内或可由其访问，诸如处理器212或处理器274或者由航空载具210或数据处理系统270利用（例如，由一个或多个其他航空载具利用）的任何其他计算机或控制系统，并且具有指令序列，所述指令序列在由处理器（例如，中央处理单元或“CPU”）执行时致使处理器执行本文中描述的功能、服务和/或方法的全部或一部分。此类计算机可读指令、程序、软件等可以使用与计算机可读介质相关联的驱动机构（诸如，软盘驱动器、CD-ROM驱动器、DVD-ROM驱动器、网络接口等）或者经由外部连接而加载到一个或多个计算机的存储器中。
本公开的系统和方法的一些实施方案也可以被提供为计算机可执行的程序产品，包括存储有指令（采用压缩或未压缩形式）的非暂时性机器可读存储介质，所述指令可以用来对计算机（或其他电子装置）进行编程以执行本文中描述的过程或方法。本公开的机器可读存储介质可以包括但不限于硬盘驱动器、软磁盘、光盘、CD-ROM、DVD、ROM、RAM、可擦除可编程ROM（“EPROM”）、电可擦除可编程ROM（“EEPROM”）、闪存、磁卡或光卡、固态存储器装置，或者可以适用于存储电子指令的其他类型的介质/机器可读介质。此外，实施方案也可以被提供为包括瞬时机器可读信号（采用压缩或未压缩形式）的计算机可执行程序产品。不论是否使用载波调制，机器可读信号的示例都可以包括但不限于托管或运行计算机程序的计算机系统或机器可以被配置成访问的信号，或者包括可能通过互联网或其他网络下载的信号。
如上文论述，航空载具可以包括嵌入或以其他方式集成在航空载具的旋转螺旋桨的一个或多个桨叶内的成像装置。由成像装置捕获的图像可以通过立体成像算法或技术进行处理，以确定到在每个图像中表达的任何物体的范围。参考图3，示出根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个过程的流程图300。
在框310处，具有嵌入到旋转螺旋桨的表面中的数码相机的航空载具离开原点前往目的地。航空载具可以被编程为执行任何任务，例如，将有效载荷从原点交付到目的地，并且其中嵌入有数码相机的旋转螺旋桨可以提供用于产生推力、升力，或者推力和升力。
在框320处，航空载具使用数码相机在时间t 1处在螺旋桨处于取向角度θ1的情况下捕获第一图像。数码相机可以被编程为在航空载具到达给定位置后、在航空载具达到给定速度或给定高度后、在感测到附近的一个或多个物体（例如，碰撞风险）后、在检测到任何预定环境或操作条件后或者出于任何其他原因而自动地开始捕获一个或多个图像。在框330处，航空载具使用数码相机在时间t 2处在螺旋桨处于取向角度θ2的情况下捕获第二图像。数码相机可以被编程为基于螺旋桨的角取向或位置、在预定时间处或者出于任何其他原因而捕获另一图像。例如，在一些实施方案中，数码相机可以被配置成当螺旋桨的取向角度比当捕获第一图像时的螺旋桨的取向角度大或小于一百八十度（180°）时捕获第二图像。作为又一示例，在一些实施方案中，数码相机可以被配置成在捕获第一图像之后的预定经过时间之后捕获第二图像。
在框340处，基于取向角度θ2与θ1的差异Δθ或θ2 - θ1而使第一图像和第二图像相对于彼此取向。例如，第一图像可以相对于第二图像重新取向，或者第二图像可以相对于第一图像重新取向。替代地，第一图像和第二图像中的每一者可以相对于公共标准角度独立地取向。
在框350处，第一图像和第二图像经受基于内容的分析。例如，可以使用一种或多种算法或机器学习工具来评估第一图像和第二图像中的每一者以识别第一图像和第二图像中的一者或两者中表示的任何点的属性，包括但不限于其中表达的物体或物体的部分的任何数量的边缘、轮廓、外形、颜色、纹理、剪影、形状或其他特性。一些此类算法或工具可以包括但不限于Canny边缘检测器或算法；Sobel算子、算法或滤波器；Kayyali算子、Roberts边缘检测算法；Prewitt算子；Frei-Chen方法；或者相关领域的一般技术人员可能已知的任何其他算法或技术。
在框360处，识别第一图像和第二图像中的每一者中的物体。例如，可以识别图像中的一者中的物体，并且可以针对图像中的另一者中的物体执行搜索。在一些实施方案中，可以使用一个或多个转换来校正相应图像的核线，以便将核线与图像的扫描线对准，由此促进在图像中的另一者中搜索在图像中的一者中识别的物体。此后，可以例如通过在相应图像之间匹配像素而在图像中的另一者中识别对应于一个图像中的物体的点的像素，直到识别物体为止。
在框370处，根据一种或多种立体算法和/或技术，基于第一图像和第二图像内的物体的视差、数码相机在时间t 1和时间t 2处的基线间隔以及数码相机的焦距来确定到物体的范围数据。如上文所述，视差被定义为相同场景的两个图像之间的给定点的间隔，而基线间隔是在捕获第一图像时（例如，在时间t 1处）数码相机的位置与在捕获第二图像时（例如，在时间t 2处）数码相机的第二位置之间的距离，并且数码相机的焦距是数码相机内的传感器与镜头之间的距离。立体测距算法或技术可以使用视差、基线间隔和焦距，以便确定到物体的范围或距离，或者到物体的一个或多个方面的范围或距离。在框380处，将范围数据存储在一个或多个数据存储设备中，并且所述过程结束。范围数据可以用于任何目的，例如，用于导航、引导、监督、防止碰撞，或者任何其他目的。
参考图4A、图4B和图4C，示出根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统400的各方面的视图。除非另外注明，否则图4A、图4B和图4C中示出的数字“4”之后的附图标记指示与具有图2中示出的数字“2”或图1A至图1E中示出的数字“1”之后的附图标记的部件或特征类似的部件或特征。
如图4A所示，示出具有螺旋桨440的航空载具410，所述螺旋桨具有嵌入在其下侧中的成像装置450。示出航空载具410在接近具有一个或多个结构、障碍物和/或其他物体（例如，家和自行车）的场景内的空间中的点P(x,y,z)。当螺旋桨440以角度θ1和θ2对准时，在时间t 1和t 2处，点P(x,y,z)在成像装置450的视野内。也如图4A所示，在时间t 1处且在螺旋桨440以角度θ1对准的情况下捕获的图像40-1包括点P(x,y,z)的投影U 1。在时间t 2处且在螺旋桨440以角度θ2对准的情况下捕获的倒像40-2’包括点P(x,y,z)的投影U 2。在角度θ2与角度θ2分开一百八十度（180°）的情况下，可以通过使在时间t 2处捕获的图像旋转一百八十度（180°）来得到倒像40-2’。成像装置450在时间t 1处的位置与成像装置450在时间t 2处的位置的基线间隔是大约2r，或者从螺旋桨440的桨毂到成像装置450的距离的半径r的两倍。
可以通过实质上使图像40-1、40-2’重叠并且确定图像40-1、40-2’两者中示出的每个点的投影之间的视差来确定到空间中的点P(x,y,z)或者到图像40-1和倒像40-2’两者内表达的一个或多个其他点的范围或距离。如图4B所示，在图像40-1和倒像40-2’彼此重叠的情况下，图像40-1、40-2’内的空间中的点P(x,y,z)的投影U 1、U 2之间的视差很明显。
如图4C所示，可以通过使用已知的基线间隔2r、焦距f、图像40-1和旋转图像40-2’内的点P(x,y,z)的投影U 1、U 2进行立体测距来确定到点P(x,y,z)的范围z。立体测距算法和技术可以通过使用焦距f和基线间隔2r对成像装置450在时间t 1和时间t 2处的位置、投影U 1、U 2进行散焦测量来自动地确定点P(x,y,z)的位置，并且因此确定到点P(x,y,z)的范围z。
尽管图4A、图4B和图4C描绘确定空间中的单个点P(x,y,z)的位置和/或到所述点的范围，但本公开的系统和方法并不如此限制，并且根据相同立体测距算法或技术或者根据一种或多种其他算法或技术，可以用来确定在图像40-1、40-2’中的两者中出现的每一个点的位置和/或到所述点的范围。使用此类位置或范围，可以构建场景和/或结构、物体或其他特征的任何形式的三维表示，包括但不限于表示在图像40-1、40-2’中的两者中出现的点中的每一者的像素级位置的点云，或者示出到场景内的物体中的一者或多者的平均或标称范围以及表示此类范围的准确性或精度的一个或多个容差或置信水平的深度图，例如，图1E的深度图15。由于图4A的航空载具410的螺旋桨440通常以每分钟数千转的角速度旋转，因此成像装置450同时有效地出现在两个地方（例如，在一转眼的工夫内）。因此，由单个成像装置450捕获的图像可以用于确定从螺旋桨440到在两个或更多个此类图像中表达的一个或多个物体的范围。
如上文所述，由集成到螺旋桨表面中的成像装置捕获的图像可以在任何基础上相对于彼此取向，诸如通过使一个图像相对于另一图像重新取向，或者通过使每个图像相对于公共标准重新取向。参考图5A至图5C，示出根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统的各方面的视图。除非另外注明，否则图5A、图5B或图5C中示出的数字“5”之后的附图标记指示与具有图4A、图4B或图4C中示出的数字“4”、图2中示出的数字“2”或图1A至图1E中示出的数字“1”之后的附图标记的部件或特征类似的部件或特征。
参考图5A，示出由嵌入在螺旋桨中的成像装置捕获的两个图像50A-1、50A-2。图像50A-1是在螺旋桨处于零度（0°）的角度θ1下捕获的，而图像50A-2是在螺旋桨处于大于零度的角度θ2下捕获的。因此，为了使图像50A-1、50A-2相对于彼此适当地取向，图像50A-2可以相反方向上旋转角度θ2以形成图像50A-2’，由此确保图像50A-1、50A-2’相对于彼此适当地对准，并且消除螺旋桨的取向对相应图像50A-1、50A-2的影响。在图像50A-1、50A-2’相对于彼此适当地对准的情况下，可以识别对应于在图像50A-1、50A-2’中的每一者中出现的物体的点，并且可以例如通过立体测距算法或技术来确定到此类物体的距离（或范围）。
相反，参考图5B，示出由嵌入在螺旋桨中的成像装置捕获的两个图像50B-1、50B-2。图像50B-1是在螺旋桨处于小于零度（0°）的角度θ1下捕获的，而图像50B-2是在螺旋桨处于等于零度的角度θ2下捕获的。因此，为了使图像50B-1、50B-2相对于彼此适当地取向，图像50B-1可以相反方向上旋转角度θ1以形成图像50B-1’，由此确保图像50B-1’、50B-2相对于彼此适当地对准，并且消除螺旋桨的取向对相应图像50B-1、50B-2的影响。
图像也可以相对于标准取向角度重新取向，而不是图像中的任一者的取向角度。参考图5C，示出由嵌入在螺旋桨中的成像装置捕获的两个图像50C-1、50C-2。图像50C-1是在螺旋桨处于大于零度（0°）的角度θ1下捕获的，而图像50C-2是在螺旋桨处于小于零度的角度θ2下捕获的。因此，为了使图像50C-1、50C-2相对于彼此适当地取向，在标准取向角度θSTD下，图像50C-1可以在相反方向上旋转角度（θ1 – θSTD）以形成图像50C-1’，并且图像50C-2可以在相反方向上旋转角度（θSTD – θ2）以形成图像50C-2’，由此确保图像50C-1’、50C-2在标准取向角度θSTD下相对于彼此适当地对准，并且消除螺旋桨的取向对相应图像50C-1、50C-2的影响。
如上文论述，本公开的系统和方法可以用来确定在由集成到航空载具的旋转螺旋桨的桨叶中的成像装置或者由设置在航空载具上的任何数量的其他成像装置捕获的场景的两个或更多个图像中出现的任何数量的点的位置（或者到此类点的范围或距离）。使用此类位置（或者到其的范围或距离），可以构建场景的三维表示，包括点云、深度图或者表示场景的地理或地形布局的任何其他虚拟结构。参考图6，示出根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个过程的流程图600。在框610处，航空载具利用嵌入到至少一个螺旋桨表面中的至少一个成像装置进行操作。所述航空载具可以包括嵌入到一个螺旋桨的单个桨叶中的单个成像装置，诸如，嵌入到图1A至图1D的螺旋桨140-4的第一桨叶144-4中的成像装置150，或者嵌入到多个螺旋桨的多个桨叶的表面中的多个成像装置。
在框620处，航空载具开始测距操作，其中航空载具被配置成确定到存在于航空载具下方的任何数量的点（例如，对应于结构或物体的表面的点）的范围或距离，诸如当出于任何原因搜索用于航空载具着陆的合适位置时。替代地，航空载具可以执行测距操作来确定到在航空载具的上方、前面、后面、左边或右边或者在相对于航空载具的任何其他方向上并且在由集成到操作螺旋桨中的成像装置捕获的两个或更多个图像中出现的点的范围或距离。
在框630处，成像装置在螺旋桨桨叶处于第一选定角取向下捕获图像。桨叶可以相对于航空载具以任何角度对准，例如，横向于行进方向、沿着行进方向，或者在任何其他取向上。在框635处，成像装置将第一图像存储在机载存储器中，例如在一个或多个数据库、数据存储设备或者设置在航空载具上的其他部件中。替代地，在一些实施方案中，航空载具可以使用一个或多个收发器将第一图像传输到基于地面或基于“云”的处理设施，或者传输到此类设施中的一者或多者。第一图像可以在同步或异步过程中传输到此类设施中的一者或多者，例如，实时地或近实时地，并且逐个地或作为分批过程的一部分。替代地，第一图像和任何数量的其他图像可以在任务完成后传输到另一设施，例如，用于在由成像装置捕获的图像中表达的任何表面特征的法医分析。
在框640处，成像装置标识第一图像内的多个点。例如，此类点可以对应于在第一图像中示出的物体或此类物体的部分的一个或多个边缘、轮廓、外形、颜色、纹理、剪影、形状或其他特性，所述特性可以使用一种或多种算法或机器学习工具在所述第一图像中识别。替代地，所述点可以由设置在基于地面或基于“云”的处理设施处或者设置在此类设施中的一者或多者处的计算机装置识别，例如，实时地、近实时地或者在任何稍后时间识别。
在框650处，成像装置在螺旋桨桨叶处于下一选定角取向下捕获下一图像。例如，成像装置可以被配置成在预定时间或者当螺旋桨桨叶到达预定取向时捕获下一图像。在一些实施方案中，可以基于螺旋桨或者螺旋桨可旋转地联接到的马达的操作速度（例如，角速度）来选择预定时间或预定取向。在框655处，成像装置将下一图像存储在机载存储器中，并且在框660处，成像装置标识先前在下一图像中标识的多个点中的至少一些。替代地，如上文论述，所述成像装置可以将下一图像传输到基于地面或基于“云”的处理设施或者传输到此类设施中的一者或多者，以用于存储或处理，例如，实时地、近实时地或者在任何之后的时间传输。
在框670处，成像装置基于最近图像内的此类点的视差、在捕获最近图像中的每一者时成像装置的间隔和/或在捕获最近图像时成像装置的焦距来确定到所标识的点的范围。例如，如上文论述，可以使图像相对于彼此重新取向（例如，相对于图像的内容），并且可以在其中识别在两个最近图像中的每一者内标识的点的投影。随后可以确定此类投影之间的视差，并且使用所述视差、基线间隔和成像装置的焦距，可以根据一种或多种立体测距算法或技术来确定到所标识的点的范围。在框680处，将到在最近图像的时间处的所标识的点的范围存储在机载存储器中，或者替代地存储在一个或多个基于地面或基于“云”的设施上，并且可将其用于任何目的。例如，所述范围可以用来限定给定区域的点云或深度图，并且点云或深度图可以用来识别供航空载具着陆的具体位置，或者用于测距操作在框620处开始的任何其他原因。
在框690处，确定测距操作是否完成。例如，如果已经完成了操作的测距目标（例如，识别着陆地点或位置，或者以适当的分辨率或精度构建点云或深度图），则所述过程结束。然而，如果测距操作没有完成，则所述过程返回到框650，其中成像装置例如在预定时间处在螺旋桨桨叶处于下一选定角取向下或者当螺旋桨桨叶到达选定角取向时捕获下一图像，并且所述过程重复，直到确定测距操作已经完成为止。考虑到通常在航空载具（例如，UAV）机载的螺旋桨的操作期间观察到高角速度，可以基于以较高频率捕获的图像对来迅速且精确地改善此类点云或深度图的准确性。
如上文论述，本公开的系统和方法可以用于使用航空载具来执行任何测距操作，包括但不限于构建给定区域的深度图。参考图7，示出根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统700的各方面的视图。除非另外注明，否则图7中示出的数字“7”之后的附图标记指示与具有图5A、图5B或图5C中示出的数字“5”、图4A、图4B或图4C中示出的数字“4”、图2中示出的数字“2”或图1A至图1E中示出的数字“1”之后的附图标记的部件或特征类似的部件或特征。
如图7所示，示出具有围绕桨毂742安装的第一桨叶744和第二桨叶746的螺旋桨740。第一桨叶744包括嵌入在其一个表面中的成像装置750。螺旋桨740被配置成在例如连结到桨毂742的一个或多个马达（未示出）的动力下围绕桨毂742旋转。
成像装置750可以被配置成以规律的角间隔捕获任何数量的图像，并且使用此类图像来限定深度或范围信息的深度图或其他表示。如图7所示，在第一桨叶744相对于桨毂742分别以角度θ和-θ对准的情况下，成像装置750捕获图像70-1、70-2、70-3、70-4等等。随后可以分析图像70-1、70-2、70-3、70-4以标识其中的一个或多个物体，并且根据一种或多种立体测距算法或技术来处理所述图像以确定到此类物体的范围，或者到对应于此类物体的图像的区域的范围。基于图像70-1、70-2、70-3、70-4的分析确定的范围可以聚合成多个深度图75-1、75-2、75-3等等，所述深度图可以使用连续捕获的图像迭代地更新，以便确定到此类物体或区域的范围是否改变并且程度如何，由此有效地构建随时间推移而改变的航空载具在其中操作的场景的动态点云、深度图或其他三维模型。在相对于彼此分析此类图像之前，或者在搜索图像中的一个或多个物体之前，图像70-1、70-2、70-3、70-4可以根据需要旋转或以其他方式重新对准。
因此，根据本公开，当使用借助嵌入或以其他方式集成到旋转螺旋桨的桨叶的表面中的成像装置捕获的图像来确定测距信息时，可以根据需要创建和更新动态范围图。在螺旋桨以足够高的角速度例如大约每分钟数千转（rpm）旋转的情况下，嵌入在螺旋桨的桨叶中的成像装置可以立刻有效地存在于两个位置，并且可以根据一种或多种立体测距算法或技术来分析由成像装置在不同位置捕获的图像，以便得出图像的范围信息。可以出于任何原因确定所述范围，包括但不限于识别用于以下项的地点或位置：使航空载具着陆（例如，可以容纳航空载具的一个或多个维度的足够大、平坦且耐用的表面）、导航航空载具（例如，识别用于导航目的的地形或轮廓），或者搜索或避开一个或多个空中或基于地面的物体。
根据本公开，任何数量的螺旋桨桨叶可以包括集成在其中的任何数量的成像装置，并且此类成像装置可以相对于安装螺旋桨桨叶的桨毂集成在不同半径处。参考图8A和图8B，示出根据本公开的实施方案的其中集成有用于确定立体距离信息的成像装置的螺旋桨桨叶840A、840B的视图。除非另外注明，否则图8A或图8B中示出的数字“8”之后的附图标记指示与具有图7中示出的数字“7”、图5A、图5B或图5C中示出的数字“5”、图4A、图4B或图4C中示出的数字“4”、图2中示出的数字“2”或图1A至图1E中示出的数字“1”之后的附图标记的部件或特征类似的部件或特征。
如图8A所示，螺旋桨840A包括桨毂842A和一对桨叶844A-1、844A-2。桨叶844A-1包括在距桨毂842A的距离r A-1处嵌入其中的成像装置850A-1。桨叶844A-2包括在距桨毂842A的距离r A-2处嵌入其中的成像装置850A-2。
螺旋桨840A可以用来以任何模式或格式捕获深度信息。例如，由于成像装置850A-1、850A-2位于彼此的固定基线距离（例如，距离r A-1、r A-2之和）处，因此成像装置850A-1、850A-2可以彼此协作地捕获图像，并且可以例如根据一种或多种立体测距算法或技术来评估此类图像以从中确定范围信息。替代地，成像装置850A-1、850A-2可以用来独立地捕获图像，所述图像可以进行分析和处理以便确定到任何数量的点的范围信息（例如，对应于一个或多个物体的表面的点）。例如，成像装置850A-1可以被配置成当桨叶844A-1在一个或多个预定取向处或者在一个或多个预定时间对准时捕获图像，并且成像装置850A-2可以单独地被配置成当桨叶844A-2在一个或多个预定取向处或者在一个或多个预定时间对准时捕获图像。由相应成像装置850A-1、850A-2单独地捕获的图像可以用来确定关于从相应桨叶844A-1、844A-2到一个或多个点的范围的深度信息。距离r A-1、r A-2不需要彼此相等，并且成像装置850A-1、850A-2中的每一者可以具有集成在其中的不同能力、规格或额定值，其中此类成像装置相应地用于不同目的。
如图8B所示，螺旋桨840B包括具有三个桨叶844B-1、844B-2、844B-3的桨毂8423B。桨叶844B-1包括在距桨毂842B的距离r B-1处嵌入其中的成像装置850B-1。桨叶844B-2包括在距桨毂842B的距离r B-2处嵌入其中的成像装置850B-2。桨叶844B-3包括在距桨毂842B的距离r B-3处嵌入其中的成像装置850B-3。如上文关于图8A的螺旋桨840A和成像装置850A-1、850A-2论述，成像装置850B-1、850B-2、850B-3可以彼此协作地捕获图像，并且可以例如根据一种或多种测距算法或技术来评估此类图像以从中确定范围信息。成像装置850B-1、850B-2、850B-3中的任两者之间的基线距离可以根据三角形性质和/或传统三角函数来确定。替代地，成像装置850B-1、850B-2、850B-3可以用来例如当桨叶844B-1、844B-2、844B-3在预定取向处或在预定时间对准时独立地捕获图像，并且可以分析和处理此类图像以便确定到空间中的一个或多个点的范围信息。距离r B-1、r B-2、r B-3不需要彼此相等。成像装置850B-1、850B-2、850B-3中的每一者可以具有集成在其中的不同能力、规格或额定值，其中此类成像装置相应地用于不同目的。
根据本公开，使用由集成到航空载具机载的螺旋桨桨叶中的成像装置捕获的图像来确定深度信息可以由使用集成到航空载具的非旋转部分（诸如，框架、机身、控制表面，或者一个或多个其他部件或其表面）中的成像装置捕获的图像增强。参考图9A至图9D，示出根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统的各方面的视图。除非另外注明，否则图9A、图9B、图9C或图9D中示出的数字“9”之后的附图标记指示与具有图8A或图8B中示出的数字“8”、图7中示出的数字“7”、图5A、图5B或图5C中示出的数字“5”、图4A、图4B或图4C中示出的数字“4”、图2中示出的数字“2”或图1A至图1E中示出的数字“1”之后的附图标记的部件或特征类似的部件或特征。
参考图9A，航空载具910包括控制中心920、多个马达930-1、930-2、930-3、930-4，以及多个螺旋桨940-1、940-2、940-3、940-4，其中螺旋桨940-1、940-2、940-3、940-4中的每一者可旋转地联接到马达930-1、930-2、930-3、930-4中的一者。航空载具910还包括多个成像装置950-1、950-2、950-3、950-4、950-5，其中成像装置950-1、950-2、950-3、950-4中的每一者安装到螺旋桨940-1、940-2、940-3、940-4中的一者的桨叶，并且其中成像装置950-5安装到航空载具910的框架，例如，在控制中心920的下方。
由非旋转成像装置950-5捕获的图像可以与由旋转成像装置950-1、950-2、950-3、950-4中的一者或多者捕获的图像结合使用，以确定关于到航空载具910下方的点的距离或范围的信息。例如，如图9B所示，螺旋桨940-4包括安装到桨毂942-4的第一桨叶944-4和第二桨叶946-4，所述桨毂连结到马达930-4，其中第一桨叶944-4具有在距桨毂942-4的距离r处嵌入其中的成像装置950-4。马达930-4和桨毂942-4位于距非旋转成像装置950-5的距离l处。因此，当第一桨叶944-4以图9B所示的角度θ1取向时，非旋转成像装置950-5与旋转成像装置950-4之间的基线间隔等于l + r。如图9C所示，当第一桨叶944-4以图9C所示的角度θ2取向时，非旋转成像装置950-5与旋转成像装置950-4之间的基线间隔等于l - r。任何数量的其他基线间隔可以根据三角形性质和/或传统三角函数、基于第一桨叶944-4的取向角度来确定。
因此，使用非旋转成像装置950-5和旋转成像装置950-4或者其他旋转成像装置950-1、950-2、950-3中的任一者捕获的图像可以用于例如通过立体测距算法或技术来作出到航空载具910下方的一个或多个点的深度信息的独立确定。此类确定可以增加与航空载具910相关联的可用深度信息或者从中生成的任何深度图或深度模型的准确性，并且可以过滤掉由立体测距算法或技术使用由成像装置950-1、950-2、950-3、950-4、950-5中的任一者捕获的图像确定的无关或不准确结果。
此外，成像装置950-1、950-2、950-3、950-4、950-5中的任一者可以被配置成同时捕获成像数据，并且可以处理此类成像数据中的任一者，以用于任何目的，包括但不限于确定到航空载具910下方的一个或多个点的立体距离信息。如图9D所示，航空载具910和/或控制中心920可以单独地或协作地操作成像装置950-1、950-2、950-3、950-4、950-5，以捕获静态或动态图像，以及关于在航空载具910下方的出现在由成像装置950-1、950-2、950-3、950-4、950-5中的一者或多者捕获的两个或更多个图像中的任何数量的点的任何相关联音频信息或元数据。
具有集成到桨叶中的成像装置的螺旋桨或用于使此类螺旋桨围绕轴线旋转的马达还可以包括沿着轴线对准的成像装置，并且由相应成像装置捕获的图像可以用于根据一种或多种立体测距算法或技术来确定到点的范围或距离。参考图10A至图10C，示出根据本公开的实施方案的用于使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息的一个系统的各方面的视图。除非另外注明，否则图10A、图10B或图10C中示出的数字“10”之后的附图标记指示与具有图9A、图9B、图9C或图9D中示出的数字“9”、图8A或图8B中示出的数字“8”、图7中示出的数字“7”、图5A、图5B或图5C中示出的数字“5”、图4A、图4B或图4C中示出的数字“4”、图2中示出的数字“2”或图1A至图1E中示出的数字“1”之后的附图标记的部件或特征类似的部件或特征。
如图10A至图10C所示，马达1030包括可旋转地联接到所述马达的螺旋桨1040。螺旋桨1040包括第一桨叶1044和第二桨叶1046，并且成像装置1050-1集成到第一桨叶1044的下侧中。另外，成像装置1050-2也集成到马达1030的下侧中。成像装置1050-1和成像装置1050-2对准，使得它们相应的旋转轴线彼此平行，并且相应成像装置1050-1、1050-2的视野在很大程度上相交并重叠，其中相交和重叠在马达1030下方的标称距离处开始。
马达1030被配置成使螺旋桨1040围绕与成像装置1050-2的旋转轴线重合的轴线旋转。因此，由于成像装置1050-1集成到第一桨叶1044的下侧中、在距螺旋桨1040的桨毂或凸台的距离r处，因此不论第一桨叶1044的取向角度如何，成像装置1050-1和成像装置1050-2保持在距彼此的固定距离r处。例如，如图10A、图10B和图10C所示，不论第一桨叶1044以第一角度θ1、第二角度θ2还是第三角度θ3对准。因此，在第一桨叶1044处于任何角取向，例如，在第一角度θ1、第二角度θ2或第三角度θ3中的一者或多者处或者在任何中间角度处时，螺旋桨1040和马达1030以及设置在其上的成像装置1050-1、1050-2可以用来确定到成像装置1050-1、1050-2两者的视野内的点的立体距离信息。此外，由于成像装置1050-2可以用来以高速率连续地或基本上连续地捕获场景的图像，因此成像装置1050-2可以从不同角度捕获所述场景的图像，由此增强使用此类图像确定的任何立体距离信息的准确性，并且提高从立体距离信息中生成的任何点云、深度模型或其他表示的分辨率。
本文中公开的实现方式可以包括一种无人航空载具，其包括：框架；第一推进马达，其安装到所述框架，其中所述第一推进马达被配置成使第一轴件围绕由所述第一轴件限定的第一轴线旋转；第一螺旋桨，其具有第一多个桨叶，其中所述第一螺旋桨可旋转地联接到所述第一轴件；第一数码相机，其嵌入在所述第一多个桨叶中的第一个桨叶的下侧中；以及至少一个计算机处理器。所述至少一个计算机处理器可以被配置成至少：致使所述第一推进马达使所述第一螺旋桨以第一预定速度旋转；致使所述第一数码相机在第一时间捕获第一数字图像，其中在其中嵌入有所述第一数码相机的所述第一桨叶在所述第一时间沿第一角取向对准；致使所述第一数码相机在第二时间捕获第二数字图像，其中在其中嵌入有所述第一数码相机的所述第一桨叶在所述第二时间沿第二角取向对准；确定所述第一数码相机在所述第一时间的第一位置与所述第一数码相机在所述第二时间的第二位置之间的基线距离；在所述第一图像的至少一部分内标识所述无人航空载具下方的物体的一部分的第一表示；在所述第二图像的至少一部分内标识所述无人航空载具下方的所述物体的所述部分的第二表示；至少部分地基于所述基线距离、所述第一数码相机的焦距、所述第一表示和所述第二表示来确定所述物体的所述部分的第一位置；以及至少部分地基于所述第一位置来确定到所述无人航空载具下方的所述物体的所述部分的第一距离。
可选地，所述无人航空载具的所述至少一个计算机处理器还可以被配置成至少：限定从所述成像装置的所述第一位置延伸穿过所述物体的所述部分的所述第一表示的第一线；限定从所述成像装置的所述第二位置延伸穿过所述物体的所述部分的所述第二表示的第二线；以及识别所述第一线和所述第二线的交叉点，其中至少部分地基于所述第一线和所述第二线的所述交叉点来确定所述物体的所述部分的所述第一位置。可选地，所述无人航空载具的所述至少一个计算机处理器还可以被配置成至少：至少部分地基于所述第一预定速度而选择所述第二角取向或所述第二时间中的至少一者。可选地，所述无人航空载具还可以包括：第二推进马达，其安装到所述框架，其中所述第二推进马达被配置成使第二轴件围绕由所述第二轴件限定的第二轴线旋转；第二螺旋桨，其具有第二多个桨叶，其中所述第二螺旋桨可旋转地联接到所述第二轴件；以及第二数码相机，其嵌入在所述第二多个桨叶中的第二个桨叶的下侧中。
本文中公开的实现方式可以包括一种方法，其包括：由第一成像装置在第一时间捕获场景的至少一部分的第一图像，其中所述第一成像装置可以集成到第一航空载具的第一螺旋桨的第一桨叶的第一表面中、在距所述第一螺旋桨的第一桨毂的第一半径处，并且其中所述第一螺旋桨可以第一角速度旋转；由所述第一成像装置在第二时间捕获所述场景的至少所述部分的第二图像；由至少一个计算机处理器标识所述第一图像中的所述场景的至少一个点；由所述至少一个计算机处理器标识所述第二图像中的所述场景的所述至少一个点；以及由所述至少一个计算机处理器至少部分地基于所述第一图像和所述第二图像来确定到所述场景的所述至少一个点的第一范围。
可选地，所述方法还可以包括：确定所述第一成像装置在所述第一时间的第一位置；确定所述第一成像装置在所述第二时间的第二位置；确定所述第一位置与所述第二位置之间的基线距离，其中可以至少部分地基于所述基线距离来确定到所述场景的所述至少一个点的所述第一范围。可选地，所述第一桨叶可以在所述第一时间处于第一角取向上，并且在所述第二时间处于第二角取向上，其中所述第二角取向与所述第一角取向分开大约一百八十度，并且其中所述基线距离是所述第一半径的大约两倍。可选地，所述方法还可以包括：由所述至少一个计算机处理器识别所述第一图像中的所述场景的所述至少一个点的第一表示；由所述至少一个计算机处理器识别所述第二图像中的所述场景的所述至少一个点的第二表示；由所述至少一个计算机处理器限定从所述第一位置穿过所述第一表示的第一核线；由所述至少一个计算机处理器限定从所述第二位置穿过所述第二表示的第二核线；由所述至少一个计算机处理器确定所述第一核线和所述第二核线的交叉点的位置；以及由所述至少一个计算机处理器至少部分地基于所述第一核线和所述第二核线的所述交叉点的所述位置来确定到所述物体的所述第一范围。
可选地，所述方法还可以包括：在所述第一时间确定所述第一桨叶的第一角取向；在所述第二时间确定所述第一桨叶的第二角取向；以及基于所述第一角取向与所述第二角取向之间的差异而使所述第一图像和所述第二图像相对于彼此对准。
可选地，所述方法还可以包括：由所述至少一个计算机处理器标识所述第一图像的多个点；由所述至少一个计算机处理器标识所述第二图像中的所述多个物体中的至少一些的部分；由所述至少一个计算机处理器至少部分地基于所述第一图像和所述第二图像来确定到所述场景的所述多个点中的所述至少一些的范围，其中所述第一范围可以是所述范围中的一者；以及至少部分地基于所述范围来限定所述场景的点云，其中深度图表示到多个区域中的每一者的距离，并且其中所述深度图的所述区域中的每一者对应于所述多个物体中的所述至少一些的所述部分中的一者。可选地，所述方法还可以包括：由所述至少一个计算机处理器至少部分地基于所述点云来选择所述航空载具的着陆地点。
可选地，所述方法还可以包括：由第二成像装置在所述第一时间或所述第二时间捕获所述场景的至少所述部分的第三图像，其中所述第二成像装置可以集成到所述第一螺旋桨的第二桨叶的第二表面中、在距所述第一桨毂的第二半径处；由所述至少一个计算机处理器标识所述第三图像中的所述场景的所述至少一个点；以及由所述至少一个计算机处理器至少部分地基于所述第三图像以及所述第一图像或所述第二图像中的一者来确定到所述场景的所述至少一个点的第二范围。可选地，所述方法还可以包括：由第二成像装置在所述第一时间或所述第二时间捕获所述场景的至少所述部分的第三图像，其中所述第二成像装置可以集成到所述第一航空载具的框架或可旋转地联接到所述第一螺旋桨的第一马达中的至少一者的第二表面中；由所述至少一个计算机处理器标识所述第三图像中的所述场景的所述至少一个点；以及至少部分地基于所述第三图像以及所述第一图像或所述第二图像中的一者来确定到所述场景的所述至少一个点的第二范围。
可选地，所述方法还可以包括：由第二成像装置在所述第一时间或所述第二时间中的一者捕获所述场景的至少所述部分的第三图像，其中所述第二成像装置可以集成到所述第一航空载具的第二螺旋桨的第二桨叶的第二表面中、在距所述第二螺旋桨的第二桨毂的第二半径处，并且其中所述第二螺旋桨可以第二角速度旋转；由所述至少一个计算机处理器标识所述第三图像中的所述场景的所述至少一个点；以及至少部分地基于所述第三图像以及所述第一图像或所述第二图像中的一者来确定到所述场景的所述至少一个点的第二范围。可选地，所述第一时间与所述第二时间之间的差异可以是大约一百分之一秒。可选地，第一角速度可以是每分钟至少三千转。
本文中公开的实现方式可以包括一种螺旋桨，其包括：桨毂，其被配置用于安装到推进马达的轴件，其中所述轴件限定旋转轴线；第一桨叶，其连结到所述桨毂；以及第一成像装置，其嵌入在所述第一桨叶的第一表面内、在距所述桨毂的第一半径处，其中所述第一成像装置包括第一镜头，所述第一镜头具有基本上平行于由所述轴件限定的所述旋转轴线对准的第一取向轴线。可选地，所述螺旋桨也可以可旋转地安装到所述推进马达的所述轴件，所述第一成像装置可以被配置成在第一时间或在所述第一桨叶以第一角取向对准的情况下捕获第一图像，并且被配置成在第二时间或在所述第一桨叶以第二角取向对准的情况下捕获第二图像。可选地，所述第一取向可以距所述第二取向一百八十度。
可选地，所述螺旋桨还可以包括：第二桨叶，其连结到所述桨毂；以及第二成像装置，其嵌入在所述第二桨叶的第二表面内、在距所述桨毂的第二半径处，并且所述第二成像装置可以包括第二镜头，所述第二镜头具有基本上平行于由所述轴件限定的所述旋转轴线对准的第二取向轴线。
尽管本文中已经使用用于实施本公开的系统和方法的示例性技术、部件和/或过程描述了本公开，但相关领域的技术人员应理解，可以使用或执行其他技术、部件和/或过程或者本文中描述的技术、部件和/或过程的其他组合和顺序，它们实现本文中描述的相同功能和/或结果并且被包括在本公开的范围内。
如本文中使用，术语“向前”飞行或“水平”飞行是指在基本上平行于地面（即，海平面）的方向上飞行。如本文中使用，术语“竖直”飞行是指在基本上从地球的中心径向地向外的方向上飞行。相关领域的一般技术人员将认识到，飞行轨迹可以包括“向前”飞行或“水平”飞行和“竖直”飞行矢量两者的分量。
尽管本文中公开的实施方案中的一些参考使用无人航空载具将有效载荷从仓库或其他类似设施交付到客户，但相关领域的一般技术人员将认识到，本文中公开的系统和方法并不如此限制，并且可以与具有固定或旋转机翼的任何类型或形式的航空载具（例如，有人或无人）结合使用，以用于任何意图的工业、商业、娱乐或其他用途。
应理解，除非本文中另外明确或暗示地说明，否则与本文中的特定实施方案有关的任何特征、特性、替代方案或更改也可以与本文中描述的任何其他实施方案一起应用、使用或合并，并且本公开的附图和具体实施方式意图涵盖对如由所附权利要求限定的各种实施方案的所有更改、等效物和替代方案。此外，至于本文中描述的本公开的一个或多个方法或过程（包括但不限于，图3或图6的流程图中表示的过程），呈现此类方法或过程的顺序并不意图被解释为对所要求保护的发明的任何限制，而是本文中描述的任何数量的方法或过程步骤或框可以采用任何顺序和/或并行地组合，以实施本文中描述的方法或过程。另外，本文中的附图并非按比例绘制。
除非另有明确说明，或者根据使用的上下文以其他方式理解，否则诸如“可”、“可以”、“可能”或“也许”等条件性语言通常意图以容许的方式传达：某些实施方案可以包括或有可能包括，但并不命令或要求，某些特征、元件和/或步骤。通过类似的方式，诸如“包括（include）”、“包括（including）”和“包括（includes）”等术语通常意图是指“包括但不限于”。因此，这种条件性语言通常并不意图暗示：一个或多个实施方案无论如何都要求特征、元件和/或步骤，或者无论有或没有用户输入或提示，一个或多个实施方案都必须包括用于决定在任何特定实施方案中是否包括或执行这些特征、元件和/或步骤的逻辑。
除非另有明确说明，否则诸如短语“X、Y或Z中的至少一者”或者“X、Y和Z中的至少一者”等析取语言在所使用的上下文中应被理解为大体表示项目、术语等可以是X、Y或Z或者它们的任意组合（例如，X、Y和/或Z）。因此，这些析取语言通常并不且不应意图暗示某些实施方案要求分别存在X中的至少一者、Y中的至少一者以及Z中的至少一者。
除非另有明确说明，否则诸如“一个”或“一种”等冠词应通常被解释为包括一个或多个所描述的项目。因此，诸如“被配置成……的一种装置”的短语意图包括一个或多个叙述的装置。此类一个或多个叙述的装置也可以共同被配置成执行所述的详述。例如，“被配置成执行详述A、B和C的一种处理器”可以包括与被配置成执行详述B和C的第二处理器结合工作的被配置成执行详述A的第一处理器。
本文中使用的程度语言，诸如本文中使用的术语“约”、“大约”、“大体上”、“几乎”或“基本上”，表示与所述值、量或特性接近的仍执行期望功能或实现期望结果的值、量或特性。例如，术语“约”、“大约”、“大体上”、“几乎”或“基本上”可以是指在小于所述量的10%内、小于5%内、小于1%内、小于0.1%内和小于0.01%内的量。
尽管已经参考本发明的说明性实施方案描述并说明了本发明，但在不脱离本公开的精神和范围的情况下，可以对本发明进行上述和各种其他添加和省略。

Claims (20)

1.一种无人航空载具，其包括：
框架；
第一推进马达，其安装到所述框架，其中所述第一推进马达被配置成使第一轴件围绕由所述第一轴件限定的第一轴线旋转；
第一螺旋桨，其具有第一多个桨叶，其中所述第一螺旋桨可旋转地联接到所述第一轴件；
第一数码相机，其嵌入在所述第一多个桨叶中的第一桨叶的下侧中；以及
至少一个计算机处理器，
其中所述至少一个计算机处理器被配置成至少：
致使所述第一推进马达使所述第一螺旋桨以第一预定速度旋转；
致使所述第一数码相机在第一时间捕获第一数字图像，其中在其中嵌入有所述第一数码相机的所述第一桨叶在所述第一时间沿第一角取向对准；
致使所述第一数码相机在第二时间捕获第二数字图像，其中在其中嵌入有所述第一数码相机的所述第一桨叶在所述第二时间沿第二角取向对准；
确定所述第一数码相机在所述第一时间的第一位置与所述第一数码相机在所述第二时间的第二位置之间的基线距离；
在所述第一数字图像的至少一部分内识别所述无人航空载具下方的物体的一部分的第一表示；
在所述第二数字图像的至少一部分内识别所述无人航空载具下方的所述物体的所述部分的第二表示；
至少部分地基于所述基线距离、所述第一数码相机的焦距、所述第一表示和所述第二表示来确定所述物体的所述部分的第一位置；以及
至少部分地基于所述第一位置来确定到所述无人航空载具下方的所述物体的所述部分的第一距离。
2.根据权利要求1所述的无人航空载具，其中所述至少一个计算机处理器还被配置成至少：
限定从成像装置的所述第一位置延伸穿过所述物体的所述部分的所述第一表示的第一线；
限定从所述成像装置的所述第二位置延伸穿过所述物体的所述部分的所述第二表示的第二线；以及
标识所述第一线和所述第二线的交叉点，
其中至少部分地基于所述第一线和所述第二线的所述交叉点来确定所述物体的所述部分的所述第一位置。
3.根据权利要求1所述的无人航空载具，其中所述至少一个计算机处理器还被配置成至少：
至少部分地基于所述第一预定速度而选择所述第二角取向或所述第二时间中的至少一者。
4.根据权利要求1所述的无人航空载具，其还包括：
第二推进马达，其安装到所述框架，其中所述第二推进马达被配置成使第二轴件围绕由所述第二轴件限定的第二轴线旋转；以及
第二螺旋桨，其具有第二多个桨叶，其中所述第二螺旋桨可旋转地联接到所述第二轴件。
5.一种方法，其包括：
由第一成像装置在第一时间捕获场景的至少一部分的第一图像，其中所述第一成像装置集成到第一航空载具的第一螺旋桨的第一桨叶的第一表面中、在距所述第一螺旋桨的第一桨毂的第一半径处，并且其中所述第一螺旋桨在第一时间以第一角速度绕第一旋转轴线旋转；
由所述第一成像装置在第二时间捕获所述场景的至少所述部分的第二图像，其中所述第一螺旋桨在第二时间以第一角速度绕第一旋转轴线旋转；
由至少一个计算机处理器识别所述第一图像中的所述场景的至少一个点；
由所述至少一个计算机处理器识别所述第二图像中的所述场景的所述至少一个点；以及
由所述至少一个计算机处理器至少部分地基于所述第一图像和所述第二图像来确定到所述场景的所述至少一个点的第一范围。
6.根据权利要求5所述的方法，其还包括：
确定所述第一成像装置在所述第一时间的第一位置；
确定所述第一成像装置在所述第二时间的第二位置；以及
确定所述第一位置与所述第二位置之间的基线距离，
其中至少部分地基于所述基线距离来确定到所述场景的所述至少一个点的所述第一范围。
7.根据权利要求6所述的方法，其中所述第一桨叶在所述第一时间处于第一角取向，
其中所述第一桨叶在所述第二时间处于第二角取向，
其中所述第二角取向与所述第一角取向分开大约一百八十度，并且
其中所述基线距离是所述第一半径的大约两倍。
8.根据权利要求6所述的方法，其中识别所述第一图像中的所述场景的所述至少一个点包括：
由所述至少一个计算机处理器标识所述第一图像中的所述场景的所述至少一个点的第一表示；
其中识别所述第二图像中的所述场景的所述至少一个点包括：
由所述至少一个计算机处理器标识所述第二图像中的所述场景的所述至少一个点的第二表示；并且
其中确定到所述场景的所述至少一个点的所述第一范围包括：
由所述至少一个计算机处理器限定从所述第一位置穿过所述第一表示的第一核线；
由所述至少一个计算机处理器限定从所述第二位置穿过所述第二表示的第二核线；
由所述至少一个计算机处理器确定所述第一核线和所述第二核线的交叉点的位置；以及
由所述至少一个计算机处理器至少部分地基于所述第一核线和所述第二核线的所述交叉点的所述位置来确定到所述场景的所述至少一个点的所述第一范围。
9.根据权利要求5所述的方法，其还包括：
在所述第一时间确定所述第一桨叶的第一角取向；以及
在所述第二时间确定所述第一桨叶的第二角取向，
其中至少部分地基于所述第一图像和所述第二图像来确定到所述场景的所述至少一个点的所述第一范围包括：
基于所述第一角取向与所述第二角取向之间的差异而使所述第一图像和所述第二图像相对于彼此对准。
10.根据权利要求5所述的方法，其中识别所述第一图像中的所述场景的所述至少一个点包括：
由所述至少一个计算机处理器识别所述第一图像的多个点；
其中识别所述第二图像中的所述场景的所述至少一个点包括：
由所述至少一个计算机处理器识别所述第二图像中的多个物体的部分，并且
其中确定到所述场景的所述至少一个点的所述第一范围包括：
由所述至少一个计算机处理器至少部分地基于所述第一图像和所述第二图像来确定到所述场景的所述多个点中的所述至少一些的范围，其中所述第一范围是所述范围中的一者；以及
至少部分地基于所述范围来限定所述场景的点云，其中深度图表示到多个区域中的每一者的距离，并且其中所述深度图的所述区域中的每一者对应于所述多个物体的所述部分中的一者。
11.根据权利要求10所述的方法，其还包括：
由至少一个计算机处理器至少部分地基于所述点云选择所述第一航空载具的着陆地点。
12.根据权利要求5所述的方法，其还包括：
由第二成像装置在所述第一时间或所述第二时间捕获所述场景的至少所述部分的第三图像，其中所述第二成像装置集成到所述第一螺旋桨的第二桨叶的第二表面中、在距所述第一桨毂的第二半径处；
由所述至少一个计算机处理器识别所述第三图像中的所述场景的所述至少一个点；以及
由所述至少一个计算机处理器至少部分地基于所述第一图像或所述第二图像中的一者以及所述第三图像来确定到所述场景的所述至少一个点的第二范围。
13.根据权利要求5所述的方法，其还包括：
由第二成像装置在所述第一时间或所述第二时间捕获所述场景的至少所述部分的第三图像，其中所述第二成像装置集成到所述第一航空载具的框架或可旋转地联接到所述第一螺旋桨的第一马达中的至少一者的第二表面中；
由所述至少一个计算机处理器识别所述第三图像中的所述场景的所述至少一个点；以及
至少部分地基于所述第一图像或所述第二图像中的一者以及所述第三图像来确定到所述场景的所述至少一个点的第二范围。
14.根据权利要求5所述的方法，其还包括：
由第二成像装置在所述第一时间或所述第二时间中的一者捕获所述场景的至少所述部分的第三图像，其中所述第二成像装置集成到所述第一航空载具的第二螺旋桨的第二桨叶的第二表面中、在距所述第二螺旋桨的第二桨毂的第二半径处，并且其中所述第二螺旋桨以第二角速度旋转；
由所述至少一个计算机处理器识别所述第三图像中的所述场景的所述至少一个点；以及
至少部分地基于所述第一图像或所述第二图像中的一者以及所述第三图像来确定到所述场景的所述至少一个点的第二范围。
15.根据权利要求5所述的方法，其中所述第一时间与所述第二时间之间的差异是大约一百分之一秒。
16.根据权利要求5所述的方法，其中所述第一角速度是每分钟至少三千转。
17.一种螺旋桨，其包括：
桨毂，其被配置用于安装到推进马达的轴件，其中所述轴件限定旋转轴线；
第一桨叶，其连结到所述桨毂；以及
第一成像装置，其嵌入在所述第一桨叶的第一表面内、在距所述桨毂的第一半径处，
其中所述第一成像装置包括第一镜头，所述第一镜头具有基本上平行于由所述轴件限定的所述旋转轴线对准的第一取向轴线。
18.根据权利要求17所述的螺旋桨，
其中所述螺旋桨可旋转地安装到所述推进马达的所述轴件，
其中所述第一成像装置被配置成在第一时间或在所述第一桨叶以第一角取向对准的情况下捕获第一图像，以及
其中所述第一成像装置被配置成在第二时间或在所述第一桨叶以第二角取向对准的情况下捕获第二图像。
19.根据权利要求18所述的螺旋桨，
其中所述第一角取向距所述第二角取向一百八十度。
20.根据权利要求17所述的螺旋桨，其还包括：
第二桨叶，其连结到所述桨毂；以及
第二成像装置，其嵌入在所述第二桨叶的第二表面内、在距所述桨毂的第二半径处，
其中所述第二成像装置包括第二镜头，所述第二镜头具有基本上平行于由所述轴件限定的所述旋转轴线对准的第二取向轴线。
CN201780051631.8A 2016-08-22 2017-08-04 使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息 Active CN109564092B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/243,844 US10033980B2 (en) 2016-08-22 2016-08-22 Determining stereo distance information using imaging devices integrated into propeller blades
US15/243,844 2016-08-22
PCT/US2017/045597 WO2018038897A1 (en) 2016-08-22 2017-08-04 Determining stereo distance information using imaging devices integrated into propeller blades

Publications (2)

Publication Number Publication Date
CN109564092A CN109564092A (zh) 2019-04-02
CN109564092B true CN109564092B (zh) 2020-11-06

Family

ID=59626720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780051631.8A Active CN109564092B (zh) 2016-08-22 2017-08-04 使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息

Country Status (5)

Country Link
US (2) US10033980B2 (zh)
EP (1) EP3500821A1 (zh)
JP (1) JP6700482B2 (zh)
CN (1) CN109564092B (zh)
WO (1) WO2018038897A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
JPWO2016035181A1 (ja) 2014-09-03 2017-06-22 株式会社ニコン 撮像装置、情報処理装置、及び撮像システム
US20180376051A9 (en) * 2015-12-31 2018-12-27 Ground Zero at Center Stage LLC Surface integrated camera mesh for semi-automated video capture
US10417918B2 (en) * 2016-01-20 2019-09-17 Honeywell International Inc. Methods and systems to assist in a search and rescue mission
EP3428877A4 (en) * 2016-03-09 2019-10-30 Nikon Corporation DETECTION DEVICE, INFORMATION PROCESSING DEVICE, METHOD, PROGRAM, AND DETECTION SYSTEM
US9963246B2 (en) * 2016-03-28 2018-05-08 Amazon Technologies, Inc. Combining depth and thermal information for object detection and avoidance
CN107305374A (zh) * 2016-04-22 2017-10-31 优利科技有限公司 无人机航拍系统
US20170358101A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Optical Image Stabilization for Depth Sensing
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10033980B2 (en) 2016-08-22 2018-07-24 Amazon Technologies, Inc. Determining stereo distance information using imaging devices integrated into propeller blades
US10642271B1 (en) * 2016-08-26 2020-05-05 Amazon Technologies, Inc. Vehicle guidance camera with zoom lens
US11042984B2 (en) * 2016-11-10 2021-06-22 Movea Systems and methods for providing image depth information
WO2018098789A1 (en) * 2016-12-01 2018-06-07 SZ DJI Technology Co., Ltd. Method and system for detecting and tracking objects using characteristic points
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US10223591B1 (en) 2017-03-30 2019-03-05 Amazon Technologies, Inc. Multi-video annotation
US10354400B2 (en) * 2017-05-19 2019-07-16 Samsung Electronics Co., Ltd. Method and system for matching stereo images
US10721461B2 (en) * 2017-07-28 2020-07-21 California Institute Of Technology Collaborative stereo system for three-dimensional terrain and object reconstruction
US20190100306A1 (en) * 2017-09-29 2019-04-04 Intel IP Corporation Propeller contact avoidance in an unmanned aerial vehicle
US10607310B1 (en) 2017-10-17 2020-03-31 Amazon Technologies, Inc. Determining ranges by imaging devices with dynamic baseline reconfiguration
EP3531375B1 (en) * 2017-12-25 2021-08-18 Autel Robotics Co., Ltd. Method and apparatus for measuring distance, and unmanned aerial vehicle
WO2020076737A1 (en) * 2018-10-07 2020-04-16 Ocula Corporation Fixed-element digital-optical measuring device
US11052287B2 (en) 2018-01-07 2021-07-06 Ocula Corporation Digital-optical object tracker
US10691943B1 (en) * 2018-01-31 2020-06-23 Amazon Technologies, Inc. Annotating images based on multi-modal sensor data
DE102018109828B4 (de) 2018-04-05 2022-02-17 Sick Ag Vorrichtung zur Bestimmung eines Abstandes zu einem Objekt in einem Raum
CN108680143A (zh) * 2018-04-27 2018-10-19 南京拓威航空科技有限公司 基于远程测距的目标定位方法、装置及无人机
US11120277B2 (en) * 2018-10-10 2021-09-14 Denso Corporation Apparatus and method for recognizing road shapes
US11151737B1 (en) * 2018-12-20 2021-10-19 X Development Llc Automatic field of view detection
CN109754420B (zh) * 2018-12-24 2021-11-12 深圳市道通智能航空技术股份有限公司 一种目标距离估计方法、装置及无人机
US11783475B2 (en) * 2020-02-07 2023-10-10 Meta Platforms Technologies, Llc In ear device customization using machine learning

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5769359A (en) 1993-01-22 1998-06-23 Freewing Aerial Robotics Corporation Active feedback loop to control body pitch in STOL/VTOL free wing aircraft
US6056237A (en) 1997-06-25 2000-05-02 Woodland; Richard L. K. Sonotube compatible unmanned aerial vehicle and system
US20030230671A1 (en) 2000-08-24 2003-12-18 Dunn James P. Fuel cell powered electric aircraft
JP2004198732A (ja) * 2002-12-18 2004-07-15 Sony Computer Entertainment Inc 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体
US7616332B2 (en) 2004-12-02 2009-11-10 3M Innovative Properties Company System for reading and authenticating a composite image in a sheeting
EP1945501A4 (en) 2005-11-09 2013-04-24 Morgan Aircraft Llc AIRCRAFT STEERING MODEL
DE102010041096B4 (de) 2010-09-21 2024-05-08 Osram Gmbh Leuchtvorrichtung
WO2013028221A1 (en) 2011-08-19 2013-02-28 Aerovironment Inc. Deep stall aircraft landing
US20140025233A1 (en) 2012-07-17 2014-01-23 Elwha Llc Unmanned device utilization methods and systems
US9214021B2 (en) 2012-10-09 2015-12-15 The Boeing Company Distributed position identification
EP2763896B1 (en) 2012-11-15 2017-09-20 SZ DJI Technology Co., Ltd. A multi-rotor unmanned aerial vehicle
US9085355B2 (en) 2012-12-07 2015-07-21 Delorean Aerospace, Llc Vertical takeoff and landing aircraft
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9633442B2 (en) * 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9025825B2 (en) 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US9802693B2 (en) 2013-06-14 2017-10-31 The Boeing Company Control surface calibration system
US20150252789A1 (en) * 2014-03-04 2015-09-10 Steffen Bunge Method for Detecting Deflection of the Blades of a Wind Turbine
JP6123032B2 (ja) 2014-03-27 2017-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 支援された離陸
JP6469962B2 (ja) * 2014-04-21 2019-02-13 薫 渡部 監視システム及び監視方法
WO2015165008A1 (zh) * 2014-04-28 2015-11-05 深圳市大疆创新科技有限公司 测量装置及无人飞行器
US20150367957A1 (en) 2014-06-18 2015-12-24 Aai Corporation Providing visibility to a vehicle's environment via a set of cameras which is conformal to the vehicle
EP3505808B1 (en) 2014-07-29 2021-08-11 SZ DJI Osmo Technology Co., Ltd. Systems and methods for payload stabilization
FR3029284B1 (fr) 2014-11-27 2016-12-09 Airbus Helicopters Dispositif de mesure des positions angulaires d'un element de pale de giravion par rapport a un moyen de rotor, giravion associe et procede de mesure correspondant
US20160214713A1 (en) 2014-12-19 2016-07-28 Brandon Cragg Unmanned aerial vehicle with lights, audio and video
KR20160112252A (ko) * 2015-03-18 2016-09-28 엘지전자 주식회사 무인항공장치 및 이의 제어방법
EP3323237A4 (en) 2015-08-26 2019-07-31 Zhejiang Dahua Technology Co., Ltd METHODS AND SYSTEMS FOR MONITORING TRAFFIC
CN105141815B (zh) * 2015-09-02 2018-07-31 小米科技有限责任公司 摄像头自动弹出装置和终端
US9828096B2 (en) 2016-02-23 2017-11-28 The Boeing Company Movable control surface ejection system
US9840339B1 (en) 2016-04-26 2017-12-12 Amazon Technologies, Inc. Sensors embedded within aerial vehicle control surfaces
US10654584B2 (en) * 2016-08-13 2020-05-19 Modern Technology Solutions, Inc. Refueling system and method
US10033980B2 (en) 2016-08-22 2018-07-24 Amazon Technologies, Inc. Determining stereo distance information using imaging devices integrated into propeller blades

Also Published As

Publication number Publication date
US10033980B2 (en) 2018-07-24
US20180324403A1 (en) 2018-11-08
JP2019532268A (ja) 2019-11-07
US10728516B2 (en) 2020-07-28
US20180054604A1 (en) 2018-02-22
JP6700482B2 (ja) 2020-05-27
CN109564092A (zh) 2019-04-02
EP3500821A1 (en) 2019-06-26
WO2018038897A1 (en) 2018-03-01

Similar Documents

Publication Publication Date Title
CN109564092B (zh) 使用集成到螺旋桨桨叶中的成像装置来确定立体距离信息
CN111247523B (zh) 用于航空载具的物体检测和躲避
CN109417596B (zh) 多传感器图像稳定技术
US11526998B2 (en) Methods and system for infrared tracking
CN108419446B (zh) 用于激光深度图取样的系统及方法
WO2016070318A1 (en) Camera calibration
US10992921B1 (en) Self-calibrating stereo camera pairs provided aboard aerial vehicles
CN111448476A (zh) 在无人飞行器与地面载具之间共享绘图数据的技术
US20200357141A1 (en) Systems and methods for calibrating an optical system of a movable object
US11170524B1 (en) Inpainting image feeds of operating vehicles
WO2020186444A1 (zh) 物体检测方法、电子设备与计算机存储介质
US11228710B1 (en) Configuring imaging devices based on control signals
US11321873B1 (en) Calibrating and detecting vibration of stereo ranging systems
US10896512B1 (en) Determining and controlling propeller speeds using imaging devices
US10607310B1 (en) Determining ranges by imaging devices with dynamic baseline reconfiguration
US11869236B1 (en) Generating data for training vision-based algorithms to detect airborne objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant