CN108702462A - 自主运载工具上的入射光传感器 - Google Patents
自主运载工具上的入射光传感器 Download PDFInfo
- Publication number
- CN108702462A CN108702462A CN201780015996.5A CN201780015996A CN108702462A CN 108702462 A CN108702462 A CN 108702462A CN 201780015996 A CN201780015996 A CN 201780015996A CN 108702462 A CN108702462 A CN 108702462A
- Authority
- CN
- China
- Prior art keywords
- incident light
- uav
- exposure setting
- autonomous delivery
- delivery vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title description 4
- 238000005259 measurement Methods 0.000 claims abstract description 46
- 238000003384 imaging method Methods 0.000 claims abstract description 26
- 230000004044 response Effects 0.000 claims abstract description 9
- 238000007726 management method Methods 0.000 claims description 97
- 238000000034 method Methods 0.000 claims description 36
- 238000009792 diffusion process Methods 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 52
- 238000003860 storage Methods 0.000 description 52
- 238000004891 communication Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 238000000151 deposition Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000000149 penetrating effect Effects 0.000 description 2
- 238000005375 photometry Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U50/00—Propulsion; Power supply
- B64U50/10—Propulsion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
- B64U2101/64—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons for parcel delivery or retrieval
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
- B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Remote Sensing (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
自主运载工具上的入射光计量表接收环境光并响应于所述环境光而输出入射光测量值。所述自主运载工具的一个或多个图像传感器对所述自主运载工具的环境进行成像。至少部分基于所述入射光测量值生成曝光设置。所述一个或多个图像传感器在所述曝光设置下捕获数字图像。
Description
背景技术
包括基于地面的自主运载工具和无人驾驶飞行器(UAV)的自主运载工具被开发用于各种环境。例如,自主运载工具正用于零售和商业环境中。自主运载工具通常能够感测其环境并在没有人为输入的情况下在该环境中导航。一些自主运载工具包括用于导航目的的传感器。
附图说明
将参考附图描述根据本公开的各种实施方案,在附图中:
图1示出了包括入射光计量表的框图系统,所述入射光计量表可包括在自主运载工具中;
图2示出了作为自主运载工具的一个实例的示例性UAV;
图3示出了自主运载工具可能遇到的示例性环境;
图4示出了在自主运载工具上利用入射光计量表的示例性过程;
图5示出了使用UAV来递送包裹的示例性示意性架构;
图6示出了包括UAV管理模块的示例性示意图;以及
图7示出了其中可实施各种实施方案的环境。
具体实施方式
在以下描述中,将描述各种实施方案。为了说明的目的,阐述了具体的配置和细节以便提供对实施方案的透彻理解。然而,对于本领域技术人员来说显而易见的是,可在没有具体细节的情况下实施实施方案。此外,为了不使所描述的实施方案变得模糊,可能会省略或简化众所周知的特征。
本文描述了在自主运载工具上使用入射光计量表以辅助成像的系统和方法。示例性自主运载工具包括基于地面的自主运载工具和无人驾驶飞行器(UAV)。自主运载工具上的入射光传感器允许自主运载工具的相机的曝光设置更准确。这可帮助改善由自主运载工具的相机捕获的图像质量。
按照惯例,使用通常称为“TTL”的“透过镜头”计量来确定相机的曝光设置(自动曝光)。然而,TTL计量是基于反射光。在一些环境中,TTL计量可能会导致不期望的结果。例如,在积雪覆盖的环境中,TTL计量产生生成近似灰色图像的曝光设置。
根据本公开的至少一个实施方案,入射光测量通过自主运载工具上的入射光计量表进行。至少部分基于入射光测量值来确定曝光设置。自主运载工具的相机可在所述曝光设置下捕获图像。
根据本公开的至少一个实施方案,UAV包括入射光计量表和一个或多个相机。UAV正在使用相机来辅助导航。例如,UAV可导航到一个位置以投放用户订购的包裹。使用入射光计量表来为UAV的相机生成曝光设置允许UAV更好地对UAV周围的环境进行成像,并且因此更准确地确定在何处投放用户的包裹。另外,使用入射光计量表可更快地为相机生成合适的曝光设置和/或比常规的自动曝光过程利用更少的处理器资源。在选定的实施方案中,如果不能获得合适的曝光设置,则可将UAV重新定位到替代位置,在所述替代位置中,入射光测量可允许获得改善的曝光设置。
图1示出了可包括在自主运载工具中的系统100。系统100包括入射光计量表110、管理模块120、相机阵列131、存储器165和推进驱动器140。入射光计量表110可定位在自主运载工具的顶部上以测量入射的可见光103。入射的可见光103可源自例如太阳、月亮或街道照明。
入射光计量表110包括用于测量周围环境的入射可见光103的光敏元件114。在一个实施方案中,光敏元件114包括光电二极管。在遮挡非可见光(例如,紫外光、近红外光和红外光)的同时使可见光通过的可见光滤光器可放置在光敏元件114上,使得仅测量可见光。在一个实施方案中,滤光器不放置在光敏元件114上,并且光敏元件114暴露于紫外光、可见光、近红外光和红外光。漫射圆顶112也可包括在入射光计量表110中,以接收和漫射入射的可见光103,以促进获得入射光计量表110的更准确的读数。光敏元件114生成对应于入射光103的强度的信号。该信号可由滤波块116滤波并由放大器118放大。放大的模拟信号可作为入射光测量值148从入射光计量表输出到管理模块120。替代地,放大的模拟信号可通过入射光计量表110的ADC(模数转换器)转换为数字值。然后可将数字值转换为诸如勒克斯(其为照度单位)的测量值。在一些实施方式中,然后可将勒克斯测量值作为数字值输出到管理模块120作为入射光测量值148。入射光计量表110可周期性地(例如,每10ms)输出其入射光测量值148,或者其可根据请求输出入射光测量值148。当根据请求输出入射光测量值148时,管理模块120可向入射光计量表110发送请求命令146以接收入射光测量值148。
管理模块120从入射光计量表110接收入射光测量值148。在管理模块120将入射光测量值148作为模拟信号接收的实施方式中,管理模块可具有机载ADC以将模拟信号转换为数字值。在入射光测量值148是数字值的一个实施方式中,入射光测量值148经由串行总线发送到管理模块120。管理模块120可包括处理逻辑,诸如处理器、微处理器、FPGA等。管理模块120可包括多个处理核。在图1中,管理模块120通信地耦合到存储器165。在一个实施方案中,管理模块120包括机载存储器。管理模块120的计算机可执行指令、软件或固件实施可包括以任何合适的编程语言编写的计算机可执行或机器可执行指令,以执行本文描述的各种功能。存储器165可存储可在管理模块120上加载和执行的程序指令。存储器165可为易失性的(诸如随机存取存储器(RAM))和/或非易失性的(诸如只读存储器(ROM)、闪存或其他存储器)。
管理模块120通信地耦合到一个或多个相机131。在所示实施方案中,管理模块120通信地耦合到三个相机131A、131B和131C。然而,管理模块120可通信地耦合到比图1所示的更多的相机131。管理模块120至少部分基于接收入射光测量值148来生成相机131的曝光设置。例如,管理模块120可访问查找表,所述查找表具有与入射光测量值对应的曝光值。管理模块120还可执行计算以生成曝光设置。
示例性曝光设置包括增益(也称为ISO)、快门速度(也称为数字快门的曝光时段)和光圈。高入射光测量值148(例如,100,000勒克斯)可与“快速”快门速度(例如,5ms)相对应,而低入射光测量值148(例如,5勒克斯)可与“缓慢”快门速度(例如250ms)相对应。类似地,高入射光测量值148可与低增益相对应,而低入射光测量值148可与高增益相对应。对于光圈,大光圈可与低入射光测量值148对应,而小光圈可与高入射光测量值148对应。
一旦管理模块120生成曝光设置,就可将其作为曝光设置178发送到一个或多个相机131。在一个实施方式中,曝光设置178被发送到耦合到管理模块120的每个相机。在一个实施方式中,曝光设置178仅被发送以选择耦合到管理模块120的相机。相机131可各自包括数字图像传感器。相机131中的数字图像传感器可为CMOS(互补金属氧化物半导体)图像传感器。相机131中的数字图像传感器可为CCD(电荷耦合装置)。相机131可利用数字快门(例如滚动快门或全局快门)或利用机械快门。由相机131在曝光设置178下捕获的数字图像被发送到管理模块120。管理模块120可分析图像,并响应于分析数字图像而调整自主运载工具的推进系统。在一个实施方案中,数字图像包括目标着陆区域,并且管理模块120调整UAV的推进系统以使目标着陆区域在相机131下方居中,所述相机在曝光设置下捕获数字图像。在图1中,管理模块120将推进命令发送到推进驱动器140。在一个实施方案中,推进驱动器140驱动旋转UAV的推进器的电动马达。
图2示出了可包括系统100的示例性UAV 200。UAV 200可根据商业航空标准来设计,并且可包括多个冗余以确保可靠性。出于本说明书的目的,UAV 200可包括在管理系统202的控制下或至少部分在管理系统202的控制下操作的多个系统或子系统。管理系统202可包括机载计算机以自主地或半自主地控制和管理UAV 200。在一个实施方案中,管理系统202的机载计算机用作管理模块120。管理系统202的一些部分(包括机载计算机)可容置在顶盖210下面。如本文所使用,管理系统202可包括电源和组件(例如,可充电电池、液体燃料和其他电源)(未示出)、一个或多个通信链路和天线(例如,调制解调器、无线电、网络、蜂窝、卫星和用于接收和/或传送信息的其他链路)(未示出)、一个或多个导航装置和天线(例如,全球定位系统(GPS)、惯性导航系统(INS)、测距仪、无线电检测和测距(RADAR)和用于帮助导航UAV 200和检测物体其他系统)(未示出)、射频识别(RFID)能力(未示出)以及能够进行语音解释和识别的接口(未示出)。
如图2所示,UAV 200还可包括保持系统212。保持系统212可被配置成保持有效载荷214,所述有效载荷可为要递送给用户的包裹。UAV 200可通过完全降落在地面上并释放保持系统212来递送有效载荷214。相机231可定位在UAV 200的顶盖210上或框架226上。虽然未示出,但是一个或多个相机231可安装为俯视相机,以在UAV 200处于飞行时识别有效载荷214的着陆区。
此外,UAV 200包括推进系统218。在一些实例中,推进系统218可包括旋转叶片或以其他方式为基于推进器的系统。在一个实施方案中,图1的推进驱动器140可驱动电动马达,所述电动马达旋转推进系统的推进器。在一些实例中,推进系统218可包括一个或多个固定机翼或与一个或多个固定机翼相关联。如图2所示,推进系统218可包括多个推进器装置,该视图中示出了所述多个推进器装置中的一些,即220(A)-220(F)。每个推进器装置可包括一个推进器、马达、布线、平衡系统、控制机构和用于实现飞行的其他特征。在一些实例中,推进系统218可至少部分在管理系统202的控制下操作。在一些实例中,推进系统218可被配置成在不从管理系统202接收指令的情况下自行调整。因此,推进系统218可半自主或自主地操作。推进系统218可实现UAV 200的多向飞行(例如,通过单独调整每个推进器装置)。UAV 200还可包括着陆结构222。着陆结构222可足够刚性以支撑UAV 200和有效载荷214。着陆结构222可包括多个细长腿部,所述细长腿部可使得UAV 200能够着陆在各种不同表面上和从各种不同表面起飞。UAV 200的多个系统、子系统和结构可经由框架226连接。框架226可由刚性材料构成,并且能够经由不同的连接来接纳各种系统、子系统和结构。例如,着陆结构222可安置在框架226下方,并且在一些实例中,可由与框架226相同的材料和/或相同的材料块形成。推进系统218可径向地安置在框架226的周边周围,或者以其他方式分布在框架226周围。
图3示出了自主运载工具可能遇到的示例性环境。在所示实施方案中,图3包括携带将被递送到位置320的包裹312的UAV 310。图3还包括表面322和障碍物324。可将UAV 310部署到与用户相关联的位置320以递送包裹312。在此示例性环境中,位置320被示为用户的住所。然而,本文描述的实施方案不限于此并且可类似地应用于其他类型的位置和/或用户的其他关联物。图3还包括太阳360和云350。太阳360和云350(或没有云)的取向可能影响所示环境的照明。
当UAV 310导航穿过环境时,落在由UAV 310的相机成像的场景上的入射光可能改变。云350可遮挡太阳360并且大大减少入射在环境上的入射光。另外,在障碍物324旁边或下面导航也可遮挡太阳360使其不直接照耀在由UAV 310成像的场景上,这可减少场景的入射光。在UAV 310上包括入射光计量表110以设置相机131的曝光设置将呈现更准确的颜色并且更准确地捕获成像场景的高光和阴影。在涉及UAV 310的导航的情况下,捕获更准确的图像允许例如更好地识别目标着陆区。当入射光改变时,入射光计量表110也可快速确定这一点,并将入射光测量值传递给管理模块120,以分配给相机131。相比之下,基于反射光的常规自动曝光算法可能被突然的光变化“混淆”,并且因此在相机的曝光设置上归位需要更长时间。此外,使每个相机在相同曝光下捕获图像可在分析多个图像用于导航目的时节省处理步骤。
在一个实例中,用户可能已经操作计算装置来访问基于网络的资源以订购物品。基于这个订单,物品可在工厂被包装并且被装载在UAV 310上。可远程控制或自主操作UAV310以将包裹312从工厂空运到位置320、递送包裹312并返回到工厂或某个其他位置。UAV310的这些操作可表示可部署UAV 310来执行的示例性任务。
在到达位置320(例如,到达确切位置320或其附近)时,UAV 310可确定递送表面322来递送包裹312。图3示出了作为用户住所后院表面的递送表面322。然而,本文描述的实施方案不限于此并且可类似地应用于其他类型的表面和/或位置320的其他关联物。
可使用各种技术来确定表面322。在一项示例性技术中,关于表面322的数据,诸如空间坐标,可在离开工厂之前,在去往位置320的途中,在到达位置320时或之后,被提供给UAV 310(例如,传送给UAV 310并存储在UAV 310上)。在另一项示例性技术中,可基于UAV310的传感器生成此数据。例如,UAV 310可配备有多个传感器,诸如成像、运动、射频和/或其他传感器以及一个或多个处理单元,以感测和处理与所述位置相关联的环境数据并生成关于表面322的数据。当然,可使用两种示例性技术的组合。相机131是可用于确定表面322上的适当着陆区域的传感器的实例。
关于表面的数据,无论是从远程源接收和/或由UAV 310本地生成,均可包括例如障碍物324的识别符,这是在障碍物和引入物可存在于表面322上或附近的情况下。障碍物324可表示可为静态的物体,诸如树或栅栏,或者可表示可为移动的物体,诸如风力涡轮机。
图4示出了在自主运载工具上利用入射光计量表的示例性过程400。过程400被示为逻辑流程图,其每个操作表示可以硬件、软件或其组合来实施的操作序列。在计算机指令的背景下,所述操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令,所述指令在由一个或多个处理器执行时执行所述操作。通常,计算机可执行指令包括执行特定功能或实施特定数据类型的例程、程序、对象、部件、数据结构等。描述操作的顺序并非意图解释为限制,并且任何数量的所述操作可被省略或按任何顺序和/或平行组合以实施这个过程和本文所述的任何其它过程。根据至少一个实施方案,图4的过程400可由系统100执行。用于执行过程400的至少一部分的计算机可执行指令可存储在存储器165中。
在过程框402中,利用入射光计量表(例如,入射光计量表110)读取入射光测量值。在过程框404中,至少部分基于入射光测量值来确定曝光设置。在一个实施方式中,处理逻辑(例如,管理模块120)可确定曝光设置。例如,确定曝光设置可包括访问查找表,所述查找表具有与入射光测量值对应的曝光值。替代地,可将入射光测量值输入到等式中,并且可执行计算以生成曝光设置。
在过程框406中,由自主运载工具的至少一个数字图像传感器捕获数字图像。在一个实例中,自主运载工具包括多个数字图像传感器,但并非所有数字图像传感器都接收曝光设置。在一个实例中,处理逻辑将曝光设置发送到多个图像传感器中的图像传感器的第一部分,但是不发送到多个数字图像传感器中的图像传感器的剩余部分。
在过程框408中,至少部分基于在曝光设置下捕获的至少一个数字图像来调整推进系统。例如,还可至少部分基于GPS坐标来调整推进系统。如果自主运载工具是基于地面的运载工具,则调整推进系统可包括增加或减小自主运载工具的车轮或踏板/轨道的速度。调整推进系统还可包括操纵基于地面的自主运载工具的车轮或踏板/轨道。如果自主运载工具是UAV,则调整推进系统可包括调整推进系统的一个或多个推进器的旋转速度。
在一个实施方案中,处理逻辑(例如,管理模块120)可分析数字图像,并响应于分析数字图像来调整自主运载工具的推进系统。在一个实施方案中,数字图像包括目标着陆区域,并且处理逻辑调整UAV的推进系统以使目标着陆区域在相机下方居中,所述相机在曝光设置下捕获数字图像。
接下来转向图5,在此图中示出了根据至少一个实例的用于使用UAV 504来递送包裹的示例性示意性架构500。架构500可包括管理模块502。可包括管理模块502作为电子市场(未示出)的一部分并且所述管理模块与电子市场的购买和递送服务介接。以这种方式,管理模块502可协调经由UAV(诸如UAV 504)向电子市场的客户递送物品。UAV 504是先前讨论的UAV 200的实例。在一些实例中,管理模块502可为独立操作或与电子市场相关的独立服务。在任一实例中,管理模块502可经由一个或多个网络506(在下文中为“网络506”)与UAV 504进行通信。网络506可包括许多不同类型的网络中的任何一个或其组合,诸如有线网络、互联网、无线网络、蜂窝网络、无线电网络和其他私人和/或公共网络。因此,管理模块502可被配置成在完成其递送计划之前、期间和之后提供UAV 504的后端控制。如先前所讨论,在一些实例中,UAV 504可被配置成在几乎不与管理模块502通信的情况下完成其递送计划(例如,递送其有效载荷)。
用户装置508(1)-508(N)(下文中为“用户装置508”)还可经由网络506与管理模块502和UAV 504进行通信。用户装置508可由一个或多个人类用户510(下文中为“人类用户510”)操作以经由网络506访问管理模块502(或电子市场)和UAV 504。用户装置508可为能够与网络506通信的任何合适的装置。例如,用户装置508可为任何合适的计算装置,诸如但不限于移动电话、智能电话、个人数字助理(PDA)、膝上型计算机、瘦客户端装置、平板电脑、台式计算机、机顶盒或其他计算装置。在一些实例中,用户装置508可经由构成电子市场(未示出)的一个或多个web服务器与管理模块502通信,所述电子市场连接到网络506并且与管理模块502相关联。
现在转向UAV 504的细节,UAV 504可包括机载计算机512,所述机载计算机包括至少一个存储器514和一个或多个处理单元(或处理器)516。在一些实施方案中,处理器可用作管理模块120,并且存储器514可用作存储器165。处理器516可视情况以硬件、计算机可执行指令、软件、固件或其组合实施。处理器516的计算机可执行指令、软件或固件实施可包括以任何合适的编程语言编写的计算机可执行或机器可执行指令,以执行所描述的各种功能。存储器514可包括多于一个存储器,并且可分布在整个机载计算机512上。存储器514可存储可在处理器516上加载和执行的程序指令(例如,UAV管理模块318),以及在执行这些程序期间生成的数据。依据包括UAV管理模块518的存储器的配置和类型,存储器514可为易失性的(诸如随机存取存储器(RAM))和/或非易失性的(诸如只读存储器(ROM)、闪存或其他存储器)。UAV管理模块518还可包括额外的可移除的存储装置和/或不可移除的存储装置,包括但不限于磁存储装置、光盘和/或磁带存储装置。磁盘驱动器及其相关联的计算机可读介质可为计算装置提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。在一些实施方式中,存储器514可包括多种不同类型的存储器,诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或ROM。更详细地转向存储器514的内容,存储器514可包括操作系统520和用于实施本文公开的特征的一个或多个应用程序、模块或服务,至少包括UAV管理模块518。
在一些实例中,机载计算机512还可包括额外的存储装置522,所述存储装置可包括可移除的存储装置和/或不可移除的存储装置。额外的存储装置522可包括但不限于磁存储装置、光盘和/或磁带存储装置。磁盘驱动器及其相关联的计算机可读介质可为计算装置提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。
存储器514和额外的存储装置522(可移除的和不可移除的)是计算机可读存储介质的实例。例如,计算机可读存储介质可包括易失性的或非易失性的、可移除的或不可移除的介质,其以用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据的任何合适方法或技术实施。如本文所使用,模块可指由作为机载计算机512的一部分的计算系统(例如,处理器)执行的编程模块。机载计算机512的模块可包括一个或多个部件。机载计算机512还可包括输入/输出(I/O)装置和/或端口524,诸如用于实现与键盘、鼠标、笔、语音输入装置、触摸输入装置、显示器、扬声器、打印机或其他I/O装置的连接。I/O装置524可实现与UAV 504的其他系统(例如,控制系统、电力系统、通信系统、导航系统、推进系统和保持系统的其他部分)的通信。
机载计算机512还可包括数据存储库526。数据存储库526可包括用于存储和/或保留与UAV 504相关联的信息的一个或多个数据库、数据结构等。在一些实例中,数据存储库526可包括数据库,诸如客户信息数据库528和着陆区数据库530。在客户信息数据库528内可存储任何合适的客户信息,所述客户信息可由UAV 504在实施和/或影响其递送计划时使用。例如,客户信息数据库528可包括人类用户510的简档特性。所述简档特性可包括送货地址。着陆区数据库530可存储与特定用户相关联的合适的着陆区或投放区。着陆区数据库530可包括与特定用户相关联的着陆区的GPS坐标和/或图像。
现在转向用户装置508的细节。用户装置508可由人类用户510用来与管理模块502交互。因此,用户装置508可包括存储器、处理器、用户界面、web服务应用程序以及能够与架构500的特征进行通信的任何其他合适的特征。web服务应用程序可为web浏览器、应用程序编程接口(API)、虚拟计算实例或其他合适的应用程序的形式。在一些实例中,当管理模块502是电子市场的一部分或与电子市场共享关联时,用户装置508可由人类用户510用来从电子市场获得一个或多个物品。人类用户510可请求使用UAV 504递送所购买的物品,或者管理模块502可自己协调这种递送。
管理模块502可包括一个或多个服务提供商计算机,所述服务提供商计算机可能布置在服务器集群中或布置为服务器场,并且可托管web服务应用程序。这些服务器可被配置成托管经由用户装置508可查看的网站(或网站的组合)。管理模块502可包括至少一个存储器532和一个或多个处理单元(或处理器)534。处理器534可视情况以硬件、计算机可执行指令、软件、固件或其组合实施。处理器534的计算机可执行指令、软件或固件实施可包括以任何合适的编程语言编写的计算机可执行或机器可执行指令,以执行所描述的各种功能。存储器532可包括多于一个存储器,并且可分布在整个管理模块502中。存储器532可存储可在处理器534上加载和执行的程序指令(例如,服务器管理模块536),以及在执行这些程序期间生成的数据。依据包括服务器管理模块536的存储器的配置和类型,存储器532可为易失性的(诸如随机存取存储器(RAM))和/或非易失性的(诸如只读存储器(ROM)、闪存或其他存储器)。管理模块502还可包括额外的可移除的存储装置和/或不可移除的存储装置,包括但不限于磁存储装置、光盘和/或磁带存储装置。磁盘驱动器及其相关联的计算机可读介质可为计算装置提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。在一些实施方式中,存储器532可包括多种不同类型的存储器,诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)或ROM。更详细地转向存储器532的内容,存储器532可包括操作系统538和用于实施本文公开的特征的一个或多个应用程序、模块或服务,至少包括服务器管理模块536。在一些实例中,服务器管理模块536可与UAV管理模块518类似地起作用。例如,当UAV 504与管理模块502进行网络通信时,随着服务器管理模块536由处理器534执行,UAV 504可至少从管理模块502接收一些指令。在一些实例中,UAV 504执行UAV管理模块518以独立于管理模块502进行操作。
在一些实例中,管理模块502还可包括额外的存储装置540,所述存储装置可包括可移除的存储装置和/或不可移除的存储装置。额外的存储装置540可包括但不限于磁存储装置、光盘和/或磁带存储装置。磁盘驱动器及其相关联的计算机可读介质可为计算装置提供计算机可读指令、数据结构、程序模块和其他数据的非易失性存储。
存储器532和额外的存储装置540(可移除的和不可移除的)是计算机可读存储介质的实例。例如,计算机可读存储介质可包括易失性的或非易失性的、可移除的或不可移除的介质,其以用于存储信息诸如计算机可读指令、数据结构、程序模块或其他数据的任何合适方法或技术实施。如本文所使用,模块可指由作为管理模块502的一部分的计算系统(例如,处理器)执行的编程模块。管理模块502的模块可包括一个或多个部件。管理模块502还可包括输入/输出(I/O)装置和/或端口542,诸如用于实现与键盘、鼠标、笔、语音输入装置、触摸输入装置、显示器、扬声器、打印机或其他I/O装置的连接。
在一些实例中,管理模块502可包括用户界面544。用户界面544可由操作员或其他授权用户使用以访问管理模块502的部分。在一些实例中,用户界面544可包括图形用户界面、基于web的应用程序、诸如应用程序编程接口(API)等的编程接口,或其他用户界面配置。管理模块502还可包括数据存储库546。数据存储库546可包括用于存储和/或保留与管理模块502相关联的信息的一个或多个数据库、数据结构等。数据存储库546可包括数据库,诸如客户信息数据库548和着陆区数据库550。客户信息数据库548和着陆区数据库550可包括与机载计算机512的客户信息数据库528和着陆区数据库530类似的信息。管理模块502可在数据存储库546中存储比机载计算机512能够在数据存储器526中存储的更大量的信息。因此,在一些实例中,来自数据存储库546中的数据库的至少一部分信息被例如周期性地、偶然地、结合事件或以其他方式复制到数据存储库526的数据库。以这种方式,数据存储库526可具有最新信息,而不必维护数据库。在一些实例中,此信息可在UAV 504开始递送任务之前作为递送计划的一部分被传送。
接下来转向存储在机载计算机512的存储器514中的UAV管理模块518的细节,在图6中,示出了示例性示意性装置600,其包括UAV管理模块602。UAV管理模块602是UAV管理模块518和服务器管理模块536的实例。将从示例性UAV的参考点描述UAV管理模块602,但是其功能不限于控制UAV。UAV管理模块602可被配置成管理针对本文公开的实施方案的一个或多个子模块、部件和/或服务。在一些实例中,UAV管理模块602可包括通信部件604、导航部件606和递送部件608。虽然这些模块和部件在图6中示出并且将被描述为执行离散任务,但是应理解图6示出了示例性配置,并且执行其他任务和/或与本文所述的任务类似的任务的其他配置可根据本文描述的技术来实施。其他模块(未示出)可执行与UAV管理模块602或其他任务相同的任务,并且可以类似的方式或根据其他配置来实施。通常,通信部件604可被配置成管理UAV与控制服务之间、UAV与用户装置之间、多个UAV之间的通信和/或任何其他通信。导航部件606可被配置成实施与导航相关的递送计划的至少一些部分。例如,导航部件606可计算、调整、接收或确定粗略定位或导航指令以及精确定位或导航指令。在一些实例中,这可包括确定对UAV的飞行路径的轨迹调整。递送部件608可被配置成实施与物品递送相关的递送计划的至少一些部分。例如,递送部件608可被配置成验证人类用户的身份,并且一旦被验证,就执行物品的递送。
图7示出了用于根据各种实施方案实施各方面的示例性示意性环境700的各方面。如应理解,尽管出于说明目的,使用了基于Web的环境,但是可视情况使用不同的环境来实施各种实施方案。所述环境包括电子客户端装置702,所述电子客户端装置可包括可操作以通过合适的网络704发送和接收请求、消息或信息并将信息传送回到装置的用户的任何合适的装置。这种客户端装置的实例包括个人计算机、蜂窝电话、手持式消息装置、膝上型计算机、机顶盒、个人数据助理、电子书阅读器或其他客户端装置。网络可包括任何合适的网络,包括内联网、互联网、蜂窝网络、局域网或任何合适的这种网络或其组合。用于这种系统的部件可至少部分取决于选定的网络和/或环境的类型。用于经由这样的网络进行通信的协议和部件是众所周知的,并且本文将不再详细讨论。经由网络的通信可通过有线或无线连接和其组合实现。在此实例中,网络包括互联网,这是因为环境包括用于访问请求并响应于此而提供内容的Web服务器706,但是对于其他网络,可使用用于类似目的的替代装置,如本领域普通技术人员将显而易见。
说明性环境包括至少一个应用程序服务器708和数据存储库710。应理解,可存在数个应用程序服务器、层或其他元件、程序或部件,其可链结或以其他方式配置,上述各项可交互以执行诸如自适当数据存储库获得数据等任务。如本文所使用,术语“数据存储库”是指能够存储、访问和检索数据的任何合适的装置或装置的组合,其可在任何合适的标准的、分布的或集群的环境中包括任何合适的组合和数量的数据服务器、数据库、数据存储装置和数据存储介质。应用程序服务器可包括任何适当的硬件和软件,用于根据需要与数据存储库集成以执行用于客户端装置的一个或多个应用程序的各方面,处理应用程序的大部分数据访问和业务逻辑。应用程序服务器提供与数据存储库协作的访问控制服务,并且能够生成将要传送给用户的诸如文本、图形、音频和/或视频等内容,在此实例中,所述内容可通过Web服务器以超文本标记语言(“HTML”)、可扩展标记语言(“XML”)或另一适当的结构化语言的形式提供给用户。可由Web服务器处理所有请求和响应的处理,以及电子客户端装置702和应用程序服务器708之间的内容递送。应理解,Web服务器和应用程序服务器不是必要的,且仅仅是示例性部件,因为本文所论述的结构化代码可在如本文其他地方所讨论的任何适合的装置或主机上执行。
数据存储库710可包括若干单独的数据表、数据库或其他数据存储机制和用于存储与特定方面有关的数据的介质。例如,所示的数据存储库包括用于存储生产数据712和用户信息716的机制,所述机制可用于为生产方提供内容。数据存储库还被示出为包括用于存储日志数据714的机制,所述机制可用于报告、分析或其他这样的目的。应理解,可能存在许多其他方面,它们可能需要存储在数据存储库中,诸如用于页面图像信息和访问权限信息,其可视情况存储在上文列出的任何机制中或数据存储库710中的额外的机制中。数据存储库710可通过与其相关联的逻辑操作,以从应用程序服务器708接收指令,并响应于此而获得、更新或以其他方式处理数据。在一些实例中,用户可提交针对特定类型的物品的搜索请求。在这种情况下,数据存储库可访问用户信息以验证用户的身份,并且可访问目录详细信息以获得关于该类型的物品的信息。然后可将信息返回给用户,诸如在用户能够经由电子客户端装置702上的浏览器查看的Web页上的结果列表中。可在浏览器的专用页面或窗口中查看感兴趣的特定物品的信息。
每个服务器通常将包括操作系统,所述操作系统提供用于该服务器的一般管理和操作的可执行程序指令;并且通常将包括计算机可读存储介质(例如,硬盘、随机存取存储器、只读存储器等),所述计算机可读存储介质存储指令,所述指令在由服务器的处理器执行时,允许服务器执行其预期的功能。操作系统的合适的实施方式和服务器的一般功能是已知的或可商购的,并且容易由本领域普通技术人员实施,尤其是鉴于本文中的公开来实施。
一个实施方案中的环境是利用若干计算机系统和部件的分布式计算环境,这些计算机系统和部件使用一个或多个计算机网络或直接连接,经由通信链路互连。然而,本领域普通技术人员应理解,这样的系统可在具有比图7中所示更少或更多数量的部件的系统中同样良好地操作。因此,图7中的环境700的描绘应被视为本质上是说明性的而不是限制本公开的范围。
各种实施方案还可在各种各样的操作环境中实施,在一些情况下,操作环境可包括一个或多个用户计算机、计算装置或处理装置,它们可用于操作许多合适的应用程序中的任何一个。用户或客户端装置可包括任何合适数量的通用个人计算机,诸如运行标准操作系统的台式或膝上型计算机,以及运行移动软件并且能够支持多种网络和消息传递协议的蜂窝、无线和手持装置。这样的系统还可包括多个工作站,它们运行各种可商购获得的操作系统中的任何一个以及用于诸如开发和数据库管理等目的的其他已知的应用程序。这些装置还可包括其他电子装置,诸如虚拟终端、瘦客户端、游戏系统和能够经由网络进行通信的其他装置。
大多数实施方案利用本领域技术人员将熟悉的至少一个网络来支持使用各种合适的可商购获得的协议中的任何一种的通信,所述协议诸如传输控制协议/互联网协议(“TCP/IP”)、开放系统互连(“OSI”)、文件传输协议(“FTP”)、通用即插即用(“UpnP”)、网络文件系统(“NFS”)、通用互联网文件系统(“CIFS”)和AppleTalk。例如,网络可为局域网、广域网、虚拟私人网络、互联网、内联网、外联网、公共交换电话网、红外网络、无线网络以及它们任何合适的组合。
在利用Web服务器的实施方案中,Web服务器可运行各种服务器或中间层应用程序中的任何一种,包括超文本传输协议(“HTTP”)服务器、FTP服务器、通用网关接口(“CGI”)服务器、数据服务器、Java服务器和业务应用程序服务器。服务器还可能能够响应于来自用户装置的请求而执行程序或脚本,诸如通过执行一个或多个Web应用程序,所述Web应用程序可实施为以任何编程语言编写的一个或多个脚本或程序,诸如C、C#或C++,或任何脚本语言,诸如Perl、Python或TCL,以及它们的组合。服务器还可包括数据库服务器,包括但不限于可从和商购获得的那些数据服务器。
如上所述,环境可包括各种数据存储库和其他存储器和存储介质。这些可驻留在各种位置中,诸如在一个或多个计算机本地(和/或驻留在其中)或者远离网络中的任何或所有计算机的存储介质上。在一组特定实施方案中,信息可驻留在本领域技术人员熟悉的存储区域网络(“SAN”)中。类似地,视情况,用于执行归因于计算机、服务器或其他网络装置的功能的任何必要文件可本地和/或远程存储。在系统包括计算机化装置的情况下,每个这样的装置可包括可经由总线电耦合的硬件元件,所述元件包括例如至少一个中央处理单元(“CPU”)、至少一个输入装置(例如,鼠标、键盘、控制器、触摸屏或小键盘)和至少一个输出装置(例如,显示装置、打印机或扬声器)。这样的系统还可包括一个或多个存储装置,诸如磁盘驱动器、光存储装置和诸如随机存取存储器(“RAM”)或只读存储器(“ROM”)等的固态存储装置,以及可移除的介质装置、存储卡、闪存卡等。
这样的装置还可包括计算机可读存储介质读取器、通信装置(例如,调制解调器、网卡(无线或有线)、红外通信装置等)和如上所述的工作存储器。计算机可读存储介质读取器可与计算机可读存储介质连接或者被配置成接收计算机可读存储介质,所述计算机可读存储介质表示远程、本地、固定和/或可移除的存储装置以及用于暂时和/或更永久地包含、存储、传送和检索计算机可读信息的存储介质。系统和各种装置通常也将包括位于至少一个工作存储器装置内的多个软件应用程序、模块、服务或其他元件,包括操作系统和应用程序,诸如客户端应用程序或Web浏览器。应理解,替代实施方案可具有与上述不同的大量变化。例如,也可使用定制的硬件和/或特定元件可在硬件、软件(包括便携式软件,诸如小应用程序)或两者中实施。此外,可采用与其他计算装置(诸如网络输入/输出装置)的连接。
用于包含代码或代码部分的存储介质和计算机可读介质可包括本领域已知或使用的任何适当介质,包括存储介质和通信介质,诸如但不限于易失性和非易失性、可移除的和不可移除的介质,其以用于存储和/或传送信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何合适的方法或技术实施,所述介质包括RAM、ROM、电可擦除可编程只读存储器(“EEPROM”)、闪存或其他存储器技术、光盘只读存储器(“CD-ROM”)、数字通用光盘(DVD)或其他光存储装置、磁带盒、磁带、磁盘存储装置或其他磁存储装置或任何合适的介质,其可用于存储所需信息并可由系统装置访问。基于本文所提供的公开和教导,本领域普通技术人员应理解实施各个实施方案的其他方式和/或方法。
本文所公开的实施方案可包括无人驾驶飞行器(UAV),所述无人驾驶飞行器具有以下各项中的至少一个:框架;用于生成升力的推进系统;与框架相关联的推进系统;入射光计量表,其连接到框架并且定位成接收环境光并且被配置成响应于接收环境光而输出入射光测量值,所述入射光计量表包括安置在漫射圆顶下方的光敏元件,其中入射光计量表可定位在UAV的顶部部分上;至少一个图像传感器,其连接到框架并且定位成对UAV的环境进行成像;和/或管理模块,其耦合成从入射光计量表接收入射光测量值。可选地,管理模块可被配置成进行以下各项中的一个或多个:至少部分基于入射光测量值生成曝光设置;将曝光设置传送到至少一个图像传感器;从至少一个图像传感器接收数字图像,所述数字图像是在传送到至少一个图像传感器的曝光设置下捕获的;和/或生成指令以至少部分基于在曝光设置下捕获的数字图像来调整推进系统。
可选地,曝光设置可为至少一个图像传感器的曝光时段。可选地,管理模块还可被配置成通过向入射光计量表发送请求命令来发起入射光测量。可选地,推进系统可包括与框架相关联的多个推进器以生成升力。
本文公开的实施方案可包括用于自主运载工具的系统,所述系统包括以下各项中的一个或多个:入射光计量表,其被定位成接收环境光并且被配置成响应于接收环境光而输出入射光测量值;至少一个图像传感器,其被定位成捕获自主运载工具的环境的图像;和/或管理模块,其耦合成从入射光计量表接收入射光测量值。可选地,管理模块可被配置成进行以下各项中的一个或多个:至少部分基于入射光测量值生成曝光设置;将曝光设置传送到至少一个图像传感器;和/或从至少一个数字图像接收数字图像,所述数字图像是在传送到至少一个图像传感器的曝光设置下捕获的。
可选地,系统还可包括用于使自主运载工具移动的推进系统,其中推进系统可被配置成至少部分基于在曝光设置下捕获的数字图像来调整。可选地,自主运载工具可为UAV,并且其中推进系统可包括多个推进器。可选地,系统还可包括全球定位系统(GPS)接收器,其中可至少部分基于从GPS接收器接收的GPS坐标来调整自主运载工具的推进系统。可选地,曝光设置可为至少一个图像传感器的曝光时段。可选地,管理模块还可被配置成通过向入射光计量表发送请求命令来发起入射光测量。可选地,自主运载工具可为UAV,并且其中入射光计量表可位于UAV的顶部部分上。可选地,入射光计量表可包括漫射圆顶和定位在漫射圆顶下方以接收环境光的光敏元件。可选地,所述至少一个图像传感器可为自主运载工具的多个图像传感器当中的一个,并且其中所述曝光设置可被发送到所述多个图像传感器中的图像传感器的第一部分,但是所述曝光设置不发送到所述多个图像传感器中的图像传感器的剩余部分。可选地,至少一个图像传感器可包括在俯视相机中。
本文公开的实施方案可涉及一种方法,所述方法包括以下各项中的一个或多个:利用自主运载工具的入射光计量表读取入射光测量值;至少部分基于入射光测量值来确定曝光设置;在曝光设置下捕获至少一个数字图像,所述至少一个数字图像是利用自主运载工具的图像传感器捕获的;和/或至少部分基于在曝光设置下捕获的至少一个数字图像来调整自主运载工具的推进系统。
可选地,确定曝光设置可包括根据等式计算所述曝光设置,其中入射光测量值为所述等式的输入。可选地,确定曝光设置可包括访问查找表,所述查找表包括与入射光值对应的曝光设置条目。可选地,自主运载工具是无人驾驶飞行器(UAV),和/或至少一个数字图像可包括目标着陆区域,和/或调整自主运载工具的推进系统可包括致使UAV使目标着陆区域在相机下方居中,所述相机在曝光设置下捕获数字图像。可选地,自主运载工具可为UAV,和/或推进系统可包括用于生成升力的多个推进器。可选地,曝光设置可为图像传感器的像素增益。可选地,调整自主运载工具的推进系统可包括重新定位自主运载工具并在第二入射光测量值下捕获第二数字图像。
因此,说明书和附图应被视为说明性的而非限制性的。但是,明显的是,在不脱离如在权利要求书中阐述的本公开的更宽广精神和范围的情况下,可对本公开做出各种修改和改变。
其他变化处在本公开的精神内。因此,虽然所公开的技术易于进行各种修改和替代构造,但是在附图中示出了其某些示出的实施方案,并且上面对其已经作了详细描述。然而,应理解,并非意图将本公开限制为所公开的一种或多种特定形式,相反,意图是涵盖落入如所附权利要求书中所定义的本公开的精神和范围内的所有修改、替代结构和等效方案。
在描述所公开的实施方案的背景下(特别是在所附权利要求书的背景下)使用术语“一个(a/an)”和“所述”以及类似的指示物应被解释为涵盖单数和复数,除非本文另有说明或与上下文明显矛盾。除非另有说明,否则术语“包括(comprising)”、“具有(having)”、“包括(including)”和“包含(containing)”将被解释为开放式术语(即,意指“包括但不限于”)。术语“连接”被解释为部分或全部包含在内、附接至或接合在一起,即使存在某种中间物。除非本文另有说明,否则本文中值的范围的描述仅意图用作单独提及落在该范围内的每个单独值的简写方法,并且将每个单独的值并入到本说明书中,如同在本文中单独列举一样。除非本文另有指明或以其他方式与上下文明显矛盾,否则可按任何合适的顺序来执行本文所述的所有方法。除非另外声明,否则本文提供的任何和所有实例或示例性语言(例如,“诸如”)的使用仅意图更好地说明本公开的实施方案,而不是对本公开的范围进行限制。说明书中的任何语言都不应被解释为指示任何非要求保护的元件对本公开的实施至关重要。
除非另外特别说明,否则诸如短语“X、Y或Z中的至少一个”等析取性语言意图被理解为在上下文中通常用于呈现物品、术语等可为X、Y或Z,或其任何组合(例如,X、Y和/或Z)。因此,这样的析取性语言通常并非意图并且不应暗示某些实施方案要求X中的至少一者、Y中的至少一者或者Z中的至少一者各自都存在。
本文描述了本公开的优选实施方案,包括发明人已知的用于实施本公开的最佳模式。在阅读前面的描述之后,那些优选实施方案的变化对于本领域的普通技术人员来说可变得显而易见。发明人期望本领域的普通技术人员视情况采用这种变型,并且发明人意图使本公开以与本文中具体描述的方式不同的方式来实施。因此,如适用的法律所允许的,本公开包括所附权利要求中列举的主题的所有修改和等效方案。此外,除非另外在本文中指出或另外明显与上下文矛盾,否则本公开涵盖上述元件的以其所有可能变型进行的任何组合。
本文引用的所有参考文献(包括出版物、专利申请和专利)均通过引用的方式并入到本文中,其引用程度如同每个参考文献被单独且具体地指示通过引用方式并入并且在本文中完整地阐述那样。
Claims (15)
1.一种用于自主运载工具的系统,所述系统包括:
入射光计量表,其被定位成接收环境光并被配置成响应于接收所述环境光而输出入射光测量值;
至少一个图像传感器,其被定位成捕获所述自主运载工具的环境的图像;以及
管理模块,其耦合成从所述入射光计量表接收所述入射光测量值,其中所述管理模块被配置成:
至少部分基于所述入射光测量值生成曝光设置;
将所述曝光设置传送到所述至少一个图像传感器;并且
从所述至少一个图像传感器接收数字图像,所述数字图像是在传送到所述至少一个图像传感器的所述曝光设置下捕获的被。
2.根据权利要求1所述的系统,其还包括:
用于使所述自主运载工具移动的推进系统,其中所述推进系统被配置成至少部分基于在所述曝光设置下捕获的所述数字图像来调整。
3.根据权利要求1或2中任一项所述的系统,其中所述曝光设置是所述至少一个图像传感器的曝光时段。
4.根据权利要求1、2或3中任一项所述的系统,其中所述管理模块还被配置成通过向所述入射光计量表发送请求命令来发起所述入射光测量。
5.根据权利要求1、2、3或4中任一项所述的系统,其中所述自主运载工具是UAV,并且其中所述入射光计量表定位在所述UAV的顶部部分上。
6.根据权利要求1、2、3、4或5中任一项所述的系统,其中所述入射光计量表包括漫射圆顶和定位在所述漫射圆顶下方以接收所述环境光的光敏元件。
7.根据权利要求1、2、3、4、5或6中任一项所述的系统,其中所述至少一个图像传感器是所述自主运载工具的多个图像传感器当中的一个,并且其中所述曝光设置被发送到所述多个图像传感器中的所述图像传感器的第一部分,但是所述曝光设置不被发送到所述多个图像传感器中的所述图像传感器的剩余部分。
8.根据权利要求1、3、4、5、6或7中任一项所述的系统,其中所述至少一个图像传感器包括在俯视相机中。
9.一种方法,其包括:
用自主运载工具的入射光计量表读取入射光测量值;
至少部分基于所述入射光测量值来确定曝光设置;
在所述曝光设置下捕获至少一个数字图像,所述至少一个数字图像是利用所述自主运载工具的图像传感器捕获的;以及
至少部分基于在所述曝光设置下捕获的所述至少一个数字图像来调整所述自主运载工具的推进系统。
10.根据权利要求9所述的方法,其中确定所述曝光设置包括根据等式计算所述曝光设置,其中所述入射光测量值为所述等式的输入。
11.根据权利要求9或10中任一项所述的方法,其中确定所述曝光设置包括访问查找表,所述查找表包括对应于入射光值的曝光设置条目。
12.根据权利要求9、10或11中任一项所述的方法,其中所述自主运载工具是无人驾驶飞行器(UAV),并且其中所述至少一个数字图像包括目标着陆区域,并且调整所述自主运载工具的所述推进系统包括:致使所述UAV使所述目标着陆区域在相机下方居中,所述相机在所述曝光设置下捕获所述数字图像。
13.根据权利要求9、10、11或12中任一项所述的方法,其中所述自主运载工具是UAV,并且其中所述推进系统包括用于生成升力的多个推进器。
14.根据权利要求9、10、11、12或13中任一项所述的方法,其中所述曝光设置是所述图像传感器的像素增益。
15.根据权利要求9、10、11、12、13或14中任一项所述的方法,其中调整所述自主运载工具的所述推进系统包括重新定位所述自主运载工具并在第二入射光测量值下捕获第二数字图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/063,136 | 2016-03-07 | ||
US15/063,136 US9454154B1 (en) | 2016-03-07 | 2016-03-07 | Incident light sensor on autonomous vehicle |
PCT/US2017/021201 WO2017156030A1 (en) | 2016-03-07 | 2017-03-07 | Incident light sensor on autonomous vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108702462A true CN108702462A (zh) | 2018-10-23 |
Family
ID=56939485
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780015996.5A Pending CN108702462A (zh) | 2016-03-07 | 2017-03-07 | 自主运载工具上的入射光传感器 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9454154B1 (zh) |
EP (1) | EP3427473A1 (zh) |
CN (1) | CN108702462A (zh) |
WO (1) | WO2017156030A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020191665A1 (zh) * | 2019-03-27 | 2020-10-01 | 深圳市大疆创新科技有限公司 | 旋转式拍摄方法、控制装置、可移动平台及存储介质 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9798322B2 (en) | 2014-06-19 | 2017-10-24 | Skydio, Inc. | Virtual camera interface and other user interaction paradigms for a flying digital assistant |
US12007763B2 (en) | 2014-06-19 | 2024-06-11 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
US9678506B2 (en) | 2014-06-19 | 2017-06-13 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
TWI528989B (zh) * | 2015-04-10 | 2016-04-11 | wen-chang Xiao | Can independently block the light of the aircraft |
US9952304B2 (en) * | 2015-09-10 | 2018-04-24 | Ford Global Technologies, Llc | Vehicle positioning system |
CN106143931B (zh) * | 2016-08-04 | 2018-10-02 | 北京京东尚科信息技术有限公司 | 用于引导无人机降落的方法、装置和系统 |
US10520943B2 (en) | 2016-08-12 | 2019-12-31 | Skydio, Inc. | Unmanned aerial image capture platform |
US10928245B2 (en) * | 2016-09-15 | 2021-02-23 | Siteco Gmbh | Light measurement using an autonomous vehicle |
DE102016221123A1 (de) * | 2016-10-26 | 2018-04-26 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille |
US20180131864A1 (en) * | 2016-11-04 | 2018-05-10 | International Business Machines Corporation | Image parameter-based spatial positioning |
US11295458B2 (en) | 2016-12-01 | 2022-04-05 | Skydio, Inc. | Object tracking by an unmanned aerial vehicle using visual sensors |
WO2018119820A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳市大疆创新科技有限公司 | 一种控制方法、装置、设备及无人机 |
WO2018141843A1 (en) | 2017-02-03 | 2018-08-09 | Philips Lighting Holding B.V. | Servicing a luminaire with an unmanned vehicle |
JP2019005518A (ja) * | 2017-06-22 | 2019-01-17 | 鉄男 菊池 | キャリーバックにマルチカセットタイプのドローンを取り付けて、浮かして移動を可能とする簡易型生体計測システムの健康計測装置。 |
CN109496424B (zh) * | 2017-09-30 | 2021-06-18 | 深圳市大疆创新科技有限公司 | 补光控制方法、补光控制模块及无人飞行器 |
CN108600581A (zh) * | 2017-12-27 | 2018-09-28 | 北京臻迪科技股份有限公司 | 无人驾驶飞行器 |
US11117594B2 (en) * | 2018-06-22 | 2021-09-14 | GM Global Technology Operations LLC | System and method for detecting objects in an autonomous vehicle |
CN109947128B (zh) | 2019-03-13 | 2020-05-15 | 歌尔股份有限公司 | 无人机控制方法、无人机控制装置、无人机及系统 |
CN110641720A (zh) * | 2019-10-15 | 2020-01-03 | 黄娉 | 一种具有光线调节功能的安全性高的航拍无人机 |
CA3125408A1 (en) * | 2020-04-06 | 2021-10-06 | Workhorse Group Inc. | Flying vehicle systems and methods |
US11562572B2 (en) | 2020-12-11 | 2023-01-24 | Argo AI, LLC | Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps |
IT202100006215A1 (it) * | 2021-03-16 | 2022-09-16 | Despace S R L | Dispositivo e metodo per la lettura di contatori |
US20240168492A1 (en) * | 2022-11-17 | 2024-05-23 | The Boeing Company | Systems and methods for collecting and disseminating structure information from mounted smart lights |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090315722A1 (en) * | 2008-06-20 | 2009-12-24 | Billy Hou | Multi-wavelength video image fire detecting system |
CN102362141A (zh) * | 2009-02-02 | 2012-02-22 | 威罗门飞行公司 | 多模式无人驾驶航空飞行器 |
US20120218452A1 (en) * | 2011-02-25 | 2012-08-30 | Research In Motion Limited | Simulated Incident Light Meter on a Mobile Device for Photography/Cinematography |
CN103523226A (zh) * | 2013-10-31 | 2014-01-22 | 无锡同春新能源科技有限公司 | 一种带彩色水稻病害图像识别仪防治水稻纹枯病的无人机 |
CN103561210A (zh) * | 2013-10-24 | 2014-02-05 | 惠州Tcl移动通信有限公司 | 根据背景光拍照的方法及移动终端 |
CN103763473A (zh) * | 2014-01-23 | 2014-04-30 | 徐鹏 | 一种实时调整航拍相机参数的控制装置 |
CN104049641A (zh) * | 2014-05-29 | 2014-09-17 | 深圳市大疆创新科技有限公司 | 一种自动降落方法、装置及飞行器 |
CN104215239A (zh) * | 2014-08-29 | 2014-12-17 | 西北工业大学 | 基于视觉的无人机自主着陆导引装置及导引方法 |
CN105068553A (zh) * | 2015-03-10 | 2015-11-18 | 无锡桑尼安科技有限公司 | 无人机自动着陆系统 |
CN105204515A (zh) * | 2015-08-27 | 2015-12-30 | 泉州装备制造研究所 | 无人机自主着陆的测量解析及控制方法和装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5742340A (en) | 1995-06-06 | 1998-04-21 | Hughes Missile Systems Company | Ambient light automatic gain control for electronic imaging cameras and the like |
JP5775354B2 (ja) | 2011-04-28 | 2015-09-09 | 株式会社トプコン | 離着陸ターゲット装置及び自動離着陸システム |
WO2013059399A1 (en) | 2011-10-20 | 2013-04-25 | Monsanto Technology Llc | Plant stand counter |
US8259161B1 (en) | 2012-02-06 | 2012-09-04 | Google Inc. | Method and system for automatic 3-D image creation |
-
2016
- 2016-03-07 US US15/063,136 patent/US9454154B1/en active Active
- 2016-08-22 US US15/243,892 patent/US9753460B1/en active Active
-
2017
- 2017-03-07 EP EP17715836.7A patent/EP3427473A1/en not_active Withdrawn
- 2017-03-07 CN CN201780015996.5A patent/CN108702462A/zh active Pending
- 2017-03-07 WO PCT/US2017/021201 patent/WO2017156030A1/en active Application Filing
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090315722A1 (en) * | 2008-06-20 | 2009-12-24 | Billy Hou | Multi-wavelength video image fire detecting system |
CN102362141A (zh) * | 2009-02-02 | 2012-02-22 | 威罗门飞行公司 | 多模式无人驾驶航空飞行器 |
US20120218452A1 (en) * | 2011-02-25 | 2012-08-30 | Research In Motion Limited | Simulated Incident Light Meter on a Mobile Device for Photography/Cinematography |
CN103561210A (zh) * | 2013-10-24 | 2014-02-05 | 惠州Tcl移动通信有限公司 | 根据背景光拍照的方法及移动终端 |
CN103523226A (zh) * | 2013-10-31 | 2014-01-22 | 无锡同春新能源科技有限公司 | 一种带彩色水稻病害图像识别仪防治水稻纹枯病的无人机 |
CN103763473A (zh) * | 2014-01-23 | 2014-04-30 | 徐鹏 | 一种实时调整航拍相机参数的控制装置 |
CN104049641A (zh) * | 2014-05-29 | 2014-09-17 | 深圳市大疆创新科技有限公司 | 一种自动降落方法、装置及飞行器 |
CN104215239A (zh) * | 2014-08-29 | 2014-12-17 | 西北工业大学 | 基于视觉的无人机自主着陆导引装置及导引方法 |
CN105068553A (zh) * | 2015-03-10 | 2015-11-18 | 无锡桑尼安科技有限公司 | 无人机自动着陆系统 |
CN105204515A (zh) * | 2015-08-27 | 2015-12-30 | 泉州装备制造研究所 | 无人机自主着陆的测量解析及控制方法和装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020191665A1 (zh) * | 2019-03-27 | 2020-10-01 | 深圳市大疆创新科技有限公司 | 旋转式拍摄方法、控制装置、可移动平台及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3427473A1 (en) | 2019-01-16 |
US20170257547A1 (en) | 2017-09-07 |
US9454154B1 (en) | 2016-09-27 |
US9753460B1 (en) | 2017-09-05 |
WO2017156030A1 (en) | 2017-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108702462A (zh) | 自主运载工具上的入射光传感器 | |
Bianchi et al. | Rapid assessment of forest canopy and light regime using smartphone hemispherical photography | |
US9896204B1 (en) | Instructing unmanned aerial vehicles to land | |
Anderson et al. | Lightweight unmanned aerial vehicles will revolutionize spatial ecology | |
US10176378B1 (en) | Techniques for target detection | |
Mafanya et al. | Radiometric calibration framework for ultra-high-resolution UAV-derived orthomosaics for large-scale mapping of invasive alien plants in semi-arid woodlands: Harrisia pomanensis as a case study | |
Thomas | Some like it hot: The impact of next generation FLIR Systems thermal cameras on archaeological thermography | |
US11100357B2 (en) | Real-time micro air-quality indexing | |
US9940432B1 (en) | Development of an unmanned aerial vehicle | |
US10721375B1 (en) | Vehicle camera contamination detection | |
Ishihama et al. | Validation of a high‐resolution, remotely operated aerial remote‐sensing system for the identification of herbaceous plant species | |
Delord et al. | Kite aerial photography: a low‐cost method for monitoring seabird colonies | |
McGlade et al. | An early exploration of the use of the Microsoft Azure Kinect for estimation of urban tree Diameter at Breast Height | |
Shaw et al. | Multispectral imaging systems on tethered balloons for optical remote sensing education and research | |
Pargieła et al. | Determining optimal photogrammetric adjustment of images obtained from a fixed‐wing UAV | |
CN115439528A (zh) | 一种获取目标对象的图像位置信息的方法与设备 | |
Thomas | Quantitative analysis of two low-cost aerial photography platforms: A case study of the site of Zagora, Andros, Greece | |
US11480710B2 (en) | Weather data collection through incentivized and collaborative drone flights | |
Lippitt et al. | Application of the remote-sensing communication model to a time-sensitive wildfire remote-sensing system | |
Gkanias et al. | Celestial compass sensor mimics the insect eye for navigation under cloudy and occluded skies | |
JP2023525561A (ja) | 野生生物を保護し、遠隔野生生物観光を可能にするシステムおよび方法 | |
Ribas Costa et al. | Uncrewed aircraft system spherical photography for the vertical characterization of canopy structural traits | |
Pawade et al. | Augmented reality based campus guide application using feature points object detection | |
Hua et al. | Protecting endangered megafauna through AI analysis of drone images in a low-connectivity setting: a case study from Namibia | |
US20230222667A1 (en) | Mask for satellite image data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181023 |
|
RJ01 | Rejection of invention patent application after publication |