CN109219733A - 用以与具体预期对象交互的无人驾驶航空器系统和方法 - Google Patents
用以与具体预期对象交互的无人驾驶航空器系统和方法 Download PDFInfo
- Publication number
- CN109219733A CN109219733A CN201780029633.7A CN201780029633A CN109219733A CN 109219733 A CN109219733 A CN 109219733A CN 201780029633 A CN201780029633 A CN 201780029633A CN 109219733 A CN109219733 A CN 109219733A
- Authority
- CN
- China
- Prior art keywords
- uas
- package
- delivering
- control circuit
- pad
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003993 interaction Effects 0.000 title description 4
- 230000015654 memory Effects 0.000 claims abstract description 35
- 238000013502 data validation Methods 0.000 claims abstract description 6
- 238000012384 transportation and delivery Methods 0.000 claims description 59
- 238000004891 communication Methods 0.000 claims description 39
- 238000001514 detection method Methods 0.000 claims description 24
- 238000012790 confirmation Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 230000032258 transport Effects 0.000 claims description 5
- 230000005611 electricity Effects 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000000712 assembly Effects 0.000 description 7
- 238000000429 assembly Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 230000004888 barrier function Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000406668 Loxodonta cyclotis Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000011449 brick Substances 0.000 description 2
- 239000011469 building brick Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001062009 Indigofera Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
- B64D1/22—Taking-up articles from earth's surface
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
- B64U2101/64—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons for parcel delivery or retrieval
Abstract
在一些实施例中,提供用以控制和分派UAS的系统、装置、方法和过程。在一些实施例中,一种用以控制无人驾驶航空器系统(UAS)的系统,其包括:被配置成与UAS通信的一个或多个无线收发器;与(一个或多个)收发器耦合的控制电路;以及耦合到控制电路并且存储计算机指令的存储器,当所述计算机指令由控制电路执行时使控制电路实行下述步骤:接收由UAS的至少一个传感器捕获的传感器数据;根据传感器数据确定在预定义的位置处的对象的唯一标识;并且根据传感器数据确认所标识的对象是在预定义的位置处所期望的期望对象。
Description
对相关申请的交叉引用
本申请要求2016年3月14日提交的美国临时申请号62/308,140的权益,其通过引用整体地并入本文中。
技术领域
本发明一般涉及无人驾驶航空器系统(UAS)。
背景技术
在现代零售环境中,有改善针对客户的客户服务和/或便利性的需要。客户服务的一个方面是产品的递送。存在众多方式来向客户递送产品。然而,使产品到达递送位置可能导致不合期望的延迟,从而可能增加成本并且减少收入。
附图说明
本文中公开的是涉及无人驾驶航空器系统(UAS)的系统、装置和方法的实施例。该描述包括附图,其中:
图1图示了根据一些实施例的示例性UAS控制系统的简化框图。
图2图示了根据一些实施例的示例性任务控制系统的简化框图。
图3图示了根据一些实施例的示例性UAS的简化框图。
图4图示了根据一些实施例的示例性飞行员控制系统的简化框图。
图5图示了根据一些实施例的控制一个或多个UAS的示例性过程的简化流程图。
图中的元件出于简单和清楚进行图示,并且其不一定是按比例绘制的。例如,图中一些元件的尺寸和/或相对定位可能相对于其他元件被夸大,以帮助改善对本发明的各种实施例的理解。而且,通常没有描绘在商业上可行的实施例中是有用或必要的常见却公知的元件,为了便于本发明的这些各种实施例的较少受阻碍的视图。可以以特定的出现次序描述或描绘某些动作和/或步骤,而本领域技术人员将理解的是,实际上并不需要关于顺序的这样的专一性。除非已经在本文中另行阐述不同的具体含义的情况之外,否则本文中使用的术语和表达具有如上文阐述的如由本领域技术人员给予这样的术语和表达的普通技术含义。
具体实施方式
不应以限制意义理解以下描述,而仅仅是为了描述示例性实施例的一般原理的目的做出以下描述。贯穿本说明书,对“一个实施例”、“实施例”、“一些实施例”“实现方式”、“一些实现方式”或类似语言的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。从而,贯穿本说明书,短语“在一个实施例中”、“在实施例中”、“在一些实施例中”、“在一些实现方式中”以及类似语言的出现可以但不一定全部指代相同的实施例。
一般而言,依照各种实施例,提供系统、装置、方法和过程以在事先安排的位置处向客户递送包裹和/或在预定义的位置处预先形成其他任务方面利用无人驾驶航空器系统(UAS)。一些实施例利用UAS上的传感器除了检测UAS应当避开的对象之外,还检测意图与其交互的对象。在一些实施例中,系统识别对象,使得UAS可以与预期对象交互。UAS被配置有一个或多个传感器(例如,相机、距离测量传感器、信号强度传感器、信标检测器等等),该一个或多个传感器可以捕获对应的传感器数据。可以利用该UAS检测到的传感器数据来确定在预定义的位置(诸如UAS要递送包裹的预期递送位置)处意图与其交互的对象的唯一标识。此外,使用传感器数据,可以将所标识的对象确认为在预定义的位置处所期望的期望对象。一些实施例包括通过一个或多个收发器进行通信的控制电路。控制电路可以接收由UAS的一个或多个传感器捕获的传感器数据。根据传感器数据,控制电路可以确定在预定义的位置处的对象的唯一标识,并且确认所标识的对象是在预定义的位置处所期望的对象,并且通常是UAS意图与其交互的对象。
图1图示了根据一些实施例的示例性UAS控制系统100的简化框图。示例性UAS控制系统100包括一个或多个任务控制系统102和多个无人驾驶航空器系统(UAS)104。UAS通过一个或多个分布式通信和/或计算机网络106与任务控制系统102进行通信。任务控制系统在实现诸如但不限于递送包裹、捕获视频、获得检查数据以及其他这样的任务之类的一个或多个任务时控制配送和/或向UAS提供飞行路径信息。要注意的是,下面的描述一般描述实行产品递送的任务,然而,该系统不限于实行递送,而是反而可以应用于众多其他任务。一些实施例包括一个或多个飞行员控制系统108,其允许远程飞行员提供由UAS实现的飞行命令。飞行命令可以是单个简单命令(例如,改变路线)、一系列命令,或者允许远程飞行员接管UAS的完全控制持续至少一段时间。
一个或多个零售商和/或产品配送中心系统110可以由客户使用用户界面单元112(例如,计算机、膝上型计算机、智能电话、平板设备和其他这样的设备)和/或其他这样的客户设备可通过一个或多个分布式网络106访问。客户可以访问零售商系统并且购买一个或多个产品。此外,客户可以选择使所购买的产品被递送。该系统包括多个用户界面单元112和/或可由多个用户界面单元112访问,每一个用户界面单元112与至少一个客户相关联。用户界面单元可以经由通信网络106与零售商系统110通信,并且在一些应用中可以与任务控制系统102和/或UAS通信。一些实施例进一步利用一个或多个配送和/或活动发射装置(launch vehicle),该一个或多个配送和/或活动发射装置118运输一个或多个UAS并且当相关包裹要由那些UAS递送时将其运输到战略发射位置,一个或多个UAS可以从该战略发射位置发射以实现预期任务(例如,无人驾驶空中递送、视频捕获、建立无线网络等)。
任务控制系统102被配置成协调由UAS 104实行的任务,诸如协调由客户订购的包裹和/或产品的递送。这可以包括确定和/或提供递送调度、飞行时间表、飞行路线计划、替换路线信息、禁飞区标识和/或其他这样的功能。在一些应用中,从零售商系统110接收产品订单。零售商系统可以包括互联网市场零售商来源、店内订购系统和/或其他这样的来源。此外,产品订单可以标明和/或请求由UAS来递送订单中的一个或多个产品。附加地或替换地,客户可以向维护客户简介或记录的零售实体注册,并且在注册期间,客户可以使得使用UAS来递送经授权和/或请求的产品。
基于所接收到的订单和/或其他任务被安排由一个或多个UAS来实行,任务控制系统可以调度递送(和/或任务)并且向UAS 104中的对应一个提供相关路线选择和/或飞行路径信息。基于从客户接收到的标明的递送位置和/或其中UAS要实行或协助实行任务的任务位置来确定所确定的飞行路径。在一些实施例中,客户可以使用他们的便携式用户界面单元112来指定递送位置。基于所指定的递送位置,任务控制系统可以基于一个或多个因素确定事先安排的递送,连同UAS在携带用于递送的一个或多个包裹时要行进的飞行路径或路线。因此,一些实施例使得能够实现UAS能够将有效载荷递送到所确定的递送位置和/或在预定义的任务位置处实行其他任务。
在操作中,接收与正在实行的任务和/或包裹的递送相对应的传感器数据。传感器数据通常包括由UAS 104的一个或多个传感器捕获的传感器数据。可以从接收来自其他设备的其他传感器数据,该其他设备诸如但不限于用户界面单元112、固定相机、其他UAS和/或其他这样的设备。基于传感器数据,可以将对象标识为在一类对象内,可以标识在预定义的位置处的对象的唯一标识,以及其他这样的标识。该对象可以是在预期递送位置处的递送和/或着陆垫、在预期的递送位置处的递送柜、客户、建筑物、特定交通工具、UAS发射系统、UAS吊架或在预定义位置处的其他这样的对象。识别可以基于图像处理、RFID检测、光学条形码扫描、文本捕获和比较、信标检测、其他这样的识别方法,或者这样的识别方法中的两种或多种的组合。例如,当在递送包裹的过程中时,UAS的一个或多个相机可以捕获与递送位置相对应的区域的一个或多个图像和/或视频。可以实行图像和/或视频处理以检测包裹要递送到的预期的递送垫。在一些情况下,例如,要被识别的递送垫或其他对象可以包括预定义的颜色图案、字母数字字符、条形码等,其可以在UAS飞过与递送位置相对应的区域的同时通过对由UAS捕获的图像和/或视频进行图像识别来进行检测。作为另一示例,图像处理可以检测位于与递送位置相对应的区域中的人员,并且使用面部识别可以确认该人员是UAS在递送包裹时意图与其交互的个体(例如,接收包裹的客户和/或与客户相关联的人员,诸如配偶、孩子、邻居等)。附加地或替换地,一些实施例可以接收来自对象或与对象相关联的设备(例如,与客户相关联的智能电话)的一个或多个通信。系统可以在标识和/或确认对象方面使用该通信。在一些情况下,UAS可以通过向预期对象和/或与对象相关联的设备(例如,与客户相关联的用户界面单元112)发送通信来发起通信交换。
图2图示了根据一些实施例的示例性任务控制系统102的简化框图。任务控制系统包括一个或多个控制电路202、存储器204和输入/输出(I/O)接口和/或设备206。一些实施例进一步包括一个或多个用户界面208。控制电路202通常包括一个或多个处理器和/或微处理器。存储器204存储由控制电路202和/或处理器执行以实现任务控制系统102的功能性的操作代码或指令集。在一些实施例中,存储器204还可以存储特定数据中的一些或全部特定数据,可能需要该特定数据来调度递送、确定递送位置、确认递送位置、确定飞行路径、使飞行路径和/或飞行指令传送到UAS 104以及进行本文中所描述的关联、确定、测量和/或通信中的任何一项。这样的数据可以被预先存储在存储器中、接收于外部来源(例如,零售商配送系统110、UAS 104、飞行员控制系统108、用户界面单元112等)、确定和/或传送到任务控制系统。
要理解的是,控制电路202和/或处理器可以被实现为如在本领域中公知的一个或多个处理器设备。类似地,存储器204可以被实现为如在本领域中公知的一个或多个存储器设备(诸如一个或多个处理器可读和/或计算机可读介质),并且可以包括易失性和/或非易失性介质,诸如RAM、ROM、EEPROM、闪速存储器和/或其他存储器技术。此外,存储器204被示出为在任务控制系统102的内部;然而,存储器204可以是内部存储器、外部存储器或者内部和外部存储器的组合。附加地,任务控制系统通常包括电源(未示出),该电源通常是可再充电的,和/或其可以接收来自外部来源的电力。虽然图2图示了经由总线耦合在一起的各种组件,但是要理解的是,实际上各种组件可以直接耦合到控制电路202和/或一个或多个其他组件。
通常,任务控制系统102的控制电路202和/或电子组件可以包括固定用途的硬连线平台,或者可以包括部分或完全可编程的平台。这些架构选项在本领域中是公知且被理解的,并且此处不需要进一步描述。任务控制系统和/或控制电路可以(例如,通过使用如将被本领域技术人员充分理解的对应的编程)被配置成执行本文中描述的步骤、动作和/或功能中的一个或多个。在一些实现方式中,控制电路202和存储器204可以一起集成在诸如微控制器、专用集成电路、现场可编程门阵列或其他这样的设备中,或者可以是耦合在一起的单独设备。
I/O接口206允许任务控制系统102与外部组件(诸如UAS 104、零售商系统110、飞行员控制系统108、用户界面单元112、数据库114以及其他这样的设备或系统)进行有线和/或无线通信耦合。通常,I/O接口206提供有线和/或无线通信(例如,Wi-Fi、蓝牙、蜂窝、RF和/或其他这样的无线通信),并且在一些情况下,可以包括任何已知的有线和/或无线对接设备、电路和/或连接设备,诸如但不限于一个或多个发射器、接收器、收发器等。
用户界面208可以被用于用户输入和/或输出显示。例如,用户界面208可以包括任何已知的输入设备,诸如一个或多个按钮、旋钮、选择器、开关、按键、触摸输入表面、音频输入和/或显示器等。附加地,用户界面208包括诸如灯、视觉指示器、显示屏幕等的一个或多个输出显示设备以向用户/工人传达信息,该信息诸如但不限于产品订单、产品信息、飞行路径映射、飞行路径信息、UAS参数数据、客户信息、图像、视频、通信信息(例如,文本消息、电子邮件等)、状态信息、映射信息、运行状态信息、通知、错误、状况和/或其他这样的信息。类似地,在一些实施例中,用户界面208可以包括音频系统,该音频系统可以接收由工人口头发出的音频命令或请求,和/或输出音频内容、警报等等。
图3图示了根据一些实施例的示例性UAS 104的简化框图。UAS包括一个或多个UAS控制电路302、存储器304、输入/输出(I/O)接口和/或设备306、马达和马达控制电路308、位置检测系统310以及一个或多个相机312。一些实施例进一步包括一个或多个传感器314、起重机系统316、用户界面318和/或其他这样的系统。UAS控制电路302包括一个或多个处理器和/或微处理器并且与存储器304耦合,该存储器304存储由UAS控制电路302和/或处理器执行以实现UAS 104的功能性的操作代码或指令集。在一些实施例中,存储器304还可以存储特定数据中的一些或全部特定数据,可能需要该特定数据导航到递送位置并且递送一个或多个产品。要理解的是,UAS控制电路302可以被实现为如在本领域中公知的一个或多个处理器设备。类似地,存储器304可以被实现为如在本领域中公知的一个或多个存储器设备,诸如上面描述的那些。此外,存储器304被示出为在UAS 104的内部;然而,存储器304可以是内部的、外部的且无线可访问的、或者是内部和外部存储器的组合。附加地,UAS通常包括电源(未示出),该电源通常是可再充电的,和/或其可以接收来自外部来源的电力。虽然图3图示了经由总线耦合在一起的各种组件,但是要理解的是,实际上各种组件可以直接耦合到UAS控制电路302和/或一个或多个其他组件。
UAS 104的UAS控制电路302和/或电子组件可以包括固定用途的硬连线平台,或者可以包括部分或完全可编程的平台。这些架构选项在本领域中是公知且被理解的,并且此处不需要进一步描述。UAS和/或UAS控制电路可以(例如,通过使用如将被本领域技术人员充分理解的对应的编程)被配置成执行本文中描述的步骤、动作和/或功能中的一个或多个。在一些实现方式中,UAS控制电路302和存储器304可以一起集成在诸如微控制器、专用集成电路、现场可编程门阵列或其他这样的设备中,或者可以是耦合在一起的单独设备。
I/O接口306允许UAS 104与外部组件(诸如任务控制系统102、零售商系统110、飞行员控制系统108、在一些情况下是一个或多个用户界面单元112、以及其他这样的设备或系统)进行有线和/或无线通信耦合。通常,I/O接口306至少提供无线通信(例如,Wi-Fi、蓝牙、蜂窝、RF和/或其他这样的无线通信),并且在一些情况下,可以包括任何已知的有线和/或无线对接设备、电路和/或连接设备,诸如但不限于一个或多个发射器、接收器、收发器等。
位置检测系统310获得位置信息以确定UAS的当前位置并且跟踪UAS的位置和移动。UAS控制电路302在控制UAS的移动方面利用位置信息。在一些情况下,位置检测系统可以包括全球定位检测系统和/或接收全球定位坐标信息的系统、Wi-Fi信号三角测量和/或评估系统、蜂窝塔三角测量系统、信标检测和/或其他这样的位置检测系统。此外,位置检测系统可以将由一个或多个传感器314提供的信息用在确定和/或跟踪位置信息中。传感器可以包括基本上任何相关的传感器,诸如但不限于一个或多个惯性传感器、加速度计、高度计、陀螺仪、罗盘、距离测量系统(例如,超声波、激光器等)和/或其他这样的传感器信息。可以包括可以被用于或者可以不被用于位置检测的其他传感器314,诸如但不限于无线信号强度传感器、天气传感器、磁辐射检测传感器、移动检测器(例如,检测在递送位置的阈值距离内的移动)等等。
通常,UAS 104包括捕获图像和/或视频的一个或多个相机312,图像和/或视频可以由UAS的UAS控制电路302进行评估和/或被传送到任务控制系统102以用于处理。在操作中,UAS的UAS控制电路302可以响应于来自任务控制系统的命令、响应于从飞行员控制系统接收到的飞行员命令来激活相机312中的一个或多个,UAS控制电路基于预定义的递送顺序来激活一个或多个相机(例如,当在递送位置的阈值距离内时激活相机以捕获图像和/或视频、当悬停在递送站点上时、当降下UAS时、当通过起重机系统316降下包裹时等等)等等。一些实施例包括指向不同大体方向(例如,向上、向下、向前、向后)上的不同相机,附加地或替换地,一个或多个相机可以与相机方向控制系统(例如,马达、轨道、平衡环等)配合,该相机方向控制系统可以控制一个或多个相机的移动。在一些实施例中,一个或多个相机提供全方位成像和/或视频能力。如上文介绍的,在一些实施例中,可以在对认为UAS要与其交互的一个或多个对象进行检测和/或标识中来估计由UAS的一个或多个相机312捕获的一个或多个图片和/或视频。此外,在一些应用中,可以将视频传送到飞行员控制系统,以允许飞行员看到递送位置处和/或其周围的状况。
在一些实现方式中,UAS 104可以包括起重机系统316,该起重机系统316允许在UAS悬停在递送站点上方的同时将被递送的产品降下到递送站点,并且通常在递送站点上面的阈值高度处或阈值高度以上盘旋。在一些实施例中,起重机系统和/或包裹释放系统可以根据或类似于在2015年9月23日提交的Nathan G.Jones等人的题为“SYSTEMS ANDMETHODS OF DELIVERING PRODUCTS WITH UNMANNED DELIVERY AIRCRAFTS”的美国临时申请号62/222,572和2015年9月23日提交的Nathan G.Jones的题为“PACKAGE RELEASESYSTEM FOR USE IN DELIVERY PACKAGES, AND METHODS OF DELIVERING PACKAGES”的美国临时申请号62/222,575中描述的起重机系统和/或释放系统来实现,其通过引用整体地并入本文中。
在一些实现方式中,UAS可以包括可以被用于用户输入和/或输出显示的一个或多个用户界面318。例如,用户界面318可以包括任何已知的输入设备,诸如一个或多个按钮、旋钮、选择器、开关、按键、触摸输入表面、音频输入和/或显示器等。附加地,用户界面318包括一个或多个输出显示设备(诸如灯、视觉指示器、显示屏幕等)以将信息传达给用户。类似地,在一些实施例中,用户界面208可以包括音频系统,该音频系统可以接收由工人口头发出的音频命令或请求,和/或输出音频内容、警报等等。
图4图示了根据一些实施例的示例性飞行员控制系统108的简化框图。飞行员控制系统包括一个或多个飞行员系统控制电路402、存储器404、输入/输出(I/O)接口和/或设备406、用户界面408。飞行员系统控制电路402通常包括一个或多个处理器和/或微处理器,并且与存储器404耦合以访问由控制电路402执行以实现飞行员控制系统108的功能性的操作代码或指令集。在一些实施例中,存储器404还可以存储特定数据中的一些或全部特定数据,可能需要该特定数据来远程控制UAS 104,并且进行本文中描述的关联、确定、测量和/或通信中的任何一项。要理解的是,控制电路402和/或存储器404可以被实现为如在本领域中公知的一个或多个处理器设备和存储器,诸如上文描述的那些。此外,存储器404被示出为在飞行员控制系统108的内部;然而,存储器404可以是内部存储器、外部存储器或者内部和外部存储器的组合。虽然图4图示了经由总线耦合在一起的各种组件,但是要理解的是,实际上各种组件可以直接耦合到飞行员系统控制电路402和/或一个或多个其他组件。在一些实现方式中,飞行员系统控制电路和存储器404可以一起集成在诸如微控制器、专用集成电路、现场可编程门阵列或其他这样的设备中,或者可以是耦合在一起的单独设备。
I/O接口406允许飞行员控制系统108与外部组件(诸如UAS 104、任务控制系统102、零售商系统110、数据库114以及其他这样的设备或系统)进行有线和/或无线通信耦合。通常,I/O接口406至少提供无线通信(例如,蜂窝、卫星、Wi-Fi、蓝牙、RF和/或其他这样的无线通信),并且在一些情况下可以包括任何已知的有线和/或无线对接设备、电路和/或连接设备,诸如但不限于一个或多个发射器、接收器、收发器等。用户界面408被用于用户输入和/或输出显示。例如,用户界面408可以包括任何已知的输入设备,诸如一个或多个按钮、旋钮、选择器、开关、按键、触摸输入表面、操纵杆、拨号盘、音频输入和/或显示器等。附加地,用户界面408进一步包括诸如灯、视觉指示器、显示屏幕等的一个或多个输出显示设备以向用户/工人传达信息,该信息诸如但不限于视频数据、图像、递送位置参数和/或统计数据、产品信息、飞行路径映射、飞行路径信息、UAS参数数据、客户信息、通信信息(例如,文本消息、电子邮件等)、状态信息、映射信息、运行状态信息、通知、错误、状况和/或其他这样的信息。类似地,在一些实施例中,用户界面408可以包括音频系统,该音频系统可以接收口头发出的音频命令或请求,和/或输出音频内容、警报等等。
此外,一些实施例提供了一排飞行员控制系统108,其具有当调度UAS实行任务和/或当UAS正在实行任务时操控飞行员控制系统的一个或多个飞行员。通过飞行员控制系统,飞行员可以远程接管UAS的至少一些控制。当UAS在任务位置(例如,递送位置)的阈值飞行员控制距离内时,飞行员系统控制电路可以接收到请求飞行员协助的通知。可以通过收发器建立对UAS的至少一些控制的远程控制。如此,可以通过用户接口408接收来自飞行员的命令,并且将该命令传送到UAS以实现命令,使得飞行员控制UAS的至少一些方面和/或接管UAS的总控制。通常,飞行员可以在UAS操作中的任何时间期间(例如,UAS正在准备飞行、在飞行中和/或飞行开始后不久等)接管控制。例如,在一些情况下,飞行员可以至少在产品放置在递送位置处的期间接管至少部分控制。
如上文描述的,一些实施例利用配送交通工具118。可以将一个或多个UAS 104和待递送的产品装载到活动发射装置中。基于事先安排的递送,可以将活动发射装置按规定路线发送到预先确定的发射位置,该预先确定的发射位置在一个或多个事先安排的递送位置的预定义飞行距离内(例如,基于电池功率、被递送的包裹的重量、天气状况等)。然后可以从活动发射装置发射一个或多个UAS,该一个或多个UAS可以与待递送的产品中的一个或多个配合。配送交通工具118可以行进到多个不同发射位置以实现多个不同的事先安排的递送。此外,在发射之后,配送交通工具可以继续前进到随后的发射位置以发射一个或多个其他UAS,并且然后随后返回到第一发射位置以取回一个或多个先前发射的UAS。
一些实施例提供使得UAS能够实现任务并且识别任务位置处的预期对象的系统。由UAS的至少一个传感器捕获传感器数据。再一次,传感器数据可以是图像和/或视频内容、文本识别、RFID信号、条形码检测、其他这样的传感器数据,或这样的传感器数据中的两个或更多个的组合。根据传感器数据,可以确定在预定义的位置处的对象的唯一标识。基于标识和传感器数据,系统可以确认所标识的对象是在预定义的位置处所期望的期望对象。对象的确认允许系统采取一个或多个动作以允许UAS与对象进行交互。UAS、飞行员和/或任务控制系统可以进一步检测要避开的潜在对象(例如,树木、高架电线、建筑物等等)。然而,该系统使用传感器数据来附加地标识意图与其交互的在期望位置处的对象,从而允许UAS在具有一定水平的置信度的情况下有效地实行任务。
在一些应用中,UAS控制电路302可以接收由UAS上的相机捕获的图像数据作为传感器数据的至少一部分。通常,UAS控制电路可以使相机和/或UAS定向成捕获一个或多个图像和/或视频。可以处理图像和/或视频数据(例如,图像处理、文本捕获等等)以检测与期望对象相对应的一个或多个特征。这可以是图案、所检测到的移动、其他这样的特征或这样的特征的组合。在一些实现方式中,在UAS上本地实行图像处理和对象标识。此外,UAS可以标识预测检测到期望对象的位置。相应地,UAS控制电路可以限制对传感器数据的评估,直到UAS在该位置的阈值距离内为止。在一些实施例中,UAS控制电路可以根据图像处理传感器数据获得对象的唯一标识。例如,在一些应用中,UAS可以基于着陆垫上预定义的图案来识别递送垫。该图案可以被配置成可从由相机在着陆垫上方数百或甚至数千英尺的高度处拍摄的图像中容易辨别的。类似地,图像处理可以在存储柜、递送垫、配送交通工具的顶棚、在位置处的一个或多个标志或其他这样的对象上识别预定义号码、条形码或其他这样的唯一标识。在一些应用中,UAS控制电路在获得唯一标识时根据图像处理获得递送垫标识符,该递送垫标识符对于与预定义的位置相关联的递送垫是唯一的并且有别于其他类似和不同的递送垫。如上文介绍的,递送垫被配置成接收由UAS递送的包裹。
在一些实施例中,UAS控制电路302引起要在预定义的位置的一个或多个图像和/或视频上实行的面部识别处理。在获得唯一标识中,UAS可以通过接近预定义的位置定位的客户的面部识别来获得标识。在一些应用中,图像和/或视频内容可以传送到远程图像和/或视频处理系统(例如,作为任务控制系统的部分)。数据库可以由众多对象、客户、工人和其他这样的对象访问。通过将预先获得的图像与图像处理进行比较,系统可以将客户的面部特征与客户的预先获得且经处理的图像的特征相关。例如,客户可以已经向递送服务、向零售实体等等进行了注册,并且已经提供了他们自己和/或可以代表他们接收递送的其他人员的一个或多个图像。图像和/或图像处理可以与一个或多个预定义的位置(例如,家、度假屋、工作位置等)相关联,其中客户将与针对该预定义的位置的递送相关联。如此,图像处理可以将UAS捕获的图像与先前获得的图像和/或图像处理相关,以确认期望的人员处于该位置处。
在一些实施例中,系统可以进一步基于来自对象和/或先前与对象相关联的设备的通信来确认对象。例如,UAS 104和/或任务控制系统102可以进一步接收来自预先注册为与预定义的位置处的客户或其他人员相关联的用户界面单元112的通信。在一些情况下,通过无线收发器接收通信,并且UAS和/或递送系统可以检测来自与关联于预定义的位置的客户相关联的用户界面单元的通信。此外,UAS可以通过广播信标信号、生成光信号和/或发起预期的直接通信(例如,经由蜂窝通信或者对客户的用户界面单元的文本消息)来发起通信交换。在确认所标识的对象是期望对象中,UAS控制电路可以基于来自用户界面单元的所检测到的通信和所接收到的传感器数据来至少部分地确认所标识的对象。类似地,在确定对象的唯一标识中,控制电路可以接收来自配送交通工具118的通信。在一些实现方式中,例如,通信可以包括配送交通工具的标识。控制电路确认配送交通工具的标识与被分配以将UAS运输远离预定义的位置的期望的配送交通工具一致。
可以在与对象交互和/或预先形成任务方面进一步利用传感器数据。例如,传感器数据可以被用来确认在递送位置处存在足够的空间以递送包裹。这可以包括,例如,确认如果在递送垫上存在某些东西,仍存在足够的空间以递送包裹。例如,当客户经由UAS归还包裹时,足够空间的确认可以是相关的。在一些情况下,控制电路进一步被配置成接收来自UAS的附加传感器数据。控制电路可以标识的是,包裹位于递送垫上、递送柜中或另一预定义的位置处。再一次,递送垫等等可以意图接收正在由UAS递送的包裹。控制电路可以评估递送垫上的包裹周围的空间并且确认递送垫上存在足够的未被已放置的包裹占据的空间,以接收正在由UAS运载的包裹。UAS可以响应于确认在递送垫上存在足够的空间以递送包裹而发起包裹的递送。在其他情况下,相机数据可以指示存在阻挡递送垫中的一些或全部递送垫的积雪或其他这样的障碍物。UAS可以使用正在递送的包裹的尺寸来确定包裹是否将合适。一些实施例可以检测标示、递送垫上的测量结果、具有递送区域的大小的数字水印,并且使用该信息来检测阻挡了多少区域以确定可用于接收包裹的区域的量。在一些情况下,可以通知飞行员以请求确认和/或接管递送控制。附加地或替换地,可以通知客户没有足够的空间并且请求顾客移除递送垫上的物项或者选择替换的递送位置。在其他实现方式中,可以指示UAS或另一UAS在递送随后的包裹之前取回被归还的包裹。
在一些实现方式中,传感器数据可以被用来验证要由UAS 104运载的正确包裹。在确定对象的标识中,控制电路可以根据传感器数据来标识或确定要与UAS配合的期望包裹的包裹标识符。包裹可以是意图被UAS递送到递送位置的包裹、被客户归还的包裹等等。传感器数据可以包括读取条形码,检测大小、形状和/或着色,检测一个或多个预定义的标记、RFID数据、其他这样的数据或这样的数据中的两个或多个的组合。
图5图示了根据一些实施例的控制一个或多个UAS的示例性过程500的简化流程图。在步骤502中,接收由UAS的至少一个传感器捕获的传感器数据。再一次,传感器数据可以是RFID传感器数据、图像和/或视频数据、距离测量数据、信标数据和/或其他这样的传感器数据。在步骤504中,至少部分地根据传感器数据来确定预定义的位置处的对象的唯一标识。此外,唯一标识特定于该对象并且将该对象与其他对象区分开来。
在步骤506中,系统根据传感器数据确认所标识的对象是在预定义的位置处所期望的期望对象。在一些情况下,向任务控制系统、零售商系统110和/或其他这样的系统或数据库注册对象和/或对象的特性。因此,在确认对象的标识中,系统可以限制所考虑的对象的数量。这种有限数量的对象可以大大增加确认的速度。类似地,在一些应用中,有限数量的物项可以减少在评估传感器数据中向UAS传送并且要与传感器数据进行比较的数据量。
一些实施例在接收传感器数据中接收由UAS上的相机捕获的图像数据。UAS和/或任务控制系统可以使用该图像数据以根据图像处理获得对象的唯一标识。对象可以是人员、递送柜、递送垫、标志或其他这样的对象。例如,在一些情况下,控制电路可以根据图像处理获得对于与预定义的位置相关联的递送垫而言唯一的递送垫标识符。通常,递送垫标识符有别于其他类似的和不同的递送垫。再一次,递送垫可以是被配置成接收要由UAS递送的包裹的位置、标记、箱子、垫子等等。附加地或替换地,在一些实现方式中,利用传感器数据来通过接近预定义的位置定位的客户的面部识别来获得标识。
一些实施例进一步接收来自UAS的附加传感器数据。使用该附加传感器数据,系统可以检测位于递送垫上的第一包裹。基于该检测,UAS和/或任务控制系统可以确认在递送垫上存在足够的未被第一包裹占据的空间以接收由UAS运载的第二包裹。部分地基于确认在递送垫上存在足够的空间以递送第二包裹,UAS可以发起第二包裹的递送。
UAS和/或任务控制系统可以与客户、配送交通工具和/或可能影响路线选择、飞行和/或任务实现方式的其他对象进行通信。在一些实现方式中,例如,来自用户界面单元112的所检测到的通信与关联于预定义的位置的客户相关联。来自用户界面单元的所检测到的通信可以在确认所标识的对象方面与所接收到的传感器数据配合使用。例如,面部识别可以被用来标识任务位置处的客户,并且先前已与该客户相关联的来自用户界面单元112的通信可以被用作确认客户、与客户相关联的递送垫或其他这样的对象的标识的至少一部分。此外,来自对象的通信可以包括接收来自配送交通工具118的通信。来自配送交通工具的通信可以包括配送交通工具的标识。使用该标识,系统可以确认配送交通工具的标识与被分配以将UAS运输远离预定义的位置的期望的配送交通工具一致。传感器数据可以进一步被用来确认要由UAS递送的、由UAS拾取的包裹的准确性等等。在一些实施例中,确定对象的唯一标识可以包括根据传感器数据确定要与UAS配合并且由UAS递送到递送位置的期望包裹的包裹标识符。
因此,UAS可以部分地利用传感器数据来移除管理限制(例如,要求视线操作),并且可以安全且有效地完成自主任务,该自主任务诸如超视线(BLOS)包裹递送、事件或建筑物的视频捕获、数对象的数目以及其他这样的任务。传感器数据不仅允许UAS自主地避开UAS的飞行路径或其递送区域中的障碍物,而且还允许将对象(例如,建筑物、人和其他对象)的类别、类型和具体实例进行标识的能力。包裹递送任务可以涉及包裹装载、UAS发射、使用与对象避开相耦合的全球定位系统(GPS)或类似技术的空中航点导航、递送位置测距和标识、包裹递送,其可以包括具体对象和行为识别连同基于那些对象和行为的避开和交互、返回空中航点导航、返回位置(例如,仓库、商店、配送交通工具等)测距和标识,以及UAS在返回位置处着陆。在一些情况下,UAS也可以被用来拾取包裹(例如,以消除手动包裹装载步骤或用于客户退货)。
UAS控制系统100利用对类别、类型和/或具体对象的集合进行标识并且利用对这些对象的响应。该响应可以包括避开、交互、观察、记录或其他功能,这取决于所遇到对象的类别和具体实例以及UAS当前正在实行的任务的部分。在一些实施例中,UAS将对象标识为在一类对象内。该类可以包括例如:包裹、任务/递送位置、交通工具、人、宠物、建筑物、障碍物(例如,树木、电杆、电力线和其他障碍物)。包裹可以是可以使用UAS递送的物项。一些实施例可以利用一般包裹标识的若干个迭代,范围为按大小、形状、颜色、标示、条形码、数字水印、RFID标签或其他方法来标识具体类型的包裹。一些实现方式可以通过使用一小组可能的选项来简化迭代。例如,可能使用具有可容易辨认的具体标示的手提箱或盒子来包含要递送的物项。这将限制UAS对确定如何拾取包裹(将仅提供预先确定的、有限数量的可能性)、平衡包裹和运载包裹的需要。UAS将考虑的一个变量将是包裹之间的重量上的差异。重量可以由UAS测量,或者以数字格式编码在手提箱、包裹标签等上。UAS通常被提供有到任务位置的飞行路径。在一些情况下,UAS可以基于GPS坐标并且使用其他传感器数据来标识任务位置。附加地,UAS可以能够基于清楚标记的着陆地带、递送容器、其他可容易区分的陆标等等来检测任务位置。此外,在一些实现方式中,系统和/或UAS可以确定在任务位置处和/或在递送位置上是否存在障碍物(例如,客户尚未取回的先前递送的包裹)。在一些应用中,当检测到障碍物时,UAS可以能够警告客户,要求客户清理递送位置和/或装载位置。类似地,UAS可以确定是否存在足够空间以放置新包裹,使用替换的递送方法(例如,从一定高度降下商品而不是将其直接放置在着陆地带并且将其释放),重新安排递送时间或位置等。
在一些实施例中,UAS可以进一步标识各种类别的交通工具,包括可以从其发射UAS以用于最后一英里递送的递送卡车、乘用汽车、紧急车辆、包括UAS的其他航空器、直升机和飞机、自行车、摩托车、船舶等。此外,UAS可以在交通工具静止或者在运动中时实现飞行路径并且实行传感器处理以返回到配送交通工具。类似地,UAS可以预先形成用以标识要避开的交通工具的处理,如其他这样的交通(例如,海上、空中交通)。在一些实现方式中,UAS控制系统和/或UAS能够标识一类人(例如,成人对比儿童、UAS操作员、客户,旁观者等)和/或单个的人。人的识别可以部分地被用来避免在飞行操作期间与人接触和对人造成伤害。在其他情况下,如上文描述的,UAS可以标识具体的人员,以便与该所标识的人员进行交互。更进一步,在一些情况下,UAS控制系统和/或UAS可以识别宠物和其他动物,避免在飞行操作期间与它们接触、对它们造成伤害或受到它们的损坏。
UAS系统和/或UAS通常进一步被配置成检测结构和/或标识建筑物,包括托管递送位置的那些(例如,个人住宅、公寓、办公楼等)以及其包裹要被递送的库存来源(例如,配送中心、仓库、零售店等)。UAS可以自动避免与建筑物接触以防止损坏自身,同时还能够导航到建筑物的具体部分(例如,以递送包裹、返回到仓库等)。在飞行操作期间可以检测其他障碍物(诸如但不限于树木、电杆、电力线、张索和其他障碍物)以防止接触它们并且对UAS造成损坏。
一些实施例标识对象的类别以增建针对飞行操作、安全性和任务性能的能力。UAS系统通常进一步被配置成标识那些类别之一的具体实例。例如,UAS可以标识具体包裹而超出简单地标识对象是一个包裹。这可以包括标识针对递送进行安排的具体包裹。在一些情况下,多个包裹可以位于配送中心内或配送卡车上。UAS可以被配置成从若干个其他包裹当中挑选具体的包裹、附着于其上、提起它并且将其递送到其理应的目的地。类似地,在一些情况下,UAS可以识别和/或标识针对归还服务的具体包裹。此外,UAS系统和/或UAS可以标识具体的递送位置。一些实施例例如可以并入针对递送的标准设计(例如,UAS将把包裹递送到的着陆垫或安全柜)。附加地或替换地,UAS系统可以进一步从其他位置中标识具体位置以提供正确的递送。在一些情况下,可以在该位置处检测到唯一标识。此外,传感器数据可以作为位置的进一步确认与位置标识信息配合使用。
在一些实施例中,UAS系统和/或UAS可以进一步标识具体的人员,例如要向其递送包裹的客户。例如,面部识别可以被用来将面部特征与面部数据的数据库进行比较以标识人员。类似地,UAS系统和/或UAS可以标识具体交通工具(例如,配送和/或递送交通工具)。例如,UAS要定位到的在实行任务之后要被取回的配送交通工具。作为进一步的示例,UAS可以识别UAS从其发射的配送交通工具,使得如果可能的话UAS可以返回以拾取用于递送的附加包裹,或者被收回以便再次充电/加燃料,并且装载有附加包裹或被存储持续基于地面的递送路线的持续时间。更进一步,UAS系统和/或UAS可以标识其发射于和其返回到的具体建筑物(例如,商店、配送中心、仓库等)。与先前的使用实例一样,UAS可以拾取附加的具体包裹并且开始新的递送路线,或者着陆以再次充电/加燃料或被存储直到另外的使用为止。
在一些实施例中,UAS被配置成检测和/或锁定到来自配送交通工具、递送垫、递送柜或其他位置的信号。这使得UAS能够利用自主飞行到配送交通工具或其他位置。附加地或替换地,任务控制系统102或其他中央计算机系统(CCS)提供路由指令和/或诸如通过实时GPS将UAS引导至其操作区域。可以进一步指示和配置UAS以进行多次停止,而无需用以在每个任务位置之后(例如,在每一次递送之后)进行重定路线的时间。在操作中,UAS可以在激活时或者在达到阈值海拔之后激活机载感知。
UAS包括对象标识传感器,其包括例如多方位或全方位视频、声纳、超声波、激光测距、LIDAR(光检测和测距)、红外检测系统、其他这样的传感器系统,或这样的传感器系统中的两个或更多个的组合。这些传感器系统使得UAS能够在飞行期间避开其他对象,并且可以进一步被用在导航和检测期望的对象中。当对象进入检测范围内时,UAS可以采取行动以避免接触,诸如升高或降低海拔,或者转向以避开障碍物并且重新计算其到达其目的地的路线。来自传感器的数据可以直接馈送到配送交通工具和/或任务控制系统以用于跟踪。馈送到任务控制系统的信息中的一些或全部信息可以进一步传送到飞行员控制系统或飞行中心。飞行员控制系统可以监控传感器状态和GPS位置状态,并且可以允许飞行中心的同事(例如,飞行员)采取行动和/或接管UAS的飞行控制。飞行中心的同事可以在适当的时候(例如,脱离危险、未标识的对象超出阈值距离等)进一步放弃UAS的控制。一旦放弃控制,UAS就在飞行员或地面站放弃之处自动恢复。通常,飞行中心的同事具有推翻当前路径并且使UAS改道的能力。
传感器将帮助确定地平面以上的海拔和其他对象以用于准确递送。距离测量系统可以与其他对象标识系统协调以用于更多保护和感知。例如,如果通过声纳检测到对象,则可以激活激光距离测量系统来找到该对象,并且测量该对象位于何处以及离UAS什么程度。当递送包裹时,距离测量系统将协助确定与地面的距离,以使得能够实现准确的包裹递送。在UAS递送包裹后,其将恢复飞行的海拔。UAS将基于从任务控制系统和/或飞行中心馈送的信息来完成路线。一旦UAS完成递送,其就可以返回到其发射位置和/或配送交通工具。在一些实施例中,UAS可以使用来自配送交通工具的信号(例如,使用声纳、GPS、光学信标、其他无线电信标、RFID和/或其他这样的信号)。
一些实施例标识一个或多个类别的对象中的一个或多个对象的具体实例。例如,UAS和/或UAS控制系统可以标识目标递送地带中的对象是着陆垫或者是存储柜,但是可以实现进一步的验证,以便确定着陆垫或存储柜是正确的那一个。作为另一示例,在有人照管递送的情况下,UAS可以标识要向其递送包裹的(一个或多个)具体人员。这可以例如通过面部识别或对象识别(例如,人员已经被识别出)连同具有来接收递送的权利的电子验证(例如,利用智能电话、信标或者其身份可以利用UAS的机载设备独立证实的其他设备)的组合来完成。对于无人照管递送,UAS可以确认已到达正确的递送位置,并且记录包裹递送的验证。在一些情况下,这将是进入到安全存储界限内,其可以利用由UAS和相关联的中央计算机系统所维护的证书打开。此外,在具有无人照管递送的一些情况下,UAS可以确定在递送位置处(例如,在着陆垫上或者在安全的储存容器中)是否存在足够的空间以递送新包裹,尤其是在先前已经进行了递送、包裹被归还等等的情况下。在无人照管包裹拾取(例如,针对客户退货)的情况下,UAS可以被配置成标识具体包裹其要拾取(例如,通过条形码、RFID等)。在一些情况下,UAS确定与包裹配合的最佳方式,并且可以视频记录该事件以用于验证。在一些情况下,包裹可以存储在安全存储容器中,并且UAS将远程解锁并且将其打开以便取回包裹。
在一些实施例中,提供系统、装置、方法和过程来控制和分派UAS。在一些实施例中,一种用以控制无人驾驶航空器系统(UAS)的系统包括:被配置成与UAS通信的一个或多个无线收发器;与(一个或多个)收发器耦合的控制电路;以及耦合到控制电路并且存储计算机指令的存储器,该计算机指令当由控制电路执行时使控制电路实行下述步骤:接收由UAS的至少一个传感器捕获的传感器数据;根据传感器数据确定在预定义的位置处的对象的唯一标识;并且根据传感器数据确认所标识的对象是在预定义的位置处所期望的期望对象。
此外,一些实施例提供了控制无人驾驶航空器系统(UAS)的方法,其包括:接收由UAS的至少一个传感器捕获的传感器数据;根据传感器数据确定在预定义的位置处的对象的唯一标识;并且根据传感器数据确认所标识的对象是在预定义的位置处所期望的期望对象。
本领域技术人员将意识到,在不偏离本发明的范围的情况下,还可以关于上文描述的实施例做出各种各样的其他修改、改变和组合,并且这样的修改、改变和组合被视为处于本发明构思的范围内。
Claims (16)
1.一种用以控制无人驾驶航空器系统(UAS)的系统,包括:
被配置成与所述UAS通信的一个或多个无线收发器;
与所述(一个或多个)收发器耦合的控制电路;以及
耦合到所述控制电路并且存储计算机指令的存储器,当所述计算机指令由所述控制电路执行时使所述控制电路实行下述步骤:
接收由UAS的至少一个传感器捕获的传感器数据;
根据所述传感器数据确定在预定义的位置处的对象的唯一标识;以及
根据所述传感器数据确认所标识的对象是在所述预定义的位置处所期望的期望对象。
2.根据权利要求1所述的系统,其中所述控制电路在接收所述传感器数据中接收由所述UAS上的相机捕获的图像数据,并且根据图像处理获得所述对象的唯一标识。
3.根据权利要求2所述的系统,其中在获得所述唯一标识中,所述控制电路根据所述图像处理获得第一递送垫标识符,所述第一递送垫标识符对与所述预定义的位置相关联的第一递送垫是唯一的,并且有别于其他类似的和不同的递送垫,其中所述递送垫被配置成接收要由所述UAS递送的包裹。
4.根据权利要求3所述的系统,其中所述控制电路被进一步配置成:
接收来自所述UAS的附加传感器数据;
检测第一包裹位于所述第一递送垫上;
确认在所述第一递送垫上存在足够的未被所述第一包裹占据的空间,以接收由所述UAS运载的第二包裹;以及
响应于确认在所述第一递送垫上存在足够的空间以递送所述第二包裹,发起所述第二包裹的递送。
5.根据权利要求2所述的系统,其中所述控制电路进一步通过所述无线收发器接收来自与关联于所述预定义的位置的客户相关联的用户界面单元的所检测到的通信,其中在确认所标识的对象是所述期望对象中,所述控制电路基于来自所述用户界面单元的所检测到的通信和所接收到的传感器数据来确认所标识的对象。
6.根据权利要求2所述的系统,其中在获得所述唯一标识中,所述控制电路通过接近所述预定义的位置定位的客户的面部识别来获得标识。
7.根据权利要求1所述的系统,其中在确定所述对象的唯一标识中,所述控制电路接收来自配送交通工具的通信,其中所述通信包括所述配送交通工具的标识,并且所述控制电路确认所述配送交通工具的标识与被分配以将所述UAS运输远离所述预定义的位置的期望的配送交通工具一致。
8.根据权利要求1所述的系统,其中在确定所述对象的唯一标识中,所述控制电路根据所述传感器数据确定与所述UAS配合并且由所述UAS递送到递送位置的期望包裹的包裹标识符。
9.一种控制无人驾驶航天器系统(UAS)的方法,包括:
接收由UAS的至少一个传感器捕获的传感器数据;
根据所述传感器数据确定在预定义的位置处的对象的唯一标识;并且
根据所述传感器数据确认所标识的对象是在所述预定义的位置处所期望的期望对象。
10.根据权利要求9所述的方法,其中接收传感器数据包括接收由所述UAS上的相机捕获的图像数据;并且确定所述对象的唯一标识包括根据图像处理获得所述对象的唯一标识。
11.根据权利要求10所述的方法,其中获得唯一标识包括根据所述图像处理获得第一递送垫标识符,所述第一递送垫标识符对与所述预定义的位置相关联的第一递送垫是唯一的,并且有别于其他类似的和不同的递送垫,其中所述递送垫被配置成接收要由所述UAS递送的包裹。
12.根据权利要求11所述的方法,进一步包括:
接收来自所述UAS的附加传感器数据;
检测第一包裹位于所述第一递送垫上;
确认在所述第一递送垫上存在足够的未被所述第一包裹占据的空间,以接收由所述UAS运载的第二包裹;并且
响应于确认在所述第一递送垫上存在足够的空间以递送所述第二包裹,发起所述第二包裹的递送。
13.根据权利要求10所述的方法,进一步包括:
接收来自与关联于所述预定义的位置的客户相关联的用户界面单元的所检测到的通信;并且
其中确认所标识的对象是期望对象包括:基于来自所述用户界面单元的所检测到的通信和所接收到的传感器数据来确认所标识的对象。
14.根据权利要求10所述的方法,其中获得唯一标识包括:通过接近所述预定义的位置定位的客户的面部识别来获得标识。
15.根据权利要求9所述的方法,其中确定所述对象的唯一标识进一步包括:接收来自配送交通工具的通信,其中来自所述配送交通工具的通信包括所述配送交通工具的标识;并且
其中确认所标识的对象是期望对象包括:确认所述配送交通工具的标识与被分配以将所述UAS运输远离所述预定义的位置的期望的配送交通工具一致。
16.根据权利要求9所述的方法,其中确定所述对象的唯一标识包括:根据所述传感器数据确定与所述UAS配合并且由所述UAS递送到递送位置的期望包裹的包裹标识符。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662308140P | 2016-03-14 | 2016-03-14 | |
US62/308140 | 2016-03-14 | ||
PCT/US2017/021774 WO2017180270A2 (en) | 2016-03-14 | 2017-03-10 | Unmanned aircraft systems and methods to interact with specifically intended objects |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109219733A true CN109219733A (zh) | 2019-01-15 |
Family
ID=59786446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780029633.7A Pending CN109219733A (zh) | 2016-03-14 | 2017-03-10 | 用以与具体预期对象交互的无人驾驶航空器系统和方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10139817B2 (zh) |
JP (1) | JP2019513653A (zh) |
CN (1) | CN109219733A (zh) |
CA (1) | CA3017153A1 (zh) |
GB (1) | GB2563782B (zh) |
MX (1) | MX2018011073A (zh) |
WO (1) | WO2017180270A2 (zh) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2568369B (en) * | 2015-11-13 | 2019-11-27 | Walmart Apollo Llc | Product delivery methods and systems utilizing portable unmanned delivery aircraft |
US11093892B2 (en) * | 2016-04-11 | 2021-08-17 | International Business Machines Corporation | Realtime product backup delivery |
US11227270B2 (en) * | 2017-05-30 | 2022-01-18 | Robomart, Inc. | One tap/command grocery ordering via self-driving mini marts and seamless checkout-free technology |
US11009868B2 (en) | 2017-07-20 | 2021-05-18 | Nuro, Inc. | Fleet of autonomous vehicles with lane positioning and platooning behaviors |
JP2020527805A (ja) | 2017-07-20 | 2020-09-10 | ニューロ・インコーポレーテッドNuro Incorporated | 自律車両の再配置 |
WO2019023521A1 (en) | 2017-07-28 | 2019-01-31 | Nuro, Inc. | AUTOMATED RETAIL STORE ON AUTONOMOUS OR SEMI-AUTONOMOUS VEHICLE |
CN109598457A (zh) * | 2017-09-30 | 2019-04-09 | 北京京东尚科信息技术有限公司 | 物流方法和系统、无人机、无人车、调度平台和交接方法 |
US10824862B2 (en) | 2017-11-14 | 2020-11-03 | Nuro, Inc. | Three-dimensional object detection for autonomous robotic systems using image proposals |
US11176630B2 (en) * | 2017-12-21 | 2021-11-16 | Wing Aviation Llc | Dynamic UAV transport tasks |
US11003972B2 (en) * | 2018-06-27 | 2021-05-11 | Intel Corporation | Localizing a vehicle's charging or fueling port—methods and apparatuses |
CN109573040A (zh) * | 2019-01-31 | 2019-04-05 | 吉林大学 | 一种基于云端存储的应急物资存储装置 |
US11964627B2 (en) | 2019-09-30 | 2024-04-23 | Nuro, Inc. | Methods and apparatus for supporting compartment inserts in autonomous delivery vehicles |
US11747821B1 (en) | 2019-12-30 | 2023-09-05 | Express Scripts Strategic Development, Inc. | Location-based presence model for item delivery |
US11789469B1 (en) | 2020-02-27 | 2023-10-17 | Express Scripts Strategic Development, Inc. | Systems and methods for package delivery with unmanned aerial vehicles |
EP4128100A1 (en) | 2020-03-23 | 2023-02-08 | Nuro, Inc. | Methods and apparatus for automated deliveries |
US11513538B1 (en) | 2020-04-15 | 2022-11-29 | Express Scripts Strategic Development, Inc. | System and method for thermal control during delivery of a medication package |
US11475778B1 (en) | 2020-05-01 | 2022-10-18 | Express Scripts Strategic Development, Inc. | System and method for secure delivery of a medication package |
US11691756B1 (en) * | 2020-05-21 | 2023-07-04 | Amazon Technologies, Inc. | Enhancing airborne visibility of ground markers by vertical variation |
CN112068587B (zh) * | 2020-08-05 | 2021-09-03 | 北京航空航天大学 | 基于欧椋鸟通信机制的有人/无人机共融集群交互方法 |
US11783273B1 (en) | 2020-12-02 | 2023-10-10 | Express Scripts Strategic Development, Inc. | System and method for receiving and delivering a medical package |
US20220207871A1 (en) * | 2020-12-27 | 2022-06-30 | Global Unmanned Products LLC | Digital License Tag |
KR102268061B1 (ko) * | 2021-02-26 | 2021-06-23 | 주식회사 씨그널정보통신 | 헬기를 이용한 화재 대응 및 인명 구조 모니터링 시스템 |
US20230081498A1 (en) * | 2021-09-14 | 2023-03-16 | Beta Air, Llc | Systems and methods for monitoring electrical flow in an electric aircraft |
US11847604B2 (en) | 2021-11-18 | 2023-12-19 | Evernorth Strategic Development, Inc. | System and method for secure delivery of a medication package using unmanned aerial vehicles |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104461278A (zh) * | 2013-09-17 | 2015-03-25 | 霍尼韦尔国际公司 | 用于飞机的消息收发和数据输入验证系统和方法 |
KR20150104863A (ko) * | 2014-03-06 | 2015-09-16 | 정우성 | 무인 비행체를 이용한 배송 물품의 무인 수취 시스템 |
CN105069595A (zh) * | 2015-08-18 | 2015-11-18 | 杨珊珊 | 一种利用无人机实现的快递系统及方法 |
WO2015180180A1 (en) * | 2014-05-30 | 2015-12-03 | SZ DJI Technology Co., Ltd. | Systems and methods for uav docking |
CN105139178A (zh) * | 2015-09-15 | 2015-12-09 | 余江 | 基于无人飞行器的快递方法和系统 |
CN105302152A (zh) * | 2014-07-16 | 2016-02-03 | 福特全球技术公司 | 机动车辆无人驾驶飞机部署系统 |
US20160068264A1 (en) * | 2014-09-08 | 2016-03-10 | Qualcomm Incorporated | Methods, Systems and Devices for Delivery Drone Security |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8082102B2 (en) | 2008-01-14 | 2011-12-20 | The Boeing Company | Computing flight plans for UAVs while routing around obstacles having spatial and temporal dimensions |
US8543265B2 (en) | 2008-10-20 | 2013-09-24 | Honeywell International Inc. | Systems and methods for unmanned aerial vehicle navigation |
US20110084162A1 (en) | 2009-10-09 | 2011-04-14 | Honeywell International Inc. | Autonomous Payload Parsing Management System and Structure for an Unmanned Aerial Vehicle |
US9384668B2 (en) | 2012-05-09 | 2016-07-05 | Singularity University | Transportation using network of unmanned aerial vehicles |
US9120568B2 (en) | 2012-06-11 | 2015-09-01 | Lockheed Martin Corporation | Autonomous resupply system and method |
US8930044B1 (en) | 2012-12-28 | 2015-01-06 | Google Inc. | Multi-part navigation process by an unmanned aerial vehicle for navigating to a medical situatiion |
US8909391B1 (en) | 2012-12-28 | 2014-12-09 | Google Inc. | Responsive navigation of an unmanned aerial vehicle to a remedial facility |
WO2015061008A1 (en) | 2013-10-26 | 2015-04-30 | Amazon Technologies, Inc. | Unmanned aerial vehicle delivery system |
US10078136B2 (en) | 2014-03-25 | 2018-09-18 | Amazon Technologies, Inc. | Sense and avoid for automated mobile vehicles |
US9336506B2 (en) * | 2014-05-02 | 2016-05-10 | Google Inc. | Machine-readable delivery platform for automated package delivery |
US9550577B1 (en) | 2014-06-26 | 2017-01-24 | Amazon Technologies, Inc. | Electricity generation in automated aerial vehicles |
US9767701B2 (en) | 2014-06-26 | 2017-09-19 | Amazon Technologies, Inc. | Ground effect based surface sensing in automated aerial vehicles |
US9809305B2 (en) | 2015-03-02 | 2017-11-07 | Amazon Technologies, Inc. | Landing of unmanned aerial vehicles on transportation vehicles for transport |
US10600020B2 (en) * | 2015-07-08 | 2020-03-24 | Here Global B.V. | Method and apparatus for generating delivery data models for aerial package delivery |
-
2017
- 2017-03-10 WO PCT/US2017/021774 patent/WO2017180270A2/en active Application Filing
- 2017-03-10 CA CA3017153A patent/CA3017153A1/en not_active Abandoned
- 2017-03-10 MX MX2018011073A patent/MX2018011073A/es unknown
- 2017-03-10 GB GB1815298.3A patent/GB2563782B/en not_active Expired - Fee Related
- 2017-03-10 CN CN201780029633.7A patent/CN109219733A/zh active Pending
- 2017-03-10 JP JP2018548343A patent/JP2019513653A/ja active Pending
- 2017-03-13 US US15/457,638 patent/US10139817B2/en active Active
-
2018
- 2018-10-23 US US16/168,615 patent/US20190056724A1/en not_active Abandoned
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104461278A (zh) * | 2013-09-17 | 2015-03-25 | 霍尼韦尔国际公司 | 用于飞机的消息收发和数据输入验证系统和方法 |
KR20150104863A (ko) * | 2014-03-06 | 2015-09-16 | 정우성 | 무인 비행체를 이용한 배송 물품의 무인 수취 시스템 |
WO2015180180A1 (en) * | 2014-05-30 | 2015-12-03 | SZ DJI Technology Co., Ltd. | Systems and methods for uav docking |
CN105302152A (zh) * | 2014-07-16 | 2016-02-03 | 福特全球技术公司 | 机动车辆无人驾驶飞机部署系统 |
US20160068264A1 (en) * | 2014-09-08 | 2016-03-10 | Qualcomm Incorporated | Methods, Systems and Devices for Delivery Drone Security |
CN105069595A (zh) * | 2015-08-18 | 2015-11-18 | 杨珊珊 | 一种利用无人机实现的快递系统及方法 |
CN105139178A (zh) * | 2015-09-15 | 2015-12-09 | 余江 | 基于无人飞行器的快递方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
WO2017180270A3 (en) | 2018-01-04 |
US20170261977A1 (en) | 2017-09-14 |
GB201815298D0 (en) | 2018-11-07 |
GB2563782B (en) | 2022-03-09 |
MX2018011073A (es) | 2019-06-20 |
JP2019513653A (ja) | 2019-05-30 |
US10139817B2 (en) | 2018-11-27 |
CA3017153A1 (en) | 2017-10-19 |
GB2563782A (en) | 2018-12-26 |
WO2017180270A2 (en) | 2017-10-19 |
US20190056724A1 (en) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109219733A (zh) | 用以与具体预期对象交互的无人驾驶航空器系统和方法 | |
US10414495B2 (en) | Product delivery methods and systems utilizing portable unmanned delivery aircraft | |
US10577124B2 (en) | Method for destination approach control of unmanned aerial vehicles | |
US11093888B1 (en) | On-demand designated delivery locator | |
US10535035B2 (en) | Systems and methods for delivering products to multiple delivery destinations via autonomous transport vehicles | |
US20230289714A1 (en) | Public Transport Infrastructure Facilitated Drone Delivery | |
JP6527299B1 (ja) | 物品受け渡し場所の決定方法、着陸場所の決定方法、物品受け渡しシステム、及び情報処理装置 | |
US11474515B2 (en) | Method and control apparatus for an autonomous and/or semiautonomous transport vehicle | |
US10535036B2 (en) | Systems and methods for delivering products to a customer via another customer and an autonomous transport vehicle | |
CN108885120A (zh) | 目标位置产品递送系统和方法 | |
CN109313444A (zh) | 无人飞行器系统和方法 | |
CN110291548A (zh) | 用于经由无人驾驶飞行器将产品递送到由顾客指定的递送位置的系统和方法 | |
WO2017223458A1 (en) | Precise and rapid delivery of an emergency medical kit from an unmanned aerial vehicle | |
KR101634501B1 (ko) | 모바일 단말에 대한 도착장 내 항공기 수하물 위치 안내 방법 및 서버 및 모바일 단말 | |
US11941579B2 (en) | Autonomous vehicles performing inventory management | |
CN111615487B (zh) | 配置场所的决定方法、输送系统及信息处理装置 | |
CN111123340A (zh) | 物流配送导航方法及系统、近场定位导航装置、存储介质 | |
US20190041868A1 (en) | Autonomous Vehicle-Based Item Retrieval System and Method | |
JP2020090392A (ja) | 制御方法、物品受け渡しシステム、着陸システム、及び情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190115 |